DE112020007543T5 - Initiieren eines Computergerät-Interaktionsmodus unter Nutzung der Erkennung von Gesten außerhalb des Bildschirms - Google Patents

Initiieren eines Computergerät-Interaktionsmodus unter Nutzung der Erkennung von Gesten außerhalb des Bildschirms Download PDF

Info

Publication number
DE112020007543T5
DE112020007543T5 DE112020007543.5T DE112020007543T DE112020007543T5 DE 112020007543 T5 DE112020007543 T5 DE 112020007543T5 DE 112020007543 T DE112020007543 T DE 112020007543T DE 112020007543 T5 DE112020007543 T5 DE 112020007543T5
Authority
DE
Germany
Prior art keywords
computing device
mobile computing
gesture
identifying
interaction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020007543.5T
Other languages
English (en)
Inventor
Xuelin Huang
Shumin Zhai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of DE112020007543T5 publication Critical patent/DE112020007543T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys

Abstract

Ein beispielhaftes Verfahren beinhaltet das Identifizieren, durch ein mobiles Computergerät, das ein Gehäuse und eine präsenzempfindliche Anzeige beinhaltet, und basierend auf einer ersten Gruppe von Sensorsignalen, die zumindest von einer in einem oder mehreren Sensoren beinhalteten Trägheitsmesseinheit bereitgestellt werden, zumindest einer ersten Geste, die an Abschnitten eines Gehäuses ausgeführt wird, wobei der eine oder die mehreren Abschnitte von der Anzeige getrennt sind, das Initiieren eines Interaktionsmodus, das Ausgeben zumindest eines optischen oder akustischen Indikators für den Interaktionsmodus, der mit einer bestimmten Funktion des mobilen Computergeräts assoziiert ist; das Identifizieren, basierend auf einer dritten Gruppe von Sensorsignalen, zumindest einer zweiten Geste, die an dem einen oder den mehreren Abschnitten des Gehäuses ausgeführt wird, um eine Benutzerauswahl der bestimmten Funktion zu bestätigen, und in Reaktion auf das Identifizieren der zumindest einen zweiten Geste, das Ausführen der bestimmten Funktion.

Description

  • HINTERGRUND
  • Bestehende Computergeräte, einschließlich mobiler Computergeräte, können für die Ausführung verschiedener Anwendungen konfiguriert sein. In vielen Fällen stellen diese Computergeräte Touchscreens bereit, die dem Benutzer die Interaktion mit den grafischen Benutzeroberflächen ermöglichen, die von diesen Anwendungen ausgegeben werden. Zum Beispiel kann ein Benutzer einen oder mehrere Finger zur Ausführung von berührungsbasierten Gesten auf einem Touchscreen verwenden. Nach dem Erkennen dieser berührungsbasierten Gesten auf dem Touchscreen können die Anwendungen eine oder mehrere entsprechende Funktionen ausführen, wie z. B. das Auswählen, Bewegen oder Manipulieren von auf dem Touchscreen angezeigten Objekten. In anderen Fällen können bestimmte Computergeräte zur Ausführung definierter Funktionen (z. B. zur Aufnahme eines Screenshots, zur Durchführung einer Gerätesperrfunktion) in Reaktion auf die Ausführung mehrerer Tippgesten durch einen Benutzer an einem hinteren Gehäuse solcher Geräte konfiguriert sein.
  • KURZDARSTELLUNG
  • Die vorliegende Offenbarung ist auf Techniken zum Initiieren eines Computergerät-Interaktionsmodus unter Nutzung der Erkennung von Gesten außerhalb des Bildschirms gerichtet, um eine oder mehrere von einem Benutzer ausgeführte Gesten außerhalb des Bildschirms (z. B. Tippgesten) zu erkennen, z. B. an einem oder mehreren Abschnitten des Gerätegehäuses. Nach dem Initiieren eines solchen Interaktionsmodus kann das Computergerät zur Ausführung einer oder mehrerer Funktionen basierend auf einer oder mehreren zusätzlich erkannten Gesten auf dem Bildschirm und/oder außerhalb des Bildschirms konfiguriert sein. Interaktion außerhalb des Bildschirms kann in manchen Fällen einhändige und/oder augenfreie mobile Interaktion ermöglichen. In verschiedenen Beispielen kann ein mobiles Computergerät einen oder mehrere Sensoren (z. B. eine Trägheitsmesseinheit, die einen oder mehrere Beschleunigungsmesser, ein Gyroskop und/oder ein Magnetometer beinhaltet) zum Erkennen von Gesten außerhalb des Bildschirms verwenden, die von einem Benutzer in einem oder mehreren Abschnitten des Gerätegehäuses ausgeführt werden.
  • In einem Beispiel beinhaltet ein Verfahren das Identifizieren, durch ein mobiles Computergerät, das ein Gehäuse und ein präsenzempfindliches Anzeigegerät beinhaltet, und basierend auf einer ersten Gruppe von Sensorsignalen, die zumindest von einer Trägheitsmesseinheit bereitgestellt werden, zumindest einer ersten Geste, die an einem oder mehreren Abschnitten des Gehäuses ausgeführt wird, wobei der eine oder die mehreren Abschnitte des Gehäuses von dem präsenzempfindlichen Anzeigegerät getrennt sind, und wobei die Trägheitsmesseinheit in einem oder mehreren Sensoren des mobilen Computergeräts beinhaltet ist; in Reaktion auf das Identifizieren der zumindest einen ersten Geste, das Initiieren eines Interaktionsmodus durch das mobile Computergerät; das Ausgeben zumindest eines optischen oder akustischen Indikators für den Interaktionsmodus, der mit einer bestimmten Funktion des mobilen Computergeräts assoziiert ist; das Identifizieren, durch das mobile Computergerät und basierend auf einer dritten Gruppe von Sensorsignalen, die von dem einen oder den mehreren Sensoren bereitgestellt werden, zumindest einer zweiten Geste, die an dem einen oder den mehreren Abschnitten des Gehäuses ausgeführt wird, um eine Benutzerauswahl der bestimmten Funktion zu bestätigen, die mit dem zumindest einen optischen Indikator oder akustischen Indikator für den Interaktionsmodus assoziiert ist; und in Reaktion auf das Identifizieren der zumindest einen zweiten Geste, das Ausführen der bestimmten Funktion durch das mobile Computergerät.
  • In einem anderen Beispiel beinhaltet ein mobiles Computergerät ein präsenzempfindliches Anzeigegerät, ein mit der präsenzempfindlichen Anzeige verbundenes Gehäuse, einen oder mehrere Sensoren, die eine Trägheitsmesseinheit beinhalten, zumindest einen Prozessor und ein computerlesbares Speichergerät. Das computerlesbare Speichergerät ist zum Speichern von Anweisungen konfiguriert, die von dem zumindest einen Prozessor ausführbar sind zum: Identifizieren, basierend auf einer ersten Gruppe von Sensorsignalen, die zumindest von einer Trägheitsmesseinheit bereitgestellt werden, zumindest einer ersten Geste, die an einem oder mehreren Abschnitten des Gehäuses ausgeführt wird, wobei der eine oder die mehreren Abschnitte des Gehäuses von dem präsenzempfindlichen Anzeigegerät getrennt sind; in Reaktion auf das Identifizieren der zumindest einen ersten Geste, Initiieren eines Interaktionsmodus; Ausgeben zumindest eines optischen oder akustischen Indikators für den Interaktionsmodus, der mit einer bestimmten Funktion des mobilen Computergeräts assoziiert ist; Identifizieren, basierend auf einer dritten Gruppe von Sensorsignalen, die von dem einen oder den mehreren Sensoren bereitgestellt werden, zumindest einer zweiten Geste, die an dem einen oder den mehreren Abschnitten des Gehäuses ausgeführt wird, um eine Benutzerauswahl der bestimmten Funktion zu bestätigen, die mit dem zumindest einen optischen oder akustischen Indikator für den Interaktionsmodus assoziiert ist; und in Reaktion auf das Identifizieren der zumindest einen zweiten Geste, Ausführen der bestimmten Funktion.
  • In einem weiteren Beispiel speichert ein computerlesbares Speichergerät Anweisungen, die, bei Ausführung, zumindest einen Prozessor eines mobilen Computergeräts veranlassen, Operationen durchzuführen. Diese beispielhaften Operationen beinhalten: Identifizieren, basierend auf einer ersten Gruppe von Sensorsignalen, die zumindest von einer Trägheitsmesseinheit bereitgestellt werden, zumindest einer ersten Geste, die an einem oder mehreren Abschnitten eines Gehäuses des mobilen Computergeräts ausgeführt wird, wobei der eine oder die mehreren Abschnitte des Gehäuses von einem präsenzempfindlichen Anzeigegerät getrennt sind, und wobei die Trägheitsmesseinheit in einem oder mehreren Sensoren des mobilen Computergeräts beinhaltet ist; in Reaktion auf das Identifizieren der zumindest einen ersten Geste, Initiieren eines Interaktionsmodus; Ausgeben zumindest eines optischen oder akustischen Indikators für den Interaktionsmodus, der mit einer bestimmten Funktion des mobilen Computergeräts assoziiert ist; Identifizieren, basierend auf einer dritten Gruppe von Sensorsignalen, die von dem einen oder den mehreren Sensoren bereitgestellt werden, zumindest einer zweiten Geste, die an dem einen oder den mehreren Abschnitten des Gehäuses ausgeführt wird, um eine Benutzerauswahl der bestimmten Funktion zu bestätigen, die mit dem zumindest einen optischen oder akustischen Indikator für den Interaktionsmodus assoziiert ist; und in Reaktion auf das Identifizieren der zumindest einen zweiten Geste, Ausführen der bestimmten Funktion.
  • Die Details eines oder mehrerer Beispiele sind in den zugehörigen Zeichnungen und der nachfolgenden Beschreibung dargelegt. Andere Merkmale, Aufgaben und Vorteile der Offenbarung werden aus der Beschreibung und den Zeichnungen sowie aus den Ansprüchen ersichtlich.
  • Figurenliste
    • 1A-1C sind konzeptionelle Darstellungen, die ein beispielhaftes mobiles Computergerät, das zum Initiieren eines Interaktionsmodus unter Nutzung der Erkennung von Gesten außerhalb des Bildschirms konfiguriert ist, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellen.
    • 2 ist ein Blockdiagramm, das ein beispielhaftes mobiles Computergerät gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellt.
    • 3 ist ein Blockdiagramm, das eine beispielhafte Nutzung eines neuronalen Netzwerkmodells zum Identifizieren von Gestenattributen gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellt.
    • 4A-4B sind konzeptionelle Darstellungen, die ein beispielhaftes mobiles Computergerät, das zum Initiieren eines assistiven Interaktionsmodus konfiguriert ist, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellen.
    • 5A-5C sind konzeptionelle Darstellungen, die ein beispielhaftes mobiles Computergerät, das zum Initiieren eines Trägheitsinteraktionsmodus für eine Tipp-und-Streich-Randinteraktion konfiguriert ist, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellen.
    • 6A-6C sind konzeptionelle Darstellungen, die ein beispielhaftes mobiles Computergerät, das zum Initiieren eines Hintergrundmodus für die Hintergrund-Benutzeroberflächeninteraktion konfiguriert ist, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellen.
    • 7 ist ein Flussdiagramm, das beispielhafte Operationen eines mobilen Computergeräts gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellt.
  • AUSFÜHRLICHE BESCHREIBUNG
  • 1A-1C sind konzeptionelle Darstellungen, die ein beispielhaftes mobiles Computergerät 100, das zum Initiieren eines Interaktionsmodus für das mobile Computergerät 100 unter Nutzung der Erkennung von Gesten außerhalb des Bildschirms konfiguriert ist, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellen. Beispiele für das mobile Computergerät 100 können ein Mobiltelefon, einen Tablet-Computer, einen Personal Digital Assistant (PDA), ein tragbares Spielgerät, einen tragbaren Mediaplayer, ein am Körper tragbares Computergerät (z. B. eine Uhr, ein am Handgelenk befestigtes Computergerät, ein am Kopf befestigtes Computergerät) oder eine andere Art von Computergerät beinhalten, sind jedoch nicht darauf beschränkt. Wie nachfolgend ausführlicher beschrieben wird, kann es sich bei dem mobilen Computergerät 100 um einen oder mehrere Prozessoren handeln bzw. kann es diese beinhalten. Das mobile Computergerät 100 beinhaltet ein Anzeigegerät 102 (z. B. ein präsenzempfindliches Anzeigegerät) und einen oder mehrere Sensoren 104. Die Sensoren 104 können eine beliebige Anzahl von einem oder mehreren Sensoren beinhalten, wie z. B. berührungs- oder präsenzempfindliche Sensoren, Mikrofone, interne Messeinheiten (z. B. ein oder mehrere Gyroskope, Beschleunigungsmesser, Magnetometer), Barometer, Kamerasensoren, optische Sensoren, Temperatursensoren und dergleichen. In einigen Fällen können einer oder mehrere der Sensoren 104 in dem Anzeigegerät 102 beinhaltet oder anderweitig mit diesem assoziiert sein (z. B., wenn das Anzeigegerät 102 eine präsenzempfindliches Anzeige umfasst).
  • Darüber hinaus beinhaltet das mobile Computergerät 100 ebenfalls ein Gehäuse 103. Das Gehäuse 103 kann einen oder mehrere Abschnitte beinhalten, wie z. B. einen oder mehrere vordere Abschnitte, einen oder mehrere hintere Abschnitte und einen oder mehrere seitliche Abschnitte (z. B. linksseitige Abschnitte, rechtsseitige Abschnitte, oberseitige Abschnitte, unterseitige Abschnitte). In verschiedenen Beispielen kann die Vorderseite des mobilen Computergeräts 100 das Anzeigegerät 102 und einen oder mehrere vordere Abschnitte des Gehäuses 103 beinhalten. Die hintere oder Rückseite des mobilen Computergeräts 100, die gegenüber der Vorderseite des mobilen Computergeräts 100 angeordnet ist, kann einen oder mehrere hintere Abschnitte des Gehäuses 103 beinhalten. Die verbleibenden Seiten oder Ränder des mobilen Computergeräts 100, die an die Vorder- und Rückseiten des mobilen Computergeräts 100 angrenzen, können einen oder mehrere seitliche Abschnitte des Gehäuses 103 beinhalten. Das Gehäuse 103 kann das Anzeigegerät 102 beinhalten oder nicht. Ein oder mehrere Abschnitte des Gehäuses 103 (z. B. ein oder mehrere seitliche und/oder hintere Abschnitte des Gehäuses 103) sind separat und getrennt von dem Anzeigegerät 102.
  • Das Anzeigegerät 102 kann als ein Eingabegerät und/oder ein Ausgabegerät für das Computergerät 100 fungieren. Das Anzeigegerät 102 kann unter Nutzung verschiedener Technologien implementiert sein. Beispielsweise kann das Anzeigegerät 102 als ein Eingabegerät unter Nutzung eines präsenzempfindlichen Eingabegeräts, wie z. B. eines resistiven Touchscreens, eines Oberflächenschallwellen-Touchscreens, eines projektiv-kapazitiven Touchscreens, eines präsenzempfindlichen Touchscreens, eines Schallimpulserkennungs-Touchscreens, eines präsenzempfindlichen Bildschirms, der Bewegung mittels Radartechnologie erkennt, oder einer anderen präsenzempfindlichen Technologie dienen. Wie zuvor erwähnt, kann/können in bestimmten Fällen ein oder mehrere Sensoren 104 in dem Anzeigegerät 102 beinhaltet oder anderweitig mit diesem assoziiert sein. Das Anzeigegerät 102 kann als ein Ausgabegerät unter Nutzung eines oder mehrerer beliebiger Anzeigegeräte, wie z. B. einer Flüssigkristallanzeige (Liquid Crystal Display, LCD), einer Punktmatrixanzeige, einer Leuchtdiodenanzeige (Light Emitting Diode, LED), einer organischen Leuchtdiodenanzeige (Organic Light Emitting Diode, OLED), einer E-Papier-Anzeige oder einer ähnlichen Monochrom- oder Farbanzeige, die sichtbare Informationen für einen Benutzer eines mobilen Computergeräts 100 ausgeben kann, dienen. Das Anzeigegerät 102 kann beispielsweise eine Ausgabe darstellen, die mit verschiedenen Benutzeroberflächen von Anwendungen 132 assoziiert ist, die auf dem mobilen Computergerät 100 ausgeführt werden. Ein Benutzer kann mit einer jeweiligen Benutzeroberfläche jeder der Anwendungen 132 interagieren, um das mobile Computergerät 100 zu veranlassen, Operationen im Zusammenhang mit einer entsprechenden Anwendungsfunktionalität auszuführen.
  • In einigen Beispielen kann das mobile Computergerät 100 eine oder mehrere Kommunikationseinheiten (wie z. B. in 2 dargestellt) beinhalten. Diese Kommunikationseinheiten können Daten an ein oder mehrere andere Computergeräte senden und/oder Daten von diesen empfangen. In einigen Beispielen unterstützen die Kommunikationseinheiten eine drahtlose und/oder drahtgebundene Kommunikation, und sie können Daten unter Nutzung einer beliebigen Art von Kommunikationsprotokoll senden und/oder empfangen.
  • Das mobile Computergerät 100 ist zur Ausführung des UI-Moduls 130, des Gestenerkennungsmoduls 134, des Interaktionsmoduswählers 136 und eines oder mehrerer Interaktionsmodusmodule 138 konfiguriert. Das UI-Modul 130, die Anwendungen 132, das Gestenerkennungsmodul 134, der Interaktionsmoduswähler 136 und die Interaktionsmodusmodule 138 können hierin beschriebene Operationen unter Nutzung einer beliebigen Kombination von Software, Hardware und/oder Firmware durchführen, die sich in dem mobilen Computergerät 100 befinden und/oder auf diesem ausgeführt werden. Das mobile Computergerät 100 kann die Module 130, 134, 136, 138 und Anwendungen 132 unter Nutzung eines oder mehrerer Prozessoren ausführen. In einigen Fällen kann das mobile Computergerät 100 die Module 130, 134, 136, 138 und Anwendungen 132 als eine oder mehrere virtuelle Maschinen ausführen, die auf zugrundeliegender Hardware ausgeführt werden. Die Module 130, 134, 136, 138 und die Anwendungen 132 können auf verschiedene Weisen implementiert werden. Jedes der Module 130, 134, 136, 138 und/oder Anwendungen 132 kann zum Beispiel als herunterladbare oder vorinstallierte Anwendung oder „App“ implementiert sein. In einigen Beispielen können eines oder mehrere derselben als ein Dienst eines Betriebssystems oder einer Computerplattform ausgeführt werden.
  • Die Anwendungen 132 des mobilen Computergeräts 100 können verschiedene Funktionen ausführen oder auf einen oder mehrere Dienste für das mobile Computergerät 100 zugreifen. Eine E-Mail-Anwendung, eine Kameraanwendung, eine Kalenderanwendung, eine Messaging-Anwendung, eine Social-Media-Anwendung, eine Reiseanwendung, eine Spieleanwendung, eine Aktienanwendung und eine Wetteranwendung sind alle Beispiele für die Anwendungen 132.
  • Das UI-Modul 130 kann das Anzeigegerät 102 veranlassen, eine grafische Benutzeroberfläche für einen Benutzer darzustellen. Die grafische Benutzeroberfläche kann beispielsweise grafische Elemente (z. B. Hinweise) beinhalten, die an verschiedenen Stellen des Anzeigegeräts 102 angezeigt werden. Das UI-Modul 130 kann, in einigen Fällen, als Vermittler zwischen verschiedenen Komponenten, Anwendungen und/oder Modulen des mobilen Computergeräts 100 agieren, um Ermittlungen basierend auf Eingaben vorzunehmen, die durch das Anzeigegerät 102 erkannt werden, und um Ausgaben zu erzeugen, die durch das Anzeigegerät 102 dargestellt werden. Das UI-Modul 130 kann beispielsweise Informationen von dem Anzeigegerät 102 im Zusammenhang mit Eingaben, die durch das Anzeigegerät 102 erkannt werden, empfangen und die Eingabeinformationen an eines oder mehrere der Module 130, 134, 136, 138 und Anwendungen 132 übermitteln. Das UI-Modul 130 kann auch Ausgabeinformationen von den Modulen 130, 134, 136, 138 und/oder Anwendungen 132 empfangen und die Ausgabeinformationen zur Anzeige auf dem Anzeigegerät 102 bereitstellen.
  • Ein Benutzer kann im Verlaufe der Zeit aktiv mit dem mobilen Computergerät 100 interagieren. Das mobile Computergerät 100 kann einen oder mehrere Interaktionsmodi bereitstellen, mit denen der Benutzer mit dem mobilen Computergerät 100 interagieren kann, wie z. B. mit einer oder mehreren der Anwendungen 132 während der Ausführung. In vielen Fällen kann der Benutzer eine oder mehrere Gesten ausführen, um mit dem mobilen Computergerät 100 zu interagieren.
  • Die Nutzung des Anzeigegeräts 102 als einziges Verfahren zur Eingabe über ein mobiles Gerät (z. B., wenn das Anzeigegerät 102 eine präsenzempfindliche Anzeige, wie z. B. einen Touchscreen, umfasst) stößt immer häufiger auf bestimmte Einschränkungen. Beispielsweise können die Schwierigkeit der einhändigen Bedienung und die Verdeckung der optischen Informationen durch den bedienenden Finger zwei solcher Einschränkungen sein. Infolgedessen beschreibt die vorliegende Offenbarung Techniken zur Nutzung nicht nur der Interaktion auf dem Bildschirm mit dem Anzeigegerät 102, jedoch auch der Interaktion außerhalb des Bildschirms unter Nutzung der vorhandenen Sensoren 104 an dem mobilen Computergerät 100.
  • Die Sensoren 104 können beispielsweise, zusätzlich zu anderen mit dem Anzeigegerät 102 assoziierten Sensoren (z. B. präsenzempfindliche Sensoren), eine Trägheitsmesseinheit (IMU) beinhalten (z. B. die Trägheitsmesseinheit 233 von 2), die ein oder mehrere Gyroskope, Beschleunigungsmesser und/oder Magnetometer beinhaltet. Basierend auf von den Sensoren 104 bereitgestellten Eingaben kann das Gestenerkennungsmodul 134 in verschiedenen Beispielen und wie nachfolgend näher beschrieben ein neuronales Faltungsnetzwerk mit mehreren Eingängen und Ausgängen für die Erkennung von Gesten außerhalb des Bildschirms (z. B. Antippen) nutzen. Dieses Erkennungsverfahren ermöglicht die Vorhersage mehrerer Gestenattribute, von denen jedes eine Erkennungsaufgabe sein kann. Diese Gestenattribute können die Gestenposition, die Gestenrichtung, die Gestenbedingung und/oder die Gestenkraft umfassen, wie ferner nachfolgend beschrieben.
  • Als ein Beispiel kann der Benutzer eine oder beide Hände zur Ausführung von Gesten auf dem mobilen Computergerät 100 verwenden, die auf dem Anzeigegerät 102 ausgeführte Gesten und/oder außerhalb des Bildschirms ausgeführte Gesten beinhalten können, die nicht auf dem Anzeigegerät 102 ausgeführt werden. Gesten außerhalb des Bildschirms können Gesten beinhalten, die an einem oder mehreren Abschnitten (z. B. einem oder mehreren hinteren und/oder seitlichen Abschnitten) des Gehäuses 103 des mobilen Computergeräts 100 ausgeführt werden.
  • In dem Beispiel von 1A kann der Benutzer beispielsweise die rechte Hand 113 zur Ausführung einer oder mehrerer Gesten auf der mobilen Computernutzung 100 nutzen. Die rechte Hand 113 beinhaltet die Finger 115, 116, 117, 118, und 119. Wie in 1A angegeben, hält die rechte Hand 113 des Benutzers das mobile Computergerät 100. Der Daumenfinger 115 ist in Kontakt mit einem oder mehreren rechtsseitigen Abschnitten des Gehäuses 103, und die Finger 117, 118, 119 sind in Kontakt mit einem oder mehreren linksseitigen Abschnitten des Gehäuses 103. Zusätzlich ist der Zeigefinger 116 in Kontakt mit einem oder mehreren hinteren Abschnitten 101 des Gehäuses 103, wie in 1A angegeben. Die hinteren Abschnitte 101 können einen oder mehrere bestimmte Abschnitte oder Bereiche umfassen, die auf einer hinteren oder Rückseite des Gehäuses 103 beinhaltet sind.
  • Wie nachfolgend näher beschrieben wird, kann das mobile Computergerät 100 das Gestenerkennungsmodul 134 zur Identifizierung, basierend auf einer ersten Gruppe von Sensorsignalen, die von zumindest einer in den Sensoren 104 beinhalteten Trägheitsmesseinheit (IMU) bereitgestellt werden, von zumindest einer Geste nutzen, die in einem oder mehreren Abschnitten des Gehäuses 103 ausgeführt wird, die von dem Anzeigegerät 102 getrennt sind. Beispielsweise kann das Gestenerkennungsmodul 134 eine oder mehrere hintere Tippgesten (z. B. eine hintere Doppeltippgeste) identifizieren, die der Finger 116 des Benutzers an einem oder mehreren hinteren Abschnitten 101 des Gehäuses 103 ausführt, basierend auf einer Gruppe von Sensorsignalen, die von der in den Sensoren 104 beinhalteten IMU bereitgestellt werden. In einigen Fällen kann die IMU (z. B. die in 2 dargestellte IMU 233) eine beliebige Kombination aus einem oder mehreren Gyroskopen, einem Beschleunigungsmesser und/oder einem Magnetometer beinhalten.
  • In Reaktion auf das die zumindest eine Geste identifizierende Gestenerkennungsmodul 134 kann das mobile Computergerät 100 den Interaktionsmoduswähler 136 und/oder die Interaktionsmodusmodule 138 zur Initiierung eines Interaktionsmodus nutzen. In einigen Fällen kann jedes der Interaktionsmodusmodule 138 einen jeweiligen Interaktionsmodus für die Interaktion mit dem Benutzer während der Ausführung der Anwendungen 132 bereitstellen. Wie nachfolgend näher beschrieben und auch in 2 dargestellt, können die Interaktionsmodusmodule 138 beispielsweise ein Barrierefreiheitsmodusmodul 240, ein Assistenzmodusmodul, ein Trägheitsmodusmodul und/oder ein Hintergrundmodusmodul beinhalten.
  • Eines oder mehrere der Interaktionsmodusmodule 138 können, basierend auf einer zweiten Gruppe von durch Sensoren 104 bereitgestellten Sensorsignalen, zumindest einen optischen oder akustischen Indikator für den Interaktionsmodus ausgeben, der mit einer bestimmten Funktion des mobilen Computergeräts 100 assoziiert ist. Beispielsweise kann der Interaktionsmodulwähler 136, nachdem das Gestenerkennungsmodul 134 eine hintere Doppeltippgeste identifiziert hat, einen Barrierefreiheitsmodus auswählen, der von den Interaktionsmodusmodulen 138 bereitgestellt wird. Der Barrierefreiheitsmodus kann akustische und/oder optische Barrierefreiheitsfunktionen bereitstellen, während der Benutzer mit dem mobilen Computergerät 100, wie z. B. mit dem Anzeigegerät 102, interagiert.
  • Wie in 1A dargestellt, kann der Benutzer während eines solchen Barrierefreiheitsmodus beispielsweise einen oder mehrere Finger benutzen, um die Inhalte zu erkunden, die auf dem Anzeigegerät 102 ausgegeben werden. 1A veranschaulicht, dass das mobile Computergerät 100 das UI-Modul 130 zur Ausgabe von Datums- (z. B. „Dienstag, 5. Mai“) und Temperaturinformationen (z. B. „60°F“) auf dem Anzeigegerät 102 nutzen kann. Das UI-Modul 130 kann ebenfalls verschiedene grafische Symbole ausgeben, die mit verschiedenen Komponenten oder Anwendungen, wie z. B. Anwendungen 132, assoziiert sind. In 1A werden auf dem Anzeigegerät 102 vier solcher grafischen Symbole angezeigt, die vier verschiedenen Anwendungen entsprechen (z. B. „App 1“, App 2", „App 3“ und „App 4“), die von dem mobilen Computergerät 100 ausgeführt werden können.
  • Jedes dieser vier grafischen Symbole kann in einer bestimmten jeweiligen Region einer auf dem Anzeigegerät 102 ausgegebenen grafischen Benutzeroberfläche (GUI) angezeigt werden. Beispielsweise kann das mit einer ersten Anwendung („App 1“) assoziierte erste Symbol innerhalb der Region 108 der GUI angezeigt werden; das mit einer zweiten Anwendung („App 2“) assoziierte zweite Symbol kann innerhalb der Region 110 der GUI angezeigt werden; das mit einer dritten Anwendung („App 3“) assoziierte dritte Symbol kann innerhalb der Region 112 der GUI angezeigt werden; und das mit einer vierten Anwendung („App 4“) assoziierte vierte Symbol kann innerhalb der Region 114 der GUI angezeigt werden.
  • Wie zuvor angegeben, kann der Benutzer während eines Barrierefreiheitsmodus einen oder mehrere Finger benutzen, um den auf dem Anzeigegerät 102 ausgegebenen Inhalt der GUI zu erkunden. In einigen Fällen können die Interaktionsmodulmodule 138 ein weiteres grafisches Symbol 106 ausgeben, das angibt, dass das mobile Computergerät 100 zur Zeit im Barrierefreiheitsmodus arbeitet. Umfasst das Anzeigegerät 102 eine präsenzempfindliche Anzeige, kann der Benutzer (z. B. ein sehbehinderter Benutzer) einen oder mehrere Finger (z. B. einen oder mehrere Finger der rechten Hand 113 oder der linken Hand des Benutzers) verwenden, um eine oder mehrere Berührungsgesten (z. B. Schiebe- oder Bewegungsgesten) auf dem Anzeigegerät 102 auszuführen. Basierend auf von einem oder mehreren der Sensoren 104 (z. B. einem oder mehreren Sensoren, die Berührungen oder das Vorhandensein von Fingern in einer oder mehreren Regionen der von dem Anzeigegerät 102 ausgegebenen GUI identifizieren) bereitgestellten Sensorsignalen können die Interaktionsmodule 138 zumindest einen optischen oder akustischen Indikator auf den Interaktionsmodus ausgeben, der mit einer bestimmten Funktion des mobilen Computergeräts 100 assoziiert ist.
  • Benutzt der Benutzer beispielsweise einen Finger, um eine beliebige Position innerhalb der Region 108 der GUI-Ausgabe auf dem Anzeigegerät 102 zu berühren oder sich dieser zu nähern, können die Interaktionsmodusmodule 138 einen akustischen Indikator ausgeben, der mit der ersten Anwendung („App 1“) assoziiert ist. Als ein Beispiel können die Interaktionsmodusmodule 138 (z. B. über ein Lautsprechergerät des mobilen Computergeräts 100) eine Audio-Sprachausgabe ausgeben, die die Aussage „App 1“ angibt, um den Namen dieser ersten Anwendung (z. B. einer E-Mail-Anwendung) hörbar zu identifizieren. Die ausgegebene Audio-Sprachausgabe gibt den Inhalt an, der in der Region 108 der grafischen Benutzeroberfläche angezeigt wird, in der die Geste ausgeführt wird. Als Ergebnis kann der Benutzer den Namen dieser ersten Anwendung hören, während der Finger des Benutzers die Region 108 berührt.
  • Wie in 1B dargestellt, können die Interaktionsmodusmodule 138 eine Audio-Sprachausgabe bereitstellen, die die Aussage „App 4“ angibt, um den Namen dieser zweiten Anwendung (z. B. eine Taschenrechneranwendung) hörbar zu identifizieren, wenn der Benutzer seinen Finger weiterhin zu einer Position innerhalb der Region 114 bewegt. Wie in dem Beispiel von 1B dargestellt, kann der Benutzer den Finger 115 der rechten Hand 113 in die Region 114 bewegen, obwohl in anderen Beispielen der Benutzer auch jeden anderen Finger der rechten Hand 113 oder jeden Finger der linken Hand des Benutzers in die Region 114 bewegen kann. Auf diese Weise kann der Benutzer mit einem oder mehreren Fingern über die GUI-Ausgabe auf dem Anzeigegerät navigieren, um z. B. die entsprechenden Namen der Identifikatoren von Anwendungen zu hören, die mit Regionen der GUI assoziiert sind, an denen sich der oder die Finger des Benutzers zur Zeit befinden.
  • In bestimmten Beispielen können die Interaktionsmodusmodule 138 entweder zusätzlich zu oder anstelle der Bereitstellung einer oder mehrerer akustischer Indikatoren für die mit den Regionen 108, 110, 112, 114 assoziierten Informationen, wie zuvor beschrieben, einen oder mehrere optische Indikatoren für den Interaktionsmodus (z. B. den Barrierefreiheitsmodus) als Anzeigegerät 102 ausgeben. In Fortsetzung des vorherigen Beispiels, in dem der Benutzer den Finger 115 in die mit der vierten Anwendung („App 4“) assoziierte Region 114 bewegt hat, können die Interaktionsmodusmodule 138 zusätzlich zu der Sprachausgabe, die die Aussage „App 4“ angibt, auch einen optischen Indikator bereitstellen, der mit „App 4“ für die Region 114 assoziiert ist, wie z. B. durch Bereitstellung einer optischen Vergrößerung des in der Region 114 beinhalteten grafischen Symbols für „App 4“ (z. B. für einen sehbehinderten Benutzer), wie in 1C dargestellt. 1C veranschaulicht eine derartige optische Vergrößerung dieser innerhalb des Lupensymbols 121 enthaltenen Inhalte, die Inhalte sein können, die in der Region 114 angezeigt werden, in der die aktuelle Berührungsgeste mit dem Finger 115 ausgeführt wird.
  • Möchte der Benutzer die auf dem Anzeigegerät 102 ausgegebenen Informationen (z. B. die in den Regionen 108, 110 und/oder 112 enthaltenen Informationen) weiter erkunden, kann der Benutzer den Finger 115 auf dem Anzeigegerät 102 bewegen, um einen optischen und/oder akustischen Indikator für die in einer dieser Regionen enthaltenen Inhalte zu erhalten, während sich der Finger 115 von Region zu Region bewegt. In diesem Fall kann sich das in 1C veranschaulichte Lupensymbol 121 auch optisch innerhalb der GUI bewegen, um den Inhalt in diesen Regionen selektiv zu vergrößern, wenn der Finger 115 bewegt wird. In bestimmten Fällen können die Interaktionsmodusmodule 138 nur einen oder mehrere optische(n) Indikator(en) ausgeben, wie in 1C dargestellt, wenn sich der Finger 115 von Region zu Region bewegt, ohne notwendigerweise akustische Indikatoren (z. B. gesprochene Wörter oder Aussagen) auszugeben. Auf diese Weise können die Interaktionsmodusmodule 138 optische und/oder akustische Indikatoren in Reaktion auf die Benutzernavigation mit einem oder mehreren Fingern über die Inhaltsausgabe auf dem Anzeigegerät 102 bereitstellen.
  • In Reaktion auf eine solche Navigation kann der Benutzer auch eines der grafischen Symbole auswählen, die innerhalb der jeweiligen Regionen der GUI beinhaltet sind. Befindet sich der Finger des Benutzers beispielsweise in der Region 114, kann der Benutzer eine oder mehrere Gesten zur Auswahl des grafischen Symbols für „App 4“ ausführen, wie z. B. durch Ausführen, z. B. einer einzelnen hinteren Tippgeste an Abschnitt 101 des Gehäuses 103 unter Nutzung des Fingers 116.
  • Das Gestenerkennungsmodul 134 kann, basierend auf einer weiteren Gruppe von Sensorsignalen, die von den Sensoren 104 bereitgestellt werden, diese zumindest eine zweite Geste identifizieren, die an dem einen oder mehreren Abschnitten des Gehäuses 103 ausgeführt wird, um die Auswahl einer bestimmten Funktion durch den Benutzer zu bestätigen, wie z. B. die Ausführung der vierten Anwendung, die mit der Region 114 assoziiert ist. In Reaktion auf die Identifizierung der zumindest einen zweiten Geste kann das mobile Computergerät 100 eine entsprechende Funktion ausführen (z. B. die vierte Anwendung der Anwendungen 132 ausführen). Daher kann das mobile Computergerät 100, nach dem Initiieren eines solchen Interaktionsmodus, zur Ausführung einer oder mehrerer Funktionen basierend auf einer oder mehreren auf dem Bildschirm und/oder außerhalb des Bildschirms erkannten Gesten konfiguriert sein. Interaktion außerhalb des Bildschirms kann in verschiedenen Fällen einhändige und/oder augenfreie mobile Interaktion ermöglichen. Nach der Identifizierung einer weiteren, in einem oder mehreren Abschnitten des Gehäuses 103 ausgeführten Geste (z. B. einer weiteren hinteren Tippgeste) durch das Gestenerkennungsmodul 134, können die Interaktionsmodusmodule 138 basierend auf der Erkennung eines oder mehrerer von den Sensoren 104 bereitgestellten weiteren Sensorsignale, die die Absicht des Benutzers anzeigen, den aktuellen Interaktionsmodus zu verlassen, diesen Interaktionsmodus beenden.
  • 2 ist ein Blockdiagramm, das ein beispielhaftes mobiles Computergerät 200 gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung veranschaulicht. Das mobile Computergerät 200 kann ein Beispiel des in den 1A-1C veranschaulichten mobilen Computergeräts 100 umfassen, wobei gleich nummerierte Komponenten gleiche Funktionen bereitstellen können, wie sie mit Bezugnahme auf 1A-1C beschrieben sind. 2 stellt nur ein bestimmtes Beispiel des mobilen Computergeräts 200 dar, und viele andere Beispiele des mobilen Computergeräts 200 können in anderen Fällen genutzt werden und eine Teilmenge der Komponenten beinhalten, die in dem beispielhaften mobilen Computergerät 200 beinhaltet sind, oder können zusätzliche Komponenten beinhalten, die in 2 nicht dargestellt sind.
  • In dem Beispiel von 2 weist das mobile Computergerät 200 ein Gehäuse 203 auf und beinhaltet das präsenzempfindliche Anzeigegerät 202, einen oder mehrere Prozessoren 220, eine oder mehrere Eingabekomponenten 222, eine oder mehrere Kommunikationseinheiten 224, eine oder mehrere Ausgabekomponenten 226, einen oder mehrere Sensoren 204, eine Stromquelle 228 und ein oder mehrere Speichergeräte 250. Die Kommunikationskanäle 227 können jede der Komponenten 220, 222, 202, 224, 204, 228, 226, und/oder 250 für Kommunikationen zwischen den Komponenten (physisch, kommunikativ und/oder operativ) miteinander verbinden. In einigen Beispielen können die Kommunikationskanäle 227 einen Systembus, eine Netzwerkverbindung, eine prozessübergreifende Kommunikationsdatenstruktur oder jedwedes andere Verfahren zum Übermitteln von Daten zwischen Hardware und/oder Software beinhalten.
  • Eine oder mehrere Eingabekomponenten 222 des mobilen Computergeräts 200 können Eingaben empfangen, wie z. B. Eingaben von einem Benutzer. Beispiele für Eingaben sind Berührungs-/taktile, präsenzempfindliche und Audioeingaben. Beispiele für die Eingabekomponenten 222 beinhalten einen präsenzempfindlichen Bildschirm, einen berührungsempfindlichen Bildschirm, einen Touchscreen, eine Maus, eine Tastatur, ein Trackpad, ein auf Sprache reagierendes System, eine Videokamera, ein Mikrofon oder eine beliebige andere Art von Gerät zum Erkennen von Eingaben von einem Menschen oder einer Maschine.
  • Eine oder mehrere Ausgabekomponenten 226 des mobilen Computergeräts 200 können Ausgaben erzeugen. Beispiele für Ausgaben sind haptische, Audio- und visuelle Ausgaben. Beispiele für Ausgabekomponenten 226 beinhalten einen präsenzempfindlichen Bildschirm, einen berührungsempfindlichen Bildschirm, einen Touchscreen, eine Soundkarte, eine Videografikkarte, einen Lautsprecher, eine Flüssigkristallanzeige (LCD), eine organische Leuchtdiodenanzeige (OLED), eine Mikroleuchtdiodenanzeige (microLED), eine organische Leuchtdiodenanzeige mit aktiver Matrix (AMOLED), ein haptisches Gerät oder jede andere Art von Gerät zur Erzeugung von Ausgaben für einen Menschen oder eine Maschine.
  • Eine oder mehrere Kommunikationseinheiten 224 des mobilen Computergeräts 200 können über ein oder mehrere Netzwerke mit externen Geräten kommunizieren, indem sie Netzwerksignale über das eine oder die mehreren Netzwerke (z. B. ein oder mehrere drahtgebundene oder drahtlose Netzwerke) senden und/oder empfangen. Das mobile Computergerät 200 kann zum Beispiel die Kommunikationseinheiten 224 nutzen, um Funksignale in einem Funknetz, wie z. B. einem Mobilfunknetz, zu senden und/oder zu empfangen. Gleichermaßen können die Kommunikationseinheiten 224 Satellitensignale in einem Satellitennetzwerk, wie z. B. einem GPS-Netzwerk (globales Positionsbestimmungssystem), senden und/oder empfangen. Beispiele für Kommunikationseinheiten 224 beinhalten eine Netzwerkschnittstellenkarte (wie z. B. eine Ethemetkarte), einen optischen Sendeempfänger, einen Hochfrequenz-Sendeempfänger, einen GPS-Empfänger oder eine beliebige andere Art von Gerät, das Informationen senden und/oder empfangen kann. Andere Beispiele für Kommunikationseinheiten 224 können Kurzwellenradios, Mobilfunkdatenradios, drahtlose Ethernet-Netzwerkradios, sowie USB (Universal Serial Bus) -Controller beinhalten.
  • Das präsenzempfindliche Anzeigegerät 202 des mobilen Computergeräts 200 beinhaltet eine Anzeigekomponente 223 und eine präsenzempfindliche Eingabekomponente 225. In einigen Beispielen kann das präsenzempfindliche Anzeigegerät 202 eine Ausgabe für einen Benutzer unter Nutzung von haptischen, Audio- oder Video-Stimuli bereitstellen, wie mit Bezugnahme auf die Ausgabekomponenten 226 beschrieben wird. Die Anzeigekomponente 223 kann beispielsweise eine Anzeige oder eine Videoausgabe bereitstellen, wie mit Bezugnahme auf die Ausgabekomponenten 226 beschrieben. Das präsenzempfindliche Anzeigegerät 202 kann auch Eingabemöglichkeiten bereitstellen, wie z. B. die zuvor mit Bezugnahme auf die Eingabekomponenten 222 beschriebenen. So kann beispielsweise die präsenzempfindliche Eingabekomponente 225 Eingabemöglichkeiten bereitstellen, wie mit Bezugnahme auf die Eingabekomponenten 222 beschrieben.
  • Die Anzeigekomponente 223 kann ein Bildschirm sein, auf dem Informationen von dem präsenzempfindlichen Anzeigegerät 202 angezeigt werden, und die präsenzempfindliche Eingabekomponente 225 kann ein Objekt an und/oder in der Nähe der Anzeigekomponente 223 erkennen. Als ein beispielhafter Bereich kann die präsenzempfindliche Eingabekomponente 225 ein Objekt, wie z. B. einen Finger oder einen Eingabestift, erkennen, der sich in einem Abstand von zwei Zoll oder weniger zu der Anzeigekomponente 223 befindet. Die präsenzempfindliche Eingabekomponente 225 kann eine Position (z. B. eine [x, y]-Koordinate) auf der Anzeigekomponente 223 ermitteln, an der das Objekt erkannt wurde. In einem anderen beispielhaften Bereich kann die präsenzempfindliche Eingabekomponente 225 ein Objekt erkennen, das sechs Zoll oder weniger von der Anzeigekomponente 223 entfernt ist, wobei andere Bereiche ebenfalls möglich sind. Die präsenzempfindliche Eingabekomponente 225 kann die Position auf der Anzeigekomponente 223, die durch den Finger eines Benutzers ausgewählt wird, unter Nutzung von kapazitiven, induktiven, radarbasierten und/oder optischen Erkennungstechniken ermitteln. In einigen Beispielen stellt die präsenzempfindliche Eingabekomponente 225, wie in Bezug auf die Anzeigekomponente 223 beschrieben, auch eine Ausgabe für einen Benutzer unter Nutzung von Berührungs-, präsenzempfindlichen, Audio- oder Video-Stimuli bereit. Die Anzeigekomponente 223 kann ein beliebiges Ausgabegerät sein, das eine visuelle Ausgabe bereitstellt, wie z. B. in Bezug auf die Ausgabekomponenten 226 beschrieben.
  • Obwohl als eine interne Komponente des mobilen Computergeräts 200 dargestellt, kann das präsenzempfindliche Anzeigegerät 202 auch eine externe Komponente darstellen, die sich einen Datenpfad mit mobilem Computergerät 200 zum Übertragen und/oder Empfangen von Eingaben und Ausgaben teilt. In einem Beispiel stellt das präsenzempfindliche Anzeigegerät 202 beispielsweise eine eingebaute Komponente des mobilen Computergeräts 200 dar, die innerhalb der externen Verpackung des mobilen Computergeräts 200 (z. B. ein Bildschirm eines Mobiltelefons) angeordnet und physisch damit verbunden ist. In einem anderen Beispiel stellt das präsenzempfindliche Anzeigegerät 202 eine externe Komponente des mobilen Computergeräts 200 dar, die sich außerhalb und physisch getrennt von der Verpackung des mobilen Computergeräts 200 (z. B. ein Monitor und/oder ein Projektor, der sich einen drahtgebundenen und/oder drahtlosen Datenpfad mit einem Tablet-Computer teilt) befindet.
  • Das präsenzempfindliche Anzeigegerät 202 des mobilen Computergeräts 200 kann zweidimensionale und/oder dreidimensionale Gesten als Eingabe von einem Benutzer des mobilen Computergeräts 200 erkennen. So kann beispielsweise ein Sensor des präsenzempfindlichen Anzeigegeräts 202 (z. B. Sensor der präsenzempfindlichen Eingabekomponente 225) eine Bewegung eines Benutzers (z. B. Bewegen einer Hand, eines Arms, eines Stifts, eines Eingabestifts) innerhalb eines Schwellenabstands zu dem Sensor des präsenzempfindlichen Anzeigegeräts 202 erkennen. Das präsenzempfindliche Anzeigegerät 202 kann eine zwei- oder dreidimensionale Vektordarstellung der Bewegung ermitteln und die Vektordarstellung mit einer Gesteneingabe (z. B. ein Winken mit der Hand, ein Zusammenführen der Finger, ein Klatschen, eine Stiftberührung) korrelieren, die mehrere Dimensionen aufweist. Mit anderen Worten kann das präsenzempfindliche Anzeigegerät 202 eine multidimensionale Geste erkennen, ohne dass der Benutzer diese Geste auf oder in der Nähe von einem Bildschirm oder einer Oberfläche (z. B. der Anzeigekomponente 223), auf dem bzw. der das Anzeigegerät 202 Informationen zur Anzeige ausgibt, ausführen muss. Stattdessen kann das präsenzempfindliche Anzeigegerät 202 eine multidimensionale Geste erkennen, die an oder in der Nähe von einem Sensor ausgeführt wird, der sich in der Nähe des Bildschirms oder der Oberfläche, auf dem bzw. der das präsenzempfindliche Anzeigegerät 202 Informationen zur Anzeige ausgibt, befinden kann, aber nicht muss.
  • Ein oder mehrere Speichergeräte 250 innerhalb des mobilen Computergeräts 200 können Informationen zur Verarbeitung während des Betriebs des mobilen Computergeräts 200 speichern (z. B. während der Ausführung von einem oder mehreren von dem UI-Modul 230, den Anwendungen 232, dem Betriebssystem 254 oder dem Gestenerkennungsmodul 234). In einigen Beispielen beinhalten die Speichergeräte 250 einen temporären Speicher, was bedeutet, dass der Hauptzweck der Speichergeräte 250 nicht die Langzeitspeicherung ist. Die Speichergeräte 250 auf dem mobilen Computergerät 200 können zur Kurzzeitspeicherung von Informationen als flüchtige Speicher konfiguriert sein, weshalb, wenn diese ausgeschaltet werden, die gespeicherten Inhalte verloren gehen. Beispiele für flüchtige Speicher beinhalten Direktzugriffsspeicher (RAM), dynamische Direktzugriffsspeicher (DRAM), statische Direktzugriffsspeicher (SRAM) und andere Formen von flüchtigen Speichern, die auf dem Fachgebiet bekannt sind.
  • Die Speichergeräte 250 beinhalten in einigen Beispielen ein oder mehrere computerlesbare Speichermedien. Die Speichergeräte 250 können konfiguriert sein, größere Mengen von Informationen als flüchtige Speicher zu speichern. Die Speichergeräte 250 können ferner zur Langzeitspeicherung von Informationen als nichtflüchtiger Speicherplatz und zum Halten von Informationen nach Einschalt- /Ausschaltzyklen konfiguriert sein. Beispiele für nichtflüchtige Speicher beinhalten magnetische Festplatten, optische Datenträger, Disketten, Flashspeicher oder Formen von elektrisch programmierbaren Speichern (EPROM) oder von elektrisch überschreibbaren und programmierbaren Speichern (EEPROM). Speichergeräte 250 können Programmanweisungen und/oder Daten speichern, die mit einer oder mehreren Anwendungen 232, dem UI-Modul 230, dem Betriebssystem 231, dem Gestenerkennungsmodul 234, dem Interaktionsmoduswähler 236 und den Interaktionsmodusmodulen 238 assoziiert sind. Das UI-Modul 230, die Anwendungen 232, das Gestenerkennungsmodul 234, der Interaktionsmoduswähler 236 und die Interaktionsmodusmodule 238 können Beispiele für das in 1 dargestellte entsprechende UI-Modul 130, die Anwendungen 132, das Gestenerkennungsmodul 134, den Interaktionsmoduswähler 136 und die Interaktionsmodusmodule 138 umfassen.
  • In bestimmten Beispielen können die Speichergeräte 250 oder eine oder mehrere der Komponenten, die in den Speichergeräten 250 beinhaltet sind, auf einem oder mehreren entfernten Computergeräten gespeichert werden, die sich außerhalb des mobilen Computergeräts 200 befinden (z. B. auf einem oder mehreren externen Servern). In einigen Beispielen können ein oder mehrere entfernte Computergeräte das UI-Modul 230, die Anwendungen 232 und/oder das Betriebssystem 231 speichern und/oder ausführen. In diesen Beispielen können das eine oder die mehreren entfernten Computergeräte eine Funktionalität ähnlich der hierin unter Bezugnahme auf die Prozessoren 220 beschriebenen durchführen.
  • Wie in 2 dargestellt, kann das mobile Computergerät 200 eine Stromquelle 228 beinhalten. In einigen Beispielen kann die Stromquelle 228 eine Batterie sein. Die Stromquelle 228 kann Energie für eine oder mehrere Komponenten des Computergeräts 200 bereitstellen. Nicht einschränkende Beispiele für die Stromquelle 228 können Batterien beinhalten, die Zink-Kohle-, Bleisäure-, Nickel-Cadmium-(NiCd-), Nickel-Metallhydrid- (NiMH-), Lithium-Ionen- (Li-Ion-) und/oder Lithium-Ionenpolymer- (Li-Ionenpolymer)-Zusammensetzungen beinhalten, sind jedoch nicht unbedingt darauf beschränkt. In einigen Beispielen kann die Stromquelle 228 eine begrenzte Kapazität (z. B. 1000-3000 mAh) aufweisen.
  • Das mobile Computergerät 200 beinhaltet außerdem einen oder mehrere Sensoren 204. In einigen Beispielen kann ein oder können mehrere der Sensoren 204 Beispiele für eine oder mehrere der Eingabekomponenten 222 und/oder präsenzempfindliche Eingabekomponenten 225 sein. Die Sensoren 204 beinhalten eine Trägheitsmesseinheit (IMU) 233. Beispielsweise kann die IMU 233 ein oder mehrere Gyroskope, wie ein oder mehrere Hochfrequenzgyroskope (z. B. ein 200 Hz-Gyroskop), Beschleunigungsmesser und/oder Magnetometer beinhalten. Wie hierin beschrieben, können die Sensoren 204 des mobilen Computergeräts 200 konfiguriert sein, eine Echtzeitausrichtung, -drehung oder eine andere Bewegung des mobilen Computergeräts 200 im dreidimensionalen Raum zu ermitteln.
  • Ein oder mehrere Prozessoren 220 können Funktionalität implementieren und/oder Anweisungen innerhalb des Computergeräts 200 ausführen. Beispielsweise können die Prozessoren 220 auf dem mobilen Computergerät 200 von den Speichergeräten 250 gespeicherte Anweisungen empfangen und ausführen, die die Funktionen der Anwendungen 232, des Betriebssystems 231, des UI-Moduls 230, des Interaktionsmoduswählers 236, des Gestenerkennungsmoduls 234 und/oder der Interaktionsmodusmodule 238 ausführen. Diese durch die Prozessoren 220 ausgeführten Anweisungen können das mobile Computergerät 200 veranlassen, während der Programmausführung Informationen in den Speichergeräten 250 zu speichern. Die Prozessoren 220 können Anweisungen des Betriebssystems 231 und der Anwendungen 232 ausführen, um eine oder mehrere Operationen auszuführen. Das heißt, das Betriebssystem 231 und die Anwendungen 232 können von den Prozessoren 220 zur Ausführung verschiedener hierin beschriebener Funktionen betrieben werden.
  • In einigen alternativen Beispielen kann das mobile Computergerät 200 nur die Prozessoren 220 umfassen oder anderweitig beinhalten. In diesen Beispielen können die Eingabekomponenten 222, das präsenzempfindliche Anzeigegerät 202, die Kommunikationseinheiten 224, die Ausgabekomponenten 226, Sensoren 204, die Stromquelle 228 und die Speichergeräte 250 extern zu dem mobilen Computergerät 200, jedoch kommunikativ mit diesem (z. B. über Kommunikationskanäle 227) gekoppelt sein.
  • Die Anwendungen 232 können eine oder mehrere verschiedene Anwendungen beinhalten. Eine E-Mail-Anwendung, eine Kameraanwendung, eine Karten- oder Navigationsanwendung, eine Kalenderanwendung, eine Messaging-Anwendung, eine Social-Media-Anwendung, eine Reiseanwendung, eine Spieleanwendung, eine Aktienanwendung und eine Wetteranwendung sind alle Beispiele für die Anwendungen 232.
  • Wie in 2 dargestellt, beinhaltet das Gestenerkennungsmodul 234 ein Maschinenlernmodul 229. Basierend auf von den Sensoren 204 bereitgestellten Eingaben kann das Gestenerkennungsmodul 234 in verschiedenen Beispielen und wie nachfolgend näher beschrieben ein neuronales Faltungsnetzwerkmodel mit mehreren Eingängen und Ausgängen, wie z. B. in 3 dargestellt, für die Erkennung von Gesten außerhalb des Bildschirms (z. B. Antippen) nutzen. Dieses Erkennungsverfahren ermöglicht die Vorhersage von mehreren Gestenattributen. Das Maschinenlernmodul 229 kann zur Durchführung einer solchen Vorhersage konfiguriert sein.
  • Das Maschinenlernmodul 229 kann beispielsweise ein neuronales Faltungsnetzwerk verwenden, um Signale zu erkennen, die von den Sensoren 204 bereitgestellt werden, wie z. B. der Trägheitsmesseinheit 233. In bestimmten Beispielen können beispielsweise bei jedem Antippen des Gehäuses 203 des mobilen Computergeräts 200 durch den Benutzer die durch das Tippen verursachten Bewegungssignale von der Trägheitsmesseinheit 233 erfasst und von dem Maschinenlernmodul 229 verwendet werden, um die Tippposition, -richtung (z. B. Vorderseite, Rückseite und vier Ränder), - bedingung (z. B. Tippen mit dem Fingernagel oder mit der Fingerkuppe) und/oder die angewendete Kraft zu erkennen. In ähnlicher Weise kann das Maschinenlernmodul 229 auch die Signale der Trägheitsmesseinheit immer dann klassifizieren, wenn der Benutzer das mobile Computergerät 200 neigt.
  • Dieses neuronale Netzwerkmodell verwendet die Berührungspositionsinformationen des Touchscreens (z. B. die präsenzempfindliche Eingabekomponente 225) sowie Barometer- und IMU-Signale, um gemeinsam die Tippposition (x, y), die Richtung (vorne/hinten/vier Seiten), die Bedingung (Fingerkuppe oder -nagel) und/oder die Kraft zu schätzen. Ist die geschätzte Tippkraft stark genug, wird sie als potenzielles absichtliches Tippen betrachtet. Zu beachten ist, dass Barometerwerte nützlich sein können, da ein starkes Tippen das Telefongehäuse verformen, den Luftdruck im Inneren komprimieren und somit die Barometerwerte beeinflussen würde.
  • 3 ist ein Blockdiagramm, das eine solche beispielhafte Nutzung eines neuronalen Netzwerkmodells 352 zur Identifizierung von Gestenattributen gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellt. In diesem Beispiel kann das in 2 veranschaulichte Maschinenlernmodul 229 das neuronale Netzwerkmodell 352 verwenden, um Gestenattribute, wie z. B. Tippattribute, basierend auf der Analyse von Sensorsignalen, die von den Sensoren 204 bereitgestellt werden, zu klassifizieren und/oder zu ermitteln. In einigen Fällen kann das Maschinenlemmodul 229 von einer eingebetteten digitalen Prozessoreinheit ausgeführt werden, die in den Prozessoren 220 beinhaltet ist.
  • In einigen Fällen kann das Maschinenlernmodul 229 ein kleineres neuronales Faltungsnetzwerkmodell verwenden und kann z. B. unter Nutzung einer eingebetteten digitalen Prozessoreinheit (z. B. einem der Prozessoren 220) in einem Energiesparmodus ausgeführt werden. In verschiedenen Beispielen wird nur dann, wenn das Gestenerkennungsmodul 234 eine bestimmte Geste (z. B. ein Doppeltippen) an dem Gehäuse 203 erkennt, ein rechenintensiveres Netzwerk aktiviert und ausgeführt, z. B. von einer zentralen Hauptverarbeitungseinheit der Prozessoren 220, um verschiedene Tippattribute, wie z. B. Position und Richtung, zu erhalten. Auf diese Weise kann das Gestenerkennungsmodul 234 potenziell die Fälle falscher Auslösung (z. B. unbeabsichtigte Interaktion mit der optischen Hintergrundbildausgabe zur Anzeige auf dem Anzeigegerät 202) einschränken und den Stromverbrauch des mobilen Computergeräts 200 maximal reduzieren.
  • Wie in 3 dargestellt, kann das neuronale Netzwerkmodell 352 verschiedene Signaleingaben von den Sensoren 204 empfangen, wie ein oder mehrere Touchscreen-Signale 353 (z. B. mit der präsenzempfindlichen Eingabekomponente 225 assoziierte Signale), ein oder mehrere von der Trägheitsmesseinheit 233 bereitgestellte Trägheitsmesseinheitssignale 354 und ein oder mehrere andere optionale Sensorsignale 355 (z. B. Signale von einem Barometer, sofern in den Sensoren 204 beinhaltet). Durch die Verarbeitung dieser Eingangssignale 353, 354, 355 als Eingabe kann das neuronale Netzwerkmodell 352 des Maschinenlernmoduls 229 verschiedene Gestenattribute vorhersagen oder identifizieren, beispielsweise eine mit der Geste assoziierte Tippposition 356, eine mit der Geste assoziierte Tipprichtung 357, eine mit der Geste assoziierte Tippbedingung 358 und/oder eine mit der Geste assoziierte Tippkraft 359.
  • Die Tippposition 356 kann die vorhergesagte Position eines Tippereignisses auf einem Abschnitt des Gehäuses 203 des mobilen Computergeräts 200 angeben oder identifizieren, wie z. B. eine (x, y)-Position oder einen Bereich. Die Tippposition 356 kann sich an einem beliebigen Abschnitt des Gehäuses 203 oder an dem präsenzempfindlichen Anzeigegerät 202 befinden. Die Tipprichtung 357 kann eine vorhergesagte Richtung (z. B. vordere Abschnitte des Gehäuses 203, hintere Abschnitte des Gehäuses 203, rechter Rand/seitliche Abschnitte des Gehäuses 203, linker Rand/seitliche Abschnitte des Gehäuses 203, oberer Rand/seitliche Abschnitte des Gehäuses 203, unterer Rand/seitliche Abschnitte des Gehäuses 203) angeben oder identifizieren. Die Tippbedingung 358 kann eine oder mehrere Bedingungen des Tippens (wie z. B. ob das Tippen mit einem Nagel oder einer Fingerkuppe erfolgt) identifizieren oder angeben, und die Tippkraft 359 kann eine durch das Tippen aufgebrachte Kraft angeben oder identifizieren. In einigen Fällen kann das Maschinenlernmodul 229, wenn die geschätzte Tippkraft stark genug ist, den Tippvorgang als absichtliches Tippen und nicht als versehentliches Tippen betrachten.
  • Die Interaktionsmodusmodule 238 von 2 beinhalten verschiedene Module, die von dem Interaktionsmoduswähler 236 basierend auf der von dem Gestenerkennungsmodul 234 identifizierten Geste ausgewählt werden können. In bestimmten Beispielen können eines oder mehrere der Interaktionsmodusmodule 238 in dem Betriebssystem 231 beinhaltet sein oder von diesem ausgeführt werden. Beispielsweise beinhalten die Interaktionsmodusmodule 238 das Barrierefreiheitsmodusmodul 240, das Assistenzmodusmodul 241, das Trägheitsmodusmodul 242 und das Hintergrundmodusmodul 243. In verschiedenen Beispielen kann das Gestenerkennungsmodul 234 eine (z. B. vordefinierte) bestimmte Geste, wie z. B. eine hintere Doppeltippgeste, identifizieren, die den Interaktionsmoduswähler 236 zum Auswählen eines bestimmten Interaktionsmodus veranlassen kann. Diese bestimmte Geste kann eine beliebige Form von Geste sein, wie z. B. eine hintere Doppeltippgeste, eine einzelne hintere Tippgeste, eine an einem seitlichen Abschnitt (z. B. dem rechtsseitigen Abschnitt) des Gehäuses 203 und/oder einem Abschnitt des Anzeigegeräts 202 ausgeführte Randgeste und dergleichen. In einigen Fällen kann das mobile Computergerät 200 dem Benutzer die Anpassung der bestimmten Geste ermöglichen, die verwendet werden kann, um den Interaktionsmoduswähler 236 zur Auswahl eines Interaktionsmodus zu veranlassen.
  • Nachdem das Gestenerkennungsmodul 234 die bestimmte Geste identifiziert hat, kann der Interaktionsmoduswähler 236 eine Interaktion auswählen, die einem der Interaktionsmodusmodule 238 entspricht. Der Interaktionsmoduswähler 236 kann eine solche Auswahl basierend auf einem oder mehreren Faktoren (z. B. dem aktuellen Betriebszustand des mobilen Computergeräts 200, der/den zur Zeit ausgeführten Anwendung(en) der Anwendungen 232, einer Identifizierung einer oder mehrerer vorheriger und/oder nachfolgender Gesten durch das Gestenerkennungsmodul 234, einer Erkennung anderer Sensorsignale, die von den Sensoren 204 bereitgestellt werden, anderen von dem UI-Modul 230 erkannten Eingaben und/oder Ausgaben) treffen. Der Interaktionsmoduswähler 236 und/oder das Betriebssystem 231 können anschließend basierend auf dem ausgewählten Interaktionsmodus eines des Barrierefreiheitsmodusmoduls 240, des Assistenzmodusmoduls 241, des Trägheitsmodusmoduls 242 oder des Hintergrundmodusmoduls 243 ausführen.
  • Wie bereits zuvor mit Bezugnahme auf die 1A-1C beschrieben, kann ein von dem Barrierefreiheitsmodusmodul 240 bereitgestellter Barrierefreiheitsmodus akustische und/oder optische Barrierefreiheitsfunktionen bereitstellen, während der Benutzer mit dem mobilen Computergerät 200, wie z. B. dem Anzeigegerät 102, interagiert. Beispielsweise kann der Benutzer während eines solchen Barrierefreiheitsmodus einen oder mehrere Finger benutzen, um die auf dem Anzeigegerät 202 ausgegebenen Inhalte zu erkunden. Anstatt sich nur auf die Berührungsereignisse auf dem Bildschirm zu verlassen, verarbeitet das Barrierefreiheitsmodusmodul 240 auch Gesten außerhalb des Bildschirms, die von dem Gestenerkennungsmodul 234 identifiziert werden.
  • Die ausschließliche Nutzung von Berührungsereignissen auf dem Bildschirm für Barrierefreiheitsfunktionen kann zu bestimmten Einschränkungen führen. Zum Beispiel kann die Objektauswahl mit einem Sprachbarrierefreiheitsmodus, der nur Berührungsereignisse auf dem Bildschirm verwendet, mit einer Tippgeste auf dem Bildschirm und/oder einer Zieh-/Streichgeste auf dem Bildschirm ausgeführt werden. Dieses Paradigma der Barrierefreiheitsgesten auf dem Bildschirm kann jedoch dazu führen, dass die Kontinuität der Berührungsexploration (z. B. der Kontakt zwischen Finger und Oberfläche) unterbrochen wird. Die Explorationskontinuität ist ein übliches Verhalten in Bezug auf das taktile Lesen oder die Art und Weise, wie Menschen mit Sehbehinderungen Gefühl und Berührung zur Wahrnehmung der Welt nutzen können.
  • Zusätzlich können diese Benutzer, wenn Benutzer einen Sprachbarrierefreiheitsmodus aktivieren, der nur Berührungsereignisse auf dem Bildschirm verwendet, möglicherweise nicht mehr in der Lage sein, ein herkömmliches Gesten-Navigationssystem zu verwenden, das für eine einfache Nutzung ausgebildet ist. Stattdessen müssen Sprachbarrierefreiheitsbenutzer möglicherweise einen komplizierteren Satz von Systemnavigationsgesten entwickeln, die Mehrfachberührungsgesten oder Gestenkombinationen wie z. B. nach oben und dann nach unten streichen umfassen, was den Schwierigkeitsgrad der Nutzung erheblich erhöhen kann. Während diese Einschränkungen für langjährige Benutzer eine Lernhürde darstellen, können sie auch neue Benutzer, die von einem häufigen und zeitlich begrenzten Zugriff auf die Sprachbarrierefreiheits- und Unterstützungsfunktionen profitieren können, davon abhalten, einen solchen Barrierefreiheitsmodus überhaupt zu nutzen.
  • Daher kann das Barrierefreiheitsmodusmodul 240 gemäß der vorliegenden offenbarten Techniken ferner Gesten außerhalb des Bildschirms verwenden, die von dem Gestenerkennungsmodul 234 identifiziert werden, und Benutzern ermöglichen, während des Betriebs im Barrierefreiheitsmodus weiterhin die üblichen Systemnavigationsgesten auf dem Bildschirm zu verwenden. Im Gegensatz zu der Entwicklung eines neuen Satzes von Navigationsgesten ermöglicht die Ausführung und Nutzung des Barrierefreiheitsmodusmoduls 240 (z. B. die Nutzung von Gesten außerhalb des Bildschirms, wie z. B. hintere Tippgesten), dass Benutzer bei der Navigation und Erkundung von Elementen innerhalb einer angezeigten GUI weiterhin die herkömmlichen Systemnavigationsgesten verwenden können. Dadurch kann die Explorationskontinuität aufrechterhalten werden.
  • Gemäß der vorliegenden offenbarten Techniken kann das Barrierefreiheitsmodusmodul 240 eine Technik für explorative Gesten (z. B. exploratives Tippen) bereitstellen, die Benutzern ermöglicht, Gesten außerhalb des Bildschirms auszuführen, um schnell einen sprachlichen und/oder optischen Barrierefreiheitsmodus aufzurufen und zu nutzen. In verschiedenen Fällen kann das Barrierefreiheitsmodusmodul 240 beispielsweise eine von dem Gestenerkennungsmodul 234 identifizierte Tippgeste auf der Rückseite des Geräts (z.B. hintere Doppeltippgeste auf einem oder mehreren hinteren Abschnitten des mobilen Computergeräts 200) verarbeiten, um einen schnellen Zugriff auf die sprachlichen und/oder optischen Barrierefreiheitsfunktionen des Barrierefreiheitsmodus einzuleiten. Um die Ziele des schnellen Zugriffs und der Explorationskontinuität zu erreichen, nutzt das Barrierefreiheitsmodusmodul 240 in verschiedenen Beispielen die Erkennung von Gesten auf der Rückseite des Geräts (z. B. Tippen), um Benutzern das Aufrufen und Beenden des Barrierefreiheitsmodus während der Interaktion zu ermöglichen, und kann in bestimmten Fällen das taktile Leseverhalten in einem zweihändigen Interaktionsparadigma imitieren.
  • In diesem Modus können Benutzer einen Berührungsexplorationsfinger (z. B. den in 1B dargestellten Finger 115) verwenden, um den Bildschirm zu erkunden und über ihn zu gleiten, um das Barrierefreiheitsmodusmodul 240 zur Ausgabe von z. B. hörbarer Sprache zu veranlassen, die dem navigierten Inhalt auf dem Bildschirm entspricht. Während dieses Berührungsexplorationszeitraums können Benutzer z. B. eine einzelne hintere Tippgeste auf einen hinteren Abschnitt des Gehäuses 203 ausführen, um die Auswahl des gesprochenen Objekts zu bestätigen. Benutzer können den Berührungsexplorationsfinger anheben, um den Barrierefreiheitsmodus zu verlassen, und dann übliche, fingerbasierte Gesten auf dem Bildschirm für die weitere Systemnavigation verwenden. Dieser Ansatz erspart den neuen Sprachbarrierefreiheitsbenutzern das Erlernen eines komplizierten Satzes neuer Systemnavigationsgesten, ermöglicht Benutzern jedoch stattdessen die Verwendung separater Gesten außerhalb des Bildschirms, um bestimmte Aufgaben während des Barrierefreiheitsmodus auszuführen.
  • Ein Benutzer kann beispielsweise eine Doppeltippgeste auf einem hinteren Abschnitt des Gehäuses 203 ausführen, um den Barrierefreiheitsmodus aufzurufen, der von dem Barrierefreiheitsmodusmodul 240 bereitgestellt wird. Der Benutzer kann dann einen Berührungsexplorationsfinger (z. B. Finger 115 in 1B) über die GUI-Ausgabe auf dem Anzeigegerät 202 ziehen, um akustische Unterstützung zu hören und/oder optische Unterstützung (z. B. Vergrößerung) der auf dem Bildschirm angezeigten Objekte zu sehen, basierend auf dem Barrierefreiheitsmodusmodul 240, das z. B. Berührungsgesten auf dem Anzeigegerät 202, basierend auf einer oder mehreren Gruppen oder empfangenen Sensorsignalen von Sensoren 204 und/oder der Eingabekomponente 225, identifiziert. Der Benutzer kann dann auf dem hinteren Abschnitt des Gehäuses 203 eine einzelne Tippgeste ausführen, um die Auswahl des entsprechenden Berührungsobjekts vorzunehmen. Diese Art der Interaktion bedeutet, dass der Benutzer den Berührungserkundungsfinger während des gesamten Zeitraums des Barrierefreiheitsmodus über dem Bildschirm belassen kann, wodurch eine Explorationskontinuität bereitgestellt wird und der Effekt des taktilen Leseverhaltens imitiert wird. Zur Auswahl eines Objekts auf dem Bildschirm während der Berührungsexploration kann der Benutzer den Berührungsexplorationsfinger über dem Objekt belassen und z. B. eine einzelne hintere Tippgeste auf einem hinteren Abschnitt des Gehäuses 203 zur Auswahl des Objekts ausführen, z. B. unter Verwendung der Hand, die das mobile Computergerät 200 hält, wie z. B. der in 1A dargestellten Hand 113. Diese Kontinuität kann auch den Interaktionsaufwand durch die Verwendung einer einzigen hinteren Tippgeste für die Objektauswahl verringern, was möglicherweise in Fällen, in denen eine häufige Objektauswahl verwendet wird, wie z. B. beim Eingeben unter Nutzung einer virtuellen Bildschirmtastatur, von großem Vorteil sein kann. Wenn der Benutzer nach einem Zeitraum der Interaktion den Barrierefreiheitsmodus verlassen möchte, kann er den Berührungsexplorationsfinger von dem Anzeigegerät 202 zum Beenden des Barrierefreiheitsmodus abheben und dann das herkömmliche Gestennavigationssystem auf dem Bildschirm verwenden, um weitere Operationen auf dem Anzeigegerät 202 durchzuführen.
  • Als ein Beispiel kann das UI-Modul 230 verschiedene grafische Symbole, Links und/oder andere Informationen ausgeben, die mit verschiedenen Komponenten oder Anwendungen, wie z. B. Anwendungen 232, assoziiert sind. In 1A werden vier solcher grafischen Symbole angezeigt, die vier verschiedenen Anwendungen (z. B. „App 1“, App 2", „App 3“ und „App 4“) entsprechen, die ausgeführt werden können. In anderen Beispielen kann die Anzeigekomponente 223 jede Form von anderen grafischen Informationen oder Symbolen anzeigen, wie z. B. Hypertext- oder Weblinks, Text oder Symbole, Komponenten (z. B. Tasten) einer grafischen Tastatur und dergleichen, wobei die Weblinks mit einer oder mehreren Webseiten assoziiert sein können, auf die das mobile Computergerät 200 zugreifen kann, und/oder wobei die Tasten einer grafischen Tastatur von dem mobilen Computergerät 200 während der Ausführung einer oder mehrerer Funktionen durch Interaktionsmodusmodule 238 ausgewählt werden können.
  • Die unter Nutzung der Anzeigekomponente 223 angezeigten Informationen können auf dem präsenzempfindlichen Anzeigegerät 202 assoziierte Positionen oder Bereiche der Anzeige aufweisen. Beispielsweise kann in dem Beispiel von 1A jedes dieser vier grafischen Symbole in einer bestimmten jeweiligen Region einer GUI angezeigt werden: ein mit einer ersten Anwendung („App 1“) assoziierte erstes Symbol kann innerhalb der Region 108 der GUI angezeigt werden; das mit einer zweiten Anwendung („App 2“) assoziierte zweite Symbol kann innerhalb der Region 110 der GUI angezeigt werden; das mit einer dritten Anwendung („App 3“) assoziierte dritte Symbol kann innerhalb der Region 112 der GUI angezeigt werden; und das mit einer vierten Anwendung („App 4“) assoziierte vierte Symbol kann innerhalb der Region 114 der GUI angezeigt werden.
  • Während der Ausführung des Barrierefreiheitsmodusmoduls 240 kann ein Benutzer einen oder mehrere Finger benutzen, um den auf dem Anzeigegerät 202 ausgegebenen Inhalt der GUI zu erkunden. Beispielsweise kann der Benutzer (z. B. ein sehbehinderter Benutzer) einen oder mehrere Finger (z. B. einen oder mehrere Finger der rechten Hand 113 oder der linken Hand des Benutzers) verwenden, um eine oder mehrere Berührungsgesten (z. B. Schiebe- oder Bewegungsgesten) auf dem Anzeigegerät 202 auszuführen. Basierend auf von einem oder mehreren der Sensoren 204 (z. B. einem oder mehreren Sensoren, die Berührungen oder das Vorhandensein von Fingern in einer oder mehreren Regionen der von dem Anzeigegerät 202 ausgegebenen GUI identifizieren) bereitgestellten Sensorsignalen können die Interaktionsmodule 138 zumindest einen optischen oder akustischen Indikator auf den Interaktionsmodus ausgeben, der mit einer bestimmten Funktion des mobilen Computergeräts 200 assoziiert ist.
  • Benutzt der Benutzer beispielsweise einen Finger, um eine beliebige Position innerhalb der Region 108 der GUI zu berühren oder sich dieser zu nähern, kann das Barrierefreiheitsmodusmodul 240 einen akustischen Indikator ausgeben, der mit der ersten Anwendung („App 1“) assoziiert ist. Als ein Beispiel kann das Barrierefreiheitsmodusmodul 240 eine Sprachausgabe bereitstellen, die die Aussage „App 1“ spezifiziert, um den Namen dieser ersten Anwendung (z. B. eine E-Mail-Anwendung) hörbar zu identifizieren. Als Ergebnis kann der Benutzer den Namen dieser ersten Anwendung hören, während der Finger des Benutzers die Region 108 berührt. Bewegt der Benutzer den Finger weiter in eine Position innerhalb einer anderen Region (z. B. Region 114), kann das Barrierefreiheitsmodusmodul 240 eine Sprachausgabe bereitstellen, um den Namen dieser zweiten Anwendung (z. B. eine Taschenrechneranwendung) hörbar zu identifizieren. Bei der Navigation durch die angezeigten Informationen auf dem Anzeigegerät 202 kann der Benutzer einen Finger der rechten oder linken Hand bewegen, um z. B. die entsprechenden Namen von Identifikatoren von Anwendungen zu hören, die mit Regionen der GUI assoziiert sind, an denen sich der oder die Finger des Benutzers zur Zeit befinden.
  • Wie zuvor mit Bezugnahme auf 1C beschrieben, kann das Barrierefreiheitsmodusmodul 240 in bestimmten Beispielen entweder zusätzlich zu oder anstelle der Bereitstellung eines oder mehrerer akustischer Indikatoren einen oder mehrere optische Indikatoren für den Interaktionsmodus (z. B. den Barrierefreiheitsmodus) als Anzeigegerät 202 ausgeben. In Fortsetzung des vorherigen Beispiels, in dem der Benutzer den Finger 115 in die mit der vierten Anwendung („App 4“) assoziierte Region 114 bewegen kann, kann das Barrierefreiheitsmodusmodul 240 zusätzlich zu der Sprachausgabe, die die Aussage „App 4“ angibt, auch einen optischen Indikator bereitstellen, der mit „App 4“ für die Region 114 assoziiert ist, wie z. B. durch Bereitstellung einer optischen Vergrößerung des in der Region 114 beinhalteten grafischen Symbols für „App 4“ (z. B. für einen sehbehinderten Benutzer), wie in 1C dargestellt. In diesem Fall kann sich das in 1C veranschaulichte Lupensymbol 121 auch optisch innerhalb der GUI bewegen, um den Inhalt in diesen Regionen selektiv zu vergrößern, wenn der Finger 115 bewegt wird. Auf diese Weise kann das Barrierefreiheitsmodusmodul 240 optische und/oder akustische Indikatoren in Reaktion auf die Benutzernavigation mit einem oder mehreren Fingern über die Inhaltsausgabe auf dem Anzeigegerät 202 bereitstellen.
  • In Reaktion auf eine solche Navigation kann der Benutzer auch eines der grafischen Symbole auswählen, die innerhalb der jeweiligen Regionen der GUI beinhaltet sind. Befindet sich der Finger des Benutzers beispielsweise in der Region 114, kann der Benutzer eine oder mehrere Gesten zur Auswahl des grafischen Symbols für „App 4“ ausführen, wie z. B. durch Ausführen, z. B. einer einzelnen hinteren Tippgeste an einem hinteren Abschnitt des Gehäuses 203. Das Gestenerkennungsmodul 234 kann, basierend auf einer weiteren Gruppe von Sensorsignalen, die von den Sensoren 204 bereitgestellt werden, diese zumindest eine zweite Geste identifizieren, die an dem einen oder mehreren Abschnitten des Gehäuses 203 ausgeführt wird, um die Auswahl einer bestimmten Funktion durch den Benutzer zu bestätigen, wie z. B. die Ausführung der vierten Anwendung, die mit der Region 114 assoziiert ist.
  • In Reaktion auf die Identifizierung der zumindest einen zweiten Geste kann das mobile Computergerät 200 eine entsprechende Funktion ausführen (z. B. die vierte Anwendung der Anwendungen 232 ausführen). Auf diese Weise kann das Barrierefreiheitsmodusmodul 240 unter Nutzung z. B. der Tipperkennung auf der Rückseite des Geräts eine intuitive Benutzererfahrung für sprachliche und/oder optische Barrierefreiheitsmodi bereitstellen. Die Tippinteraktion außerhalb des Bildschirms eröffnet eine Vielzahl neuer Möglichkeiten für die sprachliche und/oder optische Barrierefreiheitsunterstützung. Sie gibt Benutzern die Möglichkeit des schnellen Zugriffs auf den Barrierefreiheitsmodus sowie die Kontinuität bei der Berührungsexploration und kann so zu besseren Benutzererfahrungen im Barrierefreiheitsmodus führen.
  • Wie in 2 dargestellt, beinhalten die Interaktionsmodusmodule 238 auch ein Assistenzmodusmodul 241. In verschiedenen Beispielen kann das Assistenzmodusmodul 241 eine assistive geneigte und hintere Tippoberfläche bereitstellen, die einem Benutzer die Ausführung bestimmter Funktionen (z. B. nach oben blättern, nach unten blättern, zwischen Anwendungen wechseln) unter Nutzung hinterer Tippgesten auf dem Gehäuse 203 des mobilen Computergeräts 200 ermöglicht.
  • Es kann eine Anzahl an Situationen geben, in denen eine einhändige Interaktion für in-situ mobile Nutzungen des mobilen Computergeräts 200 bevorzugt ist (z. B., wenn ein Benutzer einen Handlauf in der U-Bahn hält oder im Bett liegt). Darüber hinaus kann eine verbesserte Unterstützung für die einhändige Interaktion auch für Benutzer mit Behinderungen von Vorteil sein.
  • Die derzeitige berührungsbasierte Interaktion beinhaltet in der Regel, dass der Benutzer sein mobiles Computergerät 200 mit dem Daumen berührt, während er es mit einer weniger natürlichen Griffgeste hält. Die Nutzung dieser Geste kann es dem Benutzer das sichere Ergreifen des mobilen Computergeräts 200 erschweren, und die Nutzung dieser Geste kann besonders schwierig sein, wenn der Benutzer das mobile Computergerät 200 in die Höhe hält (z. B. im Liegen). Zur Behebung dieses Problems stellt das Assistenzmodusmodul 241 einen assistiven Ausführungsmodus bereit, der eine geneigte und hintere Tippoberfläche beinhaltet, die dem Benutzer das Ausführen mobiler Geräteinteraktionen mit einer natürlicheren Telefongriffgeste ermöglicht, wie z. B. in 4A dargestellt.
  • 4A-4B sind konzeptionelle Darstellungen, die ein beispielhaftes mobiles Computergerät 400, das zum Initiieren eines assistiven Interaktionsmodus, wie z. B. während der Ausführung des Assistenzmodusmoduls 241, konfiguriert ist, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellen. In den 4A-4B kann das mobile Computergerät 400 ein Beispiel für das mobile Computergerät 200 (2) und/oder das mobile Computergerät 100 (1A-1C) sein. Das Gehäuse 403 kann ein Beispiel für das Gehäuse 203 und/oder das Gehäuse 103 sein. Das Anzeigegerät 402 kann ein Beispiel für das Anzeigegerät 202 und/oder das Anzeigegerät 102 sein.
  • Ähnlich wie bei dem Initiieren des Barrierefreiheitsmodus kann ein Benutzer den von dem Assistenzmodusmodul 241 (2) bereitgestellten Assistenzmodus z. B. durch Ausführen einer hinteren Doppeltippgeste initiieren. Beispielsweise kann der Benutzer mit dem Zeigerfinger 416 der Hand 413 eine hintere Doppeltippgeste auf die hinteren Abschnitte 401 des Gehäuses 403 ausführen. Das Gestenerkennungsmodul 234 kann die Geste basierend auf einer oder mehreren Gruppen von Sensorsignalen identifizieren, die von den Sensoren 204 (z. B. IMU-Sensorsignale, die von IMU 233 bereitgestellt werden) bereitgestellt werden. Andere Finger 415, 417, 418, und 419 können das mobile Computergerät 400 halten.
  • Wie in 4A veranschaulicht, kann der Interaktionsmoduswähler 236, nachdem der Finger 416 die hintere Doppeltippgeste ausgeführt hat, das Assistenzmodusmodul 241 initiieren. Das Assistenzmodusmodul 241 kann das optische Menü 460 auf dem Anzeigegerät 402 ausgeben. Das Menü 460 stellt einen optischen Indikator für verschiedene Funktionen bereit, die von dem Assistenzmodusmodul 241 während des Assistenzmodus ausgeführt werden können und die mit verschiedenen Menüpunkten assoziiert sind. Menü 460 kann beispielsweise Menüpunkte 461, 462, 464, 465 beinhalten. Menüpunkt 461 kann einen grafischen Aufwärtspfeil umfassen, der mit einer Bildlauffunktion nach oben assoziiert ist, während Menüpunkt 464 einen grafischen Abwärtspfeil umfassen kann, der mit einer Bildlauffunktion nach unten assoziiert ist. Menüpunkt 462 kann einen grafischen Pfeil nach links umfassen, der mit einer Seite-zurück/Zurück -Funktion assoziiert ist, und Menüpunkt 465 kann ein grafisches Symbol umfassen, das mit einer Funktion zum Umschalten oder Wechseln zwischen verschiedenen Anwendungen 132, die ausgeführt werden können, assoziiert ist. Folglich umfasst jeder der Menüpunkte 461, 462, 464, 465 einen optischen Indikator für eine jeweilige Funktion, die von dem Assistenzmodusmodul 241 ausgeführt werden kann.
  • Das Assistenzmodusmodul 241 und/oder das Gestenerkennungsmodul 234 können für die Erkennung von Neige- und hinteren Tippgesten aus Bewegungssignalen, die von den Sensoren 204 bereitgestellt werden, konfiguriert sein. Nachdem der Benutzer unter Nutzung des Fingers 416 an einem oder mehreren hinteren Abschnitten 401 des Gehäuses 403 eine erste hintere Tippgeste ausgeführt hat, um den von dem Assistenzmodusmodul 241 bereitgestellten assistiven Interaktionsmodus zu initiieren, kann der Benutzer anschließend das mobile Computergerät 400 mit einer oder mehreren Neigegesten neigen, um einen Menüpunkt des Menüs 460 auszuwählen, wobei die eine oder mehreren Neigegesten mit einer erkannten Bewegung und/oder Drehung des mobilen Computergeräts 400 assoziiert sind (z. B. basierend auf Sensorsignalen, die von Sensoren 204 bereitgestellt werden). Der Benutzer kann danach eine weitere (z. B. einzelne) hintere Tippgeste an einem oder mehreren hinteren Abschnitten 401 ausführen, um die mit dem ausgewählten Menüpunkt assoziierte Funktion, basierend auf einer oder mehreren Gruppen von Sensorsignalen, die von den Sensoren 204 bereitgestellt werden (z. B. IMU-Sensorsignale, die von IMU 233 bereitgestellt werden) auszuführen, die von dem Gestenerkennungsmodul 234 zur Identifizierung dieser Gesten genutzt werden.
  • Das Assistenzmodusmodul 241 stellt eine Oberfläche bereit, wie z. B. in 4A-4B dargestellt, die Benutzern die Ausführung häufig verwendeter Systemnavigationsfunktionen (z. B. Bildlauffunktionen, Seite-zurück-Funktion, Anwendungswechselfunktion) durch Neige- und hintere Tippgesten ermöglicht, die Benutzern das Halten des mobilen Computergeräts 400 in einer natürlichen Griffgeste ermöglichen und einhändige Interaktionen bereitstellen.
  • Wie in 4A dargestellt, wurden, bevor der Benutzer eine Neigegeste ausführt und nachdem das Assistenzmodusmodul 241 zunächst in den assistiven Interaktionsmodus eingetreten ist, noch keine Menüpunkte ausgewählt. Als ein Ergebnis wird das mittlere Menüsymbol 463 hervorgehoben, schattiert oder auf andere Weise deutlich angezeigt, was bedeutet, dass noch keiner der Menüpunkte 461, 462, 464 oder 465 ausgewählt wurde, wie in 4B angegeben.
  • Nach der Initiierung des Assistenzmodus kann der Benutzer jedoch die Hand 413 zur Ausführung einer oder mehrerer Neigegesten verwenden, um das mobile Computergerät 400 zu veranlassen, sich in eine oder mehrere Richtungen oder Ausrichtungen zu bewegen und/oder zu drehen. Einer oder mehrere der Sensoren 204 (z. B. IMU 233) können Sensorsignale bereitstellen, die indikativ für die Bewegung und/oder Drehung sind, und das Gestenerkennungsmodul 234 kann diese Signale verarbeiten, um eine oder mehrere Neigegesten zu identifizieren. Der Benutzer kann das mobile Computergerät 400 beispielsweise nach oben, unten, rechts, links, im Uhrzeigersinn, gegen den Uhrzeigersinn oder eine beliebige Kombination davon neigen. Das Gestenerkennungsmodul 234 kann dem Assistenzmodusmodul 241 eine Indikation über die erkannte Neigegeste sowie die entsprechenden Attribute der Neigegeste bereitstellen, die zumindest eine Richtung oder eine Ausrichtung der erkannten Bewegung oder Drehung des mobilen Computergeräts 400 indizieren kann.
  • Das Assistenzmodusmodul 241 kann dann basierend auf den Attributen der Neigegeste identifizieren, welcher Menüpunkt des Menüs 460 ausgewählt werden soll, die mit zumindest einer der Richtungen oder der Ausrichtung der erkannten Bewegung oder Drehung des mobilen Computergeräts 400 assoziiert sind. Beispielsweise kann das Assistenzmodusmodul 241 eine Zuordnung von Gestenattributen zu ausgewählten Menüpunkten definieren. Als ein Beispiel kann das Assistenzmodusmodul 241 den Menüpunkt 461 in Reaktion auf eine Neigegeste auswählen, mit der das mobile Computergerät 400, relativ zu der Oberseite des mobilen Computergeräts 400 angesichts seiner aktuellen Position und/oder Ausrichtung, nach oben geneigt wird. In ähnlicher Weise kann das Assistenzmodusmodul 241 den Menüpunkt 464 in Reaktion auf eine Neigegeste auswählen, die das mobile Computergerät 400 nach unten neigt. Das Assistenzmodusmodul 241 kann den Menüpunkt 462 in Reaktion auf eine Neigegeste auswählen, die das mobile Computergerät 400 nach links neigt, und es kann den Menüpunkt 465 in Reaktion auf eine Neigegeste auswählen, die das mobile Computergerät nach rechts neigt.
  • Alternativ kann das Assistenzmodusmodul 241, wie in dem Beispiel von 4B angegeben, den Menüpunkt 462 in Reaktion auf eine Neigegeste auswählen, die das mobile Computergerät 400 gegen den Uhrzeigersinn neigt (relativ zu einer aktuellen Position und/oder Ausrichtung des mobilen Computergeräts 400), und den Menüpunkt 465 in Reaktion auf eine Neigegeste auswählen, die das mobile Computergerät 400 im Uhrzeigersinn neigt. Auf diese Weise kann das Assistenzmodusmodul 241 einen oder mehrere optische Indikatoren über die jeweiligen Menüpunkte des Menüs 460 für den assistiven Interaktionsmodus ausgeben, wobei jeder Menüpunkt mit einer entsprechenden Funktion assoziiert ist, wie ferner nachfolgend beschrieben.
  • In 4B hat der Benutzer die Hand 413 zum Neigen des mobilen Computergeräts, relativ zu der in 4A dargestellten Position und/oder Ausrichtung des mobilen Computergeräts 400, im Uhrzeigersinn benutzt. Als ein Ergebnis der Erkennung der Attribute dieser Neigegeste durch das Gestenerkennungsmodul 234 und der Bereitstellung dieser Informationen an das Assistenzmodusmodul 241, wählt das Assistenzmodusmodul 241 den Menüpunkt 465 des Menüs 460 aus. Wie in 4B dargestellt, stellt das Assistenzmodusmodul 241 den Menüpunkt 465 im Verhältnis zu den anderen Menüpunkten 461, 462, 464 schattiert, hervorgehoben oder auf andere Weise deutlich sichtbar dar, um dem Benutzer einen optischen Indikator dafür bereitzustellen, dass der Menüpunkt 465 ausgewählt ist, wobei der Menüpunkt 465 mit einer bestimmten Funktion (z. B. der Anwendungswechselfunktion) assoziiert ist.
  • Zur Bestätigung der angezeigten Auswahl des Menüpunkts 465 kann der Benutzer den Finger 416 zur Ausführung einer einzelnen hinteren Tippgeste auf einen oder mehrere hintere Abschnitte 401 des Gehäuses 403 nutzen. Nach dem Empfang einer Angabe der hinteren Tippgeste von dem Gestenerkennungsmodul 234, das diese Geste basierend auf einer oder mehreren Gruppen von Sensorsignalen, die von den Sensoren 204 empfangen wurden, identifiziert, kann das Assistenzmodusmodul 241 die Auswahl des Menüpunkts 465 bestätigen und die entsprechende Funktion ausführen, wie z. B. die Ausführung einer Anwendungswechselfunktion, um zwischen Anwendungen 132 zu wechseln, die im Vordergrund des Anzeigegeräts 402 ausgeführt und/oder angezeigt werden. Der Benutzer kann die Ausführung der hinteren Tippgeste auf einem oder mehreren hinteren Abschnitten 401 fortsetzen, um eine weitere Auswahl des hervorgehobenen Menüpunkts (z. B. Menüpunkt 465) auszuführen. Das heißt, der Benutzer kann wiederholte hintere Tippgesten ausführen, während der Menüpunkt 465 hervorgehoben ist, wie in 4B angegeben, um das Assistenzmodusmodul 241 zur Ausführung wiederholter Funktionen (z. B. wiederholter Anwendungswechselfunktionen) zu veranlassen, die mit dem Menüpunkt 465 assoziiert sind.
  • Zusätzlich kann der Benutzer zusätzliche Neigegesten ausführen, um verschiedene Menüpunkte aus Menü 460 auszuwählen. Als ein Beispiel kann der Benutzer das mobile Computergerät 400 zur Auswahl des Menüpunkts 461 nach oben neigen, der dann auf dem Anzeigegerät 402 deutlich sichtbar angezeigt wird (anstelle des Menüpunkts 465), und anschließend eine oder mehrere hintere Tippgesten ausführen, um die Auswahl des Menüpunkts 461 zu bestätigen, was das Assistenzmodusmodul veranlasst, eine oder mehrere entsprechende Bildlauffunktionen nach oben auszuführen (z. B. beim Durchsuchen von Webinhalten). Ist der Benutzer bereit, den assistiven Interaktionsmodus zu verlassen, kann der Benutzer z. B. eine hintere Doppeltippgeste ausführen, um das Assistenzmodusmodul 241 zum Verlassen dieses Modus zu veranlassen. In diesem Fall kann der Benutzer zum Initiieren und zum Beenden des assistiven Interaktionsmodus eine hintere Doppeltippgeste ausführen und dazwischen Neigegesten ausführen, um das Assistenzmodusmodul 241 zu veranlassen, Funktionen auszuführen (z. B. Systemnavigation oder andere Funktionen), die den ausgewählten Menüpunkten des Menüs 460 entsprechen.
  • In verschiedenen Beispielen kann das Maschinenlernmodul 229 für die Implementierung des Assistenzmodusmoduls 241 und des Maschinenlernmoduls 229 des Gestenerkennungsmoduls 234 ein kleineres neuronales Faltungsnetzwerkmodell (z. B. das neuronale Netzwerkmodell 352) nutzen und z.B. mit einer eingebetteten digitalen Prozessoreinheit (z. B. einem der Prozessoren 220) in einem Niedrigstrommodus ausgeführt werden. Dieses Modell kann die Tipprichtung und die Nicht-Tipp-Ereignisse von jedem Tipp-ähnlichen Signal, das von den Sensoren 204 angegeben wird, klassifizieren. Wurde die Oberfläche des Assistenzmodusmoduls 241 bereits aufgerufen, können alle erkannten hinteren Tipp- als auch die Neigegesten von dem Gestenerkennungsmodul 234 an das Assistenzmodusmodul 241 und/oder das Betriebssystem 231 weitergeleitet werden, um die Navigationsfunktionen zu steuern und ausgewählte Menüpunkte des Menüs 460 zu identifizieren. Wurde die Oberfläche des Assistenzmodusmoduls 241 noch nicht aufgerufen, kann der Signalverarbeitungsdienst in der digitalen Prozessoreinheit und/oder das Gestenerkennungsmodul 234 den Zeitpunkt der hinteren Tippgeste analysieren und nur nach Gesten suchen, die in das Muster der Doppeltippgeste passen, um absichtliche hintere Doppeltippgesten zu erkennen und den Assistenzmodus zu initiieren.
  • In verschiedenen Beispielen können Neigeereignisse von dem Gestenerkennungsmodul 234 unter Nutzung einer Heuristik oder eines Maschinenlernverfahrens, z. B. aus den von den Sensoren 204 bereitgestellten Gyroskopdaten, erkannt werden. In bestimmten Fällen können Benutzer auch eine dreifache hinter Tippgeste verwenden, um einen Bildschirmzeiger aufzurufen und den Zeiger für die Navigation auf dem Anzeigegerät 202 durch Neigen zu manipulieren.
  • Die geneigte und hintere Tippinteraktion eröffnet eine Vielzahl von neuen Möglichkeiten. Die Nutzung einer solchen Interaktion kann einfach und bequem sein und Benutzern die Möglichkeit zur Ausführung einer einhändigen Interaktion mit der natürlichen Haltegeste des in 4A-4B veranschaulichten mobilen Computergeräts 400 geben, wodurch Interaktionsverhalten ermöglicht wird, wenn Benutzer z. B. Nachrichten-Feeds oder soziale Netzwerke durchsuchen.
  • Die Interaktionsmodusmodule 238 von 2 beinhalten auch das Trägheitsmodusmodul 242. Das Trägheitsmodusmodul 242 kann den hierin als Trägheitsinteraktionsmodus bezeichneten Modus bereitstellen. In verschiedenen Beispielen kann während dieses Interaktionsmodus das Trägheitsmodusmodul 242 und/oder das Gestenerkennungsmodul 234 eine Tippkraft aus den von der IMU 233 bereitgestellten IMU-Signalen schätzen und auch eine Tippposition aus der Ausgabe des Maschinenlernmoduls 229 schätzen, z. B. basierend auf mit einer Tippgeste assoziierten Kraft- und/oder Winkeländerungen. Als ein Ergebnis kann das Trägheitsmodusmodul 242 und/oder das Gestenerkennungsmodul 234 in bestimmten Fällen zum Identifizieren von Berührungsgesten an einem oder mehreren Abschnitten des Gehäuses 203 und/oder des Anzeigegeräts 202 basierend auf einer oder mehreren Gruppen von Sensorsignalen von den Sensoren 204 und/oder der Eingabekomponente 225 konfiguriert sein, selbst wenn ein Finger mit einem Handschuh bedeckt ist oder einen langen Fingernagel aufweist oder selbst wenn sich Wassertropfen auf dem Gehäuse 203 oder dem Anzeigegerät 202 befinden, wodurch möglicherweise falsche Berührungsereignisse zurückgewiesen werden, wenn sich Wassertropfen auf dem Touchscreen befinden, die die Erkennungssicherheit beeinträchtigen.
  • Ähnlich wie bei der Nutzung des Berührungsdrucks zur Unterdrückung unbeabsichtigter Berührungen können das Trägheitsmodusmodul 242 und/oder das Gestenerkennungsmodul 234 die durch ein absichtliches Tippen erzeugte Trägheit ausnutzen, was sowohl die durch die Tippgeste erzeugte Kraft als auch die durch das Tippen induzierten Ausrichtungsänderungen beinhaltet, wobei die Bewegungserfassung zur Unterscheidung der Tippabsicht des Benutzers genutzt werden kann. Diese verschiedenen Attribute können basierend auf Signalen der in den Sensoren 204 beinhalteten IMU 233 erfasst oder ermittelt werden. In verschiedenen Fällen kann das Maschinenlernmodul 229 ein neuronales Netzwerkmodell (z. B. das neuronale Netzwerkmodell 352 aus 3) zum Ermitteln eines oder mehrerer Attribute der Tippgesten nutzen. Die offenbarten Techniken beruhen nicht auf kapazitiver Erfassung und können daher auf Wasserfallbildschirmen oder normalen Bildschirmen arbeiten, die den Rand der Geräte nicht abdecken. Das Anzeigegerät 202 kann daher einen Wasserfall- oder einen Nicht-Wasserfallbildschirm umfassen.
  • In bestimmten Fällen kann das Trägheitsmodusmodul 242 bestimmte Funktionen bezüglich seitlicher Tipp- und Streichgesten bereitstellen, die einen effektiven und ergonomischen Ersatz für die Verwendung von Randtasten bereitstellen können. Tastenlose mobile Computergeräte (z. B. Telefone) sind seit langem ein Designziel, und Wasserfallbildschirme, die über die seitlichen Rändern eines Geräts gekrümmt sind, haben sich zu einem Trend im Telefondesign entwickelt. Physische Tasten, insbesondere Lautstärkeregelungstasten, wurden durch verschiedene Ersatzlösungen ersetzt, die jedoch in der Regel wenig benutzerfreundlich sind. Darüber hinaus kann die alleinige Nutzung eines Berührungsereignisses auf einer optischen Randtaste zu vielen falschen Fällen führen. Die Doppelberührungsgeste kann wirksam sein, um unbeabsichtigte Berührung auf einem Bildschirm (z. B. an Anzeigegerät 202) abzulehnen. Diese Geste beinhaltet jedoch mehrere Berührungsereignisse, was die Interaktion erschwert und zu einem weniger intuitiven Benutzererlebnis führt.
  • Um solche Schwierigkeiten und Herausforderungen zu bewältigen, ist das Trägheitsmodusmodul 242 mit einer Seitenaufprallaktion assoziiert, die eine IMU-Reaktion zur Vorbereitung des Systems auf z. B. einen Lautstärke- oder anderen Benutzeroberflächen-Bedienelementezustand bereitstellt, der nach einem Timeout-Zeitraum endet. Innerhalb und vor Ablauf des Timeout-Zeitraums kann das Trägheitsmodusmodul 242 eine Streichgeste an dem Anzeigegerät 202 dem Lautstärke- oder einem anderen variablen Benutzeroberflächen-Bedienelement zuordnen.
  • Als ein Ergebnis stellt das Trägheitsmodusmodul 242 ein Tipp-und-Streichinteraktionsparadigma bereit. Die dem seitlichen Tippen folgende Streichgeste ist ebenfalls eine Bestätigung der Benutzerabsicht. Aus ergonomischer Sicht können Benutzer den Zeigefinger zum Tippen auf den Rand benutzen, um eine Randoberfläche aufzurufen (z. B. eine Oberfläche zur Lautstärkeregelung), wie in 5A-5B dargestellt.
  • 5A-5C sind konzeptionelle Darstellungen, die ein beispielhaftes mobiles Computergerät 500, das zum Initiieren eines Trägheitsinteraktionsmodus für eine Tipp-und-Streich-Randinteraktion konfiguriert ist, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellen. In den Beispielen von 5A-5C kann ein Benutzer die Hand 513 zur Manipulation des mobilen Computergeräts 500 unter Nutzung einhändiger Interaktionen verwenden. Für die an dem oder in der Nähe das Randes des mobilen Computergeräts 500 stattfindenden Tipp-und-Streich-Interaktionen kann der Benutzer zunächst den Finger 516 zum Tippen auf einen oder mehrere seitliche Abschnitte 570 des Gehäuses 503 nutzen, wie in 5A veranschaulicht. Ein Rand des mobilen Computergeräts 500 kann in bestimmten Beispielen eine Region an oder in der Nähe eines seitlichen Abschnitts (z. B. linksseitiger Abschnitt, rechtsseitiger Abschnitt, oberseitiger Abschnitt, unterseitiger Abschnitt) des Gehäuses 503 und/oder in der Nähe eines Rands des Anzeigegeräts 502 umfassen. Das Gestenerkennungsmodul 234 kann diese Geste basierend auf der ausgeübten Kraft des Fingers 516 sowie der entsprechenden Bewegung an dem Gehäuse 503 des mobilen Computergeräts 500 erkennen, basierend auf einer oder mehreren Gruppen von Sensorsignalen, die von den Sensoren 204 (z. B. IMU-Sensorsignale, die von IMU 233 bereitgestellt werden) empfangen werden.
  • Nachdem das Gestenerkennungsmodul 234 diese Tippgeste identifiziert hat, kann das Trägheitsmodusmodul 242 das grafische Lautstärkebedienelement 574 ausgeben und auf die Identifizierung (z. B. durch das Gestenerkennungsmodul 234) einer nachfolgenden Streichgeste an dem Anzeigegerät 502 innerhalb eines definierten oder anpassbaren Zeitraums, wie z. B. eines Timeout-Zeitraums, überwachen. Das Gestenerkennungsmodul 234 kann die Streichgeste basierend auf einer oder mehreren Gruppen von kapazitiven Bildschirmerfassungssignalen identifizieren, die von den Sensoren 204 und/oder der präsenzempfindlichen Eingabekomponente 225 bereitgestellt werden. Die Nutzung der Streichgeste kann die Randoberfläche des Trägheitsmodus aufrufen und sich für eine lineare Steuerung entweder entlang des Bildschirmrands des Anzeigegeräts 502 bewegen, wie in 5B dargestellt, oder sich für die Auswahl mehrerer Ziele in den Bildschirmbereich bewegen, wie z. B. in 5C dargestellt. Obwohl in 5B ein grafisches Lautstärkebedienelement 574 veranschaulicht ist, kann in verschiedenen anderen Beispielen auch jede andere Form grafischer Benutzeroberflächen-Bedienelemente (z. B. Anzeigebedienelemente, eine andere Art Einstellungs-Bedienelemente) verwendet werden.
  • Wie beispielsweise in 5B dargestellt, kann der Benutzer den Finger 516 zur Manipulation eines grafischen Lautstärkebedienelements 574 über eine in der Region 572 des Anzeigegeräts 502 ausgeführte Streichgeste benutzen. Der Benutzer kann den Finger 516 zur Ausführung einer Streichgeste nach oben innerhalb der Region 572 zur entsprechenden Bewegung des Lautstärkebedienelements 574 nach oben und zur Erhöhung der Lautstärke benutzen, und der Benutzer kann auch eine Streichgeste nach unten innerhalb der Region 572 zur entsprechenden Bewegung des Lautstärkebedienelements 574 nach unten und zur Verringerung der Lautstärke ausführen. In Reaktion darauf kann das Trägheitsmodusmodul 242 eine entsprechende optische Anpassung des grafischen Lautstärkebedienelements 574 ausgeben (z. B. eine optische Anpassung in Aufwärtsrichtung für eine Erhöhung der Lautstärke oder eine optische Anpassung in Abwärtsrichtung für eine Verringerung der Lautstärke). Das Lautstärkebedienelement 574 ist nur ein beispielhaftes Benutzeroberflächen-Bedienelement, das von dem Benutzer während des von dem Trägheitsmodusmodul 242 bereitgestellten Trägheitsmodus manipuliert werden kann, und ist ein optischer Indikator für eine oder mehrere mit dem Trägheitsmodusmodul 242 assoziierten Funktionen, wie z. B. der Erhöhung oder Verringerung eines Lautstärkebedienelements. Das Lautstärkebedienelement 574 ist auch ein Beispiel für ein Benutzeroberflächen-Bedienelement, das in der Nähe des Bildschirmrandes des Anzeigegeräts 502, in Region 572, angezeigt werden kann, wenn das Anzeigegerät 502 einen Wasserfallbildschirm beinhaltet. Verfügt das Anzeigegerät 502 über einen Wasserfallbildschirm oder eine kapazitive Erfassung an dem Rand, können die Rand-Benutzeroberflächen-Bedienelemente, wie z. B. die Lautstärkeregelung 574, in der Nähe oder Umgebung der Seitentippposition (z. B. seitliche Abschnitte 570) angezeigt werden.
  • Verfügt das Anzeigegerät 502 jedoch nicht über eine kapazitive Randerfassung und/oder einen Wasserfallbildschirm, können die Rand-Benutzeroberflächen-Bedienelemente in anderen Bereichen des Anzeigegeräts 502 dargestellt werden, wie z. B. in einem Bereich oder einer Region, die sich in der Nähe eines Bereichs befindet, in dem sich der Daumen 515 der Hand 513 befinden kann, wie die in 5C dargestellte Region 576. In bestimmten Fällen kann das Trägheitsmodusmodul 243 die Region 576, in der die in 5C dargestellte Lautstärkeregelung 574 angezeigt werden soll, unter Nutzung der Position der seitlichen Abschnitte 570, an denen der Finger 516 das Gehäuse 503 berührt, wie von dem neuronalen Netzwerkmodell 352 angegeben, schätzen. Wie in 5C dargestellt, kann der Benutzer den Daumen 515 benutzen, um mit dem in Region 576 des Anzeigegeräts 502 dargestellten Lautstärkebedienelement 574 zu interagieren. Der Benutzer kann beispielsweise eine oder mehrere Gesten (z. B. Streichgesten) zur Interaktion mit oder zur Auswahl von in dem Lautstärkebedienelement 574 enthaltenen Zielobjekten (z. B. zur Auswahl mehrerer Ziele), oder jede andere Form von Bedienelementfunktion ausführen, die in der grafischen Benutzeroberfläche für den Trägheitsmodus optisch angegeben wird. Um den Trägheitsinteraktionsmodus zu beenden oder zu unterbrechen, kann der Benutzer in verschiedenen Beispielen eine hintere Doppeltippgeste ausführen.
  • Als ein Ergebnis kann die Tipp- und Streichgeste eine Geste sein, die sich von einem unbeabsichtigten Ergreifen oder Berühren des mobilen Computergeräts 500 unterscheidet und z. B. als Teil einer einhändigen Interaktion zur Manipulation randbasierter Benutzeroberflächen-Bedienelemente verwendet werden kann. Diese Geste lässt sich gut über Geräte mit und ohne Wasserfallbildschirmdesign verallgemeinern.
  • Die Interaktionsmodusmodule 238 von 2 beinhalten auch ein Hintergrundmodusmodul 243. In verschiedenen Beispielen kann der Interaktionsmoduswähler 236 zumindest basierend auf dem eine oder mehrere Gesten erkennenden Gestenerkennungsmodul 234 das Hintergrundmodusmodul 243 zur Ausführung auswählen. In verschiedenen Beispielen kann das Hintergrundmodusmodul 243 die Hintergrund-Benutzeroberflächeninteraktion unter Nutzung der Tipperkennung außerhalb des Bildschirms ermöglichen.
  • In verschiedenen Fällen kann eine Benutzeroberfläche eine Vordergrundebene (z. B. eine Ebene mit Anwendungsverknüpfungen für eine oder mehrere der Anwendungen 232 auf einem Startbildschirm) und auch eine oder mehrere Hintergrundebenen (z. B. eine oder mehrere Ebenen mit Hintergrundbildern) enthalten. Hintergrundbilder sind dem Benutzer häufig ausgesetzt, da sie sowohl auf dem Sperrbildschirm als auch auf dem Startbildschirm erscheinen können. Ein Hintergrundbilddienst, der eine programmatische Benutzeroberfläche umfasst, hat daher das Potenzial, die Benutzerinteraktionen mit mobilen Geräten stark zu beeinflussen.
  • Bestehende Techniken verlassen sich jedoch ausschließlich auf Berührungsereignisse auf dem Bildschirm, um sowohl mit Vorder- als auch mit Hintergrunddiensten zu interagieren. Da sie denselben Interaktionsmechanismus nutzen, ist es für das System schwierig, die Absicht des Benutzers zu erkennen und die Interaktionen im Vordergrund von denen im Hintergrund klar zu trennen, insbesondere bei einer optisch unübersichtlichen Benutzeroberfläche. Mit anderen Worten: Tippt der Benutzer auf den Rand eines Anwendungssymbols, ist es für das mobile Computergerät 200 (z. B. unter Nutzung des UI-Moduls 230) möglicherweise schwierig zu ermitteln, ob der Benutzer eine der mit dem Symbol assoziierten Anwendungen 232 öffnen oder mit dem Hintergrundbild interagieren möchte. Diese Mehrdeutigkeit behindert die effektive Interaktion mit Hintergrundbilddiensten und schränkt somit die Funktionalität interaktiver Hintergrundbilder ein.
  • Um dieses Problem zu lösen, verwendet das Hintergrundmodusmodul 243 das von dem Gestenerkennungsmodul 234 erkannte Tippen außerhalb des Bildschirms, um mit einer Hintergrund-Benutzeroberfläche, wie z. B. mit einem Hintergrundbilddienst, einem Spiel, Flashkarten-Anwendungen oder dergleichen zu interagieren. Das Erkennen solcher Gesten außerhalb des Bildschirms ermöglicht eine eindeutige Unterscheidung zwischen Vorder- und Hintergrundinteraktionen und gibt Benutzern so die Möglichkeit, reichhaltigere Interaktionen, z. B. mit interaktiven Hintergrundbildern, auszuführen.
  • Das Hintergrundmodusmodul 243 nutzt von dem Gestenerkennungsmodul 234 und dem Maschinenlernmodul 229 bereitgestellte Informationen. Das Maschinenlernmodul 229 kann zur Nutzung eines neuronalen Netzwerkmodells (z. B. des in 3 dargestellten neuronalen Netzwerkmodells 352, das ein Multitasking-Faltungsnetzwerk umfassen kann, das IMU-Signale als Eingabe verarbeitet) konfiguriert sein, um die Position von (z. B. Tipp-)Gesten auf hinteren und/oder seitlichen Abschnitten des Gehäuses 203 zu schätzen. Diese Schätzung stellt eine beispiellose Granularität bei der Tipperkennung außerhalb des Bildschirms für die Hintergrund-Benutzeroberflächeninteraktion bereit. Bei jedem Tippen eines Benutzers auf das Gehäuse 203 des mobilen Computergeräts 200 können die durch das Tippen ausgelösten Bewegungssignale erfasst und zur Erkennung von Attributen der Geste verwendet werden, wie z. B. der in 3 dargestellten Attribute 356, 357, 358, 359.
  • In verschiedenen Beispielen kann das Maschinenlernmodul 229 für die Implementierung des Hintergrundmodusmoduls 243 und des Maschinenlernmoduls 229 des Gestenerkennungsmoduls 234 ein kleineres neuronales Faltungsnetzwerkmodell nutzen und z. B. mit einer eingebetteten digitalen Prozessoreinheit (z. B. einem der Prozessoren 220) in einem Niedrigstrommodus ausgeführt werden. In verschiedenen Beispielen wird nur dann, wenn das Gestenerkennungsmodul 234 eine Doppeltippereignis an dem Gehäuse 203 erkennt, ein rechenintensiveres Netzwerk aktiviert und ausgeführt, z. B. von einer zentralen Hauptverarbeitungseinheit, um verschiedene Tippattribute, wie z. B. Position und Richtung, zu erhalten. Auf diese Weise kann das Gestenerkennungsmodul 234 potenziell die Fälle falscher Auslösung (z. B. unbeabsichtigte Interaktion mit dem Hintergrundbild) einschränken und den Stromverbrauch maximal reduzieren.
  • Das Hintergrundmodusmodul 243 kann die Benutzerinteraktion mit einer Hintergrundbenutzeroberfläche, wie z. B. einem interaktiven Hintergrundbild, das zumindest einen optischen Indikator für den Interaktionsmodus und verschiedene assoziierte Funktionen bereitstellt, unter Nutzung von Tippgesten außerhalb des Bildschirms (z. B. hintere Tipp- und/oder seitliche Tippgesten) ermöglichen, wodurch Benutzer eine klare Trennung zwischen Vorder- und Hintergrundinteraktionen erhalten. Das heißt, ein Benutzer kann mit einer Vordergrund-Benutzeroberfläche oder -Anwendungen unter Nutzung von Bildschirmgesten auf dem Anzeigegerät 202 interagieren und kann alternativ mit einer Hintergrund-Benutzeroberfläche oder -Anwendungen unter Nutzung von außerhalb des Bildschirms in einem oder mehreren Abschnitten des Gehäuses 203 ausgeführten Gesten interagieren. Benutzer können hintere Tippgesten oder Randtippgesten zur Interaktion mit einer Hintergrundbenutzeroberfläche, wie z. B. einem interaktiven Hintergrundbild, nutzen, die in verschiedenen Fällen nicht auf Berührungsereignisse auf dem Bildschirm reagiert. Diese Technik kann eine neue Möglichkeit der Interaktion mit dem Benutzer eröffnen. Eine solche Interaktion kann sogar im Sperrbildschirmmodus erfolgen und ermöglicht Benutzern daher den schnellsten Zugriff auf verschiedene Dienste, wie z. B. Flashkartendienste, Nachrichten-Feed-Dienste oder kleinere Spiele, noch vor dem Entsperren oder ohne die Notwendigkeit, das Gerät zu entsperren. Im Allgemeinen kann eine Randgeste, wie z. B. eine Rand-Tippgeste, an einem oder mehreren seitlichen Abschnitten des Gehäuses 203 und/oder an einem oder mehreren Abschnitten des Anzeigegeräts 202 (z. B. an den Randabschnitten des Anzeigegeräts 202) ausgeführt werden.
  • Bei einem Hintergrundbilddienst, der Nachrichten-Feeds anzeigt, kann ein Benutzer, nachdem ein Benutzer zunächst eine hintere Doppeltippgeste an einem hinteren Abschnitt des Gehäuses 203 ausgeführt hat, um das Hintergrundmodusmodul 243 zum Initiieren eines Hintergrundinteraktionsmodus zu veranlassen, eine andere hintere Tippgeste ausführen, um zu dem nächsten Nachrichten-Feed zu blättern, oder er kann eine Rand-Tippgeste an einem seitlichen Abschnitt des Gehäuses 203 und/oder an einem Abschnitt des Anzeigegeräts 202 ausführen, um zu einer anderen Nachrichtenkategorie zu wechseln. Das Durchblättern zum nächsten Nachrichten-Feed oder das Wechseln zu einer anderen Nachrichtenkategorie kann das Entfernen der aktuellen Hintergrund-Benutzeroberflächenelemente von der Anzeige (z. B. des aktuellen Nachrichten-Feed-Elements) und die Ausgabe eines oder mehrerer neuer Hintergrund-Benutzeroberflächenelemente (z. B. neuer Nachrichten-Feed-Elemente in der gleichen oder einer anderen Nachrichtenkategorie) zur Anzeige umfassen. Das Gestenerkennungsmodul 234 kann basierend auf dem Empfang einer oder mehrerer Gruppen von Sensorsignalen der Sensoren 204 (z. B. IMU-Sensorsignale, die von IMU 233 bereitgestellt werden) beliebige Gesten erkennen. In einigen Fällen kann der Hintergrundbilddienst auch ein kleineres Spiel beinhalten oder bereitstellen, wie z. B. ein Doodle-Spiel. In diesen Fällen kann der Benutzer, sobald er eine hintere Doppeltippgeste zum Initiieren des Hintergrundinteraktionsmodus ausgeführt hat, wodurch das Hintergrundmodusmodul 243 zur Ausführung eines Spiels als Hintergrundanwendung der Benutzeroberfläche veranlasst wird, eine oder mehrere zusätzliche hintere Doppeltippgesten an verschiedenen Positionen an einem hinteren Abschnitt des Gehäuses 203 ausführen, um mit dem Spiel zu interagieren oder es zu spielen, wodurch dem Benutzer eine über diskrete ereignisbasierte Signale hinausgehende Steuerungsflexibilität bereitgestellt wird. Der Benutzer kann beispielsweise an verschiedenen Positionen eines hinteren Abschnitts des Gehäuses 203 hintere Tippgesten ausführen, um das Spiel zur Ausführung verschiedener Aktionen zu veranlassen. Die von dem Hintergrundmodusmodul 243 bereitgestellte optische Ausgabe kann einen oder mehrere optische Indikatoren für den Hintergrundmodus umfassen, die mit einer oder mehreren jeweiligen Funktionen assoziiert sind, wie nachfolgend ferner beschrieben.
  • 6A-6C sind konzeptionelle Darstellungen, die ein beispielhaftes mobiles Computergerät, das zum Initiieren des Hintergrundmodusmoduls 243 für die Interaktion mit der Hintergrundbenutzeroberfläche konfiguriert ist, gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung darstellen. Diese Figuren veranschaulichen Beispiele für das Tippen außerhalb des Bildschirms für eine Interaktion mit der Hintergrundbenutzeroberfläche (z. B. Hintergrundbild). Benutzer können die Interaktion mit der Hintergrundbenutzeroberfläche z. B. durch eine hintere Doppeltippgeste aufrufen und pausieren, und können eine nachfolgende hintere Tippgeste oder Randtippgeste zur Ausführung einer bestimmten Steuerung ausführen.
  • Insbesondere kann ein Benutzer eine einfache Geste außerhalb des Bildschirms (z. B. hinteres Doppeltippen) nutzen, um die Interaktion mit der Hintergrundbenutzeroberfläche zu starten. Der Benutzer kann danach verschiedene Positionen an dem Gehäuse 603 des mobilen Computergeräts 600 antippen. Der Benutzer kann beispielsweise den Finger 616 der Hand 613 zum Ausführen einer hinteren Tippgeste (z. B. hinteren Doppeltippgeste) an einem oder mehreren hinteren Abschnitten 601 des Gehäuses 603 benutzen, wie in 6A angegeben. Das Gestenerkennungsmodul 234 kann diese Geste identifizieren, und der Interaktionsmoduswähler 236 kann das Hintergrundmodusmodul 243 zur Ausführung auswählen. Nach der Ausführung kann das Anzeigegerät 602 ein Hintergrund-Benutzeroberflächenelement 670 und Indikatoren 671, 672, 673 ausgeben, wobei der Indikator in einem bestimmten Format deutlich sichtbar angezeigt werden kann, um anzugeben, dass er der aktuell ausgewählte Indikator ist. Das Hintergrund-Benutzeroberflächenelement 670 kann beispielsweise ein Nachrichten-Feed-Element umfassen, das von einem Hintergrundbilddienst des Hintergrundmodusmoduls 243 bereitgestellt wird, und die Indikatoren 671, 672, 673 können verschiedenen Nachrichtenkategorien (z. B. Sport, Wetter, lokale Nachrichten) entsprechen. Ist der aktuell ausgewählte Indikator 671 mit einer Sportkategorie assoziiert, kann das Hintergrund-Benutzeroberflächenelement 670 sportbezogene Nachrichteninformationen beinhalten, die auf dem Anzeigegerät 602 zur Anzeige ausgegeben werden. In einem anderen Beispiel kann das Hintergrund-Benutzeroberflächenelement 670 eine sprachbasierte Flashkarte umfassen, die von dem Hintergrundbilddienst bereitgestellt wird, um dem Benutzer beim Erlernen einer Sprache zu helfen, und die Indikatoren 671, 672, 673 können verschiedenen Kategorien von Flashkarten (z. B. Tiere, Spielzeug, Kleidung) entsprechen. Hintergrund-Benutzeroberflächenelemente können in bestimmten Beispielen ein oder mehrere optische Flashkartenelemente, optische Nachrichtenelemente oder andere Arten von Elementen umfassen, die zur Anzeige ausgegeben werden.
  • Zu einem späteren Zeitpunkt kann der Benutzer eine nachfolgende hintere Tippgeste (z. B. einzelne hintere Tippgeste) ausführen, um das Hintergrund-Benutzeroberflächenelement zu ändern, das zur Anzeige in derselben Kategorie ausgegeben wird, die durch den Indikator 671 angegeben ist. Daher kann, wenn der aktuell ausgewählte Indikator 671 mit einer Sportnachrichtenkategorie assoziiert ist, der Benutzer den Finger 616 zum Ausführen einer hinteren Tippgeste an den hinteren Abschnitten 601 des Gehäuses 603 benutzen, die von dem Gestenerkennungsmodul 234 erkannt wird, um das Hintergrundmodusmodul 243 zu veranlassen, das Hintergrund-Benutzeroberflächenelement 670 von der Anzeige zu entfernen und stattdessen ein anderes Hintergrund-Benutzeroberflächenelement 675 auf dem Anzeigegerät 602 auszugeben, wie in 6B angegeben. Dieses Element 675 kann ein neues sportbezogenes Nachrichtenelement in der Sportnachrichtenkategorie umfassen, das mit dem Indikator 671 assoziiert ist. In einem anderen Beispiel kann der Benutzer, wenn der zur Zeit ausgewählte Indikator 671 mit der Tiersprachenkategorie assoziiert ist, den Finger 616 zum Ausführen einer hinteren Tippgeste an den hinteren Abschnitten 601 des Gehäuses 603 benutzen, um das Hintergrundmodusmodul 243 zu veranlassen, das Hintergrund-Benutzeroberflächenelement 675 auszugeben, das ein neues sprachbasiertes Flashkartenelement in der mit dem Indikator 671 assoziierten Tiersprachenkategorie umfassen kann.
  • Wie ebenfalls in 6C dargestellt, kann der Benutzer eine seitliche oder Rand-Tippgeste (z. B. einfache Rand-Tippgeste) an einem oder mehreren Rand- oder seitlichen Abschnitten 680 des Gehäuses 603 und/oder an einem oder mehreren Abschnitten des Anzeigegeräts 602 (z. B. einem oder mehreren Randabschnitten des Anzeigegeräts 602) ausführen, um die Kategorie des Hintergrund-Benutzeroberflächenelements zu ändern, das zur Anzeige auf dem Anzeigegerät 602 ausgegeben wird. 6C veranschaulicht, dass der Benutzer einen Finger 682 zur Ausführung dieser Geste benutzt. Finger 682 kann ein beliebiger Benutzerfinger sein, wie z. B. ein Finger der Hand 613 oder einer anderen Hand des Benutzers.
  • Nach dem Identifizieren dieser Geste durch das Gestenerkennungsmodul 234 kann das Hintergrundmodusmodul 243 die Kategorie der Informationen ändern, die in der Hintergrund-Benutzeroberflächeninteraktion ausgegeben wird. Das Hintergrundmodusmodul 243 kann beispielsweise zu einer mit dem Indikator 672 assoziierten zweiten Kategorie wechseln und das Hintergrund-Benutzeroberflächenelement 675 von der Anzeige entfernen, um stattdessen das Hintergrund-Benutzeroberflächenelement 677 für diese Kategorie auszugeben. Wie in 6C dargestellt, kann das Hintergrundmodusmodul 243 den Indikator 672 als die zur Zeit ausgewählte Kategorie optisch hervorheben oder anderweitig deutlich sichtbar anzeigen.
  • Ist der zur Zeit ausgewählte Indikator 672 mit einer Wetternachrichtenkategorie assoziiert, kann der Benutzer daher den Finger 682 zum Ausführen einer Rand-Tippgeste an einem oder mehreren seitlichen Abschnitten 680 des Gehäuses 603 und/oder an einem oder mehreren Abschnitten des Anzeigegeräts 602 benutzen, wie von dem Gestenerkennungsmodul 234 erkannt, um das Hintergrundmodusmodul 243 zu veranlassen, ein anderes Hintergrund-Benutzeroberflächenelement 677 auf dem Anzeigegerät 602 für die Wetternachrichtenkategorie auszugeben. Dieses Element 677 kann ein neues wetterbezogenes Nachrichtenelement in der Wetternachrichtenkategorie umfassen, das mit dem Indikator 672 assoziiert ist. In einem anderen Beispiel kann der Benutzer, wenn der zur Zeit ausgewählte Indikator 672 mit einer Spielsprachenkategorie assoziiert ist, den Finger 682 zum Ausführen einer Rand-Tippgeste benutzen, um das Hintergrundmodusmodul 243 zu veranlassen, das Hintergrund-Benutzeroberflächenelement 677 auszugeben, das ein neues sprachbasiertes Flashkartenelement in der mit dem Indikator 672 assoziierten Spielsprachenkategorie umfassen kann. Um den Hintergrundinteraktionsmodus zu beenden oder zu unterbrechen, kann der Benutzer in verschiedenen Beispielen eine hintere Doppeltippgeste ausführen.
  • Die Nutzung der Tipperkennung außerhalb des Bildschirms für die Interaktion mit der Hintergrundbenutzeroberfläche eröffnet daher unzählige neue Möglichkeiten. In verschiedenen Fällen kann diese Art der Interaktion einen schnellen Zugriff z. B. auf die/den bevorzugte(n) Hintergrundanwendung oder -dienst eines Benutzers ermöglichen, ohne unbedingt den Bildschirm entsperren zu müssen und/oder mit Gesteninteraktionen für im Vordergrund ausgeführte Anwendungen zu interferieren.
  • 7 ist ein Flussdiagramm, das beispielhafte Operationen eines Prozesses 780, der gemäß einem oder mehreren Aspekten der vorliegenden Offenbarung von einem mobilen Computergerät, wie z. B. mobilem Computergerät 100 (1) und/oder mobilem Computergerät 200 (2) ausgeführt wird, darstellt. Die Operationen aus 7 werden, lediglich zum Zweck der Veranschaulichung, mit Bezugnahme auf das in 2 dargestellte mobile Computergerät 200 beschrieben.
  • Der Prozess 780 beinhaltet das Identifizieren (782), durch ein mobiles Computergerät (z. B. durch das Gestenerkennungsmodul 234 des mobilen Computergeräts 200), das ein Gehäuse (z. B. Gehäuse 203) und ein präsenzempfindliches Anzeigegerät (z. B. Anzeigegerät 202) beinhaltet, und basierend auf einer ersten Gruppe von Sensorsignalen, die zumindest von einer Trägheitsmesseinheit (z. B. Trägheitsmesseinheit 233) bereitgestellt werden, zumindest einer ersten Geste, die an einem oder mehreren Abschnitten des Gehäuses ausgeführt wird. Der eine oder die mehreren Abschnitte des Gehäuses sind von dem präsenzempfindlichen Anzeigegerät getrennt und die Trägheitsmesseinheit ist in einem oder mehreren Sensoren (z. B. Sensoren 204) des mobilen Computergeräts beinhaltet.
  • Der Prozess 780 beinhaltet auch, in Reaktion auf das Identifizieren der zumindest einen ersten Geste, das Initiieren (784), durch das mobile Computergerät (z. B. unter Nutzung des Interaktionsmoduswählers 236 und/oder des Interaktionsmodusmoduls 238), eines Interaktionsmodus und das Ausgeben (786) zumindest eines optischen oder akustischen Indikators für den Interaktionsmodus, der mit einer bestimmten Funktion des mobilen Computergeräts assoziiert ist. Prozess 780 beinhaltet auch das Identifizieren (788), durch das mobile Computergerät (z. B. unter Nutzung des Gestenerkennungsmoduls 234) und basierend auf einer dritten Gruppe von Sensorsignalen, die durch den einen oder die mehreren Sensoren bereitgestellt werden, zumindest einer zweiten Geste, die an dem einen oder den mehreren Abschnitten des Gehäuses ausgeführt wird, um eine Benutzerauswahl der bestimmten Funktion zu bestätigen, die mit dem zumindest einen optischen oder akustischen Indikator für den Interaktionsmodus assoziiert ist. In Reaktion auf das Identifizieren der zumindest einen zweiten Geste beinhaltet der Prozess 780 ferner das Ausführen (790) der bestimmten Funktion durch das mobile Computergerät (z. B. unter Nutzung der Interaktionsmodusmodule 238).
  • In einem oder mehreren Beispielen können die beschriebenen Funktionen in Hardware, Software, Firmware oder einer beliebigen Kombination derselben implementiert sein. Wenn sie in Software implementiert sind, können die Funktionen als eine oder mehrere Anweisungen oder Codes auf einem computerlesbaren Medium gespeichert oder über dieses übertragen und von einer hardwarebasierten Verarbeitungseinheit ausgeführt werden. Computerlesbare Medien können computerlesbare Speichermedien, die physischen Medien, wie z. B. Datenspeichermedien, entsprechen, oder Kommunikationsmedien, die alle Medien beinhalten, die eine Übertragung eines Computerprogramms von einem Ort an einen anderen, z. B. gemäß einem Kommunikationsprotokoll, erleichtern, beinhalten. Auf diese Weise können computerlesbare Medien im Allgemeinen (1) physischen computerlesbaren Speichermedien, die nichtflüchtig sind, oder (2) einem Kommunikationsmedium, wie z. B. einem Signal oder einer Trägerwelle, entsprechen. Datenspeichermedien können beliebige verfügbare Medien sein, auf die von einem oder mehreren Computern oder einem oder mehreren Prozessoren zugegriffen werden kann, um Anweisungen, Code und/oder Datenstrukturen zur Implementierung der in dieser Offenbarung beschriebenen Techniken abzurufen. Ein Computerprogrammprodukt kann ein computerlesbares Medium beinhalten.
  • Beispielsweise, aber nicht ausschließlich, können derartige computerlesbare Speichermedien RAM, ROM, EEPROM, CD-ROM oder andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichergeräte, Flash-Speicher oder ein beliebiges anderes Speichermedium, das verwendet werden kann, um den gewünschten Programmcode in Form von Anweisungen oder Datenstrukturen zu speichern, und auf das von einem Computer zugegriffen werden kann, umfassen. Zudem kann jede Verbindung im eigentlichen Sinne als ein computerlesbares Medium bezeichnet werden. Wenn beispielsweise Anweisungen von einer Webseite, einem Server oder einer anderen entfernten Quelle unter Nutzung eines Koaxialkabels, eines Glasfaserkabels, eines Twisted-Pair-Kabels, einer digitalen Teilnehmerleitung (DSL) oder drahtloser Technologien, wie z. B. Infrarot, Funk und Mikrowelle, übertragen werden, sind das Koaxialkabel, Glasfaserkabel, Twisted-Pair-Kabel, DSL oder die drahtlosen Technologien, wie z. B. Infrarot, Funk und Mikrowelle, in der Definition von Medium mit eingeschlossen. Es versteht sich jedoch, dass computerlesbare Speichermedien und Datenspeichermedien keine Verbindungen, Trägerwellen, Signale oder andere vergängliche Medien beinhalten, sondern stattdessen nichtflüchtige, physische Speichermedien betreffen. Disketten und Platten, wie sie hierin verwendet werden, beinhalten Compact Disc (CD), Laserdisc, Optical Disc, Digital Versatile Disc (DVD), Diskette und Blu-ray Disc, wobei Disketten Daten typischerweise magnetisch wiedergeben, während Platten Daten optisch mit Lasern wiedergeben. Kombinationen der Vorstehenden sollten ebenfalls im Umfang von computerlesbaren Medien eingeschlossen sein.
  • Anweisungen können durch einen oder mehrere Prozessoren, wie z. B. einen oder mehrere digitale Signalprozessoren (DSPs), Universalmikroprozessoren, anwendungsspezifische integrierte Schaltungen (ASICs), feldprogrammierbare Gate-Arrays (FPGAs) oder beliebige andere gleichwertige integrierte oder diskrete Logikschaltungen ausgeführt werden. Dementsprechend kann sich der Begriff „Prozessor“, wie hierin verwendet, auf eine beliebige der vorgenannten Strukturen oder eine beliebige andere Struktur, die zur Implementierung der hierin beschriebenen Techniken geeignet ist, beziehen. Darüber hinaus kann die hierin beschriebene Funktionalität, in einigen Aspekten, innerhalb dedizierter Hardware- und/oder Softwaremodule bereitgestellt werden. Auch könnten die Techniken vollständig in einer oder mehreren Schaltungen oder Logikelementen implementiert werden.
  • Die Techniken dieser Offenbarung können in einer breiten Vielfalt von Geräten oder Vorrichtungen implementiert werden, einschließlich eines drahtlosen Handapparats, einer integrierten Schaltung (IC) oder eines Satzes von ICs (z. B. eines Chipsatzes). In dieser Offenbarung werden verschiedene Komponenten, Module oder Einheiten beschrieben, um funktionelle Aspekte von Geräten zu betonen, die dafür konfiguriert sind, die offenbarten Techniken durchzuführen, jedoch nicht notwendigerweise eine Umsetzung durch verschiedene Hardware-Einheiten erfordern. Vielmehr können, wie zuvor beschrieben, verschiedene Einheiten in einer Hardware-Einheit kombiniert oder durch eine Sammlung von intraoperativen Hardware-Einheiten, einschließlich eines oder mehrerer Prozessoren, wie zuvor beschrieben, in Verbindung mit geeigneter Software und/oder Firmware bereitgestellt werden.
  • Es ist zu beachten, dass, abhängig von der Ausführungsform, bestimmte Handlungen oder Ereignisse aus einem beliebigen der hierin beschriebenen Verfahren in einer unterschiedlichen Sequenz ausgeführt, hinzugefügt, zusammengeführt oder vollständig ausgelassen werden können (z. B. sind nicht alle beschriebenen Handlungen oder Ereignisse für die Ausübung des Verfahrens erforderlich). Des Weiteren können, in bestimmten Ausführungsformen, Handlungen oder Ereignisse gleichzeitig, z. B. durch Multi-Thread-Verarbeitung, Interrupt-Verarbeitung oder mehrere Prozessoren, anstatt sequenziell durchgeführt werden.
  • In einigen Beispielen umfasst ein computerlesbares Speichermedium ein nichtflüchtiges Medium. Der Begriff „nichtflüchtig“ gibt an, dass das Speichermedium nicht in einer Trägerwelle oder einem ausgebreiteten Signal verkörpert ist. Bei bestimmten Beispielen kann ein nichtflüchtiges Speichermedium Daten speichern, die sich im Verlauf der Zeit verändern können (z. B. im RAM oder Zwischenspeicher).
  • Es wurden verschiedene Beispiele beschrieben. Diese und andere Beispiele liegen innerhalb des Schutzumfangs der folgenden Ansprüche.

Claims (22)

  1. Verfahren, umfassend: Identifizieren, durch ein mobiles Computergerät, das ein Gehäuse und ein präsenzempfindliches Anzeigegerät beinhaltet, und basierend auf einer ersten Gruppe von Sensorsignalen, die zumindest von einer Trägheitsmesseinheit bereitgestellt werden, zumindest einer ersten Geste, die an einem oder mehreren Abschnitten des Gehäuses ausgeführt wird, wobei der eine oder die mehreren Abschnitte des Gehäuses von dem präsenzempfindliche Anzeigegerät getrennt sind, und wobei die Trägheitsmesseinheit in einem oder mehreren Sensoren des mobilen Computergeräts beinhaltet ist; in Reaktion auf das Identifizieren der zumindest einen ersten Geste, Initiieren eines Interaktionsmodus durch das mobile Computergerät; Ausgeben, durch das mobile Computergerät, zumindest eines optischen oder akustischen Indikators für den Interaktionsmodus, der mit einer bestimmten Funktion des mobilen Computergeräts assoziiert ist; Identifizieren, durch das mobile Computergerät und basierend auf einer zweiten Gruppe von Sensorsignalen, die durch den einen oder die mehreren Sensoren bereitgestellt werden, zumindest einer zweiten Geste, die an dem einen oder den mehreren Abschnitten des Gehäuses ausgeführt wird, um eine Benutzerauswahl der bestimmten Funktion zu bestätigen, die mit dem zumindest einen optischen oder akustischen Indikator für den Interaktionsmodus assoziiert ist; und in Reaktion auf das Identifzieren der zumindest einen zweiten Geste, Ausführen der bestimmten Funktion durch das mobile Computergerät.
  2. Verfahren nach Anspruch 1, wobei das Identifizieren der zumindest einen ersten Geste das Identifizieren umfasst, durch das mobile Computergerät und basierend auf der ersten Gruppe von Sensorsignalen, die zumindest von der Trägheitsmesseinheit bereitgestellt werden, zumindest einer ersten Tippgeste, die an dem einen oder mehreren Abschnitten des Gehäuses ausgeführt wird, wobei sich das präsenzempfindliche Anzeigegerät an einer Vorderseite des mobilen Computergeräts befindet, und wobei der eine oder die mehreren Abschnitte des Gehäuses einen oder mehrere umfassen eines (i) zumindest einen seitlichen Abschnitt des Gehäuses, der sich an einer Seite des mobilen Computergeräts befindet, die an die Vorderseite des mobilen Computergeräts angrenzt, oder (ii) zumindest einen hinteren Abschnitt des Gehäuses, der sich an einer Rückseite des mobilen Computergeräts befindet, wobei die Rückseite der Vorderseite des mobilen Computergeräts gegenüber liegt.
  3. Verfahren nach Anspruch 2, wobei der Interaktionsmodus einen Barrierefreiheitsinteraktionsmodus umfasst, wobei der eine oder die mehreren Sensoren ferner das präsenzempfindliche Anzeigegerät beinhalten, und das Verfahren ferner umfasst: Identifizieren, durch das mobile Computergerät und basierend auf einer dritten Gruppe von Sensorsignalen, die von dem präsenzempfindlichen Anzeigegerät bereitgestellt werden, zumindest einer dritten Geste, die in einer Region einer grafischen Benutzeroberfläche ausgeführt wird, die auf dem präsenzempfindlichen Anzeigegerät ausgegeben wird, wobei das Ausgeben des zumindest einen optischen oder akustischen Indikators für den Barrierefreiheitsinteraktionsmodus das Ausgeben des zumindest einen optischen oder akustischen Indikators für den Barrierefreiheitsinteraktionsmodus durch das mobile Computergerät und basierend auf der Region der grafischen Benutzeroberfläche, in der die zumindest eine dritte Geste ausgeführt wird, umfasst.
  4. Verfahren nach Anspruch 3, wobei das Ausgeben des zumindest einen optischen oder akustischen Indikators für den Barrierefreiheitsinteraktionsmodus das Ausgeben von Audiosprache, durch das mobile Computergerät, die den in der Region der grafischen Benutzeroberfläche, in der die dritte Geste ausgeführt wird, angezeigten Inhalt indiziert, umfasst, wobei das Identifizieren der zumindest einen zweiten Geste das Identifizieren, durch das mobile Computergerät und basierend auf der zweiten Gruppe von Sensorsignalen, die zumindest von der Trägheitsmesseinheit bereitgestellt werden, einer hinteren Tippgeste umfasst, die an dem zumindest einen hinteren Abschnitt des Gehäuses ausgeführt wird, um die Auswahl der bestimmten Funktion durch den Benutzer zu bestätigen, die mit dem in der Region der grafischen Benutzeroberfläche angezeigten Inhalt assoziiert ist.
  5. Verfahren nach Anspruch 4, wobei der in der Region der grafischen Benutzeroberfläche, in der die dritte Geste ausgeführt wird, angezeigte Inhalt eines von (i) einem Anwendungssymbol, (ii) einem Weblink oder (iii) einer Taste einer grafischen Tastatur umfasst, und wobei das Durchführen der bestimmten Funktion eines umfasst von: Ausführen, durch das mobile Computergerät, einer mit dem Anwendungssymbol assoziierten Anwendung; Zugreifen, durch das mobile Computergerät, auf eine mit dem Weblink assoziierte Webseite; oder Auswählen, durch das mobile Computergerät, der Taste der grafischen Tastatur.
  6. Verfahren nach Anspruch 3, wobei das Ausgeben des zumindest einen optischen oder akustischen Indikators für den Barrierefreiheitsinteraktionsmodus das Ausgeben einer optischen Vergrößerung des Inhalts durch das mobile Computergerät umfasst, der in der Region der grafischen Benutzeroberfläche angezeigt wird, in dem die dritte Geste ausgeführt wird, wobei das Identifizieren der zumindest einen zweiten Geste das Identifizieren, durch das mobile Computergerät und basierend auf der zweiten Gruppe von Sensorsignalen, die zumindest von der Trägheitsmesseinheit bereitgestellt werden, einer hinteren Tippgeste umfasst, die an dem zumindest einen hinteren Abschnitt des Gehäuses ausgeführt wird, um die Auswahl der bestimmten Funktion durch den Benutzer zu bestätigen, die mit dem in der Region der grafischen Benutzeroberfläche angezeigten Inhalt assoziiert ist.
  7. Verfahren nach Anspruch 6, wobei das Ausgeben des zumindest einen optischen oder akustischen Indikators für den Barrierefreiheitsinteraktionsmodus ferner das Ausgeben von Audiosprache, durch das mobile Computergerät, die den in der Region der grafischen Benutzeroberfläche, in der die dritte Geste ausgeführt wird, angezeigten Inhalt indiziert, umfasst.
  8. Verfahren nach Anspruch 2, wobei der Interaktionsmodus einen assistiven Interaktionsmodus umfasst und das Verfahren ferner umfasst: in Reaktion auf das Initiieren des assistiven Interaktionsmodus, Ausgeben eines optischen Menüs, das eine Vielzahl von Menüpunkten beinhaltet, durch das mobile Computergerät und zur Anzeige auf dem präsenzempfindlichen Anzeigegerät; Identifizieren, durch das mobile Computergerät und basierend auf einer dritten Gruppe von Sensorsignalen, die zumindest von der Trägheitsmesseinheit bereitgestellt werden, einer mit einer erkannten Bewegung oder Drehung des mobilen Computergerätes assoziierten Neigegeste, wobei das Ausgeben des zumindest einen optischen oder akustischen Indikators für den assistiven Interaktionsmodus das Ausgeben, durch das mobile Computergerät und zur Anzeige auf dem präsenzempfindlichen Anzeigegerät, eines Menüpunkts aus der Vielzahl von Menüpunkten basierend auf zumindest einer Richtung oder einer Orientierung der erkannten Bewegung oder Drehung des mobilen Computergeräts umfasst, wobei der Menüpunkt mit der bestimmten Funktion assoziiert ist, wobei das Identifizieren der zumindest einen zweiten Geste das Identifizieren, durch das mobile Computergerät und basierend auf der zweiten Gruppe von Sensorsignalen, die zumindest von der Trägheitsmesseinheit bereitgestellt werden, einer hinteren Tippgeste umfasst, die an dem zumindest einen hinteren Abschnitt des Gehäuses ausgeführt wird, um die Auswahl der bestimmten Funktion durch den Benutzer zu bestätigen, die mit dem Menüpunkt assoziiert ist.
  9. Verfahren nach Anspruch 8, wobei die mit dem Menüpunkt assoziierte bestimmte Funktion entweder eine Bildlauffunktion nach oben, eine Bildlauffunktion nach unten, eine Seite-zurück-Funktion oder eine Funktion zum Wechseln der Anwendung ist.
  10. Verfahren nach Anspruch 2, wobei der Interaktionsmodus einen Hintergrundinteraktionsmodus umfasst, wobei das Ausgeben des zumindest einen optischen oder akustischen Indikators für den Hintergrundinteraktionsmodus das Ausgeben, durch das mobile Computergerät und zur Anzeige auf dem präsenzempfindlichen Anzeigegerät, eines interaktiven Hintergrundbildes umfasst, das ein oder mehrere mit der bestimmten Funktion assoziierte Hintergrund-Benutzeroberflächenelemente umfasst, wobei das Identifizieren der zumindest einen zweiten Geste das Identifizieren, durch das mobile Computergerät und basierend auf der zweiten Gruppe von Sensorsignalen, die von dem einen oder den mehreren Sensoren bereitgestellt werden, der zumindest einen zweiten Geste umfasst, um die Benutzerauswahl der bestimmten Funktion zu bestätigen, die mit dem einen oder den mehreren Hintergrund-Benutzeroberflächenelementen assoziiert ist, und wobei die zumindest eine zweite Geste eine umfasst einer (i) Rand-Tippgeste, die an einem oder mehreren des zumindest einen seitlichen Abschnitts des Gehäuses oder zumindest eines Abschnitts des präsenzempfindlichen Anzeigegeräts ausgeführt wird, oder (ii) einer hinteren Tippgeste, die an dem zumindest einen hinteren Abschnitt des Gehäuses ausgeführt wird.
  11. Verfahren nach Anspruch 10, wobei das eine oder die mehreren Hintergrund-Benutzeroberflächenelemente ein oder mehrere optische Flashkartenelemente oder optische Nachrichtenelemente zur Anzeige auf dem präsenzempfindlichen Anzeigegerät umfassen.
  12. Verfahren nach Anspruch 10, wobei ein oder mehrere Hintergrund-Benutzeroberflächenelemente eine erste Gruppe von Hintergrund-Benutzeroberflächenelementen umfassen, und wobei das Ausführen der bestimmten Funktion ferner umfasst: Entfernen, durch das mobile Computergerät, der ersten Gruppe von Hintergrund-Benutzeroberflächenelementen von der Anzeige auf dem präsenzempfindlichen Anzeigegerät; und Ausgeben, durch das mobile Computergerät und zur Anzeige auf der präsenzempfindlichen Anzeige, einer zweiten Gruppe von Hintergrund-Benutzeroberflächenelementen.
  13. Verfahren nach Anspruch 2, wobei der Interaktionsmodus einen Trägheitsinteraktionsmodus umfasst, wobei der eine oder die mehreren Sensoren ferner das präsenzempfindliche Anzeigegerät beinhalten, wobei das Identifizieren der zumindest einen ersten Geste das Identifizieren, durch das mobile Computergerät und basierend auf der ersten Gruppe von Sensorsignalen, die zumindest von der Trägheitsmesseinheit bereitgestellt werden, einer Rand-Tippgeste umfasst, die an einem oder mehreren des zumindest einen seitlichen Abschnitts des Gehäuses oder zumindest eines Abschnitts des präsenzempfindlichen Anzeigegeräts ausgeführt wird, wobei das Ausgeben des zumindest einen optischen oder akustischen Indikators für den Trägheitsinteraktionsmodus das Ausgeben, durch das mobile Computergerät und zur Anzeige auf dem präsenzempfindlichen Anzeigegerät in einer Region einer grafischen Benutzeroberfläche, eines oder mehrerer Benutzeroberflächen-Bedienelemente umfasst, und wobei das Identifizieren der zumindest einen zweiten Geste das Identifizieren, durch das mobile Computergerät und basierend auf der zweiten Gruppe von Sensorsignalen, die von dem präsenzempfindlichen Anzeigegerät bereitgestellt werden, der zumindest einen zweiten Geste umfasst, die in der Region der grafischen Benutzeroberfläche ausgeführt wird, um die Benutzerauswahl der bestimmten Funktion zu bestätigen, die mit dem einen oder den mehreren Benutzeroberflächen-Bedienelementen assoziiert ist.
  14. Verfahren nach Anspruch 13, wobei die zumindest eine Geste eine in der Region der grafischen Benutzeroberfläche ausgeführte Streichgeste umfasst, und wobei das Ausführen der bestimmten Funktion das Ausgeben, durch das mobile Computergerät und zur Anzeige auf dem präsenzempfindlichen Anzeigegerät, einer optischen Anpassung der einen oder mehreren Benutzeroberflächen-Bedienelemente umfasst.
  15. Verfahren nach einem der Ansprüche 2-14, wobei das Identifizieren der zumindest einen ersten Tippgeste das Identifizieren, durch das mobile Computergerät und basierend auf der ersten Gruppe von Sensorsignalen, die zumindest von der Trägheitsmesseinheit bereitgestellt werden, einer hinteren Doppeltippgeste umfasst, die an dem zumindest einen hinteren Abschnitt des Gehäuses ausgeführt wird.
  16. Verfahren nach einem der Ansprüche 2-15, wobei das Identifizieren der zumindest einen ersten Tippgeste, die an dem einen oder den mehreren Abschnitten des Gehäuses ausgeführt wird, das Analysieren der ersten Gruppe von Sensorsignalen, die zumindest von der Trägheitsmesseinheit bereitgestellt werden, durch das mobile Computergerät unter Nutzung eines Maschinenlernmoduls und eines neuronalen Netzwerkmodells umfasst, um ein oder mehrere Attribute der zumindest einen ersten Tippgeste zu ermitteln, wobei das eine oder die mehreren Attribute eines oder mehrere umfassen von (i) einer mit der zumindest einen ersten Tippgeste assoziierten Position, (ii) eine mit der zumindest einen ersten Tippgeste assoziierte Gestenbedingung, (iii) einer mit der zumindest einen ersten Tippgeste assoziierten Kraft, oder (iv) einer mit der zumindest einen ersten Tippgeste assoziierten Richtung.
  17. Verfahren nach einem der Ansprüche 1-16, ferner umfassend: Identifizieren, durch das mobile Computergerät und basierend auf einer weiteren Gruppe von Sensorsignalen, die durch den einen oder die mehreren Sensoren bereitgestellt werden, zumindest einer weiteren Geste, die an dem einen oder den mehreren Abschnitten des Gehäuses ausgeführt wird, um den Interaktionsmodus zu beenden; und in Reaktion auf das Identifizieren der zumindest einen weiteren Geste, Beenden des Interaktionsmodus durch das mobile Computergerät.
  18. Verfahren nach einem der Ansprüche 1-17, wobei die Trägheitsmesseinheit zumindest einen eines Beschleunigungsmessers oder eines Gyroskops umfasst.
  19. Mobiles Computergerät, umfassend: ein präsenzempfindliches Anzeigegerät; ein mit dem präsenzempfindlichen Anzeigegerät gekoppeltes Gehäuse; einen oder mehrere Sensoren, die eine Trägheitsmesseinheit beinhalten; zumindest einen Prozessor; und ein nichtflüchtiges computerlesbares Speichergerät, das konfiguriert ist, Anweisungen zu speichern, die durch den zumindest Prozessor ausführbar sind zum: Identifizieren, basierend auf einer ersten Gruppe von Sensorsignalen, die zumindest von der Trägheitsmesseinheit bereitgestellt werden, zumindest einer ersten Geste, die an einem oder mehreren Abschnitten des Gehäuses ausgeführt wird, wobei der eine oder die mehreren Abschnitte des Gehäuses von dem präsenzempfindliche Anzeigegerät getrennt sind; in Reaktion auf das Identifizieren der zumindest einen ersten Geste, Initiieren eines Interaktionsmodus; Ausgeben zumindest eines optischen oder akustischen Indikators für den Interaktionsmodus, der mit einer bestimmten Funktion des mobilen Computergeräts assoziiert ist; Identifizieren, basierend auf einer dritten Gruppe von Sensorsignalen, die durch den einen oder die mehreren Sensoren bereitgestellt werden, zumindest einer zweiten Geste, die an dem einen oder den mehreren Abschnitten des Gehäuses ausgeführt wird, um eine Benutzerauswahl der bestimmten Funktion zu bestätigen, die mit dem zumindest einen optischen oder akustischen Indikator für den Interaktionsmodus assoziiert ist; und in Reaktion auf das Identifzieren der zumindest eine zweiten Geste, Ausführen der bestimmten Funktion.
  20. Mobiles Computergerät nach Anspruch 19, wobei die Anweisungen, die auf dem computerlesbaren Speichergerät gespeichert sind, ferner durch den zumindest einen Prozessor ausführbar sind, um das Verfahren nach einem der Ansprüche 2-18 durchzuführen.
  21. Computerlesbares Speichergerät, das Anweisungen speichert, die, bei Ausführung, zumindest einen Prozessor eines mobilen Computergeräts veranlassen, Operationen durchzuführen, die Folgendes umfassen: Identifizieren, basierend auf einer ersten Gruppe von Sensorsignalen, die zumindest von einer Trägheitsmesseinheit bereitgestellt werden, zumindest eine erste Geste, die an einem oder mehreren Abschnitten eines Gehäuses des mobilen Computergeräts ausgeführt wird, wobei der eine oder die mehreren Abschnitte des Gehäuses von einem präsenzempfindliche Anzeigegerät getrennt sind, und wobei die Trägheitsmesseinheit in einem oder mehreren Sensoren des mobilen Computergeräts beinhaltet ist; in Reaktion auf das Identifizieren der zumindest einen ersten Geste, Initiieren eines Interaktionsmodus; Ausgeben zumindest eines optischen oder akustischen Indikators für den Interaktionsmodus, der mit einer bestimmten Funktion des mobilen Computergeräts assoziiert ist; Identifizieren, basierend auf einer dritten Gruppe von Sensorsignalen, die durch den einen oder die mehreren Sensoren bereitgestellt werden, zumindest einer zweiten Geste, die an dem einen oder den mehreren Abschnitten des Gehäuses ausgeführt wird, um eine Benutzerauswahl der bestimmten Funktion zu bestätigen, die mit dem zumindest einen optischen oder akustischen Indikator für den Interaktionsmodus assoziiert ist; und in Reaktion auf das Identifzieren der zumindest einen zweiten Geste, Ausführen der bestimmten Funktion.
  22. Computerlesbares Speichergerät nach Anspruch 21, wobei die Anweisungen den zumindest einen Prozessor des Computergeräts veranlassen, ferner das Verfahren nach einem der Ansprüche 2-18 durchzuführen.
DE112020007543.5T 2020-08-25 2020-08-25 Initiieren eines Computergerät-Interaktionsmodus unter Nutzung der Erkennung von Gesten außerhalb des Bildschirms Pending DE112020007543T5 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/070460 WO2022046151A1 (en) 2020-08-25 2020-08-25 Initiating a computing device interaction mode using off-screen gesture detection

Publications (1)

Publication Number Publication Date
DE112020007543T5 true DE112020007543T5 (de) 2023-08-03

Family

ID=72428391

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020007543.5T Pending DE112020007543T5 (de) 2020-08-25 2020-08-25 Initiieren eines Computergerät-Interaktionsmodus unter Nutzung der Erkennung von Gesten außerhalb des Bildschirms

Country Status (6)

Country Link
EP (1) EP4204926A1 (de)
JP (1) JP2023539020A (de)
KR (1) KR20230056657A (de)
CN (1) CN116507990A (de)
DE (1) DE112020007543T5 (de)
WO (1) WO2022046151A1 (de)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
CN105474157A (zh) * 2013-05-09 2016-04-06 亚马逊技术股份有限公司 移动设备界面
DK201870347A1 (en) * 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Also Published As

Publication number Publication date
KR20230056657A (ko) 2023-04-27
JP2023539020A (ja) 2023-09-13
CN116507990A (zh) 2023-07-28
EP4204926A1 (de) 2023-07-05
WO2022046151A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
US11829720B2 (en) Analysis and validation of language models
US11386266B2 (en) Text correction
US20220100368A1 (en) User interfaces for improving single-handed operation of devices
US20220043551A1 (en) Coordination of static backgrounds and rubberbanding
US11221698B2 (en) Systems and methods for interacting with multiple applications that are simultaneously displayed on an electronic device with a touch-sensitive display
US20190079648A1 (en) Method, device, and graphical user interface for tabbed and private browsing
US20180089166A1 (en) User interface for providing text prediction
US10386995B2 (en) User interface for combinable virtual desktops
DE112013003261B4 (de) Biometrisch initiierte Kommunikation
JP4975634B2 (ja) データを制御し入力するための方法およびデバイス
US20150227173A1 (en) Electronic device and index display method thereof
DE202016001024U1 (de) Navigations-Benutzerschnittstelle
DE202016008310U1 (de) Vorhersagen von Suchanfragen durch eine Tastatur
DE202005021427U1 (de) Elektronische Vorrichtung mit berührungsempfindlicher Eingabeeinrichtung
DE202011110334U1 (de) System zum Orthogonales Ziehen auf Scrollbalken
US11556631B2 (en) User interfaces for managing user account passwords
CN112162665A (zh) 操作方法及装置
US20190324563A1 (en) Devices and Method for Manipulating User Interfaces with Stylus and Non-Stylus Contacts
WO2019045836A1 (en) USER INTERFACE FOR DIGITAL INK MODIFICATION
DE102014101026A1 (de) Eingabestiftkurzschrift
CN109218514A (zh) 一种控制方法、装置及设备
DE102014101042A1 (de) Modifizieren einer Eingabestifteingabe oder -reaktion unter Verwendung einer gefolgerten Bewegung
DE102014101027A1 (de) Eingabestift mit Lexikon-Sharing
DE112020007543T5 (de) Initiieren eines Computergerät-Interaktionsmodus unter Nutzung der Erkennung von Gesten außerhalb des Bildschirms
Uddin Improving Multi-Touch Interactions Using Hands as Landmarks