DE202016001024U1

DE202016001024U1 - Navigations-Benutzerschnittstelle

Info

Publication number: DE202016001024U1
Application number: DE202016001024.8U
Authority: DE
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2015-02-13
Filing date: 2016-02-04
Publication date: 2016-07-29
Anticipated expiration: 2026-02-05
Also published as: US9574896B2; EP3256817A1; CN110779543B; CN110779543A; AU2016100155B4; WO2016130404A1; AU2016100155C4; AU2016218318B2; EP3256817B1; AU2016218318A1; HK1222727A1; DK201670074A1; US20160238402A1; AU2016100155A4; CN105892644A; CN105892644B; US20170160098A1; US10024682B2

Abstract

Ein erstes Gerät, umfassend: einen oder mehrere Prozessoren, einen Speicher; und ein oder mehrere Programme, wobei das eine oder die mehreren Programme im Speicher abgelegt sind und dazu konfiguriert sind, von dem einen oder den mehreren Prozessoren ausgeführt zu werden, wobei das eine oder die mehreren Programme Anweisungen enthalten für: das Empfangen einer Anfrage von einem zweiten Gerät, um eine Navigation zu initiieren, basierend auf einer oder mehrere Benutzereingaben empfangen bei dem zweiten Gerät; basierend auf der Anfrage, um Navigation zu initiieren, das Überwachen auf Eintreten der Ereignisbedingungen bezogen auf die Navigation; während der Eintritt der Ereignisbedingung bezogen auf die Navigation überwacht wird, das Feststellen, dass eine Ereignisbedingung, die sich auf die Navigation bezieht, erfüllt wurde; in Reaktion auf das Feststellen, dass eine Ereignisbedingung erfüllt wurde: Senden von Anweisungen an das zweite Gerät, eine erste Mitteilung auf dem zweiten Gerät zu einem ersten Zeitpunkt zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; und Präsentieren einer zweiten Mitteilung auf dem ersten Gerät zu einem zweiten Zeitpunkt, die darauf hinweist dass die Ereignisbedingung erfüllt wurde, und wobei: das zweite Gerät anders als das erste Gerät ist, die zweite Mitteilung anders als die erste Mitteilung ist, und der zweite Zeitpunkt so gewählt wird, dass er von dem ersten Zeitpunkt durch mindestens einen vorbestimmten Verzögerungszeitraum beabstandet ist.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht die Priorität der vorläufigen US-Patenanmeldung mit der Seriennummer. 62/116,272 und dem Titel „NAVIGATION USER INTERFACE”, eingereicht am 13. Februar 2015, die hiermit durch Bezugnahme in vollem Umfang für alle Zwecke aufgenommen wird.
Diese Anmeldung betrifft die folgende ebenfalls anhängige US-Patenanmeldung mit der Seriennummer. 62/044,937, mit dem Titel „COMMUNICATING MAPPING APPLICATION BETWEEN ELECTRONIC DEVICES”, eingereicht am 2. September 2014 (Referenz-Nr. P24336USP1), die hiermit durch Bezugnahme in vollem Umfang aufgenommen wird.
GEBIET
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Computer-Benutzerschnittstellen und insbesondere auf Techniken zur Handhabung von Navigationsmitteilungen.
HINTERGRUND
Die Verwendung von elektronischen Geräten für Wegbeschreibung mittels Turn-by-Turn Navigation hat in den letzten Jahren deutlich zugenommen. Elektronische Geräte bieten dem Benutzer Richtungsanweisungen in Echtzeit im Verlauf seiner Wegstrecke. Beispielsweise kann das elektronische Gerät dem Benutzer eine Anweisung zum Abbiegen auf dem Display anzeigen. Alternativ dazu kann das elektronische Gerät dem Benutzer eine Anweisung zum Abbiegen mithilfe von Audiofunktionen unterbreiten.
KURZE ZUSAMMENFASSUNG
Einige Techniken für die Handhabung von Navigationsmitteilungen unter Verwendung von elektronischen Geräten sind jedoch im Allgemeinen umständlich und ineffizient. Zum Beispiel verwenden bestehende Techniken eine komplexe und zeitaufwändige Benutzerschnittstelle, die mehrere Tastendrücke oder Tastenanschläge vorsehen kann oder es für den Benutzer schwierig gestalten kann, die Anweisungen des Geräts in wertschätzender Weise zu nutzen. Die bestehenden Techniken erfordern mehr Zeit und Aufmerksamkeit als notwendig, wodurch die Zeit des Benutzers und die Energie des Geräts verschwendet werden. Für batteriebetriebene Geräte ist diese letzte Betrachtung besonders wichtig. Beispielsweise ist in dem Moment, in dem ihm das Gerät die aktuelle Mitteilung präsentiert, ein Benutzer möglicherweise nicht auf eine Navigationsanweisung per Audio oder per Anzeige vorbereitet.
Dementsprechend besteht eine Notwendigkeit für elektronische Geräte mit schnelleren, effizienteren Verfahren und Schnittstellen für die Handhabung von Navigationsmitteilungen. Derartige Verfahren und Schnittstellen ergänzen oder ersetzen optional andere Verfahren für die Handhabung von Navigationsmitteilungen. Derartige Verfahren und Schnittstellen verringern die kognitive Belastung eines Benutzers und erzeugen eine effizientere Mensch-Maschine-Schnittstelle. Im Falle batteriebetriebener Computergeräte sparen solche Verfahren und Schnittstellen Strom ein und verlängern die Betriebszeit zwischen den Batterieladevorgängen.
In Übereinstimmung mit einigen Ausführungsformen ist das Gerät dazu eingerichtet ein Verfahren durchzuführen. Dabei ist das Gerät dazu eingerichtet ein Verfahren auszuführen, das folgende Schritte umfasst: Feststellen, dass eine Ereignisbedingung errfüllt wurde; und in Reaktion auf das Feststellen, dass die Ereignisbedingung erfüllt wurde: Senden von Anweisungen an ein zweites Gerät, eine erste Mitteilung auf dem zweiten Gerät zu einem ersten Zeitpunkt zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde, und Präsentieren einer zweiten Mitteilung auf dem ersten Gerät zu einem zweiten Zeitpunkt, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; und wobei: das zweite Gerät ein anderes als das erste Gerät ist, und die zweite Mitteilung eine andere als die erste Mitteilung ist, und der zweite Zeitpunkt so gewählt wird, dass er um mindestens einen vorbestimmten Verzögerungszeitraum vom ersten Zeitpunkt beabstandet ist.
In Übereinstimmung mit einigen Ausführungsformen umfasst ein erstes Gerät: einen oder mehrere Prozessoren; einen Speicher und ein oder mehrere Programme, wobei das eine oder die mehreren Programme im Speicher abgelegt und dazu konfiguriert sind, durch den einen oder die mehreren Prozessoren ausgeführt zu werden, wobei der eine oder die mehreren Programme Anweisungen umfassen zum: Feststellen, dass eine Ereignisbedingung erfüllt wurde, in Reaktion auf das Feststellen, dass eine Ereignisbedingung erfüllt wurde: Senden an ein zweites Gerät von Anweisungen, zu einem ersten Zeitpunkt eine erste Mitteilung auf dem zweiten Gerät zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde, und Präsentieren einer zweiten Mitteilung auf dem ersten Gerät zu einem zweiten Zeitpunkt, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; und wobei: das zweite Gerät ein anderes als das erste Gerät ist, die zweite Mitteilung eine andere als die erste Mitteilung ist, und der zweite Zeitpunkt so gewählt wird, dass er um mindestens einen vorbestimmten Verzögerungszeitraum von dem ersten beabstandet ist.
In Übereinstimmung mit einigen Ausführungsformen speichert ein nichttransitorisches computerlesbares Speichermedium ein oder mehrere Programme, wobei das eine oder die mehreren Programme Anweisungen umfassen, die dann, wenn sie von einem oder mehreren Prozessoren eines ersten Geräts ausgeführt werden, das erste Gerät dazu veranlassen: Festzustellen, dass eine Ereignisbedingung erfüllt wurde; in Reaktion auf das Feststellen, dass die Ereignisbedingung erfüllt wurde, Senden von Anweisungen an ein zweites Gerät, eine erste Mitteilung auf dem zweiten Gerät zu einem ersten Zeitpunkt zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; und auf dem ersten Gerät zu einem zweiten Zeitpunkt eine zweite Mitteilung zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; und wobei: das zweite Gerät ein anderes als das erste Gerät ist, die zweite Mitteilung eine andere als die erste Mitteilung ist, und der zweite Zeitpunkt so gewählt wird, dass er vom ersten Zeitpunkt um mindestens einen vorbestimmten Verzögerungszeitraum beabstandet ist.
In Übereinstimmung mit einigen Ausführungsformen speichert ein transitorisches computerlesbares Speichermedium ein oder mehrere Programme, wobei das eine oder die mehreren Programme Anweisungen enthalten, die dann, wenn sie von einem oder mehreren Prozessoren eines ersten Geräts ausgeführt werden, das erste Gerät dazu veranlassen: Festzustellen, dass eine Ereignisbedingung erfüllt wurde; in Reaktion auf das Feststellen, dass die Ereignisbedingung erfüllt wurde, Senden von Anweisungen an ein zweites Gerät, eine erste Mitteilung auf dem zweiten Gerät zu einem ersten Zeitpunkt zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; und auf dem ersten Gerät zu einem zweiten Zeitpunkt eine zweite Mitteilung zu präsentieren, die darauf hinweist, dass die Ereignisbedingung errfüllt wurde; und wobei: das zweite Gerät ein anderes als das erste Gerät ist, die zweite Mitteilung eine andere als die erste Mitteilung ist, und der zweite Zeitpunkt so gewählt wird, dass er vom ersten Zeitpunkt um mindestens einen vorbestimmten Verzögerungszeitraum beabstandet ist.
In Übereinstimmung mit einigen Ausführungsformen umfasst ein erstes Gerät: Mittel zum Feststellen, dass eine Ereignisbedingung erfüllt wurde; Mittel die auf das Feststellen, dass die Ereignisbedingung erfüllt wurde reagieren, um: Anweisungen an ein zweites Gerät zu senden, auf dem zweiten Gerät zu einem ersten Zeitpunkt eine erste Mitteilung zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde, und auf dem ersten Gerät zu einem zweiten Zeitpunkt eine zweite Mitteilung zu präsentieren, die darauf hinweist, das die Ereignisbedingung erfüllt wurde; und wobei: das zweite Gerät ein anderes als das erste Gerät ist, die zweite Mitteilung eine andere als die erste Mitteilung ist, und der zweite Zeitpunkt so gewählt wird, dass er vom ersten Zeitpunkt um mindestens einen vorbestimmten Verzögerungszeitraum beabstandet ist.
In Übereinstimmung mit einigen Ausführungsformen umfasst ein erstes Gerät: eine Feststellungseinheit, die dazu konfiguriert ist, festzustellen, dass eine Ereignisbedingung erfüllt wurde; eine Sendeeinheit, die dazu konfiguriert ist, in Reaktion auf das Feststellen, dass die Ereignisbedingung erfüllt wurde, Anweisungen an ein zweites Gerät zu senden, auf dem zweiten Gerät zu einem ersten Zeitpunkt eine erste Mitteilung zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; eine Präsentierungseinheit, die dazu konfiguriert ist, in Reaktion auf das Feststellen, dass die Ereignisbedingung erfüllt wurde, auf dem ersten Gerät zu einem zweiten Zeitpunkt eine zweite Mitteilung zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; und wobei: das zweite Gerät ein anderes als das erste Gerät ist, die zweite Mitteilung eine andere als die erste Mitteilung ist, und der zweite Zeitpunkt so gewählt wird, dass er vom ersten Zeitpunkt um mindestens einen vorbestimmten Verzögerungszeitraum beabstandet ist.
Ausführbare Anweisungen zum Ausführen dieser Funktionen sind optional in einem nicht-transitorischen computerlesbaren Speichermedium oder einem anderen Computerprogrammprodukt enthalten, das zur Ausführung durch einen oder mehrere Prozessoren konfiguriert ist. Ausführbare Anweisungen für die Durchführung dieser Funktionen sind optional in einem transitorischen computerlesbaren Speichermedium oder einem anderen Computerprogrammprodukt enthalten, das zur Ausführung durch einen oder mehrere Prozessoren konfiguriert ist.
Daher sind die Geräte mit schnelleren, effizienteren Verfahren und Schnittstellen zum Handhaben von Navigationsmitteilungen ausgestattet, womit die Effektivität und Effizienz dieser Geräte sowie die Zufriedenheit ihrer Benutzer erhöht wird.
BESCHREIBUNG DER FIGUREN
Zum besseren Verständnis der verschiedenen beschriebenen Ausführungsformen wird auf die nachfolgende Beschreibung der Ausführungsformen im Zusammenhang mit den nachfolgenden Zeichnungen verwiesen, in denen figurenübergreifend die gleichen Bezugszeichen auf die entsprechenden Teile hinweisen.
1A ist ein Blockdiagramm, welches ein tragbares Multifunktionsgerät mit einem berührungsempfindlichen Display gemäß einiger Ausführungsformen veranschaulicht.
1B ist ein Blockdiagramm, das gemäß einiger Ausführungsformen beispielhafte Komponenten für Ereignishandhabung veranschaulicht.
2 veranschaulicht ein tragbares Multifunktionsgerät, das gemäß einiger Ausführungsformen einen Berührungsbildschirm hat.
3 ist ein Blockdiagramm eines beispielhaften Multifunktionsgeräts mit einem Display und einer berührungsempfindlichen Oberfläche gemäß einiger Ausführungsformen.
4A veranschaulicht eine beispielhafte Benutzerschnittstelle für ein Menü von Anwendungen auf einem tragbaren Multifunktionsgerät gemäß einiger Ausführungsformen.
4B veranschaulicht eine beispielhafte Benutzerschnittstelle für ein Multifunktionsgerät mit einer berührungsempfindlichen Oberfläche, die vom Display getrennt ist, gemäß einiger Ausführungsformen.
5A veranschaulicht ein persönliches elektronisches Gerät gemäß einiger Ausführungsformen.
5B ist ein Blockdiagramm, das ein persönliches elektronisches Gerät gemäß einiger Ausführungsformen veranschaulicht.
6A–6G veranschaulichen beispielhafte Techniken und Benutzerschnittstellen zum Handhaben von Navigationsmitteilungen gemäß einiger Ausführungsformen.
7 ist ein beispielhaftes Flussdiagramm, das gemäß einiger Ausführungsformen ein Verfahren zum Handhaben von Navigationsmitteilungen mithilfe eines elektronischen Geräts veranschaulicht.
8 zeigt ein beispielhaftes Funktionsblockdiagramm eines elektronischen Geräts 800, das nach den Prinzipien der verschiedenen beschriebenen Ausführungsformen konfiguriert ist.
BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die folgende Beschreibung stellt beispielhafte Verfahren, Parameter und Ähnliches dar. Es ist jedoch zu beachten, dass die Beschreibung nicht als Einschränkung des Schutzumfangs der vorliegenden Offenbarung beabsichtigt ist, sondern vielmehr als Beschreibung beispielhafter Ausführungsformen dargelegt wird.
Es besteht eine Notwendigkeit für elektronische Geräte, die effiziente Verfahren und Schnittstellen für die Handhabung von Navigationsmitteilungen vorsehen. Beispielsweise ermöglicht es eine Technik, bei der zwei separate elektronische Geräte zum Einsatz kommen, um den Benutzer dieser Navigationsanweisungen zu unterschiedlichen Zeiten auf etwas aufmerksam zu machen, dem Benutzer, effektiv auf die Navigationsanweisungen zu reagieren. Im Ergebnis ist es weniger wahrscheinlich, dass der Benutzer von der Route abkommt, die ihm das elektronische Gerät empfiehlt. Derartige Techniken können die kognitive Belastung von Benutzern verringern, die auf Navigationsmitteilungen zugreifen, und damit ihre Produktivität erhöhen. Des Weiteren können solche Techniken die Prozessorleistung und somit den Batteriestromverbrauch verringern, die anderenfalls für nutzlose oder redundante Benutzereingaben verschwendet würden.
Nachfolgend liefern die 1A–1B, 2, 3, 4A–4B und 5A–5B eine Beschreibung beispielhafter Geräte in Bezug auf die Durchführung der Techniken zur Handhabung von Navigationsmitteilungen. 6A–6G veranschaulichen beispielhafte Techniken und Benutzerschnittstellen für Navigationsmitteilungen. Die Benutzerschnittstellen in den Figuren werden auch dazu verwendet, die nachfolgend beschriebenen Verfahren zu veranschaulichen, einschließlich der Prozesse in 7.
Obwohl in der nachfolgenden Beschreibung die Begriffe („erste(r)”, „zweite(r)” etc. verwendet werden, um verschiedene Elemente zu beschreiben, sollten diese Elemente nicht durch die Begriffe eingeschränkt werden. Diese Begriffe werden nur verwendet, um die Elemente voneinander zu unterscheiden. Zum Beispiel könnte eine erste Berührung auch als zweite Berührung bezeichnet werden, und gleichermaßen könnte eine zweite Berührung auch als erste Berührung bezeichnet werden, ohne vom Schutzumfang der verschiedenen beschriebenen Ausführungsformen abzuweichen. Sowohl die erste Berührung als auch die zweite Berührung sind Berührungen, sie sind jedoch nicht die gleiche Berührung.
Die in dieser Beschreibung verwendete Terminologie für die verschiedenen hierin dargelegten Ausführungsformen dient lediglich dem Zweck, nur bestimmte Ausführungsformen zu beschreiben und soll nicht einschränkend sein. Im Sinne der Beschreibung der verschiedenen Ausführungsformen und der beigefügten Ansprüche sollen die Singularformen „ein”, „eine” und „der”, „die”, das” auch die Pluralformen umfassen, sofern nicht eindeutig etwas anderes aus dem Kontext hervorgeht. Es versteht sich auch, dass der Begriff „und/oder” sich im Sinne dieses Dokuments auf alle möglichen Kombinationen aus einem oder mehreren der dazu gehörenden, aufgeführten Elemente bezieht. Es versteht sich ebenfalls, dass die Begriffe „enthält”, „beinhaltet”, „umfasst” und/oder „umfassend” im Sinne dieser Patentschrift das Vorhandensein von benannten Merkmalen, Ganzzahlen, Schritten, Operationen, Elementen und/oder Komponenten angeben, jedoch nicht das Vorhandensein oder das Hinzufügen eines oder mehrerer sonstiger Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten und/oder Gruppen davon ausschließen.
Der Begriff „wenn” kann dahin ausgelegt werden, dass er je nach Kontext „sobald” „nach”, „in Reaktion auf das Feststellen”, oder „in Reaktion auf das Erkennen” bedeutet. Gleichermaßen kann die Wendung „bei Feststellen, dass” oder „wenn [eine angegebene Bedingung oder ein angegebenes Ereignis] erkannt wird” dahin ausgelegt werden, dass sie je nach Kontext „unmittelbar nach dem Feststellen” oder „in Reaktion auf das Feststellen” oder „unmittelbar nach dem Erkennen [der angegebenen Bedingung oder des angegebenen Ereignisses] oder „in Reaktion auf das Erkennen [der angegebenen Bedingung oder des angegebenen Ereignisses” bedeutet.
Es werden Ausführungsformen von elektronischen Geräten, Benutzerschnittstellen für derartige Geräte und damit verbundene Prozesse für die Verwendung solcher Geräte beschrieben. In einigen Ausführungsformen ist das Gerät ein tragbares Kommunikationsgerät wie z. B. ein Mobiltelefon, das auch andere Funktionen beinhaltet, wie z. B. PDA- und/oder Musikspielerfunktionen. Beispielhafte Ausführungsformen von tragbaren Multifunktionsgeräten umfassen ohne Einschränkung die Geräte iPhone^®, iPod Touch^® und iPad^® von Apple Inc. mit Sitz in Cupertino, Kalifornien. Optional werden weitere tragbare elektronische Geräte wie z. B. Laptops oder Tablet-Computer mit berührungsempfindlichen Oberflächen (z. B. Berührungsdisplays und/oder Touchpads) verwendet. Es versteht sich, dass das Gerät in einigen Ausführungsformen kein tragbares Kommunikationsgerät, sondern ein Desktop-Computer mit einer berührungsempfindlichen Oberfläche (z. B. ein Berührungsbildschirm und/oder ein Touchpad) ist.
In den folgenden Ausführungen wird ein elektronisches Gerät beschrieben, welches ein Display und eine berührungsempfindliche Oberfläche umfasst. Es versteht sich jedoch, dass das elektronische Gerät optional ein oder mehrere weitere physische Benutzerschnittstellengeräte wie z. B. eine physische Tastatur, eine Maus und/oder einen Joystick umfassen kann.
Das Gerät kann eine Vielzahl von Anwendungen unterstützen, wie z. B. eine oder mehrere der folgenden: eine Zeichenanwendung, eine Präsentationsanwendung, eine Textverarbeitungsanwendung, eine Webseitenerstellungsanwendung, eine Disk-Authoring-Anwendung, eine Tabellenkalkulationsanwendung, eine Spielanwendung, eine Telefonanwendung, eine Videokonferenzanwendung, eine E-Mail-Anwendung, eine Sofortnachrichtenanwendung, eine Fitness-Anwendung, eine Fotoverwaltungsanwendung, eine Digitalkamera-Anwendung, eine Digital-Videokamera-Anwendung, eine Web-Browser-Anwendung, eine Digitalmusikspieleranwendung und/oder eine Digitalvideospieler-Anwendung.
Die verschiedenen Anwendungen, die auf dem Gerät ausgeführt werden, nutzen optional mindestens ein gemeinsames physisches Benutzerschnittstellengerät wie z. B. die berührungsempfindliche Oberfläche. Eine oder mehrere Funktionen der berührungsempfindlichen Oberfläche sowie auch die entsprechenden, auf dem Gerät angezeigten Informationen werden optional von einer Anwendung zur nächsten und/oder innerhalb einer entsprechenden Anwendung angepasst und/oder variiert. Auf diese Weise unterstützt eine gemeinsame physische Architektur (wie z. B. die berührungsempfindliche Oberfläche) des Geräts optional die Vielfalt von Anwendungen mit Benutzerschnittstellen, die für den Benutzer intuitiv und transparent sind.
Die Aufmerksamkeit wird nun auf Ausführungsformen von tragbaren Geräten mit berührungsempfindlichen Displays gerichtet. 1A ist ein Blockdiagramm, das ein tragbares Multifunktionsgerät 100 mit einem berührungsempfindlichen Displaysystem gemäß einiger Ausführungsformen veranschaulicht. Das berührungsempfindliche Display 112 wird manchmal der Bequemlichkeit halber als „Berührungsbildschirm” bezeichnet und ist manchmal unter dem Begriff „berührungsempfindliches Displaysystem” bekannt oder wird als solches bezeichnet. Das Gerät 100 umfasst den Speicher 102 (der optional ein oder mehrere computerlesbare Speichermedien enthalten kann), den Speichercontroller 122 und einen oder mehrere Verarbeitungseinheiten (CPUs) 120, die Peripherieschnittstelle 118, die HF-Schaltung 108, die Audioschaltung 110, den Lautsprecher 111, das Mikrofon 113, das Eingabe-/Ausgabe-(I/O)-Subsystem 106, weitere Eingabesteuerungsgeräte 116 und den externen Port 124. Das Gerät 100 enthält optional einen oder mehrere optische Sensoren 164. Das Gerät 100 enthält optional einen oder mehrere Kontaktintensitätssensoren 165 zum Erkennen der Intensität der Kontakte auf dem Gerät 100 (z. B. eine berührungsempfindliche Oberfläche wie z. B. das berührungsempfindliche Display-System 112 des Geräts 100). Das Gerät 100 enthält optional einen oder mehrere taktile Ausgabegeneratoren 167 zum Erzeugen von taktilen Ausgaben auf dem Gerät 100 (z. B. Erzeugen von taktilen Ausgaben auf einer berührungsempfindlichen Oberfläche, wie zum Beispiel einem berührungsempfindlichen Display-System 112 des Geräts 100 oder dem Touchpad 355 des Geräts 300). Diese Komponenten kommunizieren optional über einen oder mehrere Kommunikationsbusse oder Signalleitungen 103.
Die Verwendung des Ausdrucks „Intensität” eines Kontakts auf einer berührungsempfindlichen Oberfläche in der Beschreibung und in den Ansprüchen bezieht sich auf die Kraft oder den Druck (Kraft pro Flächeneinheit) eines Kontakts (z. B. eines Fingerkontakts) auf der berührungsempfindlichen Oberfläche, oder er bezieht sich auf einen Ersatz (Stellvertreterwert) für die Kraft oder den Druck eines Kontakts auf der berührungsempfindlichen Oberfläche. Die Intensität eines Kontakts hat einen Wertebereich, der mindestens vier verschiedene Werte und üblicherweise wohl eher Hunderte verschiedener Werte (z. B. mindestens 256) umfasst. Die Intensität eines Kontakts wird optional mithilfe verschiedener Ansätze und verschiedener Sensoren oder Sensorkombinationen ermittelt (oder gemessen). Zum Beispiel wird optional ein Kraftsensor oder werden mehrere Kraftsensoren unterhalb oder neben der berührungsempfindlichen Oberfläche verwendet, um die Kraft an verschiedenen Stellen auf der berührungsempfindlichen Oberfläche zu messen. In einigen Implementierungen werden Kraftmessungen aus mehreren Kraftsensoren kombiniert (z. B. ein gewichteter Durchschnitt), um eine geschätzte Kraft eines Kontakts zu ermitteln. In ähnlicher Weise wird optional mithilfe einer druckempfindlichen Spitze eines Eingabestifts der Druck des Stifts auf der berührungsempfindlichen Oberfläche gemessen. Alternativ dazu werden die Größe des auf der berührungsempfindlichen Oberfläche ermittelten Kontaktbereichs und/oder dessen Veränderungen, die Kapazität der berührungsempfindlichen Oberfläche direkt neben dem Kontakt und/oder deren Veränderungen, und/oder der Widerstand der berührungsempfindlichen Oberfläche direkt neben dem Kontakt und/oder dessen Veränderungen optional als Ersatz für die Kraft oder den Druck des Kontakts auf der berührungsempfindlichen Oberfläche verwendet. In einigen Implementierungen wird unmittelbar anhand der Ersatzmesswerte für die Kontaktkraft oder für den Kontaktdruck ermittelt, ob ein Intensitätsschwellwert überschritten wurde (z. B. wird der Intensitätsschwellwert in Einheiten ausgedrückt, die den Ersatzmesswerten entsprechen). In einigen Implementierungen werden die Ersatzmesswerte für die Kontaktkraft oder den Kontaktdruck in eine geschätzte Kraft oder einen geschätzten Druck umgewandelt, und anhand der geschätzten Kraft oder des geschätzten Drucks wird ermittelt, ob ein Intensitätswert überschritten wurde (z. B. ist der Intensitätsschwellwert ein Druckschwellwert, der in Druckeinheiten gemessen wird). Indem die Intensität eines Kontakts als Attribut für eine Benutzereingabe hergenommen wird, kann dem Benutzer Zugriff auf zusätzliche Gerätefunktionalitäten gewährt werden, die sonst auf einem Gerät von eingeschränkter Größe und begrenzter Fläche für die Anzeige von Affordanzen (z. B. auf einem berührungsempfindlichen Display) und/oder für das Empfangen von Benutzereingaben (z. B. über ein berührungsempfindliches Display, eine berührungsempfindliche Oberfläche oder ein physisches/mechanisches Steuerelement, wie z. B. einen Knopf oder eine Taste) für den Benutzer nicht zugänglich wären.
Die Verwendung des Begriffs „taktile Ausgabe” in der Beschreibung und in den Ansprüchen bezieht sich auf die physische Verlagerung eines Geräts relativ zu einer vorherigen Position des Geräts, auf die physische Verlagerung einer Komponente (z. B. einer berührungsempfindlichen Oberfläche) eines Geräts relativ zu einer anderen Komponente (z. B. Gehäuse) des Geräts, oder auf die Verlagerung der Komponente relativ zu einem Massenmittelpunkt des Geräts, die der Benutzer mithilfe seines Tastsinns erkennt. In Situationen, in denen beispielsweise das Gerät oder die Komponente des Geräts in Kontakt mit einer berührungsempfindlichen Oberfläche eines Benutzers (z. B. einem Finger, einer Handfläche oder einem anderen Teil der Hand eines Benutzers) ist, interpretiert der Benutzer die durch die physische Verlagerung erzeugte taktile Ausgabe als Tastempfindung, die einer wahrgenommenen Veränderung der physischen Merkmale des Geräts oder der Komponente des Geräts entspricht. Zum Beispiel wird die Bewegung einer berührungsempfindlichen Oberfläche (z. B. eines berührungsempfindlichen Displays oder Trackpads) von dem Benutzer optional als „Abwärtsklick” oder ”Aufwärtsklick” einer physischen Betätigungstaste interpretiert. In einigen Fällen spürt der Benutzer eine Tastempfindung, wie z. B. einen „Abwärtsklick” oder einen ”Aufwärtsklick” selbst dann, wenn keine Bewegung einer physischen, mit der berührungsempfindlichen Oberfläche verbundenen Betätigungstaste stattfindet, die durch die Bewegungen des Benutzers physisch gedrückt (z. B. verlagert) wird. Als weiteres Beispiel wird die Bewegung der berührungsempfindlichen Oberfläche von dem Benutzer optional als „Rauigkeit” der berührungsempfindlichen Oberfläche interpretiert oder wahrgenommen, selbst dann, wenn sich die Glätte der Oberfläche nicht verändert. Während derartige Interpretationen der Berührung durch einen Benutzer von seinen individuellen Sinneswahrnehmungen abhängen, gibt es viele Sinneswahrnehmungen einer Berührung, die eine große Mehrheit von Benutzern gemeinsam hat. Wenn daher eine taktile Ausgabe dahingehend beschrieben wird, dass sie einer bestimmten Sinneswahrnehmung eines Benutzers entspricht, (z. B. ein „Aufwärtsklick”, ein „Abwärtsklick”, „Rauigkeit”), dann entspricht, sofern hierzu nichts anderes angegeben ist, die erzeugte taktile Ausgabe einer physischen Verlagerung des Geräts oder einer Komponente des Geräts, welche die beschriebene Sinneswahrnehmung für einen typischen (oder durchschnittlichen) Benutzer erzeugt.
Es sei darauf hingewiesen, dass das Gerät 100 nur ein Beispiel für ein tragbares Multifunktionsgerät ist, und dass das Gerät 100 optional mehr oder weniger Komponenten als gezeigt besitzt, und dass es optional zwei oder mehr Komponenten miteinander kombiniert, oder optional eine andere Konfiguration oder Anordnung der Komponenten aufweist. Die verschiedenen in 1A gezeigten Komponenten werden in Hardware, Software oder einer Kombination aus sowohl Hardware als auch Software implementiert, einschließlich einer oder mehrerer signalverarbeitender und/oder anwendungsspezifischer integrierter Schaltungen.
Der Speicher 102 kann ein oder mehrere computerlesbare Speichermedien umfassen. Die computerlesbaren Speichermedien können greifbar und nicht-transitorisch sein. Der Speicher 102 kann einen Hochgeschwindigkeitsspeicher mit wahlfreiem Zugriff und ebenfalls einen nichtflüchtigen Speicher, wie zum Beispiel eine oder mehrere magnetische Plattenspeichergeräte, Flash-Speichergeräte, oder andere nichtflüchtige Festkörperspeichergeräte enthalten. Der Speichercontroller 122 kann den Zugriff auf den Speicher 102 durch andere Komponenten des Geräts 100 steuern.
Die Peripherieschnittstelle 118 kann dazu verwendet werden, Eingabe- und Ausgabeperipheriegeräte des Geräts mit der CPU 120 und dem Speicher 102 zu verbinden. Der eine oder die mehreren Prozessoren 120 betreiben verschiedene, im Speicher 102 abgelegte Softwareprogramme und/oder Anweisungssätze bzw. führen sie aus, um verschiedene Funktionen für das Gerät 100 durchzuführen und Daten zu verarbeiten. In einigen Ausführungsformen können die Peripherieschnittstelle 118, die CPU 120 und der Speichercontroller 122 auf einem einzigen Chip, wie z. B. dem Chip 104 implementiert werden. In einigen anderen Ausführungsformen können sie auf getrennten Chips implementiert werden.
Die HF-(Hochfrequenz-)Schaltung 108 empfängt und sendet HF-Signale, auch als elektromagnetische Signale bezeichnet. Die HF-Schaltung 108 wandelt elektrische Signale in/aus elektromagnetische(n) Signale(n) um und kommuniziert über die elektromagnetischen Signale mit Kommunikationsnetzwerken und anderen Kommunikationsgeräten. Die HF-Schaltung 108 enthält optional allgemein bekannte Schaltungen für die Durchführung dieser Funktionen, einschließlich aber nicht beschränkt auf ein Antennensystem, einen HF-Sender/Empfänger, einen oder mehrere Verstärker, einen Tuner, einen oder mehrere Oszillatoren, einen digitalen Signalprozessor, einen CODEC-Chipsatz, eine Teilnehmer-Identitätsmodulkarte („Subscriber Identity Module (SIM) Card”), einen Speicher etc. Die HF-Schaltung 108 kommuniziert optional mit Netzwerken, wie z. B. mit dem Internet, auch als „World Wide Web (WWW) bezeichnet, mit einem Intranet und/oder einem drahtlosen Netzwerk, wie z. B. einem zellularen Telefonnetzwerk, einem drahtlosen lokalen Netzwerk („Wireless Local Area Network”, LAN) und/oder einem Metropolitan Area Network (MAN), sowie mit anderen Geräten mithilfe von drahtloser Kommunikation. Die HF-Schaltung 108 umfasst optional allgemein bekannte Schaltungsanordnungen zum Erkennen von Nahfeldkommunikationsfeldern (NFC-Feldern), z. B. durch eine Kurzstreckenfunkeinrichtung. Für die drahtlose Kommunikation werden optional beliebige aus einer Vielzahl von Kommunikationsstandards, Protokollen und Technologien verwendet, einschließlich aber nicht beschränkt auf „Global System for Mobile Communications” (GSM), Enhanced Data GSM Environment (EDGE), High-Speed Downlink Packet Access (HSDPA), High-Speed Uplink Packet Access (HSUPA), Evolution, Data-Only (EV-DO), HSPA, HSPA+, Dual-cell HSPA (DC-HSPA), Long Term Evolution (LTE), Nahfeldkommunikation (NFC), Wide Band Code Division Multiplex Access (W-CDMA), Code Division Multiple Access (CDMA), Time Division Multiple Access (TDMA), Bluetooth, Bluetooth Low Energy (BTLE), Wireless Fidelity (Wi-Fi) (zum Beispiel IEEE 802.11a, IEEE 802.IIb, IEEE 802.11g, IEEE 802.11n, und/oder IEEE 802.11ac), Voice-Quer-Internet Protokoll (VoIP), WI-MAX, ein Protokoll für E-Mail (zum Beispiel Internet Message Access Protokoll (IMAP) und/oder Post Office Protokoll (POP)), Instant Messaging (zum Beispiel Extensible Messaging und Presence Protocol (XMPP), Session Initiation Protocol for Instant Messaging und Presence Leveraging Extensions (SIMPLE), Instant Messaging and Presence Service (IMPS) und/oder Short Message Service (SMS) oder jedes andere geeignete Kommunikationsprotokoll, einschließlich Kommunikationsprotokollen, die zum Anmeldezeitpunkt dieses Dokuments noch nicht entwickelt waren.
Audioschaltung 110, Lautsprecher 111 und Mikrofon 113 stellen eine Audioschnittstelle zwischen einem Benutzer und dem Gerät 100 bereit. Die Audioschaltung 110 empfängt Audiodaten von der Peripherieschnittstelle 118, wandelt die Audiodaten in ein elektrisches Signal um und sendet das elektrische Signal an den Lautsprecher 111. Der Lautsprecher 111 wandelt das elektrische Signal in für den Menschen hörbare Schallwellen um. Die Audioschaltung 110 empfängt auch elektrische Signale, die vom Mikrofon 113 aus Schallwellen umgewandelt wurden. Die Audioschaltung 110 wandelt das elektrische Signal in Audiodaten um und sendet die Audiodaten zur Verarbeitung an die Peripherieschnittstelle 118. Die Audiodaten können durch die Peripherieschnittstelle 118 vom Speicher 102 und/oder der HF-Schaltung 108 abgerufen und/oder dorthin gesendet werden. In einigen Ausführungsformen enthält die Audioschaltung 110 auch eine Kopfhörerbuchse (z. B. 212, 2). Die Kopfhörerbuchse bildet eine Schnittstelle zwischen der Audioschaltung 110 und den abnehmbaren Eingabe-/Ausgabe-Peripheriegeräten, wie z. B. einem Kopfhörer nur mit Ausgabefunktion oder einer Hörsprechgarnitur mit Ausgabefunktion (z. B. ein Kopfhörer für ein Ohr oder beide Ohren) und Eingabefunktion (z. B. ein Mikrofon).
Das I/O-Subsystem 106 verbindet die Eingabe-/Ausgabe-Peripheriegeräte am Gerät 100, wie z. B. den Berührungsbildschirm 112 und sonstige Eingabesteuerungsgeräte 116 mit der Peripherieschnittstelle 118. Das I/O-Subsystem 106 beinhaltet optional den Displaycontroller 156, den optischen Sensorcontroller 158, den Intensitätssensorcontroller 159, den haptischen Rückkopplungscontroller 161 und einen oder mehrere Eingabecontroller 160 für andere Eingabe- oder Steuergeräte. Der eine oder die mehreren Eingabecontroller 160 empfangen/senden elektrische Signale von/zu anderen Eingabesteuergeräten 116. Die anderen Eingabesteuergeräte 116 enthalten optional physische Tasten (z. B. Drucktasten, Wipptasten, etc.), Drehregler, Schiebeschalter, Joysticks, Klickräder, und so weiter. In einigen alternativen Ausführungsformen ist das Eingabesteuergerät bzw. sind die Eingabesteuergeräte 116 optional mit irgendeinem (oder keinem) der Folgenden verbunden: einer Tastatur, einer Infrarotschnittstelle, einem USB-Anschluss, und einem Zeigegerät, wie z. B. einer Maus. Die eine oder die mehreren Tasten (z. B. 208, 2) enthalten optional eine Auf-/Ab-Taste zur Lautstärkeregelung des Lautsprechers 111 und/oder des Mikrofons 113. Die eine oder die mehreren Tasten umfassen optional eine Drucktaste (z. B. 206, 2).
Durch ein kurzes Drücken auf die Drucktaste kann die Sperre des Berührungsbildschirms 112 aufgehoben oder ein Prozess begonnen werden, bei dem das Gerät mithilfe von Gesten auf dem Berührungsbildschirm entsperrt wird, wie beschrieben in der US-Patenanmeldung 11/322,549, ”Unlocking a Device by Performing Gestures an an Unlock Image,”, eingereicht am 23. Dezember 2005, US. Pat. Nr. 7,657,849 , die hiermit durch Bezugnahme in vollem Umfang aufgenommen wird. Durch ein längeres Drücken auf die Drucktaste (z. B. 206) kann die Stromversorgung des Geräts 100 ein- oder ausgeschaltet werden. Der Benutzer kann in der Lage sein, eine Funktionalität einer oder mehrerer Tasten zu personalisieren. Der Berührungsbildschirm 112 wird dazu verwendet, virtuelle Tasten oder Softtasten sowie eine oder mehrere Softtastaturen zu implementieren.
Die berührungsempfindliche Anzeige 112 stellt eine Eingabeschnittstelle und eine Ausgabeschnittstelle zwischen dem Gerät und einem Benutzer bereit. Der Displaycontroller 156 empfängt und/oder sendet elektrische Signale vom/an den Berührungsbildschirm 112. Der Berührungsbildschirm 112 zeigt dem Benutzer die visuelle Ausgabe an. Die visuelle Ausgabe kann Grafik, Text, Icons, Video und irgendeine Kombination daraus (zusammen als „Grafik” bezeichnet) enthalten. In einigen Ausführungsformen kann die gesamte visuelle Ausgabe oder ein Teil davon den Benutzerschnittstellenobjekten entsprechen.
Der Berührungsbildschirm 112 hat eine berührungsempfindliche Oberfläche, einen Sensor oder einen Satz von Sensoren, welche die Eingaben des Benutzers basierend auf einem haptischen und/oder taktilen Kontakt empfangen. Der Berührungsbildschirm 112 und der Displaycontroller 156 (zusammen mit irgendwelchen zugehörigen Modulen und/oder Anweisungssätzen im Speicher 102) erkennen den Kontakt (und jegliche Bewegung bzw. jeglichen Abbruch des Kontakts) auf dem Berührungsbildschirm 112 und wandeln den erkannten Kontakt in eine Interaktion mit den Benutzerschnittstellenobjekten (z. B. ein(e(n) oder mehrere Softkeys, Icons, Webseiten oder Bilder) um, die auf dem Berührungsbildschirm 112 angezeigt werden. In einer beispielhaften Ausführungsform entspricht ein Kontaktpunkt zwischen dem Berührungsbildschirm 112 und dem Benutzer einem Finger des Benutzers.
Der Berührungsbildschirm 112 kann LCD-(Flüssigkristallanzeige)Technologie, LPD-(lichtemittierende Polymeranzeige)Technologie, oder LED-(lichtemittierende Dioden)Technologie verwenden, obwohl in anderen Ausführungsformen auch andere Anzeigetechnologien verwendet werden können. Der Berührungsbildschirm 112 und der Displaycontroller 156 können sowohl den Kontakt als auch jegliche Bewegung und jeglichen Kontaktabbruch erkennen, und zwar mithilfe einer beliebigen aus einer Vielzahl von Berührungserkennungstechnologien, die derzeit bekannt sind oder zu einem späteren Zeitpunkt entwickelt werden, einschließlich aber nicht beschränkt auf kapazitive, resistive, Infrarot- und akustische Oberflächenwellentechnologien, sowie sonstige Näherungssensoranordnungen oder andere Elemente zum Ermitteln eines Kontaktpunkts oder mehrerer Kontaktpunkte mit dem Berührungsbildschirm 112. In einer beispielhaften Ausführungsform wird die projiziert-kapazitive Technologie zur Erkennung mittels Gegenkapazität verwendet, und zwar in der Weise, wie sie im iPhone^® und im iPod Touch^® von Apple Inc. mit Sitz in Cupertino, Kalifornien eingesetzt wird.
Eine berührungsempfindliche Anzeige in einigen Ausführungsformen des Berührungsbildschirms 112 kann den mehrfachberührungsempfindlichen Touchpads entsprechen, die in den folgenden US Patenten beschrieben werden: 6,323,846 (Westerman et al.), 6,570,557 (Westerman et al.), und/oder 6,677,932 (Westerman), und/oder US Patentveröffentlichung 2002/0015024 A1 , die alle hierin durch Bezugnahme in vollem Umfang aufgenommen werden. Allerdings zeigt der Berührungsbildschirm 112 eine visuelle Ausgabe des Geräts 100 an, wohingegen berührungsempfindliche Touchpads keine visuelle Ausgabe bieten.
Eine berührungsempfindliche Anzeige kann in einigen Ausführungsformen des Berührungsbildschirms 112 so wie in den folgenden Patentanmeldungen beschrieben sein: (1) U.S. Patentanmeldung Nr. 11/381,313, ”Multipoint Touch Surface Controller,” eingereicht am 2. Mai 2006; (2) U.S. Patentanmeldung Nr. 10/840,862, ”Multipoint Touchscreen,” eingereicht am 6. Mai 2004; (3) U.S. Patentanmeldung Nr. 10/903,964, ”Gestures For Touch Sensitive Input Devices,” eingereicht am 30. Juli 2004; (4) U.S. Patentanmeldung Nr. 11/048,264, ”Gestures For Touch Sensitive Input Devices,” eingereicht am 31. Januar 2005; (5) U.S. Patentanmeldung Nr. 11/038,590, ”Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices,” eingereicht am 18. Januar 2005; (6) U.S. Patentanmeldung Nr. 11/228,758, ”Virtual Input Device Placement On A Touch Screen User Interface,” eingereicht am 16. September 2005; (7) U.S. Patentanmeldung Nr. 11/228,700, ”Operation Of A Computer With A Touch Screen Interface,” eingereicht am 16. September 2005; (8) U.S. Patentanmeldung Nr. 11/228,737, ”Activating Virtual Keys Of A Touch-Screen Virtual Keyboard,” eingereicht am 16. September 2005; und (9) U.S. Patentanmeldung Nr. 11/367,749, ”Multi-Functional Hand-Held Device,” eingereicht am 3. März 2006. Alle diese Anmeldungen werden hiermit durch Bezugnahme in vollem Umfang aufgenommen.
Der Berührungsbildschirm 112 kann eine Videoauflösung von mehr als 100 dpi haben. In einigen Ausführungsformen hat der Berührungsbildschirm eine Videoauflösung von ungefähr 160 dpi. Der Benutzer kann zu dem Berührungsbildschirm 112 Kontakt herstellen, indem er ein geeignetes Objekt oder Zubehörteil verwendet, wie zum Beispiel einen Eingabestift, einen Finger etc. In einigen Ausführungsformen ist die Benutzerschnittstelle dazu ausgebildet, hauptsächlich mit fingerbasierten Kontakten und Gesten zu arbeiten, was aufgrund der größeren Kontaktfläche eines Fingers auf dem Berührungsbildschirm weniger präzise sein kann als eine stiftbasierte Eingabe. In einigen Ausführungsformen überträgt das Gerät die grobe fingerbasierte Eingabe in eine präzise Position des Zeigegeräts/Cursors oder einen Befehl für die Ausführung der vom Benutzer gewünschten Aktionen.
In einigen Ausführungsformen kann das Gerät 100 zusätzlich zum Berührungsbildschirm ein Touchpad (nicht gezeigt) zur Aktivierung und Deaktivierung bestimmter Funktionen enthalten. In einigen Ausführungsformen ist das Touchpad ein berührungsempfindlicher Bereich des Geräts, der im Gegensatz zum Berührungsbildschirm keine visuelle Ausgabe anzeigt. Das Touchpad kann eine berührungsempfindliche Oberfläche sein, die vom Berührungsbildschirm 112 getrennt ist, oder auch eine Erweiterung der berührungsempfindlichen Oberfläche, die durch den Berührungsbildschirm gebildet wird.
Das Gerät 100 enthält das Energieversorgungssystem 162 für die Versorgung der verschiedenen Komponenten mit Strom. Das Energieversorgungssystem 162 kann ein Energiemanagementsystem, eine oder mehrere Stromquellen (z. B. Batterie, Wechselstrom, ein Ladesystem, eine Stromausfallerkennungsschaltung, einen Leistungswandler oder Wechselrichter, eine Energiestatusanzeige (z. B. eine lichtemittierende Diode (LED)) und irgendwelche sonstigen Komponenten umfassen, die mit der Erzeugung, dem Management und der Verteilung von Strom in tragbaren Geräten im Zusammenhang stehen.
Das Gerät 100 kann auch einen oder mehrere optische Sensoren 164 umfassen. 1A zeigt einen optischen Sensor, der mit einem optischen Sensorcontroller 158 im I/O-Subsystem 106 verbunden ist. Der optische Sensor 164 kann ein ladungsgekoppeltes Halbleiterelement (CCD) oder komplementäre Metalloxidhalbleiter-(CMOS)-Fototransistoren enthalten. Der optische Sensor 164 empfängt Licht aus der Umgebung, das durch eine oder mehrere Linsen projiziert wird, und wandelt das Licht in Daten um, die ein Bild darstellen. In Verbindung mit dem Bilderfassungsmodul 143 (auch als Kameramodul bezeichnet), kann der optische Sensor 164 Einzelbilder oder Video aufnehmen. In einigen Ausführungsformen befindet sich ein optischer Sensor auf der Rückseite des Geräts 100, gegenüber dem Berührungsbildschirm 112 auf der Vorderseite des Geräts, so dass das Display des Berührungsbildschirms als optischer Sucher für die Aufnahme von Einzelbildern und/oder Videobildern verwendet werden kann. In einigen Ausführungsformen befindet sich ein optischer Sensor auf der Vorderseite des Geräts, so dass das Bild des Benutzers für Videokonferenzschaltungen aufgenommen werden kann, während der Benutzer die anderen Videokonferenzteilnehmer auf dem Display des Berührungsbildschirms sieht. In einigen Ausführungsformen kann der Benutzer die Position des optischen Sensors 164 verändern (z. B. durch Drehen der Linse und des Sensors im Gerätegehäuse), so dass ein einzelner optischer Sensor 164 zusammen mit dem Display des Berührungsbildschirms sowohl für Videokonferenzen als auch für die Aufnahme von Einzelbildern und/oder Videobildern verwendet werden kann.
Das Gerät 100 enthält optional auch einen oder mehrere Kontaktintensitätssensoren 165. 1A zeigt einen Kontaktintensitätssensor, der mit einem Intensitätssensorcontroller 159 im I/O-Subsystem 106 verbunden ist. Der Kontaktintensitätssensor 165 enthält optional ein oder mehrere piezoresistive Dehnungsmessstreifen, kapazitive Kraftsensoren, elektrische Kraftsensoren, piezoelektrische Kraftsensoren, optische Kraftsensoren, kapazitive berührungsempfindliche Oberflächen oder andere Intensitätssensoren (z. B. Sensoren, die zur Messung der Kraft (oder des Drucks) eines Kontakts auf einer berührungsempfindlichen Oberfläche verwendet werden). Der Kontaktintensitätssensor 165 empfängt Kontaktintensitätsinformationen (z. B. Druckinformationen oder einen Stellvertreterwert für Druckinformationen) aus der Umgebung. In einigen Ausführungsformen ist mindestens ein Kontaktintensitätssensor direkt neben oder in der unmittelbaren Nähe einer berührungsempfindlichen Oberfläche angeordnet (z. B. berührungsempfindliches Displaysystem 112). In einigen Ausführungsformen ist mindestens ein Kontaktintensitätssensor auf der Rückseite des Geräts 100 gegenüber dem Berührungsbildschirm-Display 112, das sich auf der Vorderseite des Geräts 100 befindet, angeordnet.
Das Gerät 100 kann auch einen oder mehrere Näherungssensoren 166 umfassen. 1A zeigt den Näherungssensor 166 mit der Peripherieschnittstelle 118 verbunden. Alternativ dazu kann der Näherungssensor 166 mit dem Eingabecontroller 160 im I/O-Subsystem 106 verbunden werden. Der Näherungssensor 166 kann wie in den folgenden US-Patenanmeldungen beschrieben, arbeiten: Nr. 11/241,839” Proximity Detector In Handheld Device”; 11/240,788, ”Proximity Detector In Handheld Device”; 11/620,702, ”Using Ambient Light Sensor To Augment Proximity Sensor Output”; 11/586,862, ”Automated Response To And Sensing Of User Activity In Portable Devices”; und 11/638,251, ”Methods And Systems For Automatic Configuration Of Peripherals,” die hiermit durch Bezugnahme in vollem Umfang aufgenommen werden. In einigen Ausführungsformen schaltet der Näherungssensor den Berührungsbildschirm 112 aus und deaktiviert ihn, wenn das Multifunktionsgerät an das Ohr des Benutzers gehalten wird (z. B. wenn der Benutzer ein Telefongespräch führt).
Das Gerät enthält optional auch einen oder mehrere taktile Ausgabegeneratoren 167. 1A zeigt einen taktilen Ausgabegenerator, der mit dem haptischen Rückkopplungscontroller 161 im I/O-Subsystem 106 verbunden ist. Der taktile Ausgabegenerator 167 enthält optional eine oder mehrere elektroakustische Vorrichtungen, wie z. B. Lautsprecher oder sonstige Audiokomponenten und/oder elektromechanische Vorrichtungen, die Energie in lineare Bewegung umwandeln, wie z. B. einen Motor, ein Magnetventil, ein elektroaktives Polymer, einen piezoelektrischer Aktor, einen elektrostatischen Aktor, oder eine sonstige Komponente, die eine taktile Ausgabe erzeugt (z. B. eine Komponente, die elektrische Signale in taktile Ausgaben auf dem Gerät umwandelt). Der Kontaktintensitätssensor 165 empfängt Anweisungen zur Erzeugung taktiler Rückmeldungen vom haptischen Rückkopplungsmodul 133 und erzeugt auf dem Gerät 100 taktile Ausgaben, die von einem Benutzer des Geräts 100 wahrgenommen werden können. In einigen Ausführungsformen ist mindestens ein taktiler Ausgabegenerator direkt neben oder in der unmittelbaren Nähe einer berührungsempfindlichen Oberfläche (z. B. berührungsempfindliches Displaysystem 112) angeordnet und erzeugt optional eine taktile Ausgabe, indem er die berührungsempfindliche Oberfläche in vertikaler (z. B. nach innen/nach außen auf einer Oberfläche des Geräts 100) oder horizontaler Richtung (z. B. vor und zurück auf derselben Ebene wie eine Oberfläche des Geräts 100) bewegt. In einigen Ausführungsformen ist mindestens ein taktiler Ausgabegenerator auf der Rückseite des Geräts 100 angeordnet, gegenüber dem Berührungsbildschirm-Display 112, das sich auf der Vorderseite des Geräts 100 befindet.
Das Gerät 100 kann auch einen oder mehrere Beschleunigungssensoren 168 enthalten. 1A zeigt den Beschleunigungssensor 168 mit der Peripherieschnittstelle 118 verbunden. Alternativ dazu kann der Beschleunigungssensor 168 mit einem Eingabecontroller 160 im I/O-Subsystem 106 verbunden werden. Der Beschleunigungssensor 168 kann wie in der US Patentveröffentlichung Nr. 20050190059 „Acceleration-based Theft Detection System for Portable Electronic Devices” und in der US Patentveröffentlichung Nr. 20060017692 „Methods and Apparatuses for Operating A Portable Device Based On An Accelerometer” beschrieben, arbeiten, und beide Patentschriften werden hiermit durch Bezugnahme in vollem Umfang aufgenommen. In einigen Ausführungsformen werden die Informationen auf dem Berührungsbildschirm-Display basierend auf einer Analyse der von dem einen oder den mehreren Beschleunigungssensoren erhaltenen Daten im Hochformat (Portrait-Ansicht) oder im Querformat (Landscape-Ansicht) angezeigt. Das Gerät 100 enthält optional, zusätzlich zu dem (den) Beschleunigungssensor(en) 168, ein Magnetometer (nicht gezeigt) und einen GPS-Empfänger (oder einen GLONASS-Empfänger oder einen Empfänger für ein anderes globales Navigationssystem) (nicht gezeigt), für den Erhalt von Informationen zum Standort und zur Ausrichtung (Hoch- oder Querformat bzw. Portrait oder Landscape) des Geräts 100.
In einigen Ausführungsformen enthalten die im Speicher 102 gespeicherten Softwarekomponenten das Betriebssystem 126, das Kommunikationsmodul (oder den Anweisungssatz) 128, das Kontakt-/Bewegungsmodul (oder den Anweisungssatz) 130, das Grafikmodul (oder den Anweisungssatz) 132, das Texteingabemodul (oder den Anweisungssatz) 134, das GPS-Modul (Modul für das Globale Positionierungssystem) (oder den Anweisungssatz) 135 und Anwendungen (oder Anweisungssätze) 136. Außerdem speichert in einigen Ausführungsformen der Speicher 102 (1A) oder 370 (3) den Gerätezustand/globalen internen Zustand 157, wie in 1A und 3 gezeigt. Der Gerätezustand/globale interne Zustand 157 umfasst eines oder mehrere der Folgenden: den aktiven Anwendungszustand, der angibt, welche Anwendungen, wenn überhaupt, gegenwärtig aktiv sind; den Displayzustand, der angibt, welche Anwendungen, Ansichten oder sonstigen Informationen verschiedene Bereiche des Berührungsbildschirm-Displays 112 einnehmen; den Sensorzustand, einschließlich Informationen, die von den verschiedenen Sensoren und Eingabesteuerungsgeräten 116 empfangen wurden; und Standortinformationen zum Standort und/oder zum Verhaltensmuster des Geräts.
Das Betriebssystem 126 (z. B. Darwin, RTXC, LINUX, UNIX, OS X, iOS, WINDOWS oder ein eingebettetes Betriebssystem, wie z. B. VxWorks) enthält verschiedene Softwarekomponenten und/oder Treiber für die Steuerung und Verwaltung allgemeiner Systemaufgaben (z. B. Speicherverwaltung, Speichergerätesteuerung, Energiemanagement etc.) und erleichtert die Kommunikation zwischen verschiedenen Hardware- und Softwarekomponenten.
Das Kommunikationsmodul 128 erleichtert die Kommunikation mit anderen Geräten über einen oder mehrere externe Ports 124 und enthält auch verschiedene Softwarekomponenten für die Behandlung von Daten, die von der HF-Schaltung 108 und/oder dem externen Port 124 empfangen wurden. Der externe Port 124 (z. B. der Universal Serial Bus (USB), FIREWIRE, etc.) ist für eine direkte Kopplung mit anderen Geräten oder für eine indirekte Kopplung über ein Netzwerk (z. B. das Internet, das W-LAN etc.) geeignet. In einigen Ausführungsformen ist der externe Port eine mehrpolige Steckverbindung (z. B. 30-polige Steckverbindung), die identisch mit, ähnlich wie oder kompatibel mit der 30-poligen Steckverbindung an iPod^® Geräten (Warenzeichen von Apple Inc.) ist.
Das Kontakt-/Bewegungsmodul 130 erkennt optional den Kontakt zum Berührungsbildschirm 112 (im Zusammenhang mit dem Displaycontroller 156) und anderen berührungsempfindlichen Vorrichtungen (z. B. einem Touchpad oder einem physischen Klickrad). Das Kontakt-/Bewegungsmodul 130 enthält verschiedene Softwarekomponenten für die Durchführung verschiedener Operationen zum Erkennen von Kontakt, wie z. B. Ermitteln, ob Kontakt erfolgt ist (z. B. Erkennen eines Finger-Abwärtsbewegung-Ereignisses), Ermitteln der Intensität des Kontakts (z. B. der Kraft oder des Drucks des Kontakt oder eines Ersatzwertes für die Kraft oder den Druck des Kontakts), Ermitteln, ob eine Bewegung des Kontakts stattfindet und Verfolgen der Bewegung über die berührungsempfindliche Oberfläche hinweg (z. B. Erkennen eines oder mehrerer Finger-Ziehen-Ereignisse), und Ermitteln, ob der Kontakt aufgehört hat (z. B. Ermitteln eines Finger-nach-oben-Ereignisses oder eines Kontaktabbruchs). Das Kontakt-/Bewegungsmodul 130 erhält Kontaktdaten von der berührungsempfindlichen Oberfläche. Das Ermitteln der Bewegung des Kontaktpunkts, der durch eine Reihe von Kontaktdaten repräsentiert wird, umfasst optional das Ermitteln der Schnelligkeit (Größenordnung), Geschwindigkeit (Größenordnung und Richtung), und/oder einer Beschleunigung (einer Veränderung in der Größenordnung und/oder Richtung) des Kontaktpunkts. Diese Operationen werden optional auf einzelne Kontakte (z. B. Einfingerkontakte) oder auf mehrere gleichzeitige Kontakte (z. B. „Mehrfachberührung”/Mehrfingerkontakte) angewandt. In einigen Ausführungsformen erkennen das Kontakt-/Bewegungsmodul 130 und der Displaycontroller 156 den Kontakt auf einem Touchpad.
In einigen Ausführungsformen verwendet das Kontakt-/Bewegungsmodul 130 einen Satz von einen oder mehreren Intensitätsschwellwerten um zu ermitteln, ob eine Operation von einem Benutzer durchgeführt wurde (z. B. um zu ermitteln, ob ein Benutzer auf ein Icon „geklickt” hat). In einigen Ausführungsformen wird mindestens eine Untergruppe der Intensitätsschwellwerte anhand von Softwareparametern ermittelt (z. B. werden die Intensitätsschwellwerte nicht durch die Aktivierungsschwellwerte bestimmter physischer Aktoren ermittelt und können ohne Veränderung der physischen Hardware des Geräts 100 eingestellt werden). Zum Beispiel kann ein Grenzwert für einen Maus”klick” auf einem Trackpad oder auf einem Berührungsbildschirm-Display auf irgendeinen Wert innerhalb eines großen Bereich vorbestimmter Grenzwerte eingestellt werden, ohne dabei die Hardware des Trackpads oder des Berührungsbildschirm-Displays zu verändern. In einigen Ausführungsformen werden außerdem einem Benutzer des Geräts Softwareeinstellungen für die Einregelung einer oder mehrerer Werte innerhalb eines Satzes von Intensitätsschwellwerten bereitgestellt (z. B. durch Einstellen der individuellen Intensitätsschwellwerte und/oder durch Einstellen einer Vielzahl von Intensitätsschwellwerten gleichzeitig mit einem Klick auf den Parameter „Intensität” auf der Systemebene).
Das Kontakt-/Bewegungsmodul 130 erkennt optional eine Gesteneingabe durch einen Benutzer. Verschiedene Gesten auf der berührungsempfindlichen Oberfläche haben unterschiedliche Kontaktmuster (z. B. unterschiedliche Bewegungen, Zeitabläufe und/oder Intensitäten der erkannten Kontakte). Daher wird optional eine Geste erkannt, indem ein bestimmtes Kontaktmuster erkannt wird. Zum Beispiel umfasst das Ermitteln einer Fingertipp-Geste („Tap”) das Erkennen eines Finger-nach-unten-Ereignisses, gefolgt von einem Finger-nach-oben-Ereignis (Anheben des Fingers) an der gleichen Stelle (oder im Wesentlichen an der gleichen Stelle) wie das Finger-nach-unten-Ereignis (z. B. an der Position eines Icons). Ein weiteres Beispiel: das Erkennen einer Finger-Streichgeste auf der berührungsempfindlichen Oberfläche umfasst das Erkennen eines Finger-nach-unten-Ereignisses gefolgt vom Erkennen eines oder mehrerer Finger-Ziehen-Ereignisse, unmittelbar gefolgt vom Erkennen eines Finger-nach-oben-Ereignisses (Abheben).
Das Grafikmodul 132 enthält verschiedene bekannte Softwarekomponenten für das Rendern und Anzeigen von Grafik auf dem Berührungsbildschirm 112 oder einem anderen Display, einschließlich Komponenten für das Verändern der visuellen Wirkung (z. B. Helligkeit, Transparenz, Sättigung, Kontrast oder sonstige visuelle Eigenschaften) der gerade angezeigten Grafik. Wie hier verwendet, umfasst der Begriff „Grafik” jedes Objekt, das einem Benutzer angezeigt werden kann, einschließlich, jedoch nicht beschränkt auf Text, Webseiten, Icons (wie z. B. Benutzerschnittstellenobjekte einschließlich Softkeys), digitale Bilder, Video, Animationen und dergleichen.
In einigen Ausführungsformen speichert das Grafikmodul 132 Daten, welche die zu verwendende Grafik repräsentieren. Jeder Grafik wird optional ein entsprechender Code zugewiesen. Das Grafikmodul 132 erhält von den Anwendungen etc. einen oder mehrere Codes, welche die Grafik spezifizieren, die, falls erforderlich, zusammen mit Koordinatendaten und sonstigen Grafikeigenschaftsdaten anzuzeigen ist, und erzeugt dann Bildschirmdaten, die an den Displaycontroller 156 auszugeben sind.
Das haptische Rückkopplungsmodul 133 umfasst verschiedene Softwarekomponenten zum Erstellen von Anweisungen, die von dem (den) taktilen Ausgabegenerator(en) 167 dazu verwendet werden, in Reaktion auf die Benutzerinteraktionen mit dem Gerät 100 an einer oder an mehreren Stellen auf dem Gerät 100 taktile Ausgaben zu erzeugen.
Das Texteingabemodul 134, das eine Komponente des Grafikmoduls 132 sein kann, stellt Softtastaturen für die Eingabe von Text in verschiedenen Anwendungen (z. B. Kontakte 137, E-Mail 140, Sofortnachrichten 141, Browser 147 und in allen weiteren Anwendungen, bei denen eine Texteingabe erforderlich ist) bereit.
Das GPS-Modul 135 ermittelt den Standort des Geräts und stellt diese Information zur Verwendung durch verschiedene Anwendungen (z. B. für Telefon 138 zur Verwendung für standortbasiertes Wählen; für Kamera 143 als Bild/Video-Metadaten; und für Anwendungen, die standortbasierte Dienste bieten, wie z. B. Wetter-Widgets, Widgets „örtliche Gelbe Seiten”, und Karten-/Navigations-Widgets) zur Verfügung.
Die Anwendungen 136 können die folgenden Module (oder Anweisungssätze), sowie auch eine Untergruppe oder eine übergeordnete Gruppe davon enthalten:

• Kontakte-Modul 137 (manchmal als Adressbuch oder Kontaktliste bezeichnet);
• Telefon-Modul 138;
• Videokonferenz-Modul 139;
• E-Mail-Clientmodul 140;
• Instant-Messaging (IM) Modul 141;
• Fitness-Modul 142
• Kameramodul 143 für Einzelbilder und/oder Videoaufnahmen;
• Bildverwaltungsmodul 144
• Videospielermodul;
• Musikspielermodul;
• Browser-Modul 147;
• Kalender-Modul 148
• Widget-Module 149, die eines oder mehrere der folgenden enthalten können: Wetter-Widget 149-i, Aktien-Widget 149-2, Rechner-Widget 149-3, Wecker-Widget 149-4, Wörterbuch-Widget 149-5 und sonstige Widgets, die der Benutzer erworben oder selbst erstellt hat 146-6;
• Widget-Erstellungsmodul 150 – für das Erstellen von benutzergestalteten Widgets
• Suche-Modul 151
• Video- und Musikspieler Modul 152, in dem das Videospieler Modul und das Musikspieler Modul zusammengefügt sind;
• Notizen-Modul 153;
• Karten-Modul 154 und/oder
• Online-Video-Modul 155.

Beispiele für andere Anwendungen 136, die im Speicher 102 gespeichert sein können, umfassen weitere Textverarbeitungsanwendungen, weitere Bildbearbeitungsanwendungen, Zeichenanwendungen, Präsentationsanwendungen, JAVA-fähige Anwendungen, Verschlüsselung, digitale Rechteverwaltung, Spracherkennung und Sprachreplikation.
Im Zusammenhang mit dem Berührungsbildschirm 112 können der Displaycontroller 156, das Kontakt-/Bewegungsmodul 130, das Grafikmodul 132, das Texteingabemodul 134 und das Kontakte-Modul verwendet werden zur Verwaltung eines Adressbuchs oder einer Kontaktliste (z. B. in der Anwendung interner Status 192 des Kontakte-Moduls 137 im Speicher 102 oder im Speicher 370 abgelegt), einschließlich: Hinzufügen von Namen zum Adressbuch; Löschen von Namen aus dem Adressbuch; Zuordnen von Telefonnummer(n), E-Mail Adresse(n), Hausadresse(n), oder sonstigen Informationen zu einem Namen; Kategorisieren und Sortieren von Namen; Anzeigen von Telefonnummern oder E-Mail Adressen, um Kommunikation über Telefon 138, Videokonferenz 139, E-Mail 140, oder IM 141 aufzubauen oder zu erleichtern; und so weiter.
Im Zusammenhang mit der HF-Schaltung 108, der Audioschaltung 110, dem Lautsprecher 111, dem Mikrofon 113, dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132 und dem Texteingabemodul 134 kann das Telefonmodul 138 dazu verwendet werden, eine Zeichenfolge einzugeben, die einer Telefonnummer entspricht, auf eine oder mehrere Telefonnummern im Kontaktemodul 137 zugreifen, eine Telefonnummer ändern, die zuvor eingegeben wurde, eine entsprechende Telefonnummer wählen, ein Gespräch führen, und die Verbindung trennen oder einhängen, wenn das Gespräch beendet ist. Wie vorstehend angegeben, können bei der drahtlosen Kommunikation beliebige aus einer Vielzahl von Kommunikationsstandards, Protokollen und Technologien verwendet werden.
Im Zusammenhang mit der HF-Schaltung 108, der Audioschaltung 110, dem Lautsprecher 111, dem Mikrofon 113, dem Berührungsbildschirm 112, dem Displaycontroller 156, dem optischen Sensor 164, dem optischen Sensorcontroller 158, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132, dem Texteingabemodul 134, dem Kontaktemodul 137 und dem Telefonmodul 138, enthält das Videokonferenzmodul 139 ausführbare Anweisungen zum Aufbau, zur Durchführung und zum Beenden einer Videokonferenz zwischen einem Benutzer und einem oder mehreren Teilnehmern gemäß Bedienungsanleitung.
Im Zusammenhang mit der HF-Schaltung 108, dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132 und dem Texteingabemodul 134 enthält das E-Mail-Clientmodul 140 ausführbare Anweisungen zum Erstellen, Senden, Empfangen und Verwalten von E-Mail gemäß Bedienungsanleitung. Im Zusammenhang mit dem Bildverwaltungsmodul 144 ermöglicht es das E-Mail-Clientmodul 140 dem Anwender, auf sehr einfache Weise E-Mails mit Einzelbildern oder Videos, die mit dem Kameramodul 143 aufgenommen wurden, zu erstellen und zu senden.
Im Zusammenhang mit der HF-Schaltung 108, dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132 und dem Texteingabemodul 134, enthält das Instant-Messaging-Modul 141 ausführbare Anweisungen, eine Zeichenfolge einzugeben, die einer Sofortnachricht entspricht, zuvor eingegebene Zeichen zu ändern, eine entsprechende Sofortnachricht zu senden (z. B. durch Verwendung eines Protokolls für Kurznachrichtendienste „Short Message Service” (SMS) oder „Multimedia Message Service” (MMS) für telefoniebasierte Sofortnachrichten, oder durch Verwendung von XMPP, SIMPLE oder IMPS für Internet-basierte Sofortnachrichten), Sofortnachrichten zu empfangen und empfangene Sofortnachrichten zu betrachten. In einigen Ausführungsformen können die gesendeten und/oder empfangenen Sofortnachrichten Grafik, Fotos, Audiodateien, Videodateien und/oder oder sonstige Anhänge enthalten, die in einem MMS und/oder erweiterten Nachrichtenservice „Enhanced Messaging Service” (EMS) unterstützt werden. So wie hierin verwendet, bezieht sich der Begriff „Instant Messaging” sowohl auf telefoniebasierte Nachrichten (z. B. Nachrichten die mittels SMS oder MMS) versendet werden, als auch auf Internet-basierte Nachrichten (z. B. Nachrichten, die mittels XMPP, SIMPLE oder IMPS) versendet werden.
Im Zusammenhang mit der HF-Schaltung 108, dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132, dem Texteingabemodul 134, dem GPS-Modul 135, dem Kartenmodul 154 und dem Musikspielermodul enthält das Fitnessmodul 142 ausführbare Anweisungen zum Erstellen von Trainingseinheiten (z. B. mit Zeit-, Entfernungs-, und/oder Kalorienverbrennungszielen); zum Kommunizieren mit Fitness-Sensoren (Sportgeräte); zum Empfangen von Fitness-Sensordaten; zum Kalibrieren von Sensoren, die zur Überwachung eines Fitnesstrainings verwendet werden; zum Auswählen und Abspielen von Musik für ein Fitnesstraining; und zum Anzeigen, Speichern und Übertragen von Fitnessdaten.
Im Zusammenhang mit dem Berührungsbildschirm 112, dem Displaycontroller 156, dem (den) optischem(n) Sensor(en) 164, dem optischen Sensorcontroller 158, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132 und dem Bildverwaltungsmodul 144 enthält das Kameramodul 143 ausführbare Anweisungen zum Erfassen von Einzelbildern oder Video (einschließlich eines Videostreams), zum Speichern derselben im Speicher 102, zum Ändern der Merkmale eines Einzelbilds oder Videos oder zum Löschen eines Einzelbilds oder Videos aus dem Speicher 102.
Im Zusammenhang mit dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132, dem Texteingabemodul 134 und dem Kameramodul 143 enthält das Bildverwaltungsmodul 144 ausführbare Anweisungen zum Ordnen, Ändern (z. B. Bearbeiten) oder zum anderweitigen Handhaben, Beschriften, Löschen, Präsentieren (z. B. in einer digitalen Diashow oder einem Album), und zum Speichern von Einzelbildern und/oder Videoaufnahmen.
Im Zusammenhang mit der HF-Schaltung 108, dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132 und dem Texteingabemodul 134 enthält das Browsermodul 147 ausführbare Anweisungen für das Surfen im Internet gemäß Bedienungsanleitung, einschließlich Suchen, Verlinken, Empfangen und Anzeigen von Webseiten oder Teilen davon, sowie von Anhängen und sonstigen Dateien, die mit Webseiten verlinkt sind.
Im Zusammenhang mit der HF-Schaltung 108, dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132, dem Texteingabemodul 134, dem E-Mail-Clientmodul 140 und dem Browsermodul 147 enthält das Kalendermodul 148 ausführbare Anweisungen zum Erstellen, Anzeigen, Ändern und Speichern von Kalendern und Daten, die zu Kalendern gehören (z. B. Kalendereinträge, Aufgabenlisten etc.) gemäß Bedienungsanleitung.
Im Zusammenhang mit der HF-Schaltung 108, dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132, dem Texteingabemodul 134 und dem Browsermodul 147 sind die Widgetmodule 149 Mini-Anwendungen, die von einem Benutzer heruntergeladen und verwendet werden können (z. B. das Wetter-Widget 149-1, das Aktien-Widget 149-2, das Rechner-Widget 149-3, das Wecker-Widget 149-4 und das Wörterbuch-Widget 149-5), oder auch vom Benutzer erstellt werden können (z. B. das benutzererstellte Widget 149-6). In einigen Ausführungsformen enthält ein Widget eine HTML-(Hypertext Markup Language)Datei, eine CSS-(Cascading Style Sheets)Datei und eine JavaScript-Datei. In einigen Ausführungsformen enthält ein Widget eine XML-(Extensible Markup Language)Datei und eine JavaScript-Datei (z. B. Yahoo! Widgets).
Im Zusammenhang mit der HF-Schaltung 108, dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132, dem Texteingabemodul 134 und dem Browsermodul 147 kann das Widget-Erstellungsmodul 150 von einem Benutzer für die Erstellung von Widgets (z. B. Umwandlung eines vom Benutzer festgelegten Bereichs einer Webseite in ein Widget) verwendet werden.
Im Zusammenhang mit dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132 und dem Texteingabemodul 134 enthält das Suchmodul 151 ausführbare Anweisungen für das Suchen nach Text, Musik, Ton, Bildern, Video und/oder sonstigen Dateien im Speicher 102, die einem oder mehreren Suchkriterien entsprechen (z. B. einem oder mehreren vom Benutzer eingegebenen Suchbegriffen), gemäß Bedienungsanleitung.
Im Zusammenhang mit dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132, der Audioschaltung 110, dem Lautsprecher 111, der HF-Schaltung 108 und dem Browsermodul 147 enthält das Video- und Musikspielermodul 152 ausführbare Anweisungen, die es dem Benutzer ermöglichen, Musikaufnahmen sowie andere in einem oder in mehreren Formaten gespeicherte Audiodateien, wie z. B. MP3 oder AAC Dateien, herunterzuladen und wiederzugeben, sowie auch ausführbare Anweisungen für das Anzeigen, Präsentieren oder Wiedergeben in sonstiger Weise von Videos (z. B. auf dem Berührungsbildschirm 112 oder auf einem externen, über einen externen Port 124 angeschlossenen Display). In einigen Ausführungsformen beinhaltet das Gerät 100 optional die Funktionalität eines MP3 Spielers, wie z. B. des iPods (Warenzeichen von Apple Inc.)
Im Zusammenhang mit dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakt-/Bewegungsmodul 130, dem Grafikmodul 132 und dem Texteingabemodul 134, enthält das Notizenmodul 153 ausführbare Anweisungen für das Erstellen und Verwalten von Notizen, Aufgabenlisten und dergleichen gemäß Bedienungsanleitung.
Im Zusammenhang mit der HF-Schaltung 108, dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakte-Modul 130, dem Grafikmodul 132, dem Texteingabemodul 134, dem GPS-Modul 135 und dem Browsermodul 147 kann das Kartenmodul 154 dazu verwendet werden, Karten und zu Karten gehörende Daten (z. B. Fahranweisungen, Daten zu Ladengeschäften und anderen Sonderzielen (POIs) an einem bestimmten Standort oder in dessen Nähe, sowie andere standortbasierte Daten) zu empfangen, anzuzeigen, zu ändern und zu speichern, gemäß Bedienungsanleitung.
Im Zusammenhang mit dem Berührungsbildschirm 112, dem Displaycontroller 156, dem Kontakte-Modul 130, dem Grafikmodul 132, der Audioschaltung 110, dem Lautsprecher 111, der HF-Schaltung 108, dem Texteingabemodul 134, dem E-Mail-Clientmodul 140 und dem Browsermodul 147 enthält das Online-Videomodul 155 Anweisungen, die es dem Benutzer ermöglichen, auf Online-Videos zuzugreifen, sie zu durchsuchen, sie zu empfangen (z. B. durch Streaming und/oder Herunterladen), sie wiederzugeben (z. B. auf dem Berührungsbildschirm oder auf einem externen, über den externen Port 124 angeschlossenen Display), eine E-Mail zu senden mit einem Link zu einem bestimmten Online-Video, und Online-Videos auf andere Weise in einem oder in mehreren Dateiformaten wie z. B. H.264 zu verwalten. In einigen Ausführungsformen wird eher das Instant-Messaging-Modul 141 als das E-Mail-Clientmodul 140 dazu verwendet, einen Link zu einem bestimmten Online-Video zu versenden. Zusätzliche Beschreibungen der Online-Video-Anwendung sind der vorläufigen US-Patenanmeldung Nr. 60/936,562, ”Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos,” eingereicht am 20. Juni 2007, und der US-Patenanmeldung Nr. 11/968,067, ”Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos,” eingereicht am 31. Dezember 31 2007, zu entnehmen, die hiermit durch Bezugnahme in vollem Umfang aufgenommen werden.
Alle vorgenannten Module und Anwendungen entsprechen einem Satz ausführbarer Anweisungen für die Durchführung einer oder mehrerer vorstehend beschriebener Funktionen sowie den in diesem Dokument beschriebenen Verfahren (z. B. den hierin beschriebenen computerimplementierten Verfahren und sonstigen Informationsverarbeitungsverfahren). Diese Module (z. B. Anweisungssätze) brauchen nicht als separate Softwareprogramme, Prozeduren oder Module implementiert zu werden, und daher können verschiedene Untergruppen dieser Module in verschiedenen Ausführungsformen kombiniert oder in anderer Weise umgestaltet werden. Zum Beispiel kann das Videospielermodul mit dem Musikspielermodul zusammen in einem einzigen Modul (z. B. dem Video- und Musikspielermodul 152, 1A) kombiniert werden. In einigen Ausführungsformen kann im Speicher 102 eine Untergruppe der vorstehend beschriebenen Module und Datenstrukturen gespeichert werden. Außerdem können im Speicher 102 zusätzliche, vorstehend nicht beschriebene Module und Datenstrukturen gespeichert werden.
In einigen Ausführungsformen ist das Gerät 100 ein Gerät, bei dem die Ausführung eines vordefinierten Satzes von Funktionen auf dem Gerät ausschließlich durch einen Berührungsbildschirm und/oder ein Touchpad erfolgt. Indem ein Berührungsbildschirm und/oder ein Touchpad als primäres Eingabesteuerungsgerät für die Bedienung des Geräts 100 verwendet wird, kann die Anzahl der physischen Eingabesteuerungsgeräte (wie z. B. Drucktasten, Drehregler und dergleichen) auf dem Gerät 100 verringert werden.
Der vordefinierte Satz von Funktionen, die ausschließlich durch einen Berührungsbildschirm und/oder ein Touchpad ausgeführt werden, beinhaltet optional eine Navigation zwischen Benutzerschnittstellen. In einigen Ausführungsformen navigiert das Touchpad dann, wenn es vom Benutzer berührt wird, das Gerät 100 von jeder Benutzerschnittstelle aus, die auf dem Gerät 100 angezeigt wird, zu einem Haupt-, Start-, oder Root-Menü. In solchen Ausführungsformen wird eine „Menütaste” mithilfe eines Touchpads implementiert. In einigen anderen Ausführungsformen ist die Menütaste eine physische Drucktaste oder ein anderes physisches Eingabesteuerungsgerät anstatt eines Touchpads.
1B ist ein Blockdiagramm, das beispielhafte Komponenten für die Ereignisbehandlung gemäß einiger Ausführungsformen veranschaulicht. In einigen Ausführungsformen enthält der Speicher 102 (1A) oder 370 (3) einen Ereignissortierter 170 (z. B. im Betriebssystem 126) und eine entsprechende Anwendung 136-1 (z. B. irgendeine der vorgenannten Anwendungen 137–151, 155, 380–390).
Der Ereignissortierter 170 empfängt Ereignisinformationen und ermittelt die Anwendung 136-1 und die Anwendungsansicht 191 der Anwendung 136-1, an welche die Ereignisinformationen zu senden sind. Der Ereignissortierter 170 beinhaltet den Ereignisüberwacher 171 und das Ereignisversendungsmodul 174. In einigen Ausführungsformen beinhaltet die Anwendung 136-1 den internen Zustand der Anwendung 192, der angibt, welche aktuelle(n) Anwendungsansicht(en) auf dem Berührungsbildschirm 112 angezeigt werden, wenn die Anwendung aktiv ist oder ausgeführt wird. In einigen Ausführungsformen wird der Gerätezustand/globale interne Zustand 157 vom Ereignissortierter 170 dazu verwendet, zu ermitteln, welche Anwendung(en) gerade aktiv ist (sind), und der interne Zustand der Anwendung 192 wird vom Ereignissortierter 170 verwendet, um die Anwendungsansichten 191 zu bestimmen, an welche die Ereignisinformationen zu versenden sind.
In einigen Ausführungsformen enthält der interne Zustand der Anwendung 192 zusätzliche Informationen, wie zum Beispiel eines oder mehrere der Folgenden: Wiederaufnahmeinformationen, die dann zu verwenden sind, wenn die Anwendung 136-1 wieder aufgenommen wird, Informationen über den Zustand der Benutzerschnittstelle, die angeben, welche Informationen von der Anwendung 136-1 angezeigt werden oder dafür bereit sind, durch die Anwendung 136-1 angezeigt zu werden, eine Zustandswarteschlange, die den Benutzer in die Lage versetzen soll, zu einem früheren Zustand oder zu einer früheren Ansicht der Anwendung 136-1 zurückzukehren, und eine Wiederholen/Widerrufen-Warteschlange für die letzten vom Benutzer durchgeführten Handlungen.
Der Ereignisüberwacher 171 empfängt Ereignisinformationen von der Peripherieschnittstelle 118. Die Ereignisinformationen umfassen Informationen über ein Unterereignis (z. B. eine Berührung des Benutzers auf dem berührungsempfindlichen Bildschirm 112 als Teil einer Mehrfachberührungsgeste). Die Peripherieschnittstelle 118 sendet die Informationen, die sie vom I/O-Subsystem 106 oder von einem Sensor, wie z. B. dem Näherungssensor 166, dem (den) Beschleunigungssensor(en) 168 und/oder dem Mikrofon 113 (durch die Audioschaltung 110) empfängt, weiter. Die Informationen, welche die Peripherieschnittstelle 118 vom I/O-Subsystem 106 empfängt, umfassen Informationen vom berührungsempfindlichen Display 112 oder von einer berührungsempfindlichen Oberfläche.
In einigen Ausführungsformen sendet der Ereignisüberwacher 171 in vorbestimmten Intervallen Anfragen an die Peripherieschnittstelle 118. Als Reaktion darauf sendet die Peripherieschnittstelle 118 Ereignisinformationen. In anderen Ausführungsformen sendet die Peripherieschnittstelle 118 Ereignisinformationen nur dann, wenn ein signifikantes Ereignis vorliegt (z. B. Empfang einer Eingabe oberhalb eines vorbestimmten Geräuschschwellwerts und/oder einer vorbestimmten zeitlichen Dauer).
In einigen Ausführungsformen umfasst der Ereignissortierter 170 auch ein Trefferansicht-Bestimmungsmodul 172 und/oder ein aktives Ereigniserkennungs-Bestimmungsmodul 173.
Das Trefferansicht-Bestimmungsmodul 172 liefert Softwareprozeduren zur Bestimmung, wo innerhalb von einer oder von mehreren Ansichten ein Ereignis stattgefunden hat, wenn das berührungsempfindliche Display 112 mehr als eine Ansicht anzeigt. Die Ansichten bestehen aus Steuerungen und sonstigen Elementen, die ein Benutzer auf dem Display sehen kann.
Ein weiterer Aspekt dessen, dass eine Benutzerschnittstelle mit einer Anwendung verbunden ist, besteht in einem Satz von Ansichten, die manchmal hierin als Anwendungsansichten oder Benutzerschnittstellenfenster bezeichnet werden, und in denen Informationen angezeigt werden und berührungsbasierte Gesten stattfinden. Die Anwendungsansichten (einer entsprechenden Anwendung), in denen eine Berührung erkannt wird, können Programmebenen innerhalb einer Programm- oder Ansichtshierarchie der Anwendung sein. Zum Beispiel kann die Ansicht der niedrigsten Ebene, auf der eine Berührung erkannt wird, als Trefferansicht bezeichnet werden, und der Satz von Ereignissen, die als ordnungsgemäße Eingaben erkannt werden, kann zumindest teilweise anhand der Trefferansicht der anfänglichen Berührung ermittelt werden, mit der eine berührungsbasierte Geste beginnt.
Das Trefferansicht-Bestimmungsmodul 172 empfängt Informationen zu Unterereignissen einer berührungsbasierten Geste. Wenn eine Anwendung mehrere Ansichten besitzt, die in einer Hierarchie organisiert sind, identifiziert das Trefferansicht-Bestimmungsmodul 172 eine Trefferansicht als die niedrigste Ansicht in der Hierarchie, die das Unterereignis handhaben sollte. Meistens ist die Trefferansicht die Ansicht auf der niedrigsten Ebene, in der ein einleitendes Unterereignis stattfindet (z. B. das erste Unterereignis in der Abfolge von Unterereignissen, die ein Ereignis oder potenzielles Ereignis bilden). Sobald die Trefferansicht durch das Trefferansicht-Bestimmungsmodul 172 identifiziert wurde, empfängt die Trefferansicht typischerweise alle Unterereignisse, die sich auf dieselbe Berührung oder Eingabequelle beziehen, für welche sie als Trefferansicht identifiziert wurde.
Das aktive Ereigniserkennungs-Bestimmungsmodul 173 bestimmt, welche Ansicht(en) innerhalb einer Ansichtshierarchie eine bestimmte Abfolge von Ereignissen erhalten sollte(n). In einigen Ausführungsformen bestimmt das aktive Ereigniserkennungs-Bestimmungsmodul 173, dass nur die Trefferansicht eine bestimmte Abfolge von Unterereignissen erhalten sollte. In anderen Ausführungsformen bestimmt das aktive Ereigniserkennungs-Bestimmungsmodul 173, dass alle Ansichten, welche den physischen Standort eines Unterereignisses umfassen, aktiv beteiligte Ansichten sind, und bestimmt daher auch, dass alle aktiv beteiligten Ansichten eine bestimmte Abfolge von Untereignissen erhalten sollten. In anderen Ausführungsformen bleiben die hierarchisch höheren Ansichten weiterhin als aktiv beteiligte Ansichten erhalten, selbst dann, wenn Berührungsunterereignisse vollkommen auf den zu einer bestimmten Ansicht gehörenden Bereich begrenzt sind.
Das Ereignisversendungsmodul 174 versendet die Ereignisinformationen an einen Ereigniserkenner (z. B. den Ereigniserkenner 180. In Ausführungsformen, die ein aktives Ereigniserkennungs-Bestimmungsmodul 173 umfassen, liefert das Ereignisversendungsmodul 174 die Ereignisinformationen an einen Ereigniserkenner, der durch das aktive Ereigniserkennungs-Bestimmungsmodul 173 bestimmt wird. In einigen Ausführungsformen speichert das Ereignisversendungsmodul 174 die Informationen, die von einem entsprechenden Ereignisempfänger 182 abgerufen werden, in einer Ereigniswarteschlange.
In einigen Ausführungsformen enthält das Betriebssystem 126 den Ereignissortierter 170. Alternativ dazu enthält die Anwendung 136-1 den Ereignissortierter 170. In wiederum anderen Ausführungsformen ist der Ereignissortierter 170 ein eigenständiges Modul oder als Teil eines anderen Moduls, z. B. des Kontakt-/Bewegungsmoduls 130, im Speicher 102 abgelegt.
In einigen Ausführungsformen enthält die Anwendung 136-1 eine Vielzahl von Ereignisbehandlern 190 und eine oder mehrere Anwendungsansichten 191, die jeweils Anweisungen für die Behandlung von Berührungsereignissen enthalten, welche innerhalb einer entsprechenden Ansicht der Benutzerschnittstelle der Anwendung stattfinden. Jede Anwendungsansicht 191 der Anwendung 136-1 enthält einen oder mehrere Ereigniserkenner 180. Typischerweise enthält eine entsprechende Anwendungsansicht 191 eine Vielzahl von Ereigniserkennern 180. In anderen Ausführungsformen ist einer oder sind mehrere Ereigniserkenner 180 Teil eines separaten Moduls, wie z. B. eines Benutzerschnittstellenkits (nicht gezeigt) oder eines Objekts einer höheren Ebene, von dem die Anwendung 136-1 Verfahren und sonstige Eigenschaften übernimmt. In einigen Ausführungsformen enthält ein entsprechender Ereignisbehandler 190 eines oder mehrere der Folgenden: Datenaktualisierer 176, Objektaktualisierer 177, GUI-Aktualisierer 178, und/oder vom Ereignissortierter 170 empfangene Ereignisdaten 179. Der Ereignisbehandler 190 kann den Datenaktualisierer 176, den Objektaktualisierer 177 oder den GUI-Aktualisierer 178 verwenden oder aufrufen, um den internen Zustand der Anwendung 192 zu aktualisieren. Alternativ dazu enthalten eine oder mehrere Anwendungsansichten 191 einen oder mehrere entsprechende Ereignisbehandler 190. Auch sind in einigen Ausführungsformen ein oder mehrere Datenaktualisierer 176, Objektaktualisierer 177 und GUI-Aktualisierer 178 in einer entsprechenden Anwendungsansicht 191 enthalten.
Ein entsprechender Ereigniserkenner 180 empfängt vom Ereignissortierter 170 Ereignisinformationen (z. B. Ereignisdaten 179) und identifiziert ein Ereignis anhand der Ereignisinformationen. Der Ereigniserkenner 180 enthält den Ereignisempfänger 182 und den Ereignisvergleicher 184. In einigen Ausführungsformen enthält der Ereigniserkenner 180 zumindest eine Untergruppe von: Metadaten 183 und Ereignisübermittlungsanweisungen 188 (die Anweisungen zur Übermittlung von Unterereignissen enthalten können).
Der Ereignisempfänger 182 empfängt Ereignisinformationen vom Ereignissortierter 170. Die Ereignisinformationen umfassen Informationen zu einem Unterereignis, z. B. eine Berührung oder eine Berührungsbewegung. Je nach Unterereignis können die Ereignisinformationen auch zusätzliche Informationen enthalten, wie z. B. den Ort des Unterereignisses. Wenn das Unterereignis die Bewegung einer Berührung betrifft, können die Ereignisinformationen auch die Geschwindigkeit und Richtung des Unterereignisses umfassen. In einigen Ausführungsformen umfassen die Ereignisse die Drehung des Geräts von einer Ausrichtung zur anderen (z. B. von einer Ausrichtung im Hochformat (Portrait) hin zu einer Ausrichtung im Querformat (Landscape) oder umgekehrt), und die Ereignisinformationen enthalten auch die entsprechenden Informationen über die aktuelle Ausrichtung des Geräts (auch als Haltung des Geräts bezeichnet).
Der Ereignisvergleicher 184 vergleicht die Ereignisinformationen mit vorher festgelegten Ereignis- oder Unterereignis-Definitionen, und ermittelt, basierend auf dem Vergleich, ein Ereignis oder Unterereignis, oder bestimmt bzw. aktualisiert den Zustand eines Ereignisses oder Unterereignisses. In einigen Ausführungsformen enthält der Ereignisvergleicher 184 die Ereignisdefinitionen 186. Die Ereignisdefinitionen 186 umfassen Definitionen von Ereignissen (z. B. vordefinierte Abfolgen von Unterereignissen), zum Beispiel, Ereignis 1 (187-1), Ereignis 2 (187-2), und weitere. In einigen Ausführungsformen umfassen Unterereignisse in einem Ereignis (187) zum Beispiel den Beginn der Berührung, das Ende der Berührung, die Bewegung der Berührung, die Aufhebung der Bewegung und die mehrfache Berührung. In einem Beispiel ist die Definition für Ereignis 1 (187-1) ein Doppeltippen auf ein angezeigtes Objekt. Das Doppeltippen umfasst zum Beispiel eine erste Berührung (den Beginn der Berührung) auf dem angezeigten Objekt über eine vordefinierte Phase hinweg, ein erstes Abheben (das Ende der Berührung) über eine vordefinierte Phase hinweg, eine zweite Berührung (den Beginn der Berührung) auf dem angezeigten Objekt über eine vordefinierte Phase hinweg, und ein zweites Abheben (das Ende der Berührung) über eine vordefinierte Phase hinweg. In einem anderen Beispiel ist die Definition für das Ereignis 2 (187-2) ein Ziehen auf einem angezeigten Objekt. Das Ziehen umfasst zum Beispiel eine Berührung (oder einen Kontakt) auf dem angezeigten Objekt über eine vorbestimmte Phase hinweg, eine Bewegung der Berührung über das berührungsempfindliche Display 112 hinweg, und ein Abheben der Berührung (Ende der Berührung). In einigen Ausführungsformen umfasst das Ereignis auch Informationen für einen oder für mehrere damit verbundene Ereignisbehandler 190.
In einigen Ausführungsformen umfasst die Ereignisdefinition 187 eine Definition eines Ereignisses für ein entsprechendes Benutzerschnittstellenobjekt. In einigen Ausführungsformen führt der Ereignisvergleicher 184 einen Treffertest durch, um zu bestimmen, welches Benutzerschnittstellenobjekt mit einem Unterereignis in Verbindung steht. Zum Beispiel führt in einer Anwendungsansicht, in der drei Benutzerschnittstellenobjekte auf einem berührungsempfindlichen Display 112 angezeigt werden, dann, wenn eine Berührung auf dem berührungsempfindlichen Display ermittelt wird, der Ereignisvergleicher 184 einen Treffertest durch, um zu ermitteln, welches der drei Benutzerschnittstellenobjekte mit der Berührung (dem Unterereignis) in Verbindung steht. Wenn jedes angezeigte Objekt mit einem entsprechenden Ereignisbehandler 190 in Verbindung steht, verwendet der Ereignisvergleicher das Ergebnis des Treffertests, um zu bestimmen, welcher Ereignisbehandler 190 aktiviert werden sollte. Zum Beispiel wählt der Ereignisvergleicher 184 einen Ereignisbehandler aus, der mit dem Unterereignis in Verbindung steht, und das Objekt, welches den Treffertest auslöst.
In einigen Ausführungsformen umfasst die Definition für ein entsprechendes Ereignis (187) auch verzögerte Handlungen, welche wiederum die Übermittlung dieser Ereignisinformationen bis zu einem Zeitpunkt verzögern, an dem bereits bestimmt wurde, ob die Abfolge der Unterereignisse dem Ereignistyp des Ereigniserkenners entspricht oder nicht.
Wenn ein entsprechender Ereigniserkenner 180 ermittelt, dass die Reihe von Unterereignissen mit keinem der durch die Ereignisdefinitionen 186 abgedeckten Ereignisse übereinstimmt, gibt der entsprechende Ereigniserkenner 180 einen Zustand „Ereignis unmöglich”, „Ereignis fehlgeschlagen”, oder „Ereignis beendet” ein, wonach er die darauffolgenden Unterereignisse der berührungsbasierten Geste unbeachtet lässt. In dieser Situation verfolgen und verarbeiten andere etwaige Ereigniserkenner, die für die Trefferansicht aktiv bleiben, die Unterereignisse einer gerade ablaufenden berührungsbasierten Geste weiter.
In einigen Ausführungsformen umfasst ein entsprechender Ereigniserkenner 180 Metadaten 183 mit konfigurierbaren Eigenschaften, Flags und/oder Listen, die angeben, wie das Ereignisübermittlungssystem die Übermittlung von Unterereignissen an aktiv beteiligte Ereigniserkenner durchführen sollte. In einigen Ausführungsformen umfassen die Metadaten 183 konfigurierbare Eigenschaften, Flags und/oder Listen, die angeben, wie die Ereigniserkenner miteinander interagieren können, oder wie sie dazu in die Lage versetzt werden, miteinander zu interagieren. In einigen Ausführungsformen umfassen die Metadaten 183 konfigurierbare Eigenschaften, Flags und/oder Listen, die angeben, ob die Unterereignisse an verschiedene Ebenen in der Ansicht oder der Programmhierarchie übermittelt werden.
In einigen Ausführungsformen aktiviert ein entsprechender Ereigniserkenner 180 den Ereignisbehandler 190, der mit einem Ereignis in Verbindung steht, wenn ein oder mehrere bestimmte Unterereignisse eines Ereignisses erkannt werden. In einigen Ausführungsformen übermittelt ein entsprechender Ereigniserkenner 180 Ereignisinformationen, die mit Ereignis in Verbindung stehen, an den Ereignisbehandler 190. Die Aktivierung eines Ereignisbehandlers 190 ist etwas anderes als das Senden (und zeitlich verzögerte Senden) von Unterereignissen an eine entsprechende Trefferansicht. In einigen Ausführungsformen wirft der Ereigniserkenner 180 ein mit dem erkannten Ereignis assoziiertes Flag, und der mit dem Flag assoziierte Ereignisbehandler 190 fängt das Flag und führt ein vordefiniertes Verfahren durch.
In einigen Ausführungsformen umfassen die Anweisungen zur Ereignisübermittlung 188 Anweisungen zur Übermittlung von Unterereignissen aufgrund derer Ereignisinformationen zu einem Unterereignis übermittelt werden, ohne dass ein Ereignisbehandler aktiviert wird. Stattdessen übermitteln die Anweisungen zur Übermittlung von Unterereignissen Ereignisinformationen an die mit der Reihe von Unterereignissen in Verbindung stehenden Ereignisbehandler oder an aktiv beteiligte Ansichten. Die mit der Reihe von Unterereignissen oder mit aktiv beteiligten Ansichten in Verbindung stehenden Ereignisbehandler empfangen die Ereignisinformationen und führen ein vorher festgelegtes Verfahren durch.
In einigen Ausführungsformen erzeugt und aktualisiert der Datenaktualisierer 176 Daten, die in der Anwendung 136-1 verwendet werden. Zum Beispiel aktualisiert der Datenaktualisierer 176 die im Kontakte-Modul 137 verwendete Telefonnummer oder speichert eine Videodatei ab, die in einem Videospielermodul verwendet wird. In einigen Ausführungsformen erzeugt und aktualisiert der Objektaktualisierer 177 Objekte, die in der Anwendung 136-1 verwendet werden. Zum Beispiel erzeugt der Objektaktualisierer 177 ein neues Benutzerschnittstellenobjekt oder aktualisiert die Position eines Benutzerschnittstellenobjekts. Der GUI-Aktualisierer 178 aktualisiert die GUI. Zum Beispiel erstellt der GUI-Aktualisierer 178 Anzeige-Informationen und sendet sie an das Grafik-Modul 132 zur Anzeige auf einem berührungsempfindlichen Display.
In einigen Ausführungsformen umfasst (umfassen) der (die) Ereignisbehandler 190 den Datenaktualisierer 176, den Objektaktualisierer 177 und den GUI-Aktualisierer 178 oder hat (haben) Zugriff auf diese. In einigen Ausführungsformen sind Datenaktualisierer 176, Objektaktualisierer 177 und GUI-Aktualisierer 178 in einem einzelnen Modul einer entsprechenden Anwendung 136-1 oder Anwendungsansicht 191 enthalten. In anderen Ausführungsformen sind sie in zwei oder mehr Softwaremodulen enthalten.
Es versteht sich, dass die vorstehenden Betrachtungen in Bezug auf die Ereignisbehandlung von Benutzerberührungen auf berührungsempfindlichen Displays auch für andere Formen von Benutzereingaben gelten, mit denen Multifunktionsgeräte 100 mit Eingabevorrichtungen bedient werden, die nicht alle auf Berührungsbildschirmen eingeleitet werden. Zum Beispiel werden Mausbewegung und Drücke auf Maustasten optional koordiniert mit einzelnen oder mehrfachen Tastendrücken oder Gedrückthalten von Tasten auf der Tastatur, Kontaktbewegungen wie z. B. Tippen, Ziehen, Scrollen etc. auf Touchpads, Eingaben mit dem Eingabestift; Bewegungen des Geräts; mündlichen Anweisungen, detektierten Augenbewegungen und biometrischen Eingaben; und/oder irgendeine Kombination davon wird optional als Eingaben verwendet, die Unterereignissen entsprechen, welche ein zu erkennendes Ereignis definieren.
2 veranschaulicht ein tragbares Multifunktionsgerät 100, das gemäß einiger Ausführungsformen einen Berührungsbildschirm 112 hat. Der Berührungsbildschirm zeigt optional eine oder mehrere Grafiken innerhalb der Benutzerschnittstelle (UI) 200. an. In dieser Ausführungsform, sowie auch in anderen, nachfolgend beschriebenen Ausführungsformen, wird ein Benutzer in die Lage versetzt, eine oder mehrere der Grafiken auszuwählen, indem er auf der Grafik zum Beispiel mit einem oder mit mehreren Fingern 202 (in der Figur nicht maßstabsgetreu dargestellt) oder mit einem oder mehreren Eingabestiften 203 (in der Figur nicht maßstabsgetreu dargestellt) eine Geste vollzieht. In einigen Ausführungsformen erfolgt eine Auswahl aus einer Grafik oder mehreren Grafiken dann, wenn der Benutzer den Kontakt zu der einen Grafik oder zu den mehreren Grafiken abbricht. In einigen Ausführungsformen umfasst die Geste optional ein einfaches oder mehrfaches Tippen, eine oder mehrere Streichbewegungen (von links nach rechts, von rechts nach links, nach oben und/oder nach unten), und/oder ein Rollen eines Fingers (von rechts nach links, von links nach rechts, nach oben und/oder nach unten), durch die Kontakt zum Gerät 100 hergestellt wird. In einigen Implementierungen oder Gegebenheiten wird die Grafik nicht durch einen unbeabsichtigten Kontakt ausgewählt. Zum Beispiel wird durch eine Streich-Geste, mit der über ein Anwendungs-Icon hinweggewischt wird, optional nicht die entsprechende Anwendung ausgewählt, wenn die Geste, die eigentlich der Auswahl entspricht, ein Tippen ist.
Das Gerät 100 kann auch einen oder mehrere physische Tasten umfassen, wie z. B. die „Home”-Taste oder die Menü-Taste 204. Wie vorstehend beschrieben, kann die Menü-Taste 204 dazu verwendet werden, zu irgendeiner Anwendung 136 in einem Satz von Anwendungen zu navigieren, die auf dem Gerät 100 ausgeführt werden können. Alternativ dazu wird in einigen Ausführungsformen die Menütaste als Softtaste auf einer GUI implementiert, die auf einem Berührungsbildschirm 112 angezeigt wird.
In einer Ausführungsform enthält das Gerät 100 einen Berührungsbildschirm 112, eine Menü-Taste 204, eine Drucktaste 206 zum Ein-/Ausschalten der Stromversorgung des Geräts und der Sperre des Geräts, Lautstärkeregelungstaste(n) 108, den Steckplatz für die Teilnehmeridentitätsmodul-Karte (SIM-Karte), die Kopfhörerbuchse 212 und den externen Port 124 für Andock-/Ladezwecke. Die Drucktaste 206 wird optional dazu verwendet, am Gerät den Strom ein-/auszuschalten durch ein Herunterdrücken der Taste und ein Halten der Taste im heruntergedrückten Zustand für einen vordefinierten Zeitraum; das Gerät zu sperren durch Herunterdrücken der Taste und Loslassen der Taste vor Ablauf des vorbestimmten Zeitraums, und/oder das Gerät zu entsperren oder einen Entsperrungsvorgang einzuleiten. In einer alternativen Ausführungsform akzeptiert das Gerät 100 auch mündliche Eingaben für die Aktivierung oder Deaktivierung einiger Funktionen durch das Mikrofon 113. Das Gerät 100 enthält optional auch eine oder mehrere Kontaktintensitätssensoren 165 zur Ermitteln der Intensität der Kontakte auf dem Berührungsbildschirm 112 und/oder einen oder mehrere taktile Ausgabegeneratoren 167 für das Erzeugen taktiler Ausgaben für einen Benutzer des Geräts 100.
3 ist ein Blockdiagramm eines beispielhaften Multifunktionsgeräts mit einem Display und einer berührungsempfindlichen Oberfläche gemäß einiger Ausführungsformen. Das Gerät 300 braucht nicht tragbar zu sein. In einigen Ausführungsformen ist das Gerät 300 ein Laptop-Computer, ein Desktop-Computer, ein Tablet-Computer, ein Multimediaspielergerät, ein Navigationsgerät, ein Bildungsgerät (wie z. B. Lernspielzeug für Kinder), ein Spielesystem oder ein Steuerungsgerät (z. B. eine Haussteuerung oder eine industrielle Steuerung). Das Gerät 300 umfasst typischerweise eine oder mehrere Verarbeitungseinheiten (CPUs) 310, ein oder mehrere Netzwerk- oder sonstige Kommunikationsschnittstellen 360, Speicher 370, und einen oder mehrere Kommunikationsbusse 320 für die Verbindung dieser Komponenten miteinander. Die Kommunikationsbusse 320 umfassen optional eine Schaltung (manchmal als Chipsatz bezeichnet), die Kommunikation zwischen Systemkomponenten zusammenschaltet und steuert. Das Gerät 300 enthält eine Eingabe-/Ausgabe-(I/O)Schnittstelle 330, welche das Display 340 umfasst, das typischerweise ein Berührungsbildschirm-Display ist. Die I/O-Schnittstelle 330 enthält optional eine Tastatur und/oder eine Maus (oder ein sonstiges Zeigegerät) 350, das Touchpad 355, den taktilen Abgabegenerator 357 für die Erzeugung taktiler Ausgaben auf dem Gerät 300 (z. B. ähnlich wie der (die) vorstehend in Bezug auf 1A beschriebene(n) Ausgabegenerator(en) 167, die Sensoren 359 (z. B. optische, Beschleunigungs-, Näherungs-, berührungsempfindliche und/oder Kontaktintensitätssensoren, die ähnlich dem (den) vorstehend in Bezug auf 1A beschriebene(n) Kontaktintensitätssensor(en) sind). Der Speicher 370 enthält Hochgeschwindigkeitsspeicher mit wahlfreiem Zugriff, wie z. B. DRAM, SRAM, DDR RAM oder sonstige Festkörperspeichergeräte mit wahlfreiem Zugriff; und optional enthält er einen nicht-flüchtigen Speicher, wie z. B. ein oder mehrere Magnetplattenspeichergeräte, optische Plattenspeichergeräte, Flash-Memory-Speichergeräte oder sonstige nicht-flüchtige Festkörperspeichergeräte. Der Speicher 370 enthält optional ein oder mehrere Speichergeräte, die weit von der (den) CPU(s) 310 entfernt angeordnet sind. In einigen Ausführungsformen speichert der Speicher 370 Programme, Module und Datenstrukturen analog zu den Programmen, Modulen und Datenstrukturen, die im Speicher 102 des tragbaren Multifunktionsgerät 100 (1A) oder einer Untergruppe davon gespeichert sind. Des Weiteren speichert der Speicher 370 optional zusätzliche Programme, Module und Datenstrukturen, die nicht im Speicher 102 des tragbaren Multifunktionsgeräts 100 vorhanden sind. Zum Beispiel speichert der Speicher 370 des Geräts 300 optional das Zeichenmodul 380, das Präsentationsmodul 382, das Textverarbeitungsmodul 384, das Webseitenerstellungsmodul 386, das Disk-Authoring-Modul 388, und/oder das Spreadsheet-Modul 390, während der Speicher 102 des tragbaren Multifunktionsgeräts 100 (1A) optional diese Module nicht speichert.
Jedes der vorstehend genannten und in 3 identifizierten Elemente kann in einem oder in mehreren der vorgenannten Speichergeräte gespeichert werden. Jedes der vorstehend identifizierten Module entspricht einem Satz von Anweisungen für die Durchführung einer vorstehend beschriebenen Funktion. Die vorstehend identifizierten Module oder Programme (z. B. Anweisungssätze) brauchen nicht als separate Softwareprogramme, Prozeduren oder Module implementiert zu werden, und daher können verschiedene Untergruppen dieser Module in verschiedenen Ausführungsformen miteinander kombiniert oder in sonstiger Weise umgestaltet werden. In einigen Ausführungsformen kann der Speicher 370 eine vorstehend identifizierte Untergruppe der Module und Datenstrukturen speichern. Außerdem kann der Speicher 370 zusätzliche, nicht vorstehend beschriebene Module und Datenstrukturen speichern.
Die Aufmerksamkeit wird nun auf die Ausführungsformen der Benutzerschnittstellen gerichtet, die z. B. auf dem tragbaren Multifunktionsgerät 100 implementiert werden können.
4A veranschaulicht eine beispielhafte Benutzerschnittstelle für ein Menü von Anwendungen auf dem tragbaren Multifunktionsgerät 100 gemäß einiger Ausführungsformen. Ähnliche Benutzerschnittstellen können auf dem Gerät 300 implementiert werden. In einigen Ausführungsformen enthält die Benutzerschnittstelle 400 die folgenden Elemente oder eine Untergruppe oder Übergruppe davon:

• Signalstärkeanzeige(n) 402 für drahtlose Kommunikation, wie z. B. Mobilfunk- und WLAN-Signale;
• Zeit 404
• Bluetooth-Anzeige 405;
• Batteriezustandsanzeige 406;
• Taskleiste 408 mit Icons für häufig benutzte Anwendungen, wie z. B.
– Icon 416 für das Telefonmodul 138 mit der Bezeichnung ”Telefon,” welches optional eine Anzeige 414 für die Anzahl der verpassten Anrufe oder Sprachnachrichten enthält;
– Icon 418 für das E-Mail Clientmodul 140 mit der Bezeichnung ”Mail,” welches optional eine Anzeige 410 für die Anzahl ungelesener E-Mails enthält;
– Icon 420 für das Browsermodul 147 mit der Bezeichnung ”Browser;” und
– Icon 422 für das Video- und Musikspielermodul 152, auch als iPod (Warenzeichen von Apple Inc.) Modul 152 bezeichnet, mit der Bezeichnung ”iPod;” und
• Icons für andere Anwendungen, wie z. B.:
– Icon 424 für das IM-Modul 141 mit der Bezeichnung ”Nachrichten;”
– Icon 426 für das Kalendermodul 148 mit der Bezeichnung ”Kalender;”
– Icon 428 für das Bildverwaltungsmodul 144 mit der Bezeichnung ”Fotos;”
– Icon 430 für das Kameramodul 143 mit der Bezeichnung ”Kamera;”
– Icon 432 für das Online Videomodul 155 mit der Bezeichnung ”Online-Video;”
– Icon 434 für das Aktien-Widget 149-2 mit der Bezeichnung ”Aktien;”
– Icon 436 für das Kartenmodul 154 mit der Bezeichnung ”Karten;”
– Icon 438 für Wetter-Widget 149-1 mit der Bezeichnung ”Wetter;”
– Icon 440 für das Uhr-Widget 149-4 mit der Bezeichnung ”Uhr;”
– Icon 442 für Fitness 142 mit der Bezeichnung ”Fitness;”
– Icon 444 für das Notizenmodul 153 mit der Bezeichnung ”Notizen;” und
– Icon 446 für eine Anwendung oder ein Modul für Einstellungen mit der Bezeichnung ”Einstellungen”, welches Zugang zu den Einstellungen für das Gerät 100 und seine verschiedenen Anwendungen 136 bietet.

Es ist anzumerken, dass die in 4A veranschaulichten Bezeichnungen der lediglich beispielhaft sind. Zum Beispiel kann das Icon 422 für das Video- und Musikspielermodul 152 optional als „Musik” oder „Musikspieler” bezeichnet werden. Optional werden für verschiedene Anwendungs-Icons andere Bezeichnungen verwendet. In einigen Ausführungsformen enthält eine Bezeichnung für ein entsprechendes Anwendungs-Icon einen Namen für eine Anwendung, die dem entsprechenden Anwendungs-Icon entspricht. In einigen Ausführungsformen unterscheidet sich die Bezeichnung für ein bestimmtes Anwendungs-Icon von einem Namen für eine Anwendung, der dem jeweiligen Anwendungs-Icon entspricht.
4B veranschaulicht eine beispielhafte Benutzerschnittstelle auf einem Gerät (z. B. Gerät 300, 3) mit einer berührungsempfindlichen Oberfläche 451 (z. B. ein Tablet-Computer oder Touchpad 355, 3), die vom Display 450 (z. B. Berührungsbildschirm-Display 112) getrennt ist. Das Gerät 300 enthält optional auch einen oder mehrere Kontaktintensitätssensoren (z. B. einen oder mehrere Sensoren 357) zum Erkennen der Intensität von Kontakten auf der berührungsempfindlichen Oberfläche 451 und/oder einen oder mehrere taktile Ausgabegeneratoren 359 für das Erzeugen taktiler Ausgaben für einen Benutzer des Geräts 300.
Obwohl einige der folgenden Beispiele in Bezug auf Eingaben auf dem Berührungsbildschirm-Display 112 genannt werden (wobei die berührungsempfindliche Oberfläche und das Display kombiniert sind), erkennt das Gerät in einigen Ausführungsformen Eingaben auf einer berührungsempfindlichen Oberfläche, die von dem Display getrennt ist, wie in 4B gezeigt. In einigen Ausführungsformen hat die berührungsempfindliche Oberfläche (z. B. 451 in 4B) eine primäre Achse (z. B. 452 in 4B), die einer primären Achse (z. B. 453 in 4B) auf dem Display (z. B. 450) entspricht. In Übereinstimmung mit diesen Ausführungsformen erkennt das Gerät Kontakte (z. B. 460 und 462 in 4B) mit der berührungsempfindlichen Oberfläche 451 an Stellen, die entsprechenden Stellen auf dem Display gleichkommen (in 4B entspricht 460 beispielsweise 468, und 462 entspricht 470). Auf diese Weise werden Benutzereingaben (z. B. Kontakte 460 und 462 und Bewegungen davon), die von dem Gerät auf der berührungsempfindlichen Oberfläche (z. B. 451 in 4B) erkannt werden, von dem Gerät dazu verwendet, die Benutzerschnittstelle auf dem Display (z. B. 450 in 4B) des Multifunktionsgeräts zu manipulieren, wenn die berührungsempfindliche Oberfläche vom Display getrennt ist. Es versteht sich, dass für andere hierin beschriebene Benutzerschnittstellen optional ähnliche Verfahren angewendet werden.
Während die folgenden Beispiele hauptsächlich in Bezug auf Fingerabdrücke genannt werden (z. B. Fingerkontakt, Fingertipp-Gesten, Fingerstreich-Gesten, versteht es sich außerdem, dass in einigen Ausführungsformen eine oder mehrere der Fingereingaben durch Eingaben von einem anderen Eingabegerät (z. B. mausbasierte Eingabe oder Stifteingabe) ersetzt werden. Beispielsweise wird eine Streichgeste optional durch einen Mausklick ersetzt (z. B. anstatt eines Kontakts) gefolgt durch eine Bewegung des Cursors entlang der Wegbahn der Streichbewegung (z. B. anstatt einer Bewegung des Kontakts). Ein weiteres Beispiel: eine Tipp-Geste wird optional durch einen Mausklick ersetzt, während der Cursor sich über dem Ort der Tipp-Geste befindet (z. B. statt eines Erkennens des Kontakts gefolgt durch eine Beendung des Kontakterkennens). Ähnlich gilt, dass wenn mehrere Benutzereingaben gleichzeitig erkannt werden, optional mehrere Computermäuse gleichzeitig genutzt werden, oder ein Maus- und ein Fingerkontakt gleichzeitig genutzt werden.
5A veranschaulicht das beispielhafte persönliche elektronische Gerät 500. Das Gerät 500 enthält den Korpus 502. In einigen Ausführungsformen kann das Gerät 500 einige oder alle in Bezug auf die Geräte 100 und 300 (z. B. 1A–4B) beschriebenen Merkmale enthalten. In einigen Ausführungsformen hat das Gerät 500 einen berührungsempfindlichen Bildschirm 502, nachfolgend als Berührungsbildschirm 504 bezeichnet. Alternativ oder zusätzlich zu dem Berührungsbildschirm 504 hat das Gerät 500 ein Display und eine berührungsempfindliche Oberfläche. Wie bei den Geräten 100 und 300 kann in einigen Ausführungsformen der Berührungsbildschirm 504 (oder die berührungsempfindliche Oberfläche) einen oder mehrere Intensitätssensoren für das Erkennen der Intensität der aufgebrachten Kontakte (z. B. Berührungen) haben. Der eine oder die mehreren Intensitätssensoren des Berührungsbildschirms 504 (oder der berührungsempfindlichen Oberfläche) können Ausgabedaten liefern, welche die Intensität der Berührungen repräsentieren. Die Benutzerschnittstelle des Geräts 500 kann auf Berührungen abhängig von ihrer Intensität reagieren, was bedeutet, dass Berührungen unterschiedlicher Intensitäten auf dem Gerät 500 unterschiedliche Benutzerschnittstellenoperationen aufrufen können.
Techniken zum Erkennen und Verarbeiten von Berührungsintensität sind beispielsweise diesen verwandten Anmeldungen zu entnehmen: Internationale Patentanmeldung Seriennummer PCT/US2013/040061, mit dem Titel ”Device, Method, and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application,” eingereicht am 8. Mai 2013, und Internationale Patentanmeldung Seriennummer PCT/US2013/069483, mit dem Titel ”Device, Method, and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships,” eingereicht am 11. November 2013, die hiermit durch Bezugnahme in vollem Umfang aufgenommen werden.
In einigen Ausführungsformen hat das Gerät 500 einen oder mehrere Eingabemechanismen 506 und 508. Die Eingabemechanismen 506 und 508, so vorhanden, können physischer Natur sein. Beispiele für physische Eingabemechanismen umfassen Drucktasten und drehbare Mechanismen. In einigen Ausführungsformen hat das Gerät 500 einen oder mehrere Befestigungsmechanismen. Mithilfe solcher Befestigungsmechanismen, so vorhanden, kann das Gerät 500 an z. B. Hüten/Mützen, Brillen, Ohrringen, Halsketten, Hemden, Jacken, Schmuckarmbändern, Uhrenarmbändern, Hosen, Gürteln, Schuhen, Handtaschen, Rucksäcken etc. befestigt werden. Dank dieser Befestigungsmechanismen kann ein Benutzer das Gerät 500 am Körper tragen bzw. mit sich führen.
5B zeigt ein beispielhaftes persönliches elektronisches Gerät 500. In einigen Ausführungsformen kann das Gerät 500 einige oder alle im Hinblick auf 1A, 1B und 3 beschriebenen Komponenten enthalten. Das Gerät 500 hat den Bus 512, der den I/O-Bereich 514 operativ mit einem oder mehreren Computerprozessoren 516 und dem Speicher 518 verbindet. Der I/O-Bereich 514 kann mit dem Display 504 verbunden sein, das eine berührungsempfindliche Komponente 522 und optional die berührungsintensitätsempfändliche Komponente 524 hat. Außerdem kann der I/O-Bereich 514 für den Empfang von Anwendungs- und Betriebssystemdaten über W-LAN, Bluetooth, Nahfeldkommunikation (NFC), Mobilfunk- und/oder sonstige drahtlose Kommunikationstechniken mit der Kommunikationseinheit 530 verbunden sein. Das Gerät 500 kann die Eingabemechanismen 506 und/oder 508 enthalten. Der Eingabemechanismus 508 kann beispielsweise eine drehbare Eingabevorrichtung oder eine drückbare und drehbare Eingabevorrichtung sein. Der Eingabemechanismus 506 kann in einigen Beispielen eine Taste sein.
Der Eingabemechanismus 508 kann in einigen Beispielen ein Mikrofon sein. Das persönliche elektronische Gerät 500 kann verschiedene Sensoren, wie z. B. den GPS-Sensor 532, den Beschleunigungssensor 534, den Richtungssensor 540 (z. B. Kompass), den Girosensor 536, den Bewegungssensor 538 und/oder eine Kombination aus diesen Sensoren enthalten, die alle operativ mit dem I/O-Bereich 514 verbunden sein können.
Der Speicher 518 des persönlichen elektronischen Geräts 500 kann ein nicht-transitorisches computerlesbares Speichermedium zum Speichern von computerausführbaren Anweisungen sein, die dann, wenn sie z. B. durch einen oder mehrere Computerprozessoren 516 ausgeführt werden, bewirken, dass diese Computerprozessoren die hierin beschriebenen Techniken durchführen, einschließlich der Prozesse 700 (7). Die computerausführbaren Anweisungen können auch gespeichert und/oder transportiert werden innerhalb irgendeines nicht-transitorischen computerlesbaren Speichermediums für die Nutzung durch oder im Zusammenhang mit System, Gerät oder einer Vorrichtung zur Ausführung von Anweisungen, wie z. B. einem computerbasierten System, einem prozessorenthaltenden System oder einem anderen System, das die Anweisungen aus dem System, Gerät oder der Vorrichtung zur Ausführung von Anweisungen abrufen und ausführen kann. Für die Zwecke dieses Dokuments kann ein „nicht-transitorisches computerlesbares Speichermedium” irgendein Medium sein, das computerausführbare Anweisungen zur Verwendung durch oder im Zusammenhang mit dem System, Gerät oder der Vorrichtung zur Ausführung von Anweisungen konkret enthalten oder speichern kann. Das nicht-transitorische computerlesbare Speichermedium kann ohne Einschränkung enthalten: magnetische, optische und/oder Halbleiterspeicher. Beispiele für derartige Speicher umfassen Magnetplatten, optische Speicherplatten basierend auf CD, DVD oder Blue-Ray-Technologien, sowie persistente Festkörperspeicher wie z. B. Flash-Speichergeräte, Solid State Drives und Ähnliches. Das persönliche elektronische Gerät 500 ist nicht auf die Komponenten und die Konfiguration der 5B beschränkt, sondern kann auch andere oder zusätzliche Komponenten in vielfachen Konfigurationen enthalten.
In diesem Dokument bezieht sich der Begriff „Affordanz” auf ein benutzer-interaktives grafisches Benutzerschnittstellenobjekt, das auf dem Bildschirm der Geräte 100, 300 und/oder 500 (1, 3 und 5) angezeigt werden kann. Zum Beispiel kann ein Bild (z. B. ein Icon), eine Taste und ein Text (z. B. ein Hyperlink) jeweils eine Affordanz bilden.
In diesem Dokument bezieht sich der Begriff „Fokuswähler” auf ein Eingabeelement, das auf einen aktuellen Teil einer Benutzerschnittstelle hinweist, mit dem der Benutzer gerade interagiert. In einigen Implementierungen, die einen Cursor oder einen anderen Standortmarker umfassen, agiert der Cursor als „Fokuswähler”, so dass dann, wenn eine Eingabe (z. B. eine Druckeingabe) auf einer berührungsempfindlichen Oberfläche (z. B. auf dem Touchpad 355 in 3 oder auf der berührungsempfindlichen Oberfläche 451 in 4B) erkannt wird, während sich der Cursor über einem bestimmten Benutzerschnittstellenelement (z. B. Taste, Fenster, Schieberegler oder einem anderen Benutzerschnittstellenelement) befindet, das jeweilige Benutzerschnittstellenelement entsprechend der erkannten Eingabe eingestellt wird. In einigen Implementierungen, die ein Berührungsbildschirm-Display (z. B. berührungsempfindliches Displaysystem 112 in 1A oder Berührungsbildschirm 112 in 4A) umfassen, welches eine direkte Interaktion mit den Benutzerschnittstellenelementen auf dem Berührungsbildschirm-Display ermöglicht, fungiert ein auf dem Berührungsbildschirm erkannter Kontakt als „Fokuswähler”, so dass dann, wenn eine Eingabe am Ort eines bestimmten Benutzerschnittstellenelements (z. B. einer Taste, eines Fensters, eines Schiebereglers, oder eines anderen Benutzerschnittstellenelements) erkannt wird, das jeweilige Benutzerschnittstellenelement in Übereinstimmung mit der erkannten Eingabe eingestellt wird. In einigen Implementierungen wird der Fokus von einer Region einer Benutzerschnittstelle hin zu einer anderen Region der Benutzerschnittstelle bewegt, und zwar ohne eine entsprechende Bewegung eines Cursors oder einer Kontaktbewegung auf einem Berührungsbildschirm-Display (z. B. durch Verwendung einer Tabulatortaste oder der Pfeiltasten, um den Fokus von einer Taste zu einer anderen Taste zu bewegen); in diesen Implementierungen bewegt sich der Fokuswähler einhergehend mit der Bewegung des Fokus zwischen verschiedenen Regionen der Benutzerschnittstelle. Ungeachtet der spezifischen Form, die der Fokuswähler annimmt, ist der Fokuswähler im Allgemeinen das Benutzerschnittstellenelement (oder der Kontakt auf einem Berührungsbildschirm-Display), das vom Benutzer gesteuert wird, um die beabsichtigte Interaktion des Benutzers mit der Benutzerschnittstelle zu kommunizieren (z. B. indem der Benutzer dem Gerät das Element der Benutzerschnittstelle angibt, mit dem er zu interagieren beabsichtigt). Während beispielsweise eine Druckeingabe auf der berührungsempfindlichen Oberfläche (z. B. einem Touchpad oder einem Berührungsbildschirm) erkannt wird, weist der Standort eines Fokuswählers (z. B. eines Cursors, eines Kontakts oder eines Auswahlfelds) über einer entsprechenden Taste darauf hin, dass der Benutzer beabsichtigt, diese entsprechende Taste zu aktivieren (und nicht die anderen Benutzerschnittstellenelemente, die auf dem Display des Geräts gezeigt werden).
Der in der Beschreibung und in den Ansprüchen verwendete Begriff „charakteristische Intensität” eines Kontakts bezieht sich auf ein Merkmal des Kontakts basierend auf einer oder mehrerer Intensitäten dieses Kontakts. In einigen Ausführungsformen basiert die charakteristische Intensität auf mehreren Intensitätsproben. Die charakteristische Intensität basiert optional auf einer vordefinierten Anzahl von Intensitätsproben oder auf einem Satz von Intensitätsproben, die während eines vorbestimmten Zeitraums (z. B. 0,05, 0,1, 0,2, 0,5, 1, 2, 5, 10 Sekunden) relativ zu einem vordefinierten Ereignis (z. B. nach dem Erkennen des Kontakts, vor dem Erkennen des Abhebens des Kontakts, vor oder nach dem Erkennen eines Beginns der Bewegung des Kontakts, vor oder nach dem Erkennen einer Intensitätszunahme des Kontakts und/oder vor oder nach dem Erkennen einer Intensitätsabnahme des Kontakts) genommen werden. Eine charakteristische Intensität eines Kontakts basiert optional auf einem oder mehreren der Folgenden: einem Höchstwert der Intensitäten des Kontakts, einem mittlerer Wert der Intensitäten des Kontakts, einem Durchschnittswert der Intensitäten des Kontakts, einem Wert der obersten 10% der Intensitätswerte des Kontakts, einem Wert von der Hälfte des Höchstwerts der Intensitäten des Kontakts, einem Wert zu 90% des Höchstwerts der Intensitäten des Kontakts oder dergleichen. In einigen Ausführungsformen wird die Dauer des Kontakts für die Bestimmung der charakteristischen Intensität verwendet (z. B. wenn die charakteristische Intensität ein Durchschnittswert der Intensität des Kontakts über die Zeit ist). In einigen Ausführungsformen wird die charakteristische Intensität mit einem Satz von einem oder mehreren Intensitätsschwellwerten verglichen, um zu ermitteln, ob eine Operation von einem Benutzer durchgeführt wurde. Zum Beispiel kann der Satz von einem oder mehreren Intensitätsschwellwerten einen ersten Intensitätsschwellwert und einen zweiten Intensitätsschwellwert enthalten. In diesem Beispiel führt ein Kontakt mit einer charakteristischen Intensität, die den ersten Schwellwert nicht übersteigt, zu einer ersten Operation, ein Kontakt mit einer charakteristischen Intensität, die den ersten Intensitätsschwellwert übersteigt, aber den zweiten Intensitätsschwellwert nicht übersteigt führt zu einer zweiten Operation, und ein Kontakt mit einer charakteristischen Intensität, die einen zweiten Schwellwert übersteigt, führt zu einer dritten Operation. In einigen Ausführungsformen wird anhand eines Vergleichs zwischen der charakteristischen Intensität und eines oder mehrerer Schwellwerte ermittelt, ob eine oder mehrere Operationen durchzuführen sind oder nicht (z. B. ob eine entsprechende Operation durchgeführt oder darauf verzichtet werden soll), und nicht, um zu ermitteln, ob eine erste oder eine zweite Operation durchgeführt werden soll.
In einigen Ausführungsformen wird ein Teil einer Geste für die Zwecke der Bestimmung einer charakteristischen Intensität identifiziert. Zum Beispiel kann eine berührungsempfindliche Oberfläche einen kontinuierlichen Streich-Kontakt erhalten, der von einem Startpunkt bis zum Erreichen eines Endpunkts verläuft, wo sich dann die Intensität des Kontakts erhöht. In diesem Beispiel kann die charakteristische Intensität des Kontakts am Endpunkt auf nur einem Teil des kontinuierlichen Streich-Kontakts und nicht auf dem gesamten Streich-Kontakt basieren (z. B. nur auf dem Teil des Streich-Kontakts am Endpunkt). In einigen Ausführungsformen kann ein Glättungsalgorithmus auf die Intensitäten des Streich-Kontakts angewendet werden, bevor die charakteristische Intensität des Kontakts bestimmt wird. Zum Beispiel enthält der Glättungsalgorithmus optional einen oder mehrere der Folgenden: einen auf dem ungewichteten gleitenden Mittelwert basierenden Glättungsalgorithmus, einen Dreiecks-Glättungsalgorithmus, einen Medianfilter-Glättungsalgorithmus und/oder einen exponentiellen Glättungsalgorithmus. Für die Zwecke der Bestimmung einer charakteristischen Intensität eliminieren diese Glättungsalgorithmen in einigen Fällen schmale Spitzen oder Tiefen in den Intensitäten des Streich-Kontakts.
Die Intensität eines Kontakts auf der berührungsempfindlichen Oberfläche kann in Bezug auf einen oder mehrere Intensitätsschwellwerte charakterisiert werden, wie z. B. einen Intensitätsschwellwert für die Kontakterkennung, einen Intensitätsschwellwert für ein leichtes Drücken, einen Intensitätsschwellwert für ein starkes Drücken und/oder einen oder mehrere weitere Intensitätsschwellwerte. In einigen Ausführungsformen entspricht der Intensitätsschwellwert für das leichte Drücken einer Intensität, bei der das Gerät Operationen durchführt, die typischerweise mit dem Klicken auf eine Taste einer physischen Maus oder eines Trackpads assoziiert werden. In einigen Ausführungsformen entspricht der Intensitätsschwellwert für das starke Drücken einer Intensität, bei der das Gerät Operationen durchführt, die andere sind als diejenigen, die typischerweise mit dem Klicken auf eine Taste einer physischen Maus oder auf ein Trackpad assoziiert werden. In einigen Ausführungsformen bewegt das Gerät dann, wenn ein Kontakt mit einer charakteristischen Intensität unter dem Intensitätsschwellwert für das leichte Drücken erkannt wird (z. B. auch über einem nominalen Intensitätsschwellwert für das Erkennen von Kontakt, unter dem der Kontakt nicht mehr erkannt wird), einen Fokuswähler einhergehend mit der Bewegung des Kontakts auf der berührungsempfindlichen Oberfläche, ohne eine Operation durchzuführen, die mit dem Intensitätsschwellwert für leichtes Drücken oder dem für starkes Drücken assoziiert ist. Sofern nichts anderes angegeben ist, sind diese Intensitätsschwellwerte im Allgemeinen bei den verschiedenen Sätzen von Benutzerschnittstellenelementen gleich.
Eine Zunahme der charakteristischen Intensität des Kontakts von einer Intensität unterhalb des Intensitätsschwellwerts für leichtes Drücken bis hin zu einem Intensitätsschwellwert, der zwischen dem Wert für leichtes Drücken und dem für starkes Drücken liegt, wird manchmal als Eingabe durch ein „leichtes Drücken” bezeichnet. Eine Zunahme der charakteristischen Intensität des Kontakts von einer Intensität unterhalb des Intensitätsschwellwerts für starkes Drücken bis hin zu einem Intensitätsschwellwert, der über dem Wert für starkes Drücken liegt, wird manchmal als Eingabe durch „starkes Drücken” bezeichnet. Eine Zunahme der charakteristischen Intensität des Kontakts von einer Intensität unterhalb des Intensitätsschwellwerts für das Erkennen von Kontakt bis hin zu einer Intensität zwischen dem Intensitätsschwellwert für das Erkennen von Kontakt und dem Intensitätsschwellwert für leichtes Drücken wird manchmal als Erkennen von Kontakt auf der Berührungsoberfläche bezeichnet. Eine Abnahme der charakteristischen Intensität des Kontakts von einer Intensität über dem Intensitätsschwellwert für das Erkennen von Kontakt auf einen Wert unter dem Intensitätsschwellwert für das Erkennen von Kontakt wird manchmal als das Erkennen des Abhebens des Kontakts von der Berührungsoberfläche bezeichnet. In einigen Ausführungsformen liegt der Intensitätsschwellwert für das Erkennen von Kontakt bei null. In einigen Ausführungsformen liegt der Intensitätsschwellwert für das Erkennen von Kontakt über null.
In einigen hierin beschriebenen Ausführungsformen werden eine oder mehrere Operationen in Reaktion auf das Erkennen einer Geste durchgeführt, die eine entsprechende Druckeingabe umfasst, oder in Reaktion auf das Erkennen einer entsprechenden Druckeingabe, die mit einem entsprechenden Kontakt (oder einer Vielzahl von Kontakten) vorgenommen wird, wobei die entsprechende Druckeingabe mindestens teilweise aufgrund des Erkennens einer Zunahme der Intensität des Kontakts (oder der Vielzahl von Kontakten) über einen Intensitätsschwellwert für die Druckeingabe erkannt wird. In einigen Ausführungsformen wird die entsprechende Operation in Reaktion auf das Erkennen der Zunahme der Intensität des entsprechenden Kontakts über den Intensitätsschwellwert für die Druckeingabe (z. B. ein „Streichen nach unten” bei der entsprechenden Druckeingabe) durchgeführt. In einigen Ausführungsformen umfasst die Druckeingabe eine Zunahme der Intensität des entsprechenden Kontakts über den Intensitätsschwellwert für die Druckeingabe hinaus und eine nachfolgende Abnahme der Intensität des Kontakts unter den Intensitätsschwellwert für die Druckeingabe, und die entsprechende Operation wird in Reaktion auf das Erkennen der nachfolgenden Abnahme der Intensität des entsprechenden Kontakts unter den Schwellwert für die Druckeingabe durchgeführt (z. B. ein „Streichen nach unten” bei der entsprechenden Druckeingabe).
In einigen Ausführungsformen verwendet das Gerät eine Intensitätshysterese, um versehentliche Eingaben, manchmal als „Jitter” bezeichnet, zu vermeiden, wobei das Gerät einen Intensitätsschwellwert für die Hysterese mit einem vorbestimmten Verhältnis zum Intensitätsschwellwert für die Drückeingabe auswählt oder definiert (z. B. ist der Intensitätsschwellwert für die Hysterese um X Intensitätseinheiten niedriger als der Intensitätsschwellwert für die Drückeingabe, oder der Intensitätsschwellwert für die Hysterese beträgt 75%, 90% oder einen vernünftigen Teil des Intensitätsschwellwerts für die Drückeingabe). Daher umfasst die Drückeingabe in einigen Ausführungsformen eine Zunahme der Intensität des entsprechenden Kontakts über den Intensitätsschwellwert für die Drückeingabe und eine nachfolgende Abnahme der Intensität des Kontakts unter den Intensitätsschwellwert für die Hysterese, welche dem Intensitätsschwellwert für die Drückeingabe entspricht, und die entsprechende Operation wird in Reaktion auf das Erkennen der nachfolgenden Abnahme der Intensität des entsprechenden Kontakts unter den Intensitätsschwellwert für die Hysterese durchgeführt (z. B. ein „Streichen nach oben” der entsprechenden Drückeingabe). In ähnlicher Weise wird in einigen Ausführungsformen die Drückeingabe nur dann erkannt, wenn das Gerät eine Zunahme der Intensität des Kontakts von einer Intensität auf der gleichen Höhe oder unterhalb des Intensitätsschwellwerts für die Hysterese bis hin zu einer Intensität auf der gleichen Höhe oder oberhalb des Intensitätsschwellwerts für die Drückeingabe erkennt, und optional eine nachfolgende Abnahme der Intensität des Kontakts auf eine Intensität auf der gleichen Höhe oder unterhalb der Hystereseintensität, und die entsprechende Operation wird dann in Reaktion auf das Erkennen der Drückeingabe (z. B. die Zunahme der Intensität des Kontakts oder die Abnahme der Intensität des Kontakts, je nach Gegebenheit) durchgeführt.
Der Einfachheit halber sei angemerkt, dass die Operationen, die in Reaktion auf eine Drückeingabe im Zusammenhang mit einem Intensitätsschwellwert für die Drückeingabe oder in Reaktion auf eine Geste, welche die Drückeingabe umfasst, durchgeführt werden, optional in Reaktion auf das Erkennen des Folgenden ausgelöst werden: entweder eine Zunahme der Intensität eines Kontakts bis zu einer Intensität oberhalb des Intensitätsschwellwerts für die Druckeingabe, eine Zunahme der Intensität des Kontakts von einer Intensität unterhalb des Intensitätsschwellwerts für die Hysterese hin zu einer Intensität oberhalb des Intensitätsschwellwerts für die Druckeingabe, eine Abnahme der Intensität des Kontakts bis unterhalb des Intensitätsschwellwerts für die Druckeingabe und/oder eine Abnahme der Intensität des Kontakts bis unterhalb des Intensitätsschwellwerts für die Hysterese, der dem Intensitätsschwellwert für die Druckeingabe entspricht. Außerdem wird in Beispielen, in denen eine Operation beschrieben wird, die in Reaktion auf das Erkennen einer Abnahme der Intensität eines Kontakts bis unterhalb des Intensitätsschwellwerts für die Druckeingabe durchgeführt wird, diese Operation optional als Reaktion auf das Erkennen einer Abnahme der Intensität des Kontakts bis unterhalb eines Intensitätsschwellwerts für die Hysterese durchgeführt, der dem Intensitätsschwellwert für die Druckeingabe entspricht oder niedriger ist.
Die 6A–6G veranschaulichen beispielhafte Techniken und Benutzerschnittstellen für die Handhabung von Navigationsmitteilungen gemäß einiger Ausführungsformen. Anhand der Benutzerschnittstellen in diesen Figuren werden die nachfolgenden Prozesse veranschaulicht, einschließlich des Prozesses in 7.
6A zeigt den Benutzer 602. Der Benutzer 602 hält ein erstes Gerät 100, wie z. B. ein elektronisches Gerät, ein Mobiltelefon, ein Smartphone, ein Tablet-Computergerät in der Hand. Der Benutzer 602 trägt auch ein zweites Gerät 500, wie z. B. ein am Körper tragbares Computergerät, eine Smartwatch oder einen am Körper tragbaren Fitness-Monitor. In einigen Beispielen sendet das erste Gerät Kommunikation auf drahtlosem Weg an das zweite Gerät. In einigen Beispielen befinden sich das erste und das zweite Gerät in bidirektionaler drahtloser Kommunikation.
In einigen Ausführungsformen empfängt bei 6B das zweite Gerät 500 optional eine Benutzereingabe (z. B. Berührungseingabe auf einer angezeigten Affordanz 604 des zweiten Geräts 500), mit der eine Wegbeschreibung angefordert wird. Das zweite Gerät überträgt Informationen, welche auf die Anforderung der Wegbeschreibung hinweisen, an das erste Gerät. Alternativ (oder zusätzlich) dazu und gemäß einiger Ausführungsformen empfängt bei 6G das erste Gerät optional die Benutzereingabe (z. B. Berührungseingabe auf einer angezeigten Affordanz 624 des ersten Geräts 100), mit der die Wegbeschreibung angefordert wird, einschließlich Informationen, die auf die Anforderung der Wegbeschreibung hinweisen. Zum Beispiel möchte der Benutzer vielleicht Navigations-Routenanweisungen von seinem derzeitigen Standort (und dem Standort des Geräts 100) hin zu einem gewählten Zielort erhalten.
Bei 6C stellt das erste Gerät 100 (z. B. ein elektronisches Gerät, wie z. B. ein Telefon) fest, dass eine Ereignisbedingung erfüllt wurde (z. B. stellt das Gerät fest, dass es sich innerhalb einer bestimmten Entfernung zu einer sich nähernden geplanten Abbiegung befindet, wie z. B. eine Abbiegung nach rechts in eine Straße). In Reaktion auf die Feststellung, dass die Ereignisbedingung erfüllt wurde, sendet das erste Gerät (z. B. unter Verwendung von HF 606) an ein zweites Gerät 500 (z. B. ein elektronisches Gerät, wie z. B. eine Smartwatch) Anweisungen zum Präsentieren einer ersten Mitteilung (z. B. eine visuelle Mitteilung 608 oder eine haptische Mitteilung 610 und/oder eine Audiomitteilung 612) auf dem zweiten Gerät 500 zu einem ersten Zeitpunkt, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde. Bei 6D präsentiert das erste Gerät auch, in Reaktion auf das Feststellen, dass die Ereignisbedingung erfüllt wurde, auf dem zweiten Gerät zu einem zweiten Zeitpunkt eine zweite Mitteilung (z. B. visuelle Mitteilung, haptische Mitteilung, und/oder Audiomitteilung 614), die darauf hinweist, dass die Ereignisbedingung erfüllt wurde. Das zweite Gerät 500 ist ein anderes als das erste Gerät 100, die zweite Mitteilung (z. B. visuelle Mitteilung, haptische Mitteilung, und/oder Audiomitteilung 614) ist eine andere als die erste Mitteilung (z. B. visuelle Mitteilung 608, haptische Mitteilung 610, und/oder Audiomitteilung 612), und der zweite Zeitpunkt wird so gewählt, dass er vom ersten Zeitpunkt um mindestens einen vorbestimmten Verzögerungszeitraum beabstandet ist. Dadurch können die Mitteilungen in einer koordinierten Mitteilungsabfolge präsentiert werden.
In einigen Ausführungsformen umfasst das Feststellen, dass eine Ereignisbedingung erfüllt wurde, das Feststellen, dass ein Routenereignis in einem geordneten Satz von Routenereignissen (z. B. einer Liste von Wegbeschreibungen oder Anfahrtsanweisungen zu Fuß oder mit dem Auto) für das Navigieren einer Route von einem ersten Standort (z. B. dem derzeitigen Standort des ersten Geräts 100 oder des zweiten Geräts 500) zu einem Zielort (z. B. einem Bestimmungsort) bevorsteht (z. B. innerhalb einer bestimmten Entfernung oder Zeit basierend auf der derzeitigen/durchschnittlichen Geschwindigkeit).
In einigen Ausführungsformen wird der zweite Zeitpunkt so gewählt, dass er mindestens um den vorbestimmten Verzögerungszeitraum nach dem ersten Zeitpunkt liegt. Daher erfolgt die erste Mitteilung auf dem zweiten Gerät vor der zweiten Mitteilung auf dem ersten Gerät. Damit kann der Benutzer darüber benachrichtigt werden (unter Verwendung der ersten Mitteilung auf dem zweiten Gerät 500), dass die zweite Mitteilung auf dem ersten Gerät 100 unmittelbar bevorsteht.
In einigen Ausführungsformen ist das erste Gerät 100 ein tragbares Computergerät (z. B. ein Smartphone oder ein Tablet-Computergerät), und das zweite Gerät 500 ist ein am Körper tragbares Computergerät (z. B. eine Smartwatch oder ein am Körper tragbarer Fitness-Monitor).
In einigen Ausführungsformen ist die erste Mitteilung von einem ersten Typ, und die zweite Mitteilung von einem zweiten Typ, welcher ein anderer als der erste Typ ist. Der erste Typ und der zweite Typ werden aus der Gruppe ausgewählt, die aus haptischen, Audio- und visuellen Mitteilungen besteht. Wenn zum Beispiel die erste Mitteilung eine haptische Mitteilung ist, dann ist die zweite Mitteilung entweder eine Audiomitteilung oder eine visuelle Mitteilung. Wenn, in einem anderen Beispiel, die erste Mitteilung eine visuelle Mitteilung ist, dann ist die zweite Mitteilung entweder eine haptische Mitteilung oder eine Audiomitteilung. Das erlaubt es dem Benutzer, besser zwischen den beiden Mitteilungen, die auf den beiden Geräten empfangen werden, zu unterscheiden und die beiden Mitteilungen nicht zu verwechseln.
In einigen Ausführungsformen enthält die zweite Mitteilung eine Audiokomponente (z. B. eine gesprochene, hörbare Komponente) ohne eine haptische Komponente, und die erste Mitteilung enthält eine haptische Komponente (z. B., und die zweite Mitteilung enthält eine haptische Komponente). Dadurch, dass die Mitteilungen auf diese Weise differenziert werden, ist der Benutzer in der Lage, besser zwischen den beiden Mitteilungen, die auf den beiden Geräten empfangen werden, zu unterscheiden und die beiden Mitteilungen nicht zu verwechseln. Außerdem kennt der Benutzer in vielen Fällen beide Mitteilungen, und indem unterschiedliche Mitteilungen zu verschiedenen Zeitpunkten auf verschiedenen Geräten erscheinen, erführt der Benutzer die Mitteilungen als Teil einer koordinierten Abfolge von Mitteilungen, die über viele Geräte hinweg erfolgt, und nicht als Satz von sich überlappenden und möglicherweise miteinander in Konflikt stehenden Mitteilungen, die zu einem einzelnen Ereignis gehören (z. B. einer Anweisung, links abzubiegen). Indem Mitteilungen auf beiden Geräten bereitgestellt werden, wird auch sichergestellt, dass dann, wenn der Benutzer in der Lage ist, Mitteilungen von einem Gerät (z. B. einer Smartwatch, die er an seinem Handgelenk trägt) zu empfangen, aber nicht die Mitteilungen von dem anderen Gerät (z. B. einem Mobiltelefon, das sich im Rucksack oder in der Tasche des Benutzers befindet) empfangen kann, er dennoch die Mitteilung erhält. Daher besteht ein Vorteil des Bereitstellens einer koordinierten Abfolge von Mitteilungen darin, dass dem Benutzer redundante Mitteilungen unterbreitet werden, die nicht miteinander in Konflikt stehen, und zwar unter Umständen, in denen der Benutzer alle Mitteilungen in der koordinierten Abfolge von Mitteilungen bemerkt (z. B. hört, fühlt und/oder sieht).
In einigen Ausführungsformen basiert die vorbestimmte Verzögerungszeit auf der Ereignisbedingung. In einigen Beispielen, nämlich dann, wenn die Ereignisbedingung eine bevorstehende Autobahnausfahrt ist, die der Benutzer nehmen sollte, ist die vorbestimmte Verzögerungszeit länger, da das Gerät/der Benutzer sich schneller fortbewegt. In einigen Beispielen ist die vorbestimmte Verzögerungszeit kürzer, wenn sich das Gerät/der Benutzer langsamer fortbewegt (z. B., wenn der Benutzer zu Fuß geht oder mit dem Fahrrad fährt).
In einigen Ausführungsformen enthält die erste Mitteilung eine erste haptische Ausgabe, die eine andere als eine zweite haptische Ausgabe ist, die in der zweiten Mitteilung enthalten ist. Dadurch, dass die Mitteilungen auf diese Weise differenziert werden, wird der Benutzer in die Lage versetzt, besser zwischen den beiden Mitteilungen, die auf den beiden Geräten empfangen werden, zu unterscheiden und die beiden Mitteilungen nicht zu verwechseln.
In einigen Ausführungsformen, und ähnlich wie in den Darstellungen zu den 6B und 6G, empfängt das erste Gerät 100 Informationen (z. B. werden die Informationen auf dem ersten Gerät empfangen und enthalten Zielort-Informationen), die auf eine Anforderung von Routenanweisungen hinweisen (z. B. wurde die Anforderung zuerst auf dem ersten Gerät oder auf dem zweiten Gerät empfangen). In Reaktion auf das Empfangen von Informationen, die auf die Anforderung von Routen-Anweisungen hinweisen, berechnet das erste Gerät 100 (oder fordert von einem Remoteserver oder einem anderen entfernten Computergerät) einen geordneten Satz von Routenereignissen an (z. B. eine Liste von Wegbeschreibungen oder Anfahrtsanweisungen zu Fuß oder mit dem Auto) für das Navigieren einer Route von einem ersten Standort (z. B. dem derzeitigen Standort) zu einem Zielort (z. B. einem Bestimmungsort).
In einigen Ausführungsformen umfasst die erste Mitteilung eine visuelle Anzeige 608 (z. B. eine Anzeige mit einem Pfeil nach rechts, um ein Rechtsabbiegen anzudeuten) eines ersten Routenereignisses (z. B. die Anweisung an einer bestimmten Straße rechts abzubiegen) aus dem geordneten Satz von Routenereignissen und eine haptische Ausgabe 610, die (z. B. basierend darauf, ob sie richtungsweisend ist und/oder je nach Richtungstyp, d. h. links oder rechts, variiert) mit dem ersten Routenereignis (z. B. Anweisung, an einer bestimmten Straße rechts abzubiegen) aus dem geordneten Satz von Routenereignissen assoziiert ist. Daher ist in einigen Beispielen die erste Mitteilung sowohl visuell als auch haptisch. In einigen Beispielen ist die haptische Ausgabe 610 richtungsweisend, wie durch 610 von 6C veranschaulicht. Zum Beispiel befindet sich die Mitteilung durch haptische Ausgabe für Rechtsabbiegen auf der rechten Seite des zweiten Geräts 500 oder geht von der linken Seite des zweiten Geräts 500 auf die rechte Seite des zweiten Geräts 500 über. In einem anderen Beispiel befindet sich die Mitteilung, die durch eine haptische Ausgabe erfolgt, für ein Linksabbiegen auf der linken Seite des zweiten Geräts 500 oder geht von der rechten Seite des zweiten Geräts 500 auf die linke Seite des zweiten Geräts 500 über.
In einigen Ausführungsformen umfasst das Präsentieren der zweiten Mitteilung das Auslösen der Wiedergabe (z. B. auf dem ersten Gerät) einer Audiomitteilung 612 (z. B. eine Anweisung mit künstlicher Sprachausgabe, rechts abzubiegen), basierend auf einem ersten Routenereignis (z. B. Anweisung, an einer bestimmten Straße rechts abzubiegen) des geordneten Satzes von Routenereignissen.
In einigen Ausführungsformen beträgt die vorbestimmte Verzögerungszeit zwischen einer Sekunde und drei Sekunden, zwischen 1,5 Sekunden und 2,5 Sekunden, oder 2 Sekunden. Damit wird dem Benutzer ausreichend Zeit gegeben, zu bemerken, dass eine Mitteilung hereinkommt und eine Mitteilung auf dem ersten Gerät zu erwarten, ohne dass damit eine zu große Verzögerung eintritt, bei welcher der Benutzer die beiden Mitteilungen nicht miteinander in Zusammenhang bringt.
Ein Weg, diese Techniken zu implementieren, besteht aus einem System, welches dem Benutzer die Mitteilungen „Ankündigung”, „Vorbereitung”, „Vor-Ausführung” und „Ausführung” als Teil einer koordinierten Abfolge von Mitteilungen liefert, während der Benutzer einer Route folgt (entweder in einem Fahrzeug oder während er zu Fuß geht/joggt). In einigen Beispielen wird die Mitteilung „Ankündigung” auf dem ersten Gerät 100 aktiviert, unmittelbar nachdem das erste Gerät erkennt, dass der Benutzer eine vorherige Anweisung befolgt hat (z. B. unmittelbar nachdem der Benutzer gemäß dem Routenvorschlag des Geräts rechts abgebogen ist). Diese Art von Mitteilung vermittelt dem Benutzer eine Orientierungshilfe, so dass er bereits wissen kann, welches die unmittelbar nächste Anweisung sein wird. Zum Beispiel gibt eine Mitteilung „Ankündigung” dem Benutzer an, welches die nächste Anweisung sein wird (z. B. in zehn Kilometer rechts in die Marktstraße einbiegen”). In einem Beispiel für die Mitteilung „Ankündigung” unter Verwendung einer koordinierten Abfolge von Mitteilungen, wird auf dem zweiten Gerät 500 eine zusätzliche Mitteilung „Ankündigung” ausgelöst, unmittelbar nachdem der Benutzer abgebogen ist und bevor die Mitteilung „Ankündigung” auf dem ersten Gerät 100 aktiviert wird.
In einigen Beispielen wird die Mitteilung „Vorbereitung” auf dem ersten Gerät 100 in einer vorbestimmten Entfernung aktiviert, bevor der Benutzer der nächsten Abbiegung folgen muss (basierend auf der Entfernung zu der nächsten Abbiegung). In einigen Ausführungsformen wird diese Mitteilung nur auf dem ersten Gerät 100 angezeigt oder in anderer Weise präsentiert. Wenn der Benutzer jedoch das Display des zweiten Geräts 500 betrachtet (oder das Display einschaltet, indem er sein Handgelenk mit dem zweiten Gerät 500 anhebt), so zeigt das Display des zweiten Geräts 500 eine visuelle Mitteilung an, welche auf dieselbe Abbiegung hinweist (oder eine andere Anweisung) unter Verwendung einer koordinierten Abfolge von Mitteilungen. Zum Beispiel umfasst die koordinierte Abfolge von Mitteilungen das Anzeigen einer Mitteilung „Vorbereitung” (z. B. einer haptischen Mitteilung) auf dem zweiten Gerät 500 vor dem Erscheinen einer Mitteilung „Vorbereitung” (z. B. Sprachanweisung) auf dem ersten Gerät 100.
In einigen Beispielen ist die Mitteilung „Vor-Ausführung” auf das zweite Gerät beschränkt und benachrichtigt den Benutzer, so dass er die Mitteilung „Ausführung” auf dem ersten Gerät erwartet. Diese beiden Mitteilungen („Vor-Ausführung” und „Ausführung”) werden optional dynamisch aktiviert (basierend auf der Fortbewegungsgeschwindigkeit, Entfernung bis zur nächsten Abbiegung und darauf, wieviel Zeit die Wiedergabe der Audio-Sprachanweisung in Anspruch nehmen wird). Die Mitteilung „Vor-Ausführung” sagt dem Benutzer, dass er eine Anweisung erwarten soll, die zu befolgen ist, während die Mitteilung „Ausführung” dem Benutzer sagt, er solle die angezeigte Anweisung ausführen. Eine koordinierte Abfolge von Mitteilungen beinhaltet optional die Mitteilung „Vor-Ausführung” auf dem zweiten Gerät 500, zwei Sekunden später gefolgt von der Mitteilung „Ausführung” auf dem ersten Gerät 100.
Während in einigen Ausführungsformen, wie in 6E und 6F veranschaulicht, die Mitteilungen für die beiden Geräte unterschiedlich sind (z. B. haptische Mitteilung 616 auf dem zweiten Gerät 500, Audiomitteilung 618 auf dem ersten Gerät 100) und zu unterschiedlichen Zeiten erfolgen (z. B. auf dem zweiten Gerät 500 in 6E, und dann zu einem späteren Zeitpunkt auf dem ersten Gerät 100 in 6F), zeigen beide Geräte (z. B. das erste Gerät 100 und das zweite Gerät 500) eine synchronisierte visuelle Orientierungshilfe an (z. B. visuelle Mitteilungen 620 und 622). Zum Beispiel zeigen sowohl das erste Gerät 100 (z. B. ein Mobiltelefon) als auch das zweite Gerät 500 (z. B. eine Smartwatch) dann, wenn ihre Displays aktiv sind, Anweisungen an (z. B. die visuellen Mitteilungen 620 und 622), weiter einer Straße zu folgen, wenn der Benutzer weiter dieser Straße folgen sollte, obwohl das zweite Gerät 500 eine Mitteilung „Vor-Ausführung” (z. B. eine frühere Mitteilung) liefert, bevor die Mitteilung „Ausführung” (z. B. eine spätere Mitteilung) vom ersten Gerät 100 (z. B. dem Mobiltelefon) geliefert wird. In einem anderen Beispiel zeigen sowohl das erste Gerät 100 (z. B. ein Mobiltelefon) als auch das zweite Gerät 500 (z. B. eine Smartwatch), dann, wenn ihre Displays aktiv sind, Anweisungen an, eine Abbiegung zu nehmen, wenn eine Abbiegung bevorsteht, obwohl das zweite Gerät 500 eine Mitteilung „Vor-Ausführung” liefert, bevor die Mitteilung „Ausführung” vom ersten Gerät 100 geliefert wird. Dieses hat den Vorteil, dass der Benutzer auf eines der beiden Geräte schauen kann, um zu bestimmen, was als nächstes zu tun ist. Gleichzeitig kann sich der Benutzer auf die zeitlich unterschiedlichen Mitteilungen auf den beiden Geräten verlassen, um die nächste von ihm vorzunehmende Handlung zeitlich zu planen.
In einigen Fällen, wenn die Displays sowohl für das Mobiltelefon (z. B. das erste Gerät) als auch für die Smartwatch (z. B. das zweite Gerät) gleichzeitig eingeschaltet sind, werden die Benutzerschnittstellen auf beiden Geräten gleichzeitig (oder fast gleichzeitig) aktualisiert, um die Anweisungen zum Abbiegen anzuzeigen, während die Mitteilung „Vor-Ausführung” auf der Smartwatch bereitgestellt wird, noch bevor die Mitteilung „Ausführung” auf dem Mobiltelefon bereitgestellt wird. Diese Mischung aus gleichzeitigen und gestaffelten Mitteilungen bietet dem Benutzer eine konsistente Benutzerschnittstelle (z. B. zeigen beide Geräte dieselben Informationen an, wenn der Benutzer sie prüft, so dass es nicht den Anschein hat, als gäbe es eine zeitliche Verzögerung bei der Kommunikation), während weiterhin die Vorteile eines gestaffelten Satzes von Mitteilungen vorhanden sind, so dass der Benutzer die Vorwarnung erhält, dass verbale Anweisungen kommen. Zum Beispiel warnt eine Mitteilung auf dem zweiten Gerät 500 (z. B. Smartwatch) den Benutzer, dass in Kürze vom ersten Gerät 100 (z. B. Smartphone) verbale Anweisungen kommen.
In einigen Ausführungsformen und dann, wenn die Ereignisbedingung von einem ersten Typ ist (z. B. Anweisung, rechts abzubiegen) umfasst die erste Mitteilung eine haptische Ausgabe (z. B. richtungsweisende haptische Ausgabe 610). Wenn die Ereignisbedingung von einem zweiten Typ ist (z. B. Anweisung „links”, oder ”geradeaus”), umfasst die erste Mitteilung eine haptische Ausgabe (z. B. nicht richtungsweisende haptische Ausgabe 616), die eine andere als die erste haptische Ausgabe 610 ist. Zum Beispiel ist die haptische Ausgabe, die den Benutzer anweist, der Straße weiter zu folgen, eine einfache haptische Ausgabe (z. B. vom zweiten Typ), (z. B. genau wie die anderen Mitteilungen auf dem Gerät, die nicht die sofortige Beachtung durch den Benutzer erfordern), während die haptischen Ausgaben, die auf ein Rechts- oder Linksabbiegen hinweisen, von einem besonderen Typ (z. B. vom ersten Typ) sind. Daher unterscheiden sich die Navigationsanweisungen, welche die sofortige Beachtung (oder eine Kursänderung) erfordern, von anderen Navigationsmitteilungen. Einige Beispiele für haptische Mitteilungstypen umfassen einen haptischen Mitteilungstyp „Ankündigung” (z. B. Benachrichtigung des Benutzers über die nächste Anweisung unmittelbar nachdem der Benutzer die vorherige Anweisung ausgeführt hat; nicht richtungsweisende haptische Mitteilung), einen haptischen Mitteilungstyp „Vorbereitung” (z. B. basierend auf der Entfernung zu einem Ort in der physischen Welt, an dem die nächste Anweisung ausgeführt werden sollte; nicht richtungsweisende haptische Mitteilung), einen haptischen Mitteilungstyp „Vor-Ausführung” (z. B. eintretend in einem vorbestimmten Zeitraum vor einer Anweisung, eine Handlung vorzunehmen, nicht richtungsweisende haptische Mitteilung), einen Mitteilungstyp „Ausführung” (z. B. eine Anweisung, eine Handlung vorzunehmen), einen haptischen Mitteilungstyp „Abbiegen” (z. B. Vorausführen oder Ausführen einer Anweisung, links oder rechts abzubiegen; richtungsweisende haptische Mitteilung), einen haptischen Mitteilungstyp „Rechts Abbiegen” (z. B. Vorausführen oder Ausführen einer Anweisung, rechts abzubiegen; richtungsweisende haptische Mitteilung) und einen haptischen Mitteilungstyp „Links Abbiegen” (z. B. Vorausführen oder Ausführen einer Anweisung, links abzubiegen; richtungsweisende haptische Mitteilung).
7 ist ein beispielhaftes Flussdiagramm, das ein Verfahren zum Handhaben von Navigationsmitteilungen mithilfe eines elektronischen Geräts gemäß einiger Ausführungsformen veranschaulicht. Verfahren 700 wird auf einem ersten Gerät (z. B. 100 oder 300) durchgeführt. Einige Operationen innerhalb des Verfahrens 700 können kombiniert werden, die Reihenfolge einiger Operationen kann verändert werden, und einige Operationen können ausgelassen werden.
Wie nachfolgend beschrieben, bietet das Verfahren 700 eine intuitive Vorgehensweise für die Handhabung von Navigationsmitteilungen. Dieses Verfahren verringert die kognitive Belastung des Benutzers bei der Handhabung von Navigationsmitteilungen und erzeugt dadurch eine effizientere Mensch-Maschine-Schnittstelle. Im Falle batteriebetriebener Computergeräte wird durch die Befähigung des Benutzers, Navigationsmitteilungen schneller, weniger häufig und effizienter zu erhalten, Strom eingespart und die Betriebszeit zwischen den Batterieladeladevorgängen verlängert.
In einigen Ausführungsformen empfängt das erste Gerät 100 bei Block 702 optional Informationen (z. B. werden die Informationen auf dem ersten Gerät 100 empfangen und enthalten optional Zielortinformationen) zu einer Anforderung von Wegbeschreibungen (z. B. wurde die Anforderung zuerst auf dem ersten Gerät oder auf dem zweiten Gerät empfangen).
In einigen Ausführungsformen berechnet bei Block 704 das erste Gerät 100 optional in Reaktion auf das Empfangen von Informationen, die auf die Anforderung von Anfahrtsbeschreibungen hindeuten, einen geordneten Satz von Routenereignissen (oder fordert diesen von einem Remoteserver an) (z. B. eine Liste von Wegbeschreibungen oder Anfahrtsanweisungen zu Fuß oder mit dem Auto) für das Navigieren einer Route von einem ersten Standort (z. B. dem derzeitigen Standort) zu einem Zielort (z. B. einem Bestimmungsort).
Bei Block 706 stellt das erste Gerät 100 fest, dass eine Ereignisbedingung erfüllt wurde. In einigen Ausführungsformen bestimmt das erste Gerät 100 optional bei Block 708, dass ein Routenereignis aus einem geordneten Satz von Routenereignissen (z. B. eine Liste von Wegbeschreibungen oder Anfahrtsanweisungen zu Fuß oder mit dem Auto) für das Navigieren einer Route von einem ersten Standort (z. B. dem derzeitigen Standort) zu einem Zielort (z. B. einem Bestimmungsort) bevorsteht.
Bei Block 710 und in Reaktion auf das Feststellen, dass die Ereignisbedingung erfüllt wurde, führt das erste Gerät die Blöcke 712 und 714 aus. Bei Block 712 sendet das erste Gerät 100 (z. B. unter Verwendung HF 606) an ein zweites Gerät 500 (z. B. ein elektronisches Gerät 500, wie z. B. eine Smartwatch) Anweisungen, eine erste Mitteilung zu einem ersten Zeitpunkt auf dem zweiten Gerät 500 zu präsentieren (z. B. eine visuelle Mitteilung 608, eine haptische Mitteilung 610 und/oder eine Audiomitteilung 612), die darauf hinweist, dass die Ereignisbedingung erfüllt wurde. Bei Block 714 präsentiert das erste Gerät 100 auf dem ersten Gerät 100 zu einem zweiten Zeitpunkt eine zweite Mitteilung (z. B. eine visuelle Mitteilung, eine haptische Mitteilung und/oder eine Audiomitteilung 614), die darauf hinweist, dass die Ereignisbedingung erfüllt wurde. Bei Block 716 ist das zweite Gerät 500 ein anderes als das erste Gerät 100, die zweite Mitteilung ist eine andere als die erste Mitteilung, und der zweite Zeitpunkt wird so gewählt, dass er vom ersten Zeitpunkt um mindestens einen vorbestimmten Verzögerungszeitraum beabstandet ist.
In einigen Ausführungsformen wird der zweite Zeitpunkt so gewählt, dass er vom ersten Zeitpunkt um mindestens einen vorbestimmten Verzögerungszeitraum beabstandet ist (z. B. erfolgt die erste Mitteilung auf dem zweiten Gerät vor der zweiten Mitteilung auf dem ersten Gerät). In einigen Ausführungsformen basiert die vorbestimmte Verzögerungszeit auf der Ereignisbedingung (z. B. länger bei schnellerer Fortbewegung, kürzer bei langsamerer Fortbewegung). In einigen Ausführungsformen beträgt die vorbestimmte Verzögerungszeit zwischen einer Sekunde und drei Sekunden, zwischen 1,5 Sekunden und 2,5 Sekunden, oder 2 Sekunden. In einigen Ausführungsformen ist das erste Gerät 100 ein tragbares Computergerät (z. B. ein Smartphone oder ein Tablet-Computergerät), und das zweite Gerät 500 ist ein am Körper tragbares Computergerät (z. B. eine Smartwatch oder ein tragbarer Fitness-Monitor).
In einigen Ausführungsformen ist die erste Mitteilung von einem ersten Typ, und die zweite Mitteilung ist von einem zweiten Typ, der ein anderer als der erste Typ ist, und der erste Typ und der zweite Typ sind aus einer Gruppe gewählt, die aus haptischen, Audio- und visuellen Mitteilungen besteht. In einigen Ausführungsformen enthält die zweite Mitteilung eine Audiokomponente (z. B. eine gesprochene, hörbare Komponente) ohne eine haptische Komponente, und die erste Mitteilung enthält eine haptische Komponente (z. B., und auch die zweite Mitteilung enthält eine haptische Komponente).
In einigen Ausführungsformen enthält die erste Mitteilung eine erste haptische Ausgabe, die eine andere als eine zweite haptische Ausgabe ist, die in der zweiten Mitteilung enthalten ist. In einigen Ausführungsformen umfasst die erste Mitteilung eine visuelle Anzeige (z. B. eine Anzeige mit einem Pfeil nach rechts, um ein Rechtsabbiegen anzudeuten) eines ersten Routenereignisses (z. B. Anweisung, an einer bestimmten Straße rechts abzubiegen) aus dem geordneten Satz von Routenereignissen und eine haptische Ausgabe, die (z. B. basierend darauf, ob sie richtungsweisend ist und/oder je nach Richtungstyp, d. h. links oder rechts, variiert) mit dem ersten Routenereignis (z. B. Anweisung, an einer bestimmten Straße rechts abzubiegen) aus dem geordneten Satz von Routenereignissen assoziiert ist. In einigen Ausführungsformen umfasst das Präsentieren der zweiten Mitteilung das Auslösen der Wiedergabe (z. B. auf dem ersten Gerät) einer Audiomitteilung (z. B. eine Anweisung mit künstlicher Sprachausgabe, rechts abzubiegen), basierend auf einem ersten Routenereignis (z. B. Anweisung, an einer bestimmten Straße rechts abzubiegen) des geordneten Satzes von Routenereignissen.
In einigen Ausführungsformen und dann, wenn die Ereignisbedingung von einem ersten Typ ist (z. B. Anweisung, rechts abzubiegen) umfasst die erste Mitteilung eine erste haptische Ausgabe. Wenn die Ereignisbedingung von einem zweiten Typ ist (z. B. Anweisung „links abbiegen” oder „geradeaus”), umfasst die erste Mitteilung eine zweite haptische Ausgabe, die eine andere als die erste haptische Ausgabe ist. Zum Beispiel ist ein haptisches Signal „der Straße weiter folgen” ein einfaches Tippen (genau wie die anderen Mitteilungen auf dem Gerät, die keine sofortige Beachtung durch den Benutzer erfordern). Daher sind dringende Navigationsmitteilungen von anderen Navigationsmitteilungen zu unterscheiden.
In einigen Ausführungsformen und bei Feststellung, dass die Ereignisbedingung von einem ersten Typ ist (z. B. Anweisung, rechts abzubiegen), erfolgt das Auslösen einer ersten haptischen Ausgabe als Teil der ersten Mitteilung. Bei Feststellung, dass die Ereignisbedingung von einem zweiten Typ ist (z. B. Anweisung „links abbiegen” oder „geradeaus”), erfolgt das Einleiten einer zweiten haptischen Ausgabe als Teil der ersten Mitteilung, wobei die zweite haptische Ausgabe eine andere als die erste haptische Ausgabe ist. Zum Beispiel ist ein haptisches Signal „der Straße weiter folgen” ein einfaches Tippen (genau wie die anderen Mitteilungen auf dem Gerät, die keine sofortige Beachtung durch den Benutzer erfordern). Daher sind dringende Navigationsmitteilungen von anderen Navigationsmitteilungen zu unterscheiden.
8 zeigt ein beispielhaftes Funktionsblockdiagramm eines elektronischen Geräts 800, das nach den Prinzipien der verschiedenen beschriebenen Ausführungsformen konfiguriert ist. Gemäß einiger Ausführungsformen sind die funktionalen Blöcke des elektronischen Geräts 800 dazu konfiguriert, die vorstehend beschriebenen Techniken durchzuführen. Die funktionalen Blöcke des Geräts 800 werden optional durch Hardware, Software oder eine Kombination aus Hardware und Software implementiert, um die Prinzipien der verschiedenen beschriebenen Beispiele zu implementieren. Der Fachmann versteht, dass die in 8 dargestellten funktionalen Blöcke optional kombiniert oder in Unterblöcke aufgeteilt werden, um die Prinzipien der verschiedenen Beispiele zu implementieren. Daher unterstützt die Beschreibung in diesem Dokument optional alle möglichen Kombinationen und Unterteilungen oder weiteren Definitionen der hierin beschriebenen funktionalen Blöcke.
Wie in 8 gezeigt, enthält ein elektronisches Gerät 800 (z. B. ein erstes Gerät) eine Verarbeitungseinheit 802 und optional eine Displayeinheit 804 und eine Eingabeeinheit 806 für das Empfangen von Eingaben, und eine Kommunikationseinheit 808 für das Kommunizieren mit einem zweiten Gerät.
In einigen Ausführungsformen enthält die Verarbeitungseinheit 802 eines oder mehrere der Folgenden: eine Bestimmungseinheit 810, eine Sendeeinheit 812 und eine Präsentationseinheit 814. Optional enthält die Verarbeitungseinheit 802 auch eine oder mehrere Empfangseinheiten 816 und Berechnungseinheiten 818. Die Einheiten von 8 können dazu konfiguriert werden, die verschiedenen vorstehend in Bezug auf die 6–7 beschriebenen Techniken und Verfahren zu implementieren.
Die Feststellungseinheit 810 ist dazu konfiguriert, festzustellen, dass eine Ereignisbedingung erfüllt wurde. Die Sendeeinheit 812 ist dazu konfiguriert (z. B. unter Verwendung der Kommunikationseinheit 808) in Reaktion auf das Feststellen, dass die Ereignisbedingung erfüllt wurde, an ein zweites Gerät (z. B. ein elektronisches Gerät, wie z. B. eine Smartwatch) Anweisungen zu senden, eine erste Mitteilung (z. B. eine visuelle Mitteilung, eine haptische Mitteilung und/oder eine Audiomitteilung) zu einem ersten Zeitpunkt auf dem zweiten Gerät zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde. Die Präsentationseinheit 814 ist dazu konfiguriert, in Reaktion auf die Bestimmung, dass die Ereignisbedingung erfüllt wurde, auf dem ersten Gerät zu einem zweiten Zeitpunkt eine zweite Mitteilung (z. B. eine visuelle Mitteilung über die Displayeinheit 804, eine haptische Mitteilung und/oder eine Audiomitteilung) zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde, wobei das zweite Gerät ein anderes als das erste Gerät ist, die zweite Mitteilung eine andere als die erste Mitteilung ist, und der zweite Zeitpunkt so gewählt wird, dass er vom ersten Zeitpunkt um mindestens einen vorbestimmten Zeitraum beanstandet ist.
In einigen Ausführungsformen ist die Feststellungseinheit 810 dazu konfiguriert, festzustellen, dass ein Routenereignis in einem geordneten Satz von Routenereignissen (z. B. eine Liste von Wegbeschreibungen oder Anfahrtsanweisungen zu Fuß oder mit dem Auto) für das Navigieren einer Route von einem ersten Standort (z. B. dem derzeitigen Standort) zu einem Zielort (z. B. einem Bestimmungsort) bevorsteht.
In einigen Ausführungsformen wird der zweite Zeitpunkt so gewählt, dass er mindestens um den vorbestimmten Verzögerungszeitraum nach dem ersten Zeitpunkt liegt.
In einigen Ausführungsformen ist das erste Gerät ein tragbares Computergerät, und das zweite Gerät ist ein am Körper tragbares Computergerät.
In einigen Ausführungsformen sind die erste Mitteilung und die zweite Mitteilung unterschiedliche Typen von Mitteilungen (z. B. haptisch im Vergleich zu hörbar, im Vergleich zu visuell).
In einigen Ausführungsformen enthält die zweite Mitteilung eine Audiokomponente (z. B. eine gesprochene, hörbare Komponente) ohne eine haptische Komponente, und die erste Mitteilung enthält eine haptische Komponente (z. B., und die zweite Mitteilung enthält eine haptische Komponente)
In einigen Ausführungsformen basiert der vorbestimmte Verzögerungszeitraum auf einem Typ der Ereignisbedingung (z. B. länger bei schnellerer Fortbewegung und kürzer bei langsamerer Fortbewegung).
In einigen Ausführungsformen enthält die erste Mitteilung eine erste haptische Ausgabe, die eine andere als eine zweite haptische Ausgabe ist, die in der zweiten Mitteilung enthalten ist.
In einigen Ausführungsformen ist die Empfangseinheit 816 dazu konfiguriert, Informationen zu empfangen (z. B. werden die Informationen auf dem ersten Gerät über die Eingabeeinheit 806 empfangen und enthalten optional Zielort-Informationen), welche auf eine Anforderung von Wegbeschreibungen hinweisen (z. B. wurde die Anforderung zuerst auf dem ersten Gerät oder auf dem zweiten Gerät empfangen). Die Berechnungseinheit 818 ist dazu konfiguriert, in Reaktion auf das Empfangen von Informationen, die auf die Anforderung von Wegbeschreibungen hinweisen, einen geordneten Satz von Routenereignissen (z. B. eine Liste von Wegbeschreibungen oder Anfahrtsanweisungen zu Fuß oder mit dem Auto) für das Navigieren einer Route von einem ersten Standort (z. B. dem derzeitigen Standort) zu einem Zielort (z. B. einem Bestimmungsort) zu berechnen (oder von einem Remoteserver anzufordern).
In einigen Ausführungsformen enthält die erste Mitteilung eine visuelle Anzeige (z. B. eine Anzeige mit einem Pfeil nach rechts, um ein Rechtsabbiegen anzudeuten) eines ersten Routenereignisses aus dem geordneten Satz von Routenereignissen und eine haptische Ausgabe, die (z. B. basierend darauf, ob sie richtungsweisend ist und/oder je nach Richtungstyp, d. h. links oder rechts, variiert) mit dem ersten Routenereignis (z. B. Anweisung, an einer bestimmten Straße rechts abzubiegen) aus dem geordneten Satz von Routenereignissen assoziiert ist.
In einigen Ausführungsformen ist die Präsentationseinheit dazu konfiguriert, die Wiedergabe (z. B. auf dem ersten Gerät) einer Audiomitteilung auszulösen (z. B. eine Anweisung mit künstlicher Sprachausgabe, rechts abzubiegen), basierend auf einem ersten Routenereignis (z. B. Anweisung, an einer bestimmten Straße rechts abzubiegen) des geordneten Satzes von Routenereignissen.
In einigen Ausführungsformen beträgt der vorbestimmte Verzögerungszeitraum zwischen einer Sekunde und drei Sekunden (oder zwischen 1,5 Sekunden und 2,5 Sekunden, oder 2 Sekunden).
In einigen Ausführungsformen und dann, wenn die Ereignisbedingung von einem ersten Typ (z. B. Anweisung, rechts abzubiegen) ist, enthält die zweite Mitteilung eine haptische Ausgabe. Dann, wenn die Ereignisbedingung von einem ersten Typ ist (z. B. Anweisung, „links abbiegen” oder Anweisung „geradeaus”), enthält die zweite Mitteilung eine zweite haptische Ausgabe, die eine andere als die erste haptische Ausgabe ist.
Die vorstehend in Bezug auf 7 beschriebenen Operationen werden optional durch Komponenten implementiert, die in 1A–1B, 2, 3, 5A–B oder 8 abgebildet werden. Zum Beispiel können die Operation des Empfangens 702, die Operation des Feststellens 706 und die Operation des Sendens 708 durch den Ereignissortierter 170, den Ereigniserkenner 180 und den Ereignisbehandler 190 implementiert werden. Der Ereignisüberwacher 171 im Ereignissortierter 170 erkennt einen Kontakt auf einem berührungsempfindlichen Display 112, und das Ereignisversendungsmodul 174 liefert die Ereignisinformationen an die Anwendung 136-1. Ein entsprechender Ereigniserkenner 180 der Anwendung 136-1 vergleicht die Ereignisinformationen mit den entsprechenden Ereignisdefinitionen 186, und ermittelt, ob ein erster Kontakt an einer ersten Stelle auf der berührungsempfindlichen Oberfläche mit einem vorbestimmten Ereignis oder Unterereignis, wie z. B. der Aktivierung einer Affordanz auf einer Benutzerschnittstelle übereinstimmt. Wenn ein entsprechendes vordefiniertes Ereignis oder Unterereignis erkannt wird, aktiviert der Ereigniserkenner 180 einen Ereignisbehandler 190, der mit dem Erkennen eines Ereignisses oder Unterereignisses in Verbindung steht. Der Ereignisbehandler 190 kann den Datenaktualisierer 176 oder den Objektaktualisierer 177 verwenden oder aufrufen, um den internen Zustand der Anwendung 192 zu aktualisieren. In einigen Ausführungsformen greift der Ereignisbehandler 190 auf einen entsprechenden GUI-Aktualisierer 178 zu, um das zu aktualisieren, was durch die Anwendung angezeigt wird. In ähnlicher Weise wäre es für einen Durchschnittsfachmann klar, wie andere Prozesse basierend auf den in 1A–1B abgebildeten Komponenten implementiert werden.
Die vorstehende Beschreibung ist für Erklärungszwecke mit Bezugnahme auf die spezifischen Ausführungsformen erstellt worden. Jedoch sollen die veranschaulichenden Darstellungen nicht erschöpfend sein oder die Erfindung auf die genauen offenbarten Formen beschränken. Im Hinblick auf die vorstehend beschriebenen Lehren sind viele Modifikationen und Variationen möglich. Die Ausführungsformen wurden gewählt und beschrieben, um auf diese Weise am besten die Prinzipien der Techniken und ihre praktischen Anwendungen zu erklären. Weitere Fachleute werden hierdurch in die Lage versetzt, die Techniken und die verschiedenen Ausführungsformen bestmöglich mit Variationen und Modifikationen einzusetzen, die für die vorgesehene Verwendung geeignet sind.
Obwohl die Offenbarung und die Beispiele vollständig in Bezug auf die beigefügten Zeichnungen beschrieben wurden, ist anzumerken, dass verschiedene Veränderungen und Modifikationen für die Fachleute ersichtlich werden. Derartige Veränderungen und Modifikationen sind so zu verstehen, dass sie im Schutzbereich der Offenbarung und der Beispiele liegen, wie diese durch die Ansprüche definiert sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7657849 [0046]
US 6323846 [0050, 0050]
US 6570557 [0050]
US 2002/0015024 A1 [0050]
US 20050190059 [0059]
US 20060017692 [0059]

Zitierte Nicht-Patentliteratur

IEEE 802.11a [0043]
IEEE 802.IIb [0043]
IEEE 802.11g [0043]
IEEE 802.11n [0043]
IEEE 802.11ac [0043]

Claims

Ein erstes Gerät, umfassend: einen oder mehrere Prozessoren, einen Speicher; und ein oder mehrere Programme, wobei das eine oder die mehreren Programme im Speicher abgelegt sind und dazu konfiguriert sind, von dem einen oder den mehreren Prozessoren ausgeführt zu werden, wobei das eine oder die mehreren Programme Anweisungen enthalten für: das Empfangen einer Anfrage von einem zweiten Gerät, um eine Navigation zu initiieren, basierend auf einer oder mehrere Benutzereingaben empfangen bei dem zweiten Gerät; basierend auf der Anfrage, um Navigation zu initiieren, das Überwachen auf Eintreten der Ereignisbedingungen bezogen auf die Navigation; während der Eintritt der Ereignisbedingung bezogen auf die Navigation überwacht wird, das Feststellen, dass eine Ereignisbedingung, die sich auf die Navigation bezieht, erfüllt wurde; in Reaktion auf das Feststellen, dass eine Ereignisbedingung erfüllt wurde: Senden von Anweisungen an das zweite Gerät, eine erste Mitteilung auf dem zweiten Gerät zu einem ersten Zeitpunkt zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; und Präsentieren einer zweiten Mitteilung auf dem ersten Gerät zu einem zweiten Zeitpunkt, die darauf hinweist dass die Ereignisbedingung erfüllt wurde, und wobei: das zweite Gerät anders als das erste Gerät ist, die zweite Mitteilung anders als die erste Mitteilung ist, und der zweite Zeitpunkt so gewählt wird, dass er von dem ersten Zeitpunkt durch mindestens einen vorbestimmten Verzögerungszeitraum beabstandet ist.
Ein nicht-transitorisches computerlesbares Speichermedium, in dem ein Programm oder mehrere Programme abgelegt sind, wobei das eine oder die mehreren Programme Anweisungen umfassen, die dann, wenn sie durch den einen oder die mehreren Prozessoren ausgeführt werden, ein erstes Gerät dazu veranlassen: Festzustellen, dass eine Ereignisbedingung erfüllt wurde; in Reaktion auf das Feststellen, dass die Ereignisbedingung erfüllt wurde: Senden von Anweisungen an ein zweites Gerät, eine erste Mitteilung auf dem zweiten Gerät zu einem ersten Zeitpunkt anzuzeigen, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde, und Präsentieren einer zweiten Mitteilung auf dem ersten Gerät zu einem zweiten Zeitpunkt, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; und wobei: das zweite Gerät anders als das erste Gerät ist, die zweite Mitteilung anders als die erste Mitteilung ist, und der zweite Zeitpunkt so gewählt wird, dass er von dem ersten Zeitpunkt durch mindestens einen vorbestimmten Verzögerungszeitraum beabstandet ist.
Ein erstes Gerät, umfassend: Mittel zum Feststellen, dass eine Ereignisbedingung erfüllt wurde; Mittel, die reagieren auf das Feststellen, dass die Ereignisbedingung erfüllt wurde, zum: Senden von Anweisungen an ein zweites Gerät, eine erste Mitteilung auf dem zweiten Gerät zu einem ersten Zeitpunkt präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; und Präsentieren einer zweiten Mitteilung auf dem ersten Gerät zu einem zweiten Zeitpunkt, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde, und wobei: das zweite Gerät anders als das erste Gerät ist, die zweite Mitteilung anders als die erste Mitteilung ist, und der zweite Zeitpunkt so gewählt wird, das er von dem ersten Zeitpunkt durch mindestens einen vorbestimmten Verzögerungszeitraum beabstandet ist.
Ein elektronisches Gerät, umfassend: einen oder mehrere Prozessoren; Speicher; und ein oder mehrere Programme, wobei das eine oder die mehreren Programme im Speicher abgelegt sind und dazu konfiguriert sind, durch den einen oder die mehreren Prozessoren ausgeführt zu werden.
Ein erstes Gerät, umfassend: eine Verarbeitungseinheit, die dazu konfiguriert ist: Festzustellen, dass eine Ereignisbedingung erfüllt wurde; in Reaktion auf das Feststellen, dass die Ereignisbedingung erfüllt wurde, an ein zweites Gerät Anweisungen zu senden, auf dem zweiten Gerät zu einem ersten Zeitpunkt eine Mitteilung zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; in Reaktion auf das Feststellen, dass die Ereignisbedingung erfüllt wurde, eine zweite Mitteilung auf dem ersten Gerät zu einem zweiten Zeitpunkt zu präsentieren, die darauf hinweist, dass die Ereignisbedingung erfüllt wurde; und wobei: das zweite Gerät anders als das erste Gerät ist, die zweite Mitteilung anders als die erste Mitteilung ist, und der zweite Zeitpunkt so gewählt wird, dass er mindestens durch einen vorbestimmten Verzögerungszeitraum vom ersten Zeitpunkt beabstandet ist.
Das Gerät von Anspruch 5, wobei das Feststellen, dass die Ereignisbedingung erfüllt wurde, das Feststellen beinhaltet, dass ein Routenereignis in einem geordneten Satz von Routenereignissen für das Navigieren einer Route von einem Ausgangsort zu einem Zielort bevorsteht.
Das erste Gerät eines der Ansprüche 5 oder 6, wobei der zweite Zeitpunkt so gewählt wird, dass er zumindest der vorbestimmte Verzögerungszeitraum nach ersten Zeitpunkt ist.
Das erste Gerät eines der Ansprüche 5 oder 6, wobei das erste Gerät ein tragbares Computergerät, und das zweite Gerät ein am Körper tragbares Computergerät ist.
Das erste Gerät eines der Ansprüche 5 bis 8, wobei die erste Mitteilung und die zweite Mitteilung verschiedene Typen von Mitteilungen sind.
Das erste Gerät eines der Ansprüche 5 bis 9, wobei die zweite Mitteilung eine Audiokomponente ohne eine haptische Komponente beinhaltet, und die erste Mitteilung eine haptische Komponente beinhaltet.
Das erste Gerät eines der Ansprüche 5 bis 10, wobei der vorbestimmte Verzögerungszeitraum auf einem Typ der Ereignisbedingung basiert.
Das erste Gerät eines der Ansprüche 5 bis 11, wobei sich Präsentationen der ersten Mitteilung und der zweiten Mitteilung zeitlich nicht überschneiden.
Das erste Gerät eines der Ansprüche 5 bis 12, wobei die erste Mitteilung eine erste haptische Ausgabe beinhaltet, die anders als eine zweite haptische Ausgabe ist, die in der zweiten Mitteilung enthalten ist.
Das erste Gerät eines der Ansprüche 5 bis 13, wobei die Verarbeitungseinheit weiter dazu konfiguriert ist: in Reaktion auf das Empfangen der Anforderung eine Navigation zu initiieren, einen geordneten Satz von Routenereignissen für das Navigieren einer Route von einem Ausgangsort zu einem Zielort zu berechnen.
Das erste Gerät von Anspruch 14, wobei die erste Mitteilung eine eine visuelle Anzeige eines ersten Routenereignisses aus dem geordneten Satz von Routenereignissen und eine haptische Ausgabe beinhaltet, die mit dem ersten Routenereignis aus dem geordneten Satz von Routenereignissen assoziiert ist.
Das erste Gerät eines der Ansprüche 14 bis 15, wobei das Präsentieren der zweiten Mitteilung das Auslösen der Wiedergabe einer Audiomitteilung basierend auf einem ersten Routenereignis des geordneten Satzes von Routenereignissen beinhaltet.
Das erste Gerät eines der Ansprüche 1 bis 16, wobei der vorbestimmte Verzögerungszeitraum zwischen einer Sekunde und drei Sekunden beträgt.
Das erste Gerät eines der Ansprüche 1 bis 17, wobei: in Übereinstimmung mit der Tatsache, dass die Ereignisbedingung von einem ersten Typ ist, die erste Mitteilung eine erste haptische Ausgabe enthält; und in Übereinstimmung mit der Tatsache, dass die Ereignisbedingung von einem zweiten Typ ist, die erste Mitteilung ein zweite haptische Ausgabe enthält, die anders als die erste haptische Ausgabe ist.