DE112008004156B4 - System und verfahren für einen gestenbasierten editiermodus und computerlesbares medium hierfür - Google Patents

System und verfahren für einen gestenbasierten editiermodus und computerlesbares medium hierfür Download PDF

Info

Publication number
DE112008004156B4
DE112008004156B4 DE112008004156.3T DE112008004156T DE112008004156B4 DE 112008004156 B4 DE112008004156 B4 DE 112008004156B4 DE 112008004156 T DE112008004156 T DE 112008004156T DE 112008004156 B4 DE112008004156 B4 DE 112008004156B4
Authority
DE
Germany
Prior art keywords
gesture
function
input device
document
edit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE112008004156.3T
Other languages
English (en)
Other versions
DE112008004156T5 (de
Inventor
Christopher M. Rives
Craig T. BROWN
Dustin L. Hoffman
Peter M. On
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of DE112008004156T5 publication Critical patent/DE112008004156T5/de
Application granted granted Critical
Publication of DE112008004156B4 publication Critical patent/DE112008004156B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)

Abstract

Ein System, das Folgendes aufweist:eine Bedienperson-Eingabevorrichtung, die Gesten und mehrere gleichzeitige Berührungspunkte erfasst;einen mit der Bedienperson-Eingabevorrichtung gekoppelten Prozessor, wobei der Prozessor konfiguriert ist, um eine Softwareprogrammierung auszuführen,die den Prozessor veranlasst,Eingaben von der Eingabevorrichtung zu verarbeiten,eine vorbestimmte Editiermodusgeste zu erkennen, und ansprechend darauf einen Editiermodus einzuleiten, der eine Mehrzahl von Dokumenteneditierfunktionen zum Modifizieren eines derzeit angezeigten Dokuments bereitstellt,auf das Erkennen der Editiermodusgeste hin eine Dokumenteneditierfunktionsgeste, die einer der Mehrzahl von Dokumenteneditierfunktionen entspricht, zu erkennen,die Dokumenteneditierfunktion der Dokumenteneditierfunktionsgeste auszuführen und den Editiermodus zu verlassen, wenn die Ausführung der Dokumenteneditierfunktion abgeschlossen ist.

Description

  • HINTERGRUND
  • Über die Jahre wurden Nutzerschnittstellensysteme verschiedener Typen entwickelt, um eine Steuerung von Computern und anderen elektronischen Vorrichtungen zu erleichtern. Einfache Schalter und Knöpfe genügen, um manchen elektronischen Vorrichtungen Bedienperson-Eingabeinformationen bereitzustellen. Dagegen verwenden Computersysteme allgemein flexiblere Daten- und Steuereingabeeinrichtungen. In der Befehlszeilenumgebung herrscht eine Tastatureingabe vor, und die Flexibilität der Tastatureingabe deutet darauf hin, dass irgendeine Form von Tastatureingabe, beispielsweise eine Eingabe in eine hardwarebasierte oder eine softwarebasierte Tastatur, in absehbarer Zeit wahrscheinlich weiterhin bestehen wird.
  • Die Nutzung von Zeigevorrichtungen nahm mit der Zunahme graphischer Nutzerschnittstellen zu. Die Maus, Rollkugel, das Tastfeld, der Joystick usw. werden üblicherweise verwendet, um die Bewegung eines Cursors auf dem Anzeigebildschirms einer graphischen Nutzerschnittstelle zu lenken.
  • Berührungsbildschirmtechnologien ermöglichen, dass die Oberfläche oder Oberflächennähe einer Anzeige als Nutzerschnittstellenvorrichtung dient. Der Berührungsbildschirm erfasst eine Nutzereingabe in Form von Bildschirmberührungen oder, wenn manche Berührungsbildschirmtechnologien verwendet werden, in Form von Berührungen in der Nähe eines Bildschirms. Berührungsbildschirme sind insofern vorteilhaft, als abgesehen von der mit der Anzeige gekoppelten Berührungserfassungsvorrichtung keine zweckgebundene Eingabevorrichtung erforderlich ist. Es stehen eine Vielzahl von Berührungsbildschirmtechnologien zur Verfügung, einschließlich ohmscher, kapazitiver, Infrarot-, Oberflächenwellen- und Video-Technologien, von denen jede ihre Vor- und Nachteile aufweist.
  • Berührungsbildschirmsysteme, die eine Erkennung mehrerer Berührungspunkte ermöglichen, werden immer beliebter. Diese Systeme ermöglichen die Verwendung von Gesten (z. B. Hand- oder Fingerbewegung) und/oder Mehrtastenbetätigung (engl.: chording) (z. B. die gleichzeitige Nutzung mehrerer Finger- oder Handberührungspunkte), um die Berührungsbildschirmoperationen zu erweitern und zu vereinfachen. Jedoch kann es für einen Nutzer schwierig sein, sich einen umfangreichen Satz von Gesten zu merken, wie ein großes Vokabular an Befehlen in einem Befehlszeilensystem.
  • Aus der US 2008/0 036 743 A1 sind Verfahren und System zum Erkennen von Gesten durch Mehrpunkterfassungsgeräten bekannt. Ein Akkord, der aus einer bestimmten Anordnung von Fingerkontakten besteht, wird bestimmt. Ein dem Akkord zugeordneter Gestensatz wird geladen, wobei der Gestensatz einem oder mehreren Gestenereignissen Aktionen zuordnet. Bei Auftreten von einem der Gestenereignisse wird die zugeordnete Aktion durchgeführt.
  • Die Erfindung schafft ein System nach Anspruch 1, ein Verfahren nach Anspruch 8 und ein computerlesbares Medium nach Anspruch 11.
  • Figurenliste
  • Zum Zweck einer ausführlichen Beschreibung exemplarischer Ausführungsbeispiele der Erfindung wird nun auf die beiliegenden Zeichnungen Bezug genommen, bei denen:
    • 1 ein System zeigt, das einen gestenbasierten Editiermodus umfasst, der auf eine Vielzahl von Anwendungen gemäß verschiedenen Ausführungsbeispielen anwendbar ist;
    • 2 ein Blockdiagramm eines Systems zeigt, das einen gestenbasierten Editiermodus umfasst, der auf eine Vielzahl von Anwendungen gemäß verschiedenen Ausführungsbeispielen anwendbar ist;
    • 3 ein Flussdiagramm für ein Verfahren zum Implementieren eines gestenbasierten Editiermodus zeigt, der auf eine Vielzahl von Anwendungen gemäß verschiedenen Ausführungsbeispielen anwendbar ist;
    • 4 eine exemplarische Auswählen-Geste zeigt, die bei einem System verwendet wird, das einen gestenbasierten Editiermodus gemäß verschiedenen Ausführungsbeispielen umfasst;
    • 5 eine exemplarische Kopieren-Geste zeigt, die bei einem System verwendet wird, das einen gestenbasierten Editiermodus gemäß verschiedenen Ausführungsbeispielen umfasst;
    • 6 eine exemplarische Einfügen-Geste zeigt, die bei einem System verwendet wird, das einen gestenbasierten Editiermodus gemäß verschiedenen Ausführungsbeispielen umfasst;
    • 7 eine exemplarische Ausschneiden-Geste zeigt, die bei einem System verwendet wird, das einen gestenbasierten Editiermodus gemäß verschiedenen Ausführungsbeispielen umfasst; und
    • 8 eine exemplarische Rückgängigmachen-Geste zeigt, die die bei einem System verwendet wird, das einen gestenbasierten Editiermodus gemäß verschiedenen Ausführungsbeispielen umfasst.
  • BEZEICHNUNG UND NOMENKLATUR
  • Bestimmte Begriffe werden in der gesamten folgenden Beschreibung und in den folgenden Patentansprüchen verwendet, um auf bestimmte Systemkomponenten Bezug zu nehmen. Wie Fachleuten einleuchten wird, können Computerfirmen unter verschiedenen Namen auf eine Komponente Bezug nehmen. Das vorliegende Dokument beabsichtigt nicht, zwischen Komponenten zu unterscheiden, die sich bezüglich ihres Namens, jedoch nicht ihrer Funktion unterscheiden. In der folgenden Erörterung und in den Patentansprüchen werden die Begriffe „umfassen“ und „aufweisen“ auf offene Weise verwendet und sollten somit dahin gehend interpretiert werden, dass sie „umfassen, aber nicht beschränkt sein auf ...“ bedeuten. Ferner soll der Begriff „koppeln“ oder „koppelt“ entweder eine indirekte, direkte, optische oder drahtlose elektrische Verbindung bezeichnen. Falls also eine erste Vorrichtung mit einer zweiten Vorrichtung gekoppelt wird, kann diese Verbindung durch eine direkte elektrische Verbindung, durch eine indirekte elektrische Verbindung über andere Vorrichtungen und Verbindungen, durch eine optische elektrische Verbindung oder durch eine drahtlose elektrische Verbindung erfolgen. Ferner umfasst der Begriff „Software“ einen beliebigen ausführbaren Code, der in der Lage ist, auf einem Prozessor abzulaufen, ungeachtet der zum Speichern der Software verwendeten Medien. Somit ist ein in einem Speicher (z.B. einem nicht-flüchtigen Speicher) gespeicherter Code, der manchmal als „eingebettete Firmware“ bezeichnet wird, in der Definition von Software enthalten.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die folgende Erörterung ist auf verschiedene Ausführungsbeispiele der Erfindung gerichtet. Obwohl eines oder mehrere dieser Ausführungsbeispiele bevorzugt sein kann bzw. können, sollten die offenbarten Ausführungsbeispiele nicht als Einschränkung des Schutzumfangs der Offenbarung, einschließlich der Patentansprüche, interpretiert oder auf andere Weise verwendet werden. Außerdem wird Fachleuten einleuchten, dass die folgende Beschreibung eine breite Anwendung hat, und die Erläuterung jeglichen Ausführungsbeispiels soll lediglich beispielhaft für dieses Ausführungsbeispiel sein und soll nicht andeuten, dass der Schutzumfang der Offenbarung, einschließlich der Patentansprüche, auf dieses Ausführungsbeispiel beschränkt sei.
  • Dokumenteneditierfunktionen wie z. B. Ausschneiden, Kopieren, Einfügen, Rückgängigmachen, Text-/Objektauswahl usw. sind auf einer beliebigen Anzahl verschiedener Plattformen in einer großen Vielzahl von Anwendungen verfügbar. Diese Editierfunktionen sind nicht auf Editorprogramme oder Textverarbeitungssysteme beschränkt, sondern finden sich auch beispielsweise bei Webbrowsern, Tabellenkalkulationsanwendungen, Dokumentsichtungsanwendungen, E-Mail-Clients und einer Vielzahl anderer Anwendungen. Allgemein kann jegliche Anwendung, die Text und/oder Graphiken verarbeitet, diese Editierfunktionen umfassen.
  • Berührungsbildschirmbasierte Systeme verwenden auf dem Bildschirm mit (einem) Finger(n) erfolgende Antippvorgänge und/oder Gesten, um Operationen einzuleiten. Ausführungsbeispiele der vorliegenden Offenbarung umfassen einen neuartigen gestenbasierten Editiermodus, um die Verwendung üblicher Dokumenteneditierfunktionen bei einem gestenbasierten System zu vereinfachen. 1 zeigt ein System 100, das einen gestenbasierten Editiermodus umfasst, der auf eine Vielzahl von Anwendungen gemäß verschiedenen Ausführungsbeispielen anwendbar ist. Das System 100 umfasst eine visuelle Anzeige 110, eine Berührungs- und/oder Gesteneingabevorrichtung 104, einen Prozessor 106 und eine Daten-/Programmspeicherung 112. Manche Ausführungsbeispiele des Systems 100 können andere Eingabevorrichtungen wie z. B. eine Tastatur 108, eine Maus usw. umfassen. Ausführungsbeispiele können auch verschiedene Eingabe- /Ausgabeteilsysteme umfassen, um beispielsweise einen verdrahteten und/oder drahtlosen Netzwerkbetrieb zu implementieren. In 1 ist das System 100 als Notebook-Computer gezeigt, in der Praxis kann das System 100 jedoch eine beliebige einer Vielzahl elektronischer Vorrichtungen sein. Beispielsweise kann das System 100 ein Berührungsbildschirm-oder gestenbasiertes Telefon, ein persönlicher digitaler Assistent, ein Musikabspielgerät, ein Desktop-Computer, ein Satellitennavigationssystem, ein Spielesystem oder eine andere Vorrichtung, die ein Editieren von Dokumenten vorsieht, sein.
  • Die visuelle Anzeige 110 stellt einem Nutzer des Systems 100 Informationen bereit und kann beispielsweise eine Flüssigkristallanzeige („LCD“ - liquid crystal display), eine „OLED“-Anzeige (OLED = organic light emitting diode, organische Licht emittierende Diode) oder eine beliebige andere Anzeigetechnologie sein, die mit einer Technologie einer berührungs- und/oder gestenbasierten Eingabe verwendbar ist.
  • Die berührungs- und/oder gestenbasierte Eingabevorrichtung 104 liefert dem System 100 Bedienpersoneingaben, indem sie einen Bedienpersonkontakt mit der Vorrichtung 104 oder Gesten in der Nähe der Vorrichtung 104 erfasst und elektrische Signale erzeugt, die für den erfassten Kontakt und/oder die erfassten Gesten repräsentativ sind. Bei 1 ist gezeigt, wie ein Nutzer 102 eine berührungs-/gestenbasierte Eingabevorrichtung 104 berührt, um eine Eingabe an das System 100 zu liefern. Die Eingabevorrichtung 104 kann in einer beliebigen einer Vielzahl von Technologien implementiert sein, beispielsweise kann ein ohmsches, kapazitives, Oberflächenwellen-, Infrarot- oder optisches System die visuelle Anzeige 110 überlagern. Bei manchen Ausführungsbeispielen kann ein Videosystem zum Erfassen von Nutzergesten verwendet werden. Ausführungsbeispiele des Systems 100 umfassen alle Eingabevorrichtungen, die einen Nutzerkontakt und/oder Nutzergesten erfassen und einen erfassten Kontakt und/oder erfasste Gesten in elektrische Signale umwandeln.
  • Der Prozessor 106 kann ein Mehrzweck-Mikroprozessor, eine Mikrosteuerung, ein digitaler Signalprozessor usw. sein, der bzw. die dazu konfiguriert ist, Softwareprogramme auszuführen. Die Komponenten eines Prozessors sind in der Technik hinreichend bekannt und umfassen allgemein Ausführungseinheiten (z. B. Ganzzahl, Festkomma, Gleitkomma usw.), Anweisungsdecodierung, Register, Speicher, Eingabe-/Ausgabekanäle usw., die durch Busse miteinander verbunden sind.
  • Die Daten-/Programmspeicherung 112 ist mit dem Prozessor 106 gekoppelt. Die Daten-/Programmspeicherung 112 kann verschiedene Speichermedien umfassen, beispielsweise magnetische Speicherung (z. B. Festplatten, Floppy-Disks, Band usw.), optische Speicherung (z. B. Compact-Disk, digitale Videodisk usw.) oder Halbleiterspeicher (z. B. statischen oder dynamischen Direktzugriffsspeicher („SRAM“ - static random access memory oder „DRAM“ - dynamic random access memory), Nur-Lese-Speicher („ROM“ - readonly memory), Flash-Speicher, magnetischer Direktzugriffsspeicher („MRAM“ - magnetic random access memory) usw.).
  • Das System 100 umfasst eine Softwareprogrammierung, die in der Speicherung 112 gespeichert ist und die, wenn sie durch den Prozessor 106 ausgeführt wird, eine Erkennung einer Geste liefert, die einen Editiermodus einleitet, der bei einer großen Vielzahl von Anwendungen verwendbar ist, die Ausschneiden-, Einfügen-, Kopieren-, Rückgängigmachen- und/oder Auswahl-Operationen umfassen. Auf eine Erkennung der Editiermodusgeste hin erkennen Ausführungsbeispiele ferner eine Geste, die jeder der Ausschneiden-, Einfügen-, Kopieren-, Rückgängigmachen-, Text-/Objektauswahl- usw. Operationen entspricht, führen die ausgewählte Operation aus und verlassen den Editiermodus. Somit liefern Ausführungsbeispiele vorteilhafterweise ein einfaches und einheitliches Verfahren zum Durchführen von Dokumenteneditieroperationen, die auf eine große Vielzahl von Anwendungen anwendbar sind.
  • 2 zeigt ein Blockdiagramm des Systems 100, das einen gestenbasierten Editiermodus umfasst, der auf eine Vielzahl von Anwendungen gemäß verschiedenen Ausführungsbeispielen anwendbar ist. Wie oben erläutert wurde, liefert die Anzeige 110 dem Systemnutzer eine visuelle Ausgabe. Die Anzeige 110 ist mit dem Prozessor 106 gekoppelt, der Videodaten 206 liefert, die dem Nutzer in visueller Form auf der Anzeige 110 präsentiert werden. Videodaten 206 können Textdaten, graphische Daten usw. umfassen.
  • Die Berührungs-/Gesteneingabevorrichtung 104 erfasst Nutzerkontakte und/oder -gesten und liefert elektrische Signale 208, die für die Kontakte und/oder Gesten repräsentativ sind, an den Prozessor 106. Die Signale 208 stellen einen Kontakt/Gesten dar, der bzw. die Operationen, die der Nutzer durchführen möchte, identifiziert bzw. identifizieren. Bei Ausführungsbeispielen der vorliegenden Offenbarung sind Signale 208 für Gesten repräsentativ, die angeben, dass der Nutzer einen Editiermodus einleiten und/oder eine Editieroperation an einem auf der Anzeige 110 präsentierten Dokument vornehmen möchte.
  • Der Prozessor 106 führt eine in der Programm-/Datenspeicherung 112 gespeicherte Softwareprogrammierung aus. Die in der Speicherung 112 gespeicherte Programmierung umfasst ein Editiergestenerkennungsprogramm 202 und ein Editieroperationenprogramm 204. Das Gestenerkennungsprogramm 202 verarbeitet die Signale 208, um den dargestellten Kontakt oder die dargestellte Geste zu ermitteln. Ausführungsbeispiele des Gestenerkennungsprogramms veranlassen den Prozessor 106, Gesten zu identifizieren, die auf den Wunsch eines Nutzers hinweisen, in einen Editiermodus einzutreten, oder auf einen Wunsch, eine Ausschneiden-, Einfügen-, Kopieren-, Rückgängigmachen- und/oder Auswahl-Operation unter Verwendung des auf der Anzeige 110 präsentierten Dokuments durchzuführen. Wenn eine bestimmte Geste als Editiergeste identifiziert wurde, veranlasst eine Editieroperationensoftware 204 den Prozessor, die angegebene Operation an dem auf der Anzeige 110 präsentierten Dokument vorzunehmen. Somit kann die Editieroperation 204 eine Modifikation des Dokuments in der Speicherung 112 und eine entsprechende Modifikation des auf der Anzeige 110 präsentierten Dokuments bewirken.
  • Manche Ausführungsbeispiele des Systems 100 umfassen eine Editiergestenerkennung 202 und Editieroperationen 204, die die nachstehend unter Bezugnahme auf das Flussdiagramm der 3 beschriebenen Operationen vornehmen. Manche Ausführungsbeispiele des Systems 100 umfassen die Editiergestenerkennung 202, die die nachfolgend unter Bezugnahme auf 4 - 8 beschriebenen Gesten als Editiergesten identifiziert.
  • 3 zeigt ein Flussdiagramm eines Verfahrens zum Implementieren eines gestenbasierten Editiermodus, der auf eine Vielzahl von Anwendungen gemäß verschiedenen Ausführungsbeispielen anwendbar ist. Obwohl sie zweckmäßigerweise sequentiell gezeigt sind, können zumindest manche der gezeigten Handlungen in einer anderen Reihenfolge und/oder parallel durchgeführt werden. Außerdem führen manche Ausführungsbeispiele eventuell nur manche der gezeigten Handlungen aus.
  • Bei Block 302 erfasst die Berührungs-/Gesteneingabevorrichtung 104 einen Nutzerkontakt oder eine Geste, Der Kontakt oder die Geste wird in elektrische Signale 208 umgewandelt, und die elektrischen Signale werden dem Prozessor 106 bereitgestellt. Der Prozessor 106 führt Anweisungen des Editiergestenerkennungsprogramms 202 aus, um zu bestimmen, ob die Signale 208 eine Geste darstellen, die darauf hinweist, dass der Nutzer einen Dokumenteneditiermodus ausführen möchte. Bei manchen Ausführungsbeispielen kann der Nutzer die Eingabevorrichtung 104 gleichzeitig mit zwei Fingern antippen (d. h. mit der Eingabevorrichtung an zwei Punkten innerhalb eines vorbestimmten Abstandes zueinander in Kontakt gelangen), um einen Wunsch anzugeben, in den Editiermodus einzutreten. Jedoch sind Ausführungsbeispiele nicht auf einen bestimmte Tastenkombination oder eine bestimmte Geste beschränkt, um eine Auswahl des Dokumenteneditiermodus anzugeben.
  • Falls im Block 304 der das Gestenerkennungsprogramm 202 ausführende Prozessor 106 bestimmt, dass die Editiermodusauswahlgeste ausgeführt wurde, wird im Block 306 ein Dokumenteneditiermodus eingeleitet, andernfalls fährt die Gestenverarbeitung im Block 302 fort.
  • Bei zumindest manchen Ausführungsbeispielen befindet sich das System 100 im Block 308 im Dokumenteneditiermodus, und der Prozessor 106 empfängt und verarbeitet die Signale 208, um eine Geste zu identifizieren, die die Editierfunktion bedeutet, die der Nutzer durchführen möchte. Ausführungsbeispiele der vorliegenden Offenbarung umfassen eine Erkennung von Gesten, die den Ausschneiden-, Einfügen-, Kopieren-, Rückgängigmachen- und/oder Auswählen-Operationen entsprechen. Nach Einleiten des Editiermodus führt der Nutzer eine Geste aus, die einer dieser Operationen entspricht, und der Prozessor 106 führt im Block 310 die Editieroperationensoftware 204 aus, um die angeforderte Editieroperation durchzuführen. Bei manchen Ausführungsbeispielen entsprechen die Editieroperationsgesten, die durch das auf dem Prozessor 106 ablaufende Gestenerkennungsprogramm 202 erkannt werden, den in 4 - 8 beschriebenen Ausschneiden-, Einfügen-, Kopieren-, Rückgängigmachen- und/oder Auswählen-Gesten.
  • Die Ausschneiden-, Einfügen-, Kopieren-, Auswählen- und Rückgängigmachen-Operationen sind in der Technik hinreichend bekannt. Allgemein ermöglicht es die Auswahloperation dem Nutzer beispielsweise, eine Testfolge oder ein Objekt auszuwählen, an der bzw. dem eine anschließende Editieroperation durchgeführt wird. Die Ausschneiden-Operation kann beispielsweise eine ausgewählte Textfolge oder ein ausgewähltes Objekt aus einem Dokument entfernen. Die Kopieren-Operation kann beispielsweise eine ausgewählte Textfolge oder ein ausgewähltes Objekt für eine spätere Aufnahme in ein Dokument vervielfältigen. Die Einfügen-Operation kann beispielsweise eine zuvor gespeicherte Kopie einer Textfolge oder eines Objekts in ein Dokument einsetzen. Die Rückgängigmachen-Operation kann beispielsweise die Effekte einer zuvor durchgeführten Editieroperation umkehren.
  • Bei Block 312 wird der Editiermodus verlassen. Bei zumindest manchen Ausführungsbeispielen wird der Editiermodus verlassen, nachdem eine beliebige einzelne Editieroperation durchgeführt wird. Somit tritt bei manchen Ausführungsbeispielen das System im Block 306 in den Editiermodus ein, führt im Block 310 eine einzelne ausgewählte Editieroperation durch und verlässt den Editiermodus im Block 312.
  • Manche Ausführungsbeispiele erfordern keine Erkennung einer bezeichneten Geste, beispielsweise ein gleichzeitiges Antippen mit zwei Fingern, um in einen Editiermodus einzutreten, vielmehr treten diese Ausführungsbeispiele auf ein Erkennen einer Editierfunktionsgeste hin (d. h. einer Auswählen-Geste, einer Kopieren-Geste, einer Ausschneiden-Geste, einer Einfügen-Geste oder einer Rückgängigmachen-Geste) hin in den Editiermodus ein.
  • 4 zeigt eine exemplarische Auswählen-Geste, die bei verschiedenen Ausführungsbeispielen des Systems 100 verwendet werden kann. In 4 möchte der Nutzer den angezeigten Text 406 auswählen. Um den Text 406 auszuwählen, berührt der Nutzer vorzugsweise die Eingabevorrichtung 104 an einem Punkt 402 und hält einen vorbestimmten Zeitraum lang (z. B. 1 - 1,5 Sekunden) an dem Punkt 402 den Kontakt aufrecht. Die Eingabevorrichtung 104 erfasst den Kontakt und liefert Signale 208, die den Kontakt darstellen, an den Prozessor 106. Auf der Basis der Signale 208 bestimmt der Prozessor 106, der das Editiergestenerkennungsprogramm 202 ausführt, dass der Nutzer eine derzeit angezeigte Textfolge oder ein derzeit angezeigtes Objekt auswählen möchte. Der Nutzer hält den Kontakt mit der Eingabevorrichtung 104 aufrecht und streicht seinen Finger über den Text 406, um den Text 406 auszuwählen. Die Auswahl ist abgeschlossen, wenn der Nutzer den Kontakt mit der Eingabevorrichtung 104 abbricht. Die Eingabevorrichtung liefert an den Prozessor 106 Signale 208, die die Bewegung des Kontaktpunktes des Nutzers auf der Eingabevorrichtung 104 über den Text 406 und die Beendigung des Kontakts mit der Eingabevorrichtung 104 seitens des Nutzers darstellen. Der Prozessor 106 verarbeitet die Signale 208, um den ausgewählten Text oder das ausgewählte Objekt zu ermitteln. Bei manchen Ausführungsbeispielen können der Prozessor und zugeordnete Software dem Nutzer eine Rückmeldung liefern, indem sie beispielsweise den ausgewählten Text 406 auf der Anzeige 110 hervorheben.
  • 5 zeigt eine exemplarische Kopieren-Geste, die bei verschiedenen Ausführungsbeispielen des Systems 100 verwendet wird. Bei manchen Ausführungsbeispielen hat der Nutzer eine vorherige Geste ausgeführt, beispielsweise tippte er mit zwei Fingern auf die Eingabevorrichtung 104, um vor dem Ausführen der Kopieren-Geste in den Editiermodus einzutreten. In 5 möchte der Nutzer eine Kopie des zuvor ausgewählten Textes 506 erstellen. Um den Text 506 zu kopieren, berührt der Nutzer die Eingabevorrichtung 104 vorzugsweise mit zwei Fingern an einem Punkt 502 (der ein beliebiger Punkt auf der Eingabevorrichtung 104 sein kann). Die zwei Finger können beispielsweise der Daumen und Zeigefinger des Nutzers sein. Die zwei Finger liegen vorzugsweise innerhalb eines vorbestimmten Abstands zueinander, stehen beispielsweise in Kontakt oder sind weniger als einen Zentimeter voneinander entfernt. Während mit beiden Fingern Kontakt mit der Eingabevorrichtung 104 gehalten wird, wird ein erster Finger (z. B. der Daumen) in einem halbkreisförmigen Bogen zu einer Position 504 auf der Eingabevorrichtung 104 unterhalb des anderen Fingers bewegt. Die Eingabevorrichtung 104 erfasst den Kontakt der Finger und die Bewegung des ersten Fingers und liefert an den Prozessor 106 Signale 208, die den Kontakt und die Bewegung darstellen. Auf der Basis der Signale 208 bestimmt der Prozessor 106, der das Editiergestenerkennungsprogramm 202 ausführt, dass der Nutzer ein vorausgewähltes Objekt oder eine vorausgewählte Textfolge kopieren möchte. Bei manchen Ausführungsbeispielen speichert der Prozessor und zugeordnete Software (z. B. Editieroperationenprogramm 204) eine Kopie des ausgewählten Texts in der Speicherung 112.
  • 6 zeigt eine exemplarische Einfügen-Geste, die bei verschiedenen Ausführungsbeispielen des Systems 100 verwendet wird. Bei manchen Ausführungsbeispielen hat der Nutzer eine vorherige Geste ausgeführt, beispielsweise tippte er mit zwei Fingern auf die Eingabevorrichtung 104, um vor dem Ausführen der Einfügen-Geste in den Editiermodus einzutreten. In 6 möchte der Nutzer eine zuvor kopierte Textfolge 606 in das derzeit auf der Anzeige 110 präsentierte Dokument einfügen (d.h. einsetzen). Um den Text 606 einzufügen, berührt der Nutzer die Eingabevorrichtung 104 vorzugsweise mit zwei Fingern an einem Punkt 604. Die zwei Finger können beispielsweise der Daumen und Zeigefinger des Nutzers sein. Die zwei Finger liegen vorzugsweise innerhalb eines vorbestimmten Abstands zueinander, stehen beispielsweise in Kontakt oder sind weniger als einen Zentimeter voneinander entfernt. Während mit beiden Fingern Kontakt mit der Eingabevorrichtung 104 gehalten wird, wird ein erster Finger (z. B. der Zeigefinger) in einem halbkreisförmigen Bogen zu einer Position 602 auf der Eingabevorrichtung 104 oberhalb des anderen Fingers bewegt. Die Eingabevorrichtung 104 erfasst den Kontakt der Finger und die Bewegung des ersten Fingers und liefert an den Prozessor 106 Signale 208, die den Kontakt und die Bewegung darstellen. Auf der Basis der Signale 208 bestimmt der Prozessor 106, der das Editiergestenerkennungsprogramm 202 ausführt, dass der Nutzer ein zuvor gespeichertes Objekt oder eine zuvor gespeicherte Textfolge in das derzeit auf der Anzeige 110 präsentierte Dokument einfügen möchte. Bei manchen Ausführungsbeispielen veranlassen der Prozessor und zugeordnete Software (z. B. Editieroperationenprogramm 204), dass der Text am Punkt 602 in das derzeit angezeigte Dokument eingesetzt wird, andere Ausführungsbeispiele veranlassen, dass der Text den Punkt 604 oder einen anderen Punkt eingesetzt wird.
  • 7 zeigt eine exemplarische Ausschneiden-Geste, die bei verschiedenen Ausführungsbeispielen des Systems 100 verwendet wird. Bei manchen Ausführungsbeispielen hat der Nutzer eine vorherige Geste ausgeführt, beispielsweise tippte er mit zwei Fingern auf die Eingabevorrichtung 104, um vor dem Ausführen der Einfügen-Geste in den Editiermodus einzutreten. In 7 möchte der Nutzer eine zuvor ausgewählte Textfolge 706 aus dem derzeit auf der Anzeige 110 präsentierten Dokument ausschneiden (d.h. beseitigen). Um den Text 706 auszuschneiden, berührt der Nutzer die Eingabevorrichtung 104 vorzugsweise mit einem Finger an einem Punkt 702 (der Punkt 702 kann ein beliebiger Punkt auf der Eingabevorrichtung 104 sein). Während Kontakt mit der Eingabevorrichtung 104 gehalten wird, bewegt sich der Finger in einer im Uhrzeigersinn verlaufenden Schleife zu einem Punkt 704, wobei er ein X mit einem tränenförmigen Boden bildet
    Figure DE112008004156B4_0001
    . Die Eingabevorrichtung 104 erfasst den Kontakt und die Bewegung des Fingers und liefert an den Prozessor 106 Signale 208, die den Kontakt und die Bewegung darstellen. Auf der Basis der Signale 208 bestimmt der Prozessor 106, der das Editiergestenerkennungsprogramm 202 ausführt, dass der Nutzer den zuvor ausgewählten Text 706 ausschneiden möchte. Bei manchen Ausführungsbeispielen speichert der Prozessor und zugeordnete Software (z. B. Editieroperationenprogramm 204) eine Kopie des beseitigten Texts in der Speicherung 112.
  • 8 zeigt eine exemplarische Rückgängigmachen-Geste, die bei verschiedenen Ausführungsbeispielen des Systems 100 verwendet wird. Bei manchen Ausführungsbeispielen hat der Nutzer eine vorherige Geste ausgeführt, beispielsweise tippte er mit zwei Fingern auf die Eingabevorrichtung 104, um vor dem Ausführen der Einfügen-Geste in den Editiermodus einzutreten. In 8 möchte der Nutzer die Auswirkungen einer zuvor durchgeführten Editieroperation auf das derzeit auf der Anzeige 110 präsentierte Dokument rückgängig machen (d. h. umkehren) (z. B. einen zuvor gelöschten Text wiederherstellen). Um eine vorherige Operation rückgängig zu machen, berührt der Nutzer die Eingabevorrichtung 104 vorzugsweise mit einem Finger an einem Punkt 802 (der Punkt 802 kann ein beliebiger Punkt auf der Eingabevorrichtung 104 sein). Während Kontakt mit der Eingabevorrichtung 104 gehalten wird, bewegt sich der Finger zu einem Punkt 804 bildet den Buchstaben „U“. Die Eingabevorrichtung 104 erfasst den Kontakt und die Bewegung des Fingers und liefert an den Prozessor 106 Signale 208, die den Kontakt und die Bewegung darstellen. Auf der Basis der Signale 208 bestimmt der Prozessor 106, der das Editiergestenerkennungsprogramm 202 ausführt, dass der Nutzer eine vorherige Editieroperation rückgängig machen möchte, und das Editieroperationenprogramm 204 wird aufgerufen, die Rückgängigmachen-Operation durchzuführen.
  • Die obige Erläuterung soll die Prinzipien und verschiedenen Ausführungsbeispiele der vorliegenden Erfindung veranschaulichen. Fachleuten werden zahlreiche Variationen und Modifikationen einleuchten, nachdem sie die obige Offenbarung vollständig nachvollzogen haben. Es ist beabsichtigt, dass die folgenden Patentansprüche dahin gehend interpretiert werden, alle derartigen Variationen und Modifikationen mit einzuschließen.

Claims (11)

  1. Ein System, das Folgendes aufweist: eine Bedienperson-Eingabevorrichtung, die Gesten und mehrere gleichzeitige Berührungspunkte erfasst; einen mit der Bedienperson-Eingabevorrichtung gekoppelten Prozessor, wobei der Prozessor konfiguriert ist, um eine Softwareprogrammierung auszuführen,die den Prozessor veranlasst, Eingaben von der Eingabevorrichtung zu verarbeiten, eine vorbestimmte Editiermodusgeste zu erkennen, und ansprechend darauf einen Editiermodus einzuleiten, der eine Mehrzahl von Dokumenteneditierfunktionen zum Modifizieren eines derzeit angezeigten Dokuments bereitstellt, auf das Erkennen der Editiermodusgeste hin eine Dokumenteneditierfunktionsgeste, die einer der Mehrzahl von Dokumenteneditierfunktionen entspricht, zu erkennen, die Dokumenteneditierfunktion der Dokumenteneditierfunktionsgeste auszuführen und den Editiermodus zu verlassen, wenn die Ausführung der Dokumenteneditierfunktion abgeschlossen ist.
  2. Das System gemäß Anspruch 1, bei dem die Dokumenteneditierfunktionen eine Ausschneiden-Funktion, eine Einfügen-Funktion, eine Kopieren-Funktion und eine Rückgängigmachen-Funktion aufweisen.
  3. Das System gemäß Anspruch 1, bei dem die Editiermodusgeste zwei Nutzerkontaktpunkte innerhalb eines vorbestimmten Abstands zueinander aufweist.
  4. Das System gemäß Anspruch 1, bei dem die Dokumenteneditierfunktion eine Kopieren-Funktion ist, und wobei die Dokumenteneditierfunktionsgeste zwei Nutzerkontaktpunkte auf der Eingabevorrichtung innerhalb eines vorbestimmten Abstands zueinander , wobei sich einer der Nutzerkontaktpunkte anschließend in einem halbkreisförmigen Bogen zu einer niedrigeren Position auf der Eingabevorrichtung bewegt, während der andere Nutzerkontaktpunkt feststehend ist, aufweist.
  5. Das System gemäß Anspruch 1, bei dem die Dokumenteneditierfunktion eine Einfügen-Funktion ist, und wobei die Dokumenteneditierfunktionsgeste zwei Nutzerkontaktpunkte auf der Eingabevorrichtung innerhalb eines vorbestimmten Abstands zueinander, wobei sich einer der Nutzerkontaktpunkte anschließend in einem halbkreisförmigen Bogen zu einer höheren Position auf der Eingabevorrichtung bewegt, während der andere Nutzerkontaktpunkt ortsfest ist, aufweist.
  6. Das System gemäß Anspruch 1, bei dem die Dokumenteneditierfunktion eine Ausschneiden-Funktion ist, und wobei die Dokumenteneditierfunktionsgeste einen Nutzerkontaktpunkt auf der Eingabevorrichtung, wobei sich der Punkt anschließend in einer im Uhrzeigersinn verlaufenden Schleife bewegt und einen Buchstaben „X“ mit einem tränenförmigen Boden bildet
    Figure DE112008004156B4_0002
    aufweist.
  7. Das System gemäß Anspruch 1, bei dem die Dokumenteneditierfunktion eine Rückgängigmachen-Funktion ist, und wobei die Dokumenteneditierfunktionsgeste einen Nutzerkontaktpunkt auf der Eingabevorrichtung, wobei sich der Punkt anschließend gegen den Uhrzeigersinn bewegt, um einen Großbuchstaben „U“ zu bilden, aufweist.
  8. Ein Verfahren, das Folgendes umfasst: Erkennen einer vorbestimmten Editiermodusgeste; ansprechend auf das Erkennen der Editiermodusgeste, Einleiten eines Editiermodus, der ermöglicht, dass eine einzelne ausgewählte Dokumenteneditierfunktion einer Mehrzahl verfügbarer Dokumenteneditierfunktionen an einem Dokument vorgenommen wird; auf das Erkennen der Editiermodusgeste hin, Erkennen einer Dokumenteneditierfunktionsgeste, die der Dokumenteneditierfunktion entspricht; Ausführen der einzelnen erkannten Dokumenteneditieroperation; Verlassen des Editiermodus nach Abschluss der einzelnen ausgewählten Dokumenteneditierfunktion.
  9. Das Verfahren gemäß Anspruch 8, das ferner ein Auswählen der einzelnen Dokumenteneditierfunktion aus einer Gruppe umfasst, die aus einer Ausschneiden-Operation, einer Einfügen-Operation, einer Kopieren-Operation und einer Rückgängigmachen-Operation besteht.
  10. Das Verfahren gemäß Anspruch 9, das ferner ein Bestimmen umfasst, dass die Dokumenteneditierfunktionsgeste eine Geste ist, die aus einer Gruppe ausgewählt ist, die aus einer Ausschneiden-Geste, die gebildet wird, indem ein Punkt auf der Gesteneingabevorrichtung gedrückt wird und anschließend der Punkt in einer im Uhrzeigersinn verlaufenden Schleife bewegt wird und dabei einen Buchstaben „X“ mit einem tränenförmigen Boden (..) bildet; einer Einfügen-Geste, die gebildet wird, indem zwei Punkte auf der Gesteneingabevorrichtung innerhalb eines vorbestimmten Abstands zueinander gedrückt werden und indem anschließend einer der Punkte in einem im Uhrzeigersinn verlaufenden halbkreisförmigen Bogen in eine höhere Position auf der Gesteneingabevorrichtung bewegt wird, während der andere Punkt ortsfest bleibt; einer Kopieren-Geste, die gebildet wird, indem zwei Punkte auf der Gesteneingabevorrichtung innerhalb eines vorbestimmten Abstands zueinander gedrückt werden und indem anschließend einer der Punkte in einem gegen den Uhrzeigersinn verlaufenden halbkreisförmigen Bogen in eine niedrigere Position auf der Gesteneingabevorrichtung bewegt wird, während der andere Punkt ortsfest bleibt; und einer Rückgängigmachen-Geste, die gebildet wird, indem ein Punkt auf der Gesteneingabevorrichtung gedrückt wird und indem der Punkt anschließend gegen den Uhrzeigersinn bewegt wird, um einen Großbuchstaben „U“ zu bilden, besteht.
  11. Ein computerlesbares Medium, das mit einem Computerprogramm codiert ist, das Anweisungen aufweist, die einen Prozessor veranlassen, ein Verfahren nach einem der Ansprüche 8 bis 10 durchzuführen.
DE112008004156.3T 2008-12-15 2008-12-15 System und verfahren für einen gestenbasierten editiermodus und computerlesbares medium hierfür Expired - Fee Related DE112008004156B4 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/086883 WO2010071630A1 (en) 2008-12-15 2008-12-15 Gesture based edit mode

Publications (2)

Publication Number Publication Date
DE112008004156T5 DE112008004156T5 (de) 2012-11-15
DE112008004156B4 true DE112008004156B4 (de) 2021-06-24

Family

ID=42269073

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112008004156.3T Expired - Fee Related DE112008004156B4 (de) 2008-12-15 2008-12-15 System und verfahren für einen gestenbasierten editiermodus und computerlesbares medium hierfür

Country Status (5)

Country Link
US (1) US8707170B2 (de)
CN (1) CN102246126B (de)
DE (1) DE112008004156B4 (de)
GB (1) GB2478230B (de)
WO (1) WO2010071630A1 (de)

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760187B2 (en) 2004-07-30 2010-07-20 Apple Inc. Visual expander
US8570278B2 (en) 2006-10-26 2013-10-29 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
US7856605B2 (en) 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US8650507B2 (en) 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US8201109B2 (en) * 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8756534B2 (en) 2009-03-16 2014-06-17 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
JP5310403B2 (ja) * 2009-09-02 2013-10-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP3260969B1 (de) 2009-09-22 2021-03-03 Apple Inc. Vorrichtung, verfahren und grafische benutzeroberfläche zur manipulation von benutzerschnittstellenobjekten
US8766928B2 (en) 2009-09-25 2014-07-01 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8799826B2 (en) 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for moving a calendar entry in a calendar application
US8780069B2 (en) 2009-09-25 2014-07-15 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8832585B2 (en) 2009-09-25 2014-09-09 Apple Inc. Device, method, and graphical user interface for manipulating workspace views
US8621380B2 (en) 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
US8539385B2 (en) 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for precise positioning of objects
US8677268B2 (en) 2010-01-26 2014-03-18 Apple Inc. Device, method, and graphical user interface for resizing objects
US8539386B2 (en) 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for selecting and moving objects
US20110219323A1 (en) * 2010-03-03 2011-09-08 Samsung Electronics Co., Ltd. Mobile device and method for letter input based on cut or copy and paste
US8379098B2 (en) * 2010-04-21 2013-02-19 Apple Inc. Real time video process control using gestures
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US20110314373A1 (en) * 2010-06-21 2011-12-22 Salesforce.Com, Inc. System, method and computer program product for performing actions associated with data to be displayed, utilizing a widget
US9081494B2 (en) 2010-07-30 2015-07-14 Apple Inc. Device, method, and graphical user interface for copying formatting attributes
US9098182B2 (en) * 2010-07-30 2015-08-04 Apple Inc. Device, method, and graphical user interface for copying user interface objects between content regions
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
CN101943995A (zh) * 2010-09-01 2011-01-12 惠州Tcl移动通信有限公司 一种移动终端及其触摸屏的显示信息处理方法和装置
JP5664147B2 (ja) * 2010-09-06 2015-02-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2012058857A (ja) * 2010-09-06 2012-03-22 Sony Corp 情報処理装置、操作方法及び情報処理プログラム
US9747270B2 (en) 2011-01-07 2017-08-29 Microsoft Technology Licensing, Llc Natural input for spreadsheet actions
TWI490705B (zh) * 2010-10-07 2015-07-01 英業達股份有限公司 純文字內容的編輯操作系統及其方法
US20120102401A1 (en) * 2010-10-25 2012-04-26 Nokia Corporation Method and apparatus for providing text selection
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US9141285B2 (en) 2010-11-05 2015-09-22 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US9785335B2 (en) * 2010-12-27 2017-10-10 Sling Media Inc. Systems and methods for adaptive gesture recognition
US9092132B2 (en) 2011-01-24 2015-07-28 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US8842082B2 (en) * 2011-01-24 2014-09-23 Apple Inc. Device, method, and graphical user interface for navigating and annotating an electronic document
US20120210200A1 (en) * 2011-02-10 2012-08-16 Kelly Berger System, method, and touch screen graphical user interface for managing photos and creating photo books
US8793624B2 (en) * 2011-05-18 2014-07-29 Google Inc. Control of a device using gestures
US9092130B2 (en) 2011-05-31 2015-07-28 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
US20130007606A1 (en) * 2011-06-30 2013-01-03 Nokia Corporation Text deletion
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
CN103858078B (zh) * 2011-10-03 2017-07-14 古野电气株式会社 具有触摸板的装置、雷达装置、标绘装置、船用网络系统、标记确定方法
US9053083B2 (en) 2011-11-04 2015-06-09 Microsoft Technology Licensing, Llc Interaction between web gadgets and spreadsheets
US9026951B2 (en) 2011-12-21 2015-05-05 Apple Inc. Device, method, and graphical user interface for selection of views in a three-dimensional map based on gesture inputs
US9678574B2 (en) * 2011-12-23 2017-06-13 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
WO2013095679A1 (en) 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
US10345911B2 (en) 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
EP2795430A4 (de) 2011-12-23 2015-08-19 Intel Ip Corp Übergangsmechanismus für ein rechnersystem mit benutzererfassung
US9208698B2 (en) 2011-12-27 2015-12-08 Apple Inc. Device, method, and graphical user interface for manipulating a three-dimensional map view based on a device orientation
US9171099B2 (en) 2012-01-26 2015-10-27 Microsoft Technology Licensing, Llc System and method for providing calculation web services for online documents
US20130285927A1 (en) * 2012-04-30 2013-10-31 Research In Motion Limited Touchscreen keyboard with correction of previously input text
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
EP3264252B1 (de) 2012-05-09 2019-11-27 Apple Inc. Vorrichtung, verfahren und grafische benutzeroberfläche zum ausführen einer operation gemäss eines ausgewählten operationsmodus
EP3410287B1 (de) 2012-05-09 2022-08-17 Apple Inc. Vorrichtung, verfahren und grafische benutzeroberfläche zur auswahl von benutzerschnittstellenobjekten
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
EP2847657B1 (de) 2012-05-09 2016-08-10 Apple Inc. Vorrichtung, verfahren und grafische benutzerschnittstelle zur anzeige von zusatzinformationen als rektion auf einen benutzerkontakt
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
CN102722245A (zh) * 2012-05-28 2012-10-10 广东欧珀移动通信有限公司 一种基于智能手持设备的文字拷贝方法
CN103513852A (zh) * 2012-06-21 2014-01-15 深圳富泰宏精密工业有限公司 电子装置的文本编辑系统及方法
CN102799365A (zh) * 2012-06-29 2012-11-28 鸿富锦精密工业(深圳)有限公司 电子设备及其圈选打印及传真方法
CN102750103A (zh) * 2012-06-29 2012-10-24 鸿富锦精密工业(深圳)有限公司 具有触摸输入单元的电子设备
CN103576910B (zh) * 2012-08-06 2016-10-05 联想(北京)有限公司 一种信息处理方法及电子设备
CN102866827B (zh) * 2012-08-21 2016-03-23 刘炳林 一种人机交互设备的文档编辑方法和装置
KR102096581B1 (ko) * 2012-09-14 2020-05-29 삼성전자주식회사 표시 정보를 편집하기 위한 방법 및 그 전자 장치
US8584049B1 (en) 2012-10-16 2013-11-12 Google Inc. Visual feedback deletion
US8806384B2 (en) * 2012-11-02 2014-08-12 Google Inc. Keyboard gestures for character string replacement
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
EP3564806B1 (de) 2012-12-29 2024-02-21 Apple Inc. Vorrichtung, verfahren und grafische benutzeroberfläche zur entscheidung über das scrollen oder auswählen von bildschirminhalten
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR101958517B1 (ko) 2012-12-29 2019-03-14 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
CN109375853A (zh) 2012-12-29 2019-02-22 苹果公司 对用户界面分级结构导航的设备、方法和图形用户界面
WO2014105279A1 (en) * 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN104007914A (zh) * 2013-02-26 2014-08-27 北京三星通信技术研究有限公司 对输入字符进行操作的方法及装置
KR20140108995A (ko) * 2013-03-04 2014-09-15 삼성전자주식회사 페이지의 일부 영역을 이용한 데이터 처리 방법 및 장치
US9690403B2 (en) * 2013-03-15 2017-06-27 Blackberry Limited Shared document editing and voting using active stylus based touch-sensitive displays
CN103309612A (zh) * 2013-05-30 2013-09-18 北京小米科技有限责任公司 移动设备图形界面文本框的信息处理方法、装置和设备
US10282067B2 (en) * 2013-06-04 2019-05-07 Sony Corporation Method and apparatus of controlling an interface based on touch operations
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
CN104238724B (zh) 2013-06-09 2019-03-12 Sap欧洲公司 用于电子设备的基于动作的输入方法和系统
US10664652B2 (en) 2013-06-15 2020-05-26 Microsoft Technology Licensing, Llc Seamless grid and canvas integration in a spreadsheet application
CN103399640B (zh) * 2013-08-16 2017-01-25 贝壳网际(北京)安全技术有限公司 根据用户手势进行控制的方法、装置和客户端
US10320730B2 (en) 2013-09-10 2019-06-11 Xiaomi Inc. Method and device for displaying message
US9665206B1 (en) 2013-09-18 2017-05-30 Apple Inc. Dynamic user interface adaptable to multiple input tools
RU2708357C2 (ru) * 2013-10-04 2019-12-05 ОСЛабс Пте. Лтд. Управляемая жестами система для перевода и транслитерации вводимого текста и способ перевода и транслитерации вводимого текста
KR102129594B1 (ko) 2013-10-30 2020-07-03 애플 인크. 관련 사용자 인터페이스 객체를 표시
US9965170B2 (en) * 2013-11-11 2018-05-08 Lenovo (Singapore) Pte. Ltd. Multi-touch inputs for input interface control
KR102214437B1 (ko) * 2014-01-10 2021-02-10 삼성전자주식회사 컴퓨팅 디바이스에서 컨텐츠 복사 실행 방법, 컨텐츠 붙여넣기 실행 방법 및 컴퓨팅 디바이스
CN104793724B (zh) * 2014-01-16 2018-12-21 北京三星通信技术研究有限公司 空中书写处理方法及装置
CN104866210B (zh) * 2014-02-20 2019-10-29 联想(北京)有限公司 一种触摸屏操控方法、装置及电子设备
US10339342B2 (en) * 2014-05-09 2019-07-02 Lenovo (Singapore) Pte. Ltd. Data transfer based on input device identifying information
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US10066959B2 (en) 2014-09-02 2018-09-04 Apple Inc. User interactions for a mapping application
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US11029828B2 (en) * 2015-05-08 2021-06-08 Siemens Industry Software Inc. Object connection breaking system and method
CN106293433A (zh) * 2015-05-26 2017-01-04 联想(北京)有限公司 一种信息处理方法及电子设备
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
CN105045499A (zh) * 2015-06-12 2015-11-11 广东小天才科技有限公司 一种判断物体被触碰的方法及装置
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
CN105472150A (zh) * 2015-11-24 2016-04-06 努比亚技术有限公司 移动终端应用操作的撤回处理装置、终端及其实现方法
US10409465B2 (en) * 2015-12-08 2019-09-10 International Business Machines Corporation Selecting areas of content on a touch screen
CN105739777A (zh) * 2016-01-29 2016-07-06 宇龙计算机通信科技(深圳)有限公司 移动终端控制方法、装置和移动终端
US10942642B2 (en) * 2016-03-02 2021-03-09 Airwatch Llc Systems and methods for performing erasures within a graphical user interface
US20170285931A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Operating visual user interface controls with ink commands
US10739972B2 (en) 2016-06-10 2020-08-11 Apple Inc. Device, method, and graphical user interface for managing electronic communications
US10860199B2 (en) 2016-09-23 2020-12-08 Apple Inc. Dynamically adjusting touch hysteresis based on contextual data
JP2019197321A (ja) * 2018-05-08 2019-11-14 京セラドキュメントソリューションズ株式会社 画像処理装置及び画像形成装置
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11379113B2 (en) 2019-06-01 2022-07-05 Apple Inc. Techniques for selecting text
US11138699B2 (en) 2019-06-13 2021-10-05 Adobe Inc. Utilizing context-aware sensors and multi-dimensional gesture inputs to efficiently generate enhanced digital images
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080036743A1 (en) * 1998-01-26 2008-02-14 Apple Computer, Inc. Gesturing with a multipoint sensing device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086707A (ja) * 1993-12-30 1996-01-12 Xerox Corp スクリーン指向ディスプレー処理システム
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US7840912B2 (en) 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
EP2256605B1 (de) * 1998-01-26 2017-12-06 Apple Inc. Verfahren und Vorrichtung zur Integration einer manuellen Eingabe
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US6623194B1 (en) * 1999-10-27 2003-09-23 Chung Ching Lip Position encoder system
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
KR101031753B1 (ko) * 2003-08-14 2011-04-29 파나소닉 주식회사 사용자 인터페이스 시스템, 프로그램, 기록매체
US9024884B2 (en) * 2003-09-02 2015-05-05 Apple Inc. Touch-sensitive electronic apparatus for media applications, and methods therefor
CN100483319C (zh) * 2004-06-17 2009-04-29 皇家飞利浦电子股份有限公司 在触摸屏上使用两手指输入
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US8643605B2 (en) * 2005-11-21 2014-02-04 Core Wireless Licensing S.A.R.L Gesture based document editor
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US8201109B2 (en) * 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080036743A1 (en) * 1998-01-26 2008-02-14 Apple Computer, Inc. Gesturing with a multipoint sensing device

Also Published As

Publication number Publication date
CN102246126A (zh) 2011-11-16
GB2478230A (en) 2011-08-31
GB2478230B (en) 2014-05-14
DE112008004156T5 (de) 2012-11-15
GB201109198D0 (en) 2011-07-13
CN102246126B (zh) 2015-11-25
US20110258537A1 (en) 2011-10-20
WO2010071630A1 (en) 2010-06-24
US8707170B2 (en) 2014-04-22

Similar Documents

Publication Publication Date Title
DE112008004156B4 (de) System und verfahren für einen gestenbasierten editiermodus und computerlesbares medium hierfür
DE102014002848B4 (de) Austausch von Zeichenfolgen
US7797639B2 (en) Page bar control
US7454702B2 (en) Tool for selecting ink and other objects in an electronic document
US9170731B2 (en) Insertion point bungee space tool
US6928619B2 (en) Method and apparatus for managing input focus and z-order
DE69113478T2 (de) Rechner mit getrennter anzeigeebene und benutzerschnittstellenrechner.
DE202016001819U1 (de) Berührungseingabe-Cursor-Manipulation
DE202016001845U1 (de) Berührungseingabe-Cursor-Manipulation
US7600198B2 (en) Method of tracking data objects using related thumbnails in a palette window
DE112013002381T5 (de) Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bewegung und Ablegen eines Benutzerschnittstellenobjekts
DE112013002387T5 (de) Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
US20060036946A1 (en) Floating command object
US9208138B2 (en) Range adjustment for text editing
DE202007013923U1 (de) Mehrfachereignis-Eingabesystem
DE202005021492U1 (de) Elektronische Vorrichtung mit berührungsempfindlicher Eingabeeinrichtung
DE112013002409T5 (de) Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
DE112013002412T5 (de) Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
DE202017105614U1 (de) Systeme und Computerprogrammprodukte für eine Touchscreen-Benutzeroberfläche eines kollaborativen Bearbeitungstools
JP2003303047A (ja) 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品
DE102010036906A1 (de) Konfigurierbares Pie-Menü
DE202008000258U1 (de) Tragbare elektronische Vorrichtung
DE112012000403T5 (de) Berührungsbildschirm-tastaturmit korrektur von vorher eingegebenem text
DE112011101209T5 (de) Warnmeldungs-Anzeige auf einer tragbaren elektronischen Vorrichtung
DE112011103173T5 (de) Übergangsansicht auf einer tragbaren elektronischen Vorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R409 Internal rectification of the legal status completed
R409 Internal rectification of the legal status completed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0003041000

Ipc: G06F0003048800

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0003041000

Ipc: G06F0003048800

Effective date: 20130409

R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee