CN103649876A - 使用上下文键盘在计算设备上执行操作 - Google Patents

使用上下文键盘在计算设备上执行操作 Download PDF

Info

Publication number
CN103649876A
CN103649876A CN201180065367.6A CN201180065367A CN103649876A CN 103649876 A CN103649876 A CN 103649876A CN 201180065367 A CN201180065367 A CN 201180065367A CN 103649876 A CN103649876 A CN 103649876A
Authority
CN
China
Prior art keywords
keyboard
text
input
gesture
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180065367.6A
Other languages
English (en)
Other versions
CN103649876B (zh
Inventor
克利福德·A·库什勒
简·曼宁
迈克·麦克谢里
亚伦·希迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuance Communications Inc
Original Assignee
Nuance Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuance Communications Inc filed Critical Nuance Communications Inc
Publication of CN103649876A publication Critical patent/CN103649876A/zh
Application granted granted Critical
Publication of CN103649876B publication Critical patent/CN103649876B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating

Abstract

本发明描述了一种用于通过计算设备的键盘应用程序执行操作的系统和方法。在一些例子中，上下文键盘有利于文本输入和在设备所支持的应用程序的上的操作的性能。例如，上下文键盘可接收字宏和/或手势，并确定接收到的字宏和/或手势是执行一个或多个操作的命令。待执行的操作的示例包括搜索信息，存储信息，发布信息，发送信息，增强信息，等等。

Description

使用上下文键盘在计算设备上执行操作
背景技术
现代键盘作为从人到机器的输入文本的主要方法的起源，可以追溯到19世纪早期的打字机。随着计算机的发展，这是一个自然的进化过程以适应打字机键盘用于作为输入文本的主要方法。对于一个熟练的打字员，键盘仍然为输入文本到计算机或其它数据处理设备的可行最快方式。
随之致力于使计算机更小和更便于携带，物理键盘已成为大多数限制计算设备可以小到什么程度的重要的限制因素之一：人的手指的物理尺寸不是计算机设计者可以改变的。其结果是，某些便携式应用程序的计算设备，如移动设备和平板计算机，被设计为没有物理键盘，而使用触摸屏或虚拟键盘作为设备和用户之间的主要接口。
尽管可以通过触摸屏实现，虚拟键盘往往被只被视为从用户接收文本输入的一种机制。也就是说，虽然许多创新已传递键盘对于现代设备是有用的，但典型的虚拟键盘仍然像它的前辈一样运行，仅起到从用户接收文本输入的功能。这类似于物理键盘或早期打字机使用户在设备上能做的事情，从用户接收文本输入。
因此，需要有一个系统，其克服了上述问题，以及提供额外的好处。总体而言，现有的或相关的系统的在此的实施例中及其相关的限制的目的是说明性的，而不是排他性的。基于以下详细的描述，其他既存的或现有的系统中的限制对那些本领域技术人员而言是显而易见的。
附图说明
图1是说明移动设备或其它合适的计算设备的组件的框图。
图2是说明计算设备的键盘应用程序的组件的框图。
图3是说明键盘应用程序的操作模块的组件的框图。
图4是通过键盘应用程序执行操作的的例程的流程图。
图5是说明用于执行与种子相关的操作的例程的流程图。
图6是说明用于确定输入的文本是否是命令或者文本字符串的一部分的例程的流程图。
图7是说明基于被输入的文本通过键盘应用程序执行操作的例程的流程图。
图8是说明用于执行与通过键盘应用程序接收的手势相关的操作的例程的流程图。
图9是说明用于发送信息到目标应用程序，以响应由键盘应用程序接收的手势的例程的流程图。
图10A-10D是说明当启动信息搜索时被执行的步骤的屏幕截图。
图11A-11C是说明当启动信息搜索时被执行的步骤的屏幕截图。
图12A-12B是说明当插入链接或其他信息到应用程序时被执行的步骤的屏幕截图。
图13A-13B是说明当插入链接或其他信息到应用程序时，被执行的步骤的屏幕截图。
图14A-14D是说明当插入地图或其他信息到应用程序时，被执行的步骤的屏幕截图。
图15A-15B是说明当在数据库中存储信息时，被执行的步骤的屏幕截图。
图16A-16B是说明当在数据库中存储信息时，被执行的步骤的屏幕截图。
图17A-17B是说明当发布信息至网站或其他位置时，被执行的步骤的屏幕截图。
图18A-18B是说明当发布信息至网站或其他位置时，被执行的步骤的屏幕截图。
具体实施方式
概述
用于通过计算设备的键盘应用程序执行操作的系统和方法，如移动设备或平板设备，被描述。在一些实施例中，系统通过在触摸屏上显示的键盘或其他有设备程序的被显示的虚拟键盘接收输入，确定接收到的输入与要执行的操作相关联，并执行和/或启动操作的性能。
现在，系统有关的各种实施例将被进行说明。下面的描述为系统的实施例提供透彻理解和启用说明的具体细节。然而，本领域技术人员将理解，没有这些细节该系统也可以被实施。在其他实施例中，公知的结构和功能没有被示出或被详细描述，以避免对系统实施例的描述的不必要地模糊。
其目的是在下面给出的描述中所使用的术语，以其最广泛的合理的方式来解释，即使它被连同系统的某些特定实施例的详细描述一起使用。某些术语甚至可能被强调，但是，任何意图以任何限制方式进行解释的术语将被公开地和具体地定义为在此详细说明部分。
合适的系统
图1示出计算设备100的框图，在计算设备可支持的键盘应用程序而能够执行例如“上下文键盘”的操作。计算设备100可以是移动设备、智能电话、平板电脑、网络书、移动GPS导航设备、遥控设备、固定电话或通信控制台或装置、表面或桌面计算机、投影图像投影仪、台式计算机、电子阅读器、ATM机、自动售货机或具有设备的用户接口呈现的键盘，例如虚拟的或基于触摸屏键盘，的任何其他设备。计算设备100包括各种硬件和/或软件组件，配置为基于由计算设备100的键盘接收的输入以执行操作。例如，计算设备100包括各种人机界面组件110、设备组件120和存储器130。
计算设备100包括触摸屏112或其他提供输入到处理器122的输入组件，如当触摸屏被触摸时通知处理器122接触事件的输入。触摸屏可能包括硬件控制器或与硬件控制器进行通信，如触摸屏驱动，其解释从触摸屏接收的原始信号并发送与接触事件(例如，按钮或按键指示、接触点(如触摸屏、触摸板或绘图板上的手指或手写笔触摸)的XY坐标)、手势、敲击路径、用户请求按压物理或虚拟键、指向输入设备的的当前位置、接触面积、压力、持续时间，等等相关的信息至处理器122。例如，硬件控制器可以发送信息，该信息与各种指示设备，包括鼠标、轨迹球、操纵杆或模拟棒、指示杆或突起鼠标、滚轮鼠标、脚鼠标、手掌鼠标、光笔、光枪、位置枪、激光指针、陀螺仪或陀螺仪鼠标、加速度计、眼动追踪装置、视频跟踪设备、手写笔，等等相关联。处理器122与硬件控制器或驱动器通信，该驱动器与显示器114相关联以显示与检测到的接触事件相关的信息(例如，显示的键盘上的接触键的字母)。显示器114可以被集成到计算设备100，可以是触摸屏112的一部分，或者可以是一个独立的设备。示例显示器114包括触摸屏显示器、平板显示器、阴极射线管、电子墨水显示器、头戴式显示器、液晶显示器、发光二极管显示器、等离子面板显示器、电致发光显示器、真空荧光显示器、数字投影机、激光投影仪、抬头显示器，等等。设备114可以包括其它接口组件116，这样的扬声器提供适当的听觉信号以协助用户导航显示的键盘或其它显示的组件。
计算设备100可包括各种设备组件124，如传感器(例如，GPS或其他位置确定传感器、运动传感器、陀螺仪、光传感器，等等)、可移动的存储设备(例如，SIM卡)、相机和其他的视频捕获设备、麦克风和其他音频采集设备、通信设备(例如，蓝牙设备、无线电设备，天线)，等等。
处理器122可与存储在设备100的存储器130中的数据或应用程序进行通信，存储器130可能包括临时和/或永久储存的组合、只读和可写存储器(随机存取存储器或RAM)、只读存储器(ROM)、可写的非易失性存储器如FLASH存储器、硬盘驱动器、软盘、基于SIM卡的组件，等等。存储器组件包括各种程序组件或模块，例如操作系统132以及各种应用程序134，如下载到移动设备100的应用程序。例如，存储器130可以本地存储应用程序至设备，其在设备上进行永久操作(例如，提供虚拟键盘的键盘应用程序，文本消息传送应用程序，等等)，以及由用户所下载并由设备所推出的应用程序(例如，与社交网站，游戏，等等相关的应用程序)。
例如，存储器130可存储键盘应用程序，如上下文键盘150。上下文键盘150，其可以包括手势数据库152，在一些实施例中，该手势数据库提供比标准键盘应用程序更强大的功能，如，使键盘执行操作的功能，提供信息至其他应用程序的功能，等等。有关上下文键盘150及其功能的进一步细节将被在此描述。
存储组件150还包括各种数据存储组件，这样的用户数据的数据库136或其它数据库139为由设备100所执行的应用程序提供和/或存储信息。例如，用户数据库136可存储与设备100的用户相关联的信息，例如联系人信息、订户信息、履历信息、使用信息、趋势信息、用户偏好信息，等等。
通常，在其他因素中，设备100可存储或包含任何及所有组件、模块，或当执行操作时，由设备100和/或上下文键盘150要求或使用的数据文件。
图1及在此的讨论提供合适的计算环境的简短的、一般的描述。在该计算环境中，上下文键盘可以被执行。虽然不是必需的，但该系统的各方面在计算机可执行指令中的通常的上下文中被描述，如由通用的计算机，例如，移动设备、服务器计算机、或个人计算机执行的例程。相关领域技术人员将会理解，该系统可以用其他通信、数据处理，或计算机系统配置实施，包括：因特网设备，手持设备(包括平板计算机和/或个人数字助理(PDA))，各种形式的蜂窝或移动电话，多处理器系统，基于微处理器的或可编程的消费电子产品，机顶盒，网络PC，小型计算机，大型计算机，等等。事实上，术语“计算机”、“主机”和“主计算机”和“移动设备”和“手机”在本文中通常是可互换使用的，并可指上述的任何设备和系统，以及任何数据处理器。
系统的各方面可以体现在特殊目的计算设备或数据处理器中，该数据处理器被进行特殊编程、配置或构造以执行在此详细解释的计算机可执行指令中的一个或多个。系统的各方面可在分布式计算环境中实行，其中任务或模块由远程处理设备执行，并通过通信网络连接，如局域网(LAN)、广域网(WAN)，或互联网。在分布式计算环境中，程序模块可以位于本地和远程内存存储设备中。
系统的各方面可以被存储在计算机可读介质上或分布在计算机可读介质上(例如，物理和/或有形的计算机可读存储介质)。计算机可读介质包括磁或光可读计算机光盘，硬连线或预编程的芯片(例如，EEPROM半导体芯片)，纳米技术存储器，生物存储器，或其它数据存储介质。事实上，计算机执行指令，数据结构，屏幕显示，和系统各方面的其它数据可在一段时间内通过互联网或其他网络(包括无线网络)分布在传播介质的传播信号上(例如，电磁波，声波等等)，或者它们也可以设置在任何模拟或数字网络(分组交换，电路交换，或其他方案)上。相关领域技术人员将认识到部分的系统位于服务器计算机上，而相应的部分位于客户端计算机上，如移动或便携式设备。因此，虽然某些硬件平台被描述于此，但系统的各方面同样适用于网络上的节点。在另一个实施例中，移动设备或便携式设备可代表服务器部分，而服务器可代表客户端部分。
上下文键盘
如本文所述，在一些实施例中，上下文键盘或上下文键盘应用程序使移动设备的用户通过键盘执行操作，该键盘通过计算设备触摸屏或其他用户接口呈现给用户。即，在一些实例中，上下文键盘是计算设备的键盘应用程序，计算设备能够识别接收到的文本或其它输入(例如，手势)作为处理命令，并检测那些命令被执行所基于的计算设备的应用程序环境中的对象。因此，上下文键盘可执行双重功能，促进来自用户的文本输入的第一功能和基于通过键盘的命令(例如，字宏或手势)输入的执行操作的第二功能。
键盘是添加功能的有用的地方。通常情况下，键盘是软件层，当使用计算设备和它的各种应用程序时，软件层通常或总是可访问的。因此，在键盘内加入其他功能或增加与键盘相关的其他功能将提供许多好处，比如设备上的应用程序之间的容易或简单的导航、增强的用户界面功能及其他好处。例如，键盘可以作为信息交换介质，使用户能够访问他们的设备上或他们的设备与之通信的位置的数据，以及与设备上运行的应用程序或其他程序交换信息。现在将讨论可执行这样技术的上下文键盘的各个组件。
图2示出的框图说明了计算设备的键盘应用程序150的组件。键盘应用程序150有时也被称为“上下文的键盘”，包括输入模块210、被配置为接收输入并生成文本字符串的层或组件，以及操作模块220、被配置为接收输入并执行或安排执行与所接收的输入相关的一个或多个操作的层或组件。在某些情况下，键盘应用程序150包括数据库152、例如用于存储与手势、可操作的字(例如，字宏)、执行的操作相关联的信息和/或其它信息的数据库152。
在一些实施例中，输入模块210包括常规键盘应用程序的组件，如可提供文本输入功能、键击功能、敲击、手势，和/或接触运动功能，或任何其他协助来自用户的基于文本的输入的接收的功能的组件。输入模块210可使计算设备100通过触摸屏120显示键盘，并经由通过触摸屏120所呈现的被显示的键盘接收输入。键盘可是物理键盘或虚拟键盘，例如任何在触敏表面上键盘上被实现的键盘、触敏显示器上呈现的键盘、触敏表面上印压的键盘，等等。示例性键盘包括在监视器上显示的键盘、触摸屏上显示的键盘、光投到平面或曲面上的键盘或具有被集成到键中的电子可变的键符的键盘，等等。在某些情况下，键盘可能是“虚拟”触摸的，如由某种指示设备或手势识别控制的屏幕或投影。关于由输入模块210提供的合适的文本输入应用程序的进一步的细节可以在共同转让的美国专利7,542,029，公告于2009年6月2日，题为“SYSTEM AND METHOD FOR A USERINTERFACE FOR TEXT EDITING AND MENU SELECTION”中找到，该专利以引用方式被完整合并于此。
在一些实例中，当用户输入文本时，由输入模块210提供的文本输入应用程序可以执行输入文本的识别和/或消歧技术。例如，当用户追踪虚拟键盘上的连续的路径时，输入模块210可以提供接收文本所输入的文本输入应用程序。文本输入应用程序在美国专利7,098,896，公告于2006年8月29日，标题为“SYSTEM AND METHOD FOR CONTINUOUS STROKEWORD-BASED TEXT INPUT”中被更详细地描述该专利以引用方式被完整合并于此。
在一些例子中，操作模块220包括配置为识别接收到的输入作为命令来执行操作的组件，以及被配置为执行或导致执行操作的组件，而不是作为通常被添加到文本字符串的文本输入。图3系说明键盘应用程序的操作模块220的组件的框图。
操作模块220包括被配置为接收、监测和/或审查由键盘应用程序接收的输入的输入组件310、被配置为确定与所接收的输入相关联的一个或多个操作的操作确定组件320、被配置为识别和/或确定与接收到的输入相关的上下文的上下文组件330、被配置为执行或导致执行所确定的一个或多个操作的操作性能组件340、其存储与接收到的输入相关的信息和/或要执行的操作的数据库350和/或其它便于操作模块220的操作组件，，例如与键盘应用程序150的输入模块210的其他组件进行通信的组件，或其他件。关于输入模块210、操作模块220和/或模块内的各组件的操作的进一步细节将相对于本文所描述的各种例程进行讨论。
在一些实施例中，输入模块210可提供信息至操作模块220，例如，有利于作为与命令相关联的输入识别以执行操作。例如，当输入文本时，输入模块210可利用识别和/或消歧技术来识别用户的意图。这种技术可在文本被输出到活动的应用程序作为普通的文本之前，识别部分输入的文本作为可能的命令，并提供此类信息至操作模块220。因此，在文本被发送到活动的应用程序之前，操作模块220可以拦截文本以执行一些其他操作以产生其他好处。
如本文所述，在一些实施例中，上下文键盘150将输入的各种形式与可执行的操作相关联。例如，上下文键盘150，通过操作模块的操作确定组件320可以识别一个或多个在由用户输入的文字字符串中的“字宏”。字宏是与命令相关的文本字符串，如待执行的操作。在某些情况下，字宏是不太可能由键盘接收的文本字符串(例如，“EMZ”)。在某些情况下，字宏是类似用户语言的普通的字或词(例如，“email”)的文本字符串。通常情况下，字宏将在一定量的文本输入通过键盘接收或选择之后或期间被接收。当确定输入是否是字宏或普通文本时，操作模块220可以利用选定的文本输入作为“种子”。文本输入的使用将在本文中进行更详细地描述。
作为另一个例子，上下文键盘150，通过操作模块220的操作确定组件320，可识别一个或多个通过键盘应用程序150从用户接收的“手势”。手势是手指(或触笔)穿过屏幕和/或在键盘上输入数据以与应用程序交互，和/或指示各种其他用户意图的移动。例如，手势可能是在虚拟键盘上或通过虚拟键盘追踪的轨迹，在虚拟键盘上或通过虚拟键盘绘制的形状，和/或在虚拟键盘上或通过虚拟键盘的其他移动。在某些情况下，键盘应用程序150可接收手势而无需用户和键盘之间的任何接触。例如，接收的手势可能是设备100内的陀螺仪检测到的设备100的一定的运动，或设备100的照相机检测到的虚拟显示上的指针的移动。
操作模块220可以存储与数据库中的各种字宏和/或手势相关联的信息，如宏/手势数据库350或手势数据库152。存储的信息可能包括与可执行操作的字宏相关的信息、与可执行操作的手势相关的信息、与用户的设置(例如，用户的账户信息或用户的偏好信息)相关的信息，等等。这些信息可使操作模块220在通过键盘应用程序150输入普通文本到设备100期间基于接收到的命令确定并执行操作，以及产生其他好处。
图4系示出通过键盘应用程序执行操作的例程400的流程图。在步骤410中，计算设备的上下文键盘通过设备的键盘接收输入。例如，操作模块220的输入组件310监测上下文键盘的接触事件，并接收与接触事件相关联的输入。接收到的输入可以是字宏、手势，或其他输入的形式。
例如，上下文键盘使用户执行手势告诉上下文键盘要执行什么操作，执行供用户可选择要执行的操作的菜单的手势，执行手势并使用键盘来选择执行什么操作，和/或使用键盘键入“字宏”等。
在步骤420中，上下文键盘识别一个或多个要执行的操作与所接收的输入相关联的。例如，操作模块220的操作确定组件320识别和/或确定所接收的输入被存储在数据库350中，并与要执行的动作相关联。被识别的操作可能与搜索信息，链接信息，存储信息，发布信息，启动应用程序，等等相关联。
在某些情况下，上下文键盘可关联执行的操作至接收到的输入，接收到的输入对于应用程序或其它计算环境是特定的，其它计算环境中的用户正在设备上工作或使用。也就是说，某些字宏和/或手势可能是应用程序特定的，仅在该应用程序中被认为是字宏或手势。例如，文本编辑器应用程序可支持与执行打印或转换文档为PDF版本的操作相关的手势，而其他应用程序可能不支持这样的手势。
在某些情况下，上下文键盘可以识别两个或以上与接收到的输入相关的操作。例如，响应于接收到的“email”字宏，操作确定组件320可以识别与发送具有用户的个人电子邮件帐户的电子邮件相关的第一操作，以及与发送具有用户公司的电子邮件帐户的电子邮件相关的第二操作。为了解决歧义，在其他因素中，上下文键盘可出现至用户的选项菜单，该菜单与要执行的可用的操作相关联，或者基于各种上下文信息可以选择最有可能要执行的操作，其中包括要执行的动作。例如，上下文键盘可做出猜测，基于用户的过往历史的选择，并决定是否作出猜测或提示用户选择一个选项，利用上下文来帮助猜测(例如，输入具有号码的“呼叫”至左边可能猜到的意思是“采取行动-拔打此号码”，而指示具有“我愿意”的“呼叫”至左边可能是打算作为内容)，等等。
在步骤430中，上下文键盘执行或启动所识别的(或选定的)关联于接收到的输入的操作。例如，操作模块220的操作性能组件340执行或导致执行由操作确定组件320所标识的操作。执行该操作可包括导致应用程序启动，如启动短信应用程序，传输输入的文本到网站，比如至社交网站，在本地数据库中存储信息，如存储输入的文本到用户的联系人数据库，增强输入的文字，如添加链接，地图，图像和/或其他上下文至消息，等等。
也就是说，在一些实施例中，上下文键盘实施导致应用程序在计算设备的运行时间系统或环境中执行的操作。例如，被执行的操作可在键盘应用程序中开始并会导致在运行时间系统中的应用程序启动并执行一个或多个任务，如通过互联网访问网站、通过蜂窝通信信道发送消息等。可被执行的示例性操作包括：
通过在计算设备上运行的相关应用程序发送查询到搜索引擎；
通过在计算设备上运行的相关应用程序发布信息至网站(例如，至社交网络、在线社区、微博等)；
在本地或远程数据库中存储信息；
发送消息或其他信息至收件人；
检索内容并用检索到的内容更新文本，如在电子邮件中的文本；或
与网站或其他网络位置互动，如放置或更新订单，购买物品，等等。
因此，在一些实施例中，当某些字宏或手势通过计算设备的被显示的键盘从用户接收到时，上下文键盘有利于操作的性能，如被在由设备提供的应用程序中或通过由设备提供的应用程序执行的操作。
如本文所述，在一些实施例中，用户输入字宏或手势以使上下文键盘执行与普通文本相关联的操作，如通过上下文键盘的文本输入，或通过应用程序呈现给用户的文本。例如，用户可能希望为先前通过上下文键盘被输入至设备的文本的一部分或作为由设备的应用程序呈现的页面或文档的一部分的文本的一部分来执行操作。这部分文本可以作为上下文键盘的“种子”，上下文键盘可以使用种子确定执行什么操作，以响应接收到的字宏或接收到的手势。
许多由上下文键盘执行的功能使用或依赖种子。种子可以是隐式或显式的。显式种子可能是在屏幕上的全部或大部分的可见文本，或屏幕上的被突出显示的可见文本或屏幕上的以其他方式被选择的可见文本部分。隐式种子可能是任何在当前上下文中可用的其他类型的信息，比如作者的电子邮件信息，通话记录中的电话号码，地理位置等等。
在某些情况下，用户明确表示文本的一部分会被认作种子。例如，用户可突出显示文本的一部分，指示文本要上下文键盘作为种子使用。其他明确指示可包括在一部分文本处或其附近执行手势，包括在字宏中的文本部分，等等。
在某些情况下，上下文键盘中确定文本的一部分或其他信息是否被用作种子。这种确定可能是隐式确定，因为上下文键盘基于可能的上下文暗示某些信息或上下文作为种子操作。例如，文本的一部分可以包括地址，并且上下文键盘可确定地址是考虑何时确定执行什么操作，以响应于接收到的手势的隐式种子。隐式种子可能包括人、地方或事物的文本指示，在外国语言中的文本，在用户的数据库中的文本，用户未知的文本，等等。
作为另一个示例，上下文键盘可考虑其他信息作为种子，该种子帮助被确定要执行的操作响应于接收到的命令。例如，上下文键盘可考虑上下文信息，如识别计算设备位置的信息，与当前正在使用的应用程序相关联的信息，与目前正在使用的应用程序内容的相关联的信息，与以前执行的操作相关联的信息，与用户的喜好相关联的信息，等等。
图5是用于执行与种子相关的操作的例程500的流程图。在步骤510中，上下文键盘通过设备的键盘接收输入。接收到的输入可以是字宏，手势，或其他输入的形式。
在步骤520中，上下文键盘确定所接收的输入是否是与种子信息相关。例如，操作模块220的上下文组件330可确定是否有种子的显式表示(例如，突出显示的文本的一部分)，种子的隐式表示(例如，在计算设备上被使用的应用程序所包含的电话号码)，或者它们的组合。
在步骤530中，上下文键盘基于接收到的输入及相关的种子信息，识别和/或确定一个或多个要执行的操作。例如，操作模块220的操作确定组件320识别两个或两个以上的可执行的操作(例如，搜索信息并在联系人数据库中存储信息)与接收到的手势(例如，搜索内容的手势)相关联，并基于种子信息(例如，在一封电子邮件中突出显示的电话号码)的操作选择其中的一个操作(例如，将信息存储在联系人数据库)。
在步骤540中，上下文键盘执行或启动所识别的与所接收的输入和种子信息相关的操作。例如，操作模块220的执行的操作性能组件340执行或导致执行由操作确定组件320识别的操作(例如，在联系人数据库存储突出显示的电话号码)。
因此，在一些实施例中，上下文键盘基于接收到的输入以及种子信息确定要执行的操作，如明确表示作为种子信息的信息，被隐涵地确定为种子信息的信息，等等。因此，在其他因素中，上下文键盘可能基于显式或隐式上下文适应要执行的操作，该上下文与用户如何利用他/她的计算设备相关。
在一些示例中，当确定接收到的输入是否被作为命令进行处理或者作为文本的条目进行处理时，上下文键盘可利用显式或隐式的种子信息。图6是一个流程图，其说明用于确定输入的文字是否是命令或者文本字符串的一部分的例程。
在步骤610中，上下文键盘通过计算设备的键盘接收输入。例如，上下文键盘，通过操作模块220的输入组件310接收输入，输入包括可能的字宏，例如“发送”。
在步骤620中，上下文键盘接收与接收到的输入相关联的种子信息。例如，上下文键盘，通过操作模块220的上下文组件330识别各种可能的种子，例如其他由用户输入的字，所述计算设备的位置，由用户当前观看的网页的内容，等等。
在步骤630中，上下文键盘确定所接收的输入是否是与要执行的操作相关联。即，上下文键盘利用种子信息以确定输入的文本是否是字宏或普通文本。上下文键盘，通过操作模块220的操作确定组件320，可基于种子信息确定输入的文本是与要执行的操作相关联的，并且例程600进入步骤650，否则例程600进入步骤640。
在步骤640中，上下文的键盘，在确定所接收的输入不与字宏相关的基础上，输入所接收的输入作为普通文本。例如，上下文键盘确定接收到的输入“发送”不是一个字宏，因为它是文本字符串的一部分，例如已被用户写入日历项的“不要忘记给你母亲发送卡片”，并输入该字符串至日历条目。
在步骤650中，上下文的键盘，在确定所接收的输入是在实际上与一个字宏，执行与输入相关联的操作。例如，在“今晚比赛见！”的文本字符串被输入之后，上下文键盘确定接收到的输入“发送”被接收，并将文本字符串作为消息发送给朋友的用户。
因此，在其他因素中，上下文键盘使用户明确地指示种子或意图的操作，或上下文键盘可通过确定在输入的字和存在的显式或隐式的种子之间的相关性自动确定用户的意图，该显式或隐式种子是使用输入的字作为命令的合适的目标。
例如，根据命令的性质，上下文键盘可确定在处理环境中的最明确的当前种子。在某些情况下，上下文键盘可以识别作为接收到的输入的可能的目标的两个或更多个种子，并呈现和/或显示被识别的种子以便于所确定的种子的用户的选择。上下文键盘可以各种方式呈现列表，诸如从最明确到最不明确的顺序排列的可能种子的菜单，基于可能种子的可能采取的操作的菜单，等等。
因此，系统可基于由接收到的输入指出的目标种子，诸如手势或字宏，提供有利于操作性能的上下文的键盘。下面是示例性操作的列表，该列表可由上下文键盘接收到的输入指定的目标种子执行：
执行种子内的内容的在线搜索，如在搜索引擎、社交网站的内容搜索，等等；
创建到网站的链接，该网站与种子的内容相关并将链接插入到消息中；
用种子的内容填充消息，如邮件消息或文本信息，并发送信息；
拔打与种子的内容相关联的电话号码；
使用支付应用程序支付与种子相关的个人或企业；
获得与种子的内容相关联的位置的地图；
存储种子的内容，如姓名和电话号码，在计算设备的数据库中；
从计算设备的数据库中检索与种子的内容的相关联的信息，等等。
当然，本领域的普通技术人员将认识到本文描述的系统可以执行其它操作并使用其他指示作为种子。
字宏
如本文所述，在一些实施例中，上下文键盘利用字宏作为执行操作的命令。图7是一个流程图，说明基于通过键盘应用程序被输入的文本而执行操作的例程700。在步骤710中，上下文键盘通过计算设备的键盘接收文本字符串。文本字符串可以是字宏，一个或多个与由上下文键盘执行和/或启动的操作相关联的字或短语。
在步骤715中，上下文键盘可选地确定接收到的文本字符串与种子信息相关联。例如，如本文所述，上下文键盘可确定被选择文本的一部分或包括种子的内容指示的文本的一部分。
在步骤720中，上下文键盘识别和/或确定一个或多个要执行的与所接收的文本字符串相关的(以及，可选地，与所接收的种子信息相关的)操作。当确定要执行的操作响应接收到的文本字符串时，上下文键盘可查看表格、列表或其他与字宏、种子，和/或可执行的操作相关的数据结构。下表(表1)展示了由上下文键盘利用的数据结构的例子以确定执行什么操作：
字宏 执行的操作？ 种子？
发送 呈现消息选项的菜单 否
搜索 搜索引擎搜索内容 是
保存 在数据库中保存信息 是
查找 在地图应用程序中查找 是
平(用户) 向员工发送文本消息 是
露西(用户) 向女儿发送电子邮件 是
表1列出了不同条目，每个条目存储与字宏、要执行的操作和确定输入文本是否是字宏的种子是否是必要的相关的信息。例如，“发送”被上下文键盘文本认为是与“呈现消息选项的菜单”的操作相关的字宏，而无论是否存在有种子。另一个例子是，“平”的文本输入被上下文键盘认为是当种子存在时与“向员工发送文本信息”的操作相关的用户创建的字宏宏。当然，该表可以包括没有被特别示出于表1中的其他字宏或操作。
在步骤740中，上下文键盘执行被识别的操作。例如，当名字“塞普·布拉特”被突出显示时，响应于接收“搜索”的文本字符串，上下文键盘确定使用表1文本字符串是与执行搜索的操作相关的字宏，并在搜索引擎执行关于“塞普·布拉特”的信息的搜索。
因此，在一些实施例中，上下文键盘确定由键盘接收的普通文本可以是执行操作的命令，例如计算设备显示的文本相关联的操作。上下文键盘可考虑这样的文本为字宏，并进行相应操作。
手势
如本文所述，在一些实施例中，上下文键盘利用手势作为命令执行操作。图8是一个流程图，说明用于执行与通过键盘应用程序接收的手势相关的操作的例程800。
在步骤810中，上下文键盘通过计算设备的键盘接收手势。手势可以是键盘上的某些运动，如从键盘上的起始键到第二键的运动，穿过键盘上的某些键的路径，形状、数字、手写字符，等等。
在步骤815中，上下文键盘可选地确定接收到的手势与种子信息相关联。例如，如本文所述，上下文键盘可确定选择文本的一部分，或包括种子的内容指示的文本的一部分。
在步骤820中，上下文键盘识别和/或确定一个或多个要执行的与接收到的手势(以及，可选地与所接收的种子信息相关联的)相关联的操作。当确定要执行的操作响应接收到的手势时，上下文键盘可查看表格、列表或其他与字宏、手势、种子，和/或可执行的操作相关的数据结构。下表(表2)展示了由上下文键盘利用的数据结构的例子以确定执行什么操作：
手势？ 执行的操作？ 种子？
框 呈现消息选项菜单 否
下划线 插入至内容的链接 是
问号 搜索内容 是
T-W键的启动键 发送推特 是
I键的启动键 插入图像 否
手写“C” 添加到联系人列表 是
表2中包括各种条目，每个条目存储相关于手势，要执行的操作，以及确定手势是否是命令的种子是否是必要的信息。例如，下划线的手势被上下文键盘认为是与种子里的内容(例如突出显示的内容)的“插入到内容的链接”的操作相关的手势。作为另一个例子，从键盘上的启动键到“I”键的跟踪的手势被上下文键盘认为是与“插入图像”的操作相关联的，不管是否存在种子。当然，该表可以包括没有被特别示出于表2中的其他字宏或操作。
在步骤840中，上下文键盘执行所识别的操作。例如，响应于接收在一封电子邮件中的名字上的手写的“C”的手势，上下文键盘使用表2确定手势与操作相关以将内容添加到联系人列表，并从用户的联系人列表中的电子邮件添加名字和其他相关信息。
因此，在一些实施例中，上下文键盘可执行操作以响应在键盘接收的手势，使得用户能够从键盘无缝地移动文本条目到其他应用程序，如消息传送应用程序，以及其他好处。
在一些例子中，在其他因素中，上下文键盘可利用和/或采用手势功能以提供信息给目标应用程序，如从一个应用程序向另一个应用程序提供有关用户和/或用户导航的内容的元数据或其他信息。图9是一个流程图，说明用于发送信息到目标应用程序以响应由键盘应用程序接收到的手势的例程900。
在步骤910中，上下文键盘通过计算设备的键盘接收手势。如本文所述，手势可以是在键盘上的某些运动，如从键盘上的启动键到第二键的运动，穿过键盘上的某些键的路径，形状，数字，手写字符，等等。
在步骤920中，上下文的键盘可识别与接收到的手势相关联的应用程序。例如，上下文键盘，通过操作模块220的操作确定组件320可确定所接收到的手势与用户想浏览的应用程序相关联。
在步骤930中，上下文键盘确定信息被转移到所识别的应用程序。例如，操作模块220的上下文组件330可确定与应用程序的当前使用相关联的信息将被转移到所识别的与该手势相关联的应用程序。
在步骤940中，上下文键盘启动所确定的信息转移到所识别的应用程序。例如，操作模块220的操作性能组件340在转移信息(例如关于用户的元数据)至所识别的应用程序时，引导用户至所识别的应用程序。这样的信息传输可用新的应用程序提升用户体验，因为新的应用程序通过手势接收识别上下文的信息，在该上下文中用户到达应用程序，及产生其他好处。
作为一个例子，用户给朋友写关于洛杉矶足球俱乐部一银河的邮件。用户希望在电子邮件中发送链接。用户突出显示字“银河”并作出与搜索信息相关的问号手势。上下文键盘通过手势将搜索词“银河”连同其他信息(如在电子邮件主体内的识别“足球”和“门票”的信息以及表示用户是足球玩家的信息)转移到搜索引擎。具有搜索词和附加信息的搜索引擎能够进行更有针对性的搜索并发送有关足球俱乐部银河的结果，并且不会发送其“银河”的他迭代的结果，如天文学相关的结果或命名为“银河”的智能手机。
虽然本文已经描述了各种手势，本领域普通技术人员将认识到上下文键盘可识别几乎所有的在键盘上或附近的运动作为潜在的与要执行的操作相关联的手势。在一些例子中，用户可以创建由上下文键盘1利用的手势。用户创建的手势可能取代以前提供的手势，或可能会增加一组由计算设备提供的手势。
在一些例子中，手势是特定于目前由用户使用的应用程序的类型、设备轮询、用户，等等。即，一组手势可能会基于在使用中的应用程序、基于设备类型、基于用户喜好等等而改变或被修改。例如，主要用于阅读的文本的应用程序(诸如电子书应用程序)可能提供与用户正在阅读的一本书内的各种文章上的评论相关的额外的手势。
作为另一个例子，因为智能手机屏幕尺寸小，所以在智能手机上运行的应用程序可以启用与启动其他应用程序相关的有限的一组手势，而平板设备因为屏幕尺寸大，所以在其上运行的相同应用程序可以启用与启动其他应用程序相关联的全套手势。
因此，在其他因素中，增加键盘的功能，如通过上下文键盘，使用户执行他们正在使用的应用程序内的内容的操作，而无需离开应用程序或在各种不同的应用程序之间操纵，这是耗时且低效的。键盘，无处不接收输入的应用程序，可能会作为枢纽，其中用户在位于设备上的多个应用程序上执行操作，向这些用户提供强大和有效的机制。通过这些机制，用户可以工作、游戏、沟通，或以其他方式利用他们的设备的许多不同的功能。
上下文键盘的设置和功能
正如本文所述，上下文键盘150执行许多不同的操作，如插入链接，发送消息，更新联系人列表，等等。为了提供给用户有益的经验，上下文键盘可包括规定上下文键盘如何执行本文所描述的各种操作的各种设置。设置可以存储在各种与上下文键盘或支持上下文键盘的设备相关联的数据库，例如数据库152或350，以向上下文键盘提供有关如何执行各种操作的信息。例如，上下文键盘可以使用设置以确定如何插入链接，如何呈现图像，等等。
在一些例子中，设置可以是用户定义的。也就是说，用户可以定义的文本的字符串，当在键盘上输入时，导致上下文键盘来执行与所选择的文本相关联的查找操作或其他操作。示例性的设置，在某些情况下是用户定义的，包括：
定义如何提供链接，例如，在HTML中呈现链接，使用URL缩短服务，等等；
定义如何填充用户数据库，如使用电话号码，电子邮件地址等；
定义使用什么搜索引擎或在选择菜单中提供什么搜索引擎；
定义何时给出选项菜单，当两个或两个以上的操作都与收到的手势相关联时；
定义何时允许上下文键盘选择适当的操作，当两个或两个以上的操作都与收到的手势相关联时；或
定义用户特定的手势，字宏和其他基于输入的命令，等等。
因此，在确定手势是否与要执行的操作相关联时，在选择合适的操作来执行时，和/或在执行操作响应接收到的输入时，上下文键盘利用设置。
由上下文键盘执行的过程
如本文中所讨论的，上下文键盘可以方便用户的各种任务，如搜索内容，发布到社交网站，存储联系人信息，等等。下面的场景描述上下文键盘的实施例的示例性使用例子。
场景#1-搜索信息
在一些例子中，上下文键盘利用手势来使用户能够搜索和/或获取与他们正在阅读或输入相关的信息内容。图10A-10D系屏幕截图，说明了当启动信息搜索时使用上下文键盘的被执行的步骤。图10A示出了发送给用户的电子邮件消息的屏幕截图1000。该电子邮件消息包括在消息主体中的文本1005。阅读消息时，用户希望了解更多有关“bulgoki”的东西。图10B显示屏幕截图1010，其中“bulgoki”被突出显式1012。一旦被突出显示，用户通过在触摸屏上画箭头输入箭头1014的手势。上下文键盘，虽然未在图10C的中的屏幕截图1020中示出，启动选项的屏幕上菜单1025，其中用户可能希望搜索更多关于“bulgoki”的信息。一旦选项被选中，如“Google”选项，上下文键盘在Google网站上启动关于“bulgoki”(被上下文键盘认为是一个种子)的信息搜索，如由图10D所描绘的屏幕截图1030所示。屏幕截图1030显示各种搜索结果1035。因此，在一些实施例中，上下文键盘使用户能够执行手势，同时阅读电子邮件或其他文件以了解更多有关电子邮件的内容，以及其他好处。
在一些例子中，上下文键盘利用字宏使用户能够搜索和/或检索相关他们正在阅读或输入的内容的信息。图11A-11C系屏幕截图，说明了当启动信息搜索时使用上下文键盘被执行的步骤。图11A示出了发送给用户的电子邮件消息的屏幕截图1100。该电子邮件消息包括在邮件主体中的文本1105。阅读消息件时，用户希望了解更多有关“bulgoki”的东西。图11B显示屏幕截图1110，其中“bulgoki”被突出显式1112。一旦被突出显示，用户在显示的键盘1116上输入文本字符串1114“Google”。上下文键盘确定输入文本是字宏并在Google网站上启动关于“bulgoki”信息的搜索，如由图11C所描绘的屏幕截图1120所示，搜索拍摄所描绘图。屏幕截图1120显示各种搜索结果1125。因此，在一些实施例中，上下文键盘使得用户能够在显示的键盘上提供字宏，同时阅读电子邮件或搜索信息的其他文件，以及其它好处。
当然，当被提示搜索信息时，上下文键盘可以提供各种不同的选项。尽管在例子中Googe被示出，也可以利用其他的搜索引擎，如其他通用搜索引擎(例如，Bing，Yahoo，等)，消费者评论网站(如Yelp)，在线零售商(例如amazon.com)，内容聚合器，博客，社交网站，等等。
上下文键盘可基于多种因素确定和/或建议选项中的一个或多个，如种子内的内容类型(例如，当内容指示食物类型时，食物博客如epicurious.com被选中)，有关用户的历史信息(例如，用户总是选择google.com)，位置信息(例如，当用户在纽约时，nyimes.com被选中)，应用程序环境(例如，当用户在facebook.com上时，搜索被在Facebook内进行)和/或其他种子或非种子信息。在某些情况下，上下文的键盘可能会提供用户可定义的选项。例如，图10C的菜单1025包括选项“添加新”，即用户可以输入所需的网站，在其中进行搜索。
场景#2-增强文本
在一些例子中，上下文键盘利用手势使用户能够增强他们正在阅读或输入的内容。图12A-12B系屏幕截图，说明了当插入链接或其他信息到应用程序中时的被执行的步骤。图12A描绘了被输入到由设备显示的文本消息应用程序中的文本消息的屏幕截图1200。文本信息包括被输入的内容1202和被突出显示的内容1204，上下文键盘可使用“Tamarine”作为种子。所画箭头的手势1206作为输入在键盘上被接收。如图12B的屏幕截图1210所描述的，上下文键盘，响应于接收到的手势1206和突出显示的种子内容，确定手势1206与操作相关联以检索到有关内容的信息的链接，餐厅“Tamarine”，并插入检索到的内容链接1214到消息主体1212中。因此，在一些实施例中，上下文键盘使用手势以使用户用链接和其他内容增强先前写入的或当前写入的内容，以及产生其他好处。
在一些例子中，上下文键盘利用字宏使用户能够之前他们正在阅读或输入的内容。图13A-13B是屏幕截图，说明当插入链接或其他信息到应用程序中时的被执行的步骤。图13A描绘了被输入到由设备显示的文本消息应用程序中的文本消息的屏幕截图1300。文本信息包括被输入的内容1302和被突出显示的内容1304，上下文键盘可使用“Tamarine”作为种子。“linkyelp”字宏1306被作为输入在键盘上接收。如图13B的屏幕截图1310所描述的，上下文键盘，响应于接收到的字宏1306和突出显示的种子内容，确定字宏1306与操作相关联以从网站“yelp.com”检索到有关内容的信息的链接，餐厅“Tamarine”，并插入检索到的内容链接1314到消息主体1312中。因此，在一些实施例中，上下文键盘使用字宏以使用户用链接和其他内容增强先前写入的或当前写入的内容，以及其他好处。
当然，本领域普通技术人员将理解，上下文键盘可能有利于在信息或文本和/或内容的其他部分中的其他各种内容的插入或替换。例如，除了内容的链接，上下文键盘可以方便图像，视频文件，音频文件，文档，额外的文本内容等等的插入。例如，当文本短语“公用表”被突出显示时，用户输入字宏“定义”可能会导致上下文键盘在消息内插入公用表的定义。另一个例子是，用户在输入“简历”后输入圆圈的手势可能会导致上下文键盘随被输入的消息附加用户简历的PDF文件。
当用户正在输入消息的文本时，上下文键盘可能会在检索信息和链接到检索信息中协助用户。图14A-14D是屏幕截图，说明当插入地图或其他信息到应用程序中时被执行的步骤。图14A描绘了用户输入文本1402到消息应用程序的屏幕截图1400。上下文键盘预期和突出显示1404字宏“星巴克”，基于一些因素(例如，句子语法，用户历史)确定用户将在消息中添加有关星巴克位置的信息。如图14B的屏幕截图1410中所示，用户执行绘制从手势键到“m”键的路径的手势1415。响应手势1415，上下文键盘确定用户正在寻找查看在用户所在区域内的星巴克位置的地图，如图14C的屏幕截图1420所示。即，上下文键盘使用“星巴克”种子，被接收到的手势和用户设备的位置上下文以确定用户正在请求星巴克咖啡商店附近的地图，并向用户呈现地图1425。一旦用户选择一个位置，上下文键盘用地址信息和到选定位置的地图1434的链接更新消息1432，如在图14D的屏幕截图1430中所示。
因此，当响应于字宏，手势，或作为命令处理的其他输入，确定要执行的操作时，上下文键盘可使用显式种子(例如，指示为由从用户接收到的输入的种子的字，如被加亮区)和/或隐式的种子(例如，基于由上下文键盘的确定指示为种子的字)。
场景#3-存储信息
在一些例子中，上下文键盘利用用手势使用户能够存储内容和他们正在阅读或输入的其他信息，如在消息中收到的内容，在网页上阅读的内容，等等。图15A-15B是屏幕截图，说明当在数据库中存储信息时被执行的步骤。在图15A中，屏幕截图1500呈现一封电子邮件，其中包括“麦克琼斯”的联系人信息1502。用户希望在他/她的联系人数据库中存储信息，并输入在键盘上的手写“C”的手势1504。上下文键盘，如图15B的屏幕截图1510所示，确定所接收的手势1504与操作相关联，以存储信息并插入联系人信息1502作为新的联系人1515到用户的联系人列表中。因此，在一些实施例中，上下文键盘使用手势以使用户能存储来自消息，文档，和呈现给用户在他/她的设备上的其他文本的信息，以及产生其他好处。
在一些例子中，上下文键盘利用字宏使用户能够存储内容和他们正在阅读或输入的其他信息，如在消息中收到的内容，在网页上阅读的内容，等等。图16A-16B是屏幕截图，说明当在数据库中存储信息时被执行的步骤。在图16A中，屏幕截图1600呈现一封电子邮件，其中包括“麦克·琼斯”的联系人信息1602。用户希望在他/她的联系人数据库中存储信息，并通过跟踪键盘上的“联系人”字以输入字宏1604。上下文键盘，如图16B的屏幕截图1610所示，确定所接收的字宏1604与操作相关联，以存储信息并插入联系人信息1602作为新的联系人1615到用户的联系人列表中。因此，在一些实施例中，上下文键盘使用字宏以使用户能存储来自消息，文档，和呈现给用户在他/她的设备上的其他文本的信息，以及其他好处。
除了联系人信息，上下文键盘可便于在用户设备内的各种数据库中的存储其他类型的信息。例如，用户可以选择通过网页呈现的事件的文本描述，并命令上下文键盘，通过输入手势或字宏，为事件在用户的日历中创建条目。基于接收指令输入，上下文键盘执行操作以使用已被在条目中填充的事件信息为用户创建日历条目。
在一些实施例中，上下文键盘可利用和/或检索已经存储在设备数据库中的信息，以响应通过键盘接收的命令。例如，用户可以键入电子邮件以及希望插入被抄送至电子邮件的一组人的联系人信息。要做到这一点，用户可以突出显示一组人的名字并输入“添加联系”字宏，这会导致上下文键盘检索来自用户联系人列表的一组人的联系人信息并插入联系人信息到到电子邮件。
在一些实施例中，上下文键盘可利用和/或检索由设备测量，检测和/或捕获的信息以响应通过键盘接收的命令。这些信息可能包括地理位置信息(例如，经度和纬度信息)，相对位置信息(例如，用户接近一定的地标或街道)，温度和其他的天气信息，高度信息，速度信息，时间信息，图像或其他由设备的摄像头捕获的数据，等等。例如，进行环球旅行的用户可在旅途中的不同时间发送电子邮件到他/她的父母。当使用上下文键盘写电子邮件时，用户可以执行导致上下文键盘从设备中检索并在电子邮件结束时插入某些信息的手势(例如，在设备的键盘上绘制复选标记)，例如：“旅客在斯洛伐克的布拉迪斯拉发。室外是34度，小雨。”因此，上下文键盘可以方便各种类型信息的添加而无需导致用户查找或测量这样的信息，节省用户的时间和精力的同增强用户信息，以及产生其他好处。
场景#4-发布信息
在一些例子中，上下文键盘利用手势或字宏使用户能够发布内容或其他信息至各种位置，如网页，博客，社交网站，等等。图17A-17B是屏幕截图，说明当发布信息至网站或其他位置时被执行的步骤。图17A描绘了记事本或其他文本编辑器应用程序的屏幕截图1700，在其中用户输入文本1702，例如最新哈利波特电影的简短评论用户希望发布此消息至各种不同的社交网络网站和博客，并在键盘上执行这样做的手势。图17A示出了从启动键到键“FB”的跟踪路径的第一手势1704。可选地，用户可追踪或输入“facebook”字宏以输入类似命令至上下文键盘。上下文键盘确定手势1704与操作相关联以发布文本到用户的Facebook页面，以及，如图17B的屏幕截图1710所示，更新或启动用户在他/她的Facebook页面上的状态1715的更新。
接下来，如图18A的屏幕截图1800中所示，用户希望发布相同的消息1805到他/她的Twitter订阅，并再次在键盘上执行手势，即，从启动键到键“TW”的跟踪路径的第二手势1804。或者，用户可能跟踪或输入“tw”字宏以输入类似的命令至上下文键盘。上下文键盘确定手势1804与操作相关联以发布文本至用户的Twitter订阅，以及，如图18B的屏幕截图1810所示，更新或启动用户在他/她的Twitter页面上的订阅1815的更新。
因此，在一些实施例中，上下文键盘使用字宏和手势使用户能够发信息至各网站和其他位置，如发布至用户社交网络中的位置(例如，Facebook网页，Twitter账户，Google+专页，LinkedIn配置文件等)，而无需用户为每个不同的位置或网站启动应用程序，以及产生其他好处。
结论
除非上下文清楚地要求，否则在整个说明书和权利要求书中，“包含”，“包括”等等可被解释为包含的意义，而不是排他或详尽的意义，也就是说，“包括，但不限于”的意思。如本文所用，术语“连接”，“耦合”或其任何变形，是指任何连接或耦合，无论是直接或间接，在两个或多个元件之间，在元件之间的连接的耦合可以是物理的，逻辑的，或它们的组合。此外，在本申请中使用的“在此”，“以上”，“以下”和类似含义的词语，是指本申请作为整体而不是本申请的任何特定部分。如果内容许可，在上面详细说明使用的单数或复数的词可分别包括单数或复数。在两个或多个项目的列表中，“或者”涵盖词的所有以下解释：列表中的任何项目，列表中的所有项目，列表中项目的任意组合。
上面的系统的实施例的详细描述并非意在穷举或限制系统为上述公开的精确形式。相关领域的技术人员将认识到如上所述的系统的具体的实施例和例子旨在说明目的，各种在系统的范围内的等同修改是可能的。例如，尽管流程或块以给定的顺序呈现，替代实施例可以以不同的顺序执行具有步骤的例程或采用具有块的系统，并且一些流程或块可以被删除，移动，增加，分割，组合，和/或修改。这些流程或块的每一个可以被以多种不同的方式实现。此外，尽管流程或块有时以串联方式执行，这些流程或块可能以并行方式执行或者可以在不同的时间被执行。
虽然许多上述实施例中采用存储在移动设备上的软件(在被给予订户之前或在用户呼叫期间)，上述脚本和其他软件可被硬编码到移动设备(例如，存储在EEPROM，PROM等中)。另外，上述功能可以无需脚本或其他特殊功能模块而被实现。
在此提供的系统的教导可以应用到其他系统，未必是上述的系统。上述各种实施例的元素和行为可以被结合以提供进一步的实施例。
所有上述的专利和申请和其它参考文献，包括可能被列于提交文件中任何文件，以参考方式被引用。系统的各方面可以被修改，如果有必要，采用系统，功能，和上述的各种参考文献的概念以提供更进一步系统的实施例。
这些和其它的变化可根据上述详细说明为系统作出。虽然上述描述详细介绍了系统的某些实施例并描述了设想的最佳模式，但不管在文本中如何详细显示，系统可以以多种方式实现。基于当地支持系统的细节在其实施细节中可能有很大的不同，同时仍被在此公开的系统所包含。如上文所述，当描述系统的某些特征或方面时，被使用的特定术语不应被视为暗示术语正在被在此重新定义以被限制于任何特定的特性、特征或术语相关联的系统的各方面。一般情况下，在以下的权利要求书中所使用的术语不应该被解释为将系统限制为本说明书中公开的具体实施例，除非上述详细说明部分明确定义这样的术语。因此，系统的实际范围不仅包括所公开的实施例，而是根据权利要求实现或实施该系统的所有等同方式。
虽然系统的某些方面以某些权利要求的形式被呈现如下，发明人以任意数量的权利要求的形式设想系统的多个方面。例如，虽然系统的仅一个方面被列举体现在计算机可读介质中，其他方面可能同样地被体现在计算机可读介质中。因此，发明人有权在提交申请后保留添加额外的权利要求的权利以为系统的其他方面追求这样的额外权利要求的形式。

Claims (20)

1.一种移动设备的键盘系统，包括：
键盘组件，其中所述键盘组件被配置为通过所述移动设备的触摸屏向用户呈现虚拟键盘；
文本输入组件，其中所述文本输入元件被配置为通过所述虚拟键盘接收文本输入，并基于所述接收的文本输入更新文本字符串；以及
操作组件，其中所述操作组件被配置为执行一个或多个与通过所述虚拟键盘接收的输入相关联的操作。
2.如权利要求1所述的键盘系统，其中所述操作组件包括：
输入接收组件，其中所述输入接收组件被配置为接收通过所述虚拟键盘所接收的输入；
操作确定组件，其中所述操作确定组件被配置为确定一个或多个操作与所述接收的输入相关联；以及
操作性能组件，其中所述操作性能组件被配置为使所述被确定的一个或多个操作被执行。
3.如权利要求1所述的键盘系统，其中所述操作组件被配置为执行一个或多个操作，以响应通过所述虚拟键盘所接收的文本输入。
4.如权利要求1所述的键盘系统，其中所述操作组件被配置为执行一个或多个操作，以响应通过所述虚拟键盘所接收的手势。
5.如权利要求1所述的键盘系统，其中所述操作组件被配置为执行一个或多个操作，以响应通过所述虚拟键盘所接收的文本输入以及由所述移动设备的所述触摸屏所显示的种子文本。
6.如权利要求1所述的键盘系统，其中所述操作组件被配置为执行一个或多个操作，以响应通过所述虚拟键盘接收的手势以及由所述移动设备的所述触摸屏显示的种子文本。
7.如权利要求1所述的键盘系统，其中所述操作组件基于由所述移动设备的所述触摸屏显示的文本，被配置为执行一个或多个操作。
8.如权利要求1所述的键盘系统，其中所述操作组件被配置为基于由所述移动设备的所述触摸屏所显示的被突出显示的文本的一部分，执行一个或多个操作。
9.如权利要求1所述的键盘系统，其中所述文本输入组件被配置为当所述移动设备的用户敲击所述虚拟键盘的键时，通过所述虚拟键盘接收文本输入。
10.如权利要求1所述的键盘系统，其中所述文本输入组件被配置为当所述移动设备的用户跟踪穿过所述虚拟键盘的键的路径时，通过所述虚拟键盘接收文本输入。
11.一种计算机可读存储介质，当由计算设备的处理器执行时，其内容使所述计算设备提供上下文键盘，其中所述上下文键盘包括：
文本输入层，所述文本输入层通过由所述计算设备所显示的键盘接收文本输入；以及
操作层，所述操作层执行一个或多个操作以响应于通过由所述计算设备所显示的所述键盘接收的命令。
12.如权利要求11所述的计算机可读存储介质，其中所述操作层执行一个或多个操作，以响应通过由所述计算设备所显示的所述键盘接收的字宏。
13.如权利要求11所述的计算机可读存储介质，其中所述操作层执行一个或多个操作，以响应通过由所述计算设备所显示的所述键盘接收的手势。
14.如权利要求11所述的计算机可读存储介质，其中所述操作层执行一个或多个操作，以在所述计算设备的数据库中存储由所述计算设备显示的信息，以响应通过由所述计算设备所显示的所述键盘接收的字宏或手势。
15.如权利要求11所述的计算机可读存储介质，其中所述操作层执行一个或多个操作，以发布与所述接收的文本输入相关的信息至网页，以响应通过由所述计算设备显示的所述键盘所接收的字宏或手势。
16.如权利要求11所述的计算机可读存储介质，其中所述操作层执行一个或多个操作，以基于与所述接收的文本输入插入链接至内容，以响应通过由所述计算设备所显示的所述键盘接收的字宏或手势。
17.如权利要求11所述的计算机可读存储介质，其中所述操作层执行一个或多个操作以搜索信息，以响应通过由所述计算设备显示的所述键盘所接收的字宏或手势。
18.一种由移动设备的键盘应用程序执行的方法，所述方法包括：
通过所述键盘应用程序的虚拟键盘接收输入；
确定所述接收的输入与由所述键盘应用程序执行的操作相关联；以及
执行所述相关联的操作。
19.如权利要求18所述的方法，其中执行所述相关联的操作包括：启动待由在所述移动设备上运行的单独的应用程序所执行的操作。
20.如权利要求18所述的方法，其中所述接收的输入是文本字符串或手势，以及其中确定所述接收的输入与被所述键盘应用程序执行的操作相关联包括确定所述文本字符串或手势与一个或多个由所述键盘应用程序所执行的操作相关联。
CN201180065367.6A 2010-11-20 2011-11-18 使用上下文键盘在计算设备上执行操作 Expired - Fee Related CN103649876B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41582810P 2010-11-20 2010-11-20
US61/415,828 2010-11-20
PCT/US2011/061530 WO2012068544A2 (en) 2010-11-20 2011-11-18 Performing actions on a computing device using a contextual keyboard

Publications (2)

Publication Number Publication Date
CN103649876A true CN103649876A (zh) 2014-03-19
CN103649876B CN103649876B (zh) 2017-02-15

Family

ID=46063894

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201180065379.9A Expired - Fee Related CN103827779B (zh) 2010-11-20 2011-11-18 使用输入的文本访问和处理上下文信息的系统和方法
CN201180065367.6A Expired - Fee Related CN103649876B (zh) 2010-11-20 2011-11-18 使用上下文键盘在计算设备上执行操作
CN201180065371.2A Expired - Fee Related CN103314343B (zh) 2010-11-20 2011-11-21 使用手势控制键盘应用，例如移动设备上的键盘应用

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201180065379.9A Expired - Fee Related CN103827779B (zh) 2010-11-20 2011-11-18 使用输入的文本访问和处理上下文信息的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201180065371.2A Expired - Fee Related CN103314343B (zh) 2010-11-20 2011-11-21 使用手势控制键盘应用，例如移动设备上的键盘应用

Country Status (5)

Country Link
US (3) US9244611B2 (zh)
EP (3) EP2641145A4 (zh)
KR (3) KR20130143697A (zh)
CN (3) CN103827779B (zh)
WO (3) WO2012068550A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475368A (zh) * 2015-12-30 2018-08-31 维萨国际服务协会 具有第三方参与可选项目的键盘应用程序

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2641145A4 (en) 2010-11-20 2017-05-03 Nuance Communications, Inc. Systems and methods for using entered text to access and process contextual information
KR20130052745A (ko) * 2010-12-23 2013-05-23 한국전자통신연구원 제스처를 이용한 메뉴 제공 방법 및 이를 이용한 휴대 단말
US8572481B2 (en) * 2011-03-14 2013-10-29 Apple Inc. Device, method, and graphical user interface for displaying additional snippet content
US9094813B2 (en) * 2011-04-02 2015-07-28 Open Invention Network, Llc System and method for redirecting content based on gestures
US10776103B2 (en) * 2011-12-19 2020-09-15 Majen Tech, LLC System, method, and computer program product for coordination among multiple devices
KR101932270B1 (ko) * 2012-01-04 2018-12-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8902198B1 (en) * 2012-01-27 2014-12-02 Amazon Technologies, Inc. Feature tracking for device input
WO2013130682A1 (en) * 2012-02-27 2013-09-06 5 Examples, Inc. Date entry system controllers for receiving user input line traces relative to user interfaces to determine ordered actions, and related systems and methods
US20130238964A1 (en) * 2012-03-06 2013-09-12 Apple Inc. Application for designing journals
US8667414B2 (en) * 2012-03-23 2014-03-04 Google Inc. Gestural input at a virtual keyboard
KR102130037B1 (ko) * 2012-06-29 2020-07-03 삼성전자주식회사 스타일러스 펜을 사용하는 입력 이벤트를 핸들링하는 방법 및 디바이스
CN102893250B (zh) * 2012-07-13 2015-07-22 华为技术有限公司 确定操作对象的方法和终端
KR20140014510A (ko) * 2012-07-24 2014-02-06 삼성전자주식회사 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말
US9495069B2 (en) * 2012-08-31 2016-11-15 Paypal, Inc. Expanded icon functionality
US8782549B2 (en) 2012-10-05 2014-07-15 Google Inc. Incremental feature-based gesture-keyboard decoding
US9021380B2 (en) 2012-10-05 2015-04-28 Google Inc. Incremental multi-touch gesture recognition
US8850350B2 (en) 2012-10-16 2014-09-30 Google Inc. Partial gesture text entry
US9557818B2 (en) * 2012-10-16 2017-01-31 Google Inc. Contextually-specific automatic separators
US8843845B2 (en) 2012-10-16 2014-09-23 Google Inc. Multi-gesture text input prediction
US8701032B1 (en) 2012-10-16 2014-04-15 Google Inc. Incremental multi-word recognition
US8977961B2 (en) * 2012-10-16 2015-03-10 Cellco Partnership Gesture based context-sensitive functionality
US8819574B2 (en) 2012-10-22 2014-08-26 Google Inc. Space prediction for text input
CN103092511B (zh) * 2012-12-28 2016-04-20 北京百度网讯科技有限公司 移动终端的输入方法、装置和移动终端
US8832589B2 (en) 2013-01-15 2014-09-09 Google Inc. Touch keyboard using language and spatial models
US20140208274A1 (en) * 2013-01-18 2014-07-24 Microsoft Corporation Controlling a computing-based device using hand gestures
US10976922B2 (en) * 2013-02-17 2021-04-13 Benjamin Firooz Ghassabian Data entry systems
US10649619B2 (en) * 2013-02-21 2020-05-12 Oath Inc. System and method of using context in selecting a response to user device interaction
US9799005B2 (en) * 2013-03-07 2017-10-24 Samsung Electronics Co., Ltd. Computing system with contextual interaction mechanism and method of operation thereof
US9477645B2 (en) * 2013-03-13 2016-10-25 Sap Se Systems and methods of active text markup
US8887103B1 (en) 2013-04-22 2014-11-11 Google Inc. Dynamically-positioned character string suggestions for gesture typing
US9081500B2 (en) 2013-05-03 2015-07-14 Google Inc. Alternative hypothesis error correction for gesture typing
US20140365878A1 (en) * 2013-06-10 2014-12-11 Microsoft Corporation Shape writing ink trace prediction
CN103390060A (zh) * 2013-07-30 2013-11-13 百度在线网络技术（北京）有限公司 基于移动终端的歌曲推荐方法与装置
US9277354B2 (en) 2013-10-30 2016-03-01 Sprint Communications Company L.P. Systems, methods, and software for receiving commands within a mobile communications application
US9500867B2 (en) 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
US10209955B2 (en) 2013-11-15 2019-02-19 Kopin Corporation Automatic speech recognition (ASR) feedback for head mounted displays (HMD)
US9904360B2 (en) 2013-11-15 2018-02-27 Kopin Corporation Head tracking based gesture control techniques for head mounted displays
US9383816B2 (en) * 2013-11-15 2016-07-05 Kopin Corporation Text selection using HMD head-tracker and voice-command
KR102131826B1 (ko) * 2013-11-21 2020-07-09 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US20150153949A1 (en) * 2013-12-03 2015-06-04 Google Inc. Task selections associated with text inputs
US10983805B2 (en) * 2014-02-21 2021-04-20 Nod, Inc. Contextual keyboard located on a remote server for implementation on any content delivery and interaction application
US9330666B2 (en) * 2014-03-21 2016-05-03 Google Technology Holdings LLC Gesture-based messaging method, system, and device
CN104200170B (zh) * 2014-04-15 2018-06-19 中兴通讯股份有限公司 一种电子设备的隐私保护方法及电子设备
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9588625B2 (en) 2014-08-15 2017-03-07 Google Inc. Interactive textiles
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9940016B2 (en) 2014-09-13 2018-04-10 Microsoft Technology Licensing, Llc Disambiguation of keyboard input
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US10956032B2 (en) * 2014-10-29 2021-03-23 Microsoft Technology Licensing, Llc Keyboard utility for inputting data into a mobile application
CN104363322B (zh) * 2014-11-20 2017-10-17 广东欧珀移动通信有限公司 拨号方法及装置
US10459608B2 (en) * 2014-12-01 2019-10-29 Ebay Inc. Mobile optimized shopping comparison
CN104571915B (zh) * 2014-12-29 2018-11-27 科大讯飞股份有限公司 触屏终端中触摸键盘的控制方法和装置
CN104571585B (zh) * 2014-12-30 2017-07-28 北京奇虎科技有限公司 输入法光标操作方法和装置
US9959069B2 (en) * 2015-02-12 2018-05-01 Microsoft Technology Licensing, Llc Externalized execution of input method editor
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
US9983747B2 (en) 2015-03-26 2018-05-29 Google Llc Two-layer interactive textiles
CN104731554B (zh) * 2015-03-30 2018-08-07 北京奇艺世纪科技有限公司 一种评论信息发布方法及装置
US11068644B1 (en) * 2015-03-30 2021-07-20 Insurance Services Office, Inc. System and method for creating customized insurance-related forms using computing devices
KR102229658B1 (ko) 2015-04-30 2021-03-17 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
EP3289434A1 (en) 2015-04-30 2018-03-07 Google LLC Wide-field radar-based gesture recognition
CN107430444B (zh) 2015-04-30 2020-03-03 谷歌有限责任公司 用于手势跟踪和识别的基于rf的微运动跟踪
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
CN104935812B (zh) * 2015-05-29 2017-11-03 广东欧珀移动通信有限公司 一种控制自拍模式开启的方法及装置
CN104850770A (zh) * 2015-06-05 2015-08-19 深圳市智诺微智能电子科技有限公司 一种手势密码输入虚拟键盘及应用方法
US10082931B2 (en) * 2015-06-12 2018-09-25 Microsoft Technology Licensing, Llc Transitioning command user interface between toolbar user interface and full menu user interface based on use context
KR20170017572A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 사용자 단말 장치 및 이의 제어 방법
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
EP3371855A1 (en) 2015-11-04 2018-09-12 Google LLC Connectors for connecting electronics embedded in garments to external devices
US10260830B2 (en) 2016-02-11 2019-04-16 John Hafen Smart-gun systems and methods
US9965530B2 (en) 2016-04-20 2018-05-08 Google Llc Graphical keyboard with integrated search features
US10305828B2 (en) 2016-04-20 2019-05-28 Google Llc Search query predictions by a keyboard
US10140017B2 (en) 2016-04-20 2018-11-27 Google Llc Graphical keyboard application with integrated search
US10078673B2 (en) 2016-04-20 2018-09-18 Google Llc Determining graphical elements associated with text
US10222957B2 (en) 2016-04-20 2019-03-05 Google Llc Keyboard with a suggested search query region
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10175781B2 (en) 2016-05-16 2019-01-08 Google Llc Interactive object with multiple electronics modules
US10769182B2 (en) 2016-06-10 2020-09-08 Apple Inc. System and method of highlighting terms
US10831763B2 (en) * 2016-06-10 2020-11-10 Apple Inc. System and method of generating a key list from multiple search domains
US20170357521A1 (en) * 2016-06-13 2017-12-14 Microsoft Technology Licensing, Llc Virtual keyboard with intent-based, dynamically generated task icons
US10409488B2 (en) 2016-06-13 2019-09-10 Microsoft Technology Licensing, Llc Intelligent virtual keyboards
US10664157B2 (en) 2016-08-03 2020-05-26 Google Llc Image search query predictions by a keyboard
US10409487B2 (en) * 2016-08-23 2019-09-10 Microsoft Technology Licensing, Llc Application processing based on gesture input
KR101915789B1 (ko) * 2016-10-18 2018-11-06 주식회사 한컴세이프티 가상키보드를 통해 손쉬운 문자 입력을 지원하는 터치스크린 전자 장치 및 그 동작 방법
CN107015637B (zh) * 2016-10-27 2020-05-05 阿里巴巴集团控股有限公司 虚拟现实场景下的输入方法和装置
US10884610B2 (en) 2016-11-04 2021-01-05 Myscript System and method for recognizing handwritten stroke input
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US11199965B2 (en) * 2016-12-29 2021-12-14 Verizon Patent And Licensing Inc. Virtual keyboard
US9924313B1 (en) 2017-02-23 2018-03-20 International Business Machines Corporation Location based generation of pertinent information
CN108415679B (zh) * 2018-03-08 2021-02-26 广东美的制冷设备有限公司 设备及其触摸控制方法
US10928996B2 (en) * 2018-12-28 2021-02-23 Brandon Ly Baunach Systems, devices and methods for electronic determination and communication of location information
US20210338864A1 (en) * 2020-04-30 2021-11-04 Aristocrat Technologies, Inc. Ultraviolet disinfection and sanitizing systems and methods for electronic gaming devices and other gaming equipment
CN112379820B (zh) * 2020-11-24 2022-08-05 惠州Tcl移动通信有限公司 全键盘按键的输入检测方法、设备和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1637686A (zh) * 2004-01-06 2005-07-13 国际商业机器公司 用于个人计算设备上改进的用户输入的系统和方法
US20060253793A1 (en) * 2005-05-04 2006-11-09 International Business Machines Corporation System and method for issuing commands based on pen motions on a graphical keyboard
US20070038543A1 (en) * 2005-06-07 2007-02-15 Weinstein Bernard A Enhanced System and Method for Managing Financial Market Information
CN101356493A (zh) * 2006-09-06 2009-01-28 苹果公司 用于照片管理的便携式电子装置
CN101546233A (zh) * 2009-05-05 2009-09-30 上海华勤通讯技术有限公司 触摸屏界面手势识别操作方法
US20100235726A1 (en) * 2009-03-16 2010-09-16 Bas Ording Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1027938A (en) 1909-11-02 1912-05-28 Westinghouse Air Brake Co Fluid-pressure brake.
US5502803A (en) 1993-01-18 1996-03-26 Sharp Kabushiki Kaisha Information processing apparatus having a gesture editing function
JP3416268B2 (ja) 1994-06-30 2003-06-16 キヤノン株式会社 画像認識装置及びその方法
US6999955B1 (en) * 1999-04-20 2006-02-14 Microsoft Corporation Systems and methods for estimating and integrating measures of human cognitive load into the behavior of computational applications and services
US7762453B2 (en) * 1999-05-25 2010-07-27 Silverbrook Research Pty Ltd Method of providing information via a printed substrate with every interaction
US20030023952A1 (en) 2001-02-14 2003-01-30 Harmon Charles Reid Multi-task recorder
US6792408B2 (en) * 2001-06-12 2004-09-14 Dell Products L.P. Interactive command recognition enhancement system and method
US7251367B2 (en) 2002-12-20 2007-07-31 International Business Machines Corporation System and method for recognizing word patterns based on a virtual keyboard layout
US7098896B2 (en) * 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
US7382358B2 (en) 2003-01-16 2008-06-03 Forword Input, Inc. System and method for continuous stroke word-based text input
US7453439B1 (en) 2003-01-16 2008-11-18 Forward Input Inc. System and method for continuous stroke word-based text input
US7480619B1 (en) 2003-03-04 2009-01-20 The Board Of Trustees Of The Leland Stanford Junior University Integration manager and natural interaction processor
US7401072B2 (en) 2003-06-10 2008-07-15 Google Inc. Named URL entry
US20060024126A1 (en) 2004-07-31 2006-02-02 Johansson Kenneth L Page lifting spring
US20060242126A1 (en) * 2005-03-25 2006-10-26 Andrew Fitzhugh System and method for a context-sensitive extensible plug-in architecture
US7542029B2 (en) 2005-09-20 2009-06-02 Cliff Kushler System and method for a user interface for text editing and menu selection
US20160344581A9 (en) * 2005-09-21 2016-11-24 Amit Karmarkar Text message including a contextual attribute of a mobile device
US8726195B2 (en) * 2006-09-05 2014-05-13 Aol Inc. Enabling an IM user to navigate a virtual world
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US20080126075A1 (en) * 2006-11-27 2008-05-29 Sony Ericsson Mobile Communications Ab Input prediction
US8059101B2 (en) * 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US8626823B2 (en) 2007-11-13 2014-01-07 Google Inc. Page ranking system employing user sharing data
US8479118B2 (en) 2007-12-10 2013-07-02 Microsoft Corporation Switching search providers within a browser search box
US8504946B2 (en) * 2008-06-27 2013-08-06 Apple Inc. Portable device, method, and graphical user interface for automatically scrolling to display the top of an electronic document
CA2667911C (en) * 2008-08-26 2013-09-17 Research In Motion Limited Portable electronic device including a touch-sensitive display and method of controlling same
US8769427B2 (en) * 2008-09-19 2014-07-01 Google Inc. Quick gesture input
US20100185949A1 (en) 2008-12-09 2010-07-22 Denny Jaeger Method for using gesture objects for computer control
US8294680B2 (en) * 2009-03-27 2012-10-23 Sony Mobile Communications Ab System and method for touch-based text entry
US8762893B2 (en) * 2010-05-14 2014-06-24 Google Inc. Automatic derivation of analogous touch gestures from a user-defined gesture
US20110314427A1 (en) * 2010-06-18 2011-12-22 Samsung Electronics Co., Ltd. Personalization using custom gestures
EP2641145A4 (en) 2010-11-20 2017-05-03 Nuance Communications, Inc. Systems and methods for using entered text to access and process contextual information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1637686A (zh) * 2004-01-06 2005-07-13 国际商业机器公司 用于个人计算设备上改进的用户输入的系统和方法
US20060253793A1 (en) * 2005-05-04 2006-11-09 International Business Machines Corporation System and method for issuing commands based on pen motions on a graphical keyboard
US20070038543A1 (en) * 2005-06-07 2007-02-15 Weinstein Bernard A Enhanced System and Method for Managing Financial Market Information
CN101356493A (zh) * 2006-09-06 2009-01-28 苹果公司 用于照片管理的便携式电子装置
US20100235726A1 (en) * 2009-03-16 2010-09-16 Bas Ording Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display
CN101546233A (zh) * 2009-05-05 2009-09-30 上海华勤通讯技术有限公司 触摸屏界面手势识别操作方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475368A (zh) * 2015-12-30 2018-08-31 维萨国际服务协会 具有第三方参与可选项目的键盘应用程序
US11257059B2 (en) 2015-12-30 2022-02-22 Visa International Service Association Keyboard application with third party engagement selectable items
CN108475368B (zh) * 2015-12-30 2023-12-05 维萨国际服务协会 具有第三方参与可选项目的键盘应用程序

Also Published As

Publication number Publication date
CN103827779A (zh) 2014-05-28
EP2641145A4 (en) 2017-05-03
WO2012068550A2 (en) 2012-05-24
WO2012068584A2 (en) 2012-05-24
WO2012068544A3 (en) 2012-09-20
US9244610B2 (en) 2016-01-26
EP2641147A2 (en) 2013-09-25
EP2641146A2 (en) 2013-09-25
CN103314343B (zh) 2017-02-15
KR20130143697A (ko) 2013-12-31
US20120127083A1 (en) 2012-05-24
EP2641145A2 (en) 2013-09-25
US9244611B2 (en) 2016-01-26
EP2641146A4 (en) 2017-05-03
CN103827779B (zh) 2017-06-20
WO2012068544A2 (en) 2012-05-24
WO2012068584A3 (en) 2012-10-11
EP2641147A4 (en) 2017-05-03
WO2012068550A3 (en) 2012-10-04
CN103314343A (zh) 2013-09-18
US20120127082A1 (en) 2012-05-24
KR20130116295A (ko) 2013-10-23
US20120127080A1 (en) 2012-05-24
KR20140001957A (ko) 2014-01-07
CN103649876B (zh) 2017-02-15
US9189155B2 (en) 2015-11-17

Similar Documents

Publication Publication Date Title
CN103649876B (zh) 使用上下文键盘在计算设备上执行操作
US11423209B2 (en) Device, method, and graphical user interface for classifying and populating fields of electronic forms
EP3469477B1 (en) Intelligent virtual keyboards
US20190012076A1 (en) Typing assistance for editing
US9760541B2 (en) Systems and methods for delivery techniques of contextualized services on mobile devices
US9417788B2 (en) Method and apparatus for providing user interface
CN111095215B (zh) 应用间传递格式特定的数据对象
US20170357521A1 (en) Virtual keyboard with intent-based, dynamically generated task icons
US20170308291A1 (en) Graphical keyboard application with integrated search
US20130346195A1 (en) Method and system for recommending content
KR20120040160A (ko) 검색 결과들 내의 컴퓨터 어플리케이션 데이터
CN104050219A (zh) 用于管理会话消息的方法和设备
CN103324425A (zh) 一种基于手势的命令执行的方法与装置
KR101882293B1 (ko) 문자 입력 및 컨텐츠 추천을 위한 통합 키보드
JP6182636B2 (ja) インタラクションを通じてキーワードを検索する端末、サーバ及び方法
US20140101553A1 (en) Media insertion interface
US20140089841A1 (en) Device and method for providing application interface based on writing input
CN103797481A (zh) 基于手势的搜索
US20190155958A1 (en) Optimized search result placement based on gestures with intent
KR20180003884A (ko) 전자 장치 및 그의 정보 제공 방법
CN104380233A (zh) 用户接口设备、搜索方法和程序
KR102077158B1 (ko) 메모 기능이 연동된 메시지 기능 운용 방법 및 장치
KR20150093045A (ko) 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170215

Termination date: 20171118