CN105308551B - 用于连续手势输入的多图形键盘 - Google Patents

用于连续手势输入的多图形键盘 Download PDF

Info

Publication number
CN105308551B
CN105308551B CN201480032645.1A CN201480032645A CN105308551B CN 105308551 B CN105308551 B CN 105308551B CN 201480032645 A CN201480032645 A CN 201480032645A CN 105308551 B CN105308551 B CN 105308551B
Authority
CN
China
Prior art keywords
key
keyboard
graphic
area
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480032645.1A
Other languages
English (en)
Other versions
CN105308551A (zh
Inventor
萨德·尤金·斯特纳
尼马尔·帕特尔
翟树民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN105308551A publication Critical patent/CN105308551A/zh
Application granted granted Critical
Publication of CN105308551B publication Critical patent/CN105308551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

在一个示例中，一种方法包括由计算设备输出包括第一图形键盘的图形用户界面以显示，该第一图形键盘包括第一多个键。该方法进一步包括至少部分地基于输入上下文来确定输出包括第二多个键的第二图形键盘，并且输出第二图形键盘以与第一图形键盘同时显示。与来自第二多个键的至少一个键相关联的字符可以不同于与来自第一多个键的每个键相关联的每个字符。该方法进一步包括至少部分地基于连续手势的第一部分从第一图形键盘中选择第一键，并且至少部分地基于连续手势的第二部分从第二图形键盘中选择第二键。

Description

用于连续手势输入的多图形键盘
背景技术
一些计算设备(例如移动电话、平板计算机)可以输出图形键盘用于显示为用于接收文本输入(例如使用存在敏感输入设备和/或显示器，诸如触摸屏)的图形用户界面的一部分。图形键盘可以使得计算设备的用户能够输入文本(例如电子邮件、文本消息、或者文档)。例如，计算设备的显示设备可以输出图形(或者“软”)键盘，该图形键盘使得用户能够通过在存在敏感输入设备处指示(例如通过轻击)在显示设备处显示的键来输入数据。在一些示例中，数据可以指示用于访问由计算设备所提供的应用和/或服务的密码。
基于手势的键盘可以被用来将文本输入至诸如智能电话的计算设备中。例如，计算设备可以基于检测到的手势接收连续手势输入的指示，以选择图形键盘的多个键(例如，不用移动输入单元从存在敏感输入设备)。基于手势的键盘可能受到限制，例如，当计算设备接收用户输入的指示以输入一些类型的文本时，所述文本包括诸如数字和/或符号的非字母字符(例如密码)。在一些示例中，图形键盘的预测、自动校正、和/或布局可能削弱计算设备基于连续手势输入来选择这样的包括非字母字符的字符串的能力。
发明内容
在一个示例中，一种方法包括：由计算设备输出包括第一图形键盘的图形用户界面以显示，该第一图形键盘包括第一多个键，来自所述第一多个键的每个键均与来自第一多个字符的相应字符相关联。所述方法进一步包括：由所述计算设备并至少部分地基于输入上下文来确定输出包括第二多个键的第二图形键盘，来自所述第二多个键的每个键均与来自第二多个字符的相应字符相关联，其中来自所述第二多个字符的至少一个字符不同于来自所述第一多个字符的每个字符。所述方法进一步包括：由所述计算设备输出所述第二图形键盘以与所述第一图形键盘同时显示。所述方法进一步包括：由所述计算设备接收在存在敏感输入设备处所检测到的连续手势的第一部分的指示，并且由所述计算设备并至少部分地基于所述连续手势的所述第一部分来从所述第一图形键盘的所述第一多个键中选择第一键作为第一所选键。所述方法进一步包括：由所述计算设备接收在所述存在敏感输入设备处所检测到的所述连续手势的第二部分的指示，以及由所述计算设备并至少部分地基于所述连续手势的所述第二部分来从所述第二图形键盘的所述第二多个键中选择第二键作为第二所选键。
在一个示例中，一种设备包括：至少一个处理器以及至少一个模块，所述至少一个模块可由所述至少一个处理器操作以输出包括第一图形键盘的图形用户界面以显示，该第一图形键盘包括第一多个键。所述至少一个模块可由所述至少一个处理器操作以至少部分地基于输入上下文来确定输出包括第二多个键的第二图形键盘，并且输出所述第二图形键盘以与所述第一图形键盘同时显示，其中与来自所述第二多个键的至少一个键相关联的字符不同于与来自所述第一多个键的每个键相关联的每个字符。所述至少一个模块可进一步由所述至少一个处理器操作以接收在存在敏感输入设备处所检测到的连续手势的第一部分的指示，并且至少部分地基于所述连续手势的所述第一部分来从所述第一图形键盘的所述第一个多个键中选择第一键作为第一所选键。所述至少一个模块可进一步由所述至少一个处理器操作以接收在所述存在敏感输入设备处所检测到的所述连续手势的第二部分的指示，并且至少部分地基于所述连续手势的所述第二部分来从所述第二图形键盘的所述第二多个键中选择第二键作为第二所选键。
在一个示例中，一种编码有指令的计算机可读存储介质，所述指令在被执行时使得计算设备的至少一个处理器输出包括第一图形键盘的图形用户界面以显示，该第一图形键盘包括第一多个键。所述计算机可读存储介质被进一步编码有指令，所述指令在被执行时使得所述计算设备的所述至少一个处理器至少部分地基于输入上下文来确定输出包括第二多个键的第二图形键盘，并且输出所述第二图形键盘以与所述第一图形键盘同时显示，其中与来自所述第二多个键的至少一个键相关联的字符不同于与来自所述第一多个键的每个键相关联的每个字符。所述计算机可读存储介质被进一步编码有指令，所述指令在被执行时使得所述计算设备的所述至少一个处理器接收在存在敏感输入设备处所检测到的连续手势的第一部分的指示，并且至少部分地基于所述连续手势的所述第一部分来从所述第一图形键盘的所述第一个多个键中选择第一键作为第一所选键。所述计算机可读存储介质被进一步编码有指令，所述指令在被执行时使得所述计算设备的所述至少一个处理器接收在所述存在敏感输入设备处所检测到的所述连续手势的第二部分的指示，并且至少部分地基于所述连续手势的所述第二部分来从所述第二图形键盘的所述第二个多个键中选择第二键作为第二所选键。
本公开的一个或多个示例的细节在附图和以下描述中给出。其他特征、目标和优势将从该描述和附图以及从权利要求显而易见。
附图说明
图1是图示根据本公开的一个或多个方面的示例计算设备的框图，该计算设备可以被用于输出第二图形键盘以与第一图形键盘同时显示。
图2是图示根据本公开的一个或多个方面的在图1中所示的计算设备的一个示例的进一步细节的框图。
图3是图示根据本公开的一个或多个方面的示例计算设备的框图，该计算设备输出图形内容以在远程设备处显示。
图4A-4B是图示根据本公开的一个或多个方面的示例计算设备的框图，该计算设备可以被用于输出第二图形键盘以与第一图形键盘同时显示。
图5A-5B是图示根据本公开的一个或多个方面的示例计算设备的框图，该计算设备可以被用于输出第二图形键盘以便与第一图形键盘同时显示。
图6图示根据本公开的一个或多个方面的示例计算设备，该计算设备可以被用于输出第二图形键盘以与第一图形键盘同时显示。
图7是图示根据本公开的一个或多个方面的计算设备的示例操作的流程图，该计算设备可以被用于输出第二图形键盘以与第一图形键盘同时显示。
具体实施方式
一般而言，本公开涉及可以提高用户可以使用基于手势的图形键盘来输入文本的容易性的技术。例如，计算设备可以输出包括第一图形键盘的图形用户界面以显示(例如，在诸如存在敏感显示器的显示设备处)，所述第一图形键盘包括第一多个键。由计算设备输出以显示的第一图形键盘可以使得用户能够提供以一个或多个连续手势的形式的手势输入(例如，在存在敏感输入设备处)以选择第一图形键盘的键。例如，存在敏感输入设备可以检测连续手势输入，包括输入单元(例如手指、笔、触控笔)从存在敏感输入设备的第一位置移动至存在敏感输入设备的第二位置。响应于接收到连续手势输入的指示，计算设备可以选择第一图形键盘的一个或多个键作为所选键，诸如通过将连续手势输入的指示与空间和/或语言模型中的一个或多个进行比较。
根据本公开的技术，计算设备可以使得用户能够提供连续手势输入以选择字母字符与非字母字符(例如数字字符、符号字符)的组合。不同于需要单独的用户输入来发起这样的非字母字符的显示，由此潜在需要连续手势中的中断(例如，提供第二分开的用户输入)来发起这样的显示，实施本公开的技术的计算设备可以至少部分地基于输入上下文来确定输出包括第二多个键的第二图形键盘。与来自第二多个键的至少一个键相关联的字符可以不同于与来自第一多个键的每个键相关联的每个字符。例如，第二图形键盘的一个或多个键可以与诸如数字字符的非字母字符相关联，其不同于与第一图形键盘的每个键相关联的每个字符。上下文可以包括例如GUI的输入区的识别符，诸如密码区、统一资源定位符(URL)区、电子邮件地址区、日期区等的识别符。
计算设备可以输出第二图形键盘以与第一图形键盘同时显示，诸如通过输出第二图形键盘作为GUI的不包括第一图形键盘的一个或多个部分(例如GUI的文本建议区、GUI的文本显示区)的阿尔法混合图形叠加。以这种方式，实施本文所述技术的计算设备的使用可以使得用户能够提供连续手势输入以选择第一图形键盘的一个或多个键以及第二图形键盘的一个或多个键。例如，响应于接收到连续手势的第一部分，计算设备可以选择第一图形键盘的第一键，并且响应于接收到连续手势输入的第二部分，可以选择第二图形键盘的第二键。
因此，本公开的技术可以使得计算设备能够接收连续手势输入以选择字母和非字母字符的组合，而不必要求连续手势中的中断来发起与非字母字符相关联的第二图形键盘的显示。如此，本文所述的技术可以提高用户可以使用计算设备来输入诸如密码、URL、电子邮件地址、日期、颜色等文本的容易性，由此潜在提高计算设备的易用性。
图1是图示根据本公开的一个或多个方面的示例计算设备2的框图，该计算设备可以被用于输出第二图形键盘以与第一图形键盘同时显示。在一些示例中，计算设备2可以与用户相关联，该用户可以通过将各种用户输入提供至计算设备而与计算设备2交互。计算设备2的示例可以包括但不限于诸如移动电话(包括智能电话)的便携式或者移动设备、膝上型计算机、桌面型计算机、平板计算机、智能电视平台、个人数字助理(PDA)、服务器以及大型机。计算设备2在一些示例中可以包括用户界面(UI)设备4、UI模块6、手势模块8以及辅助键盘模块10。实施本公开的技术的计算设备2的其他示例可以包括在图1中未示出的另外组件。
计算设备2可以包括UI设备4。在一些示例中，UI设备4被配置成接收触觉、音频或者视觉输入。UI设备4的示例可以包括触摸敏感和/或存在敏感屏幕、鼠标、键盘、语音响应系统、麦克风、相机或者其他用于接收输入的其它设备。例如，UI设备4可以包括存在敏感显示器，其可以检测执行一个或多个手势的输入单元(例如手指、笔、触控笔等)的存在。如图3中进一步所示，存在敏感显示器可以包括存在敏感输入设备以及显示设备。UI设备4可以输出诸如图形用户界面(GUI)12的内容以显示。GUI 12可以包括一个或多个部分，诸如包括第一图形键盘14的部分、包括文本显示区14的部分、包括一个或多个文本建议区的部分(未示出)或者其他部分和/或区。
如图1中所示，计算设备2可以包括UI模块6。UI模块6可以执行一个或多个功能以接收诸如用户输入的输入并且将这样的输入的指示发送至与计算设备2相关联的其他组件，诸如手势模块8和辅助键盘模块10。UI模块6还可以从与计算设备2相关联的诸如手势模块8和辅助键盘模块10的组件接收数据。使用所述数据，UI模块6可以使得与计算设备2相关联的诸如UI设备4的组件基于所述数据提供输出。例如，UI模块6可以从辅助键盘模块10接收数据，并且可以使得UI设备4基于这样的数据来显示GUI 12，诸如通过使得UI设备4根据本文所述的技术来显示辅助键盘22。在一些示例中，UI模块6可以包括与由计算设备2可执行的一个或多个应用相关联的功能，诸如文字处理应用、文本消息应用、电子表格、web浏览器、服务器应用或者其他应用中的一个或多个应用。在一些示例中，UI模块6可以被实施为可由计算设备2的一个或多个处理器执行的应用，诸如可下载或者预安装的应用或者“app”。在一些示例中，UI模块6可以被实施为计算设备2的硬件单元的一部分。作为另一示例，UI模块6可以被实施为计算设备2的操作系统的一部分。
如图1中所示，GUI 12可以是由UI模块6生成以使得用户能够与计算设备2交互的界面。GUI 12可以包括图形内容。图形内容通常可以是图形用户界面的任何视觉上可显示的图形对象。图形内容的示例可以包括文本、图像、一组运动图像、超链接、动画、视频、字符集的字符等。如图1中所示，图形内容可以包括第一图形键盘14、第二图形键盘22、文本显示区13以及密码区26。
第一图形键盘14和第二图形键盘22中的每一个均可以包括多个键。例如，第一图形键盘14可以包括第一多个键，包括诸如“P”键16、“A”键18以及“S”键20的字母键。第二图形键盘22可以另外包括第二多个键，诸如非字母键(例如数字和/或符号键)，诸如“5”键24。与来自第二图形键盘22中所包括的第二多个键的至少一个键相关联的字符可以不同于与来自第一图形键盘14的第一多个键的每个键相关联的每个字符。例如，如图1的示例所示，与“5”键24相关联的数字“5”字符不同于与第一图形键盘14的每个键相关联的每个字符。亦即，在该示例中，在第二键盘22中所包括的“5”键24与数字字符“5”相关联，并且第一图形键盘14的键中没有一个与数字字符“5”相关联。
第一图形键盘14和第二图形键盘22中的每一个均可以由UI设备4显示为可选键的有序集。键可以表示来自字符集(例如英文字母表中的字母、数字)的单个字符，或者可以表示字符的组合。图形键盘的一个示例可以包括传统的“QWERTY”键盘布局。其他示例可以包含用于不同语言、不同字符集或者不同字符布局的字符。如图1的示例中所示，第一图形键盘14包括用于英语语言的传统的“QWERTY”键盘布局的版本，提供字符键以及提供其他功能的各种键(例如“123”键)。
在一些示例中，文本显示区13可以包括在例如文本消息、文档、电子邮件消息、web浏览器等中所包括的字符或者其他图形内容。例如，文本显示区13可以包括由用户经由在UI设备4处所执行的手势而选择的字符或者其他图形内容。在一些示例中，GUI 12可以包括一个或多个区，诸如密码区26。可以被包括在GUI 12中的其他示例区包括但不限于URL区、电子邮件地址区、颜色区、日期区、日期时间区、本地日期时间区、月份区、数字区、范围区、搜索区、电话号码区、时间区以及星期区。这样的区可以各自是GUI 12的不同区。在一些示例中，这样的区可以是GUI 12的单个区并且可以包括GUI 12的与文本显示区13相同的一个或多个区。
UI模型6可以使得UI设备4显示第一图形键盘14并且检测手势输入，诸如在UI设备4的一个或多个位置处所检测到的手势输入，所述位置显示第一图形键盘4的一个或多个键。这样的手势输入可以包括诸如一个或多个轻击手势的离散手势以选择第一图形键盘14的单独键。在一些示例中，UI设备4可以检测一个或多个连续手势，使得UI设备4检测输入单元(例如手指、笔、触控笔)从UI设备4的第一位置到UI设备4的第二位置的连续运动。例如，如图1中所示，UI设备4可以检测包括输入单元(例如手指)从第一位置30到第二位置32的运动的连续运动手势28。UI模块6可以从UI设备4接收诸如连续手势28的连续手势的指示并且可以至少部分地基于该手势的指示来选择第一图形键盘14的一个或多个键，如下进一步描述。
辅助键盘模块10可以至少部分地基于输入上下文来确定显示包括第二多个键的第二图形键盘22。输入上下文可以包括例如能够接收输入的诸如密码区26的输入区的识别符。在其他示例中，辅助键盘模块10可以接收一个或多个输入区的识别符的指示，所述输入区诸如密码区、URL区、电子邮件地址区、颜色区、日期区、日期时间区、本地日期时间区、月份区、数字区、范围区、搜索区、电话号码区、时间区以及星期区。识别符可以包括GUI 12的活动输入区(例如，当前所选择的区、包括活动光标的区等)的识别符，诸如由超文本标记语言(HTML)5界面所指定的识别符。
作为示例，辅助键盘模块10可以接收密码区26是GUI 12的活动区的指示。此外，辅助键盘模块10可以接收识别密码区26作为被配置成接收指定密码(例如允许使用计算设备2来访问应用和/或服务的密码)的数据的GUI 12的区的密码去的识别符的指示。响应于接收密码区26作为GUI 12的活动区的指示，辅助键盘模块10可以使得UI模块6输出第二键盘22，以在UI设备4处显示。
在一些示例中，UI模块6可以输出第二键盘22以在GUI 12的一部分处显示，该部分包括一个或多个可显示区，诸如文本显示区13。在一些示例中，UI模块6可以输出第二键盘22作为可显示区中的一个或多个区的阿尔法混合(例如半透明的)叠加。例如，UI模块6可以输出第二键盘22作为文本显示区13或者诸如一个或多个文本建议区(未示出)的一个或多个其他区的阿尔法混合叠加。
手势模块8可以接收在UI设备4(例如存在敏感输入设备)处所检测到的连续手势28的第一部分34的指示。如图所示，第一部分34包括输入单元(例如手指)从对应于“P”键16的第一位置到对应于第一图形键盘14的“A”键18的UI设备4的位置的运动。手势模块8可以至少部分地基于连续手势28的第一部分34的指示而选择第一图形键盘14的“A”键18，如下进一步描述。
手势模块8可以接收在UI设备4处所检测到的连续手势28的第二部分36的指示。如图所示，第二部分36包括输入单元从对应于“A”键18的位置到对应于“5”键24的位置的运动。手势模块8可以至少部分地基于连续手势28的第二部分36的指示而选择第二图形键盘22的“5”键24。如图1中进一步所示，手势模块8可以继续至连续手势28的一个或多个部分并且选择第一图形键盘14和/或第二图形键盘22的一个或多个键，诸如第一图形键盘14的“S”键20。
手势模块8可以确定包括与所选键相关联的一个或多个字符的候选字符串。候选字符串可以包括与第一图形键盘14的键相关联的一个或多个字符以及与第二图形键盘22相关联的一个或多个字符。例如，手势模块8可以确定候选字符串38。如图所示，候选字符串38可以包括对应于第一图形键盘14的“A”键18的“A”字符40以及对应于第二图形键盘22的“5”键24的“5”字符42。
以这种方式，计算设备2可以提高用户可以提供手势输入以使用图形键盘选择文本的一个或多个字符的容易性。根据本文所述的技术，用户可以提供连续手势输入以选择第一图形键盘中所包括的一个或多个字母字符以及第二图形键盘中所包括的一个或多个非字母字符，而无需离散的手势输入以改变图形键盘的模式并且发起对应于非字母字符的可选键的显示。如此，所述技术可以潜在加快用户可以提供手势输入以使用计算设备选择包括字母和非字母文本的组合的文本的速率，由此潜在提高计算设备的易用性。
图2是图示根据本公开的一个或多个方面的在图1中所示的计算设备的一个示例的进一步细节的框图。图2仅图示计算设备2的一个特定示例，并且计算设备2的许多其他示例可以被使用于其他情况下。
如图2的特定示例中所示，计算设备2包括一个或多个处理器50、一个或多个输入设备52、UI设备4、一个或多个通信单元54、一个或多个输出设备56、以及一个或多个存储设备58。如图所示，计算设备2可以进一步包括UI模块6、手势模块8、辅助键盘模块10以及由计算设备2(例如由一个或多个处理器50)可执行的操作系统62。计算设备62可以进一步包括键区64和语言模型66。
组件4、50、52、54、56和58中的每一个均可以相互连接(物理地、通信地和/或操作地)以便在组件间进行通信。在一些示例中，通信信道60可以包括系统总线、网络连接、进程间通信的数据结构或者用于通信数据的任何其他方法。如图2中的一个示例，组件4、50、52、54、56和58可通过一个或多个通信信道60而耦合。UI模块6、手势模块8以及辅助模块10也可以彼此以及与诸如键区64和语言模型66的计算设备2的其他组件通信信息。
处理器50在一个示例中被配置成实现用于在计算设备2内执行的功能和/或处理指令。例如，处理器50可以能够处理在存储设备58中所存储的指令。处理器50的示例可以包括微处理器、控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者等同的离散或集成逻辑电路中的一个或多个。
存储设备58可以被配置成在操作期间存储计算设备2内的信息。存储设备58在一些示例中被描述为计算机可读存储介质。在一些示例中，存储设备58是暂时存储器，这表示存储设备58的主要目的不是长期存储。存储设备58在一些示例中被描述为易失存储器，意味着当关闭计算机时存储设备58不保存已存储的内容。易失存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)以及现有技术中已知的其他形式的易失存储器。在一些示例中，存储设备58被用于存储用于由处理器50执行的程序指令。存储设备58在一个示例中是由在计算设备2上运行的软件或者应用(例如辅助键盘模块10)使用以在程序执行期间暂时存储信息。
存储设备58在一些示例中还包括一个或多个计算机可读存储介质。存储设备58可以被配置成存储比易失存储器更大量的信息。存储设备58可以进一步被配置用于信息的长期存储。在一些示例中，存储设备58包括非易失性存储元件。这些非易失性存储元件的示例包括磁性硬盘、光盘、软盘、快闪存储器或者电可编程存储器(EPROM)或者电可擦除可编程存储器(EEPROM)的形式。
计算设备2在一些示例中还包括一个或多个通信单元54。计算设备2在一个示例中利用通信单元54经由诸如一个或多个无线网络的一个或多个网络与外部设备进行通信。通信单元54可以是网络接口卡，诸如以太网卡、光收发器、射频收发器或者任何其他类型的能够发送和接收信息的设备。这种网络接口的其他示例可以包括蓝牙、3G和WiFi无线电计算设备以及通用串行总线(USB)。在一些示例中，计算设备2利用通信单元54来与诸如服务器的外部设备进行无线通信。
计算设备2在一个示例中还包括一个或多个输入设备52。输入设备52在一些示例中被配置成通过触觉、音频或者视频反馈从用户接收输入。输入设备52的示例包括存在敏感显示器、存在敏感输入设备、鼠标、键盘、语音响应系统、视频相机、麦克风或者其他任何类型的用于检测来自用户的命令的设备。在一些示例中，存在敏感显示器包括触摸敏感屏幕。
一个或多个输出设备56也可以被包括在计算设备2中。输出设备56在一些示例中被配置成使用触觉、音频或者视频刺激向用户提供输出。输出设备56在一个示例中包括存在敏感显示器、声卡、视频图形适配器卡或者任何其他类型的用于将信号转换成人类或者机器可理解的适当形式的设备。输出设备56的另外示例包括扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或者任何其他类型的能够生成用户可理解的输出的设备。
在一些示例中，UI设备4可以包括输入设备52和/或输出设备56的功能。在一个示例中，UI设备4可以是触摸敏感屏幕。在图2的示例中，UI设备4可以是存在敏感显示器。在一些示例中，存在敏感显示器可以检测在存在敏感显示器的屏幕处和/或其附近的对象，诸如输入单元(例如用户的手指、笔、触控笔等)。作为一个示例范围，存在敏感显示器可以检测在存在敏感显示器的物理屏幕的2英寸或更短之内的输入单元。存在敏感显示器可以确定检测到输入单元处的存在敏感显示器的一个或多个位置(例如(x,y)坐标)。在另一示例范围内，存在敏感显示器可以检测距离存在敏感显示器的物理屏幕6英寸或更近的对象，并且其他示例范围也是可能的。存在敏感显示器可以使用电容、电感和/或光学识别技术来确定由输入单元所选择的显示器的位置。在一些示例中，存在敏感显示器使用如关于输出设备56所述的触觉、音频或者视频刺激而向用户提供输出。
计算设备2可以包括操作系统62。操作系统62在一些示例中控制计算设备2的组件的操作。例如，操作系统62在一个示例中促进UI模块6、手势模块8和/或辅助键盘模块10与处理器50、通信单元54、存储设备58、输入设备52和输出设备56的通信。UI模块6、手势模块8和/或辅助键盘模块10可以每个包括由计算设备可执行的程序指令和/或数据。作为一个示例，辅助键盘模块10可以包括使得计算设备2执行在本公开中所述的操作和动作中的一个或多个的指令。
计算设备2可以包括语言模型66。语言模型66可以包括词典。在一些示例中，词典可以包括词的列表并且可以包括有关所列词的附加信息。词典可以通过一个或多个数据结构表示，诸如由阵列、列表、树或者其他数据结构中的一个或多个表示。例如，语言模型66可以包括以特里数据结构存储的词典。在一些示例中，语言模型66可以是在计算设备2上所安装的默认词典。在一些示例中，语言模型66可以包括在计算设备2上所安装的一组预定义短语。在其他示例中，语言模型66可以包括多个词典源，其可以被存储在计算设备2处或者被存储在可经由一个或多个通信信道访问计算设备2的一个或多个远程计算设备处。在一些示例中，语言模型66可以被实施在计算设备2的固件中。
语言模型66可以包括语言模型频率信息，诸如n元语言模型。n元语言模型可以基于序列中之前的项为项的连续序列中的项xi(字母、词、标点符号或者其他定界符)提供概率分布(即P(xi|xi-(n-1),...,xi-1))。例如，双元语言模型(n元模型，其中n＝2)可以提供字母“i”跟随在字母序列“th”之后的概率。作为另一示例，双元语言模型可以提供词“than”跟随在词“better”之后的概率。在一些示例中，语言模型66包括带有集成的语言模型频率信息的词典特里。例如，词典特里的每个节点可以包括字母和概率值的表示。
本公开的技术可以提高用户能够将文本输入计算设备中的速度。使用本公开的技术，计算设备可以至少部分地基于输入上下文来确定输出第二图形键盘以与第一图形键盘同时显示。与第二键盘的至少一个键相关联的字符可以不同于与第一键盘的每个键相关联的每个字符。例如，第二键盘可以包括与非字母字符(例如数字和/或符号字符)相关联的一个或多个非字母键，所述非字母键不被包括在第一图形键盘中。因此，实施本公开的技术的计算设备可以使得用户能够提供连续手势输入以选择第一图形键盘的一个或多个键以及第二图形键盘的一个或多个键，而不需要单独离散的手势输入来改变第一图形键盘的模式以显示第二键盘中所包括的多个键。
UI模块6可以输出包括第一图形键盘的图形用户界面以显示，所述第一图形键盘包括第一多个键。例如，UI模块6可以输出包括“P”键16、“A”键18以及“S”键20的第一图形键盘14以在UI设备4处显示。辅助键盘模块10可以至少部分地基于输入上下文来确定显示包括第二多个键的第二图形键盘。例如，基于作为GUI 12的被配置成接收密码信息的区域的密码区26(例如GUI 12的活动输入区)的识别符，辅助键盘模块10可以确定输出第二图形键盘22。辅助键盘模块10可以输出第二图形键盘22，以与第一图形键盘14同时显示。与来自第二多个键的至少一个键相关联的字符可以不同于与来自第一多个键的每个键相关联的每个字符。例如，与第二键盘22的“5”键24相关联的“5”字符不同于与第一图形键盘14的每个键相关联的每个字符。
手势模块8可以接收在存在敏感输入设备处所检测到的连续手势的第一部分的指示。作为示例，手势模块8可以接收在UI设备4(例如存在敏感输入设备)处所检测到的连续手势28的第一部分34的指示。手势模块8可以至少部分地基于连续手势的第一部分从第一图形键盘的第一多个键中选择第一键作为第一所选键。例如，手势模块8可以至少部分地基于连续手势28的第一部分34来选择第一图形键盘14的“A”键18。
作为示例，用户可以执行手势以选择第一图形键盘14和第二图形键盘22中的一个或多个的一组键。响应于用户执行手势，UI设备4可以检测手势路径，诸如由图1的连续手势28所定义的手势路径，其可以作为手势路径数据而被UI模块6接收。手势模块8可以从UI模块6接收手势路径数据。在一些示例中，当由UI设备4检测到由连续手势28所定义的手势路径时，UI模块6递增地将手势路径数据发送至手势模块8。
手势模块8可以基于与手势路径数据相关联的多个特征来确定由手势穿过的一个或多个对齐点。在图1的示例中，手势模块8可以确定第一对齐点位于由连续手势28所定义的手势路径的起始处。在一些示例中，手势模块8可以确定沿着手势路径的点处的路径曲率。在这些示例中，手势模块8可以确定在高曲率位置的点(其中手势路径突然在该点处改变方向)更有可能是对齐点。在其他示例中，手势模块8可以确定中段曲率(沿着手势的两点之间的手势路径的最大曲率)。在另一示例中，手势模块8可以确定在高中段曲率位置的点不太可能是下一对齐点。在一些示例中，手势模块8可以基于手势路径被检测的速度来确定点是对齐点。在一些示例中，检测的较慢速率指示点是对齐点。在一些示例中，高中段曲率可以指示第一点与第二点之间存在角，暗示第二点不太可能是下一对齐点(即一点在中间错过)。
在一些示例中，对齐点可以基于两个或多个点间的手势段的点与从第一键到第二键的理想直线之间的最大距离。理想直线可以是例如从第一键到第二键的最短距离路径。出于更佳对齐而言，最大距离可以很小，指明手势段没有偏离理想直线。
对于每个对齐点，手势模块8可以为第一图形键盘14和第二图形键盘22中的一个或多个中所包括的多个键中的至少两个键中的每一个确定相应成本值。相应成本值中的每一个均可以表示对齐点指示多个键中的一个键的概率。在一些示例中，手势模块8通过将相应物理成本值与相应词典成本值进行比较来确定相应成本值，如下进一步描述。
手势模块8可以为多个键中的至少两个键中的每一个确定相应物理成本值。相应物理成本值中的每一个均可以表示对齐点的物理特征指示多个键中的一个键的物理特征的概率。例如，手势模块8可以通过评估对齐点与键的键盘位置之间的欧几里得距离来确定相应物理成本值。
多个键的物理特征可以被包括在键区64中。例如，键区64可以包括：对于第一图形键盘14的第一多个键以及第二图形键盘22的第二多个键中的每个键，对应于其中显示每个键的第一图形键盘14和/或第二图形键盘22的位置和/或区域的一组坐标。在图1的示例中，手势模块8可以基于第一对齐点与“A”键18之间的欧几里得距离来确定第一物理成本值。在一些示例中，手势模块8可以通过将第一对齐点和第二对齐点之间的欧几里得距离与由第一对齐点所指示的第一字母和可以由第二对齐点所表示的第二字母之间的欧几里得距离进行比较，来确定物理成本值。手势模型8可以确定第二字母的成本值与距离之差成反比(即在距离更相似的情况下，第二字母更可能)。例如，更短的距离可以暗示更佳的对齐。
手势模块8还可以通过为多个键中的至少两个键中的每一个确定相应词典成本值来确定相应成本值。相应词典成本值中的每一个均可以表示由多个键中的一个键所表示的字母被包括在候选词中的概率。词典成本值可以是基于语言模型66。例如，词典成本值可以表示给定字母基于语言模型66中所包括的可能词而被选择的可能性。
在一些示例中，手势模块8可以通过结合相应物理成本值与相应词典成本值来确定相应成本值，诸如通过将相应物理成本值与相应词典成本值相加以确定组合成本值。例如，响应于确定第一图形键盘14和第二图形键盘22中的一个或多个的键与最低的组合成本值相关联，手势模块8可以选择该键。
在一些示例中，手势模块8可以基于相应物理成本值但并不基于相应词典成本值来确定相应成本值。例如，诸如包括非字母字符(例如数字和/或符号字符)的那些字符串的某些字符串可能不以语言模型66中所包括的词典来表示。因此，包括非字母字符的字符串，例如包括非字母字符、日期、时间等的密码，可能与高词典成本值相关联(例如指示字符串的低概率)，由此降低会基于手势路径数据而将与字符串相关联的键确定为所选键的可能性。如此，在一些示例中，诸如当输入上下文(例如，诸如密码区、日期区、时间区等的能够接收输入的输入区的识别符)指示非字母字符可能被选择时，手势模块8可以基于相应物理成本值但不基于相应词典成本值来确定相应成本值。在一些示例中，手势模块8可以在不将候选字符串与指示候选字符串表示词典中所包括的词的概率的语言模型(例如语言模型66)进行比较的情况下来确定相应成本值以及相关联的候选字符串。
在一些示例中，手势模块8可以至少部分地基于输入上下文来输出从第一图形键盘(例如第一图形键盘14)的第一多个键以及第二图形键盘(例如第二图形键盘22)的第二多个键中的一个或多个键来选择至少一个键的概率的指示。例如，手势模块8可以输出热图，以在第一图形键盘14和第二图形键盘22中的一个或多个处显示。热图可以指示选择至少一个键的概率，诸如通过输出与选择至少一个键的概率成比例的、在对应于至少一个键的区域处所显示的数个点的密度(例如更高的密度指示选择的更高概率)，输出与选择至少一个键的概率成比例的、对应于至少一个键的区域的颜色(例如从指示选择的低概率的绿色到指示选择的高概率的红色的色标)。以这种方式，手势模块8可以输出选择至少一个键的概率的指示以补偿由于从语言模型66接收的信息的缺乏所致的预测准确性的降低。
手势模块8可以接收在存在敏感输入设备处所检测到的连续手势的第二部分的指示。例如，手势模块8可以接收在UI设备4(例如存在敏感输入设备)处所检测到的连续手势28的第二部分36的指示。手势模块8可以至少部分地基于连续手势的第二部分从第二图形键盘的第二多个键中选择第二键作为第二所选键。例如，手势模块8可以至少部分地基于与由连续手势28的第二部分36所定义的手势路径数据相关联的一个或多个成本值(例如物理成本值)来选择第二键盘22的“5”键24。
以这种方式，本公开的技术可以使得用户能够提供连续手势输入以选择诸如包括与字母字符相关联的键的第一图形键盘的第一图形键盘的一个或多个键以及诸如包括与不与第一图形键盘的键中的任何一个相关联的一个或多个字符相关联的键的第二图形键盘的第二图形键盘的一个或多个键。因此，实施本公开的技术的计算设备可以潜在提高用户可以输入文本的速率，诸如包括字母和非字母字符的组合的文本。以这种方式，所述技术可以提高计算设备的易用性。
图3是图示根据本公开的一个或多个方面的示例计算设备的框图，该计算设备输出图形内容以在远程设备处显示。图形内容通常可以包括可以被输出以显示的任何视觉信息，诸如文本、图像、一组运动图像等。在图3中所示的示例包括计算设备80、存在敏感显示器82、通信单元84、投影仪96、投影仪屏幕98、平板设备102以及视觉显示设备106。尽管出于图1和2中示例的目的示为独立的计算设备2，但计算设备通常可以是包括用于执行软件指令的处理器或者其他适当计算环境的任何组件或者系统，并且例如无需包括存在敏感显示器。
如图3的示例所示，计算设备80可以是包括关于图2中的处理器80所述的功能的处理器。在这些示例中，计算设备80可以通过通信信道86A操作地耦合至存在敏感显示器82，所述通信信道86A可以是系统总线或者其他适当的连接。计算设备80还可以通过通信信道86B操作地耦合至下文进一步描述的通信单元84，所述通信信道86B也可以是系统总线或者其他适当的连接。尽管单独示为图3中的示例，但计算设备80可以通过任何数目的一个或多个通信信道操作地耦合至存在敏感显示器82和/或I/O设备84。
在其他示例中，诸如先前在图1-2中所示，计算设备80可以指代便携式或者移动设备，诸如移动电话(包括智能电话)、膝上型计算机等。在一些示例中，计算设备80可以是桌面型计算机、平板计算机、智能电视平台、相机、个人数字助理(PDA)、服务器以及大型机等。
存在敏感显示器82如同如在图1中所示的UI设备4一般可以包括显示设备83以及存在敏感输入设备85。显示设备83可以例如从计算设备80接收数据并且显示图形内容。在一些示例中，存在敏感输入设备85可以使用电容、电感和/或光学识别技术来确定在存在敏感显示器82处的一个或多个用户输入(例如连续手势、多触摸手势、单触摸手势等)并且使用通信信道86A将这样的用户输入的指示发送至计算设备80。在一些示例中，存在敏感输入设备85可以在物理上被定位于显示设备83的顶部，使得当用户将输入单元定位在由显示设备83所显示的图形元素之上时，存在敏感输入设备85所处的位置对应于显示设备83的显示图形元素处的位置。
如图3中所示，计算设备80还可以包括通信单元84并且/或者操作地与其耦合。通信单元84可以包括如在图2中所述的通信单元54的功能。通信单元84的示例可以包括网络接口卡、以太网卡、光收发器、射频收发器或者任何其他类型的能够发送和接收信息的设备。这样的通信单元的其他示例可以包括蓝牙、3G、WiFi无线电、通用串行总线(USB)接口等。计算设备80还可以包括出于简明和说明目的而未在图3中示出的例如输入设备、输出设备、存储器、存储设备等的一个或多个其他设备并且/或者操作地与其耦合。
图3还图示投影仪96和投影仪屏幕98。投影设备的其他这样的示例可以包括电子白板、全息显示设备以及用于显示图形内容的任何其他适当设备。投影仪96和投影屏幕98可以包括使得相应设备能够与计算设备80进行通信的一个或多个通信单元。在一些示例中，所述一个或多个通信单元可以使得投影仪96与投影仪屏幕98之间能够通信。投影仪96可以从计算设备80接收数据，其包括图形内容。响应于接收到数据，投影仪96可以将图形内容投影至投影仪屏幕98上。在一些示例中，投影仪96可以使用光学识别或者其他适当技术来确定投影仪屏幕处的一个或多个用户输入(例如连续手势、多触摸手势、单触摸手势)并且使用一个或多个通信单元将这样的用户输入的指示发送至计算设备80。
投影仪屏幕98在一些示例中可以包括存在敏感显示器100。存在敏感显示器100可以包括如在本公开所述的UI设备4的功能的子集或者全部功能。在一些示例中，存在敏感显示器100可以包括附加功能。投影仪屏幕98(例如电子白板)可以从计算设备80接收数据并且显示图形内容。在一些示例中，存在敏感显示器100可以使用电容、电感和/或光学识别技术来确定投影仪屏幕98处的一个或多个用户输入(例如连续手势、多触摸手势、单触摸手势等)并且使用一个或多个通信单元将这样的用户输入的指示发送至计算设备80。
图3还图示平板设备102和视觉显示设备106。平板设备102和视觉显示设备106可以每个包括计算和连接能力。平板设备102的示例可以包括电子阅读器设备、可变形笔记本设备、混合平板设备等。视觉显示设备106的示例可以包括电视、计算机显示器等。如图3中所示，平板设备102可以包括存在敏感显示器104。视觉显示设备106可以包括存在敏感显示器108。存在敏感显示器104、108可以包括如在本公开所述的UI设备4的功能的子集或者全部功能。在一些示例中，存在敏感显示器104、108可以包括附加功能。在任何情况下，存在敏感显示器108例如可以从计算设备80接收数据并且显示图形内容。在一些示例中，存在敏感显示器108可以使用电容、电感和/或光学识别技术来确定投影仪屏幕处的一个或多个用户输入(例如连续手势、多触摸手势、单触摸手势等)并且使用一个或多个通信单元将这样的用户输入的指示发送至计算设备80。
如上所述，在一些示例中，计算设备80可以输出图形内容以在通过系统总线或者其他适当的通信信道耦合至计算设备80的存在敏感显示器82处显示。计算设备80还可以输出图形内容以在一个或多个远程设备处显示，诸如投影仪96、投影仪屏幕98、平板设备102以及视觉显示设备106。例如，计算设备80可以根据本公开的技术执行一个或多个指令以生成和/或修改图形内容。计算设备80可以将包括图形内容的数据输出至计算设备80的通信单元，诸如通信单元84。通信单元84可以将数据发送至诸如投影仪96、投影仪屏幕98、平板设备102和/或视觉显示设备106的远程设备中的一个或多个。以这种方式，处理器102可以输出图形内容以在远程设备中的一个或多个处显示。在一些示例中，远程设备中的一个或多个可以在被包括在相应远程设备中和/或与之操作地耦合的存在敏感显示器处输出图形内容。
在一些示例中，计算设备80可以不在操作地耦合至计算设备80的存在敏感显示器82处输出图形内容。在其他示例中，计算设备80可以输出图形内容以在通过通信信道86A耦合至计算设备80的存在敏感显示器82处以及一个或多个远程设备处显示。在这样的示例中，图形内容可以在每个相应设备处基本上同时显示。例如，可能由于向远程设备发送包括图形内容的数据的通信延时而引入某个延迟。在一些示例中，由计算设备80生成并且输出以在存在敏感显示器82处显示的图形内容可以不同于被输出以在一个或多个远程设备处显示的图形内容显示。
计算设备80可以使用任何适当的通信技术发送和接收数据。例如，计算设备80可以使用网络链路88A操作地耦合至外部网络90。图3中所示的远程设备中的每一个均可以通过相应网络链路88B、88C和88D中的一个操作地耦合至外部网络90。外部网络90可以包括网络集线器、网络交换机、网络路由器等，它们操作地互相耦合，由此在计算设备80与图3中所示的远程设备之间提供信息交换。在一些示例中，网络链路88A-88D可以是以太网、ATM或者其他网络连接。这样的连接可以是无线和/或有线连接。
在一些示例中，计算设备80可以使用直接设备通信94操作地耦合至图3中所包括的远程设备中的一个或多个。直接设备通信94可以包括计算设备使用有线或者无线通信通过其直接与远程设备发送和接收数据的通信。亦即，在直接设备通信94的一些示例中，由计算设备80所发送的数据在远程设备处被接收之前可以不被一个或多个另外的设备转发，反之亦然。直接设备通信94的示例可以包括蓝牙、近场通信、通用串行总线、WiFi、红外等。图3中所示的远程设备中的一个或多个可以通过通信链路92A-92D与计算设备80操作地耦合。在一些示例中，通信链路88A-88D可以是使用蓝牙、近场通信、通用串行总线、红外等的连接。这样的连接可以是无线和/或有线的连接。
根据本公开的技术，计算设备80可以使用外部网络90操作地耦合至视觉显示设备106。计算设备80可以输出包括例如包括第一多个键的第一图形键盘的图形用户界面以在存在敏感显示器108处显示。例如，计算设备80可以将包括图形用户界面的表示的数据发送至通信单元84。通信单元84可以使用外部网络90将包括图形用户界面的表示的数据发送至视觉显示设备106。响应于使用外部网络90接收到该数据，视觉显示设备106可以使得存在敏感显示器108输出该图形用户界面。计算设备80可以至少部分地基于输入上下文来确定显示包括第二多个键的第二图形键盘。计算设备80可以输出第二图形键盘，以与第一图形键盘同时显示。例如，计算设备80可以将包括第二图形键盘的表示的数据发送至通信单元84，该通信单元84可以使用外部网络90将数据发送至视觉显示设备106。响应于接收到数据，视觉显示设备106可以使得存在敏感显示器108与第一图形键盘同时显示第二图形键盘。
响应于用户在存在敏感显示器108处执行连续手势以选择第一图形键盘和第二图形键盘的一个或多个键，视觉显示设备106可以使用外部网络90将手势输入的指示发送至计算设备80。通信单元84可以接收手势输入的指示并且将该指示发送至计算设备80。
计算设备80可以至少部分地基于手势输入的第一部分的指示从第一图形键盘的第一多个键中选择第一键作为第一所选键。计算设备80可以至少部分地基于手势输入的第二部分的指示从第二图形键盘的第二多个键中选择第二键作为第二所选键。在一些示例中，计算设备80可以确定包括与第一所选键相关联的至少一个字符以及与第二所选键相关联的至少一个字符的候选字符串。计算设备80可以在一些示例中输出候选字符串以在视觉显示设备106处显示。例如，计算设备80可以将包括候选字符串的数据发送至通信单元84，该通信单元84进而使用外部网络90将数据发送至视觉显示设备106。在接收到数据之后，视觉显示设备106可以使得存在敏感显示器108在图形用户界面内显示候选字符串。根据本公开的技术，以这种方式，处理器102可以输出候选字符串以在存在敏感屏幕108处显示。
图4A-4B是图示根据本公开的一个或多个方面的示例计算设备的框图，该计算设备可以被用于输出第二图形键盘以与第一图形键盘同时显示。图4A图示计算设备输出包括第一图形键盘的图形用户界面以显示并且接收手势输入的指示的示例。图4B图示图4A的计算设备输出第二图形键盘以与第一图形键盘同时显示的示例。亦即，当一起考虑时，图4A-4B图示计算设备输出包括第一图形键盘的图形用户界面以显示、接收手势输入的指示、并且响应于接收到手势输入的指示而输出第二图形键盘以在图形用户界面内与第一图形键盘同时显示的示例。出于图示目的，图4A-4B的示例在图1-2的计算设备2的上下文内进行描述。
如图4A中所示，UI模块6可以输出包括第一图形键盘112的GUI 110。如图所示，第一图形键盘112可以包括第一多个键，诸如“P”键112和“A”键114。GUI 110可以包括底部区118和顶部区120。底部区118和顶部区120可以被认为相对于GUI 110的方向而言的底部和顶部区域，诸如用户可以在观看GUI 110时阅读在GUI 110内所显示的文本的GUI 110的方向。亦即，底部区118可以被认为GUI 110的相对于在GUI 110处所呈现的文本方向的底部区。类似地，顶部区120可以被认为GUI 110的相对于在GUI 110处所呈现的文本方向的顶部区，使得观看GUI 110的用户会自然从左到右并从顶部区120到底部区118阅读在GUI 110内所显示的文本。底部区118和顶部区120可以是GUI 110的任何区域，使得底部区118相对于GUI 110的方向而处于顶部区120下方。
手势模块8可以接收连续手势124的部分122的指示。如图所示，连续手势124可以包括输入单元从第一位置126到第二位置128到第三位置130的运动。部分122可以包括输入单元从第二位置128到第三位置130的运动。手势模块8可以确定连续手势124的部分122包括输入单元在从底部区118到顶部区120的方向上从对应于GUI 110的与第一图形键盘112相关联的位置(例如GUI 110的包括第一图形键盘112的区域内的位置)的第二位置128到对应于不与第一图形键盘112相关联的位置(例如GUI 110的不包括第一图形键盘112的区域内的位置)的第三位置130的运动。作为响应，手势模块8可以使得辅助键盘模块10输出包括第二多个键的第二图形键盘，以与第一图形键盘112同时显示。以这种方式，响应于接收到包括在GUI 110的包括第一图形键盘112的区域之外在从GUI 110的底部区至GUI 110的顶部区的方向上延伸的运动的手势输入(例如从第一图形键盘的“顶部离开”延伸的手势)，辅助键盘模块10可以输出第二图形键盘。
如图4B中所示，辅助键盘模块10可以输出第二图形键盘132，以与第一图形键盘112同时显示。亦即，辅助键盘模块10可以在UI设备4在GUI 110内显示第一图形键盘112的同时使得UI设备4在GUI 110内显示第二图形键盘132。如图所示，第二图形键盘132可以包括第二多个键，诸如“@”键134和“5”键136。以这种方式，辅助键盘模块10可以输出第二图形键盘132以与第一图形键盘112同时显示，使得与第二图形键盘132的至少一个键相关联的至少一个字符不同于与第二图形键盘112的每个键相关联的每个字符。
图5A-5B是图示根据本公开的一个或多个方面的示例计算设备的框图，该计算设备可以被用于输出第二图形键盘以与第一图形键盘同时显示。图5A图示计算设备输出包括第一图形键盘的图形用户界面以显示并且接收手势输入的指示的示例。图5B图示图5A的计算设备输出第二图形键盘以与第一图形键盘同时显示的示例。亦即，当一起考虑时，图5A-5B图示计算设备输出包括第一图形键盘的图形用户界面以显示、接收手势输入的指示、并且响应于接收到手势输入的指示而输出第二图形键盘以在图形用户界面内与第一图形键盘同时显示的示例。出于图示目的，图5A-5B的示例在图1-2的计算设备2的上下文内进行描述。
如图5A中所示，UI模块6可以输出包括第一图形键盘142的GUI 140。如图所示，第一图形键盘142可以包括第一多个键，诸如“P”键144、“A”键146和“？123”键148。手势模块8可以接收连续手势152的指示部分150。如图所示，连续手势152可以包括输入单元从第一位置154到第二位置156到第三位置158的运动。部分150可以包括输入单元从第二位置156到第三位置158的运动。
手势模块8可以根据本文所述的技术至少部分地基于连续手势152的部分150来选择“？123”键148。“？123”键148可以与第一图形键盘142的替选字符功能相关联，以致手势模块8使得辅助键盘模块10响应于选择“？123”键148而输出包括不同于与来自第一图形键盘142的每个键相关联的每个字符的至少一个字符的图形键盘的一个或多个键。
如图5B中所示，响应于选择“？123”键148，手势模块8可以使得辅助键盘模块10输出第二图形键盘160以与第一图形键盘142同时显示。如图所示，第二图形键盘160可以包括第二多个键，诸如“@”键162和“5”键164。以这种方式，辅助键盘模块10可以输出第二图形键盘160以与第一图形键盘142同时显示，使得与第二图形键盘160的至少一个键相关联的至少一个字符不同于与第一图形键盘142的每个键相关联的每个字符。在一些示例中，第二图形键盘160的显示可以通过图4A-5B中所示技术中的一个或其组合来触发。
图6图示根据本公开的一个或多个方面的示例计算设备，该计算设备可以被用于输出第二图形键盘以与第一图形键盘同时显示。根据本文所公开的技术，如图6中所示，辅助键盘模块10可以输出第一图形键盘172和第二图形键盘174，以在GUI 170内显示。第一图形键盘172和第二图形键盘174中的每一个均可以包括多个键。
辅助键盘模块10可以至少部分地基于输入上下文来确定在第二键盘174中所包括的第二多个键的布置。例如，如图6所示，辅助键盘模块10可以确定第二多个键的布置，包括在第一行176、第二行178和第三行180中所包括的布置。作为示例，辅助键盘模块10可以接收密码区182作为GUI 170的活动输入区的识别符的指示。响应于接收到密码区182的识别符的指示，辅助键盘模块10可以确定在第二键盘174中所包括的第二多个键的所示布置包括位置最接近第一图形键盘172的第一行176中所包括的数字键。以这种方式，辅助键盘模块10可以将通过输入上下文所确定的更有可能被选择的那些键(例如数字键)定位在最接近第一图形键盘172的位置。如此，辅助键盘模块10可以使得用户能够提供手势输入以选择更有可能被选择的那些键，以使那些键与第一图形键盘172之间的距离最小化。
虽然在图6的示例中，在第二键盘174中所包括的第二多个图形键是关于行内的键以及第二图形键盘174内的行的布置所图示的，但本公开的方面不限于此。例如，辅助键盘模块10可以确定其他布置，诸如将符号键(例如非数字键)定位为更靠近第一图形键盘172的布置。类似地，在一些示例中，辅助键盘模块10可以确定包括更靠近第一图形键盘172的一个或多个数字键和/或一个或多个符号键的布置，诸如在第一行176内。
辅助键盘模块10可以至少部分地基于输入上下文来确定第二多个键的布置。例如，响应于接收到与日期区相关联的输入区的识别符的指示，辅助键盘模块10可以确定将通常用于日期输入的符号(例如“/”键)定位为更靠近第一图形键盘172的第二多个键的布置。
以这种方式，辅助键盘模块10可以至少部分地基于输入上下文来确定在第二键盘174中所包括的第二多个键的布置，以使在对应于输入上下文的文本输入期间通常所用的键被定位成比在对应于输入上下文的文本输入期间不太常用的键更靠近第一键盘172。如此，辅助键盘模块10可以有助于减短由手势路径穿过以选择在第一键盘172中所包括的至少一个键以及在第二键盘174中所包括的至少一个键的长度。因此，根据本文所述的技术，辅助键盘模块10可以有助于提高用户可以使用计算设备输入文本的速率。
图7是图示根据本公开的一个或多个方面的计算设备的示例操作的流程图，该计算设备可以被用于输出第二图形键盘以与第一图形键盘同时显示。仅出于图示目的，如图1和2中所示，所述示例操作在下文中在计算设备2的上下文内进行描述。
在计算设备2的一个或多个处理器50上执行的UI模块6可以输出包括第一图形键盘的图形用户界面以显示，该第一图形键盘包括第一多个键(190)。例如，UI模块6可以输出包括第一图形键盘14的GUI 12，以在UI设备4处显示。第一图形键盘14可以包括第一多个键，诸如“P”键16、“A”键18和“S”键20。
辅助键盘模块10可以至少部分地基于输入上下文来确定输出包括第二多个键的第二图形键盘(192)。作为示例，辅助键盘模块10可以至少部分地基于包括密码区26的识别符的输入上下文来确定显示第二键盘22。UI模块6可以输出第二图形键盘，以与第一图形键盘同时显示(194)。与来自第二多个键的至少一个键相关联的字符可以不同于与来自第一多个键的每个键相关联的每个字符。例如，UI模块6可以输出第二键盘22以与第一图形键盘14同时显示。第二键盘22可以包括第二多个键。与来自第二多个键的至少一个键相关联的字符(例如与“5”键24相关联的“5”字符)可以不同于与来自在第一图形键盘14中所包括的第一多个键的每个键相关联的每个字符。
手势模块8可以接收在存在敏感输入设备处所检测到的连续手势的第一部分的指示(194)。例如，手势模块8可以接收在UI设备4(例如存在敏感输入设备)处所检测到的连续手势28的第一部分34的指示。手势模块8可以至少部分地基于连续手势的第一部分来从第一图形键盘的第一多个键中选择第一键作为第一所选键(196)。例如，手势模块8可以至少部分地基于连续手势28的第一部分34来从第一图形键盘14的第一多个键中选择“A”键18作为第一所选键。
手势模块8可以接收在存在敏感输入设备处所检测到的连续手势的第二部分的指示(198)。作为示例，手势模块8可以接收在UI设备4处所检测到的连续手势28的第二部分36的指示。手势模块8可以至少部分地基于连续手势的第二部分而从第二图形键盘的第二多个键中选择第二键作为第二所选键(200)。例如，手势模块8可以至少部分地基于连续手势28的第二部分36来从第二图形键盘22的第二多个键中选择“5”键24。
在一个示例中，输入上下文包括能够接收输入的输入区的识别符。在一个示例中，输入区的识别符包括密码区、统一资源定位符(URL)区、电子邮件地址区、颜色区、日期区、日期时间区、本地日期时间区、月份区、数字区、范围区、搜索区、电话号码区、时间区以及星期区中的至少一个区的识别符。在一个示例中，操作进一步包括由计算设备2确定候选字符串，其中候选字符串至少包括与第一所选键相关联的第一字符以及与第二所选键相关联的第二字符。
在一个示例中，确定候选字符串包括在不将候选字符串与指示候选字符串表示词典中所包括的词的概率的语言模型进行比较的情况下确定候选字符串。在一个示例中，操作进一步包括由计算设备2接收在存在敏感输入设备处所检测到的连续手势的第三部分的指示，其中接收连续手势的第三部分的指示包括在接收连续手势的第二部分的指示之前接收连续手势的第三部分的指示。在这样的示例中，确定显示第二图形键盘进一步包括至少部分地基于由计算设备2确定连续手势的第三部分包括从对应于第一图形键盘的第一位置的存在敏感输入设备的第一位置到对应于图形用户界面的不与第一图形键盘相关联的第二位置的存在敏感输入设备的第二位置的运动来确定显示第二图形键盘。
在一个示例中，图形用户界面的第二位置包括相对于图形用户界面的方向被定位在图形用户界面的顶部区内的图形用户界面的位置。在一个示例中，操作进一步包括由计算设备2接收在存在敏感输入设备处所检测到的连续手势的第三部分的指示，其中接收连续手势的第三部分的指示包括在接收连续手势的第二部分的指示之前接收连续手势的第三部分的指示，并且由计算设备2至少部分地基于连续手势的第三部分的指示选择与第一图形键盘的替选符号功能相关联的第一图形键盘的第三键。在这样的示例中，确定显示第二图形键盘进一步包括至少部分地基于选择第一图形键盘的第三键来确定输出第二图形键盘。
在一个示例中，图形用户界面包括包含第一图形键盘的第一部分以及包括文本建议区和文本显示区中的一个或多个区的第二不同部分。在这样的示例中，输出第二图形键盘以与第一图形键盘同时显示进一步包括输出第二图形键盘以在图形用户界面的第二部分内显示为文本建议区和文本输入区中的一个或多个区的阿尔法混合叠加。
在一个示例中，输出第二图形键盘以与第一图形键盘同时显示进一步包括至少部分地基于输入上下文来确定第二图形键盘的第二多个键的布置，并且根据所确定的第二图形键盘的第二多个键的布置来输出第二图形键盘以与第一图形键盘同时显示。在一个示例中，输出第二图形键盘以与第一图形键盘同时显示进一步包括输出从第二图形键盘的第二多个键中选择至少一个键的概率的指示，以在第二图形键盘处显示。
示例1、一种方法，包括：由计算设备输出包括第一图形键盘的图形用户界面以显示，所述第一图形键盘包括第一多个键，来自所述第一多个键的每个键均与来自第一多个字符的相应字符相关联；由所述计算设备至少部分地基于输入上下文来确定输出包括第二多个键的第二图形键盘，来自所述第二多个键的每个键均与来自第二多个字符的相应字符相关联，其中来自所述第二多个字符的至少一个字符不同于来自所述第一多个字符的每个字符；由所述计算设备输出所述第二图形键盘以与所述第一图形键盘同时显示；由所述计算设备接收在存在敏感输入设备处所检测到的连续手势的第一部分的指示；由所述计算设备至少部分地基于所述连续手势的所述第一部分从所述第一图形键盘的所述第一多个键中选择第一键作为第一所选键；由所述计算设备接收在所述存在敏感输入设备处所检测到的所述连续手势的第二部分的指示；以及由所述计算设备至少部分地基于所述连续手势的所述第二部分从所述第二图形键盘的所述第二多个键中选择第二键作为第二所选键。
示例2、如示例1所述的方法，其中，所述输入上下文包括能够接收输入的输入区的识别符。
示例3、如示例1至2中任一项所述的方法，其中，所述输入区的所述识别符包括密码区、统一资源定位符(URL)区、电子邮件地址区、颜色区、日期区、日期时间区、本地日期时间区、月份区、数字区、范围区、搜索区、电话号码区、时间区以及星期区中的至少一个区的识别符。
示例4、如示例1至3中任一项所述的方法，进一步包括：由所述计算设备确定候选字符串，其中所述候选字符串至少包括与所述第一所选键相关联的第一字符以及与所述第二所选键相关联的第二字符。
示例5、如示例1至4中任一项所述的方法，其中，确定所述候选字符串包括在不将所述候选字符串与指示所述候选字符串表示词典中所包括的词的概率的语言模型进行比较的情况下确定所述候选字符串。
示例6、如示例1至5中任一项所述的方法，进一步包括：由所述计算设备接收在所述存在敏感输入设备处所检测到的所述连续手势的第三部分的指示，其中接收所述连续手势的所述第三部分的所述指示包括在接收所述连续手势的所述第二部分的所述指示之前接收所述连续手势的所述第三部分的所述指示，以及其中，确定输出所述第二图形键盘进一步包括至少部分地基于由所述计算设备确定所述连续手势的所述第三部分包括从与所述第一图形键盘的第一位置相对应的所述存在敏感输入设备的第一位置到与所述图形用户界面的不与所述第一图形键盘相关联的第二位置相对应的所述存在敏感输入设备的第二位置的运动来确定输出所述第二图形键盘。
示例7、如示例1至6中任一项所述的方法，其中，所述图形用户界面的所述第二位置包括相对于所述图形用户界面的方向被定位在所述图形用户界面的顶部区内的所述图形用户界面的位置。
示例8、如示例1至7中任一项所述的方法，进一步包括：由所述计算设备接收在所述存在敏感输入设备处所检测到的所述连续手势的第三部分的指示，其中接收所述连续手势的所述第三部分的所述指示包括在接收所述连续手势的所述第二部分的所述指示之前接收所述连续手势的所述第三部分的所述指示；以及由所述计算设备至少部分地基于所述连续手势的所述第三部分的所述指示选择与所述第一图形键盘的替选字符功能相关联的所述第一图形键盘的第三键，其中，确定显示所述第二图形键盘进一步包括至少部分地基于选择所述第一图形键盘的所述第三键来确定输出所述第二图形键盘。
示例9、如示例1至8中任一项所述的方法，其中，所述图形用户界面包括包含所述第一图形键盘的第一部分以及包括文本建议区和文本显示区中的一个或多个区的第二不同部分，以及其中，输出所述第二图形键盘以与所述第一图形键盘同时显示进一步包括输出所述第二图形键盘以在所述图形用户界面的所述第二部分内显示为所述文本建议区和所述文本显示区中的一个或多个区的阿尔法混合叠加。
示例10、如示例1至9中任一项所述的方法，其中，输出所述第二图形键盘以与所述第一图形键盘同时显示进一步包括：至少部分地基于所述输入上下文来确定所述第二图形键盘的所述第二多个键的布置；以及根据所确定的所述第二图形键盘的所述第二多个键的布置来输出所述第二图形键盘以与所述第一图形键盘同时显示。
示例11、如示例1至10中任一项所述的方法，其中，输出所述第二图形键盘以与所述第一图形键盘同时显示进一步包括输出从所述第二图形键盘的所述第二多个键中选择至少一个键的概率的指示以在所述第二图形键盘处显示。
示例12、一种设备，包括：至少一个处理器；以及至少一个模块，所述至少一个模块能由所述至少一个处理器操作以：输出包括第一图形键盘的图形用户界面以显示，所述第一图形键盘包括第一多个键；至少部分地基于输入上下文来确定输出包括第二多个键的第二图形键盘；输出所述第二图形键盘以与所述第一图形键盘同时显示，其中与来自所述第二多个键的至少一个键相关联的字符不同于与来自所述第一多个键的每个键相关联的每个字符；接收在存在敏感输入设备处所检测到的连续手势的第一部分的指示；至少部分地基于所述连续手势的所述第一部分从所述第一图形键盘的所述第一多个键中选择第一键作为第一所选键；接收在所述存在敏感输入设备处所检测到的所述连续手势的第二部分的指示；以及至少部分地基于所述连续手势的所述第二部分从所述第二图形键盘的所述第二多个键中选择第二键作为第二所选键。
示例13、如示例12所述的设备，其中，所述至少一个模块能由所述至少一个处理器操作以执行如示例2-11中的任一项所述的方法。
示例14、一种编码有指令的计算机可读存储介质，所述指令在被执行时使得计算设备的至少一个处理器：输出包括第一图形键盘的图形用户界面以显示，所述第一图形键盘包括第一多个键；至少部分地基于输入上下文来确定输出包括第二多个键的第二图形键盘；输出所述第二图形键盘以与所述第一图形键盘同时显示，其中与来自所述第二多个键的至少一个键相关联的字符不同于与来自所述第一多个键的每个键相关联的每个字符；接收在存在敏感输入设备处所检测到的连续手势的第一部分的指示；至少部分地基于所述连续手势的所述第一部分从所述第一图形键盘的所述第一多个键中选择第一键作为第一所选键；接收在所述存在敏感输入设备处所检测到的所述连续手势的第二部分的指示；以及至少部分地基于所述连续手势的所述第二部分从所述第二图形键盘的所述第二多个键中选择第二键作为第二所选键。
示例15、如示例14所述的计算机可读存储介质，被编码有指令，所述指令在被执行时使得所述计算设备的至少一个处理器执行如示例2-11中的任一项所述的方法。
示例16、一种设备，包括：用于输出包括第一图形键盘的图形用户界面以显示的装置，所述第一图形键盘包括第一多个键；用于至少部分地基于输入上下文来确定输出包括第二多个键的第二图形键盘的装置；用于输出所述第二图形键盘以与所述第一图形键盘同时显示的装置，其中与来自所述第二多个键的至少一个键相关联的字符不同于与来自所述第一多个键的每个键相关联的每个字符；用于接收在存在敏感输入设备处所检测到的连续手势的第一部分的指示的装置；用于至少部分地基于所述连续手势的所述第一部分从所述第一图形键盘的所述第一多个键中选择第一键作为第一所选键的装置；用于接收在所述存在敏感输入设备处所检测到的所述连续手势的第二部分的指示的装置；以及用于至少部分地基于所述连续手势的所述第二部分从所述第二图形键盘的所述第二多个键中选择第二键作为第二所选键的装置。
示例17、如示例16所述的设备，包括用于执行如示例2-11中的任一项所述的方法的装置。
本公开所述的技术可以至少部分地以硬件、软件、固件或者其任意组合来实施。例如，所述技术的各个方面可以被实施在一个或多个处理器内，其包括一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或者其他等同的集成或离散逻辑电路，以及这种组件的任意组合。术语“处理器”或者“处理电路”一般可以指代单独或者结合其他逻辑电路的上述逻辑电路中的任意电路，或者任意其他等同电路。包括硬件的控制单元也可以执行本公开的技术中的一个或多个。
这样的硬件、软件和固件可以被实施在相同设备内或者在分立设备内以支持本公开中所述的各种技术。此外，所述的单元、模块或者组件中的任何一个都可以共同或单独被实施为离散但能够交互操作的逻辑设备内。将不同特征描述为模块或者单元意在强调不同的功能方面而不必然暗示这样的模块或者单元必须由分立的硬件、固件或者软件组件来实现。相反，与一个或多个模块或者单元相关联的功能可以由分立的硬件、固件或者软件组件来执行、或者被集成在共用或者分立的硬件、固件或软件组件内。
本公开中所述的技术还可以在包括编码有指令的计算机可读存储介质的制品中来体现或编码。嵌入或者编码在包括被编码的计算机可读存储介质的制品中的指令可以使得一个或多个可编程处理器或者其他处理器实施本文所述技术中的一个或多个，诸如当包括或编码在该计算机可读存储介质中的指令被一个或多个处理器执行时。计算机可读存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、硬盘、压缩盘ROM(CD-ROM)、软盘、卡盒、磁性介质、光学介质或者其他计算机可读介质。在一些示例中，制品可以包括一个或多个计算机可读存储介质。
在一些示例中，计算机可读存储介质可以包括非瞬态介质。术语“非瞬态”可以指示该存储介质不以载波或者传播信号来体现。在一些示例中，非瞬态存储介质可以存储能够随时间而变化的数据(例如，在RAM或者高速缓存中)。
已描述了各种示例。这些和其他示例在所附权利要求的范围内。

Claims (11)

1.一种用于连续手势输入的方法，所述方法包括：
由计算设备输出包括第一图形键盘的图形用户界面以显示，所述第一图形键盘包括第一多个键，来自所述第一多个键的每个键均与来自第一多个字符的相应字符相关联；
响应于接收在存在敏感输入设备处检测的并且穿过与第一键相关联的第一位置的连续手势的第一部分的指示，由所述计算设备从所述第一图形键盘的所述第一多个键中选择所述第一键；
响应于在所述连续手势的第三部分之前接收穿过与所述第一图形键盘的替选字符功能相关联的所述第一图形键盘的第二键的第二位置或者在从底部区到顶部区的方向上穿过不与所述第一图形键盘相关联的所述图形用户界面的第三位置的所述连续手势的第二部分的指示，由所述计算设备输出包括第二多个键的第二图形键盘以与所述第一图形键盘同时显示，来自所述第二多个键的每个键均与来自第二多个字符的相应字符相关联，其中来自所述第二多个字符的每个字符不同于来自所述第一多个字符的每个字符；
响应于接收在所述存在敏感输入设备处检测的并且穿过与第三键相关联的第四位置的所述连续手势的所述第三部分的指示，由所述计算设备选择包括在所述第二图形键盘的所述第二多个键中的所述第三键；
响应于接收在所述存在敏感输入设备处检测的并且穿过与第四键相关联的第五位置的所述连续手势的第四部分的指示，由所述计算设备选择包括在所述第一图形键盘的所述第一多个键中的所述第四键；
由所述计算设备基于穿过所述第一图形键盘和所述第二图形键盘的所述连续手势来确定候选字符串，其中所述候选字符串至少包括与所述第一键相关联的第一字符、与所述第三键相关联的第二字符以及与所述第四键相关联的第三字符；以及
由所述计算设备输出所述候选字符串的表示以显示。
2.如权利要求1所述的方法，其中，输出所述第二图形键盘以与所述第一图形键盘同时显示是至少部分地基于输入上下文来确定的，并且所述输入上下文包括能够接收输入的输入区的识别符。
3.如权利要求2所述的方法，其中，所述输入区的所述识别符包括密码区、统一资源定位符(URL)区、电子邮件地址区、颜色区、日期区、日期时间区、本地日期时间区、月份区、数字区、范围区、搜索区、电话号码区、时间区以及星期区中的至少一个区的识别符。
4.如权利要求1所述的方法，其中，确定所述候选字符串包括在不将所述候选字符串与指示所述候选字符串表示词典中所包括的词的概率的语言模型进行比较的情况下确定所述候选字符串。
5.如权利要求1所述的方法，
其中，所述图形用户界面包括包含所述第一图形键盘的第一部分以及包括文本建议区和文本显示区中的一个或多个的第二不同部分，以及
其中，输出所述第二图形键盘以与所述第一图形键盘同时显示进一步包括输出所述第二图形键盘以在所述图形用户界面的所述第二部分内显示为所述文本建议区和所述文本显示区中的一个或多个的阿尔法混合叠加。
6.如权利要求1所述的方法，其中，输出所述第二图形键盘以与所述第一图形键盘同时显示进一步包括：
至少部分地基于输入上下文来确定所述第二图形键盘的所述第二多个键的布置；以及
根据所确定的所述第二图形键盘的所述第二多个键的布置来输出所述第二图形键盘以与所述第一图形键盘同时显示。
7.如权利要求1所述的方法，其中，输出所述第二图形键盘以与所述第一图形键盘同时显示进一步包括输出从所述第二图形键盘的所述第二多个键中选择至少一个键的概率的指示以在所述第二图形键盘处显示。
8.一种用于连续手势输入的设备，所述设备包括：
至少一个处理器；以及
至少一个模块，所述至少一个模块能由所述至少一个处理器操作以：
输出包括第一图形键盘的图形用户界面以显示，所述第一图形键盘包括第一多个键；
响应于接收在存在敏感输入设备处检测的并且穿过与第一键相关联的第一位置的连续手势的第一部分的指示，从所述第一图形键盘的所述第一多个键中选择所述第一键；
响应于在所述连续手势的第三部分之前接收穿过与所述第一图形键盘的替选字符功能相关联的所述第一图形键盘的第二键的第二位置或者在从底部区到顶部区的方向上穿过不与所述第一图形键盘相关联的所述图形用户界面的第三位置的所述连续手势的第二部分的指示，输出包括第二多个键的第二图形键盘以与所述第一图形键盘同时显示；
响应于接收在所述存在敏感输入设备处检测的并且穿过与第三键相关联的第四位置的所述连续手势的所述第三部分的指示，选择包括在所述第二图形键盘的所述第二多个键中的所述第三键；
响应于接收在所述存在敏感输入设备处检测的并且穿过与第四键相关联的第五位置的所述连续手势的第四部分的指示，选择包括在所述第一图形键盘的所述第一多个键中的所述第四键；
基于穿过所述第一图形键盘和所述第二图形键盘的所述连续手势来确定候选字符串，其中所述候选字符串至少包括与所述第一键相关联的第一字符、与所述第三键相关联的第二字符以及与所述第四键相关联的第三字符；以及
输出所述候选字符串的表示以显示。
9.如权利要求8所述的设备，其中，输出所述第二图形键盘以与所述第一图形键盘同时显示是至少部分地基于输入上下文来确定的，并且所述输入上下文包括能够接收输入的输入区的识别符。
10.如权利要求9所述的设备，其中，所述输入区的所述识别符包括密码区、统一资源定位符(URL)区、电子邮件地址区、颜色区、日期区、日期时间区、本地日期时间区、月份区、数字区、范围区、搜索区、电话号码区、时间区以及星期区中的至少一个区的识别符。
11.如权利要求8所述的设备，其中，所述至少一个模块能由所述至少一个处理器操作来确定所述候选字符串至少由所述至少一个处理器操作以在不将所述候选字符串与指示所述候选字符串表示词典中所包括的词的概率的语言模型进行比较的情况下确定所述候选字符串。
CN201480032645.1A 2013-05-31 2014-05-28 用于连续手势输入的多图形键盘 Active CN105308551B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/907,602 2013-05-31
US13/907,602 US8997013B2 (en) 2013-05-31 2013-05-31 Multiple graphical keyboards for continuous gesture input
PCT/US2014/039805 WO2014193962A1 (en) 2013-05-31 2014-05-28 Multiple graphical keyboards for continuous gesture input

Publications (2)

Publication Number Publication Date
CN105308551A CN105308551A (zh) 2016-02-03
CN105308551B true CN105308551B (zh) 2017-09-05

Family

ID=51059590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480032645.1A Active CN105308551B (zh) 2013-05-31 2014-05-28 用于连续手势输入的多图形键盘

Country Status (5)

Country Link
US (1) US8997013B2 (zh)
EP (1) EP3005066B1 (zh)
KR (1) KR101633842B1 (zh)
CN (1) CN105308551B (zh)
WO (1) WO2014193962A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD660864S1 (en) * 2010-01-27 2012-05-29 Apple Inc. Graphical user interface for a display screen or portion thereof
USD748649S1 (en) * 2013-03-04 2016-02-02 Roku, Inc. Display screen with an animated electronic program guide
US10068085B2 (en) * 2013-06-14 2018-09-04 Blackberry Limited Method and system for allowing any language to be used as password
US9727235B2 (en) * 2013-12-12 2017-08-08 Lenovo (Singapore) Pte. Ltd. Switching an interface mode using an input gesture
USD766259S1 (en) * 2013-12-31 2016-09-13 Beijing Qihoo Technology Co. Ltd. Display screen with a graphical user interface
JP2016181018A (ja) * 2015-03-23 2016-10-13 ソニー株式会社 情報処理システムおよび情報処理方法
US10203870B2 (en) * 2015-04-07 2019-02-12 Blackberry Limited Authentication using a touch-sensitive keyboard with distinct pluralities of keys as respective regions
US20170289337A1 (en) * 2016-04-05 2017-10-05 Google Inc. Faster Text Entry on Mobile Devices Through User-Defined Stroke Patterns
US10140017B2 (en) * 2016-04-20 2018-11-27 Google Llc Graphical keyboard application with integrated search
US10409487B2 (en) * 2016-08-23 2019-09-10 Microsoft Technology Licensing, Llc Application processing based on gesture input
CN107783667A (zh) * 2016-08-26 2018-03-09 法乐第(北京)网络科技有限公司 一种软键盘显示方法及装置
US10884610B2 (en) 2016-11-04 2021-01-05 Myscript System and method for recognizing handwritten stroke input
US11554322B2 (en) 2019-04-26 2023-01-17 Sony Interactive Entertainment LLC Game controller with touchpad input
US20200356248A1 (en) * 2019-05-06 2020-11-12 Apple Inc. Systems and Methods for Providing Continuous-Path and Delete Key Gestures at a Touch-Sensitive Keyboard
WO2022005238A1 (ko) * 2020-07-01 2022-01-06 윤경숙 문자 입력 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011130529A1 (en) * 2010-04-16 2011-10-20 Google Inc. Extended keyboard user interface

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953541A (en) 1997-01-24 1999-09-14 Tegic Communications, Inc. Disambiguating system for disambiguating ambiguous input sequences by displaying objects associated with the generated input sequences in the order of decreasing frequency of use
US5825362A (en) 1997-05-07 1998-10-20 Datahand Corporation Graphical user interface with keyboard display graphical
KR100327209B1 (ko) 1998-05-12 2002-04-17 윤종용 첨펜의자취를이용한소프트웨어키보드시스템및그에따른키코드인식방법
US6359572B1 (en) 1998-09-03 2002-03-19 Microsoft Corporation Dynamic keyboard
US7293231B1 (en) 1999-03-18 2007-11-06 British Columbia Ltd. Data entry for personal computing devices
US7750891B2 (en) 2003-04-09 2010-07-06 Tegic Communications, Inc. Selective input system based on tracking of motion parameters of an input device
US7030863B2 (en) 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
DE60043008D1 (de) 1999-05-27 2009-11-05 Tegic Comm Inc Tastatursystem mit automatischer korrektur
CA2416835A1 (en) 2000-07-21 2002-01-31 Raphael Bachmann Method for a high-speed writing system and high-speed writing device
US7042443B2 (en) 2001-10-11 2006-05-09 Woodard Scott E Speed Writer program and device with Speed Writer program installed
US7075520B2 (en) 2001-12-12 2006-07-11 Zi Technology Corporation Ltd Key press disambiguation using a keypad of multidirectional keys
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7199786B2 (en) 2002-11-29 2007-04-03 Daniel Suraqui Reduced keyboards system using unistroke input and having automatic disambiguating and a recognition method using said system
US7251367B2 (en) 2002-12-20 2007-07-31 International Business Machines Corporation System and method for recognizing word patterns based on a virtual keyboard layout
US7453439B1 (en) 2003-01-16 2008-11-18 Forward Input Inc. System and method for continuous stroke word-based text input
US7098896B2 (en) 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
US20040140986A1 (en) * 2003-01-16 2004-07-22 Boldon John Leland Systems and methods for facilitating printing through interface exportation
SG135918A1 (en) 2003-03-03 2007-10-29 Xrgomics Pte Ltd Unambiguous text input method for touch screens and reduced keyboard systems
US7250938B2 (en) 2004-01-06 2007-07-31 Lenovo (Singapore) Pte. Ltd. System and method for improved user input on personal computing devices
US7706616B2 (en) 2004-02-27 2010-04-27 International Business Machines Corporation System and method for recognizing word patterns in a very large vocabulary based on a virtual keyboard layout
EP2000893B1 (en) * 2004-07-30 2016-09-21 Apple Inc. Mode-based graphical user interfaces for touch sensitive input devices
US20060176283A1 (en) 2004-08-06 2006-08-10 Daniel Suraqui Finger activated reduced keyboard and a method for performing text input
US7508324B2 (en) 2004-08-06 2009-03-24 Daniel Suraqui Finger activated reduced keyboard and a method for performing text input
US8036878B2 (en) 2005-05-18 2011-10-11 Never Wall Treuhand GmbH Device incorporating improved text input mechanism
US8059101B2 (en) 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US8456425B2 (en) 2008-01-30 2013-06-04 International Business Machines Corporation Self-adapting keypad
US8135582B2 (en) 2009-10-04 2012-03-13 Daniel Suraqui Keyboard system and method for global disambiguation from classes with dictionary database from first and last letters
US8884872B2 (en) * 2009-11-20 2014-11-11 Nuance Communications, Inc. Gesture-based repetition of key activations on a virtual keyboard
US20110302518A1 (en) * 2010-06-07 2011-12-08 Google Inc. Selecting alternate keyboard characters via motion input
US8918734B2 (en) 2010-07-28 2014-12-23 Nuance Communications, Inc. Reduced keyboard with prediction solutions when input is a partial sliding trajectory
US8593422B2 (en) 2010-11-05 2013-11-26 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
EP2812777A4 (en) * 2012-02-06 2015-11-25 Michael K Colby STRING COMPLETION
US20130227460A1 (en) * 2012-02-27 2013-08-29 Bjorn David Jawerth Data entry system controllers for receiving user input line traces relative to user interfaces to determine ordered actions, and related systems and methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011130529A1 (en) * 2010-04-16 2011-10-20 Google Inc. Extended keyboard user interface

Also Published As

Publication number Publication date
US8997013B2 (en) 2015-03-31
US20140359513A1 (en) 2014-12-04
KR20160009054A (ko) 2016-01-25
EP3005066A1 (en) 2016-04-13
CN105308551A (zh) 2016-02-03
EP3005066B1 (en) 2018-12-26
KR101633842B1 (ko) 2016-06-27
WO2014193962A1 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
CN105308551B (zh) 用于连续手势输入的多图形键盘
US10775967B2 (en) Context-aware field value suggestions
CN104020943B (zh) 字符串替换
CN105164616B (zh) 用于输出候选字符串的方法、计算设备及存储介质
US10140017B2 (en) Graphical keyboard application with integrated search
CN104718544B (zh) 部分手势文本输入的方法、计算设备及系统
US9081482B1 (en) Text input suggestion ranking
US20180196854A1 (en) Application extension for generating automatic search queries
US9946773B2 (en) Graphical keyboard with integrated search features
CN105122185A (zh) 使用过去交互数据的文本建议输出
CN104035712B (zh) 用于基于姿势的键盘的姿势完成路径显示
CN105074643B (zh) 非词典字符串的手势键盘输入
WO2015088669A1 (en) Multiple character input with a single selection
US9199155B2 (en) Morpheme-level predictive graphical keyboard
CN104603772A (zh) 上下文敏感的自动纠正
US9009624B2 (en) Keyboard gestures for character string replacement
CN105929975A (zh) 使用替代评分的非字典字符串的姿态键盘输入
US9965454B2 (en) Assisted punctuation of character strings
CN108701123A (zh) 图形键盘的动态键映射
CN107967112A (zh) 解码用于图形键盘的不准确手势

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.