CN106164893A - 用于输入与多输入目标相关联的一个或多个输入的系统和方法 - Google Patents

用于输入与多输入目标相关联的一个或多个输入的系统和方法 Download PDF

Info

Publication number
CN106164893A
CN106164893A CN201580018626.8A CN201580018626A CN106164893A CN 106164893 A CN106164893 A CN 106164893A CN 201580018626 A CN201580018626 A CN 201580018626A CN 106164893 A CN106164893 A CN 106164893A
Authority
CN
China
Prior art keywords
input
user
event
probability
selects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580018626.8A
Other languages
English (en)
Other versions
CN106164893B (zh
Inventor
J·H·B·奥斯本
Y·奥野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Touchtype Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Touchtype Ltd filed Critical Touchtype Ltd
Publication of CN106164893A publication Critical patent/CN106164893A/zh
Application granted granted Critical
Publication of CN106164893B publication Critical patent/CN106164893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs

Abstract

本发明提供了一种系统，包括用户接口和预测引擎。所述用户接口包括与可用于用户选择输入的多个输入选项相关的多输入目标。在第一系统中，用户接口被配置为：在接收到第一用户选择事件时选择多输入目标；在接收到第二用户选择事件时选择多个输入选项的输入，其中，所述第二用户选择事件与所述第一用户选择事件在空间上分离。预测引擎被配置为基于所述第二用户选择事件，确定用户意图选择多个输入中除了所选输入以外的输入的概率。在第二系统中，用户接口被配置为：在接收到针对多输入目标的第一用户选择事件时，识别多个输入选项的第一输入；在接收到针对多输入目标的第二用户选择事件时，将识别的输入从第一输入改变为多个输入选项的第二输入。预测引擎被配置为确定在第一和第二用户选择事件之间经过的时间；确定经过的时间小于预先确定的阈值；及基于所述经过的时间估计用户意图选择所述第二输入的概率和估计用户意图输入所述第一输入并随后再次选择第一输入的概率。设定预先确定的阈值以使得如果所述经过的时间大于预先确定的阈值，所述第一输入以概率1输入到系统中，并再次选择所述第一输入。还提供了相应的方法。

Description

用于输入与多输入目标相关联的一个或多个输入的系统和 方法
技术领域
本发明涉及与电子设备的多输入目标相关的输入选项的输入，在一个具体实施例中，涉及与键盘上多字符键相关联的一个或多个字符的输入。
背景技术
诸如移动电话或平板电脑的电子设备的已知用户接口包括按键，代表多个字符或多个字符变体，其中，多个字符或字符变体可以用于用户选择以将所希望的字符或字符变体输入到设备中。用户能够通过在与多个字符或字符变体相关的按键上或跨所述按键执行一个或多个手势来选择他们希望输入的字符或字符变体。
图1a-c中显示了已知的用于输入所希望的字符变体的多输入目标的示例。图1a显示了包括QWERTY键盘布局的用户接口的屏幕截图。在图1b中，如果用户按住“a”键，为用户呈现用于该键的字符变体的列表‘@，á，à’。用户能够通过将他们的手指拖动到所希望的字符变体来选择所希望的字符变体，其中，全圆圈图形表示用户手指在屏幕上的位置。用户能够通过释放他们的手指来输入所选择的变体(“拖动-抬起”方案)，其中，图1c显示了所希望的字符变体“à”的选择。代替结束在字符键上的手势，用户接口可以被配置为接受所希望字符变体的一维指示，例如用户可以在字符变体行的下面拖动横向穿过屏幕来选择所希望的字符变体。
图2a-c中显示了用于输入日文字符的已知的用于输入所希望的字符的多输入目标的示例，尽管这个已知的输入方法适合于任何语言，尤其适合于具有多于27个字符的语言(即，不是用于QWERTY布局的)。这个已知的输入方法适合于诸如印地语的印度语，以及中文、韩文或任何其他语言，其中，中文字符或符号用于书写，也可以用于表情符号或表情图标的选择和输入。图2a例示了用户接口，包括用于拖动-抬起方案的12个按键布局，用以输入日文字符。图2b显示了字符选项，一旦用户选择了代表这些字符的多字符键，例如通过按住多字符键，可用于用户选择。在图2c中，用户能够通过将他们的手指拖动到他们希望输入的字符来选择所希望的字符，用以选择该字符，在该点他们中止与触摸屏的接触以输入所选字符。如果用户触摸多字符键，但没有执行拖动-抬起动作来选择字符，特定字符可以选择为输入的默认字符。
图3a-c中显示了用于输入日文字符的借助拖动-抬起手势选择并输入所需字符选项的可替换的用户接口(尽管这个用户接口同样适用于其他语言)。如图3a所示，键盘包括12个多字符键，与图2a中所见的相同。一旦通过按住按键而选择了键盘的多字符键，就为用户呈现与该多字符键相关的字符选项(如图3b所示)。通过拖动来选择所希望的字符键，并且一旦选择了该字符键就中止与屏幕的接触(“抬起”)，可以输入该字符。图3c显示了通过执行拖动到右侧来选择右侧键，并在选择了该键后中止与屏幕的接触来选择字符。如图3c中所见的，拖动以选择字符不表示用户手指必须在显示的字符键上终止，但拖动的方向和长度足以选择该字符键。
包括上述用户接口的电子系统提供了用于允许用户从借助多字符键可用于用户选择的多个字符或字符变体输入所需字符或字符变体的手段。但在上述系统中，所选输入是确定的，因为如果用户选择了输入选项，它就是输入的输入选项，不管他们是否实际上打算输入该所选选项，例如用户可能在错误方向上拖动或在拖动-抬起手势中过快地抬起他们的手指。
用户可以选择选项来输入到设备中的准确度取决于多个因素，例如一个或多个以下因素可以影响用户从多个选项选择的准确度：他们选择所希望的输入选项所花费的时间，在他们做出选择时是否分心(例如因为他们在选择选项时在行走或说话)，输入选项的用户接口布局，选择选项所需的手势，可达性(例如手稳定性，手指长度)，所用的设备(例如物理屏幕尺寸)，用户的习惯(例如总是触摸按键中心上方)等。
在当前系统中，不存在基于用户从多个输入选项选择输入选项的错误校正，即，没有对用户选择事件建模以考虑用户错误。缺少相对于选择事件的错误建模会导致不太准确的输入，这可能导致令人沮丧的用户体验。
错误输入的字符可以借助语言建模来纠正。例如，如果用户输入了以前没有见过的字符序列，就可以将该字符序列纠正为已知词语的语言模型或字典已知的序列。但字符的纠正基于语言建模，不基于用户的选择事件。首先或可替换地，在用户选择事件的纠正，可以使得文本预测更为准确，因为系统可以考虑更多数量的输入。通过纠正用户选择事件，可以提供用户预期输入的更准确或可替换的预测，其中，该输入不是通过语言建模来模拟的，例如在输入表情符号时。
从多字符键选择字符输入的另一个已知的方式是多轻敲方案。每一个按键代表多个字符，如图2a和图3a的12个多字符键所示的。为了输入所希望的字符，用户通过对按键轻敲所希望的次数而在可用字符选项中循环。如果用户快速连续地轻敲，用户能够在字符中循环以选择所希望的字符。为了输入所选字符并移动以输入下一个字符，用户必须等待直到预定时间期间(从选择所希望字符来输入开始)过去。图6a例示了用于这个多轻敲方案的概率函数P(t)，其中，例如，预定时间期间设定为450ms。如从图6a所见的，概率函数P(t)是阶跃函数，其中，概率函数表示用户打算输入新字符的概率(而不是改变现有的)。如果还没有超过在两个特定轻敲之间的预定时间期间，那么就切换所选字符。但如果自从最后的键按下后已经过去了预定时间期间，就输入对应于最后的键按下的字符，新的字符输入序列开始。因而，在输入选项相互区分中经过的时间是确定的。例如，如果用户轻敲ぁ键，随着轻敲继续，用户在ぁ、ぃ、ぅ、ぇ、ぉ中选择来输入。如果用户想要输入两个字符，二者都从相同的按键输入，例如“ぁぁ”，在敲击第二个字符“ぁ”之前，用户就必须等待从敲击第一该字符“ぁ”开始的时间经过预先确定的阈值。用于选择字符的多轻敲方案适合于任何语言，当前在世界各地都用于在移动电话上输入文本。
这个多轻敲方案的高级用户被迫使等待，即使他们可以更快地轻敲，而初学者可能在输入字符时有困难，因为他们不能足够快地轻敲以改变字符而不是输入新的字符。这可能导致令人沮丧和缓慢的输入文本的方法。
本发明的目的是解决一个或多个上述问题。
发明内容
在本发明的第一方面，提供了一种系统，包括用户接口，所述用户接口包括与可用于用户选择输入的多个输入选项相关的多输入目标。用户接口被配置为：在接收第一用户选择事件后选择多输入目标；在接收第二用户选择事件后选择多个输入选项的输入，其中，所述第二用户选择事件与所述第一用户选择事件在空间上分离。系统进一步包括预测引擎，其中，所述预测引擎被配置为基于所述第二用户选择事件，确定用户意图选择多个输入中除了所选输入以外的输入的概率。
优选地，所述预测引擎被配置为基于所述第一用户选择事件和所述第二用户选择事件来确定用户意图选择多个输入中除了所选输入以外的输入的概率。
优选地，所述预测引擎被配置为使用所述第一用户选择事件的位置和所述第二用户选择事件的位置来确定所述概率。
在优选实施例中，所述第一用户选择事件对应于第一轻敲或拖动-抬起手势的开始，所述第二用户选择事件对应于第二轻敲或拖动-抬起手势的抬起。预测引擎可以被配置为确定在所述第一和第二用户选择事件的位置之间的距离和方向。
预测引擎优选地包括用于多个输入的每一个输入的4D概率分布模型。预测引擎可以通过借助第一和第二位置或者借助第一位置与在第一和第二位置之间的距离和方向来查询与该输入相关的模型，而确定用户意图选择多个输入中的输入的概率。该模型可以是4D高斯模型。
在一个实施例中，第一用户选择事件对应于轻拂手势的开始，第二用户选择事件对应于所述轻拂手势的结束。预测引擎被配置为确定从开始位置到结束位置的轻拂方向；及基于轻拂的开始位置和方向确定用户意图选择多个输入中的输入的概率。
预测引擎可以被配置为为多个输入选项的每一个生成用户意图选择给定输入选项的概率。
用户接口可以包括多个多输入目标，预测引擎可以被配置为基于第一选择事件确定用户意图选择所选多输入目标的概率。
响应于所述第一用户选择事件，用户接口可以被配置为空间上分离地显示多个输入选项。
预测引擎优选地包括多个模型，每一个用于多个输入中的一个输入选项，其中，每一个模型将对应于多个输入中的输入的在前第一和第二用户选择事件关联于该输入，其中，预测引擎被配置为结合多个模型，生成第一和第二用户选择事件与多个输入的特定输入相关的概率。
多输入目标可以是虚拟键盘上代表多个字符输入选项的多字符键。
在本发明的第二方面，提供了一种系统，包括用户接口，所述用户接口包括与可用于用户选择输入的多个输入选项相关的多输入目标。用户接口被配置为：在接收针对多输入目标的第一用户选择事件后，识别多个输入选项的第一输入；在接收针对多输入目标的第二用户选择事件后，将识别的输入从第一输入改变为多个输入选项的第二输入。系统包括预测引擎，其中，所述预测引擎被配置为确定在第一和第二用户选择事件之间经过的时间；确定经过的时间小于预先确定的阈值；及基于所述经过的时间确定用户意图选择所述第二输入的概率和用户意图输入所述第一输入并随后再次选择第一输入的概率。设定预先确定的阈值以使得如果所述经过的时间大于预先确定的阈值，所述第一输入以概率1输入到系统中，并再次选择所述第一输入。
多输入目标优选地是虚拟键盘上代表多个字符输入选项的多字符键。
所述第一用户选择事件对应于在多字符目标上的第一轻敲，其选择所述第一输入，所述第二用户输入事件对应于在多字符目标上的第二轻敲，其将所选输入改变为所述第二输入。
在所述第一用户选择事件与所述预先确定的阈值之间的概率可以借助S形函数建模。S形函数可以采取的形式，其中，P是用户意图输入第二输入的估计概率，t是在第一和第二用户选择事件之间经过的时间，tp＝0.5是在建模的S形概率分布中概率等于0.5的经过时间。
在本发明的第三方面，提供了一种方法，使用预测引擎确定用户意图选择用户接口的输入的概率，所述用户接口显示借助多输入键可用的多个输入选项。方法包括借助所述用户接口接收第一用户选择事件以选择多输入目标；借助所述用户接口接收第二用户选择事件以选择显示的多个输入选项的输入，其中，所述第二用户选择事件与所述第一用户选择事件在空间上分离；及基于所述第二用户选择事件，确定除了所选输入概率以外用户意图选择多个输入中的输入的概率。
概率优选地基于所述第一用户选择事件和所述第二用户选择事件来确定。概率优选地使用所述第一用户选择事件的位置和所述第二用户选择事件的位置来确定。
优选地，所述第一用户选择事件对应于第一轻敲或拖动-抬起手势的开始，所述第二用户选择事件对应于第二轻敲或拖动-抬起手势的抬起。
方法可以包括确定在所述第一和第二用户选择事件的位置之间的距离和方向。
预测引擎优选地包括用于多个输入的每一个输入的4D概率分布模型。确定用户意图选择多个输入中的输入的概率可以包括借助第一和第二位置或者借助第一位置与在第一和第二位置之间的距离和方向查询与该输入相关的模型。该模型可以是4D高斯模型。
第一用户选择事件对应于轻拂手势的开始，第二用户选择事件对应于所述轻拂手势的结束。在此情况下，方法包括使用预测引擎确定轻拂的方向，及使用轻拂的开始位置和方向确定用户意图选择多个输入中的输入的概率。
方法可以包括为多个输入选项的每一个确定用户意图选择给定输入选项的概率。
用户接口可以包括多个多输入目标，使用预测引擎的确定可以进一步包括基于第一选择事件确定用户意图选择所选多输入目标的概率。
预测引擎可以包括多个模型，每一个用于多个输入中的一个输入选项，其中，每一个模型将对应于多个输入中的输入的在前第一和第二用户选择事件关联于该输入，其中，预测引擎被配置为结合多个模型，生成第一和第二用户选择事件与多个输入的特定输入相关的概率。
在本发明的第四方面，提供了一种方法，使用预测引擎，基于在用户接口上的第一用户选择事件和第二用户选择事件，确定用户意图选择两个输入选项之一的概率，其中，用户接口包括与可用于用户选择输入的多个输入选项相关的多输入目标。方法包括借助用户接口接收针对多输入目标的第一用户选择事件，以识别多个输入选项的第一输入；借助第二用户接口接收针对多输入目标的第二用户选择事件，以将识别的输入从第一输入改变为多个输入选项的第二输入。方法进一步包括使用预测引擎确定在第一和第二用户选择事件之间经过的时间；使用预测引擎确定经过的时间小于预先确定的阈值；及基于所述经过的时间确定用户意图选择所述第二输入的概率和用户意图输入所述第一输入并随后再次选择第一输入的概率。设定预先确定的阈值以使得如果所述经过的时间大于预先确定的阈值，所述第一输入以概率1输入到系统中，并再次选择所述第一输入。
多输入目标可以是虚拟键盘上代表多个字符输入选项的多字符键。
所述第一用户选择事件可以对应于在多字符目标上的第一轻敲，其选择所述第一输入，所述第二用户输入事件对应于在多字符目标上的第二轻敲，其将所选输入改变为所述第二输入。
在所述第一用户选择事件与所述预先确定的阈值之间的概率可以借助预测引擎建模为S形函数。S形函数可以采取的形式，其中，P是用户意图输入第二输入的估计概率，t是在第一和第二用户选择事件之间经过的时间，tp＝0.5是在建模的S形概率分布中概率等于0.5的经过时间。
在本发明的第五方面，提供了一种计算机程序产品。包括计算机可读介质，具有存储于其上的计算机程序模块，用于使得处理器执行上述的任意一项方法。
附图说明
现在将参考附图详细说明本发明，在附图中：
图1a-c例示了用于输入字符变体的已知的用户接口，其中，用户通过在QWERTY键盘上选择字符来调出用于该字符的字符变体，并应用拖动-抬起手势来选择所希望的字符变体而输入字符变体；
图2a-c例示了包括12个多字符键的已知用户接口，其中，用户能够通过选择按键来调出该按键的字符选项并应用拖动-抬起手势来选择所希望的字符；
图3a-c例示了包括12个多字符键的已知用户接口，其中，用户能够通过选择按键来调出该按键的字符选项并应用拖动-抬起手势来选择所希望的字符；
图4例示了高斯分布，其可以用于对点分布建模，例如按键上的触摸手势；
图5是用于选择字符选项的示例性面板显示，例示了可以确定概率的方式；
图6a例示了阶跃概率函数，用于以已知的多轻敲方案确定是要改变字符，还是输入新的字符；
图6b例示了根据本发明的概率函数，用于以根据本发明的多轻敲方案确定用户意图改变现有字符或者输入新的字符的概率。
图7a是用于拖动-抬起手势的概率分布，例示了相对于在开始位置与抬起位置之间的距离的拖动-抬起手势的概率；
图7b是用于轻拂手势的概率分布，例示了相对于在轻拂的开始位置与抬起位置之间的距离的轻拂手势的概率；
图8是本发明的第一方法的流程图；
图9是本发明的第二方法的流程图。
具体实施方式
本发明提供了用于对用于从多个输入选项选择输入的用户选择事件中的错误建模的系统和方法。具体而言，系统和方法预测用户意图选择除了由选择事件所选择的以外的输入选项，使得除了由用户选择事件所选择的以外的输入选项能够输入到系统中的可能性。
一般地，根据本发明的系统包括用户接口和预测引擎。用户接口可以是任何适合的模块，用于允许用户与系统交互来从与多输入目标相关的多个输入选项选择所希望的输入选项，并将该所希望的输入输入到系统中。例如，用户接口可以包括鼠标，使得用户能够从显示器选择项目，或者用户接口可以包括模块，用以追踪眼/手/臂移动，以允许用户使用眼/手/臂运动选择由系统显示的对象。在本系统的优选实施例中，用户接口包括显示器和处理电路，处理电路被配置为在显示器上显示目标和输入选项，用于用户借助用户选择事件选择。根据示例性实施例，系统是移动电话、平板电脑或计算机中的一个，用户接口是触摸屏显示器，其显示用于用户选择的对象，并通过触摸显示器接收用户输入选择事件。
用户选择事件是任何事件，用户借助它选择用户接口的对象，包括从显示的多个多输入目标中的多输入目标的用户选择，和从多个输入选项中的输入选项的用户选择。选择事件可以以任何适合的方式执行。在优选实施例中，选择事件对应于触摸屏上或横跨触摸屏的手势。手势可以包括由手指或适合的指示物体执行的以下的一个或多个：单击或轻敲、横跨触摸屏的划动或拖动和轻拂。“第一用户选择事件”和“第二用户选择事件”可以是相同手势的部分。作为非限制性示例，轻拂移动的开始可以对应于第一用户选择事件，因为这个开始位置选择多输入目标，轻拂的结束(即用户中止与屏幕的接触的点)可以对应于第二用户选择事件，因为于是可以确定轻拂的方向以选择输入选项。对于拖动-抬起手势，第一用户选择事件可以是拖动的开始位置，第二用户选择事件可以是用户中止与屏幕的接触的位置。因而，第一用户选择事件和第二用户选择事件意图包含相同手势的部分，以及分离的手势(例如空间上分离的两个或多个轻敲)。
与用于用户选择的多个输入选项相关的多输入目标可以对应于用户想要输入的任何适合的输入。在优选实施例中，多输入目标是多字符目标，其显示多个字符选项，可用于用户选择并输入到设备中。术语“字符”旨在涵盖任何字母、数字、常用标点符号(例如“.”或“-”)、空格和书面语言中使用的符号，例如中文、日文、韩文、印度文或任何其他语言中使用的任何符号。在本发明的环境下，“字符”还涵盖字符变体，例如à。
但本发明的系统的其他实施例可以包括多图像目标，代表多个图像，例如食品表情符号键，其允许用户选择相关食品表情符号，或者表情图标或面部表情符号键，其允许用户选择反映用户希望传达的情绪的表情图标/表情符号，等。因而可以设想用户可能希望借助多输入目标输入除了文本以外的数据。
来自多输入目标中可用于输入的输入选项优选地在选择目标时显示在显示图案中。在一个实施例中，显示器包括对应于输入选项的一组按键，用于用户选择对应于他们希望的输入选项的按键。但在可替换的实施例中(例如多轻敲方案)，多输入目标可以在目标上显示可用的选项，在按下时不在显示图案中显示选项。
由以上说明会理解，在本发明的优选实施例中，多输入目标是触摸屏的虚拟键盘上的多字符键。
预测引擎是任何模块，其能够基于用户选择事件生成概率估计，例如基于虚拟键盘上的手势的位置、手势的形状、手势的长度、执行手势的时间量、在选择事件之间经过的事件、在用于该用户和该输入选项的当前选择事件与在前选择事件之间的比较等中的一个或多个。在本发明的一个实施例中，预测引擎包括多个模型，用于模拟可用输入选项。
作为非限制性示例，针对背景技术中说明的已知输入方案说明本发明的特定错误校正实施方式，论述了多个可替换的实施方式。但本发明的系统和方法不限于这些示例，可以应用于需要两个用户选择事件的从多输入目标中的输入选项的任何类型的用户选择。
拖动-抬起手势
如在背景技术部分中所述的，响应于第一用户选择事件，对应于多字符键的按下(或按下并保持)，用户接口显示可用于用户借助一组字符键选择的字符选项(图2b和3b中显示的示例)。用户能够通过横跨屏幕拖动他们的手指选择所需字符键来选择显示的一个字符选项(如图2c和3c中所示的)。在用户接口上选择了所希望的键(其可以由高亮的键来指示)时，如图2c和3c中所示的，用户可以抬起他们的手指以中止与屏幕的接触并输入该所选键的字符。
在本发明的系统中，预测引擎被配置为对拖动-抬起手势建模以确定用户意图借助该手势选择给定字符选项的概率。预测引擎被配置为确定多个输入选项的概率，例如预测引擎被配置为确定用户意图选择输入选项的概率，其中，该输入选项不是由用户的手势在用户接口上选择的输入选项。因而，用户选择事件不是确定性的，对选择事件中的错误建模。
在本发明的优选实施例中，预测引擎被配置为将拖动-抬起手势建模为四位分布。预测引擎采用来自拖动-抬起手势的两组坐标作为建模的输入：1)开始点(x1,y1)，其中，用户第一次接触以选择多字符键；及2)结束点(x2,y2)，其中，用户抬起他们的手指以中止与屏幕的接触。
在一个实施例中，预测引擎确定相对坐标(x2-x1,y2-y1)，以确定拖动-抬起手势的距离d和方向Θ(相对于给定轴定义的)。但两组坐标还可以用于建模，因为它们编码了方向和距离信息。由在拖动-抬起手势的开始点与结束点之间的直线来确定拖动的距离和方向。对于更复杂的路径，可以遵循相同的方案，其中，手势的开始位置和结束位置可以视为输入，忽略中间路径。
预测引擎包括模型4D概率密度分布，用于给定多字符键的每一个字符选项。在一个实施例中，字符选项显示在用于每一个多字符键的相同显示图案中，预测引擎存储与用于多字符键的字符选项一样多的模型。但由于一些多字符键在按下时比其他的更为不方便(取决于手在设备上的位置等)，到多字符键的字符键的拖动-抬起手势可以具有与到不同多字符键上的相应字符键的拖动-抬起手势不同的图案，即使多字符键显示字符键的相同图案。预测引擎因而可以包括多个模型，对应于用于每一个多字符键的每一个字符键的一个模型。
在优选实施例中，4D概率密度分布建模为多变量高斯分布，在也可以使用其他4D分布，例如拉普拉斯或伽玛分布，或冯米塞斯分布，其等价于变换为循环变量的高斯分布。
对于每一个拖动-抬起输入，概率生成器查询对应于相关多字符键的每一个字符选项的每一个高斯分布(借助拖动-抬起参数x1、y1、d、Θ)以返回高斯概率密度函数，求在参数x1、y1、d、Θ的值，从而提供用户是否意图借助手势选择该字符的概率估计。
概率生成器因此能够为多字符键的每一个字符选项确定概率估计。但可以应用适合的删减，例如为每一个拖动-抬起输入取具有最高概率的N个字符。
在可替换的简化实施例中，预测引擎被配置为基于用户中止与触摸屏的接触的位置，生成用于预期字符输入的预测，即仅基于第二选择事件生成预测，忽略拖动手势的距离和方向。例如，预测引擎可以被配置为使用2D高斯分布来建模点分布(参加图4)，将中止接触发生的位置的坐标视为输入；或者通过比较在中止接触发生的位置到字符键的中心或者到穿过键的线之间的距离等，来确定用户意图选择特定字符键的概率。图5例示了预测引擎如何基于从中止接触(由星号表示)到穿过键的中心的线的距离(其中，距离S1、S2是在垂直于中心线I1、I2的方向上的距离)来确定概率。在这些简化模型中，拖动-抬起手势的开始点与结束点被认为是独立的。
简化模型需要较少的计算，但不太准确。通过考虑距离和方向，预测引擎能够提供用户预期输入的更准确的预测。
在可替换的实施例中，基于输入选项的一维选择，例如从单行字符中选择字符(其中，沿字符行的在第一选择事件与第二选择事件之间的距离是感兴趣的唯一距离，例如参考图1a-c针对字符变体所述的)，预测引擎可以被配置为将拖动-抬起手势建模为2D高斯函数，将开始位置x1和结束位置x2视为输入，或者将开始位置x1与在位置x1、x2之间的距离d视为输入，以确定用户意图输入字符选项的概率。根据上述的较简单的模型，预测引擎可以仅考虑中止点位置，基于在中止点位置与键的中心之间的不同距离来确定概率。
多轻敲(空间上分离开的)
响应于第一用户选择事件，对应于在多字符键上的轻敲，用户接口显示可用于借助一组字符键选择的选项(图2b中显示的示例)。用户能够通过轻敲所希望的字符(无需追踪在轻敲位置之间的路径)来选择显示的一个字符选项。
与拖动-抬起方案相同的方案可以应用于多轻敲方案，其中，第一轻敲与第二轻敲的位置可以以相同的方式认为是拖动开始的位置与在拖动结束时中止与触摸屏的接触的位置。因而，预测引擎可以将双轻敲输入建模为4D分布，将第一轻敲位置(x1,y1)与第二轻敲位置(x2,y2)视为输入(或将x1、y1、d、Θ视为输入)以确定概率。
此外，同样如上指出的，简化模型可以由预测引擎用于与第一轻敲位置无关地建模第二轻敲位置，例如使用2D高斯分布来建模点分布，将第二轻敲的2D位置视为输入，或者通过比较在第二轻敲的位置到字符键的中心或者到穿过键的线之间的距离等。
输入选项的一维选择也可以应用于双轻敲方案，其中，第一次和第二轻敲的位置视为2D高斯函数的输入，或者较简单的方案，其中，概率基于在第二轻敲位置与字符键的中心之间的距离。
轻拂手势
除了拖动-抬起手势或双轻敲来从多字符键选择字符以外，如上所述，用户接口可以被配置为接受轻拂手势以选择输入选项。在本申请的环境中，轻拂手势是由开始点和定向移动组成的手势。不强迫用户将轻拂延伸到所希望的输入字符来选择该字符；移动的方向足以指示所希望的字符。
如上所述，响应于第一用户选择事件，对应于多字符键的按下(或按下并保持)，已知用户接口显示可用于用户借助一组字符键选择的字符选项(图3b中显示的示例)。尽管按照多字符键的初始触摸来显示字符输入选项来说明，但用户接口的这个设计不是必须的，例如多字符键可以借助多字符键上指示的用于他们的选择的方向而显示可用字符选项。
通过在他们希望输入的字符的方向上轻拂，用户能够输入他们所希望的字符。
用户意图借助轻拂手势选择特定字符的概率可以基于轻拂的开始点与相比于字符键的已知方向的轻拂方向来建模。因而，多个字符选项的每一个字符键都可以建模为3D分布，具有变量x、y、Θ，其中，坐标x，y表示轻拂手势的开始的触摸位置(即，“第一用户选择事件”)，Θ表示从这个触摸位置到按键的轻拂角度(相对于给定轴定义的)。
通过得到与开始位置间隔开的轻拂的第二位置(“第二用户选择事件”)来确定轻拂的方向，其中，该第二位置优选地是轻拂的结束，用户在此中止与屏幕的接触。
预测引擎得到参数x、y、Θ，并为每一个按键确定(通过借助参数查询3D概率密度分布)用户意图借助轻拂手势选择该按键的概率。
在优选实施例中，3D分布是多变量高斯分布。但可以使用任何适合的3D分布，包括冯米塞斯分布，其等价于变换为循环变量的高斯分布。
这是简单的模型(相对于拖动-抬起手势的4D模型)，其没有考虑轻拂的距离。但这个简单的模型对于许多用户接口是足够的，例如，没有字符的角度的含混性的用户接口，即没有以一定距离相互间隔开但沿着相同的角度方向的多个字符的用户接口。
这个方案的优点是优于考虑距离以及方向的方案的简化的计算。但该方案通常不太准确。
例如，参考图5，用户从中心开始位置径向移动得越远，两个输入选项就越易于区分，因为到键的中心的距离增大。因此，通过考虑手势的距离以及开始位置和角度，预测引擎能够更准确地预测用户的预期输入选项。
建模多输入目标的选择以及从该多输入目标中的输入选项的选择
如上所述，预测引擎被配置为建模从多个输入选项中的输入选项的选择，以确定用户意图从多个输入选项中选择特定输入选项的概率，多个输入选项中的一个是实际上由用户选择的。
本发明的预测引擎可以被配置为将校正建模提供给多字符键的选择，以及从多字符键中的字符的选择。因而，预测引擎被配置为预测用户意图从除了实际上选择的多字符键以外的多字符键中输入字符的概率。每一个多字符键都可以借助以按键为中心的2D高斯分布(或任何2D分布)来建模。对应于特定多字符键的选择的触摸位置可以视为输入以返回用户意图选择该键的概率(借助查询高斯模型)。可替换地，可以确定从选择事件的触摸位置到多输入目标的中心的距离以提供相关概率值。选择事件的触摸位置可以对应于双轻敲方案的第一轻敲，拖动-抬起手势的开始或者轻拂手势的开始。
在这个实施例中，预测引擎被配置为将用户意图选择多字符键的字符的概率确定为P(字符键∣目标键)*P(目标键)，其中，P(字符键∣目标键)是给定特定目标键情况下用户意图选择特定字符键的概率(例如由4D高斯方案确定)，P(目标键)是所选目标键是预期的键的概率，其可以由2D高斯建模来确定。
预测引擎因此能够确定用户意图借助手势选择特定字符键的概率，并为其他多字符键选项确定按键所对应的字符。
建模在前用户输入
除了以上内容，预测引擎可以被配置为基于用户与键盘的多目标键和字符键的历史交互来对选择事件中的错误建模，即对用户在给定字符键的特定显示情况下如何选择特定字符键建模和/或对用户如何选择多字符键建模。
题为“USER INPUT PREDICTION”的WO 2012/156686说明了一种系统，其适应于用户并学习用户输入文本的方式。通过对用户与系统的历史交互建模，WO 2012/156686的系统能够在给定输入事件时更准确地预测用户意图输入哪个字符。相同的历史交互建模可以应用于用于对用户从多输入目标中选择输入选项中的错误建模的系统和方法，如上所述。具体而言，相同的历史交互建模可以用于确定用户意图选择所选多输入目标和/或所选输入选项的概率，其中，这些概率基于与一个或多个用户选择事件相关的触摸位置。为此，将于2012年11月22日公开的题为“USER INPUT PREDICTION”的WO 2012/156686通过参考整体上并入本文中。
在第14页第11-19行，WO 2012/156686提供了系统的示例，其中，给定输入事件，输入概率生成器为每一个目标c生成用户意图借助输入事件选择该目标的概率p(x∣c,M)。为了生成用于给定目标的概率值，输入概率生成器查询用于该目标的模型，以返回模型参数μc、Σc的当前MAP估计。输入概率生成器随后使用模型参数来计算在输入位置x求得的高斯概率密度函数G(x；μ,Σ)的值。
在本发明的环境中，“输入事件”可以对应于两个位置，代表用于用户从多字符键中选择字符的拖动-抬起手势的开始和抬起或者双轻敲方案的两次轻敲。模型M是4D高斯函数，如上解释的，用于查询模型的参数x是x1、y1、d、Θ。因而，不是为多字符目标的每一个字符键使用具有固定参数的4D高斯函数，预测引擎使用具有随该键的用户选择而变化的参数的4D高斯函数。
类似地，预测引擎可以被配置为对用户借助轻拂手势对按键的在前选择建模，以使得预测引擎提供概率估计，其考虑了用户对于给定按键的轻拂方式。这在特定轻拂方向对于用户是不方便的情况下是有用的，结果产生了始终集中在与用于该按键的普通模型的方向不同的方向上的轻拂。
在独立处理用于第一和第二用户选择事件的触摸/抬起位置的简化方案中，WO2012/156686中论述的方案可以直接应用于借助第一用户输入事件的多字符键的选择和借助第二用户选择事件的字符选项的选择(其中，选择事件独立建模为点位置)。
WO 2012/156686(第15页第4-22行)说明了借助文本预测选择的字符如何可以映射回用户输入事件，以获知哪个用户输入事件对应于哪个字符(以更新相应的字符模型)。相同的映射方案可以应用于本文，例如用以将给定拖动-抬起手势的参数映射到对应于用户意图输入的字符的按键。
手势的组合
除了以上的实施例，用户接口可以被配置为作为选择事件接收拖动-抬起手势，以及轻拂手势和/或轻敲手势。
在这个实施例中，预测引擎可以被配置为确定用户选择事件对应于特定手势的概率，以便基于手势确定用户意图输入特定字符的概率。
给定在手势的最初开始位置与中止接触的位置之间的距离x的情况下的拖动-抬起手势事件的概率可以由图7a中所示的概率函数来建模。图7b提供了用于轻拂手势的示例性概率函数。基于手势是轻拂还是拖动-抬起手势，预测引擎分别使用3D或4D高斯函数。
该方法可以用于确定用户是意图轻敲多输入键以插入该键的默认输入，还是拖动-抬起或轻拂以选择键的特定输入，因为对于从开始位置的可忽略不计的距离x，轻拂或拖动-抬起手势的概率是极低的。如由图7a和7b所见的，短的手势可以被确定为轻拂手势，较长的手势被确定为拖动-抬起手势，因为在选择字符时，轻拂手势是比拖动-抬起手势更短的手势。
多轻敲(以在字符中循环)
如上在背景技术部分中所述的，为了在多轻敲方案中输入所希望的字符用户通过轻敲按键所希望的次数而在可用字符选项中循环。如果用户的轻敲是快速连续的，用户能够在字符中循环以选择所希望的一个字符。如前参考图5a解释的，在已知的多轻敲方案中，在相同按键上的轻敲之间所经过的时间在输入选项相互区分时是确定的(即，是否将所选字符改变为循环中的下一个字符，或者是否输入所选字符并开始新的字符输入)。
在本发明的多轻敲(字符循环)方案中，在键击之间经过的时间用于提供概率估计，用于确定用户借助最后的键击意图输入新的字符还是改变所选当前字符。
在本发明的优选实施例中，预测引擎被配置为将在第一轻敲(即“第一用户选择事件”)与预定时间期间的期满之间的概率函数P(t)建模为S形函数。本发明的系统因此在到期时间期间之前提供了不定性(而不是实施确定性方案)，用以确定用户通过在字符选项中循环意图开始新的字符还是修改当前所选字符的概率。
适合的概率函数的示例是
其中，t是自从第一次键按下后的时间，tp＝0.5是概率函数具有0.5的值的时间，即，在此，用户意图在字符选择中循环和意图从相同的键开始新的字符循环的概率相等。对于图6b所示的示例，在此，用于所经过的时间的预先确定的阈值450秒，tp＝0.5＝300ms。
因而，tp是阈值时间，超过它，预测引擎就确定第二轻敲(即第二用户选择事件)意图开始新的字符循环，而不是修改现有字符循环的字符。预测引擎可以被配置为将tp朝向或远离用于所经过时间的阈值偏置，在该阈值，用于输入在前字符并开始新的字符序列的概率为1。这是因为用户可以以不同速度输入连续的轻敲。阈值经过时间可以由用户手动改变或者可以是预设的。例如，预测引擎可以被配置为保留并可任选地更新用于每一个多字符键的tp值。例如，用户可能发现一个多字符键在比其他的更为不方便的位置，表示该键的轻敲比更易达到的那些键在时间上间隔更宽。
因而，对于不是在时间上由等于或大于预定终止期的期间分离的两次轻敲，存在两个可能的输入选项。例如，如果用户在键A∣B∣C上双轻敲，预测引擎就提供以下两个输入：
P(B)＝1-P(t1)
P(A,A)＝P(t1)
其中，t1是在第一次和第二轻敲之间的时间期间，P(A,A)是用户意图两次输入字符“A”的概率，P(B)是用户意图输入字符“B”的概率。
在有更多的轻敲时(即大于两次)，预测引擎考虑新的轻敲意图是新的字符还是针对在前可选输入的每一个的改变现有字符，例如对于键“A∣B∣C”的第三次轻敲：
P(C)＝(1-P(t1))*(1-P(t2))
P(B,A)＝(1-P(t1))*P(t2)
P(A,B)＝P(t1)*(1-P(t2))
P(A,A,A)＝P(t1)*P(t2)
其中，t2是在第二次和第三次轻敲之间的时间。
为了减少所需计算，预测引擎可以被配置为删减所考虑的可能的字符输入选项的数量。在优选实施例中，预测引擎被配置为对于每一个键按下，取N个最可能的候选字符。
可替换地，预测引擎可以被配置为仅保留具有高于阈值概率值的相关概率的字符，其中，阈值按照经验设定为预定义级别或者通过使用实验来确定或者使用设备限制来动态设定，例如存储器或处理器的限制。
对于在字符中循环的这个多轻敲方案，假定在相同键上的轻敲对应于该键的选择，忽略在轻敲的位置中的任何差别，因为差别通常是可忽略不计的。但如果希望的话，可以考虑用户意图选择该多键的概率(借助2D高斯方案)以及用户意图在该键上在字符中循环的概率，如本文所述的。
本发明还提供了相应的方法，用于使用预测引擎确定用户意图选择或识别特定输入选项的概率。
在本发明的方法的第一方面，提供了一种方法，用于使用预测引擎确定用户意图借助多输入键选择显示可用的多个输入选项的用户接口的输入的概率。参考图8，方法包括借助用户接口接收(10)第一用户选择事件，以选择多输入目标；借助用户接口接收(20)第二用户选择事件，以选择显示的多个输入选项的输入，其中，第二用户选择事件与第一用户选择事件在空间上分离；及基于第二用户选择事件，确定除了所选输入概率以外用户意图选择多个输入中的输入的概率。
在本发明的方法的第二方面，提供了一种方法，用于使用预测引擎。基于在用户接口上的第一用户选择事件和第二用户选择事件，确定用户意图选择两个输入选项之一的概率，其中，用户接口包括与可用于用户选择输入的多个输入选项相关的多输入目标。参考图9，方法包括借助用户接口接收(100)针对多输入目标的第一用户选择事件，以识别多个输入选项的第一输入；借助第二用户接口接收(200)针对多输入目标的第二用户选择事件，以将识别的输入从第一输入改变为多个输入选项的第二输入。使用预测引擎确定(300)在第一和第二用户选择事件之间经过的时间；使用预测引擎确定(400)经过的时间小于预先确定的阈值；及基于经过的时间确定(500)用户意图选择第二输入的概率和用户意图输入第一输入并随后再次选择第一输入的概率。设定预先确定的阈值以使得如果经过的时间大于预先确定的阈值，第一输入以概率1输入到系统中，并再次选择第一输入。
通过类比以上的系统说明，易于确定本发明的方法的其他方面。
本发明还提供了一种计算机程序产品，包括计算机可读介质，具有存储于其上的计算机程序模块，用于使得处理器执行根据本发明的一个或多个方法。
计算机程序产品可以是数据载体，具有存储于其上的计算机程序模块，易于使得在数据载体外的处理器，即电子设备的处理器，执行根据本发明的方法。计算机程序产品还可以用于下载，例如从数据载体或从供应商通过互联网或其他可用网络，例如作为应用程序下载到移动设备上(例如移动电话或平板电脑)或者下载到计算机、移动设备、平板电脑或包括处理器的计算机上，用于一旦下载后执行计算机程序模块。
会理解，本说明仅是示例性的；在不脱离权利要求书中所限定的本发明的范围的情况下，可以对所述实施例做出变化和修改。

Claims (37)

1.一种系统，包括：
用户接口，所述用户接口包括多输入目标，所述多输入目标与可用于用户选择输入的多个输入选项相关联；
其中，所述用户接口被配置为：
在接收到第一用户选择事件时选择所述多输入目标；
在接收到第二用户选择事件时选择所述多个输入选项的输入，其中，所述第二用户选择事件是与所述第一用户选择事件在空间上分离开的；
其中，所述系统包括预测引擎，其中，所述预测引擎被配置为：
基于所述第二用户选择事件来确定所述用户意图选择所述多个输入中除了所选输入以外的输入的概率。
2.根据权利要求1所述的系统，其中，所述预测引擎被配置为基于所述第一用户选择事件和所述第二用户选择事件来确定所述用户意图选择所述多个输入中除了所选输入以外的输入的概率。
3.根据权利要求2所述的系统，其中，所述预测引擎被配置为使用所述第一用户选择事件的位置和所述第二用户选择事件的位置来确定所述概率。
4.根据权利要求3所述的系统，其中，所述第一用户选择事件对应于第一轻敲或拖动-抬起手势的开始，并且所述第二用户选择事件对应于第二轻敲或拖动-抬起手势的抬起。
5.根据权利要求3所述的系统，其中，所述预测引擎被配置为确定在所述第一用户选择事件的位置与所述第二用户选择事件的位置之间的距离和方向。
6.根据权利要求3、4或5中的一项所述的系统，其中，所述预测引擎包括针对所述多个输入中的每个输入的4D概率分布模型。
7.根据权利要求6所述的系统，其中，所述预测引擎通过以下操作来确定所述用户意图选择所述多个输入中的输入的概率：借助所述第一位置和所述第二位置或者借助所述第一位置、以及在所述第一位置与所述第二位置之间的距离和方向来查询与该输入相关联的模型。
8.根据权利要求6或7所述的系统，其中，所述模型是4D高斯模型。
9.根据权利要求3所述的系统，其中，所述第一用户选择事件对应于轻拂手势的开始，并且所述第二用户选择事件对应于所述轻拂手势的结束，并且其中，所述预测引擎被配置为：
确定从开始位置到结束位置的轻拂方向；
基于所述轻拂的开始位置和方向来确定用户意图选择所述多个输入中的所述输入的概率。
10.根据前述权利要求中任一项所述的系统，其中，所述预测引擎生成针对所述多个输入选项中的每个输入选项的用户意图选择给定输入选项的概率。
11.根据前述权利要求中任一项所述的系统，其中，所述用户接口包括多个多输入目标，并且所述预测引擎进一步被配置为：
基于所述第一选择事件来确定所述用户意图选择所选多输入目标的概率。
12.根据前述权利要求中任一项所述的系统，在响应于所述第一用户选择事件时，所述用户接口被配置为显示空间上分离的所述多个输入选项。
13.根据权利要求2-12中任一项所述的系统，其中，所述预测引擎包括多个模型，一个模型针对所述多个输入的每个输入选项，其中，每个模型都将对应于所述多个输入中的输入的在前第一用户选择事件和第二用户选择事件与该输入相关，其中，所述预测引擎被配置为结合所述多个模型，生成所述第一用户选择事件和所述第二用户选择事件与所述多个输入中的特定输入相关的概率。
14.根据前述权利要求中任一项所述的系统，其中，所述多输入目标是虚拟键盘上代表多个字符输入选项的多字符键。
15.一种系统，包括：
用户接口，所述用户接口包括多输入目标，所述多输入目标与可用于用户选择输入的多个输入选项相关联；
其中，所述用户接口被配置为：
在接收到针对所述多输入目标的第一用户选择事件时，识别所述多个输入选项的第一输入；
在接收到针对所述多输入目标的第二用户选择事件时，将所识别的输入从所述第一输入改变为所述多个输入选项的第二输入；以及
其中，所述系统包括预测引擎，其中，所述预测引擎被配置为：
确定在所述第一用户选择事件与所述第二用户选择事件之间经过的时间；
确定所经过的时间小于预先确定的阈值；以及
基于所经过的时间来确定用户意图选择所述第二输入的概率以及用户意图输入所述第一输入并随后再次选择所述第一输入的概率；
其中，所述预先确定的阈值被设定以使得，如果所经过的时间大于所述预先确定的阈值，则所述第一输入以概率1被输入到所述系统中，并且所述第一输入被再次选择。
16.根据权利要求15所述的系统，其中，所述多输入目标是虚拟键盘上代表多个字符输入选项的多字符键。
17.根据权利要求16所述的系统，其中，所述第一用户选择事件对应于在多字符目标上的、选择所述第一输入的第一轻敲，并且所述第二用户输入事件对应于在所述多字符目标上的、将所选输入改变为所述第二输入的第二轻敲。
18.根据权利要求15-17中任一项所述的系统，其中，在所述第一用户选择事件与所述预先确定的阈值之间的概率是借助S形函数建模的。
19.根据权利要求18所述的系统，其中，所述S形函数采取的形式，其中，P是用户意图输入所述第二输入的估计概率，t是在所述第一用户选择事件与所述第二用户选择事件之间经过的时间，tp＝0.5是在经建模的S形概率分布中所述概率等于0.5的经过时间。
20.一种使用预测引擎来确定用户意图选择用户接口的输入的概率的方法，所述用户接口显示借助多输入键可用的多个输入选项，所述方法包括：
通过所述用户接口接收第一用户选择事件，以选择所述多输入目标；
通过所述用户接口接收第二用户选择事件，以选择所显示的所述多个输入选项的输入，其中，所述第二用户选择事件是与所述第一用户选择事件在空间上分离开的；以及
基于所述第二用户选择事件来确定除了所选输入概率以外用户意图选择所述多个输入中的输入的概率。
21.根据权利要求20所述的方法，其中，所述概率是基于所述第一用户选择事件和所述第二用户选择事件来确定的。
22.根据权利要求21所述的方法，其中，所述概率是使用所述第一用户选择事件的位置和所述第二用户选择事件的位置来确定的。
23.根据权利要求22所述的方法，其中，所述第一用户选择事件对应于第一轻敲或拖动-抬起手势的开始，并且所述第二用户选择事件对应于第二轻敲或拖动-抬起手势的抬起。
24.根据权利要求23所述的方法，其中，所述方法包括：确定在所述第一用户选择事件的位置与所述第二用户选择事件的位置之间的距离和方向。
25.根据权利要求22、23或24中一项所述的方法，其中，所述预测引擎包括针对所述多个输入中的每个输入的4D概率分布模型。
26.根据权利要求25所述的方法，其中，确定用户意图选择所述多个输入中的输入的概率包括：借助所述第一位置和所述第二位置或者借助第一位置、以及在所述第一位置与所述第二位置之间的距离和方向来查询与该输入相关联的模型。
27.根据权利要求25或26所述的方法，其中，所述模型是4D高斯模型。
28.根据权利要求22所述的方法，其中，所述第一用户选择事件对应于轻拂手势的开始，并且所述第二用户选择事件对应于所述轻拂手势的结束，并且所述方法包括：
使用所述预测引擎来确定所述轻拂的方向；以及
使用所述轻拂的开始位置和方向来确定用户意图选择所述多个输入中的所述输入的概率。
29.根据前述权利要求中任一项所述的方法，包括：针对所述多个输入选项的每个输入选项确定用户意图选择给定输入选项的概率。
30.根据前述权利要求中任一项所述的方法，其中，所述用户接口包括多个多输入目标，并且使用预测引擎的确定进一步包括：
基于所述第一选择事件来确定所述用户意图选择所选多输入目标的概率。
31.根据权利要求21-30中任一项所述的方法，其中，所述预测引擎包括多个模型，一个模型针对所述多个输入中的每个输入选项，其中，每个模型都将对应于所述多个输入中的一输入的在前第一用户选择事件和第二用户选择事件与该输入相关，其中，所述预测引擎被配置为结合所述多个模型来生成所述第一用户选择事件和所述第二用户选择事件与所述多个输入中的特定输入相关的概率。
32.一种方法，所述方法使用预测引擎，基于在用户接口上的第一用户选择事件和第二用户选择事件来确定用户意图选择两个输入选项中的一个输入选项的概率，其中，所述用户接口包括与可用于用户选择输入的多个输入选项相关联的多输入目标，所述方法包括：
通过所述用户接口接收针对所述多输入目标的第一用户选择事件，以识别所述多个输入选项的第一输入；
通过第二用户接口接收针对所述多输入目标的第二用户选择事件，以将所识别的输入从所述第一输入改变为所述多个输入选项的第二输入；
使用所述预测引擎来确定在所述第一用户选择事件与所述第二用户选择事件之间经过的时间；
使用所述预测引擎来确定所经过的时间小于预先确定的阈值；以及
基于所经过的时间来确定用户意图选择所述第二输入的概率以及用户意图输入所述第一输入并随后再次选择所述第一输入的概率；
其中，所述预先确定的阈值被设定以使得，如果所经过的时间大于所述预先确定的阈值，则所述第一输入以概率1将被输入到系统中，并且所述第一输入再次被选择。
33.根据权利要求32所述的方法，其中，所述多输入目标是虚拟键盘上代表多个字符输入选项的多字符键。
34.根据权利要求33所述的方法，其中，所述第一用户选择事件对应于在多字符目标上的、选择所述第一输入的第一轻敲，并且所述第二用户输入事件对应于在所述多字符目标上的、将所选输入改变为所述第二输入的第二轻敲。
35.根据权利要求32-34中任一项所述的方法，其中，在所述第一用户选择事件与所述预先确定的阈值之间的概率通过所述预测引擎被建模为S形函数。
36.根据权利要求35所述的方法，其中，S形函数采取的形式，其中，P是用户意图输入所述第二输入的估计概率，t是在所述第一用户选择事件与所述第二用户选择事件之间经过的时间，tp＝0.5是在建模的S形概率分布中概率等于0.5的经过时间。
37.一种计算机程序产品，包括计算机可读介质，所述计算机可读介质具有存储于其上的计算机程序模块，所述计算机程序模块使得处理器执行根据权利要求20-36中任一项所述方法。
CN201580018626.8A 2014-04-04 2015-04-02 用于输入与多输入目标相关联的一个或多个输入的系统和方法 Active CN106164893B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-077801 2014-04-04
JP2014077801A JP6548358B2 (ja) 2014-04-04 2014-04-04 マルチ入力ターゲットに関連付けられた１つ又はそれ以上の入力を入力するためのシステム及び方法
PCT/GB2015/051050 WO2015150832A1 (en) 2014-04-04 2015-04-02 System and method for inputting one or more inputs associated with a multi-input target

Publications (2)

Publication Number Publication Date
CN106164893A true CN106164893A (zh) 2016-11-23
CN106164893B CN106164893B (zh) 2020-06-05

Family

ID=52824499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580018626.8A Active CN106164893B (zh) 2014-04-04 2015-04-02 用于输入与多输入目标相关联的一个或多个输入的系统和方法

Country Status (6)

Country Link
US (1) US10802710B2 (zh)
EP (1) EP3114546B1 (zh)
JP (1) JP6548358B2 (zh)
KR (1) KR102335883B1 (zh)
CN (1) CN106164893B (zh)
WO (1) WO2015150832A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888577A (zh) * 2018-09-10 2020-03-17 百度在线网络技术（北京）有限公司 字符纠正方法、装置、设备以及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6620480B2 (ja) * 2015-09-15 2019-12-18 オムロン株式会社 文字入力方法および文字入力用のプログラムならびに情報処理装置
CN107015736B (zh) * 2016-01-27 2020-08-21 北京搜狗科技发展有限公司 一种按键处理方法和装置、一种用于按键处理的装置
US10771427B2 (en) * 2016-02-18 2020-09-08 Versign, Inc. Systems and methods for determining character entry dynamics for text segmentation
JP7053216B2 (ja) * 2017-10-23 2022-04-12 トヨタ自動車株式会社 車両操作装置および車両システム
CN108228910B (zh) * 2018-02-09 2023-05-12 艾凯克斯（嘉兴）信息科技有限公司 一种将循环神经网络应用在关联选择问题上的方法
JP7143792B2 (ja) * 2019-03-14 2022-09-29 オムロン株式会社 文字入力装置、文字入力方法、及び、文字入力プログラム
WO2023136575A1 (en) * 2022-01-11 2023-07-20 Samsung Electronics Co., Ltd. Method and device of providing adaptive user interface based on user functional elements

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184024A (zh) * 2010-04-22 2011-09-14 微软公司 虚拟键盘的可视强调预测键
CN102890615A (zh) * 2012-09-21 2013-01-23 百度在线网络技术（北京）有限公司 一种基于触摸屏的拼音输入方法和装置
CN103201707A (zh) * 2010-09-29 2013-07-10 触摸式有限公司 用于向电子设备输入文本的文本预测引擎、系统及方法
CN103299550A (zh) * 2010-11-04 2013-09-11 纽昂斯通讯公司 用于具有自动校正的键盘系统的拼写检查
WO2014003138A1 (ja) * 2012-06-29 2014-01-03 Kddi株式会社 入力文字推定装置およびプログラム
US20140082545A1 (en) * 2012-09-18 2014-03-20 Google Inc. Posture-adaptive selection
CN103703433A (zh) * 2011-05-16 2014-04-02 触摸式有限公司 用户输入预测系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953541A (en) 1997-01-24 1999-09-14 Tegic Communications, Inc. Disambiguating system for disambiguating ambiguous input sequences by displaying objects associated with the generated input sequences in the order of decreasing frequency of use
US7382359B2 (en) * 2004-06-07 2008-06-03 Research In Motion Limited Smart multi-tap text input
JP2008250378A (ja) 2007-03-29 2008-10-16 Sanyo Electric Co Ltd 入力文字列予測装置および入力文字列予測プログラム
US8059101B2 (en) * 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US8170869B2 (en) 2007-06-28 2012-05-01 Panasonic Corporation Method to detect and assist user intentions with real time visual feedback based on interaction language constraints and pattern recognition of sensory features
US20090058823A1 (en) * 2007-09-04 2009-03-05 Apple Inc. Virtual Keyboards in Multi-Language Environment
US8581851B2 (en) * 2007-09-24 2013-11-12 Nokia Corporation Method and device for character input having a base character component and a supplemental character component
TWI393029B (zh) * 2007-12-31 2013-04-11 Htc Corp 電子裝置以及於電子裝置上執行指令之方法
US8589149B2 (en) * 2008-08-05 2013-11-19 Nuance Communications, Inc. Probability-based approach to recognition of user-entered data
US8140450B2 (en) * 2009-03-27 2012-03-20 Mitsubishi Electric Research Laboratories, Inc. Active learning method for multi-class classifiers
US9189472B2 (en) * 2009-03-30 2015-11-17 Touchtype Limited System and method for inputting text into small screen devices
JP5572059B2 (ja) * 2010-10-21 2014-08-13 京セラ株式会社 表示装置
US9342155B2 (en) * 2011-03-31 2016-05-17 Nokia Technologies Oy Character entry apparatus and associated methods
US9262076B2 (en) * 2011-09-12 2016-02-16 Microsoft Technology Licensing, Llc Soft keyboard interface
US20140198047A1 (en) * 2013-01-14 2014-07-17 Nuance Communications, Inc. Reducing error rates for touch based keyboards
US20150100911A1 (en) * 2013-10-08 2015-04-09 Dao Yin Gesture responsive keyboard and interface
US10101822B2 (en) * 2015-06-05 2018-10-16 Apple Inc. Language input correction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184024A (zh) * 2010-04-22 2011-09-14 微软公司 虚拟键盘的可视强调预测键
CN103201707A (zh) * 2010-09-29 2013-07-10 触摸式有限公司 用于向电子设备输入文本的文本预测引擎、系统及方法
CN103299550A (zh) * 2010-11-04 2013-09-11 纽昂斯通讯公司 用于具有自动校正的键盘系统的拼写检查
CN103703433A (zh) * 2011-05-16 2014-04-02 触摸式有限公司 用户输入预测系统
WO2014003138A1 (ja) * 2012-06-29 2014-01-03 Kddi株式会社 入力文字推定装置およびプログラム
US20140082545A1 (en) * 2012-09-18 2014-03-20 Google Inc. Posture-adaptive selection
CN102890615A (zh) * 2012-09-21 2013-01-23 百度在线网络技术（北京）有限公司 一种基于触摸屏的拼音输入方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888577A (zh) * 2018-09-10 2020-03-17 百度在线网络技术（北京）有限公司 字符纠正方法、装置、设备以及存储介质
CN110888577B (zh) * 2018-09-10 2021-09-28 百度在线网络技术（北京）有限公司 字符纠正方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN106164893B (zh) 2020-06-05
EP3114546B1 (en) 2024-01-03
US20170192671A1 (en) 2017-07-06
WO2015150832A1 (en) 2015-10-08
KR102335883B1 (ko) 2021-12-03
JP6548358B2 (ja) 2019-07-24
EP3114546A1 (en) 2017-01-11
US10802710B2 (en) 2020-10-13
JP2015200948A (ja) 2015-11-12
KR20160142867A (ko) 2016-12-13

Similar Documents

Publication Publication Date Title
CN106164893A (zh) 用于输入与多输入目标相关联的一个或多个输入的系统和方法
CN105009064B (zh) 使用语言和空间模型的触摸键盘
CN103038728B (zh) 例如在移动电话上使用触摸屏的多模式文本输入系统
CN106462283B (zh) 计算设备上的字符识别
CN102141889B (zh) 用于编辑的打字辅助
US10282090B2 (en) Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones
CN103703433B (zh) 用户输入预测系统
TWI553541B (zh) 用於詞意圖像對比的方法及計算裝置
CN104756061A (zh) 多手势文本输入预测
CN108700996B (zh) 用于多输入管理的系统和方法
CN105229574A (zh) 减少基于触摸的键盘的错误率
CN106249909A (zh) 语言输入校正
CN105074643B (zh) 非词典字符串的手势键盘输入
Lee et al. Hibey: Hide the keyboard in augmented reality
WO2014047161A2 (en) Posture-adaptive selection
CN110023930B (zh) 利用神经网络和在线学习的语言数据预测
US20180081539A1 (en) Improved data entry systems
Cha et al. Virtual Sliding QWERTY: A new text entry method for smartwatches using Tap-N-Drag
US10872203B2 (en) Data input system using trained keypress encoder
CN103455165A (zh) 具有校正词预测的触摸屏键盘
CN107132927B (zh) 输入字符的识别方法及装置和用于识别输入字符的装置
Lin et al. Establishing interaction specifications for online-to-offline (O2O) service systems
CN108919976A (zh) 字符输入方法、系统、装置、电子设备及存储介质
Ljubic et al. Predicting upper-bound text entry speeds for discrete-tilt-based input on smartphones
JP2019083057A (ja) マルチ入力ターゲットに関連付けられた１つ又はそれ以上の入力を入力するためのシステム及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200903

Address after: 98052 Microsoft Avenue, Redmond, Washington, USA

Patentee after: MICROSOFT TECHNOLOGY LICENSING, LLC

Address before: England Atsushi

Patentee before: TOUCHTYPE Ltd.