CN102707798A - 使用按键和手势信息的文本输入 - Google Patents

使用按键和手势信息的文本输入 Download PDF

Info

Publication number
CN102707798A
CN102707798A CN2012100794806A CN201210079480A CN102707798A CN 102707798 A CN102707798 A CN 102707798A CN 2012100794806 A CN2012100794806 A CN 2012100794806A CN 201210079480 A CN201210079480 A CN 201210079480A CN 102707798 A CN102707798 A CN 102707798A
Authority
CN
China
Prior art keywords
gesture
button
character
user
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100794806A
Other languages
English (en)
Other versions
CN102707798B (zh
Inventor
飞海蔡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102707798A publication Critical patent/CN102707798A/zh
Application granted granted Critical
Publication of CN102707798B publication Critical patent/CN102707798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

可以从击键信息和手写手势信息的组合中识别文本输入。在一个示例中,触摸屏显示屏幕上的键盘。用户随后在该键盘上在代表字符的按键上面描画该字符。这样,提供识别用户打算输入的字符的两种类型的信息:用户提供的特定的描画手势,以及用户描画那个手势的键盘上的位置。这两条信息可以结合使用来确定用户打算输入哪个字符,并且在其中或手势或按键信息个别地可能已有歧义的情况下可能有助于正确地解释输入。

Description

使用按键和手势信息的文本输入
背景技术
当全机械键盘的使用不是可行的或合适的时候,具有各种方式在设备上输入文本。例如,无线电话通常允许用户使用多次轻敲(multi-tap)方法或使用诸如T9之类的预测文本技术在小键盘上输入文本。带有触摸屏的设备可以使用手写识别,或可以提供屏幕上的键盘。带有麦克风的设备可以提供语音至文本转换(speech-to-text)能力。
虽然这些技术可以允许设备接收文本输入,但是它们在某些情况下可能是欠佳的。通过这些方法输入文本可能产生错误、可能使用缓慢或可能具有陡峭的学习曲线。
发明内容
文本的输入可以通过位置和手势的组合来执行。这种组合给输入系统提供有关用户正在试图输入什么文本的两条信息,从而帮助输入系统利用相对小的歧义来辨别用户的意图。
为了接收输入,具有触摸屏的设备可以提供屏幕上的键盘。用户随后可以使用手指或手写笔在触摸屏上用手势示意他或她想输入的字符。用户可以在屏幕上的键盘的相应按键上(或附近)描画字符。输入系统于是具有有关用户正在试图指定什么字符的两条信息:该手势本身,以及描画该手势的位置。如果手势本身可能是有歧义的话,该位置可以帮助输入系统消除该手势的歧义。同样,在用户在屏幕上的键盘上触摸的位置是有歧义的时候,该手势可以帮助输入系统消除该位置的歧义。
输入系统可以被并入到可以从用户接收文本输入的特定设备中。这样的设备的示例是无线电话、手持式计算机、销售点系统、银行系统、机动车的车厢内(in-cabin)显示器等。
提供这个发明内容部分来以简化的形式介绍下面在具体实施方式中进一步描述的概念的选择。这个发明内容并不打算识别所请求保护的主题的关键特征或基本特征,也不打算用于限制所请求保护的主题的范围。
附图说明
图1是可以通过位置和手势二者接收文本输入的示例键盘的框图。
图2是可以使用此处描述的技术来接收输入的示例设备的框图。
图3是其中用户输入可以被解释为文本的示例处理的框图。
图4是可以与此处描述的主题的实现方式相结合使用的示例组件的框图。
具体实施方式
许多设备从用户接收文本输入。诸如桌上型或膝上型计算机之类的相对大型设备通常具有全尺寸机械键盘来接收文本输入。然而,其它的设备可以通过其它的机制来接收输入。一些这样的机制包括多次轻敲、预测文本、屏幕上的键盘和手写识别。
例如,无线电话可以使用多次轻敲或预测文本方法通过小键盘接收文本输入。对于这些方法中的任何一种方法,每个按键被分配来代表多个字母或符号。对于多次轻敲,用户通过以快速连续方式按压该按键一些次数来选择特定的字母或符号(例如,如果小键盘上的“2”按键代表字母A、B和C,则按压该按键两次对应于选择字母B)。对于诸如T9之类的预测文本系统,按键的特定顺序与一个或多个字相关联。如果某个顺序解析为单个字,则预测文本系统将该顺序解释为是那个字;否则,用户可以滚动由该顺序所代表的可能的字的选择。
作为另一示例,无线电话、手持式计算机或平板计算机可以具有触摸屏,并可以使用触摸屏来接收文本输入。通过触摸屏接收文本输入的一种方式是允许用户在屏幕上描画(或“用手势示意”)字母的形状(其中字母可以位于标准字母表中或位于专门为触摸屏手势设计的字母表中,诸如Graffiti)。在触摸屏上接收输入的另一种方式是通过屏幕上的键盘。
这些方法都具有其缺点。通过多次轻敲或预测文本在9键数字小键盘上输入文本可能是乏味且缓慢的,并且可能导致错误。手写识别系统可能在其识别字符的方式上具有错误。屏幕上的键盘也可能错误地接收输入。
此处的主题提供一种方式来识别文本输入,其以可以提供准确性和便利性二者的方式来组合来自其它输入方法的特征。为了接收文本输入,设备可以在触摸屏上提供屏幕上的键盘。对于用户想要输入的每一个字符,用户可以在屏幕上描画该字符。然而,用户可以在对应于那个字符的键盘符号上(或在其附近)描画该字符而不是在屏幕上的任意地方描画该字符。例如,如果用户想写字母“O”,用户可以在屏幕上的键盘的虚拟“O”按键上(以英文印刷体、以英文手写体、以Graffiti等)描画用于那个字母的符号。
这个输入事件给输入系统提供两条信息,该系统可以使用这两条信息来确定用户正在尝试写哪个字符。一条信息是在屏幕上描画的手势;另一条信息是在屏幕上的键盘上描画那个手势的位置。如果一条信息是有歧义的话,另一条信息可能有助于消除用户的意图的歧义。例如,在QWERTY键盘上,“O”按键靠近“I”、“P”和“L”按键,因此当用户在虚拟“O”按键附近触摸屏幕时,该位置并没有毫无歧义地识别特定按键;用户可能打算按压“O”按键,但也可能打算按压附近按键中的一个。然而,针对“O”的手势可能不像针对“I”、“P”或“L”的手势,因此该手势有助于将该位置消歧为指示“O”。另一方面,针对“O”的手势可能看起来像针对“Q”的手势,在这种情况下,该手势本身可能是模糊的。然而,“O”和“Q”在QWERT键盘上并不彼此靠近,因此该手势的位置可能有助于消除该手势的歧义。因而,这两条信息一起可以导致关于用户正在尝试输入的字符的比单独从任一条信息中能够得出的结论更可靠的结论。能够更可靠地形成有关用户意图的结论可以导致文本输入更大的准确性。
虽然用户通常通过在虚拟按键上轻敲来向屏幕上的键盘提供输入,但是具有称为Swype(滑行输入法)的系统,其允许用户通过以滑动动作在屏幕上的键盘中的按键之间移动而不是在每个按键上使用不连续轻敲来指示字符。然而,在Swype中,在屏幕上的滑动动作不是用于描画字符的手势。滑动动作只是替代用户手指的重新定位,而这在用户正在利用正常轻敲动作键入的时候反而将远离屏幕发生。Swype中的滑动动作并不是描画字母的企图;滑动动作提供的关于用户正在指示哪些字符的唯一信息是手指滑过的特定的一组按键,这是通过单独轻敲将提供的相同的信息。
此外,具有一些系统允许用户通过非轻敲动作来指示正在按压哪个按键。然而,这样的系统可能涉及允许用户指示按键(或机械按键或虚拟的屏幕上的按键)而不与小键盘进行物理接触。例如,该系统可能使用照相机或加速计来检测用户正在按压哪个按键而用户不必与屏幕上的或机械的小键盘进行物理接触。再一次,这样的系统完全依赖于其对于用户正在按压哪个按键的感知而无需用户尝试描画对应于那个按键的字符。
现在转向附图,图1显示可以通过位置和手势二者接收文本输入的示例键盘。在所示的示例中,用户正在键盘100上键入词“BING”。在一个示例中,键盘100可以是显示在触摸屏上的屏幕上的键盘。图1以四个视图显示键盘100,其中每个视图展示为了输入词“BING”的特定字母而将在键盘100上用手势示意什么。
在视图102中,用户通过在对应于字母“B”的虚拟按键120上描画字母“B”来输入字母“B”。手势100是用户对字母“B”的描画。该手势可以采用任何形式,例如,印刷版本的大写或小写的“B”、手写版本的大写或小写的“B”、Graffiti版本的“B”等。
在输入“B”之后,用户接下来输入“I”,如在视图104中所示的。在视图104中,用户在对应于字母“I”的按键122附近描画手势112(其在这种情况下是小写的印刷体“i”)。在视图104中,将观察到:用户对于“i”的放置(placement)并不精确地对应于按键“I”按键;它跨在“I”和“K”按键上(“K”按键在图1中是按键124)。然而,如果输入系统确定该手势比“K”更像“I”,则它可以通过推断出用户输入了“I”来消歧手势112及其在“K”与“I”按键上的放置的组合。
在视图106中,用户通过在“N”按键上描画“n”(手势114)来输入“N”。将观察到:在这个示例中,用户在“M”和“N”按键二者上方描画了手势114。然而,通过确定该手势是更像“M”还是更像“N”,能够消除用户的意图的歧义。
在视图108中,用户通过描画“G”(手势116)来输入“G”。在视图108中,在按键“G”、“H”、“V”和“B”上描画手势116,并且输入系统通过确定手势116是更像“G”、“H”、“V”还是更像“B”来消除对于用户意图的歧义。将观察到:如果用户利用大的手指仅仅同时轻敲了按键“G”、“H”、“V”和“B”,将很难知道用户打算输入哪个字符。然而,由于用户同时指示键盘100上的按键(通过键盘100上用户选择来描画手势的特定位置)并且也通过手势本身指示特定的字符,所以输入系统具有它可以使用来解析用户意图的两条信息。这样,输入系统可以正确地确定用户打算输入哪个字符。
图2显示可以使用此处描述的技术来接收输入的示例设备。设备200是能够从用户204接收文本输入202的设备。设备200可以是任何合适类型的设备。设备200的示例包括:无线电话、桌上型或膝上型计算机、手持式计算机和/或音乐播放器、平板计算机、现金出纳机或其它销售点设备以及机动车和/或其用户界面,其中用户在安全停泊的时候能够使用这些设备。(在后一种情况下,该设备可以是车辆中的仪表盘安装的触摸显示器,或在仪表盘中具有显示器并且在方向盘上提供小键盘的界面,例如,方向盘可能在其中具有另一个触摸屏,以便显示用户在泊车的时候能够触及到的屏幕上的键盘)。上述的只是设备200的示例的列表,并且将明白:其它类型的设备在此处主题的范围之内。
设备200可以具有触摸屏206,它既显示设备200的输出并且也接收对于设备200的输入。能够显示在触摸屏206上的一件东西是屏幕上的键盘208。屏幕上的键盘208具有多个虚拟按键210,其中这些虚拟按键是按键的图像,而这些按键使人联想起机械键盘或小键盘上的那些按键。在图2所示的示例中,键盘208具有以QWERTY配置来安排的按键210,然而按键210能够以任何方式来安排。触摸屏206能够感测用户触摸屏幕表面的(一个或多个)位置。设备200中的软件知道按键210在触摸屏上的位置。因此,使用已知的按键的位置和有关用户触摸了屏幕的哪个部分的感觉输入(sensory input),有可能估计用户按压了哪个按键。(设备200也可能具有对某些模型的无线电话而言为常见的输入按钮201)。
设备200可以具有处理器212和存储器214。处理器212可以是微处理器,诸如中央处理单元(CPU)、图形处理单元(GPU)或能够执行某些类型计算的任何其它组件。存储器214可以是能够存储数据的组件,诸如易失性随机存取存储器(RAM)、闪存或任何其它类型的存储器。设备200可以具有一个或多个可执行组件216,其可以存储在存储器214中并可以在处理器212上执行。
一个示例的可执行组件是手写识别组件218。手写识别组件218可以接收代表用户在触摸屏上描画的物理手势的数据。该数据可以代表有关用户如何触摸屏幕和/或用户如何在屏幕上移动手指或手写笔的空间和时间信息二者。一个或多个字母表220可以存储在存储器214中(或可以存储在另一组件中)。字母表220以各种形式包含字符的表示,诸如英文印刷体、英文手写体、Graffiti等。手写识别组件218可以使用字母表220来识别利用来自触摸屏的输入所代表的字符。手写识别组件218可以将特定块的输入识别为代表特定的单个字符(例如,与输入最接近匹配的字母表220中的字符)。或者,在另一示例中,手写识别组件218可以提供若干可能的匹配和/或每个字符对于该输入而言是匹配的一组概率。不论是单个识别的字符还是多个字符的列表及其各自的与该输入相匹配的概率可以由手写识别组件218作为输出来产生。这个输出在图2中被称为手势分析222。
另一示例的可执行组件是消歧组件224。消歧组件224接收有关用户做出的手写手势和用户按压的(一个或多个)按键的信息,并尝试消歧这个信息,以作出用户输入了什么字符的确定。为了做出这个确定,消歧组件224可以接收手势分析222,并且也可以接收按键输入226。在一个示例中,按键输入226可以是用户轻敲(或用户在其上面描画字符)的特定按键的指示。在另一示例中,按键输入226可以是用户轻敲或在其上面描画字符的多个按键。例如,参考图1,在视图108中,用户在四个按键“G”、“H”、“V”和“B”上面描画了“G”。在一个示例中,系统可能尝试选择这些按键中的单个按键(例如,“G”),在这种情况下,按键输入226包含单个按键的指示。或者,在另一示例中,该系统可以报告所有四个按键都被触摸了,在这种情况下,按键输入226可以包含所有四个按键的指示(可能伴随着每个按键是用户打算指示的真正的按键的各自概率)。
消歧组件224使用手势分析222和按键输入226来确定将被视为用户输入的解释的特定按键。消歧组件224可以以任何方式做出这个确定。例如,手势分析222可能识别单个字符,并且按键输入226可能识别相同的单个字符。在这个示例中,消歧组件224可能仅仅确定:该字符(对于该字符,两个输入项是一致的)是用户输入的正确解释。在另一示例中,手势分析222可能将手势识别为有可能是两个不同的字符(例如,“Q”和“O”)中的一个,并且按键输入226可能指示用户按压了按键“O”和“P”。由于“O”呈现为对于手势的可能匹配和对于击键的可能匹配二者,所以消歧组件224可以将“O”识别为用户输入的解释。在又一个示例中,手势分析222可能将手势识别为“M”或“N”,并且按键输入226可能将按键“M”和“N”识别为被按压了。基于输入手势与字母表220中的各个符号匹配的程度,手势分析222可能给“M”分配.75概率并给“N”分配.25概率。在这种情况下,消歧组件224可能选择“M”作为用户输入的恰当解释。上述的是消歧组件224如何根据手势信息和位置(按键)信息来消歧用户的输入的一些示例。然而,消歧组件224能够以任何合适的方式来执行消歧。
一旦消歧组件224识别了将被视为用户输入的解释230的字符,这个字符可以显示在触摸屏206的显示区域228中(例如,作为电子邮件、文档、文本消息或用户正在撰写的某一其它类型的信息的一部分)。或者,在另一示例中,输入的解释230可以被提供给额外的文本解析器232。额外的文本解析器232可以采用额外的技术来确定用户正在尝试输入什么文本。例如,额外的文本解析器232可以采用拼写校正器来校正用户的拼写的错误。(例如,用户已输入的字符的分析可能正确地推断出用户键入了“greatful”,但是额外的文本解析器232可能将这个词纠正为“grateful”)。或者,额外的文本解析器232可以采用统计语言模型来识别用户在试图输入的可能的文本。例如,“R”和“G”按键在QWERTY键盘上彼此靠近,因此当用户想键入“English rain”时,他或她可能输入“English gain”。如果对于用户输入的手势和位置分析的组合仍然设法将该输入识别为“English gain”,额外的文本解析器232所采用的统计语言模型可以确定该词“gain”将跟在词“English”后面是极不可能的,并因而可以将这个词的序列校正为“English rain”。上述的是可以由额外的文本解析器232采用的技术的一些示例,然而能够执行任何合适的技术。如果使用额外的文本解析器232的话,额外的文本解析器232的输出可以显示在显示区域228中。
图3显示其中用户输入可以被解释为文本的示例处理。在转到图3的描述之前,注意:图3的流程图通过示例、参考图1和图2所示的组件来描述,然而这个处理可以在任何系统中实行并且不限于图1和2所示的场景。此外,图3中的流程图显示其中以特定顺序实现处理的各阶段的示例,如利用连接这些块的线所指示的,但是这个图中所示的各个阶段可以以任何顺序或以任何组合或子组合来执行。
在302,可以接收指示字符的描画的手势。例如,这个手势可以由使用触摸屏接收输入的设备来接收。在304,指示用户按压了键盘上的哪个按键(或在其上面描画了手势)的击键信息可以被接收。一种类型的击键信息是位置信息306,诸如在触摸屏上显示虚拟键盘的情况中,该信息可以指示触摸屏上用户输入发生的特定位置。然而,击键信息可以采用任何的形式。在302和304上手势和击键信息的接收可以同时发生,如在其中用户在屏幕上的键盘的一个(或多个)特定按键的上面用手势示意字符的示例中。
在308,候选的击键被识别。例如,如果用户在三个不同的按键上面描画了字母,则所有三个按键可以被视为候选的击键。类似地,用户的手势所包围的按键能够作为候选的按键而被包括。(例如,用户可能以触摸周围的按键“W”、“S”、“X”、“Z”、“C”、“F”、“R”和“E”的方式描画“D”)。被触摸了的其它按键所包围的按键可以被认为是候选的按键。在310,代表该手势所指示的可能字符的候选者被识别。例如,如果手势与已知的字母表相比较并且匹配两个可能的字符的话,则在310这两个字符可能被识别为候选者。
在312,对于有可能用户正在尝试输入什么字符,作出确定。这个确定可以基于手势信息和基于击键信息而做出。该确定在本文别处被称为用户输入的解释。因而,如果用户描画可能是“O”或“Q”的手势并且这个手势在按键“O”和“P”上面描画的话,则用户输入可以被解释为“O”(因为如果用户的输入在“O”按键附近被检测到并且远离“Q”按键的话,则用户打算写“Q”是不可能的)。在这种情况下,在312做出的确定是:用户的输入是“O”,从而将用户的输入解析为特定的字符。确定用户打算在触摸屏上指示哪个字符的一种可能的方式如下。系统可以确定针对该手势的可能的匹配,并可以给每个可能的匹配分配该匹配是正确的概率。类似地,该系统可以确定哪些按键被该手势触摸并可以给每个这样的按键分配该按键是用户打算在其上面描画该手势的那一个按键的概率。该系统随后可以计算这些概率的加权平均值并可以将用户打算输入的字符识别为具有最高加权平均值的那一个。然而,上述的只是识别用户打算指示的字符的一种非限制方式。
在314,可以执行对用户输入的进一步消歧。例如,如上面结合图2所述的额外的文本解析器232所执行的动作可以在314被执行。
在316,已确定用户输入了的文本可以被存储、被传送或被显示。例如,该文本可以被存储在存储器或存储设备中,或该文本可以被传送到个人,或该文本可以被显示在显示设备上。
图4显示其中可以部署此处描述的主题的各方面的示例环境。
计算机400包括一个或多个处理器402以及一个或多个数据记忆组件404。(一个或多个)处理器402通常是诸如在个人桌上型或膝上型计算机、服务器、手持式计算机或另一种类的计算设备中找到的微处理器。(一个或多个)数据记忆组件404是能够短期或长期存储数据的组件。(一个或多个)数据记忆组件404的示例包括硬盘、可移动盘(包括光盘和磁盘)、易失性和非易失性随机存取存储器(RAM)、只读存储器(ROM)、闪存、磁带等。(一个或多个)数据记忆组件是计算机可读(或设备可读)存储媒体的示例。组件400可以包括显示器412或与显示器412相关联,其中显示器412可以是阴极射线管(CRT)监视器、液晶显示(LCD)监视器或任何其它类型的监视器。
软件可以存储在(一个或多个)数据记忆组件404中,并可以在一个或多个处理器402上执行。这样的软件的示例是输入消歧软件406,其可以实现上面结合图1-3所描述的一些或所有的功能,然而能够使用任何类型的软件。例如,软件406可以通过一个或多个组件来实现,这些组件可以是分布式系统中的组件、单独的文件、单独的功能、单独的对象、单独的代码行等。其中程序被存储在硬盘上、被装载到RAM中并在计算机的(一个或多个)处理器上(或更普遍地,在设备的处理器上)被执行的计算机和/或设备(例如,个人计算机、服务器计算机、手持式计算机、平板计算机、无线电话等)以图4中所描绘的场景为典型,然而此处描述的主题并不限于这个示例。
此处描述的主题能够被实现为存储在(一个或多个)数据记忆组件404之中的一个或多个数据记忆组件中并在(一个或多个)处理器402之中的一个或多个处理器上执行的软件。作为另一示例,该主题能够被实现为存储在一个或多个计算机可读(或设备可读)存储媒体上的指令。诸如光盘或磁盘的有形媒体是存储媒体的示例。这些指令可以存在于非暂时媒体上。这样的指令当由计算机或其它机器执行的时候可以导致该计算机(或其它机器或设备)执行方法的一个或多个动作。执行这些动作的指令能够存储在一个介质上,或能够遍布于多个媒体上,以致这些指令可能共同地出现在一个或多个计算机可读(或设备可读)存储媒体上,而不管所有这些指令是否碰巧位于同一介质上。注意:在其上“存储”信号的媒体(其可以被称为“存储媒体”)和与之形成对照的发送传播信号的媒体之间是有区别的。DVD、闪存、磁盘等是存储媒体的示例。另一方面,信号暂时存在于其上的导线或光纤是短暂信号媒体的示例。
此外,此处描述的任何动作(不论是否显示在图中)可以作为方法的一部分由处理器(例如,一个或多个处理器402)来执行。因而,如果此处描述动作A、B和C,则可以执行包括A、B和C的动作的方法。此外,如果此处描述A、B和C的动作,则可以执行包括使用处理器来执行A、B和C的动作的方法。
在一个示例环境中,计算机400可以通过网络408通信连接到一个或多个其它设备。在结构上可能与计算机400相类似的计算机410是能够连接到计算机400的设备的示例,然而其它类型的计算机也可以如此进行连接。
尽管该主题以结构特征和/或方法动作特定的语言进行描述了,但是将明白:在所附的权利要求书中定义的主题并不一定限于上述的具体的特征或动作。相反,上述的具体的特征和动作被披露为实现这些权利要求的示例形式。

Claims (10)

1.一种接收文本输入的方法,所述方法包括:
接收(302)由用户(204)在触摸屏(206)上描画的手势(110),其中在描画所述手势(110)的同时在所述触摸屏上显示屏幕上的键盘(208);
识别(310)由所述手势(110)所代表的字符;
识别(308)在其上面描画所述手势(110)的按键(120);
基于所述手势(110)并且也基于所述按键(120),确定(312)所述用户输入所述字符;和
存储、传送或显示(316)所述字符。
2.如权利要求1所述的方法,其中通过识别所述触摸屏上被所述手势所触摸的位置来识别在其上面执行所述手势的一个或多个按键。
3.如权利要求1所述的方法,进一步包括:
识别在其上面描画所述手势的一个或多个按键,其中所述一个或多个按键包括所述按键;和
使用所述手势来确定所述用户指示所述一个或多个按键中的哪一个按键。
4.如权利要求1所述的方法,进一步包括:
识别对应于所述手势的一个或多个字符,其中所述一个或多个字符包括所述字符;和
使用有关在屏幕上的键盘上的哪一个或多个按键上描画所述手势的信息来确定所述手势代表所述一个或多个字符中的哪一个字符。
5.如权利要求1所述的方法,进一步包括:
识别对应于所述手势的一个或多个字符,其中所述一个或多个字符中的每一个字符与其对应于所述手势的概率相关联;
识别在其上面描画所述手势的一个或多个按键,其中所述一个或多个按键中的每一个按键与其是所述用户打算指示的按键的概率相关联;和
使用与所述字符相关联的概率和与所述按键相关联的概率的加权平均来确定所述用户输入哪一个字符。
6.一种计算机可读介质,其具有计算机可执行指令来执行权利要求1-5中的任一项权利要求的方法。
7.一种用于接收文本输入的设备,所述设备包括:
处理器(402);
存储器(404);
触摸屏(206);和
存储在所述存储器(404)中并执行在所述处理器(402)上的组件(406),其中所述组件(406)在所述触摸屏(206)上显示屏幕上的键盘(208),接收由用户(204)在所述触摸屏(206)上描画的手势(110),识别由所述手势(110)所代表的字符,识别在其上面描画所述手势(110)的按键(120),基于所述手势(110)并且也基于所述按键(120)来确定所述用户(204)输入所述字符,以及或将所述字符存储在所述存储器(404)中,通过网络(408)传送所述字符,或在所述触摸屏(206)上显示所述字符。
8.如权利要求7所述的设备,其中所述组件识别在其上面描画所述手势的一个或多个按键,其中所述一个或多个按键包括所述按键,并且其中所述组件使用所述手势来确定所述用户指示所述一个或多个按键中的哪一个按键。
9.如权利要求7所述的设备,其中所述组件识别与所述手势相对应的一个或多个字符,其中所述一个或多个字符包括所述字符,并且其中所述组件使用有关在屏幕上的键盘上的哪一个或多个按键上描画所述手势的信息来确定所述手势代表所述一个或多个字符中的哪一个字符。
10.如权利要求7所述的设备,其中所述组件识别对应于所述手势的一个或多个字符,其中所述一个或多个字符中的每一个字符与其对应于所述手势的概率相关联,其中所述组件识别在其上面描画所述手势的一个或多个按键,其中所述一个或多个按键中的每一个按键与其是所述用户打算指示的按键的概率相关联,并且其中所述组件使用与所述字符相关联的概率和与所述按键相关联的概率的加权平均来确定所述用户输入哪一个字符。
CN201210079480.6A 2011-03-24 2012-03-23 使用按键和手势信息的文本输入 Active CN102707798B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/070564 2011-03-24
US13/070,564 US8922489B2 (en) 2011-03-24 2011-03-24 Text input using key and gesture information

Publications (2)

Publication Number Publication Date
CN102707798A true CN102707798A (zh) 2012-10-03
CN102707798B CN102707798B (zh) 2017-04-26

Family

ID=46876923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210079480.6A Active CN102707798B (zh) 2011-03-24 2012-03-23 使用按键和手势信息的文本输入

Country Status (2)

Country Link
US (1) US8922489B2 (zh)
CN (1) CN102707798B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150111A (zh) * 2013-02-25 2013-06-12 北京极兴莱博信息科技有限公司 一种输入符号的方法、装置及终端
CN105659194A (zh) * 2013-09-24 2016-06-08 微软技术许可有限责任公司 用于屏幕上键盘的快速任务
CN109450427A (zh) * 2018-10-31 2019-03-08 西安中颖电子有限公司 一种高性能触摸按键判决方法
CN110347323A (zh) * 2018-04-04 2019-10-18 脸谱科技有限责任公司 基于手部姿势来转录增强现实键盘输入
CN110600003A (zh) * 2019-10-18 2019-12-20 北京云迹科技有限公司 机器人的语音输出方法、装置、机器人和存储介质
US11757951B2 (en) 2021-05-28 2023-09-12 Vizio, Inc. System and method for configuring video watch parties with gesture-specific telemojis

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2771767B1 (en) * 2011-10-28 2017-07-19 BlackBerry Limited Systems and methods of using input events on electronic devices
KR101978687B1 (ko) * 2011-11-15 2019-05-16 삼성전자주식회사 터치스크린 단말기에서 문자 입력 방법 및 장치
US8902198B1 (en) * 2012-01-27 2014-12-02 Amazon Technologies, Inc. Feature tracking for device input
WO2013130682A1 (en) * 2012-02-27 2013-09-06 5 Examples, Inc. Date entry system controllers for receiving user input line traces relative to user interfaces to determine ordered actions, and related systems and methods
US8667414B2 (en) 2012-03-23 2014-03-04 Google Inc. Gestural input at a virtual keyboard
JP5248696B1 (ja) * 2012-05-25 2013-07-31 株式会社東芝 電子機器、手書き文書作成方法、及び手書き文書作成プログラム
US9261961B2 (en) 2012-06-07 2016-02-16 Nook Digital, Llc Accessibility aids for users of electronic devices
US20140026101A1 (en) 2012-07-20 2014-01-23 Barnesandnoble.Com Llc Accessible Menu Navigation Techniques For Electronic Devices
US8782549B2 (en) 2012-10-05 2014-07-15 Google Inc. Incremental feature-based gesture-keyboard decoding
US9021380B2 (en) * 2012-10-05 2015-04-28 Google Inc. Incremental multi-touch gesture recognition
US8850350B2 (en) 2012-10-16 2014-09-30 Google Inc. Partial gesture text entry
US8843845B2 (en) 2012-10-16 2014-09-23 Google Inc. Multi-gesture text input prediction
US8701032B1 (en) * 2012-10-16 2014-04-15 Google Inc. Incremental multi-word recognition
US8819574B2 (en) 2012-10-22 2014-08-26 Google Inc. Space prediction for text input
US9030430B2 (en) 2012-12-14 2015-05-12 Barnesandnoble.Com Llc Multi-touch navigation mode
US9477382B2 (en) 2012-12-14 2016-10-25 Barnes & Noble College Booksellers, Inc. Multi-page content selection technique
US9001064B2 (en) 2012-12-14 2015-04-07 Barnesandnoble.Com Llc Touch sensitive device with pinch-based archive and restore functionality
US8963865B2 (en) 2012-12-14 2015-02-24 Barnesandnoble.Com Llc Touch sensitive device with concentration mode
US9134893B2 (en) 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Block-based content selecting technique for touch screen UI
US9448719B2 (en) 2012-12-14 2016-09-20 Barnes & Noble College Booksellers, Llc Touch sensitive device with pinch-based expand/collapse function
US9134903B2 (en) 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Content selecting technique for touch screen UI
US9134892B2 (en) 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Drag-based content selection technique for touch screen UI
US8832589B2 (en) 2013-01-15 2014-09-09 Google Inc. Touch keyboard using language and spatial models
US9836154B2 (en) 2013-01-24 2017-12-05 Nook Digital, Llc Selective touch scan area and reporting techniques
US9971495B2 (en) 2013-01-28 2018-05-15 Nook Digital, Llc Context based gesture delineation for user interaction in eyes-free mode
US9003333B2 (en) * 2013-03-04 2015-04-07 Zynga Inc. Sequential selection of multiple objects
US9448643B2 (en) 2013-03-11 2016-09-20 Barnes & Noble College Booksellers, Llc Stylus sensitive device with stylus angle detection functionality
US9261985B2 (en) 2013-03-11 2016-02-16 Barnes & Noble College Booksellers, Llc Stylus-based touch-sensitive area for UI control of computing device
US9891722B2 (en) 2013-03-11 2018-02-13 Barnes & Noble College Booksellers, Llc Stylus-based notification system
US9766723B2 (en) 2013-03-11 2017-09-19 Barnes & Noble College Booksellers, Llc Stylus sensitive device with hover over stylus control functionality
US9600053B2 (en) 2013-03-11 2017-03-21 Barnes & Noble College Booksellers, Llc Stylus control feature for locking/unlocking touch sensitive devices
US9626008B2 (en) 2013-03-11 2017-04-18 Barnes & Noble College Booksellers, Llc Stylus-based remote wipe of lost device
US9760187B2 (en) 2013-03-11 2017-09-12 Barnes & Noble College Booksellers, Llc Stylus with active color display/select for touch sensitive devices
US9367161B2 (en) 2013-03-11 2016-06-14 Barnes & Noble College Booksellers, Llc Touch sensitive device with stylus-based grab and paste functionality
US9189084B2 (en) 2013-03-11 2015-11-17 Barnes & Noble College Booksellers, Llc Stylus-based user data storage and access
US9785259B2 (en) 2013-03-11 2017-10-10 Barnes & Noble College Booksellers, Llc Stylus-based slider functionality for UI control of computing device
US9632594B2 (en) 2013-03-11 2017-04-25 Barnes & Noble College Booksellers, Llc Stylus sensitive device with stylus idle functionality
US9946365B2 (en) 2013-03-11 2018-04-17 Barnes & Noble College Booksellers, Llc Stylus-based pressure-sensitive area for UI control of computing device
US9146672B2 (en) 2013-04-10 2015-09-29 Barnes & Noble College Booksellers, Llc Multidirectional swipe key for virtual keyboard
US8887103B1 (en) 2013-04-22 2014-11-11 Google Inc. Dynamically-positioned character string suggestions for gesture typing
US8963869B2 (en) 2013-04-23 2015-02-24 Barnesandnoble.Com Llc Color pattern unlocking techniques for touch sensitive devices
US8966617B2 (en) 2013-04-23 2015-02-24 Barnesandnoble.Com Llc Image pattern unlocking techniques for touch sensitive devices
US9152321B2 (en) 2013-05-03 2015-10-06 Barnes & Noble College Booksellers, Llc Touch sensitive UI technique for duplicating content
US9081500B2 (en) 2013-05-03 2015-07-14 Google Inc. Alternative hypothesis error correction for gesture typing
US9612740B2 (en) 2013-05-06 2017-04-04 Barnes & Noble College Booksellers, Inc. Swipe-based delete confirmation for touch sensitive devices
US10019153B2 (en) 2013-06-07 2018-07-10 Nook Digital, Llc Scrapbooking digital content in computing devices using a swiping gesture
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
US9400601B2 (en) 2013-06-21 2016-07-26 Nook Digital, Llc Techniques for paging through digital content on touch screen devices
US9244603B2 (en) 2013-06-21 2016-01-26 Nook Digital, Llc Drag and drop techniques for discovering related content
US9423932B2 (en) 2013-06-21 2016-08-23 Nook Digital, Llc Zoom view mode for digital content including multiple regions of interest
US9575948B2 (en) 2013-10-04 2017-02-21 Nook Digital, Llc Annotation of digital content via selective fixed formatting
US10620796B2 (en) 2013-12-19 2020-04-14 Barnes & Noble College Booksellers, Llc Visual thumbnail scrubber for digital content
US10915698B2 (en) 2013-12-31 2021-02-09 Barnes & Noble College Booksellers, Llc Multi-purpose tool for interacting with paginated digital content
US9367208B2 (en) 2013-12-31 2016-06-14 Barnes & Noble College Booksellers, Llc Move icon to reveal textual information
US10534528B2 (en) 2013-12-31 2020-01-14 Barnes & Noble College Booksellers, Llc Digital flash card techniques
US9792272B2 (en) 2013-12-31 2017-10-17 Barnes & Noble College Booksellers, Llc Deleting annotations of paginated digital content
US9424241B2 (en) 2013-12-31 2016-08-23 Barnes & Noble College Booksellers, Llc Annotation mode including multiple note types for paginated digital content
US9588979B2 (en) 2013-12-31 2017-03-07 Barnes & Noble College Booksellers, Llc UI techniques for navigating a file manager of an electronic computing device
US9367212B2 (en) 2013-12-31 2016-06-14 Barnes & Noble College Booksellers, Llc User interface for navigating paginated digital content
US10331777B2 (en) 2013-12-31 2019-06-25 Barnes & Noble College Booksellers, Llc Merging annotations of paginated digital content
KR101700714B1 (ko) 2014-09-17 2017-01-31 현대자동차주식회사 사용자 인터페이스 장치, 그를 가지는 차량 및 그의 제어 방법
CN104615367B (zh) * 2015-01-14 2017-08-25 中国船舶重工集团公司第七0九研究所 基于手写输入状态自适应判断处理的笔式交互方法及系统
US20160210452A1 (en) * 2015-01-19 2016-07-21 Microsoft Technology Licensing, Llc Multi-gesture security code entry
DK179374B1 (en) * 2016-06-12 2018-05-28 Apple Inc Handwriting keyboard for monitors
US20190013016A1 (en) * 2017-07-07 2019-01-10 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Converting speech to text and inserting a character associated with a gesture input by a user
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11656723B2 (en) 2021-02-12 2023-05-23 Vizio, Inc. Systems and methods for providing on-screen virtual keyboards

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1637686A (zh) * 2004-01-06 2005-07-13 国际商业机器公司 用于个人计算设备上改进的用户输入的系统和方法
CN1777858A (zh) * 2003-03-03 2006-05-24 艾科斯格米克斯私人有限公司 用于触摸屏和简化的键盘系统的准确文本输入方法
US20080270896A1 (en) * 2007-04-27 2008-10-30 Per Ola Kristensson System and method for preview and selection of words
CN101821706A (zh) * 2007-08-24 2010-09-01 诺基亚公司 用于与项目列表交互的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
JPH07200150A (ja) * 1993-12-28 1995-08-04 Casio Comput Co Ltd ペン入力装置
US7365737B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Non-uniform gesture precision
TW200713060A (en) * 2005-09-30 2007-04-01 Primax Electronics Ltd Adaptive input method for touch screen
US20100214267A1 (en) 2006-06-15 2010-08-26 Nokia Corporation Mobile device with virtual keypad
US9157760B2 (en) * 2007-01-12 2015-10-13 Aol Inc. Community mapping and direction indicating
US8106890B2 (en) * 2008-04-07 2012-01-31 International Business Machines Corporation Slide based technique for inputting a sequence of numbers for a computing device
JP2010015238A (ja) 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び補助情報の表示方法
US20100031200A1 (en) * 2008-07-30 2010-02-04 Arima Communications Corp. Method of inputting a hand-drawn pattern password
US20100066764A1 (en) 2008-09-18 2010-03-18 Microsoft Corporation Selective character magnification on touch screen devices
US20100241984A1 (en) * 2009-03-21 2010-09-23 Nokia Corporation Method and apparatus for displaying the non alphanumeric character based on a user input
US20110063231A1 (en) * 2009-09-14 2011-03-17 Invotek, Inc. Method and Device for Data Input

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1777858A (zh) * 2003-03-03 2006-05-24 艾科斯格米克斯私人有限公司 用于触摸屏和简化的键盘系统的准确文本输入方法
CN1637686A (zh) * 2004-01-06 2005-07-13 国际商业机器公司 用于个人计算设备上改进的用户输入的系统和方法
US20080270896A1 (en) * 2007-04-27 2008-10-30 Per Ola Kristensson System and method for preview and selection of words
CN101821706A (zh) * 2007-08-24 2010-09-01 诺基亚公司 用于与项目列表交互的方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150111A (zh) * 2013-02-25 2013-06-12 北京极兴莱博信息科技有限公司 一种输入符号的方法、装置及终端
CN105659194A (zh) * 2013-09-24 2016-06-08 微软技术许可有限责任公司 用于屏幕上键盘的快速任务
US10496276B2 (en) 2013-09-24 2019-12-03 Microsoft Technology Licensing, Llc Quick tasks for on-screen keyboards
CN110347323A (zh) * 2018-04-04 2019-10-18 脸谱科技有限责任公司 基于手部姿势来转录增强现实键盘输入
CN109450427A (zh) * 2018-10-31 2019-03-08 西安中颖电子有限公司 一种高性能触摸按键判决方法
CN109450427B (zh) * 2018-10-31 2022-11-11 西安中颖电子有限公司 一种高性能触摸按键判决方法
CN110600003A (zh) * 2019-10-18 2019-12-20 北京云迹科技有限公司 机器人的语音输出方法、装置、机器人和存储介质
US11757951B2 (en) 2021-05-28 2023-09-12 Vizio, Inc. System and method for configuring video watch parties with gesture-specific telemojis

Also Published As

Publication number Publication date
CN102707798B (zh) 2017-04-26
US20120242579A1 (en) 2012-09-27
US8922489B2 (en) 2014-12-30

Similar Documents

Publication Publication Date Title
CN102707798A (zh) 使用按键和手势信息的文本输入
US8359543B2 (en) Multiple touchpoints for efficient text input
US20090235327A1 (en) Selectable captchas
CN105122185A (zh) 使用过去交互数据的文本建议输出
US9009624B2 (en) Keyboard gestures for character string replacement
CN101166330A (zh) 文本输入方法及其移动终端
CN102422245A (zh) 输入法编辑器
CN102449640A (zh) 识别手写单词
CN101208711A (zh) 电子设备中的手写输入识别
CN105630327A (zh) 便携式电子设备和控制可选元素的显示的方法
CN102520874A (zh) 一种基于触摸屏的拼音输入方法及装置
Mascetti et al. TypeInBraille: quick eyes-free typing on smartphones
US20120249425A1 (en) Character entry apparatus and associated methods
US20140105664A1 (en) Keyboard Modification to Increase Typing Speed by Gesturing Next Character
US8947380B2 (en) Electronic device including touch-sensitive display and method of facilitating input at the electronic device
CN102707811B (zh) 一种汉字输入的方法和系统
KR101077926B1 (ko) 휴대단말기의 아랍어 터치스크린 키패드 어레이
Wang et al. SHRIMP: solving collision and out of vocabulary problems in mobile predictive input with motion gesture
US20150089432A1 (en) Quick data entry systems and methods
US8884881B2 (en) Portable electronic device and method of controlling same
US11244138B2 (en) Hologram-based character recognition method and apparatus
Udapola et al. Braille messenger: Adaptive learning based non-visual touch screen text input for the blind community using braille
US20110163963A1 (en) Portable electronic device and method of controlling same
US8866747B2 (en) Electronic device and method of character selection
CN103076987A (zh) 手写输入法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150618

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150618

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant