CN103547983B - 用于手写输入的用户界面 - Google Patents

用于手写输入的用户界面 Download PDF

Info

Publication number
CN103547983B
CN103547983B CN201180070999.1A CN201180070999A CN103547983B CN 103547983 B CN103547983 B CN 103547983B CN 201180070999 A CN201180070999 A CN 201180070999A CN 103547983 B CN103547983 B CN 103547983B
Authority
CN
China
Prior art keywords
candidate
area
input
user interface
handwriting input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180070999.1A
Other languages
English (en)
Other versions
CN103547983A (zh
Inventor
戴娟
周毅
龚忻
陈量
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN103547983A publication Critical patent/CN103547983A/zh
Application granted granted Critical
Publication of CN103547983B publication Critical patent/CN103547983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018Input/output arrangements for oriental characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • G06V30/387Matching; Classification using human interaction, e.g. selection of the best displayed recognition candidate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Abstract

提供了用于接收手写输入和用于基于该手写输入来呈现预测候选的方法、介质、设备和用户界面。在用户界面的书写板中检测落笔事件。该书写板被扩展成覆盖用户界面的功能键和候选窗口以使得无法通过对这些特征的不经意的选择来使用这些特征。当检测到提笔事件时,减小书写板的大小以便再次显露这些特征。基于手写输入来标识识别候选。预测候选还基于排名最高的识别候选来标识并与该排名最高的识别候选相组合地呈现。预测候选由此可以与识别候选一起标识以藉此将该预测候选和识别候选相关联,并且可以用单次选择输入来执行对预测候选和识别候选的选择。

Description

用于手写输入的用户界面
发明概述
本发明的各实施例由所附权利要求书而非本概述来定义。为此,此处提供了本发明的各方面的高级概览,以提供公开内容的概览,并介绍将在以下详细描述部分中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于独立地帮助确定所要求保护的主题的范围。简而言之并在高层次,本公开尤其描述了提供用于接收手写输入以构造文本串的用户界面的各种方式。
在一实施例中,提供了包括书写板以及一个或多个功能键的用户界面。书写板占据用户界面中的第一区域。当在该书写板中检测到输入时,将该书写板的大小增大至大于第一区域的第二区域。该第二区域覆盖或叠加在一个或多个功能键上方以使得在接收手写输入期间这些功能键不可用。由此,消除了手写输入期间的对一个或多个功能键的不经意或不想要的选择,并且向用户提供了其中提供手写输入的增大的区域。
在另一实施例中,提供了用于呈现对于接收到的手写输入的识别候选和预测候选的方法、设备和用户界面。当接收到手写输入时,经由识别引擎来确定识别候选。另外,基于识别候选并使用词组或短语的词典和/或用户先前使用的词组或短语来确定多个预测候选。识别候选被单个地以及与多个预测候选一起作为组合候选呈现在用户界面中。组合候选包括识别候选和之后的预测候选。当选择识别候选或组合候选之一时,标识和呈现多个第二预测候选。
附图简述
以下参考附图详细描述本发明的说明性实施例,附图中:
图1是适用于本发明的各实施例的示例性计算设备的框图;
图2是根据本发明的一实施例的显示用户界面的移动设备的透视图;
图3是根据本发明的一实施例的描绘用户界面的图示;
图4是根据本发明的一实施例的描绘处于识别显示状态的用户界面的图示;
图5是根据本发明的一实施例的描绘处于书写显示状态的用户界面的图示;
图6是根据本发明的一实施例的描绘用于基于输入类型来更改显示状态的方法的流程图;
图7是根据本发明的一实施例的描绘处于识别状态并显示识别和组合候选的用户界面的图示;
图8是根据本发明的一实施例的描绘处于显示扩展的候选窗口的识别显示状态的用户界面的图示;
图9是根据本发明的一实施例的描绘处于预测显示状态的用户界面的图示;以及
图10是根据本发明的一实施例的描绘用于基于识别出的手写输入来呈现预测候选的方法的流程图。
发明详细描述
此处用细节来描述本发明的所选实施例的主题以满足法定要求。然而,该描述本身并非旨在必定限制权利要求的范围。相反,所要求保护的主题可结合其他当前或未来技术按照其他方式来具体化,以包括不同的步骤或类似于本文中所描述的步骤的步骤组合。术语不应被解释为暗示本文所公开的各步骤之中或之间的任何特定次序,除非且除了在明确描述个别步骤的次序的时候。
本发明的各实施例包括增加用户提供手写输入并从中构造文本串的容易度的方法、系统、计算设备、计算机可读介质和用户界面。如此处所描述的,也被称为电子墨水或简称为墨水的手写输入包括可用的任何形式的手写输入。手写输入包括文本、字母、单词、符号、图画等,并且用可用的任何语言或形式的书写来提供。本发明的各实施例此处参考亚洲文本或手迹来描述,然而这并非旨在将本发明的各实施例限于任何特定形式的书写或文本。
手写输入可以按任何所需方式来提供。手写输入可经由触摸界面、触摸板、触摸屏、电子笔、指示笔或任何其它手写输入设备来被接收或提供至计算设备。例如,在一实施例中,电容式触摸界面被叠加在显示设备上方以允许用户在视觉上相对于所显示的用户界面来提供手写输入。手写输入使用用户的手指或经由指示笔来提供。在另一实施例中,采用无线地或通过有线连接来与计算设备通信的电子笔。该笔跟踪用户相对于显示屏、专门设计的纸张的书写输入,或通过运动传感器跟踪,以及其它方法。
在本发明的一实施例中,描述了其上包含计算机可执行指令的计算机可读存储介质,这些指令在被执行时执行一种用于基于输入类型来更改显示状态的方法。呈现被配置成帮助用户基于手写输入来构造文本串的用户界面。该用户界面包括功能键和具有第一区域的书写板。检测具有第一区域的书写板中的手写输入的发起。该书写板的区域被增大至大于第一区域的第二区域。具有第二区域的书写板覆盖功能键以使得功能键不可用。手写输入在具有第二区域的书写板中接收。
在另一实施例中,描述由具有处理器、存储器和手写输入设备的计算设备呈现的用户界面。该用户界面包括被配置成呈现识别候选和预测候选中的一个或多个的候选窗口。识别候选由处理器执行的识别引擎并基于接收到的手写输入来确定。预测候选基于识别候选以及输入历史和短语词典中的一个或多个来确定。显示包括识别候选和预测候选中的一个或多个的文本串的编辑域也被包括为被配置成在被选中时执行相应功能的功能键。该用户界面还包括输入窗口,该输入窗口与手写输入设备相关联并被配置成切换手写输入板以接收手写输入。该输入窗口具有第一区域,而手写输入板具有大于第一区域的第二区域。手写输入板覆盖候选窗口和功能键。
在另一实施例中,描述被配置成呈现用于经由触摸输入设备来接收手写输入的用户界面的移动设备。该移动设备包括处理器、存储器以及具有相关联的触摸输入设备的显示组件,该显示组件被配置成呈现用户界面。该用户界面包括显示识别候选的候选窗口,该识别候选由处理器执行的识别引擎并基于经由触摸界面来接收的手写输入来标识。候选窗口还显示多个预测候选。该用户界面还包括将第一识别候选显示为已确定的文本的编辑域、被配置成使得相应功能或命令被执行的一个或多个功能键、以及动态输入板,该动态输入板在该用户界面处于识别或预测状态时具有第一区域,而在该用户界面处于书写状态时具有大于第一区域的第二区域。该动态输入板在处于书写状态并具有第二区域时覆盖候选窗口以及一个或多个功能键。
在另一实施例中,提供了其上包含计算机可执行指令的计算机可读存储介质,这些指令在被执行时执行一种基于识别出的手写输入来呈现预测候选的方法。手写输入从耦合到具有处理器和存储器的计算设备的手写输入设备接收。执行识别引擎以基于手写输入来标识识别候选。确定与识别候选相关联的预测候选。呈现识别候选和预测候选,该识别候选被单个地以及作为组合候选来呈现,该组合候选包括该识别候选和之后的预测候选。
在另一实施例中,描述由具有处理器、存储器和手写输入设备的计算设备呈现的用户界面。该用户界面包括与手写输入设备相关联的输入窗口,该输入窗口被配置成执行以下动作中的一个或多个:接收手写输入以及切换手写输入板以接收手写输入。还包括候选窗口,该候选窗口包括识别显示状态和预测显示状态。当处于识别显示状态时,候选窗口呈现一个或多个识别候选以及一个或多个组合候选,该一个或多个组合候选包括来自该一个或多个识别候选的第一识别候选和之后的预测候选。预测候选基于第一识别候选以及用户的输入历史和短语词典中的一个或多个来确定。在预测显示状态中,候选窗口呈现与识别候选和组合候选中的一个所选候选相关联的一个或多个第二预测候选。还包括显示文本串的编辑域,该文本串包括识别候选、预测候选和第二预测候选中的一个或多个。
在另一实施例中,公开了被配置成呈现用户界面的移动设备,该用户界面用于呈现与接收到的手写输入相关联的识别和预测候选。该移动设备包括处理器、存储器以及具有相关联的触摸界面的显示组件,该显示组件被配置成呈现用户界面。该用户界面包括显示识别候选的候选窗口,该识别候选由处理器执行的识别引擎并基于经由触摸界面接收到的手写输入来标识。候选窗口还显示包括多个识别候选中的第一识别候选和之后的相应预测候选的多个组合候选。相应预测候选中的一个或多个至少部分地基于先前输入到移动设备的短语来确定。还包括将第一识别候选显示为已确定的文本的编辑域。
首先具体参考图1,示出了用于实现本发明的各实施方式的示例性操作环境,并将其概括地指定为计算设备100。计算设备100只是合适的计算环境的一个示例,并不旨在对本发明各实施例的使用范围或功能提出任何限制。也不应该将计算设备100解释为对所示出的任一组件或其组合有任何依赖性或要求。
本发明的各实施例可以在由计算机或诸如移动设备、移动电话、智能电话、个人数据助理或其它手持式设备之类的其它机器执行的计算机代码或机器可使用指令(包括诸如程序模块之类的计算机可执行指令)的一般上下文中描述。一般而言,包括例程、程序、对象、组件、数据结构等的程序模块指的是执行特定任务或实现特定抽象数据类型的代码。本发明的各实施例可以在各种系统配置中实施,这些系统配置包括手持式设备、消费电子产品、通用计算机、专用计算设备等等。本发明也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实施。
参考图1,计算设备100包括直接地或间接地耦合以下设备的总线110:存储器112、一个或多个处理器114、一个或多个呈现组件116、一个或多个输入/输出端口118、一个或多个输入/输出组件120、以及说明性电源122。总线110表示一个或多个总线可以为何物(诸如地址总线、数据总线或其组合)。虽然为了清楚起见利用线条示出了图1的各框,但是实际上,各组件的轮廓并不是那样清楚,并且比喻性地来说,线条更精确地将是灰色的和模糊的。例如,可以将诸如显示设备等呈现组件认为是I/O组件。而且,处理器具有存储器。可以认识到,这是本领域的特性,并且重申,图1只是例示可结合本发明的一个或多个实施例来使用的示例性计算设备。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别,它们全部都被认为是在图1的范围之内的并且被称为“计算设备”。
计算设备100通常包括各种计算机可读介质。作为示例而非限制,计算机可读介质可以包括随机存取存储器(RAM);只读存储器(ROM);电可擦除可编程只读存储器(EEPROM);闪存或其它存储器技术;紧致盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其它光或全息介质;磁带盒、磁带、磁盘存储或其它磁存储设备或可用于对所需信息进行编码并且可由计算设备100访问的任何其它非瞬态计算机可读介质。计算机可读介质和计算机可读存储介质不包括载波、信号或其它形式的瞬态介质。
存储器112包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移动的、不可移动的、或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备100包括从诸如存储器112或I/O组件120等各种实体读取数据的一个或多个处理器。呈现组件116向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等等。
I/O端口118允许计算设备100逻辑上耦合至包括I/O组件120的其它设备,其中某些可以是内置的。说明性组件包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、无线设备等等。
现在参考图2,本发明的各实施例是参考诸如智能电话等移动设备200来描述的。然后,这并非旨在以任何方式将本发明的各实施例限于这些设备。本发明的各实施例可利用任何可用的移动设备,智能电话、个人数字助理、触摸界面、触摸屏、计算设备、平板计算机、电子笔等。此外,手写输入在此处被描述为由用户通过使用手指来与触摸界面交互来提供,然而,手写输入可通过包括指示笔或电子笔等的任何所需手段来提供。
移动设备200包括显示设备202、覆盖显示设备202的透明触摸界面204、多个命令键206、通信端口208和硬键210。显示设备202和触摸界面204包括任何可用技术,诸如(作为示例而非限制)彩色LED(发光二极管)测光式显示器和电容式触摸界面。
命令键206提供使用移动设备的功能(如使得应用被执行)的途径。命令键206是经由显示设备202来呈现的软键并且对其的输入经由触摸界面204来接收。或者命令键206可能是机械致动的硬键。命令键206可被分配单个功能或可基于移动设备200的状态来具有可变功能分配。类似地,硬键210是机械致动的按钮、开关或具有专用功能的其它输入设备。
通信端口208提供了到第二计算设备和/或电源的有线耦合。该耦合提供了移动设备200和计算设备之间的数据通信,如本领域内已知的。
移动设备200还包括如在图2-5中描绘的用户界面212。用户界面212被配置成从用户接收诸如手写输入213等手写输入并帮助用户从中构造文本串。用户界面212和从中构造的文本串可由需要文本输入的任何应用来使用,该应用可由移动设备200来执行。这些应用包括(作为示例而非限制)用于文本消息收发或SMS(短消息服务)消息收发、文字处理、电子邮件和演示文稿、电子表格、数据库的创建等的应用。
用户界面212包括多个显示状态。在一实施例中,用户界面212包括书写显示状态214(图2、3和5)、识别显示状态216(图4、7和8)以及预测显示状态218(图9)。用户界面212基于用户输入的状态来呈现给定显示状态。在一实施例中,识别显示状态216是由用户界面212在接收手写输入之前采用或呈现的默认显示状态。当检测到发起手写输入或落笔事件时,用户界面212呈现书写显示状态214。用户界面212保持书写显示状态214直到手写输入停止(例如,提笔事件)或在书写板218之外接收到输入。在一实施例中,在提笔事件后观察到预定时间量的超时。在一实施例中,超时小于一秒或0.75秒。在另一实施例中,诸如对命令键206的输入等使得另一用户界面变得活动的输入使得用户界面212离开书写显示状态214并进入识别显示状态216。
用户界面212保持识别显示状态216直到检测到落笔事件或直到接收到对识别候选、组合候选或预测候选的选择,如下所述。当接收到这一选择时,用户界面212进入预测显示状态218。用户界面212保持预测显示状态218直到检测到发起手写输入或接收到使得另一用户界面变得活动的输入。
在书写显示状态214(图2、3和5中描绘)中,用户界面212包括第一书写板220并且可包括一个或多个附加特征,诸如编辑域222和对话域226(例如,当用于文本消息收发应用时)。
第一书写板220提供或指定用户界面212中要在其中接收手写输入的区域。第一书写板220具有构成第一区域的尺寸。在一实施例中,第一区域被配置成提供用户界面212中能够在其中接收手写输入的可用最大区域。在另一实施例中,第一区域被配置成提供用户界面212中的不遮挡诸如编辑域222和对话域226等一个或多个所选其它所显示的分量的最大区域。
编辑域222显示当前已确定或已提交的文本或者在尚未提供已确定或已提交的文本时为空白(图2和3)或包含默认消息(图4和5)。已确定的文本包括由识别引擎基于手写输入来建议或标识的文本。在一实施例中,已确定的文本在变成已提交的文本之前必须由用户诸如通过该用户选择该文本、提供输入命令等来进行确认。在一实施例中,已确定的文本通过下划线(如在图7和8中的228处所描绘的)或通过任何其它所需手段来指示。已提交的文本是已由用户确认或肯定地选择的文本,如在图9中的230处所描绘的。
如在图4、7和8中所描绘的,在识别显示状态216中,用户界面212包括编辑域222、对话域226、第二书写板232、候选窗口234以及一个或多个功能键236。第二书写板232包括用户界面212中的具有小于第一书写板220的第一区域的第二区域的区域。第二书写板232不覆盖用户界面212中的其它分量并被配置成接收或检测使用户界面212切换至呈现书写显示状态214的落笔事件,如上所述。
在接收到手写输入之前,候选窗口234可以是空白或空的。当接收到手写输入时,候选窗口234显示一个或多个识别候选238以及一个或多个组合候选240。在空间允许时,候选窗口234显示任何数量的识别候选238和组合候选240。在一实施例中,候选窗口234显示四个识别候选238。在另一实施例中,提供了开关246,该开关在被选中时显示扩展的候选窗口248,如图8所描绘的。扩展的候选窗口248包括用户界面中的要在其中显示更大数量的识别候选238、组合候选240和预测候选244的附加空间,如下所述。
识别候选238包括单词、字母、符号、手迹或由识别引擎基于手写输入来标识的其它文本。识别引擎使用任何可用算法和数据存储来将手写输入相关到已知文本或识别候选238。识别引擎可基于计算出的手写输入和识别候选238之间的相关值来对多个潜在识别候选进行排名。在一实施例中,识别引擎还基于用户的输入历史、用户或大致人群对识别候选238的使用频率或关于识别候选238的任何其它数据来对识别候选238进行排名。
在一实施例中,用户的输入历史由识别引擎和/或一个或多个其它组件来跟踪。用户的输入历史只包括对用户界面212的输入或者可包括跨移动设备200上的一个或多个附加用户界面或应用做出的输入。用户的输入历史可被存储在移动设备200中的存储器中或者被远程地存储在分开的存储单元中。
在候选窗口234中按照根据排名的次序来显示经排名的识别候选238中的一个或多个。在一实施例中,识别引擎由移动设备200或由诸如计算设备100等远程计算设备来执行。
组合候选240包括一个或多个识别候选238中的第一识别候选242和之后的预测候选244。预测候选244包括被识别引擎标识为与第一识别候选242相关联的文本。该关联基于以下各项中的一个或多个:用户的输入历史;词组、短语等的词典或数据库;或者字典和其它参考。在一实施例中,用户的输入历史包括用户输入或选择一词组或短语的频率的度量。用户的输入历史还可包括用户最后一次使用一词组或短语的时间的度量,例如用户在多久之前最后一次使用一短语。
在一实施例中,第一识别候选242是由识别引擎标识的排名最高的识别候选238。由此,识别引擎基于该第一识别候选242来标识预测候选244。预测候选244各自被呈现在第一识别候选242之后,以提供对基于其标识出这些预测候选的识别候选238的指示并且提供可选的组合候选240。另外,在一实施例中,预测候选244和组合候选240由识别引擎基于以下各项中的一个或多个来进行排名:用户的输入历史;词组、短语等的词典或数据库;或者字典和其它参考。
由此,用户能够通过选择适当的组合候选240用单次选择来选择第一识别候选242和预测候选244两者。对组合候选的选择还可以比其中需要多次选择的各种方法更直观且更快。
功能键236是用户界面212中的可选区域,这些可选区域提供使用诸如回车、回退和删除文本等功能的途径,或者提供标点标记,或者将用户界面212切换成提供诸如虚拟键盘等替换输入方法,以及各种其它选项。
现在参考图9,描绘处于预测显示状态218的用户界面212。预测显示状态218包括与识别显示状态216相似的特征,这些特征在此不再描述。然而,在预测显示状态218中,候选窗口234不包括识别候选238或组合候选240。候选窗口234只包括不被呈现在相关联的识别候选238之后的预测候选250。预测候选250包括被识别引擎标识为与编辑域222中的已提交的文本230相关联的文本。该关联基于以下各项中的一个或多个:用户的输入历史;词组、短语等的词典或数据库;或者字典和其它参考。作为对比,预测候选244基于第一识别候选242或已确定的文本228来标识。
现在参考图6,描述了根据本发明的一实施例的用于基于输入类型来更改显示状态的方法600。在步骤602,在具有相关联的触摸界面的显示设备上呈现诸如用户界面212等用户界面。如上所述,该用户界面可包括功能键、候选窗口和具有第一区域的书写板。在步骤604,检测落笔事件或对手写输入的发起并且用户界面呈现书写显示状态。在一实施例中,落笔事件由触摸界面在与书写板相关联的区域内检测到。在步骤606,将书写板的区域增大至大于第一区域的第二区域。
通过将书写板的区域或大小增大至第二区域,扩展书写板。经扩展的书写板提供其中用户可提供手写输入的附加空间。在具有相对较小的、用户可能难以在其中进行书写的显示区域或触摸界面的移动设备中,提供这一附加空间可以是有益的,尤其在用户使用手指来提供手写输入时。
另外,经扩展的书写板延伸或叠加至一个或多个功能键和候选窗口以及用户界面中的其它特征上方。由此,这些特征在书写板具有第二区域时在显示器上不可见且不可用。由此,在试图提供手写输入时,用户无法不经意地与这些特征交互。例如,当在经扩展的书写板中的触摸界面中书写字母或单词时,用户无法意外地选择功能键。如果书写板未被扩展成覆盖功能键,用户可能不经意地将手写输入中的一笔画延伸至书写板之外并由此接触功能键,从而不经意地使得被分配给该键的功能被执行。
在步骤608,检测提笔事件或手写输入的停止。在步骤610,书写板的大小被减小回第一区域以便再次显露功能键、候选窗口以及任何其它隐藏特征,并且用户界面呈现识别显示状态。在一实施例中,观察到提笔事件和呈现识别显示状态之间的预定时间段的超时或延迟。
现在参考图10,描述了根据本发明的一实施例的用于基于识别出的手写输入来呈现预测候选的方法1000。在步骤1002,在用户界面处接收手写输入。在一实施例中,该手写输入经由触摸界面在移动设备处接收。在步骤1004,执行识别引擎以基于手写输入来标识一个或多个识别候选。识别引擎采用任何可用算法和数据存储来对相关到手写输入的多个识别候选进行标识和排名。
在步骤1006,由识别引擎来确定多个预测候选。在一实施例中,预测候选由与识别引擎分开的引擎或组件来标识。在另一实施例中,识别候选基于手写输入和识别候选之间的相关值来进行排名。并且预测候选基于排名最高的识别候选来确定。预测候选基于可用词典来确定并且可利用用户的输入历史,该输入历史包括输入文本的使用频率以及自从最后一次使用输入文本以来的时间量的度量。
在步骤1008,经由用户界面以识别显示状态呈现识别候选和预测候选。多个识别候选按照它们的所确定的排名的次序来被首先呈现在列表中。多个预测候选按照排名次序被接着呈现在该列表中;每一个预测候选都在第一识别候选之后以指示它们与该第一识别候选的关联并提供用户选择的容易度。由此,用户可以只用对识别候选-预测候选对(例如,组合候选)的单次选择输入来选择所需预测候选和相关联的识别候选。在一实施例中,识别候选和预测候选被呈现在用户界面中的候选窗口中。另外,在一实施例中,第一识别候选在编辑域中被呈现为已确定的文本并且加下划线或以其它方式指示以包括已确定的文本。
在步骤1010,接收对识别候选或组合候选的选择。在步骤1012,然后在编辑域中将所选识别候选或组合候选显示为已提交的文本,并且基于选择候选来标识多个第二预测候选。
在步骤1014,经由用户界面以预测显示状态呈现第二预测候选。第二预测候选不与作为前缀的识别候选显示在一起。同样,第二预测候选可基于用户的输入历史、单词或短语的词典或任何其它参考来标识。在步骤1016,接收对第二预测候选的选择并将第二预测候选附加到编辑域中的文本串的末尾作为已提交的文本。然后,方法1000返回至步骤1012。
在一实施例中,在步骤1010,接收对除了第一识别候选之外的第二识别候选的选择。第二识别候选在编辑域中被显示为已提交的文本,并且基于该第二识别候选来标识多个第二预测候选以供用户界面以预测显示状态来呈现。
所描绘的各组件以及未示出的组件的许多不同的安排都是可能的,而不背离所附权利要求书的精神和范围。已带着说明而非限制的意图描述了本技术的各实施例。在阅读本发明之后或由于阅读了本发明,替换实施例将变得对本发明的读者显而易见。可完成实现上述的替换装置而不脱离所附权利要求书的范围。某些特征和子组合是有用的,并且可以使用而无需参考其他特征和子组合并且被认为是在权利要求书的范围之内的。

Claims (18)

1.一种用于基于输入类型来更改显示状态的方法,所述方法包括:
由具有处理器、存储器和具有相关联的触摸界面的显示组件的计算设备来呈现用户界面,所述用户界面被配置成帮助用户基于一个或多个手写输入来构造文本串,所述用户界面包括功能键和具有第一区域的书写板;
由所述计算设备经由所述触摸界面来检测所述具有第一区域的书写板中的手写输入的发起;
将所述书写板的区域增大至大于所述第一区域的第二区域,所述书写板具有覆盖所述功能键的第二区域以使得所述功能键不可用;以及
在具有所述第二区域的书写板中接收所述手写输入。
2.如权利要求1所述的方法,其特征在于,还包括:
检测所述手写输入的停止;以及
将所述书写板的区域从所述第二区域减小至所述第一区域以显露所述功能键。
3.如权利要求2所述的方法,其特征在于,还包括:
观察检测所述手写输入的停止和将区域从所述第二区域减小至所述第一区域之间的预定时间量的超时。
4.如权利要求3所述的方法,其特征在于,所述超时的时段小于一秒。
5.如权利要求1所述的方法,其特征在于,所述用户界面包括候选窗口,所述候选窗口显示由识别引擎基于所述手写输入来确定的一个或多个识别候选。
6.如权利要求5所述的方法,其特征在于,所述具有第二区域的书写板覆盖所述候选窗口,而所述具有第一区域的书写板不覆盖所述候选窗口。
7.如权利要求1所述的方法,其特征在于,所述计算设备是移动设备。
8.一种由具有处理器、存储器和手写输入设备的计算设备来呈现的用户界面,所述用户界面包括:
候选窗口,所述候选窗口被配置成呈现识别候选和预测候选中的一个或多个,所述识别候选由所述处理器执行的识别引擎基于接收到的手写输入来确定,所述预测候选基于所述识别候选以及输入历史和短语词典中的一个或多个来确定;
显示文本串的编辑域,所述文本串包括所述识别候选和所述预测候选中的一个或多个;
被配置成在被选中时执行相应功能的一个或多个功能键;以及
输入窗口,所述输入窗口与所述手写输入设备相关联并被配置成切换手写输入板以接收手写输入,所述手写输入板具有第一区域以及大于所述第一区域的第二区域,所述手写输入板的第二区域覆盖所述候选窗口以及所述一个或多个功能键以使得所述候选窗口以及所述一个或多个功能键不可用。
9.如权利要求8所述的用户界面,其特征在于,具有第二区域的所述手写输入板在接收所述手写输入时消除对所述一个或多个功能键和被呈现在所述候选窗口中的所述识别候选和预测候选的不想要的选择。
10.如权利要求8所述的用户界面,其特征在于,具有所述第二区域的手写输入板提供比具有所述第一区域的手写输入板更大的区域以接收所述手写输入。
11.如权利要求10所述的用户界面,其特征在于,所述计算设备是移动设备并且所述手写输入设备是与所述移动设备的显示器相关联的触摸输入设备。
12.如权利要求10所述的用户界面,其特征在于,所述手写输入在所述手写输入板处经由用户的手指触摸所述手写输入设备来接收。
13.如权利要求8所述的用户界面,其特征在于,由对所述输入窗口的输入操作来切换所述手写输入板的所述第一区域和所述第二区域。
14.如权利要求13所述的用户界面,其特征在于,当检测到发起手写输入或落笔事件时,将所述手写输入板从所述第一区域切换到所述第二区域,而当检测到对所述手写输入板的手写输入停止一预定时间段或者所述手写输入板之外的输入的事件时,将所述手写输入板从所述第二区域切换到所述第一区域。
15.一种被配置成呈现用于经由触摸输入设备来接收手写输入的用户界面的移动设备,所述移动设备包括:
处理器;
存储器;以及
具有相关联的触摸输入设备的显示组件,所述显示组件被配置成呈现包括候选窗口、编辑域、一个或多个功能键以及动态输入板的用户界面,所述候选窗口显示由所述处理器执行的识别引擎基于经由触摸界面接收的手写输入来标识的多个识别候选,所述候选窗口还显示多个预测候选,所述编辑域将第一识别候选显示为已确定的文本,所述一个或多个功能键被配置成使得相应功能或命令被执行,并且所述动态输入板在所述用户界面处于识别或预测状态时具有第一区域,而在所述用户界面处于书写状态时具有大于所述第一区域的第二区域,所述动态输入板在处于书写状态并具有所述第二区域时覆盖所述候选窗口以及所述一个或多个功能键以使得所述候选窗口以及所述一个或多个功能键是不可用的。
16.如权利要求15所述的移动设备,其特征在于,当在所述动态输入板中检测到触摸输入时并且直到检测到所述触摸输入停止一预定时间段或所述动态输入板之外的输入,所述用户界面处于所述书写状态,并且其中所述用户界面在不处于所述书写状态时处于所述识别或预测状态。
17.如权利要求15所述的移动设备,其特征在于,在所述书写状态期间具有所述第二区域的所述动态输入板在接收所述手写输入期间消除对所述一个或多个功能键和所述候选窗口中的所述识别候选和预测候选的不想要的选择。
18.如权利要求15所述的移动设备,其特征在于,所述用户界面被配置成用于亚洲手迹。
CN201180070999.1A 2011-05-20 2011-05-20 用于手写输入的用户界面 Active CN103547983B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/074387 WO2012159243A1 (en) 2011-05-20 2011-05-20 User interface for handwriting inputs

Publications (2)

Publication Number Publication Date
CN103547983A CN103547983A (zh) 2014-01-29
CN103547983B true CN103547983B (zh) 2016-04-06

Family

ID=47174570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180070999.1A Active CN103547983B (zh) 2011-05-20 2011-05-20 用于手写输入的用户界面

Country Status (3)

Country Link
US (1) US8836667B2 (zh)
CN (1) CN103547983B (zh)
WO (1) WO2012159243A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4810594B2 (ja) * 2009-06-24 2011-11-09 京セラ株式会社 携帯端末、言語設定プログラムおよび言語設定方法
KR20140008987A (ko) * 2012-07-13 2014-01-22 삼성전자주식회사 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치
FR3005175B1 (fr) 2013-04-24 2018-07-27 Myscript Systeme de synchronisation permanente pour la saisie manuscrite
KR20160047738A (ko) * 2014-10-23 2016-05-03 현대자동차주식회사 입력 장치, 이를 포함하는 차량 및 그 제어 방법
US10489051B2 (en) * 2014-11-28 2019-11-26 Samsung Electronics Co., Ltd. Handwriting input apparatus and control method thereof
CN106325570A (zh) * 2015-06-19 2017-01-11 宏碁股份有限公司 触控装置及其操作方法
US9940015B2 (en) * 2015-07-13 2018-04-10 Lenovo (Singapore) Pte. Ltd. Interacting with application beneath transparent layer
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
US10210383B2 (en) 2015-09-03 2019-02-19 Microsoft Technology Licensing, Llc Interacting with an assistant component based on captured stroke information
US11442618B2 (en) * 2015-09-28 2022-09-13 Lenovo (Singapore) Pte. Ltd. Flexible mapping of a writing zone to a digital display
US10416868B2 (en) 2016-02-29 2019-09-17 Myscript Method and system for character insertion in a character string
US10248635B2 (en) 2016-02-29 2019-04-02 Myscript Method for inserting characters in a character string and the corresponding digital service
CN106598289B (zh) * 2016-10-21 2019-07-09 广州视源电子科技股份有限公司 书写页面的扩充方法和系统
CN106919316A (zh) * 2017-02-21 2017-07-04 广州视源电子科技股份有限公司 用于电子白板的控制方法和控制装置
CN109840046A (zh) * 2017-11-29 2019-06-04 鸿合科技股份有限公司 触摸屏书写处理方法及装置
CN111078073B (zh) * 2019-12-17 2021-03-23 科大讯飞股份有限公司 一种笔迹放大的方法和相关装置
CN117311586A (zh) * 2022-06-24 2023-12-29 华为技术有限公司 手写输入方法及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1961324A (zh) * 2004-04-02 2007-05-09 诺基亚公司 一种用于手写识别的设备和方法
JP2007188449A (ja) * 2006-01-16 2007-07-26 Sharp Corp 文字入力装置、該文字入力装置を備えた複写機、文字入力方法、制御プログラム、および、記録媒体
CN101183284A (zh) * 2007-11-26 2008-05-21 宇龙计算机通信科技(深圳)有限公司 一种移动终端手写输入方法、装置及移动终端

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793484A (ja) * 1993-09-27 1995-04-07 Toshiba Corp 入力表示装置及び同装置の機能指示入力方法及び情報処理装置
US6661409B2 (en) * 2001-08-22 2003-12-09 Motorola, Inc. Automatically scrolling handwritten input user interface for personal digital assistants and the like
US7106312B2 (en) * 2003-11-10 2006-09-12 Microsoft Corporation Text input window with auto-growth
US8908973B2 (en) * 2008-03-04 2014-12-09 Apple Inc. Handwritten character recognition interface
CN101576783B (zh) * 2008-05-09 2012-11-28 诺基亚公司 用于手写输入的用户接口、设备和方法
US9355090B2 (en) * 2008-05-30 2016-05-31 Apple Inc. Identification of candidate characters for text input
CN101853088A (zh) 2010-05-22 2010-10-06 孙强国 一种能同时联想词根和单词的拼音文字的输入方法
US9189077B2 (en) * 2011-05-24 2015-11-17 Microsoft Technology Licensing, Llc User character input interface with modifier support

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1961324A (zh) * 2004-04-02 2007-05-09 诺基亚公司 一种用于手写识别的设备和方法
JP2007188449A (ja) * 2006-01-16 2007-07-26 Sharp Corp 文字入力装置、該文字入力装置を備えた複写機、文字入力方法、制御プログラム、および、記録媒体
CN101183284A (zh) * 2007-11-26 2008-05-21 宇龙计算机通信科技(深圳)有限公司 一种移动终端手写输入方法、装置及移动终端

Also Published As

Publication number Publication date
WO2012159243A1 (en) 2012-11-29
US8836667B2 (en) 2014-09-16
US20120293424A1 (en) 2012-11-22
CN103547983A (zh) 2014-01-29

Similar Documents

Publication Publication Date Title
CN103547983B (zh) 用于手写输入的用户界面
AU2019202554B2 (en) Context-aware field value suggestions
EP3469477B1 (en) Intelligent virtual keyboards
JP6404267B2 (ja) 言語入力の修正
EP2813938A1 (en) Apparatus and method for selecting object by using multi-touch, and computer readable recording medium
CN103547980A (zh) 知晓上下文的输入引擎
CN105659194B (zh) 用于屏幕上键盘的快速任务
US10503398B2 (en) Portable electronic device and method of controlling display of selectable elements
CN104067211A (zh) 使用直接操纵进行自信的项目选择
US8704792B1 (en) Density-based filtering of gesture events associated with a user interface of a computing device
CN104360805A (zh) 应用程序图标管理方法及装置
CN105229586A (zh) 便携式电子设备上的列表项目的导航
US20180314343A1 (en) Text input system using evidence from corrections
CN105074643A (zh) 非词典字符串的手势键盘输入
CN103870133A (zh) 用于滚动显示装置的屏幕的方法和设备
US9395911B2 (en) Computer input using hand drawn symbols
US8780077B2 (en) User interface for handwriting inputs
JP2015004977A (ja) オーディオ及びテキスト間の変換のための方法及び電子装置
CN107220377B (zh) 搜索方法、电子设备及计算机存储介质
KR20150007577A (ko) 데이터 병합을 제어하는 휴대 단말 및 방법
US20190114131A1 (en) Context based operation execution
CN113138676B (zh) 表情符号显示方法及装置
EP2458513A1 (en) Note management methods and systems
CN103547981A (zh) 显示键拼音
US11543959B1 (en) Method for inserting hand-written text

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150722

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150722

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant