CN1707509A - 用于亚洲语言的手写输入 - Google Patents

Abstract

描述了一种用于协助用户以亚洲语言输入信息的系统和进程。在一些方面中，参照手写输入描述了简体中文和其它语言的输入。

Description

用于亚洲语言的手写输入

(1)技术领域

本发明的方面涉及硬件和软件产品，尤其涉及向用户提供以亚洲语言输入信息的改进过程。

(2)背景技术

计算系统以多种语言存在。这些语言包括单词的基于字符的表示和基于符号的表示。尽管在世界上广泛使用西文104键盘，然而基于符号的语言的用户需要一种使用键盘所提供的有限输入来输入符号的方法。一种输入符号语言的方式是使用对一种语言专用的输入法编辑器(微软公司的IME)。

亚洲语文本输入是当今最具挑战性的计算问题之一。它一直是亚洲语言计算的瓶颈。亚洲语言字符集随Unicode(统一代码)标准的每一次修订而不断增长。例如，Unicode 2.0中定义的CJK(中文、日文、韩文)字符为20,902字符。Unicode3.0中包括了27,484个字符。扩展B进一步添加了40,771个字符。

IME提供了一种将英文字母转换成亚洲语字符的转换引擎。一般而言，对亚洲语字符的编码基于亚洲语字符的语音。这可能包括字母或字母和数字的组合。有时候，需要将英文发音转换成亚洲语言的发音。而且，英文文本可能与亚洲文本相组合(和/或与符号、拼音字母/字符和亚洲语象形文字(中文字符)混合)，因此需要能够快速且容易地在编码方法之间进行切换。

有许多与前述方法相关的问题：

a.尽管手写输入比键盘输入更自然，然而键盘输入仍是亚洲语言的主要输入机制。

b.尽管手写输入通常对中文字符来说速度较快，然而拼音的键盘打字速度较慢。

c.传统的手写识别输入需要用户书写中文字符(东亚象形文字)。因为中文字符由许多笔画组成，因此书写中文字符较复杂。同时，当前中文手写体识别输入法需要用户以分离的笔画(非草体的)书写，来达到较高的识别率(精确度)。组合而言，复杂性、非草体性书写以及低精确度(基于误差纠正率)令手写体识别输入的速度变慢。

需要一种改进的系统来使得用户能够快速且容易地以亚洲语言输入文本。

(3)发明内容

本发明的各方面解决上述一个或多个问题，由此为以亚洲语言的文本输入提供一种解决方案。本发明的各方面包括使用输入笔输入信息的能力。

参照附图和相关描述说明这些和其它方面。

(4)附图说明

本发明的各个方面在附图中说明。

图1和2示出了支持本发明一个或多个方面的通用计算环境。

图3和4示出了能够使用本发明的各方面的各类硬件用户接口设备。

图5-8示出了依照本发明各方面的各类用户接口。

图9示出了依照本发明实施例用于输入手写信息的用户接口。

图10和11示出了手写信息的示例。

图12-13示出了依照本发明各方面的流程图。

(5)具体实施方式

本发明的各方面涉及提供以亚洲语言输入文本的能力。

下文被分成各个部分来帮助用户理解。这些标题包括：墨水的特征；通用计算环境；硬件输入；用户接口；以及手写用户输入接口。

墨水的特征

使用墨水钢笔的用户知道，物理墨水(使用具有墨水囊的钢笔时留在纸上的那一种)可能比一系列由直线段连接的坐标传达更多的信息。例如，物理墨水可以反映钢笔压力(由墨水的浓度来反映)、钢笔角度(由直线或曲线段的形状和离散点附近的墨水的形态来反映)以及钢笔尖的速度(由直线性、线宽和随直线或曲线的路线的线宽改变来反映)。因为这些额外的性质，要比使用点之间的统一线段宽度更能传递感情、个性、强调等等信息。

电子墨水(或墨水)涉及当用户使用基于输入笔的输入设备时所捕获的电子信息的捕获和显示。电子墨水是指一列笔画，其中每一笔画包括一系列点。点能够用多种已知技术来表示，包括笛卡尔(Cartesian)坐标(X，Y)、极坐标(r，Θ)以及本领域已知的其它技术。电子墨水可包括对真实墨水的性质，包括压力、角度、速度、颜色、笔尺寸以及墨水的不透明性的表示。电子墨水还可包括其它特性，包括：墨水沉积到页面上的顺序(对大多数西文语言来说是从左到右然后往下的线栅方式)、时间信息(指示墨水何时沉积)、对墨水的作者的指示以及起源设备(墨水在其上汲取的机器的标识或用于沉积墨水的钢笔的标识的至少其中之一)。

术语

墨水    具有特性的笔画序列或笔画集。一个笔画序列可包括按序排

        列的笔画。该序列可能以捕获时间为序或以笔画出现在页上

        位置为序或者在协作的情况下按墨水的作者排序。也可以使

        用其它顺序。笔画集可包括多个笔画序列或未排序笔画或其

        任意组合。一些性质还可能对每一笔画或笔画中的点来说是

        特有的(例如，压力、速度、角度等等)。这些性质可储存

        在笔画级或点级，而非墨水级。

墨水    对象储存带有性质或不带有性质的墨水的数据结构。

笔画    捕获的点的序列或集合。例如，当显示时，点的序列可用直

        线来连接。可选地，笔画可以以点和在下一点的方向上的矢

        量来表示。简而言之，笔画包含与墨水相关的点或线段的任

        意表示，而不考虑点和/或连接点的东西背后隐含的表示是

        什么。

点      定义在空间中所处位置的信息。例如，点可以是相对于捕获

        空间(例如，数字化仪上的点)、虚拟墨水空间(向其中放

        置捕获的墨水的空间中的坐标)和/或显示空间(显示设备

        的点或像素)来定义。

文档    具有可见的表示和内容的电子文件。文档可包括web页、字

        处理文档、记事页或记事簿、电子表格、可视演示、数据库

        记录、图像文件、以及它们的组合。

通用计算环境

图1和2说明了适于在其中实现本发明的操作环境100和201的示例。操作环境100和201仅为合适的计算环境的几个示例，并非对本发明的使用或功能的范围的限制。适于本发明使用的其它众所周知的计算系统、环境和/或配置包括但不限于，个人计算机、服务器计算机、手持式或膝上设备、多处理器系统、基于微处理器的系统、可编程消费者电子设备、网络PC、小型机、大型机、包括任一上述系统或设备的分布式计算环境等等。

本发明的各个方面可以在计算机可执行指令的一般语境下描述，计算机可执行指令如由一个或多个计算机或其它设备执行的程序模块。一般而言，程序模块包括例程、算法、程序、对象、组件、数据结构等等，执行特定的任务或实现特定的抽象数据类型。通常而言，根据各种实施例所期望的，程序模块的功能可以组合或分布。

计算设备系统100和201通常包括至少某些形式的计算机可读媒质。计算机可读媒质可以是任一服务器103或系统201可访问的可用媒质。作为示例而非限制，计算机可读媒质可包括计算机存储媒质和通信媒质。计算机存储媒质包括易失和非易失、可移动和不可移动媒质，以任一方法或技术实现以储存诸如计算机可读指令、数据结构、程序模块或其它数据的信息。计算机存储媒质包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光学存储、盒式磁带、磁带、磁盘存储或其它磁存储设备或其它任一可用来储存期望的信息并可由服务器103或系统201访问的媒质。通信媒质通常包括以已调制数据信号如载波或其它传输机制形式的计算机可读指令、数据结构、程序模块或其它数据，并包括任何信息传递媒质。术语“已调制数据信号”指其一个或多个特征以对信号内信息编码的方式设定或改变的信号。作为示例而非局限，通信媒质包括有线媒质如有线网络或直接连线连接、以及无线媒质如声学、RF、红外和其它无线媒质。上述任一组合也应当包括在计算机可读媒质的范围之内。

参考图2，用于实现本发明的各方面的说明性系统包括计算装置，如装置201。在其最基本的配置中，装置201通常包括处理单元204和存储器203。根据计算装置的确切配置和类型，存储器203可以是易失(如RAM)、非易失(如ROM、闪存等等)或两者的某一组合。此外，装置201也可具有大容量存储(可移动和/或不可移动)如磁或光盘或带205-206。类似地，装置201也可具有输入设备如208(包括鼠标、输入笔、键盘、轨迹球等等)和/或输出设备207如显示器等等。装置201的其它方面可包括采用有线或无线媒质210的到其它装置、计算机、网络、服务器等等的网络连接209。所有这些装置在本领域是众所周知的，并且无须在此详细讨论。

硬件输入

存在各类与本发明的各方面相关的用于将手写信息输入到系统的输入。

图3示出了接收手写输入并将输入前向传送到输入识别器303的数字化仪301，输入识别器303然后将识别的输入前向传送到操作系统和/或应用304。系统也可包括接收被前向传送到输入识别器的用户输入的键盘302。这里，输入识别器303可以是单独的IME或者具有额外性能的IME。例如，输入识别器303可包括识别手写体的手写体识别引擎。如果要识别的字符的数量有限制，则可以提高识别精确度。这里，例如，如果使用拼音，则仅需要识别408个字符/组合。这些可以是仅英文、英文和具有中文字符的简体中文或具有中文字符的简体中文。

图4示出了图3的一个修改。在图4中，可以使用各类数字化仪(包括有源数字化仪301A和无源数字化仪301B)。本发明的各方面也可使用任一键数(N)的键盘302A。手写输入可以由手写体输入识别器401来识别。手写体识别器的输出然后由TME识别器402来识别。从键盘302A的输出可以由IME识别器402识别。

系统可以带硬件键盘使用或者不带硬件键盘使用。例如，拼音手写输入时可以配键盘或不配。例如，可以使用输入笔或其它指向设备来画字符或写单词，这些字符或单词可由手写体识别器识别。例如，可以使用具有各种笔画的电子墨水作为对识别器的输入。手写体识别器然后可以耦合至IME识别器来识别来自手写体识别器的输入。

手写体识别器401可以与IME识别器402的一些方面脱离或紧密联系。例如，手写体识别器401可在其预定的识别信息的基础上识别笔画或其它输入。可选地，手写体识别器401可使用IME识别器402的核心变换引擎的一部分。

用户接口

各类用户接口可用于特殊键和IME的组合。图5-9示出了用于拼音IME的各类用户接口。这些可用于多种键盘。

图5示出了显示信息来协助用户撰写字符的各种区域。撰写窗显示为区域1101。撰写窗1101包括已撰写的字符1102和正在撰写的字符1103。图5还包括候选者窗1104，显示匹配1103中的字符的语音的候选者。用户然后可以选择合适的候选者，该候选者替换1103并添加到已撰写字符1102中。最后，图5示出了状态条1105。

图6示出了确定的串1201和状态条1202。图6示出了重变换之前的用户接口。这里，1201中的字符已被确定。

图7示出了撰写窗1301、候选者列表1302和状态条1303。在重变换之后，来自页的文本串加载回撰写窗1301，并显示候选者列表1302。在图6中，用户可以输入文本并让系统选取合适的字符。在图7中，用户向系统要求额外的机会来将文本修改为用户所需要的。

图8示出了用户自造词工具。这里，用户可输入所喜欢的语音输入字符。这里，这些可称为用户自造词。例如，如果正在键入技术文档并且一个词组比其它词组要更经常地用到，可以向用户提供指定语音文本应当与之相应的字符的能力。这使得字符输入更快。

手写输入用户接口

上述部分描述了要变换的信息的键盘输入。可以使用的其它输入方式包括手写输入和话音输入。下文描述了使用电子墨水的用于撰写亚洲语言的语音输入。

在东亚语言中，使用CJK(中文、日文和韩文)字符来撰写语言，然而语言的发音是用各种语音模式来表示的。语音模式包括有限的语音字母。例如，在中文中，语音模式称为拼音。如上所述，语音字母与英文中的字母相同。无声调的有效拼音是408个音节。在Unicode 2.0中的CJK字符为20,902个，然而在东亚语言中使用的超过了80,000个。

传统的方法使用手写输入的笔画识别。然而，以草体书写，尤其是类似记录笔记的情形中，这些方法受到字符的复杂性和令人满意的识别精确率的限制。

中文键盘IME使用本领域已熟知的统计学语言模型将拼音转换为中文字符。这里描述的手写体识别将CJK(字符)的手写体墨水转换成文本CJK字符(也称为字符手写体识别)。本发明的一些方面将手写体识别与中文键盘IME相组合。这些方面将手写体输入和识别的自然特性与基于键盘的IME转换引擎业已证实的效率相组合。与书写复杂的中文字符相比较，以拼音书写(使用英文单词或字符的等效物)较快，这是由于减少了完成一个单词或语音所需要的笔画数。在其它方面，拼音输入中的书写方式可以是草体的，而提供了基于正在逐步撰写的所期望的字符(或语音部分)以及有限的有效拼音词汇(408)的更高的识别精确度。简而言之，直接字符手写体识别由于精确度、使用简易性和效率等方面的问题而不如基于键盘的IME流行。

如本领域所已知的，东亚键盘IME因其以较好的精确度将语音(这里为中文中的拼音)转换为CJK字符的语言模型和算法而成功。拼音的语音输入包括有限的输入：26个英文字母的408种有效组合。基于这一有限的词汇，手写体识别系统能够识别输入语音并生成可以利用的结果。

通过组合拼音的手写输入、手写体输入的识别以及拼音到中文字符的向下转换，可以实现以下目的的一个或多个：

·拼音的手写输入对使用较小用户接口(如在手持式计算设备和蜂窝电话上)的用户来说更简易；

·人们可以直接忘记如何书写完整、复杂的中文象形文字字符；

·在一些实例中，书写拼音(英文字母)比书写中文字符更简单；

·给定其有限的词汇，系统对拼音串比对复杂的中文字符具有更高的识别率；

·草体手写体识别技术通常对拉丁字母很成功，然而在东亚字符手写体技术中却不是很成功；以及

·拼音到中文字符的转换在基于键盘的IME中是成功的。

拼音手写体识别引擎可包括一个或多个识别组件。首先，它包括识别草体英文输入的标准英文手写体识别引擎。这一识别引擎可局限于或不局限于有效拼音的词汇集(例如，408个拼音)。这是与更大的英语单词的词汇相比较而言的。其次，它可包括与中文键盘IME引擎相关的拼音-中文字符转换引擎(例如，微软公司的MSPY IME)。可选地，可以使用另一语音-字符识别引擎来代替拼音IME(例如，将其它任意输入转换为日文、韩文和中文的引擎)。

此外，手写体识别输入(识别由笔画组成的象形中文字符的能力)涉及传统的撰写手写字符的方法。这里，拼音(语音)手写体输入提供了用于快速输入文本(例如，在记录笔记的情形)的输入技术，组合了手写体识别技术和语音-中文字符转换技术。

图9示出了用于手写输入的用户接口。区域1601显示从拼音转换的中文字符。区域1602显示基于输入手写墨水的新候选者。这里，区域1602中的候选者是手写体识别引擎的结果，其结果显示在区域1603中(具有英文语音拼音串-这里为“hua”)并在区域1604中具有中文字符候选者列表。这里，区域1602由来自1604的第一候选者所填充。区域1605是用户输入新手写信息之处。这里，用户输入“mao”的英文草体表示版本。随后，“mao”的候选者出现在区域1603中，其中文等效物出现在区域1604中。

使用本系统，区域1605中的输入的识别可开始于在用户从接触区域抬起输入笔时、在用户定位到另一范围时、轻拍发送按钮时、改变焦点时或在区域1605中的墨水输入之后出现延迟时。其它事件也可触发区域1605中的墨水的识别。

区域1605中的输入可以有多种形式。例如，它可以包括英文字母(如图10所示的墨水单词“mao”)或图11中的具有四个笔画的中文字符“中”(表示“zhong1”，意思为/之内/之中/内/中间/中央/当(做某事)/期间/中国/中文/)。

参考图12，以下是识别语音手写体的说明性进程。首先，用户开始用笔输入语音(拼音)。在步骤1801输入被收集成墨水笔画。也可以向用户显示将要在输入笔(或手指或其它指向实现)接触屏幕或光标位置之处或附近出现的墨水的轨迹。

在步骤1802，收集的一个或多个笔画可通过例如西文语言手写体识别引擎识别为原始拼音点阵1803。可如以上所述来定义何时开始识别。

在步骤1804，原始拼音点阵发送至拼音剖析器1804，它尝试生成有效拼音串1805。如果找到一个或多个音节或者结果等于或超过有效拼音长度限制，则如步骤1806所示继续进行IME引擎。如果未找到有效音节，则返回至步骤1801。

图13示出了使用语言模型解码器和图12的进程的其它步骤的示例。从步骤1806继续，在步骤1901，进程然后使用有效拼音串以在词典的基础上建立单词点阵，得到单词点阵1902。单词点阵1902然后发送至语言模型解码器。来自步骤1903的最佳结果然后转换为中文字符1904。

以下步骤涉及候选者的显示与选择。它们是可任选的，因为在实践本发明时可以全部一起使用、只用其中一部分或全部不使用。它们显示在虚线框中，以突出其可选择性。在步骤1905，向用户显示中文字符。这可以包括或不包括修改撰写窗的尺寸来向用户显示其内容。在步骤1906，也可以显示最后转换的单词/字符的拼音替换。步骤1906也可以包括或不包括显示最后转换的单词/字符的字符替换。在步骤1907，当被指示发送字符或当用户偏离开来等等时，撰写串可根据选择发送至应用。

参考图10和11，系统可以在两种输入类型中区别。如果使用图10所示的草体输入，则用户不需要在画下一笔画或书写下一字母之前提起钢笔。相反，在图11中，以亚洲象形文字书写的用户需要在开始并识别下一笔画之前提起笔。

下文描述了上述其它进程之中用于自动启动输入手写体到中文字符的转换的各种进程：

·如果出现定时器事件或者

·如果不处于墨水输入状态。

如果是这样，则原始拼音点阵可由拼音剖析器转换成有效拼音串。

下文描述了何时进程试图将拼音串转换为中文字符：

·如果找到多个有效音节或者

·如果等于或超过最大可能有效拼音长度。

如果是这样，则转换的中文字符可插入到撰写内容中，然后可调节内嵌(in-line)撰写窗和内嵌墨水输入窗来适应新的内容。

下文描述何时当进程将中文字符前向传送到应用：

·用户按下特定控制按钮/按键的其中之一，如“发送”按钮等等。

·撰写窗已满，用户无法输入额外的墨水。

·遇到输入了句结束符号(标点符号)，如“！”。

各种窗口(撰写窗、墨水输入窗以及候选者窗)可以在内容改变之后刷新或不刷新。

识别进程的结果可以以单色显示或使用颜色来突出各种错误纠正行为。如果使用颜色，可使用颜色来显示拼音候选者中用于当前选择的单词或字符的的拼音替换者(例如，以蓝色显示当前单词或字符-1602，而以黑色显示剩余单词/字符-1601)。用户然后可以分辨区域1602中哪一单词要纠正，或者在区域1603和1604中对哪一字符提供了替换选项。一旦用户选择了候选者或者将建议的候选者纠正为另一候选者，除固定字符外(见下段)的整个内容可以再次转换或可以不再次转换。这是尝试基于单词的上下文对各种单词进行纠正。

用户也可以选择正确的替换者来替代当前选择的突出或未突出的单词/字符。在至少一个方面中，可以将用户对替换者的选择标记为“固定”或已选择或指定。在将来的转换中，固定的或先前选择的或指定的单词可以保持不变，而其它单词/字符被修改来适应新的上下文内容。

本发明的各方面也可以应用到日文、韩文和繁体中文。例如，取拼音IME而代之，开发者可以引入日文、韩文或繁体中文IME并如以上所述为按键添加功能。

尽管本发明的各方面使用微软公司的IME，然而也可以使用其它IME。例如，仅举几个例子，国际商用机器公司(IBM)的Unicode IME和Sourceforge.net公司的VietIME(跨平台越南语输入法编辑器)。

本发明的各方面用其说明性实施例来描述。通过对本公开内容的回顾，对本领域的普通技术人员而言，可以在不脱离所附权利要求的范围和精神的情况下作出各种其它实施例、修改和变化。

Claims (16)

1.一种用于输入字符的进程，其特征在于，它包括以下步骤：

从用户接收输入，所述输入包括墨水；以及

将所述墨水识别为语音输入；

将所述语音输入转换为字符。

2.如权利要求1所述的进程，其特征在于，

所述识别步骤将所述语音输入识别为拼音。

3.如权利要求1所述的进程，其特征在于，它还包括步骤：

向所述用户显示至少一个替换识别结果。

4.如权利要求3所述的进程，其特征在于，所述显示步骤显示由英文字母组成的单词。

5.如权利要求3所述的进程，其特征在于，所述显示步骤显示东亚字符。

6.如权利要求3所述的进程，其特征在于，所述显示步骤以与未选择的字符不同的颜色显示当前的选择。

7.如权利要求1所述的进程，其特征在于

所述识别步骤包括对西文语言手写体识别引擎的使用。

8.如权利要求1所述的进程，其特征在于

所述识别步骤包括确定所识别的墨水是否包括至少一个有效串的步骤。

9.一种用于输入字符的系统，其特征在于，它包括：

用于从用户接收输入的装置，所述输入包括墨水；以及，

用于将所述墨水识别为语音输入的装置；

用于将所述语音输入转换为字符的装置。

10.如权利要求9所述的系统，其特征在于，

所述用于识别的装置将所述语音输入识别为拼音。

11.如权利要求9所述的系统，其特征在于，它还包括：

用于向所述用户显示至少一个替换识别结果的装置。

12.如权利要求11所述的系统，其特征在于，所述用于显示的装置显示由英文字母组成的单词。

13.如权利要求11所述的系统，其特征在于，所述用于显示的装置显示东亚字符。

14.如权利要求11所述的系统，其特征在于，所述用于显示的装置以与未选字符不同的颜色显示当前的选择。

15.如权利要求9所述的系统，其特征在于，

所述用于识别的装置包括对西文语言手写体识别引擎的使用。

16.如权利要求9所述的系统，其特征在于，

所述用于识别的装置包括用于确定所识别的墨水是否包括至少一个有效串的装置。

Images