CN104508683A - 手写输入支持设备和方法 - Google Patents

Abstract

一般而言，根据一个实施例，手写输入支持设备包含笔划输入单元、笔划存储单元、笔划预测单元、预测结果显示单元、和决定结果显示单元。笔划输入单元输入第一笔划，第一笔划的一个笔划集合对应于一个字符或者一个符号。笔划存储单元存储第二笔划，第二笔划的一个笔划集合对应于一个字符或者一个符号。笔划预测单元通过使用第一笔划搜索第二笔划来预测第三笔划，第三笔划的一个笔划集合对应于一个字符或者一个符号。预测结果显示单元显示第三笔划。决定结果显示单元通过被给予第三笔划的笔划集合的指令来决定第四笔划，并且与第一笔划一起显示第四笔划。

Description

手写输入支持设备和方法

相关申请的交叉引用

这个申请基于并且要求2012年9月25日提交的第2012-210873号日本专利申请的优先权的利益，其全部内容通过引用被结合于此。

技术领域

此处描述的实施例大体上涉及手写输入支持设备、方法和程序。

背景技术

为了减少手写输入负载，已经提出了用于预测输入手写字符串的技术。

附图说明

图1是显示根据第一实施例的手写输入支持设备的框图；

图2是显示根据第一实施例的手写输入预测处理的实例的流程图；

图3是显示笔划集合的二值图像的视图；

图4是显示手写输入期间的输入预测候选列表的显示实例的视图；

图5是显示通过笔划集合单位的预测候选的决定实例的视图；

图6是显示根据第二实施例的手写输入支持设备的框图；

图7是显示根据第二实施例的手写输入预测处理的实例的流程图；

图8是显示预测数据库准备阶段和预测阶段的视图；

图9是显示根据第三实施例的手写输入支持设备的框图；

图10是显示根据第三实施例的手写输入预测处理的实例的流程图；

图11是显示实现手写输入支持设备的硬件布置的框图；和

图12是显示使用网络的手写输入支持设备的配置实例的视图。

具体实施方式

一般而言，根据一个实施例，手写输入支持设备包含笔划输入单元、笔划存储单元、笔划预测单元、预测结果显示单元、和决定结果显示单元。笔划输入单元输入第一笔划，第一笔划的一个笔划集合对应于一个字符或者一个符号。笔划存储单元存储第二笔划，第二笔划的一个笔划集合对应于一个字符或者一个符号。笔划预测单元通过使用第一笔划搜索第二笔划来预测第三笔划，第三笔划的一个笔划集合对应于一个字符或者一个符号。预测结果显示单元显示第三笔划。决定结果显示单元通过被给予第三笔划的笔划集合的指令来决定第四笔划，并且与第一笔划一起显示第四笔划。

在下文中将参考附图描述实施例。

根据这个实施例的手写输入支持设备例如被应用于包含笔输入界面的笔记本应用程序。这个应用程序允许用户通过手写输入笔记本内容。这个实施例涉及包含手写输入预测的手写输入支持。用户能够从一个或者多个输入预测候选中选择期望的笔划(可以包含文本字体)，一个或者多个输入预测候选在手写输入期间被呈现。通过这个选择决定的笔划在手写输入位置被插入，并且被看作是由用户实际上通过手写输入的那些笔划。

(第一实施例)

图1是显示根据第一实施例的手写输入支持设备的框图。这个设备包含笔划输入单元1、存储单元2、笔划预测单元3、显示单元4和指令输入单元7。显示单元4包含预测结果显示单元5、输入笔划显示单元6和决定结果显示单元8。

笔划输入单元1经由笔输入界面输入笔划数据。例如，笔划输入单元1例如将从使笔与触摸屏接触时起直到它被释放的期间与一个笔划数据关联。笔划数据包含识别笔划所需的笔划数、和通过移动与触摸屏接触的笔所生成的轨迹中的多个点的时间序列坐标。笔划数以笔划数据的生成次序被增加。输入笔划数据被合并成用于一个字符或者符号单位的集合。这个集合在下文中将被称为“笔划集合”。笔划集合被给予有识别这个集合所需的集合数。集合数以笔划集合的生成次序被增加。

更具体地，如下生成笔划集合。

例如，一个笔划集合包含笔划数据k和k-1，笔划数据k和k-1满足笔划数据k的起点坐标和笔划数据k-1的终点坐标之间的距离不大于阈值的条件。另外，帮助手写输入所需的输入框被显示。一个笔划集合包含被输入到一个输入框的一个或者多个笔划数据。替代地，一个笔划集合包含使用字符识别技术对于一个字符或者符号单位被分段的一个或者多个笔划数据。

因此，通过笔划输入单元1输入的笔划(第一笔划)包含其中一个字符或者符号对应于一个笔划集合的一个或者多个笔划集合，并且被存储在存储单元2中。

存储单元2存储预先输入的笔划(第二笔划)。第二笔划具有与第一笔划相同的数据结构，并且被用于提取预测候选。第二笔划包含用作用于输入的第一笔划的预测候选的笔划(第三笔划)。

笔划预测单元3使用第一笔划在存储单元2中的第二笔划中搜索一个或者多个预测候选(第三笔划)。在第一实施例中，使用基于笔划图像的特征量的相似性判定来获得预测候选。在第二和第三实施例中，基于笔划集合的字符识别结果来获得预测候选。

预测结果显示单元5在手写输入期间显示第三笔划的列表作为预测候选。在手写输入的时候，通过笔划输入单元1输入的第一笔划被显示在输入笔划显示单元6上，并且第三笔划在第一笔划附近被显示为列表。决定结果显示单元8通过经由指令输入单元7被给予的对于第三笔划的笔划集合的指令来决定第四笔划，并且与第一笔划一起显示决定的第四笔划。

图2是显示根据第一实施例的手写输入预测处理的实例的流程图。在这个处理中，使用基于笔划图像的特征量的相似性判定来获得预测候选。

当用户通过在触摸屏上操作笔来输入笔划时(步骤S1)，通过输入笔划显示单元6在触摸屏上显示那个笔划(步骤S2)。如上所述，输入笔划被合并成集合(步骤S3)。因而，新的集合数被添加，并且经由步骤S4执行步骤S5到S7中的预测处理。

在步骤S5中，笔划预测单元3计算第一笔划的笔划集合的图像特征量。在第一实施例中，如图3中所示，笔划集合被处理为图像。在限制笔划集合20的外接矩形21中，笔划数据20的整体坐标系23的坐标被转换成具有矩形中心C作为原点的局部坐标系22上的坐标。笔划集合20能够被表示为二值图像，在该二值图像中，由这个局部坐标系指示的像素例如是黑色像素，并且在剩余区域中的那些像素是白色像素。图像特征量能够通过计算笔划集合20的二值图像的傅里叶变换而被计算。作为这种图像特征量，除了基于傅里叶变换那些之外，基于边缘的HOG(方向梯度直方图)等等可以被使用。

在步骤S6中，基于图像特征量在存储单元2中搜索与第一笔划的笔划集合相似的第二笔划的笔划集合(集合数)的图像特征量。假定第二笔划是预测候选提取目标，并且那个笔划集合的图像特征量已经被计算并且被存储在存储单元2中。更具体地，保证了使集合数、笔划集合的图像特征量以及笔划数据彼此相关联的数据库。

通过检查，例如，当图像特征量之间的欧几里德距离不大于阈值时，相似的笔划集合能够被判定。注意，相似性判定不局限于诸如傅里叶变换的静态特征的使用。例如，使用笔划数据时间序列的动态属性，并且可以通过在语音识别中所使用的DP(动态规划)匹配或者隐马尔可夫模型来判定相似性。

在步骤S7，一个或者多个预测候选(第三笔划)被提取。更具体地，和提取候选的预置数n一样多的笔划集合m+1、m+2、...、m+n被提取作为与第二笔划的集合数m相关联的预测候选，第二笔划的集合数m与第一笔划的笔划集合相似。

注意，在步骤S6中，与第一笔划的笔划集合相似的第二笔划的多个笔划集合可以被提取。例如，当两个相似的笔划集合被提取时，笔划集合m1+1、m1+2、...、m1+n被提取作为与第二笔划的笔划数m1相关联的第一预测候选群，并且笔划集合m2+1、m2+2、...、m2+n被提取作为与第二笔划的笔划数m2相关联的第二预测候选群。

图4显示了在手写输入期间的输入预测候选列表的显示实例。图4显示了在触摸屏上显示的笔记本应用程序的输入屏幕30。图4还显示了正在被编辑的笔记本的行线条31。用户能够经由笔输入界面等等进行手写输入。图4显示了用户已经通过手写输入笔划32“Int”的状态。笔划32是上述的第一笔划，并且包含与这个实例中的三个字符相对应的三个笔划集合。在这种情况下，例如，根据这个实施例被提取的两个预测候选33被显示。第一预测候选是“ernet”，并且下一个预测候选是“eractive”。当用户例如指示第一预测候选“ernet”时，决定结果显示单元8决定这个，并且与“Int”一起显示第四笔划“ernet”作为输入期间的第一笔划。即，笔划34“Internet”的输入被决定。

尤其，因为这个实施例被配置成对笔划集合单位执行处理，所以如图5中所示，用户能够容易地选择并且决定笔划集合单位的预测字符(或者字符串)。图5的实例对应于用户通过笔点击笔划集合35“t”的情况。箭头36代表笔点击的位置。利用这个点击操作，第四笔划“eract”被决定。这些笔划包含五个笔划集合“e”、“r”、“a”、“c”和“t”。结果，笔划37“Interact”的输入被决定。

这个实施例包含计算单元，该计算单元计算第一笔划的行结构，以便在输入期间在第一笔划的行上显示在预测候选中决定的第四笔划。决定结果显示单元8基于计算出的行结构在第一笔划的行上显示第四笔划。并且，基于第一笔划的行结构，显示笔划的预测候选33的列表。即，预测结果显示单元5基于计算出的第一笔划的行结构，在平行于第一笔划的行的行上，显示第三笔划作为预测候选。

笔划的行结构能够如下被计算。例如，从包含在笔划集合中的笔划数据的坐标集中，计算那个笔划集合的质心，从而为多个笔划集合计算多个质心。行方向能够通过最小二乘法从多个质心被估计。注意，可以为预定数的笔划数据，而不是为笔划集合，计算质心。

并且，行能够被判定为连接多个笔划集合中的基准点的直线。更具体地，对于多个基准位置，首先决定的基准位置被设定为起点，并且经过随后被指定的基准点的直线或者经过尽可能接近于这些基准点的位置的近似线被计算。作为近似线的计算方法，可以基于对应于基准位置的坐标信息，使用一般的线性函数或者n元函数的计算方法。

根据这个实施例提取的预测候选33可以根据进行手写输入的用户的惯用手被显示，以致用户的手的手指不会遮避显示内容。更具体地，获取指定用户的惯用手所需的信息的获取单元被布置。预测结果显示单元5参考第一笔划的位置，在与惯用手相反的位置，显示预测结果(第三笔划)的列表。关于用户的惯用手的信息，用户可以设定右手或者左手。替代地，可以基于笔位置和手放置位置来自动地估计惯用手。

如上所述，根据第一实施例，用户能够通过笔划集合单位，容易地选择和决定预测候选，从而提高手写输入预测候选的决定选择的可操作性。

更具体地，能够排除对使用在字符串的前后方向上移动的手柄来剪辑期望的手写字符串的用户操作的需要，并且用户能够通过单击来剪辑字符串。例如，(1)用户能够通过直接地选择笔划来选择期望的笔划集合(剪辑基准)，以及(2)用户能够通过选择每个笔划集合的外接矩形或者那个矩形内的非笔划部分来间接地选择期望的笔划集合(剪辑基准)。

存储单元2可以在区分手写输入用户的同时存储笔划，并且允许第一手写输入用户的笔划(包含通过手写实际上输入的笔划以及预测出的笔划)被转换成第二手写输入用户的笔划，从而进一步地提高手写输入用户界面的功能。

(第二实施例)

在第二实施例中，相同的参考数字表示与第一实施例中的部件相同的部件，并且将不会重复其的描述。

图6是显示根据第二实施例的手写输入支持设备的框图。在这个设备中，执行笔划集合的字符识别的字符识别单元9被添加到第一实施例的布置中。在第二实施例中，存储单元2存储使用字符识别单元9的字符识别结果作为搜索关键字所检索的字符或者字符串。笔划预测单元3输出检索出的字符或者字符串作为预测候选的第三笔划。

图7是显示根据第二实施例的手写输入预测处理的实例的流程图。当用户通过在触摸屏上操作笔来输入笔划时(步骤S1)，通过输入笔划显示单元6在触摸屏上显示那个笔划(步骤S2)。如上所述，输入笔划被合并成集合(步骤S3)。因而，新的集合数被添加，并且经由步骤S4执行步骤S20到S22中的预测处理。利用这个处理，基于笔划集合的字符识别结果获得预测结果。

在步骤S20中，字符识别单元9执行笔划集合的字符识别。

在步骤S21中，基于字符识别在存储单元2中准备预测数据库。下面将参考图8描述这个预测数据库的准备阶段。如图8中所示，假定对应于“India”的第一笔划40被输入。第一笔划40包含对应于五个字符的五个笔划集合。假定字符识别单元9执行第一笔划40的字符识别，并且获得识别结果“1ndia”。接着识别出的字符“1”的字符串“ndia”和笔划集合数据(“I”的笔划及其笔划数)被登记在预测数据库中。因而，能够使用“I”或者它的识别结果“1”的笔划数作为搜索关键字，从预测数据库中检索字符串“ndia”。同样地，接着识别出的字符“n”的字符串“dia”和笔划集合数据(“n”的笔划及其笔划数)被登记在预测数据库中。因而，能够使用“n”或者它的识别结果“n”的笔划数作为搜索关键字，从预测数据库中检索字符串“dia”。以这种方式，按字符来登记输入的第一笔划40的所有的识别结果。登记在预测数据库中的笔划的数据对应于上述第二笔划。

在步骤S22中，执行基于笔划的预测候选提取。这是图8中显示的预测阶段。

例如，笔划“India”已经被登记在预测数据库中。在这种情况下，假定用户通过手写输入笔划42“I”。这个笔划42“I”经历字符识别，并且获得识别结果43“1”。在这种情况下，笔划预测单元3使用识别结果43“1”作为搜索关键字来搜索预测数据库。如图8中所示，从预测数据库中获得预测出的字符串“ndia”。这个预测出的字符串的各个字符的笔划的数据能够从预测数据库中被提取。因此，获得图8中显示的预测候选“ndia”的笔划44(第三笔划)。注意，如在第一实施例中的，和提取候选的预置数n一样多的笔划集合m+1、m+2、...、m+n可以被提取作为与第二笔划的集合数m相关联的预测候选，第二笔划的字符识别结果匹配第一笔划的字符识别结果。另外，可以提取第二笔划的多个集合数，第二笔划的字符识别结果匹配第一笔划的字符识别结果。

在步骤S23中，显示基于字符识别被提取的预测候选。

根据上述第二实施例，基于字符识别获得预测候选，并且能够提供与第一实施例中的效果相同的效果。

(第三实施例)

在第三实施例中，相同的参考数字表示与第一和第二实施例中的部件相同的部件，并且将不会重复其的描述。如第二实施例中的，第三实施例基于笔划集合的字符识别结果获得预测候选。并且，当字符识别结果的可能性高时，第三实施例使用基于文本的字预测技术。

图9是显示根据第三实施例的手写输入支持设备的框图。在这个设备中，字预测单元10和基于文本的预测数据库(DB)11被添加到第二实施例的布置中。

图10是显示根据第三实施例的手写输入预测处理的实例的流程图。当用户通过在触摸屏上操作笔来输入笔划时(步骤S1)，通过输入笔划显示单元6在触摸屏上显示那个笔划(步骤S2)。如上所述，输入笔划被合并成集合(步骤S3)。因而，新的集合数被添加，并且经由步骤S4执行步骤S20到S22中的预测处理。利用这个处理，基于笔划集合的字符识别结果获得预测结果(第三笔划)。

如图8中所示，假定从预测数据库中获得预测出的字符串“ndia”。当作为这个预测出的字符串的字符识别的结果的可能性超出第一阈值时(步骤S30中的是)，字预测单元10在基于文本的预测DB 11中搜索与这个预测出的字符串相对应的字预测(步骤S40)。

这个实施例的笔划预测单元3使用从字预测单元10中获得的字预测。在这种情况下，字预测的文本本身可以被用作最后的预测候选。另外，相对于这个字预测具有超出第二阈值的可能性的笔划可以被用作预测候选的第三笔划(步骤S41、步骤S42中的是)。

另外，当没有与字预测的文本(字符串)相对应的笔划时，字预测的文本的字体可以被转换成手写字体，并且这个字体可以被用作预测候选的第三笔划。

在步骤S23中，显示基于字符识别被提取的预测候选。

根据上述第三实施例，基于字符识别，能够提供与第一和第二实施例中的效果相同的效果。此外，根据第三实施例，能够根据基于文本的字预测来增强预测候选的精确度。

图11是显示实现第一到第三实施例的手写输入支持设备的硬件布置的实例的框图。参考图11，参考数字201表示CPU；参考数字202表示预定的输入装置；参考数字203表示预定的输出装置；参考数字204表示RAM；参考数字205表示ROM；参考数字206表示外部存储接口；以及参考数字207表示通信接口。例如，当使用触摸屏时，例如液晶面板、笔、布置在液晶面板上的笔划检测装置等等被使用(参见图11中的参考数字208)。

例如，图1、6和9中显示的一些部件可以被布置在客户端上，并且图1、6和9中显示的剩余部件可以被布置在服务器上。

例如，图12例示了当服务器303被连接在诸如内部网和/或因特网的网络300上并且客户端301和302经由网络300与服务器303通信时，这个实施例的手写输入支持设备被实现的状态。

注意，在这个实例中，客户端301经由无线通信被连接到网络300，并且客户端302经由有线通信被连接到网络300。

客户端301和302通常是用户设备。服务器303可以例如被布置在诸如企业内部LAN的LAN上，或者可以例如通过因特网服务供应商被管理。另外，服务器303可以是用户设备，因此某个用户向其他用户提供功能。

将图1、6和9中的部件分布到客户端和服务器的各种方法是可用的。

上述实施例中描述的处理顺序的指令能够基于作为软件的程序被执行。通用计算机系统预存这个程序，并且加载该程序，从而获得与上述实施例的手写输入支持设备的效果相同的效果。在上述实施例中描述的指令作为能够被计算机所执行的程序被记录在记录介质中，记录介质诸如是磁盘(软磁盘、硬盘等等)、光盘(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RW等等)、半导体存储器等等。这种记录介质的存储格式没有被特别地限制，只要该记录介质是计算机或者嵌入式系统可读的。计算机从这个记录介质加载程序，并且基于该程序控制CPU来执行该程序中描述的指令，从而实现与上述实施例的手写输入支持设备相同的操作。当然，计算机可以经由网络获取或者加载该程序。

并且，在计算机上运行的OS(操作系统)、诸如数据库管理软件或者网络的MW(中间件)可以基于从记录介质被安装到计算机或者嵌入式系统中的程序的指令，执行实现这个实施例所需的一些处理。

此外，这个实施例的记录介质不局限于独立于计算机或者嵌入式系统的介质，并且包含存储或者暂时地存储经由LAN或者因特网下载的程序的记录介质。

记录介质的数目不局限于一个，并且这个实施例的记录介质包含这个实施例的处理从多个介质中被执行的情况。因此，介质的配置可以是任意的配置。

注意，需要这个实施例的计算机或者嵌入式系统来执行这个实施例的各个处理，并且这个实施例的计算机或者嵌入式系统可以采用任何布置，任何布置诸如是诸如个人计算机或者微型计算机的单个设备或者多个设备经由网络被连接的系统。

这个实施例的计算机不局限于个人计算机，并且包含信息处理设备中所包含的运算处理装置、微型计算机等等，而且共同地意指能够基于程序来实现这个实施例的功能的装置和设备。

虽然已经描述了某些实施例，但是这些实施例仅仅通过实例的方式被呈现，而不意欲限制本发明的范围。实际上，此处描述的新颖的实施例可以以各种其他的形式被具体化；此外，在不背离本发明的精神的情况下，可以以此处描述的实施例的形式进行各种省略、替换和变化。附有的权利要求书和它们的同等物意欲覆盖将属于本发明的范围和精神的这种形式或者修改。

Claims (10)

1.一种手写输入支持设备，其特征在于，包括：

笔划输入单元，所述笔划输入单元输入第一笔划，所述第一笔划的一个笔划集合对应于一个字符或者一个符号；

笔划存储单元，所述笔划存储单元存储第二笔划，所述第二笔划的一个笔划集合对应于所述一个字符或者一个符号；

笔划预测单元，所述笔划预测单元通过使用所述第一笔划搜索所述第二笔划来预测第三笔划，所述第三笔划的一个笔划集合对应于所述一个字符或者一个符号；

预测结果显示单元，所述预测结果显示单元显示所述第三笔划；和

决定结果显示单元，所述决定结果显示单元通过被给予所述第三笔划的所述笔划集合的指令来决定第四笔划，并且与所述第一笔划一起显示所述第四笔划。

2.如权利要求1所述的设备，其特征在于，进一步包括计算单元，所述计算单元计算所述第一笔划的行结构，

其中所述决定结果显示单元基于所述行结构，在所述第一笔划的行上，显示所述第四笔划。

3.如权利要求1所述的设备，其特征在于，进一步包括计算单元，所述计算单元计算所述第一笔划的行结构，

其中所述预测结果显示单元基于所述行结构，在与所述第一笔划的行平行的行上，显示所述第三笔划。

4.如权利要求1所述的设备，其特征在于，进一步包括获取单元，所述获取单元获取指定用户的惯用手所需的信息，

其中所述预测结果显示单元参考所述第一笔划的位置，在与所述惯用手相反的位置，显示所述第三笔划。

5.如权利要求1所述的设备，其特征在于，进一步包括字符识别单元，所述字符识别单元执行所述笔划集合的字符识别，

其中所述存储单元存储要使用所述字符识别结果作为搜索关键字来被检索的字符串，并且

所述笔划预测单元输出对应于所述字符串的笔划作为所述第三笔划。

6.如权利要求5所述的设备，其特征在于，进一步包括基于文本的字预测单元，当所述第三笔划的字符识别结果具有超出第一阈值的可能性时，所述基于文本的字预测单元将字预测给予所述字符识别结果，

其中所述笔划预测单元使用所述字预测来获得所述第三笔划。

7.如权利要求6所述的设备，其特征在于，所述笔划预测单元获得相对于所述字预测具有超出第二阈值的可能性的笔划作为所述第三笔划，或者获得与所述字预测相对应的手写字体的字符串作为所述第三笔划。

8.一种手写输入支持方法，其特征在于，包括：

输入第一笔划，所述第一笔划的一个笔划集合对应于一个字符或者一个符号；

存储第二笔划，所述第二笔划的一个笔划集合对应于所述一个字符或者一个符号；

通过使用所述第一笔划搜索所述第二笔划来预测第三笔划，所述第三笔划的一个笔划集合对应于所述一个字符或者一个符号；

显示所述第三笔划；和

通过被给予所述第三笔划的所述笔划集合的指令来决定第四笔划，并且与所述第一笔划一起显示所述第四笔划。

9.一种计算机可读记录介质，其特征在于，所述计算机可读记录介质存储程序，所述程序用于控制计算机以用作：

笔划输入单元，所述笔划输入单元输入第一笔划，所述第一笔划的一个笔划集合对应于一个字符或者一个符号；

笔划存储单元，所述笔划存储单元存储第二笔划，所述第二笔划的一个笔划集合对应于所述一个字符或者一个符号；

笔划预测单元，所述笔划预测单元通过使用所述第一笔划搜索所述第二笔划来预测第三笔划，所述第三笔划的一个笔划集合对应于所述一个字符或者一个符号；

预测结果显示单元，所述预测结果显示单元显示所述第三笔划；和

决定结果显示单元，所述决定结果显示单元通过被给予所述第三笔划的所述笔划集合的指令来决定第四笔划，并且与所述第一笔划一起显示所述第四笔划。

10.一种手写输入支持设备，其特征在于，包括：

处理器，所述处理器被配置成输入第一笔划，通过使用所述第一笔划搜索第二笔划来预测第三笔划，显示所述第三笔划，通过被给予所述第三笔划的所述笔划集合的指令来决定第四笔划，以及与所述第一笔划一起显示所述第四笔划，所述第一笔划的一个笔划集合对应于一个字符或者一个符号，所述第二笔划的一个笔划集合对应于所述一个字符或者一个符号，所述第三笔划的一个笔划集合对应于所述一个字符或者一个符号；和

存储器，所述存储器被连接到所述处理器。