CN1655147A - 用于搜索数字墨水查询的设备和方法 - Google Patents

Abstract

一种用于在由用户使用数字笔接口输入的手写备忘录中搜索与用户的查询相应的字的设备和方法。该设备包括：预处理单元，用于从输入的查询短语和输入的备忘录的数字墨水数据中移除不必要的部分以减少信息量；特征抽取单元，用于从具有减少的信息量的数字墨水数据中抽取特征向量；和查询搜索单元，用于以片段为单位在备忘录中搜索与查询短语匹配的部分。从而，当通过使用数字笔输入查询短语在现有的备忘录或文档中搜索期望的内容时可快速地获得准确的结果。

Description

用于搜索数字墨水查询的设备和方法

                         技术领域

本发明涉及一种用于输入字符的设备，更具体地讲，涉及一种用于在由用户通过使用数字笔接口输入的手写备忘录中搜索相应于用户的查询的字的设备和方法。该数字笔接口是其中通过使用例如检测接触屏幕的笔型(pen-type)装置的压力或电信号并以电子形式探测笔型装置的运动轨迹的触摸屏的设备以数字形式实现用笔在纸上书写的传统方法的接口。

                         背景技术

近年来，数字技术的发展带来了数字装置的快速盛行。这种发展的一个结果是正在进行在包括小型化和减小的重量的各种方面中对先进装置的发展的尝试。具体地讲，已在几十年期间被广泛用作数字装置的接口的键盘和鼠标接口的增加的可携带性和小型化的数字装置一起已经变成关键问题。对解决此问题的代替的接口的需求已经随着每年的过去而增长，并且使用语音、笔、手势、和视频的代替接口已经被不断地研究和开发。具体地讲，由于表达的自然性和巨大潜力导致在社会中使用笔或语音作为通信接口数千年很普通。

数字笔接口是将用笔在纸上写下字符、图形、符号等的通信习惯应用到数字装置的方法。为了将笔接口数字化，字符识别技术已经被不断地研究。字符识别技术是通过使用模式识别技术识别用数字笔输入的字符信息(以下称为“墨水”)并且将墨水转换为用于在计算机中表达字符的ASCII码的技术。

然而，字符识别技术与研究的数量相比由于两个主要原因没有被广泛地传播。一个原因是字符识别速度很慢。为了允许用户自然地执行书写(例如记笔记)，当用户正在写时识别和处理需要被无时间延迟地执行。然而，实际上，大约0.5秒的时间延迟发生，因此当用户书写时可能感觉急躁。

另一原因与字符识别错误有关。根据传统的字符识别技术，在实际情况下字符以大约90％的准确度被识别。即使当用于容易地辨别字符的各种接口辅助装置被提供时，这个准确度被实现。当在用户的书写被连续地识别并处理产生错误时，用户纠正该错误，这扰乱连续性。

为了在笔接口的领域中克服这些字符识别技术的问题，已经提出使用数字墨水，即数字笔的轨迹，而不需要用于确定相应于输入的数字墨水的ASCII码的字符识别的方法。如图1所示，检测的笔的轨迹以数字形式被存储并且按照原样显示，从而用户可获得他/她记录的信息。由于字符识别没有被执行所以在写下时此方法不扰乱用户的自然手动。结果，字符识别技术的问题可被克服。

然而，在上述的方法中，由于可由计算机识别的编码的字符被存储，所以用户需要个人地检查所有记录的信息以搜索期望的信息。为了克服此问题，需要搜索以数字墨水的形式记录的介质的技术。根据这种技术(以下称为“数字墨水搜索技术”)，当在以如图1所示的数字墨水的形式记录的多个备忘录(以下称为“备忘录”)出现的情况下，以数字墨水的形式的搜索查询(以下称为“查询短语”)被如图2所示输入时，包括查询短语的内容的备忘录作为搜索结果被显示。

用于数字墨水搜索的传统方法假定搜索单元是从其它字符分离的字或者记录的字之间的间隔足够以字为单元分割字符。

当字清晰地在查询短语和备忘录中被彼此分离时，搜索可通过使用例如在多种存在的文档中公开的弹性匹配的方法比较查询短语和备忘录之间的相似度而容易地处理。在此情况下，由于将被搜索的对象清晰，所以在将字符分为字中不存在问题，并且速度不成问题。该弹性匹配由C.C.Tappert[“CursiveScript recognition by Elastic Matching”，IBM J.ResearchDevelopment，V.26，No.6，pp.765-771，1982]很好地提出。在此方法中，两个对象被彼此比较，并且两个对象之间的相似程度由数值来表示。

然而，实际上，在大多数的具有小输入屏幕的数字装置中，由于受空间的限制用户通常不隔开字而输入字符，所以字符和字没有充分地被隔开以被容易地彼此分离。即使当空间足够输入期望的信息时，一些用户也不严格地隔开字。在这种搜索目标不能被容易地识别的情况下，存在确定将与查询短语比较的一部分备忘录的问题。

                         发明内容

本发明提供一种在使用数字笔产生的备忘录中搜索查询短语的方法。

本发明还提供一种使用查询短语的特定部分的测点定位方法以实现上述的搜索方法。

本发明还提供一种使用附加元信息的方法以实现上述搜索方法。

根据本发明的一方面，提供一种用于搜索数字墨水查询的设备。该设备包括：预处理单元，用于从输入的查询短语和输入的备忘录的数字墨水数据中移除非必要的部分以减少信息量；特征抽取单元，用于从具有减少的信息量的数字墨水数据中抽取特征向量；和查询搜索单元，用于以片段为单位在备忘录中搜索与查询短语匹配的部分。

该设备还可包括数字器，用于接收用户的笔划，识别该笔划作为数字墨水数据，并且将数字墨水数据发送到预处理单元。

另外，该设备还可包括显示单元，用于当显示包括与查询短语匹配的部分的备忘录时突出与查询短语匹配的部分，并且如果没有包括与查询短语匹配的部分的备忘录出现，那么通过使用消息通知用户没有包括查询短语的备忘录存在。

该设备还可包括备忘录数据库，其当输入的笔划是备忘录数据时，以由特征抽取单元抽取的特征向量的形式存储备忘录数据，并且当查询短语被搜索到时，将存储的备忘录数据提供给查询搜索单元。

最好而非必要地，查询搜索单元包括：片段分割器，用于通过使用关于以其字符被输入的时间顺序的时间信息和空间分离信息将由特征向量表示的字符分为片段；搜索顺序确定器，用于确定搜索分割的片段的顺序；测点定位单元，用于使用测点定位表根据确定的搜索顺序将具有最高的搜索顺序的查询短语片段与备忘录片段比较以找到表示超过第一预定阈值的相似的程度的单元；和邻居搜索单元，用于搜索找到的单元的邻居并且检查整个查询短语是否包括与当前的备忘录的一部分匹配的部分。

搜索顺序最好基于每一片段的信息量来确定。

测点定位表可包括多个具有多个黑暗的级别的单元，并且处于第i行与第j列之间交点的单元存储查询短语的第i片段和输入的备忘录的第j片段之间的相似的程度。

相似的程度最好使用弹性匹配方法来获得。

当邻居搜索单元搜索找到的单元的邻居时，邻居搜索单元可在找到的单元的对角方向执行搜索直到遇到测点定位表的顶部和底部。

另外，当邻居搜索单元搜索找到的单元的邻居时，邻居搜索单元可在找到的单元的对角方向执行搜索，对通过使用水平扩展和垂直扩展将被随后选择的节点确定候选，并且根据最好的第一搜索方法从在候选之中的表示最高相似度的节点扩展搜索，直到遇到测点定位表的顶部和底部。

最好但非必要地，当从直到遇到测点定位表的顶部和底部执行的搜索的路径获得的积累的相似的程度超过第二预定阈值时，匹配的部分表示相应于该路径的备忘录中的部分。

当在候选之中位于对角方向的单元被选作为随后的节点而无需扩展时，在随后的节点积累的相似的程度可由下式表示：

$\frac{l_i\·C_{S_i,T_{j_i}}+l_{i+1}\·C_{S_{i+1},T_{j_{i+1}}}}{l_i+l_{i+1}}$

其中，l_i表示在当前节点使用的查询短语片段的长度，l_i+1表示在随后的节点的扩展的查询短语片段的长度，C_Si，Tji表示查询短语中的第i片段和备忘录中的第j_i片段之间的相似的程度，和C_Si+1，Tji+1表示在查询短语中的第(i+1)片段和在备忘录中的第j_i+1片段之间的相似的程度。

在使用两个片段的垂直扩展的情况下，积累的相似的程度由下式表示：

$\frac{l_i\·C_{S_i,T_{j_i}}+(l_{i+1}{+l}_{i+2}){\·C}_{S_{i+1~i+2},T_{j_{i+1}}}}{l_i+l_{i+1}+l_{i+2}}$

其中，l_i表示在当前节点使用的查询短语片段的长度，l_i+1表示在第一随后的节点的扩展的查询短语片段的长度，l_i+2表示在第二随后的节点的扩展的查询短语片段的长度，C_Si，Tji表示查询短语中的第i片段和备忘录中的第j_i片段之间的相似的程度，和C_{Si+1～i+2，Tji+1}表示在查询短语中的第(i+1)片段和第(i+2)片段的组合与在备忘录中的第j_i+1片段之间的相似的程度。

在使用两个片段的水平扩展的情况下，积累的相似的程度由下式表示：

$\frac{l_i\·C_{S_i,T_{j_i}}+l_{i+1}\·C_{S_{i+1},T_{\left(j_{i+1}\right)~(j_{i+1}+1)}}}{l_i+l_{i+1}}$

其中，l_i表示在当前节点使用的查询短语片段的长度，l_i+1表示在第一随后的节点的扩展的查询短语片段的长度，l_i+2表示在第二随后的节点的扩展的查询短语片段的长度，C_Si，Tji表示在查询短语中的第i片段和在备忘录中的第j_i片段之间的相似的程度，和C_{Si+1，T(ji+1)～(ji+1+1)}表示在查询短语中的第(i+1)片段与在备忘录中的第j_i+1片段和第(j_i+1+1)片段的组合之间的相似的程度。

当查询短语和备忘录被分为字符时，最好但非必要地，仅关于相应于在查询短语的字符的开始部分和结尾部分的片段来确定搜索顺序。

根据具有最高搜索顺序的片段是否相应于在查询短语中的字符的开始或结尾部分，最好但非必要地，具有最高搜索顺序的片段与仅相应于在备忘录中的字符的开始或结尾部分的片段比较。

根据本发明的另一方面，提供一种搜索数字墨水查询的方法。该方法包括：从输入的备忘录的数字墨水数据中移除不必要的部分以减小信息量；从具有减小的信息量的备忘录数据中抽取特征向量并将该特征向量存储在备忘录数据库中；从输入的查询短语的数字墨水数据中移除不必要的部分以减小信息量；从具有减小的信息量的查询短语数据中抽取特征向量；和以片段为单位在备忘录中搜索与查询短语匹配的部分。

在上述方法中，搜索步骤可包括：使用关于以其字符被输入的时间顺序的时间信息和空间分离信息将由特征向量表示的字符分为片段；确定搜索分割的片段的顺序；使用测点定位表来根据预定搜索顺序比较具有最高搜索顺序的查询短语片段和备忘录片段以找到表示超过预定阈值的相似的程度的单元；和搜索找到的单元的邻居并且检查整个查询短语是否包括与当前备忘录的部分匹配的部分。

                         附图说明

通过参照附图对示例性实施例进行的详细描述，本发明的上述和其他特点和优点将会变得更加清楚，其中：

图1示出数字墨水备忘录的例子；

图2示出数字墨水查询短语的例子；

图3是根据本发明实施例的数字墨水搜索设备的框图；

图4示出根据本发明的显示给用户的备忘录的例子；

图5是图3所示的查询短语搜索单元的框图；

图6示出其中查询短语被分为片段的例子；

图7示出根据本发明的测点定位表的例子；

图8示出根据本发明的根据每一片段的信息量来确定片段的优先级顺序的方法；

图9示出根据本发明的其中查询短语的特定片段与备忘录的片段之间的相似度被比较的例子；

图10A示出根据本发明的邻居搜索过程；

图10B示出根据本发明的扩展邻居搜索过程；

图11是在其中扩展邻居搜索过程被以树的形式表示的示图；和

图12示出根据本发明使用作为元信息的字符分割信息的测点定位方法。

                       具体实施方式

现在，将参照附图更加全面地描述本发明，在其中本发明的示例性实施例被显示。然而，此发明可以许多不同形式实现并且不应被解释为受这里阐述的实施例限制。相反，提供这些实施例从而此公开将彻底且完整，并且将完全地向本领域的技术人员传达本发明的概念。在附图中，相同的标号表示相同的部件。

图3是根据本发明实施例的数字墨水搜索设备的框图。该数字墨水搜索设备100包括数字器10、预处理单元20、特征抽取单元30、备忘录数据库(DB)40、查询搜索单元50、和显示单元60。

数字器10接收用户的笔划并将用户的笔划转换为二进制像素数据，即数字墨水数据，并且将数字墨水数据传输到预处理单元20。笔划是用户无抬笔写东西的单位。数字器10可具有每英寸150点的分辨率并且以每秒50点的速度将数字墨水数据发送到预处理单元20。

预处理单元20从数字墨水数据中移除不必要的部分以减小信息量。不必要的部分由于用户的笔划输入的缺陷，字符大小的差异、书写速度的差异等产生。这种预先处理可包括去钩(De-hooking)、再取样等。去钩是移除在笔输入期间笔划的开始和结尾出现的钩的处理。再取样是从非具有大改变的部分的部分去除以减小具有信息的最小化失真的信息量的处理。

特征抽取单元30从经过预先处理过滤的数据抽取特征向量。特征向量可包括例如连接点之间的线段的角度、线段的长度等的信息。其他不同类型的信息可被用作特征信息。特征抽取可通过使用不同传统方法之一，例如由B.K.Shin，J.Y.Ha，S.C.Oh，和Kim J.H提出的特征抽取方法[“Network-BasedApproach to Online Cursive Script Recognition”，IEEE Trans.On Systems，Manand Cybernetics，Part B，V.29，Issue 2，1999]来执行。

由用户输入的笔划可是“备忘录数据”或者被用于在备忘录数据中搜索匹配的“查询短语”。当输入的笔划是备忘录数据时，备忘录DB 40以由特征抽取单元30抽取的特征向量的形式存储备忘录数据。

然而，当输入的笔划是查询短语时，由特征抽取单元30抽取的特征向量被输入查询搜索单元50而不被存储在备忘录DB 40中。

查询搜索单元50通过使用预定匹配算法以片段为单位在存储在备忘录DB中的备忘录数据中搜索与查询短语相匹配的部分，并且将搜索结果发送到显示单元60。

显示单元60显示包括与查询短语匹配的部分的备忘录并且高亮突出与查询短语匹配的部分。如果没有包括与查询短语匹配的部分的备忘录出现，那么显示单元60显示通知用户没有存在包括查询短语的备忘录的事实的消息。图4示出显示给用户的备忘录的例子。

图5是查询搜索单元50的框图。查询搜索单元50包括：片段分割器51、搜索顺序确定器52、测点定位单元53、和邻居搜索单元54。

片段分割器51通过使用关于以其字符被输入的时间顺序的时间信息和关于空间分离的空间信息来将由特征向量表示的字符分为片段。片段可被定义为与由用户输入的字符中的其他部分没有连续性分离的部分。因此，片段可是如韩国语中的辅音或元音的音素并且可是英语中的字母。然而，根据用户的笔迹，两个音素可作为单一片段来被识别，并且单一音素可作为两个片段来被识别。因此，即使当相同字符被输入时，根据用户的笔迹分割的结果可不同。

这里，应注意到在定义片段中一部分与其他部分分离是指该部分被时间地以及空间地被分离。例如，参照图2， 中的 空间地与 中的

连接但是它们时间地被分离。当用户通过数字器10输入备忘录或查询短语时，数字器10可得到关于以其笔划被输入的顺序的信息以及关于备忘录或查询短语的最终输入形状的信息。当这两类信息被使用时，由于

是在

输入之后被分离地输入，所以

和

不被组合成单一片段。

多种参考可用于片段的分割。例如，当笔装置从数字器10的表面脱离时，可识别单一片段被完成，并且下一片段将开始。在英语中，分割可基于本地最大点和本地最小点或者基于通过连字分析(ligature analysis)的连字的位置来执行。在本发明中，多种传统方法之一可被用于识别片段。

图6示出在其中图2所示的查询短语被分割为片段的例子。片段以其用户向数字器10输入片段的时间顺序来被排列。“i”值表示每一片段的排列的顺序。应注意排列的顺序正好是时间上输入的顺序而不是搜索顺序。

另外，单一笔划可被定义为片段。在这种情况下，字符可被分为太多的片段，从而降低搜索性能。然而，当在书写方法中不需要很多间隔的情况时，例如，当以斜体风格来写英文字符时，将单一笔划定义为片段更加有效。

搜索顺序确定器52确定搜索由片段分割器51分割的片段的顺序。为了从由测点定位单元53执行的测点定位过程导出有意义的结果，需要满足两个基本条件。首先，复杂性必须能够被满意地降低。其次，测点定位结果必须有意义。为了满足这两个条件，当确定对由片段分割器51分割的片段执行测点定位的顺序时，将优先级给在分割的片段之中的能够满足这两个条件的片段。为了满足第一条件，相应于片段的部分对整个查询短语需要有意义地小。为了满足第二条件，相应于片段的部分必须不是单一图案而最好是不频繁出现的图案。

参照以后将被更加详细描述的图7，当通过使用线1]来执行测点定位时总共3个单元被测点定位，而当使用线2]来执行测点定位时总共8个单元被测点定位。更具体地讲，当使用线2]来执行测点定位时比当使用线1]来执行测点定位时错误的正片(positive)发生更频繁。然而，当使用线1]来执行测点定位时，忽略的单元可能性增加。因此，有必要分割查询短语并确定测点定位顺序以便在两个条件之间进行折衷。

图8示出根据本发明的根据每一片段的信息量来确定片段的优先级顺序的方法。每一片段的信息量通过使用在由预处理单元20执行的预处理之后获得的点的数量来确定。换句话说，当片段包括许多点时，该片段被确定为具有大信息量并且给予搜索的优先级。

在图8所示的查询短语中，总共有4个片段包括5个点并且具有相同的优先级。在测点定位过程中使用该4个片段的顺序可通过使用随机选择(random selection)来确定。

测点定位单元53通过使用测点定位表来比较在查询短语中具有最高搜索顺序的片段和备忘录片段以找到超过阈值的单元。

测点定位是以查询短语的片段为单位扫描搜索对象的处理并且被用于避免以其全部比较搜索目标的复杂性。

搜索数字墨水中的最大的问题是不容易将备忘录，即搜索对象分为用于搜索的特定单位。例如，为了确定图2中所示的查询短语

是否出现在图1中所示的备忘录中，需要从备忘录抽取所有可获得的笔划的连续的组合并且比较查询短语和抽取的连续组合。换句话说，由于字符之间的边界很难被准确地识别，所以查询短语

可需要与

和甚至仅包括完整字符的一部分的 比较。这种比较方法引起太高复杂性以致不能被实际使用。

因此，确定查询短语是否存在于备忘录中，并且期望使用小数目比较来在备忘录中检测与查询短语相应的部分的方法。

在本发明的实施例中，为了实现高速搜索，仅查询短语的特定部分而不是所有的可获得的候选被抽取并且被搜索，并且作为比较结果当特定部分具有高相似度时，更详细的搜索才被执行。以下描述涉及这种实现高速搜索的方法。

如图7所示，使用测点定位方法仅对查询短语的一部分执行搜索从而比较单位被显著地减小，由此极大地减小搜索时间。另外，查询短语和搜索对象之间比较的数目可被减小。

例如，如图9所示，查询短语的特定片段(例如最后的辅音

)与整个备忘录的所有片段比较。作为比较的结果，字符

中的最后的辅音可被检测为与查询短语的特定部分 相似。其后，在这这些定位点周围，其他片段，即候选片段扩展的比较被执行从而整个查询短语可与搜索对象比较。

图7示出用于容易地执行测点定位过程的测定定位表的例子。测点定位表包括具有多个黑暗的级别的长方形单元。每个单元由行和列来定义。行表示根据预定参考查询短语被分为的片段，并且列表示根据预定参考搜索对象即备忘录被分为的片段。换句话说，位于第i行和第j列之间的交点的单元表示查询短语的第i片段和备忘录的第j片段之间的相似的程度。

每一单元的黑暗表示查询短语的片段和备忘录的片段之间的相似的程度。高黑暗表示相应于两个片段之间的高相似度。

在更具体的测点定位过程中，与具有由搜索顺序确定器52确定的最高搜索优先级的查询短语片段匹配的备忘录片段在水平方向(即在其“j”增加的方向)被搜索。如果没有备忘录片段与查询短语片段匹配，那么与具有第二最高搜索优先级的查询短语片段匹配的备忘录片段以相同方式被搜索。

为了确定两个片段是否彼此匹配，当前经受测点定位过程的查询短语的片段和备忘录的片段之间的相似的程度通过使用值[Min，Max]被规格化(normalized)。当通过规格化获得的相似值超过预定阈值时，两个片段被确定为彼此匹配。这种表示两个片段之间匹配的单元被称为测点定位的单元(spotted cell)。

当相似度值小于预定阈值时，选择下一备忘录片段，并且重复相同的操作。例如，可通过使用规格化根据弹性匹配方法比较两个片段的结果的多种方法而获得相似值。在测点定位过程期间计算的相似度值以相似度表的形式被存储从而可防止冗余的计算。

邻居搜索单元54搜索测点定位的单元的邻居以检查整个查询短语是否包括与当前备忘录的部分匹配的部分。作为由测点定位单元53执行的测点定位过程的结果当确定与查询短语片段匹配的备忘录片段存在时，即，当测点定位的单元在测点定位表中被找到时，关于当在对角方向从测点定位的单元移动到测点定位表的顶部和底部时遇到的单元相似值被计算并且被以颜色的形式分别地记录在相应的单元中。

对角方向表示上左方向或者下右方向。在上左方向移动表示从具有如(i，j)的坐标值的当前单元到具有坐标值(i-1，j-1)的单元的移位。换句话说，先于当前查询短语片段的查询短语片段与先于当前备忘录片段的备忘录片段比较。当当前单元具有坐标(i，j)时，在下右方向的移动表示向具有坐标值(i+1，j+1)的单元移动。即，紧跟在当前查询短语片段之后的查询短语片段与紧跟在当前备忘录片段之后的备忘录片段比较。这种上述的描述被称为邻居搜索。

例如，如图10A所示，当从测点定位单元(A)在上左方向移动时，相似度值在每一遇到的单元被计算并且被记录在该单元中。以下，当从测点定位的单位(A)在下右方向移动时，相似值在每一遇到的单元被计算并且被记录在该单元中。

在查询短语片段逐个相应于备忘录片段的前提下在对角方向计算相似度被执行。然而，在实际手写字符中，单一片段可包括多个音素，或者单一音素可被识别为多个片段。

为了解决这些问题，最好基于每一片段的相似度信息和长度信息来从测点定位的单元扩展搜索范围。

图10B示出从测点定位的单元的扩展搜索。以虚线构成的范围中，查询短语片段相应于备忘录片段。从测点定位的单元(B)在方向(a)移动，即，没有扩展表示比较单一查询短语片段和单一备忘录片段。从测点定位的单元(B)在方向(b)移动，即水平扩展表示比较单一查询短语片段和两个备忘录片段的组合。从测点定位的单元(B)在方向(c)移动，即垂直扩展表示比较两个查询短语片段的组合和单一备忘录片段。

水平扩展被提供用于查询短语中的两个音素被识别为单一片段和备忘录中的单一音素被识别为单一片段的情况。垂直扩展被提供用于查询短语中的单一音素被识别为单一片段和备忘录中的两个音素被识别为单一片段的情况。

为了适当地处理笔迹中的合并的音素，在单步(single-step)扩展期间，合并的音素的可能情况被测试。在可能的扩展结果中，具有最高相似度的结果被检测并且通过使用最好的第一搜索算法扩展从检查的结果被继续。上述操作被称为扩展邻居搜索。当如图10B所示，两步扩展(水平方向的两个扩展和垂直方向的两个扩展)被使用时，三个节点候选出现，并且具有三个节点候选的具有最高相似度的一个节点候选被选择。当三步扩展被使用时，五个节点候选可出现。

图10B中所示的算法可以如图11所示的树的形式被表达。此搜索过程在遇到测点定位表的边界之前在上左方向和下右方向继续。图11示出其中搜索从测点定位的单元在下右方向被执行的例子。在图11中，单一点四边形相应于单一弹性匹配操作并且被定义为节点。单一节点可包括一个或多个单元。

在这种扩展邻居搜索期间，相似的程度可被计算如下。当在图11中所示的节点(C)的相似的程度被表示为C_Si，Tji时，如果查询短语的单一片段被如由(1)表示的扩展，积累的相似的程度可与每一片段的长度成比例以规格化形式被计算，如等式[1]所示。

$\frac{l_i\·C_{S_i,T_{j_i}}+l_{i+1}\·C_{S_{i+1},T_{j_{i+1}}}}{l_i+l_{i+1}}---\left[1\right]$

这里，l_i和l_i+1分别表示在当前节点使用的查询短语的长度和在随后的节点的扩展的查询短语片段的长度，C_Si，Tji表示查询短语中的第i片段和搜索目标即备忘录中的第j片段之间的相似的程度，和C_Si+1，Tji+1表示在查询短语中的第(i+1)片段和备忘录中的第j_i+1片段之间的相似的程度。

相似地，当扩展通过使用由(2)表示的查询短语的两个片段来执行时，积累的相似的程度根据等式[2]来计算。

$\frac{l_i\·C_{S_i,T_{j_i}}+(l_{i+1}{+l}_{i+2}){\·C}_{S_{i+1~i+2},T_{j_{i+1}}}}{l_i+l_{i+1}+l_{i+2}}---\left[2\right]$

这里，l_i+2表示在第二随后的节点的扩展的查询短语片段的长度，和C_{Si+1～i+2，Tji+1}表示查询短语中的第(i+1)片段和第(i+2)片段的组合与备忘录中的第j_i+1片段之间的相似的程度。

相似地，当通过使用由(3)表示的查询短语的两个片段来执行扩展时，积累的相似的程度根据等式[3]来计算。

$\frac{l_i\·C_{S_i,T_{j_i}}+l_{i+1}\·C_{S_{i+1},T_{\left(j_{i+1}\right)~(j_{i+1}+1)}}}{l_i+l_{i+1}}---\left[3\right]$

这里，C_{Si+1，T(ji+1)～(ji+1+1)}表示查询短语中的第(i+1)片段与在备忘录中的第j_i+1片段和第(j_i+1+1)片段的组合之间的相似的程度。

这样，在几个扩展结果的可能性中，具有最高相似度的结果被检测并且通过使用最好的第一搜索算法扩展从检测的结果被继续。例如，当搜索在如图11所示的(1)、(2)、和(3)的方向执行时，如果在方向(1)执行的搜索中获得的积累的相似的程度在直到当前点执行搜索的结果中是最高的，那么从在方向(1)获得的搜索结果的单步扩展搜索被执行。当积累相似度超过预定阈值时，搜索不被继续，并且搜索路径被切断，如(3)所示。

当在扩展搜索过程被执行直到遇到搜索方向的端部(即测点定位表的顶部和底部)之后获得的积累的相似的程度超过阈值时，搜索被停止，并且相应于在备忘录中的扩展搜索的路径的部分被选作最佳匹配部分。

然而，在测点定位过程和邻居搜索过程之后，当没有给定超过阈值的积累的相似的程度的路径被找到时，可推断与查询短语相似的部分不存在于备忘录中，或者在邻居搜索的路径之中给定最大积累的相似度的路径可被提供为候选。

当上述的测点定位方法被使用时，查询短语的一部分与整个备忘录的所有部分顺序比较。然而，如果能从实际笔迹信息获得的附加信息(以下称为元(meta)信息)能被获得，那么可通过比较查询短语的一部分和备忘录的一部分，即具有与查询短语的特征一致的特征的搜索对象搜索被更快地执行。

例如，字符分割信息可被用作元信息。当输入的数字墨水将被分为字符时，字符分割的结果可能不是100％准确，但是可通过使用多种类型的信息来获得高的准确的字符分割。由于此字符分割信息不准确，所以其不能被用在随后的处理中，但是可被用于在本发明实施例中的测点定位过程期间避免无意义的比较。

图12示出根据本发明的使用作为元信息的字符分割信息的测点定位方法。如上所述，在图12中，每一由行和列定义的四边形表示查询短语的部分和备忘录的一部分之间的相似的程度。

当字符分割信息作为元信息被给定时，字符间的边界可被如图12中所示的线如点划线来标记。如果字符分割信息被作为元信息给定，那么片段分割器51的操作(即片段分割)、搜索顺序确定器52的操作(即搜索顺序确定)、和测点定位单元53的操作(即测点定位)将被改变。

更具体地讲，基于字符分割信息仅仅相应于每一字符的开始或结束部分的片段被用于测点定位。例如，参照图12，当查询短语被分为两个字符时，字符的开始和结束片段总共为4。因此，四个片段的搜索顺序基于信息量被确定。

以下，使用字符分割信息来执行选择搜索。例如，当测点定位下的当前片段相应于查询短语中的字符的开始部分时，查询短语的片段仅与相应于备忘录中的每一字符的开始部分的片段比较。相似地，当查询短语的当前片段相应于字符的结尾部分时，查询短语的当前片段仅与相应于备忘录中的每一字符的结尾部分的片段比较。这种比较由图12中的箭头表示。

在本发明的另一实施例中，字符可被暂时地分为片段，并且基于特征片段的拓扑信息，仅近似地位于相应于特征片段的拓扑信息的部分的片段可与特征片段比较。在英语的情况下，查询短语被暂时地分为字(word)，并且分割信息可被用作元信息。

当使用元信息的方法被采用时，搜索性能可被降低。然而，当此方法被应用于用户的多种笔迹图案时，与在搜索性能中的轻微降低相比搜索速度显著增加。

尽管以上已经描述了本发明示例性实施例，但是应该明白它们仅作为例子。因此，本领域的技术人将认识到本发明可在所附权利要求的精神和范围内修改地实施。

根据本发明，当通过使用数字笔输入查询短语，期望的内容在现有的备忘录或者文档中被搜索时，准确的结果可被快速获得。

另外，本发明允许用户快速地输入信息而没有由字符识别操作引起的延迟，从而满足用户。

Claims (24)

1、一种用于搜索数字墨水查询的设备，包括：

预处理单元，用于从输入的查询短语和输入的备忘录的数字墨水数据中移除至少一个不必要的部分以减少信息量；

特征抽取单元，用于从具有减少的信息量的数字墨水数据中抽取特征向量；和

查询搜索单元，用于以片段为单位在输入的备忘录中搜索与输入的查询短语匹配的部分。

2、如权利要求1所述的设备，还包括数字器，用于接收用户的笔划，识别该笔划作为数字墨水数据，并且将数字墨水数据发送到预处理单元。

3、如权利要求1所述的设备，还包括显示单元，用于当显示包括与查询短语匹配的部分的输入的备忘录时突出与查询短语匹配的部分，并且如果没有包括与查询短语匹配的部分的备忘录出现，那么使用消息通知用户没有包括该查询短语的备忘录存在。

4、如权利要求1所述的设备，还包括备忘录数据库，其当输入的笔划是备忘录数据时，以由特征抽取单元抽取的特征向量的形式存储备忘录数据，并且当查询短语被搜索到时，将存储的备忘录数据提供给查询搜索单元。

5、如权利要求1所述的设备，其中，查询搜索单元包括：

片段分割器，用于通过使用与以其字符被输入的时间顺序相关的时间信息和空间分离信息将由特征向量表示的字符分为分开的片段；

搜索顺序确定器，用于确定搜索分开的片段的顺序；

测点定位单元，用于使用测点定位表根据确定的搜索顺序，将具有最高的搜索顺序的查询短语片段与备忘录片段比较以查找表示超过预定阈值的第一相似程度的单元；和

邻居搜索单元，用于搜索找到的单元的邻居并且检查整个查询短语是否包括与输入的备忘录的一部分匹配的部分。

6、如权利要求5所述的设备，其中，搜索顺序基于每一分开的片段的信息量来确定。

7、如权利要求5所述的设备，其中，测点定位表包括多个具有多个黑暗的级别的单元，并且处于第i行与第j列之间交点的单元存储输入的查询短语的第i片段和输入的备忘录的第j片段之间的相似的程度。

8、如权利要求5所述的设备，其中，使用弹性匹配方法获得相似的程度。

9、如权利要求5所述的设备，其中，当邻居搜索单元搜索找到的单元的邻居时，邻居搜索单元从找到的单元在对角方向执行搜索直到遇到测点定位表的顶部和底部。

10、如权利要求5所述的设备，其中，当邻居搜索单元搜索找到的单元的邻居时，邻居搜索单元从找到的单元在对角方向执行搜索，对通过使用水平扩展和垂直扩展将被随后选择的节点确定候选，并且根据最好的第一搜索方法从在候选之中表示最高相似度的节点扩展搜索，直到遇到测点定位表的顶部和底部。

11、如权利要求10所述的设备，其中，当从直到遇到测点定位表的顶部和底部执行的搜索的路径获得的积累的相似的程度超过第二预定阈值时，匹配的部分表示相应于该路径的输入的备忘录中的部分。

12、如权利要求11所述的设备，其中，当无需扩展在候选之中位于对角方向的单元被选为随后的节点时，在随后的节点积累的相似的程度可由以下表示：

$\frac{l_i\·C_{S_i,T_{j_i}}+l_{i+1}\·C_{S_{i+1},T_{j_i+1}}}{l_i+l_{i+1}}$

其中，l_i表示在当前节点使用的查询短语片段的长度，l_i+1表示在随后的节点的扩展的查询短语片段的长度，C_Si，T_ji表示输入的查询短语中的第i片段和输入的备忘录中的第j_i片段之间的第二相似的程度，和C_Si+1，T_ij+1表示在输入的查询短语中的第(i+1)片段和在输入的备忘录中的第j_i+1片段之间的第三相似的程度。

13、如权利要求11所述的设备，其中，当根据垂直扩展随后的节点从候选中被选择时，积累的相似的程度由以下表示：

$\frac{l_i\·C_{S_i,T_{j_i}}+(l_{i+1}+l_{i+2})\·C_{S_{i+1~i+2},T_{j_{i+1}}}}{l_i+l_{i+1}+l_{i+2}}$

其中，l_i表示在当前节点使用的查询短语片段的长度，l_i+1表示在第一随后的节点的扩展的查询短语片段的长度，l_i+2表示在第二随后的节点的扩展的查询短语片段的长度，C_Si，Tji表示查询短语中的第i片段和备忘录中的第j_i片段之间的第二相似的程度，和C_{Si+1～i+2，Tji+1}表示在输入的查询短语中的第(i+1)片段和第(i+2)片段的组合与在输入的备忘录中的第j_i+1片段之间的第三相似的程度。

14、如权利要求11所述的设备，其中，当根据垂直扩展随后的节点从候选中被选择时，积累的相似的程度有以下表示：

$\frac{l_i\·C_{S_i,T_{j_i}}+l_{i+1}\·C_{S_{i+1},T_{\left(j_{i+1}\right)-(j_{i+1}+1)}}}{l_i+l_{i+1}}$

其中，l_i表示在当前节点使用的查询短语片段的长度，l_i+1表示在第一随后的节点的扩展的查询短语片段的长度，l_i+2表示在第二随后的节点的扩展的查询短语片段的长度，C_Si，Tji表示在输入的查询短语中的第i片段和在输入的备忘录中的第j_i片段之间的第二相似的程度，和C_{Si+1，T(ji+1)～(ji+1+1)}表示在输入的查询短语中的第(i+1)片段与在输入的备忘录中的第j_i+1片段和第(j_i+1+1)片段的组合之间的第三相似的程度。

15、如权利要求5所述的设备，其中，当输入的查询短语和输入的备忘录被分为字符时，仅关于相应于在输入的查询短语中的字符的开始部分和结尾部分之一的片段来确定搜索顺序。

16、如权利要求15所述的设备，其中，根据具有最高搜索顺序的片段是否相应于在输入的查询短语中的字符的开始和结尾部分之一，具有最高搜索顺序的片段与仅相应于在输入的备忘录中的字符的开始部分和结尾部分之一的片段比较。

17、一种搜索数字墨水查询的方法，包括：

从输入的备忘录的数字墨水数据中移除不必要的部分以减小第一信息量；

从具有第一减小的信息量的备忘录数据中抽取特征向量并将该特征向量存储在备忘录数据库中；

从输入的查询短语的数字墨水数据中移除不必要的部分以减小第二信息量；

从具有第二减小的信息量的查询短语数据中抽取特征向量；和

以片段为单位在备忘录中搜索与查询短语匹配的部分。

18、如权利要求17所述的方法，其中，搜索步骤包括：

使用关于以其字符被输入的时间顺序的时间信息和空间分离信息将由特征向量表示的字符分为片段；

确定搜索分割的片段的顺序；

使用测点定位表根据预定搜索顺序来比较具有最高搜索顺序的查询短语片段和备忘录片段以找到表示超过预定阈值的相似的程度的单元；和

搜索找到的单元的邻居并且检查整个查询短语是否包括与输入的备忘录的一部分匹配的部分。

19、如权利要求17所述的方法，其中，搜索顺序基于每一分割的片段的信息量来确定。

20、如权利要求18所述的方法，其中，测点定位表包括多个具有多个黑暗的级别的单元，并且处于第i行和第j列之间的交叉的单元存储输入的查询短语的第i片段和备忘录的第j片段之间的相似的程度。

21、如权利要求18所述的方法，其中，当找到的单元的邻居被搜索时，在对角方向从找到的单元搜索被执行直到遇到测点定位表的顶部和底部。

22、如权利要求18所述的方法，其中，当找到的单元的邻居被搜索时，在对角方向从找到的单元搜索被执行，使用水平扩展和垂直扩展将被选择的节点的候选被确定，并且根据最好的第一搜索方法从表示在候选之中的最高相似度的节点的搜索被扩展，直到遇到测点定位表的顶部和底部。

23、如权利要求22所述的方法，其中，当从直到遇到测点定位表的顶部和底部执行的搜索的路径获得的积累的相似的程度超过第二预定阈值时，匹配的部分表示相应于该路径的输入的备忘录。

24、一种具有在其上记录用于执行搜索数字墨水查询的方法的程序的计算机可读记录介质，所述的方法包括：

从输入的备忘录的数字墨水数据移除不必要的部分以减小第一信息量；

从具有第一减小的信息量的备忘录数据抽取特征向量并且将特征向量存储在备忘录数据库中；

从输入的查询短语的数字墨水中移除不必要的部分以减小第二信息量；

从具有第二减小的信息量的查询短语数据抽取特征向量；和

以片段为单位在备忘录中搜索与查询短语匹配的部分。

Images