CN1701323B

CN1701323B - 使用笔迹特征合成的数字墨数据库搜索

Info

Publication number: CN1701323B
Application number: CN028204727A
Authority: CN
Inventors: 乔纳森·利·纳珀; 保罗·拉普斯顿
Original assignee: Silverbrook Research Pty Ltd
Current assignee: Silverbrook Research Pty Ltd
Priority date: 2001-10-15
Filing date: 2002-10-15
Publication date: 2010-06-23
Anticipated expiration: 2022-10-15
Also published as: DE60219342D1; US20120239397A1; AUPR824301A0; US20050222848A1; KR100717637B1; CN1701323A; KR20050036863A; EP1444614B1; EP1444614A1; CA2463236C; JP2008293519A; ATE358851T1; WO2003034276A1; JP2005505861A; IL161381A0; ZA200402928B; US8219908B2; CA2463236A1; EP1444614A4

Abstract

本发明公开一种使用特征合成进行笔迹数据搜索的系统和方法，该系统可以使用文本查询搜索数字笔迹数据库。由笔迹识别系统或者自适应程序生成特定的笔迹模型，如果数字笔迹数据库的作者是通过手写输入文本查询，则文本查询被转化成与事先提取出来的特征向量相似的特征向量。用特征向量搜索数据库。这样使得即使在只有文本查询这一种输入机制的情况下，仍然可以搜索数据库，并且可以使得除了数字笔迹数据库的作者之外的其他人也可以搜索数字笔迹数据库。

Description

使用笔迹特征合成的数字墨数据库搜索

技术领域

本发明广义上涉及数字处理器实现的笔迹搜索或识别系统，特别地涉及一种使用文本格式的搜索查询的笔迹特征合成来搜索数字墨数据库(digital ink database)的方法和设备。

背景技术

此处使用的“数字墨数据库”指的是存储笔迹特征的数据库，例如构成手写字母的手写字符串。

概述

笔式计算系统提供了一种方便灵活的人机交互方式。大部分人非常熟悉使用纸和笔。这种为人熟知性被如下已知的系统利用，该系统用类似于笔的装置作为文本、绘图或计算的数据输入和记录机制，当然所述媒介支持该文本、绘图或计算。此外手写墨是比数字文本更有表达力的格式，且基于墨的系统是独立于语言的。

笔式计算日益增加的使用和网络计算资源纸质接口的出现(例如参考2000年6月6日Silverbrook Research Pty Ltd出版，P.Lapstun著的《Netpage System Overview》，和Anoto在2000年4月6日的新闻稿中的“Anoto，Ericsson，and Time ManagerTake Pen and Paper into the Digital Age with the AnotoTechnology”)强调了对可存储、索引和搜索(原始)数字墨的技术的需求。笔式计算允许用户以注释和注解的形式来储存数据，随后基于手绘查询来搜索该数据。然而，由于手写作品的不连续性和作者的笔迹风格不同，搜索手写文本要比搜索传统的文本(如：ASCII文本)更加困难。

数字墨数据库搜索

在数字墨数据库中搜索笔迹数据的传统方法是：首先用模式识别技术将数字墨数据库和相应的搜索查询转换成标准文本，然后将查询文本与数据库中已经转换的标准文本相比较。《ComputingSurveys》1980年，12卷4期，381-402页，P.Hall和G.Dowling的″Approximate String Matching″说明了模糊文本搜索方法，该方法在存在与笔迹识别系统产生的错误相似的字符错误的情况下进行文本匹配。

然而，笔迹识别的准确性还较低，(包括数据库项目和笔迹查询的)笔迹识别产生的错误数量说明该技术还不完善。将手写信息转换成文本的过程导致丢失了大量关于笔迹的整体形状和动态特征的信息。例如，在手写一些字母时，其形状非常相似(如“u”和“v”、“v”和“r”，“f”和“t”等)。此外，在许多笔体中(特别是草体)，对单个字符的识别非常模糊。

在现有技术中已知很多直接搜索、索引数字墨数据库的技术，如《Proceedings of the ACM Computer-Human Interaction》1994，58-64页，A.Poon、K.Weber和T.Cass的“Scribbler：A Tool for Searching Digital Ink”；美国马里兰州的罗克维尔的《Proceedings of the 5^th International Conference onInformation and Knowledge Management》，1996年，11月12-16，I.Kamel的“Fast Retrieval of Cursive Handwriting”；加利福尼亚州圣何塞的《The 1995 ACM SIGMOD InternationalConference on Management of Data》，1995年5月，W.Aref、D.Barbera和P.Vallabhaneni的“The Handwritten Trie：Indexing Electronic Ink”；《Database System-Issues andResearch Direction》，1996年，113-163页，W，Aref、D.Barbera、D.Lopresti和A.Tomkins的“Inkasa First-ClassDatatype in Multimedia Databases”；以及《Proceedings ofthe First ACM International Conference on DigitalLibraries》，1996年，151-159页，R.Manmatha、C.Han、E.Riseman和W.Croft的“Indexing Handwriting Using WordMatching”。

这些系统采用了相似性方法，来比较从查询笔划组得到的特征向量和从数字墨数据库得到的特征向量数据库。返回呈现与查询最大相似度的数据库的项目为匹配项。此外，一些方法创建索引或使用分区方案来避免顺序搜索数据库中的所有项目。例如参考：美国专利5,649,023，D.Barbara、W.Aref、I.Kamel和P.Vallabhaneni的“Method and Apparatus for Indexing aPlurality of Handwritten Objects”；美国专利5,710,916，D.Barbara和I.Kamel的“Method and Apparatus forSimilarity Matching of Handwritten Data Objects”；美国专利5,524,240，D.Barbara和H.Korth的“Method andApparatus for Storage and Retrieval of HandwrittenInformation”；美国专利5,553,284，D.Barbara和W.Aref的“Method for Indexing and Searching HandwrittenDocuments in a Database”；美国专利6,018,591，R.Hull、D.Reynolds和D.Gupter的“Scribble Matching”；美国专利5,687,254，A.Poon、K.Weber和T.Cass的“Searchingand Matching Unrecognized Handwriting”；以及美国专利5,768,423，W.Aref和D.Barbara的“Trie Structure BasedMethod and Apparatus for Indexing and SearchingHandwritten Databases with Dynamic Search Sequencing”。

其他研究如：《Biological Cybernetics》，1981年，139-156页，J.Hollerbach 1981的“An Oscillation Theoryof Handwriting”，以及《IEEE Conference on Computer Visionand Pattern Recognition》，1993年，Y.Singer和N.Tishby1993的“Dynamical Encoding of Cursive Handwriting”，描述了模拟笔迹物理特性以进行笔迹合成所付出的努力。

发明内容

前述数字墨数据库搜索技术基于由数字墨数据库的作者生成的墨查询。然而，如果也可使用其它输入机构来搜索数字墨数据库是有利的，如使用通过计算机键盘输入的文本查询，或通过语音识别系统说出并识别的文本查询。或者，第三方可能希望搜索数字墨数据库，或使用自己的笔迹或使用基于文本的查询。

使用笔迹特征合成的墨数据库搜索允许使用基于文本的查询搜索数字墨数据库。使用由笔迹识别系统或者适当的训练程序生成的特定作者笔迹模型，将文本查询转换成与如果数字墨数据库的作者手写文本查询所提取的特征向量相似的特征向量。然后使用该特征向量例如通过使用传统技术搜索数据库。这在唯一可用的输入机构是文本输入时也允许搜索数字墨数据库，并允许除数字墨数据库作者之外的人搜索该数字墨数据库。

根据本发明主要方面，提供一种使用文本查询搜索数字墨数据库的方法，该方法包括：

搜索包含字母序列和相关联特征向量的表的词典，确定词条序列，该序列包含的字母序列可组合生成文本查询。

得到与词条序列对应的特征向量集。

使用该特征向量集搜索数字墨数据库。

根据本发明具体实施例，词典是使用笔迹识别结果从数字墨数据库的作者获得的笔迹模型的一部分。

在本发明实施例中，笔迹模型存储字母序列到特征向量的映射。优选地词典包括各字母序列的多个特征向量。此外，优选地如果确定了多个词条序列，那么使用具有最少数量条目的词条序列。

在又一实施例中，使用笔迹识别系统将手写输入转换成文本，和/或使用语音识别系统将语音输入转换成文本来获得文本查询。

根据本发明的具体形式，通过以下步骤获得笔迹识别结果：

对笔迹采样；

使用滤波器对笔迹进行平滑处理；

进行倾斜校正；

使用区域估计算法进行高度归一化；

通过特征提取分割成子笔划，生成特征向量；

使用特征向量集的特征简化；

进行向量量化以聚合特征向量并生成码字向量；以及

通过生成的文本字母在字典中搜索最可能的词；

根据本发明又一主要方面，提供使用查询搜索数字墨数据库的设备，该设备包括：

用于用户输入查询的输入装置；

能够接收查询并与数字墨数据库通信的处理器；

如果查询不是文本查询，将该查询转换成文本查询的装置；

用于搜索词典并确定包含可组合以生成文本查询的字母序列的词条序列的装置；

用于获得与词条序列对应的特征向量集的装置；

用特征向量集搜索数字墨数据库的装置；和

用于向用户显示搜索结果的输出装置。

针对本发明实施例的另一方面，使用与生成进行搜索的特征向量的笔迹模型不同的笔迹模型，从笔迹生成文本查询。

用于存储数字墨数据库的存储器；

处理器，用于：

搜索词典，确定包含可组合生成文本查询的字母序列的词条序列；

获得与词条序列相对应的特征向量集；

使用特征向量集搜索数字墨数据库；

其中，词典是使用笔迹识别结果从数字墨数据库的作者获得的笔迹模型的一部分。

附图说明

通过以下对仅作为例子示出的本发明的优选但非限制性实施例的结合附图的说明，本发明更明显，在附图中：

图1示出处理系统。

图2示出笔迹识别方法的概要。

图3示出使用特征合成的数字墨数据库搜索方法。

图4示出第三方墨数据库搜索方法。

图5示出训练和识别/搜索阶段。

图6示出笔迹识别方法。

图7示出文本识别例子。

具体实施方式

将以下实施方式说明为适于本说明书和所附权利要求，以更准确地理解本发明的主题：

I.优选实施例

本发明提供了使用文本查询搜索数字墨数据库的方法和设备。在示出本发明的特征的所有图中，相同的附图标记用来标识相同的部分。

本发明的实施例可以使用处理系统来实现，该处理系统的例子如图1所示。特别地，处理系统10通常包括至少处理器20、存储器21，和输入装置22(例如绘图板和/或键盘)、输出装置23(例如显示器)，所述各个部分通过总线24连接。还提供外部接口25，用于将处理系统和数字墨数据库11连接起来。

在使用中，处理系统10用于允许数据被存储在数字墨数据库11中和/或从其检索数据。处理器20通过输入22接收笔迹数据，文本查询等。从而可理解处理系统10可以是任何形式的处理系统或终端，如计算机、便携式电脑、服务器、专用硬件等。

创建笔迹模型

特定作者笔迹模型描述特定用户的笔迹风格。大多数基于用户的自适应笔迹识别系统生成某种模型来解决不同用户之间的笔体差异。一般来说，这些笔迹模型的目的是将从输入笔划组提取的特征向量映射到表示被识别文本的字母集中。

然而，数字墨搜索的特征合成方法使用特定作者的笔迹模型来进行逆映射。即，该模型用于将查询文本转换成接近如果作者手写查询文本则所提取的特征的特征向量集。图2具体示出手写文本识别系统的一般步骤。在步骤26笔迹被采样，原始墨27经过归一化步骤28。标准化墨29经过分割步骤30，结果笔划31经过特征提取步骤32，在该步骤提取特征向量33。然后使用笔迹模型35进行分类步骤34，生成原始要素(primitives)36。文本识别步骤37接收原始要素36，并使用语言模型38和/或笔迹模型35生成与原始墨27相对应的文本39。

为了使用特征合成进行墨数据库搜索，还需要附加步骤。特定作者笔迹模型35需要被修改成存储允许文本映射到墨特征的信息。为进行该映射，在该笔迹模型中还包括将单个字母或字母组(即字母序列)转换成特征的表(也称为词典)。在进行识别后，输出文本中的字母和用于识别的相对应的特征向量可添加到该词典中。

通常同时出现的字母组及其对应的特征向量被连接起来并添加到词典中。这种做法是可取的，因为手写呈现连结效果(其中字母的书写受到周围字母的形状的影响)并且共同写的字母(如“qu”“ed”和“ing”)可能呈现连结现象。通过存储字母组的特征向量，可生成考虑笔划序列的前后影响的对查询墨的更准确的描绘。

词典应能够存储各字母序列的多个特征向量。因为同一个字母可被多次识别，所以词典应能够选择最能代表该字母的特征向量。这可通过对各字母序列存储识别器的所有特征向量序列输出连同对该字母序列所述特征向量序列出现的次数的计数来实现。字母序列的具有最高计数(也就是出现频率最高且最可能的)的特征向量序列用于特征合成。

选择存储哪些字母组可以基于(例如从文本得出的)字符转换统计，其中具有高出现概率的字符序列被存储(例如，“ing”的出现概率远大于“inx”的出现概率)。或者，所有可能的字母组在识别后被储存起来，当表变得太大时，将执行删拣程序(例如，近来最少使用的)。

通过在词典中清楚地建立词尾模型可实现进一步改进。许多书写风格在词尾呈现写得不清楚的字符。在“ing”、“er”和“ed”等手写词缀中这种现象尤其明显。为了模拟该行为，词终符号被附到字母序列(如“ing#”)来表示该字母序列模拟词尾。在特征合成中，这些条目仅用于完成查询词。

特征合成

为了搜索数字墨数据库，通过使用特定作者笔迹模型的特征合成程序将文本查询转换成特征向量集。然后这些特征向量用作搜索数字墨数据库的查询项。可采用传统墨匹配技术来选行墨数据库搜索。图3描述了这一过程。在步骤40输入文本，文本41被提供到特征合成步骤42，特征合成步骤42使用笔迹模型35生成特征43。在对数字墨数据库11的墨搜索步骤44中使用该特征43。这生成墨匹配45。

为了选行特征合成，搜索词典来定位包含可组合生成查询文本的字母序列的词条序列。连接存储的特征向量生成查询特征向量。然而，也许会存在多个用于生成查询文本的不同的词条组合。假定用可能的最小数量的词条生成文本将最准确地模拟上下文效果。例如，假设在词典中存在以下词条：

表1.词典例

B	Bo
B	Bo	bor	borr
ed	ow	bor	borr
ed	ow	rr	rowed

单词“borrowed”可创建为(bo)(rr)(ow)(ed)、(borr)(ow)(ed)或(bor)(rowed)，最后一种结构最可取，因为其包括最少的元素。

A*词典搜索

为了获得准确结果，期望词典非常大，对单词的潜在词条组合的数目用指数来表示。对于包含较长单词的查询，列举所有排列可能不现实。改选的A*搜索算法，参见Prentice Hall1995年出版的由S.Russell和P.Norvig著的《ArtificialIntelligence-A Modern Approach》，可用来搜索字母序列s，路径代价函数g(s)是目前创建文本所使用的词条数量，达到目标的估计代价为：

h(s)＝1，如果长度(s)＜长度(查询)

＝0，其它

该启发函数表示如果字母序列具有少于查询词的字母，需要至少一个另外的词条来完成该字母序列。搜索树中的节点通过g(s)+h(s)排序(分数越低越优秀)，具有相同分数的节点通过序列中的字母个数来排列(个数越多越优秀)。

注意，h(s)是单调且合理的启发函数(即该函数不会过高估计到达目标的代价)，因此可保证该搜索找到最佳解决方案且效率最佳(即扩展可能的最少的节点以找到最佳解决方案)。对该结果的证明在《Journal of the Association forComputing Machinery》，1985，32卷3期，505-536页，R.Dechter和J.Pearl的“Generalized Best-First Search Strategiesand the Optimality of A*”中给出。

作为上述方法的例子，以下示出对单词“borrowed”的搜索。表中各行代表搜索节点，分数较高的节点位于表的顶部：

s	g(s)	h(s)	g(s)+h(s)	#Letters
s	g(s)	h(s)	g(s)+h(s)	#Letters	(borr)	1	1	2	4
(bor)	1	1	2	3	(borr)	1	1	2	4
(bor)	1	1	2	3	(bo)	1	1	2	2

表中顶部最可能的节点被扩展，结果如下：

s	g(s)	h(s)	g(s)+h(s)	#Letters
s	g(s)	h(s)	g(s)+h(s)	#Letters	(bor)	1	1	2	3
(bo)	1	1	2	2	(bor)	1	1	2	3
(bo)	1	1	2	2	(borr)(ow)	2	1	3	6

再次对最可能的节点进行扩展：

s	g(s)	h(s)	g(s)+h(s)	#Letters
					(bor)(rowed)	2	0	2	8
(bo)	1	1	2	2
					(borr)(ow)	2	1	3	6

现在最顶端的节点就是一个已完成的序列，在搜索中没有其它的节点可以得到更好的分值，所以这个节点就作为搜索的结果。

II.各种实施例

IIA.不进行笔迹识别的特征合成

使用特征合成的墨搜索可以在不使用笔迹识别系统的情况下进行。该技术仅需要能够建立字母序列和相关联特征向量的词典来模拟创建数字墨数据库的作者的笔迹。

如果对于该模拟笔迹识别结果不可用，可使用训练程序来生成特定作者的词典。为此，用户通过复制特定的训练文本提供其笔迹的样本，然后该样本用于建立词典。由于已知该笔迹所代表的文本，因此不需要训练程序进行全部笔迹识别，只需将输入分割成字符和笔划，将笔划转换成特征，并将合适的字母组和相关联特征向量存储在词典中。

用来建立词典的训练文本被最优化以提供单个字母和字母组的平衡样本集。即，该训练文本应最大化可能的词unigrams，bigrams和trigram的范围，参见世界科技出版公司1999年出版的《Advances in Handwriting Recognition》，J.Pitrelli、J.Subrahmonia、M.Perrone和K.Nathan的“Optimizationof Training Texts for Writer-Dependent HandwritingRecognition”，同时强调最有可能碰到的字母和字母序列。

IIB.用于识别和墨匹配的不同特征

由于用来搜索数字墨数据库的特征来自笔迹识别结果，因此优选作法是笔迹识别系统和墨匹配算法使用相同的特征表征。

然而，如果识别特征可被转换成搜索特征，对识别和搜索可使用不同的特征集。一些特征集允许通过训练数据集学习从识别特征到搜索特征的转换。

或者，许多特征集允许从识别特征重新生成数字墨的近似，从该数字墨的近似可以提取出第二特征集。也就是说使用特征合成文本查询被转换成特征向量集，并对该特征应用特征提取过程的逆变换以将该特征转换成从其提取搜索特征的数字墨。要小心确保该过程不会在数字墨中引入影响搜索特征提取的人为因素(例如生成的墨的不连续性对于一些特征提取技术可能会产生问题)。

IIC.第三方墨搜索

用户可通过使用笔迹识别将其墨输入转换成文本，并使用特征合成将识别的文本转换成选行墨搜索的特征，来搜索其他作者的数字墨数据库。

图4描述了该情况，其中作者B搜索由作者A创建的数字墨数据库。在步骤46从作者B接收墨，笔划47被传送到特征提取步骤48。提取出特征49，识别步骤50使用语言模型51和作者B模型52来生成相应的文本53。该文本在词典建立步骤54建立作者B的词典。字母组和特征被发送回作者B模型52，以改进/更新模型。然后，文本53经过特征合成步骤42，随后是与参照图3所述相似的处理过程来检索由作者A创建的墨匹配45。

III.其它例子

以下例子将更详细地说明本发明的一个实施例。这个例子仅仅是举例而不是对本范明范围的限制。

该部分具体说明使用特征合成进行墨数据库搜索。假定已执行了一些预处理步骤，包括单词和字符分割，基线定位归一化。注意，这只是实施该技术的一种可能的方法；对于处理的各阶段存在可用的替选方法。例如，存在可使用的多种分割方案、特征集、笔迹模型和识别过程。

使用特征合成的笔迹识别和墨搜索的过程需要训练阶段和识别或搜索阶段。在训练阶段，将训练数据集转换成笔划特征，笔划特征被聚合成原始笔划(stroke primitives)并用来创建笔迹模型。对于识别和墨搜索，该模型用来解码输入墨或者合成用于墨搜索的特征。图5描绘了该处理。注意对于训练、识别和搜索使用相同的预处理、标准化、分割和特征提取步骤。

笔迹识别系统将输入墨映射到笔划码字集，该笔划码字集用来搜索字典中的匹配词。图6示出该处理的概要，各个步骤将在下文详细阐述。

平滑处理

以100Hz的恒定速率对墨进行采样。研究表明笔迹在约5Hz具有最高频谱密度，在约10Hz降低到噪声水平，参见《HumanMovement Science》，1984年，第3期，193-217页，Teulings和F.Maarse的“Digital Recording and Processing ofHandwriting Movements”。因此，截止频率为10Hz的低通滤波器可除去高频噪声，而不影响笔迹信号的相关频谱组份。

可以通过圈出点素坐标，进行快速傅立叶变换以除去高频组份，再使用快速傅立叶逆变换恢复信号来生成符合上述规格的低通滤波器。然而，简单的加权平均滤波器可同样有效地工作。平滑点序列{p₁...p_n}：

p_{i} = Σ_{j = - k}^{k} α_{j} p_{i + j}

其中

Σ_{j = - k}^{k} α_{j} = 1

通过经验确定滤波器的平滑参数k和α平滑系数。

倾斜校正

很多笔迹风格都没有所写字母的垂直主轴(即以一致的倾斜度写下字母)。消除笔迹倾斜是可改进手写字母的识别的标准化处理。在笔迹中，下笔划被认为是最稳定和一致的笔划，因而用来检测笔迹倾斜。

为了检测笔迹倾斜，估计点序列{p₁...p_n}中的下笔划的加权平均方向：

slant = \frac{Σ_{i = 2}^{n} d_{i} a_{i}}{Σ_{i = 2}^{n} d_{i}}

其中

a_i＝角(p_i，p_i-1)

d_i＝||p_i-p_i-1||如果α₁＜a_i＜α₂

＝0其它

角α₁和α₂限定哪些笔划部分被视为下笔划的部分，根据经验分别被设为40°和140°(90°代表垂直线)。如果估计的倾斜度偏离垂直大于某阈值，则使用剪切变换除去倾斜。

其中y_min和y_max代表墨边界矩形的顶部和底部。

区域估计

区域估计用于标准化输入墨的的高度。英文字母呈现三个区域：中间区域(对应于‘a’、’c’、’e’等字母的高度)，包含‘b’，‘d’，‘g’和‘j’等字母中的上伸部分和下伸部分的较高和较低区域。

通过墨密度的水平直方图来进行区域估计。即对通过墨矩形边界的等间距的水平线确定笔迹交叉的数量。找到直方图的中间峰值，以及直方图中任一侧墨密度降到低于中间峰值高度的某部分的两个点。选择这两个点作为中间区域的上下边界。该中间区域和边界矩形垂直极值之间的区间被定义为所述较高和较低区域。

特征提取

在垂直方向的极值墨被分割成子笔划(即，在Y轴上局部最大最小值)。为了进行该分割，在选择的分割点通过分裂笔划生成的两个子笔划的长度必须大于预计算的最小距离(设为估计的中间区域高度的一半)。

然后分割后的子笔划被重新采样以包含沿着笔划轨迹等距离分布的数量为常数n的点。然后通过标准化坐标可对子笔划建立特征向量：

x_{i}^{'} = \frac{x_{i} - x_{\min}}{h}

y_{i}^{'} = \frac{y_{i} - y_{middle}}{h}

其中

x_min＝子笔划边界矩形的X最小值

y_middle＝中间域顶部的Y坐标

h＝中间区域的高度(即y_base-y_middle)

然后从标准化坐标可以创建特征向量f_i＝{x′₁，y′₁，...，x′_n，y′_n}。

特征简化

结果向量使用大量高度相关特征(点p_i的坐标依赖于点p_i-1等)来描绘子笔划。为了将向量的维数降至m(m＜2n)，使用Karhunen-Loeve变换(参见John Wiley & Sons，Inc.，2001年出版的《Pattern Classification》第二版，569-570页R.Duda、P.Hart和D.Stork的Principal Component Analysis)。该方法使用线性映射将高维特征映射到在最小二乘意义上最优的较低维度。

为了达到该目的，所有训练特征向量集的协方差(自相关)矩阵通过以下公式计算：

C = \frac{1}{m - 1} X^{T} X

得到矩阵的特征向量和特征值(使用传统的三对角QL隐式算法，参见剑桥市剑桥大学出版社1988年出版，W.Press、B.Flannery、S.Teukolsky和W.Vetterling、W.T.著的《Numerical Recipes in C》)，并且与最大n个特征值相对应的特征向量用来形成PCA矩阵Z。然后特征向量乘该矩阵以将特征转换成新的具有正交不相关轴的特征空间：

f_i′＝f_i ^TZ

向量量化

然后使用Kohonen自组织特征映射(Self-OrganizingFeature Map，SOFM)对转换后的特征向量进行聚合，参考《Biological Cybernetics》，1982年，第43期，59-69页，T.Kohonen的“Self-Organized Formation of TopologicallyCorrect Feature Maps”。该技术使用无监督学习程序对输入向量进行聚合，从而尽可能远地保持向量间的距离和近似关系。所使用的SOFM具有二维结构，看起来相似的码字(即聚合体)彼此邻近地放置。因此，使用两个码字值之间的距离测量(例如欧几里得距离)可以容易地计算出该两个码字间的距离。

使用通过随机权值初始化的简单双层神经网络反复进行SOFM训练。使用最小欧几里得距离得出归一化的输入训练向量x的最佳匹配输出神经元：

o (x) = {\arg \min}_{i}^{n} | | x - w_{i} | |

其中w_i表示输出节点i的权值向量。具有最高激活值的节点及其周围的节点(由近邻函数Λ得到)的权值根据以下公式来更新：

w_i(t+1)＝w_i(t)+η(t)[x-w_i(t)]

其中η是学习率函数，并且η和Λ通常随时间t变化。该训练继续进行，一直到在训练集的循环中神经元权值没有明显变化为止。

为了将子笔划序列转换成码字向量，各子笔划特征向量使用训练的SOFM被量化，并附到码字向量(进行特征合成)。通过对SOFM码本的输出神经元选择最大激活值来将特征向量量化成码字：

q = {\arg \max}_{i}^{n} x^{T} w_{i}

笔迹模型

笔迹模型存储由笔划码字向量到字母的映射(用于文本识别)和由字母组到码字向量的逆映射(用于特征合成)。为了建立笔迹模型，训练数据中的各字母被转换成与相对应的字母一起存储在表中的码字向量。

注意特定的码字序列可映射到多个字母(例如，写得不清楚的‘u’可与‘v’映射到相同的特征向量)并且单个字母也可被多个码字向量映射。通过保持码字向量代表特定字母的次数的计数，对字母x_i向量代表字母x_i的概率可以由下述公式计算出来，假设n个词条：

P (x_{i}) = \frac{c_{i}}{Σ_{j = 1}^{n} c_{j}}

其中，c_i是遇到码字向量代表字母x_i的次数的计数。以下是表示假设码字向量{3，4}的表的条目例：

表2.码字向量的条目例

x<sub>i</sub>	c<sub>I</sub>	P(x<sub>i</sub>)
x<sub>i</sub>	c<sub>I</sub>	P(x<sub>i</sub>)	‘u’	120	0.54
‘v’	91	0.41	‘u’	120	0.54
‘v’	91	0.41	‘r’	12	0.05

从表中看出，如果在输入中遇到码字序列{3，4}，其代表字母‘u’的概率为0.54，代表字母‘v’的概率为0.41，代表字母‘r’的概率为0.05。

以相似的方法生成逆映射表，其中储存与字母和字母组相关联的码字向量。

识别

为进行笔迹识别，如上所述处理输入墨，使用结果码字向量来搜索笔迹模型以生成假设字母。给定得到的字母概率，使用最优搜索策略来搜索字典以找到最可能的词。图7描述了这一过程。

墨搜索

通过使用笔迹识别过程中生成的笔迹模型来将输入查询文本映射成码字序列来选行墨搜索。该码字向量用来使用弹性匹配技术搜索数字墨数据库。在以下参考文献中给出了对相似墨匹配技术的完整说明：IOS出版社1996年出版的《Handwritingand Drawing Research：Basic and Applied Issues》，387-401页，D.Lopresti和A.Tomkins的“Temporal-Domain Matchingof Hand-Drawn Pictorial Queries”。然后通过相似性对查询结果进行排序并呈现给用户。

从而提供根据本发明的使用文本查询搜索数字墨数据库的方法和设备，该方法和设备满足上述优点。

广义上还可以说本发明包括在本申请的说明书中单独或组合提及或示出的部件、元件和特征，以及这些部件、元件和特征的两个或更多的任何组合或所有组合，且特定整体在本发明所涉及的现有技术中具有已知的等同物，该已知的等同物被视作仿佛单独进行了阐述一样包括在该说明书中。

尽管上面对优选实施方式进行了详细地描述，应理解在不脱离以上所述本发明的范围和以下所主张的范围的情况下，本领域的普通技术人员可做出各种改变、替换和修改。

Claims

1.一种使用查询来搜索数字墨数据库的设备，包括：

用户输入查询的输入设备；

能够接收所述查询并与所述数字墨数据库通信的处理器；

如果所述查询不是文本查询，将该查询转换成文本查询的装置；

搜索词典并确定包含可组合生成文本查询的字母序列的词条序列的装置，所述词典是将单个字母或字母序列转换成特征向量的表；

用于通过将搜索词典的过程中获得的特征向量进行连接来获得与所述词条序列相对应的特征向量集的装置；

使用所述特征向量集搜索所述数字墨数据库的装置；以及

向用户显示搜索结果的输出装置。

2.如权利要求1所述的设备，其中使用所述词典将使用笔迹模型识别的手写字母映射到与该手写字母相关联的特征向量，所述笔迹模型是从数字墨数据库的作者得到的。

3.如权利要求2所述的设备，其中使用与生成所述特征向量集所使用的笔迹模型不同的笔迹模型从笔迹生成所述文本查询。

4.如权利要求1-3任一项所述的设备，其中使用训练文本生成所述词典。