CN100410965C - 检测墨水输入中列表的系统和方法 - Google Patents

Abstract

提供一种用于检测墨水输入中列表的系统和方法。提供一种检测器，可检测列表，诸如墨水输入中着重号方式或者编号方式的项列表。首先可选择行分组作为候选列表。随后可进行缩进层聚类和着重号检测来确定该列表的结构。着重号检测可通过检测着重号伴侣来进行，着重号伴侣是可能始于具有相似特征的着重号候选的相同缩进层的行配对。一个行配对中的着重号候选特征可用于确定行配对是否是为着重号伴侣的可能性。最后，可以确定列表结构，包括各列表项之间的关系。

Description

检测墨水输入中列表的系统和方法

技术领域

本发明一般涉及计算机系统，尤其涉及检测墨水输入中列表的改进的系统与方法。

背景技术

检测列表的能力对那些要用墨水输入或墨水便笺直接在他们的计算机上书写或绘制的用户是很重要的。当前的硬件和软件都能够相当好地捕获表示手写的墨水，但目前不能同样地检测和表示手写结构的含义，诸如墨水输入中各项的列表的含义。因此，用户可改为使用基于菜单的应用程序来为诸如列表之类的文本产生结构。可由这类应用程序为用户呈现在格式化输入文本时选择和/或使用各种结构。例如，字处理应用程序可包括一个菜单选项用于将文本格式化为着重号方式或编号方式的项列表。

集中于手绘对象识别的研究至今已产生了少量结果。例如，已使用不断增加的识别算法，它们可以识别简单的几何形状，诸如从以特定次序产生的特定数量的笔画中识别圆或方框。但是，这类不断增加的算法依赖于笔画次序和/或假设特定的笔画数量来识别特定的手绘对象。这样一种方法有几个原因使其不是稳固的。首先，这些不断增加的算法都没有解决分组问题，即决定哪些笔画集合因那些笔画代表特定的结构或形状而归在一起。在没有将属于一个结构或形状的笔画分组在一起的情况下，不断增加的算法就不可能适应多笔画结构，诸如列表。

所需要的是检测和表示手写结构的含义的方法，它可不受形成给定结构所要求的笔画输入次序和/或笔画数的影响。任何这样的系统和方法都应该能够检测多笔画手写结构并能够确定表示一个手写结构的哪些笔画集合归在一起。

发明内容

简要地，本发明提供了用于检测墨水输入中列表的一种系统和方法。为此，提供一种检测器，可检测列表，诸如墨水输入中着重号方式或编号方式的项列表。检测器可包括用于选择可形成墨水输入内列表的行分组的列表候选检测器、用于检测列表内手写行的缩进层的列表缩进检测器、用于检测在列表的手写行中的着重号的着重号检测器、和用于提供列表结构的列表结构检测器。

本发明可检测和表示手写结构诸如列表的含义，通过先进行列表候选识别来选择可能形成墨水输入内列表的行分组。还可对候选列表的每一行进行缩进层聚类，以分组候选列表的缩进层。然后可执行着重号检测来识别墨水输入内手写行中的着重号，诸如图形或字母数字着重号。最后，可确定出列表的结构，包括列表项之间的关系，而且可确认候选列表为至少包括两个着重号方式项的有效列表。

在一个实施例中，着重号检测可通过检测着重号伴侣来进行，它们是在相同缩进层上、可能以具有与着重号候选相似特征开始的行配对。行配对中着重号候选的特征可用来确定行配对是否为着重号伴侣的可能性。如果着重号候选的特征的可能性超过了阈值，则行配对可看作着重号伴侣且着重号候选可看作有效的着重号。否则，如果着重号候选的行是具有着重号候选子集的缩进层集合的成员且确定着重号伴侣集合中的行数与缩进层集合中的行数的比例高于一个阈值，则候选着重号可看作是有效的着重号。

好处在于，本系统和方法不受可形成手绘结构的笔画输入次序和笔画数的影响。其它优点将从以下结合附图的详细描述中变得显而易见，其中：

附图说明

图1是方框图，通常表示可在其中结合本发明的计算机系统；

图2是方框图，通常表示按照本发明的一个方面用于检测墨水输入中列表的系统组件的示例性结构；

图3是流程图，通常表示按照本发明的一个方面检测墨水输入中列表并产生列表结构所采取的步骤；

图4是示例性图解，通常表示按照本发明的一个方面，墨水输入中手写对象的结构化关系，用于执行列表的检测；

图5是流程图，通常表示按照本发明的一个方面，列表检测所采取的步骤的一个实施例；

图6是一流程图，通常表示按照本发明的一个方面，列表候选识别所采取的步骤的一个实施例；

图7提供示例性图解，通常表示按照本发明的一个方面的列表候选；

图8是流程图，通常表示按照本发明的一个方面，进行缩进层聚类所采取的步骤的一个实施例；

图9提供示例性图解，通常表示按照本发明的一个方面，在缩进层聚类之后的候选列表；

图10是流程图，通常表示按照本发明的一个方面进行着重号检测所采取的步骤的一个实施例；

图11是流程图，通常表示按照本发明的一个方面进行着重号伴侣检测所采取的步骤的一个实施例；

图12是流程图，通常表示按照本发明的一个方面进行列表结构确定所采取的步骤的一个实施例；

图13是示例性图解，通常表示按照本发明的一个方面的候选列表结构的一个实施例；以及

图14是示例性图解，通常表示按照本发明的一个方面在执行绘画对象的列表检测之后，墨水输入中手写对象的结构化关系。

具体实施方式

示例性操作环境

图1示出了可在其上实现本发明的合适的计算系统环境。计算系统环境100只是合适的计算环境的一个例子，而并非想建议任何对本发明使用范围或功能性的限制。计算环境100也不应解释为对示例性操作环境100中所示的任何一个组件或其组合具有任何依赖性或者要求。

本发明可操作于大量其它通用或专用计算系统环境或配置。可合适于使用本发明的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机、服务器计算机、手持或膝上型设备、平板设备、无头服务器、多处理器系统、基于微处理器系统、机顶盒、可编程消费电子产品、网络PC、小型机、大型机、包括任意上述系统或设备的分布式计算环境等等。

本发明可在可由计算机执行的、诸如程序模块的计算机可执行指令的通用环境中描述。通常，程序模块包括例程、程序、对象、组件、数据结构等等，它们执行特定任务或实现特定抽象数据类型。本发明还可在分布式计算环境中实施，其中任务可由通过通信网络连接的远程处理设备完成。在分布式计算环境中，程序模块可位于本地和/或远程计算机的包括存储器存储设备在内的存储介质中。

参考图1，用于实现本发明的示例性系统包括计算机110形式的通用计算设备。计算机110的组件可包括，但不限于，处理单元120、系统存储器130和连接包括系统存储器在内的各种系统组件至处理单元120的系统总线121。系统总线121可以是几种总线结构类型的任何一或多种，包括存储器总线或存储控制器、外部设备总线和使用多种多样总线结构任何一种的局部总线。作为例子，而非限制，这样的结构包括工业标准结构(ISA)总线、微通道结构(MCA)总线、扩展ISA(EISA)总线、视频标准协会(VESA)局部总线以及外设部件互连(PCI)总线，它也被称为中间层(Mezzanine)总线。

计算机110一般包括多种多样的计算机可读介质。计算机可读介质可以是任何能够由计算机110存取的可用介质，并包括易失性和非易失性介质以及可移动和不可移动介质。作为例子，而非限制性地，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性的和非易失性的、可移动的和不可移动的介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储器、磁盒、磁带、磁盘存储器或其它磁存储设备，或者可能被用于存储想要的信息并能由计算机110存取的任何其它介质。通信介质一般包括在诸如载波或其它传输机制的调制数据信号中的计算机可读指令、数据结构、程序模块或其它数据，并包括任何信息传递介质。术语“调制数据信号”意指具有其以在信号中编码信息的方式设置或改变的一个或多个特征的信号。作为例子，而非限制性地，通信介质包括诸如有线网络或直接线缆连接的有线介质和无线介质，诸如声音、RF、红外和其它无线介质。上述各项的任何组合也应该包括在计算机可读介质的范围内。

系统存储器130包括易失性的和/或非易失性的存储器形式的计算机存储介质，诸如只读存储器(ROM)131和随机存取存储器(RAM)132。基本输入/输出系统133(BI0S)，包含帮助计算机110内部件之间传送信息的基本例程，诸如在起动期间，它一般被存储在ROM 131中。RAM 132一般包含由处理单元120直接存取和/或当前正在操作的数据和/或程序模块。作为例子，而非限制，图1示出操作系统134、应用程序135、其它程序模块136和程序数据137。

计算机110还可包括其它可移动的/不可移动的、易失性的/非易失性的计算机存储介质。只是作为例子，图1示出读写不可移动的、非易失性的磁介质的硬盘驱动器141，读写可移动的、非易失性的磁盘152的磁盘驱动器151，和读写可移动的、非易失的光盘156诸如CD ROM或其它光介质的光盘驱动器155。能用于示例操作环境的其它可移动的/不可移动的、易失性的/非易失性的计算机存储介质包括，但不限于，磁带盒、闪存卡、数字多功能盘、数字视频带、固态RAM、固态ROM等等。硬盘驱动器141一般通过不可移动的存储器接口诸如接口140连接至系统总线121，而磁盘驱动器151和光盘驱动器155一般由可移动的存储器接口诸如接口150连接至系统总线121。

上面所述和在图1中所示的驱动器及其相关联的计算机存储介质，为计算机110提供计算机可读指令、数据结构、程序模块和其它数据的存储。在图1中，例如，硬盘驱动器141被示出为存储操作系统144、应用程序145、其它程序模块146和程序数据147。注意这些组件可以与操作系统134、应用程序135、其它程序模块136和程序数据137或者相同，或者不同。操作系统144、应用程序145、其它程序模块146和程序数据147在这里给出不同的数字，以说明在最低程度上它们是不同的拷贝。用户可通过输入设备，诸如手写板、或电子数字化仪164、话筒163、键盘162和通常被称为鼠标的定点设备161、轨迹球或触摸垫，将命令和信息输入到计算机110中。未示出于图1的其它输入设备可包括操纵杆、游戏垫、卫星天线、扫描仪或其它设备，包括包含生物传感器、环境传感器、位置传感器或其它类型传感器的设备等等。这些和其它输入设备常常通过连接到系统总线的用户输入接口160连接至处理单元120，但也可以通过其它接口和总线结构连接，诸如并行端口、游戏端口或通用串行总线(USB)。监视器191或其它类型的显示设备也通过一个接口诸如视频接口190连接至系统总线121。监视器191还可与触摸屏板之类的集成在一起。注意显示器和/或触摸屏板可物理地连接在包括计算设备110其中的机架上，诸如平板型个人计算机。另外，诸如计算设备110之类的计算机还可包括其它外部输出设备诸如扬声器195和打印机196，它们可通过输出外部接口194等连接。

计算机110可在使用逻辑连接至一个或多个计算机诸如远程计算机180的网络化环境中运行。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其它一般网络节点，并且一般包括上面相对于计算机110所述的部件的许多或全部，尽管在图1中只示出存储器存储设备181。图1中所示的逻辑连接包括局域网(LAN)171和广域网(WAN)173，但还可包括其它网络。这样的网络环境在办公室、企业范围的计算机网络、内联网和因特网中是很普遍的。当在LAN网络环境中使用时，计算机110通过网络接口或适配器170连接至LAN 171。当在WAN网络环境中使用时，计算机110一般包括调制解调器172或用于在WAN173诸如因特网上建立通信的其它工具。调制解调器172，可以是内置的或外置的，可通过用户输入接口160或其它适当的机制连接至系统总线121。在网络化环境中，相对于计算机110所示的程序模块，或者其部分，可存储在远程存储器存储设备中。作为例子，而非限制性地，图1例示了驻留在存储器设备181上的远程应用程序185。将意识到，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其它方法。

检测墨水输入中的列表

本发明通常针对用于检测墨水输入中列表的系统和方法。用户可毫无限制地在手写输入装置上自由地绘制列表。列表可具有许多笔画且笔画的输入次序可以是任意的，因此本系统和方法可接受任何墨水作为输入。如这里所用的，列表指至少有两个着重号方式的列表项的结构，其中一个列表项包括至少一行并可包括一个着重号。

特别地，本系统和方法可选择行分组作为候选列表。然后可进行缩进层聚类(indentation level clustering)和着重号检测，以便确定列表的结构。最后，可确定列表的结构，包括列表项之间的关系。如将要理解的，这里所述的各种方框图、流程图和场合都只是例子，并且还有许多本发明将应用的其它场合。

转到附图中的图2，示出了一个方框图，通常表示检测墨水输入中列表的系统组件的示例结构。那些本领域熟练技术人员将意识到，图中例示的方框中实现的功能可作为单独组件实现，或者方框中的几个或所有的功能可在单一组件中实现。例如，列表候选检测器206的功能可包括在墨水分析器202中。或者列表结构检测器212的功能可作为单独组件来实现。

墨水分析器202可接受任何墨水，包括具有绘画对象的墨水。墨水分析器202可包括有效连接的列表检测器204。通常，墨水分析器202和列表检测器204可以是任何类型的可执行软件代码，诸如内核组件、应用程序、链接库、对象等等。列表检测器204可包括有效连接的列表候选检测器206、有效连接的着重号检测器208、有效连接的列表缩进检测器210和有效连接的列表结构检测器212，列表候选检测器206用于从墨水输入中选择可形成候选列表的行分组，着重号检测器208用于检测列表行中的着重号，列表缩进检测器210用于检测列表行的缩进层，列表结构检测器212用于提供列表的结构，包括列表项之间的关系。这些组件的每一个还可以是任何类型的可执行软件代码，诸如内核组件、应用程序、链接库、对象或其它类型的可执行软件代码。

图3呈现一流程图，通常表示检测墨水输入中的列表并产生列表结构所采取的步骤。在步骤302，可分析任何墨水，包括具有诸如列表之类的手写结构的墨水。例如，在一个实施例中，可接受一页墨水作为输入并分析。在这个实施例中，墨水分析器，例如，可以没有该页墨水的先验知识。因此，可执行诸如单词分组、书写/绘画分类及绘画分组的基本算法。为了进行单词分组，笔画可分组成单词、行和块等层次。为了这么做，单词分组过程可包括笔画特征提取来捕获距离、几何不相似性和直线性以及其它笔画特征。单词分组过程还可包括按照时间信息动态编程以分组笔画。单词分组过程还可包括按照空间信息聚类以分组笔画。在分组中识别的单词、行和块不必相应于实际语义单词、行和块。事实上，组可包括手写结构诸如列表的笔画。

为进行书写/绘画分类，可识别可将书写与绘画区分开来的各种特征。例如，可使用单个单词特征，诸如曲率、密度和其它手写模型特征，将书写与绘画区分开来。在一个实施例中，可使用上下文特征，诸如时间和空间环境特征，将书写与绘画区分开来。各种特征的每一个可映射到一个模糊函数上，且可按照模糊函数的组合来确定书写和绘画之间的分类。

进行单词分组和书写/绘画分类后，可通过进行绘画分组来很好地组织绘制笔画。为进行绘制分组，绘制笔画可按照它们之间的空间关系分组为独立的对象。一种有效的基于网格的方法可用来将墨水笔画适配到具有合适大小的图像网格中。可标记图像网格以找到相连的组件。每个相连的组件可相应于一个绘画对象。然后可应用启发式规则来调整绘画对象。

使用由墨水分析器生成的书写行和绘制笔画，可在步骤304进行列表检测，以确定手写对象是否是一个列表，且如果是，则提供该列表的结构。列表检测首先可进行列表候选识别，以识别候选列表。然后还可进行缩进层聚类和着重号检测，以便确定列表的结构。最后，可确定列表的结构。在步骤306，可作为输出生成列表结构。列表结构可以是层次结构，诸如表示列表的结构化关系的有向的非循环的图形。

图4提供一示例性图解，通常表示墨水输入中手写对象的结构化关系，用于执行列表的检测。根402可表示墨水输入，诸如一页墨水输入，它可包括书写和一或多个绘画对象，诸如绘画对象404和406。书写可结构化地由段落408表示，它可由具有由笔画414形成的单词412的行410组成。绘画对象404可具有相关的内容，诸如可通过由行410组成的段落408结构化表示的文本，行410具有由笔画414形成的单词412。可检测诸如列表之类的手写结构并可在墨水输入402中确定其结构。

图5提供一流程图，通常表示检测列表所采取的步骤的一个实施例。在步骤502，可执行列表候选识别以在墨水输入内选择可形成内列表的行分组。还可在步骤504对列表候选的每一行执行缩进层聚类，以分组列表候选的缩进层。行的缩进在此定义为从行的左边缘到列表的左边缘的距离。缩进可以分组成层(level)且同一层的缩进是类似的。在步骤506，随后可进行着重号检测以识别着重号。着重号可以由一个或几个笔画组成并可开始一行。通常有两种类型的着重号，图形着重号和字母数字着重号。图形着重号可包括点、破折号、圆、长方形等等。图形着重号的形状一般是类似的。字母数字着重号可包括字母字符、数字或者字母字符和/或数字的组合。一般地，字母数字着重号的序列是递增的。在同一缩进层上的着重号通常是相同类型的。最后，结构可在步骤508确定列表的结构，包括列表项之间的关系。然后可确认候选列表为有效列表，如果它可至少包括两个着重号方式的项。

图6提供一流程图，通常表示列表候选识别所采取的步骤的一个实施例。在步骤602，输入到列表检测器的每一书写行都可设置为列表候选。在一个实施例中，列表检测器可一次只在一组这样的类行上工作。在步骤604，可确定是否行分组中只有一个列表候选设置为列表候选。如果是，则可完成列表候选识别。如果否，则可在步骤606生成列表候选配对。可在步骤608从生成的所有列表候选配对中选择一个列表候选配对。然后在步骤610可确定是否合并列表候选配对。如果两个列表中的行的角度几乎相同且列表的相邻行间的垂直距离很小，则在步骤612可将列表候选合并为一个新的列表候选，且过程返回至步骤604。否则，可在步骤614确定是否有另一个可合并的列表候选配对。如果是，则过程可返回步骤608以选择一个列表候选配对。如果否，则列表候选识别过程结束。

图7提供示例性图解，通常表示列表候选。有三种例示的列表候选：列表1702、列表2704和列表3706。列表1702不可以与列表2704合并，因为两个列表中行的角度的差太大。列表2704和列表3706不可以合并在一起，因为列表2704的最后一行与列表3706的第一行之间的垂直距离太大。长方形708可表示由一个实施例中墨水分析器所进行的单词分组得到的块分组(blockgrouping)。列表候选可包括块分组，诸如列表3706中的三个块分组，例如。

图8提供一流程图，通常表示进行缩进层聚类所采取的步骤的一个实施例。候选列表的行可以根据每行的缩进聚类成缩进层分组。为了这么做，可计算每行的缩进，并随后可将缩进聚类成几个缩进层分组。一个列表项的缩进层可等同于其第一行的缩进层。

在一个实施例中，所用的缩进层聚类方法可能是模式识别中众所周知的k-均值聚类算法。给定c层，m_i是层Γ_i的平均缩进， $m_i=\frac{1}{N_i}\underset{y\∈\mathrm{\Γ}}{\mathrm{\Σ}}y,$ y是行的缩进，N_i是层Γ_i中的行数，而J_e是所有层的均方差之和。聚类的目标是最小化J_e，它定义为：

$J_e=\underset{l=1}{\overset{c}{\mathrm{\Σ}}}\underset{y\∈{\mathrm{\Γ}}_i}{\mathrm{\Σ}}{\left|\right|y-m_i\left|\right|}^2$

在步骤802，平均缩进层可初始化为m_i＝i*l，给定缩进的初始步长l，且将要检查的行的计数器设置为要检查的行数。为了支持用户可以用不同的大小书写墨水便笺的情况，在一个实施例中可使用标准化的缩进。例如，缩进可由列表候选中的平均行高来标准化，其中缩进的初始步长l可以是1.4*平均行高。

在步骤804，可得到下一行y∈Γ_i。然后可在步骤806确定从y缩进到每层的平均缩进的距离。而且在步骤808可找到离y∈Γ_i最近的缩进层Γ_j。在步骤810，如果最近的缩进层等于当前缩进层，那么在步骤816行计数器减1，且对那行的缩进聚类结束。否则，在步骤812可将该行移至最近的缩进层。然后在步骤814可重新计算每个缩进层的平均位置，并且行计数器可设置为要检查的行的数量。在步骤820，可确定行计数器是否为零。如果否，则过程返回步骤804以获取下一行y∈Γ_i。如果是，则结束用于在该层的缩进的过程。

图9提供一示例性图解，通常表示缩进层聚类之后的候选列表。候选列表902有六行。在缩进层聚类结束时，行1、3和5在缩进层1中，而行2、4和6在缩进层2中。椭圆904包围着缩进层1中各行的着重号，而椭圆906包围着缩进层2中各行的着重号。

可以在缩进层聚类之后进行着重号检测。着重号检测可确定列表的项是否包括着重号。因此，对于着重号检测过程，列表中每行的第一个单词可看作着重号候选。根据经验观察，如果列表中的两行具有相同的缩进层且始于一个着重号，则这两行的着重号通常是相同的符号，诸如图形着重号或字母数字着重号。因此，在列表中相同缩进层的两行可能都由一个着重号开始，如果两行的着重号候选具有相似的特征。这样着重号伴侣(bullet partner)这里定义为在列表中相同缩进层的、可始于具有相似特征的着重号候选的两行。两个这样的行之一是另一个的着重号伴侣。注意着重号伴侣可以是或可以不是相邻行。在着重号检测中，着重号伴侣的着重号候选可看作着重号。

图10提供一流程图，通常表示进行着重号检测所采取的步骤的一个实施例。在步骤1002，可对着重号候选行进行着重号伴侣检测。在步骤1004，可检查在相同缩进层上的着重号候选的诸相邻行以确定一个相邻行是否是着重号候选行的着重号伴侣。如果是，则在步骤1010，着重号候选可看作着重号。如果没有检测到着重号伴侣，则可在步骤1006确定是否着重号候选行是具有着重号伴侣的子集的缩进层集合的成员。如果否，则如在步骤1012所指出的，候选着重号不可看作是着重号。如果着重号候选行是具有着重号伴侣的子集的缩进层集合的成员，且可在步骤1008确定该着重号伴侣集合中的行数与缩进层集合中的行数之比高于阈值，则如在步骤1010所指出的，候选着重号可看作是着重号。如果否，则如在步骤1012所指出的，候选着重号不可看作是着重号。在一个实施例中，阈值可经验性地设置在0.66。那些本领域熟练技术人员将意识到可以使用其它阈值。

图11提供进行着重号伴侣检测所采取的步骤。在一个实施例中，着重号伴侣检测可检查在给定缩进层上每一个行配对是否是着重号伴侣。好处在于，由行配对检查着重号可提高用于着重号检测的过程的稳固性。例如，碰到一个难看的着重号作为着重号候选可能不会导致未能在同一列表中检测其它着重号。

为提高着重号伴侣检测过程的分析速度，可使用简单的特征，用于从可能作为一行第一个单词出现的普通单词中检测着重号。这些特征可包括使用绕着着重号候选的边界框的宽度与高度。例如，图形着重号和数字着重号的边界框的大小通常是相近的，而可能作为一行第一个单词出现的普通单词的边界框的大小可能变化巨大。更明确地说，着重号的边界框常常不和作为一行第一个单词出现的普通单词的边界框同宽同高。那些本领域熟练技术人员将意识到，可以使用其它简单的特征，诸如着重号候选和该行下一个单词的距离。一般地，从着重号到该行的下一个单词的距离常常大于一行中两个普通单词之间的距离。

在一个实施例中，用于检测着重号的以下五个特征可用来计算两行可能是着重号伴侣的概率：Δh＝|h(R_a)-h(R_b)|，Δw＝|w(R_a)-w(R_b)|，w＝max(w(R_a)，w(R_b))，Δs＝min(s_a，s_b)/max(s_a，s_b)和d＝min(d_a，d_b)。对于两个着重号候选a和b，a和b的边界框，为长方形R_a和长方形R_b，分别可在步骤1102出现a和b的列表的角度位置中确定。

在步骤1104，可确定边界框特征中的不同。例如，可在步骤1106，确定着重号候选的边界框的高度差Δh＝|h(R_a)-h(R_b)|，其中h(R_a)和h(R_b)分别是长方形R_a和长方形R_b的高度。或者，在步骤1108，可确定着重号候选的边界框的宽度差Δw＝|w(R_a)-w(R_b)|，其中w(R_a)和w(R_b)分别是长方形R_a和长方形R_b的宽度。或者，在步骤1110，可确定着重号候选的边界框的宽度最大值w＝max(w(R_a)，w(R_b))。

在步骤1112，可确定着重号候选的笔画长度差值Δs＝min(s_a，s_b)/max(s_a，s_b)，其中s_a和s_b分别是着重号候选a和b的总笔画长度。在步骤1114，可确定到该行下一单词的距离d＝min(d_a，d_b)，其中d_a和d_b是每个着重号候选a和b，与它们各自行的下一个单词之间的距离。

随后，在步骤1116，行配对是着重号伴侣的可能性可用着重号候选的特征来确定。在一个实施例中，可构造能结合各特征的模糊函数来确定两行是着重号伴侣的可能性。函数可定义为：

$f(\mathrm{\Δh},\mathrm{\Δw},w,\mathrm{\Δs},d)=\frac{1}{1+({\left(\frac{\mathrm{\Δh}}{{\mathrm{\Δh}}_0}\right)}^{\mathrm{\α}}+{\left(\frac{\mathrm{\Δw}}{{\mathrm{\Δw}}_0}\right)}^{\mathrm{\β}}+{\left(\frac{w}{w_0}\right)}^{\mathrm{\γ}}+{\left(\frac{\mathrm{\Δs}}{{\mathrm{\Δs}}_0}\right)}^{\mathrm{\η}}+{\left(\frac{d}{d_0}\right)}^{\mathrm{\κ}})},(\mathrm{\α},\mathrm{\β},\mathrm{\γ},\mathrm{\η},\mathrm{\κ}>1)$

其中Δh₀，Δw₀，w₀，Δs₀，d₀是五个特征的阈值，而α，β，γ，η，κ可用来调节判别边界的柔软度(softness)。当任何特征从0到无穷大时，函数可单调降低。如果任何特征超过阈值，函数可低于0.5。当所有特征为0时，函数值可以是1，且当任何特征趋向无穷时可趋向于0。在一个实施例中，判别边界可定义为f(Δh，Δw，w，Δs，d)＝0.5。在这种情况下， ${\left(\frac{\mathrm{\Δh}}{{\mathrm{\Δh}}_0}\right)}^{\mathrm{\α}}+{\left(\frac{\mathrm{\Δw}}{{\mathrm{\Δw}}_0}\right)}^{\mathrm{\β}}+{\left(\frac{w}{w_0}\right)}^{\mathrm{\γ}}+{\left(\frac{\mathrm{\Δs}}{{\mathrm{\Δs}}_0}\right)}^{\mathrm{\η}}+{\left(\frac{d}{d_0}\right)}^{\mathrm{\κ}}=1.$ 在步骤1118可作出模糊函数的可能性是否高于阈值0.5的判定。如果是，在步骤1120这两行可看作着重号伴侣。否则，在步骤1122，这两行不可看作是着重号伴侣。

在着重号检测之后，列表结构检测可使用缩进层聚类和着重号检测的结果来进行。例如，每行的缩进层可用来确定哪些行形成列表项，还可用来确定识别出的列表项之间的关系。列表结构还可由着重号的存在来确定。图12提供一流程图，通常表示进行列表结构确定所采取的步骤的一个实施例。

在步骤1202，列表项通过确定哪些行形成列表项来识别。可能有几个列表项组成的规则。例如，列表项可只包括始于着重号的一行。如果一个列表项有始于着重号的行，该行应该是列表项中的第一行。如果一个列表项具有带有着重号的一行，则该行的缩进层应该等于或小于该列表项中任何其它行的缩进层。如果一列表项没有带有着重号的行，则该列表项中每行的缩进层可能是相同的。而且，列表项中的相邻行间的垂直距离不可能很大。

一旦识别了列表项，在步骤1204就可确定列表项之间的关系。可以有几条确定列表项之间关系的规则。例如，列表项可以有任意数量的子项或什么也没有。列表项的缩进层可以小于其子项的缩进层。对于列表项的子项，缩进层可以相同。列表项可只有一个父项或什么也没有。

在步骤1206，列表候选结构可以从列表项产生。列表候选结构可以是层次结构，诸如不循环的有向图或树，在树的特定层上的列表候选中可包括特定缩进层的列表项。最后，在步骤1208，可确定列表候选是有效列表，如果该列表候选中至少有两个着重号。

图13提供候选列表结构的一个实施例的示例性图解。候选列表结构1302包括在行的左上角编号的若干行，并例示了列表项的几个例子。例如，行2可形成列表项1304。行4和5可形成列表项1306，因为只有行4始于着重号且行4还是该候选列表项中的第一行。另外，行4和行5的缩进层是相同的，缩进层21316。行6和行7分别在同一缩进层，缩进层21316，但各自分别形成独立的列表项1308和1310，因为这些行的每一行都始于着重号且列表项只可包括始于着重号的一行。行8和9分别在同一缩进层，缩进层31318，且每行各自分别形成独立列表项1312和1314，因为这些行的每一行始于着重号，且列表项只可包括始于着重号的一行。

一旦已检测了列表，并确定了它的结构，现在就可以理解手写对象的结构化关系了。图14是示例性图解，通常表示在执行绘画对象的列表检测之后墨水输入中手写对象的结构化关系。根1402可以表示墨水输入，诸如墨水输入页，可包括一个或多个结构，诸如列表1404和列表1406。一个列表可包括一个或多个列表项，诸如列表项1408和1410。列表项可包括一行或多行，诸如行1412和1414，以及一个或多个着重号，诸如着重号1418。每一行可包括由一个或多个单词结构化地表示的文本，单词诸如由笔画1420形成的单词1416。每个着重号1418可由笔画1420形成。

在由所述系统和方法检测了所有列表后，可完全检测墨水输入内的手写对象，并识别其结构。通过使用本发明，用户可不受限制地在手写输入装置上自由地绘制列表。列表可具有许多笔画，且笔画的输入次序可以是任意的，因此本系统和方法可接受任何墨水作为输入。可识别列表的结构，包括列表项之间的关系。

正如可从上述详细描述中看到的一样，本发明提供用于检测列表的系统和方法。好处在于，本系统和方法不受可形成手写列表的笔画输入次序和笔画数的影响。而且，所提供的系统和方法是灵活且可扩展的。如现在理解的，本发明可用来检测墨水输入中的任何列表，诸如着重号方式或编号方式的项列表，包括识别该列表的结构。本方法和系统从而提供了现代计算中所需要的显著优点和好处。

虽然本发明容许各种修改和可替代构造，其中某些例示的实施例已经在附图中示出并在上面详细描述了。但应该理解，并非想限制本发明于所揭示的特定形式，而是相反，所想要的是覆盖落在本发明精神和范围内的所有修改、可替代的构造及等价物。

Claims (31)

1. 一种用于检测墨水输入中列表的计算机系统，其特征在于，包括：

列表检测器，用于接收墨水输入；

列表候选检测器，它与列表检测器相连，用于在墨水输入内选择可形成列表的行分组；

缩进检测器，它与所述列表检测器相连，用于检测墨水输入内书写行的缩进；

着重号检测器，它与列表检测器相连，用于检测墨水输入内书写行中的着重号；以及

列表结构检测器，它与列表检测器相连，用于提供墨水输入内列表的结构。

2. 如权利要求1所述的系统，还包括墨水分析器，它与列表检测器相连，用于发送墨水输入到列表检测器。

3. 如权利要求1所述的系统，其特征在于，所述着重号包括字母数字着重号。

4. 如权利要求1所述的系统，其特征在于，所述着重号包括图形着重号。

5. 一种用于检测墨水输入中列表的方法，其特征在于，包括：

接收墨水输入；

在所述墨水输入内对列表执行列表检测，其中所述列表检测包括以下步骤：

为在墨水输入内选择可形成列表的行分组而执行列表候选识别；

为在墨水输入内检测手写行的缩进执行缩进检测；

执行着重号检测以在墨水输入内识别手写行中的着重号；

确定在墨水输入内的列表的结构；所述方法还包括

生成列表结构作为输出。

6. 如权利要求5所述的方法，其特征在于，还包括分析所述墨水输入以将墨水输入内的书写与图画区分开来。

7. 如权利要求5所述的方法，其特征在于，执行列表候选识别包括将选择的行分组内每一行设置为列表候选。

8. 如权利要求7所述的方法，其特征在于，执行列表候选识别包括选择两个列表候选，用于确定所述两个列表候选是否可以合并。

9. 如权利要求5所述的方法，其特征在于，执行列表候选识别包括合并来自所述选择的行分组中的两行以形成列表候选。

10. 如权利要求8所述的方法，其特征在于，执行列表候选识别包括合并所述两个列表候选以形成新的列表候选。

11. 如权利要求10所述的方法，其特征在于，执行列表候选识别包括将新的列表候选与另一个列表候选合并起来。

12. 如权利要求5所述的方法，其特征在于，执行缩进检测包括缩进层聚类用于分组缩进层。

13. 如权利要求5所述的方法，其特征在于，执行缩进检测包括为分组的缩进层执行k-均值聚类。

14. 如权利要求5所述的方法，其特征在于，执行缩进检测包括确定从行的缩进层到平均缩进层的距离。

15. 如权利要求5所述的方法，其特征在于，执行缩进检测包括重新计算缩进层的平均位置。

16. 如权利要求5所述的方法，其特征在于，执行着重号检测包括选择列表中行的第一个单词作为着重号候选。

17. 如权利要求5所述的方法，其特征在于，执行着重号检测包括对行执行着重号伴侣检测。

18. 如权利要求5所述的方法，其特征在于，执行着重号检测包括确定行是否具有相邻行作为着重号伴侣，所着重号伴侣是在所述行的缩进层上的一组行集合中，且如果是，则视所述行的第一个单词为着重号。

19. 如权利要求5所述的方法，其特征在于，执行着重号检测包括确定行是否有着重号伴侣，且如果没有，则确定是否在所述行的缩进层上的一组行是否具有一组分行着重号伴侣。

20. 如权利要求19所述的方法，其特征在于，还包括确定在所述一组分行着重号伴侣中的行数与缩进层组中的行数之比是否高于阈值，而且如果是，则视行的第一个单词为着重号。

21. 如权利要求19所述的方法，其特征在于，还包括确定在一分组的着重号伴侣中的行数与缩进层组中的行数之比是否高于阈值，而且如果否，则视所述行的第一个单词不是着重号。

22. 如权利要求17的方法，其特征在于，对行执行着重号伴侣检测包括确定行配对中第一个单词的特征。

23.如权利要求22所述的方法，其特征在于，确定行配对中的第一个单词的特征包括确定围绕行配对中第一个单词的边界框的高度和宽度的差。

24. 如权利要求23所述的方法，其特征在于，还包括：

确定边界框的宽度的最大值；

确定行配对中的第一个单词的笔画长度的差；以及

确定行配对中的每个第一个单词和下一单词之间的距离。

25. 如权利要求22所述的方法，其特征在于，还包括使用行配对中的第一个单词的特征来确定行配对是着重号伴侣的可能性。

26. 如权利要求25所述的方法，其特征在于，还包括确定所述可能性是否高于一阈值，且如果是，则视所述行配对为着重号伴侣。

27. 如权利要求5所述的方法，其特征在于，确定墨水输入内的列表的结构的步骤包括识别列表项。

28. 如权利要求5所述的方法，其特征在于，确定墨水输入内的列表的结构包括确定列表项之间的关系。

29. 如权利要求5所述的方法，其特征在于，确定墨水输入内的列表的结构包括产生列表的结构。

30. 如权利要求5所述的方法，其特征在于，确定墨水输入内的列表的结构包括根据列表的结构确定该列表是有效的列表。

31. 如权利要求30所述的方法，其特征在于，有效列表包括具有至少有两个着重号的列表。

Images