CN1664810A

CN1664810A - 辅助表格填充

Info

Publication number: CN1664810A
Application number: CN2005100531726A
Authority: CN
Inventors: T·T·克里斯蒂安松
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2004-03-03
Filing date: 2005-03-03
Publication date: 2005-09-07
Also published as: KR20060043384A; JP2005251205A; EP1571560A2; JP4758116B2; US20050198563A1; US7426496B2; EP1571560A3; KR101114194B1

Abstract

揭示了帮助辅助用户填充表格的系统和方法。本发明可解析未标记的媒质，例如email等等，以识别可被用于填充表格的元素。所识别的元素可被自动插入到表格中对应的字段中，且状态指示符可与之相关联并向用户指示以警告用户需要对表格中特定的字段进行审阅。此外，未标记的媒质和表格可被并发地呈现给用户以帮助用户在辅助表格填充期间进行监督以及/或者互动。

Description

辅助表格填充

技术领域

本发明一般涉及计算机，更具体地说，涉及帮助完成计算机表格的系统和方法。

背景技术

计算机和网络技术从高花费、低性能的数据处理系统向低花费、高性能的通信的演化，问题解决和娱乐系统提供了一种经济有效的、省时的方式来减少处理每天的任务，诸如书信往来、付账、购物、预算以及信息采集的负担。例如，一通过有线或者无线技术接入到互联网的计算系统可向用户提供一信道，该信道可近乎即时地接入到来自网页库和分布在全球的服务器的丰富的信息，只需用户手指轻点。

最近的研究表明大约7000万工人(美国工作的成年人中的59％)一般将完成表格作为他们工作责任的一部分。对于这7000万工人来说，至少25％一般填充电子表格(例如，在计算机上)，并且这个百分比每天都在增加。因此，加入到表格中的数据显示在计算机的显示器上是一个很普通的动作。填充表格是单调、耗时并且高度受到人类错误的影响。因此，在本领域中对于帮助更快更准确进行表格填充的系统和方法存在未满足的需求。

发明内容

下面展现了对于本发明的简单的概述，以提供对于本发明的一些方面的基础理解。该概述不是对于本发明的广泛的综述。其不是为了识别本发明的关键/确定性的元素或者描绘本发明的范围。其目的仅仅是为了以一种简单的形式展现本发明的一些概念，并作为之后展现的更加详细的描述的前序。

本发明提供通过使用存在于未标记的文本格式(例如，email文本、web页、以及/或者其他计算机可读格式)中的数据来帮助辅助用户快速填充计算机表格的系统和方法。按照本发明的一方面，用户可从，例如用户所接收的email中选择未标记的文本。该未标记的文本可在未标记媒质图形用户接口(GUI)的文本框中显示给用户，并可被解析以识别潜在的用户在填充表格的字段时感兴趣的元素。例如，如果email包含诸如人名、城市、州…的项目，则这些名称可被识别为潜在感兴趣的元素。此外，这些名称可被放置在它们在通过表格GUI显示给用户的表格中的相应的字段中。表格GUI和未标记的媒质GUI可被并发地显示给用户。

按照本发明的另一方面，用户可验证所识别的元素是否被精确地插入到它们在表格中对应的字段中。例如，色彩标示可被用于表示表格中一个具体元素和一个具体字段之间的联系，例如，当填充(populating)联系表时，被识别为名的未标记的文本被用蓝色高亮显示(highlight)，而对应的表格中的“名”字段可被以蓝色显示给用户。用户将高亮显示的名下拉到名字段中，或者更有效地，该系统可自动将名插入到其字段中。

按照本发明的相关方面，状态标示可与表格中的每一个字段相关以警告用户任何潜在的错位的信息，以这种形式，用户可验证所识别的元素是否被正确地插入到正确的字段中。例如，诸如“Lincoln”的元素可被插入到“姓”字段中，但也可以被插入到“城市”字段中。与名字“Lincoln”所插入的字段相邻的状态指示器可警告用户要求对插入到该字段中的内容的正确性进行验证。状态指示器还可以使用颜色来视觉地警告用户关于字段信息的状态(例如，用户验证、回顾……的重要性等级)。

按照本发明的另一方面，人工智能技术以及/或者反馈/前馈信息可被用于帮助自动插入到表格字段中的元素增加可信度等级。例如，隐性马尔可夫(Markov)模型是使用隐性和显性随机变量的概率论(probabilistic)模型的一种类型。这样的模型可被用于增加本系统和方法插入未标记的媒质元素至表格字段中的效率。按照这种方式，用户的参与可潜在地被降低到仅仅在保存并打印所完成的表格之前确定表格中的信息是否是正确的。

按照本发明的另一方面，校正传播可被用于至少部分基于由用户进行的单个字段的校正而帮助校正各个字段的信息。例如，被验证为正在由用户校正以及/或者已经由用户校正的信息可被估计以帮助关于其他信息是否被正确分配给一给定字段的推断。按照这种方式，对一个字段输入的校正传播到其他的字段。

为了达到上述的以及相关的目的，本发明的某些所示出的方面在此处结合下面的说明以及附图进行描述。然而，这些方面示出了仅仅是本发明的原理可被应用的各种方法中的一小部分，而本发明试图包括所有的方面以及它们的等价内容。本发明的其他优势和创新的特征可从下面结合附图考虑的对本发明的详细说明中变得明显。

附图说明

图1是说明一种按照本发明的一方面帮助辅助用户填充表格中的字段的表格填充接口系统100。

图2是说明按照本发明的一方面帮助辅助填表的系统200。

图3是说明包括按照本发明的一方面帮助辅助填表的人工智能组件的系统300。

图4是说明帮助辅助用户填充表格中的字段的隐性马尔可夫模型的一个示例400。

图5是说明本发明在辅助用户填充表格时的效率的柱状图500。

图6是说明按照本发明的一个方面的方法600。

图7是说明按照本发明的一个方面的方法700。

图8是说明按照本发明的一个方面的方法800。

图9是说明按照本发明的一个方面的方法900。

图10和11是说明按照本发明的一个方面的计算环境1000和1100的一个示例。

具体实施方式

本发明现在参考附图进行描述，其中相似的标记被始终用于表示相同的元素。在下面的描述中，为了简明，说明了许多具体的细节以提供对于本发明的彻底的理解。然而，可以证明本发明可以不具备这些具体的细节而被实现。在其他的情况下，公知的结构和设备以框图的形式示出以帮助表示本发明。

如在本申请中所使用的，术语“组件”被用于表示计算机相关实体、或者硬件、硬件和软件的组合、软件、或者正在执行的软件。例如，组件可以是但是不限于在处理器上运行的进程、处理器、对象、可执行的软件执行线程、程序，以及/或者计算机。作为说明，在服务器上运行的应用程序以及该服务器可以是计算机组件。一个或多个组件可驻留在进程中以及/或者执行线程中而组件可被本地放置于一个计算机以及/或者分布在两个或更多个计算机中。“线程”是操作系统核心调度用于执行的进程中的一个实体。如在本领域中所熟知的，每个线程具有相关的“环境”，该“环境”是和线程的执行相关的易失性数据。线程的环境包括系统寄存器的内容和属于该线程的进程的虚拟地址的内容。因此，包含线程的环境的真实数据在其执行时改变。

如这里所使用的，术语“推断”一般是指从一组通过事件以及/或者数据捕获的观察中推出或者推断系统、环境、以及/或者用户的状态的过程。例如，推断可被用于识别一具体的环境或者动作、或者可产生在状态上的概率分布。推断可以是或然性的(probabilistic)——也就是说，在感兴趣的状态上的概率分布的计算是基于数据和事件的考虑。推断还指所使用的用于从一组时间以及/或者数据中组成高等级事件的技术。这些推断会导致从一组观察的事件以及/或者存储的事件数据中构建新的事件或者动作，不论该事件是否在紧靠的时间附近(close temporal proximity)相关，以及不论该事件和数据是否来自一个或数个事件和数据源。

最近的研究表明大约7000万工人(美国工作的成年人中的59％)一般将完成表格作为他们工作责任的一部分。对于这7000万工人来说，至少25％一般填充电子表格(例如，在计算机上)，并且这个百分比每天都在增加。因此，加入到表格中的数据显示在计算机的显示器上是一个很普通的动作。填充表格是单调、耗时并且高度受到人类错误的影响。在许多情况下，被用于填充表格中的字段的数据可容易地以计算机可读的格式供使用，诸如在文本文件、email、以及或者web页上。从这样的数据中识别和提取(例如，解析)相关信息的技术是存在的，但是是高度不可靠的，并且因此不是很合适于直接填充数据库或者添加元数据(metadata)。例如，自然语言处理技术以及/或者其他的人工智能(AI)技术可识别计算机可读文档中的具体类型的信息元素，例如名字、地址、电话号码等等，但是这样的方法不能避免错误。本发明允许用户比通过传统的系统和方法更快地输入数据到电子表格中。此外，本发明通过允许使用不可靠的解析技术和允许用户视觉验证并校正由解析器造成的错误来允许用户在存在未标记的计算机可读数据时更加有效地输入信息。

图1是说明了帮助电子表格的辅助表格填充的系统100。按照说明，表格填充接口(FFI)102被展现给用户以辅助用户通过传输未标示的数据至标示的数据(例如，XML-格式的数据，…)，或者至数据库中来填充表格。FFI 102(此处也称为“屏幕”)包括表格数据图形用户接口(GUI)104(此处也称为“表格”)而未标示的媒质GUI 106(此处也称为“文本框”)，它们可在屏幕上位于相互紧临的位置以方便用户。表格数据GUI 104包括数个字段108，这样每个字段被保留用于具体的信息片(piece of information)(例如，名、姓、街道地址、邮政编码……)。状态指示器110可与每一个字段108相关地操作以通知用户在具体字段中的信息的当前状态。此外，可信度指示符112可与每一个字段108相关以通知用户关于与字段108中的信息的正确性相关联的概率。

在图1中说明的FFI 102示出了用于输入联系信息的接口。起初，表格数据GUI 104(例如，典型的联系信息表格、货物以及/或者服务定购表格…)以及空的文本框106被展现给用户。用户可复制文本段至文本框106(例如，通过从email剪切和复制…)，而系统100可试图分类、或者解析未标记的数据以识别在未标示的数据中的元素。当未标示的数据被解析时，系统100可在具有所识别的元素的计算机终端上填充表格104中的字段108。文本框106和表格104中的原始未标记的数据可被同时显示在屏幕102上，而未标记的数据可被增加以视觉地表示相关性(例如，使用色彩编码……)。例如，系统100可使用紫色来表示未标示文本中的某个元素已经被用于填充表格104中的地址字段。按照该示例，其他的色彩(例如，橙色)可被用于标示系统100已经确定具体的文本是潜在的感兴趣的，但是可信度等级并不足以高到将其分配到字段中，并且，因此用户可以做出确定是否具体的文本是否应该被分配给具体的字段。

按照本发明的相关方面，用户可在表格的一部分中进行填充，而系统100可在可供使用的未标记的计算机可读媒质中搜索，定位潜在的字段输入候选，显示该定位的文档以及/或者元素，并填充表格中的剩余字段。以这种方式，可执行部分的自动填充。

用户可快速验证解析的正确性。如果解析存在错误，用户可校正它们(例如，通过从未标记的文本中拖曳元素并将它放置在表格的相应字段中、通过直接在字段中键入、通过在文本框106中校正文本等等)。此外，解析协议可利用侧信息(side information)，例如由用户提供的校正或者添加。例如，如果用户输入信息至字段或者校正了起始的解析，该用户可指令系统重新解析该未标记的文本并依靠由用户提供的侧信息(通过点击图1中标有“AutoFill”的按钮)，继续本发明，名称“Charles Stanly”说明“Charles”是特定联系人的名而“Stanely”是特定联系人的姓。然而，用户可发现联系人的姓和名颠倒了，无论是由于意外还是其他原因，并且可使用上述的拖-放技术将“Stanely”放置到名字段中。此外，字段可被提供下拉式菜单，以使在文本框中显示的未标记数据包含多余一个的名时，例如，一个名可被显示在名字段中而其他可在下拉式菜单中被提供，这样用户可简单地打开菜单(例如，点击，拖曳…)并在字段要求校正时选择一其他名称(alternate name)。

在进行该动作时，系统可自动将“Chaeles”移动到姓字段中，降低填充表格所要求的用户动作的数量且同时增加姓字段的可信度等级，这是基于用户验证“Stanley”是联系人的名且因而不会是联系人的姓的事实。这样的自动粘贴用户动作(post-user-action)字段填充是校正传播的一个示例。

在一些情况中，允许用户识别哪一个字段可被用作侧信息(例如在所填充的字段中的信息以及/或者由用户校正的信息…)是有利的，且哪个字段是系统允许覆盖的(例如，不包括侧信息的字段)。这种允许可通过状态指示器110来辅助，状态指示器110可指示用户没有在该字段上采取动作、或者已经验证了、校正了、以及/或者输入了信息至该字段。例如，每个字段的信息可以是“未填充以及未验证”、“自动填充但是未验证”、或者“用户或者自动填充并且验证”。

例如，“未填充以及未验证”的字段可以是第一色彩(例如，红色)的状态指示器110。如果系统100填充了字段(例如，字段是自动填充的)，之后状态指示器可升级至第二状态指示器色彩(例如，黄色)以警告用户字段已经被自动填充但是未经验证。这样的指示器可警告用户一种要求用户验证的情况，但是不需要校正的情况，如上述的“Charles Stanley”例子。如果用户验证在字段中的信息是正确的，状态指示器可被升级到第三色彩(例如，绿色)以表示状态“填充并验证”。继续该示例，如果用户输入信息至具有红色状态指示器的字段，则状态指示器可被直接升级至绿色，因为用户已经填充了该字段并通过完成该动作来验证该信息是正确的。因此该字段现在是“填充并验证的”。此外，另一个字段的可信度可被更新以及/或者通过用户验证以及/或者第一字段的校正来改善。例如，在“Charles Stanley”的示例中，如果没有验证哪一个名称是名以及/或者哪一个名称是姓，姓字段可具有黄色状态指示器。如果用户验证“Charles”是正确的名，则系统100将名字段的状态升级到“(用户)填充并验证”(例如，具有绿色的状态指示器)。因为用户已经验证“Charles”是名(并且因而不会是姓)，系统可将“Stanley”保留在姓字段中，且因此姓字段的可信度指示器也被从黄色升级到绿色(例如，自动填充并验证)。

按照本发明的相关方面，色彩编码的可信度指示器112可与具体的字段108相关(例如，字段的边界色彩，字段以及/或者文本的背景色彩，等等)。例如，难以让系统100以高可信度因素填充的字段可被按照可向用户表示该字段少于所希望的可信度阀值的色彩方案标记。可信度指示符可以不同灰度的色彩阴影表示从0到1的值。此外，该示例中的可信度指示器112可以是，例如，实心(solid)指示器、闪烁(blinking)指示器、全亮度、对比度等等的淡进淡出(fade in and out)指示器、或者任何可按照所论指示字段可信度的不同等级的其他适合的指示器方案。

按照一个示例，包括“@”或者“.com”的信息片可被自动插入到表格中的“email”字段。类似的，具有格式(nnn)nnn-nnnn、nnn-nnn-nnnn、nnn-nnnn等等的信息，其中n是整数，该信息可被以高度的可信度自动插入到电话号码字段中。需要理解高可信度指示可与其他类型的信息相关，该信息是针对这些信息将要被写入的字段中，而这些信息的自动插入不限于email以及/或者电话号码字段。

图2是说明了帮助辅助表格填充的系统200，包括控制组件202，其可操作的耦合于未标示的媒体GUI 204、表格数据GUI 206、以及解析组件208中的每一个。控制组件202可接收并分析未标记的数据以帮助填充表格中的字段。这些未标记的字段可通过未标记的媒体GUI 204展现给用户。未标记的数据可以是，例如，由用户粘贴到未标记的媒体GUI 204的email摘录。在将未标记的数据粘贴到未标记的媒体GUI 204中后，数据可被保存在未标记的媒体存储器210中。解析组件208可解析保存在未标记的媒体数据存储器206中的未标记的数据以确定潜在的表格填充数据(例如，诸如名称的合适的名词、诸如地址、电话号码、邮政编码的数字数据组…)，它们可被保存在表格数据存储器212中。保存在表格数据存储器212中的数据可被用于填充表格中的字段，并通过表格数据GUI 206展现给用户。如结合图1所描述的，之后用户可验证或者校正表格中个别字段，且这些验证以及/或者校正可被作为侧信息保存在侧信息存储器214中。解析组件208可使用所保存的侧信息来按照由用户进行的验证以及/或者改变来升级表格数据存储器212。在这种方式中，文本分类以及/或者标记可被更新，其允许和自动填充的字段相关的状态等级响应用户验证以及/或者字段的校正而升级。

需要理解此处描述的数据存储(例如，存储器)组件可以是易失性或者非易失性存储器，或者可包括易失性或者非易失性存储器两者。为了说明而不是限制，非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电子可编程ROM(ROM)、电子可擦写ROM(EEPROM)、或者闪存。易失性存储器可包括随机存取存储器(RAM)，其是作为外部高速缓存。为了说明而不是限制，RAM可以多种形式存在，诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接存储器总线RAM(DRRAM)。本系统和方法的存储器试图包括，但不限于这些以及任何其他合适类型的存储器。

图3说明了按照本发明的一方面并且以类似于在上面参考图2描述的方式来帮助辅助表格填充的系统300。系统300包括控制组件302，其可操作地耦合于未标示的媒体GUI 304、表格数据GUI 306、以及解析组件308中的每一个。控制组件302分析未标记的数据以填充表格中的字段。这些未标记的字段可通过未标记的媒体GUI 304展现给用户。未标记的数据可以是，例如，由用户粘贴到未标记的媒体GUI 304的email摘录。在将未标记的数据粘贴到未标记的媒体GUI 304中后，数据可被保存在未标记的媒体存储器310中。解析组件308可解析保存在未标记的媒体数据存储器306中的未标记的数据以确定潜在的表格填充数据(例如，诸如名字的合适的名词、诸如地址、电话号码、邮政编码的数字数据集合…)，它们可被保存在表格数据存储器312中。保存在表格数据存储器312中的数据可被用于填充表格中的字段，并通过表格数据GUI 306展现给用户。如结合图1所描述的，然后用户可验证或者校正表格中个别字段，且这些验证以及/或者校正可被作为侧信息保存在侧信息存储器314中。解析组件308可使用所保存的侧信息来按照由用户进行的验证以及/或者改变升级表格数据存储器312。在这种方式中，与自动填充字段相关联的可信度以及文本分类和/或标记可被更新，以响应用户验证以及/或者字段的校正而有利于校正传播。此外，解析组件308可操作地耦合于人工智能(AI)组件316，其可做出针对大多数可输入特定数据片的字段的推断。

如这里所使用的，术语“推断”一般是指从一组通过事件以及/或者数据捕获的观察中推出或者推断系统、环境、以及/或者用户的状态的过程。例如，推断可被用于识别一具体的环境或者动作、或者可产生在状态上的概率分布。推断可以是或然的(probabilistic)——也就是说，在感兴趣的状态上的概率分布的计算是基于数据和事件的考虑。推断还指所使用的用于从一组时间以及/或者数据中合成高等级事件的技术。这些推断会导致从一组观察的事件以及/或者保存的事件数据中构建新的事件或者动作，不论该事件是否在紧靠的时间附近(close temporal proximity)相关，以及不论该事件和数据是否来自一个或数个事件和数据源。多种分类方案以及/或者系统(例如，支持向量机器、神经网络、专家系统、Bayesian确信网络、模糊逻辑、数据融合(fusion)引擎…)可被与执行和本发明相关的自动以及/或者推断的动作相关联。此外，推断可被本发明使用，例如，基于隐性马尔可夫模型(HMM)，就如下面将要推断图4讨论的，参考下文。

图4说明了按照本发明的一方面使用HMM来帮助辅助表格填充的方案400。HMM和其他的或然论模型可被用于从用户接口“回-信道”信息至一解析器以帮助校正传播，其允许在单个字段由用户校正时校正邻居字段。HMM是具有一组状态Q、一输出字母，O、转换概率，A、输出概率，B以及初始状态概率，П的有限状态机变量。当前的状态一般不是可观察的。相反，每个状态可产生具有特定概率，B的输出。通常状态Q以及输出O是被了解的，所以HMM被认为是三元组的，(A、B、П)，具有下列的属性：

A＝[a_ij＝P(q_j at t+1|q_i at t)]

其中P(a|b)是对于一给出的b的条件概率，t≥1，以及q_i∈Q。

非正式的，A是下一个状态是q_j而给定当前状态是q_i的概率。

B＝[b_ik＝P(o_k|q_i)]

其中o_k∈Q。

非正式的，B是输出是o_k而给定当前状态是q_i的概率。

П＝[p_i＝P(q_i at t＝1)]

按照图4，示出了不同的随机变量X_l至X_n，它们可表示表格中的字段。这些字段可以是字段组中的一部分，包括{名、后缀(suffix)、姓、街道地址号、街道名称、城市、州、邮政编码、电话号码、email地址…}。还需要理解可被输入到其中的X字段的组以及信息片Y不限于上面描述的示例信息字段，但是还可包括任何其他合适的信息片以及/或者字段。Y可表示对应于给出的X的真实信息片，这样如果Y₁等于“John”，且如果X₁＝“first name”为真(例如，P(X1＝first name＝1))，则“John”可以插入到用X₁所表示的字段中。类似的，如果Y₂＝“Smith”而X₂＝“last name”为真，则“Smith”可被插入到与X₂相关联的字段中。因此，当Y的值是被观察到时，X仍然是隐性的。一般，概率分布将是被观察到的(例如，(P(X₁＝名)＝0.23，P(X₁＝姓)＝0.03，P(X₁＝城市名称)＝0.093等等)，这样显示具有最高分的标记(例如，按照该示例是“first name”)可被选择。这样的推断有利于寻找隐性变量的最佳设置。在隐性马尔可夫模型的情况下，可找到最有可能的状态序列。例如：

\underset{x_{1}, . . ., x_{n}}{\arg \max} p (Y_{1} . . . Y_{n} | X_{1} = x_{1}, . . . X_{n} = x_{n})

按照类似的示例，具体的X可和条件“5个数字”相关，这样如果Y具有7个数字(555-1234)则其将注册一较低的概率(例如，P(Y＝555-1234|X＝0.00001)用于具体的所论的X。相反的，包括诸如12345的信息Y将被注册一高的概率(例如，P(Y＝555-1234)|X＝0.9989)用于具体的X并可被插入到表格中相关的字段中。类似的，上面描述的7个数字的Y对于具有条件“7个数字”的X将注册高概率的结果。本发明可使用任何数量的可是的变量或者测试来确定哪一个具体的Y满足和具体X相关的条件以帮助辅助表格填充。

本发明可利用(capitalize)或然论模型的优势，诸如上述的HMM，其包含隐性和显性的随机变量，通过设置隐性变量(X)至对应具体的字段的标签的状态。例如，HMM中的Y随机变量是“显性”的随机变量，其中每个变量对应一个记号(token)。一个记号(token)是记号定界符(delimiter)(例如，空格、破折号、逗号等等)之间的文本的片段。例如，文本串“this-isa，test”将被记号化成：

“this”＝记号1

“is”＝记号2

“a”＝记号3

“test”＝记号4

1是隐性变量，X表示具有每一个允许的标记的记号的概率(例如，记号在标记上的分布)。在信息提取字段中，最通常的，由于没有使用“侧信息”，X仍然是非显性的。为了强迫或然论模型使用侧信息(例如，在具有用户提供的文本的文本字段的表格中)，对应于用户提供的文本的记号可被搜索而对应的隐性变量X可被设置为对应于该字段的标记的状态。这可被视为设置p(X1＝名)＝1以及P(X1＝姓)＝0等等，并且在推断期间不进行更新。例如，如果用户键入“Smith”至表格的姓字段，可在所有的记号中进行搜索以查找“Smith”。之后，设置p(X2＝姓)＝1，并且在推断期间不更新概率分布。

校正传播还可以进一步完成将回信道信息从用户接口传送至解析器。在这种形式下，邻居字段可在单个字段由用户校正时被填充。如，本发明可使用基于规则的解析方法，其中简化版本的规则表示“如果姓字段是由用户设置，则在未标记的文本中查找名并且将紧靠在姓之前的单词标记为名”。也可以对应用于姓的规则。在这种形式下，对于名的校正“传播”至姓。需要理解此处描述的校正传播不限于姓和名，还可被应用于任何的以及所有相关类型的信息、文本等等。

此外，本发明可使用条件随机字段(CRF)，其是HMM和最大熵模型两者的推广。CRF允许引入任意的非局部特征并捕获标记之间的独立性，允许估计所解析的信息片的可信度。在这种方式中，本发明可在信息具有高可信度等级时自动分配所解析的信息片至一字段，并可标示具有低可信度等级的信息片以供用户回顾以及/或者校正。

图5说明了随机不正确字段被校正前后CRF之间的关系的柱状图500。在填充表格期间，针对字段验证和校正的用户动作可被通过数个用户互动模型(UIM)预测以及/或者模型化。例如，在简单的情况中，UMI1，一用户可被展现一自动填充的表格并被要求校正所有的错误(例如，不进行校正传播)。因此，所要求的用户动作的数量等于在自动填充表格期间发生的错误的总数。

按照第2种情况，UIM2，假设一初始的自动字段分配，基于系统可起始校正传播，用户执行单一、随机选择的校正。如此反复直到所有的字段被校正。

按照第3种情况，UIM3，假设一初始自动字段分配，而用户在最少可信度不正确字段上进行校正。例如，可按照可信度(例如，按可信度指示符)视觉地向用户发出关于字段的警告直到错误被找到。校正传播可按照最少可信度字段执行，而用户可被提示校正任何剩下的错误。

表格填充一般要求完美的精确性。因此，所带来的好处可在无论何时填充时间减少了，还是对用户的认知负担减少了，或者两者减少时被认识到。本发明使用有效的测量，称为预期的用户动作数量(ENUA)来辅助其他的标准性能测量。ENUA被定义为正确填充表格中的所有字段所要求的用户动作的数量(例如，点击…)。ENUA可根据UIM而变化，如上面所描述的。为了表示ENUA，使用符号P(i:j)，其是在i次人工校正之后错误j的数量的概率分布。该分布可使用图5中的柱状图表示：

例如，在UIM1下，ENUA为：

ENUA = Σ_{n = 0}^{\infty} nP (0; n)

其中P(0:n)是不正确字段(参考图2)上的分布。

例如，按照UIM2和UIM3模型，ENUA为：

{ENYA}^{1} = (1 - P (0; 0)) + \underset{n}{Σ} nP (1; n)

其中P(0:0)是所有字段被正确地初始分配的概率而P(1:n)是在一个字段被校正之后表格中不正确字段的数量的分布。不同的分布是根据哪一个UIM被使用。ENUA¹的上标1表示校正传播被执行了一次。

还是参考图5，表格被按照在每个表格中包含错误的字段的数量而分组。实心条表示在任何校正之前使用基于CRF的解析的结果，而虚框表示在一个随机不正确的字段被校正之后的分布。这样的信息可分别被用于估计P(0；n)和P(1；n)。

同时，为了解释简单，此处示出的一个或多个方法，例如以流程图的形式示出的，被作为一系列的动作示出并描述，需要理解并领悟本发明并不为动作的顺序所限，一些动作可按照本发明以不同的顺序出现以及/或者与其他在此处示出或者描述的动作同时出现。例如，熟悉本领域的人员将会理解和领悟方法也可以被展现为一系列相互关联的状态或者事件，诸如在一状态图中。此外，并不是所有的所示出的动作是实现按照本发明的方法所要求的。

图6是说明按照本发明的一方面用于辅助自动填充表格的方法600。在602，选择的未标记的媒质被插入到一未标记的媒质GUI中的文本框中。在604，插入的媒质被解析以确定可潜在被用于填充表格中的字段的元素。在606，状态可被分配给输入到字段中的元素并被指示给用户。例如，所选择的未标记的媒质，诸如“John Smith and Jane Doe will be at the convention nextweekend”包含两个名和两个姓。如果“John”被用于填充例如一联系人列表中的“名”字段，则其可与其状态指示符相关(例如，“填充但是未验证”)，其可警告用户“John”可能不是在名字段中正确的(例如，期望的)输入。此外，“Jane”可通过下拉式菜单而变得对用户可用以帮助潜在的用户校正姓字段。指示符可以是，例如，紧靠名字段的色彩编码的状态指示符“亮”。继续该示例，一红-黄-绿协议可被用于指示不同的状态等级，其中红色表示字段未填充且未验证，黄色表示字段已填充但是未验证，而绿色表示字段被填充(或者自动填充或者由用户填充)并且验证。在本示例中，姓字段可具有黄色的状态指示器，表示姓字段被填充，但是姓“John”还没有被验证。

在608，用户被提醒验证以及/或者校正表格字段，而具体的表格字段展现了少于，例如绿色状态的任何东西(例如，在示例的情况中绿色表示填充且验证的状态)。然后，在步骤610，针对用户是否校正(例如，改变了)了任何信息做出确定。按照本示例，如果“John”不希望在“名”字段中输入，则用户可点击文本框中的“Jane”并拉曳“Jane”至姓字段以校正该输入。此外，“Jane”可从已经展现在该名字段中的下拉式菜单中选择。如果用户已经校正了任何的信息，则该方法可进入612，其中字段可以根据用户的输入作更新同时文本可被重新解析。本方法可被转换到606用作属性升级以及使数据输入到表格的字段中，该字段可以针对用户输入发生。如果用户在610没有校正信息，那么能在614作出一个确定针对是否用户验证了字段输入。如果用户没有在614验证字段输入，则该方法可转换到608以进一步提示用户在展现除了“填充且验证”以外的状态的字段输入上采取动作。如果用户在614验证精确的信息，那么其他的字段相应的属性标示可在616被更新。例如，“John”是姓字段所需要的输入，则指示符的状态可在616从黄色升级到绿色。

图7说明了根据本发明的一个方面帮助辅助用户填充表格的方法700。在702，所选择的未标记的媒质被粘贴到表格填充界面中的文本框中。在704，未标记的媒质被粘贴到所识别的潜在的元素中(例如，名称、地址、电话号码…)，它们可被用于填充表格中的字段。在706元素可被输入，而状态可与输入的元素相关并显示给用户以表示特定的输入是否正确插入到相关的字段中。在708，针对是否所有的字段展现了最高可能性状态的确定被做出(例如，是否所有的字段是“填充并且验证”的)。如果所有的字段在708显示了“填充且验证”的指示，则用户不需要被提示采取行动而该方法可终止。然而，如果任何字段展现了少于“填充且验证”的状态，那么方法进入到710，其中用户被提示校正以及/或者验证任何有疑问的字段。在712，可针对用户是否已经校正了一个字段输入的确定被做出。如果是这样，则在714，表格字段可根据用户输入被更新，而文本框可被重新解析，在转换到706进行状态升级和将元素输入到字段之前。如果确定用户没有在712校正任何的字段，那么在714针对用户是否验证了有疑问的字段的确定可被做出。如果用户没有验证具有少于所希望的状态的字段，那么该方法可转换到710以进一步提示用户采取行动。如果在716确定用户已经验证了有疑问的信息，则在718字段可被更新且其相关的状态可被升级。

图8说明了按照本发明的一个方面的方法800，按照该方法802未标记的媒质被解析。在步骤804，隐性马尔可夫模型(HMM)被使用以确定可输入特定元素的正确字段。在806，元素被显示在具有一状态指示符的所确定的正确字段中。用户在808被提示验证和/或校正输入在字段中的信息。在810，作出针对用户校正是否被检测的确定，如果是这样则在812用户校正的字段以及通过校正传播而校正的其他字段可被更新，而状态也可因而升级。该方法然后转换到806，其中原素被显示而状态被按照用户输入而指示。如果校正没有在810被检测到，则在814针对用户验证是否发生的确定被做出。如果用户没有验证输入的信息是正确的，则该方法可转换到808以进一步提示用户采取行动。如果在814，确定用户已经验证了在有疑问的字段中的信息是正确的，则该方法进入到816，其中验证的元素被显示在正确地字段中，同时升级的状态也被显示。

图9说明了按照本发明的一个方面的方法900。在902，未标记的媒质被读取到未标记的媒质存储器中，在904，侧信息(例如，从用户动作，诸如数据输入、验证、校正…中收集的信息)被读取到侧信息存储器中。在906未标记的媒质可被解析以识别可潜在填充表格字段的元素。所识别的元素可在908被写入到别个数据存储器中。之后在910，所识别的数据可在表格GUI中的表格字段中显示给用户，在912，未标记的媒质GUI中的未标记媒质可与帮助辅助用户填充表格字段的视觉指示符一起被显示。例如：文本框中的名可被用一特定色彩(例如：橙色)色彩编码以表示它们可被输入到表格GUI的名字段中，该字段也用橙色进行色彩编码。按照另一个示例解析的未标记的包括一个“@”符号的文本可被编码成例如：蓝色，以表示该文本可被输入到表格GUI的“email”字段中，该GUI也是蓝色.

在914用户可被提示进行验证以及/或者校正在表格GUI的字段中的元素分配。然后，在916可作出决定再一次解析该未标记的媒质。如果做出了决定，则在918，用户输入被添加到侧信息存储器，而系统转换到906重新重复进行未标记的媒质解析和元素识别。如果确定在916没有附加的解析，则在920，表格数据存储器的内容可被写入到数据库或者文件中。

为了提供附加的环境用户实现本发明的多个方面，图10和11以及下述的讨论是为了提供一个合适的计算环境1000的简要、概括的描述，其中本发明的不同方面可被实现。虽然本发明在上面结合可在本地计算机以及/或者远程计算机上运行的计算机程序的计算机可执行指令的一般环境描述，本领域的技术人员将会认识到本发明也可以结合其他程序模块实施。一般，程序模块包括例程、程序、组件、数据结构等等，它们可执行具体的任务以及/或者实现具体的抽象数据类型。此外，本领域的技术人员还会认识到本发明的方法可在其他计算机系统配置中实现，包括单个处理器或者多个处理器的计算系统、迷你计算机、大型计算机、以及个人计算机、手持计算设备、基于微处理器以及或者可编程消费者电子设备，等等。其中的每一个可可操作地与一个或多个相关的设备通信。所示出的本发明的方面还可以在分布式计算环境中实现，其中特定的任务可由通过通信网络链接的远程处理设备执行。然而，本发明的一些，但不是全部的方面可在单个的计算机上实现。在分布式计算环境中，程序模块可位于本地以及/或者远程存储储存设备上。

如在该应用中所使用的，术语“组件”用于指计算机相关的实体，可以是硬件、硬件和软件的组合、软件、或者所执行的软件。例如，一组件可以是，但不限于在处理其上运行的进程、处理器、对象、可执行的执行线程、程序、以及计算机。为了说明，在服务器上的运行的应用程序以及/或者服务器可以是组件。此外，组件可包括一个或多个子组件。

参考图10，用于实现本发明的多个方面的示例系统环境1000包括传统计算机1002，其包括处理器单元1004、系统存储器1006、以及其耦合各种系统组件，包括将系统存储器耦合至处理器单元1004的系统总线1008。处理器单元1004可以是商业可用的或者专有的处理器。此外，处理器单元可被实现为由多余一个的处理器所形成的多处理器，例如可以是并行连接的。

系统总线1008可以是多种类型的总线结构中的任何一种，包括存储器总线或者存储器控制器、外围总线、以及使用诸如PCI、VESA、微通道、ISA、以及EISA(仅仅列出一小部分)的多种传统总线结构中的任何一种的本地总线。系统存储器1006包括只读存储器(ROM)1010和随机存取存储器(RAM)1012。包括帮助在计算机1002中的元件之间传递信息的基本例程，例如在启动期间的基本输入/输出系统(BIOS)1014被保存在ROM 1010中。

计算机1002还可包括，例如，硬盘驱动器1016、磁盘驱动器1018，例如用于读取或者写入至可移动盘1020、以及光盘驱动器1022，例如，用于读取或者写入CD-ROM盘1024或者其他光媒质。硬盘驱动器1016、磁盘驱动器1018、以及光盘驱动器1022分别通过硬盘驱动器接口1026、磁盘驱动器接口1028、以及光盘驱动器接口1030连接到系统总线1008。驱动器1016-1022以及它们相关的计算机可读媒质提供对于用于计算机1002的数据、数据结构、计算机可读指令等等的非易失性存储。尽管上面对于计算机可读媒质的描述是针对硬盘、可移动磁盘和CD，本领域的技术人员可以理解其他可被计算机读取的媒质的类型，例如磁带、闪存卡、数字视频光盘、Bernoulli盒式磁盘等等，也可以被用于示例操作环境1000，且进一步任何这样的媒质可包含用于执行本发明的方法的计算机可读指令。

数个程序模块可被保存在驱动器1016-1022的存储器和RAM 1012中，包括操作系统1032、一个或多个应用程序1034、其他程序模块1036、以及程序数据1038。操作系统1032可以是任何合适的操作系统或者操作系统的组合。为了举例，应用程序1034和应用模块1036可包括按照本发明的一个方面帮助基于客户的网络浏览(web-crawling)。

用户可通过一个或多个用户输入设备，诸如键盘1040和指示设备(例如，鼠标1042)输入命令和信息至计算机1002。其他的输入设备(没有示出)可包括麦克风、游戏杆、游戏盘、圆盘卫星天线、无线遥控器、扫描仪等等。这些或者其他的输入设备经常通过耦合至系统总线1008的串行接口1044连接到处理器单元1004，但是也可以通过其他接口，诸如并行端口、游戏端口或者通用串行总线(USB)连接。监视器1046或者其他类型的显示设备也可以通过诸如视频适配器1048的接口连接到系统总线1008。除了监视器1046，计算机1002可包括其他的外围输出设备(没有示出)，例如扬声器、打印机等等。

需要理解计算机1002可在使用逻辑连接至一个或多个远程计算机1060的网络化环境中操作。远程计算机1060可以是工作站、服务器计算机、路由器、对等设备或者其他公共网络节点，并一般包与合计算机1002相关描述的许多或者全部元件，尽管为了简明的目的，仅仅存储储存设备1062在图10中被示出。在图10中说明的逻辑连接可包括局域网(LAN)1064和广域网(WAN)1066。这样的网络环境在办公室、企业范围的计算机网络、内联网和互联网上是常见的。

例如，当在LAN网络环境中使用时，计算机1002通过网络接口或适配器1068连接至局域网1064。当在WAN网络环境中使用时，计算机1002一般可包括调制解调器(例如，电话机、DSL、电缆…)1070、或者连接到LAN上的通信服务器，或者具有其他用于在WAN 1066，诸如互联网上建立通信的装置。调制解调器1070相对于计算机1002可以是内置或外置的，通过串行端口接口1044连接至系统总线1008。在网络化环境中，程序模块(包括应用程序1034)以及/或者程序数据1038可储存在远程存储器存储设备1062中。可以理解，示出的网络连接是示例性的，也可以使用在计算机1002和1060之间建立通信链路的其他装置(例如，有线或者无线的)来实现本发明的一方面。

按照本领域中的技术人员实现的计算机编程，本发明已经参考可由计算机，例如计算机1002或者远程计算机1060执行的操作的动作和符号表现进行描述，除非另有表示。这样的动作和操作有时被称为是由计算机执行。可以理解动作和符号表现的操作包括由处理单元1004对表现数据比特的电气信号进行的操作，该数据比特会导致电气信号表现的变换或者转化，将该数据比特维持在存储器系统(包括系统存储器1006、硬盘驱动器1016、软盘驱动器1020、CD-ROM 1024、以及远程存储器1062)中的存储位置以重新配置或者改变计算机系统的操作以及对信号的其他处理。数据位所维持的存储器位置是具有对应于该数据比特的特定电、磁或者光学属性的物理位置。

图11示出了另一个本发明可交互的示例计算环境1100的示意框图。系统1100进一步示出了包括一个或多个客户机1102的系统。客户机1102可以是硬件和/或软件(如，线程、进程、计算装置)。系统1100也包括一个或多个服务器1104。服务器1104也可以是硬件和/或软件(如，线程、进程、计算装置)。例如，服务器1104可容纳线程，以通过使用本发明执行变换。客户机1102和服务器1104之间的一个可能的通信可以是适用于在两个或多个计算机进程之间传输的数据分组的形式。系统1100包括可用于便于在客户机1102和服务器1104之间通信的通信框架1106。客户机1102操作上连接至可用于储存对客户机1102本地的信息的一个或多个客户机数据存储1108。类似地，服务器1104操作上连接至可用于储存对服务器1104本地的信息的一个或多个服务器数据存储1110。

在本发明的一种情况中，数据分组在两个或者多个帮助网络浏览的计算机组件之间发射，数据分组包括，至少部分和使用至少部分用于网络浏览的分布式系统的网络浏览相关的信息。

在本发明的另一种情况中，计算机可读媒质保存用于帮助网络浏览的的系统的计算机可执行组件，其包括至少部分，用于确定至少部分由用于网络浏览的分布式系统编译的维持用于web页的信息的网络浏览系统。

需要理解本发明的系统以及/或者方法可被用在帮助计算机组件和类似的与计算机无关的组件的网络浏览系统中。此外，熟悉本领域的技术人员会认识到本发明的系统以及/或者方法可被用在多种和电子相关的技术中，包括但不限于，计算机、服务器以及/或者手持电子设备以及类似的有线以及/或者无线等等的设备。

熟悉本领域的技术人员还将认识到本发明不仅可用于基于服务器到客户机的浏览系统，还可以用于对等的浏览系统。客户机执行一般和“服务器”行为相关联的任务也是可能的，且因此在本发明的一些情况中将一些和服务器相关联的特征转换到客户机上。本发明的这种情况的一个示例是执行至其他的客户机的“子浏览”以确定以及/或者导出信息并发送给服务器的客户机。这种情况可能是有益的，例如，在某个客户机可服务器之间存在瓶颈的网络中。数据可使用至服务器的最佳接入被传送到服务器。在本发明的另一个情况中，客户机可通过起始内联网系统中的子浏览来展现服务器的行为，因此可仅仅从单个以及/或者呈现在内联网中数量明显减少的客户机中报告信息至服务器。在这种方式下，搜索服务器可在客户机中起始多个子浏览以扩展其浏览资源。

上文所描述的包括本发明的示例。当然，不可能为了描述本发明而描述组件或方法的每一可想象的组合，但是本领域的普通技术人员可以认识到，本发明的许多另外的组合和置换是可能的。因此，本发明旨在包含落入所附权利要求书的精神和范围中的所有这样的改变、修改和变化。此外，在术语“包括”用于详细描述和权利要求书的意义上，这类术语旨在以与术语“包含”用作权利要求书中的过渡词语所解释的类似的方式为包含性的。

Claims

1.一种帮助辅助表格填充的系统，包括：

控制组件，接收未标记的文本输入信息；

解析组件，至少部分基于未标记的文本信息填充表格的子集；以及

显示组件，显示未标记的文本信息和填充的表格。

2.如权利要求1所述的系统，所述解析组件包括一人工智能(AI)组件，作出关于至少部分基于未标记的文本信息填充表格的推断。

3.如权利要求2所述的系统，所述AI组件使用隐性马尔可夫模型(HMM)来确定表格中所解析的文本信息可被输入的正确的字段。

4.如权利要求1所述的系统，所述显示组件使用色彩来表示至少一个所解析的未标记的文本元素和表格中至少一个的字段的兼容性。

5.如权利要求1所述的系统，还包括至少一个状态指示符，表示和表格中至少一个所填充的字段相关联的状态等级。

6.如权利要求5所述的系统，所述至少一个状态指示符是按照表示至少一个表格中的所填充的字段的状态等级的色彩编码而彩色化。

7.一种用于辅助表格填充的方法，包括：

接收未标记的媒质；

解析未标记的媒质以识别元素；

自动用所识别的元素填充表格；以及

向用户显示未标记的媒质并所填充表格。

8.如权利要求7所述的方法，还包括使用色彩来表示所识别的元素是与表格中的特定字段兼容的。

9.如权利要求7所述的方法，还包括使用至少一个隐性马尔可夫模型(HMM)来确定所识别的元素可被输入的合适的字段。

10.如权利要求7所述的方法，还包括表示和至少一个字段中的一个元素相关联的状态等级。

11.如权利要求11所述的方法，还包括如果和该至少一个字段中的至少一个元素相关联的状态等级低于希望的等级，提示用户验证以及/或者校正至少一个字段中的至少一个元素。

12.如权利要求11所述的方法，还包括按照用户验证以及/或者对于至少一个字段中的至少一个元素的校正来更新所填充的表格。

13.如权利要求12所述的方法，还包括至少部分基于用户验证以及/或者对于至少一个元素的校正而升级和至少一个元素相关的状态等级。

14.如权利要求11所述的方法，还包括使用不同的色彩表示状态的不同等级。

15.如权利要求7所述的方法，还包括如果所有字段中的所有元素的可信度等级高于希望的可信度阀值，存储所述填充的表格至数据存储器。

16.一种用户辅助用户填充表格的方法，包括：

读取未标记的媒质至未标记的媒质存储器中；

读取侧信息至侧信息存储器中；

解析未标记的媒质以识别用于填充表格的元素；

写入所识别的元素至表格数据存储器；以及

在表格图形用户接口的字段中显示所识别的元素。

17.如权利要求16所述的方法，还包括在未标记的媒质图形用户接口中显示具有视觉指示符的未标记的媒质。

18.如权利要求17所述的方法，其特征在于所述视觉指示符是指示至少一个所识别的元件和至少一个表格中的字段的兼容性的色彩。

19.如权利要求16所述的方法，还包括指示和填充一给定的字段的元素相关联的可信度等级。

20.如权利要求19所述的方法，其特征在于不同的状态等级由不同的色彩指示。

21.如权利要求19所述的方法，还包括如果字段包含至少一个错误，允许用户校正表格中的至少一个字段。

22.如权利要求21所述的方法，还包括附加从表格中的至少一个字段的校正中采集的信息至侧信息存储器。

23.如权利要求22所述的方法，还包括在附加从至少一个字段的校正中采集的信息之后重新解析未标记的媒质以传播对于至少一个字段的校正至至少一个其他字段。

24.如权利要求16所述的方法，还包括允许用户验证在至少一个字段中的至少一个元素是正确的。

25.如权利要求24所述的方法，还包括将表格中的至少一个字段的验证中采集的信息添加到侧信息存储器。

26.如权利要求25所述的方法，还包括在添加至少一个字段的验证中采集的信息之后重新解析未标记的媒质以传播至少一个字段的校正至至少一个其他字段。

27.如权利要求16所述的方法，还包括如果没有错误在表格中呈现，将表格数据存储器的内容写入到文件中。

28.一种在表格填写中减少错误和所需时间的系统，包括：

用于接收未标记媒质输入的装置；

用于解析未标记媒质的装置；

用于使用所解析的未标记位置填充表格的装置；以及

用户并发显示未标记的媒质和被填充的表格的装置。

29.如权利要求28所述的系统，还包括用于指示和所填充的表格中的至少一个字段相关的状态等级。

30.如权利要求28所述的系统，还包括用于校正以及/或者验证所填充的表格中至少一个字段的装置。

31.如权利要求28所述的系统，还包括用户指示所解析的未标记的媒质元素和表格中的字段之间的兼容性的装置。

32.一种计算机可读媒质，存储有计算机可读指令，用于：

接收未标记的媒质；

解析未标记的媒质以识别元素；

用所识别的元素填充表格中的字段；

指示与表格中所填充的字段相关联的状态；以及

允许对所填充的表格中的字段中的元素进行校正以及/或者验证。