CN105408890B - 基于声音输入执行与列表数据有关的操作 - Google Patents

Abstract

本申请中描述的是与基于声音输入而针对列表数据执行操作有关的各种方法。ASR系统包括基于列表数据的内容而定制的语言模型。ASR系统接收表示用户语言的声音输入。ASR系统基于利用列表数据的内容而定制的ASR来创建声音信号的转录。基于声音信号的转录而执行针对列表数据的操作。

Description

基于声音输入执行与列表数据有关的操作

背景技术

计算机可执行的电子表格应用一般被配置成允许其用户组织并分析列表数据。一般而言，计算机可执行的电子表格应用的电子表格包括排列成行和列的单元。上述单元可以包括相应的文本串，其中文本串可以是或包括数值、文本字符、符号、或其一些组合。此外，可以向单元分配函数，使得可以基于电子表格中的其他单元的值来确定该单元的值。电子表格应用的用户可以选择单元，并且例如通过改变该单元中的字符或修改分配给该单元的函数来手动地修改其内容。

常规的电子表格应用非常适合组织和操作列表数据，尤其是在电子表格应用的用户熟悉由电子表格应用原生支持的函数和调用这些函数的命令的情况下。在示例中，通过选择单元、在文本输入字段中说明文本命令(例如，“求和(SUM)”)、并选择若干单元(例如，通过图形用户界面或文本输入的方式)，电子表格应用的用户可以使得若干单元中的值被求和，其中所产生的和在特定的单元中示出。

虽然新手用户一般可以相对迅速地学习电子表格应用所支持的基本函数，但是新手用户经常发现难以执行列表数据的更复杂或细微的操作。此外，用户经常难以记住或知道针对不同的电子表格环境的正确语法(即使当用户是专家时)，这是因为不同的电子表格环境具有其自身各自的细微差别。例如，常规电子表格应用的新手用户可能难以执行针对在电子表格应用中加载的列表数据的某些类型的排序操作。在另一示例中，新手用户可能难以创建电子表格应用所支持的用于重新组织列表数据的命令序列。在一些情形下，例如，新手用户将承担手动拷贝单元值并将其放置在期望的位置的艰巨任务而不是构造可以自动执行该重组织的宏。

此外，一些类型的电子表格相关的操作在移动计算设备上可能是困难的，这是由在这些设备上相对小的显示基板面引起的。为了克服与较小显示器关联的问题，用户可以扩大在显示器上的视图，这提供了对电子表格的一部分的“放大”视图。然而，这可能阻止了用户获得列表数据的更全局的视图，潜在地不利地影响了利用电子表格应用的用户体验。

发明内容

下文是对在本申请中更详细描述的主题的简要概述。该发明内容并不意在对权利要求保护范围进行限制。

本申请中描述的是通过语音输入的方式来促成对操作列表数据的操作的各种技术。例如，一种应用可以被配置成显示列表数据，例如词处理应用、电子表格应用、网络浏览器等。该应用可以在其中加载列表数据，其中列表数据可以包括在特定的语言中一般不使用的值、用户定制的值(例如，人名、用户定义的缩略词等)。该应用可以进一步包括被配置成识别由应用的用户提供的口头查询的自动语音识别(ASR)系统或与该自动语音识别(ASR)系统进行通信。在示例性的实施例中，可以基于加载到电子表格应用中的数据来定制ASR系统。例如，列表数据可以包括条目“OT付款”，其中短语元素“OT”是“超时”的缩略词，且短语元素“付款”具有其常规的语义。然而，短语“OT付款”不是在英语语言中典型使用的短语；因此，常规的ASR系统(即使大词汇量的ASR系统)可能难以正确重组由用户提供的口头表达中的短语“OT付款”。例如，常规的ASR系统可以确定口头表达包括短语“旧的假发”而不是“OT付款”。

根据本申请中描述的方面，在应用中包含的或该应用可访问的ASR系统可以基于列表数据来进行定制。例如，ASR系统可以包括声学模型、词典模型、以及语言模型，其中声学模型以特定的语言对音素建模，词典模型对元素建模(例如，诸如词语或三音素之类的音素序列)，且语言模型对元素的序列建模。依照一示例，词典模型或语言模型中的一个或多个可以基于列表数据被更新。继续上文给出的示例，可以将语言模型定制成包括元素序列“OT付款”。

在更多的特性与语言模型相关的情况下，可以基于当与应用交互时已经被观测到在历史上被用户采用的查询、命令等来构造语言模型。即，语言模型可以包括多个部分完成的短语，其中针对短语中的元素序列定义统计概率。例如，语言模型可以包括部分完成的短语“多少＿”。该部分完成的短语可以基于列表数据的内容来完成。例如，字符序列“OT付款”可以被插入到上述记载的空白区域中，从而形成了完整的短语“多少OT付款”。这有效地限制了对ASR系统的搜索，使得当用户给出口语表达“我们公司去年付了多少OT付款”时，ASR系统可以识别用户指的是列表数据中的特定条目或条目组(例如，举例而言，标记了“OT付款”的列头部)。

因此，该应用可以被配置成响应于接收语音命令而针对列表数据执行操作。这样的操作可以包括但是不限于数据排序、针对数据的数学函数、列表数据的扩充、列表数据的可视化等。再一次，当基于列表数据的内容限制搜索空间时，ASR系统可以相对准确地对由应用的用户提供的口头命令进行解码。

上面的发明内容呈现了简化的发明内容以提供对本申请中讨论的系统和/或方法的一些方面的基本理解。该发明内容不是对本申请中讨论的系统和/或方法的广泛概述。其并不意在标识关键的/重要的元素或描绘这样的系统和/或方法的范围。其唯一目的在于以简单的形式将一些概念呈现为稍后呈现的更具体描述的前序。

附图简要说明

图1是促成基于加载到电子表格应用中的列表数据对口头表达进行解码的示例性系统的功能框图。

图2是可以基于加载到应用中的列表数据而定制的示例性自动语音识别(ASR)系统的功能框图。

图3是可以基于自然语言查询而修改加载到应用中的列表数据的示例性表格操作系统的功能框图。

图4是促成构造对网络可访问的表格进行索引的索引的示例性系统的功能框图。

图5是可以针对对表格进行索引的索引执行查询并且基于该查询而输出表格的排序列表的示例性数据取回组件的功能框图。

图6是用于基于对表示用户的口头表达的声音信号的解码而执行针对列表数据的计算操作的示例性方法的流程图。

图7是用于基于加载到应用中的列表数据的内容而更新ASR系统中的语言模型的示例性方法的流程图。

图8至24示出了电子表格应用的示例性图形用户界面。

图25是示例性计算系统。

具体实施方式

现在参考附图描述涉及基于语音输入针对列表数据执行操作的各种技术，其中贯穿全文相同的附图标记用于指相同的元件。在下文的描述中，为了解释的目的，给出了各种具体的细节以提供对一个或多个方面的透彻理解。然而，可能显然的是可以在没有这些具体细节的情况下实践这样的方面。在其他实例中，以框图形式示出公知的结构和设备以促成描述一个或多个方面。此外，应理解的是，被描述为由某些系统组件执行的功能可以被多个组件执行。类似地，例如，一个组件可以被配置成执行被描述为由多个组件执行的功能。

此外，术语“或”意在指包含性的“或”而不是排他性的“或”。即，除非明确指定之外，或从上下文清晰的，短语“X利用A或B”意在指自然的包含性排列中的任何一个。即，以下实例中的任何一个满足短语“X利用A或B”：X利用A；X利用B；或X利用A和B两者。此外，除非明确指定或从上下文清楚是针对单数形式之外，如本申请和所附权利要求中使用的冠词“一”和“一个”一般应该被解释为指“一个或多个”。

此外，如在本申请中所使用的，术语“组件”和“系统”意在包含计算机可读数据存储设备，其利用当由处理器执行时使得执行某个功能的计算机可执行指令来配置。计算机可执行指令可以包括例程、函数等。也可以理解的是，组件或系统可以位于单个设备上或可以跨若干设备分布。此外，如在本申请中所使用的，术语“示例性的”意在指充当某物的示出或示例，且其不意在指示偏好。

现在参考图1，示出了促成基于声音输入而执行针对列表数据的操作的示例性系统100。系统100包括客户端计算设备102，其可以是但是不限于是台式计算设备、膝上型计算设备、电话、平板(从属)计算设备、可佩带计算设备、视频游戏机、电视机等。该系统100可以可选地包括服务器计算设备104，其中客户端计算设备102通过诸如互联网之类的网络106的方式与服务器计算设备104进行通信。

客户端计算设备102包括客户端处理器108和客户端存储器110。客户端存储器110已经将由客户端处理器108执行的应用112加载在其中。应用112将列表数据114加载到其中。因此，应用112可以是例如电子表格应用、字处理应用、网络浏览器、幻灯片展示应用、数据库管理系统等。列表数据114包括以行和列布置的多个条目。条目中的一条目可以包括文本字符串，其中文本字符串包括一系列字符。字符可以是字母、数字、和/或符号。此外，在示例中，字符串可以代表实体，其中实体可以是人、地方、或事物。此外，文本字符串可以是描述与包含文本字符串的条目关联的实体的实体名称。例如，文本字符串可以包含在针对列的列标题中。在更具体的示例中，列标题可以包括文本字符串“人”，且列中的条目可以包括人的相应名字。可以理解的是，文本字符串可以在列表数据114的主体的行标题中。

客户端计算设备102还包括显示器116或与显示器116通信，其中客户端处理器108可以使得列表数据114显示在显示器116上。显示器116可以是触摸敏感性显示器，使得可以通过在显示器116上执行的手势向应用112提供输入。客户端计算设备102还可以包括麦克风118或与麦克风118通信。麦克风118从客户端计算设备102的用户接收声音输入并基于声音输入生成声音信号。从而，声音信号是声音输入的电子表示。

应用112另外包括被配置成执行与被加载到应用112中的列表数据114相关的计算操作的执行器系统120。由执行器系统120所支持的示例性操作包括但不限于在列表数据114中对数据排序、对列表数据114中的数据进行过滤(filter)、针对列表数据114中的至少一部分执行数学操作、使列表数据114可视化(例如，生成代表列表数据114的图形或图表)、利用其它数据扩大列表数据114等等。

执行器系统120可以包括自动语音识别(ASR)系统122，其中ASR系统122响应于接收到声音信号而识别声音输入中的元素(词语、首字母缩写、缩写等)、以及输出声音输入中的文本转录。ASR系统122可以使用声音信号以外的数据来识别声音输入中的元素，包括与应用112的历史交互、在显示器116上的眼睛注视位置、来自外部源的数据等。如将在本申请中更详细描述的，ASR系统122可以基于被加载到应用112中的列表数据114来定制。当基于列表数据114定制时，ASR系统122可以识别声音输入中的元素，上述声音输入通常不是以客户端计算设备102的用户所说的语言来使用的。在非限制性示例中，ASR系统122可以识别不常见的或由应用112的用户发明的列表数据114中的首字母缩写。

执行器系统120还包括与ASR系统122通信的表格操作系统124。表格操作系统124接收由ASR系统122生成的声音输入的转录，并响应于接收到转录而执行上文提及的与列表数据114相关的计算操作。

如先前所指示的，系统100可选地包括服务器计算设备104，其与客户端计算设备102通信。服务器计算设备104包括服务器处理器126和服务器存储器128。服务器存储器128包括由服务器处理器126执行的搜索系统130。服务器计算设备104还包括数据存储库132或与数据存储库132通信，其中数据存储库132包括表格索引134，其中表格索引134对网络可访问的表格(例如，通过互联网的方式可访问的网页上的可用的表格)进行索引。如先前所指示的，可以由执行器系统126执行的示例性操作包括扩充列表数据114。为了扩充列表数据114，表格操作系统124可以接收由ASR系统122输出的文本(转录)且可以基于所接收的文本构造查询。表格操作系统124可以通过网络106向服务器计算设备104发送查询。服务器处理器126接收该查询，且搜索系统30基于该查询通过表格索引134执行搜索。更具体地，搜索系统130通过表格索引134进行搜索并识别与查询相关的另外的列表数据。然后，搜索系统130可以通过网络106的方式向客户端计算设备102发送该另外的列表数据，且表格操作系统124可以利用从服务器计算设备104接收的该另外的列表数据扩充列表数据114。

现在描述系统100的操作。客户端计算设备102的用户可以使得应用112被加载到存储器110中并由客户端处理器108执行。客户端处理器108可以使得在显示器116上呈现应用112的图形用户界面(GUI)。客户端计算设备102的用户可以使得列表数据114被加载到应用112中(例如，从存储器110或另一数据库)或可以通过诸如键盘、显示器116等之类的适当的输入机制的方式将列表数据114输入到应用112中。如先前所指示的，列表数据114包括多个条目，其中在多个条目中的一条目包括文本字符串。

响应于列表数据114被加载到应用112中，ASR系统122可以基于列表数据114来定制。例如，ASR系统122可以基于列表数据中的文本字符串来定制。在非限制性的示例中，文本字符串可以是“OT付款2012”，其中“OT”是代表“超时”的首字母缩写，“付款”具有其已知的语义，且“2012”指2012年。ASR系统122可以被定制成在其词典模型或语言模型中包括“OT付款2012”，从而允许ASR系统122在声音输入中包含短语“OT付款2012”时来识别该短语。

此外，ASR系统122可以被定制成仔细考虑列表数据114中文本字符串的已知同义词。在该示例中，ASR系统122可以分析列表数据的内容并将“OT付款2012”识别为包含在列表数据中，但是未在ASR系统122的词典模型中表示。响应于识别上文提及的文本字符串，ASR系统122可以搜索文本字符串“OT付款2012”的部分的已知同义词。例如，ASR系统122可以搜索同义词数据库并确定“超时”是首字母缩写“OT”的同义词(例如，尤其当与词“付款”一起使用时)。这允许ASR系统122相对于客户端计算设备102的用户如何指代列表数据114中的文本字符串是健壮的。例如，用户可以给出以下查询，“将超时付款列中的所有值求和”。当ASR系统122被更新为仔细考虑列表数据114中的文本字符串的已知同义词时，ASR系统122可以将声音信号中的“超时”映射到文本字符串中包含的“OT”，且可以将包含“OT”(而不是“超时”)在其内的转录输出。在另一示例中，表格操作系统124可以了解同义词，且可以将转录中的“超时”映射到“OT”。如上文所指示的，可以从已知同义词的数据库获得这些映射。在其他示例中，可以由系统管理员或终端用户提供上述映射。表格操作系统124可以接收由ASR系统122生成的文本且可以基于这样的文本执行操作。此外，针对外部数据的先前的知识可以被推送至ASR系统122以减少错误。例如，可以修改ASR系统122以包含实体、名字属性、概念、出现统计、和针对概念和属性的共同出现统计的词典。

此外，如将在本申请中更详细描述的，执行器系统120支持基于由客户端计算设备102的用户给出的自然语言查询而执行与列表数据114相关的操作。如上文所指示的，ASR系统122可以输出表示在客户端计算设备102处接收的声音输入中的元素的转录。表格操作系统124可以基于例如列表数据114的内容而消除操作之间歧义。例如，表格操作系统124可以识别列表数据114中实体的类型(例如，人、地方、或事物)。然后，表格操作系统124可以使用这样的已知类型来消除自然语言查询的解释之间的歧义。当表格操作系统124解释用户查询时，表格操作系统124可以使用列表数据114的内容、以及潜在远程识别的数据(由搜索系统130识别)以生成自然语言查询的程序解释(例如，程序被认为执行在由客户端计算设备102的用户给出的自然语言查询中请求的任务)。可以由表格操作系统124使用的其他的示例性数据包括针对某个实体或实体类型的特定属性的概率、可靠性和密度。

现在参考图2，示出了ASR系统122的示例性功能框图。ASR系统122可以包括用于执行识别任务的任何合适的计算结构。例如，ASR系统122可以是或包括隐马尔可夫模型(HMM)、高斯混合模型(GMM)、神经网络、深度神经网络(DNN)等。ASR系统122包括声学模型202、词典模型204、以及语言模型206。声学模型202以感兴趣的语言对音素建模。例如，英语中大约存在40个音素，且声学模型202可以统计性地对这些音素建模。词典模型204对要由ASR系统122识别的实体进行定义。常规地，这些实体是词语。然而，在另一示例中，实体可以是音素序列(三音素)，其中词库模型204定义了针对音素序列的可能性。语言模型206模型针对实体序列定义了概率。在示例中，语言模型206可以指示如果词语“多(how)”和“远(far)”被识别为具有较高概率是按该顺序的，则下一个词为“离(away)”的概率较高。

ASR系统122还包括被配置成基于列表数据114中的文本字符串定制语言模型206的更新器组件208。按照示例，语言模型206可以初始包括被观测由应用112的用户在历史上使用的短语中的空白间隔或空位(slot)。例如，可以通过监控与电子表格应用交互等从网络挖出这些短语。示例性的部分短语可以包括诸如“总计”、“多少”、“排序基于”等之类的词语序列。然后，空白间隔和槽可以利用从列表数据114提取的文本字符串来填充，且可以在语言模型206中计算和包含针对所完成的序列的概率。

继续利用上文给出的示例，可以利用文本字符串“OT付款”来完成部分完成的短语“总计＿”(例如，以形成序列“总计OT付款”)。同样地，可以利用文本字符串“OT付款”来完成部分完成的短语“多少＿”(例如，以形成序列“多少OT付款”)。可以基于列表数据中的文本字符串的上下文来计算针对这些字符串的概率；例如，文本字符串“OT付款”可以是列标题，且列条目可以是数字的。从而，当短语指数值(例如，“多少”、“总计”…)时，可以计算出“OT付款”成功完成短语为高概率。相反，当短语指字母值(例如，“按字母顺序排列”)时，可以计算出“OT付款”成功完成短语为低概率。

此外，更新器组件208可以接收同义词210且可以更新语言模型208以仔细考虑这样的同义词。例如，如上文所指示的，“超时”可以是首字母缩略词“OT”的已知同义词；从而，更新器组件208可以基于列表数据114中的文本字符串的已知同义词来定制语言模型206。又进一步地，如上文所提及的，更新器组件208可以基于关于列表数据114中文本字符串的已知语义信息来定制语言模型206。例如，如果列表数据114包括名称为“年龄”的列标题，则可以知道涉及该词的诸如最年轻到最老、年轻(Jr.)对年老(Sr.)等的已知的语义，并且可以基于已知的语义来计算针对词序列的概率。

总而言之，可以基于向应用112频繁发出的查询和/或向应用112频繁发出的命令(其中在历史上观测到查询和命令)来初始地构造语言模型206。然后，更新器组件208可以基于列表数据114的内容来定制语言模型206。此外，更新器组件208可以基于所观测的客户端计算设备102的用户的历史动作来定制语言模型206。例如，如果用户初始将名称“超时付款”分配给列标题，且随后将名称缩短成“OTP”，则其可以推断“OTP”是“超时付款”的首字母缩略词，且更新器组件208可以相应地更新语言模型206。

现在描述ASR系统122的操作。ASR系统122包括接收声音信号的接收器组件212。如上文所指示的，声音信号是由应用112的用户给出的声音输入的电子表示。识别器组件214与接收器组件212通信且访问模型202-206以输出声音输入中最可能的短语。在示例中，该最可能的短语可以是自然的语言查询。在操作中，识别器组件214可以对声音信号进行采样并获得针对音素的概率分布，其可以被用于生成针对可能的元素(词)的概率分布，然后可以利用其来生成针对可能的元素序列的概率分布。由于语言模型206在某种程度上是受约束的，所以识别器组件214可以相对高效地计算针对元素序列的概率分布。

ASR系统122还可以可选地包括反馈组件216，当识别器组件214不能适当地将声音信号的内容映射到由语言模型206建模的元素序列时，反馈组件216可以向用户输出反馈请求。在这样的示例中，反馈组件216可以输出多个可能的短语并请求客户端计算设备102的用户识别适当的短语(例如，通过声音命令的方式，通过触摸的方式等)。在示例中，反馈组件216可以进一步基于来自用户的反馈来更新语言模型206。

现在参考图3，示出了对表格操作系统124的示例性描述。表格操作系统124接收ASR系统122的文本输出并进一步接收加载到应用112的列表数据114。列表数据114包括待由表格操作系统124基于文本而操作的数据。对列表数据114的操作包括利用另外的数据扩充列表数据114，将列表数据114可视化等。在示例中，列表数据114可以在文本中被明确标识。在另一示例中，列表数据114可以在当前被显示在显示器116上。在又一示例中，列表数据114可以以一些其他方式被用户标识，例如拷贝和粘粘多个单元，拷贝和粘贴子表格等。

表格操作系统124包括查询处理器组件302，查询处理器组件302被配置成基于自然语言查询来确定用户的意图(如由ASR系统122输出的文本中所体现的)。在示例性的实施例中，与确定这样的意图有关，查询处理器组件302可以将自然语言查询中的文本与列表数据114中的属性进行比较或已知为与列表数据114相对应，包括但不限于行标题、列标题、列表数据114的元数据描述、列表数据114的标题、用户的先前操作、列表数据114中文本字符串的已知同义词、列表数据114中文本字符串的已知缩写等。在示例中，由表格操作系统124接收的列表数据114可以包括三列：具有标题名称“公司”的第一列、具有标题名称“利润”的第二列、以及具有标题名称“雇员”的第三列。在示例中，自然语言查询可以是“按雇员数量排序”。查询处理器组件302可以考虑上下文以确定自然语言查询是针对当前在线显示器116上显示的列表数据114的。然后，查询处理器组件302可以识别在自然语言查询中的术语“雇员”也是列表数据114中列的标题名称。查询处理器组件302可以进一步在自然语言查询中识别词语“排序”且可以确定这样的词指示用户希望列表数据114的内容根据特定的属性来布置，且在该情况下，在自然语言查询中识别属性“雇员”。

表格操作系统124可以进一步包括程序构建器组件304，程序构建器组件304可以基于针对由查询处理器组件302执行的针对自然语言查询的处理来构建多个不同的程序。例如，查询处理器组件302可以生成自然语言查询的若干不同的解释且程序构建器组件304可以构建与不同的解释对应的相应的多个不同的程序。

表格操作系统124可以进一步包括可以对由程序构建器组件304生成的程序进行排名的程序排名器组件306。程序排名器组件306可以基于多个不同的参数来对程序排名，其中多个不同的参数包括当针对列表数据114执行程序时将生成的无效值的相应数目、当针对列表数据114执行程序时将生成的空值的相应数目、在由应用112的用户使用的程序中的操作的整体频率等。

执行器组件308可以针对列表数据114执行排名最高的程序，从而根据自然语言查询执行表格操作。如在本申请中将示出和描述的，本申请112的图形用户界面可以包括对话字段，该对话字段显示由表格操作系统124基于自然查询而执行的操作的描述，使得客户端计算设备102的用户可以审计这样的操作。此外，在电子表格应用中可以向用户呈现所产生的列表数据，从而允许用户检查由表格操作系统124进行的操作。

参考图4，示出了促成生成表格索引134的示例性系统400。系统400包括索引生成器组件402。索引生成器组件402包括爬虫(crawler)组件404，其被配置成从多个不同的网络可访问的数据源406-408取回列表数据。例如，这样的网络可访问的数据源可以是网页。在示例性的实施例中，爬虫组件404可以被配置成定期地(或不时地)在已知包括可靠且准确的表格的多个预定义的数据源的内容上抓取(crawl)。从而，爬虫组件404可以访问监管的数据源并取回其中的表格。在另一示例性的实施例中，爬虫组件404可以访问通用搜索引擎的搜索日志并且可以通过例如检查网页的HTML标签来识别网页中的表格。在又一示例中，可以在用户的个人数据中包含一个或多个表格(例如，在客户端计算设备上存储或在存储用于用户的数据的网络可访问的存储设备中存储)。索引生成器组件402可以另外包括过滤器组件409，其将不具有有价值的内容或具有不准确的内容的表格滤除。

更具体地，爬虫组件404可以被配置成在数据源406-408上抓取并从<table>和</table>标签中提取文本片段。在这样的标签中存在若干类型的表格。例如，在这样的标签中包含了格式化表格，其用于格式化和布局的目的。格式化表格典型地不具有有用的内容且因此，过滤器组件409可以将这样的表格滤出以使得不包含在索引134中。可以在上文记载的标签中包含的另一类型的表格是属性值(AV)表格，其描述了单个实体的属性和值。这样的表格的示例包括在维基页中找到的信息框，其典型地包括标题行，该标题行包括实体的名称，其后跟着描述该实体的各种属性以及属性的相应值的一组行。例如，与AV表格相对应的实体可以是电影，电影的属性可以是“发行日期”、“男演员”、“女演员”、“评分”等。AV表格经常包括有用的信息，且过滤器组件409可以识别这样的表格并将其标记为AV表格。

另一类型的表格包括关系表，其包括与典型地涉及一主题的一组实体的信息。关系表的行包括关于相应实体的信息。关系表的列表示相应实体的相应属性。为了解释的目的在下文给出了示例性的关系表。

城市	2011估计	2010人口普查	2000人口普查	县
					亚伯丁	16,835	16,896	16,461	格雷斯港
气道高地	6,138	6,114	4,500	斯波坎
					阿尔戈纳	3,074	3,014	2,460	金
阿纳科特斯	15,941	15,778	14,557	斯卡吉特

在示例性的关系表中，实体是城市且主题是这样的城市随着时间的人口。关系表典型地包括有用的信息，但是令人满意地与AV表格区别开。在理解在这些不同类型的表中包含的信息方面，在关系表和AV表之间进行区分可以是有用的。此外，存在若干不同类型的关系表，包括概括表，其中在表中包裹了实体列和属性列。在下文示出了示例性的概括表。

过滤器组件可以被配置成以自动化的方式来区分不同类型的关系表。例如，过滤器组件408可以识别正在审查中的表格的特征且可以包括被训练成基于这样的特征来区分表格类型的分类器。可以由过滤器组件409使用以在区分表格的示例性特征包括但不限于表格相对于包含该表格的网页的分数尺寸、表格开始处的网页的行号、表格的行数、表格的主体行数、表格的标题行数等。

索引生成器组件402可以进一步包含表格理解器组件410，表格理解器组件410检查由爬虫组件从源406-408中的一个取回的表格的各种属性。例如，表格理解器组件410可以被配置成识别“主题列”，其中主题列标识在表格的相应行中的实体。识别主题列的问题与数据库中的关键列识别有关，但不相同。例如，列中值的不同是主题列的指示符中的一个，但是不是唯一的指示符。表格理解器组件410可以采用与识别关系表中的主体列有关的各种特征。例如，表格中列的位置(例如，列在表格中有多靠左边；越靠左，列越可能是主题列)，且非数字的特征可以与识别表的主题列一起使用。此外，表格理解器组件410可以计算在来自数据源406-408的表格上已知实体和列名的共同出现，其中在与识别表格的主题列相关的方面，多个共同出现可以是有用的。例如，特定列名称的实体的共同出现的数目越大(在若干表格中)，该列具有表示主题列的该列名称的可能性越大。

表格理解器组件410还可以被配置成识别列名。在一些情况下，HTML标签可以用于明确地指示列的名称。然而，在实践中，相对大数目的表格不利用这样的标签。例如，网页上的一些表格将列名作为数据行包含在表格中(例如，表格中的第一数据行)。其他的不指定列名。表格理解器组件410可以识别来自数据源406-408的具有在这样的表格的第一数据行中指定的列名的表格。更具体地，表格理解器组件410可以检查来自数据源406-408的多个表格，且对于特定的字符串，可以计算该特定的字符串作为明确标识的列名(例如，由HTML标签标识)出现的频率、该特定的字符串在多个表格的第一行中出现的频率、以及该特定的字符串多个表格的非第一行中出现的频率。表格理解器组件410可以针对被认为是潜在列名称的若干字符串计算这样的频率。针对具有未明确标识列名称的表格，表格理解器410可以利用与表格的第一行中的字符串相对应的频率来确定这样的第一行是否包括列名称。然后，表格理解器组件410可以将第一行分类为包含列名称的行。

又进一步地，表格理解器组件410可以计算指示表格内容的可信度以及表格属性的可信度的值。为了计算这样的值，爬虫组件404可以输出跨数据源406-408的实体属性二进制(EAB)表格的条目(实体属性名称值)三元组。表格理解器组件410可以检查跨数据源406-408的值之间的协议数量，并且可以基于协议数量向EAB表格中的每一行分配得分。表格理解器组件410可以积累(聚集)得分至表格的列级别以计算属性的流行度(可信度)。还可以聚集上述得分至表格级别以计算表格值的可信度。

为了促成对所产生的索引134的查询，表格理解器组件410可以进一步被配置成给由爬虫组件404取回的表格作注解。通常，网页上的表格标题、题注、以及周围的文本缺少对表格的丰富描述或无法提供描述表格或其内容的另外的方式。从而，表格理解器组件410可以利用描述自动地对表格作注解，其中上述描述可以是搜索引擎点击日志的内容的函数。例如，可以利用来自向搜索引擎提交的查询的文本来对表格注解，其中查询的发出者在包含表格的网页上点击。

索引生成器组件402进一步包括索引器组件411，索引器组件411构建索引134并使得索引134保留在数据储存库132中。在示例性的实施例中，索引器组件411可以在由爬虫组件404取回的表格上建立多个索引。更具体地，索引器组件411可以生成关键字索引，其为包含从关键词到表中的各个字段的映射的反向索引(inverted index)。例如，反向索引可以包括以下映射：

关键词→(WebTableId、FieldCode、ColIndex、RowIndex、#totalTokensInfield、sumLogFrequency)，

其中

WebTableId是表格的标识符；FieldCode是字段的类型，且可以具有以下值中的任何一个：ATTRNAMEINBODY、HEADER、CAPTION、FOOTER、PAGETITLE、PAGEHEADING、PAGEANCHORTEXT；SURROUNDINGTEXT、TABELCELL、URL；ColIndex是列的索引，且当FieldCode值是ATTRNAMEINHEADER、ATTRNAMEINBODY或TABLECELL(或可以被分配空值或-1)时可以被填充；RowIndex是行的索引，且可以利用FieldCODE值为TABLECELL来填充(或可以被分配空值或-1)，#toalTokenInField是字段中令牌的总数目；且sumLogFrequency是该字段中令牌的频率的日志的总和。

来自文档上的传统的反向索引与该索引134的不同在于索引134存储了在与文档相关方面无关的结构信息。最近的两条信息使得能够计算查询与字段的内容的匹配是完全还是部分匹配。

此外，索引器组件411可以构建WF和TF索引。这样的索引包括针对由爬虫组件404爬过的表格和从这样的表格导出的EAB表格的静态特征。例如，针对特定表格的WF索引包括表的多个行、表的多个列、网页中表格的位置、相对于页面的表格的大小、包括表的页面的静态排名(例如，来自搜索引擎日志)、包括表格的页面的域排名(例如，来自搜索引擎日志)等。针对特定表格的TF索引包括表格中的多个不同值、空名称的一部分、以及属性流行度数目。

索引器组件411可以进一步建立WC索引。这样的索引包括表格自身的内容且可以用于生成针对表格的片段，并且当需要其时显示或导入实际的表格。例如，WC索引可以包括原始HTML、解析的HTML、URL、标题、列名称、标题行、页脚行、页题目、页标题、锚文本、周围的文本、元关键词、元描述、以及ODP类别。

此外，索引器组件411可以建立字符串映射索引和字符串频率索引。字符串映射索引包括全局字符串以表示跨所有表格和字段的映射。字符串频率索引将字符串ID映射到针对各种粗粒度字段类型的频率。存在不考虑字段的总频率。

此外，索引器组件411可以建立ETV索引，ETV索引将实体名称映射到包含该实体(在关键列中)及其相对应值的EAB表格。关键词索引、ETV索引和WF/TF索引用于查询处理和排名。字符串映射索引和字符串频率索引用于对ID映射查询，而与生成片段和响应于接收到查询而从表格返回值结合来使用WC索引。

现在参考图5，示出了搜索系统130。搜索系统130可以可选地包括查询处理器组件302。在另一示例性的实施例中，由查询处理器组件302承担的查询处理可以在表格操作系统124中执行或在搜索系统130和表格操作系统124之间分布。

如上文所指出的，用户可以以口头表达给出自然语言查询，其中查询表示从数据源406-408中的至少一个取回列表数据(例如，表格)的请求，其中从来自数据源406-408的表格建立索引134。索引处理器组件302可以处理与识别查询的发出者的意图有关的、所接收的自然语言查询。

搜索系统130进一步包括搜索组件502，搜索组件502响应于查询处理器组件302处理所接收的自然语言查询而对索引134进行搜索。如下文将更详细描述的，搜索组件502可以识别与自然语言查询潜在相关的若干表格或其部分。排名器组件504可以将由搜索组件502从索引134取回的表格进行排名，且可以对这样的表进行排名。搜索系统130可以返回排名最高的表格，使得排名最高的表格可以加载到应用112中(并扩充加载到其中的列表数据114)。

现在提供与系统130的动作有关的另外的细节。在一示例性实施例中，自然语言查询可以为关键词搜索的形式，与搜索引擎的用户给出的查询的类型类似。这样的搜索类型的示例包括例如“非洲国家的GDP”、“华盛顿中的城市”等。搜索系统130被配置成定位匹配用户意图的表格。在另一示例中，自然语言查询可以是或包括数据发现数据(DFD)查询。列表数据114可以由客户端计算设备102的用户指定，其中应用112可以是具有加载在其中的列表数据114的电子表格应用。在这样的示例中，搜索系统130可以被配置成从数据源406-408定位1)可以用于使加载到应用112中的列表数据更丰富的表格、或2)在某些方面与列表数据114有关的表格。搜索系统130可以支持两种不同类型的DFD搜索：1)实体属性表格搜索；以及2)仅实体表格搜索。实体属性表格搜索是指当由搜索系统130接收的表格(例如，加载到应用112中)具有在其中表示的一组实体时，其中该组实体是令人满意地丰富的。例如，加载到应用112中的列表数据114可以包括城市的列表。自然语言查询可以指定可以用于扩充列表数据114的属性。例如，自然语言查询可以指定特定的属性(例如，人口)。搜索系统130可以被配置成定位包含关于与列表数据114中的实体有关的这样的属性的信息的表格。

仅实体表格搜索是指当由搜索系统130接收的列表数据114(例如，在应用112中加载的)包括令人满意地丰富的实体但是未以自然语言查询指定上述属性(例如，属性对于用户可能是未知的)时。在这样的情况下，搜索系统130可以被配置成针对索引134进行搜索并定位包含已知与这样的实体相关的一个或多个属性(例如，如果实体是城市，已知与实体相关的属性可以包括人口、犯罪率、平均温度等)。在示例性的实施例中，响应于由搜索系统130定位被认为与列表数据114中的实体相关的属性，这样的属性(例如，排名最高的属性的阈值数的列表)可以显现且用户可以选择期望的属性。其后，搜索系130可以利用表格中实体的这样的属性的值来丰富应用112中加载的列表数据114。

在示例性的实施例中，搜索组件502可以包括全局聚合器服务(GAS)和多个本地聚合器服务(LAS)。LAS负责来自在索引134中表示的数据源406-408的表格的子集。GAS可以接收用户给出的DFD或关键词搜索查询。GAS可以对查询执行简单改变，例如停止词移除和词干提取。其后，可以通过调用字符串映射服务将关键词映射到标识符(例如，表格标识符)以及通过调用IDF服务可以收集频率和/或逆文档频率(IDF)。可以向各种LAS发送字符串ID和IDF。LAS可以与得分和关键词点击信息一起返回前k个表格标识符以辅助选择片段行。GAS可以巩固结果、消除重复、使结果多样化、并生成与动态查询相关的片段。

LAS可以托管针对来自源406-408的表格的特定子集的关键词索引、特征索引、以及ETV索引。相对于关键词索引，对于每一查询令牌，LAS沿关键词索引中的倒排列表(posting list)向下(walk down)并编译具有关键词命中的表格的列表。这样的具有关键词命中的表格被标识为候选表格。排名器组件504可以通过计算命中候选表格的令牌的IDF的和与查询中所有令牌的IDF的和的比率来估计每一候选表格的排名得分。然后，可以以所估计的其得分的降序来处理候选表格。首先，排名器组件504可以计算针对候选表格的命中矩阵(例如，在候选表格的每一字段处详细的关键词命中位置)。因此，可以从WF和TF索引取回候选表格的静态特征，例如从其处取回表格的页面的页面排名、哪些列是实体列、哪些列是属性列、在每一列中有多少空值、在每一列中有多少不同的值等。然后，可以利用列类型信息概念性地覆盖命中矩阵以将关键词命中放置在逻辑区域中。其后，可以计算排名特征以向排名器组件504馈送，以生成最后的排名得分。示例性的特征可以是BM25F表格、BM25F描述、页面排名、域排名、所有属性的属性流行度、关键词命中的属性的属性流行度等。

现在阐述可以由表格操作系统124和搜索系统130支持的示例性操作。在一示例中，当表格修改系统124解释自然语言查询时，其可以采用来自加载到应用112中的表格和/或来自在索引134中表示的数据源406-408中的一个或多个的表格的数据。从而，程序排名器组件306可以基于本地的和外部的表格以及指示针对特定实体或实体类型的特定属性的可能性、可靠性和密度的数据来对由程序构建器组件304构建的程序进行排名。此外，还可以结合排名来利用先前的用户请求。

在一示例中，搜索系统130可以从来自源406-408中的一个或多个的表格导入单个列。例如，可以响应于接收到以下示例性的自然语言查询：“每一公司都在什么行业”、“从源1导入这些公司的2012收入”、或“导入50个美国州的列表”而可以令人满意地执行单个列导入。查询处理器302可以确定是否存在将查询映射到来自特定数据源的特定数据列的查询的解释(例如，具有高于阈值的可能性)。如果存在相对较大的不确定性，则搜索系统130可以请求用户澄清其意图。例如，搜索系130可以向用户呈现诸如以下的信息：数据源列表；潜在的查询细化；潜在的属性等。可以在下拉菜单中、作为可选择的链接、在弹出字段中等呈现这样的信息。在另一示例中，如果存在相对较大的不确定性，则可以向用户呈现失败通知，或可以尝试对自然语言的不同解释。在另一示例中，缺省可以为提供最近的数据或使用其他数据，例如指示属性流行度的数据。

此外，搜索系统130可以支持基于单个自然语言搜索而导入与多个属性相关的输入。从而，搜索系统130可以支持诸如“向我示出这些公司的客户经理”之类的自然语言查询，使得搜索系统130可以使得利用与客户经理的名字、客户经理的电子邮件地址、以及客户经理的电话号码对应的列来丰富被加载到应用中的表格。搜索系统可以基于例如属性的流行度而确定要向应用112提供哪些属性。

又进一步地，搜索系统130可以将从索引134取回的数据与特定的动作/元数据链接，和/或应用112可以执行这样的链接。例如，如果导入了电子邮件地址，则搜索系统130可以向其分配超链接，使得在用户选择被超链接的电子地址时发起电子邮件应用。在另一示例中，表格条目可以具有表示电话号码的数字。搜索系统130可以向表格条目分配元数据以指示表格条目是电话号码。这可以使得电话号码被添加到用户的联系人列表。在另一示例中，用户可以给出语音命令(例如，“打电话给约翰多伊”)，这可以使得表格条目被标识为与要拨打的实体约翰多伊相对应的电话号码。

系统100还支持隐式聚合和向下挖掘。例如，加载到应用204中的表格可以包括两列：“公司”和“销售”。搜索系统130和/或表格修改系统124支持诸如“按行业将销售分组”之类的查询，使得表格条目通过隐式属性“行业”来聚合。另一支持的示例性查询是“向我示出在克里夫兰的公司”，其中搜索系130通过隐式值“克里夫兰”来对表格条目进行过滤。在又一示例中，支持查询“向我示出在金县的公司”，其中响应于接收到这样的查询，该系统按哪个隐性值“金”具有属性上下文“县”而对表格条目进行过滤。在又一示例中，系统100支持查询“向我示出美国的州的平均人口”。例如，系统100可以针对隐性属性而完全响应这样的查询。此外，系统100可以从外部数据源取来州和人口，且然后针对其执行隐式过滤。此外，系统100可以支持诸如“计算每一州的最大县人口”，使得该系统可以结合来自多个表格的条目(例如针对每一状态的表格)，并接着执行聚合操作。

系统100还支持嵌套查询，例如在以下查询序列中所描述的：“向我示出针对每一状态的人口”，接着是“按照县将其分解”。这是向下挖掘的示例。系统100支持的另一示例性查询包括“向我示出按州分组的太平洋西北中的公司的总销售额”，接着是“按照县将其分解”。这是多个步骤、嵌套的/上下文的向下挖掘查询。系统100可以先创建被过滤成仅太平洋西北州的总销售额的新表格，然后按照州将销售额分组。第二查询针对这样的表格进行并允许创建数据透视表，其按照县向下挖到销售额中。其他的诸如“向我示出2012的利润”之类的示例性查询，接着是“2011怎么样”，这可以被系统支持。这些示例性的查询表示多步骤已知上下文的外部数据搜索。如果最近的操作是外部数据搜索，则系统100可以检测可能的细化并相应改变外部数据排名。

此外，系统100可以支持导入时间系列数据。例如，响应于接收到查询“绘制从2000到2012年的中国GDP的线形图”，系统100可以取回适当的数据并在在电子表格应用中绘制指定的图表。

如上文所指示的，本申请中的特征不限于电子表格应用。例如，用户可以在电子表格应用的上下文之外请求或给出命令。即，用户可以通过电话给出查询且可以针对所有的电子表格和用户能够访问的数据解释该查询。这可以认为是虚拟电子表格(具有许多虚拟的外部数据列)，其已经被打开且支持操作。

此外，系统100可以与映射和/或图表应用集成。例如，存在与在特定的图表或映射类型中显示数据相关的许多方面。从而，如果接收到查询“向我示出在每一状态下的公司的数量的地图”，则系统100可以呼叫外部数据服务以取来每一公司的状态。其他示例性的查询包括“放大至县级别”并“以示出2012利润来代替”，其中系统100响应于接收到这样的查询而取回外部数据从而更新映射或图表。

此外，系统100可以支持具有声音功能的数据，使得用户可以给出命令“将状态列改成其缩写”，其是指就地数据更新。系统100可以响应于接收到声音命令而执行所请求的数据清理。用户给出的另一示例性查询可以包括“向每一电话号码预先加上区号”。

此外，系统100可以支持上下文语言校正。在示例性的实施例中，用户可能想要向特定的表格添加与属性“监禁(incarceration)”有关的列，且因此可以给出口头查询“添加监禁”。响应于接收到这样的查询，系统100可能(不正确地)添加与属性“癌症率(cancerrate)”相对应的列。在检查该不正确的解释之后，用户可以说“不，监禁”。系统100可以保留关于用户给出的先前的命令/查询的上下文，记住用户请求“添加”。然后，系统100可以校正该表格以包含“监禁”列。在另一示例中，用户可以给出命令“向我示出人口大于1000的州的列表”且系统100可以向用户提供包含美国的州列表的表格。但是，用户可以想要看人口大于1000的俄罗斯的州，且可以说“不，俄罗斯州”。再一次，系统100可以保留关于对话的上下文并执行适当的校正。

又进一步地，系统100可以支持对由搜索系130取回的数据的口头校正。例如，搜索系统130可以使用模糊结合来将加载到应用112中的电子表格中的实体名称与位于外部源中的实体名称相匹配。例如，加载到应用112中的电子表格可以包括列“CMPNY”，而从外部数据源取回的表格可以被标记为“COMPANY”。搜索系统130可能与这样的列不对准(例如，使得所产生的表个包括两个列)，且用户可以通过给出将“将‘CMPNY’与‘COMPANY’匹配”的命令来校正这样的对准。表格操作系统124可以合并这样的列，移除“COMPNAY”列等。此外，可以支持文本到语音的口头校正。例如，系统100可以被配置成可听见地输出关于系统100正在执行的处理的信息。在一示例中，系统100可以可听见地输出“示出在密苏里的总销售额”。用户的发音可能与密苏里不同且可以说明“其发音为密苏拉”。可以相应地更新系统100。又进一步地，系统100支持与应用112的双向语言交互。

图6-7示出了关于基于语音输入而针对列表数据执行操作的示例性方法。虽然方法被示出及描述为按序列执行的一系列动作，但是可以理解和意识到的是，上述方法不受该序列的顺序限制。例如，一些动作可以以与本申请中所描述的不同的顺序出现。此外，一动作可以与另一动作同时出现。此外，在一些实例中，并非所有的动作都需要执行本申请中描述的方法。

此外，本申请中描述的动作可以是计算机可执行的指令，其可以由一个或多个处理器和/或在计算机可读介质上存储。计算机可执行指令可以包括例程、子例程、程序、执行的线程等。又进一步地，上述方法的动作的结果可以存储在计算机可读介质中，在显示设备上显示等。

现在参考图6，示出了用于执行与加载到应用中的列表数据相关的操作的示例性方法600。该方法600在602开始，且在604接收被加载到计算机可执行应用的列表数据。如上文所指示的，该应用可以是电子表格应用、词处理应用、(例如，与基于服务器的电子表格应用通信的)网页浏览器等。在606，基于在604接收的列表数据来更新(定制)自动语音识别系统的语言模型。例如语言模型可以被更新成包括在列表数据中包含的首字母缩略词、文本等。

在608，接收指示待针对列表数据执行的操作的声音信号。例如，声音信号可以表示指示应用所支持的特定命令的声音输入且其可以包括对在604接收的列表数据的一部分的提及(reference)。在另一示例中，声音信号可以表示在用户的声音输入中给出的自然语言查询。

在610，基于语言模型将声音信号解码。即，使用更新的语言模型来生成声音输入的转录。在612，基于对声音信号的解码，针对列表数据执行操作。如先前所指示的，可以向被配置成针对加载到应用中的列表数据消除用户意图歧义的系统提供由ASR系统识别的文本。方法600在614完成。

现在参考图7，示出了示例性的方法700。方法700在702开始，且在704接收到加载到计算机可执行应用中的列表数据。在706，基于在其相应的列和/或行中的条目的内容而向列和/或行分配标签。例如，上述类型可以标识列和/或行是否包括实体以及这样的实体的类型。这可以进一步用于标识通常与这样的类型关联的属性。在708，基于列表数据的内容和在706分配的类型更新该应用的ASR系统中的语言模型。方法700在710完成。

现在参考图8，示出了与电子表格应用对应的示例性图形用户界面800。图形用户界面800包括可以显示列表数据114(例如，电子表格)的表格字段802。一般而言，表格字段802可以包括多个单元，其中这样的单元的值可以是定义的值或基于该电子表格或其他电子表格中的值。图形用户界面800还可以包括工具栏804，其包含了可以由用户选择以执行电子表格应用所支持的功能的按钮、下拉菜单、菜单、标签等。

图形用户界面800可以可选地包括可以从用户接收文本查询的查询字段806。例如，用户可以将光标定位在查询字段806中且可以在查询字段806中给出自然语言查询。可以由用户选择按钮808，这可以使得在查询字段806中提供的查询被发送至搜索系统130和/或表格操作系统124。当被用户选择时，重置按钮810可以将表格字段802中示出的内容重置为先前的状态。

图形用户界面800还可以包括对话字段812，其呈现在电子表格应用的用户与例如执行器系统120和/或搜索系统130之间的可审计的交互日志。对话字段812可以检测由用户给出的自然语言查询且还可以响应于接收到自然语言查询而描绘由执行器系统120执行的动作。

图形用户界面800还可以包括当被用户选择时，向计算设备和/或电子表格应用指示用户想要给出包含提及待执行的与列表数据114相关的操作的口头表达。例如，用户可以在将光标悬停在按钮814上的同时通过左键点击并保持来选择按钮814。在另一示例中，如果在触摸敏感的显示器上示出图形用户界面800，则用户可以将其手指按压(和保持)在按钮814上以指示当用户何时开始和停止给出声音输入。在另一示例中，ASR系统122可以在后台收听特定的声音命令，并响应于检测到声音命令而开始对声音信号进行解码。

现在参考图9，示出了示例性的图形用户界面900。图形用户界面900描绘了在表格字段802中示出的特定表格，该特定表格包括具有列标题“公司”、“排名”、“PC计数”和“办公室座位”的列。从而，电子表格应用具有加载在其中的这样的表格。标签902指示目前在图形用户界面900中正在示出“表格1”。如果用户选择标签904，则其可以使得呈现新的(空的)工作表。

现在转向图10，示出了另一示例性的图形用户界面1000。在图形用户界面1000中，对话字段812包含描绘了由用户给出的自然语言查询的对话气泡1002。在该情况下，这样的自然语言查询是“每一公司有多少雇员？”。响应于接收到这样的查询，搜索系统130可以从标识与在表格字段802中示出的表格的“公司”列中列出的公司对应的雇员的外部源取回列表数据。对话气泡1004通知用户由搜索系统130和/或表格操作系统124执行的动作，例如从特定源(源1)导入数据。由此，通过自然语言(例如，口头)查询，在表格字段802中示出的表格已经被更新为包括具有标题“雇员”和与其对应的值的列，其中该值描绘了针对在“公司”列中列出的相应公司的雇员数目。

现在参考图11，描绘了另一示例性的图形用户界面1100。在这样的图形用户界面中，用户已经给出了自然语言查询“向我示出比办公室座位多25％雇员的公司”。这在对话气泡1102中的对话字段812中示出。

现在转向图12，示出了另一示例性图形用户界面1200。在该示例性的图形用户界面1200中，执行器系统120基于用户给出的自然语言查询“向我示出比办公室座位多25％雇员的公司”而使得呈现新的表格(表格2)。具体地，表格操作系统124基于用户给出的自然语言查询而生成程序，其中在对话字段812中描绘了执行程序时执行的操作。例如，如在对话气泡1202中示出的，设置了过滤器使得雇员的数目大于办公室座位的数目乘以1.25。此外，对话气泡1204通知用户已经显示了新的表格。新的表格(表格2)包括具有超过办公室座位25％的雇员的公司(例如，表格2是表格1的经过滤的版本)。

然后，用户可能想要改变查询的过程。参考图13，描绘了另一图形用户界面1300，其中描绘了，用户已经设置了查询“向我示出最赚钱的行业”，如在对话字段812的对话气泡1302中所示出的。这样的查询可以是DFD查询，这是因为当搜索针对列表数据的索引134时，搜索系统130考虑表格1和表格2的内容。搜索系统130可以接收自然语言查询，访问外部数据源并生成包含两个列的新的表格(表格3)；第一列具有列标题“行业”且第二列具有列标题“利润”。

现在参考图14，示出了示例性的图形用户界面1400。图形用户界面1400中的对话字段812描绘了响应于接收对话气泡1302中示出的查询而由搜索系统130和/或表格操作系统124承担的动作。例如，搜索系统130可以已经从所列出的源(源2)取回了与表格1中列出的公司相对应的利润有关的信息。在对话气泡1402中示出了这样的动作。如上文记载的，查询可以是DFD查询，使得在表格1的上下文中给出该查询。从而，可以获得与表格1中列出的每一公司对应的利润。其后，可以将从源2取回的利润值求和。对话字段812包括对话气泡1404，其当生成在表格字段802中示出的表格3时，通知用户所进行的求和动作。现在参考图15，示出了示例性的图形用户界面1500，其中对话字段812包括对话气泡1502，其通知用户通过根据属性“利润”而将隐式的实体“行业”排序来生成表格3。

现在参考图16，示出了又一示例性图形用户界面1600。在图形用户界面1600中，表格操作系统124已经接收到查询“将这个放入到饼形图中”，如由对话字段812中的对话气泡1602所证明的。响应于接收这样的自然语言查询，表格操作系统124可以使得向用户呈现表示表格3(在表格字段802中示出)中的数据的饼形图1604。对话气泡1604向用户指示饼形图1604被生成。

现在参考图17，示出了又一示例性图形用户界面1700。对话字段812包括指示用户已经给出自然语言查询“向我示出具有最高花费的行业”的对话气泡1702。响应于接收到这样的自然语言查询，搜索系统130可以访问索引134并取回可以用于响应查询的表格的片段。对话气泡1704向用户指示搜索系统130从“源3”取回了“花费”列中的数据。图18描绘了又一示例性图形用户界面1800，其中对话字段812包括分别描述由表格操作系统124进行的工作的对话气泡1802和1804。具体地，表格操作系统124可以创建数据透视表(表格4)，其中在表格3中表示的行业保持在第一列，而对与这样的行业对应的花费被求和。因此，表格操作器组件106可以根据“花费”列中的值来排序。

现在参考图19，示出了又一示例性图形用户界面1900。在示例性图形用户界面1900中，对话字段812包括向用户指示已经给出自然语言查询“向我示出在石油和天然气领域中具有最高花费的公司”的对话气泡1902。现在参考图20，示出了描绘响应于接收到在对话气泡1902中示出的自然语言查询而由搜索系统130和/或表格操作系统124进行的动作的示例性图形用户界面2000。具体地，表格操作器组件106设置过滤器，其中如在对话气泡2002中所示出的，通过值“石油、天然气和矿业”来对“行业”列滤波。其后，表格操作器组件106使得呈现新的表格(表格5)，其中在对话字段812中的对话气泡2004中示出这样的动作。随后，表格操作系统124按照花费列中的值来对表格排序，如在对话气泡2006中所示出的。由此，表格字段802中示出的表格具有多个列：“公司”、“排名”、“PC计数”、“办公室座位”、“雇员”、“行业”以及“花费”，其中表格5中示出的每一公司具有行业属性是石油、天然气和矿业的值，其中基于花费属性的值来排列公司。

现在参考图21，描绘了又一示例性的图形用户界面2100。用户给出了查询“这些公司的采购经理是谁”，如在对话气泡2102中描绘的，其中参考表格5进行查询。由此，这样的查询时DFD查询。响应于接收到该查询，搜索系统130可以取回联系人信息(例如，多个属性)并使得这样的联系人信息被附加到表5中的列表数据。如在对话字段812的对话气泡2104中所描绘的，已经从特定的源(源4)取回在表格5中表示的针对每一公司的联系人姓名、电话和电子邮件的值。

现在参考图22，示出了另一示例性图形用户界面2200，其中用户正在查看表5并给出自然语言查询“估计我达成与这些公司的交易的佣金”，如在对话字段812中的对话气泡2202中所描绘的。

转向图23，描绘了另一示例性的图形用户界面2300。对话字段812指示了从第五个源(例如，如在对话气泡2302中示出的)导入“佣金”。可以理解的是，这样的值可以不直接包含在数据源中，而是可以通过某些函数的方式计算出来。在图23中示出的示例中，可以从外部数据源(例如，网络服务)导入用于计算佣金的函数并对电子表格中的值和/或通过搜索索引134的方式取回的值执行。给出图23来指示执行器系统120不仅可以被配置成取回列表数据，而且被配置成取回可以对列表数据执行的函数。

根据在本申请中给出的示例，可以确定的是，对话字段812向用户呈现可审计的日志，使得用户可以观察她的自然语言查询如何被解释以及响应于接收到自然语言查询而由执行器系统120进行的动作。如果不正确，则用户可以使得某些功能回退。此外，在示例性的实施例中，用户可以选择对话日志中由执行器系统120执行的某些操作，其中选择可以使得呈现(例如，在下拉式或折叠菜单中)可以执行的其他选项(例如，下一个排名最高的功能列表)。用户可以使执行器系统120的操作回退并通过选择期望的功能来修改。在又一示例中，用户可以使得一系列的自然语言查询及相应的响应被保存为宏，尤其是在用户相信这一系列的查询将会重复的情况下。这可以允许用户针对不同组的列表数据(例如，不同的电子表格)或甚至具有一些经更新的内容的相同的电子表格执行相同的动作序列。

也可以构想用于向电子表格应用给出查询的其他示例性机制。例如，如上文所指示的，可以由系统100支持DFD搜索，其中可以向系统100提供可以在电子表格中的一个或多个列中的实体列表。在另一示例中，已经以某一方式提供了实体的列表，例如通过从文档、从网页等提取电子邮件消息中的实体。用户可以可选地指定与实体列表中的实体相关的感兴趣的一个或多个属性。可以向搜索系统130提供查询，该查询可以包括实体和(可选地)属性，其可以返回与实体(和可选地属性)相关的经过排名的表格的列表，从而允许用户接收针对感兴趣的属性的属性值。例如，在示例性的实施例中，可以通过基于浏览器接口的方式来访问搜索系统130，如在图24中描绘的示例性图形用户界面2400中所示出的。图形用户界面2400包括被配置成接收自然语言查询的搜索字段2402、以及可选地感兴趣的现有列表数据和感兴趣的属性的详述。响应于接收到查询(例如，“按GDP的非洲国家”)，搜索系统130可以向用户呈现包含实体(例如，非洲国家)和感兴趣的属性的列表的表格2404。图形用户界面2400还可以包括到针对表格240的源的超链接2406。可以理解的是，如果表格是从多个源构建的，则图形用户界面2400可以包括多个超链接。例如，超链接2406的选择可以使得在弹出窗口中呈现整个表格2404。

可选地，虽然未示出，但是可以在图形用户界面2400中呈现用户210可能感兴趣的其它属性，例如显示流行属性的下拉菜单、表示流行属性的超链接等。此外，用户可以从下拉菜单指定实体列表，指定表、以及表列或可以选择列/单元和右键点击或拉和拖以发起搜索和/或填充查询。用户还可以指定一系列的单元。用户还可以通过输入例如“按区域将我的表格分组”经由更自然的语言接口而潜在地指示属性，在该情况下，表格操作系统124和/或搜索系统130可以使用搜索属性区域中的用户表格实体来发出实体属性查询。然后，用户可以指定表格、并且可以执行的分组操作。

支持各种用户界面元素。例如，在用户可以在第一搜索框中提供单个实体名称、多个实体名称、或概念名称的情况下可以提供查询接口，且可以使用第二搜索框来提供属于第一框中描述的实体的感兴趣的一个或多个属性。属性字符串还可以是一组概念性的属性名称，例如可以包括高、重量和长度的维度。例如，在第一框中，可以提供实体“西雅图”且第二框可以包括属性“温度”。

现在参考图25，示出了根据在本申请中公开的系统和方法可以使用的示例性计算设备2500的高级别描述。例如，可以在支持识别口头表达的元素的系统中使用计算设备2500。通过另一示例的方式，可以在支持基于自然语言查询而构建程序的系统中使用计算设备2500。计算设备2500包括执行在存储器2504中存储的指令的至少一个处理器2502。上述指令可以是例如用于实现被描述为由上文讨论的一个或多个组件执行的功能的指令或用于实现上文所描述的方法中的一个或多个的指令。处理器2502可以通过系统总线2506的方式来访问存储器2504。除了存储可执行指令之外，存储器2504还可以存储声学模型、词典模型、语言模型、列表数据、表格索引等。

计算设备2500另外包括可由处理器2502通过系统总线2506的方式访问的数据存储器。数据存储库2508可以包括可执行指令、在ASR系统中使用的模型、列表数据、表格索引等。计算设备2500还包括允许外部设备与计算设备2500通信的输入接口2510。例如，输入接口2510可以用于从外部计算机设备、从用户接收指令等。计算设备2500还包括将计算设备2500与一个或多个外部设备接合的输出接口2512。例如，计算设备2500可以通过输出接口2512的方式显示文本、图像等。

可以构想的是，可以在基本上提供用户可以利用其进行交互的任何类型的用户接口的环境中包含通过输入接口2510和输出接口2512与计算设备2500通信的外部设备。用户接口类型的示例包括图形用户接口、自然用户接口等。例如，图形用户接口可以从使用诸如键盘、鼠标、远程控制器之类的输入设备的用户接收输入并在诸如显示器之类的输出设备上提供输出。此外，自然用户接口可以使得用户能够以不受诸如键盘、鼠标、远程控制器等之类的输入设备施加的约束的方式与计算设备2500交互。而是，自然用户接口可以依赖于言语识别、触摸和触针识别、在屏幕和与屏幕相邻处上的手势识别、空气手势、头和眼跟踪、声音和语音、视觉、触摸、手势、机器智能等。

此外，虽然被示出为单个系统，但是可以理解的是，计算设备2500可以是分布式系统。从而，例如，若干设备可以通过网络连接的方式通信且可以共同地执行被描述为由计算设备2500执行的任务。

本申请中描述的各个功能可以以硬件、软件、或其任何组合的方式来实现。如果以软件方式来实现，则上述功能可以从存储在计算机可读介质上或作为计算机可读介质上的一个或多个指令或代码在计算机可读介质之间发送。计算机可读介质包括计算机可读存储介质。计算机可读存储介质可以是可以由计算机访问的任何可用存储介质。通过示例且不限制的方式，这样的计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备、或可以用于以指令或数据结构的形式运送或存储所期望的程序代码且可以被计算机访问的任何其他介质。在本申请中使用的光盘和磁盘包括压缩盘(CD)、激光盘、光盘、数字多功能光盘(DVD)、软盘、以及蓝光盘(BD)，其中磁盘通常磁性地复制数据且光盘通常利用激光光学地复制数据。此外，所传播的信号不包含在在计算机可读存储介质的范围中。计算机可读介质还包括通信介质，其包含促成将计算机程序从一个地方传输到另一地方的任何介质。连接例如可以是通信介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)、或诸如红外线、无线电或微波之类的无线技术从网站、服务器、或其他远程源发送软件，则同轴线缆、光纤线缆、双绞线、DSL、或诸如红外线、无线电或微波之类的无线技术包含在通信介质的定义中。上述的组合也应该包含在计算机可读介质的范围之内。

可替代地，或此外，可以利用一个或多个硬件逻辑组件执行或至少部分执行本申请中描述的功能。例如且没有限制，可以使用的示例性的硬件逻辑组件的类型包括现场可编程门阵列(FPGA)、专用程序集成电路(ASIC)、专用程序标准产品(ASSP)、片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)等。

上文已经描述的包括一个或多个实施例的示例。当然，为了描述上文提及的方面的目的不可能描述对上文的设备或方法的每一个可以想出的修改和变换，但是本领域技术人员中的一个可以识别对各方面的许多进一步的修改和置换是可能的。因此，所描述的方面意在包含落入所附权利要求的精神和保护范围中的所有这样的变换、修改和变型。此外，就术语“包含”在具体实施方式或权利要求书中使用而言，“包含”这样的术语意在以类似于术语“包括”的方式为包含性的，由于当使用“包括”时被解释为在权利要求中的过渡词。

Claims (14)

1.一种计算设备，包括：

处理器；以及

存储器，其包括由所述处理器执行的应用，所述应用具有被加载到其中的列表数据，所述列表数据包括在所述列表数据中的列的单元中的可修改文本字符串，其中，当所述处理器执行所述存储器中的所述应用时执行包括以下的动作：

响应于接收自然语言查询形式的声音输入，接收对所述自然语言查询的转录，其中，所述自然语言查询包括对所述列表数据中的列中的所述可修改文本字符串的提及；

基于对所述自然语言查询的转录而构建程序，其中，所述程序被配置为关于所述列中的第二单元的内容来执行计算操作；以及

执行所述程序以执行所述计算操作。

2.根据权利要求1所述的计算设备，其为客户端计算设备，所述客户端计算设备是平板计算设备或移动电话中的一个。

3.根据权利要求1所述的计算设备，其为服务器计算设备，所述声音输入是从与所述服务器计算设备进行网络通信的客户端计算设备接收的，所述动作还包括基于所述声音输入而生成所述转录。

4.根据权利要求1所述的计算设备，其中，自动语音识别ASR系统生成所述转录，所述动作还包括定制所述ASR系统以约束对所述声音输入的可能的解释。

5.根据权利要求1所述的计算设备，所述计算操作是以下中的一个：对所述列表数据的排序、对所述列表数据的过滤、针对所述列表数据中的条目执行的数学运算、对所述列表数据的可视化、或对所述列表数据的扩充。

6.根据权利要求5所述的计算设备，所述计算操作是对所述列表数据的扩充，所述动作还包括：

基于查询而针对表格的网络可访问索引来执行搜索；以及

利用包括在所述表格的索引中的另外的列表数据来扩充被加载到所述应用中的所述列表数据。

7.一种用于执行与列表数据有关的操作的方法，包括：

接收已经被加载到计算机可执行应用中的列表数据；

接收对由所述计算机可执行应用的用户给出的声音信号的转录，所述声音信号包括自然语言查询，所述自然语言查询包括在所述列表数据中的列的单元中的可修改文本，所述自然语言查询指示要针对所述列表数据中的第二单元的内容执行的操作；

基于对所述声音信号的转录而构建计算机可执行程序，当被执行时，所述计算机可执行程序被配置为执行所述操作；以及

执行所述计算机可执行程序来执行所述操作，其中执行所述计算机可执行程序使得所述列表数据中的第二单元的内容被更新。

8.根据权利要求7所述的方法，其由客户端计算设备执行，其中所述操作包括：

利用从数据源取回的另外的数据来扩充所述列表数据，所述数据源可被所述客户端计算设备通过网络来访问，所述扩充是基于所述自然语言查询的，其中所述第二单元是利用所述另外的数据填充的；以及

基于所述查询而针对所述列表数据和所述另外的数据来执行随后的操作。

9.根据权利要求7所述的方法，所述计算机可执行应用是网页浏览器。

10.根据权利要求7所述的方法，还包括：

响应于接收到所述列表数据，对随后对所述声音信号进行解码的自动语音识别(ASR)系统的语言模型进行更新，其中对所述语言模型进行更新包括将所述可修改文本包含在所述语言模型中。

11.根据权利要求10所述的方法，所述语言模型包括表示历史上观测到的命令的部分完成的短语，其中对所述语言模型进行更新还包括将所述可修改文本包含在所述语言模型中以完成所述部分完成的短语。

12.根据权利要求11所述的方法，其中对所述语言模型进行更新还包括：

基于所述列表数据向所述可修改文本分配类型，所述类型指示所述可修改文本表示所述列表数据中的人、地方、或事物中的一个；以及

基于向所述可修改文本分配的所述类型而向完成的短语分配概率值。

13.根据权利要求7所述的方法，其中执行所述操作使得生成更新的列表数据，所述方法还包括：

在执行所述操作之后，接收对表示第二自然语言查询的第二声音信号的第二转录；以及

执行有关于所述更新的列表数据的第二操作，所述第二操作是基于所述自然语言查询和所述第二自然语言查询而执行的。

14.一种计算机可读存储介质，包括指令，当由处理器执行所述指令时，使得所述处理器执行如下动作：

接收被加载到电子表格应用中的列表数据，所述列表数据包括条目，所述条目包括可修改文本；

接收对由用户给出的关于所述列表数据的口头表达的转录，所述转录包括包含所述可修改文本的自然语言查询；

识别所述转录包括所述可修改文本；

基于识别出所述转录包括所述可修改文本而构建程序，其中所述程序被配置为执行有关于所述列表数据中的第二条目的操作；以及

执行所述程序以执行所述操作。

Images