CN109101533B - 自动化阅读理解 - Google Patents

Abstract

本申请涉及自动化阅读理解。本发明公开了用于基于呈现的各种信号来确定文本片段中的实体之间的相似性和/或不同性以及用于基于各种信号来确定在文本片段中所找到的一个或多个主语能够执行一个或多个相关联的动作的一个或多个可能性的方法和装置。

Description

自动化阅读理解

分案说明

本申请属于申请日为2015年5月11日的中国发明专利申请No.201580025196.2的分案申请。

背景技术

搜索引擎提供关于文档的信息，所述文档诸如web页面、图像、文本文档、电子邮件和/或多媒体内容。搜索引擎可以响应于用户的搜索查询而识别文档，所述搜索查询包括一个或多个搜索项。搜索引擎可以基于文档与查询的相关性以及文档的重要性来排名文档，并且可以提供搜索结果，其包括所识别文档的多个方面和/或指向所识别文档的链接。在一些情形下，搜索引擎可以附加地或替选地提供响应于搜索查询而与任何特定文档无关的信息(例如，“local time in Tokyo(东京的本地时间)”)。搜索引擎可以直接从文档中提取各种类型的信息，例如，以使文档通过搜索所提取的信息就“可找到”。直接从文档中提取的信息可以包括指名的实体(例如，人物、地点、事物等)、指名的实体的属性、时间数据(日期、时间、时间间隔等)、由主语执行的动作等等。

发明内容

本说明书大体上针对一些技术特征，用于确定在文本片段中所描述的实体之间的相似性和/或不同性，并且/或者用来确定与文本片段中的主语相关联的动作是否有可能可由所述主语执行。可以分析文本片段，诸如故事的摘录、文章、电子邮件、文本消息、书籍(或者其章节或更小部分)、散文等，例如，使用诸如正则表达式、规则、机器学习、共指消解等各种技术来识别所述文本片段中所引用的一个或多个实体(例如，人物、地点、事物等)和/或一个或多个主语(例如，人物、动物、角色、生命体等)。

在一些实施方式中，可以识别与所识别的一个或多个实体相关联的一个或多个实体属性，例如，使用类似的技术。基于所识别的实体属性以及其他信号(例如，所述文本片段中所包含的比较/对比信号、所述实体属性的同义词/反义词)，可以作出关于实体之间的相似性和/或不同性的一个或多个确定。关于实体属性的确定可以被使用于各种目的，诸如，提供关于文本片段的更多鲁棒信息(例如，以加强搜索引擎的搜索)、回答关于文档的问题(例如，以辅助自动化阅读理解应试，或者以协助提供信息性查询结果)等等。

附加地或替选地，也可以识别与所识别的一个或多个主语相关联的一个或多个动作。至少部分地基于在文档的语料库中所找到的参考主语以及相关联的参考动作，可以确定所述动作可由所述主语执行的可能性。例如，假设所述主语是动物并且所述相关联的动作是通常由人类执行的一个动作(例如，唱歌、跳舞)。可以分析非虚构新闻故事的语料库中所包含的参考主语和动作，以确定所述动物主语将能够执行所述动作的可能性。如果所述动作被视为不太可能由所述动物主语执行，则可以提供所述动物主语已被“拟人化”的指示。主语将能够执行相关联的动作的可能性的指示可以被使用于各种目的，诸如，提供关于文本片段的更多鲁棒信息(例如，以加强搜索引擎的搜索)、回答关于文档的问题(例如，以辅助自动化阅读理解应试，或者以协助提供信息性查询结果)等等。

确定实体之间的相似性和/或不同性可以提供各种技术优势。例如，确定实体之间的相似性和/或不同性可以使搜索引擎的搜索更加高效，例如，通过基于实体的相似性或不同性来促进对文档的改进的索引，这进而可以减少实现搜索引擎的计算系统所需的计算时间和资源。提供更加准确的结果也可以使得用户信任度提高并且搜索引擎执行较少的搜索，这可以减少来自用户(例如，较少提交的搜索)以及来自搜索引擎(例如，返回较少的搜索结果)的网络流量。确定实体之间的相似性或不同性也可以促进通用知识库的增长，如本文所述，所述通用知识库可以是针对用户的通用信息的来源。

确定动作可由主语执行的可能性也可以提供各种技术优势。例如，训练用于确定动作是否可由相应的主语执行的机器学习分类器可以被使用于将真实的新闻内容与虚构的内容分开，以便不向搜索真实的新闻内容的用户提供虚构的内容。这进而可以提高用户对搜索引擎的信任度，这可以使得用户提交较少的搜索查询来查找新闻内容，如上所述，进而减少网络流量。确定动作可由主语执行的可能性也可以提高搜索引擎在其他领域中进行搜索的准确性，诸如搜索产品。例如，基于用户评论描写产品性能的准确性如何，可以评分用户评论。假定用户评论包含产品能够执行一些动作的陈述。机器学习分类器能够被使用于确定该陈述是否准确；即，所述产品是否能够执行所述用户评论中所声称的动作。通过以这种方式评分和排名用户评论，执行产品搜索的用户可以因他们作为搜索结果接收的评论的准确性而感到安心。这可以导致执行较少的搜索，如上所述，这可以减少网络流量。进一步，确定动作可由主语执行的可能性可以促进对文档的改进的索引，如上所述，这可以减少实现搜索引擎的计算系统所需的计算资源和/或时间。

在一些实施方式中，可以提供一种计算机实现的方法，该方法包括以下步骤：通过计算系统至少部分地基于文本片段，识别第一实体以及第二实体；通过所述计算系统至少部分地基于所述文本片段，识别共享属性类的所述第一实体的第一实体属性以及所述第二实体的第二实体属性；以及通过所述计算系统，提供在所述文本片段中所述第一实体属性与所述第二实体属性相似或不同的指示。

该方法以及本文中所公开的技术的其他实施方式可以各自可选地包括以下特征中的一个或多个。

在一些实施方式中，所述方法可以进一步包括：通过所述计算系统基于直接描述所述第一实体与所述第一实体属性之间的关系并且间接描述所述第二实体与所述第二实体属性之间的关系的答案选项，生成文本改写，该文本改写直接描述所述第二实体与所述第二实体属性之间的关系。在一些实施方式中，所述方法可以进一步包括将所述文本改写与基于所述文本片段所生成的文本改写相比较以确定所述答案选项的真实性。

在一些实施方式中，识别所述第一和第二实体可以基于关于所述文本片段所提出的问题。在一些实施方式中，所述方法进一步包括：基于关于所述文本片段所提出的问题的类型，选择提供所述第一实体属性与所述第二实体属性相似或者与所述第二实体属性不同的指示。

在一些实施方式中，所述方法可以进一步包括：基于关于所述文本片段所提出的问题中所包含的一个或多个比较或对比信号，选择提供所述第一实体属性与所述第二实体属性相似或者与所述第二实体属性不同的指示。在一些实施方式中，识别所述第二实体的所述第二实体属性可以包括：基于所述文本片段中直接描述所述第一实体与所述第一实体属性之间的关系并且间接描述所述第二实体与所述第二实体属性之间的关系的部分，确定所述第二实体的所述第二实体属性。

在一些实施方式中，所述方法可以进一步包括生成文本改写，该文本改写直接描述所述第二实体与所述第二实体属性之间的关系。在多个实施方式中，提供所述第一实体属性与所述第二实体属性相似或不同的指示可以包括提供所述文本改写。

在一些实施方式中，识别所述第一实体的所述第一实体属性可以包括识别与所述第一实体属性相关联的代词以及将所述第一实体与所述代词共指消解。在一些实施方式中，提供所述第一实体属性与所述第二实体相似或不同的指示可以基于表示在两个部分之间作出比较或对比的一个或多个词语。

在一些实施方式中，提供所述第一实体属性与所述第二实体属性相似或不同的指示可以包括基于所述第一实体属性与所述第二实体属性之间相应的相似性或不同性来提供所述第一实体与所述第二实体相似或不同的指示。

在一些实施方式中，所述方法可以进一步包括：接收包括信息的问题，所述信息包括所述第一实体以及所述第二实体；以及将所述信息与所述第一实体以及所述第二实体相匹配。在一些实施方式中，提供所述第一实体属性与所述第二实体属性相似或不同的指示可以响应于所述匹配。在一些实施方式中，所述第一和第二实体是第一和第二产品，所述第一和第二实体属性是第一和第二产品属性，并且所述方法进一步包括提供所述第一和第二产品的产品特征的概述，所述概述包括所述第一和第二产品特征的指示。

在另一方面，可以提供一种计算机实现的方法，该方法包括以下步骤：通过计算系统在文本片段中，识别主语以及由所述主语执行的动作；通过所述计算系统，确定所述动作可由所述主语执行的可能性，所述可能性至少部分地基于在文本文档的语料库中所找到的多个参考主语以及相关联的参考动作；以及通过所述计算系统，提供所述可能性的指示。

该方法以及本文中所公开的技术的其他实施方式可以各自可选地包括以下特征中的一个或多个。

在各种实施方式中，所述提供可以包括基于所述可能性来提供由所述主语执行所述动作可信或不可信的指示。在各种实施方式中，所述主语可以是非人类的主语，并且所述提供可以包括提供所述主语在所述文本片段中已被拟人化的指示。在各种实施方式中，所述识别可以包括至少部分地基于与所述文本片段相关联的注释来识别所述主语和动作。

在各种实施方式中，所述方法可以进一步包括至少部分地基于与所述主语相关联的类注释来确定所述可能性。在一些实施方式中，所述可能性可以是所述动作可由与所述类注释相关联的类的成员执行的可能性。在各种实施方式中，所述方法可以进一步包括基于与所述主语相关联的所述类注释来识别所述类，以及至少部分地基于所述类来确定所述可能性。

在各种实施方式中，确定所述可能性可以基于关于所述文本片段所提出的问题。在各种实施方式中，所述方法可以进一步包括至少部分地基于从在所述文本文档的语料库中所找到的多个参考主语以及相关联的参考动作所导出的统计数据来确定所述可能性。在各种实施方式中，至少部分地基于在所述文本文档的语料库中所找到的多个参考主语以及相关联的参考动作来确定所述可能性可以包括将所述语料库限定到包含低于预定阈值个拟人化实体的文本文档。

其他实施方式可以包括一种存储指令的非暂时性计算机可读存储介质，所述指令可由处理器执行以执行诸如上所述的方法中的一个或多个的方法。又一个实施方式可以包括一种系统，包括存储器以及一个或多个处理器，所述处理器可操作成执行存储在所述存储器中的指令以执行诸如上所述的方法中的一个或多个的方法。

应领会到，本文中详述的前述概念以及附加概念的所有组合均被构想为本文中所公开的主题的一部分。例如，在本公开的文末处出现的所要求保护的主题的所有组合均被构想为本文中所公开的主题的一部分。

附图说明

图1图示其中可以确定文本片段中的实体之间的相似性和/或不同性并且/或者其中可以分析文本片段以确定动作可由相关联的主语执行的可能性的示例环境。

图2图示可以如何通过配置有本公开的所选方面的各种组件来处理文本片段以确定该文本片段中的实体之间的相似性和/或不同性的一个示例。

图3是图示确定文本片段中的实体之间的相似性和/或不同性的示例方法的流程图。

图4图示可以如何将所公开的技术用于解答阅读理解考试题目的示例。

图5图示可以如何通过配置有本公开的所选方面的各种组件来处理文本片段以确定动作可由相关联的主语执行的可能性的一个示例。

图6是图示确定动作可由文本片段中的相关联的主语执行的可能性的示例方法的流程图。

图7图示计算机系统的示例架构。

具体实施方式

图1图示其中可以确定一个或多个文本片段中所包含的实体之间的一个或多个相似性和/或不同性并且其中可以分析文本片段以确定动作可由相关联的主语执行的可能性(也被称作“主语对动作的可执行性”)的示例环境。该示例环境包括客户端设备106以及知识系统102。知识系统102可以被实现在例如通过网络(未示出)通信的一个或多个计算机中。知识系统102是信息检索系统的示例，在该信息检索系统中可以实现本文所述的系统、组件和技术并且/或者本文所述的系统、组件和技术可以与该信息检索系统相接。

用户可以经由客户端设备106和/或其他计算系统(未示出)与知识系统102相交互。客户端设备106可以是通过诸如局域网(LAN)或者如因特网的广域网(WAN)的网络耦合至知识系统102的计算机。例如，客户端设备106可以是桌面型计算设备、膝上型计算设备、平板型计算设备、移动电话计算设备、用户的车辆的计算设备(例如，车载通信系统、车载娱乐系统、车载导航系统)或者包括计算设备的用户可穿戴装置(例如，具有计算设备的用户手表、具有计算设备的用户眼镜)。可以提供附加的和/或替选的客户端设备。

知识系统102可以检测特定用户的活动，诸如该用户在客户端设备106上的活动104或者该用户在其他计算设备(未示出)上的活动，并且将各种响应数据108提供至客户端设备106或者由用户使用的其他计算设备(同样未示出)。尽管用户有可能会操作多个计算设备，但简洁起见，本公开中所述的示例将针对用户操作客户端设备106。客户端设备106可以执行一个或多个应用，诸如浏览器107、电子邮件客户端109、地图应用111和/或媒体消费应用113。在一些实例中，这些应用中的一个或多个可以在由用户操作的多个客户端设备上运行。

用户活动104可以包括关于一个或多个文本片段的一个或多个问题、搜索文档和/或信息的一个或多个搜索引擎查询、指示对各种项目(例如，歌曲、视频、书籍、餐馆等)的用户消费的数据等等。如本文所用，“文本片段”可以包括任何语言的计算机可读文本字符的任何序列，包括但不限于，故事(或者其摘录)、文章、电子邮件、文本消息、书籍(或者其章节或更小摘录)、散文、诗歌、广告文案等等。待使用所公开的技术来分析的文本片段可以从各种来源中获得，包括但不限于，客户端设备106、知识系统102或者其他来源，并且可以从各种类型的电子文档中提取，诸如web页面、文字处理文档、语音邮件转录、电子邮件、文本消息等等。

响应数据108可以包括种类繁多的数据和信息，这些数据和信息可以至少部分地基于使用所公开的技术从文本片段中所确定的实体比较/对比，并且/或者至少部分地基于使用本文所公开的技术来确定的主语对动作的可执行性统计数据而生成和/或选择。例如，数据108可以包括但不限于直接指示取自文本片段的实体比较/对比的数据(例如，对“howare A and B the same”的答案)、至少部分地基于实体比较/对比来排名的搜索结果、一个或多个替选的查询建议或导航搜索结果、目标广告、对消费项目(例如，歌曲、视频、餐馆等)的推荐等等。附加地或替选地，数据108可以包括直接指示主语对动作的可执行性的数据，例如，响应于直接疑问句。数据108可以包括至少部分地基于主语对动作的可执行性来识别、确定、排名和/或选择的其他信息，包括但不限于，搜索结果、一个或多个替选的查询建议或导航搜索结果、目标广告、对消费项目(例如，歌曲、视频、餐馆等)的推荐等等。

客户端设备106以及知识系统102各自包括用于存储数据和软件应用的一个或多个存储器、用于访问数据和执行应用的一个或多个处理器以及促进通过网络的通信的其他组件。由客户端设备106和/或知识系统102执行的操作可以跨多个计算机系统来分布。知识系统102可以被实现为例如在一个或多个位置上、通过网络互相耦合的一个或多个计算机上运行的计算机程序。

在各种实施方式中，知识系统102可以包括索引引擎120、信息引擎122、实体识别引擎124、同义词/反义词引擎126、阅读理解引擎128、排名引擎130、主语/动作识别引擎132、可执行性统计数据引擎134和/或主语/动作可执行性引擎136。在一些实施方式中，可以省略引擎120、122、124、126、128、130、132、134和/或136中的一个或多个。在一些实施方式中，可以结合引擎120、122、124、126、128、130、132、134和/或136中的一个或多个的全部或多个方面。在一些实施方式中，可以在与知识系统102分开的组件中实现引擎120、122、124、126、128、130、132、134和/或136中的一个或多个。在一些实施方式中，可以在由客户端设备106执行的组件中实现引擎120、122、124、126、128、130、132、134和/或136中的一个或多个或者其任何操作部分。

索引引擎120可以保存索引125，以供知识系统102使用。索引引擎120可以处理文档并且更新索引125中的索引条目，例如，使用常规和/或其他的索引技术。例如，索引引擎120可以爬取一个或多个资源，诸如万维网(World Wide Web)，并且将经由这样的爬取所访问的文档编索引。作为另一示例，索引引擎120可以从一个或多个资源接收与一个或多个文档有关的信息，并且基于这样的信息来将文档编索引，所述资源诸如控制这样的文档的web主机。文档是与文档地址相关联的任何数据。文档包括web页面、文字处理文档、可移植文档格式(PDF)的文档、图像、电子邮件、日程表条目、视频以及web订阅源，仅举几例。例如，每个文档可以包括内容，诸如：文本、图像、视频、声音、嵌入信息(例如，元信息和/或超链接)和/或嵌入指令(例如，ECMAScript实施方案，诸如JavaScript)。索引引擎120也可以使用关于文档中所描述的实体的信息作为其索引的一部分。例如，索引引擎120可以用使用所公开的技术来获得的、关于文档中的实体之间的相似性和/或不同性和/或主语对动作的可执行性的信息来更新索引125中的索引条目。

信息引擎122可以选择性地保存另一个索引127，其包括或便于访问非文档特定的信息，以供知识系统102使用。例如，知识系统102可以被配置成响应于似乎查找特定信息的搜索查询而返回信息。如果用户搜索“Ronald Reagan's birthday(罗纳德里根的生日)”，则知识系统102可以例如从信息引擎122接收日期“1911年2月6日”。在一些实施方式中，索引127本身可以包含信息，或者其可以链接至一个或多个其他信息来源，诸如在线百科全书、年鉴等等。在一些实施方式中，索引127可以至少部分地被填充有使用所公开的技术来获得的、关于文档中的实体之间的相似性和/或不同性的信息。在一些实施方式中，索引127可以至少部分地被填充有使用所公开的技术来获得的、关于主语对动作的可执行性的信息。在一些实施方式中，索引127可以至少部分地被填充有通过分析在文档语料库中所找到的参考主语以及相关联的参考动作来获得的信息。

在各种实施方式中，索引125或者索引127可以包括查询(或者查询词项)与文档和/或信息之间的映射。在一些实施方式中，索引127可以存储知识图谱，其包括表示各种实体的节点以及表示那些实体之间的关系的加权边。譬如，通过爬取多个数据库、在线百科全书等等，以积累呈现实体的节点以及表示那些实体之间的关系的边，可以建立这样的知识图谱。在一些实施方式中，知识图谱可以被填充有使用所公开的技术来获得的、关于文档中的实体之间的相似性和/或不同性的信息。在一些实施方式中，知识图谱可以被填充有使用所公开的技术来获得的、关于主语对动作的可执行性的信息。

实体识别引擎124可以被配置成识别文本片段中的两个或多个实体以及相关联的实体属性。在一些实施方式中，实体识别引擎124可以利用由一个或多个文本注释器(参见图2)基于文本片段所生成的标注释的输出来识别两个或多个实体以及相关联的实体属性。在一些实施方式中，实体识别引擎124可以附加地或替选地利用正则表达式、机器学习、基于规则的方法、启发法或者其他技术来识别文本片段中的两个或多个实体。

可以利用各种技术来确定在文本片段中哪些实体属性与哪些实体相关联。例如，实体识别引擎124可以利用共指消解以将代词与特定的实体映射，并且进而将该代词的属性映射至给定的实体。例如，实体识别引擎124可以基于文本片段中的下列语句：“Mariaand Doug are siblings.They both have red hair(Maria和Doug是兄弟姐妹。他们都有红头发)”而将“they(他们)”解析成“Doug and Maria(Doug和Maria)”并且将“red hair(红头发)”与“Doug”以及“Maria”相关联。

宾语补足语是可以供实体识别引擎124和/或本文中所述的其他组件采用以例如当并未直接关于实体提及实体属性时将那些属性与所述实体相关联的另一个技术。假设文本片段包含直接描述第一实体与第一实体属性之间的关系、却仅间接描述第二实体与第二实体属性之间的关系的语句或者短语。实体识别引擎124可以被配置成确定并且在一些情形下生成更加直接地描述第二实体与第二实体选择之间的关系的文本改写。例如，实体识别引擎124可以采用宾语补足语来确定在语句“Spiders have 8legs,ants have 6(蜘蛛有8条腿，蚂蚁有6条)”中“6”引用“legs(腿)”，并且“6legs(6条腿)”可以与实体“ants(蚂蚁)”相关联。

用于将属性与实体相关联的技术的又一个示例是使用来自文本的词项的同义词和/或反义词。为此，同义词/反义词引擎126可以建立和/或保存可以充当实体属性的词语和/或短语的索引129以及那些词语和/或短语的同义词和/或反义词。在一些实施方式中，同义词/反义词引擎126可以在知识系统102之外、例如通过第三方词典和/或词库服务来操作。假设文本片段包含语句“Spiders have 8legs”。通过同义词/反义词引擎126可以将“Limbs(四肢)”识别为“legs”的同义词。通过实体识别引擎124可以再将“8limbs”与关联于“spiders(蜘蛛)”的实体相关联。此外，例如，针对语句“Bob is tall,Joe is not(Bob是高的，Joe不是)”，通过同义词/反义词引擎126可以将“short(矮)”识别为“tall(高)”的反义词，并且例如，通过实体识别引擎124可以将“short”与实体“Joe”相关联。

在本说明书中，术语“数据库”以及“索引”可以被广泛使用于意指任何数据集。数据库和/或索引的数据不必以任何特定方式来构建，并且其能够被存储于一个或多个地理位置中的存储设备上。因此，例如，索引125、127、129和135可以包括多个数据集，其中每一个都可以不同的方式来组织和访问。

所确定的实体与属性之间的关联性可以例如通过实体识别引擎124而以各种方式来存储，以便用于确定相似性/不同性。在一些实施方式中，关联性可以例如通过实体识别引擎124而被存储为索引条目、表、图等。在一些实施方式中，关联性可以例如通过实体识别引擎124而被存储为从文本片段生成的一个或多个文本改写。例如，语句“Spiders have8legs,ants have 6”可以例如通过实体识别引擎124而被改写为“Spiders have 8legs”以及“"Ants have 6legs”(可以提供附加的文本改写，诸如包括同义词的那些)。

所识别的实体属性可以由知识系统102的各种组件来使用以识别文本片段中的两个或多个实体之间的相似性/不同性。譬如，阅读理解引擎128可以被配置成识别例如通过实体识别引擎124在一个或多个文本片段中所识别的实体之间的一个或多个相似性/不同性。阅读理解引擎128可以再提供第一与第二实体如何相似或不同的一些种类的指示。该指示可以具有各种形式，诸如对问题“how are the first and second entitiesdifferent？(第一实体和第二实体有何不同)”的答案，作为一个或多个产品评论中所述的多个产品的特征的比较，或者作为到另一个组件的输入。

在一些实施方式中，阅读理解引擎128可以使用文本片段本身中所包含的比较和/或对比提示来识别文本片段中的实体之间的相似性和/或不同性。例如，假设文本片段包含下列语句：“While Bob combed his hair to appear presentable,Tom simply wore ahat(虽然Bob梳理了他的头发而看起来很体面，Tom仅穿戴整齐)”。阅读理解引擎128可以例如基于正则表达式、规则、启发法等而确定词语“While(虽然)”发出信号，在两个实体之间做出对比。阅读理解引擎128可以再提供Bob与Tom如何不同的指示，例如，“Bob combed hishair；Tom wore a hat(Bob梳理了他的头发；Tom穿戴整齐)”。下面来讨论关于阅读理解引擎128的更多细节。

排名引擎130可以使用索引125、127和/或129来响应于搜索查询而识别文档和其他信息，例如，使用常规和/或其他的信息检索技术。排名引擎130可以运算对于识别为响应于搜索查询的文档和其他信息的分值，例如，使用一个或多个排名信号。每个排名信号可以提供关于文档或者信息本身的信息、文档或者信息与搜索查询之间的关系、文档或者信息与执行搜索的用户之间的关系和/或文档中所描述的实体之间的关系(例如，实体之间的相似性和/或不同性)。图1中未示出的其他组件也可以利用例如通过阅读理解引擎128所确定的实体之间的相似性/不同性，以执行各种操作。将参照图2来描述示例。

继续参照图1，在另一方面，主语/动作识别引擎132可以被配置成在文本片段中识别一个或多个主语以及相关联的动作(在本文中被称作“主语与动作对”)，所述动作在文本片段中被描述为由相关联的一个或多个主语执行。主语与动作对可以具有各种形式。例如，名词后接动词(例如，“fish swims(鱼游泳)”)可以形成主语(“fish(鱼)”)与动作(“swims(游泳)”)对。另外，潜在更加复杂的词语模式，诸如动词短语模式，也可以包含或暗示主语与动作对的存在。例如，“have something(有某物)”、“be something(是某物)”、“besomehow(以某种方式)”和/或“be like something(像某物)”是可以用作信号来识别主语与动作对的词语模式。在语句“Bob has four cats(Bob有4只猫)”中，主语可以是“Bob”，并且动作可以是“has(有)”。在一些实施方式中，词语模式<NOUN"is/has been/will be/are/am"ADJECTIVE>可以是用于识别主语与动作对的规则(例如，“Bob is happy(Bob开心)”、“Lucille is shaggy(Lucille蓬松)”、“I am tall(我很高)”等)。

在一些实施方式中，主语/动作识别引擎132可以利用由一个或多个文本注释器(参见图2、图5)基于文本片段所生成的标注释的输出来识别一个或多个主语以及相关联的动作。可以利用各种技术来确定在文本片段中哪些动作与哪些主语相关联。在一些实施方式中，主语/动作识别引擎132可以利用正则表达式、机器学习、基于规则的方法、启发法或者其他技术来识别文本片段中的一个或多个主语以及相关联的动作。

在一些实施方式中，主语/动作识别引擎132可以利用共指消解以将代词与特定的主语映射，并且进而将由该代词执行的动作映射至给定的主语。例如，主语/动作识别引擎132可以将“they”解析成“Doug and Maria”并且基于文本片段中的下列语句：“Maria andDoug are happy,and they both dance(Maria和Doug很开心，而且他们都在跳舞)”而将动作“dance(跳舞)”与“Doug”以及“Maria”相关联。

宾语补足语是可以供主语/动作识别引擎132采用以将动作与主语相关联的另一个技术。假设文本片段包含直接描述第一主语与第一动作之间的关系、却仅间接描述第二主语与第二动作之间的关系的语句或者短语。主语/动作识别引擎132可以被配置成确定并且在一些情形下生成更加直接地描述第二主语与第二动作之间的关系的文本改写。例如，假设文本片段包含语句“Bob swims daily,Tom does not(Bob每天游泳，Tom不是)”。主语/动作识别引擎132可以采用宾语补足语来生成语句的第二部分的文本改写，其可以写成“Tom does not swim daily(Tom不是每天都游泳)”。主语与动作对可以例如通过主语/动作识别引擎132而以各种形式和位置来存储，以便用于确定主语对动作的可执行性。在一些实施方式中，关联性可以例如通过主语/动作识别引擎132而被存储为索引条目、表、图等。在一些实施方式中，关联性可以例如通过主语/动作识别引擎132而被存储为从文本片段生成的一个或多个文本改写。

可执行性统计数据引擎134可以被配置成例如从一个或多个索引135分析一个或多个文档语料库，以确定与参考主语与动作对相关的统计数据。这些统计数据可以由其他组件诸如主语/动作可执行性引擎136来使用，以确定特定文本片段中的动作可由其相关联的主语执行的可能性。在一些实施方式中，可执行性统计数据引擎134可以识别在文本文档的语料库中所找到的多个参考主语以及相关联的参考动作。在各种实施方式中，分布统计数据可以从由可执行性统计数据引擎134所识别的参考主语与动作对导出。分布统计数据可以被使用于确定动作可由特定主语执行的可能性。在一些实施方式中，基于多个参考主语和动作，可执行性统计数据引擎134可以确定一个或多个动作可由一个或多个类的主语执行的可能性。

在一些实施方式中，可执行性统计数据引擎134可以即时执行这样的分析，例如，与分析特定的文本片段同时进行。在一些实施方式中，可执行性统计数据引擎134可以在分析特定的文本片段之前执行这样的分析。这样的分析的结果可以稍后供各种下游组件来使用，诸如主语/动作可执行性引擎136。在一些实施方式，可执行性统计数据引擎134可以采用机器学习，其中训练分类器，例如，使用利用标注文档的监督和/或半监督学习。

基于主语对动作的“可执行性”被判断如何，可以选择文档的语料库以供可执行性统计数据引擎134来分析。例如，如果针对逼真性来分析一个或多个文本文档，则可以选择不太可能包含拟人化主语的“写实”文档的语料库，诸如新闻文章和/或非虚构作品。在一些实施方式中，可以选择包含低于预定阈值个拟人化实体的文档的语料库。当在这样的语料库中所找到的多个人类参考主语据说执行特定的动作时，比较有可能的是，人类能够执行这样的动作。替选地，如果一个或多个文本文档将被分析以确定其中所描述的动作是否可在幻想世界中由特定的幻想角色(或者角色类型，例如，“龙”、“僵尸”、“巫师”、“机器人”等)执行，则可以选择“幻想”文档的语料库。

在各种实施方式中，从由可执行性统计数据引擎134所识别的参考主语与动作对导出的分布统计数据可以采取各种形式。例如，假设由可执行性统计数据引擎134对非虚构的文档的语料库的分析展示执行第一动作(或者同义动作)的“人类”主语的数目远多于“非人类”主语。该第一动作(并且在一些情形下的一个或多个同义动作)可以被指定为主要或专门由人类执行。当第一动作在文本片段中被描述为由非人类主语执行时，主语/动作可执行性引擎136可以倾向于将该非人类主语表征为“拟人化”。

作为另一示例，假设对相同的非虚构的文档的语料库的分析展示“人类”与“非人类”主语执行第二动作(或者同义动作)的数目大致相等。当第二动作在文本片段中被描述为由非人类主语执行时，主语/动作可执行性引擎136会不太可能将该非人类主语表征为“拟人化”，因为该动作有可能可由“非人类”执行(至少根据所分析的文档的语料库)。

如上所暗指的，在一些实施方式中，当特定动作可主要或专门由特定类的主语执行的可能性增大时(例如，通过可执行性统计数据引擎134)，一个或多个同义动作也可主要或专门由特定类的主语执行的一个或多个可能性也可能增加。在一些情形下，针对原始动作以及一个或多个同义动作的可能性可能同等地和/或按比例地增加。在一些情形下，针对一个或多个同义动作的可能性可以比针对原始动作的可能性增加得更少，或者完全不增加。例如，动作“dance”与“prance(腾跃)”是同义的。然而，与“dancing”相比，诸如马的非人类主语更有可能会被视为能够“prancing”，特别是如果由可执行性统计数据引擎134对重要新闻和/或非虚构的科学文献的语料库进行分析。在这样的情况下，如果马被描述为“dancing”，则其可以被视为“拟人化”，而如果马被描述为“prancing”，则其可以不被视为“拟人化”。

由主语/动作识别引擎132所识别的主语与动作对可以例如通过主语/动作可执行性引擎136部分地基于由可执行性统计数据引擎134所提供的统计数据以及其他信号而被分析，以确定动作可由主语或者主语是其成员的一类主语执行的可能性。主语/动作可执行性引擎136可以提供主语与动作对的动作可由主语执行的可能性的一些种类的指示。该指示可以具有各种形式，诸如对问题“Can the subject perform the purported action？(主语能执行据称的动作吗？)”的答案，或者作为到另一组件的输入。在一些实施方式中，特别是在确定出不太可能是主语能够执行相关联的动作的情况下，指示可以包括主语与动作对是只存在于“虚拟”中的一个主语与动作对的指示。在一些实施方式中，如果文本片段中所描述的阈值数目的主语被视为“拟人化”(例如，>50％、>％60等)，则整个文本片段可以被视为“虚拟”。

假定文本片段包含语句“The dog danced excitedly upon seeing its owner(狗在看见它的主人时兴奋地跳舞)”。主语/动作识别引擎132可以将“dog(狗)”识别为主语，并且将“danced(跳舞)”和“seeing(看见)”识别为相关联的动作。可执行性统计数据引擎134可以针对例如新闻故事、科学文章等非虚构文档的语料库而被训练。主语/动作可执行性引擎136可以基于参考主语与动作对和/或由可执行性统计数据引擎134所提供的可执行性统计数据来确定狗(dog)极有可能能够“seeing”，但不太可能会能够“dancing”。主语/动作可执行性引擎136可以向例如各种下游组件提供狗已经被“拟人化”的指示，至少到狗在文本片段中被描述为“dancing”的程度。

除来自可执行性统计数据引擎134的信息之外，主语/动作可执行性引擎136还可以利用其它信号来确主语对动作的可执行性。例如，在一些实施方式中，主语/动作可执行性引擎136在确定主语是否能够执行特定动作的概率时考虑指定类的主语。譬如，一些注释器可以提供标注释的输出，其按类注释主语。人类可以被注释为“PERSON”，但动物和其他主语可以被分到不同的类，例如“ANIMALS”。当确定譬如特定主语是否已被拟人化时，可以考虑这样的类。与主语最初被分类为非人类相比，如果主语最初被分类为人类，则主语已被拟人化的可能性较小。

可以使用来自主语/动作可执行性引擎136的输出的下游组件可以具有各种形式。排名引擎130是一个这样的示例。图1中未示出的其他组件也可以利用例如通过主语/动作可执行性引擎136所确定的主语对动作的可执行性，以执行各种操作。将参照图5来描述示例。

返回第一方面，图2示意性描绘了可以如何通过配置有本公开的所选方面的各种组件来分析文本片段250以确定该文本片段250中的实体之间的相似性和/或不同性的一个示例。在一些实施方式中，可以首先通过一个或多个注释器252来处理文本片段250。一个或多个注释器252可以被配置成识别和注释文本片段250中的各种类型的语法信息。该语法信息可以包括但不限于名词、代词、词性、动词、副词、形容词、时态等等。可以再通过实体识别引擎124来处理一个或多个注释器252的输出-例如，标注释的文本。在一些实施方式中，可以省略一个或多个注释器252，并且实体识别引擎124可以直接分析文本片段250，例如，未标注释形式的文本片段。

如上所指出，实体识别引擎124可以采用各种技术(例如，宾语补足语、共指消解等)来识别两个或多个实体以及相关联的实体属性。如其间的箭头所指示，实体识别引擎124也可以查阅同义词/反义词引擎126以识别实体属性。

实体识别引擎124可以输出各种类型的信息。在一些实施方式中，例如，除由一个或多个注释器252所提供的任何注释之外，实体识别引擎124可以输出带有实体和实体属性注释的文本片段250。如由其他箭头所指示，实体识别引擎124可以识别实体，以便不仅基于文本片段250，而且还基于关于文本片段250提出的问题144以及与问题144相关联的一个或多个答案选项146a至146c，进行比较/对比。

除各种其他信号和/或信息的来源之外，实体识别引擎124的输出可以供阅读理解引擎128使用，以确定文本片段250中的实体之间的相似性和/或不同性。例如，并且如其间的箭头所指示，阅读理解引擎128可以查阅同义词/反义词引擎126以确定第一实体的属性是第二实体的属性的同义词还是反义词，并且由此应被识别为第一与第二实体之间的相似性或不同性的来源。或者，如上所指出，阅读理解引擎128可以利用文本片段250中的各种比较/对比信号，诸如“while(虽然)”、“but(但是)”、“however(然而)”、“on one hand...onthe other hand(一方面…另一方面)”、“similarly(类似地)”、“by contrast(相比之下)”、“in contrast(与之相比)”、“as was the cast with...(与…的情况相同)”、“like(像)”、“unlike(不像)”等等，以确定实体之间的相似性和/或不同性。

并非所有实体属性都可以相互比较。譬如，阅读理解引擎128将实体A的衬衫的颜色与实体B的鞋子的尺码相比较没有意义。相反，在一些实施方式中，阅读理解引擎128可以比较共享属性“类”的实体属性。例如，可以将实体A的衬衫的颜色(例如，attribute.class＝shirt color)与实体B的衬衫的颜色相比较。可以从各种来源确定实体属性是否与相同的类相关联。在一些实施方式中，凭借彼此同义或者反义的那些属性(例如，如通过同义词/反义词引擎126来确定)，可以将属性分类在一起。在一些实施方式中，基于在知识图谱中(例如，在索引127中)所包含的数据，可以将属性分类在一起。例如，“boots(靴子)”与“sandals(凉鞋)”可以都在类“footwear(鞋类)”中，并且可以针对各种属性进行比较，诸如颜色、尺码、舒适度、价格、耐用度、防水性等。

阅读理解引擎128可以被配置成提供文本片段250中的实体之间的一个或多个相似性和/或不同性的各种指示。在一些实施方式中，阅读理解引擎128可以用文本片段250提供两个或多个实体之间的相似和/或不相似属性的概要。例如，阅读理解引擎128可以基于在一个或多个产品描述、用户评论或者其他类似的文本中所识别和/或注释的产品实体以及相关联的属性来确定对于多个产品中的每个产品的一列产品特征。例如，如果一个或多个评论比较和对比多个相机，则阅读理解引擎128可以输出一列产品特征以及哪些(如果存在的话)形成每个产品都包括该特征的指示。在一些实施方式中，阅读理解引擎128可以将实体相似性/不相似性的指示提供至各种下游组件。那些下游组件可以出于各种目的来利用实体相似性/不相似性的指示。

例如，替选查询建议引擎138可以使用实体相似性/不相似性的指示以及一个或多个其他信号和/或其他信息(与客户端设备106的用户相关的场境提示，诸如GPS定位，其他传感器读数)，以生成用于提供给客户端设备106的替选查询建议。例如，假设用户阅读按各种准则(例如，最佳海浪、最佳天气、最软沙滩、最清水质、最多海洋生物、最佳浮潜等)比较和对比多个海滩的文章。用户再向其浏览器(例如，107)搜索栏中键入“best snorkelingbeaches(最佳浮潜沙滩)”。替选查询建议引擎138可以基于从海滩文章(其中，地点可以是实体)所确定的比较和/或对比来提供替选查询建议，所述替选查询建议具体包括文章中描述为适于浮潜、具有清澈水质、海洋生物丰富等的一个或多个海滩的名称。

消费品推荐引擎140可以利用实体相似性/不相似性指示以推荐项目，例如，歌曲、视频、餐馆、景点、事件、书籍等，以供用户消费。例如，假设用户喜欢第一音乐人，并且发表了比较和对比第一音乐人与第二音乐人的文章。基于取自该文章的第一与第二音乐人之间的相似性，消费品推荐引擎140可以将第二音乐人的歌曲建议(或者不建议)给用户以便消费。

如在142所指出，由阅读理解引擎128所提供的一个或多个实体相似性/不相似性的指示可以被使用于回答关于文本片段250实时提出的问题。例如，用户可以向浏览器107的搜索栏中键入“How are A and B different？(A和B有何不同？)”。诸如知识系统102的各种系统可以利用从阅读理解引擎128所获得的一个或多个指示来尝试回答这样的问题。

关于文本片段250提出的实时问题142和/或一个或多个预定问题144(例如，可以在阅读理解考试上被找到)本身可以使用本文中所公开的一个或多个技术来分析。譬如，并且如图2中的箭头所指示，实体识别引擎124可以在关于文本片段250提出的预定问题144中识别一个或多个实体，并且可以将那些实体(例如，排除掉文本片段250中所描述的其他实体)提供至阅读理解引擎128。在一些实施方式中，阅读理解引擎128可以将其对上游数据的分析限定至在预定问题144中所识别的那些实体。在其他实施方式中，阅读理解引擎128可以分析文本片段250中所提及的全部实体，但可以提供仅在问题144(或者实时问题142)中所识别的那些实体之间的相似性和/或不同性的指示。

关于文本片段250提出的一些问题144可以包括答案选项，例如图2中的146a至146c，例如，在多项选择测试设置中，所述答案选项可以被选择作为对问题144的答案。类似于问题144，一个或多个答案选项146a至146c也可以使用一个或多个所公开的技术来分析，例如，以识别实体以便比较。在一些实施方式中，在答案选项中作出的陈述可以针对在文本片段250中作出的陈述而被“测试”，以确定那些答案选项的真实性。在各种实施方式中，阅读理解引擎128和/或实体识别引擎124可以采用宾语补足语来生成问题144和/或答案选项146中所包含的实体/属性关系的间接描述的文本改写。

现参照图3，描绘了一种确定文本片段中的实体之间的相似性和/或不同性的示例方法300。方便起见，参照执行操作的系统来描述该流程图的操作。该系统可以包括各种计算机系统的各种组件。譬如，一些操作可以在客户端设备106处来执行，而另一些操作可以由知识系统102的一个或多个组件来执行，诸如实体识别引擎124、同义词/反义词引擎126、阅读理解引擎128等等。此外，虽然方法300的操作以特定顺序示出，但这并无限制意义。可以重新排序、省略或添加一个或多个操作。

在可选的框302处，系统可以分析关于文本片段提出的问题(例如，142、144)以确定各种信息。例如，基于问题的措词(例如，“how are A and B the same(A和B怎么相同)”)，系统可以识别用来比较的两个或多个实体(例如，A和B)，并且/或者可以确定要在实体之间确定相似性还是不同性(“the same”＝相似性)。当然，并不一定关于文本片段提出问题才能采用本文中所公开的技术。譬如，在一些实施方式中，一个或多个文本片段可以被注释(或者被进一步注释)有关于其中所描述的实体之间的相似性和/或不同性的信息以辅助下游组件。譬如，诸如排名引擎130、替选查询建议引擎138或者消费品推荐引擎140的各种下游组件可以出于各种目的而使用这些相似性/不同性注释，诸如排名搜索结果、建议替选查询建议、推荐消费品等等。因此，以虚线示出框302以指示其是可选的。

在类似可选的框304处，系统可以从问题144或者一个或多个答案选项146生成直接描述实体与相关联的实体属性之间的一个或多个关系的一个或多个文本改写。如上所指出，一些问题或者答案选项可以间接描述实体与实体属性之间的关系。例如，答案选项可以写成“Bob has hair,Tom does not(Bob有头发，Tom没有)”。系统可以生成文本改写“Tomdoes not have hair(Tom没有头发)”，可以更加容易地将其与文本片段(或其文本改写)中所包含的相似陈述相比较。

在框306处，系统可以识别文本片段中的两个或多个实体。如果关于文本片段提出的问题识别特定实体(如可以在框302处被确定)，则可以在文本片段中识别那些特定实体。在其它实例中，文本片段中所提及的实体可以被识别成差别较小。

在框308处，系统可以识别在框306处所识别的实体的实体属性。如上所指出，可以采用各种技术将实体属性与实体相关联。例如，在框308a处，代词(例如，“he”、“she”、“him”、“her”等)可以被共指消解成实体和/或实体属性。在框308b处，并且类似于框304，系统可以生成更加直接地描述文本片段中所包含的实体与实体属性之间的关系的一个或多个文本改写。

在框310处，系统可以将各种实体或者实体属性相似性/不相似性的指示提供至各种组件。例如，在可选的框310a处，系统可以将在框304处所生成的答案选项的部分的文本改写与例如在框308b处所生成的文本片段的部分的文本改写相比较，以确定一个或多个答案选项的真实性。该步骤的示例在图4中示出。

在图4中，文本片段450包含下列文字：

Bob and Tom are both male.By contrast,Mary is not.Bob has gray hair,Tom does not.Mary has blond hair,no car and a condo.Tom has a Buick and livesin a house.Bob lives with Tom and eschews a car for public transportation(Bob和Tom都是男性。与之相比，Mary不是。Bob有白发，Tom没有。Mary有金发，没有车和共有公寓。Tom有Buick并且住在住宅中。Bob与Tom住在一起并且不开车而乘坐公共交通工具).

可以利用本文中所公开的各种技术来分析文本片段450和/或关于文本片段450提出的问题444，以便确定文本片段450中所描述的各种实体之间的相似性和/或不同性。

如上所指出，实体识别引擎124可以利用各种技术，诸如正则表达式或者基于规则的模式匹配技术，以识别实体和/或实体属性。譬如，假定使用基于规则的模式匹配将语句组织成树形。进一步假定关于文本片段450提出下列问题(图4中未示出)：“What does Bobhave that Tom does not？(什么是Bob有而Tom没有的？)”可以创建规则，倘若存在具有作为子级(child)的指名主语名词(例如，“Bob”)的动词原形(例如，“have”)，以及存在具有另一个作为子级的指名主语(例如，“Tom”)的该动词原形的比较(例如，“does”)，并且该比较被否定(例如，“not”)，则这两个主语(“Bob”和“Tom”)应被识别为实体。

文本片段450的第三语句写成“Bob has gray hair,Tom does not”，其直接描述第一实体(Bob)与第一实体属性(hair)之间的关系。然而，该语句仅间接描述第二实体(Tom)与第二实体属性(hair)之间的关系。在各种实施方式中，例如，通过实体识别引擎124，可以生成直接描述第二实体与第二实体属性之间的关系的文本改写，其可以写成“Tomdoes not have gray hair(Tom没有白发)”。在一些实施方式中，可以针对第一实体的关系生成另一个文本改写，并且其可以写成“Bob has gray hair(Bob有白发)”。

例如，通过实体识别引擎124，可以采集这两个文本改写连同关于文本片段450中的实体/实体属性关系的其他类似文本改写，并且将其存储在各种位置上。例如，通过阅读理解引擎128，可以稍后将这些文本改写和/或它们表示的实体/实体属性关系与其他类似的文本改写和/或实体/实体属性关系相比较，例如，以确定一个或多个答案选项的真实性。通过这种方式采集和存储文本改写(或者实体/实体属性的更概括性的描述)可以使得文本片段的完全分开的部分中所提及的实体/实体属性能够进行比较。

作为另一个说明性示例，以下文本片段450是阅读理解问题444，其询问“Which ofthe following choices about Bob and Tom is true？(以下关于Bob和Tom的选项哪些是正确的？)”并且列出四个答案选项446a至446d。例如，通过实体识别引擎124，可以执行宾语补足语或者其他类似技术，以生成对于答案选项446a的下列文本改写：“Bob has grayhair(Bob有白发)”以及“Tom has gray hair(Tom有白发)”。基于针对文本片段450的第三语句所生成的文本改写(“Bob has gray hair(Bob有白发)”、“Tom does not have grayhair(Tom没有白发)”)，例如，通过阅读理解引擎128，可以确定选项A为假，因为Tom没有白发。

例如，通过实体识别引擎124和/或阅读理解引擎128，可以对文本片段450的其余部分以及其他答案选项446b至446d执行类似的分析。例如，答案选项446b可以生成文本改写“Bob lives in a Condo(Bob住在共有公寓中)”以及“Tom does not live in a Condo(Tom不住在共有公寓中)”。对文本片段450的第五语句(“Tom has a Buick and lives ina house(Tom有Buick并且住在住宅中)”)的处理可以产生文本改写“Tom has a Buick(Tom有Buick)”以及“Tom lives in a house(Tom住在住宅中)”。通过比较这些文本改写，例如，通过阅读理解引擎128，可以确定答案选项446b的第二部分(“Tom does not live in aCondo(Tom不住在共有公寓中)”)为真。然而，文本片段450的第六语句展示“Bob liveswith Tom(Bob与Tom住在一起)”。例如，通过阅读理解引擎128，可以将词语“with”识别为比较信号，并且自其可以生成文本改写“Bob lives in a house(Bob住在住宅中)”。例如，通过阅读理解引擎128，如今可以确定答案选项446b的第一部分(“Bob lives in a condo(Bob住在共有公寓中)”)为假，由此答案选项446不可能为真。最终，答案选项446d可以被确定为正确，因为两段陈述“Bob lives in a house(Bob住在住宅中)”以及“Tom does nothave gray hair(Tom没有白发)”都基于文本片段450而被论证为真。

回顾图2，假设关于文本片段250的问题写成“How is the red dog differentthan the blue dog？(红狗和蓝狗有何不同？)”。如果从该问题中提取出仅一个词的实体，则会出现“dog”的两个实例。为解决这一点，在各种实施方式中，能够生成规则以提供“如果进行对比的两个实体相同，则包括修饰所有格或形容词作为被识别的实体字符串的一部分”。该规则会使得“red dog(红狗)”以及“blue dog(蓝狗)”都被识别为实体。

在一些实施方式中，来自两个或多个文本片段250的信息、关于文本片段250提出的问题(例如，142、144)以及一个或多个答案选项146a至146c可以被使用于识别实体，其中譬如文本片段250或者提出的问题142/144各自并不充分。譬如，假设文本片段250描述两个猫(cats)Salt和Pepper，并且问题144写成“What is one way the cats are different？(这两只猫不同在哪些方面？)”，附带答案选项“Salt is smarter(Salt更聪明)”、“Pepperis shinier(Pepper更有光泽)”、“Pepper eats dinner alone(Pepper独自吃饭)”以及“Pepper takes care of the skunk(Pepper照顾臭鼬)”。在一些实施方式中，可以从问题中将“the cats”识别为进行比较或对比的两个实体。然后，例如通过实体识别引擎124，可以使用启发法，以识别包括“the cats”的实体。譬如，在答案选项中的实体的数目提及可以被计数。担当主语的那些提及的实体以及在答案选项中单独出现的那些实体可以被给予额外加权。例如，通过实体识别引擎124，可以将最常提及的两个实体识别为待比较和/或对比的实体(“the cats”)(在该示例中，Salt和Pepper)。

当问题或者答案选项都不足以单独识别实体时，例如，通过实体识别引擎124，可以使用类似的启发法。假设问题“Both kinds of skiers(两种类型的滑行者都__)”带有可能的选项“carry two poles(带两个滑雪杆)”、“can go barefoot(可以赤脚)”、“skibehind boats(在船后滑行)”以及“can do fancy tricks(可以花式技巧)”。虽然对于读者而言所引用的实体显然包括滑雪者(snow skier)以及滑水者(water skier)，但对于实体识别引擎124而言可能难以独立地从这些问题/答案选项作出确定，因为并未提及词语“snow(雪)”和“water(水)”。在一些实施方式中，可以分析对应的文本片段以找出提及“skiers(滑行者)”的部分。然后，可以使用这些提及部分的所有格修饰语和/或修饰形容词，例如，以将提及“skier”的部分分成两个集群：“snow skiers”以及“water skiers”。假设这些集群足够清楚(例如，不存在不同类型的skiers的其他大小类似的集群)，则可以例如通过实体识别引擎124而确定问题中所引用的两个实体是滑雪者以及滑水者。

在各种实施方式中，例如，通过实体识别引擎124和/或阅读理解引擎128，可以采用一个或多个技术，以确定从答案选项中所确定的特定实体/实体关系匹配从文本片段中所确定的一个特定实体/实体关系的强烈程度。譬如，这可以被使用于选择多个答案选项中可能未必错误的“最佳答案”。在一些这样的实施方式中，基于各种信号，包括但不限于文本片段中所包含的比较和/或对比信号，可以为每个答案选项分配加权分值。可以选择具有最高的(或以其他方式最令人满意的)分值的答案选项。

譬如，假定答案选项陈述“Tom plays soccer,but Bob plays basketball(Tom玩足球，但是Bob打篮球)”并且文本片段中的语句写成“However,Bob plays basketball(然而，Bob打篮球)”。分句的部分“Bob plays basketball”可能已经相当强烈地匹配答案选项的第二部分(“Bob plays basketball”)。但是，词语“However”在文本片段中紧接出现在陈述“Bob plays basketball”之前的这一事实可能是将Bob plays basketball的事实与其他事情进行对比的更强烈的信号。例如，通过实体识别引擎124，可以实施规则，其提供“如果实体陈述与语句之间存在匹配，并且实体是动词原形的指名主语，并且存在作为动词原形的子级的副词修饰语，其是“however”的同义词(例如，“but”、“on the other hand”等)”，则可以特别重地加权该匹配。可以执行其他类似的规则，以运用文本片段或其他部分内可能包含的其他比较/对比信号。在各种实施方式中，可以检测并且以类似方式利用文本片段中的其他比较/对比信号(例如，“both(二者都)”、“each(每个)”、“more than(多于)”、“less than(少于)”等)。

回顾第二方面，图5示意性描绘了可以如何通过配置有本公开的所选方面的各种组件来分析文本片段250以确定与主语与动作对相关联的主语对动作的可执行性的一个示例。在一些实施方式中，可以首先通过一个或多个注释器252来处理文本片段250。一个或多个注释器252可以如上参照图2所述运行。可以通过主语/动作识别引擎132来处理一个或多个注释器252的输出-例如，标注释的文本。在一些实施方式中，可以省略一个或多个注释器252，并且主语/动作识别引擎132可以直接分析文本片段250，例如，未标注释形式的文本片段。

如上所指出，主语/动作识别引擎132可以采用各种技术(例如，宾语补足语、共指消解等)来识别文本片段250中所提及的一个或多个主语与动作对。主语/动作识别引擎132可以输出各种类型的信息。在一些实施方式中，例如，除由一个或多个注释器252所提供的任何注释之外，主语/动作识别引擎132可以输出带有主语与动作对注释的文本片段250。如将在下文中进一步阐述，不仅基于文本片段250，而且还基于关于文本片段250提出的问题以及与关于文本片段250提出的问题相关联的一个或多个答案选项，主语/动作识别引擎132可以识别主语与动作对。

主语/动作可执行性引擎136可以使用主语/动作识别引擎132的输出以及参考主语与动作对和/或来自可执行性统计数据引擎134的统计数据，以确定在文本片段250中所识别的一个或多个主语与动作对的主语与动作对可执行性。主语/动作可执行性引擎136可以输出各种类型的数据。在一些实施方式中，主语/动作可执行性引擎136可以提供一列主语与动作对或的主语与动作对的概要以及相关联的主语对动作的可执行性作为输出。在一些实施方式中，主语/动作可执行性引擎136可以提供一个或多个主语能够执行一个或多个相关动作的一个或多个概率(例如，在区间[0,1]内)作为输出。

在一些实施方式中，主语/动作可执行性引擎136可以提供带有关于主语与动作对可执行性的进一步注释的文本片段250作为输出。譬如，例如，基于来自可执行性统计数据引擎134的统计数据，如果认为不太可能主语能够执行相关联的动作，则主语/动作可执行性引擎136可以将特定主语注释为“拟人化”。在一些实施方式中，该类型的注释可以被使用于提高对文本片段250内的“拟人化主语”的共指消解。

例如，在一些实施方式中，主语/动作可执行性引擎136可以注释文本片段250中的“拟人化主语”，并且再将新注释的文本片段250传回上游组件，诸如主语/动作识别引擎132或者一个或多个注释器252。主语/动作识别引擎132和/或一个或多个注释器252可以再执行附加处理，以准确地将文档的性别代词(例如，“he”或者“she”)与拟人化主语相关联。主语/动作识别引擎132和/或一个或多个注释器252可以再将其新更新的输出传回主语/动作可执行性引擎136和/或其他下游组件。在一些实施方式中，主语/动作可执行性引擎136可以使用文本片段250中的拟人化主语的一个或多个注释，以将文本片段250的一部分乃至文本片段250的全文识别为“虚拟”。

各种下游组件可以出于各种目的而利用由主语/动作可执行性引擎136提供的输出。例如，替选查询建议引擎138可以使用主语对动作的可执行性的指示以及一个或多个其他信号和/或其他信息(与客户端设备106的用户相关的场境提示，诸如GPS定位、其他传感器读数等)，以生成用于提供给客户端设备106的替选查询建议。假设用户操作在客户端设备106上执行的浏览器107以搜索“dog dancing video(狗跳舞的视频)”。主语/动作可执行性引擎136可以向替选查询建议引擎138提供实际上狗不太可能“dance”的指示，因为这是通常与人类相关联的动作。替选查询建议引擎138可以再建议替选的查询建议，其包括更有可能可由“dog”执行的动作，诸如“hopping(跳跃)”。这样的替选并且可信的动作可以通过替选查询建议引擎138来确定(例如，通过向同义词/反义词引擎或者服务进行查阅)，或者可以由主语/动作可执行性引擎136建议给替选查询建议引擎138。

消费品推荐引擎140是可以利用动作对可执行性的指示来例如推荐项目(例如，歌曲、视频、餐馆、景点、事件、书籍等)以供用户消费的另一个下游组件。例如，假设用户通常喜欢奇幻书籍。可执行性统计数据引擎134可以使用用户曾经使用客户端设备106(例如，e-Reader)读过的奇幻书籍作为文档的语料库，例如，用于训练机器学习分类器。至少部分地基于参考主语与动作对和/或来自可执行性统计数据引擎134的统计数据，主语/动作可执行性引擎136可以分析在作为推荐给用户以供消费的候选者的一个或多个书籍中所找到主语与动作对的可执行性。主语/动作可执行性引擎136可以向消费品推荐引擎140提供其结论的一个或多个指示。消费品推荐引擎140可以在推荐下一本书籍以供消费时考虑那些指示。譬如，如果一个候选书籍中的主语与动作对与其他候选者相比具有更加类似于从用户过去的读物中所识别的那些的可执行性，则消费品推荐引擎140会更有可能向用户推荐这一本书籍以供消费。

如在142所指出，由主语/动作可执行性引擎136所提供的一个或多个主语对动作的可执行性的指示可以被使用于回答关于文本片段250实时提出的问题。例如，用户可以向浏览器107的搜索栏中键入“Is Rygar real or make-believe？(Rygar是真的还是虚拟的？)”。诸如知识系统102的各种系统可以利用从主语/动作可执行性引擎136所获得的一个或多个指示来尝试回答这样的问题。例如，注释器252和/或主语/动作识别引擎132可以从文本片段250确定(例如，使用宾语补足语、共指消解等)Rygar是马，并且Rygar被描述为执行动作“singing(唱歌)”。例如，基于由可执行性统计数据引擎134使用非虚构文档的语料库来确定的统计数据，主语/动作可执行性引擎136可以确定马不太可能会“sing”。主语/动作可执行性引擎136可以提供这样的“虚拟”的指示，例如，提供至知识系统102，其进而可以回答问题142。

关于文本片段250提出的实时问题142和/或一个或多个预定问题144(例如，可以在阅读理解考试上被找到)本身可以使用本文中所公开的一个或多个技术来分析。譬如，并且如图5中的箭头所示，主语/动作识别引擎132可以在关于文本片段250提出的预定问题144中识别一个或多个主语与动作对和/或与主语作比较的类。主语/动作识别引擎132可以将那些主语与动作对(例如，排除掉文本片段250中所描述的其他主语与动作对)和/或类提供至主语/动作可执行性引擎136。在一些实施方式中，主语/动作可执行性引擎136可以将其对上游数据的分析限定至在预定问题144中所识别的那些主语与动作对和/或类。在其他实施方式中，主语/动作可执行性引擎136可以分析文本片段250中所提及的全部主语与动作对，但可以仅提供在问题144(或者实时问题142)中所识别的那些之间的相似性和/或不同性的指示。

关于文本片段250提出的一些问题144可以包括答案选项，例如图5中的146a至146c，例如，在多项选择测试设置中，所述答案选项可以被选择作为对问题144的答案。类似于问题144，一个或多个答案选项146a至146c也可以使用一个或多个所公开的技术来分析，例如，以针对可执行性识别主语与动作对。在一些实施方式中，在答案选项中作出的陈述可以针对在文本片段250中作出的陈述而被“测试”，以确定那些答案选项的真实性。在各种实施方式中，主语/动作可执行性引擎136和/或主语/动作识别引擎132可以采用宾语补足语来生成问题144和/或答案选项146中所包含的主语与动作关系的间接描述的文本改写。

现参照图6，描绘了一种确定动作对可执行性的示例方法600。方便起见，参照执行操作的系统来描述该流程图的操作。该系统可以包括各种计算机系统的各种组件。譬如，一些操作可以在客户端设备106处来执行，而另一些操作可以由知识系统102的一个或多个组件来执行，诸如主语/动作识别引擎132、可执行性统计数据引擎134、主语/动作可执行性引擎136等等。此外，虽然方法600的操作以特定顺序示出，但这并无限制意义。可以重新排序、省略或添加一个或多个操作。

在可选框602处，系统可以分析关于文本片段提出的问题(例如，138、140)以确定各种信息。例如，基于问题的措词(例如，“Is A real or make-believe(A是真的还是虚拟的)”)，系统可以识别特定的主语(“A”)并且可以分析据称由该主语执行的动作，以确定可执行性。当然，并不一定关于文本片段提出问题才能采用本文中所公开的技术。因此，以虚线示出框602以指示其是可选的。

在框604(也可选)处，系统可以从问题142、144或者一个或多个答案选项146生成直接描述一个或多个主语与动作对的一个或多个文本改写。如上所指出，一些问题或者答案选项可以间接描述动作与相关联的主语之间的关系。例如，答案选项可以写成“Bob hasgills,Tom does not(Bob有腮，Tom没有)”。所述系统可以生成文本改写“Tom does nothave gills(Tom没有腮)”，可以更加容易地对其分析可执行性(例如，Tom是否能够“having(有)”腮)。

在框606处，系统可以分析文本文档的语料库以识别参考主语与动作对并且/或者产生可执行性统计数据。如上所指出，经分析文档的类型可以影响如何确定动作对的可执行性。譬如，针对非虚构文档(例如，新闻文章、科学期刊等)的语料库所训练的分类器可以适用于识别文本片段中已被拟人化的主语。针对设定于特定幻想世界中的虚构文档的语料库所训练的分类器可以适用于确定文本片段中的主语是否符合该幻想世界的规则(例如，巫师是人类，精灵族良善，兽人邪恶，龙喷火并且讲话等)。如前所述，框606的分析可以与方法600的其他操作同时或者以不同的时间来执行。

在框608处，系统可以在文本片段中识别一个或多个主语与动作对。如果关于文本片段提出的问题(例如，142、144)识别特定主语(如可以在框602处被确定)，则可以在文本片段中识别那些特定主语，例如，排除掉其他主语。在其它实例中，文本片段中所提及的主语可以被识别成差别较小。

如上所指出，可以采用各种技术将动作与主语相关联。例如，在框608a处，代词(例如，“he”、“she”、“him”、“her”等)可以被共指消解成主语和/或相关联的动作。在框608b处，并且类似于框604，系统可以生成更加直接地描述文本片段中所包含的主语与动作对的一个或多个文本改写。

在框610处，系统可以确定所识别的动作可由在文本片段中被描述为执行该动作的主语执行的一个或多个可能性。系统可以使用一个或多个所确定的可能性来执行各种动作。例如，在框612处，系统可以提供据说由主语执行的动作可信或不可信的指示。如果主语是非人类并且动作以人为中心，则其可以包括提供主语已被拟人化的指示。

作为进一步示例，假设下列文本片段。

Bob sings,dances and jumps.When Bob's dog Emmitt sees

Bob

dance,Emmitt gets excited and joins him.(Bob唱歌、跳舞和跳跃。

当Bob的狗Emmitt看见跳舞时，Emmitt很兴奋并加入了他，)

本文中所述的各种技术可以被使用于分析该文本片段和/或关于该文本片段提出的问题，以便确定文本片段中所描述的可执行性。

如上所指出，主语/动作识别引擎132可以利用各种技术，诸如正则表达式或者基于规则的模式匹配技术，以识别主语和/或相关联的动作。譬如，例如，通过主语/动作识别引擎132，可以识别两个主语Bob和Emmitt。在一些实施方式中，上游的注释器(例如，252)可以已经将Bob分类和/或注释为“人类”，并且将Emmitt分类和/或注释为“非人类”或者“狗”，而这并非必需。

例如，通过主语/动作识别引擎132，可以将该文本片段的各片段部分改写为文本改写。譬如，系统可以将文本片段的第一语句改写成下列文本改写：“Bob sings(Bob唱歌)”；“Bob dances(Bob跳舞)”；“Bob jumps(Bob跳跃)”。类似地，系统可以从第二语句生成下列文本改写：“Emmitt sees(Emmitt看见)”；“Emmitt gets excited(Emmitt兴奋)”；“Emmitt sings(Emmitt唱歌)”；“Emmitt dances(Emmitt跳舞)”；以及“Emmitt jumps(Emmitt跳跃)”(例如，通过主语/动作识别引擎132，使用各种技术，诸如代词消解、规则等，可以推理出最后三个主语与动作对)。

一旦主语与动作对被识别，与其相关联的可执行性便可以例如通过主语/动作可执行性引擎136被确定。譬如，作为人类，Bob可以被视为有可能能够执行其唱歌、跳舞和跳跃的相关联的动作。主语/动作可执行性引擎136可以提供如此的指示。反之，Emmitt作为狗(例如，由上游注释器所指定)，可以被视为不太可能能够执行其相关联的动作中的至少一些，特别是唱歌和跳舞。主语/动作可执行性引擎136可以提供Emmitt能够唱歌和跳舞是不可信的指示，并且由此在Emmitt被描述为这样做的意义上，Emmitt已被拟人化。

图7是示例计算机系统710的框图。计算机系统710通常包括至少一个处理器714，其经由总线子系统712与数个外围设备通信。这些外围设备可以包括存储子系统724，例如包括存储器子系统725和文件存储子系统726；用户接口输出设备720；用户接口输入设备722以及网络接口子系统716。输入和输出设备允许用户与计算机系统710相交互。网络接口子系统716提供到外部网络的接口并且被耦合至其他计算机系统中的对应接口设备。

用户接口输入设备722可以包括键盘、诸如鼠标、跟踪球、触控板或绘图板的定点设备、扫描仪、并入显示器中的触摸屏、诸如语音识别系统、麦克风的音频输入设备和/或其他类型的输入设备。一般而言，术语“输入设备”的使用意在包括用于将信息输入到计算机系统710中或者通信网络上的所有可能类型的设备和方式。

用户接口输出设备720可以包括显示子系统、打印机、传真机或者非视觉显示器，诸如音频输出设备。显示子系统可以包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或者用于创建可见图像的一些其他机制。显示子系统还可以提供非视觉显示，诸如经由音频输出设备。一般而言，术语“输出设备”的使用意在包括用于将信息从计算机系统710输出到用户或者另一机器或计算机系统的所有可能类型的设备和方式。

存储子系统724存储提供本文所述的模块中的一些或全部的功能的编程和数据结构。例如，存储子系统724可以包括用于执行方法300和/或600的所选方面的逻辑以及由索引引擎120、信息引擎122、实体识别引擎124、同义词/反义词引擎126、阅读理解引擎128、排名引擎130、主语/动作识别引擎132、可执行性统计数据引擎134、主语/动作可执行性引擎136、替选查询建议引擎138、消费品推荐引擎140等执行的操作中的一个或多个。

这些软件模块通常由处理器714独立地或者结合其他处理器来执行。用于存储子系统中的存储器725能够包括数个存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)730以及在其中存储固定指令的只读存储器(ROM)732。文件存储子系统724能够提供对于程序和数据文件的永久存储，并且可以包括硬盘驱动器、软盘驱动器连同相关联的可移动介质、CD-ROM驱动器、光盘驱动器或者可移动介质盒。实现某些实施方式的功能的模块可以由存储子系统724中的文件存储子系统724来存储，或者被存储在可由处理器714访问的其他机器中。

总线子系统712提供用于令计算机系统710的各种组件和子系统按预期彼此通信的机制。虽然总线子系统712被示意性示为单条总线，但总线子系统的替选实施方式可以使用多条总线。

计算机系统710能够是不同的类型，包括工作站、服务器、计算集群、刀片服务器、服务器机群或者任何其他的数据处理系统或计算设备。由于计算机和网络的不断变化的性质，在图7中描绘的对计算机系统710的描述仅旨在作为用于图示一些实施方式的具体示例。计算机系统710的许多其他配置可能具有比在图7中所描绘的计算机系统更多或更少的组件。

在本文所述的系统采集关于用户的个人信息或者可以使用个人信息的情况下，用户可以有机会控制程序或者特征是否采集用户信息(例如关于用户的社交网络、社交行动或活动、职业、用户偏好或者用户的当前地理位置的信息)，或者控制是否和/或如何从内容服务器接收可能与用户更相关的内容。此外，在存储或者使用某些数据之前，可以通过一个或多个方式对其进行处理，以致删除个人可识别信息。例如，用户的身份可以被处理，以致不会针对用户来确定个人可识别信息，或者用户的地理位置可以被泛化到获得地理位置信息的位置(诸如城市、邮政编码或者州级)，以致用户的特定地理位置不会被确定。因此，用户可以控制如何关于用户采集信息和/或如何使用信息。

虽然在文本中已描述且说明了几种实施方式，但可以利用多种用于执行功能和/或获得结果和/或本文所述优点中的一个或多个的其他装置和/或结构，并且这样的变型和/或修改中的每一个都被视为属于本文所述的实施方式的范围内。更一般地，本文所述的所有参数、尺寸、材料和配置旨在示例性，并且实际的参数、尺寸、材料和/或配置将取决于针对其使用所述教导的具体应用。本领域技术人员会认识到或者通过常规实验途径即可确定本文所述的具体实施方式的许多等同方案。因此将会理解到，前述实施方式仅通过示例方式来呈现，并且在所附权利要求及其等同方案的范围内，可以通过与所具体描述和请求不同的方式来实践实施方式。本公开的实施方式针对本文所述的每个单独的特征、系统、物件、材料、工具包和/或方法。此外，如果这样的特征、系统、物件、材料、工具包和/或方法并不相互矛盾，则两个或以上这样的特征、系统、物件、材料、工具包和/或方法的任意组合也包括在本公开的范围内。

Claims (15)

1.一种包括存储器以及一个或多个处理器的系统，所述存储器存储指令，所述指令在被执行时使得所述一个或多个处理器执行操作，所述操作包括：

在文本片段中，识别主语以及由所述主语执行的动作；

确定所述动作能够由所述主语所关联的一类主语执行的可能性，所述可能性至少部分地基于在文本文档的语料库中所找到的多个参考主语以及相关联的参考动作，其中，所述语料库被限定到包含低于预定阈值个拟人化实体的文本文档；

提供所述可能性的指示；以及

基于所述可能性来提供由所述主语执行所述动作可信或不可信的指示。

2.根据权利要求1所述的系统，其中，所述主语是非人类的主语，并且所述操作进一步包括提供所述主语在所述文本片段中已被拟人化的指示。

3.根据权利要求1所述的系统，其中，所述识别包括至少部分地基于与所述文本片段相关联的注释来识别所述主语和动作。

4.根据权利要求1所述的系统，其中，所述操作进一步包括：基于关于所述文本片段所提出的问题来确定所述可能性。

5.根据权利要求1所述的系统，其中，所述操作进一步包括：至少部分地基于从在所述文本文档的语料库中所找到的所述多个参考主语以及相关联的参考动作所导出的统计数据来确定所述可能性。

6.一种由一个或多个处理器实现的方法，所述方法包括：

在文本片段中，识别主语以及由所述主语执行的动作；

确定所述动作能够由所述主语所关联的一类主语执行的可能性，所述可能性至少部分地基于在文本文档的语料库中所找到的多个参考主语以及相关联的参考动作，其中，所述语料库被限定到包含低于预定阈值个拟人化实体的文本文档；

提供所述可能性的指示；以及

基于所述可能性来提供由所述主语执行所述动作可信或不可信的指示。

7.根据权利要求6所述的方法，其中，所述主语是非人类的主语，并且所述方法进一步包括：

提供所述主语在所述文本片段中已被拟人化的指示。

8.根据权利要求6所述的方法，其中，所述识别包括至少部分地基于与所述文本片段相关联的注释来识别所述主语和动作。

9.根据权利要求6所述的方法，其中，确定所述可能性是基于关于所述文本片段所提出的问题。

10.根据权利要求6所述的方法，其中，确定所述可能性是至少部分地基于从在所述文本文档的语料库中所找到的所述多个参考主语以及相关联的参考动作所导出的统计数据。

11.根据权利要求6所述的方法，其中，所述语料库是非虚构文档的语料库。

12.根据权利要求11所述的方法，其中，所述非虚构文档是非虚构新闻故事。

13.根据权利要求6所述的方法，进一步包括：

使用所述可能性的指示来确定是否推荐包括所述文本片段的项目以供消费。

14.根据权利要求6所述的方法，进一步包括：

使用所述可能性的指示来对包括所述文本片段的搜索结果进行排名。

15.根据权利要求6所述的方法，其中，所述文本片段被包括在搜索查询中，并且其中，所述可能性的指示是响应于所述搜索查询而被提供的。

Images