CN111670435A - 使用交流话语树来检测对解释的请求 - Google Patents

使用交流话语树来检测对解释的请求 Download PDF

Info

Publication number
CN111670435A
CN111670435A CN201980010702.9A CN201980010702A CN111670435A CN 111670435 A CN111670435 A CN 111670435A CN 201980010702 A CN201980010702 A CN 201980010702A CN 111670435 A CN111670435 A CN 111670435A
Authority
CN
China
Prior art keywords
text
tree
utterance
communication
utterance tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980010702.9A
Other languages
English (en)
Other versions
CN111670435B (zh
Inventor
B·加里斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oracle International Corp
Original Assignee
Oracle International Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oracle International Corp filed Critical Oracle International Corp
Publication of CN111670435A publication Critical patent/CN111670435A/zh
Application granted granted Critical
Publication of CN111670435B publication Critical patent/CN111670435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/131Fragmentation of text files, e.g. creating reusable text-blocks; Linking to fragments, e.g. using XInclude; Namespaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的系统、设备和方法涉及检测文本中对解释的请求。在示例中,一种方法从文本的子集创建话语树。话语树包括节点,每个非终止节点表示片段中的两个片段之间的修辞相互关系,并且话语树的节点中的每个终止节点与片段中的一个片段相关联。该方法通过将具有动词的每个片段与动词签名进行匹配从话语树形成交流话语树。该方法还通过将经训练以检测对解释的请求的分类模型应用于交流话语树来识别文本的子集包括对解释的请求。

Description

使用交流话语树来检测对解释的请求
相关申请的交叉引用
本申请要求于2018年1月30日提交的临时申请62/624,001和2018年3月23日提交的临时申请62/646,711的优先权,两者都通过引用被整体并入本文。
技术领域
本公开一般而言涉及语言学。更具体而言,本公开涉及使用交流话语树(communicative discourse trees)来检测对解释的请求。
关于在联邦政府赞助的研究与开发下做出的发明的权利的声明
不适用
背景技术
语言学是语言的科学研究。语言学的一方面是将计算机科学应用于人类自然语言,诸如英语。由于处理器的速度和存储器的容量的极大提高,语言学的计算机应用正在增加。例如,启用计算机的对语言话语的分析促进了可以回答来自用户的问题的许多应用,诸如自动化代理。使用自主代理(“聊天机器人(chatbot)”)来回答问题、促进讨论、管理对话以及提供社交推广越来越流行。为了满足这种需求,已经开发了包括合成语义的广泛技术。此类技术在简单、简短的查询和答复的情况下可以支持自动化代理。
但是,用于自主代理的当前解决方案无法确定从用户设备接收到的话语何时包括对解释的请求。例如,如果自主代理基于机器学习而生成响应或做出决策(这通常对于如何做出特定决策而言并不透明),那么这种对解释的请求可能是有帮助的。当自主代理做出的响应不令人满意时,解释可能是必要的,以帮助理解响应或决策背后的原因(诸如为什么用户被拒绝贷款)。
因此,需要新的解决方案。
发明内容
一般而言,本发明的系统、设备和方法与交流话语树相关。在示例中,一种方法将文本表示为交流话语树,并使用机器学习来确定文本是否包含对解释的请求。基于文本包含对解释的请求,该方法可以使得生成和提供适当的解释。
在一方面,一种方法访问包括片段(fragment)的文本。该方法从文本的子集创建话语树。话语树包括节点,每个非终止节点表示片段中的两个片段之间的修辞相互关系(rhetorical relationship),并且话语树的节点中的每个终止节点与片段中的一个片段相关联。该方法通过将具有动词的每个片段与动词签名进行匹配来形成表示文本的子集的交流话语树。该方法通过将经训练以检测对解释的请求的分类模型应用于交流话语树来识别文本的子集包括对解释的请求。
在另一方面,匹配包括访问动词签名。每个动词签名包括相应片段的动词和题元角色(thematic role)序列。题元角色描述了动词和相关词语之间的相互关系。匹配还包括:对于多个动词签名中的每个动词签名,确定该签名的与相应片段中的词语的角色匹配的题元角色。匹配还包括:基于特定动词签名包括最高数量的匹配而从动词签名中选择该特定动词签名。匹配还包括将特定动词签名与片段相关联。
在另一方面,动词签名中的每个动词签名包括以下各项中的一个:(i)副词,(ii)名词短语,或(iii)名词。将特定动词签名与片段相关联还包括:识别特定动词签名中的题元角色,并且对于特定动词签名中的每个题元角色,将片段中的对应词语与该题元角色进行匹配。
在另一方面,分类模型是具有树核学习(tree kernel learning)的支持向量机(support vector machine)或者使用最大公共子树的最近邻学习(nearest neighborlearning)。
在另一方面,将分类模型应用于文本的子集还包括确定交流话语树与来自交流话语树训练集的一个或多个交流话语树之间的相似性。所述应用还包括基于附加交流话语树与交流话语树具有最高数量的相似性,从该一个或多个交流话语树中选择该附加交流话语树。所述应用还包括通过将分类模型应用于交流话语树来识别交流话语树是来自正面集合还是负面集合。正面集合包括表示包含对解释的请求的文本的交流话语树,并且负面集合包括表示没有对解释的请求的文本的交流话语树。所述应用还包括基于所述识别来确定文本是否包含对解释的请求。
在另一方面,访问文本包括从用户设备接收文本,该方法还包括基于所确定的对解释的请求来调整响应,并将调整后的响应提供给用户设备。
在另一方面,将分类模型应用于文本的子集还包括确定交流话语树与来自交流话语树训练集的一个或多个交流话语树之间的相似性。应用分类模型还包括基于附加交流话语树与交流话语树具有最高数量的相似性而从该一个或多个交流话语树中选择该附加交流话语树。应用分类模型还包括识别附加交流话语树是来自正面集合还是负面集合。正面集合与包含对解释的请求的文本相关联,负面集合与不包含对解释的请求的文本相关联。应用分类模型还包括基于所述识别来确定文本是否包含对解释的请求。
在另一方面,一种构建训练数据集的方法包括访问包括片段的文本。该方法包括从文本创建话语树。话语树包括节点、每个非终止节点表示片段中的两个片段之间的修辞相互关系,并且话语树的节点中的每个终止节点与片段中的一个片段相关联。该方法还包括将具有动词的每个片段与动词签名进行匹配,从而创建交流话语树。该方法还包括访问来自正面集合的正面交流话语树和来自负面集合的负面交流话语树。该方法还包括通过对交流话语树应用分类模型来识别交流话语树是来自正面集合还是负面集合。正面集合包括表示包含对解释的请求的文本的交流话语树,并且负面集合包括表示没有对解释的请求的文本的交流话语树。该方法还包括基于所述识别将交流话语树添加到正面训练集或负面训练集。
在另一方面,一种方法通过迭代地执行步骤集合来训练分类模型。这些步骤包括向分类模型提供训练对集合中的一个训练对。每个训练对包括交流话语树和对解释的请求的预期强度。这些步骤还包括从分类模型接收对解释的请求的分类强度。这些步骤还包括通过计算预期强度和分类强度之间的差来计算损失函数。这些步骤还包括调整分类模型的内部参数以最小化损失函数。
以上方法可以被实现为有形的计算机可读介质和/或在计算机处理器和附接的存储器内操作。
附图说明
图1示出了根据一方面的示例性修辞分类环境。
图2描绘了根据一方面的话语树的示例。
图3描绘了根据一方面的话语树的进一步示例。
图4描绘了根据一方面的说明性模式。
图5描绘了根据一方面的分层二叉树的节点链接表示。
图6描绘了根据一方面的图5中的表示的示例性缩进文本编码。
图7描绘了根据一方面的关于财产税的示例请求的示例性DT。
图8描绘了对图7中表示的问题的示例性响应。
图9图示了根据一方面的用于官方答案的话语树。
图10图示了根据一方面的用于原始答案的话语树。
图11图示了根据一方面的用于第一代理的声明(claim)的交流话语树。
图12图示了根据一方面的用于第二代理的声明的交流话语树。
图13图示了根据一方面的用于第三代理的声明的交流话语树。
图14图示了根据一方面的解析丛林(parsing thickets)。
图15图示了根据一方面的用于构建交流话语树的示例性处理。
图16图示了根据一方面的话语树和场景图。
图17图示了根据一方面的最大公共子交流话语树。
图18图示了根据一方面的用于交流话语树的内核学习格式的树。
图19图示了根据一方面的电子通信会话的示例。
图20图示了根据一方面的短语的电子翻译的示例。
图21图示了根据一方面的短语的搜索结果的示例。
图22图示了根据一方面的用于确定文本中对解释的请求的存在的示例性处理。
图23图示了根据一方面的文本的语言表示的示例。
图24图示了根据一方面的用于生成训练数据以训练分类模型来确定文本中对解释的请求的存在的示例性处理。
图25图示了根据一方面的用于训练分类模型以确定文本中对解释的请求的存在的示例性处理。
图26描绘了用于实现这些方面之一的分布式系统的简化图。
图27是根据一方面的系统环境的部件的简化框图,通过该系统环境,可以将方面系统的部件所提供的服务作为云服务供应。
图28图示了其中可以实现本发明的各个方面的示例性计算机系统。
具体实施方式
本文公开的方面提供了对计算机实现的语言学领域的技术改进。更具体而言,本公开的各方面结合机器学习使用交流话语树来确定在文本主体中检测到特定论元(argument)中的对解释的请求。某些方面可以自动对查询(诸如投诉)是否包含对解释的请求进行分类,无论是隐式的还是显式的。对解释的隐式请求的示例是关于经历的负面评论或文本的集合。显式的请求解释的示例是如下的问题,即,关于为什么做出某个促使用户发起投诉的决定。
通常,当用户设备连接到客户支持系统时,用户具有问题、投诉或两者。许多时候,投诉将包含论证模式,因为用户希望在进行对话时支持其诉求。投诉中的完整文本可能包括关于承诺的语句、关于该承诺如何没有被遵守的语句,以及给客户或用户造成的后果的语句。在一些示例中,发送了该查询的客户对于某个做出的决策感到困惑或不同意,并且希望该决策被撤销或者该决策被解释。
某些方面将文本表示为交流话语树。“交流话语树”或“CDT”包括补充有交流动作的话语树。交流动作是个人基于相互协商和论证而采取的合作动作。通过使用交流话语树,本文公开的其它方面实现了可以回答问题并提供解释的改进的自动化代理或聊天机器人。具体地,交流话语树使得能够对阐述修辞关系进行识别,这可以部分地指示对解释的请求。
在示例中,在计算设备上执行的修辞分类应用从用户接收问题或文本。修辞分类应用为该文本生成交流话语树。交流话语树是包括交流动作的话语树。通过使用分类模型,修辞一致性应用确定输入文本是否包含对解释的请求。该修辞一致性分类器可以将该指示提供给系统,该系统可以为用户获得合适的答案并例如经由显示设备向用户提供该答案。
例如,一些方面使用交流话语树来帮助在如下文的序列中对指示对解释的请求的修辞特征进行区隔:“A BigWidget device has a laser light feature.Really?According to Sam,the BigWidget has the laser light feature.I don’t believethat Sam said that BigWidget has the laser light feature and Jane said thatthe BigWidget does not have the laser light feature.I don’t believe either.Itdoes not work like this.(rhetorical relation of Contrast and Cause).Why wouldthe BigWidget have laser light?Is laser light possible?Please clarify.I don’tunderstand why BigWidget does not have the laser light feature.”(“BigWidget设备具有激光特征。真的?根据Sam,BigWidget具有激光特征。我不相信Sam说过BigWidget具有激光特征,并且Jane说BigWidget不具有激光特征。我不相信任一个。它不像这样工作。(对比和原因的修辞关系)。BigWidget为什么会有激光?激光可能吗?请阐明。我不理解为什么BigWidget不具有激光特征”。)
继续该示例,修辞分类应用确定句子“I don’t believe that Sam said...”(“我不相信Sam说过...”)具有归因的修辞关系,并且句子“I don’t believe either”(“我不相信任一个”)和“It does not work like this”(“它不像这样工作”)具有对比和原因的修辞关系。此外,修辞分类应用102可以确定句子“I don’t understand why BigWidget...”(“我不理解为什么BigWidget...”)具有特定的心理状态。可以将所有这些特征提供到分类模型中,以确定文本是否包含对解释的请求(如本例中那样)。
某些定义
如本文所使用的,“修辞结构理论”是提供了可以分析话语的连贯性的理论基础的研究和学习领域。
如本文所使用的,“话语树”或“DT”是指表示句子的一部分的句子的修辞关系的结构。
如本文中所使用的,“修辞关系”、“修辞相互关系”或“连贯关系”或“话语关系”是指话语的两个段在逻辑上如何彼此连接。修辞关系的示例包括阐述(elaboration)、对比(contrast)和归因(attribution)。
如本文所使用的,“句子片段”或“片段”是可以从句子的其余部分分开的句子的一部分。片段是基本话语单元。例如,对于句子“Dutch accident investigators say thatevidence points to pro-Russian rebels as being responsible for shooting downthe plane”,两个片段是“Dutch accident investigators say that evidence pointsto pro-Russian rebels”和“as being responsible for shooting down the plane”。片段可以但不必包含动词。
如本文所使用的,“签名”或“框架”是指片段中动词的属性。每个签名可以包括一个或多个题元角色。例如,对于片段“Dutch accident investigators say that evidencepoints to pro-Russian rebels”,动词是“say”并且动词“say”的这种特殊用法的签名可以为“代理动词主题(agent verb topic)”,其中“investigators”是代理,并且“evidence”是主题。
如本文所使用的,“题元角色”是指签名中的用于描述一个或多个词语的角色的组成部分。继续前面的示例,“代理”和“主题”是题元角色。
如本文中所使用的,“核性(nuclearity)”是指哪个文本段、片段或区段(span)对于作者的目的更为中心。核心(nucleus)是更中心的区段,而卫星(satellite)是更不中心的区段。
如本文所使用的,“连贯性(coherency)”是指将两个修辞关系链接在一起。
如本文所使用的,“交流动词(communicative verb)”是指示交流的动词。例如,动词“deny(否认)”是交流动词。
如本文所使用的,“交流动作(communicative action)”描述了由一个或多个代理和代理的主体执行的动作。
图1示出了根据一方面的示例性修辞分类环境。图1描绘了输入文本130、修辞分类计算设备101和输出响应170。修辞分类计算设备101包括修辞分类应用102、修辞一致性分类器120和训练数据125中的一个或多个。修辞分类计算设备101可以确定输入文本130中对解释的请求的存在,并引起一个或多个动作的发生,诸如搜索附加信息或生成输出响应。关于图23进一步讨论了这样的处理的示例。
在示例中,修辞分类应用102分析经由聊天接收到的问题。更具体而言,修辞分类应用102接收输入文本130,输入文本130可以是单个问题或文本流。输入文本130可以由诸如移动电话、智能电话、平板电脑、膝上型电脑、智能手表等的任何移动设备生成。移动设备可以经由数据网络与修辞分类计算设备101通信。
对解释的请求可以是隐式的,例如,如以上情况中的用户沮丧所示的那样。例如,修辞分类应用102访问输入文本130,其读为:“Wow.Apparently,NewZeeBank justcancelled my credit cards despite an 18year relationship.My account gotflagged for money laundering.Good thing I was brought an extra credit card onmy business trip and that thing called cash(呵呵,显然,尽管有18年的关系,但NewZeeBank刚刚取消了我的信用卡。我的帐户被标记为洗钱。好消息是我出差时带了一张额外的信用卡,那叫现金)”。
作为响应,修辞分类应用102根据输入文本130创建交流话语树110。图15中描述了可以被使用的处理的示例。通过将输入文本130表示为交流话语树110,修辞分类应用102识别输入文本130中的片段之间的修辞关系与相关联的交流动作,如本文进一步描述的那样。
修辞分类应用102将交流话语树110提供给经训练的分类器,诸如修辞一致性分类器120。修辞分类应用102从修辞一致性分类器120接收对于是否存在对解释的请求的预测。在示例中,修辞一致性分类器120将交流话语树110与训练数据125提供的交流话语树进行比较。训练数据125包括被指定为正面(包括对解释的请求)或负面(没有对解释的请求)的训练集。关于图24讨论了用于生成训练数据的示例性处理,并且关于图25讨论了用于训练修辞一致性分类器120的示例性处理。
进而,修辞分类应用102提供该预测作为解释请求指示符165。基于解释请求指示符165,修辞分类应用102可以准备解释、使得准备解释、或者提供解释作为输出响应170。
修辞结构理论与话语树
语言学是语言的科学研究。例如,语言学可以包括句子的结构(句法),例如,主语-动词-宾语;句子的含义(语义学),例如,狗咬人与人咬狗;以及说话者在会话中做什么,即,句子之外的话语分析或语言分析。
话语的理论基础——修辞结构理论(RST)可以归功于Mann,William和Thompson,Sandra,“Rhetorical structure theory:A Theory of Text organization”,Text-Interdisciplinary Journal for the Study of Discourse,8(3):243–281,1988。类似于编程语言理论的语法和语义如何帮助实现现代软件编译器,RST帮助实现了话语的分析。更具体而言,RST在至少两个层次上放置结构块,诸如核性和修辞关系的第一层次,以及结构或模式的第二层次。话语解析器或其它计算机软件可以将文本解析成话语树。
修辞结构理论对文本的逻辑组织进行建模,文本的逻辑组织是由作者采用的结构,它依赖于文本的各部分之间的关系。RST通过经由话语树形成文本的分层连接结构来模拟文本连贯性。修辞关系被分为协调(coordinate)和从属(subordinate)类别;这些关系跨两个或更多个文本区段保持,因此实现了连贯性。这些文本区段被称为基本话语单元(EDU)。句子中的子句和文本中的句子由作者逻辑连接。给定句子的含义与之前和之后的句子的含义相关。子句之间的这种逻辑关系被称为文本的连贯结构。RST是最流行的话语理论之一,它基于树状的话语结构——话语树(DT)。DT的叶子对应于EDU,即连续的原子文本区段。相邻的EDU通过连贯关系(例如,归因、顺序)相连,从而形成更高级别的话语单元。然后,这些单元也受此关系链接的约束。通过关系而链接的EDU然后基于其相对重要性来区分:核心是关系的核部分,而卫星是外围部分。如所讨论的,为了确定准确的请求-响应对,主题和修辞一致性两者都被分析。当说话者回答问题,诸如短语或句子时,说话者的答案应针对该问题的主题。在经由消息的种子文本隐式提出问题的情况下,不仅维持主题而且还与该种子的广义认知状态匹配的适当答案是期望的。
修辞关系
如所讨论的,本文描述的方面使用交流话语树。修辞关系可以用不同的方式描述。例如,Mann和Thompson描述了23种可能的关系。C.Mann,William和Thompson,Sandra(1987)(“Mann and Thompson”)。Rhetorical Structure Theory:A Theory of TextOrganization。其它数量的关系也是可能的。
Figure BDA0002607490820000111
Figure BDA0002607490820000121
一些经验研究假设大多数文本是使用核心-卫星关系构造的。参见Mann和Thompson。但是其它关系并没有承载对核心的明确选择。此类关系的示例如下所示。
Figure BDA0002607490820000122
Figure BDA0002607490820000131
图2描绘了根据一方面的话语树的示例。图2包括话语树200。话语树包括文本区段201、文本区段202、文本区段203、关系210和关系238。图2中的数字对应于三个文本区段。图3对应于以下具有编号为1、2、3的三个文本区段的示例文本:
1.Honolulu,Hawaii will be site of the 2017Conference on HawaiianHistory(夏威夷火奴鲁鲁将成为2017年夏威夷历史大会的举办地)
2.It is expected that 200historians from the U.S.and Asia will attend(预计将有来自美国和亚洲的200名历史学家参加)
3.The conference will be concerned with how the Polynesians sailed toHawaii(会议将关注波利尼西亚人如何航行到夏威夷)
例如,关系210(或阐述)描述了文本区段201和文本区段202之间的相互关系。关系238描绘了文本区段203和204之间的相互关系(阐述)。如所绘出的,文本区段202和203进一步阐述文本区段201。在上面的示例中,给定向读者通知会议的目标,文本区段1是核心。文本区段2和3提供关于会议的更多详细信息。在图2中,水平数字(例如,1-3、1、2、3)覆盖文本的(可能由进一步的区段组成的)区段;垂直线指示一个或多个核心;并且曲线表示修辞关系(阐述)并且箭头的方向从卫星指向核心。如果文本区段仅用作卫星而不用作核心,则删除该卫星仍将留下连贯的文本。如果从图2中删除核心,那么文本区段2和3将难以理解。
图3描绘了根据一方面的话语树的另一个示例。图3包括组成部分301和302、文本区段305-307、关系310和关系328。关系310描绘了组成部分306和305以及307和305之间的相互关系——使能。图3涉及以下文本区段:
1.The new Tech Report abstracts are now in the journal area of thelibrary near the abridged dictionary.(现在新的技术报告摘要在图书馆的靠近缩减词典的期刊区域中。)
2.Please sign your name by any means that you would be interested inseeing.(请以任何您有兴趣看到的方式签署您的名字。)
3.Last day for sign-ups is 31May.(签署的最后一天是5月31日。)
如可以看到的,关系328描绘了实体307和306之间相互关系(该相互关系是使能)。图3图示了虽然核心可以被嵌套,但是仅存在一个最核心的文本区段。
构造话语树
话语树可以使用不同的方法生成。自底向上构造DT的方法的简单示例是:
(1)通过以下方式将话语文本划分为单元:
(a)单元大小取决于分析的目标可以不同
(b)典型地,单元是子句
(2)检查每个单元及其邻居。它们之间保持关系吗?
(3)如果是,则标记该关系。
(4)如果不是,则该单元可能位于更高级别关系的边界处。查看较大单元(区段)之间保持的关系。
(5)继续,直到考虑了文本中的所有单元。
Mann和Thompson还描述了第二级别的构建块结构,称为模式应用。在RST中,修辞关系不直接映射到文本上;它们被装配到称为模式应用的结构上,并且这些结构又被装配到文本。模式应用是从称为模式的更简单的结构派生的(如图4所示)。每个模式指示如何将文本的特定单元分解成其它更小的文本单元。修辞结构树或DT是模式应用的分层系统。模式应用链接多个连续的文本区段,并创建复杂的文本区段,该复杂的文本区段又可以由更高级别的模式应用链接。RST断言,每个连贯话语的结构都可以由单个修辞结构树来描述,该单个修辞结构树的顶部模式创建涵盖整个话语的区段。
图4描绘了根据一方面的说明性模式。图4示出了联合模式是由核心组成的项目列表而没有卫星。图4描绘了模式401-406。模式401描绘了文本区段410和428之间的环境关系。模式402描绘了文本区段420和421之间的序列关系以及文本区段421和423之间的序列关系。模式403描绘了文本区段430和431之间的对比关系。模式404描绘了文本区段440和441之间的联合相互关系。模式405描绘了450和451之间的动机相互关系,以及452和451之间的使能相互关系。模式406描绘了文本区段460和462之间的联合相互关系。图4中示出了以下三个文本区段的联合模式的示例:
1.Skies will be partly sunny in the New York metropolitan area today.(今天纽约都会区的天空将部分晴朗。)
2.It will be more humid,with temperatures in the middle 80’s.(天气会更加潮湿,温度在80中部)
3.Tonight will be mostly cloudy,with the low temperature between65and 70.(今晚将大部分多云,低温在65至70之间。)
虽然图2-4描绘了话语树的一些图形表示,但其它表示也是可能的。
图5描绘了根据一方面的分层二叉树的节点链接表示。如从图5中可以看到的,DT的叶子对应于称为基本话语单元(EDU)的连续非重叠文本区段。相邻的EDU通过关系(例如,阐述、归因...)连接并形成更大的话语单元,这些单元也通过关系连接。“RST中的话语分析涉及两个子任务:话语分割是识别EDU的任务,并且话语解析是将话语单元链接到标记树中的任务”。参见Joty,Shafiq R和Giuseppe Carenini,Raymond T Ng和YasharMehdad.2013。Combining intra-and multi-sentential rhetorical parsing fordocument-level discourse analysis。In ACL(1),第486-496页。
图5描绘了作为树上的叶子或终止节点的文本区段,每个按它们在全文本中出现的顺序编号,如图6所示。图5包括树500。树500包括例如节点501-507。节点指示相互关系。节点是非终止节点(诸如节点501),或者是终止节点(诸如节点502-507)。如可以看到的,节点503和504通过联合相互关系而相关。节点502、505、506和508是核心。虚线指示分支或文本区段是卫星。关系是灰色框中的节点。
图6描绘了根据一方面的图5中的表示的示例性缩进文本编码。图6包括文本600和文本序列602-604。文本600以更适合计算机编程的方式呈现。文本序列602对应于节点502,序列603对应于节点503,并且序列604对应于节点504。在图6中,“N”指示核心,并且“S”指示卫星。
话语解析器的示例
自动话语分割可以用不同的方法来执行。例如,给定一个句子,分割模型通过预测是否应在句子中的每个特定符号(token)之前插入边界来识别复合基本话语单元的边界。例如,一个框架顺序且独立地考虑句子中的每个符号。在这个框架中,分割模型逐个符号地扫描句子,并使用二进制分类器(诸如支持向量机或逻辑回归)来预测在正被检查的符号之前插入边界是否是合适的。在另一个示例中,任务是顺序标记难题。一旦将文本分割为基本话语单元,就可以执行句子级别话语解析,以构造话语树。可以使用机器学习技术。
在本发明的一个方面,使用了两个修辞结构理论(RST)话语解析器:依赖于组成语法的CoreNLPProcessor,以及使用依赖性语法的FastNLPProcessor。参见Surdeanu,Mihai和Hicks,Thomas和Antonio Valenzuela-Escarcega,Marco。Two Practical RhetoricalStructure Theory Parsers(2015)。
此外,以上两个话语解析器,即,CoreNLPProcessor和FastNLPProcessor使用自然语言处理(NLP)进行句法解析。例如,Stanford CoreNLP给出了词语的基本形式、它们的言语的部分、它们是否是公司、人员的名称等;对日期、时间和数值量进行规范化;根据短语和句法依赖性标记句子的结构;指示哪些名词短语指代相同的实体。实际上,RST仍然是在许多话语的情况下可能工作但在一些情况下可能不工作的理论。存在许多变量,包括但不限于,连贯文本中有哪些EDU,即,使用了什么样的话语分割器、使用了哪些关系清单以及为EDU选择了哪些关系、用于训练和测试的文档的语料库,以及甚至使用了什么解析器。因此,例如,在上面引用的Surdeanu等人的“Two Practical Rhetorical Structure TheoryParsers”中,必须使用专用的度量对特定的语料库进行测试,以确定哪个解析器给出更好的性能。因此,与给出可预测结果的计算机语言解析器不同,话语解析器(和分段器)可能取决于训练和/或测试文本语料库给出不可预测的结果。因此,话语树是可预测领域(例如,编译器)和不可预测领域(例如,像化学一样需要进行实验来确定哪些组合将给你期望结果)的混合。
为了客观地确定话语分析的质量,正在使用一系列度量,例如来自Daniel Marcu,“The Theory and Practice of Discourse Parsing and Summarization”,MIT Press,(2000)的精确度(Precision)/查全率(Recall)/F1度量。精确度或正预测值是检索到的实例当中相关实例所占的比例,而查全率(也称为敏感度)是在相关实例的总数内已被检索的相关实例所占的比例。因此,精确度和查全率两者都基于对相关性的理解和量度。假设用于识别照片中的狗的计算机程序在包含12条狗和一些猫的图片中识别出8条狗。在识别出的八条狗中,五条实际上是狗(真阳性),而其余的是猫(假阳性)。该程序的精确度为5/8,而它的查全率为5/12。当搜索引擎返回30页,其中只有20页是相关的,而未能返回40个附加的相关页时,其精确度为20/30=2/3,而其查全率为20/60=1/3。因此,在这种情况下,精确度是“搜索结果的有用程度”,并且查全率是“结果的完整程度”。F1分数(也称为F-分数或F-量度)是测试的准确性的量度。它考虑了测试的精确度和查全率二者来计算分数:F1=2×((精确度×查全率)/(精确度+查全率))并且是精确度和查全率的调和平均值。F1分数在1达到最佳值(完美的精确度和查全率),在0为最差值。
自治代理或聊天机器人
人类A和人类B之间的会话是一种话语的形式。例如,存在诸如
Figure BDA0002607490820000181
Messenger、
Figure BDA0002607490820000182
SMS等应用,除了较传统的电子邮件和语音会话之外,A和B之间的会话典型地还可以经由消息进行。聊天机器人(也可以称为智能机器人或虚拟助手等)是例如取代人类B并在各种程度上模仿两个人类之间的会话的“智能”机器。示例最终目标是,人类A不能分辨出B是人类还是机器(由Alan Turing在1950年开发的图灵测试)。话语分析、包括机器学习在内的人工智能,以及自然语言处理已在通过图灵测试的长期目标方面取得了很大的进步。当然,随着计算机越来越具有搜索和处理大量数据储存库以及对数据执行复杂分析以包括预测分析的能力,长期目标是使聊天机器人像人一样并且与计算机组合。
例如,用户可以通过会话交互与智能机器人平台交互。也称为会话用户界面(UI)的这种交互是最终用户和聊天机器人之间的对话,就像两个人类之间的对话一样。它可能很简单,就像最终用户对聊天机器人说“Hello”,然后聊天机器人以“Hi”响应并询问用户是否需要帮助,或者可以是银行聊天机器人中的交易交互,诸如将资金从一个账户转移到另一个账户,或者在HR聊天机器人中的信息交互,诸如检查剩余假期,或者在零售聊天机器人中的询问FAQ,诸如如何处理退货。自然语言处理(NLP)和机器学习(ML)算法与其它方法的结合可以用于对最终用户意图进行分类。高级别的意图是最终用户想要完成的目标(例如,获得账户余额、进行购买)。意图本质上是客户输入到后端应执行的工作单元的映射。因此,基于用户在聊天机器人中说出的短语,将它们映射到特定且离散的用例或工作单元,例如,检查余额、转移资金和跟踪支出都是聊天机器人应支持的“用例”,并能够从最终用户以自然语言键入的自由文本条目中计算出应触发哪个工作单元。
使AI聊天机器人像人类一样做出响应的基本原则是人类大脑可以制定和理解请求,然后对人类请求给出比机器好得多的响应。因此,如果模仿人类B,那么聊天机器人的请求/响应应该有显著改善。因此,难题的最初部分是人类大脑如何制定和理解请求?为了模仿,使用模型。RST和DT允许以正式且可重复的方式完成这一点。
在高级别上,通常有两种类型的请求:(1)执行某个动作的请求;(2)对信息的请求,例如,问题。第一种类型具有其中创建工作单元的响应。第二种类型具有例如对该问题的良好答案的响应。例如,在一些方面,答案可以采取以下形式:AI从其广泛的(一个或多个)知识库中构造答案,或者通过搜索互联网或内联网或其它公共/私有可用数据源来匹配最佳现有答案。
交流话语树和修辞分类器
本公开的各方面构建交流话语树,并使用交流话语树来分析请求或问题的修辞结构是否与答案一致。更具体而言,本文描述的方面创建请求-响应对的表示、学习该表示,并将这些对关联为有效对或无效对的类别。以这种方式,自治代理可以从用户接收问题、例如通过搜索多个答案来处理问题、从这些答案中确定最佳答案,并将该答案提供给用户。
更具体而言,为了表示文本的语言特征,本文描述的方面使用修辞关系和言语行为(或交流动作)。修辞关系是句子的各部分之间的相互关系,典型地是从话语树中获得的。言语行为是从动词资源(诸如VerbNet)中作为动词获得的。通过使用修辞关系和交流动作两者,本文所述的方面可以正确地识别有效的请求-响应对。为了这样做,各方面将问题的句法结构与答案的句法结构关联。通过使用该结构,可以确定更好的答案。
例如,当自治代理从人接收到该人希望出售具有某些特征的项目的指示时,自治代理应提供不仅包含这些特征而且还指示购买的意图的搜索结果。以这种方式,自治代理已确定用户的意图。类似地,当自治代理从人接收到共享关于特定项目的知识的请求时,搜索结果应包含接收推荐的意图。当人向自主代理请求关于某个题目的意见时,自主代理分享关于该题目的意见,而不是征求其它意见。
分析请求和响应对
图7描绘了根据一方面的关于财产税的示例请求的示例性DT。节点标签是关系并且箭头线指向卫星。核心是实线。图7描绘了以下文本。
请求:“My husbands’grandmother gave him his grandfather’s truck.Shesigned the title over but due to my husband having unpaid fines on hislicense,he was not able to get the truck put in his name.I wanted to put inmy name and paid the property tax and got insurance for the truck.By the timeit came to sending off the title and getting the tag,I didn't have the moneyto do so.Now,due to circumstances,I am not going to be able to afford thetruck.I went to the insurance place and was refused a refund.I am justwondering that since I am not going to have a tag on this truck,is itpossible to get the property tax refunded?”(“我丈夫的祖母给了他他祖父的卡车。她把车契迁过来了,但是由于我丈夫在他的许可证上有没有支付的罚款,所以他无法以他的名字认领卡车。我想写上我的名字,缴纳财产税,并为这辆卡车买了保险。到发送车契和获得标签的时候,我没有钱这样做。现在,由于某些情况,我将无法负担得起这辆卡车。我去了保险处并且被拒绝退款。我只是想知道既然我不会在这辆卡车上贴上标签,是否可以退还财产税?”)
响应:“The property tax is assessed on property that you own.Justbecause you chose to not register it does not mean that you don't own it,sothe tax is not refundable.Even if you have not titled the vehicle yet,youstill own it within the boundaries of the tax district,so the tax ispayable.Note that all states give you a limited amount of time to transfertitle and pay the use tax.If you apply late,there will be penalties on top ofthe normal taxes and fees.You don't need to register it at the same time,butyou absolutely need to title it within the period of time stipulated in statelaw.”(“财产税是对您拥有的财产征收的。仅仅因为您选择不注册就并不意味着您不拥有它,因此该税款不予退还。即使您尚未取得车辆的契书,您仍然在税区范围内拥有它,因此应缴税。请注意,所有州都给您有限的时间转让所有权和支付使用税。如果您延迟申请,除了正常的税费之外还会受到罚款。您不需要同时注册,但是您绝对需要在州法律规定的期限内为其办理车契。”)
如从图7中可以看到的,分析上面的文本将得出以下结果。“My husbands’grandmother gave him his grandfather’s truck”通过“She signed the title overbut due to my husband”进行阐述,后者又通过“having unpaid fines on his license,he was not able to get the truck put in his name”进行阐述,这又通过“I wantedto put in my name”、“and paid the property tax”和“and got insurance for thetruck”进行阐述。
“My husbands’grandmother gave him his grandfather’s truck.She signedthe title over but due to my husband having unpaid fines on his license,hewas not able to get the truck put in his name.I wanted to put in my name andpaid the property tax and got insurance for the truck”通过以下进行阐述:
“I didn't have the money”,这又通过“to do so”进行阐述,后者与“By thetime”对比,“By the time”通过“it came to sending off the title”“and getting thetag”进行阐述,
“My husbands’grandmother gave him his grandfather’s truck.She signedthe title over but due to my husband having unpaid fines on his license,hewas not able to get the truck put in his name.I wanted to put in my name andpaid the property tax and got insurance for the truck.By the time it came tosending off the title and getting the tag,I didn't have the money to do so”与以下形成对比:
“Now,due to circumstances”,其通过“I am not going to be able to affordthe truck”进行阐述,后者通过以下阐述:
“I went to the insurance place”
“and was refused a refund”。
“My husbands’grandmother gave him his grandfather’s truck.She signedthe title over but due to my husband having unpaid fines on his license,hewas not able to get the truck put in his name.I wanted to put in my name andpaid the property tax and got insurance for the truck.By the time it came tosending off the title and getting the tag,I didn't have the money to doso.Now,due to circumstances,I am not going to be able to afford the truck.Iwent to the insurance place and was refused a refund”通过以下阐述:
“I am just wondering that since I am not going to have a tag on thistruck,is it possible to get the property tax refunded?”
“I am just wondering”归因于:
“that”与“is it possible to get the property tax refunded?”是相同的单元,后者的条件为“since I am not going to have a tag on this truck”。
如可以看到的,该主题的主要题目是“Property tax on a car”。问题包括矛盾:一方面,所有财产都应交税,另一方面,所有权有些不完整。一个良好的响应必须既解决问题的主题又澄清不一致性。为了做到这一点,响应者就拥有的财产纳税的必要性做出更强烈的声明,而无论财产的注册状态如何。这个示例是我们的Yahoo!Answers评估领域中正面培训集的成员。主题的主要题目是“Property tax on a car”。问题包括矛盾:一方面,所有财产都应交税,另一方面,所有权有些不完整。良好的答案/响应必须既解决问题的主题又澄清不一致性。读者可以观察到,由于问题包括对比的修辞关系,因此答案必须将它与类似的关系匹配才能令人信服。否则,即使对于那些不是领域专家的人来说,这个答案看起来也不完整。
图8描绘了根据本发明的某些方面的对图7中表示的问题的示例性响应。中心核心是“the property tax is assessed on property”,其通过“that you own”进行阐述。“The property tax is assessed on property that you own”也是通过“Just becauseyou chose to not register it does not mean that you don't own it,so the taxis not refundable.Even if you have not titled the vehicle yet,you still ownit within the boundaries of the tax district,so the tax is payable.Note thatall states give you a limited amount of time to transfer title and pay theuse tax.”来阐述的核心。
核心:“The property tax is assessed on property that you own.Justbecause you chose to not register it does not mean that you don't own it,sothe tax is not refundable.Even if you have not titled the vehicle yet,youstill own it within the boundaries of the tax district,so the tax ispayable.Note that all states give you a limited amount of time to transfertitle and pay the use tax.”通过以下阐述:“there will be penalties on top ofthe normal taxes and fees”,其具有条件:“If you apply late”,这又通过“but youabsolutely need to title it within the period of time stipulated in statelaw”和“You don't need to register it at the same time”的对比来阐述。
比较图7的DT和图8的DT,可以确定响应(图8)与请求(图7)的匹配程度。在本发明的一些方面,以上框架至少部分地用于确定用于请求/响应的DT以及DT之间的修辞一致性。
在另一个示例中,问题“What does The Investigative Committee of theRussian Federation do”(“俄罗斯联邦调查委员会做什么”)至少有两个答案,例如,官方答案或实际答案。
图9图示了根据一方面的用于官方答案的话语树。如图9所绘出的,官方答案或任务语句指出:“The Investigative Committee of the Russian Federation is the mainfederal investigating authority which operates as Russia's Anti-corruptionagency and has statutory responsibility for inspecting the police forces,combating police corruption and police misconduct,is responsible forconducting investigations into local authorities and federal governmentalbodies”(“俄罗斯联邦调查委员会是主要的联邦调查机构,它是俄罗斯的反腐败机构、具有法定职责、负责检查警察、打击警察腐败和警察不当行为,并负责对地方当局和联邦政府机构进行调查”)。
图10图示了根据一方面的用于原始答案的话语树。如图10所绘出的,另一个也许更为诚实的答案指出:“Investigative Committee of the Russian Federation issupposed to fight corruption.However,top-rank officers of the InvestigativeCommittee of the Russian Federation are charged with creation of a criminalcommunity.Not only that,but their involvement in large bribes,moneylaundering,obstruction of justice,abuse of power,extortion,and racketeeringhas been reported.Due to the activities of these officers,dozens of high-profile cases including the ones against criminal lords had been ultimatelyruined.”(“俄罗斯联邦调查委员会本应打击腐败。但是,俄罗斯联邦调查委员会的高级官员被控建立犯罪社区。不仅如此,据报道他们还参与了大贿赂、洗钱、妨碍司法、滥用权力、勒索和敲诈勒索。由于这些官员的活动,数十起备受瞩目的案件,包括针对领主的案件,最终被毁了”)。
答案的选择取决于上下文。修辞结构允许区分“官方”、“政治上正确”、基于模板的答案和“实际”、“原始”、“来自现场的报告”或“争议性”答案,参见图9和图10。有时,问题本身可以给出关于预期的答案的类别的提示。如果问题被表述为事实或定义性问题,而没有第二含义,那么第一类别的答案是合适的。否则,如果问题具有“告诉我现实是什么”的含义,那么第二类别是合适的。一般而言,在从问题中提取修辞结构之后,选择具有相似、匹配或互补的修辞结构的合适答案就更容易。
官方答案是基于阐述和联合,这在文本可能包含争议性方面是中立的(参见图9)。同时,原始答案包括对比关系。这种关系在期望特工做的和发现特工所为的短语之间被提取。
交流话语树(CDT)
修辞分类应用102可以创建、分析和比较交流话语树。交流话语树被设计为将修辞信息与言语行为结构组合。CDT包含弧线,该弧线标记有用于交流动作的表达式。通过组合交流动作,CDT启用对RST关系和交流动作的建模。CDT是解析丛林的简化。参见Galitsky,B,Ilvovsky,D.和Kuznetsov SO.Rhetoric Map of an Answer to Compound QueriesKnowledge Trail Inc.ACL 2015,681–686.(“Galitsky 2015”)。解析丛林是句子的解析树的组合,这些句子的词语和部分之间在一个图中具有话语级别相互关系。通过合并识别言语动作的标签,交流话语树的学习可以在比仅基本话语单元(EDU)的修辞关系和语法更丰富的特征集上发生。
在示例中,分析了三方之间关于商业客机(即马来西亚航空航班17)坠机原因的争议。建立了所传达的论元(argument)的RST表示。在该示例中,三个冲突代理,即,荷兰调查员、俄罗斯联邦调查委员会和自称的顿涅茨克人民共和国,就此事交换了他们的意见。该示例图示了争议性冲突,其中各方都尽其所能责怪其对方。为了听起来更有说服力,各方不仅提出自己的声明,而且以拒绝对方声明的方式作出回应。为了实现这一目标,各方都试图匹配对方的声明的风格和话语。
图11图示了根据一方面的用于第一代理的声明的交流话语树。图11描绘了交流话语树100,该树表示以下文本:“Dutch accident investigators say that evidencepoints to pro-Russian rebels as being responsible for shooting down plane.Thereport indicates where the missile was fired from and identifies who was incontrol of the territory and pins the downing of MH17 on the pro-Russianrebels”(“荷兰事故调查员说,有证据表明亲俄罗斯叛乱分子是负责击落飞机的人。该报告指出了导弹的发射地点,并确定谁控制了该领土,并将MH17的下落钉在亲俄罗斯叛乱分子身上”)。
如从图11可以看到的,CDT的非终止节点是修辞关系,并且终止节点是作为这些关系的主体的基本话语单元(短语、句子片段)。CDT的某些弧线标记有用于交流动作的表达式,包括行动者代理和这些动作的主体(正在传达的内容)。例如,用于阐述关系的核心节点(在左侧)被标记有say(Dutch,evidence),并且卫星被标记有responsible(rebels,shooting down)。这些标签并不旨在表达EDU的主体是evidence和shooting down,而是为了使该CDT与其它CDT匹配,以便找到它们之间的相似性。在这种情况下,仅通过修辞关系将这些交流动作链接起来而不提供交流话语的信息将太有限,而不能表示所传达的内容和传达的方式的结构。对RR要具有相同或协调的修辞关系的要求太弱,因此需要匹配的节点的顶部上的弧线的CDT标签的一致性。
该图的直边是句法关系,并且弯曲的弧线是话语关系,诸如指代(anaphora)、相同实体、子实体、修辞关系和交流动作。该图包含比用于各个句子的解析树的组合更丰富的信息。除了CDT之外,解析丛林还可以在词语、关系、短语和句子的级别进行泛化(generalization)。言语动作是表达各个言语行为及其主体所涉及的代理的逻辑谓词。如由诸如VerbNet之类的框架所提出的,逻辑谓词的论元根据各自的语义角色形成。参见Karin Kipper、Anna Korhonen、Neville Ryant、Martha Palmer,A Large-scaleClassification of English Verbs,Language Resources and Evaluation Journal,42(1),pp.21-40,Springer Netherland,2008和/或Karin Kipper Schuler,Anna Korhonen,Susan W.Brown,VerbNet overview,extensions,mappings and apps,Tutorial,NAACL-HLT2009,Boulder,Colorado。
图12图示了根据一方面的用于第二代理的声明的交流话语树。图12描绘了交流话语树1200,该树表示以下文本:“The Investigative Committee of the RussianFederation believes that the plane was hit by a missile,which was notproduced in Russia.The committee cites an investigation that established thetype of the missile”(“俄罗斯联邦调查委员会认为,这架飞机被一枚导弹击中,该导弹不是俄罗斯生产的。该委员会引用了一项调查,该调查确定了导弹的类型”)。
图13图示了根据一方面的用于第三代理的声明的交流话语树。图13描绘了交流话语树1300,该树表示以下文本:“Rebels,the self-proclaimed Donetsk People'sRepublic,deny that they controlled the territory from which the missile wasallegedly fired.It became possible only after three months after the tragedyto say if rebels controlled one or another town”(“自称为顿涅茨克人民共和国的叛乱分子否认控制了据称发射导弹的领土。悲剧发生三个月后才有可能说叛军是否控制了一个或另一个城镇”)。
如从交流话语树1100-1300可以看到的,响应不是任意的。响应谈及与原始文本相同的实体。例如,交流话语树1200和1300与交流话语树1100相关。响应支持关于这些实体以及关于这些实体的动作的估计和观点的不一致。
更具体而言,所涉及代理的答复需要反映第一种子消息的交流话语。作为简单的观察,由于第一代理使用归因来传达其声明,因此其它代理必须遵循这套声明,或者提供其自己的归因或者攻击支持者的归因的有效性,或者两者兼而有之。为了捕获各种各样的特征以用于需要如何在连续消息中保留种子消息的交流结构,可以学习相应CDT的对。
为了验证请求-响应的一致性,仅话语关系或言语行为(交流动作)通常是不够的。如从图11-13所绘出的示例可以看到的,代理之间的交互的话语结构和交互的种类是有用的。但是,交互的领域(例如,军事冲突或政治)或这些交互的主体,即,实体,不需要被分析。
表示修辞关系和交流动作
为了计算抽象结构之间的相似性,频繁使用两种方法:(1)在数值空间中表示这些结构,并将相似性表达为数字,这是统计学习方法,或者(2)使用结构表示,而无需数值空间,诸如树和图形,并且将相似性表达为最大公共子结构。将相似性表达为最大公共子结构被称为泛化。
学习交流动作有助于表达和理解论元。计算动词词典帮助支持获取动作的实体,并提供基于规则的形式来表达其含义。动词表达所描述事件的语义以及该事件中的参与者之间的关系信息,并投射对该信息进行编码的语法结构。动词,尤其是交流动作动词,可能变化很大并且可能展现丰富的语义行为。作为响应,动词分类通过将动词组织到共享核心语义属性的组中来帮助学习系统应对这种复杂性。
VerbNet是这样一种词典,它识别每个类中动词的语义角色和句法模式特性,并明确做出句法模式与可以为该类的所有成员推断出的基础语义关系之间的连接。参见KarinKipper,Anna Korhonen,Neville Ryant和Martha Palmer,Language Resources andEvaluation,Vol.42,No.1(2008年3月),at 21。类的每个句法框架或动词签名具有对应的语义表示,其详细描述了事件的过程中事件参与者之间的语义关系。
例如,动词amuse(娱乐)是类似动词的聚类的一部分,这些动词具有类似的论元(语义角色)的结构,诸如amaze、anger、arouse、disturb和irritate(惊奇、生气、激怒、打扰和烦躁)。这些交流动作的论元的角色如下:Experience(体验者,通常为有生命实体)、Stimulus(刺激)和Result(结果)。每个动词可以具有通过(关于该动词在句子或框架中如何出现的)句法特征区分的含义类别。例如,用于娱乐(amuse)的框架如下,使用以下关键名词短语(NP)、名词(N)、交流动作(V)、动词短语(VP)、副词(ADV):
NP V NP。示例:“The teacher amused the children”。语法:Stimulus VExperiences。子句:amuse(Stimulus,E,Emotion,Experiencer),cause(Stimulus,E),emotional_state(result(E),Emotion,Experiencer)。
NP V ADV-中间。示例:“Small children amuse quickly”。语法:Experiencer VADV。子句:amuse(Experiencer,Prop):-,property(Experiencer,Prop),adv(Prop)。
NP V NP-PRO-ARB。示例“The teacher amused”。语法:Stimulus V.amuse(Stimulus,E,Emotion,Experiencer):.cause(Stimulus,E),emotional_state(result(E),Emotion,Experiencer)。
NP.cause V NP.。示例“The teacher's dolls amused the children”。语法:Stimulus<+genitive>('s)V Experiencer.amuse(Stimulus,E,Emotion,Experiencer):.cause(Stimulus,E),
emotional_state(during(E),Emotion,Experiencer).
NP V NP ADJ。示例“This performance bored me totally”。语法:Stimulus VExperiencer Result.amuse(Stimulus,E,Emotion,Experiencer).cause(Stimulus,E),emotional_state(result(E),Emotion,Experiencer),Pred(result(E),Experiencer)。
交流动作可以被表征为多个聚类,例如:
具有谓语补语的动词(appoint,characterize,dub,declare,conjecture,masquerade,orphan,captain,consider,classify),感知动词(See,sight,peer)。
心理状态动词(amuse,admire,marvel,appeal),欲望动词(want,long)。
判断动词(judgment),评估动词(assess,estimate),搜索动词(hunt,search,stalk,investigate,rummage,ferret),社交互动动词(correspond,marry,meet,battle),交流动词(transfer(message),inquire,interrogate,tell,manner(speaking),talk,chat,say,complain,advise,confess,lecture,overstate,promise)。避免动词(avoid),度量动词(register,cost,fit,price,bill),体动词(begin,complete,continue,stop,establish,sustain)。
本文所描述的方面比统计学习模型更具优势。与统计解决方案相比,使用分类系统的方面可以提供动词或类动词结构,该动词或类动词结构被确定为导致目标特征(诸如修辞一致性)。例如,统计机器学习模型将相似性表达为数字,这会使得难以解释。
表示请求-响应对
表示请求-响应对基于对来促进基于分类的操作。在示例中,请求-响应对可以被表示为解析丛林。解析丛林是两个或更多个句子的解析树的表示,在一个图中句子的部分和词语之间具有话语级别关系。参见Galitsky 2015。问题和答案之间的局部相似性可以被表达为解析丛林的常见子图。公共图节点的数量越多,相似度越高。
图14图示了根据一方面的解析丛林。图14描绘了解析丛林1400,其包括用于请求的解析树1401和用于对应的响应的解析树1402。
解析树1401表示问题:“I just had a baby and it looks more like thehusband I had my baby with.However it does not look like me at all and I amscared that he was cheating on me with another lady and I had her kid.Thischild is the best thing that has ever happened to me and I cannot imaginegiving my baby to the real mom”(“我刚生了一个孩子,看起来更像是我和我的丈夫有了我的孩子。但是,它看起来根本不像我,而且我怕他在和另一位女士对我出轨而我生了她的孩子。这个孩子是我经历过的最好的事情,我无法想象把我的孩子交给真正的母亲”)。
响应1402表示响应“Marital therapists advise on dealing with a childbeing born from an affair as follows.One option is for the husband to avoidcontact but just have the basic legal and financial commitments.Anotheroption is to have the wife fully involved and have the baby fully integratedinto the family just like a child from a previous marriage”(“婚姻治疗师针对与外遇有关的孩子的处理建议如下。一种选择是让丈夫避免接触,而只具有基本的法律和财务承诺。另一种选择是让妻子充分参与其中,使婴儿像来自以前的婚姻的孩子一样完全融入家庭”)。
图14表示用于表示关于文本的段落的语言学信息的贪心方法。该图的直边是句法关系,并且弯曲的弧线是话语关系,诸如指代、相同实体、子实体、修辞关系和交流动作。实心弧线用于相同实体/子实体/指代关系,并且虚线弧线用于修辞关系和交流动作。直边中的椭圆形标签表示句法关系。引理(Lemmas)写在节点的方框中,并且引理形式写在节点的右侧。
解析丛林1400包括比仅仅针对各个句子的解析树的组合更为丰富的信息。沿着句法关系的边以及话语关系的弧线在该图中导航可以将给定的解析丛林变换成语义上等效的形式,以与其它解析丛林匹配,从而执行文本相似性评估任务。为了形成段落的完整形式表示,表达尽可能多的链接。每个话语弧线都产生一对可能是潜在匹配的丛林短语。
种子(请求)和响应之间的局部相似性被表达为解析丛林的公共子图。它们被可视化为连接的云。公共图节点的数量越多,相似度越高。对于修辞一致性,公共子图不必像在它给定文本中那样大。但是,种子的修辞关系和交流动作与响应是相关的,并且需要对应关系。
交流动作的泛化
两个交流动作A1和A2之间的相似性被定义为拥有A1和A2之间公共的特征的抽象动词。将两个动词的相似性定义为抽象的类动词结构支持归纳学习任务,诸如修辞一致性评估。在示例中,可以将以下两个常见动词(agree和disagree)之间的相似性泛化如下:agree^disagree=verb(Interlocutor,Proposed_action,Speaker),其中Interlocutor是向Speaker提议Proposed_action的、并且Speaker向其传达Speaker的响应的人。Proposed_action是如果Speaker接受或拒绝请求或要约时将执行的动作,并且Speaker是已向其提议特定动作并对所作出的请求或要约进行响应的人。
在另一个示例中,动词agree和explain之间的相似性被表示如下:agree^explain=verb(Interlocutor,*,Speaker)。交流动作的主体在交流动作的上下文中被泛化,并且不相对于其它“物理”动作被泛化。因此,各方面将交流动作的各个发生与对应的主体一起泛化。
此外,可以将表示对话的交流动作序列与类似对话的其它此类序列进行比较。以这种方式,个体交流动作的含义以及对话的动态话语结构(与经由修辞关系反映的其静态结构相比)被表示。泛化是发生在每个级别的复合结构表示。交流动作的引理与引理一起泛化,并且其语义角色与相应的语义角色一起泛化。
文本作者使用交流动作来指示对话的结构或冲突。参见Searle,J.R.1969,Speechacts:an essay in the philosophy of language.London:Cambridge UniversityPress。主体在这些动作的上下文中被泛化,并且不相对于其它“物理”动作泛化。因此,交流动作的各个发生与它们的主体以及它们的对一起被泛化为话语“步骤”。
也可以从匹配动词框架(诸如VerbNet)的角度来考虑交流动作的泛化。交流链接反映了与文本中多于一个代理的参与(或提及)相关联的话语结构。这些链接形成连接用于交流动作的词语(或者动词或者隐式指示人的交流意图的多个词语)的序列。
交流动作包括行动者、正在对其采取行动的一个或多个代理,以及描述该动作的特征的短语。交流动作可以被描述为以下形式的函数:verb(agent,subject,cause)(动词(代理,主体,原因)),其中动词表征所涉及的代理之间的某种类型的交互(例如,解释、确认、提醒、不同意、拒绝等),主体是指传送的信息或描述的对象,原因是指用于主体的动机或解释。
场景(标记为有向图)是解析丛林G=(V,A)的子图,其中V={action1,action2...actionn}是与交流动作对应的顶点的有限集合,并且A是带标签的弧线的有限集合(有序的顶点对),其分类如下:
每个弧线actioni,actionj∈Asequence对应于引用相同主体(例如,sj=si)或不同的主体的两个动作vi,agi,si,ci和vj,agj,sj,cj的时间优先级。每个弧线actioni,actionj∈Acause对应于动作actioni和actionj之间的攻击相互关系,指示actioni的原因与actionj的主体或原因冲突。
与代理之间的交互场景相关联的解析丛林的子图具有一些明显的特征。例如,(1)所有顶点都按时间排序,使得所有顶点(初始和终止顶点除外)都存在一个传入弧和一个传出弧,(2)对于Asequence弧,最多一个传入弧且仅一个传出弧是可允许的,以及(3)对于Acause弧,给定顶点可以有许多传出弧,以及许多传入弧。涉及的顶点可以与不同的代理或相同的代理(即,当他自相矛盾时)相关联。为了计算解析丛林与其交流动作之间的相似性,分析了归纳子图、具有相似弧标签的相同配置的子图以及顶点的严格对应关系。
通过分析解析丛林的交流动作的弧线,存在以下相似性:(1)其主体来自T1的一个交流动作针对其主体来自T2的另一个交流动作(不使用交流动作弧),和(2)其主体来自T1的一对交流动作与来自T2的另一对交流动作进行比较(使用了交流动作弧)。
泛化两个不同的交流动作是基于它们的属性。参见(Galitsky等人2013)。如在关于图14所讨论的示例中可以看到的,可以将来自T1的一个交流动作cheating(husband,wife,another lady)与来自T2,的第二交流动作avoid(husband,contact(husband,another lady))进行比较。泛化导致communicative_action(husband,*),其引入对A的约束,其形式为:如果在Q中提到给定的代理(=husband)作为CA的主体,则他(她)也应成为A中的(可能的另一个)CA的主体。始终可以泛化两个交流动作,而对于其主体不是这样:如果其泛化结果为空,则具有这些主体的交流动作的泛化结果也为空。
RST关系的泛化
可以泛化话语树之间的一些关系,诸如表示相同类型的关系(表示关系,诸如对照;主题关系,诸如条件;以及多核心关系,诸如列表)的弧线可以被泛化。核心或由核心表示的情况用“N”指示。卫星或由卫星呈现的情况用“S”指示。“W”指示作者。“R”指示读者(听众)。情况是判断(propositions)、完成的动作或进行中的动作,以及交流动作和状态(包括信念、愿望、批准、解释、和解及其它)。具有上述参数的两个RST关系的泛化被表达为:rst1(N1,S1,W1,R1)^rst2(N2,S2,W2,R2)=(rst1^rst2)(N1^N2,S1^S2,W1^W2,R1^R2)。
N1,S1,W1,R1中的文本作为短语被泛化。例如,rst1^rst2可以被泛化如下:(1)如果relation_type(rst1)!=relation_type(rst2),则泛化为空。(2)否则,修辞关系的签名被泛化为句子:句子sentence(N1,S1,W1,R1)^sentence(N2,S2,W2,R2)。参见Iruskieta,Mikel,Iria da Cunha和Maite Taboada.A qualitative comparison method forrhetorical structures:identifying different discourse structures inmultilingual corpora.Lang Resources&Evaluation.2015年6月,第49卷,第2期。
例如,rst-background^rst-enablement的含义=(S增加R理解N中的元素的能力)^(R理解S增加R执行N中的动作的能力)=increase-VB the-DT ability-NN of-IN R-NNto-IN。
由于关系rst-background^rst-enablement不同,因此RST关系部分为空。然后,泛化作为相应RST关系的语言定义的表达式。例如,对于每个词语或诸如代理的词语的占位符,如果该词语在每个输入短语中相同,则保留该词语(及其POS),如果该词语在这些短语之间不同,则移除该词语。可以将结果表达式解释为正式获得的两个不同RST关系的定义之间的公共含义。
图14中绘出的问题和答案之间的两个弧线显示了基于RST关系“RST对比(RST-contrast)”的泛化实例。例如,“I just had a baby”是与“it does not look like me”的RST对比,并与“husband to avoid contact”相关,后者是与“have the basic legal andfinancial commitments”的RST对比。如可以看到的,答案不必与问题的动词短语相似,但问题和答案的修辞结构是相似的。并非答案中的所有短语都必须与问题中的短语匹配。例如,不匹配的短语与答案中与问题中的短语相关的短语具有某些修辞关系。
构建交流话语树
图15图示了根据一方面的用于构建交流话语树的示例性处理。修辞分类应用102可以实现处理1500。如所讨论的,交流话语树实现改进的搜索引擎结果。
在框1501处,处理1500涉及访问包括片段的句子。至少一个片段包括动词和词语,并且每个词语包括片段内的词语的角色,并且每个片段是基本话语单元。例如,修辞分类应用102访问诸如关于图13所描述的句子“Rebels,the self-proclaimed Donetsk People'sRepublic,deny that they controlled the territory from which the missile wasallegedly fired”。
继续该示例,修辞分类应用102确定该句子包括若干个片段。例如,第一片段是“rebels..deny”。第二片段是“that they controlled the territory”。第三片段是“fromwhich the missile was allegedly fired”。每个片段包含动词,例如,第一片段的“deny”和第二片段的“controlled”。但是,片段不必包含动词。
在框1502处,处理1500涉及生成表示句子片段之间的修辞关系的话语树。话语树包括节点,每个非终止节点表示句子片段中的两个句子片段之间的修辞关系,并且话语树的节点中的每个终止节点与句子片段之一相关联。
继续该示例,修辞分类应用102生成如图13所示的话语树。例如,第三片段“fromwhich the missile was allegedly fired”阐述“that they controlled theterritory”。第二和第三片段一起与所发生的事情的归因相关,即,攻击不可能是叛乱分子,因为他们不控制领土。
在框1503处,处理1500涉及访问多个动词签名。例如,修辞分类应用102访问例如VerbNet中的动词列表。每个动词与片段中的动词匹配或相关。例如,对于第一片段,动词为“deny”。相应地,修辞分类应用102访问与该动词deny相关的动词签名的列表。
如所讨论的,每个动词签名包括片段的动词以及一个或多个题元角色。例如,签名包括名词短语(NP)、名词(N)、交流动作(V)、动词短语(VP)或副词(ADV)中的一个或多个。题元角色描述动词与相关词语之间的相互关系。例如,“the teacher amused the children”具有与“small children amuse quickly”不同的签名。对于第一片段,动词“deny”,修辞分类应用102访问与“deny”匹配的动词的动词签名或框架的列表。该列表是“NP V NP to beNP”、“NP V that S”和“NP V NP”。
每个动词签名包含题元角色。题元角色是指动词在句子片段中的角色。修辞分类应用102确定每个动词签名中的题元角色。题元角色的示例包括行动者、代理、资产、属性、受益人、原因、位置目的地源、目的地、源、位置、体验者、范围、仪器、材料和产品、材料、产品、患者、谓词、接收者、刺激、词干、时间或主题。
在框1504处,处理1500涉及针对动词签名中的每个动词签名确定该相应签名的与片段内的词语的角色匹配的题元角色的数量。对于第一片段,修辞分类应用102确定动词“deny”仅具有三个角色:“代理”,“动词”和“词干”。
在框1505处,处理1500涉及基于特定动词签名具有最高数量的匹配而从动词签名中选择该特定动词签名。例如,再次参考图13,第一片段“the rebels deny...that theycontrol the territory”中的deny将与动词签名“NP V NP”匹配,并且“control”与control(rebel,territory)进行匹配。动词签名被嵌套,从而产生嵌套签名“deny(rebel,control(rebel,territory))”。
图16图示了根据一方面的话语树和场景图。图16描绘了话语树1601和场景图1602。话语树1601对应于以下三个句子:
(1)I explained that my check bounced(I wrote it after I made adeposit).A customer service representative accepted that it usually takessome time to process the deposit.(我解释说我的支票被退回了(我是在我存款后写的支票)。客户服务代表接受说通常需要一些时间来处理存款。)
(2)I reminded that I was unfairly charged an overdraft fee a monthago in a similar situation.They denied that it was unfair because theoverdraft fee was disclosed in my account information.(我想起一个月前在类似情况下我被不公平地收取了透支费。他们否认这是不公平的,因为透支费已在我的帐户信息中披露。)
(3)I disagreed with their fee and wanted this fee deposited back tomy account.They explained that nothing can be done at this point and that Ineed to look into the account rules closer.(我不同意他们的费用,并且希望将这笔费用存回我的帐户。他们解释说,此时无法采取任何措施并且我需要更仔细地关注帐户规则。)
如从图16中的话语树可以看到的,可能难以判断文本是表示交互还是描述。因此,通过分析解析丛林的交流动作的弧线,可以发现文本之间的隐式相似性。例如,一般而言:
(1)其主体来自第一树的一个交流动作针对其主体来自第二树的另一个交流动作(不使用交流动作弧)。
(2)其主体来自第一树的一对交流动作针对来自第二树的另一对交流动作(使用了交流动作弧)。
例如,在前面的示例中,cheating(husband,wife,another lady)^avoid(husband,contact(husband,another lady))的泛化为我们提供了communicative_action(husband,*),其引入对A的约束,其形式为:如果在Q中提到给定的代理(=husband)作为CA的主体,则他(她)也应该是A中的(可能,另一个)CA的主体。
为了处理表达CA的主体的词语的含义,可以将词语应用于向量模型,诸如“word2vector”模型。更具体而言,为了计算交流行动的主体之间的泛化,可以使用以下规则:如果subject1=subject2,则subject1^subject2=<subject1,POS(subject1),1>。这里主体仍然存在并且分数为1。否则,如果主体具有相同的言语部分(part-of-speech,POS),则subject1^subject2=<*,POS(subject1),word2vecDistance(subject1^subject2)>。“*”表示引理是占位符,并且分数是这些词语之间的word2vec距离。如果POS不同,则泛化是空元组,并且可以不被进一步泛化。
基于最近邻图的分类
一旦构建了CDT,为了识别文本中的论元,修辞分类应用102计算与用于正面类别的CDT相比的相似性,并验证它低于用于其负面类别的CDT的集合。CDT之间的相似性是借助于最大公共子CDT定义的。
在示例中,构造了具有来自集合
Figure BDA0002607490820000391
和(ΛE,≤)的顶点和边标签的CDT(V,E)的有序集合G。来自G的带标签的CDTΓ是一对((V,1),(E,b))形式的对,其中V是顶点集合,E是边集合,
Figure BDA0002607490820000398
是将标签分配给顶点的函数,并且b:E→ΛE是将标签分配给边的函数。具有相同标签的同构树没有区别。
顺序被定义如下:对于两个CDT,来自G的Γ1:=((V1,l1),(E1,b1))以及Γ2:=((V2,l2),(E2,b2)),然后Γ1支配Γ2或Γ2≤Γ1(或Γ2是Γ1的子CDT),如果存在一对一映射
Figure BDA0002607490820000393
V2→V1,使得它(1)遵循边:
Figure BDA0002607490820000394
Figure BDA0002607490820000395
并且(2)在标签下适合:
Figure BDA0002607490820000396
Figure BDA0002607490820000397
该定义考虑了当从“较大”CDT G1传递到“较小”CDT G2时,匹配的顶点的标签的相似性(“弱化”)计算。
现在,一对CDT X和Y的相似性CDT Z(用X^Y=Z表示)是X和Y的所有包含最大公共子CDT的集合,它们中的每一个都满足以下附加条件(1)要被匹配,来自CDT X和Y的两个顶点必须表示相同的RST关系;以及(2)来自Z的每个公共子CDT包含具有与X和Y中相同的VerbNet签名的至少一个交流动作。
这个定义容易扩展到寻找若干个图的泛化。图集合X和Y的对上的包含顺序μ被自然地定义为XμY:=X*Y=X。
图17图示了根据一方面的最大公共子交流话语树。图17包括交流话语子树1700。交流话语子树1700是倒置的并且弧的标签被泛化:交流动作site()通过交流动作say()被泛化。前者CA委员会的第一(代理)论元通过后者CA荷兰的第一论元进行泛化。对这对CA的第二论元应用相同的操作:investigator^evidence。
CDT U属于正面类,使得(1)U类似于具有正示例R+(具有非空公共子CDT),以及(2)对于任何负示例R-,如果U类似于R-(即,
Figure BDA0002607490820000401
),则U*R-μU*R+
这个条件引入了相似度的度量,并告知要被分配给类别,未知CDT U与来自正面分类的最近的CDT之间的相似度应高于U与每个负示例之间的相似度。条件2意味着存在正示例R+,使得对于R-,没有U*R+μR-,即,对这个正示例的泛化没有反例。
用于CDT的丛林内核学习
如今,针对串、解析树和解析丛林的树内核学习已成为相当成熟的研究领域。解析树内核将公共子树的数量计数为两个实例之间的话语相似性度量。Joty,Shafiq和A.Moschitti已为DT定义了树内核。Discriminative Reranking of Discourse ParsesUsing Tree Kernels.Proceedings of EMNLP.(2014)。参见Wang,W.,Su,J.,&Tan,C.L.(2010)。Kernel Based Discourse Relation Recognition with Temporal OrderingInformation.In Proceedings of the 48th Annual Meeting of the Association forComputational Linguistics。(使用树内核的特殊形式进行话语关系识别)。通过用关于话语动作的信息扩充DT内核,为CDT定义丛林内核。
CDT可以由每个子树类型的整数计数的向量V表示(不考虑其祖先):
V(T)=(类型1的子树的数量,...,类型I的子树的数量,...,类型n的子树的数量)。由于不同子树的数量在其大小上是指数级的,因此这导致非常高的维数。因此,直接使用特征向量
Figure BDA0002607490820000411
在计算上是不可行的。为了解决计算问题,引入树内核函数来高效地计算上述高维向量之间的点积。给定两个树段CDT1和CDT2,树内核函数被定义为:
K(CDT1,CDT2)=<V(CDT1),V(CDT2)>=∑iV(CDT1)[i],V(CDT2)[i]=∑n1∑n2∑iIi(n1)*Ii(n2)
其中n1∈NI,n2EN2,其中Ⅳ1和N2分别是CDTl和CDT2中所有节点的集合;
Ii(n)是指示符函数。
Ii(n)={如果类型i的子树出现为根在节点处则为1;否则为0}。K(CDT1,CDT2)是树结构上的卷积内核的实例(Collins和Duffy,2002)并且可以通过递归定义来计算:
Δ(n1、n2)=∑I Ii(n1)*Ii(n2)
如果n1和n2被分配相同的POS标签或其孩子是不同的子树,则Δ(n1,n2)=0。
否则,如果n1和n2都是POS标签(是预终止节点),则Δ(n1,n2)=1xλ;
否则,Δ(n1,n2)=λΠj=1 nc(n1)(1+Δ(ch(n1,j),ch(n2,j)))
其中ch(n,j)是节点n的第j个孩子,nc(n1)是n1的孩子的数量,并且λ(0<λ<1)是衰减因子,以便使内核值相对于子树大小的变化较小。此外,递归规则(3)成立,因为给定具有相同孩子的两个节点,可以使用这些孩子和进一步后代的公共子树来构造公共子树。解析树内核将公共子树的数量计数为两个实例之间的句法相似性度量。
图18图示了根据一方面的用于交流话语树的内核学习格式的树。
作为标签的交流动作术语被转换成树,这些树被添加到用于RST关系的相应节点。对于EDU的文本作为终止节点的标签,仅保留短语结构。终止节点被标记有短语类型序列,而不是解析树片段。
如果存在从节点X到终端EDU节点Y的带有标签A(B,C(D))的修辞关系弧,则将子树A-B->(C-D)追加到X。
检测对解释的请求
如所讨论的,用户经常期望对由正在操作机器学习模型的计算系统所做出的决定的解释。关于机器学习模型,通常,典型地通过黑盒机器学习模型(诸如支持向量机、神经网络或随机森林或所有这些的复杂集合)而获得最佳分类准确性。这些系统被称为黑盒,并且它们的缺点经常被引用,因为它们的内部工作真的很难理解。它们通常不会对做出某些决定或预测的原因提供清晰的解释;而是,它们只是输出与预测相关联的概率。另一方面,其预测易于理解和解释的机器学习方法经常具有有限的预测能力(归纳推理、线性回归、单个决策树)或不灵活且计算繁琐,诸如显式图形模型。这些方法通常需要较少的数据来训练。
图19图示了根据一方面的电子通信会话的示例。图19图示了通信会话1900,其包括来自用户1的电子消息1901、来自第一评论者的电子消息1902、以及来自第二评论者的电子消息1903。如电子消息1901所示,金融服务的客户对在他旅行时他的信用卡被取消而没有明显的理由感到震惊。客户例如经由社交媒体在消息线程中解释发生了什么。如从电子消息1902和1903中可以看出,用户的朋友再次强力支持他针对银行的情况。根据其朋友所写内容,银行不仅在决策中犯错,而且银行也无法纠正错误并正确地传达错误。如果该银行使用具有可解释性的决策系统,那么可能存在给定的决策原因。一旦确定该原因不成立,那么预计银行能够高效地撤销其决策并保留客户。
图20图示了根据一方面的短语的电子翻译的示例。图20包括翻译器2000,翻译器2000包括输入2001、输出2002、输出2003和输入2004。翻译器2000可以使用机器学习。翻译器将术语“线圈弹簧”(俄语)翻译为“spring spring(弹簧弹簧)”。此示例显示了最简单的翻译情况中的问题,其中两个词语的含义需要被组合。在适当的具有可解释性的分区机器学习体系架构下,简单的元推理(meta-reasoning)系统、基本的语法检查部件或实体查找将防止这种翻译错误。但是,即使在像这样的简单情况下,机器翻译的黑盒实现方案也会出错。如输入2004和输出2003所描绘的,逆翻译也明显存在缺陷。
图21图示了根据一方面的短语的搜索结果的示例。图21描绘了搜索引擎2100,其包括搜索项2101、输出2102和按钮2103。输出2102示出了对实体的描述。搜索引擎是机器学习的另一个应用领域,其中相关性分数是显示某些搜索结果的主要标准。具有最高相关性分数并不能提供结果确实相关的解释。典型的相关性分数(诸如TF*IDF)是很难解释的;搜索突出显示特征是有帮助的,但是搜索引擎必须能够解释为什么它忽略了某些关键字,比如无足够资金(non-sufficient funds)。更好的短语处置方式也是有帮助的:系统应识别出陈述“无足够资金费用(non-sufficient funds fee)”的整个表述,并且如果在搜索结果中未出现该表述,那么系统应对该表述进行解释。
使用机器学习模型确定对解释的请求
通过仅依靠关键字,使用关键字规则不足以检测对解释的隐式请求。因此,具有足够训练数据集的机器学习方法是有益的。训练集包含具有对解释的请求的文本和不包含对解释的请求的文本。当没有显式提及对解释的请求时,话语级(discourse-level)特征是有帮助的。相应地,各方面使用交流话语树作为表示与情感论证相关联的话语特征的手段。
图22图示了根据一方面的用于确定文本中对解释的请求的存在的示例性处理。出于讨论目的,结合图23来讨论图22。
图23图示了根据一方面的文本的语言表示的示例。图23示出了表示2300,表示2300包括句子2301和2302以及修辞关系2310-2314。该文本源自基于web的针对问题的答案,该问题需要复杂的响应,该响应超出了“做这个和做那个(do this and do that)”,而是需要带有解释的完整建议:“I just had a baby and it looks more like thehusband I had my baby with.However it does not look like me at all and I amscared that he was cheating on me with another lady and I had her kid.”(“我刚生了一个孩子,看起来更像是我和我的丈夫有了我的孩子。但是,它看起来根本不像我,而且我怕他在和另一位女士对我出轨而我生了她的孩子”)。如可以看到的,句子2301是“Ijust had a baby and it looks more like the husband I had my baby with”(“我刚生了一个孩子,看起来更像是我和我的丈夫有了我的孩子”),并且句子2302是“However itdoes not look like me at all and I am scared that he was cheating on me withanother lady and I had her kid.”(“但是,它看起来根本不像我,而且我怕他在和另一位女士对我出轨而我生了她的孩子”)。
如可以看到的,图23包含的信息比各个句子的解析树的仅仅组合所包含的信息要丰富得多。沿着语法关系的边以及话语关系的弧线在该图中导航,允许将给定的解析丛林变换成语义上等效的形式,以覆盖表达对解释的请求的更广泛的可能性范围。为了形成段落的完整形式表示,修辞分类应用102揭示尽可能多的联系。如可以看到的,每个话语弧线都产生一对丛林短语,该对丛林短语可能是与用于可解释性请求的表达的潜在匹配。
对解释的请求可以在交流话语树中以几种不同的方式指示,诸如通过问题或通过陈述句。例如,问题中的阐述关系指示作者正在陈述某物(核心),并且正在询问关于相关主题的问题(卫星)。由此,作者可能对他的问题不是特别有信心。因此,修辞一致性应用102可以假定作者已经提出对解释的请求,并且然后可以提供尽可能多的细节。对解释的请求也可以通过陈述句(而不是问题)来指示。包含“原因”、“对比”或“目的”、“对立”、“让步”、“评估”、“证据”、“解释”、“证明”、“动机”、“非自愿”或“自愿”的修辞关系的文本可能包括对解释的请求。
更具体而言,修辞关系链2310-2314包括RST阐述(默认)、RST序列和RST对比,指示问题不仅仅是对主题的枚举和对(仅可以由RST阐述完成的)预计答案的约束。这样的链指示在问题中概述了冲突(某个事物与另一个事物对比地出现的表达),因此答案必须包含解释。
在框2201处,处理2200涉及访问包括片段的文本。修辞分类应用102可以访问来自不同源的文本,诸如输入文本130或基于互联网的源(诸如聊天、Twitter)等。文本可以包含片段、句子、段落或更长的内容。例如,图23包括片段(基本话语单元)“I just had a baby”和“it looks more like the husband I had my baby with”,等等。
在框2202处,处理2200涉及从文本创建交流话语树。在框2202处,处理2200执行与处理1500的框1501-1504中基本相似的操作。例如,修辞分类应用102从文本创建话语树,并从话语树创建交流话语树。
在框2203处,处理2200涉及通过将经训练以检测对解释的请求的分类模型应用于交流话语树来确定该交流话语树是否包括对解释的请求。如进一步讨论的,诸如修辞一致性分类器120之类的分类模型可以被训练来进行此类分类。分类模型可以使用不同的学习方法。例如,分类模型可以使用具有树核学习的支持向量机。此外,分类模型可以使用最大公共子树的最近邻学习。关于图25描述示例性处理。
作为示例,修辞分类应用102可以使用机器学习来确定在框2203处识别出的交流话语树与来自交流话语树训练集中的一个或多个交流话语树之间的相似性。可以在训练处理期间将交流话语树的训练集提供给修辞一致性分类器120。正面集合包括表示包含对解释的请求的文本的交流话语树,并且负面集合包括表示没有对解释的请求的文本的交流话语树。
修辞一致性分类器120基于附加交流话语树与该交流话语树具有最高数量的相似性而从该一个或多个交流话语树中选择附加交流话语树。基于交流话语树与附加交流话语树之间的相似性或差异,修辞一致性分类器120通过将分类模型应用于交流话语树来识别交流话语树是来自正面集合还是负面集合。基于该相似性,修辞一致性分类器120确定文本是否包含对解释的请求。
例如,如果交流话语树与正面集合中的附加交流话语树在相似性方面高于阈值,那么修辞一致性分类器120将该交流话语树分类为正面,并确定文本包括对解释的请求。相反,如果交流话语树与负面集合中的附加交流话语树在相似性方面高于阈值,那么修辞一致性分类器120将交流话语树分类为负面,并确定文本不包括对解释的请求。
创建训练数据集和训练分类模型
图24图示了根据一方面的用于生成训练数据来训练分类模型以确定文本中对解释的请求的存在的示例性处理。训练可以基于交流话语树与另一个交流话语树具有最高数量的相似性。每个训练数据集包括训练对的集合。训练数据125包括在正面数据集中的包括对解释的请求的交流话语树和在负面数据集中的没有对解释的请求的交流话语树。
对于正面数据集,具有不同接受标准的各种域被选择,这些域指示答案或响应是否适合于问题。例如,每个训练集可以包括表示对解释的请求的交流话语树和在候选交流话语树与每个交流话语树之间的对解释的请求和预计水平匹配的另一个交流话语树。修辞分类应用102识别从特定附加训练数据生成的附加交流话语树是应添加到正面集合还是负面集合,从而增加在用训练数据进行训练时可用的训练数据的量以及分类模型的鲁棒性。
在框2401处,方法2400涉及访问包括片段的文本。修辞分类应用102访问训练数据125。在框2401处,修辞分类应用102执行与处理1500的框1501基本相似的操作。
在框2402处,方法2400涉及从文本创建话语树。在框2402处,修辞分类应用102执行与处理1500的框1502基本相似的操作。
在框2403处,方法2400涉及将具有动词的每个片段与动词签名进行匹配,从而创建交流话语树。在框2403处,修辞分类应用102执行与处理1500的框1503基本相似的操作。
在框2404处,方法2400涉及从正面集合中访问正面交流话语树,以及从负面集合中访问负面交流话语树。
在框2405处,方法2400涉及通过将修辞一致性分类器120应用于交流话语树来识别该交流话语树是来自正面集合还是负面集合。修辞一致性分类器120确定该交流话语树与来自训练分类器所用的交流话语树之间的相似性。
在框2406处,方法2400涉及基于所述识别将交流话语树添加到正面训练集或负面训练集,从而增加训练数据集的大小。
图25图示了根据一方面的用于训练分类模型以确定文本中对解释的请求的存在的示例性处理。在一方面,修辞分类应用102使用例如由方法2400生成的训练数据125来训练修辞一致性分类器120以确定对解释的请求的存在。通过使用迭代处理,修辞分类应用102向修辞一致性分类器120提供训练对,并从该模型接收互补水平。接受标准可能因应用而异。例如,对于社区问题回答、自动化的问题回答、自动化的和手动的客户支持系统、社交网络交流以及诸如消费者的个人关于其产品体验的书写内容(诸如评论和投诉),接受标准可能低。在以FAQ、专业社交网络(诸如“stackoverflow”)形式的科学文本、专业新闻、卫生和法律文件中,RR接受标准可能高。
在框2501处,方法2500涉及通过向分类模型提供训练对集合中的一个来训练分类模型。每个训练对都包括交流话语树和对解释的请求的预计强度。例如,表示基于交流话语树中的修辞关系很可能包括对解释的请求的文本的交流话语树可以具有高的预计强度。
在框2502处,方法2500涉及从分类模型接收对解释的请求的强度。预计强度和分类强度之间的小差异或微不足道的差异指示分类模型正在进行良好的分类。在框2501-2502处,修辞分类应用102执行与在处理2000的框2203处执行的操作基本相似的操作。
在框2503处,方法2500涉及通过计算预计强度与分类强度之间的差来计算损失函数。损失函数用于优化或改进修辞一致性分类器120。修辞分类应用102通过针对特定训练对确定所确定的互补水平与预计互补水平之间的差来计算损失函数。以这种方式,损失函数表示了分类器的理想输出与测量输出之间的差。通过每次迭代,该处理改进了分类器。
在框2504处,方法2500涉及调整分类模型的内部参数以最小化损失函数。基于损失函数,修辞分类应用102调整分类模型的内部参数,使得损失函数被最小化。经训练的修辞一致性分类器120可以在处理2200中用于确定文本中对解释的请求。
用于跟踪可解释性意图的数据集
该数据集的目的是获得其中作者尽力通过采用各种手段表明他们(作为客户)是对的而其对手(公司)是错的的文本(Galitsky等人,2009)。投诉者是情绪上激动的写作者,他们描述他们在金融服务中遇到的问题、与客户支持人员交流该问题时缺乏明确性和透明度以及他们如何试图解决问题。收集了过去几年来多家银行的原始投诉。手动标记了400项投诉,涉及感知的投诉有效性、适当的论证、可检测的虚假陈述以及是否发生了关于有关公司决定的对解释的请求。从投诉的角度来看,大多数投诉者由于在对服务的期望、所收到的收益、如何解释这种偏差以及客户支持人员如何交流问题之间存在很大的偏差而感到真正的苦恼。大多数投诉者报告能力差、政策存在缺陷、忽视、缺乏常识、无法理解公司决策背后的原因、对客户需求漠不关心以及客户服务人员的虚假陈述。作者经常感到困惑,从而寻找公司的解释、寻求其它用户的推荐并建议其它人避免特定金融服务。投诉的重点是证明建议者是正确的而她的对手是错误的、有关公司为何决定以某种方式采取行动的建议解释、解决方案和预期结果。
在投诉中使用了多种论证模式。根据常识,最常见的是已发生的事情与预计事情的偏离。这种模式涵盖有效和无效的论证。第二流行性论证模式引用已承诺(通告、传达)的内容与已收到或实际发生的内容之间的差异。该模式还提到对手没有遵守规则(有效模式)。大量投诉明确表明银行代表在说谎。说谎包括不同银行代理提供的信息之间的不一致性、事实性虚假陈述和疏忽的承诺(有效模式)。
引起投诉的另一个原因是由于银行代理和客户服务人员的粗鲁。当对手观点有效或无效(并相应标记投诉和论证有效性)时,在两种情况下,客户都会提到粗鲁。如果投诉者被粗鲁地提供服务,那么即使不存在财务损失也没有不便之处,投诉者仍会不同意给定银行的一切工作(无效模式)。
投诉者引用他们的需求作为银行应以某些方式行事的原因。一种流行的论点是,由于政府通过纳税人为银行纾困,因此它们现在应该有利于客户(无效模式)。投诉者揭示了2007年金融危机期间银行的黑幕做法,诸如操纵交易订单以收取尽可能多的不充足资金费用。此外,银行试图传达这种做法是处理大量支票的必要条件。这是客户投诉中最常见的主题,因此可以跟踪应用于该主题的多种论证模式。
对于最常见的投诉主题,诸如资金费用不足或信用卡上的意外利率上升,该数据集提供了许多不同的论证方式来证明该费用是不公平的。因此,该数据集允许系统性探索特殊的主题无关的论证模式聚类,诸如解释为何做出某种决策的请求。与法律和政治领域的专业写作不同,投诉用户的真实写作具有简单的动机结构、其目的的透明性,并且发生在固定的领域和上下文中。论点对作者的福祉起至关重要的作用,作者可能经受不公平地收取大量金钱或从家中被驱逐。因此,作者试图提供尽可能有力的论证来支持其诉求并增强其案例。
当前研究中使用的该数据集中的标签(对解释的请求)与投诉的整个文本(而不是段落)相关。三个注释者使用该数据集工作,并且注释者间的一致性超过80%。
识别准确性的评价和对解释的请求的比例的评估
在我们开发了用于解释请求检测的算法之后,我们就希望对其进行训练、测试并验证其结果跨领域的一致性。我们还测试了复杂度不同的情况下识别准确性如何变化。
Figure BDA0002607490820000501
表1示出了针对不同类型的证据的解释请求的检测准确性。在第一行中我们考虑较简单的情况,其中基于短语进行检测。这里的典型表达具有命令式,诸如,请解释/阐明/激励/评论。另外,这里存在模板,诸如,您做了这个但是我希望那个…您告诉过我这个但是我收到那个。
中间行包含关于较高证据隐式解释请求情况的数据,其中DT的多个片段指示该类。最后,在底行中,我们呈现了与解释请求相关联的DT的单次出现的置信度较低的情况。第二列显示每个情况的投诉计数。第三列给出了表达(包括关键字和短语类型)和修辞关系的示例,它们用作隐式解释请求的标准。第四、第五和第六列呈现检出率,其中给定情况的投诉与一百个没有解释请求的投诉混合在一起。
表2中示出了识别准确性、投诉的特定于银行的主题以及带有解释请求的投诉的总体比例。我们对每家银行使用了200条投诉,以评估解释请求(ER)的识别准确性。可以观察到,对于解释请求的识别准确性,合理的估计为82±3%。最后一列显示,考虑到解释请求识别中<20%的错误率,给定800条投诉的集合,25±4%是以隐性或显性形式要求可解释性的投诉的适当估计。
Figure BDA0002607490820000511
最后,我们针对从PlanetFeedback.com抓取的10000条投诉集合运行了我们的解释请求检测引擎,并观察到27%的投诉者(作为公司的客户)要求来自公司的可解释性。每个作者有单个投诉,并且例外的数量是不明显的。结论是,由于几乎三分之一的客户强烈要求并依赖公司决策的可解释性,因此这些客户受到影响。因此,公司需要采用具有可解释性特征的ML算法。
对于理解所有企业都会出错的客户而言,这种可解释性特征比识别准确性更为重要。通常,当公司通过ML做出错误的决策但随后高效地纠正该错误的决策时,不会发生投诉。然后,保留客户最重要的手段是与他们恰当地交流正确的和可能错误的客户决策(在此研究中未进行定量评价)。
示例性计算设备
图26绘出了用于实现方面之一的分布式系统2600的简化图。在所示方面中,分布式系统2600包括一个或多个客户端计算设备2602、2604、2606和2608,其被配置为通过一个或多个网络2610执行和操作客户端应用,诸如web浏览器、专有客户端(例如,OracleForms)等。服务器2612可以经由网络2610与远程客户端计算设备2602、2604、2606和2608通信地耦合。
在各种方面中,服务器812可以适于运行由系统的一个或多个部件提供的一个或多个服务或软件应用。服务或软件应用可以包括非虚拟和虚拟环境。虚拟环境可以包括用于虚拟事件、展览、模拟器、教室、购物交易场所和企业的环境,无论是二维或者三维(3D)表示形式、基于页面的逻辑环境还是其他形式。在一些方面中,这些服务可以作为基于web的服务或云服务被提供,或者在软件即服务(SaaS)模型下被提供给客户端计算设备2602、2604、2606和/或2608的用户。操作客户端计算设备2602、2604、2606和/或2608的用户又可以利用一个或多个客户端应用来与服务器2612交互以利用由这些部件提供的服务。
在图中绘出的配置中,系统2600的软件部件2618、2620和2623被示出为在服务器2612上实现。在其它方面中,系统2600的一个或多个部件和/或由这些部件提供的服务也可以由客户端计算设备2602、2604、2606和/或2608中的一个或多个来实现。然后,操作客户端计算设备的用户可以利用一个或多个客户端应用来使用由这些部件提供的服务。这些部件可以用硬件、固件、软件或其组合来实现。应该认识到的是,各种不同的系统配置是可能的,其可能与分布式系统2600不同。图中所示的方面因此是用于实现方面系统的分布式系统的一个示例,而不是要进行限制。
客户端计算设备2602、2604、2606和/或2608可以是便携式手持设备(例如,
Figure BDA0002607490820000531
蜂窝电话、
Figure BDA0002607490820000532
计算平板电脑、个人数字助理(PDA))或可穿戴设备(例如,Google
Figure BDA0002607490820000533
头戴式显示器),运行诸如Microsoft Windows
Figure BDA0002607490820000534
和/或各种移动操作系统(诸如iOS、Windows Phone、Android、BlackBerry 10、Palm OS等)的软件,并且启用互联网、电子邮件、短消息服务(SMS)、
Figure BDA0002607490820000535
或其它通信协议。客户端计算设备可以是通用个人计算机,作为示例,包括运行各种版本的Microsoft
Figure BDA0002607490820000536
Apple
Figure BDA0002607490820000537
和/或Linux操作系统的个人计算机和/或膝上型计算机。客户端计算设备可以是运行任何各种可商业获得的
Figure BDA0002607490820000538
或类UNIX操作系统(包括但不限于各种GNU/Linux操作系统,诸如例如Google Chrome OS)的工作站计算机。替代地或附加地,客户端计算设备2602、2604、2606和2608可以是能够通过(一个或多个)网络2610通信的任何其它电子设备,诸如瘦客户端计算机、启用互联网的游戏系统(例如,具有或不具有
Figure BDA0002607490820000539
手势输入设备的微软Xbox游戏控制台)和/或个人消息传送设备。
虽然示例性分布式系统2600被示出为具有四个客户端计算设备,但是可以支持任何数量的客户端计算设备。其它设备(诸如具有传感器的设备等)可以与服务器2612交互。
分布式系统2600中的(一个或多个)网络2610可以是本领域技术人员熟悉的、可以利用任何各种可商业获得的协议支持数据通信的任何类型的网络,其中协议包括但不限于TCP/IP(传输控制协议/网际协议)、SNA(系统网络体系架构)、IPX(互联网报文交换)、AppleTalk,等等。仅仅作为示例,(一个或多个)网络2610可以是局域网(LAN),诸如基于以太网、令牌环等的LAN。(一个或多个)网络2610可以是广域网和互联网。它可以包括虚拟网络,包括但不限于虚拟专用网(VPN)、内联网、外联网、公共交换电话网(PSTN)、红外网络、无线网络(例如,依据电子电气学会(IEEE)802.26协议套件、
Figure BDA0002607490820000541
和/或任何其它无线协议当中任意一种操作的网络);和/或这些和/或其它网络的任意组合。
服务器2612可以由一个或多个通用计算机、专用服务器计算机(作为示例,包括PC(个人计算机)服务器、
Figure BDA0002607490820000542
服务器、中档服务器、大型计算机、机架安装的服务器等)、服务器场、服务器集群或任何其它适当的布置和/或组合组成。服务器2612可以包括运行虚拟操作系统或涉及虚拟化的其他计算架构的一个或多个虚拟机。可以虚拟化一个或多个逻辑存储设备的灵活的池,以维护服务器的虚拟存储设备。服务器2612可以使用软件定义的网络来控制虚拟网络。在各种方面中,服务器2612可以适于运行在前述公开中所描述的一个或多个服务或软件应用。例如,服务器2612可以与用于执行以上根据本公开的方面描述的处理的服务器对应。
服务器2612可以运行包括以上讨论的操作系统当中任意一种的操作系统,以及任何可商业获得的服务器操作系统。服务器2612还可以运行任何各种附加的服务器应用和/或中间层应用,包括HTTP(超文本传输协议)服务器、FTP(文件传输协议)服务器、CGI(公共网关接口)服务器、
Figure BDA0002607490820000543
服务器、数据库服务器,等等。示例性数据库服务器包括但不限于从Oracle、Microsoft、Sybase、IBM(国际商业机器)等可商业获得的那些数据库服务器。
在一些实现中,服务器2612可以包括一个或多个应用,以分析和整合从客户端计算设备2602、2604、2606和2608的用户接收到的数据馈送和/或事件更新。作为示例,数据馈送和/或事件更新可以包括,但不限于,
Figure BDA0002607490820000551
馈送、
Figure BDA0002607490820000552
更新或者从一个或多个第三方信息源接收到的实时更新和连续数据流,其可以包括与传感器数据应用、金融报价机、网络性能测量工具(例如,网络监视和流量管理应用)、点击流分析工具、汽车交通监视等相关的实时事件。服务器2612还可以包括一个或多个应用,以经由客户端计算设备2602、2604、2606和2608的一个或多个显示设备显示数据馈送和/或实时事件。
分布式系统2600还可以包括一个或多个数据库2614和2616。数据库2614和2616可以驻留在各种位置中。作为示例,数据库2614和2616中的一个或多个可以驻留在服务器2612本地的(和/或驻留在服务器2612中的)非瞬态存储介质上。替代地,数据库2614和2616可以远离服务器2612,并且经由基于网络的连接或专用的连接与服务器2612通信。在一组方面中,数据库2614和2616可以驻留在本领域技术人员熟悉的存储区域网络(SAN)中。类似地,用于执行服务器2612所具有的功能的任何必要的文件都可以适当地本地存储在服务器2612上和/或远程存储。在一组方面中,数据库2614和2616可以包括适于响应于SQL格式的命令而存储、更新和检索数据的关系数据库,诸如由Oracle提供的数据库。
图27是根据本公开的方面的系统环境2700的一个或多个部件的简化框图,通过该系统环境2700,由方面系统的一个或多个部件提供的服务可以作为云服务提供。在所示方面中,系统环境2700包括可以由用户使用以与提供云服务的云基础设施系统2702交互的一个或多个客户端计算设备2704、2706和2708。客户端计算设备可以被配置为操作客户端应用,诸如web浏览器、专有客户端应用(例如,Oracle Forms)或某种其它应用,这些应用可以由客户端计算设备的用户用来与云基础设施系统2702交互以使用由云基础设施系统2702提供的服务。
应该认识到的是,图中描绘的云基础设施系统2702可以具有除了所描绘的那些之外的其它部件。另外,图中所示的方面仅是可以结合本发明的方面的云基础设施系统的一个示例。在一些其它方面中,云基础设施系统2702可以具有比图中所示更多或更少的部件、可以组合两个或更多个部件、或者可以具有不同的部件配置或布置。
客户端计算设备2704、2706和2708可以是与上面针对2802、2604、2606和2608所描述的设备类似的设备。
虽然示例性系统环境2700被示出具有三个客户端计算设备,但是任何数量的客户端计算设备可以被支持。诸如具有传感器的设备等的其它设备可以与云基础设施系统2602交互。
(一个或多个)网络2710可以促进客户端2704、2706和2708与云基础设施系统2702之间的数据通信和交换。每个网络可以是本领域技术人员所熟悉的可以使用各种商业上可获得的协议(包括上面针对(一个或多个)网络2710所描述的那些协议)中的任何一种支持数据通信的任何类型的网络。
云基础设施系统2702可以包括一个或多个计算机和/或服务器,其可以包括上面针对服务器2712所描述的那些计算机和/或服务器。
在某些方面中,由云基础设施系统提供的服务可以包括按需对云基础设施系统的用户可用的许多服务,诸如在线数据存储和备份解决方案、基于Web的电子邮件服务、被托管的办公室(office)套件和文档协作服务、数据库处理、受管理的技术支持服务等。由云基础设施系统提供的服务可以动态扩展以满足云基础设施系统的用户的需要。由云基础设施系统提供的服务的具体实例化在本文中被称为“服务实例”。一般而言,从云服务提供商的系统经由通信网络(诸如互联网)对用户可用的任何服务被称为“云服务”。通常,在公共云环境中,构成云服务提供商的系统的服务器和系统与客户自己的本地服务器和系统不同。例如,云服务提供商的系统可以托管应用,并且用户可以经由诸如互联网的通信网络按需订购和使用应用。
在一些示例中,计算机网络云基础设施中的服务可以包括对存储装置、被托管的数据库、被托管的Web服务器、软件应用或由云供应商向用户提供的其它服务的受保护的计算机网络访问,或者如本领域中另外已知的那样。例如,服务可以包括通过互联网对云上的远程存储装置进行密码保护的访问。作为另一个示例,服务可以包括基于Web服务的被托管的关系数据库和脚本语言中间件引擎,以供联网的开发人员私有使用。作为另一个示例,服务可以包括对在云供应商的网站上托管的电子邮件软件应用的访问。
在某些方面中,云基础设施系统2702可以包括以自助服务、基于订阅、弹性可扩展、可靠、高度可用和安全的方式递送给客户的应用、中间件和数据库服务产品的套件。这种云基础设施系统的示例是由本受让人提供的Oracle公共云。
大量数据(有时称为大数据)可以由基础设施系统在许多级别和不同规模上托管和/或操纵。这样的数据可能包含庞大而复杂的数据集,以致于很难使用典型的数据库管理工具或传统的数据处理应用进行处理。例如,使用个人计算机或其基于机架的对应物可能难以存储、检索和处理兆兆字节级的数据。使用最新的关系数据库管理系统以及桌面统计数据和可视化程序包,可能难以处理这种大小的数据。他们可能需要运行数千台服务器计算机的超出常用软件工具的结构的大规模并行处理软件,才能在可容忍的经过时间内捕获、整理、管理和处理数据。
分析人员和研究人员可以存储和操纵非常大的数据集,以可视化大量数据,检测趋势和/或以其他方式与数据进行交互。并行链接的数十个、数百个或数千个处理器可以对此类数据进行操作,以呈现该数据或模拟对该数据或其表示的外力。这些数据集可能涉及结构化数据(例如,在数据库中组织的数据或根据结构化模型进行组织的数据)和/或非结构化数据(例如,电子邮件、图像、数据块(二进制大对象)、网页、复杂事件处理)。通过利用一个方面的能力来相对快速地将更多(或更少)计算资源集中在一个目标上,可以根据企业、政府机构、研究组织、私人、志趣相投的个人或组织或其他实体的需求,更好地利用云基础架构系统来对大型数据集执行任务。
在各种方面中,云基础设施系统2702可以适于自动供应、管理和跟踪客户对由云基础设施系统2702供给的服务的订阅。云基础设施系统2702可以经由不同的部署模型来提供云服务。例如,可以依据公共云模型提供服务,其中云基础设施系统2702被销售云服务的组织拥有(例如,被Oracle拥有),并且服务对一般公众或不同行业的企业可用。作为另一个示例,可以依据私有云模型来提供服务,其中云基础设施系统2702仅针对单个组织操作,并且可以为该组织内的一个或多个实体提供服务。还可以依据社区云模型来提供云服务,其中云基础设施系统2702和由云基础设施系统2702提供的服务由相关社区中的若干组织共享。云服务还可以依据混合云模型被提供,该混合云模型是两个或更多个不同模型的组合。
在一些方面中,由云基础设施系统2702提供的服务可以包括在软件即服务(SaaS)类别、平台即服务(PaaS)类别、基础设施即服务(IaaS)类别或包括混合服务的其它服务类别下提供的一个或多个服务。客户经由订阅订单可以订购由云基础设施系统2702提供的一个或多个服务。云基础设施系统2702然后执行处理以提供客户的订阅订单中的服务。
在一些方面中,由云基础设施系统2702提供的服务可以包括但不限于应用服务、平台服务和基础设施服务。在一些示例中,应用服务可以由云基础设施系统经由SaaS平台提供。SaaS平台可以被配置为提供落入SaaS类别的云服务。例如,SaaS平台可以提供在集成开发和部署平台上构建和递送按需应用套件的能力。SaaS平台可以管理和控制用于提供SaaS服务的底层软件和基础设施。通过利用由SaaS平台提供的服务,客户可以利用在云基础设施系统上执行的应用。客户可以获取应用服务,而无需客户购买单独的许可和支持。可以提供各种不同的SaaS服务。示例包括但不限于为大型组织提供销售绩效管理、企业集成和业务灵活性的解决方案的服务。
在一些方面中,平台服务可以由云基础设施系统经由PaaS平台提供。PaaS平台可以被配置为提供落入PaaS类别的云服务。平台服务的示例可以包括但不限于使组织(诸如Oracle)能够在共享的公共体系架构上整合现有应用以及充分利用平台提供的共享服务来构建新应用的能力的服务。PaaS平台可以管理和控制用于提供PaaS服务的底层软件和基础设施。客户可以获取由云基础架构系统提供的PaaS服务,而无需客户购买单独的许可和支持。平台服务的示例包括但不限于Oracle Java云服务(JCS)、Oracle数据库云服务(DBCS)等。
通过利用由PaaS平台提供的服务,客户可以采用由云基础设施系统支持的编程语言和工具,并且还控制所部署的服务。在一些方面中,由云基础设施系统提供的平台服务可以包括数据库云服务、中间件云服务(例如,Oracle融合中间件服务)和Java云服务。在一个方面中,数据库云服务可以支持共享服务部署模型,该模型使得组织能够汇集数据库资源并且以数据库云的形式向客户供应数据库即服务。在云基础设施系统中,中间件云服务可以为客户提供开发和部署各种业务应用的平台,并且Java云服务可以为客户提供部署Java应用的平台。
各种不同的基础设施服务可以由云基础设施系统中的IaaS平台提供。基础设施服务促进底层计算资源(诸如存储装置、网络和其它基础计算资源)的管理和控制,以供客户利用由SaaS平台和PaaS平台提供的服务。
在某些方面中,云基础设施系统2702还可以包括基础设施资源2730,用于向云基础设施系统的客户提供用于提供各种服务的资源。在一个方面中,基础设施资源2730可以包括预先集成和优化的硬件(诸如服务器、存储装置和联网资源)的组合,以执行由PaaS平台和SaaS平台提供的服务。
在一些方面中,云基础设施系统2702中的资源可以由多个用户共享并且根据需要动态重新分配。此外,可以将资源分配给在不同时区的用户。例如,云基础设施系统2730可以使在第一时区中的第一组用户能够在指定的小时数内利用云基础设施系统的资源,并且然后使相同资源能够被重新分配给位于不同时区的另一组用户,从而使资源的利用率最大化。
在某些方面中,可以提供由云基础设施系统2702的不同部件或模块以及由云基础设施系统2702提供的服务共享的多个内部共享服务2732。这些内部共享服务可以包括但不限于:安全和身份服务、集成服务、企业储存库服务、企业管理器服务、病毒扫描和白名单服务、高可用性、备份和恢复服务、启用云支持的服务、电子邮件服务、通知服务、文件传输服务等。
在某些方面中,云基础设施系统2702可以提供云基础设施系统中的云服务(例如,SaaS、PaaS和IaaS服务)的综合管理。在一个方面中,云管理功能可以包括用于供应、管理和跟踪由云基础设施系统2702接收到的客户订阅等的能力。
在一个方面中,如图中所绘出的,云管理功能可以由一个或多个模块提供,诸如订单管理模块2620、订单编排模块2620、订单供应模块2624、订单管理和监视模块2626,以及身份管理模块2628。这些模块可以包括一个或多个计算机和/或服务器或者使用一个或多个计算机和/或服务器来提供,这些计算机和/或服务器可以是通用计算机、专用服务器计算机、服务器场、服务器集群或任何其它适当的布置和/或组合。
在示例性操作2634中,使用客户端设备(诸如客户端设备2704、2706或2708)的客户可以通过请求由云基础设施系统2702提供的一个或多个服务并且下订阅由云基础设施系统2702供应的一个或多个服务来的订单来与云基础设施系统2702交互。在某些方面中,客户可以访问云用户界面(UI)(云UI 2612、云UI 2614和/或云UI2616)并经由这些UI下订阅订单。云基础设施系统2702响应于客户下订单而接收到的订单信息可以包括识别客户以及客户想要订阅的云基础设施系统2702供应的一个或多个服务的信息。
在客户下订单之后,经由云UI 2727、2714和/或2716接收订单信息。
在操作2636处,订单存储在订单数据库2718中。订单数据库2618可以是由云基础设施系统2620操作和与其它系统元件一起操作的若干数据库之一。
在操作2638处,订单信息被转发到订单管理模块2620。在一些情况下,订单管理模块2620可以被配置为执行与订单相关的计费和记账功能,诸如验证订单、以及在验证后预订订单。
在操作2640处,将关于订单的信息传送到订单编排模块2622。订单编排模块2622可以利用订单信息为客户下的订单编排服务和资源的供应。在一些情况下,订单编排模块2622可以使用订单供应模块2624的服务来编排资源的供应以支持所订阅的服务。
在某些方面中,订单编排模块2622使得能够管理与每个订单相关联的业务过程并应用业务逻辑来确定订单是否应该进行到供应。在操作2642处,在接收到新订阅的订单时,订单编排模块2622向订单供应模块2624发送分配资源并配置履行订阅订单所需的那些资源的请求。订单供应模块2624使得能够为客户订购的服务分配资源。订单供应模块2624提供在由云基础设施系统2600提供的云服务和用于供应用于提供所请求的服务的资源的物理实现层之间的抽象层。因此,订单编排模块2622可以与实现细节(诸如服务和资源是否实际上即时供应或预先供应并仅在请求后才分配/指派)隔离。
在操作2642处,一旦供应了服务和资源,就可以通过云基础设施系统2602的订单供应模块2624向客户端设备2604、2606和/或2608上的客户发送所提供的服务的通知。
在操作2646处,订单管理和监视模块2626可以管理和跟踪客户的订阅订单。在一些情况下,订单管理和监视模块2626可以被配置为收集订阅订单中的服务的使用统计信息,诸如,所使用的存储量、传输的数据量、用户的数量,以及系统运行时间量和系统停机时间量。
在某些方面中,云基础设施系统2700可以包括身份管理模块2628。身份管理模块2628可以被配置为提供身份服务,诸如云基础设施系统2700中的访问管理和授权服务。在一些方面中,身份管理模块2628可以控制关于希望利用由云基础设施系统2702提供的服务的客户的信息。这样的信息可以包括认证这些客户的身份的信息以及描述这些客户被授权相对于各种系统资源(例如,文件、目录、应用、通信端口、存储器段等)执行哪些动作的信息。身份管理模块2628还可以包括对关于每个客户的描述性信息以及关于如何和由谁来访问和修改这些描述性信息的管理。
图28示出了其中可以实现本发明的各种方面的示例性计算机系统2800。系统2800可以用于实现上述任何计算机系统。如图所示,计算机系统2800包括经由总线子系统2802与多个外围子系统通信的处理单元2804。这些外围子系统可以包括处理加速单元2806、I/O子系统2808、存储子系统2818和通信子系统2825。存储子系统2818包括有形计算机可读存储介质2823和系统存储器2810。
总线子系统2802提供用于让计算机系统2800的各种部件和子系统按意图彼此通信的机制。虽然总线子系统2802被示意性地示出为单条总线,但是总线子系统的替代方面可以利用多条总线。总线子系统2802可以是若干种类型的总线结构中的任何一种,包括存储器总线或存储器控制器、外围总线、以及使用任何各种总线体系架构的局部总线。例如,这种体系架构可以包括工业标准体系架构(ISA)总线、微通道体系架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外围部件互连(PCI)总线,其可以被实现为按IEEE P2886.1标准制造的Mezzanine总线。
可以被实现为一个或多个集成电路(例如,常规微处理器或微控制器)的处理单元2804控制计算机系统2800的操作。一个或多个处理器可以被包括在处理单元2804中。这些处理器可以包括单核或多核处理器。在某些方面中,处理单元2804可以被实现为一个或多个独立的处理单元2832和/或2834,其中在每个处理单元中包括单核或多核处理器。在其它方面中,处理单元2804也可以被实现为通过将两个双核处理器集成到单个芯片中形成的四核处理单元。
在各种方面中,处理单元2804可以响应于程序代码执行各种程序并且可以维护多个并发执行的程序或进程。在任何给定的时间,要被执行的程序代码中的一些或全部代码可以驻留在(一个或多个)处理单元2804中和/或存储子系统2818中。通过适当的编程,(一个或多个)处理单元2804可以提供上述各种功能。计算机系统2800可以附加地包括处理加速单元2806,其可以包括数字信号处理器(DSP)、专用处理器,等等。
I/O子系统2808可以包括用户接口输入设备和用户接口输出设备。用户接口输入设备可以包括键盘、诸如鼠标或轨迹球的定点设备、结合到显示器中的触摸板或触摸屏、滚动轮、点击轮、拨盘、按钮、开关、键盘、具有语音命令识别系统的音频输入设备、麦克风以及其它类型的输入设备。用户接口输入设备可以包括,例如,运动感测和/或手势识别设备,诸如的Microsoft
Figure BDA0002607490820000631
运动传感器,其使得用户能够使用手势和语音命令通过自然用户接口来控制诸如的Microsoft
Figure BDA0002607490820000632
280游戏控制器的输入设备并与之交互。用户接口输入设备也可以包括眼睛姿势识别设备,诸如从用户检测眼睛活动(例如,当拍摄照片和/或做出菜单选择时的“眨眼”)并且将眼睛姿势转换为到输入设备(例如,Google
Figure BDA0002607490820000633
)中的输入的Google
Figure BDA0002607490820000634
眨眼检测器。此外,用户接口输入设备可以包括使用户能够通过语音命令与语音识别系统(例如,
Figure BDA0002607490820000635
导航器)交互的语音识别感测设备。
用户接口输入设备也可以包括但不限于三维(3D)鼠标、操纵杆或指向棒、游戏面板和绘图板,以及音频/视频设备,诸如扬声器、数码相机、数码摄像机、便携式媒体播放器、网络摄像头、图像扫描仪、指纹扫描仪、条形码阅读器3D扫描仪、3D打印机、激光测距仪和视线跟踪设备。此外,用户接口输入设备可以包括,例如,医学成像输入设备,诸如计算机断层扫描、磁共振成像、正电子发射断层摄影术、医疗超声设备。用户接口输入设备也可以包括,例如,诸如MIDI键盘、数字乐器等的音频输入设备。
用户接口输出设备可以包括显示子系统、指示灯,或者诸如音频输出设备的非可视显示器,等等。显示子系统可以是阴极射线管(CRT)、诸如使用液晶显示器(LCD)或等离子显示器的平板设备、投影设备、触摸屏,等等。一般而言,术语“输出设备”的使用意在包括用于从计算机系统2800向用户或其它计算机输出信息的所有可能类型的设备和机制。例如,用户接口输出设备可以包括,但不限于,可视地传达文本、图形和音频/视频信息的各种显示设备,诸如监视器、打印机、扬声器、耳机、汽车导航系统、绘图仪、语音输出设备,以及调制解调器。
计算机系统2800可以包括包含软件元件、被示为当前位于系统存储器2810中的存储子系统2818。系统存储器2810可以存储可加载并且可在处理单元2804上执行的程序指令,以及在这些程序的执行期间所产生的数据。
取决于计算机系统2800的配置和类型,系统存储器2810可以是易失性的(诸如随机存取存储器(RAM))和/或非易失性的(诸如只读存储器(ROM)、闪存存储器,等等)。RAM通常包含可被处理单元2804立即访问和/或目前正被处理单元2804操作和执行的数据和/或程序模块。在一些实现中,系统存储器2810可以包括多种不同类型的存储器,例如静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM)。在一些实现中,诸如包含有助于在启动期间在计算机系统2800的元件之间传送信息的基本例程的基本输入/输出系统(BIOS),通常可以被存储在ROM中。作为示例,但不是限制,系统存储器2810也示出了可以包括客户端应用、web浏览器、中间层应用、关系数据库管理系统(RDBMS)等的应用程序2812,程序数据2814,以及操作系统2816。作为示例,操作系统2816可以包括各种版本的Microsoft
Figure BDA0002607490820000651
Apple
Figure BDA0002607490820000652
和/或Linux操作系统、各种可商业获得的
Figure BDA0002607490820000653
或类UNIX操作系统(包括但不限于各种GNU/Linux操作系统、Google
Figure BDA0002607490820000654
操作系统等)和/或诸如iOS、
Figure BDA0002607490820000655
Phone、
Figure BDA0002607490820000656
OS、
Figure BDA0002607490820000657
10OS和
Figure BDA0002607490820000658
OS操作系统的移动操作系统。
存储子系统2818也可以提供用于存储提供一些方面的功能的基本编程和数据结构的有形计算机可读存储介质。当被处理器执行时提供上述功能的软件(程序、代码模块、指令)可以被存储在存储子系统2818中。这些软件模块或指令可以被处理单元2804执行。存储子系统2818也可以提供用于存储根据本发明被使用的数据的储存库。
存储子系统2800也可以包括可被进一步连接到计算机可读存储介质2823的计算机可读存储介质读取器2820。与系统存储器2810一起并且,可选地,与其相结合,计算机可读存储介质2823可以全面地表示用于临时和/或更持久地包含、存储、发送和检索计算机可读信息的远程、本地、固定和/或可移除存储设备加存储介质。
包含代码或代码的部分的计算机可读存储介质2823也可以包括本领域已知或使用的任何适当的介质,包括存储介质和通信介质,诸如但不限于,以用于信息的存储和/或传输的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。这可以包括有形的非暂时性计算机可读存储介质,诸如RAM、ROM、电可擦除可编程ROM(EEPROM)、闪存存储器或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光学储存器、磁带盒、磁带、磁盘储存器或其它磁存储设备,或者其它有形的计算机可读介质。当被指定时,这也可以包括非有形的暂时性计算机可读介质,诸如数据信号、数据传输,或者可以被用来发送期望信息并且可以被计算系统2800访问的任何其它介质。
作为示例,计算机可读存储介质2823可以包括从不可移除的非易失性磁介质读取或写到其的硬盘驱动器、从可移除的非易失性磁盘读取或写到其的磁盘驱动器、以及从可移除的非易失性光盘(诸如CD ROM、DVD和
Figure BDA0002607490820000661
盘或其它光学介质)读取或写到其的光盘驱动器。计算机可读存储介质2823可以包括,但不限于,
Figure BDA0002607490820000662
驱动器、闪存卡、通用串行总线(USB)闪存驱动器、安全数字(SD)卡、DVD盘、数字音频带,等等。计算机可读存储介质2823也可以包括基于非易失性存储器的固态驱动器(SSD)(诸如基于闪存存储器的SSD、企业闪存驱动器、固态ROM等)、基于易失性存储器的SSD(诸如固态RAM、动态RAM、静态RAM)、基于DRAM的SSD,磁阻RAM(MRAM)SSD,以及使用基于DRAM和闪存存储器的SSD的组合的混合SSD。盘驱动器及其关联的计算机可读介质可以为计算机系统2800提供计算机可读指令、数据结构、程序模块及其它数据的非易失性存储。
通信子系统2825提供到其它计算机系统和网络的接口。通信子系统2825用作用于从其它系统接收数据和从计算机系统2800向其它系统发送数据的接口。例如,通信子系统2825可以使计算机系统2800能够经由互联网连接到一个或多个设备。在一些方面中,通信子系统2825可以包括用于访问无线语音和/或数据网络的射频(RF)收发器部件(例如,使用蜂窝电话技术,诸如3G、4G或EDGE(用于全球演进的增强型数据速率)的先进数据网络技术,WiFi(IEEE 802.28系列标准),或其它移动通信技术,或其任意组合)、全球定位系统(GPS)接收器部件和/或其它部件。在一些方面中,作为无线接口的附加或者替代,通信子系统2825可以提供有线网络连接(例如,以太网)。
在一些方面中,通信子系统2825也可以代表可以使用计算机系统2800的一个或多个用户接收结构化和/或非结构化数据馈送2826、事件流2828、事件更新2828等形式的输入通信。
作为示例,通信子系统2825可被配置为实时地从社交媒体网络和/或其它通信服务的用户接收非结构化的数据馈送2828,诸如
Figure BDA0002607490820000671
馈送、
Figure BDA0002607490820000672
更新、诸如丰富站点摘要(RSS)馈送的web馈送和/或来自一个或多个第三方信息源的实时更新。
此外,通信子系统2825也可被配置为接收连续数据流形式的数据,这可以包括本质上可以是连续的或无界的没有明确终止的实时事件的事件流2828和/或事件更新2828。产生连续数据的应用的示例可以包括,例如,传感器数据应用、金融报价机、网络性能测量工具(例如,网络监视和流量管理应用)、点击流分析工具、汽车流量监视,等等。
通信子系统2825也可被配置为向一个或多个数据库输出结构化和/或非结构化数据馈送2828、事件流2828、事件更新2828,等等,这一个或多个数据库可以与耦合到计算机系统2800的一个或多个流式数据源计算机通信。
计算机系统2800可以是各种类型之一,包括手持便携式设备(例如,
Figure BDA0002607490820000673
蜂窝电话、
Figure BDA0002607490820000674
计算平板电脑、PDA)、可穿戴设备(例如,Google
Figure BDA0002607490820000675
头戴式显示器)、PC、工作站、大型机、信息站、服务器机架、或任何其它数据处理系统。
由于计算机和网络的不断变化的本质,在图中绘出的计算机系统2800的描述仅仅要作为具体的示例。具有比图中绘出的系统更多或更少部件的许多其它配置是可能的。例如,定制的硬件也可以被使用和/或特定的元素可以用硬件、固件、软件(包括applets)或其组合来实现。另外,也可以采用到诸如网络输入/输出设备之类的其它计算设备的连接。基于本文提供的公开内容和示教,本领域普通技术人员将认识到实现各种方面的其它方式和/或方法。
在前述的说明书中,本发明的各方面参考其具体方面进行了描述,但本领域技术人员将认识到的是,本发明不限于此。上述发明的各个特征和方面可以被单独或联合使用。此外,在不脱离本说明书的更广泛精神和范围的情况下,方面可以在除本文所述的那些之外的任何数目的环境和应用中被使用。相应地,本说明书和附图应当被认为是说明性而不是限制性的。

Claims (20)

1.一种用于检测文本中的对解释的请求的方法,所述方法包括:
访问包含片段的文本;
从所述文本的子集创建话语树,其中所述话语树包括多个节点,每个非终止节点表示所述片段中的两个片段之间的修辞相互关系,并且所述话语树的节点中的每个终止节点与所述片段中的一个片段相关联;
通过将具有动词的每个片段与动词签名进行匹配,形成表示所述文本的所述子集的交流话语树;以及
通过将经训练以检测对解释的请求的分类模型应用于所述交流话语树,识别所述文本的所述子集包括对解释的请求。
2.如权利要求1所述的方法,其中,所述匹配包括:
访问多个动词签名,其中每个动词签名包括相应片段的所述动词和题元角色序列,其中题元角色描述所述动词和相关词语之间的关系;
对于所述多个动词签名中的每个动词签名,确定该签名的与相应片段中的词语的角色匹配的多个题元角色;
基于特定动词签名包括最高数量的匹配,从所述多个动词签名中选择所述特定动词签名;以及
将所述特定动词签名与所述片段相关联。
3.如权利要求2所述的方法,其中,所述多个动词签名中的每个动词签名包括以下各项中的一个:(i)副词,(ii)名词短语,或(iii)名词,并且其中,将所述特定动词签名与所述片段相关联还包括:
识别所述特定动词签名中的多个题元角色中的每个题元角色;以及
对于所述特定动词签名中的所述多个题元角色中的每个题元角色,将所述片段中的对应词语与该题元角色进行匹配。
4.如权利要求2所述的方法,其中(i)所述分类模型是具有树核学习的支持向量机,或者(ii)所述分类模型使用最大公共子树的最近邻学习。
5.如权利要求1所述的方法,其中,将所述分类模型应用于所述文本的所述子集还包括:
确定所述交流话语树与来自交流话语树训练集的一个或多个交流话语树之间的相似性;
基于附加交流话语树与所述交流话语树具有最高数量的相似性,从所述一个或多个交流话语树中选择所述附加交流话语树;
通过将分类模型应用于所述交流话语树来识别所述交流话语树是来自正面集合还是负面集合,其中所述正面集合包括表示包含对解释的请求的文本的交流话语树,并且所述负面集合包括表示没有对解释的请求的文本的交流话语树;以及
基于所述识别,确定所述文本是否包含对解释的请求。
6.如权利要求1所述的方法,其中,访问所述文本包括从用户设备接收文本,所述方法还包括:基于所确定的对解释的请求来调整响应,并且将调整后的响应提供给用户设备。
7.如权利要求1所述的方法,其中,将所述分类模型应用于所述文本的所述子集还包括:
确定所述交流话语树与来自交流话语树训练集的一个或多个交流话语树之间的相似性;
基于附加交流话语树与所述交流话语树具有最高数量的相似性,从所述一个或多个交流话语树中选择所述附加交流话语树;
识别所述附加交流话语树是来自正面集合还是负面集合,其中所述正面集合与包含对解释的请求的文本相关联,并且所述负面集合与不包含对解释的请求的文本相关联;以及
基于所述识别,确定所述文本是否包含对解释的请求。
8.如权利要求1所述的方法,其中,所述分类模型通过迭代地执行以下操作而被训练:
向所述分类模型提供训练对集合中的一个训练对,其中每个训练对包括交流话语树和对解释的请求的预计强度;
从所述分类模型接收对解释的请求的分类强度;
通过计算所述预计强度和所述分类强度之间的差来计算损失函数;以及
调整所述分类模型的内部参数以最小化所述损失函数。
9.一种构建训练数据集的方法,包括:
访问包含片段的文本;
从所述文本创建话语树,其中所述话语树包括多个节点,每个非终止节点表示所述片段中的两个片段之间的修辞相互关系,并且所述话语树的节点中的每个终止节点与所述片段中的一个片段相关联;
将具有动词的每个片段与动词签名进行匹配,从而创建交流话语树;
从正面集合中访问正面交流话语树并且从负面集合中访问负面交流话语树;
通过将分类模型应用于所述交流话语树来识别所述交流话语树是来自正面集合还是负面集合,其中所述正面集合包括表示包含对解释的请求的文本的交流话语树,并且所述负面集合包括表示没有对解释的请求的文本的交流话语树;以及
基于所述识别,将所述交流话语树添加到所述正面训练集或者所述负面训练集。
10.如权利要求9所述的方法,其中,创建所述交流话语树包括从所述子集确定话语树,其中所述话语树包括多个节点,每个非终止节点表示所述片段中的两个片段之间的修辞相互关系,并且所述话语树的节点中的每个终止节点与所述片段中的一个片段相关联,并且通过将具有动词的每个片段与动词签名进行匹配来从所述话语树形成交流话语树。
11.如权利要求9所述的方法,其中,所述匹配包括:
访问多个动词签名,其中每个动词签名包括相应片段的所述动词和题元角色序列,其中题元角色描述所述动词和相关词语之间的关系;
对于所述多个动词签名中的每个动词签名,确定该签名的与相应片段中的词语的角色匹配的多个题元角色;
基于特定动词签名包括最高数量的匹配,从所述多个动词签名中选择所述特定动词签名;以及
将所述特定动词签名与所述片段相关联。
12.如权利要求9所述的方法,还包括通过迭代地执行以下操作来训练所述分类模型:
向所述分类模型提供训练对集合中的一个训练对,其中每个训练对包括交流话语树和对解释的请求的预计强度;
从所述分类模型接收对解释的请求的分类强度;
通过计算所述预计强度和所述分类强度之间的差来计算损失函数;以及
调整所述分类模型的内部参数以最小化所述损失函数。
13.如权利要求12所述的方法,还包括:
访问来自用户设备的附加文本;
形成表示所述附加文本的交流话语树;以及
通过将经训练的分类模型应用于该交流话语树来识别所述附加文本包括对解释的请求。
14.一种系统,包括:
存储非暂态计算机可执行程序指令的计算机可读介质;以及
通信地耦合到所述计算机可读介质的用于执行所述非暂态计算机可执行程序指令的处理设备,其中执行所述非暂态计算机可执行程序指令将所述处理设备配置为执行包括以下各项的操作:
访问包含片段的文本;
从所述文本的子集创建话语树,其中所述话语树包括多个节点,每个非终止节点表示所述片段中的两个片段之间的修辞相互关系,并且所述话语树的节点中的每个终止节点与所述片段中的一个片段相关联;
通过将具有动词的每个片段与动词签名进行匹配,形成表示所述文本的所述子集的交流话语树;以及
通过将经训练以检测对解释的请求的分类模型应用于所述交流话语树,识别所述文本的所述子集包括对解释的请求。
15.如权利要求14所述的系统,其中,所述匹配包括:
访问多个动词签名,其中每个动词签名包括相应片段的所述动词和题元角色序列,其中题元角色描述所述动词和相关词语之间的相互关系;
对于所述多个动词签名中的每个动词签名,确定该签名的与相应片段中的词语的角色匹配的多个题元角色;
基于特定动词签名包括最高数量的匹配,从所述多个动词签名中选择所述特定动词签名;以及
将所述特定动词签名与所述片段相关联。
16.如权利要求15所述的系统,其中,所述多个动词签名中的每个动词签名包括以下各项中的一个:(i)副词,(ii)名词短语,或(iii)名词,并且其中,将所述特定动词签名与所述片段相关联还包括:
识别所述特定动词签名中的多个题元角色中的每个题元角色;以及
对于所述特定动词签名中的所述多个题元角色中的每个题元角色,将所述片段中的对应词语与该题元角色进行匹配。
17.如权利要求14所述的系统,其中,(i)所述分类模型是具有树核学习的支持向量机,或者(ii)所述分类模型使用最大公共子树的最近邻学习。
18.如权利要求14所述的系统,其中,将所述分类模型应用于所述文本的所述子集还包括:
确定所述交流话语树与来自交流话语树训练集的一个或多个交流话语树之间的相似性;
基于附加交流话语树与所述交流话语树具有最高数量的相似性,从所述一个或多个交流话语树中选择所述附加交流话语树;
通过将分类模型应用于所述交流话语树来识别所述交流话语树是来自正面集合还是负面集合,其中所述正面集合包括表示包含对解释的请求的文本的交流话语树,并且所述负面集合包括表示没有对解释的请求的文本的交流话语树;以及
基于所述识别,确定所述文本是否包含对解释的请求。
19.如权利要求14所述的系统,其中,访问所述文本包括从用户设备接收文本,所述操作还包括:基于所确定的对解释的请求来调整响应,并且将调整后的响应提供给用户设备。
20.如权利要求14所述的系统,其中,将所述分类模型应用于所述文本的所述子集还包括:
确定所述交流话语树与来自交流话语树训练集的一个或多个交流话语树之间的相似性;
基于附加交流话语树与所述交流话语树具有最高数量的相似性,从所述一个或多个交流话语树中选择所述附加交流话语树;
识别所述附加交流话语树是来自正面集合还是负面集合,其中所述正面集合与包含对解释的请求的文本相关联,并且所述负面集合与不包含对解释的请求的文本相关联;以及
基于所述识别,确定所述文本是否包含对解释的请求。
CN201980010702.9A 2018-01-30 2019-01-29 使用交流话语树来检测对解释的请求 Active CN111670435B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862624001P 2018-01-30 2018-01-30
US62/624,001 2018-01-30
US201862646711P 2018-03-22 2018-03-22
US62/646,711 2018-03-22
PCT/US2019/015696 WO2019152426A1 (en) 2018-01-30 2019-01-29 Using communicative discourse trees to detect a request for an explanation

Publications (2)

Publication Number Publication Date
CN111670435A true CN111670435A (zh) 2020-09-15
CN111670435B CN111670435B (zh) 2024-08-06

Family

ID=65409616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980010702.9A Active CN111670435B (zh) 2018-01-30 2019-01-29 使用交流话语树来检测对解释的请求

Country Status (5)

Country Link
US (2) US10949623B2 (zh)
EP (1) EP3746916A1 (zh)
JP (2) JP7447019B2 (zh)
CN (1) CN111670435B (zh)
WO (1) WO2019152426A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076720A (zh) * 2021-04-29 2021-07-06 新声科技(深圳)有限公司 长文本的分段方法及装置、存储介质、电子装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182412B2 (en) 2017-09-27 2021-11-23 Oracle International Corporation Search indexing using discourse trees
US10812417B2 (en) * 2018-01-09 2020-10-20 International Business Machines Corporation Auto-incorrect in chatbot human-machine interfaces
WO2019152426A1 (en) * 2018-01-30 2019-08-08 Oracle International Corporation Using communicative discourse trees to detect a request for an explanation
US10936998B2 (en) * 2018-03-29 2021-03-02 Adp, Llc Metadata-based chat wizard
US10893012B2 (en) * 2018-04-24 2021-01-12 Adp, Llc Context aware metadata-based chat wizard
US20220215292A1 (en) * 2018-08-01 2022-07-07 Intuit Inc. Method to identify incorrect account numbers
US11669767B2 (en) * 2019-08-15 2023-06-06 Salesforce, Inc. Automatic generation of an explanation, based on data lineage and user feedback, of a prediction produced by a machine learning system
US20200151583A1 (en) * 2018-11-13 2020-05-14 Capital One Services, Llc Attentive dialogue customer service system and method
US11507787B2 (en) * 2018-12-12 2022-11-22 International Business Machines Corporation Model agnostic contrastive explanations for structured data
US11270077B2 (en) * 2019-05-13 2022-03-08 International Business Machines Corporation Routing text classifications within a cross-domain conversational service
US10902854B1 (en) * 2019-05-17 2021-01-26 Eyeballs Financial, LLC Systems and methods for generating responses to questions about user accounts
US11741305B2 (en) 2019-10-07 2023-08-29 The Toronto-Dominion Bank Systems and methods for automatically assessing fault in relation to motor vehicle collisions
US11521065B2 (en) 2020-02-06 2022-12-06 International Business Machines Corporation Generating explanations for context aware sequence-to-sequence models
US11741308B2 (en) 2020-05-14 2023-08-29 Oracle International Corporation Method and system for constructing data queries from conversational input
US11487650B2 (en) * 2020-05-22 2022-11-01 International Business Machines Corporation Diagnosing anomalies detected by black-box machine learning models
US12106054B2 (en) * 2020-10-12 2024-10-01 Oracle International Corporation Multi case-based reasoning by syntactic-semantic alignment and discourse analysis
US20220121814A1 (en) * 2020-10-20 2022-04-21 Unisys Corporation Parsing implicit tables
US11620118B2 (en) * 2021-02-12 2023-04-04 Oracle International Corporation Extraction from trees at scale
US11270214B1 (en) 2021-03-29 2022-03-08 Isidore Samuel Sobkowski Providing the basis for ethical AI through explanations by coupling non-interpretable and interpretable systems
CN113268579B (zh) * 2021-06-24 2023-12-08 中国平安人寿保险股份有限公司 对话内容类别识别方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102165518A (zh) * 2008-08-27 2011-08-24 罗伯特·博世有限公司 用于在对话系统中从用户话语产生自然语言短语的系统和方法
US20150039294A1 (en) * 2013-07-03 2015-02-05 Blake Howald Method and system for simplifying implicit rhetorical relation prediction in large scale annotated corpus

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2696853B1 (fr) 1992-10-12 1994-12-23 Bull Sa Procédé d'aide à l'optimisation d'une requête d'un système de gestion, de base de données relationnel et procédé d'analyse syntaxique en résultant.
US8725493B2 (en) 2004-01-06 2014-05-13 Neuric Llc Natural language parsing method to provide conceptual flow
US6181909B1 (en) 1997-07-22 2001-01-30 Educational Testing Service System and method for computer-based automatic essay scoring
US6112168A (en) 1997-10-20 2000-08-29 Microsoft Corporation Automatically recognizing the discourse structure of a body of text
US20070294229A1 (en) 1998-05-28 2007-12-20 Q-Phrase Llc Chat conversation methods traversing a provisional scaffold of meanings
US7152031B1 (en) 2000-02-25 2006-12-19 Novell, Inc. Construction, manipulation, and comparison of a multi-dimensional semantic space
JP2001167087A (ja) 1999-12-14 2001-06-22 Fujitsu Ltd 構造化文書検索装置,構造化文書検索方法,構造化文書検索用プログラム記録媒体および構造化文書検索用インデックス作成方法
AU2001261505A1 (en) 2000-05-11 2001-11-20 University Of Southern California Machine translation techniques
US6731307B1 (en) 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
US7519529B1 (en) * 2001-06-29 2009-04-14 Microsoft Corporation System and methods for inferring informational goals and preferred level of detail of results in response to questions posed to an automated information-retrieval or question-answering service
US7127208B2 (en) 2002-01-23 2006-10-24 Educational Testing Service Automated annotation
US7305336B2 (en) 2002-08-30 2007-12-04 Fuji Xerox Co., Ltd. System and method for summarization combining natural language generation with structural analysis
US20040148170A1 (en) 2003-01-23 2004-07-29 Alejandro Acero Statistical classifiers for spoken language understanding and command/control scenarios
US7610190B2 (en) 2003-10-15 2009-10-27 Fuji Xerox Co., Ltd. Systems and methods for hybrid text summarization
US9646107B2 (en) 2004-05-28 2017-05-09 Robert T. and Virginia T. Jenkins as Trustee of the Jenkins Family Trust Method and/or system for simplifying tree expressions such as for query reduction
US7698267B2 (en) 2004-08-27 2010-04-13 The Regents Of The University Of California Searching digital information and databases
US8700404B1 (en) 2005-08-27 2014-04-15 At&T Intellectual Property Ii, L.P. System and method for using semantic and syntactic graphs for utterance classification
US20070073533A1 (en) 2005-09-23 2007-03-29 Fuji Xerox Co., Ltd. Systems and methods for structural indexing of natural language text
US20070136284A1 (en) 2005-12-12 2007-06-14 Sbc Knowledge Ventures Lp Method for constructing and repurposing rhetorical content
US7840556B1 (en) 2007-07-31 2010-11-23 Hewlett-Packard Development Company, L.P. Managing performance of a database query
US7890539B2 (en) 2007-10-10 2011-02-15 Raytheon Bbn Technologies Corp. Semantic matching using predicate-argument structure
US8463594B2 (en) 2008-03-21 2013-06-11 Sauriel Llc System and method for analyzing text using emotional intelligence factors
US20100169359A1 (en) 2008-12-30 2010-07-01 Barrett Leslie A System, Method, and Apparatus for Information Extraction of Textual Documents
US8712759B2 (en) 2009-11-13 2014-04-29 Clausal Computing Oy Specializing disambiguation of a natural language expression
US20130046757A1 (en) 2011-08-17 2013-02-21 Microsoft Corporation Indicating relationship closeness between subsnippets of a search result
JP5387870B2 (ja) 2011-10-20 2014-01-15 日本電気株式会社 テキスト含意判定装置、テキスト含意判定方法、及びプログラム
WO2013091075A1 (en) 2011-12-20 2013-06-27 Soschen Alona Natural language processor
US9336297B2 (en) 2012-08-02 2016-05-10 Paypal, Inc. Content inversion for user searches and product recommendations systems and methods
US20140122083A1 (en) 2012-10-26 2014-05-01 Duan Xiaojiang Chatbot system and method with contextual input and output messages
WO2014071330A2 (en) 2012-11-02 2014-05-08 Fido Labs Inc. Natural language processing system and method
US9037464B1 (en) 2013-01-15 2015-05-19 Google Inc. Computing numeric representations of words in a high-dimensional space
WO2014182820A2 (en) 2013-05-07 2014-11-13 Haley Paul V System for knowledge acquisition
US9317260B2 (en) 2013-08-09 2016-04-19 Vmware, Inc. Query-by-example in large-scale code repositories
US9292490B2 (en) 2013-08-16 2016-03-22 International Business Machines Corporation Unsupervised learning of deep patterns for semantic parsing
CN104598445B (zh) 2013-11-01 2019-05-10 腾讯科技(深圳)有限公司 自动问答系统和方法
US10019716B1 (en) 2013-11-21 2018-07-10 Google Llc Method for feedback submission resolution
US20150149461A1 (en) 2013-11-24 2015-05-28 Interstack, Inc System and method for analyzing unstructured data on applications, devices or networks
US9471874B2 (en) 2013-12-07 2016-10-18 International Business Machines Corporation Mining forums for solutions to questions and scoring candidate answers
MX2016008090A (es) 2013-12-20 2016-12-14 Avery Dennison Corp Revestimientos de poliéster-melamina y etiquetas que incluyen los mismos.
WO2015159133A1 (en) 2014-04-18 2015-10-22 Arria Data2Text Limited Method and apparatus for document planning
US9582501B1 (en) 2014-06-16 2017-02-28 Yseop Sa Techniques for automatic generation of natural language text
MX2016015358A (es) 2014-07-11 2017-03-03 Halliburton Energy Services Inc Herramienta de evaluacion para tuberias de revestimiento de pozos concentricas.
US9619513B2 (en) 2014-07-29 2017-04-11 International Business Machines Corporation Changed answer notification in a question and answer system
US20160055240A1 (en) 2014-08-22 2016-02-25 Microsoft Corporation Orphaned utterance detection system and method
US9559993B2 (en) 2014-10-02 2017-01-31 Oracle International Corporation Virtual agent proxy in a real-time chat service
US10019437B2 (en) 2015-02-23 2018-07-10 International Business Machines Corporation Facilitating information extraction via semantic abstraction
EP3341933A1 (en) 2015-10-21 2018-07-04 Google LLC Parameter collection and automatic dialog generation in dialog systems
WO2017112813A1 (en) 2015-12-22 2017-06-29 Sri International Multi-lingual virtual personal assistant
US11042702B2 (en) 2016-02-04 2021-06-22 International Business Machines Corporation Solving textual logic problems using a statistical approach and natural language processing
US20170286390A1 (en) 2016-04-04 2017-10-05 Contextors Ltd. Dynamic and automatic generation of interactive text related objects
CN106649768B (zh) 2016-12-27 2021-03-16 北京百度网讯科技有限公司 基于深度问答的问答澄清方法和装置
CN106682194B (zh) 2016-12-29 2020-05-22 北京百度网讯科技有限公司 基于深度问答的答案定位方法及装置
US10679011B2 (en) * 2017-05-10 2020-06-09 Oracle International Corporation Enabling chatbots by detecting and supporting argumentation
US10599885B2 (en) 2017-05-10 2020-03-24 Oracle International Corporation Utilizing discourse structure of noisy user-generated content for chatbot learning
US10839161B2 (en) 2017-06-15 2020-11-17 Oracle International Corporation Tree kernel learning for text classification into classes of intent
US10628528B2 (en) * 2017-06-29 2020-04-21 Robert Bosch Gmbh System and method for domain-independent aspect level sentiment detection
US10817578B2 (en) * 2017-08-16 2020-10-27 Wipro Limited Method and system for providing context based adaptive response to user interactions
US11182412B2 (en) 2017-09-27 2021-11-23 Oracle International Corporation Search indexing using discourse trees
US20190103111A1 (en) * 2017-10-03 2019-04-04 Rupert Labs Inc. ( DBA Passage AI) Natural Language Processing Systems and Methods
WO2019152426A1 (en) * 2018-01-30 2019-08-08 Oracle International Corporation Using communicative discourse trees to detect a request for an explanation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102165518A (zh) * 2008-08-27 2011-08-24 罗伯特·博世有限公司 用于在对话系统中从用户话语产生自然语言短语的系统和方法
US20150039294A1 (en) * 2013-07-03 2015-02-05 Blake Howald Method and system for simplifying implicit rhetorical relation prediction in large scale annotated corpus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周强;: "汉语日常会话的对话行为分析标注研究", 中文信息学报, no. 06, 15 November 2017 (2017-11-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076720A (zh) * 2021-04-29 2021-07-06 新声科技(深圳)有限公司 长文本的分段方法及装置、存储介质、电子装置
CN113076720B (zh) * 2021-04-29 2022-01-28 新声科技(深圳)有限公司 长文本的分段方法及装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN111670435B (zh) 2024-08-06
US20190236134A1 (en) 2019-08-01
US11694040B2 (en) 2023-07-04
US10949623B2 (en) 2021-03-16
JP2024081641A (ja) 2024-06-18
JP7447019B2 (ja) 2024-03-11
WO2019152426A1 (en) 2019-08-08
EP3746916A1 (en) 2020-12-09
US20210150153A1 (en) 2021-05-20
JP2021512444A (ja) 2021-05-13

Similar Documents

Publication Publication Date Title
CN111670435B (zh) 使用交流话语树来检测对解释的请求
US11977568B2 (en) Building dialogue structure by using communicative discourse trees
JP7546096B6 (ja) コミュニケーション用談話ツリーの使用による修辞学的分析の可能化
US11782985B2 (en) Constructing imaginary discourse trees to improve answering convergent questions
US11455494B2 (en) Automated building of expanded datasets for training of autonomous agents
US11599731B2 (en) Generating recommendations by using communicative discourse trees of conversations
US11720749B2 (en) Constructing conclusive answers for autonomous agents
US20220253611A1 (en) Techniques for maintaining rhetorical flow
CN115392217A (zh) 用于保持修辞流的技术
US11615145B2 (en) Converting a document into a chatbot-accessible form via the use of communicative discourse trees
CN114902230A (zh) 改进的话语解析
CN117015772A (zh) 依赖于话语树以构建本体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant