CN111149100A - 基于命名实体的解析和识别确定跨文档的修辞相互关系 - Google Patents
基于命名实体的解析和识别确定跨文档的修辞相互关系 Download PDFInfo
- Publication number
- CN111149100A CN111149100A CN201880062996.5A CN201880062996A CN111149100A CN 111149100 A CN111149100 A CN 111149100A CN 201880062996 A CN201880062996 A CN 201880062996A CN 111149100 A CN111149100 A CN 111149100A
- Authority
- CN
- China
- Prior art keywords
- utterance
- tree
- document
- base
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 90
- 230000004044 response Effects 0.000 claims description 34
- 238000013145 classification model Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 9
- 239000003607 modifier Substances 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 33
- 239000003795 chemical substances by application Substances 0.000 description 32
- 238000007726 management method Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 21
- 238000004458 analytical method Methods 0.000 description 16
- 230000008520 organization Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 9
- 241000282472 Canis lupus familiaris Species 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 238000005352 clarification Methods 0.000 description 6
- 230000001427 coherent effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000029305 taxis Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 239000012634 fragment Substances 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001474033 Acar Species 0.000 description 1
- VEXZGXHMUGYJMC-UHFFFAOYSA-M Chloride anion Chemical compound [Cl-] VEXZGXHMUGYJMC-UHFFFAOYSA-M 0.000 description 1
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 150000001408 amides Chemical class 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- -1 iOS Chemical class 0.000 description 1
- 238000013549 information retrieval technique Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明的系统、设备和方法涉及扩展话语树并使用扩展话语树来导航文本。在示例中,话语导航应用为第一文档的第一段落创建第一话语树,并且为第二文档的第二段落创建第二话语树。所述应用从第一话语树确定实体和对应的第一基本话语单元。该应用在第二话语树中确定与存在的第一基本话语单元匹配的第二基本话语单元。该应用确定两个基本话语单元之间的修辞相互关系,并在两个话语树之间创建可导航的链接。
Description
相关申请的交叉引用
本申请要求于2017年9月28日提交的编号为62/564,961的美国临时申请以及于2018年9月10日提交的编号为62/729,335的美国临时申请的权益,这些申请通过引用全文并入本文。
技术领域
本公开一般而言涉及语言学。更具体而言,本公开涉及使用扩展话语树(discourse tree)来导航一个或多个文本主体。
关于由联邦政府资助的研究与开发工作所获得的发明权利的声明
不适用
背景技术
可以训练自主代理(autonomous agent)(聊天机器人(ChatBots))在诸如提供客户服务的各种应用中回答用户问题。不同的内容可用于训练自主代理,诸如客户服务历史记录或其它数据库。但是,此类内容可能包含错误的信息,从而使利用该信息训练的自主代理对从用户接收到的问题提供错误的答案。
替代地,正式文档可以提供更高水平的准确性。正式文档的示例包括银行的流程和程序手册。但是现有的分析技术(诸如基于关键字的搜索解决方案)无法捕获这些正式文档中不同部分的相关性,从而导致错误的结果。更具体而言,确定是否存在关键字的基于关键字的解决方案无法说明文本中的对话(一系列相关交互)。因此,依赖于此类解决方案的自主代理无法正确地解决来自用户的问题,从而降低了此类代理的有效性并使得用户沮丧。
因此,需要用于在文本主体之内和之间进行搜索和导航的改进的解决方案。
发明内容
一般而言,本发明的系统、设备和方法涉及扩展话语树。在示例中,一种方法访问第一文档和第二文档。该方法为第一文档的第一段落创建第一话语树。该方法为第二文档的第二段落创建第二话语树。该方法通过从话语树中提取名词短语、将名词短语分类为实体或非实体、并在第二话语树中确定与第一基本话语单元匹配的第二基本话语单元来从第一话语树中确定实体和对应的第一基本话语单元。该方法响应于确定第一基本话语单元和第二基本话语单元之间的修辞相互关系(rhetorical relationship),经由该修辞相互关系来链接第一话语树和第二话语树,从而创建扩展话语树。
在一方面,创建第一话语树和创建第二话语树还包括访问包括片段(fragment)的句子。至少一个片段包括动词和词语,每个词语包括词语在片段内的作用。每个片段是基本话语单元。所述创建还包括生成表示多个片段之间的修辞相互关系的话语树。话语树包括节点,每个非终端节点表示两个片段之间的修辞相互关系,话语树的节点的每个终端节点与所述多个片段中的一个片段相关联。
在一方面,分类包括使用经训练的机器学习模型、关键字列表或搜索互联网资源中的一个或多个。
在一方面,实体是指个人、公司、地点、文档的名称或日期或时间中的一个。
在一方面,该方法包括:响应于未确定修辞相互关系,在第一基本话语单元和第二基本话语单元之间创建类型阐述的默认修辞相互关系,并链接第一话语树和第二话语树,从而创建扩展话语树。
在一方面,确定修辞相互关系还包括将第一基本话语单元和第二基本话语单元组合成临时段落,并且通过将话语解析应用于临时段落来确定在临时段落内发现了修辞相互关系。
在一方面,实体由一个或多个短语或一个或多个基本话语单元表示。
在一方面,访问第一文档和第二文档包括确定第一文档的第一内容分数与第二文档的第二内容分数之间的差在阈值内。
在一方面,通过执行一个或多个文档的用户查询来获得第一文档和第二文档。
在一方面,第一文档和第二文档包括基于特定主题的文本。
在一方面,访问第一文档和第二文档包括确定在第一文档和第二文档之间存在预先存在的链接。
在另一方面,一种使用扩展话语树来导航文本主体的方法包括访问表示文档的扩展话语树。扩展话语树包括针对第一文档的第一话语树和针对第二文档的第二话语树。该方法还包括从扩展话语树确定响应于来自用户设备的查询的第一基本话语单元和与第一基本话语单元对应的第一位置。该方法还包括从扩展话语树确定导航选项集合,导航选项包括第一话语树的第一基本话语单元和第二基本话语单元之间的第一修辞相互关系以及第一基本话语单元和第二话语树的第三基本话语单元之间的第二修辞相互关系。该方法还包括将第一修辞相互关系和第二修辞相互关系呈现给用户设备。该方法还包括:响应于从用户设备接收到对第一修辞相互关系的选择,向用户设备呈现第二基本话语单元,或者响应于从用户设备接收到对第二修辞相互关系的选择,向用户设备呈现第三基本话语单元。
在一方面,该方法还包括:响应于从用户设备接收到附加查询,确定响应于附加查询的附加基本话语单元,并将附加基本话语单元呈现给用户设备。
在一方面,确定第一基本话语单元还包括在第一基本话语单元中匹配查询中的一个或多个关键字。
在一方面,确定第一基本话语单元还包括:生成用于查询的第一解析树;为一个或多个基本话语单元中的每一个生成附加解析树;以及响应于确定附加解析树中的一个附加解析树包括第一解析树,选择与该一个附加解析树对应的基本话语单元作为第一基本话语单元。
在一方面,第一修辞相互关系和第二修辞相互关系包括阐述、使能、条件、对照或归因中的一个。
在一方面,以上方法可以在有形的计算机可读介质上实现和/或在计算机处理器和附接的存储器内操作。
在一方面,一种方法确定一个或多个文档之间的修辞相互关系。该方法访问表示文档集合中的第一文档的第一话语树和表示文档集合的第二文档的第二话语树。该方法通过将第一话语树和第二话语树应用于经训练的分类模型从扩展话语树集合中获得参考扩展话语树。经训练的分类模型遍历扩展话语树集合,以识别第一候选话语树和第二候选话语树。第一候选话语树和第二候选话语树是对于第一话语树和第二话语树的最佳匹配。该方法从参考扩展话语树确定第一参考话语树和第二参考话语树之间的一个或多个链接。该方法将一个或多个链接传播到第一话语树和第二话语树,从而创建扩展话语树。
在一方面,该方法还基于一个或多个链接来确定第一话语树和扩展树之间的一个或多个修辞相互关系,并将该修辞相互关系呈现给用户设备。
附图说明
图1示出了根据一方面的示例性修辞分类环境。
图2描绘了根据一方面的话语树的示例。
图3描绘了根据一方面的话语树的另一个示例。
图4描绘了根据一方面的说明性方案。
图5描绘了根据一方面的分层(hierarchical)二叉树的节点链接表示。
图6描绘了根据一方面的图5中的表示的示例性缩进(indented)文本编码。
图7描绘了根据一方面的关于财产税的示例请求的示例性DT。
图8描绘了对图7中表示的问题的示例性响应。
图9图示了根据一方面的用于官方答案的话语树。
图10图示了根据一方面的用于原始答案(raw answer)的话语树。
图11描绘了根据一方面的扩展话语树的示例。
图12描绘了根据一方面的用于创建扩展话语树的处理的示例的流程图。
图13还描绘了根据一方面的不同粒度级别的文档文本单元之间的相互关系。
图14描绘了根据一方面的用于使用扩展话语树在文档之间导航的处理的示例的流程图。
图15描绘了根据一方面的使用扩展话语树来回答用户问题的自主代理的示例。
图16描绘了根据一方面的扩展话语树的示例。
图17描绘了根据一方面的使用搜索引擎的导航和使用启用扩展话语树的自主代理的导航之间的比较。
图18描述了用于实现这些方面中的一个方面的分布式系统的简化图。
图19是根据一方面的系统环境的部件的简化框图,通过该系统环境,可以将方面系统的部件所提供的服务作为云服务供应。
图20图示了其中可以实现本发明的各方面的示例性计算机系统。
具体实施方式
如以上讨论的,现有的基于关键字的解决方案无法捕获文本主体内文本的不同部分的相关性,从而导致试图模仿人类对话的自主代理没有对交流话语充分理解。这样的解决方案导致自主代理发出随机的言语序列,从而使得完成任务或提供推荐变得困难。
作为对照,本文公开的各方面对计算机实现的语言学和文本导航领域提供了技术改进。更具体而言,某些方面创建了扩展话语树,该扩展话语树不仅表示特定文档的话语单元之间的修辞相互关系,而且还表示跨多个文档识别出的实体之间的修辞相互关系。在这样做时,某些方面提供了连贯的(cohesive)话语流程,用于与自主代理进行交互或用于搜索和导航被组织或划分为不同文档的文本主体。
例如,话语导航应用为不同的文本单元(例如,段落)构建个体话语树、执行话语分析以确定话语树之间的修辞关系,并由此创建单个扩展话语树。扩展话语树除了包含个体话语树中的文档内修辞关系外,还包括文档间修辞关系。话语导航应用然后可以使用扩展话语树来促进自主代理或搜索。
话语树源于修辞结构理论(RST)。RST依靠文本各部分之间的关系来对作者采用的文本的逻辑组织进行建模。RST通过经由话语树形成文本分层、连接结构来模拟文本连贯性。修辞关系被分为并列(coordinate)和从属(subordinate)两类;这些关系跨两个或更多个文本区段(text span)保持并且因此实现了连贯性。这些文本区段被称为基本话语单元(EDU)。句子中的从句和文本中的句子由作者逻辑连接。给定句子的含义与前面和后面句子的含义相关。
话语树的叶子对应于EDU,即连续的原子文本区段。相邻的EDU通过连贯关系(例如,归因、序列)相连,从而形成更高级别的话语单元。特定EDU的叶子在逻辑上是相关的。这种相互关系被称为文本的连贯结构。示例关系包括阐述(elaboration)和使能(enablement)。如本文所使用的,“核性(nuclearity)”是指哪个文本段、片段或区段对于作者的目的而言更为中心。“核心(nuclear)”是指比“卫星(satellite)”更接近作者目的中心的文本区段,而“卫星”则不那么接近作者目的中心。
提供以下非限制性示例以介绍某些方面。在计算设备上执行的话语导航应用访问输入文档集合。话语导航应用为每个文档的每个段落创建个体话语树。每个话语树识别实体之间的修辞关系,从而促进实体(例如,诸如地方、事物、人的主题)之间的导航。例如,基于公共实体(加利福尼亚(California))的识别,话语树使用户能够从描述加利福尼亚的文本导航到包含有关加利福尼亚中的城市(诸如旧金山(San Francisco))的信息的文本,以及对该实体(旧金山)进一步阐述的文本。
除了在特定话语树内确定的修辞关系之外,话语导航应用还在话语树之间执行附加的话语分析,并基于该分析在文档之间创建链接。更具体而言,话语导航应用识别(例如,表示第一文档的)第一话语树中的实体、识别(例如,表示第二文档的)第二话语树中的任何这样的实体,然后确定对应实体之间的修辞相互关系。以这种方式,话语导航应用使得能够在多个文档中表示的实体之间进行导航。
例如,话语导航应用将讨论棒球的第一文档的段落与通过提供附加信息阐述棒球的第二文档中的第二段落、提供棒球队的示例(诸如Atlanta Braves(亚特兰大勇士队))的第三文档中的第三段落等进行关联。
在另一个示例中,话语导航应用可以识别可以用于向用户提供对比(counterpoint)的对照的修辞关系。例如,第一文档中的实体在某个主题上处于某个位置,例如,“some experts believe that climate change is caused by human activity(一些专家相信气候变化是由人类活动造成的)”与第二文档“but a minority of expertsbelieve that climate change is cyclical(但是少数专家相信气候变化是周期性的)”中的实体相关的文本形成对照。扩展话语树可以表示文档之间的多种修辞关系,包括背景、证明(justify)、动机等。
某些方面使用经训练的机器学习模型来构造附加的扩展话语树。经训练的分类模型可以通过使用第二领域中的文本的扩展话语树的集合,从第一领域中的文本的话语树创建扩展话语树。例如,可以通过使用分类模型从来自法律文档的扩展话语树创建扩展话语树,该分类模型是用来自当前时事的扩展话语树训练的。
某些定义
如本文所使用的,“文本单元”是指文本的单元。示例包括基本话语单元、短语、片段、句子、段落、页和文档。
如本文所使用的,“实体”是指具有独特和独立存在的事物。实体可以在文本单元中使用。实体的示例包括个人、公司、地点、事物、文档的名称或日期或时间。
如本文所使用的,“修辞结构理论”是提供了可以分析话语的连贯性的理论基础的研究和学习领域。
如本文所使用的,“话语树”或“DT”是指表示句子的一部分的句子的修辞关系的结构。
如本文所使用的,“修辞关系(rhetorical relation)”、“修辞相互关系(rhetorical relationship)”或“连贯关系”或“话语关系”是指话语的两段在逻辑上如何彼此连接。修辞关系的示例包括阐述、对照和归因。
如本文所使用的,“句子片段”或“片段”是可以从句子的其余部分分开的句子的一部分。片段是基本话语单元。例如,对于句子“Dutch accident investigators say thatevidence points to pro-Russian rebels as being responsible for shooting downthe plane”,两个片段是“Dutch accident investigators say that evidence pointsto pro-Russian rebels”和“as being responsible for shooting down the plane”。片段可以包含但不必包含动词。
如本文所使用的,“索引(index)”是表、数据结构、指针或链接两个关键字、数据或文本部分的其它机制。索引可以包含可搜索的内容。索引的示例包括逆索引、可搜索索引和字符串匹配。逆索引也是可搜索的。
现在转到各图,图1示出了根据一方面的示例性文档导航环境。图1描绘了输入文档110a-n、计算设备101、用户设备170和数据网络104。
计算设备101包括话语导航应用102、扩展话语树130、机器学习模型120和训练数据125。在示例中,话语导航应用102接收输入文档110a-n、为每个输入文档110a-n创建话语树、确定所生成的话语树中的实体、确定实体之间的修辞关系并创建扩展话语树130。计算设备还可以从用户设备170接收查询,并且通过导航扩展话语树130来服务这些查询。
用户设备170可以是任何移动设备,诸如移动电话、智能电话、平板电脑、膝上型计算机、智能手表等。用户设备170经由到计算设备101或远程服务器的数据网络104与计算设备101进行通信。数据网络104可以是任何公共或专用网络、有线或无线网络、广域网、局域网或互联网。用户设备170的功能可以例如经由应用或web应用以软件来实现。用户设备170包括显示器171。显示器171的示例包括计算机屏幕、移动设备屏幕、LCD或LED背光显示器等。
显示器171描绘了三个消息181-183。继续该示例,话语导航应用102从用户设备170接收消息181。消息181是用户查询“can I use one credit card to pay foranother?(我可以使用一个信用卡支付另一个信用卡吗)”。话语导航应用102访问扩展话语树130,并确定第一文档的话语树中存在实体“credit card(信用卡)”。话语导航应用102随后确定存在进一步阐述实体“credit card”的若干不同可能性。具体而言,话语导航应用102确定名词短语“balance transfer(余额转账)”、“using funds on a checkingaccount(使用支票账户上的资金)”和“canceling your credit card(取消您的信用卡)”各自与实体“credit card”链接,并且在扩展话语树130内的一个或多个其它话语树中找到。相应地,话语导航应用102在用户设备上呈现消息182。作为响应,用户选择“canceling(取消)”,如消息183所示,进而,话语导航应用遵循实体“credit card”和“canceling yourcredit card”之间的修辞关系。
话语导航应用102可以继续该处理,这有助于该答案导航会话中的收敛,因为可以基于在用户读取消息182之后提交的附加说明来建议附加答案。可以基于特定修辞关系来建议附加答案或文本。例如,呈现通过阐述关系相关的文本对于用户阐述主题是有用的,而呈现通过对照关系相关的文本为用户提供了对比。以这种方式,所呈现的主题使用户有机会评估如何理解请求并学习与问题相关联的一些基本知识,从而导致与基于传统搜索引擎的解决方案相比具有更好的收敛。例如,文档导航选项102可以呈现诸如“bad decisions(不良决定)”、“breakups(破裂)”或“out of financial reach(超出财务范围)”的选项。
修辞结构理论与话语树
语言学是语言的科学研究。例如,语言学可以包括句子(句法)的结构,例如,主语-动词-宾语;句子的含义(语义学),例如,狗咬人与人咬狗;以及说话者在会话中做什么,即,句子之外的话语分析或语言分析。
话语的理论基础(修辞结构理论(RST))可以归功于Mann,William和Thompson,Sandra的“Rhetorical structure theory:A Theory of Text organization”,Text-Interdisciplinary Journal for the Study of Discourse,8(3):243–281,1988。类似于编程语言理论的语法和语义如何帮助实现现代软件编译器,RST帮助实现了话语分析。更具体而言,RST在至少两个级别上放置结构块,诸如核性和修辞关系的第一级别,以及结构或模式的第二级别。话语解析器或其它计算机软件可以将文本解析为话语树。
修辞关系
如所讨论的,本文描述的方面使用修辞关系和话语树。修辞关系可以用不同的方式描述。例如,Mann和Thompson描述了23种可能的关系。C.Mann,William&Thompson,Sandra.(1987)(“Mann and Thompson”).Rhetorical Structure Theory:A Theory ofText Organization。其它数量的关系也是可能的。下面的表2列出了不同的修辞关系。
一些经验研究假设大多数文本是使用核心-卫星关系构造的。参见Mann和Thompson。但是其它关系并没有承载对核心的明确选择。此类关系的示例在下面的表3中示出。
图2描绘了根据一方面的话语树的示例。图2包括话语树200。话语树包括文本区段201、文本区段202、文本区段203、关系210和关系211。图2中的数字对应于三个文本区段。图2对应于以下具有三个编号为1、2、3的文本区段的示例文本:
1.Honolulu,Hawaii will be site of the 2017Conference on HawaiianHistory(夏威夷火奴鲁鲁将成为2017年夏威夷历史大会的举办地)
2.It is expected that 200historians from the U.S.and Asia will attend(预计将有200名来自美国和亚洲的历史学家参加)
3.The conference will be concerned with how the Polynesians sailed toHawaii(会议将关注波利尼西亚人如何航行到夏威夷)
例如,关系210或阐述(elaboration)描述了文本区段201和文本区段202之间的相互关系。关系210描绘了文本区段203和204之间的相互关系、阐述。如所绘出的,文本区段202和203进一步阐述了文本区段201。在上面的示例中,假定向读者通知会议的目标,文本区段1是核心。文本区段2和3提供关于会议的更多详细信息。在图2中,水平数字(例如,1-3、1、2、3)覆盖文本的区段(可能由进一步的区段组成);垂直线指示一个或多个核心;以及曲线表示修辞关系(详细说明)并且箭头的方向从卫星指向核心。如果文本区段仅用作卫星而不用作核心,则删除卫星仍将留下连贯的文本。如果从图2中删除核心,则文本区段2和3将难以理解。
图3描绘了根据一方面的话语树的另一个示例。图3包括组成部分301和302、文本区段305-307、关系310和关系311。关系310(使能(enablement))描述了组成部分306和305以及307和305之间的相互关系。图3涉及以下文本区段:
1.The new Tech Report abstracts are now in the journal area of thelibrary near the abridged dictionary(现在新的技术报告摘要在图书馆的靠近删节词典的期刊区域中)。
2.Please sign your name by any means that you would be interested inseeing(请以任何您有兴趣看到的方式签署您的名字)。
3.Last day for sign-ups is 31May(签署的最后一天是5月31日)。
如可以看到的,关系310描绘了实体307和306之间的相互关系,该相互关系是使能。图3图示了虽然核心可以被嵌套,但是仅存在一个最核心的文本区段。
构造话语树
话语树可以使用不同的方法生成。构造自底向上DT的方法的简单示例是:
(1)通过以下方式将话语文本划分为单元:
(a)单元大小取决于分析的目标可以不同
(b)典型地,单元是从句
(2)检查每个单元及其邻居。它们之间保持关系吗?
(3)如果是,则标记该关系。
(4)如果不是,则该单元可能位于更高级别关系的边界处。查看较大单元(区段)之间保持的关系。
(5)继续,直到考虑了文本中的所有单元为止。
Mann和Thompson还描述了第二级别的构建块结构,称为模式应用(schemasapplication)。在RST中,修辞关系不直接映射到文本上;它们被装配(fit)到被称为模式应用的结构上,并且这些结构进而被装配到文本。模式应用是从被称为模式的更简单的结构派生的(如图4所示)。每个模式指示如何将文本的特定单元分解成其它更小的文本单元。修辞结构树或DT是模式应用的分层系统。模式应用链接多个连续的文本区段,并创建复杂的文本区段,该复杂的文本区段进而可以由更高级别的模式应用链接。RST断言,每个连贯话语的结构都可以由单个修辞结构树来描述,该单个修辞结构树的顶部模式创建涵盖整个话语的区段。
图4描绘了根据一方面的说明性模式。图4示出了联合模式是由核心组成的项目列表且没有卫星。图4描绘了模式401-406。模式401描绘了文本区段410和411之间的状况(circumstance)关系。模式402描绘了文本区段420和421之间的序列(sequence)关系以及文本区段421和422之间的序列关系。模式403描绘了文本区段430和431之间的对照关系。模式404描绘了文本区段440和441之间的联合相互关系。模式405描绘了450和451之间的动机相互关系,以及452和451之间的使能相互关系。模式406描绘了文本区段460和462之间的联合相互关系。图4中示出了以下三个文本区段的联合模式的示例:
1.Skies will be partly sunny in the New York metropolitan area today(今天纽约都会区的天空将部分晴朗)。
2.It will be more humid,with temperatures in the middle 80’s(天气会更加潮湿,温度在80中部)。
3.Tonight will be mostly cloudy,with the low temperature between65and 70(今晚将大部分多云,低温在65至70之间)。
虽然图2-图4描绘了话语树的一些图形表示,但其它表示也是可能的。
图5描绘了根据一方面的分层二叉树的节点链接表示。如从图5中可以看到的,DT的叶子对应于被称为基本话语单元(EDU)的连续非重叠文本区段。相邻的EDU通过关系(例如,阐述、归因...)连接并形成更大的话语单元,这些更大的话语单元也通过关系连接。“Discourse analysis in RST involves two sub-tasks:discourse segmentation isthe task of identifying the EDUs,and discourse parsing is the task of linkingthe discourse units into a labeled tree.”参见Joty,Shafiq R和GiuseppeCarenini,Raymond T Ng和Yashar Mehdad.2013.Combining intra-and multi-sentential rhetoricalparsing fordocument-level discourse analysis.In ACL(1),第486-496页。
图5描绘了作为树上的叶子或终止节点的文本区段,每个按它们在全文本中出现的次序进行编号,如图6所示。图5包括树500。树500包括例如节点501-507。节点指示相互关系。节点是非终止节点(诸如节点501),或者是终止节点(诸如节点502-507)。如可以看到的,节点503和504通过联合相互关系而相关。节点502、505、506和508是核心。虚线指示分支或文本区段是卫星。关系是灰色框中的节点。
图6描绘了根据一方面的图5中的表示的示例性缩进文本编码。图6包括文本600和文本序列602-604。文本600以更适合计算机编程的方式呈现。文本序列602对应于节点502,序列603对应于节点503,并且序列604对应于节点504。在图6中,“N”指示核心,并且“S”指示卫星。
话语解析器的示例
自动话语分段可以用不同的方法来执行。例如,给定一个句子,分段模型通过预测是否应在句子中的每个特定符号(token)之前插入边界来识别复合基本话语单元的边界。例如,一个框架顺序且独立地考虑句子中的每个符号。在这个框架中,分段模型逐符号地扫描句子,并使用二进制分类器(诸如支持向量机或逻辑回归)来预测在正被检查的符号之前插入边界是否合适。在另一个示例中,任务是顺序标记难题。一旦将文本分段为基本话语单元,就可以执行句子级别话语解析,以构造话语树。可以使用机器学习技术。
在本发明的一个方面,使用了两个修辞结构理论(RST)话语解析器:依赖于组成语法的CoreNLPProcessor,以及使用依赖性语法的FastNLPProcessor。参见Surdeanu,Mihai&Hicks,Thomas&Antonio Valenzuela-Escarcega,Marco.Two Practical RhetoricalStructure Theory Parsers.(2015)。
此外,以上两个话语解析器,即CoreNLPProcessor和FastNLPProcessor使用自然语言处理(NLP)进行句法解析。例如,Stanford CoreNLP给出了词语的基本形式、它们的发言(speech)的部分、它们是否是公司、人员的名称等;对日期、时间和数值量进行规范化;根据短语和句法依赖性标记句子的结构;指示哪些名词短语指代相同的实体。实际上,RST仍然是在许多话语情况下可能工作但在一些情况下可能不工作的理论。存在许多变量,包括但不限于,连贯文本中有哪些EDU,即,使用了什么样的话语分段器、使用了哪些关系清单以及为EDU选择了哪些关系、用于训练和测试的文档的语料库、以及甚至使用了什么解析器。因此,例如,在上面引用的Surdeanu等人的“Two Practical Rhetorical StructureTheory Parsers”中,必须使用专用的度量在特定的语料库上运行测试,以确定哪个解析器给出更好的性能。因此,与给出可预测结果的计算机语言解析器不同,话语解析器(和分段器)可能取决于训练和/或测试文本语料库给出不可预测的结果。因此,话语树是可预测领域(例如,编译器)和不可预测领域(例如,像化学一样需要进行实验来确定哪些组合将给你期望结果)的混合。
为了客观地确定话语分析的质量,正在使用一系列度量,例如来自Daniel Marcu的“The Theory and Practice of Discourse Parsing and Summarization,”MIT Press,(2000)的Precision(查准率)/Recall(查全率)/F1度量。查准率或肯定(positive)预测值是检索到的实例当中信息实例所占的比例,而查全率(也称为敏感度)是在信息实例的总数内已被检索的信息实例所占的比例。因此,查准率和查全率两者都基于对相关性的理解和度量。假设用于识别照片中的狗的计算机程序在包含12只狗和一些猫的图片中识别出8只狗。在识别出的8只狗中,5只实际上是狗(真肯定(true positive)),而其余的是猫(假肯定(false positive))。该程序的查准率为5/8,而它的查全率为5/12。当搜索引擎返回30页,其中只有20页是信息性的,而未能返回40个附加信息页时,其查准率为20/30=2/3,而其查全率为20/60=1/3。因此,在这种情况下,查准率是“搜索结果的有用程度”,并且查全率是“结果的完整程度”。F1分数(也称为F-分数或F-度量)是测试的准确性的量度。它考虑了测试的查准率和查全率两者来计算分数:F1=2×((查准率×查全率)/(查准率+查全率))并且是查准率和查全率的调和平均值。F1分数在1达到最佳值(完美的查准率和查全率),在0为最差值。
分析请求和响应对
图7描绘了根据一方面的关于财产税的示例请求的示例性话语树。节点标签是关系并且箭头线指向卫星。核心是实线。图7描绘了表示以下文本的话语树700。
请求:“My husbands’grandmother gave him his grandfather’s truck.Shesigned the title over but due to my husband having unpaid fines on hislicense,he was not able to get the truck put in his name.I wanted to put inmy name and paid the property tax and got insurance for the truck.By the timeit came to sending off the title and getting the tag,I didn't have the moneyto do so.Now,due to circumstances,I am not going to be able to afford thetruck.I went to the insurance place and was refused a refund.I am justwondering that since I am not going to have a tag on this truck,is itpossible to get the property tax refunded?”(“我丈夫的祖母将他祖父的卡车给了他。她把车契迁过来了,但是由于我丈夫没有支付对他的许可证的罚款,所以他无法将卡车放入他的名下。我想放入我的字下和支付财产税,并为这辆卡车买保险。当发送车契和获得标签的时候,我没有钱这样做。现在,由于某些状况,我将无法负担得起这辆卡车。我去了保险处并且被拒绝退款。我只是想知道既然我不会在这辆卡车上有标签,是否可以退还财产税?”)
响应:“The property tax is assessed on property that you own.Justbecause you chose to not register it does not mean that you don't own it,sothe tax is not refundable.Even if you have not titled the vehicle yet,youstill own it within the boundaries of the tax district,so the tax ispayable.Note that all states give you a limited amount of time to transfertitle and pay the use tax.If you apply late,there will be penalties on top ofthe normal taxes and fees.You don't need to register it at the same time,butyou absolutely need to title it within the period of time stipulated in statelaw.”(“财产税是根据您拥有的财产来评估的。仅仅因为您选择不注册并不意味着您不拥有它,因此该税款是不可退还的。即使您尚未取得车辆的契书,您仍然在税区范围内拥有它,因此应支付税款。请注意,所有州都给您有限的时间转让所有权和支付使用税款。如果您延迟申请,除了正常的税款和费用之外还将被罚款。您不需要同时注册,但是您绝对需要在州法律规定的时间段内为其办理车契。”)
如从图7中可以看到的,分析上面的文本将得出以下结果。“My husbands’grandmother gave him his grandfather’s truck”通过“She signed the title overbut due to my husband”进行阐述,后者又通过“having unpaid fines on his license,he was not able to get the truck put in his name”进行阐述,其通过“I wanted toput in my name”、“and paid the property tax”和“and got insurance for thetruck”进行阐述。
“My husbands’grandmother gave him his grandfather’s truck.She signedthe title over but due to my husband having unpaid fines on his license,hewas not able to get the truck put in his name.I wanted to put in my name andpaid the property tax and got insurance for the truck”通过以下进行阐述:
“I didn't have the money”通过“to do so”进行阐述,后者与“By the time”形成对照,“By the time”通过以下进行阐述:“it came to sending off the title”
“and getting the tag”。
“My husbands’grand mother gave him his grandfather’s truck.She signedthe title over but due to my husband having unpaid fines on his license,hewas not able to get the truck put in his name.I wanted to put in my name andpaid the property tax and got insurance for the truck.By the time it came tosending off the title and getting the tag,I didn't have the money to do so”与以下形成对照:
“Now,due to circumstances”,其通过“I am not going to be able to affordthe truck”进行阐述,后者通过以下进行阐述:
“I went to the insurance place”
“and was refused a refund”。
“My husbands’grandmother gave him his grandfather’s truck.She signedthe title over but due to my husband having unpaid fines on his license,hewas not able to get the truck put in his name.I wanted to put in my name andpaid the property tax and got insurance for the truck.By the time it came tosending off the title and getting the tag,I didn't have the money to doso.Now,due to circumstances,I am not going to be able to afford the truck.Iwent to the insurance place and was refused a refund”利用以下进行阐述:
“I am just wondering that since I am not going to have a tag on thistruck,is it possible to get the property tax refunded?”
“I am just wondering”归因于:
“that”与“is it possible to get the property tax refunded?”是相同的单元,并且后者的条件为“since I am not going to have a tagon this truck”。
如可以看到的,该主题的主要对象是“Property tax on a car”。问题包括以下矛盾:一方面,所有财产都应交税款,另一方面,所有权有些不完整。良好的响应必须既解决问题的主题又澄清不一致性。为了做到这一点,响应者甚至关于以下内容做出了更强烈的声明:无论注册状态如何,都有必要对所拥有的任何财产支付税款。这个示例是来自我们的Yahoo!Answers评估领域中的正面培训集的成员。主题的主要对象是“Property tax on acar”。问题包括以下矛盾:一方面,所有财产都应交税款,另一方面,所有权有些不完整。良好的答案/响应必须既解决问题的主题又澄清不一致性。读者可以观察到,由于问题包括对照的修辞关系,因此答案必须将它与类似的关系进行匹配才能令人信服。否则,即使对于那些不是领域专家的人来说,这个答案看起来也不完整。
图8描绘了根据本发明的某些方面的对图7中表示的问题的示例性响应。图8描绘了话语树800。中心核心是“the property tax is assessed on property”,其通过“thatyou own”进行阐述。“The property tax is assessed on property that you own”也是通过“Just because you chose to not register it does not mean that you don'town it,so the tax is not refundable.Even if you have not titled the vehicleyet,you still own it within the boundaries of the tax district,so the tax ispayable.Note that all states give you a limited amount of time to transfertitle and pay the use tax.”进行阐述的核心。
核心“The property tax is assessed on property that you own.Justbecause you chose to not register it does not mean that you don't own it,sothe tax is not refundable.Even if you have not titled the vehicle yet,youstill own it within the boundaries of the tax district,so the tax ispayable.Note that all states give you a limited amount of time to transfertitle and pay the use tax.”通过“there will be penalties on top of the normaltaxes and fees”在条件“If you apply late”下进行阐述,这进而通过“but youabsolutely need to title it within the period of time stipulated in statelaw”和“You don't need to register it at the same time”的对照来进行阐述。
比较图7的DT和图8的DT,可以确定响应(图8)与请求(图7)的匹配程度。在本发明的一些方面,以上框架至少部分地用于确定用于请求/响应的DT以及DT之间的修辞一致程度(rhetoric agreement)。
在另一个示例中,问题“What does The Investigative Committee of theRussian Federation do”至少有两个答案,例如,官方答案或实际答案。
图9图示了根据一方面的用于官方答案的话语树。图9描绘了官方答案或任务语句的话语树900,官方答案或任务语句指出:“The Investigative Committee of theRussian Federation is the main federal investigating authority which operatesas Russia's Anti-corruption agency and has statutory responsibility forinspecting the police forces,combating police corruption and policemisconduct,is responsible for conducting investigations into localauthorities and federal governmental bodies”。
图10图示了根据一方面的用于原始答案的话语树1000。如图10所描绘的,另一个也许更为诚实的答案指出:“Investigative Committee of the Russian Federation issupposed to fight corruption.However,top-rank officers of the InvestigativeCommittee of the Russian Federation are charged with creation of a criminalcommunity.Not only that,but their involvement in large bribes,moneylaundering,obstruction of justice,abuse of power,extortion,and racketeeringhas been reported.Due to the activities of these officers,dozens of high-profile cases including the ones against criminal lords had been ultimatelyruined”。
答案的选择取决于上下文。修辞结构允许区分“官方”、“社会身份合宜”、基于模板的答案和“实际”、“原始”、“来自现场的报告”或“争议性”答案。(参见图9和图10)。有时,问题本身可以给出关于预期的答案的类别的提示。如果问题被表述为事实或定义性问题,而没有第二含义,则第一类别的答案是合适的。否则,如果问题具有“告诉我现实是什么”的含义,则第二类别是适当的。一般而言,在从问题中提取修辞结构之后,选择具有相似、匹配或互补的修辞结构的合适答案就更容易。
官方答案是基于阐述和联合,这在文本可能包含争议性方面是中立的(参见图9)。同时,原始答案包括对照关系。这种关系在期望代理做的和发现代理已经完成的短语之间被提取。
扩展话语树
本公开的各方面促进导航从诸如多个文档之类的相关内容的语料库构建的扩展话语树。扩展话语树是来自多个文档的个体文本单元(例如,段落)的话语树的组合。各方面使用扩展话语树来不仅允许基于关键字进行缩放,而且还允许基于文档的互连方式导航进入或退出或回退,从而使自主代理能够提供诸如引导搜索之类的内容导航。
图11描绘了根据一方面的扩展话语树的示例。图11描绘了扩展话语树1100。扩展话语树1100包括组1100、1120、1130、1140和1150。每个组包括文档和从该文档生成的话语树。例如,组1110包括话语树1111和文档1112,组1120包括话语树1121和文档1122,依此类推。
除了在特定话语树(例如,话语树1111、1121、1131、1141和1151)内部之间的链接之外,扩展话语树1100还包括话语树间链接1161-1164和相关联的文档间链接1171-1174。如关于图12进一步解释的,话语导航应用102构造话语树1111-1115。话语树1111表示文档1112,话语树1121表示文档1122,依此类推。通过为每个段落或文档构建话语树来构建扩展话语树1100。
话语树间链接1161连接话语树1111和1121,话语树间链接1162连接话语树1121和1131,话语树间链接1163连接话语树1111和1141,并且话语树间链接1164连接话语树1121和1151。基于话语树间链接1161-1164,话语导航应用102创建文档间链接1171、1172、1173和1174,其分别对应于话语树间链接1161、1162、1163和1164。文档间链接1171-1174可以用于导航文档1112、1122、1132、1142和1152。
话语导航应用102确定话语树1111-1115中的第一话语树内的一个或多个实体。实体的示例包括地方、事物、人或公司。话语导航应用102然后识别在其它话语树中存在的相同实体。基于所确定的实体,话语导航应用102确定每个匹配实体之间的修辞相互关系。
例如,如果实体“San Francisco”出现在文档1112中,例如“San Francisco is inCalifornia(旧金山在加利福尼亚)”,并且文档1122进一步解释“San Francisco has amoderate climate but can be quite windy(旧金山气候温和,但是可能多风)”,则话语导航应用102将确定实体“San Francisco”之间的修辞相互关系是“阐述”中的一个,并且将链接1161和1171标记为“阐述”。继续该示例,话语导航应用102基于所确定的修辞关系来确定链接1162-1164和对应的链接1172-1174。话语导航应用102组合文档的段落的话语树以形成扩展话语树1100。
通过使用扩展话语树1100中的链接,话语导航应用可以在同一文档的段落之间或文档(例如文档1112和1122)之间进行导航。例如,如果用户对关于特定主题的更多信息感兴趣,则话语导航应用102通过阐述修辞关系在段落内从核心导航到卫星,或通过阐述修辞关系超链接导航到提供关于主题的更具体信息的文档。
相反,如果用户决定所建议的主题不完全是所需要的主题,则用户可以返回文档的更高级别的视图(例如,从卫星到核心,或者从窄文档到宽文档)。进而,话语导航应用102以相反的次序导航阐述相互关系,即,在段落或文件之间从卫星到核心。类似地,话语导航应用102促进其它导航选项,诸如依赖于对照或条件修辞相互关系来探索有争议的主题。
为了在不同段落或文档中的文本片段之间构建修辞链接,话语导航应用102通过使用虚构的文本片段或临时段落来从原始段落的各个文本片段中识别实体之间的相互关系,并执行连贯性分析并对该段落进行话语解析。
图12描绘了根据一方面的用于创建扩展话语树的处理1200的示例的流程图。处理1200的输入是文档集合,并且输出是扩展话语树,其被编码为带有每个节点的文档标识标签的常规话语树。出于示例的目的,关于两个文档(例如,文档110a-b)描述了处理1200,但是处理1200可以使用任何数量的文档。
在方框1201处,处理1200涉及访问第一文档和第二文档。文档的示例包括文本、书籍、新闻文章和其它电子文档。
在一方面,话语导航应用102选择主题相似或相同的文档。例如,话语导航应用102可以例如通过确定文档之间的关键字的相似度来确定每个文档的内容分数。例如,话语导航应用102确定第一文档的第一内容分数和第二文档的第二内容分数在阈值内,并且基于相似度,使用第一文档和第二文档来创建扩展话语树。
在一方面,话语导航应用102执行文档分析,该文档分析包括表示文档的句子和短语结构的文档树的生成。与文档间链接相关的修辞关系可以确定不同的导航场景。默认情况下,可以使用阐述。如果用户对诸如“为什么”或“如何”之类的问题感兴趣,则话语导航应用102提供到通过归因关系相关的另一个文档的链接。如果用户表示不同意原始呈现的文档或要求提供与当前文档对比的文档,则话语导航应用102可以提供到通过对照关系相关的文档的链接。
在另一方面,话语导航应用102通过执行用户查询来获得第一文档和第二文档。用户查询的示例包括“climate change(气候变化)”或“documents on linguistics(关于语言学的文档)”。
在方框1202处,处理1200涉及为第一文档的第一段落创建第一话语树。话语导航应用102访问第一文档中的段落。该段落的每个句子都包含片段或基本话语单元。至少一个片段包括动词。片段中的每个词语包括词语在片段内的作用,例如功能。话语导航应用102生成表示片段之间的修辞相互关系的话语树。话语树包括多个节点,每个非终端节点表示两个片段之间的修辞相互关系,并且每个终端节点与片段中的一个片段相关联。话语导航应用102以这种方式继续,从而为第一文档中的每个段落构建话语树集合。对于以段落作为文本单元描述了处理1200,但是可以使用其它大小的文本。
在方框1203处,处理1200涉及为第二文档的第二段落创建第二话语树。在方框1203处,处理1200对第二文档执行与在方框1202处对第一文档执行的步骤基本上相似的步骤。在处理1200为多于两个的文档创建扩展话语树的情况下,处理1200对多个文档执行在方框1202处描述的功能。处理1200可以遍历话语树集合中的所有话语树对(pairs ofdiscourse trees),其中每个话语树对应于一个文档。话语树对可以表示为:
DTiand DTj∈DTA
在方框1204处,处理1200涉及从第一话语树确定实体和对应的第一基本话语单元。可以使用各种方法,诸如关键字处理(搜索第一文档的句子中的预定义关键字列表中的一个)、使用经训练的机器学习模型、或搜索互联网资源。话语导航应用102识别话语树DTi和DTj中的所有名词短语和命名实体。
在示例中,话语导航应用102从话语树中提取名词短语。话语导航应用102然后通过使用经训练的机器学习模型将名词短语分类为(i)实体或(ii)非实体。
在方框1205处,处理1200涉及在第二话语树中确定与第一基本话语单元匹配的第二基本话语单元。更具体而言,话语导航应用102计算重叠并识别DTi和DTj之间的共同实体Ei,j。话语导航应用102建立Ei,j中实体的出现之间的相互关系,诸如等于相互关系、子实体相互关系或部分相互关系。话语导航应用102然后针对Ei,j中出现的每个实体对形成段落间修辞链接R(Ei,j)。
在方框1206处,处理1200涉及响应于确定第一基本话语单元和第二基本话语单元之间的修辞相互关系,经由该修辞相互关系来链接第一话语树和第二话语树,从而创建扩展话语树。更具体而言,话语导航应用102通过形成文本片段(例如,EDU(Ei)和EDU(Ej))的合并来对每个修辞链接分类修辞关系,从而建立其DT并针对该修辞链接使用识别出的关系标签。
在一方面,话语导航应用102将第一基本话语单元和第二基本话语单元组合成临时段落。话语导航应用102然后通过将话语解析应用于临时段落来确定临时段落内的第一基本话语单元和第二基本话语单元之间的修辞相互关系。
在另一方面,响应于未确定修辞相互关系,话语导航应用102在第一基本话语单元和第二基本话语单元之间创建类型阐述的默认修辞相互关系,并且链接第一话语树和第二话语树。
在一方面,话语导航应用102执行跨文档的文本区段之间的链接的自动构建和分类。这里可以使用以下方法系列:词汇距离、词汇链、信息提取和语言模板匹配。词汇距离可以使用成对句子之间的余弦相似度,并且词汇链可以更稳健地利用同义词(synonymy)和上义词(hypernymy)。
扩展话语树可以在不同粒度级别的两个或更多个文档之间形成相互关系。例如,如关于处理1200所描述的,可以确定基本话语单元之间的相互关系。此外,扩展话语树可以表示词语、句子、段落、文档的各部分或整个文档之间的相互关系。如所描绘的,每个个体图由每个个体文档的较小子图组成。显示的链接表示单个文档内主题之间的逻辑连接。
图13还描绘了根据一方面的不同粒度级别的文本单元之间的相互关系。图13描绘了话语树1301、1302和1303,各自对应于单独的文档。图13还描绘了各种文档间链接,诸如链接文档1302和1303中的词语的词语链接1310;链接文档1301和1302中的段落或句子的段落/句子链接1311;链接文档1301和1303中的短语的短语链接1312;以及链接文档1301和1303的跨文档链接1313。话语导航应用102可以使用链接1310-1313在文档1301-1303之间进行导航。
使用扩展话语树进行导航
诸如由处理1200创建的扩展话语树可以用于导航文档或其它文本主体。扩展话语树支持不同的应用,诸如自主代理、改进的搜索和导航、以及问题与答案的协调。
图14描绘了根据一方面的用于使用扩展话语树在文档之间导航的处理1400的示例的流程图。
在方框1401处,方法1400涉及访问表示多个文档的扩展话语树。如关于处理1200所描述的,扩展话语树可以包括针对第一文档的第一话语树和针对第二文档的第二话语树以及表示修辞关系的文档之间的链接集合。
在一方面,文档可以响应于特定的用户问题或查询。话语导航应用102可以执行文档集合、数据库或互联网资源的搜索以确定相关文档。此外,话语导航应用102可以将问题或查询用作第一文档,并将包括对该问题或查询的答案的文档用作第二文档。
在方框1402处,方法1400涉及从扩展话语树确定响应于来自用户设备的查询的第一基本话语单元以及与第一基本话语单元对应的第一位置。确定第一基本话语单元可以涉及在第一基本话语单元中匹配查询中的一个或多个关键字。例如,如果查询中的阈值数量的关键字与基本话语单元匹配,则选择该基本话语单元。
例如,话语导航应用102接收用户查询,例如“Atlanta(亚特兰大)”。话语导航应用102确定包括实体“Atlanta”的第一基本话语单元。话语导航应用102然后确定第一话语树内的相关联位置。位置可以通过不同的手段指示,诸如节点编号或包括文档标识符和段落标识符的有序对。
在方框1403处,方法1400涉及从扩展话语树确定导航选项集合。选项可以包括文档内基本话语单元之间的修辞关系,诸如第一话语树的第一基本话语单元和第二基本话语单元之间的第一修辞相互关系。选项还可以包括文档之间的修辞关系,诸如,第一话语树的第一基本话语单元和第二话语树的第三基本话语单元之间的第二修辞关系。
继续以上示例,话语导航应用102确定两个选项可用:一个在第一话语树中阐述“Atlanta”,例如“the Atlanta Braves(亚特兰大勇士队)”,并且另一个在第二话语树中包括关于“Georgia Tech(佐治亚理工学院)”的进一步信息。
在方框1404处,方法1400涉及向用户设备呈现第一修辞相互关系和第二修辞相互关系。继续以上示例,用户设备170向用户呈现“the Atlanta Braves”和“Georgia Tech”。
在方框1405处,方法1400涉及响应于(i)从用户设备接收到对第一修辞相互关系的选择,向用户设备呈现第二基本话语单元,或者(ii)从用户设备接收到对第二修辞相互关系的选择,向用户设备呈现第三基本话语单元。
继续以上示例,用户设备170接收对“Georgia Tech”的选择,并且作为响应,话语导航应用102向用户设备170提供与“Georgia Tech”对应的基本话语单元,例如“GeorgiaTech is a research university in Atlanta(佐治亚理工学院是亚特兰大的研究型大学)”。
在一方面,话语导航应用102使用所选择的结果来执行进一步的分析。例如,基于对“Georgia Tech”的选择,话语导航应用可以在一个或多个文档中搜索与“Georgia Tech”相关的实体,或者搜索附加文档以进行分析并可选地集成到扩展话语树中。
扩展话语树在自主代理中的应用
自主代理被设计为模仿人类的智力活动,从而维持对话。代理可以以迭代的方式进行操作以向用户提供高效的和有效的信息。现有的用于实现自主代理的解决方案(包括在对话框中使用词语序列的深度学习的那些解决方案)试图构建合理的词语序列来响应用户查询。作为对照,本文描述的某些方面使用扩展话语树来使代理能够引导用户尽可能快地导航至适当的答案。
例如,如果用户提出以下查询“Can I pay with one credit card for another?(我可以用一个信用卡支付另一个信用卡吗?)”,则代理尝试识别用户意图和关于该用户的背景知识以建立正确的上下文。例如,个人可能希望用一个信用卡来支付另一个信用卡,以避免在现金不可用时的滞纳金。代替像主要搜索引擎那样以带有到该问题的相关网页的链接的小片段(snippet)的形式给出答案,某些方面为用户提供答案主题以供从中选择。这样的主题给予用户机会来一方面评估如何理解他的请求,另一方面评估与她的问题相关联的知识领域是什么。在我们的示例中,主题包括“balance transfer(余额转移)”、“usingfunds on a checking account(使用支票账户上的资金)”或“canceling your creditcard(取消您的信用卡)”。提示用户选择澄清选项、深入考虑这些选项中的任一个,或拒绝所有选项并请求代理可以识别的新主题集合。
使用扩展话语树,话语导航应用102可以以话语树的根节点开始,该根节点表示与用户查询最接近地匹配的文本的一部分。然后,话语导航应用102通过从作为话语树的根节点的卫星的基本话语单元中提取短语来构建可能的主题集合。如果用户接受给定的主题,则导航将沿着图形的选定边缘继续。否则,如果没有主题涵盖用户兴趣,则话语导航应用102在扩展话语树中向后导航并前进至与原始用户查询匹配的另一部分或另一个文档。
图15描绘了根据一方面的使用扩展话语树来回答用户问题的自主代理的示例。图15描绘了聊天窗口1500,其包括消息1501-1506。消息1501、1503和1505由用户设备170发送,并且消息1502、1504和1506由通过话语导航应用102实现的自主代理发送。
如可以看到的,用户设备170通过发送消息1501来发起代理的对话,该消息1501指出“I am broke and out of money(我破产并且没钱了)”。代理导航扩展话语树,在扩展话语树内的第一话语树中找到主题,并确定响应于消息1501的若干主题。
如消息1502所示,主题包括“Is out of your financial reach(超出您的财务能力范围)”、“Bad decisions have consequences(错误的决定会导致后果)”、“What Ilearned from being broke(我从破产中学到的)”、“Life after broke(破产后的生活)”、“Suffering from breakup issues with different guys(不同人遭受的破裂问题)”、“Cut your existing bills(减少您现有的账单)”。每个主题都是通过在扩展话语树中导航链接来确定的。每个主题都可以在第一话语树或另一个话语树中,因为扩展话语树包括文档之间和文档内的链接。
利用消息1503,用户设备170从代理提供的选项中选择“Cut bills(减少账单)”选项。然后,代理向用户设备170提供相关联的文本的段落。如消息1504-1506所示,该处理继续。
扩展话语树在搜索和内容探索中的应用
在web上,信息通常以具有特定部分结构的网页和文档表示。回答问题、形成候选答案的主题以及尝试基于用户选择的主题提供答案是可以借助包括所涉及文本的话语树的结构来表示的操作。当向用户建议文本的某个部分作为答案时,该用户可能想深入更具体的内容、提升到更普适的知识水平,或者偏向同一级别的主题。从文本的一个部分导航到另一部分的这些用户意图可以被表示为这些部分之间的并列或从属话语关系。
本公开的各方面改善了基于web的搜索的访问时间。例如,各方面可以将来自各种网页和文档的大量文本动态地组织成树形,使得根据用户的选择,系统尽可能快地导航到该树的预期终端叶子。此外,如果用户用多个句子描述她的问题,则自主代理尝试通过找到其修辞结构与问题的修辞结构相协调的答案来解决该问题。通过这样做,代理不仅提供有关问题中的实体的答案,而且还提供它们之间匹配的逻辑相互关系。
内容探索
在一方面,扩展话语树用于促进内容探索。在示例中,用户设备170从用户接收问题“What is faceted search?(什么是分面搜索?)”用户期望了解分面搜索是如何操作的,并因此希望熟悉其它相关联的概念。
作为响应,话语导航应用102提供进一步的内容探索或搜索选项。话语导航应用102通过形成扩展话语树来确定相关文档集合。
图16描绘了根据一方面的扩展话语树的示例。图16描绘了扩展话语树1600,其包括话语树1602、1603和1604。每个话语树1602-1604是从文本的特定段落创建的。在这个示例中,话语导航应用102从文本的不同段落创建各个话语树1602-1604。但是,不同大小的文本单元(诸如句子或多个段落)是可能的。
更具体而言,话语导航应用102根据与分面搜索的主题相关的以下文本来创建话语树1603:“Facets correspond to properties of the information elements.Theyare often derived by analysis of the text of an item using entity extractiontechniques or from pre-existing fields in a database such as author,descriptor,language,and format.Thus,existing web-pages,product descriptionsor online collections of articles can be augmented with navigational facets.”(“分面对应于信息元素的属性。它们通常是通过使用实体提取技术对项目的文本进行分析而得出的,或者是从数据库中的现有字段(诸如作者、描述符、语言和格式)得出的。因此,现有的网页、产品描述或在线文章集可以通过导航分面进行扩充。”)
此外,话语导航应用102根据也与分面搜索的主题相关的以下文本来创建话语树1602:“Within the academic community,faceted search has attracted interestprimarily among library and information science researchers,but there is alimited interest of computer science researchers specializing in informationretrieval.”(“在学术界内,分面搜索主要吸引了图书馆和信息科学研究人员的兴趣,但是专门从事信息检索的计算机科学研究人员的兴趣有限。”)
话语导航应用102根据与实体提取的主题相关的以下文本来创建话语树1604:“Entity extraction,also known as entity name extraction or named entityrecognition,is an information retrieval technique that refers to the processof identifying and classifying key elements from text into pre-definedcategories.”(“实体提取(也被称为实体名称提取或命名实体识别)是涉及从文本中识别关键元素并将其分类到预定义的类别中的处理的信息检索技术。”)
从创建的话语树中,话语导航应用102识别以下附加实体用于内容探索:(1)实体提取、(2)信息检索、(3)数据库中预先存在的字段、以及(4)利用导航分面进行扩充。更具体而言,话语导航应用102确定这些实体是通过阐述关系相关的,并且创建链接1620-1623。由节点1611表示的信息检索对由节点1610表示的分面搜索进行阐述,因此链接1620连接节点1610和1611。由节点1613表示的实体提取对由节点1612表示的分面搜索进行阐述,因此链接1621连接节点1612和1613。由节点1615表示的信息检索对实体提取(节点1614)进行阐述,因此链接1623与连接节点1614和1615相关。最终,话语导航应用102使话语树1615对实体提取进行阐述,因此话语导航应用102创建了将节点1613与1615连接的话语树间链接1622。
话语导航应用102将实体提供给用户设备170。用户设备170向用户提供实体,该用户可以跟随链接以登陆单条信息,或者可以运行新的搜索以获取多个搜索结果以供从中选择。例如,从“分面搜索”开始,用户设备170可以导航到信息检索(例如,经由链接1620到节点1611)、实体提取(例如,经由链接1621从节点1612到节点1613)、信息检索(经由链接1622)、或关于信息检索的进一步信息(经由链接1623到节点1615)。
创建附加扩展话语树
话语导航应用102可以根据现有扩展话语树来构造附加扩展话语树。更具体而言,通过使用机器学习模型120,话语导航应用102可以通过使用用于第二领域(例如,法律)中的文本的扩展话语树集合基于用于第一领域(例如,工程学)中的文本的话语树来创建扩展话语树。
在示例处理中,话语导航应用102访问表示文档集合中的第一文档的第一话语树和表示文档集合中的第二文档的第二话语树。
继续该示例,通过将第一话语树和第二话语树应用于经训练的分类模式(例如机器学习模型120),话语导航应用102从扩展话语树集合中获得参考扩展话语树。扩展话语树集合包括由诸如处理1200之类的处理创建的多个扩展话语树。更具体而言,分类模型遍历扩展话语树集合以识别第一候选话语树和第二候选话语树。分类模型将第一候选话语树和第二候选话语树识别为对于第一话语树和第二话语树的最佳匹配。分类模型可以使用不同的模型,诸如分类器或最近邻居等。
继续该示例,话语导航应用102从参考扩展话语树确定第一参考话语树和第二参考话语树之间的一个或多个链接。可以通过使用处理1200来确定链接(例如,方框1206)。话语导航应用102然后将链接传播到第一话语树和第二话语树,从而创建扩展话语树。以这种方式,话语导航应用102通过识别包括与第一话语树和第二话语树相似的话语树的扩展话语树并随后通过生成适当的话语树间链接来创建扩展话语树。
用于评价(evaluation)的数据集
我们对Web 2009(查询1-50)和Web 2010(查询51-100)轨迹的TREC数据集进行了试验,这些数据集包含共100条查询及其对Clueweb09类别B数据集2(爬取了2009年1月至2009年2月之间的50,220,423个英文网页)的相关性评估。我们选择这些数据集是因为它们在社区中广泛使用,从而可以与最新技术进行比较。我们使用Cormack等人的垃圾邮件排名(其中推荐的百分比分数设置<70指示垃圾邮件3)来去除垃圾邮件。我们考虑这个集合的子集,该子集由使用Indri IR系统通过调优设置(在第4.1.2节中描述)的基线检索模型响应于每个查询而检索到的前1000个文档组成。
我们形成了与汽车维修建议相关的Q/A对的数据集。这些对是从对话中作为第一言语(utterance)和第二言语提取出来的,使得问题是7-15个关键字,并且答案是3至6个句子。获得此资源是为了训练对话支持系统,但它也被证明对评价搜索是有用的。该数据集从(CarPros 2017)抓取并且可在(Github Car Repair Dataset 2017)获得。
答案(Webscope 2017)是具有广泛主题的问题-答案对集合。在14万个用户问题的集合中,我们选择了其中的3300个,其中包括3至5个句子。大多数问题的答案都相当详细,因此对答案没有应用按句子长度的过滤。
我们的社交媒体数据集包括主要来自Facebook上的帖子的请求-响应对。我们还使用了与就业相关的LinkedIn.com和vk.com对话中的一小部分。在社交领域,写作的标准非常低。文本的内聚性非常有限,并且经常缺乏逻辑结构和相关性。作者根据其自己的账户以及数年内经由API可用的公共Facebook账户(在编写用于获取消息的Facebook API不可用时)来形成训练集。此外,我们使用了来自Enron数据集(Cohen 2016)的860个电子邮件线程(email thread)。另外,我们收集了对代理的帖子的手动响应数据,该代理自动代表人类用户-主机生成帖子(Galitsky等人2014)。我们从各种社交网络来源形成了4000对。
我们形成从Fidelity.com抓取的财务问题的数据集。该数据集将证明在具有合理覆盖范围的垂直领域中如何实现搜索相关性的提高。对于两个系统都有相关答案的查询,我们将使用所提出的聊天机器人与主要的web搜索引擎(诸如Google)进行比较来比较信息访问效率。对于搜索引擎,未命中(miss)是指与给定用户相关的搜索结果之前的搜索结果。对于聊天机器人,未命中是导致用户选择由聊天机器人建议的其它选项或请求其它主题的答案。
问题的主题包括个人财务。12个用户(作者的同事)向聊天机器人询问了反映他们财务情况的15-20个问题,并在他们对答案感到满意或不满意并放弃时停止。相同的问题被发送给Google,并且评价人员必须单击每个搜索结果小片段以获取文档或网页,并决定他们对其是否满意。
聊天机器人与搜索引擎的搜索效率比较的结构如图4所示。箭头的顶部显示所有搜索结果(在左侧)均用于形成用于澄清的主题列表。底部的箭头显示聊天机器人基于两轮用户反馈和澄清最终选择了底部答案。
图17描绘了根据一方面的使用搜索引擎的导航和使用启用扩展话语树的自主代理的导航之间的比较。图17描绘了比较1700,该比较1700包括呈现给搜索引擎的问题1701、响应于搜索而搜集的结果1702-1705、用户与自主代理之间的交互1701-1706。箭头显示了如何将关于不同主题的多个搜索结果收敛为枚举自动提取的主题的单个澄清请求。
代替查看所有搜索结果以找到相关搜索结果(使用搜索引擎,在左侧),用户回答由聊天机器人合成的澄清请求,并深入考虑他感兴趣的主题(在右侧)。箭头显示了如何将关于不同主题的多个搜索结果收敛到枚举自动提取的主题的单个澄清请求中。然后,所选择的主题将使用户导航到新文档或同一文档的新部分。
在表4中可以观察到,聊天机器人的知识探索会话时间比搜索引擎的时间更长。虽然这似乎对用户没有太大益处,但由于用户获取机会增加,因此企业更希望用户在其网站上停留更长的时间。预计在阅读聊天机器人答案上花费7%更多的时间可以使用户自身更好地熟悉领域,特别是当这些答案遵循该用户的选择时。聊天机器人的探索会话步骤数是搜索引擎所需的四分之一。传统的测量搜索引擎性能的方式(诸如MAP和NDCG)也适用于在常规搜索引擎和聊天机器人之间就信息访问效率方面进行比较(Sakai 2007)。我们得出的结论是,与常规的搜索引擎和专注于模仿人类智力活动的聊天机器人相比,使用具有扩展话语树驱动导航功能的聊天机器人是高效且富有成果的信息访问方式。
图18描绘了用于实现各方面中的一个方面的分布式系统1800的简化图。在所示方面中,分布式系统1800包括一个或多个客户端计算设备1802、1804、1806和1808,该客户端计算设备被配置为通过一个或多个网络1810来执行和操作客户端应用,诸如web浏览器、专有客户端(例如,Oracle Forms)等。服务器1812可以经由网络1810与远程客户端计算设备1802、1804、1806和1808通信地耦合。
在各种方面中,服务器1812可以适于运行由系统的一个或多个部件提供的一个或多个服务或软件应用。服务或软件应用可以包括非虚拟和虚拟环境。虚拟环境可以包括用于虚拟事件、展览、模拟器、教室、购物交易场所和企业的环境,无论是二维或三维(3D)表示、基于页面的逻辑环境还是其他形式。在一些方面中,这些服务可以被提供为基于web的服务或云服务,或者在软件即服务(SaaS)模型下被提供给客户端计算设备1802、1804、1806和/或1808的用户。操作客户端计算设备1802、1804、1806和/或1808的用户进而可以利用一个或多个客户端应用来与服务器1812进行交互以利用由这些部件提供的服务。
在图中所描绘的配置中,分布式系统1800的软件部件1818、1820和1822被示出为在服务器1812上实现。在其它方面中,分布式系统1800的一个或多个部件和/或由这些部件提供的服务也可以由客户端计算设备1802、1804、1806和/或1808中的一个或多个来实现。然后,操作客户端计算设备的用户可以利用一个或多个客户端应用来使用由这些部件提供的服务。这些部件可以用硬件、固件、软件或其组合来实现。应该认识到的是,各种不同的系统配置是可能的,其可能与分布式系统1800不同。图中所示的方面因此是用于实现方面系统的分布式系统的一个示例,而不旨在进行限制。
客户端计算设备1802、1804、1806和/或1808可以是便携式手持设备(例如,蜂窝电话、计算平板电脑、个人数字助理(PDA))或可穿戴设备(例如,Google头戴式显示器),运行诸如Microsoft Windows和/或各种移动操作系统(诸如iOS、Windows Phone、Android、BlackBerry 10、Palm OS等)的软件,并且启用互联网、电子邮件、短消息服务(SMS)、或其它通信协议。客户端计算设备可以是通用个人计算机,作为示例,包括运行各种版本的MicrosoftApple和/或Linux操作系统的个人计算机和/或膝上型计算机。客户端计算设备可以是运行任何各种可商业获得的或类UNIX操作系统(包括但不限于各种GNU/Linux操作系统,诸如例如Google Chrome OS)的工作站计算机。替代地或附加地,客户端计算设备1802、1804、1806和1808可以是能够通过(一个或多个)网络1810通信的任何其它电子设备,诸如瘦客户端计算机、启用互联网的游戏系统(例如,具有或不具有手势输入设备的微软Xbox游戏控制台)和/或个人消息传送设备。
虽然示例性分布式系统1800被示出为具有四个客户端计算设备,但是可以支持任何数量的客户端计算设备。其它设备(诸如具有传感器的设备等)可以与服务器1812进行交互。
分布式系统1800中的(一个或多个)网络1810可以是本领域技术人员熟悉的、可以使用任何各种可商业获得的协议支持数据通信的任何类型的网络,其中协议包括但不限于TCP/IP(传输控制协议/互联网协议)、SNA(系统网络体系架构)、IPX(互联网报文交换)、AppleTalk等。仅仅作为示例,(一个或多个)网络1810可以是局域网(LAN),诸如基于以太网、令牌环等的LAN。(一个或多个)网络1810可以是广域网和互联网。它可以包括虚拟网络,包括但不限于虚拟专用网(VPN)、内联网、外联网、公共交换电话网(PSTN)、红外网络、无线网络(例如,依据电子电气协会(IEEE)802.18协议套件、蓝牙和/或任何其它无线协议中的任何协议操作的网络);和/或这些和/或其它网络的任何组合。
服务器1812可以由以下来组成:一个或多个通用计算机、专用服务器计算机(作为示例,包括PC(个人计算机)服务器、服务器、中档服务器、大型计算机、机架安装的服务器等)、服务器场、服务器集群或任何其它适当的布置和/或组合。服务器1812可以包括运行虚拟操作系统或涉及虚拟化的其他计算架构的一个或多个虚拟机。可以虚拟化逻辑存储设备的一个或多个灵活池,以维护服务器的虚拟存储设备。服务器1812可以使用软件定义的网络来控制虚拟网络。在各种方面中,服务器1812可以适于运行在前述公开中所描述的一个或多个服务或软件应用。例如,服务器1812可以与用于执行以上根据本公开的方面描述的处理的服务器对应。
服务器1812可以运行包括任何以上讨论的操作系统以及任何可商业获得的服务器操作系统的操作系统。服务器1812还可以运行任何各种附加的服务器应用和/或中间层应用,包括HTTP(超文本传输协议)服务器、FTP(文件传输协议)服务器、CGI(公共网关接口)服务器、服务器、数据库服务器等。示例性数据库服务器包括但不限于从Oracle、Microsoft、Sybase、IBM(国际商业机器)等可商业获得的那些数据库服务器。
在一些实现中,服务器1812可以包括一个或多个应用,以分析和整合从客户端计算设备1802、1804、1806和1808的用户接收到的数据馈送和/或事件更新。作为示例,数据馈送和/或事件更新可以包括但不限于:馈送、更新或者从一个或多个第三方信息源接收到的实时更新和连续数据流,其可以包括与传感器数据应用、金融报价机(ticker)、网络性能测量工具(例如,网络监视和流量管理应用)、点击流分析工具、汽车交通监视等相关的实时事件。服务器1812还可以包括一个或多个应用,以经由客户端计算设备1802、1804、1806和1808的一个或多个显示设备来显示数据馈送和/或实时事件。
分布式系统1800还可以包括一个或多个数据库1814和1816。数据库1814和1816可以驻留在各种位置中。作为示例,数据库1814和1816中的一个或多个数据库可以驻留在服务器1812本地的(和/或驻留在服务器1812中的)非瞬态存储介质上。替代地,数据库1814和1816可以远离服务器1812,并且经由基于网络的连接或专用的连接与服务器1812进行通信。在一组方面中,数据库1814和1816可以驻留在存储区域网络(SAN)中。类似地,用于执行服务器1812所具有的功能的任何必要的文件都可以适当地本地存储在服务器1812上和/或远程存储。在一组方面中,数据库1814和1816可以包括适于响应于SQL格式的命令而存储、更新和检索数据的关系数据库,诸如由Oracle提供的数据库。
图19是根据本公开的方面的系统环境1900的一个或多个部件的简化框图,通过该系统环境1900,由方面系统的一个或多个部件提供的服务可以被提供为云服务。在所示方面中,系统环境1900包括可以由用户使用以与提供云服务的云基础设施系统1902进行交互的一个或多个客户端计算设备1904、1906和1908。客户端计算设备可以被配置为操作客户端应用,诸如web浏览器、专有客户端应用(例如,Oracle Forms)或某种其它应用,这些应用可以由客户端计算设备的用户用来与云基础设施系统1902进行交互以使用由云基础设施系统1902提供的服务。
应该认识到的是,图中描绘的云基础设施系统1902可以具有除了所描绘的那些部件之外的其它部件。另外,图中所示的方面仅是可以结合本发明的方面的云基础设施系统的一个示例。在一些其它方面中,云基础设施系统1902可以具有比图中所示更多或更少的部件、可以组合两个或更多个部件、或者可以具有不同的部件配置或布置。
客户端计算设备1904、1906和1908可以是与上面针对2802、2804、2806和2808所描述的设备类似的设备。
虽然示例性系统环境1900被示出具有三个客户端计算设备,但是可以支持任何数量的客户端计算设备。诸如具有传感器的设备等的其它设备可以与云基础设施系统1902进行交互。
(一个或多个)网络1910可以促进客户端1904、1906和1908与云基础设施系统1902之间的数据交换和通信。每个网络可以是本领域技术人员所熟悉的可以使用各种商业上可获得的协议(包括上面针对(一个或多个)网络1910所描述的那些协议)中的任何协议支持数据通信的任何类型的网络。
云基础设施系统1902可以包括一个或多个计算机和/或服务器,其可以包括上面针对服务器1712所描述的那些计算机和/或服务器。
在某些方面中,由云基础设施系统提供的服务可以包括按需对云基础设施系统的用户可用的许多服务,诸如在线数据存储和备份解决方案、基于Web的电子邮件服务、被托管的办公室(office)套件和文档协作服务、数据库处理、受管理的技术支持服务等。由云基础设施系统提供的服务可以动态扩展以满足其用户的需要。由云基础设施系统提供的服务的具体实例化在本文中被称为“服务实例”。一般而言,从云服务提供商的系统经由通信网络(诸如互联网)对用户可用的任何服务被称为“云服务”。通常,在公共云环境中,构成云服务提供商的系统的服务器和系统与客户自己的本地服务器和系统不同。例如,云服务提供商的系统可以托管应用,并且用户可以经由诸如互联网的通信网络按需订购和使用应用。
在一些示例中,计算机网络云基础设施中的服务可以包括对存储装置、被托管的数据库、被托管的Web服务器、软件应用或由云供应商向用户提供的其它服务的受保护的计算机网络访问,或者可以包括如本领域中已知的其他方式的访问。例如,服务可以包括通过互联网对云上的远程存储装置进行受密码保护的访问。作为另一个示例,服务可以包括基于web服务的被托管的关系数据库和脚本语言中间件引擎,以供联网的开发人员私有使用。作为另一个示例,服务可以包括对在云供应商的网站上托管的电子邮件软件应用的访问。
在某些方面中,云基础设施系统1902可以包括以自助服务、基于订阅、弹性可扩展、可靠、高度可用和安全的方式递送给客户的应用、中间件和数据库服务产品的套件。这种云基础设施系统的示例是由本受让方提供的Oracle公共云。
大量数据(有时称为大数据)可以由基础设施系统在许多级别和不同规模上托管和/或操纵。这样的数据可能包含庞大而复杂的数据集,以致于很难使用典型的数据库管理工具或传统的数据处理应用进行处理。例如,使用个人计算机或其基于机架的对应物可能难以存储、检索和处理兆字节(terabytes)级的数据。使用最新的关系数据库管理系统以及桌面统计数据和可视化程序包,可能难以处理这种大小的数据。他们可能需要运行数千台服务器计算机的超出常用软件工具的结构的大规模并行处理软件,才能在可容忍的经过时间内捕获、整理、管理和处理数据。
分析人员和研究人员可以存储和操纵非常大的数据集,以可视化大量数据,检测趋势和/或以其他方式与数据进行交互。并行链接的数十个、数百个或数千个处理器可以对此类数据进行操作,以便呈现该数据或模拟对该数据或其表示的外力。这些数据集可能涉及结构化数据(例如,在数据库中组织的数据或根据结构化模型以其他方式组织的数据)和/或非结构化数据(例如,电子邮件、图像、数据块(二进制大对象)、网页、复杂事件处理)。通过利用方面的能力来相对快速地将更多(或更少)计算资源集中在目标上,可以基于企业、政府机构、研究组织、私人、志趣相投的个人或组织或其他实体的需求,更好地利用云基础架构系统来对大型数据集执行任务。
在各种方面中,云基础设施系统1902可以适于自动供应、管理和跟踪客户对由云基础设施系统1902提供的服务的订阅。云基础设施系统1902可以经由不同的部署模型来提供云服务。例如,可以在公共云模型下提供服务,其中云基础设施系统1902被销售云服务的组织拥有(例如,被Oracle拥有),并且服务对一般公众或不同行业的企业可用。作为另一个示例,可以在私有云模型下提供服务,其中云基础设施系统1902仅针对单个组织进行操作,并且可以为该组织内的一个或多个实体提供服务。还可以在社区云模型下提供云服务,其中云基础设施系统1902和由云基础设施系统1902提供的服务由相关社区中的若干组织共享。还可以在混合云模型下提供云服务,该混合云模型是两个或更多个不同模型的组合。
在一些方面中,由云基础设施系统1902提供的服务可以包括在软件即服务(SaaS)类别、平台即服务(PaaS)类别、基础设施即服务(IaaS)类别或包括混合服务的其它服务类别下提供的一个或多个服务。客户经由订阅订单可以订购由云基础设施系统1902提供的一个或多个服务。云基础设施系统1902然后执行处理以提供客户的订阅订单中的服务。
在一些方面中,由云基础设施系统1902提供的服务可以包括但不限于应用服务、平台服务和基础设施服务。在一些示例中,应用服务可以由云基础设施系统经由SaaS平台提供。SaaS平台可以被配置为提供落入SaaS类别的云服务。例如,SaaS平台可以提供在集成开发和部署平台上构建和递送按需应用套件的能力。SaaS平台可以管理和控制用于提供SaaS服务的底层软件和基础设施。通过利用由SaaS平台提供的服务,客户可以利用在云基础设施系统上执行的应用。客户可以获取应用服务,而无需客户购买单独的许可和支持。可以提供各种不同的SaaS服务。示例包括但不限于为大型组织提供销售绩效管理、企业集成和业务灵活性的解决方案的服务。
在一些方面中,平台服务可以由云基础设施系统经由PaaS平台提供。PaaS平台可以被配置为提供落入PaaS类别的云服务。平台服务的示例可以包括但不限于使组织(诸如Oracle)能够在共享的公共体系架构上整合现有应用以及充分利用平台提供的共享服务来构建新应用的能力的服务。PaaS平台可以管理和控制用于提供PaaS服务的底层软件和基础设施。客户可以获取由云基础架构系统提供的PaaS服务,而无需客户购买单独的许可和支持。平台服务的示例包括但不限于Oracle Java云服务(JCS)、Oracle数据库云服务(DBCS)等。
通过利用由PaaS平台提供的服务,客户可以采用由云基础设施系统支持的编程语言和工具,并且还控制所部署的服务。在一些方面中,由云基础设施系统提供的平台服务可以包括数据库云服务、中间件云服务(例如,Oracle融合中间件服务)和Java云服务。在一个方面中,数据库云服务可以支持共享服务部署模型,该模型使得组织能够汇集数据库资源并且以数据库云的形式向客户提供数据库即服务。在云基础设施系统中,中间件云服务可以为客户提供开发和部署各种业务应用的平台,并且Java云服务可以为客户提供部署Java应用的平台。
各种不同的基础设施服务可以由云基础设施系统中的IaaS平台提供。基础设施服务促进底层计算资源(诸如存储装置、网络和其它基础计算资源)的管理和控制,以供客户利用由SaaS平台和PaaS平台提供的服务。
在某些方面中,云基础设施系统1902还可以包括基础设施资源1930,用于向云基础设施系统的客户提供用于提供各种服务的资源。在一个方面中,基础设施资源1930可以包括预先集成和优化的硬件(诸如服务器、存储装置和联网资源)的组合,以执行由PaaS平台和SaaS平台提供的服务。
在一些方面中,云基础设施系统1902中的资源可以由多个用户共享并且根据需要动态重新分配。此外,可以将资源分配给在不同时区的用户。例如,云基础设施系统1930可以使在第一时区中的第一用户集合能够在指定的小时数内利用云基础设施系统的资源,并且然后使相同资源能够被重新分配给位于不同时区的另一个用户集合,从而使资源的利用率最大化。
在某些方面中,可以提供由云基础设施系统1902的不同部件或模块以及由云基础设施系统1902提供的服务共享的多个内部共享服务1932。这些内部共享服务可以包括但不限于:安全和身份服务、集成服务、企业储存库服务、企业管理器服务、病毒扫描和白名单服务、高可用性、备份和恢复服务、启用云支持的服务、电子邮件服务、通知服务、文件传输服务等。
在某些方面中,云基础设施系统1902可以提供云基础设施系统中的云服务(例如,SaaS、PaaS和IaaS服务)的综合管理。在一个方面中,云管理功能可以包括用于供应、管理和跟踪由云基础设施系统1902接收到的客户订阅等的能力。
在一个方面中,如图中所描绘的,云管理功能可以由一个或多个模块提供,其中模块诸如订单管理模块1920、订单编排(orchestration)模块1922、订单供应模块1924、订单管理和监视模块1926,以及身份管理模块1928。这些模块可以包括一个或多个计算机和/或服务器或者使用一个或多个计算机和/或服务器来提供,这些计算机和/或服务器可以是通用计算机、专用服务器计算机、服务器场、服务器集群或任何其它适当的布置和/或组合。
在示例性操作1934中,使用客户端设备(诸如客户端设备1904、1906或1908)的客户可以通过请求由云基础设施系统1902提供的一个或多个服务并且下订单订阅由云基础设施系统1902提供的一个或多个服务来与云基础设施系统1902进行交互。在某些方面中,客户可以访问云用户接口(UI)(云UI 1912、云UI 1914和/或云UI 1916)并经由这些UI下订阅订单。云基础设施系统1902响应于客户下订单而接收到的订单信息可以包括识别客户以及客户想要订阅的云基础设施系统1902所提供的一个或多个服务的信息。
在客户已经下订单之后,经由云UI 1919、1914和/或1916接收订单信息。
在操作1936处,订单存储在订单数据库1919中。订单数据库1919可以是由云基础设施系统1919操作和与其它系统元件一起操作的若干数据库中的一个数据库。
在操作1938处,订单信息被转发到订单管理模块1919。在一些情况下,订单管理模块1919可以被配置为执行与订单相关的计费和记账功能,诸如验证订单、以及在验证后预订订单。
在操作1940处,将关于订单的信息传送到订单编排模块1922。订单编排模块1922可以利用订单信息为客户下的订单编排服务和资源的供应。在一些情况下,订单编排模块1922可以使用订单供应模块1924的服务来编排资源的供应以支持所订阅的服务。
在某些方面中,订单编排模块1922使得能够管理与每个订单相关联的业务处理并应用业务逻辑来确定订单是否应该进行到供应。在操作1942处,在接收到新订阅的订单后,订单编排模块1922向订单供应模块1924发送分配资源并配置履行订阅订单所需的那些资源的请求。订单供应模块1924使得能够为客户所订购的服务分配资源。订单供应模块1924提供在由云基础设施系统1900提供的云服务和用于供应用于提供所请求的服务的资源的物理实现层之间的抽象层。因此,订单编排模块1922可以与实现细节(诸如服务和资源是否实际上即时供应或预先供应并仅在请求后才分配/指派)分离。
在操作1944处,一旦供应了服务和资源,就可以通过云基础设施系统1902的订单供应模块1924向客户端设备1904、1906和/或1908上的客户发送所提供的服务的通知。
在操作1946处,订单管理和监视模块1926可以管理和跟踪客户的订阅订单。在一些情况下,订单管理和监视模块1926可以被配置为收集订阅订单中的服务的使用统计信息,诸如,所使用的存储量、传输的数据量、用户的数量、以及系统运行时间量和系统停机时间量。
在某些方面中,云基础设施系统1900可以包括身份管理模块1928。身份管理模块1928可以被配置为提供身份服务,诸如云基础设施系统1900中的访问管理和授权服务。在一些方面中,身份管理模块1928可以控制关于希望利用由云基础设施系统1902提供的服务的客户的信息。这样的信息可以包括认证这些客户的身份的信息以及描述这些客户被授权相对于各种系统资源(例如,文件、目录、应用、通信端口、存储器段等)执行哪些动作的信息。身份管理模块1928还可以包括对关于每个客户的描述性信息以及关于可以如何和由谁来访问和修改这些描述性信息的管理。
图20图示了其中可以实现本发明的各种方面的示例性计算机系统2000。系统2000可以用于实现上述任何计算机系统。如图所示,计算机系统2000包括经由总线子系统2002与多个外围子系统进行通信的处理单元2004。这些外围子系统可以包括处理加速单元2006、I/O子系统2008、存储子系统2018和通信子系统2024。存储子系统2018包括有形计算机可读存储介质2022和系统存储器2010。
总线子系统2002提供用于让计算机系统2000的各种部件和子系统按意图彼此通信的机制。虽然总线子系统2002被示意性地示出为单条总线,但是总线子系统的替代方面可以利用多条总线。总线子系统2002可以是若干种类型的总线结构中的任何类型的总线结构,包括存储器总线或存储器控制器、外围总线、以及使用任何各种总线体系架构的局部总线。例如,这种体系架构可以包括工业标准体系架构(ISA)总线、微通道体系架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外围部件互连(PCI)总线,该PCI总线可以被实现为按IEEE P2086.1标准制造的Mezzanine总线。
可以被实现为一个或多个集成电路(例如,常规微处理器或微控制器)的处理单元2004控制计算机系统2000的操作。一个或多个处理器可以被包括在处理单元2004中。这些处理器可以包括单核或多核处理器。在某些方面中,处理单元2004可以被实现为一个或多个独立的处理单元2032和/或2034,其中在每个处理单元中包括单核或多核处理器。在其它方面中,处理单元2004也可以被实现为通过将两个双核处理器集成到单个芯片中形成的四核处理单元。
在各种方面中,处理单元2004可以响应于程序代码执行各种程序并且可以维护多个并发执行的程序或进程。在任何给定的时间,要被执行的程序代码中的一些或全部代码可以驻留在(一个或多个)处理器2004中和/或存储子系统2018中。通过合适的编程,(一个或多个)处理器2004可以提供上述各种功能。计算机系统2000可以附加地包括处理加速单元2006,该处理加速单元2006可以包括数字信号处理器(DSP)、专用处理器等。
I/O子系统2008可以包括用户接口输入设备和用户接口输出设备。用户接口输入设备可以包括键盘、诸如鼠标或轨迹球的定向设备、结合到显示器中的触摸板或触摸屏、滚动轮、点击轮、拨盘、按钮、开关、小键盘、具有语音命令识别系统的音频输入设备、麦克风以及其它类型的输入设备。用户接口输入设备可以包括,例如,运动感测和/或手势识别设备,诸如Microsoft运动传感器,其使得用户能够使用手势和语音命令通过自然用户接口来控制诸如Microsoft360游戏控制器的输入设备并与之进行交互。用户接口输入设备也可以包括眼睛姿势识别设备,诸如从用户检测眼睛活动(例如,当拍摄照片和/或做出菜单选择时的“眨眼”)并且将眼睛姿势转换为到输入设备(例如,Google)中的输入的Google眨眼检测器。此外,用户接口输入设备可以包括使用户能够通过语音命令与语音识别系统(例如,导航器)进行交互的语音识别感测设备。
用户接口输入设备也可以包括但不限于三维(3D)鼠标、操纵杆或指向棒、游戏面板和绘图板、以及音频/视频设备,诸如扬声器、数码相机、数码摄录机、便携式媒体播放器、网络摄像机、图像扫描仪、指纹扫描仪、条形码阅读器3D扫描仪、3D打印机、激光测距仪和视线跟踪设备。此外,用户接口输入设备可以包括例如医学成像输入设备,诸如计算机断层扫描、磁共振成像、正电子发射断层摄影、医疗超声设备。用户接口输入设备也可以包括例如诸如MIDI键盘、数字乐器等的音频输入设备。
用户接口输出设备可以包括显示子系统、指示灯,或者诸如音频输出设备的非可视显示器等。显示子系统可以是阴极射线管(CRT)、诸如使用液晶显示器(LCD)或等离子显示器的平板设备、投影设备、触摸屏等。一般而言,术语“输出设备”的使用旨在包括用于从计算机系统2000向用户或其它计算机输出信息的所有可能类型的设备和机制。例如,用户接口输出设备可以包括但不限于:可视地传达文本、图形和音频/视频信息的各种显示设备,诸如监视器、打印机、扬声器、耳机、汽车导航系统、绘图仪、语音输出设备、以及调制解调器。
计算机系统2000可以包括存储子系统2018,该存储子系统2018包括被示为当前位于系统存储器2010内的软件元件。系统存储器2010可以存储可加载并且可在处理单元2004上执行的程序指令,以及在这些程序的执行期间所生成的数据。
取决于计算机系统2000的配置和类型,系统存储器2010可以是易失性的(诸如随机存取存储器(RAM))和/或非易失性的(诸如只读存储器(ROM)、闪存存储器等)。RAM通常包含可被处理单元2004立即访问和/或目前正被处理单元2004操作和执行的数据和/或程序模块。在一些实现中,系统存储器2010可以包括多种不同类型的存储器,诸如静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM)。在一些实现中,包含有助于诸如在启动期间在计算机系统2000的元件之间传送信息的基本例程的基本输入/输出系统(BIOS)通常可以被存储在ROM中。作为示例,但不是限制,系统存储器2010也图示了可以包括客户端应用、Web浏览器、中间层应用、关系数据库管理系统(RDBMS)等的应用程序2012,程序数据2014,以及操作系统2016。作为示例,操作系统2016可以包括各种版本的MicrosoftApple和/或Linux操作系统、各种可商业获得的或类UNIX操作系统(包括但不限于各种GNU/Linux操作系统、GoogleOS等)和/或诸如iOS、Phone、OS、10OS和OS操作系统的移动操作系统。
存储子系统2018也可以提供用于存储提供一些方面的功能的基本编程和数据构造的有形计算机可读存储介质。当被处理器执行时提供上述功能的软件(程序、代码模块、指令)可以被存储在存储子系统2018中。这些软件模块或指令可以被处理单元2004执行。存储子系统2018也可以提供用于存储根据本发明使用的数据的储存库。
存储子系统2000也可以包括可被进一步连接到计算机可读存储介质2022的计算机可读存储介质读取器2020。与系统存储器2010一起并且可选地与其相结合,计算机可读存储介质2022可以全面地表示用于临时地和/或更持久地包含、存储、传输和检索计算机可读信息的远程、本地、固定和/或可移除存储设备加存储介质。
包含代码或代码的部分的计算机可读存储介质2022也可以包括本领域已知或使用的任何适当的介质,包括存储介质和通信介质,诸如但不限于以用于存储和/或传输信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。这可以包括有形非瞬态计算机可读存储介质,诸如RAM、ROM、电可擦除可编程ROM(EEPROM)、闪存存储器或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光学储存装置、磁带盒、磁带、磁盘存储装置或其它磁存储设备、或者其它有形计算机可读介质。当被指定时,这也可以包括非有形瞬态计算机可读介质,诸如数据信号、数据传输,或者可以用于传输期望信息并且可以被计算系统2000访问的任何其它介质。
作为示例,计算机可读存储介质2022可以包括从不可移除的非易失性磁介质读取或写入其的硬盘驱动器、从可移除的非易失性磁盘读取或写入其的磁盘驱动器、以及从可移除的非易失性光盘(诸如CD ROM、DVD和蓝光盘或其它光学介质)读取或写入其的光盘驱动器。计算机可读存储介质2022可以包括但不限于:驱动器、闪存卡、通用串行总线(USB)闪存驱动器、安全数字(SD)卡、DVD盘、数字音频带等。计算机可读存储介质2022也可以包括基于非易失性存储器的固态驱动器(SSD)(诸如基于闪存存储器的SSD、企业闪存驱动器、固态ROM等)、基于易失性存储器的SSD(诸如固态RAM、动态RAM、静态RAM、基于DRAM的SSD、磁阻RAM(MRAM)SSD)、以及使用基于DRAM和闪存存储器的SSD的组合的混合SSD。盘驱动器及其关联的计算机可读介质可以为计算机系统2000提供计算机可读指令、数据结构、程序模块及其它数据的非易失性存储。
通信子系统2024提供到其它计算机系统和网络的接口。通信子系统2024用作用于从其它系统接收数据和从计算机系统2000向其它系统发送数据的接口。例如,通信子系统2024可以使计算机系统2000能够经由互联网连接到一个或多个设备。在一些方面中,通信子系统2024可以包括用于(例如使用蜂窝电话技术,诸如3G、4G或EDGE(用于全球演进的增强型数据速率)的先进数据网络技术、WiFi(IEEE 802.28系列标准)、或其它移动通信技术、或其任何组合)访问无线语音和/或数据网络的射频(RF)收发器部件、全球定位系统(GPS)接收器部件和/或其它部件。在一些方面中,作为无线接口的附加或者替代,通信子系统2024可以提供有线网络连接(例如,以太网)。
在一些方面中,通信子系统2024也可以代表可以使用计算机系统2000的一个或多个用户接收结构化和/或非结构化数据馈送2026、事件流2028、事件更新2020等形式的输入通信。
作为示例,通信子系统2024可以被配置为实时地从社交媒体网络和/或其它通信服务的用户接收非结构化数据馈送2026,诸如馈送、更新、诸如丰富站点摘要(RSS)馈送的web馈送和/或来自一个或多个第三方信息源的实时更新。
此外,通信子系统2024也可以被配置为接收连续数据流形式的数据,这可以包括本质上可以是连续的或无界的没有明确终止的实时事件的事件流2028和/或事件更新2020。生成连续数据的应用的示例可以包括,例如,传感器数据应用、金融报价机、网络性能测量工具(例如,网络监视和流量管理应用)、点击流分析工具、汽车流量监视等。
通信子系统2024也可以被配置为向一个或多个数据库输出结构化和/或非结构化数据馈送2026、事件流2028、事件更新2020等,该一个或多个数据库可以与耦合到计算机系统2000的一个或多个流式传输数据源计算机进行通信。
计算机系统2000可以是各种类型中的一种类型,包括手持便携式设备(例如,蜂窝电话、计算平板电脑、PDA)、可穿戴设备(例如,Glass头戴式显示器)、PC、工作站、大型机、信息站、服务器机架、或任何其它数据处理系统。
由于计算机和网络的不断变化的本质,对图中所描绘的计算机系统2000的描述仅旨在作为具体的示例。具有比图中所描绘的系统更多或更少部件的许多其它配置是可能的。例如,定制的硬件也可以被使用和/或特定的元素可以用硬件、固件、软件(包括小应用程序)或组合来实现。另外,也可以采用到诸如网络输入/输出设备之类的其它计算设备的连接。基于本文提供的公开内容和教导,本领域普通技术人员将认识到实现各种方面的其它方式和/或方法。
在前述的说明书中,本发明的各方面参考其具体方面进行了描述,但本领域技术人员将认识到的是,本发明不限于此。上述发明的各个特征和方面可以被单独或联合使用。此外,在不脱离本说明书的更广泛精神和范围的情况下,方面可以在除本文所述的环境和应用之外的任何数目的环境和应用中被使用。相应地,本说明书和附图应当被认为是说明性而不是限制性的。
Claims (19)
1.一种用于确定一个或多个文档之间的修辞相互关系的计算机实现的方法,该方法包括:
访问第一文档和第二文档;
为第一文档的第一段落创建第一话语树;
为第二文档的第二段落创建第二话语树;
通过以下操作来确定第一话语树的第一基本话语单元包括实体:
从第一基本话语单元中提取名词短语,并且
将所述名词短语分类为包含实体;
在第二话语树中确定与第一基本话语单元匹配的第二基本话语单元;以及
响应于确定第一基本话语单元和第二基本话语单元之间的修辞相互关系,经由所述修辞相互关系来链接第一话语树和第二话语树,从而创建扩展话语树。
2.如权利要求1所述的计算机实现的方法,其中创建第一话语树和创建第二话语树还包括:
访问包括多个片段的句子,其中至少一个片段包括动词和多个词语,每个词语包括词语在片段中的作用,其中每个片段是基本话语单元;以及
生成表示所述多个片段之间的修辞相互关系的话语树,其中所述话语树包括多个节点,每个非终端节点表示所述多个片段中的两个片段之间的修辞相互关系,所述话语树的节点中的每个终端节点与所述多个片段中的一个片段相关联。
3.如权利要求1所述的计算机实现的方法,其中所述分类包括以下中的一个或多个:(i)使用经训练的机器学习模型、(ii)关键字列表、或(iii)搜索互联网资源。
4.如权利要求1所述的计算机实现的方法,其中实体是指以下中的一个:(i)个人、(ii)公司、(iii)地点、(iv)文档的名称、或(v)日期或时间。
5.如权利要求1所述的计算机实现的方法,还包括:响应于未确定修辞相互关系,在第一基本话语单元和第二基本话语单元之间创建类型阐述的默认修辞相互关系,并且链接第一话语树和第二话语树,从而创建扩展话语树。
6.如权利要求1所述的计算机实现的方法,其中确定所述修辞相互关系还包括:
将第一基本话语单元和第二基本话语单元组合为临时段落;以及
通过将话语解析应用于临时段落来确定临时段落内的修辞相互关系。
7.如权利要求1所述的计算机实现的方法,其中所述实体由(i)一个或多个短语或(ii)一个或多个基本话语单元表示。
8.如权利要求1所述的计算机实现的方法,其中访问第一文档和第二文档包括确定(i)第一文档的第一内容分数与(ii)第二文档的第二内容分数之间的差在阈值内。
9.如权利要求1所述的计算机实现的方法,其中通过执行一个或多个文档的用户查询来获得第一文档和第二文档。
10.如权利要求1所述的计算机实现的方法,其中第一文档和第二文档包括基于特定主题的文本。
11.如权利要求1所述的计算机实现的方法,其中访问第一文档和第二文档包括确定在第一文档和第二文档之间存在链接。
12.一种使用扩展话语树来导航文本的计算机实现的方法,该方法包括:
访问表示多个文档的扩展话语树,其中扩展话语树包括针对第一文档的第一话语树和针对第二文档的第二话语树;
从扩展话语树确定(i)响应于来自用户设备的查询的第一基本话语单元,以及(ii)与第一基本话语单元对应的第一位置;
从扩展话语树确定导航选项集合,导航选项包括:(i)第一话语树的第一基本话语单元和第二基本话语单元之间的第一修辞相互关系,以及(ii)第一基本话语单元和第二话语树的第三基本话语单元之间的第二修辞相互关系;
向用户设备呈现第一修辞相互关系和第二修辞相互关系;以及
响应于(i)从用户设备接收到对第一修辞相互关系的选择,向用户设备呈现第二基本话语单元,或者(ii)从用户设备接收到对第二修辞相互关系的选择,向用户设备呈现第三基本话语单元。
13.如权利要求12所述的计算机实现的方法,还包括响应于从用户设备接收到附加查询,确定响应于所述附加查询的附加基本话语单元,并将所述附加基本话语单元呈现给用户设备。
14.如权利要求12所述的计算机实现的方法,其中确定第一基本话语单元还包括在第一基本话语单元中匹配查询中的一个或多个关键字。
15.如权利要求12所述的计算机实现的方法,其中确定第一基本话语单元还包括:
为查询生成第一解析树;
为一个或多个基本话语单元中的每一个基本话语单元生成附加解析树;以及
响应于确定附加解析树中的一个附加解析树包括第一解析树,选择与所述一个附加解析树对应的基本话语单元作为第一基本话语单元。
16.如权利要求12所述的计算机实现的方法,其中第一修辞相互关系和第二修辞相互关系包括以下中的一个:(i)阐述、(ii)使能、(iii)条件、(iv)对照、或(v)归因。
17.一种用于确定一个或多个文档之间的修辞相互关系的计算机实现的方法,该方法包括:
访问表示文档集合中的第一文档的第一话语树和表示文档集合中的第二文档的第二话语树;
通过将第一话语树和第二话语树应用于经训练的分类模型,从扩展话语树集合中获得参考扩展话语树,其中所述经训练的分类模型遍历所述扩展话语树集合以识别(i)第一候选话语树,以及(ii)第二候选话语树,其中第一候选话语树和第二候选话语树是对于第一话语树和第二话语树的最佳匹配;
从参考扩展话语树确定第一参考话语树与第二参考话语树之间的一个或多个链接;以及
将所述一个或多个链接传播到第一话语树和第二话语树,从而创建扩展话语树。
18.如权利要求17所述的计算机实现的方法,还包括:
基于所述一个或多个链接,确定第一话语树和扩展树之间的一个或多个修辞相互关系;以及
向用户设备呈现所述修辞相互关系。
19.如权利要求17所述的计算机实现的方法,其中修辞相互关系包括以下中的一个:(i)阐述、(ii)使能、(iii)条件、(iv)对照、或(v)归因。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311099887.XA CN117114001A (zh) | 2017-09-28 | 2018-09-28 | 基于命名实体的解析和识别确定跨文档的修辞相互关系 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762564961P | 2017-09-28 | 2017-09-28 | |
US62/564,961 | 2017-09-28 | ||
US201862729335P | 2018-09-10 | 2018-09-10 | |
US62/729,335 | 2018-09-10 | ||
PCT/US2018/053376 WO2019067869A1 (en) | 2017-09-28 | 2018-09-28 | DETERMINING RHETORIC RELATIONSHIPS BETWEEN DOCUMENTS BASED ON THE ANALYSIS AND IDENTIFICATION OF NAMED ENTITIES |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311099887.XA Division CN117114001A (zh) | 2017-09-28 | 2018-09-28 | 基于命名实体的解析和识别确定跨文档的修辞相互关系 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111149100A true CN111149100A (zh) | 2020-05-12 |
CN111149100B CN111149100B (zh) | 2023-08-29 |
Family
ID=63896650
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311099887.XA Pending CN117114001A (zh) | 2017-09-28 | 2018-09-28 | 基于命名实体的解析和识别确定跨文档的修辞相互关系 |
CN201880062996.5A Active CN111149100B (zh) | 2017-09-28 | 2018-09-28 | 基于命名实体的解析和识别确定跨文档的修辞相互关系 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311099887.XA Pending CN117114001A (zh) | 2017-09-28 | 2018-09-28 | 基于命名实体的解析和识别确定跨文档的修辞相互关系 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10853574B2 (zh) |
EP (1) | EP3688609A1 (zh) |
JP (2) | JP7187545B2 (zh) |
CN (2) | CN117114001A (zh) |
WO (1) | WO2019067869A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112231577A (zh) * | 2020-11-06 | 2021-01-15 | 重庆理工大学 | 一种融合文本语义向量和神经协同过滤的推荐方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117114001A (zh) | 2017-09-28 | 2023-11-24 | 甲骨文国际公司 | 基于命名实体的解析和识别确定跨文档的修辞相互关系 |
US11809825B2 (en) | 2017-09-28 | 2023-11-07 | Oracle International Corporation | Management of a focused information sharing dialogue based on discourse trees |
JP7258047B2 (ja) | 2018-05-09 | 2023-04-14 | オラクル・インターナショナル・コーポレイション | 収束質問に対する回答を改善するための仮想談話ツリーの構築 |
CN114616572A (zh) * | 2019-09-16 | 2022-06-10 | 多库加米公司 | 跨文档智能写作和处理助手 |
JP7339097B2 (ja) * | 2019-09-25 | 2023-09-05 | 株式会社富士通エフサス | 情報処理装置、情報提供プログラムおよび情報提供方法 |
US11556698B2 (en) * | 2019-10-22 | 2023-01-17 | Oracle International Corporation | Augmenting textual explanations with complete discourse trees |
US11580298B2 (en) | 2019-11-14 | 2023-02-14 | Oracle International Corporation | Detecting hypocrisy in text |
US11501085B2 (en) | 2019-11-20 | 2022-11-15 | Oracle International Corporation | Employing abstract meaning representation to lay the last mile towards reading comprehension |
US11347800B2 (en) * | 2020-01-02 | 2022-05-31 | International Business Machines Corporation | Pseudo parse trees for mixed records |
US11847420B2 (en) | 2020-03-05 | 2023-12-19 | Oracle International Corporation | Conversational explainability |
US11657332B2 (en) * | 2020-06-12 | 2023-05-23 | Baidu Usa Llc | Method for AI model transferring with layer randomization |
US11461540B2 (en) | 2020-06-18 | 2022-10-04 | International Business Machines Corporation | Cross-document propagation of entity metadata |
US11868907B2 (en) * | 2021-03-22 | 2024-01-09 | International Business Machines Corporation | Updating chatbot workspaces |
CN116940937A (zh) | 2021-03-26 | 2023-10-24 | 甲骨文国际公司 | 生成多模态话语树的技术 |
US11645462B2 (en) * | 2021-08-13 | 2023-05-09 | Pricewaterhousecoopers Llp | Continuous machine learning method and system for information extraction |
US11443102B1 (en) | 2021-08-13 | 2022-09-13 | Pricewaterhousecoopers Llp | Methods and systems for artificial intelligence-assisted document annotation |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1647070A (zh) * | 2001-06-22 | 2005-07-27 | 诺萨·欧莫贵 | 用于知识检索、管理、交付和表示的系统和方法 |
JP2006260597A (ja) * | 2006-05-26 | 2006-09-28 | Intec Web & Genome Informatics Corp | 修辞構造解析システム |
US20100169359A1 (en) * | 2008-12-30 | 2010-07-01 | Barrett Leslie A | System, Method, and Apparatus for Information Extraction of Textual Documents |
WO2015003143A2 (en) * | 2013-07-03 | 2015-01-08 | Thomson Reuters Global Resources | Method and system for simplifying implicit rhetorical relation prediction in large scale annotated corpus |
US20150039294A1 (en) * | 2013-07-03 | 2015-02-05 | Blake Howald | Method and system for simplifying implicit rhetorical relation prediction in large scale annotated corpus |
CN105765566A (zh) * | 2013-06-27 | 2016-07-13 | 谷歌公司 | 标题的自动生成 |
CN106021224A (zh) * | 2016-05-13 | 2016-10-12 | 中国科学院自动化研究所 | 一种双语篇章标注方法 |
CN106354844A (zh) * | 2016-08-31 | 2017-01-25 | 上海交通大学 | 基于文本挖掘的服务组合包推荐系统及方法 |
Family Cites Families (125)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2696853B1 (fr) | 1992-10-12 | 1994-12-23 | Bull Sa | Procédé d'aide à l'optimisation d'une requête d'un système de gestion, de base de données relationnel et procédé d'analyse syntaxique en résultant. |
US8725493B2 (en) | 2004-01-06 | 2014-05-13 | Neuric Llc | Natural language parsing method to provide conceptual flow |
US6181909B1 (en) | 1997-07-22 | 2001-01-30 | Educational Testing Service | System and method for computer-based automatic essay scoring |
US6112168A (en) | 1997-10-20 | 2000-08-29 | Microsoft Corporation | Automatically recognizing the discourse structure of a body of text |
WO1999021104A1 (en) * | 1997-10-20 | 1999-04-29 | Microsoft Corporation | Automatically recognizing the discourse structure of a body of text |
US20070294229A1 (en) | 1998-05-28 | 2007-12-20 | Q-Phrase Llc | Chat conversation methods traversing a provisional scaffold of meanings |
US7152031B1 (en) | 2000-02-25 | 2006-12-19 | Novell, Inc. | Construction, manipulation, and comparison of a multi-dimensional semantic space |
JP2001167087A (ja) | 1999-12-14 | 2001-06-22 | Fujitsu Ltd | 構造化文書検索装置,構造化文書検索方法,構造化文書検索用プログラム記録媒体および構造化文書検索用インデックス作成方法 |
US20010053968A1 (en) | 2000-01-10 | 2001-12-20 | Iaskweb, Inc. | System, method, and computer program product for responding to natural language queries |
CN1465018A (zh) | 2000-05-11 | 2003-12-31 | 南加利福尼亚大学 | 机器翻译技术 |
US7013259B1 (en) * | 2000-06-30 | 2006-03-14 | Fuji Xerox Co., Ltd. | System and method for teaching writing using microanalysis of text |
US6961692B1 (en) * | 2000-08-01 | 2005-11-01 | Fuji Xerox Co, Ltd. | System and method for writing analysis using the linguistic discourse model |
US6731307B1 (en) | 2000-10-30 | 2004-05-04 | Koninklije Philips Electronics N.V. | User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality |
US6886011B2 (en) | 2001-02-02 | 2005-04-26 | Datalign, Inc. | Good and service description system and method |
US7519529B1 (en) | 2001-06-29 | 2009-04-14 | Microsoft Corporation | System and methods for inferring informational goals and preferred level of detail of results in response to questions posed to an automated information-retrieval or question-answering service |
US7526425B2 (en) | 2001-08-14 | 2009-04-28 | Evri Inc. | Method and system for extending keyword searching to syntactically and semantically annotated data |
US7127208B2 (en) * | 2002-01-23 | 2006-10-24 | Educational Testing Service | Automated annotation |
US7305336B2 (en) * | 2002-08-30 | 2007-12-04 | Fuji Xerox Co., Ltd. | System and method for summarization combining natural language generation with structural analysis |
US20040148170A1 (en) | 2003-01-23 | 2004-07-29 | Alejandro Acero | Statistical classifiers for spoken language understanding and command/control scenarios |
US7363213B2 (en) * | 2003-02-11 | 2008-04-22 | Fuji Xerox Co., Ltd. | System and method for dynamically determining the function of a lexical item based on discourse hierarchy structure |
US7424420B2 (en) * | 2003-02-11 | 2008-09-09 | Fuji Xerox Co., Ltd. | System and method for dynamically determining the function of a lexical item based on context |
US7359860B1 (en) | 2003-02-27 | 2008-04-15 | Lumen Vox, Llc | Call flow object model in a speech recognition system |
US7610190B2 (en) | 2003-10-15 | 2009-10-27 | Fuji Xerox Co., Ltd. | Systems and methods for hybrid text summarization |
US7551552B2 (en) | 2003-10-17 | 2009-06-23 | Microsoft Corporation | Method for providing guaranteed distributed failure notification |
US9646107B2 (en) | 2004-05-28 | 2017-05-09 | Robert T. and Virginia T. Jenkins as Trustee of the Jenkins Family Trust | Method and/or system for simplifying tree expressions such as for query reduction |
US7698267B2 (en) | 2004-08-27 | 2010-04-13 | The Regents Of The University Of California | Searching digital information and databases |
US20070106499A1 (en) | 2005-08-09 | 2007-05-10 | Kathleen Dahlgren | Natural language search system |
US8700404B1 (en) | 2005-08-27 | 2014-04-15 | At&T Intellectual Property Ii, L.P. | System and method for using semantic and syntactic graphs for utterance classification |
US20070073533A1 (en) | 2005-09-23 | 2007-03-29 | Fuji Xerox Co., Ltd. | Systems and methods for structural indexing of natural language text |
US20070136284A1 (en) | 2005-12-12 | 2007-06-14 | Sbc Knowledge Ventures Lp | Method for constructing and repurposing rhetorical content |
US7739279B2 (en) | 2005-12-12 | 2010-06-15 | Fuji Xerox Co., Ltd. | Systems and methods for determining relevant information based on document structure |
US9645993B2 (en) | 2006-10-10 | 2017-05-09 | Abbyy Infopoisk Llc | Method and system for semantic searching |
US7925678B2 (en) | 2007-01-12 | 2011-04-12 | Loglogic, Inc. | Customized reporting and mining of event data |
US7840556B1 (en) | 2007-07-31 | 2010-11-23 | Hewlett-Packard Development Company, L.P. | Managing performance of a database query |
US8306967B2 (en) | 2007-10-02 | 2012-11-06 | Loglogic, Inc. | Searching for associated events in log data |
US7890539B2 (en) | 2007-10-10 | 2011-02-15 | Raytheon Bbn Technologies Corp. | Semantic matching using predicate-argument structure |
US8463594B2 (en) | 2008-03-21 | 2013-06-11 | Sauriel Llc | System and method for analyzing text using emotional intelligence factors |
US9646078B2 (en) | 2008-05-12 | 2017-05-09 | Groupon, Inc. | Sentiment extraction from consumer reviews for providing product recommendations |
US8060582B2 (en) | 2008-10-22 | 2011-11-15 | Google Inc. | Geocoding personal information |
US8712759B2 (en) | 2009-11-13 | 2014-04-29 | Clausal Computing Oy | Specializing disambiguation of a natural language expression |
US20120254333A1 (en) | 2010-01-07 | 2012-10-04 | Rajarathnam Chandramouli | Automated detection of deception in short and multilingual electronic messages |
CA2789158C (en) | 2010-02-10 | 2016-12-20 | Mmodal Ip Llc | Providing computable guidance to relevant evidence in question-answering systems |
US9600566B2 (en) | 2010-05-14 | 2017-03-21 | Microsoft Technology Licensing, Llc | Identifying entity synonyms |
US9449080B1 (en) | 2010-05-18 | 2016-09-20 | Guangsheng Zhang | System, methods, and user interface for information searching, tagging, organization, and display |
WO2012040356A1 (en) | 2010-09-24 | 2012-03-29 | International Business Machines Corporation | Providing question and answers with deferred type evaluation using text with limited structure |
US11222052B2 (en) | 2011-02-22 | 2022-01-11 | Refinitiv Us Organization Llc | Machine learning-based relationship association and related discovery and |
US9087048B2 (en) | 2011-06-10 | 2015-07-21 | Linkedin Corporation | Method of and system for validating a fact checking system |
US20130046757A1 (en) | 2011-08-17 | 2013-02-21 | Microsoft Corporation | Indicating relationship closeness between subsnippets of a search result |
SG188994A1 (en) | 2011-10-20 | 2013-05-31 | Nec Corp | Textual entailment recognition apparatus, textual entailment recognition method, and computer-readable recording medium |
US9009024B2 (en) | 2011-10-24 | 2015-04-14 | Hewlett-Packard Development Company, L.P. | Performing sentiment analysis |
US20130151347A1 (en) | 2011-12-09 | 2013-06-13 | Robert Michael Baldwin | Structured Questions in a Social Networking System |
US9201868B1 (en) | 2011-12-09 | 2015-12-01 | Guangsheng Zhang | System, methods and user interface for identifying and presenting sentiment information |
WO2013091075A1 (en) | 2011-12-20 | 2013-06-27 | Soschen Alona | Natural language processor |
US9336297B2 (en) | 2012-08-02 | 2016-05-10 | Paypal, Inc. | Content inversion for user searches and product recommendations systems and methods |
US20140122083A1 (en) | 2012-10-26 | 2014-05-01 | Duan Xiaojiang | Chatbot system and method with contextual input and output messages |
US9152623B2 (en) | 2012-11-02 | 2015-10-06 | Fido Labs, Inc. | Natural language processing system and method |
US9037464B1 (en) | 2013-01-15 | 2015-05-19 | Google Inc. | Computing numeric representations of words in a high-dimensional space |
US9201860B1 (en) | 2013-03-12 | 2015-12-01 | Guangsheng Zhang | System and methods for determining sentiment based on context |
WO2014182820A2 (en) | 2013-05-07 | 2014-11-13 | Haley Paul V | System for knowledge acquisition |
US9317260B2 (en) | 2013-08-09 | 2016-04-19 | Vmware, Inc. | Query-by-example in large-scale code repositories |
US9292490B2 (en) | 2013-08-16 | 2016-03-22 | International Business Machines Corporation | Unsupervised learning of deep patterns for semantic parsing |
CN104598445B (zh) | 2013-11-01 | 2019-05-10 | 腾讯科技(深圳)有限公司 | 自动问答系统和方法 |
US20150134325A1 (en) | 2013-11-14 | 2015-05-14 | Avaya Inc. | Deep Language Attribute Analysis |
US20150149461A1 (en) | 2013-11-24 | 2015-05-28 | Interstack, Inc | System and method for analyzing unstructured data on applications, devices or networks |
US20150161200A1 (en) | 2013-11-27 | 2015-06-11 | Placester, Inc. | System and method for entity-based search, search profiling, and dynamic search updating |
US9471874B2 (en) | 2013-12-07 | 2016-10-18 | International Business Machines Corporation | Mining forums for solutions to questions and scoring candidate answers |
CN105873753B (zh) | 2013-12-20 | 2018-12-14 | 艾利丹尼森公司 | 聚酯-三聚氰胺涂料和包括其的标签 |
US9817721B1 (en) | 2014-03-14 | 2017-11-14 | Sanmina Corporation | High availability management techniques for cluster resources |
RU2564629C1 (ru) | 2014-03-31 | 2015-10-10 | Общество с ограниченной ответственностью "Аби ИнфоПоиск" | Способ кластеризации результатов поиска в зависимости от семантики |
US9946985B2 (en) | 2014-04-15 | 2018-04-17 | Kofax, Inc. | Touchless mobile applications and context-sensitive workflows |
US10664558B2 (en) | 2014-04-18 | 2020-05-26 | Arria Data2Text Limited | Method and apparatus for document planning |
US9582501B1 (en) | 2014-06-16 | 2017-02-28 | Yseop Sa | Techniques for automatic generation of natural language text |
US9317566B1 (en) | 2014-06-27 | 2016-04-19 | Groupon, Inc. | Method and system for programmatic analysis of consumer reviews |
EP3143248A4 (en) | 2014-07-11 | 2018-01-24 | Halliburton Energy Services, Inc. | Evaluation tool for concentric wellbore casings |
US9619513B2 (en) | 2014-07-29 | 2017-04-11 | International Business Machines Corporation | Changed answer notification in a question and answer system |
US20160055240A1 (en) | 2014-08-22 | 2016-02-25 | Microsoft Corporation | Orphaned utterance detection system and method |
US20150081277A1 (en) * | 2014-08-28 | 2015-03-19 | Kambiz Behi | System and Method for Automatically Classifying Text using Discourse Analysis |
US20160071517A1 (en) | 2014-09-09 | 2016-03-10 | Next It Corporation | Evaluating Conversation Data based on Risk Factors |
US9720626B2 (en) | 2014-09-19 | 2017-08-01 | Netapp Inc. | Cluster configuration information replication |
US9559993B2 (en) | 2014-10-02 | 2017-01-31 | Oracle International Corporation | Virtual agent proxy in a real-time chat service |
US9665564B2 (en) | 2014-10-06 | 2017-05-30 | International Business Machines Corporation | Natural language processing utilizing logical tree structures |
US10019437B2 (en) | 2015-02-23 | 2018-07-10 | International Business Machines Corporation | Facilitating information extraction via semantic abstraction |
US9875296B2 (en) | 2015-03-25 | 2018-01-23 | Google Llc | Information extraction from question and answer websites |
US20170060831A1 (en) | 2015-08-26 | 2017-03-02 | International Business Machines Corporation | Deriving Logical Justification in an Extensible Logical Reasoning System |
WO2017066208A1 (en) | 2015-10-12 | 2017-04-20 | Ehrlich Wesen & Dauer, Llc | Network resource crawler with multiple user-agents |
EP3341933A1 (en) | 2015-10-21 | 2018-07-04 | Google LLC | Parameter collection and automatic dialog generation in dialog systems |
US10147051B2 (en) | 2015-12-18 | 2018-12-04 | International Business Machines Corporation | Candidate answer generation for explanatory questions directed to underlying reasoning regarding the existence of a fact |
WO2017112813A1 (en) | 2015-12-22 | 2017-06-29 | Sri International | Multi-lingual virtual personal assistant |
US11042702B2 (en) | 2016-02-04 | 2021-06-22 | International Business Machines Corporation | Solving textual logic problems using a statistical approach and natural language processing |
WO2017145466A1 (ja) | 2016-02-26 | 2017-08-31 | ソニー株式会社 | 情報処理システム、クライアント端末、情報処理方法、および記録媒体 |
US20170277993A1 (en) | 2016-03-22 | 2017-09-28 | Next It Corporation | Virtual assistant escalation |
US11250841B2 (en) * | 2016-06-10 | 2022-02-15 | Conduent Business Services, Llc | Natural language generation, a hybrid sequence-to-sequence approach |
US10394950B2 (en) | 2016-08-22 | 2019-08-27 | International Business Machines Corporation | Generation of a grammatically diverse test set for deep question answering systems |
US11721356B2 (en) | 2016-08-24 | 2023-08-08 | Gridspace Inc. | Adaptive closed loop communication system |
US11715459B2 (en) | 2016-08-24 | 2023-08-01 | Gridspace Inc. | Alert generator for adaptive closed loop communication system |
US11601552B2 (en) | 2016-08-24 | 2023-03-07 | Gridspace Inc. | Hierarchical interface for adaptive closed loop communication system |
WO2018067368A1 (en) | 2016-10-04 | 2018-04-12 | Google Llc | Hierarchical annotation of dialog acts |
CN106649768B (zh) | 2016-12-27 | 2021-03-16 | 北京百度网讯科技有限公司 | 基于深度问答的问答澄清方法和装置 |
CN106682194B (zh) | 2016-12-29 | 2020-05-22 | 北京百度网讯科技有限公司 | 基于深度问答的答案定位方法及装置 |
CN108509463B (zh) | 2017-02-28 | 2022-03-29 | 华为技术有限公司 | 一种问题的应答方法及装置 |
CA3055379C (en) | 2017-03-10 | 2023-02-21 | Eduworks Corporation | Automated tool for question generation |
JP7086993B2 (ja) | 2017-05-10 | 2022-06-20 | オラクル・インターナショナル・コーポレイション | コミュニケーション用談話ツリーの使用による修辞学的分析の可能化 |
US10599885B2 (en) | 2017-05-10 | 2020-03-24 | Oracle International Corporation | Utilizing discourse structure of noisy user-generated content for chatbot learning |
US10817670B2 (en) | 2017-05-10 | 2020-10-27 | Oracle International Corporation | Enabling chatbots by validating argumentation |
US10679011B2 (en) | 2017-05-10 | 2020-06-09 | Oracle International Corporation | Enabling chatbots by detecting and supporting argumentation |
US10839161B2 (en) * | 2017-06-15 | 2020-11-17 | Oracle International Corporation | Tree kernel learning for text classification into classes of intent |
US11100144B2 (en) | 2017-06-15 | 2021-08-24 | Oracle International Corporation | Data loss prevention system for cloud security based on document discourse analysis |
US10289974B1 (en) | 2017-06-23 | 2019-05-14 | Noble Systems Corporation | Establishing a target handle time for a communication in a contact center |
US11176325B2 (en) | 2017-06-26 | 2021-11-16 | International Business Machines Corporation | Adaptive evaluation of meta-relationships in semantic graphs |
US10628528B2 (en) * | 2017-06-29 | 2020-04-21 | Robert Bosch Gmbh | System and method for domain-independent aspect level sentiment detection |
US10817578B2 (en) | 2017-08-16 | 2020-10-27 | Wipro Limited | Method and system for providing context based adaptive response to user interactions |
CN117114001A (zh) | 2017-09-28 | 2023-11-24 | 甲骨文国际公司 | 基于命名实体的解析和识别确定跨文档的修辞相互关系 |
EP3688626A1 (en) | 2017-09-28 | 2020-08-05 | Oracle International Corporation | Enabling autonomous agents to discriminate between questions and requests |
US20190103111A1 (en) | 2017-10-03 | 2019-04-04 | Rupert Labs Inc. ( DBA Passage AI) | Natural Language Processing Systems and Methods |
US20190163756A1 (en) | 2017-11-29 | 2019-05-30 | International Business Machines Corporation | Hierarchical question answering system |
US11023684B1 (en) | 2018-03-19 | 2021-06-01 | Educational Testing Service | Systems and methods for automatic generation of questions from text |
US10713441B2 (en) | 2018-03-23 | 2020-07-14 | Servicenow, Inc. | Hybrid learning system for natural language intent extraction from a dialog utterance |
JP7258047B2 (ja) | 2018-05-09 | 2023-04-14 | オラクル・インターナショナル・コーポレイション | 収束質問に対する回答を改善するための仮想談話ツリーの構築 |
US11455494B2 (en) | 2018-05-30 | 2022-09-27 | Oracle International Corporation | Automated building of expanded datasets for training of autonomous agents |
US10628219B2 (en) | 2018-06-11 | 2020-04-21 | Oracle International Corporation | Fuzzy management of high-volume concurrent processes |
US11509770B2 (en) | 2018-09-25 | 2022-11-22 | International Business Machines Corporation | Live agent recommendation for a human-robot symbiosis conversation system |
US11409961B2 (en) | 2018-10-10 | 2022-08-09 | Verint Americas Inc. | System for minimizing repetition in intelligent virtual assistant conversations |
WO2020097222A1 (en) | 2018-11-08 | 2020-05-14 | Yext, Inc. | Review response generation and review sentiment analysis |
US11556698B2 (en) | 2019-10-22 | 2023-01-17 | Oracle International Corporation | Augmenting textual explanations with complete discourse trees |
US11580298B2 (en) | 2019-11-14 | 2023-02-14 | Oracle International Corporation | Detecting hypocrisy in text |
-
2018
- 2018-09-28 CN CN202311099887.XA patent/CN117114001A/zh active Pending
- 2018-09-28 WO PCT/US2018/053376 patent/WO2019067869A1/en unknown
- 2018-09-28 US US16/145,644 patent/US10853574B2/en active Active
- 2018-09-28 CN CN201880062996.5A patent/CN111149100B/zh active Active
- 2018-09-28 JP JP2020517950A patent/JP7187545B2/ja active Active
- 2018-09-28 EP EP18789298.9A patent/EP3688609A1/en not_active Withdrawn
-
2020
- 2020-08-17 US US16/995,302 patent/US11295085B2/en active Active
-
2022
- 2022-02-24 US US17/652,366 patent/US11797773B2/en active Active
- 2022-11-30 JP JP2022191911A patent/JP2023029931A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1647070A (zh) * | 2001-06-22 | 2005-07-27 | 诺萨·欧莫贵 | 用于知识检索、管理、交付和表示的系统和方法 |
JP2006260597A (ja) * | 2006-05-26 | 2006-09-28 | Intec Web & Genome Informatics Corp | 修辞構造解析システム |
US20100169359A1 (en) * | 2008-12-30 | 2010-07-01 | Barrett Leslie A | System, Method, and Apparatus for Information Extraction of Textual Documents |
CN105765566A (zh) * | 2013-06-27 | 2016-07-13 | 谷歌公司 | 标题的自动生成 |
WO2015003143A2 (en) * | 2013-07-03 | 2015-01-08 | Thomson Reuters Global Resources | Method and system for simplifying implicit rhetorical relation prediction in large scale annotated corpus |
US20150039294A1 (en) * | 2013-07-03 | 2015-02-05 | Blake Howald | Method and system for simplifying implicit rhetorical relation prediction in large scale annotated corpus |
CN106021224A (zh) * | 2016-05-13 | 2016-10-12 | 中国科学院自动化研究所 | 一种双语篇章标注方法 |
CN106354844A (zh) * | 2016-08-31 | 2017-01-25 | 上海交通大学 | 基于文本挖掘的服务组合包推荐系统及方法 |
Non-Patent Citations (3)
Title |
---|
MORRISITOWN: "a common theory of information fusion from multiple text sources step one:cross-document structure", pages 74 - 83 * |
XUN WANG, YASUHISA YOSHIDA: "Summarizatio Based on Task-Oriented Discourse Parsing", IEEE/ACM TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING, vol. 23, no. 8, XP011583193, DOI: 10.1109/TASLP.2015.2432573 * |
王慧慧: "基于自然语言处理的问答系统研究", 中国优秀硕士学位论文数据库 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112231577A (zh) * | 2020-11-06 | 2021-01-15 | 重庆理工大学 | 一种融合文本语义向量和神经协同过滤的推荐方法 |
CN112231577B (zh) * | 2020-11-06 | 2022-06-03 | 重庆理工大学 | 一种融合文本语义向量和神经协同过滤的推荐方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190095420A1 (en) | 2019-03-28 |
CN117114001A (zh) | 2023-11-24 |
CN111149100B (zh) | 2023-08-29 |
EP3688609A1 (en) | 2020-08-05 |
WO2019067869A1 (en) | 2019-04-04 |
US11295085B2 (en) | 2022-04-05 |
JP2020537224A (ja) | 2020-12-17 |
US20200394363A1 (en) | 2020-12-17 |
JP7187545B2 (ja) | 2022-12-12 |
US20220261548A1 (en) | 2022-08-18 |
US10853574B2 (en) | 2020-12-01 |
JP2023029931A (ja) | 2023-03-07 |
US11797773B2 (en) | 2023-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11797773B2 (en) | Navigating electronic documents using domain discourse trees | |
US11977568B2 (en) | Building dialogue structure by using communicative discourse trees | |
JP7439038B2 (ja) | コミュニケーション用談話ツリーの使用による修辞学的分析の可能化 | |
US10839161B2 (en) | Tree kernel learning for text classification into classes of intent | |
US20210286830A1 (en) | Data loss prevention system for cloud security based on document discourse analysis | |
US11694040B2 (en) | Using communicative discourse trees to detect a request for an explanation | |
US11580144B2 (en) | Search indexing using discourse trees | |
US11861319B2 (en) | Chatbot conducting a virtual social dialogue | |
US12093253B2 (en) | Summarized logical forms based on abstract meaning representation and discourse trees | |
US11809825B2 (en) | Management of a focused information sharing dialogue based on discourse trees | |
US20240256787A1 (en) | Techniques for generating multi-modal discourse trees | |
CN113761158A (zh) | 基于话语树的焦点信息共享对话的管理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |