CN116940937A - 生成多模态话语树的技术 - Google Patents

生成多模态话语树的技术 Download PDF

Info

Publication number
CN116940937A
CN116940937A CN202280017721.6A CN202280017721A CN116940937A CN 116940937 A CN116940937 A CN 116940937A CN 202280017721 A CN202280017721 A CN 202280017721A CN 116940937 A CN116940937 A CN 116940937A
Authority
CN
China
Prior art keywords
tree
utterance
speech
multimodal
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280017721.6A
Other languages
English (en)
Inventor
B·加里斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oracle International Corp
Original Assignee
Oracle International Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oracle International Corp filed Critical Oracle International Corp
Publication of CN116940937A publication Critical patent/CN116940937A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本文提供了用于生成和利用多模态话语树(MMDT)的方法。可以从文本语料库(例如，从话语树(DT)或交流DT(CDT))生成扩展话语树(EDT)。数据记录(例如，包含数值数据的记录)可以链接到扩展话语树以生成多模态话语树。多模态话语树可以链接来自不同源的任何合适的文本/记录。例如，从EDT的基本话语单元识别出的实体可以与数据记录的实体进行匹配。可以识别EDT和/或数据记录之间的因果链接。可以为每个实体/因果链接匹配识别修辞相互关系，以将数据记录与EDT合并以生成MMDT。MMDT可以用于对后续输入进行分类、生成后续问题的答案、导航文本语料库和/或数据记录，等等。

Description

生成多模态话语树的技术
相关申请的交叉引用
本申请要求于2021年3月26日提交的、标题为“Multimodal Discourse Tree forHealth Management and Security”的美国临时申请No.63/166,568的权益，出于所有目的，其内容全部并入本文。
技术领域
本公开一般而言涉及语言学。更具体而言，本公开涉及生成和利用多模态话语树MMDT(例如，以对输入文本进行分类、生成问题的答案、导航文本等)。
背景技术
由于处理器速度和存储器容量的极大增加，计算机实现的语言学应用正在增加。例如，基于计算机的语言话语分析促进了许多应用的发展，这些应用诸如可以回答从用户设备接收到的问题的自动化代理或可以对输入进行分类的机器学习应用。在这些和其它上下文中，当前系统可以分开提供文本数据和潜在相关的数值数据(例如，日志、地图、数据记录等)。在一些情况下，利用文本和各种潜在相关的数值数据来对相似数据进行分类和/或回答后续的相关问题可能是有益的。但是，这些数据难以用有意义的方式进行组合。
发明内容
公开了用于生成和利用多模态话语树(MMDT)(例如，以对输入文本进行分类、生成问题的答案、对文本进行导航等)的技术。
在一些实施例中，公开了一种用于生成多模态话语树(例如，以对输入进行分类、对文本进行导航、识别后续问题的答案等)的计算机实现的方法。该方法可以包括获得文本语料库以及与文本语料库分离的一个或多个数据记录。该方法还可以包括为文本语料库生成扩展话语树。在一些实施例中，扩展话语树包括多个话语树。每个话语树可以包括多个节点，话语树的每个终端节点与文本的片段对应，话语树的每个非终端节点指示话语树的节点之间的修辞相互关系(rhetorical relationship)。在一些实施例中，扩展话语树包括多个话语树之间的附加链接，附加链接指示各个话语树的节点之间的附加修辞相互关系。该方法还可以包括识别多个话语树的一组基本话语单元与一个或多个数据记录之间的实体匹配。在一些实施例中，可以通过将从基本话语单元识别出的第一实体与从数据记录识别出的第二实体进行比较来识别实体匹配。该方法还可以包括执行因果链接识别算法以识别一个或多个数据记录中的两个数据记录之间的一个或多个因果链接。该方法还可以包括为识别处的每个实体匹配和识别出的一个或多个因果链接中的每个因果链接确定对应的修辞相互关系。该方法还可以包括为扩展话语树生成针对识别出的每个实体匹配和针对识别出的每个因果链接的相应节点。该方法还可以包括至少部分地基于所确定的对应的修辞相互关系，将针对每个实体匹配和针对每个因果链接生成的相应节点链接到扩展话语树的相应节点，从而创建多模态话语树。
在一些实施例中，生成扩展话语包括：i)从文本语料库的第一文本生成第一话语树，第一话语树与第一文本的第一部分对应，ii)从文本语料库的第二文本生成第二话语树，第二话语树与第二文本的第二部分对应；以及iii)响应于确定第一话语树和第二话语树的相应基本话语单元之间的特定修辞相互关系，使用特定修辞相互关系链接第一话语树和第二话语树。
在一些实施例中，第一话语树和第二话语树是包括为第一话语树和第二话语树的每个基本话语单元生成的相应动词签名的交流话语树。
在一些实施例中，识别实体还包括比较从数据记录识别出的第二实体和从第二数据记录识别出的第三实体，其中实体是指以下之一(i)个人、(ii)公司、(iii)位置、(iv)文档的名称、或(v)日期或时间。
在一些实施例中，识别实体匹配还包括从预定义的本体中识别实体。
在一些实施例中，该方法还可以包括至少部分地基于多模态话语树对后续输入进行分类，其中对后续输入进行分类包括：i)生成包括多个多模态话语树的训练数据集，每个多模态话语树与相应的文本语料库和相应的数据记录集合对应，每个多模态话语树与对应于分类的标签相关联；ii)训练机器学习模型以至少部分地基于训练数据集和监督学习算法对输入进行分类；iii)从后续输入生成对应的多模态话语树，后续输入包括相应的文本集合和相应的数据记录集合；以及iv)至少部分地基于向机器学习模型提供从后续输入生成的对应多模态话语作为输入并接收来自机器学习模型的指示后续输入的分类的输出来对后续输入进行分类。
在一些实施例中，该方法还包括使用多模态话语树来导航文本语料库，其中导航文本语料库包括：访问多模态话语树；从多模态话语树中确定响应于来自用户设备的查询的第一基本话语单元，第一基本话语单元与多模态话语树的第一话语树的第一节点对应；从多模态话语树确定导航选项集合，导航选项集合包括以下中的至少两个：(i)第一话语树的第一节点和第一话语树的第二节点之间的第一修辞相互关系，以及(ii)第一节点和多模态话语树的第二话语树的第三节点之间的第二修辞相互关系，或者iii)第一话语树的第一节点和多模态话语树的第四节点之间与对应数据记录相关联的第三修辞相互关系；向用户设备呈现第一修辞相互关系、第二修辞相互关系或第三修辞相互关系中的至少两个；以及响应于接收到包括对第一修辞相互关系、第二修辞相互关系或第三修辞相互关系的选择的附加用户输入：i)至少部分地基于确定所述选择对应于第一修辞相互关系来呈现与第二节点对应的第二基本话语单元，ii)至少部分地基于确定所述选择对应于第一修辞相互关系来呈现与第三节点对应的第三基本话语单元，或者3)至少部分地基于确定所述选择对应于第三修辞相互关系来呈现对应数据记录的至少一部分。
本文讨论的(一个或多个)示例性方法可以在包括一个或多个处理器的系统和/或设备上实现和/或作为指令存储在非暂态计算机可读介质上。本公开的各个方面可以通过使用计算机程序产品来实现，该计算机程序产品包括计算机程序/指令，该计算机程序/指令在由处理器执行时，使得处理器执行本文公开的任何方法。
附图说明
图1描绘了根据本公开的至少一个实施例的用于使用多模态话语树(MMDT)对输入进行分类的计算环境的示例。
图2描绘了根据至少一个实施例的由图1的计算设备(例如，由图1的多模态话语树(MMDT)生成模块)执行的方法的示例流程。
图3描绘了根据至少一个实施例的示例话语树。
图4描绘了根据至少一个实施例的用于生成交流话语树的方法的流程。
图5描绘了根据至少一个实施例的扩展话语树的示例。
图6描绘了根据至少一个实施例的用于创建扩展话语树的处理的示例的流程图。
图7也描绘了根据至少一个实施例的不同粒度级别的文档的文本单元之间的相互关系。
图8描绘了根据至少一个实施例的多模态话语树的示例。
图9描绘了根据至少一个实施例的图8的多模态话语树的另一个视图，其中具有不同粒度级别的文档的文本单元之间的相互关系以及那些文本单元与相关数据记录之间的相互关系。
图10描绘了根据至少一个实施例的用于生成多模态话语树的方法的流程。
图11描绘了根据至少一个实施例的用于实现其中一个方面的分布式系统的简化图。
图12是根据至少一个实施例的根据本公开的一方面的系统环境的一个或多个部件的简化框图，通过该系统环境，由一方面系统的一个或多个部件提供的服务可以作为云服务供应。
图13图示了根据至少一个实施例的其中可以实现各个方面的示例性计算子系统。
具体实施方式
本公开的各方面涉及生成和利用多模态话语树(MMDT)来对输入进行分类。多模态话语树(MMDT)是指一种话语树，其包括与该话语树的部分(例如，基本话语单元)相关的伴随数据(值、集合和/或记录)。MMDT包括数据集和话语树之间的关系以及给定数据集中的数据之间的关系。可以存在于数据值、集合和记录之间的修辞关系(本文也称为“修辞相互关系”)的示例包括理由(Reason)、原因(Cause)、使能(Enablement)、对照(Contrast)、时间序列(Temporal sequence)。
话语分析对于构造文本中表达的思想的逻辑结构起着重要作用。话语树是以分层方式形式化文本话语的手段，从而指定短语和句子(话语单元)之间的修辞关系。话语树(DT)是完整的逻辑表示(如逻辑形式)和原始文本的非正式表示之间的折衷。学习DT已在内容生成、归纳、机器翻译和问题回答领域找到许多应用。在一般数据分析任务中采用DT的局限性在于，它们被设计为表示文本的话语，而不是抽象数据项的组成部分之间的因果相互关系。
本文公开的技术利用话语分析来从文本语料库生成各种话语树。例如，可以为文档的语料库(例如，有关/相关内容的语料库)的每个文本生成话语树。在一些实施例中，可以用交流动作(例如，动词签名)来扩充话语树(DT)以生成交流话语树(CDT)。可以识别CDT的单元(例如，基本话语单元)之间的修辞相互关系以生成扩展话语树(EDT)。EDT可以包括具有在CDT的各个单元之间以及跨各种粒度(例如，在文档的句子、文档的段落之间、不同文档的句子/段落之间、和/或作为整体的文档之间)识别出的相互关系的CDT的组合。
可以通过将EDT与伴随的数值数据通过话语抽象相结合并且不仅形式化语料库的文本和文本文档的话语，而且还形式化跨各种类型的数值数据的话语来从EDT生成多模态话语树(MMDT)。可以生成MMDT，使得在文本片段之间保持的相同修辞关系也在数据值、集合和记录之间保持。MMDT可以是包括与EDT的部分(例如，基本话语单元)相关的伴随数据(值、集合和/或数值数据记录)的话语树。MMDT可以被生成为包括伴随数据之间的关系以及伴随数据的部分与语料库文本的部分之间的关系。然后，所得的MMDT可以用于驱动自主代理领域的自动化的答案和/或对输入进行分类。在示例中，可以利用表示在法律案件中得出结论所需的推理结构的话语树。扩展话语树可以从话语树生成并用相关信息(例如，特定案件的数据)进行扩充，相关信息诸如电话呼叫、关于人移动的信息、交易记录/财务记录，以及信息之间的内部关系。
所公开的技术通过更好地整体理解多个相关信息源来改进现有解决方案。MMDT可以用于扩展交互式聊天机器人(例如，自主代理应用)的能力。常规的话语树以段落或多个段落的级别表达作者的思想流程。当应用于较大的文本片段或文档时，常规的话语树变得相当不准确。这些话语树可以用于生成扩展话语树，然后生成多模态话语树，其可以用作涵盖主题(topic)的互连文档集和对应数据记录的表示。这些MMDT可以用在多种领域(例如，在医学领域中用于诊断和/或疾病预防、使案件与法规相关的法律案件分类等)。
某些定义
如本文所使用的，“修辞结构理论”是提供了可以基于其分析话语的连贯性的理论基础的研究和学习领域。
如本文所使用的，“话语树”或“DT”是指表示句子的一部分的句子的修辞关系的结构。
如本文所使用的，“修辞关系(rhetorical relation)”、“修辞相互关系(rhetorical relationship)”或“连贯关系”或“话语关系”是指话语的两个片段在逻辑上如何彼此连接。修辞关系的示例包括阐述、对照和归因。
如本文所使用的，“句子片段”或“片段”是可以从句子的其余部分分开的句子的一部分。片段是基本话语单元。例如，对于句子“Dutch accident investigators say thatevidence points to pro-Russian rebels as being responsible for shooting downthe plane(荷兰事故调查人员声称证据指向亲俄叛军对击落飞机负责)”，两个片段是“Dutch accident investigators say that evidence points to pro-Russian rebels(荷兰事故调查人员声称证据指向亲俄叛军)”和“as being responsible for shootingdown the plane(对击落飞机负责)”。片段可以但不必包含动词。
如本文所使用的，“签名”或“框架”是指片段中动词的特性。每个签名可以包含一个或多个题元(thematic)角色。例如，对于片段“Dutch accident investigators saythat evidence points to pro-Russian rebels(荷兰事故调查人员声称证据指向亲俄叛军)”，动词是“say(声称)”并且动词“say”的这种特定用法的签名可以是“代理动词主题”，其中“investigators(调查人员)”是代理，并且“evidence(证据)”是主题。
如本文所使用的，“题元角色”是指用于描述一个或多个词语的角色的签名的组成部分。继续前面的示例，“代理”和“主题”是题元角色。
如本文所使用的，“核心性”是指哪个文本段、片段或区段(span)对于作者的目的而言更为中心。核心是较中心的区段，而卫星是较不中心的区段。
如本文所使用的，“连贯性”是指将两种修辞关系链接在一起。
如本文所使用的，“交流话语树”或“CDT”是用交流动作进行补充的话语树。交流动作是个人基于相互商议和论证而采取的合作动作。因此，交流话语树将修辞信息与交流动作相结合。
如本文所使用的，“交流动词”是指示交流的动词。例如，动词“deny(否认)”是交流动词。
如本文所使用的，“交流动作”描述由一个或多个代理以及代理的主体执行的动作。
如本文所使用的，“实体”具有独立且独特的存在。示例包括物体、地点和人。实体也可以是主体或主题，诸如“电动汽车”、“刹车”或“法国”。
继续到附图，图1描绘了根据至少一个实施例的用于校正使用深度学习技术生成的原始文本的计算环境的示例。在图1中所绘出的示例中，计算环境100包括计算设备102和用户设备104中的一个或多个。计算设备102可以实现应用(例如，应用106)。在一些实施例中，应用106可以是自主代理(例如，聊天机器人)，其参与和用户设备104的会话并且使用本文公开的技术中的一项或多项来响应于由用户设备104提供的输入进行对话。作为另一个示例，应用106可以是计算设备102的机器学习部件的一部分。应用106可以被配置为从文本数据(例如，从文本数据116获得的文本数据语料库)和数据记录(例如，从记录数据存储库118获得的数值数据)生成任何合适数量的多模态话语树(MMDT)。计算设备102的示例是图10的分布式系统1000和客户端计算设备1002、1004、1006和1008的示例。
用户设备104可以是任何移动设备，诸如移动电话、智能电话、平板电脑、膝上型电脑、智能手表等。如图所示，用户设备104的用户接口108。用户接口108可以被配置为接受来自用户(例如，经由键盘、麦克风输入、鼠标输入、触摸屏等)的输入并且向计算设备102提供与该输入对应的数据。在一些实施例中，用户接口108或用户设备104的另一个部件可以被配置为在将文本传输到计算设备102之前获取声音输入并将其转换成文本。用户设备104可以被配置为将文本传输到计算设备102。在其它实施例中，可以使用由计算设备102提供的用户接口(未绘出)和/或从计算设备102可访问的数据存储库(未绘出)来获得文本。合适的文本的示例包括电子文本源，诸如文本文件、可移植文档格式文档、富文本文档等。在一些情况下，可以对输入文本执行预处理以去除不想要的字符或格式化字段。输入文本可以使用一种或多种结构或组织方法(诸如节、段落、页面等)进行组织。
在一些实施例中，用户设备104和计算设备102可以经由网络110通信连接。网络110可以是任何合适的公共或专用网络，包括互联网、局域网、虚拟专用网络等。
在一些实施例中，计算设备102可以包括分类器112。分类器112可以是使用训练数据114训练的任何合适的机器学习模型，以响应于输入(例如，在用户接口108处提交的问题或其它数据)提供输出(例如，答案、生成的文本等)。训练数据114可以包括可以用来训练分类器112的任何合适的数据(例如，好/坏答案的问题/答案对、好和/或坏文本生成的示例等)。在一些情况下，文本内的实体和/或可以使用本体117进行匹配。本体117可以是特定于领域的本体(例如，金融、法律、商业、医学、科学等)。除了其它特征之外，本体117还可以包括各种实体和它们之间的关系的形式规范。本体117可以用于识别同义词和/或短语。在一些实施例中，本体117可以是预定义的和/或应用106可以从外部源构建本体117的至少一部分。
MMDT生成模块120可以被配置为从文本数据116和记录数据存储库118生成任何合适数量的MMDT。在一些实施例中，这些MMDT可以用作训练数据以对未来输入进行分类。作为示例，警察记录内的文本(例如，文本数据的示例)可以与基于数值的证据(例如，通话记录、金融交易数据、从蜂窝电话获得的位置数据等)合并，以生成将与特定犯罪实例相关联的数据关联起来的MMDT。该MMDT可以与标签(例如，勒索)相关联并且用作分类器112(例如，机器学习模型的示例)的带标签的训练数据。可以利用任何合适的监督学习算法使用此类训练数据的各种实例(例如，表示指示勒索犯罪的文本/数据记录的一些示例，表示不指示勒索犯罪的其它文本/数据记录的一些示例等)来训练分类器112以便配置分类器112以将后续输入(例如，从用户设备104接收到的并且与当前案件相关联的文本和数据记录)分类为指示勒索犯罪或不指示勒索犯罪。在一些实施例中，生成的MMDT可以用于回答关于针对其生成MMDT的案件的问题。参考图2-图9更详细地讨论生成和利用MMDT的操作。
图2描绘了根据至少一个实施例的由图1的计算设备102(例如，由MMDT生成模块120)执行的方法200的示例流程。
方法200可以开始于201，其中可以获得文档的语料库。在一些实施例中，文档的语料库可以与特定主题相关。作为示例，文档的语料库可以包括来自涉及特定犯罪的警察记录的任何合适的文本。文档可以具有任何合适的长度和/或格式。
在202处，可以至少部分地基于修辞结构理论来为语料库的每个文本生成话语树。下面结合图3讨论用于生成这些话语树的技术。
图3描绘了根据至少一个实施例的从文本实例生成的话语树(称为“话语树300”)的文本编码300。仅作为示例，话语树300可以从以下文本生成：I avoid flu shotsbecause I am allergic to eggs.Most flu shots produced today use an egg-basedmanufacturing process that leaves trace amounts of egg protein behind.I donot need a flu shot since I got it last year.I believe it is not necessaryfor me,because the vaccine is not 100％effective.Also,I never get the flu,soI do not need a vaccine.(我避免注射流感疫苗，因为我对鸡蛋过敏。目前生产的大多数流感疫苗都采用了留下了微量的鸡蛋蛋白的基于鸡蛋的生产工艺。自从去年注射流感疫苗以来，我就不需要注射了。我认为这对我来说没有必要，因为疫苗不是100％有效的。此外，我从来没有感染过流感，所以我不需要疫苗。)可以至少部分地基于修辞结构理论从输入文本生成话语树300。
修辞结构理论和话语树
语言学是语言的科学研究。例如，语言学可以包括句子的结构(句法)，例如，主语-动词-宾语；句子的含义(语义)，例如，狗咬人与人咬狗；以及说话者在会话中做什么，即，句子之外的话语分析或语言分析。
话语的理论基础——修辞结构理论(RST)可以归功于Mann,William和Thompson,Sandra,“Rhetorical structure theory:A Theory of Text organization,”Text-Interdisciplinary Journal for the Study of Discourse(话语研究的文本跨学科期刊),8(3):243–281,1988。类似于编程语言理论的句法和语义如何帮助实现现代软件编译器，RST帮助实现了话语的分析。更具体地，RST假设了至少两个层次上的结构块，诸如核心性和修辞关系之类的第一层次，以及结构或模式的第二层次。话语解析器或其他计算机软件可以将文本解析成话语树。这些解析器/软件可以被配置为识别话语树的EDU之间的各种修辞相互关系。
修辞结构理论对文本的逻辑组织进行建模，文本的逻辑组织是由作者采用的结构，它依赖于文本的各部分之间的关系。RST通过经由话语树形成文本的分层连接结构来模拟文本连贯性。修辞关系被分为同级(coordinate)和从属(subordinate)的类；这些关系跨两个或更多个文本区段保持不变，因此实现了连贯性。这些文本区段被称为基本话语单元(EDU)。句子中的子句和文本中的句子由作者逻辑连接。给定句子的含义与先前和随后的句子的含义相关。子句之间的这种逻辑关系被称为文本的连贯结构。RST是多个话语理论中的一个，它基于树状的话语结构——话语树(DT)。DT的叶子对应于EDU，即连续的原子文本区段。相邻的EDU通过连贯关系(例如，归因、序列)相连接，从而形成更高层次的话语单元。然后，这些单元也受此关系链接的约束。通过关系而链接的EDU然后基于其相对重要性来区分：核心是关系的核心部分，而卫星是外围部分。如所讨论的那样，为了确定准确的请求-响应对，主题和修辞一致性两者都被分析。当说话者回答问题(诸如短语或句子)时，说话者的回答应该针对该问题的主题。在经由消息的种子文本隐式提出问题的情况下，期望不仅维持主题而且还与该种子的广义认知状态匹配的适当回答。
修辞关系
如所讨论的那样，本文描述的方面使用交流话语树(和/或交流话语树)。可以用不同的方式来描述修辞关系。下面提供一些修辞关系。但是，此列表并非旨在是详尽的。
一些经验研究假设大多数文本是使用核心-卫星关系构造的，但是其它关系并没有承载对核心的明确选择。此类关系的示例如下所示。
关系名称 区段 其它区段
对照 一个替代物 另一个替代物
联合 (不受约束) (不受约束)
列表 项目 下一项目
序列 项目 下一项目
返回到图3，可以基于对输入文本的解析(例如，使用话语解析器和/或软件的解析)来生成话语树300。话语树300可以包括上述修辞关系(也称为“修辞相互关系”)的任何合适的组合。例如，话语树300可以包括修辞相互关系302-322。话语树300还可以包括多个文本单元(例如，基本话语单元(EDU)324-346)。每个修辞关系描述两个或更多个EDU之间的修辞相互关系。作为示例，修辞关系314可以描述EDU 334和EDU 336之间的修辞相互关系(例如，“说明”)。
可以利用用于构造话语树300的任何合适的方法。用于构造话语树300的一种示例方法可以包括以下操作：
(1)通过以下方式将话语文本划分为单元：
(a)取决于分析的目标，单元大小可以不同
(b)典型地，单元是子句
(2)检查每个单元及其邻居。存在它们之间保持的(例如，至少部分地基于预定义规则集合识别的)关系吗？
(3)如果是，那么标记该关系。
(4)如果不是，那么该单元可能位于更高级别关系的边界处。查看较大单元(区段)之间保持的关系。
(5)继续，直到考虑了文本中的所有单元。
在一些实施例中，MMDT生成模块120可以为语料库的每个文本生成话语树。可能存在针对各种粒度程度生成的话语树。例如，可以为每个句子、每个段落、每个文档等生成DT。每个话语树可以包括节点，每个非终端节点(或边)表示两个片段(例如，句子片段)之间的修辞相互关系并且话语树的节点中的每个终端节点与片段之一相关联。
返回到图2，一旦为语料库的(一个或多个)文本(例如，警察报告和/或与犯罪实例相关的文本信息)(根据任何合适的粒度)生成了DT，该方法200就可以进行到203，其中可以为语料库的每个文本生成交流话语树(CDT)。图4更详细地描述了从文本生成CDT的技术。
图4描绘了根据至少一个实施例的用于生成交流话语树的方法400的流程。在一些实施例中，利用交流话语树来生成查询使得能够改进搜索引擎结果。
在方框401处，处理400涉及访问包括片段的句子(例如，在图2的201处获得的语料库的句子)。至少一个片段包括动词和一个或多个词语，并且每个词语包括词语在片段内的角色，并且每个片段是基本话语单元。
在一些实施例中，图1的MMDT生成模块120可以识别句子包括若干片段。每个片段可以包括动词，但是片段不必包括动词。
在方框402处，处理400涉及生成表示句子片段之间的修辞相互关系的话语树。例如，MMDT生成模块120可以生成如结合图3所讨论的一个或多个话语树。每个话语树可以包括节点，每个非终端节点表示句子片段中的两个句子片段之间的修辞相互关系，并且话语树的节点中的每个终端节点与句子片段之一相关联。
在方框403处，处理400涉及访问多个动词签名。例如，MMDT生成模块120可以访问动词列表(例如，来自VerbNet、预定义的动词列表等)。每个动词可以与片段的动词匹配或相关。例如，如果片段包括动词“deny(否认)”，那么MMDT生成模块120可以访问与动词deny相关的动词签名的列表。
每个动词签名可以包括片段的动词和题元角色中的一个或多个题元角色。例如，签名包括名词短语(NP)、名词(N)、交流动作(V)、动词短语(VP)或副词(ADV)中的一个或多个。题元角色描述动词和相关词语之间的相互关系。例如，“the teacher amused thechildren(老师逗乐了孩子们)”具有与“small children amuse quickly(小孩子们很快被逗乐)”不同的签名。对于第一片段，即动词“deny(否认)”，应用102访问框架列表或匹配“deny”的动词的动词签名。该列表是“NP V NP to be NP”、“NP V that S”和“NP V NP”。
每个动词签名包括题元角色。题元角色是指动词在句子片段中的角色。在一些实施例中，MMDT生成模块120确定每个动词签名中的题元角色。示例题元角色包括演员、代理、资产、属性、受益方、原因、位置目的地源、目的地、源、位置、体验者、范围、工具、材料和产品、材料、产品、患者、谓词、接收方、刺激、题元、时间或主题。
在方框404处，处理400涉及针对动词签名中的每个动词签名确定相应签名的与词语在片段中的角色匹配的题元角色的数量。例如，如果原始文本句子的片段包括动词“deny”，那么MMDT生成模块120可以确定动词“deny”仅具有三个角色：“代理”、“动词”和“题元”。
在方框405处，处理400涉及基于特定动词签名具有最多匹配数量而从动词签名中选择该特定动词签名。例如，片段“the rebels deny...that they control theterritory(叛军否认……他们控制了领土)”可以与动词签名deny(否认)“NP V NP”匹配，并且“control(控制)”与control(rebel，territory)匹配。动词签名是嵌套的，从而导致“deny(rebel，control(rebel，territory))”的嵌套签名。每个所选择的动词签名都与对应的片段相关联，以完成交流话语树。
返回到图2的204处，一旦以上面结合图3和图4描述的方式为文本语料库生成了交流话语树(CDT)，MMDT生成模块120就可以为文本语料库构建扩展话语树(EDT)。图5和图6更详细地描述了为文本语料库生成EDT的技术。
图5描绘了根据至少一个实施例的扩展话语树的示例。图5描绘了扩展话语树500。如所绘出的，扩展话语树500包括组500、520、530、540和550。每个组包括(例如，来自文本语料库的)文档和从该文档生成的话语树。例如，组510包括话语树511和文档512，组520包括话语树521和文档522，以此类推。图5中描绘的话语树可以是如上所述在图2的202处生成的DT的示例，和/或图5的话语树可以是如上所述在图2的203处生成的CDT的示例。
除了在特定话语树(例如，话语树511、521、531、541和551)内之间的链接之外，扩展话语树500还包括话语树间链接561-564以及相关联的文档间链接571-574。如关于图6进一步解释的，MMDT生成模块120可以构造话语树511-515。话语树511表示文档512，话语树521表示文档522，以此类推。可以通过为每个段落或文档(例如，针对每个树使用处理400)构建话语树(例如，DT和/或CDT)来构建扩展话语树500。
话语树间链接561连接话语树511和521，话语树间链接562连接话语树521和531，话语树间链接563连接话语树511和541，并且话语树间链接564连接话语树521和551。基于话语树间链接561-564，MMDT生成模块120创建分别与话语树间链接561、562、563和564对应的文档间链接571、572、573和574。文档间链接571-574可以用于导航文档512、522、532、542和552。
MMDT生成模块120确定话语树511-515中的第一话语树内的一个或多个实体。实体的示例包括地方、事物、人或公司。MMDT生成模块120然后识别在其它话语树中存在的相同实体。基于所确定的实体，MMDT生成模块120确定每个匹配实体之间的修辞相互关系。这些确定可以利用用于生成话语树的相同话语规则。
例如，如果实体“San Francisco(旧金山)”出现在文档512中，例如，“SanFrancisco is in California(旧金山位于加利福尼亚州)”，并且文档522进一步解释“SanFrancisco has a moderate climate but can be quite windy(旧金山气候温和，但可能风很大)”，那么MMDT生成模块120可以确定实体“San Francisco”之间的修辞相互关系是“阐述”之一，并且将链接561和571标记为“阐述”。在一些实施例中，MMDT生成模块120可以利用话语解析器来解析EDU的组合(例如，来自文档512的“San Francisco is inCalifornia”和来自文档522的“San Francisco has a moderate climate but can bequite windy”)，以识别其中一个是对另一个的阐述。在一些实施例中，相互关系可以是单向的，或者可以使用多个修辞相互关系来表示双向相互关系(例如，以指示两个EDU中的每一个是另一个的阐述)。继续该示例，MMDT生成模块120基于所确定的修辞相互关系确定链接562-564和对应的链接572-574。MMDT生成模块120组合文档的段落的话语树以形成扩展话语树500。
通过使用扩展话语树500中的链接，MMDT生成模块120可以在同一文档的段落之间或者在文档(例如，文档512和522)之间进行导航。例如，如果用户对关于特定主题的更多信息感兴趣，那么MMDT生成模块120可以在段落内通过从核心到卫星的阐述修辞关系导航，或通过到提供关于主题的更具体信息的文档的阐述修辞关系超链接来导航。
相反，如果用户决定所建议的主题不完全是所需要的主题，那么用户可以返回到文档的更高级别的视图(例如，从卫星到核心，或者从窄文档到宽文档)。进而，MMDT生成模块120可以以相反的顺序导航阐述相互关系，即，在段落处或在文档之间从卫星到核心。类似地，MMDT生成模块120可以促进其它导航选项，诸如依靠对照或条件修辞相互关系来探索有争议的主题。
为了在不同段落或文档中的文本片段之间构建修辞链接，MMDT生成模块120可以通过使用虚构的文本片段或临时段落来从原始段落的相应文本片段中识别实体之间的相互关系，并且对该段落执行共指分析和话语解析。在一些实施例中，MMDT生成模块120可以利用本体(例如，图1的本体117)来基于该本体中提供的相互关系来识别实体之间的相互关系。
图6描绘了根据至少一个实施例的用于创建扩展话语树(例如，图5的扩展话语树500)的处理600的示例的流程图。处理600的输入是文档集合，并且输出是扩展话语树，其被编码为带有每个节点的文档标识标签的常规话语树。出于示例的目的，关于两个文档描述了处理600，例如文档110a-b(例如，在图2的201处获得的语料库文本的示例)，但是处理600可以使用任意数量的文档。
在方框601处，处理600涉及访问第一文档和第二文档。文档的示例包括文本、书籍、新闻文章和其它电子文本文档。在执法领域内提供的示例中，文档可以是与涉嫌犯罪的实例对应的任何合适的文本文档。这些文档可以包括警方报告、证人/受害者/涉嫌犯罪者的陈述等。
在一方面，MMDT生成模块120执行文档分析，该文档分析包括生成表示文档的句子和短语结构的文档树。与文档间链接相关联的修辞关系可以确定不同的导航场景。默认情况下，可以使用阐述。如果用户对诸如“为什么”或“如何”之类的问题感兴趣，那么MMDT生成模块120可以提供到通过归因关系相关的另一个文档的链接。如果用户表示不同意原始呈现的文档或者要求提供与当前文档对比的文档，那么MMDT生成模块120可以提供到通过对照关系相关的文档的链接。
在另一方面，MMDT生成模块120获得第一和第二文档。在方框602处，处理600涉及为第一文档的第一段落创建第一话语树。MMDT生成模块120访问第一文档中的段落。段落的每个句子都包含片段或基本话语单元。至少一个片段包括动词。片段中的每个词语包括该词语在片段内的角色，例如功能。MMDT生成模块120根据上面结合图3描述的技术生成表示片段之间的修辞相互关系的话语树。话语树包括多个节点，每个非终端节点表示两个片段之间的修辞相互关系，并且每个终端节点与片段之一相关联。MMDT生成模块120以这种方式继续，从而为第一文档中的每个段落构建话语树集合。处理600是关于作为文本单元的段落来描述的，但是可以使用其它大小的文本(例如，句子、页面、章节等)。
在方框603处，处理600涉及为第二文档的第二段落创建第二话语树。在方框603处，处理600对第二文档执行与在方框602处对第一文档执行的步骤基本相似的步骤。在处理600为两个以上的文档创建扩展话语树的情况下，处理600对多个文档执行在方框602处描述的功能。处理600可以遍历话语树集合中的所有话语树对，其中每个话语树对应于一个文档。话语树对可以表示为：
DTiandDTj∈DTA。
在方框604处，处理600涉及从第一话语树确定实体和对应的第一基本话语单元。可以使用各种方法，诸如关键字处理(在第一文档的句子中搜索预定义关键字列表中的一个关键字)、使用经训练的机器学习模型，或搜索互联网资源。MMDT生成模块120识别话语树DTi和DTj中的所有名词短语和命名实体。
在示例中，MMDT生成模块120从话语树中提取名词短语。MMDT生成模块120然后通过使用经训练的机器学习模型将名词短语分类为(i)实体或(ii)非实体。
在方框605处，处理600涉及在第二话语树中确定与第一基本话语单元匹配的第二基本话语单元。更具体而言，MMDT生成模块120计算重叠并识别DTi和DTj之间的公共实体Ei,j。MMDT生成模块120建立Ei,j中实体的出现之间的相互关系，诸如等于(equals)、子实体(sub-entity)或部分(part-of)。MMDT生成模块120然后为Ei,j中的每个实体对的出现形成段落间修辞链接R(Ei,j)。
在方框606处，处理600涉及响应于确定第一基本话语单元和第二基本话语单元之间的修辞相互关系，经由修辞相互关系链接第一话语树和第二话语树，从而创建扩展话语树。更具体而言，MMDT生成模块120通过形成文本片段(例如，EDU(Ei)和EDU(Ej))的合并、构建其DT并使用每个修辞链接的识别出的关系标签来对该修辞链接的修辞关系进行分类。
在一方面，MMDT生成模块120将第一基本话语单元和第二基本话语单元组合成临时段落。话语导航应用102然后通过对临时段落应用话语解析来确定临时段落内的第一基本话语单元和第二基本话语单元之间的修辞相互关系。
在另一方面，响应于未确定修辞相互关系，MMDT生成模块120在第一基本话语单元和第二基本话语单元之间创建阐述类型的默认修辞相互关系，并且链接第一话语树和第二话语树。
在一方面，MMDT生成模块120执行跨文档的文本区段之间的链接的自动构建和分类。这里可以使用以下方法系列：词汇距离、词汇链、信息提取和语言模板匹配。词汇距离可以使用跨成对句子的余弦相似度，并且词汇链可以更稳健地利用同义词(synonymy)和上义词(hypernymy)。
扩展话语树可以在不同粒度级别的两个或更多个文档之间形成相互关系。例如，可以确定基本话语单元之间的相互关系，如关于处理600所描述的。此外，扩展话语树可以表示词语、句子、段落、文档的各部分或整个文档之间的相互关系。如所绘出的，每个单独的图由每个单独文档的较小子图组成。表示单个文档内的主题之间的逻辑连接的链接被示出。
图7还描绘了根据一方面的不同粒度级别的文档的文本单元之间的相互关系。图7描绘了话语树701、702和703，每个话语树都对应于单独的文档。图7还描绘了各种文档间链接，诸如链接文档702和703中的词语的词语链接710、链接文档701和702中的段落或句子的段落/句子链接711、链接文档701和703中的短语的短语链接712，以及链接文档701和703的跨文档链接713。MMDT生成模块120可以使用链接710-713在文档701-703之间导航。
诸如由处理700创建的扩展话语树可以用于导航文档或其它文本主体。扩展话语树支持不同的应用，诸如自主代理、改进的搜索和导航、以及问题-答案协调。在一些实施例中，诸如由处理700创建的EDT可以至少部分地用作训练数据来训练分类器(例如，图1的分类器112)以对输入(例如，包括文本和/或基于数值的数据的任何合适的输入)进行分类。
返回到图2，在205处，可以获得伴随的数据记录。在当前使用警察记录的示例中，伴随的数据记录可以包括任何合适的数据记录。仅作为示例，该示例的(一个或多个)数据记录可以包括呼叫日志、位置数据、金融交易(例如，银行对账单)、网页访问、图像等。数据记录一般可以从相同或不同的来源获得。这些来源可能与文本数据的来源不同。
在206处，每个数据记录可以将记录的至少一些部分转换成统一形式。例如，每个数据源可以被转换成具有归一化命名实体的统一、规范形式，诸如：时间、日期、位置、人名、电话号码、账号(如果可用的话)。在一些实施例中，转换的具体形式和/或内容可以取决于上下文和预定义规则集合。在一些实施例中，虽然该信息最初可以以不同的形式或者通过不同的标识符来提供，但是可以利用规则集合和/或本体117来识别统一的标识符(例如，名称)并且每个记录的数据可以与标识符(例如，原始包括的标识符和/或统一标识符)相关联。
在207处，对于(例如，从文本语料库生成的)EDT的每个基本话语单元(EDU)，可以识别可以潜在地与伴随的数据记录相关联的多个候选短语。在一些实施例中，识别特定候选短语(例如，特定EDU)可以取决于域和用于识别此类候选短语的预定义协议。
在208处，对于每个候选短语，MMDT生成模块120可以识别候选短语的实体。在一些实施例中，识别出的特定实体可以取决于上下文/域和预定义规则集合。在一些实施例中，虽然该信息最初可以以不同的形式或通过不同的标识符来提供，但是可以利用规则集合和/或本体117来识别统一的标识符(例如，名称)并且可以将候选短语与标识符(例如，原始包括的标识符和/或统一标识符)相关联。
在209处，MMDT生成模块120可以识别数据记录和候选短语之间和/或数据记录之间匹配的实体。例如，MMDT生成模块120可以遍历每个数据记录的每个实体并将这些实体与和其它数据记录相关联的实体进行比较。对于找到的任何合适数量的匹配，可以维护具有匹配实体的两个数据记录之间的关联。在一些实施例中，可以维护匹配数据记录的列表。作为另一个示例，MMDT生成模块120可以遍历每个候选短语并将候选短语的一个或多个实体和与每个数据记录相关联的实体进行比较。如果在候选短语和数据记录之间找到匹配，那么可以维护指示该匹配的关联。在一些实施例中，可以维护匹配的EDU/数据记录对的列表。
在210处，MMDT生成模块120可以执行操作以确定数据记录之间和/或EDU(候选短语)与数据记录之间的因果链接。通常，多个数据记录是相互连接的并且表示相关事件，它们中的一些事件导致其它事件。一种用于(例如，当一个数据记录中引用的事件导致另一个数据记录中和/或EDU与数据记录之间引用的事件时)识别因果链接的算法。例如，如果人A呼叫人B，然后人A将钱转给人B，那么可以采用规则集合来识别前一个事件导致了后一个事件。在一些实施例中，这些规则可以基于数据记录中的值之间不存在巧合的前提：如果它们共享值，那么较早的事件导致较晚的事件。因此，数据记录可以被识别为另一个数据记录或文本中描述的事件的原因，反之亦然。
提供了一种用于识别因果链接的算法(例如，因果链接识别算法)。在一些实施例中，可以利用两个运算符R(.)(理由)和C(.)(结论)以及附加的否定。需要两个否定运算符：用于否定命题公式(表示x为假)，以及-用于否定R(.)和C(.)。论据(argument)是R(y):(-)C(x)形式的公式。论据是得出声明的结论的理由。它有两个主要部分：前提(理由)和结论。函数R和C分别起到给出理由和得出结论的作用。论据可以被解释如下：它的结论成立，因为根据给定的概念，它是从前提得出的。概念是指在定义中形式上由冒号识别出的它们之间的链接的性质(例如，前提暗示结论)。但是，当函数不成立时，结论可能为真，反之亦然。
例如，R(y):C(x)对应于指示“y是得出结论x的理由”的输出，并且R(y):-C(x)对应于指示“y是未得出结论x的理由”的输出。处理嵌套的论据对于找到失败的答案是重要的，因为只单独处理论证的对象级或元级层是不够的。嵌套的论据对于处理文本和对话至关重要：必须提供对嵌套的论据和反驳的支持。表2示出了预定义的定义集合允许的各种形式的论据和反驳(x、y、z、t是简化事项的命题公式)。该表并不详尽。
表2话语表示或论据及其反驳
表2的示例论据涉及信用卡的功能。默认情况下，信用卡有效(可操作)，特别是在账户余额为正的情况下。但是，也有例外：无论出于何种原因，银行可能会拒绝交易。这些示例说明可以使用论证挖掘技术潜在地识别内部和外部原因R以及声明C。此外，通过递归，可以通过论证挖掘技术来识别内在理由和声明。因此，嵌套的结构似乎更适合作为论据的目标语言，因为它们出现在自然语言对话和文本中。
表3包括可以由MMDT生成模块120使用以从EDU提取逻辑原子(例如，候选短语)、将修辞关系转换成R-C运算符并形成论据的逻辑表示的模板。为此，可以构建与银行业务ch(g)相关的感兴趣表达的语义表示。这些语义表示可以与EDU相关联。所确定的话语树的结构然后可以用于形成L中的R-C表示，其在下游部件中接受论证分析。
表3。所选择的示例的话语树和/或理由-结论表示
MMDT生成模块120可以根据上面和/或下面提供的规则生成两个因果链(例如，一个来自从文本语料库生成的话语树的EDU/片段，另一个来自从数据记录的文本生成的EDU、来自两个话语树的相应EDU、来自从两个不同数据记录的文本生成的相应EDU等)并确定第一个链的结果是否是由后者或前者引起或暗示的。论据及其反驳集合可以作为公式集合来提供，其中一些在下面标识。结果运算符是用一个元规则扩展的推理规则集合的最小闭包。这些预定义规则可以用于确定是否识别出EDU与数据记录之间和/或数据记录之间的因果链接(例如，修辞关系“原因”)。下面提供了其中一些规则，
元规则表示可以将任何推理规则
逆转为
每当最左边的“R”前面出现否定时，就会发生推理规则逆转处理，使得在一般情况下，推理规则1其中i，j∈{0，1}。
理由是可互换的。以下规则可以指示相互支持：
另一条规则在单个论据内收集同一结论的不同理由：
谨慎的单调性意味着论据的理由可以用它所证明的任何前提来扩展。切割(Cut)表达了论据的理由的最小化形式。
接下来的两条规则描述了R(.)和C(.)的嵌套。导出显示了如何简化元论据，并且排列显示了对于一些形式的元论据，理由的排列是可能的。
当是遵守上述规则的最小推理关系时，自反性、单调性和切割成立，这意味着对于结果关系，推理规则对论据的操纵是有根据的。令Δ是论据(的反驳的)集合。令α和β为论据。
Δα如果α∈Δ(自反性)
Δ∪{α}β如果Δβ(单调性)
Δβ如果Δ∪{α}β并且Δα(切割)
在212处，MMDT生成模块120可以执行用于确认在209和/或210处识别出的匹配和/或因果链接的任何合适的操作。这可以包括遍历每个因果链接，包括那些链接数据记录和那些将数据记录链接到EDT(例如，链接到EDU/EDT的候选短语)的因果链接。从EDT开始，MMDT生成模块120可以为确认的实体匹配和/或因果链接中涉及的每个数据记录生成节点和边以生成MMDT。作为示例，如果在两个数据记录之间或数据记录与从文本语料库生成的EDU之间识别出实体匹配，并且在一个(或两个)数据记录的EDT中尚不存在节点，那么可以(例如，针对每个数据记录)生成新节点，并且一个数据记录的新节点可以链接到从语料库生成的EDU或为另一个数据记录生成的新节点，这取决于特定的使用情况。例如，如果从语料库生成的EDU包含与数据记录中找到的实体匹配的实体(例如，它们都包含在图1的本体117中找到的项、它们都包含匹配的名词，诸如“San Francisco”，等等)，并且数据记录的节点尚不存在，那么MMDT生成模块120可以为EDT生成新节点，并且可以使用与修辞关系(例如，“阐述”)相关联的边将与EDU对应的节点链接到新节点。在一些实施例中，MMDT生成模块120可以经由一种修辞关系(例如，“阐述”)链接实体匹配，而因果链接可以在MMDT中经由不同的修辞关系(例如，“原因”)链接。
图8描绘了根据至少一个实施例的多模态话语树800的示例。图8描绘了图5的扩展话语树500，其具有与数据记录802、804和806对应的附加边。
除了特定话语树(例如，话语树511、521、531、541和551)内之间的链接之外，扩展话语树500还包括话语树间链接561-564和相关联的文档间链接571-574。如关于图6进一步解释的，MMDT生成模块120可以构造话语树511-515。话语树511表示文档512，话语树521表示文档522，以此类推。可以通过为每个段落或文档构建话语树(例如，DT和/或CDT)来构建扩展话语树500。话语树511-515可以从语料库的文本构建。
话语树间链接561连接话语树511和521，话语树间链接562连接话语树521和531，话语树间链接563连接话语树511和541，并且话语树间链接564连接话语树521和551。基于话语树间链接561-564，MMDT生成模块120创建分别与话语树间链接561、562、563和564对应的文档间链接571、572、573和574。文档间链接571-574可以用于导航文档512、522、532、542和552。
MMDT生成模块120确定话语树511-515中的第一话语树内的一个或多个实体。实体的示例包括地方、事物、人或公司。MMDT生成模块120然后识别在其它话语树中存在的相同实体。基于所确定的实体，MMDT生成模块120确定每个匹配实体之间的修辞相互关系。
如上所述，MMDT生成模块120可以被配置为识别话语树511-515中的第一话语树的EDU内的一个或多个实体以及数据记录。例如，MMDT生成模块120可以识别在话语树510和数据记录802内引用的实体。基于所确定的实体，MMDT生成模块120可以生成链接808(例如，边)。
在一些实施例中，MMDT生成模块120可以被配置为识别话语树511-515中的第一话语树的EDU和数据记录内和/或数据记录之间的一个或多个因果链接。例如，使用上面结合图2识别出的算法，MMDT生成模块120可以识别数据记录802和804之间以及话语树541(或话语树541的EDU)和数据记录806之间的因果链接。MMDT生成模块120可以基于这些识别分别生成因果链接810和812。
通过使用扩展话语树500中的链接，MMDT生成模块120可以在同一文档的段落之间或在文本语料库的文档之间以及在数据记录和话语树之间导航。MMDT 800可以至少最初不包括与链接808-812对应的修辞关系。
返回到图2，在214处，MMDT生成模块120可以执行用于识别在212处确认的短语/数据记录匹配/链接和识别出的数据记录/数据记录匹配/链接之间的修辞关系的操作。为了识别文本片段之间的修辞关系，MMDT生成模块120可以通过使用虚构的文本片段或临时段落来从原始段落的相应文本片段中识别实体之间的相互关系，并且对该段落执行共指分析和话语解析。在一些实施例中，MMDT生成模块120可以利用本体(例如，图1的本体117)来基于该本体中提供的相互关系来识别实体之间的相互关系。识别出的修辞相互关系可以与图8的链接808-812相关联。
在216处，MMDT生成模块120可以执行用于将数据记录(例如，数据记录808-812)识别为对应于EDT的核心或卫星的操作。可以利用任何合适的预定义规则集合来将数据记录识别为对应于EDT(例如，与其相关联的候选短语/EDU)的核心或卫星。
在218处，生成的MMDT可以被转换成归一化的MMDT。该转换可以包括生成用于数据记录的n EDU并且根据在216处做出的确定将所生成的EDU附加到EDT。下面提供了简单的示例，其中先前链接到一对文本EDU并与阐述修辞关系连接的数据记录可以作为EDU被添加。根据预定义的规则集合，可以插入修辞关系(原因)来强化核心。可以对每个数据记录执行该处理，直到每个数据记录作为EDU被包括在现在完整的MMDT中。
图9还描绘了根据至少一个实施例的不同粒度级别的文档的文本单元之间的相互关系以及这些文本单元与MMDT的相关数据记录之间的相互关系。图9描绘了MMDT 900，其包括话语树901、902和903，每个话语树对应于单独的文档(例如，分别使用上文在图3和图4处描述的技术生成的DT或CDT的示例)。图9还描绘了各种文档间链接，诸如链接文档902和903中的词语的词语链接910、链接文档901和902中的段落或句子的段落/句子链接911、链接文档901和903中的短语的短语链接912，以及链接文档901和903的跨文档链接913。MMDT 900还包括数据记录905-909。MMDT 900可以包括以上面结合图2描述的方式识别出的任何合适数量的因果链接(例如，因果链接910-912)和/或实体链接(例如，实体链接913-915)。在一些实施例中，数据记录905-909中的每一个可以作为EDU被包括在它们所链接到的话语树901-903内。MMDT生成模块120可以使用任何合适的链接来在文档901-903和/或数据记录905-909之间导航。
图10描绘了根据至少一个实施例的用于生成多模态话语树的方法1000的流程。在一些实施例中，方法1000可以由图1的计算设备102(例如，图1的应用106、图1的MMDT生成模块120)执行。方法1000的操作可以以任何合适的顺序执行。在一些实施例中，方法1000可以包括比图10中描绘的操作更多的操作，或者比图10中描绘的操作更少的操作。
方法1000可以开始于1001，其中可以(例如，分别从图1的文本数据116和记录数据存储库118)获得文本语料库以及与文本语料库分离的一个或多个数据记录。一个或多个数据记录可以从任何合适的来源获得。在一些实施例中，一个或多个数据记录的来源可以文本语料库的来源不同。
在1002处，可以为文本语料库生成扩展话语树(例如，图5和图8的EDT 500)。在一些实施例中，扩展话语树包括多个话语树(例如，各自是图3的DT 300或图4的CDT 400的示例)。在一些实施例中，每个话语树包括多个节点，其中话语树的每个终端节点与文本的片段(和/或数据记录)对应，话语树的每个非终端节点指示话语树的节点之间的修辞相互关系。在一些实施例中，扩展话语树包括多个话语树之间的附加链接，其指示各个话语树的节点之间的附加修辞相互关系。
在1003处，可以识别多个话语树中的基本话语单元集合与一个或多个数据记录之间(和/或基本话语单元之间)的实体匹配。在一些实施例中，通过将从基本话语单元识别出的第一实体与从数据记录识别出的第二实体进行比较来识别实体匹配。
在1004处，可以识别一个或多个因果链接。例如，可以执行(例如，结合图2描述的)因果链接识别算法来识别一个或多个数据记录中的两个数据记录之间的一个或多个因果链接。
在1005处，识别出每个实体匹配的对应修辞相互关系以及一个或多个因果链接中的每个因果链接。作为示例，可以为每个实体匹配识别“阐述”修辞相互关系，而可以为每个因果链接识别“原因”修辞相互关系。
在1006处，可以为扩展话语树生成针对识别出的每个实体匹配和针对识别出的每个因果链接的相应节点。
在1007处，可以至少部分地基于所确定的对应修辞相互关系将针对每个实体匹配和针对每个因果链接生成的相应节点链接到扩展话语树的相应节点，从而创建多模态话语树(例如，图8和图9的MMDT 800和900)。
在一些实施例中，生成扩展话语包括：i)从文本语料库的第一文本生成第一话语树，第一话语树与第一文本的第一部分对应，ii)从文本语料库的第二文本生成第二话语树，第二话语树与第二文本的第二部分对应；以及iii)响应于确定第一话语树和第二话语树的相应基本话语单元之间的特定修辞相互关系，使用特定修辞相互关系链接第一话语树和第二话语树。
在一些实施例中，第一话语树和第二话语树是包括为第一话语树和第二话语树的每个基本话语单元生成的相应动词签名的交流话语树。
在一些实施例中，识别实体还包括比较从数据记录识别出的第二实体和从第二数据记录识别出的第三实体，其中实体是指以下之一(i)个人、(ii)公司、(iii)位置、(iv)文档的名称、或(v)日期或时间。
在一些实施例中，识别实体匹配还包括从预定义的本体中识别实体。
在一些实施例中，方法1000还可以包括至少部分地基于多模态话语树对后续输入进行分类，其中对后续输入进行分类包括：i)生成包括多个多模态话语树的训练数据集，每个多模态话语树与相应的文本语料库和相应的数据记录集合对应，每个多模态话语树与对应于分类的标签相关联；ii)训练机器学习模型以至少部分地基于训练数据集和监督学习算法对输入进行分类；iii)从后续输入生成对应的多模态话语树，后续输入包括相应的文本集合和相应的数据记录集合；以及iv)至少部分地基于将从后续输入生成的对应多模态话语提供给机器学习模型作为输入并接收来自机器学习模型的指示后续输入的分类的输出来对后续输入进行分类。
在一些实施例中，方法1000还包括使用多模态话语树来导航文本语料库，其中导航文本语料库包括：访问多模态话语树；从多模态话语树中确定响应于来自用户设备的查询的第一基本话语单元，第一基本话语单元与多模态话语树的第一话语树的第一节点对应；从多模态话语树确定一组导航选项，包括以下至少两个：(i)第一话语树的第一节点和第一话语树的第二节点之间的第一修辞相互关系，以及(ii)第一节点和多模态话语树的第二话语树的第三节点之间的第二修辞相互关系，或者iii)第一话语树的第一节点和多模态话语树的第四节点之间与对应数据记录相关联的第三修辞相互关系；向用户设备呈现第一、第二或第三修辞相互关系中的至少两个；以及响应于接收到包括对第一修辞相互关系、第二修辞相互关系或第三修辞相互关系的选择的附加用户输入：i)至少部分地基于确定所述选择对应于第一修辞相互关系来呈现与第二节点对应的第二基本话语单元，ii)至少部分地基于确定所述选择对应于第一修辞相互关系来呈现与第三节点对应的第三基本话语单元，或者iii)至少部分地基于确定所述选择对应于第三修辞相互关系来呈现对应数据记录的至少一部分。
示例性计算系统
图11描绘了用于实现这些方面之一的分布式系统1100的简化图。在所示方面中，分布式系统1100包括一个或多个客户端计算设备1102、1104、1106和1108，其被配置为通过一个或多个网络1110执行和操作客户端应用，诸如web浏览器、专有客户端(例如，OracleForms)等。服务器1112可以经由网络1110与远程客户端计算设备1102、1104、1106和1108通信地耦合。
在各种方面中，服务器1112可以适于运行由系统的一个或多个部件提供的一个或多个服务或软件应用。服务或软件应用可以包括非虚拟和虚拟环境。虚拟环境可以包括用于虚拟事件、展览、模拟器、教室、购物交易场所和企业的环境，无论是二维或三维(3D)表示、基于页面的逻辑环境还是其他形式。这些服务可以被提供为基于web的服务或云服务，或者在软件即服务(SaaS)模型下被提供给客户端计算设备1102、1104、1106和/或1108的用户。操作客户端计算设备1102、1104、1106和/或1108的用户进而可以利用一个或多个客户端应用来与服务器1112进行交互以利用由这些部件提供的服务。
在图中所描绘的配置中，分布式系统1100的软件部件1118、1120和1122被示出为在服务器1112上实现。在其它方面中，分布式系统1100的一个或多个部件和/或由这些部件提供的服务也可以由客户端计算设备1102、1104、1106和/或1108中的一个或多个来实现。然后，操作客户端计算设备的用户可以利用一个或多个客户端应用来使用由这些部件提供的服务。这些部件可以用硬件、固件、软件或其组合来实现。应该认识到的是，各种不同的系统配置是可能的，其可能与分布式系统1100不同。图中所示的方面因此是用于实现方面系统的分布式系统的一个示例，而不旨在进行限制。
客户端计算设备1102、1104、1106和/或1108可以是便携式手持设备(例如，蜂窝电话、计算平板电脑、个人数字助理(PDA))或可穿戴设备(例如，Google头戴式显示器)，其运行诸如Microsoft Windows和/或各种移动操作系统(诸如iOS、Windows Phone、Android、BlackBerry 10、Palm OS等)的软件，并且启用互联网、电子邮件、短消息服务(SMS)、或其它通信协议。客户端计算设备可以是通用个人计算机，作为示例，包括运行各种版本的MicrosoftApple和/或Linux操作系统的个人计算机和/或膝上型计算机。客户端计算设备可以是运行各种可商业获得的或类UNIX操作系统(包括但不限于各种GNU/Linux操作系统，诸如例如Google Chrome OS)中的任何操作系统的工作站计算机。替代地或附加地，客户端计算设备1102、1104、1106和1108可以是能够通过(一个或多个)网络1110通信的任何其它电子设备，诸如瘦客户端计算机、启用互联网的游戏系统(例如，具有或不具有姿势输入设备的微软Xbox游戏控制台)和/或个人消息传送设备。
虽然示例性分布式系统1100被示出为具有四个客户端计算设备，但是可以支持任何数量的客户端计算设备。其它设备(诸如具有传感器的设备等)可以与服务器1112进行交互。
分布式系统1100中的(一个或多个)网络1110可以是本领域技术人员熟悉的、可以使用各种可商业获得的协议中的任何协议支持数据通信的任何类型的网络，其中协议包括但不限于TCP/IP(传输控制协议/互联网协议)、SNA(系统网络体系架构)、IPX(互联网分组交换)、AppleTalk等。仅仅作为示例，(一个或多个)网络1110可以是局域网(LAN)，诸如基于以太网、令牌环等的局域网。(一个或多个)网络1110可以是广域网和互联网。它可以包括虚拟网络，包括但不限于虚拟专用网(VPN)、内联网、外联网、公共交换电话网(PSTN)、红外网络、无线网络(例如，依据电子电气协会(IEEE)802.9协议套件、和/或任何其它无线协议中的任何协议操作的网络)；和/或这些和/或其它网络的任何组合。
服务器1112可以由以下来组成：一个或多个通用计算机、专用服务器计算机(作为示例，包括PC(个人计算机)服务器、服务器、中型服务器、大型计算机、机架安装的服务器等)、服务器场、服务器集群或任何其它适当的布置和/或组合。服务器1112可以包括运行虚拟操作系统或涉及虚拟化的其他计算架构的一个或多个虚拟机。可以虚拟化逻辑存储设备的一个或多个灵活池，以维护服务器的虚拟存储设备。服务器1112可以使用软件定义的网络来控制虚拟网络。在各种方面中，服务器1112可以适于运行在前述公开中所描述的一个或多个服务或软件应用。例如，服务器1112可以与用于执行以上根据本公开的方面描述的处理的服务器对应。
服务器1112可以运行包括任何以上讨论的操作系统以及任何可商业获得的服务器操作系统的操作系统。服务器1112还可以运行任何各种附加的服务器应用和/或中间层应用，包括HTTP(超文本传输协议)服务器、FTP(文件传输协议)服务器、CGI(公共网关接口)服务器、服务器、数据库服务器等。示例性数据库服务器包括但不限于从Oracle、Microsoft、Sybase、IBM(国际商业机器)等可商业获得的那些数据库服务器。
在一些实现中，服务器1112可以包括一个或多个应用，以分析和整合从客户端计算设备1102、1104、1106和1108的用户接收到的数据馈送和/或事件更新。作为示例，数据馈送和/或事件更新可以包括但不限于：馈送、更新或者从一个或多个第三方信息源接收到的实时更新和连续数据流，其可以包括与传感器数据应用、金融报价机(ticker)、网络性能测量工具(例如，网络监视和流量管理应用)、点击流分析工具、汽车交通监视等相关的实时事件。服务器1112还可以包括一个或多个应用，以经由客户端计算设备1102、1104、1106和1108的一个或多个显示设备来显示数据馈送和/或实时事件。
分布式系统1100还可以包括一个或多个数据库1114和1116。数据库1114和1116可以驻留在各种位置中。作为示例，数据库1114和1116中的一个或多个数据库可以驻留在服务器1112本地的(和/或驻留在服务器1112中的)非瞬态存储介质上。替代地，数据库1114和1116可以远离服务器1112，并且经由基于网络的连接或专用的连接与服务器1112进行通信。在一组方面中，数据库1114和1116可以驻留在存储区域网络(SAN)中。类似地，用于执行服务器1112所具有的功能的任何必要的文件都可以适当地本地存储在服务器1112上和/或远程存储。在一组方面中，数据库1114和1116可以包括适于响应于SQL格式的命令而存储、更新和检索数据的关系数据库，诸如由Oracle提供的数据库。
图12是根据本公开的方面的系统环境1200的一个或多个部件的简化框图，通过该系统环境1200，由一方面系统的一个或多个部件提供的服务可以被提供为云服务。在所示方面中，系统环境1200包括可以由用户使用以与提供云服务的云基础设施系统1202进行交互的一个或多个客户端计算设备1204、1206和1208。客户端计算设备可以被配置为操作客户端应用，诸如web浏览器、专有客户端应用(例如，Oracle Forms)或某种其它应用，客户端应用可以由客户端计算设备的用户用来与云基础设施系统1202进行交互以使用由云基础设施系统1202提供的服务。
应该认识到的是，图中描绘的云基础设施系统1202可以具有除了所描绘的那些部件之外的其它部件。另外，图中所示的方面仅是可以结合本发明的方面的云基础设施系统的一个示例。在一些实施例中，云基础设施系统1202可以具有比图中所示更多或更少的部件、可以组合两个或更多个部件、或者可以具有不同的部件配置或布置。
客户端计算设备1204、1206和1208可以是与上面针对客户端计算设备1102、1104、1106和1108所描述的设备类似的设备。
虽然示例性系统环境1200被示出具有三个客户端计算设备，但是可以支持任何数量的客户端计算设备。诸如具有传感器的设备等之类的其它设备可以与云基础设施系统1202进行交互。
(一个或多个)网络1210可以促进计算设备1204、1206和1208与云基础设施系统1202之间的数据交换和通信。每个网络可以是本领域技术人员所熟悉的可以使用各种商业上可获得的协议(包括上面针对(一个或多个)网络1210所描述的那些协议)中的任何协议支持数据通信的任何类型的网络。
云基础设施系统1202可以包括一个或多个计算机和/或服务器，其可以包括上面针对服务器1212所描述的那些计算机和/或服务器。
在某些方面中，由云基础设施系统提供的服务可以包括按需对云基础设施系统的用户可用的许多服务，诸如在线数据存储和备份解决方案、基于Web的电子邮件服务、托管的办公室套件和文档协作服务、数据库处理、受管理的技术支持服务等。由云基础设施系统提供的服务可以动态扩展以满足其用户的需要。由云基础设施系统提供的服务的具体实例化在本文中被称为“服务实例”。一般而言，从云服务提供商的系统经由通信网络(诸如互联网)对用户可用的任何服务被称为“云服务”。通常，在公共云环境中，构成云服务提供商的系统的服务器和系统与客户自己的本地部署的服务器和系统不同。例如，云服务提供商的系统可以托管应用，并且用户可以经由诸如互联网之类的通信网络按需订购和使用应用。
在一些示例中，计算机网络云基础设施中的服务可以包括对存储装置、被托管的数据库、被托管的Web服务器、软件应用或由云供应商向用户提供的其它服务的受保护的计算机网络访问，或者可以包括如本领域中已知的其他方式的访问。例如，服务可以包括通过互联网对云上的远程存储装置进行受密码保护的访问。作为另一个示例，服务可以包括基于web服务的被托管的关系数据库和脚本语言中间件引擎，以供联网的开发人员私有使用。作为另一个示例，服务可以包括对在云供应商的网站上托管的电子邮件软件应用的访问。
在某些方面中，云基础设施系统1202可以包括以自助服务、基于订阅、弹性可扩展、可靠、高度可用和安全的方式递送给客户的应用、中间件和数据库服务产品的套件。这种云基础设施系统的示例是由本受让方提供的Oracle公共云。
大量数据(有时称为大数据)可以由基础设施系统在许多级别和不同规模上托管和/或操纵。这样的数据可能包含如下数据集，该数据集过于庞大而复杂以致于很难使用典型的数据库管理工具或传统的数据处理应用进行处理。例如，使用个人计算机或其基于机架的对应物可能难以存储、检索和处理太字节(terabyte)级的数据。使用最新的关系数据库管理系统以及桌面统计数据和可视化程序包可能难以处理这种大小的数据。它们可能需要运行数千台服务器计算机的超出常用软件工具的结构的大规模并行处理软件，以在可容忍的经过时间内捕获、整理、管理和处理数据。
分析人员和研究人员可以存储和操纵非常大的数据集，以可视化大量数据，检测趋势和/或以其他方式与数据进行交互。并行链接的数十个、数百个或数千个处理器可以对此类数据进行操作，以便呈现该数据或模拟对该数据或它表示的内容的外力。这些数据集可能涉及结构化数据(例如，在数据库中组织的数据或根据结构化模型以其他方式组织的数据)和/或非结构化数据(例如，电子邮件、图像、数据blob(二进制大对象)、网页、复杂事件处理)。通过利用一方面的能力来相对快速地将更多(或更少)计算资源集中在目标上，可以基于企业、政府机构、研究组织、私人、志趣相投的个人或组织的组或其他实体的需求，更好地利用云基础架构系统来对大型数据集执行任务。
在各种方面中，云基础设施系统1202可以适于自动供应、管理和跟踪客户对由云基础设施系统1202提供的服务的订阅。云基础设施系统1202可以经由不同的部署模型来提供云服务。例如，可以在公共云模型下提供服务，其中云基础设施系统1202被销售云服务的组织拥有(例如，被Oracle拥有)，并且服务对公众或不同行业的企业可用。作为另一个示例，可以在私有云模型下提供服务，其中云基础设施系统1202仅针对单个组织进行操作，并且可以为该组织内的一个或多个实体提供服务。还可以在社区云模型下提供云服务，其中云基础设施系统1202和由云基础设施系统1202提供的服务由相关社区中的若干组织共享。还可以在混合云模型下提供云服务，该混合云模型是两个或更多个不同模型的组合。
在一些实施例中，由云基础设施系统1202提供的服务可以包括在软件即服务(SaaS)类别、平台即服务(PaaS)类别、基础设施即服务(IaaS)类别或包括混合服务的其它服务类别下提供的一个或多个服务。客户经由订阅订单可以订购由云基础设施系统1202提供的一个或多个服务。云基础设施系统1202然后执行处理以提供客户的订阅订单中的服务。
在一些实施例中，由云基础设施系统1202提供的服务可以包括但不限于应用服务、平台服务和基础设施服务。在一些示例中，应用服务可以由云基础设施系统经由SaaS平台提供。SaaS平台可以被配置为提供落入SaaS类别的云服务。例如，SaaS平台可以提供在集成开发和部署平台上构建和递送按需应用套件的能力。SaaS平台可以管理和控制用于提供SaaS服务的底层软件和基础设施。通过利用由SaaS平台提供的服务，客户可以利用在云基础设施系统上执行的应用。客户可以获取应用服务，而无需客户购买单独的许可和支持。可以提供各种不同的SaaS服务。示例包括但不限于为大型组织提供销售绩效管理、企业集成和业务灵活性的解决方案的服务。
在一些实施例中，平台服务可以由云基础设施系统经由PaaS平台提供。PaaS平台可以被配置为提供落入PaaS类别的云服务。平台服务的示例可以包括但不限于使组织(诸如Oracle)能够在共享的公共体系架构上整合现有应用以及充分利用平台提供的共享服务来构建新应用的能力的服务。PaaS平台可以管理和控制用于提供PaaS服务的底层软件和基础设施。客户可以获取由云基础架构系统提供的PaaS服务，而无需客户购买单独的许可和支持。平台服务的示例包括但不限于Oracle Java云服务(JCS)、Oracle数据库云服务(DBCS)等。
通过利用由PaaS平台提供的服务，客户可以采用由云基础设施系统支持的编程语言和工具，并且还控制所部署的服务。在一些实施例中，由云基础设施系统提供的平台服务可以包括数据库云服务、中间件云服务(例如，Oracle融合中间件服务)和Java云服务。在一个方面中，数据库云服务可以支持共享服务部署模型，该模型使得组织能够汇集数据库资源并且以数据库云的形式向客户提供数据库即服务。在云基础设施系统中，中间件云服务可以为客户提供开发和部署各种业务应用的平台，并且Java云服务可以为客户提供部署Java应用的平台。
各种不同的基础设施服务可以由云基础设施系统中的IaaS平台提供。基础设施服务促进底层计算资源(诸如存储装置、网络和其它基础计算资源)的管理和控制，以供客户利用由SaaS平台和PaaS平台提供的服务。
在某些方面中，云基础设施系统1202还可以包括基础设施资源1230，用于向云基础设施系统的客户提供用于提供各种服务的资源。在一个方面中，基础设施资源1230可以包括硬件(诸如服务器、存储装置和联网资源)的预先集成和优化的组合，以执行由PaaS平台和SaaS平台提供的服务。
在一些实施例中，云基础设施系统1202中的资源可以由多个用户共享并且根据需要动态重新分配。此外，可以将资源分配给在不同时区的用户。例如，云基础设施系统1202可以使在第一时区中的第一用户集合能够在指定的小时数内利用云基础设施系统的资源，并且然后使相同资源能够被重新分配给位于不同时区的另一个用户集合，从而使资源的利用率最大化。
在某些方面中，可以提供由云基础设施系统1202的不同部件或模块以及由云基础设施系统1202提供的服务共享的多个内部共享服务1232。这些内部共享服务可以包括但不限于：安全和身份服务、集成服务、企业储存库服务、企业管理器服务、病毒扫描和白名单服务、高可用性、备份和恢复服务、用于启用云支持的服务、电子邮件服务、通知服务、文件传输服务等。
在某些方面中，云基础设施系统1202可以提供云基础设施系统中的云服务(例如，SaaS、PaaS和IaaS服务)的综合管理。在一个方面中，云管理功能可以包括用于供应、管理和跟踪由云基础设施系统1202接收到的客户订阅的能力等。
在一个方面中，如图中所描绘的，云管理功能可以由一个或多个模块提供，该一个或多个模块诸如订单管理模块1220、订单编排模块1222、订单供应模块1211、订单管理和监视模块1210以及身份管理模块1228。这些模块可以包括一个或多个计算机和/或服务器或者使用一个或多个计算机和/或服务器来提供，该一个或多个计算机和/或服务器可以是通用计算机、专用服务器计算机、服务器场、服务器集群或任何其它适当的布置和/或组合。
在示例性操作1234中，使用客户端设备(诸如客户端计算设备1204、1206或1208)的客户可以通过请求由云基础设施系统1202提供的一个或多个服务并且下订单订阅由云基础设施系统1202提供的一个或多个服务来与云基础设施系统1202进行交互。在某些方面中，客户可以访问云用户接口(UI)——云UI 1212、云UI 1214和/或云UI 1216，并经由这些UI下订阅订单。云基础设施系统1202响应于客户下订单而接收到的订单信息可以包括识别客户以及客户想要订阅的由云基础设施系统1202所提供的一个或多个服务的信息。
在客户已经下订单之后，经由云UI 1210、1214和/或1216接收订单信息。
在操作1236处，订单存储在订单数据库1218中。订单数据库1218可以是由云基础设施系统1202操作和与其它系统元件一起操作的若干数据库中的一个数据库。
在操作1238处，订单信息被转发到订单管理模块1220。在一些情况下，订单管理模块1220可以被配置为执行与订单相关的计费和记账功能，诸如验证订单、以及在验证后预订订单。
在操作1240处，将关于订单的信息传送到订单编排模块1222。订单编排模块1222可以利用订单信息为客户下的订单编排服务和资源的供应。在一些情况下，订单编排模块1222可以使用订单供应模块1211的服务来编排资源的供应以支持所订阅的服务。
在某些方面中，订单编排模块1222使得能够管理与每个订单相关联的业务处理并应用业务逻辑来确定订单是否应该进行供应。在操作1242处，在接收到新订阅的订单后，订单编排模块1222向订单供应模块1211发送分配资源并配置履行订阅订单所需的那些资源的请求。订单供应模块1211使得能够为客户所订购的服务分配资源。订单供应模块1211提供在由云基础设施系统1202提供的云服务和用于供应用于提供所请求的服务的资源的物理实现层之间的抽象层。因此，订单编排模块1222可以与实现细节(诸如服务和资源是实际上即时供应还是预先供应并仅在请求后才被分配/指派)隔离。
在操作1244处，一旦供应了服务和资源，就可以通过云基础设施系统1202的订单供应模块1211向客户端计算设备1204、1206和/或1208上的客户发送所提供的服务的通知。
在操作1246处，订单管理和监视模块1210可以管理和跟踪客户的订阅订单。在一些情况下，订单管理和监视模块1210可以被配置为收集订阅订单中的服务的使用统计信息，诸如所使用的存储量、传输的数据量、用户的数量、以及系统运行时间量和系统停机时间量。
在某些方面中，云基础设施系统1202可以包括身份管理模块1228。身份管理模块1228可以被配置为提供身份服务，诸如云基础设施系统1200中的访问管理和授权服务。在一些实施例中，身份管理模块1228可以控制关于希望利用由云基础设施系统1202提供的服务的客户的信息。这样的信息可以包括认证这些客户的身份的信息以及描述这些客户被授权相对于各种系统资源(例如，文件、目录、应用、通信端口、存储器段等)执行哪些动作的信息。身份管理模块1228还可以包括对关于每个客户的描述性信息以及关于可以如何和由谁来访问和修改该描述性信息的管理。
图13图示了其中可以实现各种方面的示例性计算子系统1300。计算子系统1300可以用于实现上述任何计算子系统。如图所示，计算子系统1300包括经由总线子系统1302与多个外围子系统进行通信的处理单元1304。这些外围子系统可以包括处理加速单元1306、I/O子系统1308、存储子系统1318和通信子系统1311。存储子系统1318包括有形计算机可读存储介质1309和系统存储器1310。
总线子系统1302提供用于让计算子系统1300的各种部件和子系统按意图彼此通信的机制。虽然总线子系统1302被示意性地示出为单条总线，但是总线子系统的替代方面可以利用多条总线。总线子系统1302可以是若干种类型的总线结构中的任何类型的总线结构，包括使用任何各种总线体系架构的存储器总线或存储器控制器、外围总线、以及局部总线。例如，这种体系架构可以包括工业标准体系架构(ISA)总线、微通道体系架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外围部件互连(PCI)总线，该PCI总线可以被实现为按IEEE P1186.1标准制造的夹层总线。
可以被实现为一个或多个集成电路(例如，常规微处理器或微控制器)的处理单元1304控制计算子系统1300的操作。一个或多个处理器可以被包括在处理单元1304中。这些处理器可以包括单核或多核处理器。在某些方面中，处理单元1304可以被实现为一个或多个独立的处理单元1332和/或1334，其中在每个处理单元中包括单核或多核处理器。在其它方面中，处理单元1304也可以被实现为通过将两个双核处理器集成到单个芯片中形成的四核处理单元。
在各种方面中，处理单元1304可以响应于程序代码执行各种程序并且可以维护多个并发执行的程序或进程。在任何给定的时间，要被执行的程序代码中的一些或全部程序代码可以驻留在(一个或多个)处理单元1304中和/或存储子系统1318中。通过合适的编程，(一个或多个)处理单元1304可以提供上述各种功能。计算子系统1300可以附加地包括处理加速单元1306，该处理加速单元1306可以包括数字信号处理器(DSP)、专用处理器等。
I/O子系统1308可以包括用户接口输入设备和用户接口输出设备。用户接口输入设备可以包括键盘、诸如鼠标或轨迹球之类的定向设备、结合到显示器中的触摸板或触摸屏、滚动轮、点击轮、拨盘、按钮、开关、小键盘、具有语音命令识别系统的音频输入设备、麦克风以及其它类型的输入设备。用户接口输入设备可以包括，例如，运动感测和/或姿势识别设备，诸如Microsoft运动传感器，其使得用户能够使用姿势和语音命令通过自然用户接口来控制诸如Microsoft360游戏控制器之类的输入设备并与输入设备进行交互。用户接口输入设备也可以包括眼睛姿势识别设备，诸如从用户检测眼睛活动(例如，当拍摄照片和/或做出菜单选择时的“眨眼”)并且将眼睛姿势转换为到输入设备(例如，Google)中的输入的Google眨眼检测器。此外，用户接口输入设备可以包括使用户能够通过语音命令与语音识别系统(例如，导航器)进行交互的语音识别感测设备。
用户接口输入设备也可以包括但不限于三维(3D)鼠标、操纵杆或指向棒、游戏面板和绘图板、以及音频/视觉设备，诸如扬声器、数码相机、数码摄录机、便携式媒体播放器、网络摄像机、图像扫描仪、指纹扫描仪、条形码阅读器3D扫描仪、3D打印机、激光测距仪和视线跟踪设备。此外，用户接口输入设备可以包括例如医学成像输入设备，诸如计算机断层扫描、磁共振成像、正电子发射断层摄影、医疗超声设备。用户接口输入设备也可以包括例如诸如MIDI键盘、数字乐器等之类的音频输入设备。
用户接口输出设备可以包括显示子系统、指示灯，或者诸如音频输出设备之类的非可视显示器等。显示子系统可以是阴极射线管(CRT)、诸如使用液晶显示器(LCD)或等离子显示器的平板设备、投影设备、触摸屏等。一般而言，术语“输出设备”的使用旨在包括用于从计算子系统1300向用户或其它计算机输出信息的所有可能类型的设备和机制。例如，用户接口输出设备可以包括但不限于：可视地传达文本、图形和音频/视频信息的各种显示设备，诸如监视器、打印机、扬声器、耳机、汽车导航系统、绘图仪、语音输出设备、以及调制解调器。
计算子系统1300可以包括存储子系统1318，该存储子系统1318包括被示为当前位于系统存储器1310内的软件元件。系统存储器1310可以存储可加载并且可在处理单元1304上执行的程序指令，以及在这些程序的执行期间所生成的数据。
取决于计算子系统1300的配置和类型，系统存储器1310可以是易失性的(诸如随机存取存储器(RAM))和/或非易失性的(诸如只读存储器(ROM)、闪存存储器等)。RAM通常包含可被处理单元1304立即访问和/或目前正被处理单元1304操作和执行的数据和/或程序模块。在一些实现中，系统存储器1310可以包括多种不同类型的存储器，诸如静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM)。在一些实现中，包含有助于诸如在启动期间在计算子系统1300的元件之间传送信息的基本例程的基本输入/输出系统(BIOS)通常可以被存储在ROM中。作为示例，但不是限制，系统存储器1310也图示了可以包括客户端应用、Web浏览器、中间层应用、关系数据库管理系统(RDBMS)等的应用程序1312、程序数据1314以及操作系统1316。作为示例，操作系统1316可以包括各种版本的MicrosoftApple和/或Linux操作系统、各种可商业获得的或类UNIX操作系统(包括但不限于各种GNU/Linux操作系统、GoogleOS等)和/或诸如iOS、Phone、OS、10OS和OS操作系统之类的移动操作系统。
存储子系统1318也可以提供用于存储提供一些方面的功能的基本编程和数据构造的有形计算机可读存储介质。软件(程序、代码模块、指令)当被处理器执行时提供上述功能并且可以被存储在存储子系统1318中。这些软件模块或指令可以被处理单元1304执行。存储子系统1318也可以提供用于存储根据本发明使用的数据的储存库。
存储子系统1318也可以包括可被进一步连接到计算机可读存储介质1309的计算机可读存储介质读取器1320。与系统存储器1310一起并且可选地与其相结合，计算机可读存储介质1309可以全面地表示用于临时地和/或更持久地包含、存储、传输和检索计算机可读信息的远程、本地、固定和/或可移除存储设备加存储介质。
包含代码或代码的部分的计算机可读存储介质1309也可以包括本领域已知或使用的任何适当的介质，包括存储介质和通信介质，诸如但不限于以用于存储和/或传输信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。这可以包括有形非瞬态计算机可读存储介质，诸如RAM、ROM、电可擦除可编程ROM(EEPROM)、闪存存储器或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁存储设备、或者其它有形计算机可读介质。当被指定时，这也可以包括非有形瞬态计算机可读介质，诸如数据信号、数据传输，或者可以用于传输期望信息并且可以被计算子系统1300访问的任何其它介质。
作为示例，计算机可读存储介质1309可以包括从不可移除的非易失性磁介质读取或写入其的硬盘驱动器、从可移除的非易失性磁盘读取或写入其的磁盘驱动器、以及从可移除的非易失性光盘(诸如CD ROM、DVD和盘或其它光学介质)读取或写入其的光盘驱动器。计算机可读存储介质1309可以包括但不限于：驱动器、闪存卡、通用串行总线(USB)闪存驱动器、安全数字(SD)卡、DVD盘、数字视频带等。计算机可读存储介质1309也可以包括基于非易失性存储器的固态驱动器(SSD)(诸如基于闪存存储器的SSD、企业闪存驱动器、固态ROM等)、基于易失性存储器的SSD(诸如固态RAM、动态RAM、静态RAM、基于DRAM的SSD、磁阻RAM(MRAM)SSD)、以及使用基于DRAM和闪存存储器的SSD的组合的混合SSD。盘驱动器及其关联的计算机可读介质可以为计算子系统1300提供计算机可读指令、数据结构、程序模块及其它数据的非易失性存储。
通信子系统1311提供到其它计算子系统和网络的接口。通信子系统1311用作用于从其它系统接收数据和从计算子系统1300向其它系统发送数据的接口。例如，通信子系统1311可以使计算子系统1300能够经由互联网连接到一个或多个设备。在一些实施例中，通信子系统1311可以包括用于(例如使用蜂窝电话技术，诸如3G、4G或EDGE(用于全球演进的增强型数据速率)之类的先进数据网络技术、WiFi IEEE 902.9系列标准、或其它移动通信技术、或其任何组合)访问无线语音和/或数据网络的射频(RF)收发器部件、全球定位系统(GPS)接收器部件和/或其它部件。在一些实施例中，作为无线接口的附加或者替代，通信子系统1311可以提供有线网络连接(例如，以太网)。
在一些实施例中，通信子系统1311也可以代表可以使用计算子系统1300的一个或多个用户接收结构化和/或非结构化的数据馈送1326、事件流1328、事件更新1330等形式的输入通信。
作为示例，通信子系统1311可以被配置为实时地从社交媒体网络和/或其它通信服务的用户接收非结构化的数据馈送1326，诸如馈送、更新、诸如丰富站点摘要(RSS)馈送之类的web馈送和/或来自一个或多个第三方信息源的实时更新。
此外，通信子系统1311也可以被配置为接收连续数据流形式的数据，这可以包括本质上可以是连续的或无界的没有明确终止的实时事件的事件流1328和/或事件更新1330。生成连续数据的应用的示例可以包括，例如，传感器数据应用、金融报价机、网络性能测量工具(例如，网络监视和流量管理应用)、点击流分析工具、汽车交通监视等。
通信子系统1311也可以被配置为向一个或多个数据库输出结构化和/或非结构化数据馈送1326、事件流1328、事件更新1330等，该一个或多个数据库可以与耦合到计算子系统1300的一个或多个流式传输数据源计算机进行通信。
计算子系统1300可以是各种类型中的一种类型，包括手持便携式设备(例如，蜂窝电话、计算平板电脑、PDA)、可穿戴设备(例如，Google头戴式显示器)、PC、工作站、大型机、信息站、服务器机架、或任何其它数据处理系统。
由于计算机和网络的不断变化的本质，对图中所描绘的计算子系统1300的描述仅旨在作为具体的示例。具有比图中所描绘的系统更多或更少部件的许多其它配置是可能的。例如，定制的硬件也可以被使用和/或特定的元素可以用硬件、固件、软件(包括小应用程序)或组合来实现。另外，也可以采用到诸如网络输入/输出设备之类的其它计算设备的连接。基于本文提供的公开内容和教导，本领域普通技术人员将认识到实现各种方面的其它方式和/或方法。本公开的各个方面可以通过使用计算机程序产品来实现，该计算机程序产品包括计算机程序/指令，该计算机程序/指令在由处理器执行时，使得处理器执行本文公开的任何方法。
在前述的说明书中，本发明的各方面参考其具体方面进行了描述，但本领域技术人员将认识到的是，本发明不限于此。上述发明的各个特征和方面可以被单独或联合使用。此外，在不脱离本说明书的更广泛精神和范围的情况下，方面可以在除本文所述的环境和应用之外的任何数目的环境和应用中被使用。相应地，本说明书和附图应当被认为是说明性而不是限制性的。

Claims (20)

1.一种用于生成多模态话语树的计算机实现的方法，所述计算机实现的方法包括：
获得文本语料库以及与文本语料库分离的一个或多个数据记录；
为文本语料库生成扩展话语树，所述扩展话语树包括多个话语树，每个话语树包括多个节点，话语树的每个终端节点与文本的片段对应，话语树的每个非终端节点指示话语树的节点之间的修辞相互关系，所述扩展话语树包括所述多个话语树之间的附加链接，所述附加链接指示各个话语树的节点之间的附加修辞相互关系；
识别所述多个话语树的基本话语单元集合与所述一个或多个数据记录之间的实体匹配，所述实体匹配是通过将从基本话语单元识别出的第一实体与从数据记录识别出的第二实体进行比较来识别的；
识别所述一个或多个数据记录中的两个数据记录之间的一个或多个因果链接；
为识别出的每个实体匹配和所述一个或多个因果链接中的每个因果链接确定对应的修辞相互关系；
为所述扩展话语树生成针对识别出的每个实体匹配和针对识别出的每个因果链接的相应节点；以及
至少部分地基于所确定的对应的修辞相互关系，将针对每个实体匹配和针对每个因果链接生成的相应节点链接到所述扩展话语树的相应节点，从而创建多模态话语树。
2.如权利要求1所述的计算机实现的方法，其中生成所述扩展话语树包括：
从文本语料库的第一文本生成第一话语树，第一话语树与第一文本的第一部分对应；
从文本语料库的第二文本生成第二话语树，第二话语树与第二文本的第二部分对应；以及
响应于确定第一话语树和第二话语树的相应基本话语单元之间的特定修辞相互关系，使用所述特定修辞相互关系链接第一话语树和第二话语树。
3.如权利要求2所述的计算机实现的方法，其中第一话语树和第二话语树是包括为第一话语树和第二话语树的每个基本话语单元生成的相应动词签名的交流话语树。
4.如权利要求2所述的计算机实现的方法，其中识别实体匹配还包括比较从数据记录识别出的第二实体和从第二数据记录识别出的第三实体，其中实体是指以下之一(i)个人、(ii)公司、(iii)位置、(iv)文档的名称、(v)日期或时间、(vi)交易、或(vii)活动。
5.如权利要求1所述的计算机实现的方法，其中实体匹配还包括从预定义的本体中识别实体。
6.如权利要求1所述的计算机实现的方法，还包括至少部分地基于所述多模态话语树对后续输入进行分类，其中对所述后续输入进行分类包括：
生成包括多个多模态话语树的训练数据集，每个多模态话语树与相应的文本语料库和相应的数据记录集合对应，每个多模态话语树与对应于分类的标签相关联；
训练机器学习模型以至少部分地基于训练数据集和监督学习算法对输入进行分类；
从所述后续输入生成对应的多模态话语树，所述后续输入包括对应的文本语料库和对应的数据记录集合；以及
至少部分地基于向机器学习模型提供从所述后续输入生成的所述对应的多模态话语树作为输入并从机器学习模型接收指示所述后续输入的分类标签的输出来对所述后续输入进行分类。
7.如权利要求1所述的计算机实现的方法，还包括使用所述多模态话语树来导航文本语料库，其中导航文本语料库包括：
访问所述多模态话语树；
从所述多模态话语树中确定响应于来自用户设备的查询的第一基本话语单元，第一基本话语单元与所述多模态话语树的第一话语树的第一节点对应；
从所述多模态话语树确定导航选项集合，导航选项集合包括以下中的至少两个：(i)第一话语树的第一节点和第一话语树的第二节点之间的第一修辞相互关系，以及(ii)第一节点和所述多模态话语树的第二话语树的第三节点之间的第二修辞相互关系，或者iii)第一话语树的第一节点和所述多模态话语树的第四节点之间与对应数据记录相关联的第三修辞相互关系；
向用户设备呈现第一修辞相互关系、第二修辞相互关系或第三修辞相互关系中的至少两个；以及
响应于接收到包括对第一修辞相互关系、第二修辞相互关系或第三修辞相互关系的选择的附加用户输入：
至少部分地基于确定所述选择对应于第一修辞相互关系来呈现与第二节点对应的第二基本话语单元；
至少部分地基于确定所述选择对应于第一修辞相互关系来呈现与第三节点对应的第三基本话语单元；或者
至少部分地基于确定所述选择对应于第三修辞相互关系来呈现所述对应数据记录的至少一部分。
8.一种计算设备，包括：
一个或多个处理器；以及
一个或多个存储器，存储用于生成多模态话语树的计算机可执行指令，所述计算机可执行指令在由所述一个或多个处理器执行时，使得所述计算设备：
获得文本语料库以及与文本语料库分离的一个或多个数据记录；
为文本语料库生成扩展话语树，所述扩展话语树包括多个话语树，每个话语树包括多个节点，话语树的每个终端节点与文本的片段对应，话语树的每个非终端节点指示话语树的节点之间的修辞相互关系，所述扩展话语树包括所述多个话语树之间的附加链接，所述附加链接指示各个话语树的节点之间的附加修辞相互关系；
识别所述多个话语树的基本话语单元集合与所述一个或多个数据记录之间的实体匹配，所述实体匹配是通过将从基本话语单元识别出的第一实体与从数据记录识别出的第二实体进行比较来识别的；
识别所述一个或多个数据记录中的两个数据记录之间的一个或多个因果链接；
为识别出的每个实体匹配和所述一个或多个因果链接中的每个因果链接确定对应的修辞相互关系；
为所述扩展话语树生成针对识别出的每个实体匹配和针对识别出的每个因果链接的相应节点；以及
至少部分地基于所确定的对应的修辞相互关系，将针对每个实体匹配和针对每个因果链接生成的相应节点链接到所述扩展话语树的相应节点，从而创建多模态话语树。
9.如权利要求8所述的计算设备，其中执行生成所述扩展话语树的操作还使得所述计算设备：
从文本语料库的第一文本生成第一话语树，第一话语树与第一文本的第一部分对应；
从文本语料库的第二文本生成第二话语树，第二话语树与第二文本的第二部分对应；以及
响应于确定第一话语树和第二话语树的相应基本话语单元之间的特定修辞相互关系，使用所述修辞相互关系生成第一话语树和第二话语树之间的链接。
10.如权利要求9所述的计算设备，其中第一话语树和第二话语树是包括为第一话语树和第二话语树的每个基本话语单元生成的相应动词签名的交流话语树。
11.如权利要求8所述的计算设备，其中识别实体匹配还使得所述计算设备比较从数据记录识别出的第二实体和从第二数据记录识别出的第三实体，其中实体是指以下之一(i)个人、(ii)公司、(iii)位置、(iv)文档的名称、或(v)日期或时间。
12.如权利要求8所述的计算设备，其中实体匹配还包括从预定义的本体中识别实体。
13.如权利要求8所述的计算设备，其中所述计算设备至少部分地基于所述多模态话语树对后续输入进行分类，并且其中对所述后续输入进行分类使得所述计算设备：
生成包括多个多模态话语树的训练数据集，每个多模态话语树与相应的文本语料库和相应的数据记录集合对应，每个多模态话语树与对应于分类的标签相关联；
训练机器学习模型以至少部分地基于训练数据集和监督学习算法对输入进行分类；
从所述后续输入生成对应的多模态话语树，所述后续输入包括对应的文本语料库和对应的数据记录集合；以及
至少部分地基于向机器学习模型提供从所述后续输入生成的所述对应的多模态话语树作为输入并从机器学习模型接收指示所述后续输入的分类标签的输出来对所述后续输入进行分类。
14.如权利要求8所述的计算设备，其中所述计算设备使用所述多模态话语树来导航文本语料库，其中导航文本语料库还包括：
访问所述多模态话语树；
从所述多模态话语树中确定响应于来自用户设备的查询的第一基本话语单元，第一基本话语单元与所述多模态话语树的第一话语树的第一节点对应；
从所述多模态话语树确定导航选项集合，导航选项集合包括以下中的至少两个：(i)第一话语树的第一节点和第一话语树的第二节点之间的第一修辞相互关系，以及(ii)第一节点和所述多模态话语树的第二话语树的第三节点之间的第二修辞相互关系，或者iii)第一话语树的第一节点和所述多模态话语树的第四节点之间与对应数据记录相关联的第三修辞相互关系；
向用户设备呈现第一修辞相互关系、第二修辞相互关系或第三修辞相互关系中的至少两个；以及
响应于接收到包括对第一修辞相互关系、第二修辞相互关系或第三修辞相互关系的选择的附加用户输入：
至少部分地基于确定所述选择对应于第一修辞相互关系来呈现与第二节点对应的第二基本话语单元；
至少部分地基于确定所述选择对应于第一修辞相互关系来呈现与第三节点对应的第三基本话语单元；或者
至少部分地基于确定所述选择对应于第三修辞相互关系来呈现所述对应数据记录的至少一部分。
15.一种存储用于生成多模态话语树的指令的非暂态计算机可读存储介质，所述指令在由计算设备的一个或多个处理器执行时，使得所述计算设备：
获得文本语料库以及与文本语料库分离的一个或多个数据记录；
为文本语料库生成扩展话语树，所述扩展话语树包括多个话语树，每个话语树包括多个节点，话语树的每个终端节点与文本的片段对应，话语树的每个非终端节点指示话语树的节点之间的修辞相互关系，所述扩展话语树包括所述多个话语树之间的附加链接，附加链接指示各个话语树的节点之间的附加修辞相互关系；
识别所述多个话语树的基本话语单元集合与所述一个或多个数据记录之间的实体匹配，所述实体匹配是通过将从基本话语单元识别出的第一实体与从数据记录识别出的第二实体进行比较来识别的；
识别所述一个或多个数据记录中的两个数据记录之间的一个或多个因果链接；
为识别出的每个实体匹配和所述一个或多个因果链接中的每个因果链接确定对应的修辞相互关系；
为所述扩展话语树生成针对识别出的每个实体匹配和针对识别出的每个因果链接的相应节点；以及
至少部分地基于所确定的对应的修辞相互关系，将针对每个实体匹配和针对每个因果链接生成的相应节点链接到所述扩展话语树的相应节点，从而创建多模态话语树。
16.如权利要求15所述的非暂态计算机可读存储介质，其中执行生成所述扩展话语树的操作还使得所述计算设备：
从文本语料库的第一文本生成第一话语树，第一话语树与第一文本的第一部分对应；
从文本语料库的第二文本生成第二话语树，第二话语树与第二文本的第二部分对应；以及
响应于确定第一话语树和第二话语树的相应基本话语单元之间的特定修辞相互关系，使用所述修辞相互关系生成第一话语树和第二话语树之间的链接。
17.如权利要求16所述的非暂态计算机可读存储介质，其中第一话语树和第二话语树是包括为第一话语树和第二话语树的每个基本话语单元生成的相应动词签名的交流话语树。
18.如权利要求15所述的非暂态计算机可读存储介质，其中识别实体匹配还使得所述计算设备比较从数据记录识别出的第二实体和从第二数据记录识别出的第三实体，其中实体是指以下之一(i)个人、(ii)公司、(iii)位置、(iv)文档的名称、或(v)日期或时间。
19.如权利要求15所述的非暂态计算机可读存储介质，其中所述计算设备至少部分地基于所述多模态话语树对后续输入进行分类，并且其中对所述后续输入进行分类使得所述计算设备：
生成包括多个多模态话语树的训练数据集，每个多模态话语树与相应的文本语料库和相应的数据记录集合对应，每个多模态话语树与对应于分类的标签相关联；
训练机器学习模型以至少部分地基于训练数据集和监督学习算法对输入进行分类；
从所述后续输入生成对应的多模态话语树，所述后续输入包括对应的文本语料库和对应的数据记录集合；以及
至少部分地基于向机器学习模型提供从所述后续输入生成的所述对应的多模态话语树作为输入并从机器学习模型接收指示所述后续输入的分类标签的输出来对所述后续输入进行分类。
20.如权利要求15所述的非暂态计算机可读存储介质，其中所述计算设备使用所述多模态话语树来导航文本语料库，其中导航文本语料库还包括：
访问所述多模态话语树；
从所述多模态话语树中确定响应于来自用户设备的查询的第一基本话语单元，第一基本话语单元与所述多模态话语树的第一话语树的第一节点对应；
从所述多模态话语树确定导航选项集合，包括以下中的至少两个：(i)第一话语树的第一节点和第一话语树的第二节点之间的第一修辞相互关系，以及(ii)第一节点和所述多模态话语树的第二话语树的第三节点之间的第二修辞相互关系，或者iii)第一话语树的第一节点和所述多模态话语树的第四节点之间与对应数据记录相关联的第三修辞相互关系；
向用户设备呈现第一修辞相互关系、第二修辞相互关系或第三修辞相互关系中的至少两个；以及
响应于接收到包括对第一修辞相互关系、第二修辞相互关系或第三修辞相互关系的选择的附加用户输入：
至少部分地基于确定所述选择对应于第一修辞相互关系来呈现与第二节点对应的第二基本话语单元；
至少部分地基于确定所述选择对应于第一修辞相互关系来呈现与第三节点对应的第三基本话语单元；或者
至少部分地基于确定所述选择对应于第三修辞相互关系来呈现所述对应数据记录的至少一部分。
CN202280017721.6A 2021-03-26 2022-03-15 生成多模态话语树的技术 Pending CN116940937A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163166568P 2021-03-26 2021-03-26
US63/166,568 2021-03-26
PCT/US2022/020420 WO2022203906A1 (en) 2021-03-26 2022-03-15 Techniques for generating multi-modal discourse trees

Publications (1)

Publication Number Publication Date
CN116940937A true CN116940937A (zh) 2023-10-24

Family

ID=83396040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280017721.6A Pending CN116940937A (zh) 2021-03-26 2022-03-15 生成多模态话语树的技术

Country Status (4)

Country Link
US (2) US11989525B2 (zh)
JP (1) JP2024512597A (zh)
CN (1) CN116940937A (zh)
WO (1) WO2022203906A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12106054B2 (en) * 2020-10-12 2024-10-01 Oracle International Corporation Multi case-based reasoning by syntactic-semantic alignment and discourse analysis

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999021106A1 (en) * 1997-10-20 1999-04-29 Microsoft Corporation Automatically recognizing the discourse structure of a body of text
US20120137367A1 (en) 2009-11-06 2012-05-31 Cataphora, Inc. Continuous anomaly detection based on behavior modeling and heterogeneous information analysis
US10303999B2 (en) * 2011-02-22 2019-05-28 Refinitiv Us Organization Llc Machine learning-based relationship association and related discovery and search engines
US9239887B2 (en) * 2012-12-18 2016-01-19 Cisco Technology, Inc. Automatic correlation of dynamic system events within computing devices
US10679011B2 (en) * 2017-05-10 2020-06-09 Oracle International Corporation Enabling chatbots by detecting and supporting argumentation
US10839154B2 (en) * 2017-05-10 2020-11-17 Oracle International Corporation Enabling chatbots by detecting and supporting affective argumentation
CN117114001A (zh) * 2017-09-28 2023-11-24 甲骨文国际公司 基于命名实体的解析和识别确定跨文档的修辞相互关系

Also Published As

Publication number Publication date
WO2022203906A1 (en) 2022-09-29
US20220318517A1 (en) 2022-10-06
JP2024512597A (ja) 2024-03-19
US20240256787A1 (en) 2024-08-01
US11989525B2 (en) 2024-05-21

Similar Documents

Publication Publication Date Title
JP7531649B2 (ja) 収束質問に対する回答を改善するための仮想談話ツリーの構築
CN111670435B (zh) 使用交流话语树来检测对解释的请求
CN110612525B (zh) 通过使用交流话语树启用修辞分析
US11455494B2 (en) Automated building of expanded datasets for training of autonomous agents
US20220138432A1 (en) Relying on discourse analysis to answer complex questions by neural machine reading comprehension
US11720749B2 (en) Constructing conclusive answers for autonomous agents
US11861319B2 (en) Chatbot conducting a virtual social dialogue
US11556698B2 (en) Augmenting textual explanations with complete discourse trees
US12093253B2 (en) Summarized logical forms based on abstract meaning representation and discourse trees
US20220284174A1 (en) Correcting content generated by deep learning
US20220035998A1 (en) Obtaining supported decision trees from text for medical health applications
US12106054B2 (en) Multi case-based reasoning by syntactic-semantic alignment and discourse analysis
US11914961B2 (en) Relying on discourse trees to build ontologies
US20240256787A1 (en) Techniques for generating multi-modal discourse trees
US11928437B2 (en) Machine reading between the lines
US20240119232A1 (en) Relying on discourse trees to build ontologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination