CN114707520B - 一种面向会话的语义依存分析方法及装置 - Google Patents

Abstract

本发明提供了一种面向会话的语义依存分析方法及装置，涉及自然语言处理中的语义分析技术领域。包括：根据对话文本，总结对话文本的语义特性和规律：基于语义特性设计语义依存图构建规范进行大规模的对话文本数据标注；基于标注好的训练集文本，采用监督学习方法训练教师‑学生模型，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型。本发明创新性的提出一种集成话语篇章的语义依存图表示方案，将句子语义依存图扩展到整个篇章，充分考虑了对话场景下话语语义信息不完整的特性。首次针对对话文本提出融合话语内部和话语之间的一体化语义依存图联合分析模型，采用端到端的建模方式将句子语义和篇章语义连接在一起。

Description

一种面向会话的语义依存分析方法及装置

技术领域

本发明涉及自然语言处理中的语义分析技术领域，特别是指一种面向会话的语义依存分析方法及装置。

背景技术

语义分析是自然语言处理中最重要的任务之一，旨在使用计算机自动分析自然语言的文本，使得计算机能够根据自动分析的结果，进行一定程度的运算和推理，实现深层次的文本理解，从而为自然语言处理的各项应用提供基础性支撑。语义依存图就是一种用于语义表示的广泛方式。由于形式简单、易于理解、方便专家标注等特点，语义依存图分析一经提出就得到了自然语言处理领域相关研究人员的高度重视。尤其是随着语义依存图资源的逐步建设，已有不少成熟的算法可用于正规文本的语义依存图大规模计算分析。

近年来，伴随着互联网的快速发展以及人工智能的浪潮，对话场景在自然语言处理应用中成为一个热门话题。首先，传统对话场景的信息化程度逐渐增加，包括普通闲聊、主题交流、电视电影对白以及观点辩论等，对这些对话场景的分析和理解，是自然语言处理的一个基本目标。其次，互联网社交媒体平台的快速发展，如微博、微信、论坛、知乎、抖音等，为对话场景提供了巨大便利，互联网用户间的相互交流非常自然的形成了大规模的单轮或者多轮对话，对这些对话文本的准确分析，能够支撑不少互联网平台相关的应用，包括舆情监控、广告推销、金融预测以及公司和政府管理等。

目前针对对话文本建立语义依存图的方式主要有两种，一种是直接采用现有基于句子的句法/语义依存分析器直接获取话语内部词与词之间的依存结构，另一种是在篇章话语之间建立依存结构图，例如使用现有篇章语义分析器获取图状结构，或者采用话语人之间的关系以及话语之间的连贯性生成依存图。这两种方法均存在着一定的不足，前者由于现有自动依存分析器是在规范文本句法/语义依存数据上训练产生，一方面在对话文本上性能较弱，另一方面难以体现对话文本中跨话语相关的语义特性；后者一方面仅考虑了话语之间的依存关系，另一方面构图相对简单，没有考虑话语内部的语义关系。总体而言，目前对话文本上的语义依存图分析仍存在较多问题，现有的相关技术处于非常初步的阶段。

发明内容

针对现有技术中产生的低质量数据对模型效果的提升产生负面影响，以及针对共性少的领域其提升受限，同时无法很好的和伪数据进行结合的问题，本发明提出了一种基于课程学习的细粒度中文句法分析方法及装置。

为解决上述技术问题，本发明提供如下技术方案：

一方面，提供了一种面向会话的语义依存分析方法，该方法应用于电子设备，包括以下步骤：

S1：根据对话文本，提取所述对话文本的语义特性；

S2：基于所述语义特性设计语义依存图构建规范；

S3：根据所述语义依存图构建规范，采用教师-学生模型，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

可选地，步骤S1中，根据对话文本，基于所述对话文本的语义特性，设计合理的语义依存图构建规范，包括：

根据话语或句子语义依存图，逐步纳入话语间篇章语义关系，扩展现有句子语义依存、兼并融合篇章语义结构。

可选地，步骤S2中，基于所述语义特性设计语义依存图构建规范，包括：

根据扩展后的语义结构，设计一体化集成话语篇章的中文语义依存图方案，进一步细化成为具体的语料构建标注规范。

可选地，步骤S3中，根据所述语义依存图构建规范，采用教师学生模型，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析，包括：

S31：根据所述语义依存图构建规范，选定一段对话文本，将所述对话文本转换成为向量形式的深度学习特征表示，记为预训练词表示；将所述预训练词表示输入至教师-学生模型；

S32：通过适配器模块，将所述预训练词表示输入到LSTM特征抽取器中进行高阶特征编码抽取语义特征，最终获得词语的向量化隐层表示；

S33：联合图的联合分析解码算法以及转移的联合分析解码算法，对编码后的语义特征进行解码；

S34：将两类算法中的目标函数同时优化，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

可选地，步骤S31还包括：针对不同的任务，或不同的训练方式，通过微调的方式对BERT所有参数进行单独优化。

可选地，步骤S33中，联合图的联合分析解码算法，对编码后的语义特征进行解码，包括：

分别计算单个依存弧或者单个单元依存子树的分数，然后将整个语义依存图的打分分解成所有单元依存子树（弧）分数之和。

可选地，步骤S33中，转移的联合分析解码算法，对编码后的语义特征进行解码，包括：

采用递增方式逐步的构造依存图，直至形成完整的语义依存图；每一步的构造均采用一个固定形式的转移操作实现。

可选地，步骤S33中，将两类算法中的目标函数同时优化，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析，包括：

在针对图的联合分析解码算法以及转移的联合分析解码算法中，相关参数训练时优化目标不同，则对两类算法中的目标函数同时优化；搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

一方面，提供了一种面向会话的语义依存分析装置，该装置应用于电子设备，该装置包括：

特征提取模块，用于根据对话文本，提取所述对话文本的语义特性；

规范构建模块，用于基于所述语义特性设计语义依存图构建规范；

模型搭建模块，用于根据所述语义依存图构建规范，采用教师-学生模型，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

可选地，特征提取模块，还用于根据话语或句子语义依存图，逐步纳入话语间篇章语义关系，扩展现有句子语义依存、兼并融合篇章语义结构。

一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种面向会话的语义依存分析方法。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种面向会话的语义依存分析方法。

本发明实施例的上述技术方案至少具有如下有益效果：

上述方案中，本发明创新性的提出一种集成话语篇章的语义依存图表示方案，将句子语义依存图扩展到整个篇章，充分考虑了对话场景下话语语义信息不完整的特性。本发明首次针对对话文本提出融合话语内部和话语之间的一体化语义依存图联合分析模型，采用端到端的建模方式将句子语义和篇章语义连接在一起。另外本发明所采用的基于知识蒸馏的教师-学生网络也能够满足对话系统实际应用中对于效率和延迟的高要求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种面向会话的语义依存分析方法的流程图；

图2是本发明实施例提供的一种面向会话的语义依存分析方法的流程图；

图3是本发明实施例提供的一种面向会话的语义依存分析方法的中文依存句法伪数据示意图；

图4是本发明实施例提供的一种面向会话的语义依存分析方法的基于课程学习的中文句法模型图；

图5是本发明实施例提供的一种面向会话的语义依存分析装置框图；

图6是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种面向会话的语义依存分析方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的面向会话的语义依存分析方法流程图，该方法的处理流程可以包括如下的步骤：

S101：根据对话文本，总结所述对话文本的语义特性和规律；

S102：基于所述语义特性设计语义依存图构建规范进行大规模的对话文本数据标注；

S103：基于标注好的训练集文本，采用监督学习方法训练教师-学生模型，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

可选地，步骤S101中，根据对话文本，总结所述对话文本的语义特性和规律，包括：

根据话语或句子语义依存图，逐步纳入话语间篇章语义关系，扩展现有句子语义依存、兼并融合篇章语义结构。

可选地，步骤S102中，基于所述语义特性设计语义依存图构建规范，包括：

可选地，步骤S102中，基于所述语义特性设计语义依存图构建规范，包括：

根据扩展后的语义结构，设计一体化集成话语篇章的中文语义依存图方案，进一步细化成为具体的语料构建标注规范。

可选地，步骤S103中，基于标注好的训练集文本，采用监督学习方法训练教师-学生模型，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析，包括：

S131：将所述训练集中的每条对话文本输入到教师学生模型；模型将所述对话文本转换成为向量形式的深度学习特征表示，记为预训练词表示；

S132：通过适配器模块，将所述预训练词表示输入到LSTM特征抽取器中进行高阶特征编码抽取语义特征，最终获得词语的向量化隐层表示；

S133：联合图的解码分析算法以及转移的解码分析算法，对编码后的语义特征进行解码；

S134：将两类算法中的目标函数同时优化，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

可选地，步骤S131还包括：针对不同的任务，或不同的训练方式，通过微调的方式对BERT所有参数进行单独优化。

可选地，步骤S133中，基于图的解码分析算法，对编码后的语义特征进行解码，包括：

分别计算单个依存弧或者单个单元依存子树的分数，然后将整个语义依存图的打分分解成所有单元依存子树（弧）分数之和。

可选地，步骤S133中，基于转移的解码分析算法，对编码后的语义特征进行解码，包括：

采用递增方式逐步的构造依存图，直至形成完整的语义依存图；每一步的构造均采用一个固定形式的转移操作实现。

可选地，步骤S133中，将两类算法中的目标函数同时优化，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析，包括：

在针对图的联合分析解码算法以及转移的联合分析解码算法中，相关参数训练时优化目标不同，则对两类算法中的目标函数同时优化；搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

本发明创新性的提出一种集成话语篇章的语义依存图表示方案，将句子语义依存图扩展到整个篇章，充分考虑了对话场景下话语语义信息不完整的特性。本发明首次针对对话文本提出融合话语内部和话语之间的一体化语义依存图联合分析模型，采用端到端的建模方式将句子语义和篇章语义连接在一起。另外本发明所采用的基于知识蒸馏的教师-学生网络也能够满足对话系统实际应用中对于效率和延迟的高要求。

本发明实施例提供了一种基于课程学习的细粒度中文句法分析方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图2所示的基于课程学习的细粒度中文句法分析方法流程图，该方法的处理流程可以包括如下的步骤：

S201：根据对话文本，提取所述对话文本的语义特性；

S202：基于所述语义特性设计语义依存图构建规范进行大规模的对话文本数据标注。

一种可行的实施方式中，根据话语或句子语义依存图，逐步纳入话语间篇章语义关系，扩展现有句子语义依存、兼并融合篇章语义结构。

一种可行的实施方式中，根据扩展后的语义结构，设计一体化集成话语篇章的中文语义依存图方案，进一步细化成为具体的语料构建标注规范。

一种可行的实施方式中，本发明拟扩展现有句子语义依存、兼并融合篇章语义结构，制定面向对话融合话语篇章的中文语义依存图设计方案：从话语/句子语义依存图出发，逐步纳入话语间篇章语义关系，形成一体化集成话语篇章的中文语义依存图设计方案，并进一步细化成为具体的语料构建标注规范。

一种可行的实施方式中，现有技术中的规范文本下的语义依存分析主要在句子层面展开，而对话场景下对应的单轮话语，其语义完整性远远弱于规范文本下的句子，相关语义元素存在大量缺失问题，需跨话语找回，因此本项目拟以整个对话篇章为单位开展语义依存图分析，图3通过一个例子体现了这一设计的方案。

对于话语或句子语义，本发明拟参考北京语言大学应用语言学研究所提出的中文句子语义依存图设计规范。这一规范自2012年开始发布，形成语义依存语料并被用于SemEVAL国际评测，后续国内外也有相关研究与评测持续跟进，而且逐步从语义依存树发展为语义依存图，得到了国内外学者广泛的承认。语义依存图所覆盖的语义关系是其设计方案的核心内容，语义依存图本质上就是围绕这些语义关系而建立的。表1显示了句子核心语义依存节点（ROOT）之外的所有其它语义依存关系，共计三大类别，分别为语义周边角色、语义结构关系和语义依附标记。这一依存规范覆盖了语义平面上的各个方面，根据层级单位由大到小分别是事链、事件、论元、概念、标记，其对应的语法单位分别为复句、小句、语块、实词、虚词，由于复句和小句的引入，篇章结构语义信息也有了一定体现。

对话文本上的篇章语义关系，本项目拟参考苏州大学自然语言处理实验室基于连接依存树的篇章结构表示方案，以及哈工大社会计算与信息检索研究中心张牧宇等人基于PDTB 体系改进的中文篇章关系设计规范，这两者均属于篇章修辞结构理论；另一方面，本项目计划将篇章话题结构相关的典型语义信息也融入其中。表2对这两类篇章语义关系进行了总结。本项目拟将所有相关语义信息以依存的形式表示出来，并和话语内部语义相融合，形成无缝的兼容。

进一步，本项目还需要考虑对话文本的特性，添加部分对话相关的语义或者输入信息，主要包括以下三个方面。首先，说话人是一个重要的语义信息来源，这一信息一般可以作为特定的语义角色出现。其次，对话文本中存在大量的口语信息，对这些语义信息进行特殊标记，可以表明这些口语信息在对话场景中的特殊用途。最后，在对话文本中，远距离的话语依赖信息非常重要，篇章中的省略、共指以及连贯要与篇章修辞结构共存，不能孤立开来。

最终，集成话语篇章的语义依存图设计要尽可能简单，否则会影响语义依存图语料的标注以及语义依存图分析的性能。为了满足这一点，在设计规范时，要避免冗余语义的出现：如果某个语义关系可以直接或者间接的通过其它一个或者多个语义依存关系推演获取，则忽略该语义信息。同时，本项目拟最小化每个语义依存图的最大出度和入度，以控制一体化语义依存图的复杂性。

S203：根据所述语义依存图构建规范，选定一段对话文本，将所述对话文本转换成为向量形式的深度学习特征表示，记为预训练词表示；将所述预训练词表示输入至教师-学生模型；

一种可行的实施方式中，针对不同的任务，或不同的训练方式，通过微调的方式对BERT所有参数进行单独优化。

本发明实施例中，预训练词表示已成为自然语言处理各个模型中最基础的一个部分，它主要是针对一段对话文本，将文本转换成为向量形式的深度学习特征表示，能为自然语言处理的各类任务带来巨大的性能提升。从最初基于词嵌入（Word Embedding）的预训练表示，发展到基于上下文的预训练词表示（ELMo、BERT等），自然语言处理领域的各项任务性能得到了显著的提升，因此预训练词表示输入是保障依存图分析模型性能的基础。

基于预训练词表示的高阶特征抽取能在有效支撑目标任务的同时，减轻预训练词表示导致的参数效率过低问题。例如当前基于BERT的预训练词表示方法，针对不同的任务，甚至不同的训练方式，需要通过微调的方式对BERT所有参数（数量大于100M）进行单独优化，因此每一个模型均需要维护一个新的BERT参数拷贝，从而造成参数效率的低下问题。

本发明实施例中，为了使模型能取得较高的性能，在分析效率方面包括速度、计算资源消耗等更加高效，使实际应用方面的更容易。本发明拟采用教师-学生机制，设计另一个轻量级效率高的一体化语义依存图分析模型，作为学生模型，然后采用前面提出的高性能复杂模型作为教师模型，让学生模型在预测分析性能上逼近教师模型，使得最终的一体化语义依存图分析模型能兼顾性能和效率。学生模型在整体设计结构上和教师模型类似，只是模型各个模块结构比教师模型轻量很多，包括预训练词表示、高阶特征编码以及解码算法。

S204：通过适配器模块，将所述预训练词表示输入到LSTM特征抽取器中进行高阶特征编码抽取语义特征，最终获得词语的向量化隐层表示。

一种可行的实施方式中，本发明的任务涉及话语和篇章两个层面的语义依存图融合，为进一步考虑到多模型融合，通过引入高阶特征抽取，结合适配器（Adapter）模块，可以保留一个公共预训练词表示模块，即仅保留一份预训练词表示参数，大大提升参数效率。

S205：联合图的联合分析解码算法以及转移的联合分析解码算法，对编码后的语义特征进行解码。

一种可行的实施方式中，对于基于图的解码算法而言，针对文本中的某个词语，将它的词表示与句子中其他的词表示进行双仿射运算得到一个概率值，其表示二者间是否含有语义依存关系。对于基于转移的解码算法来说，针对当前待处理的词表示和生成的局部语义依存图，采用移进规约的方式逐步处理，直至生成完整的依存图。

S206：将两类算法中的目标函数同时优化，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

一种可行的实施方式中，分别计算单个依存弧或者单个单元依存子树的分数，然后将整个语义依存图的打分分解成所有单元依存子树（弧）分数之和。

一种可行的实施方式中，采用递增方式逐步的构造依存图，直至形成完整的语义依存图；每一步的构造均采用一个固定形式的转移操作实现。

一种可行的实施方式中，在针对图的联合分析解码算法以及转移的联合分析解码算法中，相关参数训练时优化目标不同，则对两类算法中的目标函数同时优化；搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

一种可行的实施方式中，上述两种解码算法被广泛应用于依存分析，均可以达到当前最好的分析性能，而且这两种解码算法具有一定互补性，其融合能进一步提升依存图分析的效果。在模型训练时，由于对依存图的建模方式各不相同，因此在相关参数训练时，优化目标也不一样，需要联合两类目标函数同时优化。

本发明实施例中，对于依存分析相关的任务，有监督学习能取得较好的性能因而占据了主导的地位，本发明将以步骤S201-步骤S202中话语篇章语义依存图设计方案为规范进行标注的数据资源为训练语料，搭建面向对话的语义依存图分析模型。当前自然语言处理的主流模型，采用深度学习的方法，以编码-解码模型为基本框架，取得了突破性进展。本发明拟采用类似的方法，分别从编码特征表示和解码方面着手，搭建高性能高效率的集成话语篇章语义的语义依存图联合分析模型，图4显示了基本框架，主要包括六个部分，分别为预训练词表示输入、高阶特征编码、基于图的联合分析解码算法、基于转移的联合分析解码算法、多目标联合优化算法和基于教师-学生方式的效率优化模块。

本发明创新性的提出一种集成话语篇章的语义依存图表示方案，将句子语义依存图扩展到整个篇章，充分考虑了对话场景下话语语义信息不完整的特性。本发明首次针对对话文本提出融合话语内部和话语之间的一体化语义依存图联合分析模型，采用端到端的建模方式将句子语义和篇章语义连接在一起。另外本发明所采用的基于知识蒸馏的教师-学生网络也能够满足对话系统实际应用中对于效率和延迟的高要求。

图5是根据一示例性实施例示出的一种面向会话的语义依存分析装置框图。参照图5，该装置300包括：

特征提取模块310，用于根据对话文本，提取所述对话文本的语义特性；

规范构建模块320，用于基于所述语义特性设计语义依存图构建规范；

模型搭建模块330，用于根据所述语义依存图构建规范，采用教师-学生模型，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

可选地，特征提取模块310，还用于根据话语或句子语义依存图，逐步纳入话语间篇章语义关系，扩展现有句子语义依存、兼并融合篇章语义结构。

可选地，规范构建模块320，还用于根据扩展后的语义结构，设计一体化集成话语篇章的中文语义依存图方案，进一步细化成为具体的语料构建标注规范。

可选地，模型搭建模块330，还用于根据所述语义依存图构建规范，选定一段对话文本，将所述对话文本转换成为向量形式的深度学习特征表示，记为预训练词表示；将所述预训练词表示输入至教师-学生模型；

通过适配器模块，将所述预训练词表示输入到LSTM特征抽取器中进行高阶特征编码抽取语义特征，最终获得词语的向量化隐层表示；

联合图的联合分析解码算法以及转移的联合分析解码算法，对编码后的语义特征进行解码；

将两类算法中的目标函数同时优化，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

可选地，步骤S31还包括：针对不同的任务，或不同的训练方式，通过微调的方式对BERT所有参数进行单独优化。

可选地，规范构建模块320，还用于分别计算单个依存弧或者单个单元依存子树的分数，然后将整个语义依存图的打分分解成所有单元依存子树（弧）分数之和。

可选地，规范构建模块320，还用于采用递增方式逐步的构造依存图，直至形成完整的语义依存图；每一步的构造均采用一个固定形式的转移操作实现。

可选地，规范构建模块320，还用于在针对图的联合分析解码算法以及转移的联合分析解码算法中，相关参数训练时优化目标不同，则对两类算法中的目标函数同时优化；搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

本发明实施例中，创新性的提出一种集成话语篇章的语义依存图表示方案，将句子语义依存图扩展到整个篇章，充分考虑了对话场景下话语语义信息不完整的特性。本发明首次针对对话文本提出融合话语内部和话语之间的一体化语义依存图联合分析模型，采用端到端的建模方式将句子语义和篇章语义连接在一起。另外本发明所采用的基于知识蒸馏的教师-学生网络也能够满足对话系统实际应用中对于效率和延迟的高要求。

图6是本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现下述面向会话的语义依存分析方法的步骤：

S1：根据对话文本，总结所述对话文本的语义特性和规律；

S2：基于所述语义特性设计语义依存图构建规范进行大规模的对话文本数据标注；

S3：基于标注好的训练集文本，采用监督学习方法训练教师-学生模型，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述面向会话的语义依存分析方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种面向会话的语义依存分析方法，其特征在于，包括以下步骤：

S1：根据对话文本，总结所述对话文本的语义特性和规律；

所述步骤S1中，根据对话文本，总结所述对话文本的语义特性和规律，包括：

根据话语或句子语义依存图，逐步纳入话语间篇章语义关系，扩展现有句子语义依存、兼并融合篇章语义结构；

S2：基于所述语义特性设计语义依存图构建规范，进行大规模的对话文本数据标注；

S3：基于标注好的训练集文本，采用监督学习方法训练教师-学生模型，搭建高性能高效率的话语篇章一体化语义依存图分析模型，根据语义依存图分析模型，完成面向会话的语义依存分析；

所述步骤S3中，基于标注好的训练集文本，采用监督学习方法训练教师-学生模型，搭建高性能高效率的话语篇章一体化语义依存图分析模型，根据语义依存图分析模型，完成面向会话的语义依存分析，包括：

S31：将所述训练集中的每条对话文本输入到教师学生模型；模型将所述对话文本转换成为向量形式的深度学习特征表示，记为预训练词表示；

S32：通过适配器模块，将所述预训练词表示输入到LSTM特征抽取器中进行高阶特征编码抽取语义特征，最终获得词语的向量化隐层表示；

S33：联合图的联合分析解码算法以及转移的联合分析解码算法，对编码后的语义特征进行解码；

S34：将两类算法中的目标函数同时优化，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析；

所述步骤S33中，基于图的联合分析解码算法，对编码后的语义特征进行解码，包括：

分别计算单个依存弧或者单个单元依存子树的分数，然后将整个语义依存图的打分分解成所有单元依存子树分数或弧分数之和；

所述步骤S33中，基于转移的联合分析解码算法，对编码后的语义特征进行解码，包括：

采用递增方式逐步的构造依存图，直至形成完整的语义依存图；每一步的构造均采用一个固定形式的转移操作实现。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2中，基于所述语义特性设计语义依存图构建规范，包括：

根据扩展后的语义结构，设计一体化集成话语篇章的中文语义依存图方案，进一步细化成为具体的语料构建标注规范。

3.根据权利要求1所述的方法，其特征在于，所述步骤S34中，将两类算法中的目标函数同时优化，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析，包括：

在针对图的联合分析解码算法以及转移的联合分析解码算法中，相关参数训练时优化目标不同，则对两类算法中的目标函数各自乘以一个超参数系数并相加，利用梯度下降法同时优化；搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析。

4.一种面向会话的语义依存分析装置，其特征在于，所述装置适用于上述权利要求1-3中任意一项的方法，装置包括：

特征提取模块，用于根据对话文本，提取所述对话文本的语义特性；

特征提取模块，还用于根据话语或句子语义依存图，逐步纳入话语间篇章语义关系，扩展现有句子语义依存、兼并融合篇章语义结构；

规范构建模块，用于基于所述语义特性设计语义依存图构建规范；

模型搭建模块，用于根据所述语义依存图构建规范，采用教师-学生模型，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析；

模型搭建模块，还用于根据所述语义依存图构建规范，选定一段对话文本，将所述对话文本转换成为向量形式的深度学习特征表示，记为预训练词表示；将所述预训练词表示输入至教师-学生模型；

通过适配器模块，将所述预训练词表示输入到LSTM特征抽取器中进行高阶特征编码抽取语义特征，最终获得词语的向量化隐层表示；

联合图的联合分析解码算法以及转移的联合分析解码算法，对编码后的语义特征进行解码；

将两类算法中的目标函数同时优化，搭建高性能高效率的话语篇章一体化语义依存图分析模型根据语义依存图分析模型，完成面向会话的语义依存分析；

针对不同的任务，或不同的训练方式，通过微调的方式对BERT所有参数进行单独优化；

分别计算单个依存弧或者单个单元依存子树的分数，然后将整个语义依存图的打分分解成所有单元依存子树或弧分数之和；

采用递增方式逐步的构造依存图，直至形成完整的语义依存图；每一步的构造均采用一个固定形式的转移操作实现。

5.根据权利要求4所述的装置，其特征在于，所述特征提取模块，还用于根据话语或句子语义依存图，逐步纳入话语间篇章语义关系，扩展现有句子语义依存、兼并融合篇章语义结构。

Images