CN111460169B - 语义表达式生成方法、装置及设备 - Google Patents

Abstract

本发明公开了一种语义表达式生成方法、装置及设备。其中主要构思在于先从待处理文本中提炼出完整涵盖用户意图的各语义要素及各语义要素之间的关联关系，在此基础上，再从中梳理出能够清晰表示出文本语义的关键语义要素，并由此形成可以作为语义表达式的关键语义要素序列。本发明相比现有的语义表达生成方式，能够从整体上考虑提炼语义要素并考虑要素之间的关联关系，而在此基础上整理出的关键语义要素及形成的关键语义要素序列便更为准确、直接地表达出真实语义，并且本发明基于语义要素及相互关联关系的抽取和梳理，使得各语义要素的关键程度清晰展现，无需繁琐、冗余地进行比对、匹配等操作，便可高效地输出最终的语义表达式。

Description

语义表达式生成方法、装置及设备

技术领域

本发明涉及自然语言处理领域，尤其涉及一种语义表达式生成方法、装置及设备。

背景技术

作为人工智能领域中最重要方向之一的自然语言理解技术，一直是相关领域研究人员研究的热点。特别是近年来，随着移动互联网技术的迅速发展，信息化程度日益提高，人们越发渴望能让机器精准地理解自然语言，从而实现海量数据共享以及降低人工投入等目标。

而语义分析是自然语言处理领域亟待突破的瓶颈，想要做到更加精准的语义分析，一个功能完善的语义表示方法是不可或缺的。但是目前自然语言理解技术中有效获得语义表达的方式较少，并且经实践发现，现有的语义表达生成思路复杂度较高、繁琐冗余，因此实际上并不完善、便捷。

发明内容

鉴于此，本发明旨在提出一种与现有语义表达式生成方案构思迥异的语义表达式生成方法、装置及设备，并相应地提供一种计算机可读存储介质以及计算机程序产品，通过这些方面，能够清晰精确且高效直接地获得语义表达式。

本发明采用的技术方案如下：

第一方面，本发明提供了一种语义表达式生成方法，包括：

提取待处理文本中各字词的语义特征；

利用所述语义特征从所述待处理文本抽取出语义要素；

确定各所述语义要素之间的关联关系；

基于所述关联关系，从语义要素中抽取关键语义要素形成关键语义要素序列，并根据所述关键语义要素序列生成语义表达式。

在其中一种可能的实现方式中，所述利用所述语义特征从所述待处理文本抽取出语义要素包括：

根据所述语义特征以及预设策略，抽取出不同类型的语义要素；

将若干所述语义要素按序构成语义要素序列。

在其中一种可能的实现方式中，所述根据所述语义特征以及预设策略，抽取出不同类型的语义要素包括：

根据所述语义特征以及多标签分类策略，抽取出技能类语义要素；

根据所述语义特征以及序列标注策略，抽取出对象类语义要素。

在其中一种可能的实现方式中，所述多标签分类策略包括：

基于预设的语义要素列表，并结合所述语义要素的类型与所述语义特征的相关度，对所述待处理文本进行语义要素分类。

在其中一种可能的实现方式中，所述确定各所述语义要素之间的关联关系包括：

将所述语义要素与所述语义特征融合，并基于预设的学习策略，获得语义要素之间的关联及其对应的若干关系类型得分。

在其中一种可能的实现方式中，所述将所述语义要素与所述语义特征融合包括：

将所述语义特征与预设的先验知识进行第一融合；

将第一融合结果与所述语义要素进行第二融合。

在其中一种可能的实现方式中，所述基于所述关联关系，从语义要素中抽取关键语义要素包括：

根据所述关系类型得分，利用最大生成树策略对语义要素之间的关联关系进行解析，得到若干关键语义要素。

在其中一种可能的实现方式中，所述学习策略包括：利用预先训练的深度学习模型获得语义要素的关联关系；其中，所述深度学习模型包含用于求取语义要素之间关联及相应关系类型概率值的预设拓扑结构。

在其中一种可能的实现方式中，所述方法还包括：结合抽取语义要素的过程以及构建语义要素之间关联关系的过程，优化抽取到的语义要素以及关键语义要素。

第二方面，本发明提供了一种语义表达式生成装置，包括：

语义特征提取模块，用于提取待处理文本中各字词的语义特征；

语义要素抽取模块，用于利用所述语义特征从所述待处理文本抽取出语义要素；

关联关系确定模块，用于确定各所述语义要素之间的关联关系；

表达式构建模块，用于基于所述关联关系，从语义要素中抽取关键语义要素形成关键语义要素序列，并根据所述关键语义要素序列生成语义表达式。

在其中一种可能的实现方式中，所述语义要素抽取模块包括：

语义要素抽取单元，用于根据所述语义特征以及预设策略，抽取出不同类型的语义要素；

语义要素序列构成单元，用于将若干所述语义要素按序构成语义要素序列。

在其中一种可能的实现方式中，所述语义要素抽取单元包括：

多标签分类抽取组件，用于根据所述语义特征以及多标签分类策略，抽取出技能类语义要素；

序列标注抽取组件，用于根据所述语义特征以及序列标注策略，抽取出对象类语义要素。

在其中一种可能的实现方式中，所述多标签分类策略包括：基于预设的语义要素列表，并结合所述语义要素的类型与所述语义特征的相关度，对所述待处理文本进行语义要素分类。

在其中一种可能的实现方式中，所述关联关系确定模块包括：

关联及关系类型学习单元，用于将所述语义要素与所述语义特征融合，并基于预设的学习策略，获得语义要素之间的关联及其对应的若干关系类型得分。

在其中一种可能的实现方式中，所述关联及关系类型学习单元包括：

第一融合组件，用于将所述语义特征与预设的先验知识进行第一融合；

第二融合组件，用于将第一融合结果与所述语义要素进行第二融合。

在其中一种可能的实现方式中，所述表达式构建模块包括：

关键语义要素抽取单元，用于根据所述关系类型得分，利用最大生成树策略对语义要素之间的关联关系进行解析，得到若干关键语义要素。

在其中一种可能的实现方式中，所述关联及关系类型学习单元具体用于利用预先训练的深度学习模型获得语义要素的关联关系；其中，所述深度学习模型包含用于求取语义要素之间关联及相应关系类型概率值的预设拓扑结构。

在其中一种可能的实现方式中，所述装置还包括：

联合优化模块，用于结合抽取语义要素的过程以及构建语义要素之间关联关系的过程，优化抽取到的语义要素以及关键语义要素。

第三方面，本发明提供了一种语义表达式生成设备，包括：

一个或多个处理器、存储器以及一个或多个计算机程序，所述存储器可以采用非易失性存储介质，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面或者第一方面的任一可能实现方式中的所述方法。

第五方面，本发明还提供了一种计算机程序产品，当所述计算机程序产品被计算机执行时，用于执行第一方面或者第一方面的任一可能实现方式中的所述方法。

在第五方面的一种可能的设计中，该产品涉及到的相关程序可以全部或者部分存储在与处理器封装在一起的存储器上，也可以部分或者全部存储在不与处理器封装在一起的存储介质上。

本发明的构思在于提供一套与现有语义表达式生成方案迥异的技术方案，简而言之是先从待处理文本中提炼出完整涵盖用户意图的各语义要素及各语义要素之间的关联关系，在此基础上，再从中梳理出能够清晰表示出文本语义的关键语义要素，并由此形成可以作为语义表达式的关键语义要素序列。本发明相比现有的语义表达生成方式，能够从整体上考虑提炼语义要素并考虑要素之间的关联关系，而在此基础上整理出的关键语义要素及形成的关键语义要素序列便更为准确、直接地表达出真实语义，并且本发明基于语义要素及相互关联关系的抽取和梳理，使得各语义要素的关键程度清晰展现，无需繁琐、冗余地进行比对、匹配等操作，便可高效地输出最终的语义表达式。

进一步地，在实现上述核心构思的前提下，本发明基于应用场景所需还在上述构思中融入了诸如深度学习、多标签分类、序列标注、相关度计算、依存树结构、融合先验知识图谱、联合训练等多种独立或相互结合的技术思想和实现手段。具体将在下文中介绍。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明提供的语义表达式生成方法的实施例的流程图；

图2为本发明提供的语义要素依存树的实施例的示意图；

图3为本发明提供的语义表达式生成装置的实施例的方框图；

图4为本发明提供的语义表达式生成设备的实施例的示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

在对本发明技术方案进行说明之前，还需对现有的语义逻辑表达获取方案做以下说明，这里列举出两种近年较为主流的语义表示方案：

1)抽象语义表示方案(Abstract Meaning Representation，AMR)。AMR的基本结构是“单根有向无环图”，即将实词抽象为概念作为图上的“节点”，将没有实在意义的虚词抽象为“边”。然而对于特定应用场景下自定义的业务实体等，难以与AMR的表示对应上，并且AMR的拓扑结构较为复杂，不便清晰、精确地获得语义表达结果。

2)生成式模型方案，即确定性地生成候选的表达形式集合，然后用paraphrase模型从中挑选最为合适的，此方案需要结合大量语料进行训练，并且罗列候选再从中选取的实现过程较为繁琐且可能消耗较多不必要的运算资源，因此并不能高效、直接地获得语义表达结果。

此外，还需指出的是，本发明所涉及的技术领域，可用于多种场景环境，具体诸如客服平台、餐饮服务、商品交易、政务咨询等多种人机交互应用，并且所涉具体的实现载体也可以借助智能终端APP、智能柜员机、机器人、PC文字录入、电话语音等多种渠道，因此本发明并不对上述内容进行限定，本领域技术人员在本发明方案的构思基础上均可在与上述相关场景和载体中予以实施、拓展。

基于此，本发明的目的在于提出至少一种实现构思与上述现有语义表达式生成方案迥异的全新的语义表达式生成方案，其核心是先从待处理文本中提炼出能够完整覆盖用户输入语句的所有语义要素以及这些语义要素之间的关联关系，进而在此基础上，从已提炼的上述语义要素及关联关系中梳理出能够清晰表示语义的关键语义要素，并由此形成可以等效为语义表达式的关键语义要素序列。这里需指出，得到的关键语义要素序列，即是由关键语义要素形成的要素串，已可以用于理解用户原始输入语句所对应的语义知识点，而在实际应用中，还可以通过依存树结构等知识图谱的形式输出，以便进一步利用诸如SQL(Structured Query Language)语句进行查询、搜索。

为实现上述构思，本发明提供了一种语义表达式生成方法的实施例，如图1所示，可以包括：

步骤S1、提取待处理文本中各字词的语义特征；

步骤S2、利用所述语义特征从所述待处理文本抽取出语义要素；

步骤S3、确定各所述语义要素之间的关联关系；

步骤S4、基于所述关联关系，从语义要素中抽取关键语义要素形成关键语义要素序列，并根据所述关键语义要素序列生成语义表达式。

具体而言，该实施例所针对的处理对象是待处理文本，但在实际操作中，本发明并不限定用户原始输入的信息格式，如前文提及在不同的场景或载体中，原始输入的语句可以是但不限于文本形式、语音形式、图像形式等，这取决于实际应用所需。而由语音或图像等格式转换成文本格式的技术手段也有多种成熟方案可以借鉴使用，对此本发明不做限定。接着，为了获得最终的关键语义要素(序列)，上述实施例的脉络是：核心目的是围绕着“语义”展开的，那么就先对待处理文本进行语义层面的基础分析，即先通过提取语义特征的方式予以实现基础解析，然后便可以借由语义特征进一步从以自然表述语句中提炼出和语义理解相关的要素，语义要素拿到后，进而可以确立各语义要素的关联关系，有了整体上各语义要素的关联关系便可以清晰地从中展现出对语义理解更为直接、有效的“关键语义要素”。

这里所谓“语义要素”，顾名思义，即是指用于语义理解的基本且必要的单位元素，这里隐含着通过语义特征的提取环节以及语义要素的抽取环节，已将原始语句中对语义理解非必要的干扰元素予以排除。对此，本领域技术人员可以理解的是，人类语言具有高度的复杂性和随机性，用户输入的原始语句必不可免会夹杂着与语义理解没有关联的“噪声”，例如语气助词、重复表述、无实质意义的口头表达等，例如“啊你好，我就是想问下我的那个手机号挂的那个宽带是不是快到期了，谢谢”，但实质上这句问句的中心思想即是查询手机绑定的宽带的有效期。因此，经由前述实施例中语义特征提取及语义要素抽取的操作，就可以将处理范围聚焦在与语义理解直接或间接相关的字词上。对此还需说明两点，其一、抽取出的语义要素本身，并不限定于来自于原始输入语句，而是可以对原始语句字词的含义进行提炼，以更为直接、清晰、易于后处理辨识的既定措辞予以表达；其二、图1所示实施例中获得的所述语义要素，是从整体上提炼出的全部与语义理解有关的要素，但如前文提及，由于人类语言的复杂性，这些要素之间也会存在着直接相关、间接相关、强相关、弱相关等多种关联关系，因此经由语义特征提取和语义要素抽取环节后，本方案并未结束，这才引出后续的处理步骤，下文将对此具体展开说明。

针对上述实施例还需说明的是，在实际操作中可将各步骤看做单独的任务予以分别实现，也可以将各步骤整合为多任务的联合协作。后文将对多任务联合协作的一些实现手段进行介绍，此处先分别以单独任务的方式对图1实施例的某些环节进行具体展开：

(一)提取语义特征

这里所述语义特征是指文本在语义层面上的特征表达，因而从待处理文本提出语义特征的具体手段，可以借助本领域已较为通用且性能较佳的工具，例如但不限于Transformer模型、BERT模型等。

以BERT模型为例，可预先将待处理文本分词或分字，并表达为向量矩阵的形式。例如将原始输入语句分为60个字，每个字通过word-embedding获得512维的字向量，那么整个该语句就表达成(60,512)的二维矩阵，其中第一维指该语句的字长，第二维指每个字对应的字向量。接着将该二位矩阵输入至预先构建的BERT模型中，BERT模型其步长可设为60，且总共可包含6层BERT，且BERT中的attention分为八部分，隐层大小则可以是256，位置编码为512维，那么最终便可获得语句中每个字的特征向量表示，也即为该语句的语义特征。

需指出的是，上述字向量表示以及BERT模型提取语义特征皆为示意，工具本身的参数和实施方式可参考现有技术，本实施例此处强调的不是用了什么工具实现某一单独的步骤，而是表明在前文完整的技术构思下，语义特征的提取是该构思的初始基础，因而不限定但优选考虑采用可靠、强大的语义特征提取工具。

(二)抽取语义要素

在语义特征提取到的前提下，获得语义要素便可以将语义特征与预设的抽取策略相结合，从而实现适应不同应用场景需求的抽取方向。例如，本发明的一些实施例是按照某特定场景的不同语义要素类型进行抽取策略的制定，也即是利用前述语义特征抽取出不同类型的语义要素。语义要素的类型与场景相关且可以预先设立，通常在本领域中可以将语义要素分为动作、业务、产品、属性等主要类型。其中，动作类型可以是动词的形式，表明用户要做什么的意图，当然在某些技术习惯中，可以将动作类型上位为技能类型，也即是用户需要什么技能服务，以前文示例来说，语义要素“查询”即可以是技能类语义要素；业务、产品这类通常可以是名词的形式，其作为实体表征用户意图所针对的对象目标，因而可将此类实体定义为对象类型，以前文示例来说，语义要素“宽带”、“手机号”即可以是对象类语义要素；进一步，业务、产品这类实体通常附带有自身属性值，而用户在输入语句时也可能将实体的属性一同提及，以前文示例来说，语义要素“有效期”就是语义要素“宽带”的属性，即属性类语义要素。这里需说明的是，上述分类方式与领域经验和场景需求相关，并非绝对的分类标准，比如，属性类型的语义要素既可以是形容词也可以是名词，而且由于属性类型的语义要素通常附属于产品实体且表达形式较为固定，因此在某些实施方式中也可将属性类语义要素近视为隶属于对象类语义要求。

由此，在本发明的另一些实施例中针对上述主要的两种语义要素类型的抽取，提供了具体的实施参考。

第一部分、技能类语义要素。用户输入语句中不确定性较大、表述发散且灵活的部分，主要来自对“要做什么”的各种说法，比如对于查询意图，用户可能说成“我问一下”、“我想知道”、“您能告诉我”、“怎么收费”等等，因此针对其特定的复杂性可以将所述语义特征与多标签分类策略相结合，抽取出该技能类语义要素。例如将语义特征输入至一个预先训练的全连接多标签分类网络，当然，多标签分类是一种分类思想，其分类依据则可由人工预先制定，例如预先整理出至少包含技能类型标签的语义要素列表。为了进一步提升分类效果，还可以结合所述语义要素的类型与所述语义特征的相关度，对所述待处理文本进行语义要素分类，例如但不限于在全连接的多标签分类过程中结合注意力机制，这样，通过计算attention的方式可以获得每个类型标签和原始输入信息之间的关系，由此能够将语义要素和完整语句的上下文语义进行关联，获得相关于该语义要素的特征表述，实际操作中可拼接到抽取出的语义要素的特征表达之后。

第二部分、对象类语义要素。用户输入语句中更为确定、固定的说法，基本上来自于对确定信息的表述，例如产品、业务及其附带的属性，因而相对处理起来更为简便，例如在某些实施例中可以将语义特征与序列标注相结合，直接抽取出对象类语义要素。具体地，可以但不限于将语义特征输入至预先构建的条件随机场(CRF)算法，快捷方便地获得对象类语义要素。

最后还需对该抽取语义要素的任务进行补充说明的是，从待处理文本的说法中抽取出若干所述语义要素后，还可以将各要素按照语句顺序或抽取顺序构成语义要素序列，也即是将原始语句提炼转化为对应的语义要素串，对此本发明不做限定。

(三)确定关联关系

首先说，语义要素的关联关系可以包括两种概念关联和关系，关联是指各语义要素之间是否存在“联系”，在拓扑结构中可以表现为节点之间的边；而关系，是指对这种“联系”类型的定义，换言之是相连节点之间的关系类型。对于关系类型而言，可以包括但不限于核心关系、组合关系以及附属关系，其中核心关系：表示该语义要素是输入语句的主要核心词；组合关系：指的是能够和核心的语义要素组合在一起，得到完整语句的最终语义理解；附属关系：指的是和输入语句的最终语义理解关联性较弱的语义要素。具体可结合前文示例以及图2予以理解，其中，每个节点代表一个语义要素，每条边和边上的值表示语义要素之间的关联关系，此处不再做赘述。

基于此，在实际操作中可以将所述语义要素(序列)与所述语义特征相融合(例如但不限于进行注意力等相关度的计算)，并基于预设的学习策略，获得语义要素之间的关联及其对应的若干关系类型得分，也即是可以构建出语义要素之间的连接结构并确定相连语义要素之间的一种或多种关系类型的可能概率。

对于确定关联关系这个环节，还可以补充说明的是：

其一、前述将所述语义要素与所述语义特征融合的过程还可以将先验知识一并融合在内，例如先将所述语义特征与预设的先验知识进行第一融合，之后再将第一融合结果与所述语义要素进行第二融合，由此完成确定关联关系的前期准备。具体来说，可以梳理出基于某特定场景领域的知识图谱，再利用TransE算法形成针对该场景的带有先验关系知识的向量表示，并和语义特征进行拼接；之后将二者拼接结果再与语义要素的特征表示作attention计算。这样，在确定关联关系之前，加入了前期梳理出的知识图谱等先验知识，能够在后期关联关系的确定过程中，排除掉不合理的关系，使得关系类型的确定更为准确、可靠。

其二、关于所述学习策略，可以通过构建关系学习模型的方式予以实现，例如利用预先训练的深度学习模型获得各语义要素的关联关系；这其中，所述深度学习模型可以包含用于求取语义要素之间关联及相应关系类型概率值的预设拓扑结构。例如可以通过一个全连接网络获得前述边和关系的向量，其涉及的具体公式可参考如下：

其中，h_i ^(edge-head)为首部边的向量表示；hi^(label-head)为首部标签的向量表示；h_i ^(edge-dep)为依赖边的向量表示；h_i ^(label-dep)为依赖标签的向量表示；s_i,j ^(edge)针对节点i到节点j的边的概率值；s_i,j ^(label)针对节点i到节点j的边的标签概率值；y’_i,j ^(edge)为节点i到节点j边概率大于0的值；y’_i,j ^(label)为节点i到节点j的边的标签；FNN表示全连接神经网络；Biaff表示双仿射函数。利用但不限于上述全连接层的算法，便可以获得每个语义要素之间边以及相应关系的分类结果。

最后需补充的是，在实际操作中可利用但不限于依存树等拓扑结构将各个语义要素之间的关联和关系整体表示出，即表达成语义要素树的形式(可参考图2所示)，对此本发明不做限定。

(四)抽取关键语义要素

再由上述环节得到了各语义要素的关联关系后，便可以清晰展示出哪些要素更为关键且具有强关联，因而在实际操作中可以根据前述环节得到的关系类型得分，利用但不限于最大生成树策略，对各语义要素之间的关联关系进行解析，也即是可以对上述环节得到的语义要素树进行分析，得到若干个关键语义要素，并由这若干个关键语义要素生成关键语义要素序列。也即是利用边上的概率值，最终锁定语义要素之间最可能的关系类型，由此便从语义要素树梳理得到最终能够表示待处理文本语义的关键语义要素树(可理解的是，树状拓扑仅为实施方式的一种，而非限定)，进而便得到了用于进行语义理解的语义表达式。

综合上述各单独任务环节，本发明还在一些实施例中以多任务联合的手段予以完整实现，例如可以通过构建一个基于依存树结构的关键要素提取深度学习模型，这里需指出的是，模型策略仅仅是实现前文技术构思的手段，因而下文中对该模型的介绍只是示意，而非限定。

具体而言，本发明结合了多任务学习的思路，将接收到的待处理文本直接输入至该模型，模型的处理过程不仅对语义要素抽取的准确率进行学习，还对语义要素的关系进行判断，而最终形成的依存树则可以自动生成用于语义理解语义表达式。

一、模型拓扑结构

(1)输入层：将用户输入语句采用前述方式得到向量矩阵。

(2)语义表示层：主要是对输入层接收的向量矩阵进行语义特征的提取。

(3)语义要素序列抽取层：接收语义特征，并按既定策略抽取出不同类型的语义要素，形成语义要素串；例如可以利用BERT模型+多标签分类的思路，获得用户语句中的技能类语义要素，同时利用BERT模型+序列标注的思路，获得用户语句中产品类语义要素。

(4)语义要素之间边和关系抽取层：将语义特征和语义要素串的特征相融合，优选地，此层还包括Graph_embedding层，即将知识图谱向量化表示后，与语义特征和语义要素串的特征共同进行相关度计算。并由此层求取边连接以及每条边对应的一个或多个关系分类概率得分，也即是先得到整体各的语义要素关联关系表示，最后再由该层所包含的最大生成树算法抽取出关键语义要素。

(5)输出层：最终输出的关键语义要素序列(树)即为目标语义表达式。

二、模型训练

具体可以基于需求，收集特定场景中用户说法语料，并进行语义要素标签标注和关系标注，即标注出每个说法对应的语义要素标签和每个语义要素标签之间的关联关系，对此过程可借鉴常规的学习模型训练思路，此处不做赘述，而需要特别指出的是，本发明在一些优选方案中提出可以结合抽取语义要素的过程以及构建语义要素之间关联关系的过程，优化抽取到的语义要素以及关键语义要素。也即是联合训练思路。

实际操作中，例如但不限于，该模型包括三个损失函数loss参与模型的更新，loss1和loss2可分别是指语义要素抽取层的损失函数，其中loss1可代表技能类语义要素的抽取效果，当然，在某些实施例中主要是指多标签分类的效果；loss2可代表产品类语义要素的抽取效果，当然，在某些实施例中主要是指序列标注的效果；loss3可以是指语义要素依存树的边和关系分类的效果。采用上述三个loss相加，不仅能够更新模型中语义要素之间边和关系抽取层的参数(具体可以是指其中的全连接层)，还能更好地更新BERT语义表示层的参数，也即是在获取最终关键语义要素的同时，能够提升在线的语义要素的抽取效果。

综上可知，本发明先从待处理文本中提炼出完整涵盖用户意图的各语义要素及各语义要素之间的关联关系，在此基础上，再从中梳理出能够清晰表示出文本语义的关键语义要素，并由此形成可以作为语义表达式的关键语义要素序列。本发明相比现有的语义表达生成方式，能够从整体上考虑提炼语义要素并考虑要素之间的关联关系，而在此基础上整理出的关键语义要素及形成的关键语义要素序列便更为准确、直接地表达出真实语义，并且本发明基于语义要素及相互关联关系的抽取和梳理，使得各语义要素的关键程度清晰展现，无需繁琐、冗余地进行比对、匹配等操作，便可高效地输出最终的语义表达式。

相应于上述各实施例及优选方案，本发明还提供了一种语义表达式生成装置的实施例，如图3所示，该装置可以按如下设置，包括：

语义特征提取模块1，用于提取待处理文本中各字词的语义特征；

语义要素抽取模块2，用于利用所述语义特征从所述待处理文本抽取出语义要素；

关联关系确定模块3，用于确定各所述语义要素之间的关联关系；

表达式构建模块4，用于基于所述关联关系，从语义要素中抽取关键语义要素形成关键语义要素序列，并根据所述关键语义要素序列生成予以表达式。

在其中一种可能的实现方式中，所述语义要素抽取模块包括：

语义要素抽取单元，用于根据所述语义特征以及预设策略，抽取出不同类型的语义要素；

语义要素序列构成单元，用于将若干所述语义要素按序构成语义要素序列。

在其中一种可能的实现方式中，所述语义要素抽取单元包括：

多标签分类抽取组件，用于根据所述语义特征以及多标签分类策略，抽取出技能类语义要素；

序列标注抽取组件，用于根据所述语义特征以及序列标注策略，抽取出对象类语义要素。

在其中一种可能的实现方式中，所述多标签分类策略包括：基于预设的语义要素列表，并结合所述语义要素的类型与所述语义特征的相关度，对所述待处理文本进行语义要素分类。

在其中一种可能的实现方式中，所述关联关系确定模块包括：

关联及关系类型学习单元，用于将所述语义要素与所述语义特征融合，并基于预设的学习策略，获得语义要素之间的关联及其对应的若干关系类型得分。

在其中一种可能的实现方式中，所述关联及关系类型学习单元包括：

第一融合组件，用于将所述语义特征与预设的先验知识进行第一融合；

第二融合组件，用于将第一融合结果与所述语义要素进行第二融合。

在其中一种可能的实现方式中，所述表达式构建模块包括：

关键语义要素抽取单元，用于根据所述关系类型得分，利用最大生成树策略对语义要素之间的关联关系进行解析，得到若干关键语义要素。

在其中一种可能的实现方式中，所述关联及关系类型学习单元具体用于利用预先训练的深度学习模型获得语义要素的关联关系；其中，所述深度学习模型包含用于求取语义要素之间关联及相应关系类型概率值的预设拓扑结构。

在其中一种可能的实现方式中，所述装置还包括：

联合优化模块，用于结合抽取语义要素的过程以及构建语义要素之间关联关系的过程，优化抽取到的语义要素以及关键语义要素。

应理解以上图3所示的语义表达式生成装置的各个部件的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分部件以软件通过处理元件调用的形式实现，部分部件通过硬件的形式实现。例如，某个上述模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些部件可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。

综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明适用于多种实施方式，本发明以下述载体作为示意性说明：

(1)一种语义表达式生成设备，其可以包括：

一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行前述实施例或等效实施方式的步骤/功能。

图4为本发明语义表达式生成设备的实施例的结构示意图，其中，该设备可以是电子设备也可以是内置于上述电子设备的电路设备。上述电子设备可以为云服务器、移动终端(手机)、智能电话、客服系统、交易平台、遥控器、电视、音箱、智慧屏、无人机、ICV、智能(汽)车或车载设备等。本实施例对语义表达式生成设备的具体形式不作限定。

具体如图4所示，语义表达式生成设备900包括处理器910和存储器930。其中，处理器910和存储器930之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器930用于存储计算机程序，该处理器910用于从该存储器930中调用并运行该计算机程序。上述处理器910可以和存储器930可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时，该存储器930也可以集成在处理器910中，或者，独立于处理器910。

除此之外，为了使得语义表达式生成设备900的功能更加完善，该设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个，所述音频电路还可以包括扬声器982、麦克风984等。其中，显示单元970可以包括显示屏。

进一步地，上述语义表达式生成设备900还可以包括电源950，用于给该设备900中的各种器件或电路提供电能。

应理解，图4所示的语义表达式生成设备900能够实现前述实施例提供的方法的各个过程。该设备900中的各个部件的操作和/或功能，可分别为了实现上述方法实施例中的相应流程。具体可参见前文中关于方法、装置等实施例的描述，为避免重复，此处适当省略详细描述。

应理解，图4所示的语义表达式生成设备900中的处理器910可以是片上系统SOC，该处理器910中可以包括中央处理器(Central ProcessingUnit；以下简称：CPU)，还可以进一步包括其他类型的处理器，例如：图像处理器(Graphics Processing Unit；以下简称：GPU)等，具体在下文中再作介绍。

总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器930中。

(2)一种可读存储介质，在可读存储介质上存储有计算机程序或上述装置，当计算机程序或上述装置被执行时，使得计算机执行前述实施例或等效实施方式的步骤/功能。

在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的某些技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以如下所述软件产品的形式体现出来。

(3)一种计算机程序产品(该产品可以包括上述装置)，该计算机程序产品在终端设备上运行时，使终端设备执行前述实施例或等效实施方式的语义表达式生成方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指APP；接续前文，上述设备/终端可以是一台计算机设备(例如手机、PC终端、云平台、服务器、服务器集群或者诸如媒体网关等网络通信设备等)。并且，该计算机设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(Image Signal Processing；以下简称：ISP)，该处理器还可包括特定集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路等，此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器等存储介质中；而前述的存储器/存储介质可以包括：非易失性存储器(non-volatile memory)，例如非可移动磁盘、U盘、移动硬盘、光盘等，以及只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)等。

本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

本领域技术人员可以意识到，本说明书中公开的实施例中描述的各模块、单元及方法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方式来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以及，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。尤其，对于装置、设备等实施例而言，由于其基本相似于方法实施例，所以相关之处可参见方法实施例的部分说明即可。以上所描述的装置、设备等实施例仅仅是示意性的，其中作为分离部件说明的模块、单元等可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个地方，例如系统网络的节点上。具体可根据实际的需要选择其中的部分或者全部模块、单元来实现上述实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (10)

1.一种语义表达式生成方法，其特征在于，包括：

提取待处理文本中各字词的语义特征；

利用所述语义特征从所述待处理文本抽取出语义要素，包括根据所述语义特征以及预设策略，抽取出不同类型的语义要素；将若干所述语义要素按序构成语义要素序列；

确定各所述语义要素之间的关联关系；

基于所述关联关系，从语义要素中抽取关键语义要素形成关键语义要素序列，并根据所述关键语义要素序列生成语义表达式，其中所述关键语义要素序列与所述语义表达式等效。

2.根据权利要求1所述的语义表达式生成方法，其特征在于，所述根据所述语义特征以及预设策略，抽取出不同类型的语义要素包括：

根据所述语义特征以及多标签分类策略，抽取出技能类语义要素；其中所述多标签分类策略包括：基于预设的语义要素列表，并结合所述语义要素的类型与所述语义特征的相关度，对所述待处理文本进行语义要素分类；

根据所述语义特征以及序列标注策略，抽取出对象类语义要素。

3.根据权利要求1所述的语义表达式生成方法，其特征在于，所述确定各所述语义要素之间的关联关系包括：

将所述语义要素与所述语义特征融合，并基于预设的学习策略，获得语义要素之间的关联及其对应的若干关系类型得分；

其中，所述融合包括：

将所述语义特征与预设的先验知识进行第一融合；

将第一融合结果与所述语义要素进行第二融合。

4.根据权利要求3所述的语义表达式生成方法，其特征在于，所述学习策略包括：利用预先训练的深度学习模型获得语义要素的关联关系；其中，所述深度学习模型包含用于求取语义要素之间关联及相应关系类型概率值的预设拓扑结构。

5.根据权利要求1-4任一项所述的语义表达式生成方法，其特征在于，所述方法还包括：结合抽取语义要素的过程以及构建语义要素之间关联关系的过程，优化抽取到的语义要素以及关键语义要素。

6.一种语义表达式生成装置，其特征在于，包括：

语义特征提取模块，用于提取待处理文本中各字词的语义特征；

语义要素抽取模块，用于利用所述语义特征从所述待处理文本抽取出语义要素；所述语义要素抽取模块包括：语义要素抽取单元，用于根据所述语义特征以及预设策略，抽取出不同类型的语义要素；以及语义要素序列构成单元，用于将若干所述语义要素按序构成语义要素序列；

关联关系确定模块，用于确定各所述语义要素之间的关联关系；

表达式构建模块，用于基于所述关联关系，从语义要素中抽取关键语义要素形成关键语义要素序列，并根据所述关键语义要素序列生成语义表达式，其中所述关键语义要素序列与所述语义表达式等效。

7.根据权利要求6所述的语义表达式生成装置，其特征在于，所述关联关系确定模块包括：

关联及关系类型学习单元，用于将所述语义要素与所述语义特征融合，并基于预设的学习策略，获得语义要素之间的关联及其对应的若干关系类型得分；

所述关联及关系类型学习单元具体包括：

第一融合组件，用于将所述语义特征与预设的先验知识进行第一融合；

第二融合组件，用于将第一融合结果与所述语义要素进行第二融合。

8.一种语义表达式生成设备，其特征在于，包括：

一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如权利要求1-5任一项所述的语义表达式生成方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1-5任一项所述的语义表达式生成方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品在终端设备上运行时，使所述终端设备执行权利要求1-5任一项所述的语义表达式生成方法。

Images