CN113128237A

CN113128237A - 一种服务资源的语义表征模型构建方法

Info

Publication number: CN113128237A
Application number: CN202110384721.7A
Authority: CN
Inventors: 郭保琪; 李松; 程航; 丁志在
Original assignee: Qingdao Haida Xinxing Software Consulting Co ltd
Current assignee: Qingdao Haida Xinxing Software Consulting Co ltd
Priority date: 2021-04-09
Filing date: 2021-04-09
Publication date: 2021-07-16
Anticipated expiration: 2041-04-09
Also published as: CN113128237B

Abstract

本发明公开了一种服务资源的语义表征模型构建方法，首先针对服务资源构建一个标准化的服务资源描述模型，进而针对构建的服务资源表征模型中的功能描述按照短语词汇和长句两个方面分别构建短语语义模型和长句语义模型，有针对性的充分利用各自的各自特点来挖掘语义；短语语义模型可以通过依存关系分析直接转化为结构化关系集合表达语义，易于与知识图谱结合进行后续的分析处理，长句语义模型通过细粒度交互注意力网络提取语义表征信息，可以更加精准地表达服务资源的语义，有利于实现服务的精细化管理，提高资源匹配的准确性。

Description

一种服务资源的语义表征模型构建方法

技术领域

本发明属于自然语言理解技术领域，具体地说，是涉及一种服务资源的语义表征模型构建方法。

背景技术

随着办公信息化、生活网络化不断推进，诸如专利服务、法律服务、政策服务、科技服务、研究咨询等典型的线上服务资源也快速的增长以及不断的积累。

这对于如何能准确、高效地检索到符合用户真实意图的服务资源，提出了新的要求和挑战；同时，目前对服务资源的分类管理过于简单，无法体现服务细微的语义差别，缺乏一套有效的语义分析描述体系。

目前，大量新兴方法融入到文本的语义表征模型中，例如，将BERT、GPT等各种预训练模型，以及RNN、LSTM/CNN、transformer等特征抽取方法，对语义表征模型进行改进，使模型本身变得纷繁复杂。但是，对服务资源功能描述这类特殊的自然语言，直接使用上述模型，对于细粒度的、精细化的语义分析和匹配差强人意，存在中文词汇语义相似性计算精度不高，句子表征方法表达信息不全面、不彻底，无法匹配资源真实的功能语义等等问题。

发明内容

本发明的目的在于提供一种服务资源的语义表征模型构建方法，构建服务资源描述模型，并针对服务资源功能描述非结构化的特点，对以词汇短语为主的功能描述建立功能短语语义模型，将词汇短语转化为结构化关系集合；对于以长句为主的表达，设计一种识别服务描述类语言的交互注意力网络，将长句描述通过词嵌入技术送入交互注意力网络，结合无监督及监督联合训练的方式，得到长句语义模型；通过构建的语义表征模型可以伸入、全面的分析、理解对服务资源的需求，模型输出的描述语言表征向量可用于服务资源的虚拟化管理或服务语义匹配等技术，高效、准确的管理虚拟化的线上服务资源，实现服务资源的精细化管理，提高资源匹配准确性的技术效果。

本发明采用以下技术方案予以实现：

提出一种服务资源的语义表征模型构建方法，包括：

构建服务资源描述模型：

采用资源描述框架定义SRes＝{SR_Id，SR_Property，SR_Relation}，对服务资源进行标准化描述；其中，SR_Id表示服务资源的唯一标识，SR_Property表示服务资源属性信息，SR_Relation表示服务同其他服务或资源的关系；

采用资源描述框架定义SR_Property＝{BaseInfo，FuncProp，QosProp}，对服务资源属性信息进行标准化描述；其中，BaseInfo表示资源基本信息；FuncProp表示资源的功能描述；QosProp表示服务质量及能力评估；

构建短语语义模型FuncProp＝{(<Predicate>，<Object>，<RL＝动宾>))，将服务资源描述模型中的功能描述转换为结构化关系集合；其中，Predicate表示谓语，Object表示宾语，RL表示实体之间的关系；

构建长句语义模型，基于长句语义模型得到描述语言表征向量：

建立包含语序的词向量矩阵；

构建并训练细粒度交互注意力网络；

采用细粒度交互注意力网络将包含语序的词向量矩阵处理为描述语言表征向量(以使得相似句子映射到向量空间相近的位置)。

进一步的，建立包含语序的词向量矩阵，具体包括：将输入句子处理为文本序列，处理文本序列为词向量矩阵；计算词向量矩阵中每个分词的位置编码；将位置编码添加到词向量矩阵中得到包含语序的词向量矩阵。

进一步的，构建的细粒度交互注意力网络包括：编码层，采用双向门控循环单元网络模块提取词向量矩阵中具有全局性的长期依赖关系，采用多尺度扩张卷积模块来获取词向量矩阵中局部语义特征；交互层，构建多粒度注意力交互矩阵得到长期依赖关系和局部语义特征之间的相关性；以及，利用多粒度注意力交互矩阵进行特征的聚合，得到全局表示向量和局部表示向量；输出层，将全局表示向量和局部表示向量进行拼接，并送入到带有非线性激活函数的全连接网络输出最终的描述语言表征向量。

进一步的，采用双向门控循环单元网络模块提取词向量矩阵中具有全局性的长期依赖关系，包括：对于双向门控循环单元模块中的每层网络，将其前向输出的隐藏状态和后向输出的隐藏状态拼接作为层的隐藏状态；经过多层的堆叠网络得到最终的隐藏状态矩阵。

进一步的，采用多尺度扩张卷积模块来获取词向量矩阵中局部语义特征，具体包括：采用带有非线性激活函数的一维扩张卷积检测不同词位置的局部语义特征，得到整个序列的卷积结果；使用多尺度扩张卷积在每个位置生成可变的局部特征，得到多尺度扩张卷积模块的输出。

进一步的，在构建多粒度注意力交互矩阵之前，所述方法还包括：将长期依赖关系和局部语义特征通过一个线性层映射到N个维度为d_n的子空间中分别运算；在每个子空间分别构建长期依赖关系和局部语义特征的注意力交互矩阵；对每一个注意力交互矩阵的行和列分别应用平均池化得到长期依赖关系和局部语义特征交互的平均相关程度；应用softmax函数突出长期依赖关系和局部语义特征中每个上下文特征向量的重要性，基于重要性与长期依赖关系的乘积得到子空间输出的全局向量表示，以及基于重要性与局部语义特征的乘积得到子空间输出的局部向量表示。

进一步的，训练细粒度交互注意力网络，具体包括：无监督训练，利用收集到的服务资源功能描述数据，通过细粒度交互注意力网络预测服务描述中的分词；监督训练，添加分类层网络，利用已有的标签预测服务类别，得到的语义表征向量把语义相似的句子映射到向量空间相近的位置。

进一步的，所述短语语义模型中的宾语模型可表示为：

Object＝{(<Object1>，<Object1>，<RL>)，……，<Objectm>，<Objectn>，<RL>)}；其中，RL包括并列、定中、状中或其他。

与现有技术相比，本发明的优点和积极效果是：本发明提出的服务资源的语义表征模型构建方法中，首先针对服务资源构建一个标准化的服务资源描述模型，进而针对构建的服务资源表征模型中的功能描述按照短语词汇和长句两个方面分别构建短语语义模型和长句语义模型，有针对性的充分利用各自的各自特点来挖掘语义；短语语义模型可以通过依存关系分析直接转化为结构化关系集合表达语义，易于与知识图谱结合进行后续的分析处理，长句语义模型通过细粒度交互注意力网络提取语义表征信息，可以更加精准地表达服务资源的语义，有利于实现服务的精细化管理，提高资源匹配的准确性。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明

图1为本发明提出的服务资源的语义表征模型构建方法的流程图；

图2为本发明中短语语义模型的架构图；

图3为本发明提出的长句语义模型构建的流程图；

图4为本发明中长句语义模型提出的细粒度交互注意力网络的内部流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细的说明。

本发明提出的服务资源的语义表征模型构建方法，如图1所示，包括如下步骤：

步骤S11：构建服务资源描述模型。

本发明实施例中，服务资源描述模型采用资源描述框架(RDF)来定义，实现对服务资源的标准化描述，其本体定义表示如下：

SRes＝{SR_Id，SR_Property，SR_Relation}；

其中，SR_Id表示服务资源的唯一标识；SR_Property表示服务资源属性信息，SR_Relation表示服务同其他服务或资源的关系。

接着采用资源描述框架定义服务资源属性模型，对服务资源属性信息SR_Property进行标准化描述，其模型表示为：

SR_Property＝{BaseInfo，FuncProp，QosProp}；

其中，BaseInfo表示资源基本信息，可包括资源名称、分类、资源URL、资源提供者、提供日期、资源状态等；FuncProp表示资源的功能描述，一般为自然语言；QosProp表示服务质量及能力评估。

其中，资源的功能描述FuncProp是最能反映服务语义的部分，需要通过自然语言处理技术进行分解，本发明从短语词汇和长句两个方面进行分解处理。

步骤S12：针对短语词汇，构建短语语义模型，将服务资源描述模型中的功能描述转换为结构化关系集合。

该短语语义模型针对以词汇短语为主的服务功能描述形式，使用依存关系分析技术，识别句子中词汇与词汇之间的相互依存关系。一个依存关系连接两个词，分别是核心词和依存词，可以表达主谓、动宾等文法结构。

大多数短句类型的服务功能描述都可以转换为动宾结构为主体的短语集合，因此，如图2所示，本发明实施例中用谓语(Predicate)及宾语(Object)定义服务资源的功能描述模型为：

FuncProp＝{(<Predicate>，<Object>，<RL＝动宾>))；其中，RL表示实体之间的关系。

进一步的，短语语义模型中的宾语模型可表示为：

通过依存关系分析，可将非结构化的自然语言描述转换为结构化的关系集合，同时可以递归的表达复杂的语义特性：如果存在

SubClass∈ObjectClass，则SubClass上的约束集合用ObjectClass{subclass}表示，该约束集合的扩展功能用下式表示：

该公式表达了实体(或概念)之间的关系，将其作为本体间的约束条件，形成层次网络结构作为资源的功能语义描述模型。

步骤S13：构建长句语义模型，基于长句语义模型得到描述语言表征向量。

具体的，如图3和图4所示，包括如下步骤：

步骤S31：建立包含语序的词向量矩阵。

对输入的功能描述句子进行分词预处理形成输入文本序列，并利用词嵌入技术将其处理成词向量矩阵，利用正余弦位置编码方法计算生成每个分词的位置编码，并将位置编码添加到词向量矩阵中，得到包含语序的词向量矩阵。

步骤S32：构建并训练细粒度交互注意力网络。

如图4所示，构建的细粒度交互注意力网络包括：

编码层，采用双向门控循环单元网络模块(Bi-GRU)来提取词向量矩阵中具有全局性的长期依赖关系，同时采用多尺度扩张卷积模块(Multi-scale dilated CNN)来获取词向量矩阵中的局部语义特征。

交互层，构建多粒度注意力交互矩阵得到长期依赖关系和局部语义特征之间的相关性，同时，利用多粒度注意力交互矩阵进行特征的聚合，得到全局表示向量和局部表示向量。

输出层，将全局表示向量和局部表示向量进行拼接，并送入到带有非线性激活函数的全连接网络输出最终的描述语言表征向量，为一种嵌入式表征。

本发明实施例中，训练细粒度交互注意力网络包括无监督训练和监督训练；首先进行无监督训练，利用收集到的服务资源功能描述数据，通过细粒度交互注意力网络预测服务描述中的分词；之后进行监督训练，添加分类层网络，利用已有的标签预测服务类别，得到的语义表征向量能够把语义相似的句子映射到向量空间相近的地方。

步骤S33：使用细粒度交互注意力网络将包含语序的词向量矩阵处理为描述语言表征向量。

采用训练好的细粒度交互注意力网络，以包含语序的词向量矩阵为输入，得到长句的描述语言表征向量。

长句通过本发明实施例构建的细粒度交互注意力网络提取语义表征信息，可以更加精准地表达服务资源的语义，有利于实现服务的精细化管理，提高资源匹配的准确性。

下面以一个具体的实施例对短语语义模型的构建、长句语义模型的构建，结合构建的模型得到描述语言表征向量做出详细说明。

短语语义模型主要针对以词汇短语为主的服务功能描述形式；例如，对于服务功能描述：“销售服装鞋包&小程序开发″，实施步骤如下：

(1)使用Yamada算法提取描述的依存关系为：

{

″deprel″：″宾语″，

″head_lemma″：″销售″，

″lemma″：″服装″

}，

{

″deprel″：″并列关系″，

″head_lemma″：″鞋包″，

″lemma″：″服装″

}，

{

″deprel″：″核心关系″，

″head_lemma″：″##核心##″，

″lemma″：″鞋包″

}

{

″deprel″：″前置宾语″，

″head_lemma″：″开发″，

″lemma”：¨J、程序”

}，

{

″deprel″：″核心关系″，

″head_lemma”：”##核·心##”.

″lemma”：”开发”

(2)因此，对于上例，可以表示的短语语义模型为：

{(销售，服装鞋包，动宾)，(开发，小程序，动宾)}

{(服装，鞋包，并列)}；

转换为结构化的关系集合，通过标准化后可以用于后续的资源管理和匹配任务。

长句语义模型主要针对完整的自然语言句子描述的服务功能，具体实现步骤如下：

(1)对输入的句子进行分词、去除停用词等预处理，得到输入的文本序列S＝{w₁，w₂，...，w_m}，其中w_i表示为句子S的第i个单词，m为句子S的长度。

(2)对文本序列S，首先通过查询词嵌入空间的方法，得到每个单词w_i对应的词向量x_i，其中x_i∈R^d，d为词向量v_i的维度。则整个文本序列S的词向量矩阵表示X＝[x₁，x₂，...，x_m]∈R^m×d。

(3)为了充分利用文本序列S的顺序性，需要考虑S中各个词的位置信息；模型首先通过正余弦位置编码方法得到S中每个词的位置编码向量，位置编码采用不同频率的正弦和余弦函数：

其中i为词在S中的位置，d表示词向量的维度大小，p表示位置向量中的第p个元素。所得到位置编码向量为e_i∈R^d，整个文本序列S的位置编码可以表示为E＝[e₁，e₂，...，e_m]。

然后，将位置编码和词向量相结合，从而生成了具有顺序性的词向量矩阵X＝[x₁+e₁，x₂+e₂，....，x_m+e_m]。

(4)模型采用多粒度交互注意力来实现细粒度的语义信息抽取，首先，在编码层，采用双向门控循环单元网络(Bi-GRU)模块和多尺度扩张卷积(Multi-scale dilated CNN)模块来捕获输入长句中全局依赖关系和局部语义特征。

在Bi-GRU模块中，网络的层数被设置为3。对于GRU模块中每一层网络，其两个方向(前向和后向)输出的隐藏状态可以计算为：

其中，

为Bi-GRU网络在第i步的前向传播融合上文信息表示，

为双向GRU网络在第i步的后向传播融合上文信息表示，x_i为Bi-GRU网络在第i步的输入向量。

最终Bi-GRU的输出为该层的隐藏状态

知

均拼接向量

经过多层Bi-GRU网络后，最终得到新的隐藏状态矩阵：

H＝[h₁，h₂，...，h_m]∈R^m×2d。

在Multi-scale dilated CNN模块中，模型采用带有非线性激活函数的一维扩张卷积来检测不同词位置的局部语义特征；假设卷积核宽度为2w+1，扩张率为δ，则在第i个词位置的卷积运算结果为：

其中σ为非线性激活函数ReLU；W和b为卷积核和偏置项；为了保证输入和输出序列长度的一致性，补零操作被应用在卷积运算之前。

最终，整个序列的卷积结果为：

c＝[c₁，c₂，...，c_m]。

使用多尺度扩张卷积(r表示变化尺度k的个数)在每个位置生成可变的局部特征k-gram，得到Multi-scale dilated CNN模块的最终输出，如下：

C＝[c¹，c²，...，c^r]∈R^m×rd。

在交互层，模型通过在不同粒度下构建全局长期依赖和局部语义特征的注意力交互矩阵来突出两种类型中重要的语义信息，过滤噪音和无关的冗余信息。

首先，在构建注意力交互矩阵之前先通过一个线性层映射到N个维度为d_n的子空间中分别运算。H和C投影在第n个子空间(n＝[1，2，3，...，N])的过程可以表示为：

其中，

和

都是权重参数。

随后，模型在每个子空间中分别构建全局长期依赖和局部语义特征之间的注意力交互矩阵：

其中，

是要学习的参数矩阵；tanh是非线性激活函数，双曲正切函数；Aⁿ∈R^m×m中的每一个元素

表示两种类型特征交互的相关性；所有子空间构建的注意力交互矩阵集合为{A¹，A²，...，A^N}。

接下来，对每一个注意力交互矩阵的行和列上分别应用平均池化得到全局长期依赖和局部语义特征交互的平均相关程度：

通过应用softmax函数来突出两种类型特征中每个上下文特征向量的重要性：

其中，

知

是两种类型特征在第n个子空间的注意力权重；相应地，第n个子空间输出的全局和局部向量表示可以被计算为：

其中，

最终，所有子空间输出的全局和局部向量表示都被拼接起来作为该层的输出：

其中，z_H，

在输出层，将最终的全局表示向量(z_H)和局部表示向量(z_C)馈送到一个带有非线性激活函数的全连接网络，输出描述语言表征向量：

Z＝δ(W_F[z_H，z_C]+b_F)；

其中δ是整流线性单元(ReLU)函数，W_F和b_F是权重参数。

以上实施例中，根据服务资源非结构化的特点，将词语的外部、内部信息相结合，提出基于词嵌入技术的中文词嵌入方法，改善单词语义相似性计算的性能，为低频词或未登录词的准确语义相似性计算提供了可能性；通过为词向量添加位置编码，生成包含语序信息的句向量，提高词向量的质量，并为之后的语义信息抽取提高其效率；通过将门控循环单元与多尺度扩张卷积结构相结合构建细粒度交互注意力网络，建立语义信息抽取模型，使语义信息抽取更高效、更全面；最终将提出的中文词嵌入方法和句子语义信息抽取模型相结合，建立基于服务资源的语义表征模型，更有效的满足用户对服务资源的需求，提高对用户的服务质量。

应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims

1.一种服务资源的语义表征模型构建方法，其特征在于，包括：

构建服务资源描述模型：

采用资源描述框架定义SRes＝{SR_Id,SR_Property,SR_Relation},对服务资源进行标准化描述；其中，SR_Id表示服务资源的唯一标识，SR_Property表示服务资源属性信息，SR_Relation表示服务同其他服务或资源的关系；

采用资源描述框架定义SR_Property＝{BaseInfo,FuncProp,QosProp}，对服务资源属性信息进行标准化描述；其中，BaseInfo表示资源基本信息；FuncProp表示资源的功能描述；QosProp表示服务质量及能力评估；

构建短语语义模型FuncProp＝{(<Predicate>,<Object>,<RL＝动宾>))，将服务资源描述模型中的功能描述转换为结构化的关系集合；其中，Predicate表示谓语，Object表示宾语，RL表示实体之间的关系；

构建长句语义模型，基于长句语义模型得到长句的描述语言表征向量：

建立包含语序的词向量矩阵；

构建并训练细粒度交互注意力网络；

采用细粒度交互注意力网络将包含语序的词向量矩阵处理为描述语言表征向量。

2.根据权利要求1所述的服务资源的语义表征模型构建方法，其特征在于，建立包含语序的词向量矩阵，具体包括：

将输入句子处理为文本序列，处理文本序列为词向量矩阵；

计算词向量矩阵中每个分词的位置编码；

将位置编码添加到词向量矩阵中得到包含语序的词向量矩阵。

3.根据权利要求1所述的服务资源的语义表征模型构建方法，其特征在于，构建的细粒度交互注意力网络包括：

编码层，采用双向门控循环单元网络模块提取词向量矩阵中具有全局性的长期依赖关系，采用多尺度扩张卷积模块来获取词向量矩阵中局部语义特征；

交互层，构建多粒度注意力交互矩阵得到长期依赖关系和局部语义特征之间的相关性；以及利用多粒度注意力交互矩阵进行特征的聚合，得到全局表示向量和局部表示向量；

输出层，将全局表示向量和局部表示向量进行拼接，并送入到带有非线性激活函数的全连接网络输出最终的描述语言表征向量。

4.根据权利要求3所述的服务资源的语义表征模型构建方法，其特征在于，采用双向门控循环单元网络模块提取词向量矩阵中具有全局性的长期依赖关系，包括：

对于双向门控循环单元模块中的每层网络，将其前向输出的隐藏状态和后向输出的隐藏状态拼接作为层的隐藏状态；

经过多层的堆叠网络得到最终的隐藏状态矩阵。

5.根据权利要求3所述的服务资源的语义表征模型构建方法，其特征在于，采用多尺度扩张卷积模块来获取词向量矩阵中局部语义特征，具体包括：

采用带有非线性激活函数的一维卷积检测不同词位置的局部语义特征，得到整个序列的卷积结果；

使用多尺度扩张卷积在每个位置生成可变的局部特征，得到多尺度扩张卷积模块的输出。

6.根据权利要求3所述的服务资源的语义表征模型的构建方法，其特征在于，在构建多粒度注意力交互矩阵之前，所述方法还包括：

将长期依赖关系和局部语义特征通过一个线性层映射到N个维度为d_n的子空间中分别运算；

在每个子空间分别构建长期依赖关系和局部语义特征的注意力交互矩阵；

对每一个注意力交互矩阵的行和列分别应用平均池化得到长期依赖关系和局部语义特征交互的平均相关程度；

应用softmax函数突出长期依赖关系和局部语义特征中每个上下文特征向量的重要性，基于重要性与长期依赖关系的乘积得到子空间输出的全局向量表示，以及基于重要性与局部语义特征的乘积得到子空间输出的局部向量表示。

7.根据权利要求3所述的服务资源的语义表征模型构建方法，其特征在于，训练细粒度交互注意力网络，具体包括：

无监督训练，利用收集到的服务资源功能描述数据，通过细粒度交互注意力网络预测服务描述中的分词；

监督训练，添加分类层网络，利用已有的标签预测服务类别，得到的语义表征向量把语义相似的句子映射到向量空间相近的位置。

8.根据权利要求1所述的服务资源的语义表征模型构建方法，其特征在于，所述短语语义模型中的宾语模型可表示为：

Object＝{(<Object1>,<Object1>,<RL>),……,<Objectm>,<Objectn>,<RL>)}；其中，RL包括并列、定中、状中或其他。