CN113158051B - 一种基于信息传播和多层上下文信息建模的标签排序方法 - Google Patents

Abstract

本发明提供了一种基于信息传播和多层上下文信息建模的标签排序方法，使用标签信息融合机制对标签名字信息和标签描述信息进行融合，初步得到标签的信息表示；构建父标签和子标签之间的交互信息，将父标签的信息传递给子节点，进一步强化标签的语义信息；采用多层上下文信息方法抽取待标记文本的表示，并对多个层次的文本表示进行融合，以及添加位置编码信息；抽取标签相关的待标记文本表示，并使用多层感知机预测文本‑标签之间的相关度，按照相关度对标签进行排序。本发明可以获得多层次文本表示，以及使用不可见标签对文本进行标注，使用不可见标签对文本进行标注，准确度大幅度提高。

Description

一种基于信息传播和多层上下文信息建模的标签排序方法

技术领域

本发明属于标签信息优化处理技术领域，具体涉及一种基于信息传播和多层上下文信息建模的标签排序方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

在大数据时代，面对日益剧增的数据，用户想要快速找到自己想要的信息变得越来越困难。与此同时，为了更好的管理、整合数据，标签信息被广泛的应用在诸多平台，如：社区问答网站、新闻平台等。此外，这些平台也可以基于用户关注的标签为用户推荐他们感兴趣的内容。不过，有时候用户并不能很好地给他们创建的文本内容标记合适的标签。基于此，设计一个智能的标签排序方法帮助用户进行内容标记十分重要，这既可以提升用户体验，又可以提升内容分发效率。

特别地，构建一个标签排序系统去标记用户上传的文本内容并不简单，主要有以下挑战：

1)标签可能被组织成一个有向无环图，所有的标签通过有向边进行连接，所以标签并不是独立的。因此，当学习标签表示的时候，我们需要去考虑标签之间的关联。

2)新的标签可能在任何时间被创建，所以有许多标签很少去标记文本内容，这些标签被称为不可见标签，反之被称为可见标签。然而，这些标签同样是有意义的，也应被应用于文本内容标记。不过目前如何使用这些新标签去标记文本是没有被探究的。

3)用户上传的文本内容经常是复杂的，包含一个或多个句子。因此如何去理解复杂的文本，捕捉文本和标签之间的联系是十分重要的。

发明内容

本发明为了解决上述问题，提出了一种基于信息传播和多层上下文信息建模的标签排序方法，本发明可以获得多层次文本表示，以及使用不可见标签对文本进行标注，同时，对于不可见标签引入多维注意力机制从父标签获得有意义的信息去强化子标签的语义表示，提高了文本标注的准确度。

根据一些实施例，本发明采用如下技术方案：

一种基于信息传播和多层上下文信息建模的标签排序方法，包括以下步骤：

使用标签信息融合机制对标签名字信息和标签描述信息进行融合，初步得到标签的信息表示；

构建父标签和子标签之间的交互信息，将父标签的信息传递给子节点，进一步强化标签的语义信息；

采用多层上下文信息方法抽取待标记文本的表示，并对多个层次的文本表示进行融合，以及添加位置编码信息；

抽取标签相关的待标记文本表示，并使用多层感知机预测文本-标签之间的相关度，按照相关度对标签进行排序。

作为可选择的实施方式，使用标签信息融合机制对标签名字信息和标签描述信息进行融合的具体过程包括：

提取标签名字的特征Eⁿ，以及标签描述的特征E^d；

采用平均池化操作得到标签名字的信息表示tⁿ，以标签名字为主，使用注意力机制去抽取标签描述中有意义的信息，得到标签描述的表示t^d：

利用高速网络学习门控向量G_n和G_d，分别过滤标签名字和描述的信息得到标签的表示t。

作为可选择的实施方式，构建父标签和子标签之间的交互信息的具体过程包括：每个子标签有l_f个父标签，采用元素级别的操作去挖掘子标签t和父标签t^f之间的相对信息：

其中，[：；：]表示的是拼接操作，以及-和*分别表示元素级别的减法和乘法，l-1表示是第l-1次传播，多次的传播使得子标签间接的得到祖辈标签的信息。

作为可选择的实施方式，将父标签的信息传递给子节点的具体过程包括：采用多维的注意力机制去细粒度的捕捉两者之间的关联，并将父标签的信息传递给子标签，进一步强化子标签的语义信息，并利用short-cut机制去除标签之间图结构的噪音，得到最终的标签表示：

t＝t+t_L，

L是最终的传播次数。

作为可选择的实施方式，采用多层上下文信息方法抽取待标记文本的表示的具体过程包括：

计算待标记的文本的特征表示，采用多个不同尺度的卷积神经网络来抽取不同层次的文本表示，特征表示

其中，θ_j表示卷积操作，g_j是对应的可学习的卷积参数，

表示第j个卷积操作得到的文本表示，以及j∈{1，...，m}。

作为可选择的实施方式，对多个层次的文本表示进行融合，以及添加位置编码信息的具体过程包括：

将不同层次的文本表示进行融合得到更全面的文本表示

其中，W_c，b_c是需要学习的参数，以及σ是激活函数ReLU；

在融合之前和文本表示中均使用short-cut机制，从而得到最终的待标记文本特征。

作为可选择的实施方式，用多层感知机预测文本-标签之间的相关度的具体过程包括：

根据标记文本的表示和标签的表示，使用注意力机制对文本中与标签相关的信息进行抽取，得到相关的文本表示q；

增加模型到不可见标签的泛化能力，采用元素级别的计算，以捕捉文本和标签之间的交互信息q_inter，

q_inter＝[q；t′；(q-t′)；(q*t′)]

利用多层感知机在交互信息上，以预测文本和标签之间的相关程度s，s＝W_qh_q+b_q，h_q＝σ(W_qtq_inter+b_qt)，其中，W_qt，W_q，b_qt，b_q是需要学习的参数，σ是激活函数ReLU。

一种基于信息传播和多层上下文信息建模的标签排序系统，包括：

标签信息融合模块，被配置为使用标签信息融合机制对标签名字信息和标签描述信息进行融合，初步得到标签的信息表示；

标签信息传播模块，被配置为构建父标签和子标签之间的交互信息，将父标签的信息传递给子节点，进一步强化标签的语义信息；

多层上下文信息编码模块，被配置为采用多层上下文信息方法抽取待标记文本的表示，并对多个层次的文本表示进行融合，以及添加位置编码信息；

交预测模块，被配置为抽取标签相关的待标记文本表示，并使用多层感知机预测文本-标签之间的相关度，按照相关度对标签进行排序。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法中的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法中的步骤。

与现有技术相比，本发明的有益效果为：

(1)本发明提出基于信息传播和多层上下文信息建模的标签排序方法，用于文本标注任务可以获得多层次文本表示，以及使用不可见标签对文本进行标注。

(2)本发明为了更好的表示标签，尤其是不可见标签，引入多维注意力机制从父标签获得有意义的信息去强化子标签的语义表示。此外，还使用了标签描述丰富标签表示；

(3)本发明使用不可见标签对文本进行标注，准确度大幅度提高。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明中标签信息展示；

图2为本发明解决问题的模型图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，标签具有本身的名字信息以及详细的文本描述信息，同时标签被组织成了有向无环图，子标签可能具有一个或多个父标签。标签名字信息是比较粗糙的，而标签的描述信息是细粒度的，但是同时后者不可避免的包含了一些冗余信息。

如图2所示，一种基于信息传播和多层上下文信息建模的标签排序方法，用于给用户上传的文本内容标记合适的标签。可以使用不可见标签去标记文本。同时，部分标签具备文本描述信息，它可以丰富标签的语义信息，所以本实施例在模型中融合了标签描述信息。

具体地，本实施例设计了一个标签信息融合机制去抽取标签描述中重要的信息，然后结合它和标签名字的信息去表示每个标签。之后，为了进一步强化标签表示，尤其是不可见标签，本实施例构建了基于有向无环图的信息传播模块去从连接的父标签传播信息到子标签。与此同时，本实施例介绍了一个多层上下文信息编码模块去加强对于待标记文本的理解，使用了多个尺度的卷积神经网络去捕捉多层次的上下文信息。紧接着，设计了一个交互模块，去捕捉待标记的文本表示和标签表示之间的交互信息。最后一个多层感知机被用来处理交互信息从而预测标签排序分数。

具体的，一种基于信息传播和多层上下文建模的标签排序方法，包括以下步骤：

(1)使用标签信息融合机制对标签名字信息和标签描述信息进行融合初步得到标签的信息表示；

(2)构建父标签和子标签之间的交互信息，利用信息传播将父标签的信息传递给子节点，进一步强化标签的语义信息；

(3)采用多层上下文信息编码去抽取待标记文本的表示，并对多个层次的文本表示进行融合，以及添加位置编码信息；

(4)抽取标签相关的待标记文本表示，并使用多层感知机预测文本-标签之间的相关分数。

所述步骤(1)中，如图2所示，标签信息融合处理包含以下几部分：

(1-1)提取标签名字的特征Eⁿ，以及标签描述的特征E^d；

(1-2)标签名字含有多个名词，所以采用平均池化操作得到标签名字的信息表示tⁿ。之后以标签名字为主，使用注意力机制去抽取标签描述中有意义的信息，从而得到标签描述的表示t^d；

(1-3)考虑到标签名字和描述对于最终标签表示的贡献程度可能不一致，所以采用高速网络(Highway network)学习门控向量G_n和G_d，去分别过滤标签名字和描述的信息得到标签的表示t，计算公式如下：

G_n＝σ(W_ntⁿ+b_n)

G_d＝σ(W_dtⁿ+b_d)

t＝G_n*tⁿ+G_d*t^d

其中W_n，W_d，b_n，b_d是需要学习的参数，σ是激活函数sigmoid，以及*表示的是元素级别的对应相乘。

所述步骤(2)，如图2所示，标签信息传播，具体步骤包括：

(2-1)每个子标签有l_f个父标签(包含自环)，为了刻画子标签t和父标签t^f之间的关联，采用了元素级别的操作去挖掘两者之间的相对信息，公式如下：

其中，[：；：]表示的是拼接操作，以及-和*分别表示元素级别的减法和乘法。此外，l-1表示是第l-1次传播，多次的传播可以使得子标签间接的得到祖辈标签的信息。

(2-2)得到父标签和子标签之间的交互信息

后，采用多维的注意力机制去细粒度的捕捉两者之间的关联，并将父标签的信息传递给子标签，进一步强化子标签的语义信息，公式如下：

其中，W_l-1，b_l-1是需要学习的参数，σ是激活函数sigmoid，以及t_l是第l-1次信息传播后的标签表示。

(2-3)标签之间的图结构是由用户创建的，所以为了避免被里面的噪音过度干扰，short-cut机制被应用在这里得到最终的标签表示t′＝t+t_L，L是最终的传播次数。通过此步骤标签的信息进一步丰富，尤其是不包含训练数据的不可见标签。

所述步骤(3)中，如图2中的多层上下文信息编码，具体步骤包括：

(3-1)首先得到待标记的文本的特征表示E^q，之后采用m个不同尺度的卷积神经网络来抽取不同层次的文本表示，公式如下：

其中，θ_j表示卷积操作，g_j是对应的可学习的卷积参数，

表示第j个卷积操作得到的文本表示，以及j∈{1，...，m}。

(3-2)在得到不同层次的文本表示后，我们将其进行融合得到更全面的文本表示

公式如下：

其中，W_c，b_c是需要学习的参数，以及σ是激活函数ReLU。

(3-3)紧接着位置编码信息被加入到文本的表示中，从而建模时序关系。同时为了避免原始文本表示的信息缺失，short-cut机制被应用在这里融合之前和现在的文本表示从而得到最终的待标记文本特征。

所述步骤(4)中，具体步骤包括：

(4-1)从上面的步骤中，得到了待标记文本的表示和标签的表示，之后使用注意力机制对文本中与标签相关的信息进行抽取，得到相关的文本表示q。

(4-2)为了捕捉文本和标签之间的交互信息q_inter，增加模型到不可见标签的泛化能力，采用了元素级别的计算，公式如下：

q_inter＝[q；t′；(q-t′)；(q*t′)]

(4-3)之后，一个多层感知机被应用在交互信息上，来预测文本和标签之间的相关程度s，公式如下：

h_q＝σ(W_qtq_inter+b_qt)

s＝W_qh_q+b_q

其中W_qt，W_q，b_qt，b_q是需要学习的参数，σ是激活函数ReLU。

当然，上述步骤均为软模块执行。

也提出一种基于信息传播和多层上下文信息建模的标签排序系统，包括：

标签信息融合模块，被配置为使用标签信息融合机制对标签名字信息和标签描述信息进行融合，初步得到标签的信息表示；

标签信息传播模块，被配置为构建父标签和子标签之间的交互信息，将父标签的信息传递给子节点，进一步强化标签的语义信息；

多层上下文信息编码模块，被配置为采用多层上下文信息方法抽取待标记文本的表示，并对多个层次的文本表示进行融合，以及添加位置编码信息；

交预测模块，被配置为抽取标签相关的待标记文本表示，并使用多层感知机预测文本-标签之间的相关度，按照相关度对标签进行排序。

在其他产品实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法中的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于信息传播和多层上下文信息建模的标签排序方法，其特征是：包括以下步骤：

使用标签信息融合机制对标签名字信息和标签描述信息进行融合，初步得到标签的信息表示；

构建父标签和子标签之间的交互信息，将父标签的信息传递给子节点，进一步强化标签的语义信息；

采用多层上下文信息方法抽取待标记文本的表示，并对多个层次的文本表示进行融合，以及添加位置编码信息；

抽取标签相关的待标记文本表示，并使用多层感知机预测文本-标签之间的相关度，按照相关度对标签进行排序。

2.如权利要求1所述的一种基于信息传播和多层上下文信息建模的标签排序方法，其特征是：使用标签信息融合机制对标签名字信息和标签描述信息进行融合的具体过程包括：

提取标签名字的特征Eⁿ，以及标签描述的特征E^d；

采用平均池化操作得到标签名字的信息表示tⁿ，以标签名字为主，使用注意力机制去抽取标签描述中有意义的信息，得到标签描述的表示t^d；

利用高速网络学习门控向量G_n和G_d，分别过滤标签名字和描述的信息得到标签的表示t。

3.如权利要求1所述的一种基于信息传播和多层上下文信息建模的标签排序方法，其特征是：构建父标签和子标签之间的交互信息的具体过程包括：每个子标签有l_f个父标签，采用元素级别的操作去挖掘子标签t和父标签t^f之间的相对信息，

其中，[：；：]表示的是拼接操作，以及-和*分别表示元素级别的减法和乘法，l-1表示是第l-1次传播，多次的传播使得子标签间接的得到祖辈标签的信息；

为父标签和子标签之间的交互信息。

4.如权利要求1所述的一种基于信息传播和多层上下文信息建模的标签排序方法，其特征是：将父标签的信息传递给子节点的具体过程包括：采用多维的注意力机制去细粒度的捕捉两者之间的关联，并将父标签的信息传递给子标签，进一步强化子标签的语义信息，并利用short-cut机制去除标签之间图结构的噪音，得到最终的标签表示t′＝t+t_L，L是最终的传播次数。

5.如权利要求1所述的一种基于信息传播和多层上下文信息建模的标签排序方法，其特征是：采用多层上下文信息方法抽取待标记文本的表示的具体过程包括：

计算待标记的文本的特征表示，采用多个不同尺度的卷积神经网络来抽取不同层次的文本表示，特征表示

其中，θ_j表示卷积操作，g_j是对应的可学习的卷积参数，

表示第j个卷积操作得到的文本表示，以及j∈{1，...，m}。

6.如权利要求1所述的一种基于信息传播和多层上下文信息建模的标签排序方法，其特征是：对多个层次的文本表示进行融合，以及添加位置编码信息的具体过程包括：

将不同层次的文本表示进行融合得到更全面的文本表示

其中，W_c，b_c是需要学习的参数，以及σ是激活函数ReLU；在融合之前和文本表示中均使用short-cut机制，从而得到最终的待标记文本特征。

7.如权利要求1所述的一种基于信息传播和多层上下文信息建模的标签排序方法，其特征是：用多层感知机预测文本-标签之间的相关度的具体过程包括：

根据标记文本的表示和标签的表示，使用注意力机制对文本中与标签相关的信息进行抽取，得到相关的文本表示q；

增加模型到不可见标签的泛化能力，采用元素级别的计算，以捕捉文本和标签之间的交互信息q_inter，

q_inter＝[q；t′；(q-t′)；(q*t′)]

利用多层感知机在交互信息上，以预测文本和标签之间的相关程度s，s＝W_qh_q+b_q，h_q＝σ(W_qtq_inter+b_qt)，其中，w_qt，W_q，b_qt，b_q是需要学习的参数，σ是激活函数ReLU；t′为最终的标签表示。

8.一种基于信息传播和多层上下文信息建模的标签排序系统，其特征是：包括：

标签信息融合模块，被配置为使用标签信息融合机制对标签名字信息和标签描述信息进行融合，初步得到标签的信息表示；

标签信息传播模块，被配置为构建父标签和子标签之间的交互信息，将父标签的信息传递给子节点，进一步强化标签的语义信息；

多层上下文信息编码模块，被配置为采用多层上下文信息方法抽取待标记文本的表示，并对多个层次的文本表示进行融合，以及添加位置编码信息；

交预测模块，被配置为抽取标签相关的待标记文本表示，并使用多层感知机预测文本-标签之间的相关度，按照相关度对标签进行排序。

9.一种电子设备，其特征是：包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7中任一项所述的方法中的步骤。

10.一种计算机可读存储介质，其特征是：用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7中任一项所述的方法中的步骤。

Images