CN112528136A - 一种观点标签的生成方法、装置、电子设备和存储介质 - Google Patents

一种观点标签的生成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112528136A
CN112528136A CN202011371489.5A CN202011371489A CN112528136A CN 112528136 A CN112528136 A CN 112528136A CN 202011371489 A CN202011371489 A CN 202011371489A CN 112528136 A CN112528136 A CN 112528136A
Authority
CN
China
Prior art keywords
comment
comments
viewpoint
sequence
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011371489.5A
Other languages
English (en)
Inventor
李沁桐
李丕绩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011371489.5A priority Critical patent/CN112528136A/zh
Publication of CN112528136A publication Critical patent/CN112528136A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Abstract

本申请涉及计算机技术领域，尤其涉及一种观点标签的生成方法、装置、电子设备和存储介质，用以提高观点标签的生成效率和准确性。其中，方法包括：获取针对目标资源的评论集合，评论集合包括至少两条评论；获得评论集合中的各条评论与目标资源之间的相关度；根据各条评论对应的相关度，以及各条评论的语义特征，对各条评论进行排序，得到相应的评论序列；基于评论序列生成针对目标资源的目标观点标签序列，目标观点序列包括至少两个目标观点标签词。由于本申请基于一组用户评论自动生成观点标签，可有效提高观点标签的生成效率。并且，本申请生成的观点标签更精简准确，不包含冗余信息，观点标签存在顺序，能够帮助用户迅速方便地获取有利信息。

Description

一种观点标签的生成方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种观点标签的生成方法、装置、电子设备和存储介质。
背景技术
用户评论是用户对商品的评价，是用户和商品提供商之间的交流方式，体现了用户对商品的喜好和需求。这里的商品是广义商品概念，除了有形的产品外，还可以是无形的软件和服务。商品的观点标签不仅可以节省用户看评论的时间，帮助用户快速了解一个商品，也可以更快地让商品提供商得到用户的反馈，因此抽取商品的用户评论中用户的观点以及生成商品的观点标签有重要的实用价值。
然而，在相关技术中，用于生成观点标签的技术常常依赖于手动标签或者启发式方法，耗时低效。因而如何自动生成更加合理准确的商品观点标签是亟待解决的。
发明内容
本申请实施例提供一种观点标签的生成方法、装置、电子设备和存储介质，用以提高观点标签的生成效率和准确性。
本申请实施例提供的一种观点标签的生成方法，包括：
获取针对目标资源的评论集合，所述评论集合包括至少两条评论；
获得所述评论集合中的各条评论与所述目标资源之间的相关度；
根据所述各条评论对应的相关度，以及所述各条评论的语义特征，对所述各条评论进行排序，得到相应的评论序列；
基于所述评论序列生成针对所述目标资源的目标观点标签序列，所述目标观点序列包括至少两个目标观点标签词。
本申请实施例提供的一种观点标签的生成装置，包括：
评论获取单元，用于获取针对目标资源的评论集合，所述评论集合包括至少两条评论；
分析单元，用于获得所述评论集合中的各条评论与所述目标资源之间的相关度；
排序单元，用于根据所述各条评论对应的相关度，以及所述各条评论的语义特征，对所述各条评论进行排序，得到相应的评论序列；
标签生成单元，用于基于所述评论序列生成针对所述目标资源的目标观点标签序列，所述目标观点序列包括至少两个目标观点标签词。
可选的，所述排序单元具体用于：
分别根据所述各条评论对应的相关度，对所述各条评论的语义特征进行加权，得到所述各条评论的显著性语义特征；
根据所述各条评论的显著性语义特征对所述各条评论进行聚类，得到至少两个评论子集合。
可选的，所述排序单元具体用于：
根据各个评论子集合所包含的评论的数量，对所述各个评论子集合进行排序；以及，
针对所述各个评论子集合，分别执行以下操作：根据所述评论子集合中各条评论的语义特征与所述评论子集合的关联程度，对所述评论子集合中的各条评论进行排序；
基于所述各个评论子集合之间的排序结果，以及所述各个评论子集合中各条评论的排序结果，生成所述评论序列。
可选的，所述分析单元具体用于：
分别将所述各条评论输入已训练的观点标签生成模型中，基于所述已训练的观点标签生成模型中的句子级别的显著性评分组件对所述各条评论进行特征提取，获得所述显著性评分组件输出的所述各条评论对应的相关度；
所述排序单元具体用于：
分别将所述各条评论，以及所述各条评论对应的相关度输入所述已训练的观点标签生成模型中的评论聚类排序组件，基于所述评论聚类排序组件对所述各条评论进行聚类和排序，获得所述评论聚类排序组件输出的词级别的第一拼接表示向量，所述第一拼接表示向量中的各个评论词组合形成所述评论序列；
所述标签生成单元具体用于：
将所述拼接表示向量输入所述已训练的观点标签生成模型中的观点标签组件，基于所述观点标签组件进行注意力特征提取，获得所述观点标签组件输出的所述目标观点标签序列；
其中，所述已训练的观点标签生成模型是根据训练样本数据集训练得到的，所述训练样本数据集中的训练样本包括已标注相关性标签的样本评论，所述相关性标签表示所述样本评论与样本资源是否相关。
可选的，所述分析单元具体用于：
分别将所述各条评论输入所述显著性评分组件，基于所述显著性评分组件中的句子表示模块将所述各条评论映射至连续空间，得到所述各条评论的表示向量；
通过上下文编码将所述各条评论的表示向量分别转换为对应的语义向量；
基于所述显著性评分组件，分别提取所述各条评论的语义向量与除自身之外的其他评论的语义向量之间的注意力特征；
基于所述各条评论对应的注意力特征获得所述各条评论与所述目标资源之间的相关度。
可选的，所述排序单元具体用于：
基于所述已训练的观点标签生成模型中的评论聚类排序组件，将所述各条评论映射至连续空间得到所述各条评论对应的词向量序列；
通过层次化池化操作对所述各条评论对应的词向量序列进行空间信息提取，得到所述各条评论的语义表示向量；
分别根据所述各条评论对应的相关度，对所述各条评论的语义表示向量进行加权，得到所述各条评论的显著性语义表示向量；
基于所述各条评论的显著性语义表示向量进行聚类，得到至少两个评论子集合；
将所有评论子集合进行排序，并将每个评论子集合中的各条评论进行排序后，将各条评论的显著性语义表示向量拼接并进行词级别转换得到所述第一拼接表示向量。
可选的，所述排序单元具体用于：
基于所述已训练的观点标签生成模型中的评论聚类排序组件，将所述各条评论映射至连续空间得到所述各条评论对应的词向量序列；
通过层次化池化操作对所述各条评论对应的词向量序列进行空间信息提取，得到所述各条评论的语义表示向量；
分别根据所述各条评论对应的相关度，对所述各条评论的语义表示向量进行加权，得到所述各条评论的显著性语义表示向量；
基于所述各条评论的显著性语义表示向量进行聚类，得到至少两个评论子集合；
将所有评论子集合进行排序，并将每个评论子集合中的各条评论进行排序后，将各条评论的显著性语义表示向量拼接并进行词级别转换得到所述第一拼接表示向量。
可选的，所述标签生成单元具体用于：
采用循环迭代方式，依次生成所述目标观点标签序列中的各个观点标签词，所述目标观点序列中的一个观点标签至少包括一个观点标签词；其中，在一次循环迭代过程中，执行以下操作：
将上一次输出的目标观点标签词输入所述观点标签组件，其中，第一次输入所述观点标签组件的为预先设置的起始标志词；
通过注意力机制分析所述上一次输出的目标观点标签词和所述样本序列中的各个评论词的对齐概率，其中，所述对齐概率表示所述评论词与所述上一次输出的观点标签词之间的注意力值；
将所述对齐概率和所述评论序列中的评论词的语义向量序列进行加权，并输入到前向神经网络中，获得本次输出的所述评论序列的目标语义表示向量；
基于所述上一次输出的目标观点标签词以及所述目标语义表示向量，生成本次输出的目标观点标签词。
可选的，所述标签生成单元还用于：
在所述通过注意力机制分析上一次输出的目标观点标签词和所述样本序列中的各个评论词的对齐概率之前，将本次选取的目标评论子集合以及所述目标评论子集合的邻居作为聚焦的评论子集合，将其他的评论子集合作为外部的评论子集合，其中每次选取的目标评论子集合是基于各个评论子集合之间的顺序确定的；
为所述评论序列中位于聚焦的评论子集合中的评论词增加第一对齐特征，为所述评论序列中位于外部的评论子集合中的评论词增加第二对齐特征，得到所述样本序列中的各个评论词对应的第一对齐语义向量；以及
为所述上一次输出的目标观点标签词增加所述第一对齐特征，得到对应的第二对齐语义向量；
所述通过注意力机制分析所述上一次输出的目标观点标签词和所述样本序列中的各个评论词的对齐概率，具体包括：
结合所述样本序列中的各个评论词对应的第一对齐向量与上一次输出的目标观点标签词对应的第二对齐语义向量，基于注意力机制分析所述上一次输出的目标观点标签词与所述样本序列中的各个评论词的对齐概率。
可选的，所述装置还包括：
训练单元，用于通过如下过程训练得到的所述观点标签生成模型：
获取针对至少一个样本资源的所述训练样本数据集；
根据所述训练样本数据集中的训练样本，对未训练的观点标签生成模型执行循环迭代训练，以获得所述已训练的观点标签生成模型；其中，每一次循环迭代训练过程包括以下操作：
从所述训练样本数据集中选取针对同一样本资源的一组训练样本，分别将选取的各个训练样本包含的样本评论输入所述未训练的观点标签生成模型中的句子级别的显著性评分组件，获得所述显著性评分组件输出的各条样本评论对应的相关度；
基于所述各条样本评论对应的相关度与对应的相关性标签之前的误差，构建第一损失函数；以及
分别将选取的各个训练样本中的样本评论，以及所述各条样本评论对应的相关度输入所述未训练的观点标签生成模型中的评论聚类排序组件，基于所述评论聚类排序组件对所述各条样本评论进行聚类，获得至少两个评论子集合；基于所述评论聚类排序组件对各个评论子集合进行排序，获得所述评论聚类排序组件输出的词级别的第二拼接表示向量；
将所述第二拼接表示向量输入所述未训练的观点标签生成模型中的观点标签组件，基于所述观点标签组件进行注意力特征提取，获得所述观点标签组件输出的一组预测观点标签序列，所述预测观点标签序列包括至少两个预测观点标签词；
基于所述预测观点标签序列中的预测观点标签词与真实观点标签序列中的真实观点标签词的分布误差，构建第二损失函数；以及，基于各个评论子集合中评论词的注意力值，构建第三损失函数；
根据所述第一损失函数，所述第二损失函数和所述第三损失函数，对所述未训练的观点标签生成模型进行参数调整。
可选的，所述训练单元具体用于：
对于任意一个预测观点标签词，基于所述预测观点标签词在预设的观点标签词集合中的分布概率，以及所述预测观点标签词在所述评论集合中的分布概率，确定所述预测观点标签序列中的预测观点标签词与真实观点标签序列中的真实观点标签词的分布误差；
基于确定的分布误差构建所述第二损失函数。
本申请实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述一种观点标签的生成方法的步骤。
本申请实施例提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任意一种观点标签的生成方法的步骤。
本申请实施例提供一种计算机可读存储介质，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行上述一种观点标签的生成方法的步骤。
本申请有益效果如下：
本申请实施例提供了一种观点标签的生成方法、装置、电子设备和存储介质。由于本申请实施例中给出了一种基于一组用户评论生成观点标签序列的方法，能够基于各条评论与目标资源之间的相关度，以及各条评论的语义特征，对这一组用户评论进行排序，进而基于有序的评论序列，自动生成针对该目标资源的一组有序的观点标签。基于本申请实施例中的方法可以自动生成更加合理准确的商品观点标签列表，能够帮助用户快速了解一个商品，减少了浏览大量评论的时间，有效提高观点标签的生成效率和准确性；另外，生成的观点标签存在顺序，能够帮助用户迅速方便地获取有利信息。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中的一种应用场景的一个可选的示意图；
图2为本申请实施例中的一种观点标签的生成方法的一个可选的示意图；
图3为本申请实施例中的一种自然语言生成框架的示意图；
图4为本申请实施例中的一种观点标签生成模型的结构示意图；
图5为本申请实施例中的一种观点标签生成词的生成流程示意图；
图6为本申请实施例中的一种观点标签和观点簇的语义向量表示图；
图7为本申请实施例中的一种观点标签生成模型的完整训练方法流程图；
图8为本申请实施例中的一种观点标签的生成装置的组成结构示意图；
图9为应用本申请实施例的一种电子设备的一个硬件组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
下面对本申请实施例中涉及的部分概念进行介绍。
观点标签(Opinion tags)：指刻画用户整体观点的有序标签列表。对于一个对象(产品、商户、歌曲、电影)往往伴随着成千上万的用户评论。观点标签是指从这些冗杂的评论信息中提取出能够描述此对象的精华信息。基于本申请实施例中的观点标签的生成方法，可以快速准确的生成针对目标资源的观点标签序列，即一组有序的观点标签。
AOT(Abstractive Opinion Tagging，抽象式观点标签生成)：是本申请中提出的一个概念，指根据关于一个产品的一组用户评论，系统自动生成一个观点标签的有序列表。生成的观点标签高度总结了用户评论的意图，未必是出现在评论的原词，也有可能是指观点标签词表中的词语等。在本申请实施例中，抽象式观点标签生成技术除了可以应用在电子商务系统，也可进一步拓展到其他应用场景，如社交媒体领域的热点话题分析等。
观点标签生成模型：为本申请实施例中提出的用于生成一组有序的观点标签的机器学习模型，它是一种抽象式观点标签生成框架(AOT-Net)。AOT-Net主要包含三个组件：(1)句子级别的显著性评估组件，用于评估每个评论的显著性得分；(2)评论聚类排序组件，首先将评论的向量表示使用聚类算法分组，然后根据簇的大小和评论到所属簇中心的距离排序；(3)顺序增强的观点标签组件，提出对齐特征和对齐损失函数来生成观点标签的有序列表。
聚类：将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。聚类分析又称群分析，它是研究(样品或指标)分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。在数据挖掘中，聚类也是很重要的一个概念。
在本申请实施例中，通过聚类可将用户评论划分为多个评论子集合，也称观点簇(Opinion clusters)，表示表达相似观点的评论语义向量集合。具体的，观点簇又可分为FOCs(Focused Opinion Clusters，聚焦的观点簇，也称聚焦的评论子集合)和OOCs(OuterOpinion Clusters，外部的观点簇，也称外部的评论子集合)这两大类。其中，FOC指每个观点标签最相关的观点簇集合；OOC指每个观点标签不相关的观点簇集合。
MLP(Multilayer Perceptron，多层感知机)：也叫人工神经网络(ArtificialNeural Network，ANN)，除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构。多层感知机层与层之间是全连接的(全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接)。多层感知机最底层是输入层，中间是隐藏层，最后是输出层。
注意力机制和多头注意力：注意力机制源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。注意力机制主要有两个方面：决定需要关注输入的哪部分；分配有限的信息处理资源给重要的部分。神经注意力机制可以使得神经网络具备专注于其输入(或特征)子集的能力：选择特定的输入。多头注意力(multi-head attention)是利用多个查询，来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分。
本申请实施例涉及人工智能(ArtificialIntelligence，AI)和机器学习技术，基于人工智能中的计算机视觉技术和机器学习(MachineLearning，ML)而设计。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、自然语言处理技术、以及机器学习/深度学习等几大方向。随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。对比于数据挖掘从大数据之间找相互特性而言，机器学习更加注重算法的设计，让计算机能够自动地从数据中“学习”规律，并利用规律对未知数据进行预测。
机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。本申请实施例在生成观点标签序列时，采用基于机器学习或深度学习的观点标签生成模型，基于该模型对针对目标资源的一组评论进行特征提取，生成一组有序的观点标签。基于本申请实施例中的方式生成的观点标签更加准确。
在本申请实施例中提出的训练观点标签生成模型的方法可分为两部分，包括训练部分和应用部分；其中，训练部分就涉及到机器学习这一技术领域，在训练部分中，通过机器学习这一技术训练观点标签生成模型，使得本申请实施例中给出的包含样本评论的训练样本来训练观点标签生成模型，训练样本通过观点标签生成模型后，获取观点标签生成模型的输出结果，并基于输出结果与训练样本上标注的标签之间的误差，通过优化算法不断调整模型参数，得到已训练的观点标签生成模型；应用部分用于使用在训练部分训练得到的观点标签生成模型来对针对目标资源的一组用户评论进行特征提取，生成一组有序的观点标签，进而将该组观点标签展示给用户，以为用户搜索提供便利等。
下面对本申请实施例的设计思想进行简要介绍：
在电商领域，观点标签是刻画消费者对某个商品的整体观点的有序标签列表，它能够帮助消费者快速了解一个商品，减少了浏览大量评论的时间。当前用于生成观点标签的技术常常依赖于手动标签或者启发式方法，耗时低效。
在相关技术中，与抽象式观点标签生成技术相关的技术包括关键词生成技术(keyphrase generation)和观点摘要技术(opinion summarization)。其中，关键词生成技术是指根据给定的一个文档生成一组多样的无序关键词短语，但是关键词生成技术往往是根据单个文档生成关键词；观点摘要技术是指根据一组用户生成的文档，生成连贯的句子表达文档的核心含义。但是，相关技术中的观点摘要任务的生成目标是生成由连贯的语句构成的一段文档。综上，目前还没有一种能够自动生成观点标签序列的方法。
有鉴于此，本申请实施例提出了一种抽象式观点标签生成(AOT)技术，根据一组用户评论，自动生成一组有序的观点标签列表，涉及多文档观点聚合。具体的，本申请实施例能够基于各条评论与目标资源之间的相关度，以及各条评论的语义特征，对这一组用户评论进行排序，进而基于有序的评论序列，自动生成针对该目标资源的一组有序的观点标签，能够帮助用户快速了解一个商品，减少了浏览大量评论的时间，有效提高观点标签的生成效率和准确性。另外，观点标签存在顺序，能够帮助用户迅速方便地获取有利信息，并且能够轻松分辨具有相似产品属性的不同产品。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示，其为本申请实施例的应用场景示意图。该应用场景图包括两个终端设备110和一个服务器120。终端设备110与服务器120之间可以通过通信网络进行通信。
在一种可选的实施方式中，通信网络是有线网络或无线网络。终端设备110以及服务器120可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在本申请实施例中，终端设备110为用户使用的电子设备，该电子设备可以是个人计算机、手机、平板电脑、笔记本、电子书阅读器、智能家居等具有一定计算能力并且运行有即时通讯类软件及网站或者社交类软件及网站的计算机设备。各终端设备110通过无线网络与服务器120，服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，观点标签生成模型可部署于服务器120上进行训练，服务器120中可存储有大量从电商平台获取到的训练样本，包括已标注相关性标签的样本评论等，其中，所述相关性标签表示所述样本评论与样本资源是否相关，这些训练样本用于训练观点标签生成模型。可选的，在基于本申请实施例中的训练方法训练得到观点标签生成模型之后，可直接将训练好的观点标签生成模型可以部署在终端设备110上，也可以部署在服务器120上。在本申请实施例中，观点标签生成模型用于基于用户评论生成观点标签，对于目标资源，根据一组用户评论，生成针对该目标资源的有序的观点标签，进而提示给用户，为用户搜索提供便利。
在本申请实施例中，当观点标签生成模型部署在终端设备110上时，即可由终端设备110从针对目标资源的一组评论中进行特征提取，聚类排序，计算注意力特征等，最终生成一组目标观点标签序列。当观点标签生成模型部署在服务器120上时，即可由终端设备110获取针对目标资源的一组评论并上传至服务器120，由服务器120针对该组评论进行特征提取，聚类排序，计算注意力特征等，最终生成一组目标观点标签序列。之后，服务器120可将预测得到的目标观点标签序列返回给终端设备110，由终端设备110向用户进行展示等。不过，一般情况下都是直接将观点标签生成模型部署于服务器120上，在此不做具体限定。
需要说明的是，在不同场景下所使用的训练样本不同。本申请可以应用于智能观点摘要系统(intelligence opinion tagging system)。应用场景是针对电商领域任意商品的大量评论，该系统生成一组有序的观点标签表示消费者对于该商品不同方面的评价，帮助潜在消费者无需浏览大量评论即可快速了解该商品的用户评价。
同时，本申请实施例中所列举的观点标签的生成方法不局限于上述所描述的电商应用场景，还可以用于一切需要对多文档建模并精简总结其中核心观点的应用场景，如社交媒体平台，新闻报道网站等，在本文中主要是以电商应用场景为例进行举例说明的。
参阅图2所示，为本申请实施例提供的一种观点标签的生成方法的实施流程图，该方法的具体实施流程如下：
S21：获取针对目标资源的评论集合，评论集合包括至少两条评论；
其中，评论集合中包含有多条评论，这些评论是来自不同的用户，但是都是针对同一目标资源的评论。
本申请实施例中的目标资源主要是指商品，该商品既可以指有形的产品，例如电商平台上可交易的衣物、家居、电器等，也可以指无形的软件或服务，例如音乐、电影、文章等。在本文中主要是以有形的产品为例进行举例说明的。
S22：获得评论集合中的各条评论与目标资源之间的相关度；
S23：根据各条评论对应的相关度，以及各条评论的语义特征，对各条评论进行排序，得到对应的评论序列；
S24：基于评论序列生成针对目标资源的一组目标观点标签序列，目标观点序列包括至少两个目标观点标签词。
其中，相关度也称显著性得分，表示评论与目标资源之间的相关程度，一般情况下生成的评论还会包含大量噪音，噪音越大，评论与目标资源之间的相关度也相对较小。
在一种可选的实施方式中，依据各个评论与目标资源之间的相关度，以及各个评论的语义特征，可以将评论划分为多个评论子集合(下文也称观点簇)，这样，同一子集合中的各条评论语义较为接近，且这些评论与目标资源之间的相关度也较为接近。因而在划分得到评论子集合之后，对各个评论子集合进行排序，并分别对各个评论子集合中的各条评论进行排序，得到评论序列，基于该有序的评论序列来生成有序的目标观点标签。
在本申请实施例中，若将评论集合划分为了多个评论子集合，则在基于评论序列生成目标观点标签词时，可一个评论子集合对应生成一个目标观点标签，也可多个评论子集合对应生成一个目标观点标签，或者一个评论子集合对应生成多个目标观点标签。在实际应用中，若评论集合中的评论可能有很多，但实际上生成的目标观点标签序列中一般会包含几个目标观点标签，所以一般都是多个评论子集合对应生成一个目标观点标签。
在一种可选的实施方式中，对各条评论进行划分时，主要采用的是聚类的方法，具体过程为：分别根据各条评论对应的相关度，对各条评论的语义特征进行加权，得到各条评论的显著性语义特征；根据各条评论的显著性语义特征对各条评论进行聚类，得到至少两个评论子集合。
由于相关度又称为显著性得分，基于相关度对评论的语义特征进行加权，可计算得到评论与目标资源的显著性信息，从而达到对大量评论降噪的目标，有助于选择显著性评论，弱化不相关的评论。
另外，在根据各条评论的显著性语义特征对各条评论进行聚类时，有很多种聚类方法，在本文中是以K-Means聚类算法为例进行举例说明的，K-Means是一种迭代求解的无监督聚类算法。对所有评论的显著性语义特征应用K-Means聚类算法，将所有评论分组至k个评论子集合。
需要说明的是，本申请实施例中所列举的聚类方法只是举例说明，也可以使用其他聚类算法代替，如基于深度学习的聚类算法(deep clustering)，在此不做具体限定。
在本申请实施例中，基于聚类算法将评论集合划分为多个评论子集合之后，即可对评论子集合以及评论子集合内的评论进行排序，以形成评论序列。
在一种可选的实施方式中，对各个评论子集合之间进行排序，并分别对各个评论子集合中的各条评论进行排序，得到一组评论序列，具体包括：
根据各个评论子集合所包含的评论的数量，对各个评论子集合进行排序；以及，针对各个评论子集合，分别执行以下操作：根据评论子集合中各条评论的语义特征与评论子集合中心评论的关联程度，对评论子集合中的各条评论进行排序。最终，在对评论子集合之间进行排序，对评论子集合内的评论之间也进行排序后，基于按照各个评论子集合之间的排序结果，以及各个评论子集合中各条评论的排序结果，生成评论序列。
例如，一共划分得到4个评论子集合，k＝4，这4个评论子集合分别标记为C1，C2，C3和C4。其中，C1中有3条评论，C2中有5条评论，C3中有7条评论，C4中有3条评论。此时，依据各个评论子集合中的评论的数量，对各个评论子集合之间进行排序，假设按照评论数量由大到小的顺序，评论数量越多越靠前，则排序结果为：C3，C2，C1和C4(或者C3，C2，C4和C1)。其中，C1和C4所包含的评论的数量相同，因为这两个评论子集合之间可随机排序，或者进一步结合其他指标来排序，比如评论总字数等，在此不做具体限定。
在本申请实施例中，可在对各个评论子集合之间排序之后，进一步对各个评论子集合中的各条评论进行排序，也可在对各个评论子集合之间排序之前，对各个评论子集合中的各条评论进行排序，或者同时排序等，在此不做具体限定。具体的，对于每个评论子集合，在对该评论子集合中的各条评论进行排序时，主要是依据该评论子集合中每一条评论的语义特征与该评论子集合的关联程度，比如关联程度越高，排序越靠前，关联程度越低，排序越靠后。
假设最终得到的评论序列为：[XC3，1，…，XC3，7，XC2，1，…，XC2，5，XC1，1，…，XC1，3，XC4，1，…，XC4，3]。
其中，XC3，1表示C3这个评论子集合中排序最靠前的评论，XC3，7则表示C3这个评论子集合中排序最靠后的评论，在于C3的关联程度上，XC3，1最高，XC3，7最低，以此类推即可。最终，基于该评论序列可生成一组有序的观点标签。
本申请实施例中的观点标签的生成方法也可结合人工智能技术来实现，它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。具体的步骤为：分别将各条评论输入已训练的观点标签生成模型中，基于已训练的观点标签生成模型中的句子级别的显著性评分组件对各条评论进行特征提取，获得显著性评分组件输出的各条评论对应的相关度。之后，分别将各条评论以及各条评论对应的相关度输入已训练的观点标签生成模型中的评论聚类排序组件，基于评论聚类排序组件对各条评论进行聚类和排序，获得评论聚类排序组件输出的词级别的第一拼接表示向量，第一拼接表示向量中的各个评论词组合形成评论序列；最后，将第一拼接表示向量输入已训练的观点标签生成模型中的观点标签组件，基于观点标签组件进行注意力特征提取，获得观点标签组件输出的目标观点标签序列。
在本申请实施例中所提出的观点标签生成模型主要包括句子级别的显著性评分组件，评论聚类排序组件和观点标签组件。其中，句子级别主要是为了和后边的词级别进行区分，在显著性评分组件中得到的都是评论的句子表示，而在评论聚类排序组件最终得到的第一拼接表示向量是词级别的，主要是指按顺序拼接评论序列中的各条评论的向量表示后，再转换为词级别所得到的向量表示。
其中，该观点标签模型是根据训练样本数据集训练得到的，训练样本数据集中的训练样本包括已标注相关性标签的样本评论，其中相关性标签表示样本评论与样本资源是否相关，可以是一个二分类标签。需要说明的是，本申请实施例中的训练样本数据集中所包含的训练样本中的样本评论可以是针对同一样本资源的，也可以是针对多个样本资源的，一般同一样本资源对应有多条样本评论。进一步地，本申请实施例中的观点标签生成模型则是通过采用多组训练样本利用机器学习训练得出。
参阅图3所示，其为本申请实施例中所列举的一种最常用的自然语言生成框架，即S2S(Sequence-to-Sequence，序列到序列)框架，这是自然语言生成和机器翻译的基本建模框架。S2S框架的核心组件包含一个编码器(encoder)和一个解码器(decoder)，目前常见的编码器和解码器通常使用Transformer(变换器)实现，如图3所示，首先编码器把包含一段文本表示转化为连续的空间表示(word embedding)和一个语义上下文向量，解码器读入此语义上下文向量，生成目标词并输出，这里生成的目标词是无序的。
在此基础上，本申请实施例中提出的观点标签生成模型也是基于S2S框架实现的。考虑到抽象式观点标签生成任务面临以下三个挑战：(1)用户生成的评论包含大量噪音；(2)目标的观点标签文本的正式风格与用户评论的口头化风格之间差异较大；(3)观点标签需要区分具有相似特征的不同产品。为了解决上述挑战，本申请实施例提出了抽象式观点标签生成框架AOT-Net，用于根据一组用户评论生成有序的观点标签。其中，AOT-Net采用自然语言生成框架S2S作为基础框架。
下面结合图4所列举的观点标签生成模型AOT-Net来对本申请实施例中的观点标签的生成方法进行举例说明。
参阅图4所示，其为本申请实施例中的一种观点标签生成模型的结构示意图。该模型包括三个部分：句子级别的显著性评估组件(sentence-level salience estimation)，评论聚类排序组件(review clustering and ranking)，顺序增强的观点标签组件(rank-aware opinion tagging)。
首先，输入一个商品的一组评论(X1，X2，…，XM)，M表示评论的总数量，经过句子级别的显著性评估组件，可为每个评论预测一个显著性得分来评估每个评论与产品相关的信息量，也就是评论对应的相关度。
在本申请实施例中，句子级别的显著性评估组件的目的是为每个评论Xi计算一个显著性得分。该组件提出了一个句子级别的自注意力机制(sentence-level self-attention mechanism)，显著性地强调与目标资源的特征相关的评论并弱化噪音。把每个评论可以看作是一个词序列，首先使用双向循环神经网络(bidirectional gatedrecurrent neural network)把每个评论映射到连续空间，得到各条评论的表示向量，并通过上下文编码将表示向量转换为语义向量
Figure BDA0002806190790000181
本申请实施例引入句子级别的自注意力机制(sentence-level self-attention mechanism)，建模所有评论语义向量之间的复杂交互。具体的，采用句子级别的自注意力机制分别提取各条评论的语义向量与除自身之外的其他评论的语义向量之间的注意力特征，基于各条评论对应的注意力特征获得各条评论与目标资源之间的相关度，为每个评论计算得到一个显著性得分zi。
需要说明的是，图4所列举的显著性评估组件中使用的双向循环神经网络作为句子表示模块，当然也可以替换为其他句子表示的模型，如Transformer搭配池化操作等，在此不做具体限定。
下面以第i个评论(对应的语义向量为
Figure BDA0002806190790000182
)为例，介绍基于句子级别的自注意力机制(sentence-level self-attention mechanism)，建模该评论与其他评论的语义向量之间的复杂交互，进而计算得到第i个评论显著性得分的过程中涉及到的相关公式：
首先对
Figure BDA0002806190790000183
进行线性转换，该过程是基于公式1来实现的：
Figure BDA0002806190790000184
其中，qi表示查询(query)向量，ki表示键(key)向量，vi表示值(value)向量，这三个向量都是对
Figure BDA0002806190790000185
进行线性转换得到的，Wq、Wk、Wv是预先配置的线性转换矩阵。
进一步地，在计算得到上述三类线性向量之后，则可基于查询向量，键向量和值向量来进行注意力特征的提取，建模评论语义向量之间的复杂交互，计算公式如下：
Figure BDA0002806190790000191
其中，ci表示第i个评论与其他M-1个评论交互得到的上下文交互向量，M表示评论集合中所包含的评论的总数量。o和i’不等于i，表示除第i条评论之外的其他评论，取值范围都是1～M(i除外)。ko表示第o个评论表示的key向量。ki′表示第i’条评论表示的key向量；vi′表示第i’条评论表示的value向量；qi表示第i个评论表示的query向量，T表示转置。
在计算第i个评论与剩余的M-1个评论之间交互得到的上下文交互向量后，基于该上下文交互向量来计算第i个评论对应的相关度，具体涉及以下两个计算公式：
Figure BDA0002806190790000192
Figure BDA0002806190790000193
其中，Ws、Ws1、Ws2、bs、σ属于预先配置的模型参数或者超参数，
Figure BDA0002806190790000194
表示将第i个评论的语义向量与对应的上下文交互向量进行累加后，经过两层线性转换和一层激活层进行处理得到的语义向量，基于该语义向量即可分析得到第i条评论对应的显著性得分zi。
在基于显著性评估组件计算得到各个评论对应的zi之后，即可基于已训练的观点标签生成模型中的评论聚类排序组件来对各条评论进行聚类排序，本申请提出的评论聚类排序组件通过把评论组织成有序的观点簇来学习评论的重要性次序，这是准确生成有序的观点标签的前提。具体过程如下：
首先需要使用Transformer encoder将各条评论映射至连续空间得到各条评论对应的词向量序列，即一句话中所有词的向量组合成的向量序列，并通过层次化池化操作(hierarchical pooling)对各条评论对应的词向量序列进行空间信息提取，得到各条评论的语义表示向量
Figure BDA0002806190790000201
如图4中所示的
Figure BDA0002806190790000202
该向量是指从一句话的词的向量序列中提取并保留空间信息，最终得到一个表示句子的向量；之后分别根据各条评论对应的相关度，对各条评论的语义表示向量进行加权，得到各条评论的显著性语义表示向量Xi′。
进而，即可对所有评论的显著性语义表示向量应用K-Means聚类算法进行聚类，将所有评论分组至k个观点簇；将所有的观点簇按照所包含的评论数量从大到小排序，每个观点簇内按照评论到簇中心的距离从小到大排序，最终得到有序的评论序列，表示为：
Figure BDA0002806190790000203
其中Li是第i个观点簇的评论数量。本申请实施例按顺序拼接评论得向量表示后，进行词级别转换，平铺成词级别的第一拼接表示向量，对应图4所示的
Figure BDA0002806190790000204
最后，在顺序增强的观点标签组件中，采用了两个对齐限制，即对齐特征和对齐损失，使得观点标签生成模型能够根据评论的语义表示向量生成有序的观点标签。具体过程如下：
采用循环迭代方式，依次生成目标观点标签序列中的各个观点标签词，目标观点序列中的一个观点标签至少包括一个观点标签词。比如某一观点标签为“服务热情”，该观点标签是由两个观点标签词组成的，分别为“服务”和“热情”；再比如“尺码合适”这一观点标签，也是由两个观点标签词组成的，分别为“尺码”和“合适”，等等。
其中，每生成一个观点标签词看作是一次循环迭代，也可称作一个时间步骤。参阅图5所示，在一次循环迭代过程中，执行以下操作：
S51：将上一次输出的目标观点标签词输入观点标签组件，其中，第一次输入观点标签组件的为预先设置的起始标志词。
参阅图4所示，起始标志词为BOS，y1,1表示第1个观点标签中的第1个词，在第一次循环迭代过程输入BOS，输出y1,1；在第二次循环迭代过程输入y1,1，输出y1,2。假设第一个观点标签中一共包含两个观点标签词y1,1和y1,2，则在第三次循环迭代过程输入y1,2，另外也输入BOS，输出y2,1，即第2个观点标签中的第1个词，以此类推，BOS也可看作是观点标签之间的间隔符，在每生成一个新的观点标签时都需要输入。例如在输出y2,2时，图4所示的输入包括BOS，y1,1，y1,2，BOS，y2,1，这几个词对应的观点标签的序号分别为1，1，1，2，2。
考虑到准确生成有顺序的观点标签是很有挑战的。本申请实施例中提出顺序增强的观点标签组件来生成有序的观点标签。根据真实数据分析，观点标签(opinion tags)的顺序和观点簇的顺序有很强的相关性，即第j个观点标签往往会和第j个观点簇及其邻居有强相关性，因而本申请实施例中将第j个观点簇及其邻居表示为聚焦的观点簇(focusedopinion clusters)，其他观点簇表示为外部的观点簇(outer opinion clusters)。为了在每个生成时间步骤的时候，增加观点标签和观点簇之间的顺序约束，本申请涉及了两个对齐机制：
对齐机制1-对齐特征。直观上，观点标签和FOCs在向量空间上是语义相似的。本申请实施例引入对齐特征(alignment features)Aln()至观点标签和观点簇的语义向量表示中，如图6所示，具体对齐过程参见下述步骤：
S52：将本次选取的目标观点簇以及目标观点簇的邻居作为聚焦的观点簇，将其他的观点簇作为外部的观点簇，其中每次选取的目标观点簇是基于各个观点簇之间的顺序确定的。
S53：为评论序列中位于聚焦的观点簇中的评论词增加第一对齐特征，为评论序列中位于外部的观点簇中的评论词增加第二对齐特征，得到样本序列中的各个评论词对应的第一对齐语义向量；以及，为上一次输出的目标观点标签词增加第一对齐特征，得到对应的第二对齐语义向量。
其中，步骤S52可采用滑动窗口来实现，基于滑动窗口选取目标观点簇以及目标观点簇的邻居。假设窗口大小为3，即表示每次选取3个相邻的观点簇作为聚焦的观点簇FOC，剩余的观点簇作为外部的观点簇OOC，例如图6所示，假设一共有4个观点簇，此时一共有3个FOC和一个OOC。
在步骤S53中，假设上一次输出的目标观点标签词为yj,q-1，则对应yj,q-1而言，整合了第一对齐特征的观点标签的语义向量，即第二对齐语义向量，表示为：
yj，q-1＝WrtAln(1)+Embed(yj，q-1)+Pos(yj，q-1)； (公式5)
其中，Wrt是预先设置的模型参数，Aln(1)即第一对齐特征的特征向量。对于第i个观点簇中的第p个评论词xi,p，考虑到位于聚焦的观点簇FOC中的评论词，与位于外部的观点簇OOC中的评论词，对应增加的对齐特征不同，具体参见公式6：
Figure BDA0002806190790000221
其中，当第i个观点簇中的第p个评论词xi,p属于FOCs时，为该评论词对应增加的第一对齐特征，
Figure BDA0002806190790000222
当xi,p属于OOCs时(即xi,p不属于FOCs时)，为该评论词对应增加的第二对齐特征，
Figure BDA0002806190790000223
其中，Aln(0)和Aln(1)是预先设置的两种嵌入特征向量。也就是将Aln(1)加入到每一个FOC中的评论词的词向量上，将Aln(0)加入到每一个OOC中的评论词的词向量上。
对于评论词xi,p，对应的第一对齐语义向量参见公式7：
Figure BDA0002806190790000224
其中，ri,p表示将对齐特征加入到评论词上xi,p之后得到的第一对齐语义向量，Wrt是预先设置的模型参数。
为了从有序的观点簇中捕捉语义和对齐信息，本申请实施例中采用了多头注意力机制(multi-head cross-attention，MHAtt)来计算每个时间步骤的注意力分布
Figure BDA0002806190790000225
其中k表示第k个簇，Lk表示第k个簇中评论词的总数量，
Figure BDA0002806190790000226
即表示第k个簇中的第Lk个评论词与一次输出的目标观点标签词的对齐概率，也称评论词与上一次输出的观点标签词之间的注意力值，具体实现过程如下：
S54：结合样本序列中的各个评论词对应的第一对齐向量与上一次输出的目标观点标签词对应的第二对齐语义向量，基于注意力机制分析上一次输出的目标观点标签词与样本序列中的各个评论词的对齐概率，其中，对齐概率表示评论词与上一次输出的观点标签词之间的注意力值。
S55：将对齐概率和评论序列中的评论词的语义向量序列进行加权，并输入到前向神经网络中，获得本次输出的评论序列的目标语义表示向量。
S56：基于上一次输出的目标观点标签词以及目标语义表示向量，生成本次输出的目标观点标签词。
具体的，在计算S54中的对齐概率时，计算公式如下：
Figure BDA0002806190790000231
Figure BDA0002806190790000232
其中，
Figure BDA0002806190790000233
表示对第j个观点标签中的第q-1个观点标签词yj,q-1的第二对齐语义向量进行线性转换后的向量表示，
Figure BDA0002806190790000234
表示对第i个观点簇中的第p个评论词的第一对齐语义向量进行线性转换后的向量表示，z表示多头注意力机制中的第z个头，假设一共有nh个头，Wa和Wb是预先设置的模型参数。
在计算得到
Figure BDA0002806190790000235
和
Figure BDA0002806190790000236
之后，即可结合公式10来计算各个评论词对应的注意力值：
Figure BDA0002806190790000237
其中，
Figure BDA0002806190790000238
表示第i个簇中的第p个评论词对观点标签词yj,q-1的注意力值，i’的取值范围都是1～M，是为了区分
Figure BDA0002806190790000239
中的i，实际物理含义与i相同，同理p’是为了区分
Figure BDA00028061907900002310
中的p，实际物理含义与p相同。
最后，将nh个头对应的注意力值拼起来，如公式11所示：
Figure BDA0002806190790000241
其中，cj,q表示第j个观点标签中的第q个观点标签词的上下文向量，即本次要生成的观点标签词yj,q。一共有k个簇，第i个簇一共有ci个评论词。
在计算得到上下文向量之后，即结合图4所示的前反馈(前向神经网络)以及正则化层进行处理，得到最终输出的yj,q，具体涉及公式12至公式13：
Figure BDA0002806190790000242
Figure BDA0002806190790000243
Figure BDA0002806190790000244
其中，LayerNorm指图4中的顺序增强的观点标签组件中的Add&Norm层，即正则层，FNN指全连接层，n是指decoder中transformer的层数。yj，q即观点标签词yj,q的向量表示。
需要说明的是，本申请实施例中的顺序增强的观点标签组件是以解码器模型为例进行举例说明的，实际上观点标签组件并不拘泥于具体的解码器模型，也可以基于预训练语言模型生成观点标签等，在此不做具体限定。
进一步地，本申请实施例中的观点标签生成模型是通过采用多组训练样本利用机器学习训练得出。具体训练过程如下：
获取针对至少一个样本资源的训练样本数据集，根据训练样本数据集中的训练样本，对未训练的观点标签生成模型执行循环迭代训练，以获得已训练的观点标签生成模型；其中，每一次循环迭代训练过程包括以下操作：
首先从训练样本数据集中选取针对同一样本资源的一组训练样本，将这一组训练样本作为评论集合，与上述所列举的应用过程相似，也是分别将选取的各个训练样本包含的样本评论输入未训练的观点标签生成模型中的句子级别的显著性评分组件，获得显著性评分组件输出的各条样本评论对应的相关度；进而，基于各条样本评论对应的相关度与对应的相关性标签之前的误差，构建第一损失函数。
具体来说，句子级别的显著性评估组件借助评论语义向量之间的交互，判断每个评论与其他评论的相关性，计算每个评论的与产品相关的显著性信息，从而达到对大量评论降噪的目标，选择显著性评论，弱化不相关的评论。该组件优化目标如下：
Figure BDA0002806190790000251
其中，Lcla即为第一损失函数，zi是指基于观点标签生成模型预测得到的第i条评论的显著性得分，zi *是指第i条评论的真实的显著性得分。
在本申请实施例中zi *的取值为0或1，是一个二分类的标签，即本申请实施例中所列举的训练样本中的相关性标签，用于表示样本评论与样本资源是否相关。比如，某一评论为针对商品A的评论，但是样本资源为商品B，则zi *的取值为0；若某一评论为针对商品B的评论，且样本资源为商品B，则zi *的取值为1。
接下来，分别将选取的各个训练样本中的样本评论，以及各条样本评论对应的相关度输入未训练的观点标签生成模型中的评论聚类排序组件，基于评论聚类排序组件对各条样本评论进行聚类，获得至少两个观点簇后，对各个观点簇进行排序，获得评论聚类排序组件输出的词级别的第二拼接表示向量。之后，即可将第二拼接表示向量输入未训练的观点标签生成模型中的观点标签组件，基于观点标签组件进行注意力特征提取，获得观点标签组件输出的一组预测观点标签序列，其中预测观点标签序列包括至少两个预测观点标签词。
对于评论聚类排序组件和顺序增强的观点标签组件而言，主要是基于预测观点标签序列中的预测观点标签词与真实观点标签序列中的真实观点标签词的分布误差，构建第二损失函数；基于各个观点簇中评论词的注意力值，构建第三损失函数。
可选的，在构建第二损失函数时，可基于对齐损失，
对于任意一个预测观点标签词，基于预测观点标签词在预设的观点标签词集合中的分布概率，以及预测观点标签词在评论集合中的分布概率，确定预测观点标签序列中的预测观点标签词与真实观点标签序列中的真实观点标签词的分布误差；基于确定的分布误差构建第二损失函数。
具体的，对于任意一个预测观点标签词，将该预测观点标签词作为目标观点标签词，通过Transformer解码器更新目标观点标签词的向量表示，并计算与FOCs相关的观点标签词概率分布：
Pv(yj，q|[y1，0，...，yj，q-1]，X)＝soft max(Wvyj，q+bv)；(公式15)
由公式15所示，其中，X表示观点簇的语义向量表示，即基于公式7得到的各个评论词的第一对齐语义向量拼接得到的，Pv表示观点标签词表上的概率分布，Wv和bv表示预先配置的模型参数。
特别的，由于本申请要生成的观点标签与观点簇有强相关性，本申请实施例采用了复制机制(copy mechanism)从观点簇中直接复制词作为目标观点标签词，最终的观点标签词yj,q的概率分布为：
Figure BDA0002806190790000261
pgen＝σ(Wgyj，q+bg)； (公式17)
其中，pgen表示从观点标签词表中得到yp,q的概率，可通过分析当前时刻解码器端观点簇的语义向量表示X与预先配置的观点标签词表v中每个词的向量语义相似度得到，Wg和bg表示预先配置的模型参数，αi,*表示yj,q所在位置的注意力值，计算方式参见公式10，在模型训练的时候要使yj,q的概率尽可能的大，即要保证P(yj,q)尽可能的大。
本申请实施例在训练时优化如下公式的损失函数使得预测的观点标签词分布跟真实的观点标签词分布尽可能接近：
Figure BDA0002806190790000262
其中，公式18所列举的即为本申请实施例中的第二损失函数，该函数为负对数似然损失函数。其中，N表示一共输出了N个预测观点标签，
Figure BDA0002806190790000263
表示第j个观点标签中的观点标签词的数量。
对齐机制2–对齐损失：在第j个观点标签生成的过程中，本申请实施例中提出了对齐损失来帮助顺序增强的观点标签组件准确定位FOCs。通过对齐损失，能够优化多头注意力机制中的注意力分布，使顺序增强的观点标签组件显示地关注FOCs并忽略OOCs，对齐损失函数公式如下：
Figure BDA0002806190790000271
其中，αi,p表示第i个观点簇中的第p个评论词对yj,q-1的注意力值。通过计算观点簇中的每个评论词对yj,q-1的注意力值，构建第三损失函数，目的是使在FOC中的评论词对应的注意力值较高，在OOC中的评论词对应的注意力值较低。
考虑到本申请实施例中所列举的观点标签生成模型共包含以上三个组件，在模型训练过程中，需要结合这三个组件进行联合训练。通过组合句子级别的显著性评估组件，评论聚类排序组件，和顺序增强的观点标签组件，本申请实施例的总体优化目标如下(λ1，λ2，λ3经验值为1)：
L＝λ1Lcla+λ2Laln+λ3Lgen； (公式20)
综上，L是根据第一损失函数，第二损失函数和第三损失函数共同确定的，基于上述所列举的损失函数L对观点标签生成模型不断地进行参数调整，最终直至模型收敛，或者是迭代次数达到上限时停止迭代，得到已训练的观点标签生成模型。
在训练好观点标签生成模型之后，即可基于训练好的观点生成模型来生成观点标签序列。具体的，将一组用户针对目标资源的多条评论输入训练好的观点标签生成模型中，基于该观点标签生成模型生成一组观点标签序列，最终将生成的观点标签序列返回给用户。基于本申请实施例中的观点标签生成模型，可以生成一组有序的观点标签表示消费者对于该商品不同方面的评价，帮助潜在消费者无需浏览大量评论即可快速了解该商品的用户评价。另外还可用于其他需要对多文档建模并精简总结其中核心观点的应用场景，如社交媒体平台，新闻报道网站等，帮助潜在用户迅速方便地从中获取有利信息。
参阅图7所示，其为一种本申请实施例中的一种观点标签生成模型的完整训练方法流程图。该方法的具体实施流程如下：
步骤S700：获取针对至少一个样本资源的训练样本数据集；
步骤S701：从训练样本数据集中选取针对同一样本资源的一组训练样本；
步骤S702：分别将选取的各个训练样本包含的样本评论输入未训练的观点标签生成模型中的句子级别的显著性评分组件，获得显著性评分组件输出的各条样本评论对应的相关度；
步骤S703：基于各条样本评论对应的相关度与对应的相关性标签之前的差异，构建第一损失函数；
步骤S704：分别将选取的各个训练样本中的样本评论，以及各条样本评论对应的相关度输入未训练的观点标签生成模型中的评论聚类排序组件，基于评论聚类排序组件对各条样本评论进行聚类，获得至少两个观点簇；
步骤S705：基于评论聚类排序组件对各个观点簇进行排序，获得评论聚类排序组件输出的词级别的第二拼接表示向量；
步骤S706：将第二拼接表示向量输入未训练的观点标签生成模型中的顺序增强的观点标签组件，基于观点标签组件进行注意力特征提取，获得观点标签组件输出的一组预测观点标签序列；
步骤S707：基于预测观点标签序列中的预测观点标签词与真实观点标签序列中的真实观点标签词的分布差异，构建第二损失函数；
步骤S708：基于各个观点簇中评论词的注意力值，构建第三损失函数；
步骤S709：根据第一损失函数，第二损失函数和第三损失函数，对未训练的观点标签生成模型的网络参数进行调整；
步骤S710：判断观点标签生成模型是否收敛，如果是，则结束本流程，否则，返回步骤S701。
基于相同的发明构思，本申请实施例还提供一种观点标签的生成装置。如图8所示，其为观点标签的生成装置800的结构示意图，可以包括：
评论获取单元801，用于获取针对目标资源的评论集合，评论集合包括至少两条评论；
分析单元802，用于获得评论集合中的各条评论与目标资源之间的相关度；
排序单元803，用于根据各条评论对应的相关度，以及各条评论的语义特征，对各条评论进行排序，得到相应的评论序列；
标签生成单元804，用于基于评论序列生成针对目标资源的目标观点标签序列，目标观点序列包括至少两个目标观点标签词。
可选的，排序单元803具体用于：
根据各条评论对应的相关度，以及各条评论的语义特征，对各条评论进行划分，得到至少两个评论子集合；
对各个评论子集合进行排序，并分别对各个评论子集合中的各条评论进行排序，得到评论序列。
可选的，排序单元803具体用于：
分别根据各条评论对应的相关度，对各条评论的语义特征进行加权，得到各条评论的显著性语义特征；
根据各条评论的显著性语义特征对各条评论进行聚类，得到至少两个评论子集合。
可选的，排序单元803具体用于：
根据各个评论子集合所包含的评论的数量，对各个评论子集合进行排序；以及，
针对各个评论子集合，分别执行以下操作：根据评论子集合中各条评论的语义特征与评论子集合的关联程度，对评论子集合中的各条评论进行排序；
基于各个评论子集合之间的排序结果，以及各个评论子集合中各条评论的排序结果，生成评论序列。
可选的，分析单元802具体用于：
分别将各条评论输入已训练的观点标签生成模型中，基于已训练的观点标签生成模型中的句子级别的显著性评分组件对各条评论进行特征提取，获得显著性评分组件输出的各条评论对应的相关度；
排序单元803具体用于：
分别将各条评论，以及各条评论对应的相关度输入已训练的观点标签生成模型中的评论聚类排序组件，基于评论聚类排序组件对各条评论进行聚类和排序，获得评论聚类排序组件输出的词级别的第一拼接表示向量，第一拼接表示向量中的各个评论词组合形成评论序列；
标签生成单元804具体用于：
将拼接表示向量输入已训练的观点标签生成模型中的观点标签组件，基于观点标签组件进行注意力特征提取，获得观点标签组件输出的目标观点标签序列；
其中，已训练的观点标签生成模型是根据训练样本数据集训练得到的，训练样本数据集中的训练样本包括已标注相关性标签的样本评论，相关性标签表示样本评论与样本资源是否相关。
可选的，分析单元802具体用于：
分别将各条评论输入显著性评分组件，基于显著性评分组件中的句子表示模块将各条评论映射至连续空间，得到各条评论的表示向量；
通过上下文编码将各条评论的表示向量分别转换为对应的语义向量；
基于显著性评分组件，分别提取各条评论的语义向量与除自身之外的其他评论的语义向量之间的注意力特征；
基于各条评论对应的注意力特征获得各条评论与目标资源之间的相关度。
可选的，排序单元803具体用于：
基于已训练的观点标签生成模型中的评论聚类排序组件，将各条评论映射至连续空间得到各条评论对应的词向量序列；
通过层次化池化操作对各条评论对应的词向量序列进行空间信息提取，得到各条评论的语义表示向量；
分别根据各条评论对应的相关度，对各条评论的语义表示向量进行加权，得到各条评论的显著性语义表示向量；
基于各条评论的显著性语义表示向量进行聚类，得到至少两个评论子集合；
将所有评论子集合进行排序，并将每个评论子集合中的各条评论进行排序后，将各条评论的显著性语义表示向量拼接并进行词级别转换得到第一拼接表示向量。
可选的，排序单元803具体用于：
基于已训练的观点标签生成模型中的评论聚类排序组件，将各条评论映射至连续空间得到各条评论对应的词向量序列；
通过层次化池化操作对各条评论对应的词向量序列进行空间信息提取，得到各条评论的语义表示向量；
分别根据各条评论对应的相关度，对各条评论的语义表示向量进行加权，得到各条评论的显著性语义表示向量；
基于各条评论的显著性语义表示向量进行聚类，得到至少两个评论子集合；
将所有评论子集合进行排序，并将每个评论子集合中的各条评论进行排序后，将各条评论的显著性语义表示向量拼接并进行词级别转换得到第一拼接表示向量。
可选的，标签生成单元804具体用于：
采用循环迭代方式，依次生成目标观点标签序列中的各个观点标签词，目标观点序列中的一个观点标签至少包括一个观点标签词；其中，在一次循环迭代过程中，执行以下操作：
将上一次输出的目标观点标签词输入观点标签组件，其中，第一次输入观点标签组件的为预先设置的起始标志词；
通过注意力机制分析上一次输出的目标观点标签词和样本序列中的各个评论词的对齐概率，其中，对齐概率表示评论词与上一次输出的观点标签词之间的注意力值；
将对齐概率和评论序列中的评论词的语义向量序列进行加权，并输入到前向神经网络中，获得本次输出的评论序列的目标语义表示向量；
基于上一次输出的目标观点标签词以及目标语义表示向量，生成本次输出的目标观点标签词。
可选的，标签生成单元804还用于：
在通过注意力机制分析上一次输出的目标观点标签词和样本序列中的各个评论词的对齐概率之前，将本次选取的目标评论子集合以及目标评论子集合的邻居作为聚焦的评论子集合，将其他的评论子集合作为外部的评论子集合，其中每次选取的目标评论子集合是基于各个评论子集合之间的顺序确定的；
为评论序列中位于聚焦的评论子集合中的评论词增加第一对齐特征，为评论序列中位于外部的评论子集合中的评论词增加第二对齐特征，得到样本序列中的各个评论词对应的第一对齐语义向量；以及
为上一次输出的目标观点标签词增加第一对齐特征，得到对应的第二对齐语义向量；
通过注意力机制分析上一次输出的目标观点标签词和样本序列中的各个评论词的对齐概率，具体包括：
结合样本序列中的各个评论词对应的第一对齐向量与上一次输出的目标观点标签词对应的第二对齐语义向量，基于注意力机制分析上一次输出的目标观点标签词与样本序列中的各个评论词的对齐概率。
可选的，装置还包括：
训练单元805，用于通过如下过程训练得到的观点标签生成模型：
获取针对至少一个样本资源的训练样本数据集；
根据训练样本数据集中的训练样本，对未训练的观点标签生成模型执行循环迭代训练，以获得已训练的观点标签生成模型；其中，每一次循环迭代训练过程包括以下操作：
从训练样本数据集中选取针对同一样本资源的一组训练样本，分别将选取的各个训练样本包含的样本评论输入未训练的观点标签生成模型中的句子级别的显著性评分组件，获得显著性评分组件输出的各条样本评论对应的相关度；
基于各条样本评论对应的相关度与对应的相关性标签之前的误差，构建第一损失函数；以及
分别将选取的各个训练样本中的样本评论，以及各条样本评论对应的相关度输入未训练的观点标签生成模型中的评论聚类排序组件，基于评论聚类排序组件对各条样本评论进行聚类，获得至少两个评论子集合；基于评论聚类排序组件对各个评论子集合进行排序，获得评论聚类排序组件输出的词级别的第二拼接表示向量；
将第二拼接表示向量输入未训练的观点标签生成模型中的观点标签组件，基于观点标签组件进行注意力特征提取，获得观点标签组件输出的一组预测观点标签序列，预测观点标签序列包括至少两个预测观点标签词；
基于预测观点标签序列中的预测观点标签词与真实观点标签序列中的真实观点标签词的分布误差，构建第二损失函数；以及，基于各个评论子集合中评论词的注意力值，构建第三损失函数；
根据第一损失函数，第二损失函数和第三损失函数，对未训练的观点标签生成模型进行参数调整。
可选的，训练单元805具体用于：
对于任意一个预测观点标签词，基于预测观点标签词在预设的观点标签词集合中的分布概率，以及预测观点标签词在评论集合中的分布概率，确定预测观点标签序列中的预测观点标签词与真实观点标签序列中的真实观点标签词的分布误差；
基于确定的分布误差构建第二损失函数。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
在介绍了本申请示例性实施方式的观点标签的生成方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。该电子设备可以用于生成观点标签序列。在一种实施例中，该电子设备可以是服务器，如图1所示的服务器120。在该实施例中，电子设备的结构可以如图9所示，包括存储器901，通讯模块903以及一个或多个处理器902。
存储器901，用于存储处理器902执行的计算机程序。存储器901可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器901可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器901也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者存储器901是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器901可以是上述存储器的组合。
处理器902，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器902，用于调用存储器901中存储的计算机程序时实现上述观点标签的生成方法。
通讯模块903用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器901、通讯模块903和处理器902之间的具体连接介质。本公开实施例在图9中以存储器901和处理器902之间通过总线904连接，总线904在图9中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线904可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器901中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的观点标签的生成方法。处理器902用于执行上述的观点标签的生成方法，如图2所示。
在一些可能的实施方式中，本申请提供的观点标签的生成方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的观点标签的生成方法中的步骤，例如，计算机设备可以执行如图2中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请实施例上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请实施例各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和更改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和更改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些更改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种观点标签的生成方法，其特征在于，该方法包括：
获取针对目标资源的评论集合，所述评论集合包括至少两条评论；
获得所述评论集合中的各条评论与所述目标资源之间的相关度；
根据所述各条评论对应的相关度，以及所述各条评论的语义特征，对所述各条评论进行排序，得到相应的评论序列；
基于所述评论序列生成针对所述目标资源的目标观点标签序列，所述目标观点序列包括至少两个目标观点标签词。
2.如权利要求1所述的方法，其特征在于，所述根据所述各条评论对应的相关度，以及所述各条评论的语义特征，对所述各条评论进行排序，得到相应的评论序列，具体包括：
根据所述各条评论对应的相关度，以及所述各条评论的语义特征，对所述各条评论进行划分，得到至少两个评论子集合；
对各个评论子集合进行排序，并分别对所述各个评论子集合中的各条评论进行排序，得到所述评论序列。
3.如权利要求2所述的方法，其特征在于，所述根据所述各条评论对应的相关度，以及所述各条评论的语义特征，对所述各条评论进行划分，得到至少两个评论子集合，具体包括：
分别根据所述各条评论对应的相关度，对所述各条评论的语义特征进行加权，得到所述各条评论的显著性语义特征；
根据所述各条评论的显著性语义特征对所述各条评论进行聚类，得到至少两个评论子集合。
4.如权利要求2所述的方法，其特征在于，所述对各个评论子集合之间进行排序，并分别对所述各个评论子集合中的各条评论进行排序，得到所述评论序列，具体包括：
根据各个评论子集合所包含的评论的数量，对所述各个评论子集合进行排序；以及，
针对所述各个评论子集合，分别执行以下操作：根据所述评论子集合中各条评论的语义特征与所述评论子集合的关联程度，对所述评论子集合中的各条评论进行排序；
基于所述各个评论子集合之间的排序结果，以及所述各个评论子集合中各条评论的排序结果，生成所述评论序列。
5.如权利要求1所述的方法，其特征在于，所述获得所述评论集合中的各条评论与所述目标资源之间的相关度，具体包括：
分别将所述各条评论输入已训练的观点标签生成模型中，基于所述已训练的观点标签生成模型中的句子级别的显著性评分组件对所述各条评论进行特征提取，获得所述显著性评分组件输出的所述各条评论对应的相关度；
所述根据所述各条评论对应的相关度，以及所述各条评论的语义特征，对所述各条评论进行排序，得到相应的评论序列，具体包括：
分别将所述各条评论，以及所述各条评论对应的相关度输入所述已训练的观点标签生成模型中的评论聚类排序组件，基于所述评论聚类排序组件对所述各条评论进行聚类和排序，获得所述评论聚类排序组件输出的词级别的第一拼接表示向量，所述第一拼接表示向量中的各个评论词组合形成所述评论序列；
所述基于所述评论序列生成针对所述目标资源的目标观点标签序列，具体包括：
将所述拼接表示向量输入所述已训练的观点标签生成模型中的观点标签组件，基于所述观点标签组件进行注意力特征提取，获得所述观点标签组件输出的所述目标观点标签序列；
其中，所述已训练的观点标签生成模型是根据训练样本数据集训练得到的，所述训练样本数据集中的训练样本包括已标注相关性标签的样本评论，所述相关性标签表示所述样本评论与样本资源是否相关。
6.如权利要求5所述的方法，其特征在于，所述分别将所述各条评论输入已训练的观点标签生成模型中，基于所述已训练的观点标签生成模型中的句子级别的显著性评分组件，获得所述显著性评分组件输出的各条样本评论对应的相关度，具体包括：
分别将所述各条评论输入所述显著性评分组件，基于所述显著性评分组件中的句子表示模块将所述各条评论映射至连续空间，得到所述各条评论的表示向量；
通过上下文编码将所述各条评论的表示向量分别转换为对应的语义向量；
基于所述显著性评分组件，分别提取所述各条评论的语义向量与除自身之外的其他评论的语义向量之间的注意力特征；
基于所述各条评论对应的注意力特征获得所述各条评论与所述目标资源之间的相关度。
7.如权利要求5所述的方法，其特征在于，所述基于所述评论聚类排序组件对所述各条评论进行聚类并排序，获得所述评论聚类排序组件输出的词级别的第一拼接表示向量，具体包括：
基于所述已训练的观点标签生成模型中的评论聚类排序组件，将所述各条评论映射至连续空间得到所述各条评论对应的词向量序列；
通过层次化池化操作对所述各条评论对应的词向量序列进行空间信息提取，得到所述各条评论的语义表示向量；
分别根据所述各条评论对应的相关度，对所述各条评论的语义表示向量进行加权，得到所述各条评论的显著性语义表示向量；
基于所述各条评论的显著性语义表示向量进行聚类，得到至少两个评论子集合；
将所有评论子集合进行排序，并将每个评论子集合中的各条评论进行排序后，将各条评论的显著性语义表示向量拼接并进行词级别转换得到所述第一拼接表示向量。
8.如权利要求5所述的方法，其特征在于，所述将所述第一拼接表示向量输入所述已训练的观点标签生成模型中的观点标签组件，基于所述观点标签组件进行注意力特征提取，获得所述观点标签组件输出的所述目标观点标签序列，具体包括：
采用循环迭代方式，依次生成所述目标观点标签序列中的各个观点标签词，所述目标观点序列中的一个观点标签至少包括一个观点标签词；其中，在一次循环迭代过程中，执行以下操作：
将上一次输出的目标观点标签词输入所述观点标签组件，其中，第一次输入所述观点标签组件的为预先设置的起始标志词；
通过注意力机制分析所述上一次输出的目标观点标签词和所述样本序列中的各个评论词的对齐概率，其中，所述对齐概率表示所述评论词与所述上一次输出的观点标签词之间的注意力值；
将所述对齐概率和所述评论序列中的评论词的语义向量序列进行加权，并输入到前向神经网络中，获得本次输出的所述评论序列的目标语义表示向量；
基于所述上一次输出的目标观点标签词以及所述目标语义表示向量，生成本次输出的目标观点标签词。
9.如权利要求8所述的方法，其特征在于，在所述通过注意力机制分析上一次输出的目标观点标签词和所述样本序列中的各个评论词的对齐概率之前，还包括：
将本次选取的目标评论子集合以及所述目标评论子集合的邻居作为聚焦的评论子集合，将其他的评论子集合作为外部的评论子集合，其中每次选取的目标评论子集合是基于各个评论子集合之间的顺序确定的；
为所述评论序列中位于聚焦的评论子集合中的评论词增加第一对齐特征，为所述评论序列中位于外部的评论子集合中的评论词增加第二对齐特征，得到所述样本序列中的各个评论词对应的第一对齐语义向量；以及
为所述上一次输出的目标观点标签词增加所述第一对齐特征，得到对应的第二对齐语义向量；
所述通过注意力机制分析所述上一次输出的目标观点标签词和所述样本序列中的各个评论词的对齐概率，具体包括：
结合所述样本序列中的各个评论词对应的第一对齐向量与上一次输出的目标观点标签词对应的第二对齐语义向量，基于注意力机制分析所述上一次输出的目标观点标签词与所述样本序列中的各个评论词的对齐概率。
10.如权利要求5～9中任一项所述的方法，其特征在于，所述观点标签生成模型是通过如下过程训练得到的：
获取针对至少一个样本资源的所述训练样本数据集；
根据所述训练样本数据集中的训练样本，对未训练的观点标签生成模型执行循环迭代训练，以获得所述已训练的观点标签生成模型；其中，每一次循环迭代训练过程包括以下操作：
从所述训练样本数据集中选取针对同一样本资源的一组训练样本，分别将选取的各个训练样本包含的样本评论输入所述未训练的观点标签生成模型中的句子级别的显著性评分组件，获得所述显著性评分组件输出的各条样本评论对应的相关度；
基于所述各条样本评论对应的相关度与对应的相关性标签之前的误差，构建第一损失函数；以及
分别将选取的各个训练样本中的样本评论，以及所述各条样本评论对应的相关度输入所述未训练的观点标签生成模型中的评论聚类排序组件，基于所述评论聚类排序组件对所述各条样本评论进行聚类，获得至少两个评论子集合；基于所述评论聚类排序组件对各个评论子集合进行排序，获得所述评论聚类排序组件输出的词级别的第二拼接表示向量；
将所述第二拼接表示向量输入所述未训练的观点标签生成模型中的观点标签组件，基于所述观点标签组件进行注意力特征提取，获得所述观点标签组件输出的一组预测观点标签序列，所述预测观点标签序列包括至少两个预测观点标签词；
基于所述预测观点标签序列中的预测观点标签词与真实观点标签序列中的真实观点标签词的分布误差，构建第二损失函数；以及，基于各个评论子集合中评论词的注意力值，构建第三损失函数；
根据所述第一损失函数，所述第二损失函数和所述第三损失函数，对所述未训练的观点标签生成模型进行参数调整。
11.如权利要求10所述的方法，其特征在于，所述基于所述预测观点标签序列中的预测观点标签词与真实观点标签序列中的真实观点标签词的分布误差，构建第二损失函数，具体包括：
对于任意一个预测观点标签词，基于所述预测观点标签词在预设的观点标签词集合中的分布概率，以及所述预测观点标签词在所述评论集合中的分布概率，确定所述预测观点标签序列中的预测观点标签词与真实观点标签序列中的真实观点标签词的分布误差；
基于确定的分布误差构建所述第二损失函数。
12.一种观点标签的生成装置，其特征在于，包括：
评论获取单元，用于获取针对目标资源的评论集合，所述评论集合包括至少两条评论；
分析单元，用于获得所述评论集合中的各条评论与所述目标资源之间的相关度；
排序单元，用于根据所述各条评论对应的相关度，以及所述各条评论的语义特征，对所述各条评论进行排序，得到相应的评论序列；
标签生成单元，用于基于所述评论序列生成针对所述目标资源的目标观点标签序列，所述目标观点序列包括至少两个目标观点标签词。
13.如权利要求12所述的装置，其特征在于，所述排序单元具体用于：
根据所述各条评论对应的相关度，以及所述各条评论的语义特征，对所述各条评论进行划分，得到至少两个评论子集合；
对各个评论子集合进行排序，并分别对所述各个评论子集合中的各条评论进行排序，得到所述评论序列。
14.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1～11中任一所述方法的步骤。
15.一种计算机可读存储介质，其特征在于，其包括程序代码，当所述程序代码在电子设备上运行时，所述程序代码用于使所述电子设备执行权利要求1～11中任一所述方法的步骤。
CN202011371489.5A 2020-11-30 2020-11-30 一种观点标签的生成方法、装置、电子设备和存储介质 Pending CN112528136A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011371489.5A CN112528136A (zh) 2020-11-30 2020-11-30 一种观点标签的生成方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011371489.5A CN112528136A (zh) 2020-11-30 2020-11-30 一种观点标签的生成方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112528136A true CN112528136A (zh) 2021-03-19

Family

ID=74996474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011371489.5A Pending CN112528136A (zh) 2020-11-30 2020-11-30 一种观点标签的生成方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112528136A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111269A (zh) * 2021-05-10 2021-07-13 网易（杭州）网络有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN113158051A (zh) * 2021-04-23 2021-07-23 山东大学 一种基于信息传播和多层上下文信息建模的标签排序方法
CN113850532A (zh) * 2021-10-15 2021-12-28 深圳市宝龙辉鞋业有限公司 一种按摩鞋生产在线连续监控方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158051A (zh) * 2021-04-23 2021-07-23 山东大学 一种基于信息传播和多层上下文信息建模的标签排序方法
CN113111269A (zh) * 2021-05-10 2021-07-13 网易（杭州）网络有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN113850532A (zh) * 2021-10-15 2021-12-28 深圳市宝龙辉鞋业有限公司 一种按摩鞋生产在线连续监控方法及系统

Similar Documents

Publication Publication Date Title
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN110737801B (zh) 内容分类方法、装置、计算机设备和存储介质
Yan et al. Learning to respond with deep neural networks for retrieval-based human-computer conversation system
CN111125422B (zh) 一种图像分类方法、装置、电子设备及存储介质
Celikyilmaz et al. LDA based similarity modeling for question answering
Xiao et al. Convolutional hierarchical attention network for query-focused video summarization
CN111046941B (zh) 一种目标评论检测方法、装置、电子设备和存储介质
Feng et al. Enhanced sentiment labeling and implicit aspect identification by integration of deep convolution neural network and sequential algorithm
CN112528136A (zh) 一种观点标签的生成方法、装置、电子设备和存储介质
CN112069302A (zh) 会话意图识别模型的训练方法、会话意图识别方法及装置
CN113254711B (zh) 一种互动图像的显示方法、装置、计算机设备和存储介质
CN113392651A (zh) 训练词权重模型及提取核心词的方法、装置、设备和介质
CN112015868A (zh) 基于知识图谱补全的问答方法
CN112580352B (zh) 关键词提取方法、装置和设备及计算机存储介质
Sun et al. Video question answering: a survey of models and datasets
Tenenboim et al. Ontology-based classification of news in an electronic newspaper
Nikzad-Khasmakhi et al. BERTERS: Multimodal representation learning for expert recommendation system with transformers and graph embeddings
CN112131345A (zh) 文本质量的识别方法、装置、设备及存储介质
CN109271624A (zh) 一种目标词确定方法、装置及存储介质
Chai Design and implementation of English intelligent communication platform based on similarity algorithm
Chaudhuri Visual and text sentiment analysis through hierarchical deep learning networks
Li et al. Bi-CMR: bidirectional reinforcement guided hashing for effective cross-modal retrieval
Nie et al. Cross-domain semantic transfer from large-scale social media
Abdar et al. A review of deep learning for video captioning
Park et al. Automatic extraction of user’s search intention from web search logs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041383

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination