CN113792148A - 一种基于序列到序列的评论方面类别检测方法及系统 - Google Patents

一种基于序列到序列的评论方面类别检测方法及系统 Download PDF

Info

Publication number
CN113792148A
CN113792148A CN202111344305.0A CN202111344305A CN113792148A CN 113792148 A CN113792148 A CN 113792148A CN 202111344305 A CN202111344305 A CN 202111344305A CN 113792148 A CN113792148 A CN 113792148A
Authority
CN
China
Prior art keywords
sentence
vector
hidden state
representing
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111344305.0A
Other languages
English (en)
Other versions
CN113792148B (zh
Inventor
王思宇
黄鹏
江岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Xiaoduo Technology Co ltd
Original Assignee
Chengdu Xiaoduo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Xiaoduo Technology Co ltd filed Critical Chengdu Xiaoduo Technology Co ltd
Priority to CN202111344305.0A priority Critical patent/CN113792148B/zh
Publication of CN113792148A publication Critical patent/CN113792148A/zh
Application granted granted Critical
Publication of CN113792148B publication Critical patent/CN113792148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)

Abstract

本发明提供一种基于序列到序列的评论方面类别检测方法及系统，执行时通过BiLSTM模型获取句子的词嵌入矩阵中每个词的隐藏状态，进而得到各个句子的隐藏状态；然后根据预设的自注意力权重矩阵和各个句子的隐藏状态进行乘法运算得到各个句子的自注意力嵌入矩阵，将其变换为一维向量并通过一个全连接层进行处理得到各个句子的句子特征向量；再次，获取当前句子的上一句子的方面类别嵌入向量、上下文向量和第一输出隐藏状态并进行合并后通过LSTM网络分析得到当前句子的第二输出隐藏状态；最后，将第二输出隐藏状态和当前句子的句子特征向量进行拼接后通过一个全连接层和softmax函数进行处理，得到用户评论的方面类别检测结果。

Description

一种基于序列到序列的评论方面类别检测方法及系统
技术领域
本发明涉及电子商务技术领域，具体而言，涉及一种基于序列到序列的评论方面类别检测方法及系统。
背景技术
随着在线购物的兴起，评论开始爆发式的增长，比如在很多购物网站上都会有成千上万条关于餐厅或酒店的评论，这些评论涉及食物，价格，环境，服务等。很显然一般的用户很难使用这些庞大的数据提取信息。因此，基于方面情绪分析（ABSA）开始出现，这种方法旨在自动从这些评论中提取有用的信息。尤其方面类别检测（ACD）它是 ABSA 的子任务，主要侧重于如何为每条评论分配方面类别。例如，"服务"可以分配给评论"这家餐厅的服务真的很好！两类"服务"和"食物"需要分配给评论"餐厅的服务员非常好，但菜肴真的很一般！
通常，一条评论包含多个句子，每个句子又可能包含多个方面类别。因此，ACD可视为多标签分类任务。鉴于此，许多以前的研究利用一对一的分类模型为每个方面类别训练一个分类器，并取得了良好的效果。但是训练多个分类器是一项耗时且耗费资源的工作。为了解决这个问题，一些研究人员应用Sequence2Sequence（序列到序列）模型来解决多标签分类的问题，该方法取得了良好的效果。同样，Sequence2Sequence 也可用于生成方面类别。但是，在大多数情况下，基于用户的写作习惯，评论中的句子通常只描述一个方面类别。如果仅使用 Sequence2Sequence模型以生成多标签序列的相同方式来生成方面类别，则对预测结果的准确性会造成影响。因此，需要提供一种方案以提高方面类别预测的性能。
发明内容
本发明的目的在于提供一种基于序列到序列的评论方面类别检测方法及系统，用以实现提高句子的方面类别预测的准确性技术效果。
第一方面，本发明提供了一种基于序列到序列的评论方面类别检测方法，包括：
S1.获取若干条已知方面类别的用户评论中各个句子的隐藏状态；
S2.根据自注意力权重矩阵和各个句子的隐藏状态进行乘法运算得到各个句子的自注意力嵌入矩阵；
S3.将所述自注意力嵌入矩阵变换为一维向量并通过一个全连接层进行处理得到各个句子的句子特征向量；
S4. 获取初始化的方面类别嵌入向量和当前句子的上下文向量，并将初始化的方面类别嵌入向量、当前句子的上下文向量和隐藏状态进行合并后通过LSTM网络进行处理得到所述当前句子初始时刻的输出隐藏状态和方面类别嵌入向量；
S5.将所述当前句子上一时刻的输出隐藏状态、方面类别嵌入向量和上下文向量合并后再次通过LSTM网络进行处理得到当前时刻的输出隐藏状态和方面类别嵌入向量；以此循环，直到识别到所述当前句子的尾部后输出各个句子的最终输出隐藏状态；
S6.将所述当前句子的最终输出隐藏状态与对应的句子特征向量进行拼接后通过一个全连接层和softmax函数进行处理，得到所述当前句子的方面类别检测结果。
进一步地，所述S2的实现方式为：
Figure 210519DEST_PATH_IMAGE001
上式中，W s1 和W s2 均为权重矩阵；且
Figure 117295DEST_PATH_IMAGE002
、W s2 ∈R r×d，R表示实数域，r是表示句子中方面类别个数的超参数，d和u 2是表示矩阵大小的超参数；H表示句子的隐藏状态；H T 表示H的转置矩阵；A表示预设的自注意力权重矩阵；
Figure DEST_PATH_IMAGE003
表示自注意力嵌入矩阵。
进一步地，所述S3的实现方式为：
Figure 6754DEST_PATH_IMAGE004
上式中，v表示句子特征向量，且
Figure DEST_PATH_IMAGE005
，u 3表示超参数；W 1表示权重系数；b 1表示偏置值；m表示自注意力嵌入矩阵M变换后的一维向量，且
Figure 213744DEST_PATH_IMAGE006
。
进一步地，所述S5的实现方式为：
Figure DEST_PATH_IMAGE007
上式中，s t 表示当前句子的最终输出隐藏状态；g(y a t-1)表示上一时刻当前句子的方面类别嵌入向量；y a t-1表示上一时刻当前句子所属方面类别的概率分布。
进一步地，所述S6的实现方式为：
Figure 796035DEST_PATH_IMAGE008
上式中，v表示句子特征向量；s t 表示当前句子的输出隐藏状态；W f 表示权重系数；b f 表示偏置值；y a t 表示当前句子的方面类别概率分布。
进一步地，所述方法还包括：
S7.通过一个全连接层和sigmoid函数预测S3中输出的句子特征向量对应句子包含多个方面类别的概率，根据所述概率和对应句子的真实方面类别的布尔变量构建目标函数；对S3中全连接层的参数进行优化；其中优化函数为：
Figure DEST_PATH_IMAGE009
上式中，N表示句子的总数；p c n 表示预测的句子是否包含多个方面类别的概率；y c n 表示真实方面类别的布尔变量，若当前句子包含多个方面类别则y c n 为0，若当前句子只有一个方面类别则y c n 为1。
进一步地，所述方法还包括：
S8.根据构建的目标函数对S6中全连接层的参数进行优化，其中所述目标函数为：
Figure 190107DEST_PATH_IMAGE010
上式中，N表示句子的总数；M表示方面类别的总数；n表示第n个句子；m表示第m个方面类别；p a nm 表示第n个句子属于第m个方面类别的概率；y a nm 表示真实的方面类别标签。
进一步地，所述方法还包括：
S9. 根据所述目标函数和所述优化函数的权重对S1-S6执行过程中各个全连接层的参数和预设的自注意力权重矩阵进行优化：L=λ L a +（1-λ）L c ，其中λ∈[0.0,1.0]用于控制两个损失函数的权重。
第二方面，本发明提供了一种基于序列到序列的评论方面类别检测系统，包括编码器、句子分类器、解码器和方面类别检测器；
所述编码器用于获取若干条已知方面类别的用户评论中各个句子的隐藏状态；
所述句子分类器用于根据预设的自注意力权重矩阵和各个句子的隐藏状态进行乘法运算得到各个句子的自注意力嵌入矩阵；将所述自注意力嵌入矩阵变换为一维向量并通过一个全连接层进行处理得到各个句子的句子特征向量；
所述解码器用于获取初始化的方面类别嵌入向量和当前句子的上下文向量，并将初始化的方面类别嵌入向量、当前句子的上下文向量和隐藏状态进行合并后通过LSTM网络进行处理得到所述当前句子初始时刻的输出隐藏状态和方面类别嵌入向量；将所述当前句子上一时刻的输出隐藏状态、方面类别嵌入向量和上下文向量合并后再次通过LSTM网络进行处理得到当前时刻的输出隐藏状态和方面类别嵌入向量；以此循环，直到识别到所述当前句子的尾部后输出各个句子的最终输出隐藏状态；
所述方面类别检测器用于将所述当前句子的最终输出隐藏状态与对应的句子特征向量进行拼接后通过一个全连接层和softmax函数进行处理，得到所述当前句子的方面类别检测结果。
本发明能够实现的有益效果是：本发明提供的基于序列到序列的评论方面类别检测方法在序列到序列的模型上融合了句子分类器，可以更加准确地预测出评论中各个句子的方面类别，提高了句子的方面类别预测的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种基于序列到序列的评论方面类别检测方法的流程图；
图2为本发明实施例提供的一种基于序列到序列的评论方面类别检测系统的拓扑结构示意图。
图标：10-评论方面类别检测系统；100-编码器；200-句子分类器；300-解码器；400-方面类别检测器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参看图1，图1为本发明实施例提供的一种基于序列到序列的评论方面类别检测方法的流程图。
在一种实施方式中，本发明实施例提供了一种基于序列到序列的评论方面类别检测方法，其具体内容如下所述。
S1.获取若干条已知方面类别的用户评论中各个句子的隐藏状态。
在一种实施方式中，上述过程包括：
S11.获取若干条已知方面类别的用户评论并构建所述用户评论中各个句子的词嵌入矩阵。
具体地，上述的用户评论可以从互联网中获取，也可以根据实际情况自行进行配置。各个句子的词嵌入矩阵通过词嵌入处理的方式获得。词嵌入处理是一种将文本进行数字化表示的处理方式，其能够将单词映射到高维的向量中以实现对单词的表示。若将多个单词分别映射到高维向量，那么得到的就是一个由多个高维向量组成的词嵌入矩阵。
S12.通过BiLSTM模型获取所述词嵌入矩阵中每个词的隐藏状态，并对每个词的隐藏状态进行拼接，得到各个句子的隐藏状态。
具体地，假设一条评论中的一个句子由以下词嵌入矩阵组成：
Figure DEST_PATH_IMAGE011
其中，
Figure 585054DEST_PATH_IMAGE012
表示句子中第t个词的嵌入向量（t∈[1，n]）；u 1表示词嵌入的维度；R表示实数域；n是句子的长度；
Figure 912131DEST_PATH_IMAGE013
。
则通过BiLSTM模型两个方向读取文本序列并输出每个词的隐藏状态可得到：
Figure 399744DEST_PATH_IMAGE014
结合
Figure 77850DEST_PATH_IMAGE015
和
Figure 309111DEST_PATH_IMAGE016
就可以获取隐藏状态h t ，其长度为2u 2：
Figure 959535DEST_PATH_IMAGE017
通过上述方式获取各个词的隐藏状态后，就可以进一步得到句子的整个隐藏状态
Figure 414787DEST_PATH_IMAGE018
，H=（h 1，h 2，...，h n）。
需要说明的是，上述的BiLSTM模型也可以使用双向GRU模型等进行代替，并不局限于只使用BiLSTM模型。
S2.根据预设的自注意力权重矩阵和各个句子的隐藏状态进行乘法运算得到各个句子的自注意力嵌入矩阵。
具体地，在一种实施方式中，S2的实现方式为：
Figure 783452DEST_PATH_IMAGE001
上式中，W s1 和W s2 均为权重矩阵；且
Figure 349562DEST_PATH_IMAGE002
、W s2 ∈R r×d，R表示实数域，r是表示句子中方面类别个数的超参数，d和u 2是表示矩阵大小的超参数；H表示句子的隐藏状态；H T 表示H的转置矩阵；A表示预设的自注意力权重矩阵；
Figure 854493DEST_PATH_IMAGE003
表示自注意力嵌入矩阵。
S3.将所述自注意力嵌入矩阵变换为一维向量并通过一个全连接层进行处理得到各个句子的句子特征向量。
具体地，在一种实施方式中，S3的实现方式为：
Figure 683909DEST_PATH_IMAGE004
上式中，v表示句子特征向量，且
Figure 336607DEST_PATH_IMAGE005
，u 3表示超参数；W 1表示权重系数；b 1表示偏置值；m表示自注意力嵌入矩阵M变换后的一维向量，且
Figure 909671DEST_PATH_IMAGE006
。
S4. 获取初始化的方面类别嵌入向量和当前句子的上下文向量，并将初始化的方面类别嵌入向量、当前句子的上下文向量和隐藏状态进行合并后通过LSTM网络进行处理得到所述当前句子初始时刻的输出隐藏状态和方面类别嵌入向量。
具体地，当获取到用户评论中各个句子的自注意力嵌入矩阵和句子特征向量以后，就可以获取初始化的方面类别嵌入向量和待处理的当前句子的上下文向量，并将初始化的方面类别嵌入向量、当前句子的上下文向量和隐藏状态进行合并后通过LSTM网络进行处理得到当前句子初始时刻的输出隐藏状态和方面类别嵌入向量。
其中，初始化的方面类别嵌入向量可以根据需要识别的方面类别的总数构建，句子的上下文向量可以用目前的各种常用的上下文向量获取方式对句子进行处理得到，同时该步骤中的隐藏状态即为S1中获取的隐藏状态。
S5.将所述当前句子上一时刻的输出隐藏状态、方面类别嵌入向量和上下文向量合并后再次通过LSTM网络进行处理得到当前时刻的输出隐藏状态和方面类别嵌入向量；以此循环，直到识别到所述当前句子的尾部后输出各个句子的最终输出隐藏状态。
具体地，在一种实施方式中，S5的实现方式为：
Figure 65845DEST_PATH_IMAGE007
上式中，s t 表示当前句子的最终输出隐藏状态；g(y a t-1)表示上一时刻当前句子的方面类别嵌入向量；y a t-1表示上一时刻当前句子所属方面类别的概率分布。
S6.将所述当前句子的最终输出隐藏状态与对应的句子特征向量进行拼接后通过一个全连接层和softmax函数进行处理，得到所述当前句子的方面类别检测结果。
具体地，在一种实施方式中，S6的实现方式为：
Figure 564698DEST_PATH_IMAGE008
上式中，v表示句子特征向量；s t 表示当前句子的输出隐藏状态；W f 表示权重系数；b f 表示偏置值；y a t 表示当前句子的方面类别概率分布。
在一种实施方式中，为了提高预测结果的准确性，上述方法还包括：
S7.通过一个全连接层和sigmoid函数预测S3中输出的句子特征向量对应句子是否包含多个方面类别的概率，根据所述概率和对应句子的真实方面类别的布尔变量构建优化函数；对S3中全连接层的参数进行优化；其中优化函数为：
Figure 642375DEST_PATH_IMAGE009
上式中，N表示句子的总数；p c n 表示预测的句子是否包含多个方面类别的概率；y c n 表示真实方面类别的布尔变量，若当前句子包含多个方面类别则y c n 为0，若当前句子只有一个方面类别则y c n 为1。
在一种实施方式中，上述方法还包括：S8.根据构建的目标函数对S6中全连接层的参数进行优化，其中目标函数为：
Figure 81447DEST_PATH_IMAGE010
上式中，N表示句子的总数；M表示方面类别的总数；n表示第n个句子；m表示第m个方面类别；p a nm 表示第n个句子属于第m个方面类别的概率；y a nm 表示真实的方面类别标签。
通过上述方式，可以提高句子方面类别预测的准确性。
在一种实施方式中，上述方法还包括：S9.根据目标函数和优化函数的权重对S1-S6执行过程中各个全连接层的参数和预设的自注意力权重矩阵进行优化：L=λ L a +（1-λ）L c ，其中λ∈[0.0,1.0]用于控制两个损失函数的权重。
通过上述方式，可以根据两个损失函数所占的权重对预测结果进一步进行优化，使得预测结果更加准确。
请参看图2，图2为本发明实施例提供的一种基于序列到序列的评论方面类别检测系统的拓扑结构示意图。
在一种实施方式中，本发明实施例还提供了一种基于序列到序列的评论方面类别检测系统10，该评论方面类别检测系统10包括编码器100、句子分类器200、解码器300和方面类别检测器400；
编码器100用于获取若干条已知方面类别的用户评论中各个句子的隐藏状态；
句子分类器200用于根据预设的自注意力权重矩阵和各个句子的隐藏状态进行乘法运算得到各个句子的自注意力嵌入矩阵；将自注意力嵌入矩阵变换为一维向量并通过一个全连接层进行处理得到各个句子的句子特征向量；
解码器300用于获取初始化的方面类别嵌入向量和当前句子的上下文向量，并将初始化的方面类别嵌入向量、当前句子的上下文向量和隐藏状态进行合并后通过LSTM网络进行处理得到当前句子初始时刻的输出隐藏状态和方面类别嵌入向量；将当前句子上一时刻的输出隐藏状态、方面类别嵌入向量和上下文向量合并后再次通过LSTM网络进行处理得到当前时刻的输出隐藏状态和方面类别嵌入向量；以此循环，直到识别到当前句子的尾部后输出各个句子的最终输出隐藏状态；
方面类别检测器400用于将当前句子的最终输出隐藏状态与对应的句子特征向量进行拼接后通过一个全连接层和softmax函数进行处理，得到当前句子的方面类别检测结果。
综上所述，本发明实施例提供一种基于序列到序列的评论方面类别检测方法及系统，包括：S1.获取若干条已知方面类别的用户评论中各个句子的隐藏状态；S2.根据自注意力权重矩阵和各个句子的隐藏状态进行乘法运算得到各个句子的自注意力嵌入矩阵；S3.将自注意力嵌入矩阵变换为一维向量并通过一个全连接层进行处理得到各个句子的句子特征向量；S4. 获取初始化的方面类别嵌入向量和当前句子的上下文向量，并将初始化的方面类别嵌入向量、当前句子的上下文向量和隐藏状态进行合并后通过LSTM网络进行处理得到当前句子初始时刻的输出隐藏状态和方面类别嵌入向量；S5.将当前句子上一时刻的输出隐藏状态、方面类别嵌入向量和上下文向量合并后再次通过LSTM网络进行处理得到当前时刻的输出隐藏状态和方面类别嵌入向量；以此循环，直到识别到当前句子的尾部后输出各个句子的最终输出隐藏状态；S6.将当前句子的最终输出隐藏状态与对应的句子特征向量进行拼接后通过一个全连接层和softmax函数进行处理，得到当前句子的方面类别检测结果。通过上述方式，提高了句子的方面类别预测的准确性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于序列到序列的评论方面类别检测方法，其特征在于，包括：
S1.获取若干条已知方面类别的用户评论中各个句子的隐藏状态；
S2.根据自注意力权重矩阵和各个句子的隐藏状态进行乘法运算得到各个句子的自注意力嵌入矩阵；
S3.将所述自注意力嵌入矩阵变换为一维向量并通过一个全连接层进行处理得到各个句子的句子特征向量；
S4. 获取初始化的方面类别嵌入向量和当前句子的上下文向量，并将初始化的方面类别嵌入向量、当前句子的上下文向量和隐藏状态进行合并后通过LSTM网络进行处理得到所述当前句子初始时刻的输出隐藏状态和方面类别嵌入向量；
S5.将所述当前句子上一时刻的输出隐藏状态、方面类别嵌入向量和上下文向量合并后再次通过LSTM网络进行处理得到当前时刻的输出隐藏状态和方面类别嵌入向量；以此循环，直到识别到所述当前句子的尾部后输出各个句子的最终输出隐藏状态；
S6.将所述当前句子的最终输出隐藏状态与对应的句子特征向量进行拼接后通过一个全连接层和softmax函数进行处理，得到所述当前句子的方面类别检测结果。
2.根据权利要求1所述的方法，其特征在于，所述S2的实现方式为：
Figure 121835DEST_PATH_IMAGE001
上式中，W s1 和W s2 均为权重矩阵；且
Figure 30885DEST_PATH_IMAGE002
、W s2 ∈R r×d，R表示实数域，r是表示句子中方面类别个数的超参数，d和u 2是表示矩阵大小的超参数；H表示句子的隐藏状态；H T 表示H的转置矩阵；A表示预设的自注意力权重矩阵；
Figure 834893DEST_PATH_IMAGE003
表示自注意力嵌入矩阵。
3.根据权利要求2所述的方法，其特征在于，所述S3的实现方式为：
Figure 767077DEST_PATH_IMAGE004
上式中，v表示句子特征向量，且
Figure 314733DEST_PATH_IMAGE005
，u 3表示超参数；W 1表示权重系数；b 1表示偏置值；m表示自注意力嵌入矩阵M变换后的一维向量，且
Figure 78289DEST_PATH_IMAGE006
。
4.根据权利要求2所述的方法，其特征在于，所述S5的实现方式为：
Figure 551734DEST_PATH_IMAGE007
上式中，s t 表示当前句子的最终输出隐藏状态；g(y a t-1)表示上一时刻当前句子的方面类别嵌入向量；y a t-1表示上一时刻当前句子所属方面类别的概率分布。
5.根据权利要求2所述的方法，其特征在于，所述S6的实现方式为：
Figure 767952DEST_PATH_IMAGE008
上式中，v表示句子特征向量；s t 表示当前句子的输出隐藏状态；W f 表示权重系数；b f 表示偏置值；y a t 表示当前句子的方面类别概率分布。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
S7.通过一个全连接层和sigmoid函数预测S3中输出的句子特征向量对应句子是否包含多个方面类别的概率，根据所述概率和对应句子的真实方面类别的布尔变量构建优化函数；对S3中全连接层的参数进行优化；其中优化函数为：
Figure 853719DEST_PATH_IMAGE009
上式中，N表示句子的总数；p c n 表示预测的句子是否包含多个方面类别的概率；y c n 表示真实方面类别的布尔变量，若当前句子包含多个方面类别则y c n 为0，若当前句子只有一个方面类别则y c n 为1。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
S8.根据构建的目标函数对S6中全连接层的参数进行优化，其中所述目标函数为：
Figure 675045DEST_PATH_IMAGE010
上式中，N表示句子的总数；M表示方面类别的总数；n表示第n个句子；m表示第m个方面类别；p a nm 表示第n个句子属于第m个方面类别的概率；y a nm 表示真实的方面类别标签。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
S9.根据所述目标函数和所述优化函数的权重对S1-S6执行过程中各个全连接层的参数和预设的自注意力权重矩阵进行优化：L=λ L a +（1-λ）L c ，其中λ∈[0.0,1.0]用于控制两个损失函数的权重。
9.一种基于序列到序列的评论方面类别检测系统，其特征在于，包括编码器、句子分类器、解码器和方面类别检测器；
所述编码器用于获取若干条已知方面类别的用户评论中各个句子的隐藏状态；
所述句子分类器用于根据预设的自注意力权重矩阵和各个句子的隐藏状态进行乘法运算得到各个句子的自注意力嵌入矩阵；将所述自注意力嵌入矩阵变换为一维向量并通过一个全连接层进行处理得到各个句子的句子特征向量；
所述解码器用于获取初始化的方面类别嵌入向量和当前句子的上下文向量，并将初始化的方面类别嵌入向量、当前句子的上下文向量和隐藏状态进行合并后通过LSTM网络进行处理得到所述当前句子初始时刻的输出隐藏状态和方面类别嵌入向量；将所述当前句子上一时刻的输出隐藏状态、方面类别嵌入向量和上下文向量合并后再次通过LSTM网络进行处理得到当前时刻的输出隐藏状态和方面类别嵌入向量；以此循环，直到识别到所述当前句子的尾部后输出各个句子的最终输出隐藏状态；
所述方面类别检测器用于将所述当前句子的最终输出隐藏状态与对应的句子特征向量进行拼接后通过一个全连接层和softmax函数进行处理，得到所述当前句子的方面类别检测结果。
CN202111344305.0A 2021-11-15 2021-11-15 一种基于序列到序列的评论方面类别检测方法及系统 Active CN113792148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111344305.0A CN113792148B (zh) 2021-11-15 2021-11-15 一种基于序列到序列的评论方面类别检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111344305.0A CN113792148B (zh) 2021-11-15 2021-11-15 一种基于序列到序列的评论方面类别检测方法及系统

Publications (2)

Publication Number Publication Date
CN113792148A true CN113792148A (zh) 2021-12-14
CN113792148B CN113792148B (zh) 2022-02-11

Family

ID=78955152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111344305.0A Active CN113792148B (zh) 2021-11-15 2021-11-15 一种基于序列到序列的评论方面类别检测方法及系统

Country Status (1)

Country Link
CN (1) CN113792148B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115329775A (zh) * 2022-10-14 2022-11-11 成都晓多科技有限公司 一种语句中方面类别及情感极性联合识别的方法及系统
CN116644759A (zh) * 2023-07-19 2023-08-25 成都晓多科技有限公司 语句中方面类别及其语义极性的提取方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170351954A1 (en) * 2016-06-03 2017-12-07 Fmr Llc Data Classification with Social Profile Data
CN107491531A (zh) * 2017-08-18 2017-12-19 华南师范大学 基于集成学习框架的中文网络评论情感分类方法
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法
CN108536754A (zh) * 2018-03-14 2018-09-14 四川大学 基于blstm和注意力机制的电子病历实体关系抽取方法
US20180293499A1 (en) * 2017-04-11 2018-10-11 Sap Se Unsupervised neural attention model for aspect extraction
CN109918671A (zh) * 2019-03-12 2019-06-21 西南交通大学 基于卷积循环神经网络的电子病历实体关系抽取方法
CN111368086A (zh) * 2020-03-17 2020-07-03 昆明理工大学 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法
CN112417098A (zh) * 2020-11-20 2021-02-26 南京邮电大学 基于CNN-BiMGU模型的短文本情感分类方法
CN113254592A (zh) * 2021-06-17 2021-08-13 成都晓多科技有限公司 基于门机制的多级注意力模型的评论方面检测方法及系统
CN113361617A (zh) * 2021-06-15 2021-09-07 西南交通大学 基于多元注意力修正的方面级情感分析建模方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170351954A1 (en) * 2016-06-03 2017-12-07 Fmr Llc Data Classification with Social Profile Data
US20180293499A1 (en) * 2017-04-11 2018-10-11 Sap Se Unsupervised neural attention model for aspect extraction
CN107491531A (zh) * 2017-08-18 2017-12-19 华南师范大学 基于集成学习框架的中文网络评论情感分类方法
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法
CN108536754A (zh) * 2018-03-14 2018-09-14 四川大学 基于blstm和注意力机制的电子病历实体关系抽取方法
CN109918671A (zh) * 2019-03-12 2019-06-21 西南交通大学 基于卷积循环神经网络的电子病历实体关系抽取方法
CN111368086A (zh) * 2020-03-17 2020-07-03 昆明理工大学 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法
CN112417098A (zh) * 2020-11-20 2021-02-26 南京邮电大学 基于CNN-BiMGU模型的短文本情感分类方法
CN113361617A (zh) * 2021-06-15 2021-09-07 西南交通大学 基于多元注意力修正的方面级情感分析建模方法
CN113254592A (zh) * 2021-06-17 2021-08-13 成都晓多科技有限公司 基于门机制的多级注意力模型的评论方面检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LAN YAO ET AL.: "Mining Aspects in Online Comments with Attention and Bi-LSTM", 《2019 5TH INTERNATIONAL CONFERENCE ON BIG DATA COMPUTING AND COMMUNICATIONS》 *
王铃 等: "基于LSTM前融合中文情感倾向分类模型的研究", 《成都信息工程大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115329775A (zh) * 2022-10-14 2022-11-11 成都晓多科技有限公司 一种语句中方面类别及情感极性联合识别的方法及系统
CN115329775B (zh) * 2022-10-14 2023-03-24 成都晓多科技有限公司 一种语句中方面类别及情感极性联合识别的方法及系统
CN116644759A (zh) * 2023-07-19 2023-08-25 成都晓多科技有限公司 语句中方面类别及其语义极性的提取方法和系统
CN116644759B (zh) * 2023-07-19 2023-10-03 成都晓多科技有限公司 语句中方面类别及其语义极性的提取方法和系统

Also Published As

Publication number Publication date
CN113792148B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN110263160B (zh) 一种计算机问答系统中的问句分类方法
US11216620B1 (en) Methods and apparatuses for training service model and determining text classification category
CN111339415B (zh) 一种基于多交互式注意力网络的点击率预测方法与装置
Muangkammuen et al. Automated thai-faq chatbot using rnn-lstm
CN111291183B (zh) 利用文本分类模型进行分类预测的方法及装置
CN113792148B (zh) 一种基于序列到序列的评论方面类别检测方法及系统
CN110619044B (zh) 一种情感分析方法、系统、存储介质及设备
CN110647696B (zh) 一种业务对象的排序方法及装置
US11663280B2 (en) Search engine using joint learning for multi-label classification
US11599927B1 (en) Artificial intelligence system using deep neural networks for pairwise character-level text analysis and recommendations
CN110110372B (zh) 一种用户时序行为自动切分预测方法
CN113254592B (zh) 基于门机制的多级注意力模型的评论方面检测方法及系统
CN112667816B (zh) 一种基于深度学习的方面级情感分析方法及系统
US11151322B2 (en) Computer-implemented method, system and computer program product for providing an application interface
CN110569355B (zh) 一种基于词块的观点目标抽取和目标情感分类联合方法及系统
CN116150367A (zh) 一种基于方面的情感分析方法及系统
CN111738807A (zh) 用于推荐目标对象的方法、计算设备和计算机存储介质
CN113076758A (zh) 一种面向任务型对话的多域请求式意图识别方法
CN112069404A (zh) 一种商品信息的展示方法、装置、设备和存储介质
CN109902174A (zh) 一种基于方面依赖的记忆网络的情感极性检测方法
CN115293818A (zh) 广告投放选品方法及其装置、设备、介质
CN112508615A (zh) 特征提取方法、特征提取装置、存储介质与电子设备
Vargas-Calderón et al. A model for predicting price polarity of real estate properties using information of real estate market websites
CN111178987A (zh) 训练用户行为预测模型的方法和装置
CN112966766B (zh) 物品分类方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant