CN111783474A - 一种评论文本观点信息处理方法、装置及存储介质 - Google Patents

一种评论文本观点信息处理方法、装置及存储介质 Download PDF

Info

Publication number
CN111783474A
CN111783474A CN202010684529.5A CN202010684529A CN111783474A CN 111783474 A CN111783474 A CN 111783474A CN 202010684529 A CN202010684529 A CN 202010684529A CN 111783474 A CN111783474 A CN 111783474A
Authority
CN
China
Prior art keywords
comment text
word
attention
matrix
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010684529.5A
Other languages
English (en)
Other versions
CN111783474B (zh
Inventor
蒋卓
赵伟
李文瑞
赵建强
张辉极
韩冰
欧荣安
贾东剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN202010684529.5A priority Critical patent/CN111783474B/zh
Publication of CN111783474A publication Critical patent/CN111783474A/zh
Application granted granted Critical
Publication of CN111783474B publication Critical patent/CN111783474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出了一种评论文本观点信息处理方法、装置及存储介质，该方法包括：对评论文本进行预处理得到该评论文本的低层语义表示；使用自注意力机制对所述低层语义表示进行量化词级特征间的语义关系并对上下文的局部语义特征进行编码得到编码结果；构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，通过训练好的图注意力网络GAT获得评论文本的观点信息。本发明使用句法依存树将文本抽象的句法结构显式地表现出来，使用GAT更好的捕捉词级特征中的依存关系；考虑到注意力机制很难处理评论文本中重叠的观点极性特征，引入注意力正则作为损失项来分离重叠特征，有效地提高了观点分类的效果。

Description

一种评论文本观点信息处理方法、装置及存储介质
技术领域
本发明涉及自然语言处理及人工智能技术领域，具体涉及一种评论文本观点信息处理方法、装置及存储介质。
背景技术
社交网络(如博客、论坛或社会服务网络等)的发展产生了大量的用户参与的有价值的评论信息，这些评论信息反映了用户的各种情感色彩和倾向性，如喜、怒、哀、乐和批评、赞扬等。而随着评论信息的泛滥，一般的用户很难定位并识别自己感兴趣的内容并提取其中的观点。文本观点分析(又称情感分析、倾向性分析)，作为自然语言处理中最活跃的研究领域之一，其目的就是通过总结和挖掘大众舆论对诸如产品、服务或组织等实体的观点、情感和态度，从而为组织者或潜在用户提供准确的决策。
当前技术中，主流的观点分析方法都是基于循环神经网络和注意力机制来识别观点上下文并提取语义特征的，虽然取得了不错的效果，但对于评论文本，模型的能力有限，导致分析出的观点准确度低，影响了用户体验。首先，评论文本中往往包含用户对同一评论实体不同特征/方面辩证的观点，这些观点的极性通常是相反的，因此需要对文本中所有的观点极性进行判断，仅使用注意力机制很难捕捉给定方面的观点上下文并量化其影响；其次，循环神经网络顺序地建模文本的上下文语义特征，这种处理方式忽略了文本的句法结构，因此很难对特定的方面及其上下文的依存关系进行建模，即当前普通神经网络模型特征提取能力有限，影响了观点分析的准确性。
发明内容
本发明针对上述现有技术中一个或多个技术缺陷，提出了如下技术方案。
一种评论文本观点信息处理方法，该方法包括：
预处理步骤，对评论文本进行预处理得到该评论文本的低层语义表示；
编码步骤，使用自注意力机制对所述低层语义表示进行量化词级特征间的语义关系并对上下文的局部语义特征进行编码得到编码结果；
识别步骤，构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，通过训练好的图注意力网络GAT提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态，将该隐藏状态作为评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。
更进一步地，所述对评论文本进行预处理得到该评论文本的低层语义表示的操作为：
对所述评论文本进行分词处理后得到一词列表，通过词向量模型将所述词列表中的词语都转换文本向量E：
E＝[w0,w1,…,wi,…,wn]；
其中，
Figure BDA0002587061870000021
dw为词向量维度，N为文本长度；wi表示该文本的第i个词语的词向量，n为词语的总个数；
计算词列表中的方面词的位置向量P，P＝(P2t(p)，P2t-1(p))，其中，
Figure BDA0002587061870000031
Figure BDA0002587061870000032
其中，P2t(p)和P2t-1(p)分别表示相对位置为p时，其位置向量的奇、偶数位置的值；dp为位置向量的维度，p的计算方式为：方面词与自身的相对位置为0，与相邻词的相对位置为1，以此类推；
将词向量E与位置向量P输入至双向门控循环单元Bi-GRU分别获取所述评论文本前、后向的隐藏状态，并拼接前、后向隐藏状态作为评论文本的低层语义表示，其中，
Figure BDA0002587061870000033
Figure BDA0002587061870000034
其中，
Figure BDA0002587061870000035
为前、后向的隐藏状态；
Figure BDA0002587061870000036
为评论文本的低层语义表示；dh为Bi-GRU细胞元的隐藏节点数；||表示拼接操作。
更进一步地，所述编码步骤的操作为：
将所述低层语义表示H转换为查询矩阵、键矩阵和值矩阵，根据查询矩阵和键矩阵相似度计算得到权重，使用自注意力机制将归一化的权重与相应值向量的加权和作为上下文的最终编码结果T：
Figure BDA0002587061870000037
其中，为
Figure BDA0002587061870000038
分别为评论文本的上下文的查询矩阵、键矩阵、值矩阵，dk为线性变换的转换维度；
其中，使用正交正则化来约束自注意过程中不同方面对上下文注意力系数的分配；
Figure BDA0002587061870000041
其中，Y∈RZ×N为方面词的注意力矩阵，Z为文本中包含的方面词个数，Y中每一行向量即为给定方面词对文本所有词分配的注意力系数；I为单位矩阵；
Figure BDA0002587061870000042
为矩阵的二范数。
更进一步地，所述识别步骤的操作为：构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，将所述给定方面词映射到所述句法依存树的给定方面节点，使用所述GAT网络提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态；
Figure BDA0002587061870000043
Figure BDA0002587061870000044
其中，
Figure BDA0002587061870000045
为GAT网络第l层的线性转换矩阵；
Figure BDA0002587061870000046
为节点i对其邻域节点s在第m个注意力头中的注意力系数；
Figure BDA0002587061870000047
为连接层之间的权重矩阵；N[i]为i节点的邻域；M为注意力头的个数；
则：
H(l|+1)＝GAT(H(l),A；Θ(l))
Figure BDA0002587061870000051
其中，A为给定方面节点的子树的邻接矩阵，ais为邻接矩阵中的元素；Θ(l)为第l层的网络参数；
使用给定方面节点的隐藏状态作为所述评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。
5.根据权利要求4所述的方法，其特征在于，基于多个方面的分类结果、L2正则和注意力正则计算损失来指导所述GAT网络的训练，j为给定方面节点，r为GAT网络的层数，则有：
Figure BDA0002587061870000052
Figure BDA0002587061870000053
其中，
Figure BDA0002587061870000054
为线性转换矩阵，C为观点类别个数；S[C]为观点类别集合；b为偏置项；||Θ||2为GAT网络中所有的权重参数的L2正则；λ1，λ2均为超参数。
本发明还提出了一种评论文本观点信息处理装置，该装置包括：
预处理单元，对评论文本进行预处理得到该评论文本的低层语义表示；
编码单元，使用自注意力机制对所述低层语义表示进行量化词级特征间的语义关系并对上下文的局部语义特征进行编码得到编码结果；
识别单元，构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，通过训练好的图注意力网络GAT提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态，将该隐藏状态作为评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。
更进一步地，所述对评论文本进行预处理得到该评论文本的低层语义表示的操作为：
对所述评论文本进行分词处理后得到一词列表，通过词向量模型将所述词列表中的词语都转换文本向量E：
E＝[w0,w1,…,wi,…,wn]；
其中，
Figure BDA0002587061870000061
dw为词向量维度，N为文本长度；wi表示该文本的第i个词语的词向量，n为词语的总个数；
计算词列表中的方面词的位置向量P，P＝(P2t(p)，P2t-1(p))，其中，
Figure BDA0002587061870000062
Figure BDA0002587061870000063
其中，P2t(p)和P2t-1(p)分别表示相对位置为p时，其位置向量的奇、偶数位置的值；dp为位置向量的维度，p的计算方式为：方面词与自身的相对位置为0，与相邻词的相对位置为1，以此类推；
将词向量E与位置向量P输入至双向门控循环单元Bi-GRU分别获取所述评论文本前、后向的隐藏状态，并拼接前、后向隐藏状态作为评论文本的低层语义表示，其中，
Figure BDA0002587061870000071
Figure BDA0002587061870000072
其中，
Figure BDA0002587061870000073
为前、后向的隐藏状态；
Figure BDA0002587061870000074
为评论文本的低层语义表示；dh为Bi-GRU细胞元的隐藏节点数；||表示拼接操作。
更进一步地，所述编码单元执行的操作为：
将所述低层语义表示H转换为查询矩阵、键矩阵和值矩阵，根据查询矩阵和键矩阵相似度计算得到权重，使用自注意力机制将归一化的权重与相应值向量的加权和作为上下文的最终编码结果T：
Figure BDA0002587061870000075
其中，为
Figure BDA0002587061870000076
分别为评论文本的上下文的查询矩阵、键矩阵、值矩阵，dk为线性变换的转换维度；
其中，使用正交正则化来约束自注意过程中不同方面对上下文注意力系数的分配；
Figure BDA0002587061870000077
其中，Y∈RZ×N为方面词的注意力矩阵，Z为文本中包含的方面词个数，Y中每一行向量即为给定方面词对文本所有词分配的注意力系数；I为单位矩阵；
Figure BDA0002587061870000078
为矩阵的二范数。
更进一步地，所述识别单元执行的操作为：构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，将所述给定方面词映射到所述句法依存树的给定方面节点，使用所述GAT网络提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态；
Figure BDA0002587061870000081
Figure BDA0002587061870000082
其中，
Figure BDA0002587061870000083
为GAT网络第l层的线性转换矩阵；
Figure BDA0002587061870000084
为节点i对其邻域节点s在第m个注意力头中的注意力系数；
Figure BDA0002587061870000085
为连接层之间的权重矩阵；N[i]为i节点的邻域；M为注意力头的个数；
则：
H(l|+1)＝GAT(H(l),A；Θ(l))
Figure BDA0002587061870000086
其中，A为给定方面节点的子树的邻接矩阵，ais为邻接矩阵中的元素；Θ(l)为第l层的网络参数；
使用给定方面节点的隐藏状态作为所述评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。
更进一步地，基于多个方面的分类结果、L2正则和注意力正则计算损失来指导所述GAT网络的训练，j为给定方面节点，r为GAT网络的层数，则有：
Figure BDA0002587061870000091
Figure BDA0002587061870000092
其中，
Figure BDA0002587061870000093
为线性转换矩阵，C为观点类别个数；S[C]为观点类别集合；b为偏置项；||Θ||2为GAT网络中所有的权重参数的L2正则；λ1，λ2均为超参数。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
本发明的技术效果在于：本发明的一种评论文本观点信息处理方法，方法包括：预处理步骤，对评论文本进行预处理得到该评论文本的低层语义表示；编码步骤，使用自注意力机制对所述低层语义表示进行量化词级特征间的语义关系并对上下文的局部语义特征进行编码得到编码结果；识别步骤，构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，通过训练好的图注意力网络GAT提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态，将该隐藏状态作为评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。本发明中，不仅生成了将词向量E，还生成了方面词的位置向量P，使用二者分别获取所述评论文本前、后向的隐藏状态并进行拼接，即在语义分析时不仅考虑词本身的含义，还考虑上下文的关联含义，并根据距离确定上下文的关联关系，使得观点分析的结论更为客观，提高了观点分析的准确度，本发明中使用GAT网络以更好的捕捉词级特征中的依存关系，同时，考虑到文本中影响不同方面观点极性的上下文应该弱相关，因此引入使用正交正则化来约束自注意过程中不同方面对上下文注意力系数的分配，从而，提高了观点分析准确性，本发明使用句法依存树将文本抽象的句法结构显式地表现出来，直观上加强了词与词之间的关联，并使用GAT更好的捕捉词级特征中的依存关系；同时，考虑到注意力机制很难处理评论文本中重叠的观点极性特征，引入注意力正则作为损失项来分离重叠特征，并通过更丰富的网络结构和多层注意力机制迭代地更新注意力系数，改善模型对于给定方面的观点上下文的识别和特征的提取，有效地提高了观点分类的效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1是根据本发明的实施例的一种评论文本观点信息处理方法的流程图。
图2是根据本发明的实施例的一种评论文本观点信息处理装置的结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的一种评论文本观点信息处理方法，该方法包括：
预处理步骤S101，对评论文本进行预处理得到该评论文本的低层语义表示。
在一个实施例中，所述对评论文本进行预处理得到该评论文本的低层语义表示的操作为：
对所述评论文本进行分词处理后得到一词列表，在分词之前，根据需要可以对评论文本进行去停用词、去噪声等处理，然后通过词向量模型将所述词列表中的词语都转换文本向量E：
E＝[w0,w1,…,wi,…,wn]；
其中，
Figure BDA0002587061870000111
dw为词向量维度，N为文本长度；wi表示该文本的第i个词语的词向量，n为词语的总个数；所述词向量模型可以是预设参数的词向量模型或者训练好的词向量模型，一般采用使用样本评论文本训练好的词向量模型，这样生成的文本向量更为准确，为了解决现有的评论文本的模型的能力有限，导致分析出的观点准确度低的技术问题，本发明需要进一步计算词列表中的方面词的位置向量P，P＝(P2t(p)，P2t-1(p))，其中，
Figure BDA0002587061870000112
Figure BDA0002587061870000113
其中，P2t(p)和P2t-1(p)分别表示相对位置为p时，其位置向量的奇、偶数位置的值；dp为位置向量的维度，p的计算方式为：方面词与自身的相对位置为0，与相邻词的相对位置为1，以此类推，t＝1、2、3……；
将词向量E与位置向量P输入至双向门控循环单元Bi-GRU分别获取所述评论文本前、后向的隐藏状态，并拼接前、后向隐藏状态作为评论文本的低层语义表示，其中，
Figure BDA0002587061870000121
Figure BDA0002587061870000122
其中，
Figure BDA0002587061870000123
为前、后向的隐藏状态；
Figure BDA0002587061870000124
为评论文本的低层语义表示；dh为Bi-GRU细胞元的隐藏节点数；||表示拼接操作。
本发明中，不仅生成了将词向量E，还生成了方面词的位置向量P，使用二者分别获取所述评论文本前、后向的隐藏状态并进行拼接，即在语义分析时不仅考虑词本身的含义，还考虑上下文的关联含义，并根据距离确定上下文的关联关系，使得观点分析的结论更为客观，提高了观点分析的准确度，这是本发明的一个重要发明点。
编码步骤S102，使用自注意力机制对所述低层语义表示进行量化词级特征间的语义关系并对上下文的局部语义特征进行编码得到编码结果。
在一个实施例中，获取文本的低层语义表示后，使用自注意力机制来量化词级特征间的语义关系，并对上下文的局部语义特征进行编码。所述编码步骤的操作为：
将所述低层语义表示H转换为查询矩阵、键矩阵和值矩阵，根据查询矩阵和键矩阵相似度计算得到权重，使用自注意力机制将归一化的权重与相应值向量的加权和作为上下文的最终编码结果T：
Figure BDA0002587061870000131
其中，为
Figure BDA0002587061870000132
分别为评论文本的上下文的查询矩阵、键矩阵、值矩阵，dk为线性变换的转换维度；
由于文本中影响不同方面观点极性的上下文应该弱相关，则在GAT网络学习的过程中，不同方面应该关注不同局部的上下文，因此引入使用正交正则化来约束自注意过程中不同方面对上下文注意力系数的分配；
Figure BDA0002587061870000133
其中，Y∈RZ×N为方面词的注意力矩阵，Z为文本中包含的方面词个数，Y中每一行向量即为给定方面词对文本所有词分配的注意力系数；I为单位矩阵；
Figure BDA0002587061870000134
为矩阵的二范数。
上述实施例中使用GAT网络以更好的捕捉词级特征中的依存关系，同时，考虑到文本中影响不同方面观点极性的上下文应该弱相关，因此引入使用正交正则化来约束自注意过程中不同方面对上下文注意力系数的分配，从而，提高了观点分析准确性，这是本发明的另一个重要发明点。
识别步骤S103，构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，通过训练好的图注意力网络GAT提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态，将该隐藏状态作为评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。
在一个实施例，构建文本的句法依存树，树上的节点和边分别是文本中词及其依存关系的映射，树上任意节点都可以使用映射词的局部语义编码初始化，即
Figure BDA0002587061870000141
所述识别步骤的具体操作为：构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，将所述给定方面词映射到所述句法依存树的给定方面节点，使用所述GAT网络提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态；
Figure BDA0002587061870000142
Figure BDA0002587061870000143
其中，
Figure BDA0002587061870000144
为GAT网络第l层的线性转换矩阵；
Figure BDA0002587061870000145
为节点i对其邻域节点s在第m个注意力头中的注意力系数；
Figure BDA0002587061870000146
为连接层之间的权重矩阵；N[i]为i节点的邻域；M为注意力头的个数；
则有：
H(l|+1)＝GAT(H(l),A；Θ(l))
Figure BDA0002587061870000147
其中，A为给定方面节点的子树的邻接矩阵，ais为邻接矩阵中的元素；Θ(l)为第l层的网络参数；
使用给定方面节点的隐藏状态作为所述评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。
本发明中，GAT网络在使用前需要对其进行训练，本发明中，基于多个方面的分类结果
Figure BDA0002587061870000151
L2正则和注意力正则计算损失loss来指导所述GAT网络的训练，j为给定方面节点，r为GAT网络的层数，则有：
Figure BDA0002587061870000152
Figure BDA0002587061870000153
其中，
Figure BDA0002587061870000154
为线性转换矩阵，C为观点类别个数；S[C]为观点类别集合；b为偏置项；||Θ||2为GAT网络中所有的权重参数的L2正则；λ1，λ2均为超参数。
GAT模型的训练需要预设网络参数，包括词向量维度、位置向量维度、线性或非线性变换涉及的转换维度以及调节模型训练的各类超参数，训练过程使用但不限于SGD、Adam等算法进行优化，并使用相关方法防止过拟合。训练好的模型可以对评论文本中包含的特定方面的观点进行分析和判断，并得到观点的概率分布。
本发明使用句法依存树将文本抽象的句法结构显式地表现出来，直观上加强了词与词之间的关联，并使用GAT更好的捕捉词级特征中的依存关系；同时，考虑到注意力机制很难处理评论文本中重叠的观点极性特征，引入注意力正则作为损失项来分离重叠特征，并通过更丰富的网络结构和多层注意力机制迭代地更新注意力系数，改善模型对于给定方面的观点上下文的识别和特征的提取，有效地提高了观点分类的效果，这是本发明的重要发明点。
图2示出了本发明的一种评论文本观点信息处理装置，该装置包括：
预处理单元201，对评论文本进行预处理得到该评论文本的低层语义表示。
在一个实施例中，所述对评论文本进行预处理得到该评论文本的低层语义表示的操作为：
对所述评论文本进行分词处理后得到一词列表，在分词之前，根据需要可以对评论文本进行去停用词、去噪声等处理，然后通过词向量模型将所述词列表中的词语都转换文本向量E：
E＝[w0,w1,…,wi,…,wn]；
其中，
Figure BDA0002587061870000161
dw为词向量维度，N为文本长度；wi表示该文本的第i个词语的词向量，n为词语的总个数；所述词向量模型可以是预设参数的词向量模型或者训练好的词向量模型，一般采用使用样本评论文本训练好的词向量模型，这样生成的文本向量更为准确，为了解决现有的评论文本的模型的能力有限，导致分析出的观点准确度低的技术问题，本发明需要进一步计算词列表中的方面词的位置向量P，P＝(P2t(p)，P2t-1(p))，其中，
Figure BDA0002587061870000162
Figure BDA0002587061870000163
其中，P2t(p)和P2t-1(p)分别表示相对位置为p时，其位置向量的奇、偶数位置的值；dp为位置向量的维度，p的计算方式为：方面词与自身的相对位置为0，与相邻词的相对位置为1，以此类推，t＝1、2、3……；
将词向量E与位置向量P输入至双向门控循环单元Bi-GRU分别获取所述评论文本前、后向的隐藏状态，并拼接前、后向隐藏状态作为评论文本的低层语义表示，其中，
Figure BDA0002587061870000171
Figure BDA0002587061870000172
其中，
Figure BDA0002587061870000173
为前、后向的隐藏状态；
Figure BDA0002587061870000174
为评论文本的低层语义表示；dh为Bi-GRU细胞元的隐藏节点数；||表示拼接操作。
本发明中，不仅生成了将词向量E，还生成了方面词的位置向量P，使用二者分别获取所述评论文本前、后向的隐藏状态并进行拼接，即在语义分析时不仅考虑词本身的含义，还考虑上下文的关联含义，并根据距离确定上下文的关联关系，使得观点分析的结论更为客观，提高了观点分析的准确度，这是本发明的一个重要发明点。
编码单元202，使用自注意力机制对所述低层语义表示进行量化词级特征间的语义关系并对上下文的局部语义特征进行编码得到编码结果。
在一个实施例中，获取文本的低层语义表示后，使用自注意力机制来量化词级特征间的语义关系，并对上下文的局部语义特征进行编码。所述编码单元的操作为：
将所述低层语义表示H转换为查询矩阵、键矩阵和值矩阵，根据查询矩阵和键矩阵相似度计算得到权重，使用自注意力机制将归一化的权重与相应值向量的加权和作为上下文的最终编码结果T：
Figure BDA0002587061870000181
其中，为
Figure BDA0002587061870000182
分别为评论文本的上下文的查询矩阵、键矩阵、值矩阵，dk为线性变换的转换维度；
由于文本中影响不同方面观点极性的上下文应该弱相关，则在GAT网络学习的过程中，不同方面应该关注不同局部的上下文，因此引入使用正交正则化来约束自注意过程中不同方面对上下文注意力系数的分配；
Figure BDA0002587061870000183
其中，Y∈RZ×N为方面词的注意力矩阵，Z为文本中包含的方面词个数，Y中每一行向量即为给定方面词对文本所有词分配的注意力系数；I为单位矩阵；
Figure BDA0002587061870000184
为矩阵的二范数。
上述实施例中使用GAT网络以更好的捕捉词级特征中的依存关系，同时，考虑到文本中影响不同方面观点极性的上下文应该弱相关，因此引入使用正交正则化来约束自注意过程中不同方面对上下文注意力系数的分配，从而，提高了观点分析准确性，这是本发明的另一个重要发明点。
识别单元203，构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，通过训练好的图注意力网络GAT提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态，将该隐藏状态作为评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。
在一个实施例，构建文本的句法依存树，树上的节点和边分别是文本中词及其依存关系的映射，树上任意节点都可以使用映射词的局部语义编码初始化，即
Figure BDA0002587061870000191
所述识别单元的具体操作为：构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，将所述给定方面词映射到所述句法依存树的给定方面节点，使用所述GAT网络提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态；
Figure BDA0002587061870000192
Figure BDA0002587061870000193
其中，
Figure BDA0002587061870000194
为GAT网络第l层的线性转换矩阵；
Figure BDA0002587061870000195
为节点i对其邻域节点s在第m个注意力头中的注意力系数；
Figure BDA0002587061870000196
为连接层之间的权重矩阵；N[i]为i节点的邻域；M为注意力头的个数；
则有：
H(l|+1)＝GAT(H(l),A；Θ(l))
Figure BDA0002587061870000197
其中，A为给定方面节点的子树的邻接矩阵，ais为邻接矩阵中的元素；Θ(l)为第l层的网络参数；
使用给定方面节点的隐藏状态作为所述评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。
本发明中，GAT网络在使用前需要对其进行训练，本发明中，基于多个方面的分类结果
Figure BDA0002587061870000201
L2正则和注意力正则计算损失loss来指导所述GAT网络的训练，j为给定方面节点，r为GAT网络的层数，则有：
Figure BDA0002587061870000202
Figure BDA0002587061870000203
其中，
Figure BDA0002587061870000204
为线性转换矩阵，C为观点类别个数；S[C]为观点类别集合；b为偏置项；||Θ||2为GAT网络中所有的权重参数的L2正则；λ1，λ2均为超参数。
GAT模型的训练需要预设网络参数，包括词向量维度、位置向量维度、线性或非线性变换涉及的转换维度以及调节模型训练的各类超参数，训练过程使用但不限于SGD、Adam等算法进行优化，并使用相关装置防止过拟合。训练好的模型可以对评论文本中包含的特定方面的观点进行分析和判断，并得到观点的概率分布。
本发明使用句法依存树将文本抽象的句法结构显式地表现出来，直观上加强了词与词之间的关联，并使用GAT更好的捕捉词级特征中的依存关系；同时，考虑到注意力机制很难处理评论文本中重叠的观点极性特征，引入注意力正则作为损失项来分离重叠特征，并通过更丰富的网络结构和多层注意力机制迭代地更新注意力系数，改善模型对于给定方面的观点上下文的识别和特征的提取，有效地提高了观点分类的效果，这是本发明的重要发明点。
本发明的为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的装置。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (11)

1.一种评论文本观点信息处理方法，其特征在于，该方法包括：
预处理步骤，对评论文本进行预处理得到该评论文本的低层语义表示；
编码步骤，使用自注意力机制对所述低层语义表示进行量化词级特征间的语义关系并对上下文的局部语义特征进行编码得到编码结果；
识别步骤，构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，通过训练好的图注意力网络GAT提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态，将该隐藏状态作为评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。
2.根据权利要求1所述的方法，其特征在于，所述对评论文本进行预处理得到该评论文本的低层语义表示的操作为：
对所述评论文本进行分词处理后得到一词列表，通过词向量模型将所述词列表中的词语都转换文本向量E：
E＝[w0，w1，…，wi，…，wn]；
其中，
Figure FDA0002587061860000011
dw为词向量维度，N为文本长度；wi表示该文本的第i个词语的词向量，n为词语的总个数；
计算词列表中的方面词的位置向量P，P＝(P2t(p)，P2t-1(p))，其中，
Figure FDA0002587061860000012
Figure FDA0002587061860000013
其中，P2t(p)和P2t-1(p)分别表示相对位置为p时，其位置向量的奇、偶数位置的值；dp为位置向量的维度，p的计算方式为：方面词与自身的相对位置为0，与相邻词的相对位置为1，以此类推；
将词向量E与位置向量P输入至双向门控循环单元Bi-GRU分别获取所述评论文本前、后向的隐藏状态，并拼接前、后向隐藏状态作为评论文本的低层语义表示，其中，
Figure FDA0002587061860000021
Figure FDA0002587061860000022
其中，
Figure FDA0002587061860000023
为前、后向的隐藏状态；
Figure FDA0002587061860000024
为评论文本的低层语义表示；dh为Bi-GRU细胞元的隐藏节点数；||表示拼接操作。
3.根据权利要求2所述的方法，其特征在于，所述编码步骤的操作为：
将所述低层语义表示H转换为查询矩阵、键矩阵和值矩阵，根据查询矩阵和键矩阵相似度计算得到权重，使用自注意力机制将归一化的权重与相应值向量的加权和作为上下文的最终编码结果T：
Figure FDA0002587061860000025
其中，为Q，K，
Figure FDA0002587061860000026
分别为评论文本的上下文的查询矩阵、键矩阵、值矩阵，dk为线性变换的转换维度；
其中，使用正交正则化来约束自注意过程中不同方面对上下文注意力系数的分配；
Figure FDA0002587061860000031
其中，Y∈RZ×N为方面词的注意力矩阵，Z为文本中包含的方面词个数，Y中每一行向量即为给定方面词对文本所有词分配的注意力系数；I为单位矩阵；
Figure FDA0002587061860000032
为矩阵的二范数。
4.根据权利要求3所述的方法，其特征在于，所述识别步骤的操作为：构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，将所述给定方面词映射到所述句法依存树的给定方面节点，使用所述GAT网络提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态；
Figure FDA0002587061860000033
Figure FDA0002587061860000034
其中，
Figure FDA0002587061860000035
为GAT网络第1层的线性转换矩阵；
Figure FDA0002587061860000036
为节点i对其邻域节点s在第m个注意力头中的注意力系数；
Figure FDA0002587061860000037
为连接层之间的权重矩阵；N[i]为i节点的邻域；M为注意力头的个数；
则：
H(l+1)＝GAT(H(l)，A；Θ(l))
Figure FDA0002587061860000038
其中，A为给定方面节点的子树的邻接矩阵，ais为邻接矩阵中的元素；Θ(l)为第1层的网络参数；
使用给定方面节点的隐藏状态作为所述评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。
5.根据权利要求4所述的方法，其特征在于，基于多个方面的分类结果、L2正则和注意力正则计算损失来指导所述GAT网络的训练，j为给定方面节点，r为GAT网络的层数，则有：
Figure FDA0002587061860000041
Figure FDA0002587061860000042
其中，
Figure FDA0002587061860000043
为线性转换矩阵，C为观点类别个数；S[C]为观点类别集合；b为偏置项；||Θ||2为GAT网络中所有的权重参数的L2正则；λ1，λ2均为超参数。
6.一种评论文本观点信息处理装置，其特征在于，该装置包括：
预处理单元，对评论文本进行预处理得到该评论文本的低层语义表示；
编码单元，使用自注意力机制对所述低层语义表示进行量化词级特征间的语义关系并对上下文的局部语义特征进行编码得到编码结果；
识别单元，构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，通过训练好的图注意力网络GAT提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态，将该隐藏状态作为评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。
7.根据权利要求6所述的装置，其特征在于，所述对评论文本进行预处理得到该评论文本的低层语义表示的操作为：
对所述评论文本进行分词处理后得到一词列表，通过词向量模型将所述词列表中的词语都转换文本向量E：
E＝[w0，w1，…，wi，…，wn]；
其中，
Figure FDA0002587061860000051
dw为词向量维度，N为文本长度；wi表示该文本的第i个词语的词向量，n为词语的总个数；
计算词列表中的方面词的位置向量P，P＝(P2t(p)，P2t-1(p))，其中，
Figure FDA0002587061860000052
Figure FDA0002587061860000053
其中，P2t(p)和P2t-1(p)分别表示相对位置为p时，其位置向量的奇、偶数位置的值；dp为位置向量的维度，p的计算方式为：方面词与自身的相对位置为0，与相邻词的相对位置为1，以此类推；
将词向量E与位置向量P输入至双向门控循环单元Bi-GRU分别获取所述评论文本前、后向的隐藏状态，并拼接前、后向隐藏状态作为评论文本的低层语义表示，其中，
Figure FDA0002587061860000054
Figure FDA0002587061860000061
其中，
Figure FDA0002587061860000062
为前、后向的隐藏状态；
Figure FDA0002587061860000063
为评论文本的低层语义表示；dh为Bi-GRU细胞元的隐藏节点数；||表示拼接操作。
8.根据权利要求7所述的装置，其特征在于，所述编码单元执行的操作为：
将所述低层语义表示H转换为查询矩阵、键矩阵和值矩阵，根据查询矩阵和键矩阵相似度计算得到权重，使用自注意力机制将归一化的权重与相应值向量的加权和作为上下文的最终编码结果T：
Figure FDA0002587061860000064
其中，为Q，K，
Figure FDA0002587061860000065
分别为评论文本的上下文的查询矩阵、键矩阵、值矩阵，dk为线性变换的转换维度；
其中，使用正交正则化来约束自注意过程中不同方面对上下文注意力系数的分配；
Figure FDA0002587061860000066
其中，Y∈RZ×N为方面词的注意力矩阵，Z为文本中包含的方面词个数，Y中每一行向量即为给定方面词对文本所有词分配的注意力系数；I为单位矩阵；
Figure FDA0002587061860000067
为矩阵的二范数。
9.根据权利要求8所述的装置，其特征在于，所述识别单元执行的操作为：构建所述评论文本的句法依存树，使用所述编码结果初始化所述句法依存树，将所述给定方面词映射到所述句法依存树的给定方面节点，使用所述GAT网络提取给定方面节点的子树的句法特征，在GAT网络相邻层特征传播的过程中，通过计算邻域节点的注意力系数，来更新给定方面节点的隐藏状态；
Figure FDA0002587061860000071
Figure FDA0002587061860000072
其中，
Figure FDA0002587061860000073
为GAT网络第1层的线性转换矩阵；
Figure FDA0002587061860000074
为节点i对其邻域节点s在第m个注意力头中的注意力系数；
Figure FDA0002587061860000075
为连接层之间的权重矩阵；N[i]为i节点的邻域；M为注意力头的个数；
则：
H(l+1)＝GAT(H(l)，A；Θ(l))
Figure FDA0002587061860000076
其中，A为给定方面节点的子树的邻接矩阵，ais为邻接矩阵中的元素；Θ(l)为第1层的网络参数；
使用给定方面节点的隐藏状态作为所述评论文本的最终表示进行观点分类，得到所述评论文本的观点信息。
10.根据权利要求9所述的装置，其特征在于，基于多个方面的分类结果、L2正则和注意力正则计算损失来指导所述GAT网络的训练，j为给定方面节点，r为GAT网络的层数，则有：
Figure FDA0002587061860000081
Figure FDA0002587061860000082
其中，
Figure FDA0002587061860000083
为线性转换矩阵，C为观点类别个数；S[C]为观点类别集合；b为偏置项；||Θ||2为GAT网络中所有的权重参数的L2正则；λ1，λ2均为超参数。
11.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行权利要求1-5之任一的方法。
CN202010684529.5A 2020-07-16 2020-07-16 一种评论文本观点信息处理方法、装置及存储介质 Active CN111783474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010684529.5A CN111783474B (zh) 2020-07-16 2020-07-16 一种评论文本观点信息处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010684529.5A CN111783474B (zh) 2020-07-16 2020-07-16 一种评论文本观点信息处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111783474A true CN111783474A (zh) 2020-10-16
CN111783474B CN111783474B (zh) 2023-04-07

Family

ID=72767831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010684529.5A Active CN111783474B (zh) 2020-07-16 2020-07-16 一种评论文本观点信息处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111783474B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347248A (zh) * 2020-10-30 2021-02-09 山东师范大学 一种方面级文本情感分类方法及系统
CN112527966A (zh) * 2020-12-18 2021-03-19 重庆邮电大学 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法
CN112541059A (zh) * 2020-11-05 2021-03-23 大连中河科技有限公司 一种应用在税务问答系统的多轮智能问答交互方法
CN112633010A (zh) * 2020-12-29 2021-04-09 山东师范大学 基于多头注意力和图卷积网络的方面级情感分析方法及系统
CN112667818A (zh) * 2021-01-04 2021-04-16 福州大学 融合gcn与多粒度注意力的用户评论情感分析方法及系统
CN113128237A (zh) * 2021-04-09 2021-07-16 青岛海大新星软件咨询有限公司 一种服务资源的语义表征模型构建方法
CN113128229A (zh) * 2021-04-14 2021-07-16 河海大学 一种中文实体关系联合抽取方法
CN113157919A (zh) * 2021-04-07 2021-07-23 山东师范大学 语句文本方面级情感分类方法及系统
CN113256494A (zh) * 2021-06-02 2021-08-13 同济大学 一种文本图像超分辨率方法
CN113505240A (zh) * 2021-07-09 2021-10-15 吉林大学 一种基于注意力引导图lstm关系提取方法及装置
CN113627175A (zh) * 2021-08-17 2021-11-09 北京计算机技术及应用研究所 一种利用正交变换计算汉语词向量的方法
CN115712726A (zh) * 2022-11-08 2023-02-24 华南师范大学 基于双词嵌入的情感分析方法、装置以及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363695A (zh) * 2018-02-23 2018-08-03 西南交通大学 一种基于双向依赖语法树表征的用户评论属性抽取方法
CN109670066A (zh) * 2018-12-11 2019-04-23 江西师范大学 一种基于双路径深层语义网络的手绘式服装商品图像检索方法
WO2019183191A1 (en) * 2018-03-22 2019-09-26 Michael Bronstein Method of news evaluation in social media networks
CN111177383A (zh) * 2019-12-24 2020-05-19 上海大学 一种融合文本语法结构和语义信息的文本实体关系自动分类方法
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363695A (zh) * 2018-02-23 2018-08-03 西南交通大学 一种基于双向依赖语法树表征的用户评论属性抽取方法
WO2019183191A1 (en) * 2018-03-22 2019-09-26 Michael Bronstein Method of news evaluation in social media networks
CN109670066A (zh) * 2018-12-11 2019-04-23 江西师范大学 一种基于双路径深层语义网络的手绘式服装商品图像检索方法
CN111177383A (zh) * 2019-12-24 2020-05-19 上海大学 一种融合文本语法结构和语义信息的文本实体关系自动分类方法
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾健伟 等: "基于双向注意力流和自注意力结合的机器阅读理解", 《南京大学学报(自然科学)》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347248A (zh) * 2020-10-30 2021-02-09 山东师范大学 一种方面级文本情感分类方法及系统
CN112541059A (zh) * 2020-11-05 2021-03-23 大连中河科技有限公司 一种应用在税务问答系统的多轮智能问答交互方法
CN112527966A (zh) * 2020-12-18 2021-03-19 重庆邮电大学 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法
CN112527966B (zh) * 2020-12-18 2022-09-20 重庆邮电大学 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法
CN112633010A (zh) * 2020-12-29 2021-04-09 山东师范大学 基于多头注意力和图卷积网络的方面级情感分析方法及系统
CN112667818A (zh) * 2021-01-04 2021-04-16 福州大学 融合gcn与多粒度注意力的用户评论情感分析方法及系统
CN113157919A (zh) * 2021-04-07 2021-07-23 山东师范大学 语句文本方面级情感分类方法及系统
CN113157919B (zh) * 2021-04-07 2023-04-25 山东师范大学 语句文本方面级情感分类方法及系统
CN113128237B (zh) * 2021-04-09 2023-04-07 青岛海大新星软件咨询有限公司 一种服务资源的语义表征模型构建方法
CN113128237A (zh) * 2021-04-09 2021-07-16 青岛海大新星软件咨询有限公司 一种服务资源的语义表征模型构建方法
CN113128229A (zh) * 2021-04-14 2021-07-16 河海大学 一种中文实体关系联合抽取方法
CN113128229B (zh) * 2021-04-14 2023-07-18 河海大学 一种中文实体关系联合抽取方法
CN113256494A (zh) * 2021-06-02 2021-08-13 同济大学 一种文本图像超分辨率方法
CN113505240A (zh) * 2021-07-09 2021-10-15 吉林大学 一种基于注意力引导图lstm关系提取方法及装置
CN113627175A (zh) * 2021-08-17 2021-11-09 北京计算机技术及应用研究所 一种利用正交变换计算汉语词向量的方法
CN115712726A (zh) * 2022-11-08 2023-02-24 华南师范大学 基于双词嵌入的情感分析方法、装置以及设备
CN115712726B (zh) * 2022-11-08 2023-09-12 华南师范大学 基于双词嵌入的情感分析方法、装置以及设备

Also Published As

Publication number Publication date
CN111783474B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111783474B (zh) 一种评论文本观点信息处理方法、装置及存储介质
CN108536679B (zh) 命名实体识别方法、装置、设备及计算机可读存储介质
CN108829822B (zh) 媒体内容的推荐方法和装置、存储介质、电子装置
CN108255805B (zh) 舆情分析方法及装置、存储介质、电子设备
CN112131350B (zh) 文本标签确定方法、装置、终端及可读存储介质
CN111291183B (zh) 利用文本分类模型进行分类预测的方法及装置
CN111444709A (zh) 文本分类方法、装置、存储介质及设备
CN110598206A (zh) 文本语义识别方法、装置、计算机设备和存储介质
CN111046132A (zh) 一种检索多轮对话的客服问答处理方法及其系统
CN111061856A (zh) 一种基于知识感知的新闻推荐方法
CN109597493B (zh) 一种表情推荐方法及装置
CN111581966A (zh) 一种融合上下文特征方面级情感分类方法和装置
CN109472030B (zh) 一种系统回复质量的评价方法及装置
CN112307164A (zh) 信息推荐方法、装置、计算机设备和存储介质
CN113220886A (zh) 文本分类方法、文本分类模型训练方法及相关设备
CN112307168A (zh) 基于人工智能的问诊会话处理方法、装置和计算机设备
CN111259851A (zh) 一种多模态事件检测方法及装置
CN112667782A (zh) 一种文本分类方法、装置、设备及存储介质
CN110399473B (zh) 为用户问题确定答案的方法和装置
CN113627194B (zh) 信息抽取方法及装置、通信消息分类方法及装置
CN113486174B (zh) 模型训练、阅读理解方法、装置、电子设备及存储介质
CN110489730A (zh) 文本处理方法、装置、终端及存储介质
CN114036298A (zh) 一种基于图卷积神经网络与词向量的节点分类方法
CN116910190A (zh) 多任务感知模型获取方法、装置、设备及可读存储介质
CN115129863A (zh) 意图识别方法、装置、设备、存储介质和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant