CN112015862B - 基于层级多通道注意力的用户异常评论检测方法及系统 - Google Patents

基于层级多通道注意力的用户异常评论检测方法及系统 Download PDF

Info

Publication number
CN112015862B
CN112015862B CN202010857424.5A CN202010857424A CN112015862B CN 112015862 B CN112015862 B CN 112015862B CN 202010857424 A CN202010857424 A CN 202010857424A CN 112015862 B CN112015862 B CN 112015862B
Authority
CN
China
Prior art keywords
attention
comment
word
user
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010857424.5A
Other languages
English (en)
Other versions
CN112015862A (zh
Inventor
范时平
杨松菱
桑春艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010857424.5A priority Critical patent/CN112015862B/zh
Publication of CN112015862A publication Critical patent/CN112015862A/zh
Application granted granted Critical
Publication of CN112015862B publication Critical patent/CN112015862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

发明涉及自然语言处理领域，具体涉及一种基于层级多通道注意力的用户异常评论检测方法，该方法包括：实时获取用户评论数据，将获取的用户评论数据输入到训练好的用户评论数据检测模型中，判断该评论是否异常；本发明避免了基于机器学习方法检测用户异常评论中繁琐的特征工程设计，并分析了用户评论文本的特点，克服了单一深度神经网络模型和单层注意力机制不能或不充分捕获全局语义的问题。

Description

基于层级多通道注意力的用户异常评论检测方法及系统
技术领域
本发明涉及自然语言处理领域，具体涉及一种基于层级多通道注意力的用户异常评论检测方法及系统。
背景技术
随着互联网的飞速发展，规模不断扩大，网络评论的数量和影响力也在不断增加，特别是近年来电子商务的快速发展，越来越多的用户开始参考之前用户的评论信息来做出购买决策。积极的用户评论可以促进商品店铺的影响力，增加销售，带来经济效益；相反，一些异常的用户评论会影响用户的网络购物体验，甚至不法分子通过雇佣水军来发布不实评论攻击竞争对手，带来恶性竞争。由于巨大利益的驱使，用户的异常评论能给电子商务产业造成巨大危害，并且还具有不断进化蔓延的趋势，使其受到国内外研究人员的广泛关注。因此检测分布在各电子商务平台的用户异常评论信息是一个十分紧迫而且重要的话题。
用户评论文本一般是短文本，具有数量大、噪声多、影响力大、隐蔽性强、识别难度高等特点，并且稀疏性比较强。早期对于用户异常评论的检测方法主要通过人工设计特征工程，提取语言和心理学相关特征、浅层语义特征、元数据特征等利用机器学习的方法获取浅层语义信息进行判定。但是，特征设计过程耗时且具有挑战性，不同数据集的数据稀疏程度、数据集的领域范围、语言的表述方式、评论者的关注方式各不相同，需要选取不同的特征进行实验，然而特征的设计依赖于专家的经验，特征选取的不同将会影响最终模型的分类效果。
随着深度学习技术的发展，深度神经网络模型开始应用于自然语言处理众多任务的语义表示，并取得优异的性能。深度神经网络模型由于使用隐藏层自动进行特征提取，避免了繁杂的人工构造特征工程，降低噪声，捕获复杂的语义信息，与此同时，神经网络模型通过词向量的方式一定程度上缓解了标记数据的稀疏性。但是，仅仅基于深度神经网络模型对用户评论进行检测，也存在一定的缺陷，比如，单一的神经网络模型都有各自的缺点，评论文本具有一定的层次性，不同的词语构成句子，不同的句子形成文档，对于不同的用户和不同的产品，评论文本中不同的词语和句子对于语义理解的贡献度不同，从而造成单一的注意力机制难以捕获全局语义信息。
发明内容
为解决以上现有技术的问题，本发明提出了一种基于层级多通道注意力的用户异常评论检测方法，该方法包括：实时获取用户评论数据，将获取的用户评论数据输入到训练好的用户评论数据检测模型中，判断该评论是否异常用户评论数据检测模型包括卷积神经网络模型和双向长短时记忆网络模型；
训练用户评论数据检测模型的过程包括：
S1：获取用户评论数据集，对用户评论数据集进行预处理，得到评论文本词向量矩阵；
S2：根据评论文本词向量矩阵求取评论文本词向量矩阵的情感向量、词性向量以及词语位置向量；
S3：根据论文本词向量矩阵、情感向量、词性向量以及词语位置向量求出情感词注意力通道的特征矩阵Ye、词性注意力通道的特征矩阵Yp以及词语位置注意力通道的特征矩阵Yl；
S4：将Ye、Yp、Yl依次输入卷积神经网络模型中进行卷积计算，得到评论文本的局部特征ci；
S5：对局部特征ci进行排列组合，得到新的特征C；
S6：将新的特征C输入到长短时记忆网络模型中提取上下文信息；
S7：根据提取的上下文信息求出基于用户信息和产品信息的上下文评论文档特征Td，将Td输入到softmax层，得到用户评论类别概率向量；
S8：将类别概率向量中最大值所对应的类别记为评论文本的类别标签
Figure BDA00026469259500000317
完成户评论数据检测模型的训练。
优选的，得到评论文本词向量矩阵的过程包括：采用深度学习框架Keras对用户评论数据集进行处理，得到用户评论文本；采用Skip-gram模型对用户评论文本进行训练，得到评论文本的词向量矩阵
Figure BDA0002646925950000031
其中，l表示词向量维度，m表示评论文本词的个数，
Figure BDA0002646925950000032
表示实数向量。
优选的，所述求出情感词注意力通道的特征矩阵Ye包括：根据评论文本词向量矩阵计算基于情感词的注意力系数矩阵，求得基于情感注意力机制的词向量
Figure BDA0002646925950000033
将
Figure BDA0002646925950000034
与所述情感向量拼接，得到情感词注意力通道的特征矩阵Ye；所述获取词性注意力通道的特征矩阵Yp包括：根据评论文本词向量矩阵计算基于词性的注意力系数矩阵，得到基于词性注意力机制的词向量
Figure BDA0002646925950000035
将
Figure BDA0002646925950000036
与所述词性向量拼接，得到词性注意力通道的特征矩阵Yp；所述获取词语位置注意力通道的特征矩阵Yl根据评论文本词向量矩阵计算基于词语位置的注意力系数矩阵，得到基于词性注意力机制的词向量
Figure BDA0002646925950000037
将
Figure BDA0002646925950000038
与所述词语位置向量拼接，得到词语位置注意力通道的特征矩阵Yl。
进一步的，求得基于情感注意力机制的词向量
Figure BDA0002646925950000039
的公式为：
Figure BDA00026469259500000310
Figure BDA00026469259500000311
Figure BDA00026469259500000312
进一步的，得到基于词性注意力机制的词向量
Figure BDA00026469259500000313
的公式为：
Figure BDA00026469259500000314
Figure BDA00026469259500000315
Figure BDA00026469259500000316
进一步的，得到基于词性注意力机制的词向量
Figure BDA0002646925950000041
的公式为：
lo(ωi)＝i-m+maxlen
Figure BDA0002646925950000042
Figure BDA0002646925950000043
Figure BDA0002646925950000044
优选的，得到评论文本的局部特征ci的过程包括：使用q个相同大小的一维卷积滤波器的卷积核分别在带情感注意力、词性注意力、位置注意力的词向量序列上滑动，第i个词语对应的情感词注意力窗口矩阵、词性注意力窗口矩阵、位置注意力窗口矩阵分别是
Figure BDA0002646925950000045
通过卷积核与每个窗口矩阵进行卷积运算，生成文本的局部特征ci，其公式为：ci＝f(W*Yi：i+k-1+b)。
优选的，得到新的特征C的公式为：
Figure BDA0002646925950000046
优选的，求出基于用户信息和产品信息的上下文评论文档特征Td的过程包括：根据上下文信息求出词语级用户信息和产品信息的前向隐藏状态的注意力系数
Figure BDA0002646925950000047
和后向隐藏状态的注意力系数
Figure BDA0002646925950000048
根据
Figure BDA0002646925950000049
和
Figure BDA00026469259500000410
求出基于用户信息和产品信息的上下文评论句子特征Ts；根据上下文评论句子特征Ts计算基于句子级用户信息和产品信息的前向隐藏状态的注意力系数
Figure BDA00026469259500000411
和后向隐藏状态的注意力系数
Figure BDA00026469259500000412
根据
Figure BDA00026469259500000413
和
Figure BDA00026469259500000414
计算基于用户信息和产品信息的上下文评论文档特征Td。
一种基于层级多通道注意力的用户异常评论检测系统，所述系统包括数据获取模块、数据预处理模块、基于情感词注意力模块、基于词性注意力模块、基于位置注意力模块、卷积神经网络模块、双向长短时记忆网络模块、用户信息和产品信息注意力模块、softmax分类器模块以及结果输出模块；
所述数据获取模块用户获取用户评论数据；
所述数据预处理模块对用户评论数据进行预处理；
所述基于情感词注意力模块用于处理数据预处理模块处理后的数据，得到基于情感词注意力机制的特征矩阵；
所述基于词性注意力模块用于处理数据预处理模块处理后的数据，得到基于词性注意力机制的特征矩阵；
所述基于位置注意力模块用于处理数据预处理模块处理后的数据，得到基于位置注意力机制的特征矩阵；
所述卷积神经网络模块对基于情感词注意力模块、基于词性注意力模块以及基于位置注意力模块的特征矩阵进行卷积运算，获取用户评论文本的局部特征；
所述长短时记忆网络模块用于提取用户评论文本的局部特征的上下文特征；
所述用户信息和产品信息注意力模块用于提取对上下文特征中有重要影响的用户或者产品特定词和句子；
所述softmax分类器模块用于对用户评论文本做分类，检测用户评论是否是异常评论；
所述结果输出模块用户输出softmax分类器模块的检测结果。
与现有方法相比，本发明具有以下有益效果：
本发明避免了基于机器学习方法检测用户异常评论中繁琐的特征工程设计，并分析了用户评论文本的特点，克服了单一深度神经网络模型和单层注意力机制不能或不充分捕获全局语义的问题，通过在词语级应用基于情感词、词性、位置多通道注意力机制丰富文本多角度特征，然后通过卷积神经网络、双向长短时记忆网络组成的混合网络提取不同深度和不同层次的文本特征，并在句子级嵌入用户信息和产品信息注意力机制，充分捕获评论文本的全局语义信息，最后将得到的评论文档表示作为最终的文本表示，利用分类器实现用户异常评论的检测。本发明的准确率相比之前的方法有较大提升，分类效果显著。
附图说明
图1为本发明的一种基于层级多通道注意力的用户异常评论检测模型结构图；
图2为本发明中基于情感词注意力机制的情感词注意力通道的处理过程图；
图3为本发明中基于词性/位置注意力机制的词性或者位置注意力通道的处理过程图；
图4为本发明采用的卷积神经网络模型结构图；
图5为本发明采用的双向长短时记忆网络模型结构图；
图6为本发明的系统结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
本发明通过在词语级应用基于情感词、词性、位置多通道注意力机制丰富文本多角度特征，然后通过卷积神经网络、双向长短时记忆网络组成的混合网络提取不同深度和不同层次的文本特征，并在句子级嵌入用户信息和产品信息注意力机制，充分捕获评论文本的全局语义信息，最后将得到的评论文档表示作为最终的文本表示，利用分类器实现用户异常评论的检测。
一种基于层级多通道注意力的用户异常评论检测方法，包括：实时获取用户评论数据，将获取的用户评论数据输入到训练好的用户评论数据检测模型中，判断该数据是否异常，若数据异常，则评论该数据的用户异常用户，若数据正常，则评论该数据的用户为正常用户；用户评论数据检测模型包括卷积神经网络模型和双向长短时记忆网络模型。
如图1所示，训练用户评论数据检测模型的过程包括：
S1、获取用户评论数据集，采用深度学习框架Keras对用户评论数据集进行处理，得到用户评论文本；其中分词任务由Keras提供的tokenizer实现数据集的分词，并将数据集划分成比例为8:1:1训练集、验证集和测试集；将进行预处理之后的用户评论文本表示为D。所述训练集用于模型的训练，所述验证集用于验证模型是否训练好，所述测试集用于测试整个系统是否测试准确。
S2、利用word2vec工具的Skip-gram模型训练得到评论文本的词向量矩阵
Figure BDA0002646925950000071
为词向量维度，m为评论文本词的个数。
S3、在词向量的基础上结合情感词典得到评论文本的情感向量we。
S4、利用词性标注工具NLTK对用户评论文本进行词性标注，得到词性向量ωp。
S5、初始化文本的词语位置，得到词语位置向量ωl。
S6、计算基于情感词的注意力系数矩阵
Figure BDA0002646925950000072
并得到基于情感词注意力机制的词向量
Figure BDA0002646925950000073
同时将
Figure BDA0002646925950000074
进行拼接得到情感词注意力通道的特征矩阵Ye。
S7、计算基于词性的注意力系数矩阵
Figure BDA0002646925950000075
并得到基于词性注意力机制的词向量
Figure BDA0002646925950000076
同时将
Figure BDA0002646925950000077
进行拼接得到词性注意力通道的特征矩阵Yp。
S8、计算基于词语位置的注意力系数矩阵
Figure BDA0002646925950000078
并得到基于词性注意力机制的词向量
Figure BDA0002646925950000079
同时将
Figure BDA00026469259500000710
进行拼接得到词语位置注意力通道的特征矩阵Yl。
S9、构建卷积神经网络，将得到的各通道特征矩阵依次输入卷积神经网络进行卷积计算，以获取评论文本的局部特征ci。
S10、为保留评论文本的时序特征，将卷积神经网络输出的特征进行重新排列组合得到C。
S11、构建双向长短时记忆网络，将重排之后的特征C输入长短时记忆网络提取上下文信息。
S12、分别计算基于词语级用户信息和产品信息的前向隐藏状态的注意力系数
Figure BDA00026469259500000711
和后向隐藏状态的注意力系数
Figure BDA00026469259500000712
得到基于用户信息和产品信息的上下文评论句子特征Ts。
S13、分别计算基于句子级用户信息和产品信息的前向隐藏状态的注意力系数
Figure BDA0002646925950000081
和后向隐藏状态的注意力系数
Figure BDA0002646925950000082
得到基于用户信息和产品信息的上下文评论文档特征Td。
S14、将文档特征Td输入softmax层得到用户评论类别概率向量。
S15、将类别概率向量中最大值所对应的类别记为评论文本的类别标签
Figure BDA0002646925950000083
如图2所示，所述步骤S6中计算情感词注意力通道的特征矩阵Ye具体步骤如下：
S61、在用户评论文本词向量的基础上通过情感词典构建情感词向量we，该评论文本中其他词语还是表示为wi，通过情感词向量we和其他词向量wi进行内积运算得到情感词注意力矩阵Ae，则基于情感词的注意力系数矩阵
Figure BDA0002646925950000084
计算公式为：
Figure BDA0002646925950000085
Figure BDA0002646925950000086
其中，
Figure BDA0002646925950000087
表示评论文本中情感词与其所在评论中其他词的关联程度，
Figure BDA0002646925950000088
表示对
Figure BDA0002646925950000089
经过softmax标准化的关联系数，
Figure BDA00026469259500000810
表示内积运算，m为评论文本的长度，即词语的个数。
S62、将情感词注意力系数
Figure BDA00026469259500000811
与词向量wi做点积，得到基于情感词注意力机制的词向量
Figure BDA00026469259500000812
公式如下：
Figure BDA00026469259500000813
S63、将带情感词注意力的词向量
Figure BDA00026469259500000814
进行拼接，得到基于情感词注意力通道的特征矩阵Ye，公式如下：
Figure BDA00026469259500000815
如图3所示，所述步骤S7中计算词性注意力通道的特征矩阵Yp具体步骤如下：
S71、在词向量的基础上利用词性标注工具NLTK得到wi的词性向量
Figure BDA0002646925950000091
并通过得分函数σ(·)评估当前词的词性对文本的重要程度，从而得到词的词性注意力矩阵Ap，则词性注意力系数
Figure BDA0002646925950000092
计算公式为：
Figure BDA0002646925950000093
Figure BDA0002646925950000094
其中，σ(·)代表得分函数，Wp是权重矩阵，bp是线性偏差，
Figure BDA0002646925950000095
表示带词性标注的词向量对文本的重要程度，
Figure BDA0002646925950000096
表示对
Figure BDA0002646925950000097
经过softmax标准化的关联系数.
S72、将词性注意力系数
Figure BDA0002646925950000098
与词向量wi做点积运算，得到基于词性注意力机制的词向量
Figure BDA0002646925950000099
公式如下：
Figure BDA00026469259500000910
S73、将带词性注意力的词向量
Figure BDA00026469259500000911
进行拼接，得到基于词性注意力通道的特征矩阵Yp，公式如下：
Figure BDA00026469259500000912
如图3所示，所述步骤S8中计算位置注意力通道的特征矩阵Yl具体步骤如下：
S81、计算评论文本中各词语位置，得到位置向量wl，计算评论文本中第i个词语wi的位置信息lo(wi)，公式如下：
lo(wi)＝i-m+maxlen
其中，lo(wi)是词语wi在句子sn中的位置值，i表示是句子sn中第i个词语，m表示句子的长度，maxlen表示评论句子中最大的长度。
S82、通过向量化运算，将每个词语的位置值映射为一个位置向量
Figure BDA00026469259500000913
并通过得分函数σ(·)评估当前词的位置对文本的重要程度，从而得到词的位置注意力矩阵Al，则词性注意力系数
Figure BDA0002646925950000101
计算公式为：
Figure BDA0002646925950000102
Figure BDA0002646925950000103
其中，σ(·)代表得分函数，Wl是权重矩阵，bl是线性偏差，
Figure BDA0002646925950000104
表示带词性标注的词向量对文本的重要程度，
Figure BDA0002646925950000105
表示对
Figure BDA0002646925950000106
经过softmax标准化的关联系数。
S83、将位置注意力系数
Figure BDA0002646925950000107
与词向量ωi做点积运算，得到基于位置注意力机制的词向量
Figure BDA0002646925950000108
公式如下：
Figure BDA0002646925950000109
84、将带位置注意力的词向量
Figure BDA00026469259500001010
进行拼接，得到基于位置注意力通道的特征矩阵Yl，公式如下：
Figure BDA00026469259500001011
如图4所示，所述步骤S9中，具体的卷积操作如下：使用q个相同大小的一维卷积滤波器以一定窗口大小的卷积核分别在带情感注意力、词性注意力、位置注意力的词向量序列上滑动，同时，第i个词语对应的情感词注意力窗口矩阵、词性注意力窗口矩阵、位置注意力窗口矩阵分别是
Figure BDA00026469259500001012
Figure BDA00026469259500001013
通过卷积核与每个窗口矩阵进行卷积运算，生成输入文本的局部特征ci，公式如下：
ci＝f(W*Yi：i+k-1+b)
其中，W是权值参数，*代表卷积操作，Yi：i+k-1表示文本特征矩阵从第i行到第i+k-1行的局部特征，f(·)为ReLU非线性激活函数，b代表偏置量。
进一步的，所述步骤S10中将基于情感词注意力、词性注意力和位置注意力机制的词向量进行向量拼接重排，其拼接排列的方式为将每一个局部特征构成新矩阵的行，依次引入情感词、词性、位置三种信息的文本序列，最终得到新矩阵C，公式如下：
Figure BDA0002646925950000111
其中，
Figure BDA0002646925950000112
和
Figure BDA0002646925950000113
分别是用第i个滤波器在多通道矩阵上生成的特征表示。
如图5所示，所述步骤S12中，具体步骤如下：
S121、分别计算词语级用户信息和产品信息的前向隐藏状态的注意力系数
Figure BDA0002646925950000114
和后向隐藏状态的注意力系数
Figure BDA0002646925950000115
公式如下：
Figure BDA0002646925950000116
Figure BDA0002646925950000117
其中，vw是权重向量，(vw)T表示其转置，Wwh、
Figure BDA0002646925950000118
是权重参数矩阵，bw是偏置量，e(·)是得分函数，用于衡量句子表达中词语的重要性。
S122、分别计算基于用户信息和产品信息的前向评论句子特征Fs和后向句子特征Bs，公式如下：
Figure BDA0002646925950000119
Figure BDA00026469259500001110
其中，
Figure BDA00026469259500001111
分别为衡量前向句子中和后向句子中不同词语对于用户个产品的重要性，
Figure BDA00026469259500001112
分别为前向和后向第i个词语的隐藏状态。
S123、将基于用户信息和产品信息的前向句子表示和后向句子表示进行拼接，得到基于用户信息和产品信息的上下文评论句子特征Ts，公式如下：
Ts＝[Fs，Bs]
进一步地，所述步骤S13中，具体步骤如下：
S131、分别计算句子级用户信息和产品信息的前向隐藏状态的注意力系数
Figure BDA0002646925950000121
和后向隐藏状态的注意力系数
Figure BDA0002646925950000122
公式如下：
Figure BDA0002646925950000123
Figure BDA0002646925950000124
其中，hi是评论文档中第i个句子的隐藏状态，βi是句子级别的隐藏状态hi的注意权重，vs是权重向量，(vs)T表示其转置，Wsh、
Figure BDA0002646925950000125
是权重参数矩阵，bs是偏置量，e(·)是得分函数，衡量评论文档表示中句子的重要性。
S132、分别计算基于用户信息和产品信息的前向评论文档特征Fd和后向句子特征Bd，公式如下：
Figure BDA0002646925950000126
Figure BDA0002646925950000127
其中，
Figure BDA0002646925950000128
分别为衡量前向文档中和后向文档中不同词语对于用户个产品的重要性，
Figure BDA0002646925950000129
分别为前向和后向第t个句子的隐藏状态。
S133、将基于用户信息和产品信息的前向文档表示和后向文档表示进行拼接，得到基于用户信息和产品信息的上下文评论文档特征Td，公式如下：
Td＝[Fd，Bd]
进一步地，所述步骤S14中，具体步骤如下：
S141、使用非线性层将文档表示Td投影到C类的目标空间，公式如下：
Td＝tanh(WC·Td+bC)
其中，WC是权重矩阵，bC是偏置量，C是评论类别的数量。
S142、计算用户评论类别概率向量Y，公式如下：
Figure BDA0002646925950000131
进一步地，所述步骤S15中，计算用户评论类别概率向量中最大值所对应的类别为评论文本类别，公式如下：
Figure BDA0002646925950000132
其中，arg max(.)表示求出用户评论类别概率向量中的最大概率值。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
一种基于层级多通道注意力的用户异常评论检测系统，如图6所示，数据获取模块、数据预处理模块、基于情感词注意力模块、基于词性注意力模块、基于位置注意力模块、卷积神经网络模块、双向长短时记忆网络模块、用户信息和产品信息注意力模块、softmax分类器模块以及结果输出模块；
所述数据获取模块用户获取用户评论数据；
所述数据预处理模块对用户评论数据进行预处理；
所述基于情感词注意力模块用于处理数据预处理模块处理后的数据，得到基于情感词注意力机制的特征矩阵；
所述基于词性注意力模块用于处理数据预处理模块处理后的数据，得到基于词性注意力机制的特征矩阵；
所述基于位置注意力模块用于处理数据预处理模块处理后的数据，得到基于位置注意力机制的特征矩阵；
所述卷积神经网络模块对基于情感词注意力模块、基于词性注意力模块以及基于位置注意力模块的特征矩阵进行卷积运算，获取用户评论文本的局部特征；
所述长短时记忆网络模块用于提取用户评论文本的局部特征的上下文特征；
所述用户信息和产品信息注意力模块用于提取对上下文特征中有重要影响的用户或者产品特定词和句子；
所述softmax分类器模块用于对用户评论文本做分类，检测用户评论是否是异常评论；
所述结果输出模块用户输出softmax分类器模块的检测结果。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于层级多通道注意力的用户异常评论检测方法，其特征在于，包括：实时获取用户评论数据，将获取的用户评论数据输入到训练好的用户评论数据检测模型中，判断该评论是否异常；用户评论数据检测模型包括卷积神经网络模型和双向长短时记忆网络模型；
训练用户评论数据检测模型的过程包括：
S1：获取用户评论数据集，对用户评论数据集进行预处理，得到评论文本词向量矩阵；
S2：根据评论文本词向量矩阵求取评论文本词向量矩阵的情感向量、词性向量以及词语位置向量；
S3：根据评论文本词向量矩阵、情感向量、词性向量以及词语位置向量求出情感词注意力通道的特征矩阵Ye、词性注意力通道的特征矩阵Yp以及词语位置注意力通道的特征矩阵Yl；
求出情感词注意力通道的特征矩阵Ye包括：根据评论文本词向量矩阵计算基于情感词的注意力系数矩阵，求得基于情感注意力机制的词向量
Figure FDA0003987643620000011
将
Figure FDA0003987643620000012
与所述情感向量拼接，得到情感词注意力通道的特征矩阵Ye；
获取词性注意力通道的特征矩阵Yp包括：根据评论文本词向量矩阵计算基于词性的注意力系数矩阵，得到基于词性注意力机制的词向量
Figure FDA0003987643620000013
将
Figure FDA0003987643620000014
与所述词性向量拼接，得到词性注意力通道的特征矩阵Yp；
获取词语位置注意力通道的特征矩阵Yl包括：根据评论文本词向量矩阵计算基于词语位置的注意力系数矩阵，得到基于词性注意力位置的词向量
Figure FDA0003987643620000015
将
Figure FDA0003987643620000016
与所述词语位置向量拼接，得到词语位置注意力通道的特征矩阵Yl；
S4：将Ye、Yp、Yl依次输入卷积神经网络模型中进行卷积计算，得到评论文本的局部特征ci；
S5：对局部特征ci进行排列组合，得到新的特征C；
S6：将新的特征C输入到长短时记忆网络模型中提取上下文信息；
S7：根据提取的上下文信息求出基于用户信息和产品信息的上下文评论文档特征Td，将Td输入到softmax层，得到用户评论类别概率向量；
S8：将类别概率向量中最大值所对应的类别记为评论文本的类别标签
Figure FDA00039876436200000213
完成户评论数据检测模型的训练。
2.根据权利要求1所述的一种基于层级多通道注意力的用户异常评论检测方法，其特征在于，所述得到评论文本词向量矩阵的过程包括：采用深度学习框架Keras对用户评论数据集进行处理，得到用户评论文本；采用Skip-gram模型对用户评论文本进行训练，得到评论文本的词向量矩阵X。
3.根据权利要求1所述的一种基于层级多通道注意力的用户异常评论检测方法，其特征在于，求得基于情感注意力机制的词向量
Figure FDA0003987643620000021
的公式为：
Figure FDA0003987643620000022
Figure FDA00039876436200000214
Figure FDA0003987643620000023
其中，
Figure FDA0003987643620000024
表示评论文本中情感词与其所在评论中其他词的关联程度，
Figure FDA0003987643620000025
表示对
Figure FDA0003987643620000026
经过softmax标准化的关联系数，
Figure FDA0003987643620000027
表示内积运算，m为评论文本的长度，即词语的个数，wi表示词向量，
Figure FDA0003987643620000028
表示基于情感注意力机制的词向量。
4.根据权利要求1所述的一种基于层级多通道注意力的用户异常评论检测方法，其特征在于，得到基于词性注意力机制的词向量
Figure FDA0003987643620000029
的公式为：
Figure FDA00039876436200000210
Figure FDA00039876436200000211
Figure FDA00039876436200000212
其中，
Figure FDA0003987643620000031
表示对
Figure FDA0003987643620000032
经过softmax标准化的关联系数，
Figure FDA0003987643620000033
表示带词性标注的词向量对文本的重要程度，σ(·)代表得分函数，Wp是权重矩阵，bp是线性偏差。
5.根据权利要求1所述的一种基于层级多通道注意力的用户异常评论检测方法，其特征在于，得到基于词性注意力位置的词向量
Figure FDA0003987643620000034
的公式为：
lo(wi)＝i-m+maxlen
Figure FDA0003987643620000035
Figure FDA0003987643620000036
Figure FDA0003987643620000037
其中，lo(wi)表示词语wi在句子sn中的位置值，i表示句子sn中第i个词语，m表示句子的长度，maxlen表示评论句子中最大的长度；
Figure FDA0003987643620000038
表示对
Figure FDA0003987643620000039
经过softmax标准化的关联系数，
Figure FDA00039876436200000310
表示带词性标注的词向量对文本的重要程度，σ(·)代表得分函数，Wl是权重矩阵，bl是线性偏差。
6.根据权利要求1所述的一种基于层级多通道注意力的用户异常评论检测方法，其特征在于，所述得到评论文本的局部特征ci的过程包括：使用q个相同大小的一维卷积滤波器的卷积核分别在带情感注意力、词性注意力、位置注意力的词向量序列上滑动，第i个词语对应的情感词注意力窗口矩阵、词性注意力窗口矩阵、位置注意力窗口矩阵分别是
Figure FDA00039876436200000311
通过卷积核与每个窗口矩阵进行卷积运算，生成文本的局部特征ci，其公式为：
ci＝f(W*Yi：i+k-1+b)
其中，W是权值参数，*代表卷积操作，Yi：i+k-1表示文本特征矩阵从第i行到第i+k-1行的局部特征，f(·)为ReLU非线性激活函数，b代表偏置量。
7.根据权利要求1所述的一种基于层级多通道注意力的用户异常评论检测方法，其特征在于，所述得到新的特征C的公式为：
Figure FDA00039876436200000312
其中，
Figure FDA0003987643620000041
和
Figure FDA0003987643620000042
分别是用第i个滤波器在多通道矩阵上生成的特征表示。
8.根据权利要求1所述的一种基于层级多通道注意力的用户异常评论检测方法，其特征在于，求出基于用户信息和产品信息的上下文评论文档特征Td的过程包括：根据上下文信息求出词语级用户信息和产品信息的前向隐藏状态的注意力系数
Figure FDA0003987643620000043
和后向隐藏状态的注意力系数
Figure FDA0003987643620000044
根据
Figure FDA0003987643620000045
和
Figure FDA0003987643620000046
求出基于用户信息和产品信息的上下文评论句子特征Ts；根据上下文评论句子特征Ts计算基于句子级用户信息和产品信息的前向隐藏状态的注意力系数
Figure FDA0003987643620000047
和后向隐藏状态的注意力系数
Figure FDA0003987643620000048
根据
Figure FDA0003987643620000049
和
Figure FDA00039876436200000410
计算基于用户信息和产品信息的上下文评论文档特征Td。
9.一种基于层级多通道注意力的用户异常评论检测系统，该系统用于执行权利要求1～8所述的任意一种基于层级多通道注意力的用户异常评论检测方法，其特征在于，所述系统包括数据获取模块、数据预处理模块、基于情感词注意力模块、基于词性注意力模块、基于位置注意力模块、卷积神经网络模块、双向长短时记忆网络模块、用户信息和产品信息注意力模块、softmax分类器模块以及结果输出模块；
所述数据获取模块用于获取用户评论数据；
所述数据预处理模块对用户评论数据进行预处理；
所述基于情感词注意力模块用于处理数据预处理模块处理后的数据，得到基于情感词注意力机制的特征矩阵；
所述基于词性注意力模块用于处理数据预处理模块处理后的数据，得到基于词性注意力机制的特征矩阵；
所述基于位置注意力模块用于处理数据预处理模块处理后的数据，得到基于位置注意力机制的特征矩阵；
所述卷积神经网络模块对基于情感词注意力模块、基于词性注意力模块以及基于位置注意力模块的特征矩阵进行卷积运算，获取用户评论文本的局部特征；
所述长短时记忆网络模块用于提取用户评论文本的局部特征的上下文特征；
所述用户信息和产品信息注意力模块用于提取对上下文特征中有重要影响的用户或者产品特定词和句子；
所述softmax分类器模块用于对用户评论文本做分类，检测用户评论是否是异常评论；
所述结果输出模块用于输出softmax分类器模块的检测结果。
CN202010857424.5A 2020-08-24 2020-08-24 基于层级多通道注意力的用户异常评论检测方法及系统 Active CN112015862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010857424.5A CN112015862B (zh) 2020-08-24 2020-08-24 基于层级多通道注意力的用户异常评论检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010857424.5A CN112015862B (zh) 2020-08-24 2020-08-24 基于层级多通道注意力的用户异常评论检测方法及系统

Publications (2)

Publication Number Publication Date
CN112015862A CN112015862A (zh) 2020-12-01
CN112015862B true CN112015862B (zh) 2023-02-03

Family

ID=73505705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010857424.5A Active CN112015862B (zh) 2020-08-24 2020-08-24 基于层级多通道注意力的用户异常评论检测方法及系统

Country Status (1)

Country Link
CN (1) CN112015862B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765313B (zh) * 2020-12-31 2022-06-28 太原理工大学 一种基于原文和评论信息分析算法的虚假信息检测方法
CN113627195B (zh) * 2021-10-14 2022-01-18 华东交通大学 基于层次Transformer和图神经网络的评论情感分析方法及系统
CN114492423B (zh) * 2021-12-28 2022-10-18 广州大学 基于特征融合及筛选的虚假评论检测方法、系统及介质
CN114969334B (zh) * 2022-05-20 2023-04-07 北京九章云极科技有限公司 异常日志检测方法、装置、电子设备及可读存储介质
CN116993433A (zh) * 2023-07-14 2023-11-03 重庆邮电大学 一种基于大数据的互联网电商异常用户检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092596A (zh) * 2017-04-24 2017-08-25 重庆邮电大学 基于attention CNNs和CCR的文本情感分析方法
CN108170681A (zh) * 2018-01-15 2018-06-15 中南大学 文本情感分析方法、系统及计算机可读存储介质
CN109284506A (zh) * 2018-11-29 2019-01-29 重庆邮电大学 一种基于注意力卷积神经网络的用户评论情感分析系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092596A (zh) * 2017-04-24 2017-08-25 重庆邮电大学 基于attention CNNs和CCR的文本情感分析方法
CN108170681A (zh) * 2018-01-15 2018-06-15 中南大学 文本情感分析方法、系统及计算机可读存储介质
CN109284506A (zh) * 2018-11-29 2019-01-29 重庆邮电大学 一种基于注意力卷积神经网络的用户评论情感分析系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的短文本情感倾向性分析研究;司新红;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200315;I138-1466 *

Also Published As

Publication number Publication date
CN112015862A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112015862B (zh) 基于层级多通道注意力的用户异常评论检测方法及系统
CN108920445B (zh) 一种基于Bi-LSTM-CRF模型的命名实体识别方法和装置
CN108108433A (zh) 一种基于规则和数据网络融合的情感分析方法
KR20190125153A (ko) 텍스트 기반 사용자심리상태예측 및 콘텐츠추천 장치 및 그 방법
CN109977199B (zh) 一种基于注意力池化机制的阅读理解方法
Chang et al. Research on detection methods based on Doc2vec abnormal comments
CN110929034A (zh) 一种基于改进lstm的商品评论细粒度情感分类方法
CN110990564A (zh) 一种基于情感计算与多头注意力机制的负面新闻识别方法
CN110825867B (zh) 相似文本推荐方法、装置、电子设备和存储介质
CN109190109B (zh) 融合用户信息生成评论摘要的方法及装置
CN111221939A (zh) 评分方法、装置和电子设备
Singla et al. Using prosodic and lexical information for learning utterance-level behaviors in psychotherapy
CN112418172A (zh) 基于多模信息智能处理单元的多模信息融合情感分析方法
CN110765769A (zh) 一种基于子句特征的实体属性依赖情感分析方法
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
Fan et al. Phonetics and ambiguity comprehension gated attention network for humor recognition
CN113486645A (zh) 一种基于深度学习的文本相似度检测方法
CN113704459A (zh) 一种基于神经网络的在线文本情感分析方法
CN113361252B (zh) 基于多模态特征和情感词典的文本抑郁倾向检测系统
CN114817541A (zh) 基于双重情感感知的谣言检测方法及装置
CN114022687A (zh) 一种基于增强学习的图像描述对抗生成方法
Al-Azani et al. Audio-textual Arabic dialect identification for opinion mining videos
CN111159405B (zh) 基于背景知识的讽刺检测方法
CN117454217A (zh) 一种基于深度集成学习的抑郁情绪识别方法、装置及系统
CN113792541B (zh) 一种引入互信息正则化器的方面级情感分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant