CN111259140A - 一种基于lstm多实体特征融合的虚假评论检测方法 - Google Patents

Abstract

本发明公开了一种基于LSTM多实体特征融合的虚假评论检测方法，包括以下步骤：步骤1，将评论按用户和产品分别进行分组，提取待检测评论基于产品实体的评论序列和基于用户实体的评论序列；步骤2，对每个实体中的评论进行向量化，使用卷积神经网络提取文本特征；步骤3，根据相关行为分析，对每个实体的每条评论的行为特征进行提取；步骤4，将每个实体中每条评论的文本特征与行为特征进行联合，对评论的时序联合特征进行再提取，得到待检测评论在各个实体中的特征向量表示形式；步骤5，融合待检测评论在不同实体中的特征向量，学习新的特征并构建分类器，进行虚假评论和正常评论的判定。

Description

一种基于LSTM多实体特征融合的虚假评论检测方法

技术领域

本发明涉及文本挖掘领域，尤其涉及一种基于LSTM多实体特征融合的虚假评论检测方法。

背景技术

随着计算机技术的发展，网络与人们的生活紧紧联系到了一起，通过网络售卖货物已经越来越成为一种重要的销售方式，网上购物往往会受到他人对货物评论的影响，而人们也产生了强烈动机，通过发布一些虚假的观点或评论，来推销或诋毁一些目标产品、服务、组织或个人。

为检测虚假评论，已经有人进行了大量工作，他们从评论文本与用户数据两方面出发，试图找到用于表示虚假评论的线索，提取有效的文本特征和行为特征，并依此特征将评论进行表示，进而使用统计模型来检测虚假评论，然而现有的检测方法效果较差，无法精确的判别哪些评论是虚假评论。

为此本发明提出了一种基于LSTM多实体特征融合的虚假评论检测方法，能够精确的进行虚假评论检测。

发明内容

为实现本发明之目的，采用以下技术方案予以实现：

一种基于LSTM多实体特征融合的虚假评论检测方法，包括以下步骤：步骤1，将评论按用户和产品分别进行分组，提取待检测评论基于产品实体的评论序列和基于用户实体的评论序列；步骤2，对每个实体中的评论进行向量化，使用卷积神经网络提取文本特征；步骤3，根据相关行为分析，对每个实体的每条评论的行为特征进行提取；步骤4，将每个实体中每条评论的文本特征与行为特征进行联合，对评论的时序联合特征进行再提取，得到待检测评论在各个实体中的特征向量表示形式；步骤5，融合待检测评论在不同实体中的特征向量，学习新的特征并构建分类器，进行虚假评论和正常评论的判定。

所述的检测方法，其中步骤1包括：将评论数据集中的所有评论按照用户分组并依据发布时间进行排序，取用户u在发布待检测评论r之前已发布的k条评论，表示为：

u_r＝{r_uk,r_u(k-1),…,r_u2,r_u1,r},

u_r为待检测评论r与其对应用户u在待检测评论r之前最新发布的k条评论的集合；

将评论数据集中的所有评论重新按照产品分组并依据发布时间先后进行排序，将产品p在获得待检测评论r之前获得的m条评论表示为：

p_r＝{r_pm,r_p(m-1),…,r_p2,r_p1,r}。

所述的检测方法，其中步骤2对于u_r和p_r中的每一条评论，使用卷积神经网络自动学习来自于评论内容的文本特征，具体过程包括：首先，使用预训练好的word2vec模型，将单条评论中的每个单词转换成300维的向量，经过多核卷积、池化、全连接操作，最终学习到单评论的文本特征输出；

假设评论r＝{w₁,w₂,…,w_n}，即包含n个单词，第i个单词w_i经过word2vec模型后得到一个维度为300的向量E(w_i)＝[e_i,1,e_i,2,…,e_i,300]，如此，评论r可被表示为300×n的向量矩阵E(r)＝[E(w₁),E(w₂),…,E(w_n)]；对向量矩阵E(r)进行卷积神经网络处理，在经过卷积神经网络处理之后，得到一个新的特征向量

其中l是卷积核个数，

是E(r)经过第i个卷积核得到特征图并进行了池化之后的输出，然后将Fe(r)进行全连接，得到r的文本特征Te(r)＝[c₁,c₂,…,c_d]，其中，ci表示一个特征，d为设定的文本特征数量。

所述的检测方法，其中步骤3包括：每条评论从用户层面提取6个行为特征；基于产品为每条评论提取6个行为特征；从评论行为出发，每条评论提取5个行为特征；将单条评论r的行为特征表示为17维的向量q(r)，该向量q(r)包括以上17个行为特征。

所述的检测方法，其中步骤4包括：经由上述步骤2和3提取到每一条评论的文本特征和多实体行为特征后，对于用户实体和产品实体，根据每条评论的时序表示u_r和pr中所有评论的文本特征与相应行为特征，利用LSTM自动学习每条评论的不同实体时序特征，得到评论在不同实体中的最终特征表示。

所述的检测方法，其中：对于评论实体，直接连接待检测评论r的文本特征与行为特征作为最终的实体特征表示：

对于用户实体，待检测评论r的时序表示u_r中存在有k条评论，第i条评论表示为r_ui，设利用步骤2所述方法提取的d维文本特征为Te(r_ui)，使用步骤3所述方法提取的行为特征为q(r_ui)，连接Te(r_ui)，q(r_ui)，得到r_ui的联合特征表示：

则评论r在用户实体中的时序联合特征表示v(u_r)为：

v(u_r)＝[x_u1,x_u2,…,x_uk]

r在产品实体中的时序表示p_r中存在m条评论，第i条评论表示为r_pi，设利用步骤2所述方法提取的d维文本特征为Te(r_pi)，使用步骤3所述方法提取的行为特征为q(r_pi)，连接Te(r_pi)，q(r_qi)，得到r_pi的联合特征表示：

则评论r在产品实体中的时序联合特征表示v(p_r)＝[x_p1,x_p2,…,x_pm]；

将评论r的时序联合特征v(u_r)和v(p_r)传入长短期记忆网络LSTM，经过LSTM自动学习得到时序上更深层次的用户和实体特征表示：V(u_r)和V(p_r)。

所述的检测方法，其中步骤4包括：

将评论R在用户实体中的时序联合特征v(u_r)输入LSTM，若t时刻输入为x_ut，遗忘门f_t决定丢弃或保留的信息：

f_t＝σ(W_f·(h_t-1,x_ut)+b_f)

输入门i_t用于更新神经元状态：

i_t＝σ(W_i·(h_t-1,x_ut)+b_i)

当前神经元状态C_t表示为：

C_t＝f_t·C_t-1+i_t·tanh(W_C·(h_t-1,x_ut)+b_C)

输出门o_t用来确定下一个隐藏状态的值：

o_t＝σ(W_o·(h_t-1,x_ut)+b_o)

最终得到当前神经元输出h_t：

h_t＝o_t·tanh(C_t)

其中W_f,W_i,W_C,W_o表示权重，b_f,b_i,b_C,b_o表示偏差，h_t-1表示上个时刻的输出，C_t-1表示上个时刻的神经元状态，tanh为激活函数，σ表示sigmod函数；

经过上述LSTM步骤的自动学习，将得到时序上更深层次的用户特征表示V(u_r)，该特征表示为LSTM最后时刻的神经元输出；

将评论R在产品实体中的时序联合特征v(p_r)输入LSTM，自动学习到时序上更深层次的用户特征表示V(p_r)，该特征表示为以v(p_r)为输入的LSTM最后时刻的神经元输出。

所述的检测方法，其中步骤5包括：以步骤3从待检测评论本身提取到的特征向量V(r)为主体，附加以步骤4得到的基于用户的更深层次的特征表示V(u_r)与基于产品的更深层次的特征表示V(p_r),三者进行级联后，形成了新的特征向量

获得单条评论的最终特征表示Q(r)后，使用softmax构建分类器得到单条评论的分类结果:

y＝soft max(W_cQ(r)+b_c)

其中W_c和b_c为模型参数，y为输出类标签的概率分布，即输入特征向量Q(r)所对应评论是虚假类和正常类的概率分布，当得到待检测评论为虚假类的概率值大于该评论为正常类的概率值时，即判断该评论为虚假评论。

附图说明

图1为本发明基于LSTM多实体特征融合的虚假评论检测方法的流程图；

图2为评论时序预处理示意图；

图3为基于CNN的文本特征提取示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细说明。

本发明中会用到评论数据集，其中包含评论、用户、产品三种实体。评论实体包含评论内容、发布时间、发布人、评价对象等属性；用户实体包含评价过的产品、评价过的评论、注册时间、注册地等属性；产品实体包括评论数量、评论人数、注册时间、所在地、总体评分等属性。

如图1-3所示，本发明基于LSTM多实体特征融合的虚假评论检测方法主要包括五个步骤：步骤1，将评论按用户和产品分别进行分组，并根据发布时间进行排序，提取待检测评论基于产品实体的评论序列和基于用户实体的评论序列；步骤2，对每个实体中的评论进行向量化，使用卷积神经网络提取文本特征；步骤3，根据相关行为分析，对每个实体的每条评论的行为特征进行提取；步骤4，将每个实体中每条评论的文本特征与行为特征进行联合，得到每条评论的实体联合特征向量，然后使用LSTM对评论的时序联合特征进行再提取，得到待检测评论在各个实体中的最终时序特征向量表示形式；步骤5，融合待检测评论在不同实体中的特征向量，学习新的特征并构建分类器，实现虚假评论和正常评论的最终判定。

具体来说：

步骤1.基于时序的评论预处理

本发明从用户和产品两个方面对待检测评论的历史痕迹进行分析，提取评论在时序上的潜在特征，用于更有效的虚假评论检测。因此，本发明将首先对用户和产品实体中的评论进行预处理，如图2所示。

将评论数据集中的所有评论按照用户分组并依据发布时间进行排序，取用户u在发布待检测评论r之前已发布的k条评论，表示为：

u_r＝{r_uk,r_u(k-1),…,r_u2,r_u1,r},

u_r为待检测评论r与其对应用户u在待检测评论r之前最新发布的k条评论的集合，该集合直接作为待检测评论r在用户实体上的时序表示。在本发明中，k的取值范围可以是4-10，优选的k＝6。

将评论数据集中的所有评论重新按照产品分组并依据发布时间先后进行排序，将产品p在获得待检测评论r之前获得的m条评论表示为：

p_r＝{r_pm,r_p(m-1),…,r_p2,r_p1,r}.

p_r即为待检测评论r在产品实体上的时序表示。在本发明中，m的取值范围可以是15-30，优选的m＝20。

步骤2：文本特征提取

对于u_r和p_r中的每一条评论，使用卷积神经网络(CNN)自动学习来自于评论内容的文本特征，具体过程如图2所示。首先，为了将单词转换成向量以进行下一步操作，使用了预训练好的word2vec模型，将单条评论中的每个单词转换成300维的向量，从而将整条评论文本转换成一个向量矩阵(即进行了词向量编码)，将评论内容进行词向量编码后，经过多核卷积、池化、全连接操作，最终学习到单评论的文本特征输出。

假设评论r＝{w₁,w₂,…,w_n}，即包含n个单词，第i个单词w_i经过word2vec模型后得到一个维度为300的向量E(w_i)＝[e_i,1,e_i,2,…,e_i,300]，如此，评论r可被表示为300×n的向量矩阵E(r)＝[E(w₁),E(w₂),…,E(w_n)]。对向量矩阵E(r)进行卷积神经网络处理，在经过卷积神经网络处理之后，得到一个新的特征向量

其中l是卷积核个数，

是E(r)经过第i个卷积核得到特征图并进行了池化之后的输出。然后将Fe(r)进行全连接，得到r的文本特征Te(r)＝[c₁,c₂,…,c_d]，其中，ci表示一个特征，d为设定的文本特征数量。

步骤3：行为特征提取

u_r和p_r中的每一条评论在不同的实体中呈现出不同的行为特征。本发明根据前人的研究，从评论、用户和商品三个层面，采用相应的专家知识，为u_r和p_r中的每条评论分别提取三类行为特征。具体如下：

表1基于用户或者产品的行为特征

表2基于评论行为特征

如表1所示，每条评论从用户层面提取6个行为特征，依次为：一天内发布的最大评论数量(MNR)、正面评价的比例(PR)、负面评价的比例(NR)、平均偏差率(avgRD)、用户评价分数的分布的熵(ERD)、突发性(BST)。同理，基于产品每条评论提取6个类似的产品实体关联的行为特征。

根据表2所示，从评论行为出发，每条评论提取5个行为特征，依次为：在所有商品评论中的次序(Rank)、评分偏差率的绝对值(RD)、评分的极端性(EXT)、带阈值的评分偏差率(DEV)、是否为单例(ISR)。

通过上述方法，为评论r提取到5个基于评论的行为特征，6个基于用户的行为特征，6个基于产品的行为特征，因此，最后，单条评论r的行为特征可表示为17维的向量q(r)，该向量q(r)包括以上17个行为特征。

步骤四：时序特征提取

经由上述步骤2和3提取到每一条评论的文本特征和多实体行为特征后，对于用户实体和产品实体，根据每条评论的时序表示u_r和p_r中所有评论的文本特征与相应行为特征，利用LSTM自动学习每条评论的不同实体时序特征，得到评论在不同实体中的最终特征表示。

对于评论实体，直接连接待检测评论r的文本特征与行为特征作为最终的实体特征表示：

对于用户实体，待检测评论r的时序表示u_r中存在有k条评论，第i条评论表示为r_ui，设利用步骤2所述方法提取的d维文本特征为Te(r_ui)，使用步骤3所述方法提取的行为特征为q(r_ui)，连接Te(r_ui)，q(r_ui)，得到r_ui的联合特征表示：

则评论r在用户实体中的时序联合特征表示v(u_r)为：

v(u_r)＝[x_u1,x_u2,…,x_uk]

类似的，r在产品实体中的时序表示p_r中存在m条评论，第i条评论表示为r_pi，设利用步骤2所述方法提取的d维文本特征为Te(r_pi)，使用步骤3所述方法提取的行为特征为q(r_pi)，连接Te(r_pi)，q(r_qi)，得到r_pi的联合特征表示：

则评论r在产品实体中的时序联合特征表示为v(p_r)＝[x_p1,x_p2,…,x_pm]。通常，同一产品对应的评论数量远大于同一用户对应的评论数量，因此，在提取产品实体上时序联合特征时，关联分析的评论数量要多于提取用户实体上时序联合特征时关联分析的评论数量，即通常取m＞k。

评论r的时序表示u_r与p_r中关联的评论在步骤1中已按照发生时间进行过排序，因此每条评论可以被认为是一个时刻,即评论r在用户和产品实体上的时序联合特征项x_Si(S∈(u,p))表示每个时刻，因此，评论r的时序联合特征表示为v(S_r)其中S∈(u,p)即为一个时间序列。为了从评论r的时序联合特征学习到更有效的深层特征，本发明采用LSTM进行时序特征提取。

LSTM是循环神经网络的一种,继承了大部分RNN模型的特性，同时解决了梯度反传过程由于逐步缩减而产生的Vanishing Gradient问题，被广泛应用于时间序列数据分析。LSTM的单个神经元包含有三个门：遗忘门，输入门，输出门。将评论R在用户实体中的时序联合特征v(u_r)输入LSTM，若t时刻输入为x_ut，遗忘门f_t决定丢弃或保留的信息：

f_t＝σ(W_f·(h_t-1,x_ut)+b_f)

输入门i_t用于更新神经元状态：

i_t＝σ(W_i·(h_t-1,x_ut)+b_i)

当前神经元状态C_t表示为：

C_t＝f_t·C_t-1+i_t·tanh(W_C·(h_t-1,x_ut)+b_C)

输出门o_t用来确定下一个隐藏状态的值：

o_t＝σ(W_o·(h_t-1,x_ut)+b_o)

最终得到当前神经元输出h_t：

h_t＝o_t·tanh(C_t)

其中W_f,W_i,W_C,W_o表示权重(可通过训练得到)，b_f,b_i,b_C,b_o表示偏差(可通过训练得到)，h_t-1表示上个时刻的输出，C_t-1表示上个时刻的神经元状态，tanh为激活函数，σ表示sigmod函数。

经过上述LSTM步骤的自动学习，将得到时序上更深层次的用户特征表示V(u_r)，该特征表示为LSTM最后时刻的神经元输出。

类似地，将评论R在产品实体中的时序联合特征v(p_r)输入LSTM，将自动学习到时序上更深层次的用户特征表示V(p_r)，该特征表示为以v(p_r)为输入的LSTM最后时刻的神经元输出。

步骤5：多实体特征融合与分类

本发明的最终目的是对待检测评论进行是否为虚假评论的判断，因此，对根据步骤2,3,4所述步骤获得的多个不同类型的实体特征进行融合再分类。

对于单条评论而言，它是评论者针对某个产品而发布的相关文本内容，是评论文本、用户、产品三者的结合，包含了三者的对应关系。在进行特征融合时，以步骤3从待检测评论本身提取到的特征向量V(r)为主体，附加以步骤4得到的基于用户的更深层次的特征表示V(u_r)与基于产品的更深层次的特征表示V(p_r)。三者进行级联后，形成了新的特征向量

该特征向量作为单条评论的最终特征表示形式。

获得单条评论的最终特征表示Q(r)后，本发明使用softmax构建分类器得到单条评论的分类结果。

y＝soft max(W_cQ(r)+b_c)

其中W_c和b_c为模型参数，y为输出类标签的概率分布，即输入特征向量Q(r)所对应评论是虚假类和正常类的概率分布。当得到待检测评论为虚假类的概率值大于该评论为正常类的概率值时，即判断该评论为虚假评论。

本发明通过上述五个步骤，分别从评论本身、用户实体和产品实体三个方面进行了特征的学习，通过多个实体特征的融合，实现了对虚假评论的高精度检测。当发表评论的用户行为信息稀疏时，通过多实体特征融合，引入了该评论对应产品的相关评论的特征信息，从而提升了用户行为信息缺乏情况下的虚假评论检测准确度。

对比实验仿真：

表3为在Yelp数据集hotels领域上，本发明提出的方法与其他虚假评论检测方法的检测结果。检测性能的评估采用的是检测精确度(p)、召回率(R)、F1值(F1)和准确度(A)作为评价指标。

Yelp数据集是第一个兼具商业性与ground truth的数据集。Yelp.com是一个商业性的评论收集网站，其虚假评论过滤算法成熟、准确率高，获得了工业界和学术界的认可。Yelp.com并没有公布其算法细节，但公布了其对评论过滤的结果。基于Yelp.com过滤算法的业界认可度和多年开发的成熟性，该数据集是目前在商业真实性与ground truth性之间，做出较好平衡的一个数据集。Yelp-hotels包括有来自于283291家宾馆，由5132名用户作出的688329条评论，其中有标注的数据为5679条，802条虚假评论，4876条正常评论。

对比的方法分别为Rayana等提出的基于图结构的模型SPEAGLE+、Mukherjee等提出的方法MK_BF和MK_BF+Bigram、Wang等提出的基于张量分解的方法W_VBF+Bigram。

从表3中的实验结果可以看出，本发明方法在检测准确度上相比于对比方法有了较大的提升，检测精确度也远高于所有对比方法，同时，F1值也为最优结果。因此，实验结果证明了本发明是一种能有效检测出虚假评论的方法。

表3对比实验结果

通过本发明，能够联合基于CNN文本特征与行为特征，从时间序列上使用LSTM(长短期记忆网络)自动学习每条评论在不同实体上的深层特征表示；将评论本身、用户、产品三种实体的深层特征进行融合，实现了虚假评论的高精度检测；一定程度上解决了当发表评论的用户行为信息稀疏引起检测效果不佳的问题，提高了虚假评论检测方法的性能。

Claims (2)

1.一种基于LSTM多实体特征融合的虚假评论检测方法，其特征在于包括以下步骤：步骤1，将评论按用户和产品分别进行分组，提取待检测评论基于产品实体的评论序列和基于用户实体的评论序列；步骤2，对每个实体中的评论进行向量化，使用卷积神经网络提取文本特征；步骤3，根据相关行为分析，对每个实体的每条评论的行为特征进行提取；步骤4，将每个实体中每条评论的文本特征与行为特征进行联合，对评论的时序联合特征进行再提取，得到待检测评论在各个实体中的特征向量表示形式；步骤5，融合待检测评论在不同实体中的特征向量，学习新的特征并构建分类器，进行虚假评论和正常评论的判定。

2.根据权利要求1所述的检测方法，其特征在于步骤1包括：将评论数据集中的所有评论按照用户分组并依据发布时间进行排序，取用户u在发布待检测评论r之前已发布的k条评论，表示为：

u_r＝{r_uk,r_u(k-1),…,r_u2,r_u1,r},

u_r为待检测评论r与其对应用户u在待检测评论r之前最新发布的k条评论的集合；

将评论数据集中的所有评论重新按照产品分组并依据发布时间先后进行排序，将产品p在获得待检测评论r之前获得的m条评论表示为：

p_r＝{r_pm,r_p(m-1),…,r_p2,r_p1,r}。

Images