CN111640033A - 一种网络水军的检测方法及装置 - Google Patents

Abstract

本发明属于网络水军检测技术领域，特别涉及一种网络水军的检测方法及装置，该方法通过网络爬虫爬取信息，然后用实体识别等知识图谱技术构建用户网络结构图，再利用用户网络结构图进行分析找出可疑水军用户，最后对可疑水军用户的评论信息利用BERT模型进行分析，确定水军用户。本发明提高了在海量数据情况下检测收敛性及准确率，不需要提供太多的特征，减少特征提取复杂程度，大大减少了模型训练时间，快速、准确的检测出网络评论中的水军，从而可以尽量维护网络的真实和稳定性。

Description

一种网络水军的检测方法及装置

技术领域

本发明属于网络水军检测技术领域，特别涉及一种网络水军的检测方法及装置。

背景技术

随着互联网技术的高速发展，社交软件的广泛应用，信息传播模式和服务模式已发生了重大改变，每个人都可以成为信息的生产者和传播者。信息传播的速度快，范围广，自由性强等特性更使得舆情监管成为日益突出的问题。研究发现，社交网络中大量的热门事件，电商平台中商家高销量的背后都离不开网络水军的操纵。亚马逊，淘宝等电商平台的意见用户也是网络水军的一种，例如，淘宝平台中，商家雇佣大量水军进行刷销量，写好评已达到提升店铺销量，店铺信誉度等目的。

现在网络水军的识别方法主要有两类，一类是基于动态特征的，主要通过分析用户的属性和行为信息进行识别，第二类是基于静态特征的，主要通过分析信息内容进行判断。前者虽然计算量小，速度较快但后者较前者在准确率方面有所提升，但是由于涉及到自然语言处理技术，计算开销较大，效率有所下降。

发明内容

为了解决现有技术中存在的问题，本发明的目的是提供一种网络水军的检测方法及装置，提高了在海量数据情况下检测收敛性及准确率，不需要提供太多的特征，减少特征提取复杂程度，大大减少了模型训练时间，快速、准确的检测出网络评论中的水军，从而可以尽量维护网络的真实和稳定性。

为解决上述技术问题，本发明采用以下的技术方案：

本发明提供了一种网络水军的检测方法，其特征在于，包含以下步骤：

通过网络爬虫爬取信息；

构建用户网络结构图；

利用用户网络结构图进行分析找出可疑水军用户；

对可疑水军用户的评论信息进行分析，确定水军用户。

进一步地，通过网络爬虫获取商家、用户、商品三类节点信息，包括商家地理位置信息、用户评论时间信息、评论内容信息和商品信息。

进一步地，构建用户网络结构图包含以下内容：

步骤A、构建异质网络关系图；

构建异质网络关系图G＝(V，E)，V为网络中节点的集合，E为网络中边的集合，购买、评论、用户间互赞视为节点间关系；

步骤B、由淘宝数据构成的基于节点之间的元路径将异质网络关系图转化为多个同质网络关系子图，具体如下：

网络模式T_G是带有节点类型映射f：V→A和链接映射r：E→R的异质信息网络G＝(V，E)的元模板，其中A为V在映射f下的象，R为E在映射r下的象；元路径是定义在网络模式T_G＝(A，R)上的节点间的路径；

选取异质网络关系图的邻接矩阵中的一部分作为某一类节点与其他节点间的关系阵；

基于关系阵，将由共同邻居决定的同类节点间的相似性矩阵表示如下：

其中，

为异质信息网络某一类节点与其它类节点的关系阵，

是

的转置矩阵，Φ表示节点类型，有Φ＝{c,g,s}，c表示用户，节点数为p个，g表示商品，节点数为k个，s表示商家，节点数为w个，异质信息网络包含n个节点，n＝w+k+p，n_i表示某类型节点的节点数，有n_i∈{w,k,p}，取n_i＝p且m＝n-n_i，

中的元素表示同类节点间长度为二的元路径数；

基于共同邻居的元路径的语义信息，得到同类节点间的相似性矩阵表示如下：

其中，

表示设置好权重的关系阵，由带权关系子阵

通过右侧拼接组合而成，α_j表示每一个关系子阵的权重系数，n_j∈{w,k}，矩阵

表示相邻同类节点间的关联程度，矩阵中对应的元素作为同类节点间连边的权重，构建出带权重的用户关系的同质网络关系子图。

进一步地，在步骤B之后还包括：

基于用户关系的同质网络关系子图，使用随机游走策略获取包含语义信息和结构信息的节点序列；

再利用Skip-gram模型将节点转化为向量；

最后使用K-means算法实现节点聚类得到用户网络结构图。

进一步地，利用用户网络结构图进行分析找出可疑水军用户具体包括：

由于正常用户与网络水军用户的网络结构不同，所以最终利用水军网络与正常网络结构特征不同找出可疑水军用户。

进一步地，使用BERT模型对可疑水军用户的评论信息进行分析，判断是否为水军用户。

本发明还提供了一种网络水军的检测装置，包括：

信息爬取模块，用于通过网络爬虫爬取信息；

用户网络结构图构建模块，用于构建用户网络结构图；

可疑水军用户查找模块，用于利用用户网络结构图进行分析找出可疑水军用户；

水军用户判断模块，用于对可疑水军用户的评论信息进行分析，确定水军用户。

与现有技术相比，本发明具有以下优点：

本发明的网络水军的检测方法，通过网络爬虫爬取信息，然后用实体识别等知识图谱技术构建用户网络结构图，再利用用户网络结构图进行分析找出可疑水军用户，最后对可疑水军用户的评论信息利用BERT模型进行分析，确定水军用户，本发明能够在海量数据中快速、准确的找到水军用户，从而可以尽量维护网络的真实和稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例网络水军的检测方法的流程图；

图2是本发明实施例网络水军的检测装置的结构图；

图3是本发明实施例的网络模式图；

图4是本发明实施例的元路径c-g-c的网络图；

图5是本发明实施例的某一关系网络图；

图6是异质网络关系图转化为同质网络关系子图的示意图；

图7是全局聚类系数计算示例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例的网络水军的检测方法，包含以下步骤：

步骤S1，通过网络爬虫爬取信息；

以淘宝为例，使用网络爬虫技术获取商家、用户、商品三类节点信息，包括商家地理位置信息、用户评论时间信息、评论内容信息和商品信息。

步骤S2，构建用户网络结构图，具体包含以下分步骤：

步骤S21，构建异质网络关系图；

构建异质网络关系图G＝(V，E)，V为网络中节点的集合，三类节点分别用B(商家)、C(用户)、D(商品)表示，E为网络中边的集合，购买、评论、用户间互赞视为节点间关系，基于此构建一个异质网络关系图。三类节点，且不同节点之间具有不同类型的连边，不同的连边又包含着不同的语义信息，假设淘宝平台有多家商店，{x₁，x₂，.....,x_w}，w个商家节点，每个商家店铺中会有多种商品，{s₁，s₂，......,s_k}，k件商品，每件商品都会有不止一个买家，{v₁，v₂，......,v_p}，p位用户。

步骤S22，由淘宝数据构成的基于节点之间的元路径将异质网络关系图转化为多个同质网络关系子图，如图6所示，具体如下：

网络模式T_G是带有节点类型映射f：V→A和链接映射r：E→R的异质信息网络G＝(V，E)的元模板，其中A为V在映射f下的象，R为E在映射r下的象，如图3所示；元路径是定义在网络模式T_G＝(A，R)上的节点间的路径，如图3所示，图中所示元路径为c-g-c，代表同一款商品被用户1和用户2评论。相邻同类节点一般具有相同语义信息，定义为通过其他类型节点相连的同一类型节点，如图4所示，元路径c-g-c代表用户1和用户2评论同一款商品。

本实施例只考虑一阶路径，根据同类型节点间不同元路径的语义信息为不同元路径设置权重，再根据权重及路径数构建同质网络关系子图。选取异质网络关系图的邻接矩阵中的一部分作为某一类节点(本实例选取用户)与其他节点间的关系阵，如图5所示，图5为举例的某一关系网络图，该网络的关系子阵可表示如下：

其中，A¹表示商品与用户的关系子阵，A²表示商品与商家的关系子阵，g₁代表商品1，g₂代表商品2。

对于由商品、用户和商家构成的异质信息网络G＝(V，E)，网络包含|V|＝n个节点，类型为c(用户)的节点数有p个，类型为g(商品)的节点数有k个，类型为s(商家)的节点数有w个。基于关系阵，将由共同邻居决定的同类节点间的相似性矩阵表示如下：

其中，

为异质信息网络某一类节点(用户)与其它类节点的关系阵，

是

的转置矩阵，Φ表示节点类型，有Φ＝{c,g,s}，n_i表示某类型节点的节点数，有n_i∈{w,k,p}，在本实例中n_i＝p，且m＝n-n_i，

中的元素表示同类节点间长度为二的元路径数。

同类节点的共同邻居不可能只有一种类型，即同类节点间具有相同长度的不同元路径，如图5所示，网络中商品之间的共同邻居可以是用户也可以是商家，而通过元路径“商品-用户-商品(g-c-g)”和“商品-商家-商品(g-s-g)”连接的商品间的相似性显然不同，所以可以赋予不同的

权重，n_j∈{w,k}，α_j表示每一个关系子阵的权重系数。

因此，将网络中的用户与商品、商家等节点的关系阵设置不同的权重，然后通过右侧拼接带权关系子阵得到关系阵

根据基于共同邻居的元路径的语义信息，得到同类节点间的相似性矩阵表示如下：

其中，

表示设置好权重的关系阵，由带权关系子阵

通过右侧拼接组合而成，矩阵

表示相邻同类节点间的关联程度，矩阵中对应的元素作为同类节点间连边的权重，构建出带权重的用户关系的同质网络关系子图。

步骤S23，基于用户关系的同质网络关系子图，使用随机游走策略获取包含语义信息和结构信息的节点序列。

步骤S24，利用Skip-gram模型将节点转化为向量。

步骤S25，使用K-means算法实现节点聚类得到用户网络结构图。

步骤S3，利用用户网络结构图进行分析找出可疑水军用户；

由于正常用户与网络水军用户的网络结构不同，所以最终利用水军网络与正常网络结构特征不同找出可疑水军用户。

全局聚类系数用来衡量网络结构的紧密程度，正常用户对评价商家没有时间及商家群体的限制，而水军用户是通过水军任务来决定评论对象，导致水军之间会评论更多的相同用户，而且水军用户多为团队合作完成任务，从而导致其网络结构较正常用户网络结构更紧密。如图7所示为全局聚类系数计算示例，图中{1,(2,3)}构成的状态是封闭的，{3,(4,5)}构成的状态是开放的，以上图为例：

封闭状态：{1,(2,3)}，{2,(1,3)}，{3,(1,2)}

所有状态：{1,(2,3)}，{2,(1,3)}，{3,(1,2)}，{3,(2,4)}，{3,(1,5)}，{3,(4,5)}，{3,(2,5)}，{3,(1,4)}

步骤S4，使用BERT模型对上述筛选出的可疑水军用户的评论信息进行分析，基于内容层面主要使用当前主流的谷歌开源预处理模型BERT模型对可疑水军用户的评论进行分析，统计出该可疑水军的垃圾评论总数，若垃圾评论总数/阈值>1，确定为水军用户。

模型训练过程：为了得到真实有效的数据，从淘宝平台和京东平台上共抓取8901篇评论，除去垃圾评论881篇剩余8020篇。虚假评论1916篇，标签为0。真实评论6104篇，标签为1。其中80％作为训练，20％作为测试集。分五折进行训练，训练三个轮次后得到分类模型。检测阶段，将可疑用户的历史评论均作为检测文本送入分类模型，进行统计分类。若单个用户所有评论信息中有50％为虚假评论，则判为水军用户。

与上述网络水军的检测方法相应地，本实施例还提出一种种网络水军的检测装置，如图2所示，包括：

信息爬取模块21，用于通过网络爬虫爬取信息；

用户网络结构图构建模块22，用于构建用户网络结构图；

可疑水军用户查找模块23，用于利用用户网络结构图进行分析找出可疑水军用户；

水军用户判断模块24，用于对可疑水军用户的评论信息进行分析，确定水军用户。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种网络水军的检测方法，其特征在于，包含以下步骤：

通过网络爬虫爬取信息；

构建用户网络结构图；

利用用户网络结构图进行分析找出可疑水军用户；

对可疑水军用户的评论信息进行分析，确定水军用户。

2.根据权利要求1所述的网络水军的检测方法，其特征在于，通过网络爬虫获取商家、用户、商品三类节点信息，包括商家地理位置信息、用户评论时间信息、评论内容信息和商品信息。

3.根据权利要求2所述的网络水军的检测方法，其特征在于，构建用户网络结构图包含以下内容：

步骤A、构建异质网络关系图；

构建异质网络关系图G＝(V，E)，V为网络中节点的集合，E为网络中边的集合，购买、评论、用户间互赞视为节点间关系；

步骤B、由淘宝数据构成的基于节点之间的元路径将异质网络关系图转化为多个同质网络关系子图，具体如下：

网络模式T_G是带有节点类型映射f：V→A和链接映射r：E→R的异质信息网络G＝(V，E)的元模板，其中A为V在映射f下的象，R为E在映射r下的象；元路径是定义在网络模式T_G＝(A，R)上的节点间的路径；

选取异质网络关系图的邻接矩阵中的一部分作为某一类节点与其他节点间的关系阵；

基于关系阵，将由共同邻居决定的同类节点间的相似性矩阵表示如下：

其中，

为异质信息网络某一类节点与其它类节点的关系阵，

是

的转置矩阵，Φ表示节点类型，有Φ＝{c,g,s}，c表示用户，节点数为p个，g表示商品，节点数为k个，s表示商家，节点数为w个，异质信息网络包含n个节点，n＝w+k+p，n_i表示某类型节点的节点数，有n_i∈{w,k,p}，取n_i＝p且m＝n-n_i，

中的元素表示同类节点间长度为二的元路径数；

基于共同邻居的元路径的语义信息，得到同类节点间的相似性矩阵表示如下：

其中，

表示设置好权重的关系阵，由带权关系子阵

通过右侧拼接组合而成，α_j表示每一个关系子阵的权重系数，n_j∈{w,k}，矩阵

表示相邻同类节点间的关联程度，矩阵中对应的元素作为同类节点间连边的权重，构建出带权重的用户关系的同质网络关系子图。

4.根据权利要求3所述的网络水军的检测方法，其特征在于，在步骤B之后还包括：

基于用户关系的同质网络关系子图，使用随机游走策略获取包含语义信息和结构信息的节点序列；

再利用Skip-gram模型将节点转化为向量；

最后使用K-means算法实现节点聚类得到用户网络结构图。

5.根据权利要求4所述的网络水军的检测方法，其特征在于，利用用户网络结构图进行分析找出可疑水军用户具体包括：

由于正常用户与网络水军用户的网络结构不同，所以最终利用水军网络与正常网络结构特征不同找出可疑水军用户。

6.根据权利要求5所述的网络水军的检测方法，其特征在于，使用BERT模型对可疑水军用户的评论信息进行分析，判断是否为水军用户。

7.一种网络水军的检测装置，其特征在于，包括：

信息爬取模块，用于通过网络爬虫爬取信息；

用户网络结构图构建模块，用于构建用户网络结构图；

可疑水军用户查找模块，用于利用用户网络结构图进行分析找出可疑水军用户；

水军用户判断模块，用于对可疑水军用户的评论信息进行分析，确定水军用户。

Images