CN109710754A - 一种基于深度结构学习的群体异常行为检测方法 - Google Patents

Abstract

本发明公开一种基于深度结构学习的群体异常行为检测方法，属于计算机信息技术领域，本方法根据用户对商品的评价行为构建二部图，该图中的源节点代表用户账户，汇节点代表商品，有向边代表用户对商品的反馈记录；将源节点和汇节点同时嵌入到同一欧式空间中，得到所有节点的低维表示；对节点的低维表示进行聚类，得到的异常簇即为检测出的异常群体及其异常行为。利用深层次的网络拓扑结构信息，实现在不给定异常群体数量作为先验的条件时，完成多异常群体检测的任务，同时提高检测的准确性和扩展性。

Description

一种基于深度结构学习的群体异常行为检测方法

技术领域

本发明涉及计算机信息技术领域，具体涉及一种基于深度结构学习的群体异常行为检测方法。

背景技术

随着互联网的蓬勃发展，电商平台的交易量越来越大。在线用户对于商品的评价和评分通常会对潜在的用户产生很大的影响，所以目前网络上的虚假评论越来越多。欺诈群体大规模地步调一致地多次评论目标物品，一方面可以达到迅速提高目标物品的影响力目的，另一方面，可以通过分摊降低单一欺诈者的出度以规避被检测的风险。因此，检测欺诈群体的任务可以转化为二部图中密度块检测任务，其中源节点代表用户账户，汇节点代表物品，有向边代表用户对物品的反馈记录。为了利用更多的信息抓取异常密度块，目前很多现有方法不仅利用二部图的结构信息，同时也利用节点上、连边上的属性信息，例如时间戳，文本信息等等。

节点以及连边上丰富的属性信息可以用于分辨正常用户和欺诈者，通过抓取欺诈者和剩余用户间评分的差别以识别评论网络中的欺诈者[1]。另外，评论中多样的文本信息特征，例如评论的长度[2]、文本的相似性近年来被广泛用于欺诈者检测。另外，基于张量的方法[3]可以将连边上的信息，例如IP地址，评分以及时间信息纳入到多维张量的公式中。

HoloScope[4]是由Shenghua Liu提出的一种能够结合拓扑结构信息以及时间戳信息的欺诈群体检测的方法。在拓扑结构信息的利用方面，HoloScope加入“对比可疑”的动态加权方法，可以更准确的检测到密度块，特别是在低密度块的检测方面。而在时间信息的利用方面，该方法利用sleep beauty技术找到每个物品评论反馈突然增加以及下降的时间点。对应于真实网络中欺诈者易集中时间提高目标物品热度的现象。在评分角度的处理上，该方法整合了评分分数的偏差。同时，HoloScope方法具有良好的扩展性和重复性。虽然HoloScope在检测单一异常密度块方面达到了很好的效果，但是其在多异常块检测的实验中表现却差强人意。该异常检测方法更倾向于将不同的异常块检测为同一个异常块，对不同的异常群体没有区分能力。另外，HoloScope方法不仅利用了拓扑结构信息，还利用了连边上的属性信息。由于目前欺诈者可以通过更改属性信息逃避检测系统的检测，所以该检测方法具有被欺诈者欺瞒的隐患。

一方面，由于属性信息易被欺诈者篡改，所以不具有较高的可信性。另一方面，在现实的应用中，相较于拓扑结构信息，属性信息的获取并不容易。所以，只利用拓扑结构信息进行异常检测更具有可行性。

大多数的群体异常检测方法通过寻找邻接矩阵中的密度块的方法完成群体异常检测任务[5]。[6]通过建立奇异值分解(SVD)检测出谱技术检测方法所遗漏的异常。

在现实网络中，如图1所示，欺诈者会采取对正常物品进行正常评论来伪装自己，使自己的行为更倾向于正常用户。为了抵抗这种伪装行为，2016年KDD最佳论文所提的方法FRAUDAR[7]并没有将图中的每条边的嫌疑程度设置为相等。而是认为如果节点i到一个度比较大的节点j，那么其间的连边C_ij的嫌疑降低，这是因为度较大的物品本身就很可能是受欢迎的。所以不仅仅需要关注度较大的节点，而是应该关注密度较大的子网络。所以FRAUDAR首先定义了一个全局度量表示子网络机构中每个点的平均可疑程度。然后通过移除二部图中的边，使得剩余网络结构对应的度量的值最大，这样就找到了最紧密的子网络。但是，该方法依旧没有能够解决多密度块检测的问题。

HoloScope和FRAUDAR代表了目前在异常块检测领域上最好效果。在真实网络中，用户－物品评价矩阵服从双曲分布，通过图2可以得知，若单纯地利用平均度的方法找寻异常块，效果非常不理想。FRAUDAR方法仍然存在一些偏差，而HoloScope只能达到将两个不同异常块看做一个异常块的效果。

目前的密度块检测方法只能保留浅层的拓扑结构信息，所以在使用中存在的问题是：

1.现有的方法大多数会利用属性信息，而网络中的属性信息易被欺诈者篡改且不易获取；

2.即使在给定异常群体数量作为先验的情况下，现有技术在检测多异常群体时依旧没有很好的效果；

3.只能利用浅层的拓扑结构信息，而浅层的拓扑结构信息易被欺诈者针对从而规避检测。

发明内容

本方法的目的是提供一种基于深度结构学习的群体异常行为检测方法，利用深层次的网络拓扑结构信息，实现在不给定异常群体数量作为先验的条件时，完成多异常群体检测的任务，同时提高检测的准确性和扩展性。

为达到上述目的，本发明采用如下技术方案：

一种基于深度结构学习的群体异常行为检测方法，步骤包括：

根据用户对商品的评价行为构建二部图，该图中的源节点代表用户账户，汇节点代表商品，有向边代表用户对商品的反馈记录；

将源节点和汇节点同时嵌入到同一欧式空间中，得到所有节点的低维表示；

对节点的低维表示进行聚类，得到的异常簇即为检测出的异常群体及其异常行为。

进一步地，利用无监督的深度网络嵌入模型，将源节点和汇节点同时嵌入到同一欧式空间中，该深度网络嵌入模型包括源节点自编码器、汇节点自编码器以及拉普拉斯约束，其中源节点自编码器和汇节点自编码器用于保留不同类型节点间的二阶相似性，拉普拉斯约束用于保留原网络中的一阶相似性。

进一步地，基于深度网络嵌入模型，得到源节点－汇节点矩阵，该矩阵的每一列表示对应的一源节点对于所有汇节点的可疑行为，则将该矩阵中的每一行作为源节点自编码器的输入部分，将该矩阵中的每一列作为汇节点自编码器的输入部分，通过自编码器的编码可以得到所有节点的低维表示。

进一步地，该深度网络嵌入模型的损失函数为：

其中，和表示源节点自编码器和汇节点自编码器的损失函数，是防止模型过拟合的正则项，α和η是用来平衡不同部分的损失函数的系数。

进一步地，通过基于密度的聚类方法对节点的低维表示进行聚类。

进一步地，该聚类方法采用DBSCAN算法。

一种基于深度结构学习的群体异常行为检测系统，该服务器包括存储器和处理器，该存储器存储计算机程序，该程序被配置为由该处理器执行，该程序包括用于执行上述方法中各步骤的指令。

一种存储计算机程序的计算机可读存储介质，该计算机程序包括指令，该指令当由服务器的处理器执行时使得该服务器执行上述方法中的各个步骤。

本发明的网络嵌入是面向异常群体检测任务的，能够准确抓取网络中所需的结构特征；通过无监督的深度网络嵌入模型使网络嵌入得到的低维表示保留源节点之间的相似性、汇节点之间的相似性以及源节点与汇节点之间的相似性，保留一阶、二阶相似性。本发明在单一异常块检测的任务中能够达到现有技术的水平，甚至效果更好；在多异常块检测的任务中不仅能够识别出异常群体，并且能够准确地区分出不同的异常群体间的区别，能够达到与单一异常块检测相同水准，而现有技术无法准确识别多个异常之间的区别。此为，不论是在连接比较稀疏的数据集上，还是在连接密度较大的数据集上，本发明方法都能取得很好的效果。

附图说明

图1是欺诈者的伪装方法示意图。

图2是现有技术效果示意图。

图3是异常群体检测流程示意图。

图4是深度神经网络框架图。

图5A-5C分别是F1值随参数α、半径∈、嵌入维度d变化的曲线图。

图6是本发明与现有技术取得的效果的对比图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。

本发明利用深度神经网络完成二部图网络的嵌入，结合基于密度的聚类方法，提出了一种基于深度结构学习的群体异常行为检测方法。

本发明所基于的现实假设为：欺诈者会对目标产品尽可能多地评论，而普通用户并不会对这些产品过多评论，本发明希望检测到图G＝(U,V,E)中所有的异常群组，群组中包含欺诈者团体以及对应的目标物品。

如图3所示，本发明的具体解决思路为：对于给定的二部图G＝(U,V,E)，首先将网络中的源节点和汇节点同时嵌入到同一欧式空间中，得到所有节点的低维表示，可以通过自编码器实现。接着，利用聚类的方法，例如DBSCAN方法，对节点的低维表示进行聚类，聚类得到的簇就是检测出的异常群体。

自编码器简介：

自编码器[8]是神经网络的一种，经过训练后能尝试将输入复制到输出，自编码器内部有一个隐藏层h，可以产生编码来表示输入。该网络可以看做由两部分组成：一个由函数h＝f(x)表示的编码器和一个生成重构的解码器r＝g(h)。如果一个自编码器只是简单地学会将输出设置为g(f(x))＝x，那么这个自编码器就没有特别的用处。所以需要向自编码器强加一些约束使得输入和输出并不完全相等。约束强制模型考虑输入数据的哪些部分需要被优先复制，从而能学习到数据中有用的特性。本发明在学习网络节点嵌入时利用的自编码器，限制h的维度比x小。通过训练使其对输入进行复制而使h获得有用的特性。学习欠完备的表示将强制自编码器捕捉训练中最需要的显著特征。

学习过程可以简单地描述为最小化一个损失函数：

L(x,g(f(x)))

其中L是一个损失函数，惩罚g(f(x))与x的差异，这里可以用均方误差。

DBSCAN算法简介：

DBSCAN[9]是一种基于密度的聚类算法，与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据中发现任意形状的簇。

算法描述：

输入：包含n个对象的训练数据集，半径∈，簇内最少数量MinPts；

输出：所有生成的簇；

1.Repeat；

2.从数据集中抽取一个未处理的点；

3.If抽取的点是核心点，找出所有从这点密度可达的对象，形成一个簇；

4.Else抽出的点是边缘点(非核心对象)，跳出本次循环，寻找下一个点；

5.Until所有的点都被处理。

本发明方法的详细流程：

网络嵌入是指将二部图网络中的节点嵌入到欧式空间中，保留二部图网络中大部分的拓扑结构信息，能够解决网络稀疏问题，并具有良好的扩展性。为了使网络嵌入得到的低维表示保留源节点之间的相似性、汇节点之间的相似性以及源节点与汇节点之间的相似性，构建了无监督的深度网络嵌入模型。如图4所示，该模型由三部分组成：源节点自编码器部分、汇节点自编码器部分以及拉普拉斯约束部分。源节点与汇节点两部分自编码器的网络结构、参数完全独立。

源节点－汇节点矩阵M＝{m₁，...，m_m}，其中表示源节点u_i对于所有汇节点v∈V的可疑行为，从而矩阵M的每一行可以保留每个源节点的结构信息。同理，矩阵M的每一列可以保留每个汇节点的结构信息。所以，将矩阵M的每一行x_i作为源节点自编码器的输入部分，将每一列y_j作为汇节点自编码器的输入部分。通过自编码器的编码可以得到节点的低维表示所以，通过两个自编码器部分保留不同类型节点间的二阶相似性。

为了保留原网络中的一阶相似性，在两个自编码器之间加入拉普拉斯约束部分，数学表示为：

式(1)中，P是网络中所有节点的低维表示组成的矩阵，拉普拉斯矩阵L＝D-A，其中单位矩阵D∈R^(m+n)×(m+n)，A是由矩阵M拼接得到的邻接矩阵。

最终，可以得到模型的损失函数：

其中和表示源节点自编码器和汇节点自编码器的损失函数，是防止模型过拟合的正则项，α和η是用来平衡不同部分的损失函数的系数。

原网络通过无监督的深度网络嵌入模型得到节点的低维表示，在嵌入的欧式空间中，普通用户和普通物品可以分散在空间中，而欺诈者团队以及目标产品由于一阶、二阶相似性，会在空间中形成密度较高的区域。接下来可以利用聚类的方法实现网络中的多群体异常检测问题。

基于深度神经网络的网络嵌入训练算法：

给定已知二部图和源节点-汇节点矩阵，首先利用深层信念网络对模型参数进行预训练；根据源节点-汇节点矩阵得到模型中自编码器的各自输入，循环预定次数后再通过自编码器得到节点欧式空间表示；通过公式(2)计算得到目标函数；利用随机梯度下降方法计算更新模型参数，最终得到网络节点的欧式空间表示。算法表示如下：

输入：二部图G＝(U,V,E)，源节点－汇节点矩阵M，参数α与η；

输出：节点欧式空间表示以及参数θ更新；

1.利用深层信念网络对模型进行预训练；

2.X＝M，Y＝M^T；

3.Repeat；

4.利用X、Y和θ，在自编码器中计算得到以及L＝L^K、H＝H^K；

5.利用式(2)计算目标函数；

6.利用随机梯度下降的方法计算更新模型参数θ；

7.Until到达预定的循环次数；

8.得到网络节点的欧式空间表示P＝L+H。

在将网络节点嵌入到低维欧式空间后，由于异常群体在欧式空间中可以形成高密度区域，正常的节点在欧式空间中分散形成低密度区域，所以通过基于密度的聚类方法可以找到高密度的可疑群体区域。由于现实中，异常群体的数量提前预知非常困难，所以选择不需要聚类数量作为先验的DBSCAN算法。另外，DBSCAN算法可以识别出噪声点。

利用DBSCAN算法聚类检测异常群体:

给定数据集中的所有对象都标记为“unvisited”；随机选择一个未访问的对象p，标记为“visited”，并检查p的∈-邻域是否至少包含MinPt个对象。如果不是，则p被标记为噪声点，否则为p创建一个新的簇C，并且把p的∈-邻域中的所有对象都放到候选集合N中；之后迭代地把数据集中不属于其他簇的对象添加到C中，在此过程中，对于N中标记为“unvisted”的对象被标记为“visited”；并检查其∈-邻域，若其中至少包含MinPt个对象，则该对象的∈-邻域的对象被添加到N中；继续添加对象到C，直到C不能扩展，即到N为空，此时簇C完全生成，被输出。为了找到下一个簇，从剩下的对象中随机选择一个未访问对象，重复上述步骤，直到所有对象都被访问。算法具体表示如下：

输入：网络节点在欧式空间中的表示P＝L+H；参数∈与MinPt。

输出：包含异常用户和对应目标物品的异常簇F；

算法效果比较：

实验数据：实验所用的三个数据集均为用户对物品的二部图网络，通过模拟欺诈者的行为，随机选取一定量的物品作为攻击目标物品，如表1所示。由于在现实中，不受欢迎的物品更易购买虚假评论，所以，在选取目标物品的时候，从入度小于50的物品集合中选取。由于在真实网络中，劫持用户账户做虚假评论的现象比较普遍，所以可以随机地从用户中选取一定数量的用户构成欺诈群体。为了验证本发明在多异常群体检测方面具有良好的效果，注入的异常块数量由1到3。每个异常块中包含400个欺诈者以及200个目标物品，每个目标物品会从欺诈者团体得到200次反馈评价。

表1所用数据集详细信息

数据名称	源节点(千个)	汇节点(千个)	边(千个)
				Zomato	5.3	1.0	36
MovieLens	6.04	3.9	1000
				BookCrossing	77.8	55.6	434

为了全面地验证比较本发明的实验效果，将本发明与两种群体异常检测方法HoloScope(只利用拓扑结构信息)、FRAUDAR、一种网络嵌入方法DeepWalk[10]进行效果比较。

通过表2的结果可以看出，本发明在单一异常块检测的任务中，能够达到现有技术的水平，甚至效果更好。在多异常块检测的任务中，现有技术无法准确识别多个异常之间的区别，而本发明不仅能够识别出异常群体，并且能够准确地区分出不同的异常群体间的区别。效果上能够达到与单一异常块检测相同水准。另外，可以看出，不论是在连接比较稀疏的数据集上，还是在连接密度较大的数据集上，本发明的效果对比于FRAUDAR方法，更加稳健。

其中，DeepWalk是一种出色的网络嵌入模型，但在本实验的效果并不理想，原因在于DeepWalk是任务无关的网络嵌入方法，无法贴合异常检测任务的需求。而本发明中的网络嵌入部分的设计是面向异常群体检测任务的，所以能够准确抓取网络中所需的结构特征，进而达到实验中理想的效果。

表2实验结果

参数敏感性：

如图5A-5C所示，本发明对于实验中需要的设定的参数α、半径∈、嵌入维度d的变化并不敏感，随着参数的变化，实验效果的波动并不明显，所以本发明具有较高的可行性。

图6所示为本发明与现有技术相比所呈现的优势，可见本发明的技术优点在于仅利用深层次的网络拓扑结构信息解决了现有在二部图中检测多异常群体的问题，并且在不同的数据集上效果更加稳定。

本发明所引用到的技术文献：

[1]Mukherjee A,Liu B,Glance N.Spotting fake reviewer groups inconsumer reviews[C]//International Conference on World Wide Web.ACM,2012:191-200.

[2]Li F,Huang M,Yang Y,et al.Learning to identify review spam[C]//International Joint Conference on Artificial Intelligence.AAAI Press,2011:2488-2493.

[3]Shin K,Hooi B,Faloutsos C.M-Zoom:Fast Dense-Block Detection inTensors with Quality Guarantees[M]//Machine Learning and Knowledge Discoveryin Databases.Springer International Publishing,2016:264-280.

[4]Liu S,Hooi B,Faloutsos C.HoloScope:Topology-and-Spike Aware FraudDetection[C]//ACM on Conference on Information and Knowledge Management.ACM,2017:1539-1548.

[5]Jiang M,Cui P,Beutel A,et al.Inferring Strange Behavior fromConnectivity Pattern in Social Networks[M]//Advances in Knowledge Discoveryand Data Mining.Springer International Publishing,2014:126-138

[6]Shah N,Beutel A,Gallagher B,et al.Spotting Suspicious LinkBehavior with fBox:An Adversarial Perspective[J].2014.

[7]Hooi B,Song H A,Beutel A,et al.FRAUDAR:Bounding Graph Fraud in theFace of Camouflage[C]//ACM SIGKDD International Conference on KnowledgeDiscovery and Data Mining.ACM,2016:895-904.

[8]org.cambridge.ebooks.online.book.Author@ea.Deep Learning[M].

[9]JiaweiHan,MichelineKamber,JianPei,等.数据挖掘概念与技术[M].机械工业出版社,2012.

[10]Perozzi B,Alrfou R,Skiena S.DeepWalk:online learning of socialrepresentations[J].2014:701-710.

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (9)

1.一种基于深度结构学习的群体异常行为检测方法，步骤包括：

根据用户对商品的评价行为构建二部图，该图中的源节点代表用户账户，汇节点代表商品，有向边代表用户对商品的反馈记录；

将源节点和汇节点同时嵌入到同一欧式空间中，得到所有节点的低维表示；

对节点的低维表示进行聚类，得到的异常簇即为检测出的异常群体及其异常行为。

2.如权利要求1所述的方法，其特征在于，利用无监督的深度网络嵌入模型，将源节点和汇节点同时嵌入到同一欧式空间中，该深度网络嵌入模型包括源节点自编码器、汇节点自编码器以及拉普拉斯约束，其中源节点自编码器和汇节点自编码器用于保留不同类型节点间的二阶相似性，拉普拉斯约束用于保留原网络中的一阶相似性。

3.如权利要求2所述的方法，其特征在于，基于深度网络嵌入模型，得到源节点-汇节点矩阵，该矩阵的每一列表示对应的一源节点对于所有汇节点的可疑行为，则将该矩阵中的每一行作为源节点自编码器的输入部分，将该矩阵中的每一列作为汇节点自编码器的输入部分，通过自编码器的编码可以得到所有节点的低维表示。

4.如权利要求3所述的方法，其特征在于，拉普拉斯约束用于保留原网络中的一阶相似性的表达式为：

其中，P是网络中所有节点的低维表示组成的矩阵，拉普拉斯矩阵L＝D-A，其中单位矩阵D∈R^(m+n)×(m+n)，A是由源节点-汇节点矩阵M＝{m₁，...，m_m}矩阵拼接得到的邻接矩阵，其中表示源节点u_i对于所有汇节点υ∈V的可疑行为，和为节点的低维表示。

5.如权利要求4所述的方法，其特征在于，该深度网络嵌入模型的损失函数为：

其中，和表示源节点自编码器和汇节点自编码器的损失函数，是防止模型过拟合的正则项，α和η是用来平衡不同部分的损失函数的系数。

6.如权利要求1或3所述的方法，其特征在于，通过基于密度的聚类方法对节点的低维表示进行聚类。

7.如权利要求4所述的方法，其特征在于，该基于密度的聚类方法采用DBSCAN算法。

8.一种基于深度结构学习的群体异常行为检测系统，该服务器包括存储器和处理器，该存储器存储计算机程序，该程序被配置为由该处理器执行，该程序包括用于执行上述权利要求1-7任一所述的方法中各步骤的指令。

9.一种存储计算机程序的计算机可读存储介质，该计算机程序包括指令，该指令当由服务器的处理器执行时使得该服务器执行上述权利要求1-7任一所述的方法中的各个步骤。