CN115859793A - 基于注意力的异构信息网络用户异常行为检测方法及系统 - Google Patents

基于注意力的异构信息网络用户异常行为检测方法及系统 Download PDF

Info

Publication number
CN115859793A
CN115859793A CN202211479957.XA CN202211479957A CN115859793A CN 115859793 A CN115859793 A CN 115859793A CN 202211479957 A CN202211479957 A CN 202211479957A CN 115859793 A CN115859793 A CN 115859793A
Authority
CN
China
Prior art keywords
node
attribute
representing
attention
abnormal behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211479957.XA
Other languages
English (en)
Inventor
杨亮
武洁纯
王嘉意
李振娜
贾永娜
张亚娟
牛炳鑫
顾军华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202211479957.XA priority Critical patent/CN115859793A/zh
Publication of CN115859793A publication Critical patent/CN115859793A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明为一种基于注意力的异构信息网络用户异常行为检测方法及系统，首先将异构信息网络某段时间的历史交互数据转换为图数据，图数据的每个节点代表异型信息网络的一个组成对象，图数据的边反映了异构信息网络的组成对象间的联系；然后，基于图神经网络构建用户异常行为检测模型的目标函数，模型通过注意力聚合节点的邻居信息，推导得到节点属性表征的层间传播公式；最后，对各个节点属性表征进行梯度更新，直至所有节点属性表征收敛，得到各个节点属性表征；将各个节点属性表征通过多层感知机压缩为由各个节点的预测标签纵向堆叠而成的一维列向量，即用户异常行为检测结果。该方法利用注意力机制在消息传播过程中自动捕获网络中的所有元路径信息，提高了用户异常行为检测的准确率。

Description

基于注意力的异构信息网络用户异常行为检测方法及系统
技术领域
本发明属于网络异常检测技术领域，具体是一种基于注意力的异构信息网络用户异常行为检测方法及系统。
背景技术
异构信息网络是指不同组成对象因某种联系而形成的关系网络，例如引文网络、购物网络等。其中，引文网络是由文献间的引用和被引用关系形成的，包含论文、作者、会议和关键字四种类型节点，包括论文与论文之间的引用关系、作者与论文之间的写作关系、论文与会议之间的发表关系、论文与关键字之间的包含关系四种关系。在购物网络中，存在用户和物品两种类型的组成对象，用户间存在朋友、亲属等关系，用户与商品之间存在购买、浏览、推荐等关系。网上购物给人们的生活带来了极大便利的同时也面临着商家的不诚信问题，一些商家为了吸引用户购买商品，存在恶意刷单行为，即同一用户频繁购买商品或者大量用户购买同一商品。为了保证消费者的合法权益，对用户行为进行检测，可以及时检测出恶意刷单操作和虚假好评，对实现网络消费安全具有重要意义。
由于组成对象的类型以及组成对象之间的关系是多种多样的，因此异构信息网络可以抽象为异构图数据，异构图数据的每个节点都对应异构信息网络的一个组成对象，异构图数据的边反映了组成对象间的关系或者联系。图神经网络在处理非欧几里得数据方面具有优异性能，已被广泛应用于从计算机视觉到自然语言处理等诸多领域。通常，经典异构图神经网络采用沿着元路径聚合其邻居节点信息的方式学习得到目标节点的表征，这种方式将异构图转化为同构图，能够有效提取异构图中的低频信息，即节点与邻居节点属性信息之间的相似部分，但是忽略了异构图中的高频信息，即节点与邻居节点属性信息之间的差异部分。对于购物网络数据而言，图数据中的高频信息对用户行为异常预测有着重要作用，因此基于元路径操作的经典图神经网络在网络异常检测方面无法达到期望效果。此外，现有经典异构图神经网络模型通过预定义元路径的方式进行消息传播，模型的性能在一定程度上受到预定义元路径的影响，只能捕捉图数据中的部分信息，导致不能发现网络中用户对商品的异常购买行为，无法高效地检测出用户的异常行为。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提出一种基于注意力的异构信息网络用户异常行为检测方法及系统。
本发明解决所述技术问题采用的技术方案如下：
一方面，本发明提供一种基于注意力的异构信息网络用户异常行为检测方法，包括以下步骤：
步骤1、获取异构信息网络某一时段的历史交互数据，将历史交互数据转换为图数据，图数据的每个节点代表异构信息网络的一个组成对象，图数据的边反映了组成对象间的联系；从图数据中获取节点属性信息和图拓扑信息；
步骤2、基于图神经网络构建用户异常行为检测模型，用户异常行为检测模型的目标函数为：
Figure BDA0003952839730000021
式中，
Figure BDA0003952839730000022
为目标函数的表示符，k(.)表示图神经网络的核函数，k(xi,hi)表示属性表征拟合项，xi表示节点i的属性信息，hi表示节点i的属性表征，k(hi,hj)表示节点i与节点j之间的相似度，hj表示节点j的属性表征，αij表示模型学习到的节点i与节点j之间的注意力系数，λ为超参数，G表示节点数量，(i,j)表示节点i与节点j之间的边，E表示图数据的边集合；
选用高斯核函数，则目标函数表示为：
Figure BDA0003952839730000023
式中，
Figure BDA0003952839730000024
为高斯核函数的符号化表示，T表示向量转置，||.||2表示向量的二范数，σ表示高斯核函数的方差；
对式(3)中的hi求导，并令导数等于0，得到任意节点i的属性表征hi的表达式为：
Figure BDA0003952839730000025
式(4)中，N(i)表示节点i的邻居节点集合；
由式(4)可得，节点属性表征hi的层间传播公式为：
Figure BDA0003952839730000026
式(5)中，节点j表示节点i的邻居节点，j∈N(i)；
Figure BDA0003952839730000027
表示第l+1层节点i的属性表征，/>
Figure BDA0003952839730000028
表示第l层节点j的属性表征，/>
Figure BDA0003952839730000029
表示第l层相邻节点之间的注意力系数；
注意力计算包括节点和边类型的注意力，则注意力系数的计算式为：
Figure BDA00039528397300000210
式(6)中，b表示参数向量，W表示参数矩阵，||表示拼接操作，Wr表示异构信息网络中边类型的参数矩阵，rφiφj表示异构信息网络中边类型的独热编码向量，φ(.)表示边类型的映射函数；
节点注意力和边类型注意力的传播公式分别为：
Figure BDA00039528397300000211
Figure BDA00039528397300000212
式中，
Figure BDA00039528397300000213
分别表示层间传播后第l和l-1层邻居节点之间的注意力系数，β为超参数，/>
Figure BDA00039528397300000214
表示异构信息网络中第l层边的信息，/>
Figure BDA00039528397300000215
分别表示层间传播后异构信息网络中第l和l-1层边的信息；
在每层传播之后，对得到的节点属性表征进行层归一化处理，具体表示公式为：
Figure BDA00039528397300000216
式中，
Figure BDA0003952839730000031
表示层归一化后第l层节点i的属性表征，/>
Figure BDA0003952839730000032
表示层间传播后第l层节点i的属性表征，||.||表示矩阵范数；
使用多个注意力头对节点属性表征进行多角度学习，其表达式为：
Figure BDA0003952839730000033
式中，
Figure BDA0003952839730000034
表示层归一化后第l层节点i第s个注意力头的属性表征，/>
Figure BDA0003952839730000035
表示第l层相邻节点之间的第s个注意力头的注意力系数，Wl表示参数矩阵，/>
Figure BDA0003952839730000036
为第l-1层节点j的属性表征；
根据式(5)和(12)对各个节点属性表征进行梯度更新，直至所有节点属性表征收敛，得到每个节点所有注意力头的属性表征，将每个节点所有注意力头的属性表征进行拼接，得到该节点的属性表征；异常行为检测模型的输出即为各个节点属性表征；其中，第i个节点的属性表征表示为：
Figure BDA0003952839730000037
将各个节点属性表征通过多层感知机压缩为由各个节点的预测标签纵向堆叠而成的一维列向量，即用户异常行为检测结果；预测标签为正常行为和异常行为的概率；
步骤3、随机选取图数据中的部分节点或边对用户异常行为检测模型进行训练，得到训练后的用户异常行为检测模型；将待检测的异构信息网络的历史交互数据转换为图数据，将图数据的节点属性信息和图拓扑信息输入到训练后的用户异常行为检测模型中，对用户行为进行检测。
进一步的，将用户异常行为检测模型用于处理链接预测任务，即预测异构信息网络中用户在将来是否会出现异常行为；利用节点属性信息对用户异常行为检测模型进行训练，将训练后的用户异常行为检测模型用于链接预测任务，将模型输出与其转置矩阵相乘，得到链接预测任务的预测结果。
另一方面，本发明还提供一种异构信息网络用户异常行为检测系统，包括处理器、存储器和计算机程序；处理器与存储器连接，计算机程序被存储在存储器中，当系统运行时，该处理器执行存储器中的计算机程序，使系统执行上述方法。
一种计算机可读存储介质，用于存储计算机指令；所述计算机指令被处理器执行时，完成上述方法。
与现有技术相比，本发明的有益效果是：
1、本发明将异构信息网络的历史交互数据转换为图数据，同时针对经典图神经网络的线性聚合特性，对经典图神经网络进行改进，采用非线性的高斯核函数捕获网络中的潜在信息，建立了用户异常行为检测模型，并在模型中引入注意力机制，在消息传播过程中自动捕获网络中的所有元路径信息，能够有效避免预定义元路径的先验信息不足导致模型性能低下的问题，在充分提取异构信息网络图数据中的潜在元路径信息的基础上，也能充分提取不同元路径之间的差异性信息，使其更加适用于网络用户异常行为检测，有助于实现个人信息安全和隐私保护以及营造安全和谐的网络环境。
2、本发明从目标函数优化角度入手，解释并优化了网络用户异常行为检测模型，使得模型更具可解释性、通用性及可扩展性。
3、本发明的用户异常行为检测模型同样适用于处理链接预测任务，并且测试效果普遍优于传统网络嵌入方法。这一点证明对于此类任务来说，能够尽可能地发现潜在的异常链接是比较关键的，本发明所采用的注意力机制在传播过程中自动发现潜在的元路径信息正是本发明能够在链接预测任务中取得较好结果的原因。
附图说明
图1是购物网络的关系图；
图2为本发明的流程图。
具体实施方式
下面结合附图详细解释本发明的具体实施例，具体实施例仅用于进一步详细说明本发明的技术方案，不限制本申请的保护范围。
以购物网络为例，说明基于注意力的异构信息网络用户异常行为检测方法(简称方法，参见图1和图2)，具体步骤如下：
步骤1、获取购物网络某一时段的历史交互数据，包括用户购买、浏览、推荐商品等数据记录；将历史交互数据转换为图数据G＝(V,E)，V表示节点集合，E表示边集合，图数据的节点分为用户节点和商品节点两类，边也分为两类，用户节点与用户节点之间的边反映了用户之间的关系，比如亲属、朋友关系；用户节点与商品节点之间的边反映了用户与商品之间的购买、浏览、推荐等关系；因此，图数据是对某一时段内用户与商品之间的购买、浏览、推荐等记录的抽象；
从图数据中获取节点属性信息X＝[Xu||Xm]和图拓扑信息；Xu∈RN×d1、Xm∈RM×d2分别表示用户节点属性信息和商品节点属性信息，R表示矩阵空间，N表示用户节点个数，d1表示用户节点的属性维度，M表示商品节点个数，d2表示商品节点的属性维度；用户节点属性信息包括用户名、电话、年龄、爱好、用于id等用户个人信息，商品节点属性信息包括编号、名称、价格、类型、库存等商品信息；图数据的边反映了图拓扑信息，用邻接矩阵A∈RN×N表示，若节点i与j之间存在边相连，则节点i与j所对应的邻接矩阵中的元素Aij＝1，反之Aij＝0；记D∈RN×N为邻接矩阵A的度矩阵，度矩阵为对角阵，且对角线上元素对应于邻接矩阵的行和；
步骤2、基于图神经网络构建用户异常行为检测模型，用户异常行为检测模型的目标函数
Figure BDA0003952839730000041
为：
Figure BDA0003952839730000042
式中，h表示模型输入，即模型从节点属性信息中提取到的属性表征；k(.)表示图神经网络的核函数，k(xi,hi)表示属性表征拟合项，xi表示节点i的属性信息，hi表示节点i的属性表征，即模型从节点i的属性信息中提取到的属性表征，k(hi,hj)为图正则化项，表示节点i与节点j之间的相似度，hj表示节点j的属性表征，αij表示模型学习到的节点i与节点j之间的注意力系数；λ为超参数，人为设定值，也即属性表征拟合项和图正则化项之间的平衡因子；G＝N+M表示节点数量，(i,j)表示节点i与节点j之间的边；
式(1)中，核函数给定为高斯核函数，高斯核函数表示点x与x′之间的欧式距离，定义为：
Figure BDA0003952839730000051
式中，||.||2表示向量的二范数，σ表示高斯核函数的方差；
根据式(2)，目标函数可以表示为：
Figure BDA0003952839730000052
式中，
Figure BDA0003952839730000053
为高斯核函数的符号化表示，T表示向量转置；
对式(3)中的变量hi求导，并令导数等于0，得到任意节点i的属性表征hi的表达式为：
Figure BDA0003952839730000054
式(4)中，N(i)表示节点i的邻居节点集合，
Figure BDA0003952839730000055
表示高斯核函数的反函数，
Figure BDA0003952839730000056
表示通过注意力聚合节点的邻居信息；“+xi”相当于残差连接，保证模型的表达能力，避免过平滑问题；在式(4)的基础上，加上传播层数l后，得到节点属性表征hi的层间传播公式为：
Figure BDA0003952839730000057
式(5)中，节点j表示节点i的邻居节点，j∈N(i)；
Figure BDA0003952839730000058
表示第l层相邻节点之间的注意力系数；
不同于经典卷积神经网络的注意力计算方法，考虑到异构信息网络的特性，本发明的注意力系数的计算包含了节点和边类型的注意力值，计算公式表示为：
Figure BDA0003952839730000059
式(6)中，b表示参数向量，W表示参数矩阵，||表示拼接操作，Wr表示异构信息网络中边类型的参数矩阵，rφiφj表示异构信息网络中边类型的独热编码向量，φ(.)表示边类型的映射函数；
根据式(5)，将异构信息网络提取到的节点属性表征映射到非线性核空间中，具体表示为：
Figure BDA00039528397300000510
将核函数应用到图数据的所有节点，得到节点属性表征的映射公式为：
Figure BDA00039528397300000511
在节点和边类型的注意力上分别加入残差连接，有利于模型在训练过程中保持节点的原始属性表征，避免过平滑问题；具体公式表示如下：
Figure BDA00039528397300000512
/>
Figure BDA00039528397300000513
式(9)和式(10)中，
Figure BDA00039528397300000514
分别表示层间传播后第l和l-1层邻居节点之间的注意力系数，β为超参数，/>
Figure BDA00039528397300000515
表示异构信息网络中第l层边的信息，/>
Figure BDA00039528397300000516
分别表示层间传播后异构信息网络中第l和l-1层边的信息；
在每层传播之后，对得到的节点属性表征进行层归一化处理，具体表示公式为：
Figure BDA0003952839730000061
式中，
Figure BDA0003952839730000062
表示层归一化后第l层节点i的属性表征，/>
Figure BDA0003952839730000063
表示层间传播后第l层节点i的属性表征，||.||表示矩阵范数；
对式(5)进一步扩展，使用多个注意力头对节点属性表征进行多角度学习，其表达式为：
Figure BDA0003952839730000064
式中，
Figure BDA0003952839730000065
表示层归一化后第l层节点i第s个注意力头的属性表征，/>
Figure BDA0003952839730000066
表示第l层相邻节点之间的第s个注意力头的注意力系数，Wl表示参数矩阵；
根据式(5)和(12)对各个节点属性表征进行梯度更新，直至所有节点属性表征收敛，得到每个节点所有注意力头的属性表征，将每个节点所有注意力头的属性表征进行拼接，得到该节点的属性表征；异常行为检测模型的输出即为各个节点属性表征；其中，第i个节点的属性表征表示为：
Figure BDA0003952839730000067
将各个节点属性表征通过多层感知机压缩为由各个节点的预测标签纵向堆叠而成的一维列向量，即用户异常行为检测结果；预测标签为正常行为和异常行为的概率；
步骤3、随机选取图数据中的部分节点或边对用户异常行为检测模型进行训练，得到训练后的用户异常行为检测模型；采用半监督学习方式对用户异常行为检测模型进行训练，随机选取图数据G中的部分节点或边进行训练，将每种标签对应的60％节点作为训练集，20％节点作为验证集，20％节点作为测试集；根据式(14)的损失函数计算训练损失；
Figure BDA0003952839730000068
其中，q表示用户行为，Q表示网络中用户的所有可执行的行为，
Figure BDA0003952839730000069
表示将用户n的行为检测为行为q的概率，/>
Figure BDA00039528397300000610
表示由各个节点的预测标签纵向堆叠而成的一维列向量，ynq表示用户n的可接受行为类别。
本发明的模型还可以用于处理链接预测任务，即预测购物网络中用户在将来是否会出现异常购买行为，也就是对图数据中两个节点之间是否存在边进行预测；将节点属性信息X输入到用户异常行为检测模型中进行训练，模型输出为H；根据式(15)将模型输出H与其转置矩阵相乘，得到链接预测任务的输出结果
Figure BDA00039528397300000611
Figure BDA00039528397300000612
在训练过程中，根据式(16)的损失函数计算训练损失；
Figure BDA00039528397300000613
式中，
Figure BDA00039528397300000614
表示期望，p(A|H)表示在已知模型预测值的基础上反向推断图数据的原始邻接矩阵为A的概率，p(H|X,A)表示在已知属性与拓扑信息时预测得到的模型输出为H的概率，p(H)表示模型预测得到的输出为H的概率，KL[p(H|X,A)||p(H)]表示概率p(H|X,A)与p(H)之间的相对熵。将训练后的模型用于链接预测时，此损失函数的值越大，说明目标节点被检测为异常节点的概率越大。
本发明还提供一种异构信息网络用户异常行为检测系统，包括处理器、存储器和计算机程序；处理器与存储器连接，计算机程序被存储在存储器中，当系统运行时，该处理器执行存储器中的计算机程序，使系统执行上述方法。处理器可以是中央处理单元CPU，还可以是其他通用处理器、数字信号处理器DSP、可编程门阵列FPGA等；存储器可以为只读存储器和随机存取存储器，并向处理器提供指令和数据，在实现过程中，上述方法的各个步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
本发明还提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法。
仿真试验：
异构信息网络用户异常行为检测实质上是一种节点分类任务，其预测结果为网络用户的可接受行为区间，为了验证本发明方法的有效性，在十一个真实数据集上，分别利用本发明的用户异常行为检测模型和现有技术中常见的图神经网络模型进行节点分类任务，本发明的用户异常行为检测模型采用注意力机制自动挖掘用户行为特征并将其特征与可接受行为进行对比预测。
表1为各个模型在十一个真实数据集上进行节点分类任务的准确率统计结果，其中，DBLP是一个常用的引文网络，共有四种类型的节点，包括论文，作者，会议和关键字；共有四种类型的边，包括论文与论文之间的引用关系，作者与论文之间的写作关系，论文与会议之间的发表关系，论文与关键字之间的包含关系。IMDB是一个互联网电影资料库，也是一个关于电影演员、电影、电视节目、电视明星和电影制作的在线数据库，包括了影片的众多信息、演员、片长、内容介绍、分级、评论等，其中用户的评论对影视得分有着关键的作用，因此对于恶意差评的有效检测有利于保证影评的公正性。KDD1999是网络异常检测的基准数据集，包含7,000,000多个网络连接记录，包括在军事网络环境中模拟的多种异常数据。Freebase是一个由元数据组成的大型合作知识库，内容主要来自其社区成员的贡献，它整合了许多网上的资源，包括部分私人wiki站点中的内容，因此有效进行网络异常行为检测能够保护人们的私人信息。
表1各个模型在真实数据集上进行节点分类任务的准确率统计
Figure BDA0003952839730000071
Figure BDA0003952839730000081
采用60％、20％、20％数据分别作为训练集、验证集与测试集，将本发明的用户异常行为检测模型与4种现有经典的嵌入方法模型及7种基于图神经网络的深度学习模型进行对比，将其分别进行节点分类任务，并得到如表1所示的模型准确率。从表1可知，本发明的用户异常行为检测模型相较于现有的图神经网络模型在真实数据集上取得了不错的效果；而针对需要预定义元路径的图神经网络模型，如HAN[4]和HetSANN[9]，准确率有了大幅提升，这是由于本发明的用户异常行为检测模型采用注意力机制在传播信息过程中，自动地挖掘潜在的元路径信息，从而避免了人为定义元路径带来的消极影响。具体而言，经典图神经网络在消息传播过程中都是在同构图数据集上进行训练，而对于异构信息网络，需要考虑到异构信息网络中的多种类型的节点和边，不同类型的节点相连代表不同的语义信息，因此经典图神经网络异构图数据并不适用。现有的针对异构网络设计的模型，如HetGNN[7]和HGT[10]则是基于元路径进行消息传播，需要人为定义元路径，会对模型性能产生一定的影响，而本发明的用户异常行为检测模型可以有效地解决此问题，并且高准确率地对用户节点的异常行为进行检测，及时避免消费权益受损的风险。
在相同的试验条件下，将本发明的用户异常行为检测模型与现有技术中常见的十种网络模型用于处理链接预测任务，分别在三个数据集上进行了验证，其中Amazon是一个商品网络数据集，记录了用户对亚马逊网站商品的评价，LastFM是记录用户听歌序列的数据集，PubMed是一个大型引文网络数据集，得到表2所述的统计结果；
表2各个模型用于链接预测任务的准确率统计
Figure BDA0003952839730000082
对每个数据集来说，均从中随机选取15％的边作为测试数据，使用剩余的85％的边以及相同数量额外采样且不存在的边来构建训练数据。从实验结果可知，本发明的用户异常行为检测模型相较于网络嵌入方法与基于图神经网络的方法而言，在几个数据集上均取得了较好的实验结果，这证明了本发明的用户异常行为检测模型可以有效避免元路径预定义带来的影响，同时也能够高效准确地检测出用户的异常行为。
各个模型的出处为：
[1]Thomas N.Kipf and Max Welling.Semi-supervised classification withgraph convolutional networks.In ICLR,2017.
[2]PetarVelickovic,GuillemCucurull,ArantxaCasanova,AdrianaRomero,Pietro Liò,and Yoshua Bengio.Graph attention networks.In ICLR,2018.
[3]Michael Schlichtkrull,Thomas N Kipf,Peter Bloem,Rianne Van DenBerg,Ivan Titov,and Max Welling.Modeling relational data with graphconvolutional networks.In European semantic web conference,pages 593–607.Springer,2018.
[4]Xiao Wang,Houye Ji,Chuan Shi,Bai Wang,Yanfang Ye,Peng Cui,andPhilip S Yu.Heterogeneous graph attention network.In WWW,pages 2022–2032,2019.
[5]Seongjun Yun,Minbyul Jeong,Raehyun Kim,Jaewoo Kang,and Hyunwoo JKim.Graph transformer networks.NeurIPS,32:11983–11993,2019.
[6]Shichao Zhu,Chuan Zhou,Shirui Pan,Xingquan Zhu,and BinWang.Relation structure-aware heterogeneous graph neural network.In ICDM,pages 1534–1539.IEEE,2019.
[7]Chuxu Zhang,Dongjin Song,Chao Huang,Ananthram Swami,and Nitesh VChawla.Heterogeneous graph neural network.In SIGKDD,pages 793–803.ACM,2019.
[8]Xinyu Fu,Jiani Zhang,Ziqiao Meng,and Irwin King.Magnn:Metapathaggregated graph neural network for heterogeneous graph embedding.In WWW,pages 2331–2341,2020.
[9]Huiting Hong,Hantao Guo,Yucheng Lin,Xiaoqing Yang,Zang Li,andJieping Ye.An attention-based graph neural network for heterogeneousstructural learning.In AAAI,number 04,pages4132–4139,2020.
[10]Ziniu Hu,Yuxiao Dong,Kuansan Wang,and Yizhou Sun.Heterogeneousgraph transformer.In WWW,pages 2704–2710,2020.
[11]Qingsong Lv,Ming Ding,Qiang Liu,Yuxiang Chen,Wenzheng Feng,SimingHe,Chang Zhou,Jianguo Jiang,Yuxiao Dong,and Jie Tang.Are we really makingmuch progress？:Revisiting,benchmarking and refining heterogeneous graphneural networks.In SIGKDD,pages 1150–1160,2021.
[12]Yukuo Cen,Xu Zou,Jianwei Zhang,Hongxia Yang,Jingren Zhou,and JieTang.Representation learning for attributed multiplex heterogeneousnetwork.In SIGKDD,pages 1358–1368.ACM,2019.
本发明未述及之处适用于现有技术。

Claims (4)

1.一种基于注意力的异构信息网络用户异常行为检测方法，其特征在于，该方法包括以下步骤：
步骤1、获取异构信息网络某一时段的历史交互数据，将历史交互数据转换为图数据，图数据的每个节点代表异构信息网络的一个组成对象，图数据的边反映了组成对象间的联系；从图数据中获取节点属性信息和图拓扑信息；
步骤2、基于图神经网络构建用户异常行为检测模型，用户异常行为检测模型的目标函数为：
Figure FDA0003952839720000011
式中，
Figure FDA0003952839720000012
为目标函数的表示符，k(.)表示图神经网络的核函数，k(xi,hi)表示属性表征拟合项，xi表示节点i的属性信息，hi表示节点i的属性表征，k(hi,hj)表示节点i与节点j之间的相似度，hj表示节点j的属性表征，αij表示模型学习到的节点i与节点j之间的注意力系数，λ为超参数，G表示节点数量，(i,j)表示节点i与节点j之间的边，E表示图数据的边集合；
选用高斯核函数，则目标函数表示为：
Figure FDA0003952839720000013
式中，
Figure FDA0003952839720000014
为高斯核函数的符号化表示，T表示向量转置，||·||2表示向量的二范数，σ表示高斯核函数的方差；
对式(3)中的hi求导，并令导数等于0，得到任意节点i的属性表征hi的表达式为：
Figure FDA0003952839720000015
式(4)中，N(i)表示节点i的邻居节点集合；
由式(4)可得，节点属性表征hi的层间传播公式为：
Figure FDA0003952839720000016
式(5)中，节点j表示节点i的邻居节点，j∈N(i)；
Figure FDA0003952839720000017
表示第l+1层节点i的属性表征，/>
Figure FDA0003952839720000018
表示第l层节点j的属性表征，/>
Figure FDA0003952839720000019
表示第l层相邻节点之间的注意力系数；
注意力计算包括节点和边类型的注意力，则注意力系数的计算式为：
Figure FDA00039528397200000110
式(6)中，b表示参数向量，W表示参数矩阵，||表示拼接操作，Wr表示异构信息网络中边类型的参数矩阵，rφiφj表示异构信息网络中边类型的独热编码向量，φ(.)表示边类型的映射函数；
节点注意力和边类型注意力的传播公式分别为：
Figure FDA00039528397200000111
/>
Figure FDA0003952839720000021
式中，
Figure FDA0003952839720000022
分别表示层间传播后第l和l-1层邻居节点之间的注意力系数，β为超参数，/>
Figure FDA0003952839720000023
表示异构信息网络中第l层边的信息，/>
Figure FDA0003952839720000024
分别表示层间传播后异构信息网络中第l和l-1层边的信息；
在每层传播之后，对得到的节点属性表征进行层归一化处理，具体表示公式为：
Figure FDA0003952839720000025
式中，
Figure FDA0003952839720000026
表示层归一化后第l层节点i的属性表征，/>
Figure FDA0003952839720000027
表示层间传播后第l层节点i的属性表征，||·||表示矩阵范数；
使用多个注意力头对节点属性表征进行多角度学习，其表达式为：
Figure FDA0003952839720000028
式中，
Figure FDA0003952839720000029
表示层归一化后第l层节点i第s个注意力头的属性表征，/>
Figure FDA00039528397200000210
表示第l层相邻节点之间的第s个注意力头的注意力系数，Wl表示参数矩阵，/>
Figure FDA00039528397200000211
为第l-1层节点j的属性表征；
根据式(5)和(12)对各个节点属性表征进行梯度更新，直至所有节点属性表征收敛，得到每个节点所有注意力头的属性表征，将每个节点所有注意力头的属性表征进行拼接，得到该节点的属性表征；异常行为检测模型的输出即为各个节点属性表征；其中，第i个节点的属性表征表示为：
Figure FDA00039528397200000212
将各个节点属性表征通过多层感知机压缩为由各个节点的预测标签纵向堆叠而成的一维列向量，即用户异常行为检测结果；预测标签为正常行为和异常行为的概率；
步骤3、随机选取图数据中的部分节点或边对用户异常行为检测模型进行训练，得到训练后的用户异常行为检测模型；将待检测的异构信息网络的历史交互数据转换为图数据，将图数据的节点属性信息和图拓扑信息输入到训练后的用户异常行为检测模型中，对用户行为进行检测。
2.根据权利要求1所述的基于注意力的异构信息网络用户异常行为检测方法，其特征在于，将用户异常行为检测模型用于处理链接预测任务，即预测异构信息网络中用户在将来是否会出现异常行为；利用节点属性信息对用户异常行为检测模型进行训练，将训练后的用户异常行为检测模型用于链接预测任务，将模型输出与其转置矩阵相乘，得到链接预测任务的预测结果。
3.一种异构信息网络用户异常行为检测系统，包括处理器、存储器和计算机程序；处理器与存储器连接，计算机程序被存储在存储器中，当系统运行时，该处理器执行存储器中的计算机程序，使系统执行权利要求1或2的方法。
4.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1或2的方法。
CN202211479957.XA 2022-11-21 2022-11-21 基于注意力的异构信息网络用户异常行为检测方法及系统 Pending CN115859793A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211479957.XA CN115859793A (zh) 2022-11-21 2022-11-21 基于注意力的异构信息网络用户异常行为检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211479957.XA CN115859793A (zh) 2022-11-21 2022-11-21 基于注意力的异构信息网络用户异常行为检测方法及系统

Publications (1)

Publication Number Publication Date
CN115859793A true CN115859793A (zh) 2023-03-28

Family

ID=85665671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211479957.XA Pending CN115859793A (zh) 2022-11-21 2022-11-21 基于注意力的异构信息网络用户异常行为检测方法及系统

Country Status (1)

Country Link
CN (1) CN115859793A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628508A (zh) * 2023-07-20 2023-08-22 科大讯飞股份有限公司 模型训练过程异常检测方法、装置、设备及存储介质
CN117093928A (zh) * 2023-10-18 2023-11-21 南开大学 基于谱域图神经网络的自适应图节点异常检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628508A (zh) * 2023-07-20 2023-08-22 科大讯飞股份有限公司 模型训练过程异常检测方法、装置、设备及存储介质
CN116628508B (zh) * 2023-07-20 2023-12-01 科大讯飞股份有限公司 模型训练过程异常检测方法、装置、设备及存储介质
CN117093928A (zh) * 2023-10-18 2023-11-21 南开大学 基于谱域图神经网络的自适应图节点异常检测方法

Similar Documents

Publication Publication Date Title
Gao et al. HGNN+: General hypergraph neural networks
Khan et al. CNN with depthwise separable convolutions and combined kernels for rating prediction
CN115859793A (zh) 基于注意力的异构信息网络用户异常行为检测方法及系统
CN113918834B (zh) 融合社交关系的图卷积协同过滤推荐方法
Soni et al. Effective machine learning approach to detect groups of fake reviewers
CN113918832A (zh) 基于社交关系的图卷积协同过滤推荐系统
Zhou et al. Legal intelligence for e-commerce: multi-task learning by leveraging multiview dispute representation
Yi et al. Link prediction based on higher-order structure extraction and autoencoder learning in directed networks
Bitarafan et al. Spgd_hin: Spammer group detection based on heterogeneous information network
Ma et al. Implicit trust and distrust prediction for recommender systems
Kumar et al. Community-enhanced Link Prediction in Dynamic Networks
Mu et al. Auxiliary stacked denoising autoencoder based collaborative filtering recommendation
Schott et al. Neuro‐fuzzy time‐series analysis of large‐volume data
Luo et al. Learning sufficient scene representation for unsupervised cross-modal retrieval
Kalanat et al. Extracting actionable knowledge from social networks using structural features
Kong et al. A neural bag-of-words modelling framework for link prediction in knowledge bases with sparse connectivity
Liu et al. Relation-propagation meta-learning on an explicit preference graph for cold-start recommendation
Raman et al. Multigraph attention network for analyzing company relations
Shen et al. A deep embedding model for co-occurrence learning
Safdari et al. Anomaly detection and community detection in networks
CN114417161A (zh) 基于异构图的虚拟物品时序推荐方法、装置、介质及设备
Schelter Amnesia-a selection of machine learning models that can forget user data very fast
Krishnan et al. Weighted holoentropy-based features with optimised deep belief network for automatic sentiment analysis: reviewing product tweets
Karavokyris et al. Graph Neural Networks For Affective Social Media: A Comprehensive Overview.
Shan [Retracted] Multisensor Cross‐Media Data Mining Method Assisted by Expert System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination