CN115730248A

CN115730248A - 一种机器账号检测方法、系统、设备及存储介质

Info

Publication number: CN115730248A
Application number: CN202211513595.1A
Authority: CN
Inventors: 杨英光; 崔凯; 周鹏远; 李阳阳; 廖勇
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2022-11-29
Filing date: 2022-11-29
Publication date: 2023-03-03

Abstract

本发明公开了一种机器账号检测方法、系统、设备及存储介质，通过从社交平台中爬取各类数据构建异构图，使用强化学习根据待检测目标账号所处的社交网络图的局部结构信息进行图神经网络架构搜索，使用搜索得到的图神经网络架构对异构图(社交网络图)中的邻居节点的数据进行聚合，得到目标用户的表示向量，并进行机器账号检测；该方法利用了社交平台中账号之间的交互，关系等信息，而且使用合适的图神经网络架构可以对异构图提供的丰富语义信息进行聚合，充分保留了账号自身的可判别模式的同时也聚合了邻居提供的分类信息，大大提升了对机器账号的检测能力。

Description

一种机器账号检测方法、系统、设备及存储介质

技术领域

本发明涉及社交平台机器账号检测技术领域，尤其涉及一种机器账号检测方法、系统、设备及存储介质。

背景技术

2016年以来已经发现了第三代机器账号，这些账号由于人为操作和自动化的混合程度加深，甚至从其他真实账号盗取信息，利用人工智能技术生成高可信的文本或图片，其行为更像真实人类账号，使得机器账号更加难以被检测识别。

目前已提出不少机器账号检测方法的专利。授权公告号为CN102571485B的中国专利《一种在微博平台上识别机器人用户的方法》通过分析用户好友的社会关系来区分正常账户和机器人账户。授权公告号为CN102571484B的中国专利《一种检测网络水军以及找到网络水军的方法》使用对蜜罐账号的发帖和关注策略收集账号，从收集的账号中检测机器人账号，并利用检测出的机器人账号找到更多的机器人账号和水军。授权公告号为CN104518930B的中国专利《一种面向微博的异常用户和消息同时检测方法》从用户和消息两类实体出发，采用非负矩阵三分解的方法同时给出用户和消息的划分指示矩阵，检测异常用户和消息。公开号为CN106296422A的中国专利申请《一种融合多算法的社交网络垃圾用户检测方法》使用K-均值(K-means)算法和DBSCAN算法(一种基于密度的聚类算法)结合的聚类算法对社交网络中的账户进行聚类，使用聚类后的聚类中心附近的数据和簇边界附近的数据来训练支持向量机分类器，然后用训练得到的支持向量机分类器对机器账号进行检测。公开号为CN106682118A的中国专利申请《基于网络爬虫和利用机器学习的社交网站虚假粉丝检测方法》利用网络爬虫自动获取微博和其他社交网络用户数据，分成训练集和测试集，用训练集训练SVM算法的分类器，利用训练好的分类器对社交网络用户进行检测。

然而，这些方法存在以下技术问题：1)模型的具体架构与数据集关系紧密，模型的设计都与数据集高度相关，需要有相关领域的专家经验，并需要人工耗费大量精力进行完善，提高了模型设计的门槛。2)忽略了社交网络中关注，朋友等关系以及一些回复和评论等动作所能提供的丰富语义信息，降低了检测效果。3)社交网络图结构中账号结构(如好友数，关注者)呈幂律分布，不同的账号之间差异性极大，固定的模型架构对于差异性极大的机器账号检测效果不佳。

发明内容

本发明的目的是提供一种机器账号检测方法、系统、设备及存储介质，利用了社交平台中账号之间的交互，关系等信息，大大提升了对机器账号的检测能力。

本发明的目的是通过以下技术方案实现的：

一种机器账号检测方法，包括：

获取社交平台中的账号、各账号发表的内容以及账号之间的社交网络关系，将账号以及各账号发表的内容作为不同类型的节点，账号之间的社交网络关系以及账号与其发表内容之间的关系作为相应节点的边，构建异构图，对账号的相关信息与内容的相关信息分别进行特征提取，提取出的特征作为相应节点的节点特征；

对于待检测的目标节点，按照预设的初始邻居阶数以每一目标节点为中心在所述异构图中抽取相应初始邻居阶数的邻居节点构建对应的子图，并利用对应的子图中所有节点特征确定初始的子图表示向量；其中，目标节点均为账号对应节点；

利用强化学习方法结合所有初始的子图表示向量，搜索出每一目标节点对应的最优邻居阶数与图神经网络的最优层数；

根据不同的最优层数搭建具有残差结构的图神经网络；对于每一目标节点，按照对应的最优邻居阶数以相应目标节点为中心在所述异构图中抽取相应最优邻居阶数的邻居节点构建最优子图，利用经过训练的相应最优层数的图神经网络结合注意力机制，获得相应目标节点对应的最优子图的最终表示向量，再进行分类检测，获得相应目标节点的检测结果。

一种机器账号检测系统，包括：

信息获取及异构图构建单元，用于获取社交平台中的账号、各账号发表的内容以及账号之间的社交网络关系，将账号以及各账号发表的内容作为不同类型的节点，账号之间的社交网络关系以及账号与其发表内容之间的关系作为相应节点的边，构建异构图，对账号的相关信息与内容的相关信息分别进行特征提取，提取出的特征作为相应节点的节点特征；

子图初始化单元，对于待检测的目标节点，按照预设的初始邻居阶数以每一目标节点为中心在所述异构图中抽取相应初始邻居阶数的邻居节点构建对应的子图，并利用对应的子图中所有节点特征确定初始的子图表示向量；其中，目标节点均为账号对应节点；

强化学习与最优参数获取单元，用于利用强化学习方法结合所有初始的子图表示向量，搜索出每一目标节点对应的最优邻居阶数与图神经网络的最优层数；

网络构建与检测单元，用于根据不同的最优层数搭建具有残差结构的图神经网络；对于每一目标节点，按照对应的最优邻居阶数以相应目标节点为中心在所述异构图中抽取相应最优邻居阶数的邻居节点构建最优子图，利用经过训练的相应最优层数的图神经网络结合注意力机制，获得相应目标节点对应的最优子图的最终表示向量，再进行分类检测，获得相应目标节点的检测结果。

一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。

一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。

由上述本发明提供的技术方案可以看出，通过从社交平台中爬取各类数据构建异构图，使用强化学习根据待检测目标账号所处的社交网络图的局部结构信息进行图神经网络架构搜索，使用搜索得到的图神经网络架构对异构图(社交网络图)中的邻居节点的数据进行聚合，得到目标用户的表示向量，并进行机器账号检测；该方法利用了社交平台中账号之间的交互，关系等信息，而且使用合适的图神经网络架构可以对异构图提供的丰富语义信息进行聚合，充分保留了账号自身的可判别模式的同时也聚合了邻居提供的分类信息，大大提升了对机器账号的检测能力。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种机器账号检测方法的流程图；

图2为本发明实施例提供的注意力机制示意图；

图3为本发明实施例提供的一种强化学习图神经网络架构搜索框架图；

图4为本发明实施例提供的一种机器账号检测系统的示意图；

图5为本发明实施例提供的一种处理设备的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

首先对本文中可能使用的术语进行如下说明：

术语“和/或”是表示两者任一或两者同时均可实现，例如，X和/或Y表示既包括“X”或“Y”的情况也包括“X和Y”的三种情况。

术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。

下面对本发明所提供的一种机器账号检测方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。

实施例一

本发明实施例提供一种机器账号检测方法，在机器账号检测时，利用社交平台本身的关注、朋友、回复、评论等关联关系，以及从账号发表的内容中抽取出的实体构建异构图，从异构图中目标节点所处对局部结构作为搜索依据，利用强化学习对最优的局部结构(即最优邻居阶数)以及对图神经网络进行架构搜索，得到合适的图神经网络结构，对账号之间的信息进行聚合得到账号的表征向量，进行分类检测。由于使用合适的神经网络架构对异质信息网络提供的丰富语义信息进行聚合，充分保留了账号自身的可判别模式的同时也聚合了邻居提供的分类信息，提升了机器账号检测效果。如图1所示，该方法主要包括如下步骤：

步骤1、获取社交平台中的账号、各账号发表的内容以及账号之间的社交网络关系，将账号以及各账号发表的内容作为不同类型的节点，账号之间的社交网络关系以及账号与其发表内容之间的关系作为相应节点的边，构建异构图，对账号的相关信息(对应的用户信息和发表的内容信息)与内容的相关信息(内容文本)分别进行特征提取，提取出的特征作为相应节点的节点特征。

本发明实施例中，本发明从社交平台中爬取账号数据、账号的好友关系及好友账号数据、发表的内容(包含文章、回复、评论等数据)，构建异构图。

本发明实施例中，构建的异构图(异质图)包含多种不同类型的节点，不同类型的节点之间的边所对应的关系也是不同的，例如，账号对应的节点之间的边为社交关系，内容对应节点与账号对应节点之间的边为从属关系；通过将内容作为节点，从异构图中按照定义的元路径(元路径能够包含一定的语义信息)对节点进行提取从而进行信息聚合时，能够发现对于检测有用的机器账号。

本发明实施例中，账号相关信息主要包括：账号对应的用户信息以及发表的内容，从中抽取特征形成账号对应节点的节点特征。内容的相关信息主要是指相关文本信息，从文本信息中提取相关特征形成内容对应节点的节点特征；不同节点的节点特征的维度相同。

步骤2、对于待检测的目标节点，按照预设的初始邻居阶数以每一目标节点为中心在所述异构图中抽取相应初始邻居阶数的邻居节点构建对应的子图，并利用对应的子图中所有节点特征确定初始的子图表示向量；其中，目标节点均为账号对应节点。

本发明实施例中，可以将初始邻居阶数设为1，则以每一目标节点为中心在所述异构图中抽取相应一阶邻居节点构建对应的子图，利用对应的子图中所有节点特征确定初始的子图表示向量。

例如，第i个目标节点对应的子图记为

初始的子图表示向量表示为：

其中，v_j为子图

中第j个节点的特征，V_i是子图

中包含的节点的集合，e(.)表示编码函数(例如，均值池化等)，即对节点特征进行编码获得初始的子图表示向量。

步骤3、利用强化学习方法结合所有初始的子图表示向量，搜索出每一目标节点对应的最优邻居阶数与图神经网络的最优层数。

本发明实施例中，利用所有初始的子图表示向量作为输入，使用强化学习方法训练智能体；智能体训练完毕后，将所有初始的子图表示向量分别输入至智能体，获得每一目标节点对应的最优邻居阶数与图神经网络的最优层数。

训练过程如下：初始时间步时随机选择一个子图，以其初始的子图表示向量作为初始时间步时的状态，之后，均由上一时间步对应子图与其他子图的连接关系计算转移概率，按照转移概率确定下一时间步时对应子图，并以对应子图的初始的子图表示向量作为下一时间步的状态。当前时间步的状态下，从动作空间选择不同动作，通过执行不同动作后获得相应的奖励值(环境反馈)并计算对应状态动作值，再结合策略函数选出最终动作，结合当前时间步的状态、最终动作、奖励值与下一时间步的状态形成当前时间步的记录数据；使用多个时间步的记录数据训练所述智能体，直至收敛，完成智能体的训练；其中，每一动作包含用于选择邻居阶数值的子动作，以及用于选择图神经网络的层数值的子动作。具体的：

下一时间步的状态确定方式为：对于当前时间步t，根据每一其他子图与当前时间步t对应子图存在的连接数目(即边数目)占当前时间步t对应子图与外部节点存在的连接数目占比作为转移概率P_i，再根据转移概率P_i从所有其他子图中选择一个子图，并将选择的子图的初始的子图表示向量作为下一时间步t+1中的状态s_t+1。

最终动作选择方式为：当前时间步t中的每一动作a_t由二元子动作

组成，通过执行第一个子动作

获得邻居阶数值，通过执行第二个子动作

获得图神经网络的层数值，从给定的动作空间中选择不同的子动作

与子动作

在当前时间步的状态下分别执行后，根据当前时间步t对应子图的分类准确率确定每一动作的奖励反馈，根据奖励反馈确定一个奖励值，结合奖励值以及给定的下一时间步t+1至最大时间步T的累积状态动作值，确定当前时间步t下执行每一动作后获得的状态动作值，通过策略函数判断当前时间步t是否满足设定条件，若满足，则随机选择一个动作作为当前时间步t的最终动作，若不满足，则选择最大状态动作值对应的动作作为当前时间步t的最终动作。

步骤4、根据不同的最优层数搭建具有残差结构的图神经网络；对于每一目标节点，按照对应的最优邻居阶数以相应目标节点为中心在所述异构图中抽取相应最优邻居阶数的邻居节点构建最优子图，利用经过训练的相应最优层数的图神经网络结合注意力机制，获得相应目标节点对应的最优子图的最终表示向量，再进行分类检测，获得相应目标节点的检测结果。

本发明实施例中，对于第i个目标节点，将最优邻居阶数记为k，则利用其第1阶～第k阶段邻居节点构建最优子图。

本发明实施例中，结合对应的最优层数搭建具有残差结构的图神经网络包括：

对于第i个目标节点，将所述最优层数设置L，搭建L层的图神经网络，并引入残差结构连接所述图神经网络的输入与第L层的输出，对于第i个目标节点对应的最优子图中的第j个节点的特征，将节点特征记为x_ij(也即未经过图神经网络处理的节点特征)，对应的第L层的输出特征记为

则最终特征表示为：

其中，

表示第i个目标节点对应的最优子图中的第j个节点的最终特征，ADD(.)表示相加操作。

并且，通过图池化处理，获得第i个目标节点对应的最优子图的向量表示，图池化处理表示为：

其中，J表示第i个目标节点对应的最优子图中的节点数目，R(.)表示读出操作，

表示第i个目标节点对应的最优子图的向量表示。

所有目标节点都通过以上方式，获得对应的最优子图的向量表示。

之后，结合注意力机制获得每一目标节点对应的最优子图的最终表示向量，表示为：

其中，M表示注意力头的数目，m为注意力头的序号；

表示第m个注意力头中，第i个目标节点与第u个目标节点对应最优子图之间的注意力系数；W^m表示第m个注意力头的权重矩阵，

表示第u个目标节点对应的最优子图的向量表示，

表示第u个目标节点对应的最优子图，

表示异构图。

最后，将最优子图的最终表示向量输入至检测器进行分类检测，检测结果为对应目标节点是正常账号或是机器账号。

此外，图神经网络需要预先进行训练，相同最优层数的图神经网络看作同一个图神经网络，训练时，每一个图神经网络的处理流程参照前文的介绍，输入的训练数据为相应目标节点对应的最优子图，将预测的检测结果结合给定的标签计算损失函数，并更新每一个图神经网络的参数，所有图神经网络训练的损失函数相同，表示为：

其中，

表示训练时的目标节点集合，包含当前图神经网络对应的若干目标节点，不同图神经网络对应的目标节点集合不同，v_l表示第l个目标节点，y_l表示给定的第l个目标节点的标签，z_l表示第l个目标节点对应的最优子图特征的最终表示向量，||Θ||₂为单个图神经网络参数Θ的L2范数，λ为权重参数，MLP为多层感知机，σ为归一化函数(例如，sigmod函数)。

为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的一种机器账号检测方法进行详细描述。

一、异构图的构建与问题定义。

对于社交平台或者其他平台中的账号，可以利用账号之间的社交网络关系构建成异构图，通过将账号作为节点借助账号存在的好友关系和关注关系，将这些账号连接起来，然后分析账号发表的内容(包含文章、回复、评论等数据)，将这些内容数据也作为节点加入到图中最终形成异构图

假设有一个待检测目标节点的集合

集合中的每一个目标节点均为账号对应的节点，集合中的每一个目标节点的标签y_v∈{0，1}∈Y，其中，0代表节点为正常账号，1代表节点为机器账号，Y表示标签空间。通过使用强化学习算法根据目标用户在异构图中所处的局部信息进行架构搜索得到合适的图神经网络结构，然后用图神经网络聚合其他邻居的信息得到最终的图表示向量，根据定义的损失函数计算损失，反向传播更新模型参数，实现准确检测目标节点类别(正常账号或机器账号)的目的。

二、子图表示向量初始化。

本发明实施例中，为每一目标用户构建子图，具体的做法是抽取目标用户所处的初始邻居阶数的节点，构建子图，并对其进行编码，得到初始的子图表示向量。具体的，对于第i个目标节点对应的子图

初始的子图表示向量表示为：

其中，v_j为子图

中第j个节点的特征，V_i是子图

中包含的节点的集合，e(.)表示编码函数。得到的初始的子图表示向量

实际上是对子图包含节点的特征向量的集合进行编码获得的向量。

三、基于强化学习获得最优邻居阶数和图神经网络层数。

将编码得到的子图表示向量作为强化学习的输入，通过强化学习中的智能体(Agent)学习两个最优的策略

和

其中

用于选择最优邻居阶数k，

用于选择图神经网络的最优层数，图神经网络(GNN)基础层可以从当下应用最广泛的GNN模型中选出，包括GCN(图卷积神经网络)、GAT(图注意力神经网络)、GraphSAGE(对邻居节点进行采样聚合的网络模型)等。在初始的子图表示向量表示中，为每个目标节点选择了初始邻居阶数的节点来构建子图，而这未必是最合适的邻居阶数，因此，通过强化学习来搜索得到最优邻居阶数，同时也可以对图神经网络最优的层数进行搜索，从而提升检测效果。

具体来说，将基于强化学习搜索最优邻居阶数和图神经网络层数的过程建模为一个马尔可夫决策过程(MDP)：

状态空间(State Space)：将当前时间步t对应的状态s_t∈S定义为从子图

中提取的子图表示向量

每个时间步使用不同子图对应的初始的子图表示向量。t＝0，…，T，T为最大时间步，最大时间步T不小于目标节点数目，具体的T是一个预设的超参数，反应最近一段时间步中准确率的变化情况，从而来指示当前优化的方向是否是向着最优策略优化。

动作空间(ActionSpace)：当前时间步t对应的动作a_t由包含两个子动作

和

的二元组构成：

强化学习的Agent执行子动作

以获得邻居阶数的值，执行子动作

以获得网络层数的值。因此MDP的整体序列可以被描述为

也即从初始状态开始，Agent每执行一个动作就会获得一个对应的奖励反馈，然后转移到下一个状态。为了产生这个序列，Agent将根据由子动作

提取的子图和目标节点多跳内的节点有关的其他子图之间的连接数来形成概率分布，并且根据概率分布进行到下一个状态s_t+1的状态转移。

奖励函数(Reward Function)：通过判断模型是否可以达到更好的检测效果来确定在当前时间步t的子图表示是否足够好，为此首先定义了精度提高的度量标准：

其中，b是一个超参数，体现了比较中涉及的历史结果的窗口大小，

是在时间步i′的验证集上的检测准确率；

表示当前时间步t对应的状态s_t下，执行动作a_t后的相应目标节点的检测准确率。实际上，

体现了最近的b个时间窗口(多个连续的时间步组成)的平均准确率，直观地来说，训练的策略是寻找一个正向递增的奖励反馈

来确保模型精度的不断提高。此外，还使用一个二元的奖励值r(s_t，a_t)来指引训练的方向：

其中，

表示上一个时间步t-1得到的奖励反馈。

如果动作a_t相比于上一个时间步可以增加奖励反馈，则r(s_t，a_t)被设置为1，否则设置为-1，也就是说二元奖励函数的目的在于确保模型的训练向着检测准确率提升的方向进行。

状态转移(Transition)：如之前所述，当前时间步t的状态s_t会根据概率分布转移到下一个时间步的状态s_t+1。

状态终止(Termination)：通过无模型(Model-free)的深度强化学习方法来求解MDP问题(即求解最优邻居阶数和最优层数)，基本的思想是通过探索来学习采取最优行动。由于目标节点的数量有限，一旦Agent为每个目标做出决策后，当前回合就结束了。主要使用DQN算法来减少搜索空间的状态数，更具体地说，DQN近似符合贝尔曼最优性方程(Bellman optimality equation)的状态动作值：

其中，a_t与a′均表示动作空间a中的动作；

为一个整体，表示下一时间步t+1至最大时间步T的累积状态动作值，γ为设定的权重系数(未来累积回报的折扣因子)；

表示当前时间步t对应的状态s_t下执行动作a_t后的状态动作值。

本发明实施例中，利用贪婪策略(∈-greedy)来选择关于

的动作a_t，然后据此得到策略函数π：

其中，∈为超参数，它是一个设定，p为当前时间步t对应的随机值，w.p.∈表示如果p＜∈，random action表示选择随机动作作为最终动作；

表示当前时间步t对应的状态s_t下执行动作空间a中某个动作得到的最大状态动作值；

表示给定当前时间步t对应的状态s_t与最大状态动作值的条件下，选出最终动作a_t。

训练阶段，当前时间步t时，每一动作执行后，都使用前述

与r(s_t，a_t)计算出二元奖励值，再通过

计算状态动作值，最后通过策略函数π决策出最终动作a_t，根据最终动作

记录当前时间步的状态下执行最终动作获得的奖励值

形成当前时间步t的记录数据

不断迭代并获得各时间步的记录数据，利用所有记录训练训练智能体，优化智能体的网络参数，直至收敛(当训练到指定epoch数目，且测试准确率达到峰值)。

训练完毕后，将所有初始的子图表示向量分别输入至智能体，获得每一目标节点对应的最优邻居阶数与图神经网络的最优层数。

四、图神经网络构建、训练与检测。

本发明实施例中，对于每一目标节点，分别使用前述第三部分的强化学习搜索选择到最优邻居阶数k和图神经网络的最优层数L，之后，可以对目标节点构建最优子图结构并设计最优的图神经网络结构来进行检测。

本发明实施例中，第i个目标节点，按照最优层数L搭建图神经网络，并引入了残差结构，表示为：

其中，

表示第i个目标节点对应的最优子图中的第j个节点的最终特征，ADD(.)表示相加操作，即将图神经网络第L层输出特征与原始的节点特征相加，得到最终特征，通过上述方式进行特征融合，可以缓解训练过程中梯度爆炸/弥散和网络退化的问题。

经过L层图神经网络结构处理后得到的子图表示向量实际上是一个集合，其中的元素是子图中包含的节点的最终特征，因此，需要对子图进行池化处理，将子图内节点的最终特征向量表示汇聚成一个超级节点的特征向量，用于对子图进行向量表示：

其中，J表示第i个目标节点对应的最优子图中的节点数目，

表示第i个目标节点对应的最优子图的向量表示，R(.)表示读出操作(READOUT操作)，例如，可以是max，sum，mean操作，也即所有节点的最终特征求最大值/求和/求均值。

在此之后，采用注意力机制将属于相关邻居的子图的影响整合到最终的表示向量中：

其中，

表示权重矩阵，

表示实数集，d_L表示图神经网络第L层输出特征的维度，d₁表示图神经网络输入节点特征的维度；M表示注意力头的数目，m为注意力头的序号；

表示第u个目标节点对应的最优子图的向量表示，

表示第u个目标节点对应的最优子图，

表示异构图。

如图2所示，以单个注意力头为例展示了注意力机制的示意图，同时考虑到篇幅的问题，图中仅绘制了三个目标节点对应子图的示例，每个目标节点在单个注意力头中的权重向量

包含了每个目标节点与所有目标节点的注意力系数。

将最终的表示向量z_i输入至检测器预测对应的第i个节点为正常账号与机器账号的概率，并以此确定检测结果(即概率较高者)。

如之前所述，图神经网络需要预先进行训练，训练流程与上述流程相同，区别在于训练时需要利用检测器的预测结果与给定标签计算损失，以更新图神经网络的参数，所涉及的参数更新流程可参照常规技术，本发明不做赘述。

本发明实施例中，不同目标节点可以对应不同的最优层数，因此，最终可能存在多个不同最优层数的图神经网络，将相同最优层数的图神经网络作为同一个图神经网络，输入的训练数据为相应目标节点对应的最优子图，不同图神经网络分别进行训练，训练时的损失函数都是相同的，表示为：

其中，

表示训练时的目标节点集合，包含图神经网络对应的若干目标节点，v_l表示第l个目标节点，第一项(即-log(y_l·σ(MLP(z_l))))表示交叉熵损失函数，||Θ||₂是单个图神经网络模型参数的L2范数，λ是权重参数，MLP是多层感知机，可以将最终的嵌入向量表示z_i的维度降低到分类的类别数(例如，二分类)，再通过归一化函数σ得到各类别的概率，进而达到分类的目的。

以c个目标节点为例，其对应的图神经网络的最优层数相同，则c目标节点使用同一个图神经网络进行检测，c个目标节点形成目标节点集合

c小于等于待检测的目标节点数目，输入的训练数据为每个目标节点利用各自最优邻居阶数从异构图中提取的最优子图，c个目标节点的最优邻居阶数可以相同也可以不同。

同时，由于不同目标节点对应的最优层数不同，为了提升训练效率，训练时，按照最优层数由低至高的顺序训练每一个图神经网络，先针对最优层数最低的图神经网络进行训练，在训练后的最优层数最低的图神经网络的基础上，训练最优层数次低的图神经网络，直至完成所有图神经网络的训练。

举例来说：假设所有目标节点对应三种最优层数的图神经网络，则需要训练三个图神经网络，从低至高依次记为第一、第二、第三图神经网络；首先训练第一图神经网络，训练时使用初始化参数，训练完毕后，获得可用于相应目标检测的第一图神经网络；在此基础上堆叠若干层形成第二图神经网络，堆叠的若干层可使用初始化参数，其余属于第一图神经网络的层则使用训练后的第一图神经网络的参数，并根据损失函数进行第二图神经网络训练；类似的，第二图神经网络训练完毕后堆叠若干层形成第三图神经网络，堆叠的若干层可使用初始化参数，其余属于第二图神经网络的层则使用训练后的第二图神经网络的参数，并根据损失函数进行第三图神经网络训练。

图3展示了强化学习图神经网络架构搜索框架，最左侧部分的图结构为本发明提供的异构图，并示例性的提供了三个子图的示例，每个子图中v表示目标节点，v₁～v₆为目标节点的邻居节点；图中的1～3表示不同的动作，图仅提供了一些动作的示例，实际应用中动作的具体内容及数目可根据实际情况进行设置；子图搜索模块与GNN层数搜索模块均为执行强化学习部分的模块，右侧的Attention为注意力机制。

本发明实施例提供的以上方案中，将机器账号检测任务转化为对待检测的目标节点为中心节点的子图分类，通过利用账号(目标节点)的自身数据以及和其他账号的互动数据构建异构图，使用强化学习搜索确定为目标节点抽取的邻居阶数以及用于子图分类的图神经网络结构，相较于现有技术而言，本发明主要有如下优点：1)通过提取目标节点的自身数据特征以及账号之间的交互信息构建子图，充分地聚合了异质图中丰富的语义信息，提高了检测效果。2)使用强化学习方法根据机器账号检测任务特点自适应地搜索确定图神经网络结构的设计细节，大大减少了模型设计者的工作量。3)通过残差结构和注意力机制更全面地捕捉节点和子图的特征信息，从而更好地服务分类检测任务，有效地提升了检测结果的准确性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例二

本发明还提供一种机器账号检测系统，其主要基于前述实施例提供的方法实现，如图4所示，该系统主要包括：

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例三

本发明还提供一种处理设备，如图5所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。

进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。

本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：

输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；

输出设备可以为显示终端；

存储器可以为随机存取存储器(Random Access Memory，RAM)，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。

实施例四

本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。

本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种机器账号检测方法，其特征在于，包括：

2.根据权利要求1所述的一种机器账号检测方法，其特征在于，所述利用强化学习方法结合所有初始的子图表示向量，搜索出每一目标节点对应的最优邻居阶数与图神经网络的最优层数包括：

利用所有初始的子图表示向量作为输入，使用强化学习方法训练智能体；智能体训练完毕后，将所有初始的子图表示向量分别输入至智能体，获得每一目标节点对应的最优邻居阶数与图神经网络的最优层数；

训练过程如下：初始时间步随机选择一个子图，以其初始的子图表示向量作为初始时间步的状态，之后，均由上一时间步对应子图与其他子图的连接关系计算转移概率，按照转移概率确定下一时间步对应子图，并以对应子图的初始的子图表示向量作为下一时间步的状态；当前时间步的状态下，从动作空间选择不同动作，通过执行不同动作后获得相应的奖励值并计算对应状态动作值，再结合策略函数选出最终动作，结合当前时间步的状态、最终动作、奖励值与下一时间步的状态形成当前时间步的记录数据；使用多个时间步的记录数据所述智能体，直至收敛，完成智能体的训练；其中，每一动作包含用于选择邻居阶数值的子动作，以及用于选择图神经网络的层数值的子动作。

3.根据权利要求1所述的一种机器账号检测方法，其特征在于，最终动作选择方式包括：

当前时间步t中的每一动作a_t由二元子动作