CN115718831A - 基于动态异质图的社交媒体机器人检测方法及相关装置 - Google Patents

Abstract

本发明公开了一种基于动态异质图的社交媒体机器人检测方法及相关装置，1)基于动态异质信息网络的社交媒体建模；2)基于关系图transformer的社交媒体影响力异质性建模；3)基于语义注意力网络跨关系聚合节点；4)基于图神经网络的社交媒体机器人账户检测及多任务聚合。本发明所公开的基于动态异质图的社交媒体机器人检测方法，提出了首个动态的、异质性感知的社交媒体机器人账户检测模型与算法，并在基准数据集上取得最好效果。本发明通过建模社交媒体中广泛存在的关系与影响力异质性，增强社交媒体机器人检测算法的鲁棒性，得到了高质量的社交媒体元素表示，可实现多种下游任务，具有信息利用充分、检测有效的特点，具有实际应用的优势。

Description

基于动态异质图的社交媒体机器人检测方法及相关装置

技术领域

本发明涉及社会网络分析领域，具体涉及基于动态异质图的社交媒体机器人检测方法及相关装置。

背景技术

社交媒体正在成为人们日常生活中不可或缺的重要部分，每天都有数以千万记得、来自世界各地的用户登录各式各样的社交媒体平台，浏览新闻网页、分享生活趣事、抑或是参与到社交媒体对某些话题的讨论中去。随着在线社交媒体的流行度提升，一种称为社交媒体机器人账户的新型现象在社交媒体上出现。不同于由真人管理的社交媒体真实用户，社交媒体机器人账户指的是由自动程序或应用程序接口进行操纵的、自动发表社交媒体内容的用户。此类账号的经营者通常通过多个机器人账户以实现恶意目的，而此种行为严重威胁社交媒体的清朗生态。在过去的十年中，社交媒体机器人账户愈发活跃与选举干预、传播假新闻、以及传播极端意识形态中。鉴于恶意社交媒体机器人账户对社会的负面影响，对有效的社交媒体机器人账户检测模型的需求愈发紧迫。

早期关于社交媒体机器人账户检测的研究工作大多基于特征工程与传统机器学习分类算法，从社交媒体文字以及用户信息中提取特征并输入分类算法。随着深度学习的兴起，越来越多的社交媒体机器人账户检测算法利用神经网络以提升模型表现，循环神经网络、自监督学习和图神经网络等方法都被由于机器人账户检测，并取得了初步成功。但是这些方法没能考虑到社交媒体网络结构的本征异质性并利用异质性以鉴别新型社交媒体机器人账户与真人用户之间的细微差别，此外，这些方法没有考虑到社交网络是随时间动态变化的。

发明内容

本发明的目的在于提供基于动态异质图的社交媒体机器人检测方法及相关装置，以解决没能考虑到社交媒体网络结构的本征异质性并利用异质性以鉴别新型社交媒体机器人账户与真人用户之间的细微差别，此外，还解决了现有方法没有考虑到社交网络随时间动态变化的问题。

为实现上述目的，本发明采用以下技术方案：

基于动态异质图的社交媒体机器人检测方法，包括：

基于异质信息网络建模社交媒体，将社交媒体的用户、推文、话题和社群作为网络节点，将各节点之间不同种类的互动关系作为网络中的异质性边，并利用特征工程与预训练语言模型编码用户信息以及社交媒体文本信息，拼接时间戳信息，得到图神经网络中各节点初始特征；

采用关系图transformer建模社交媒体关系和影响力异质性，通过各节点初始特征计算注意力头在不同关系与节点对下的query，key和value数值，并由query和key计算不同节点之间的注意力数值以建模关系的异质性，通过相对时间编码保留动态依赖信息，聚合注意力数值和邻居节点value值得到在特定关系下的节点表示；

基于语义注意力网络跨关系聚合节点表示，得到在聚合节点不同关系后的节点表示，以保留社交媒体异质性所带来的关系；

经过若干层图神经网络得到最终节点表示，通过输出层和softmax层对用户类型节点进行社交媒体机器人账户预测，同时利用立场检测和社群相似度度量优化检测。

进一步的，基于异质信息网络建模社交媒体过程中，将社交媒体的用户、推文、话题和社群作为网络异质性节点v，将用户、推文、话题和社群之间不同种类的互动关系作为网络中的异质性边e，以集合R^V,R^E分别表示异质信息网络中的节点种类和关系种类，用

ψ分别表示节点和边的映射至对应类型的映射函数，并用时间函数t对各节点打上时间戳标记，社交媒体动态异质图网络G定义如下：

进一步的，利用特征工程编码节点元数据，并采用预训练语言模型编码用户信息以及社交媒体文本信息语义数据，将得到的编码表征拼接时间戳信息得到各节点特征向量x_i，利用全连接层神经网络对节点i的特征向量x_i进行变换，将得到的结果作为图神经网络中点的初始特征x_i ⁽⁰⁾，计算公式如下所示：

x_i ⁽⁰⁾＝σ(W_I·x_i+b_I)

式中，W_I、b_I代表模型可学习参数，σ代表非线性激活函数，不同类型的节点表示采用不同的线性映射函数。

进一步的，关系图transformer的社交媒体影响力异质性建模过程中，提出包含transformers并在异质信息网络中运算的图神经网络结构；首先计算第c个注意力头在关系r和节点i下对应的query，key和value的数值，计算公式如下所示：

式中，q,k,v为注意力机制中的query，key和value值，(l)表示第l层图神经网络，所有的W和b是模型中对不同关系和注意力头的可学习参数；

随后，通过计算不同节点之间的注意力数值建模关系异质性，其计算方式如下所示：

式中，

代表节点i与j之间的注意力权重，

表示指数型的点积函数，d为每个注意力头的隐藏层维度，N^r(i)表示节点i在关系r的邻居集合；

接着，利用相对时间编码RTE建模节点邻居与节点之间的时间差关系，并将其与节点j的原value值相加以进行时间增广，具体计算公式如下：

ΔT(i,j)＝|t_i-t_j|

RTE(ΔT(i,j))＝W_T·Base(ΔT(i,j))+B_T

式中，t_i表示节点i对应的时间戳，W_T,B_T为线性变换参数；

接着，利用如下公式，在节点邻居与注意力头中聚合消息以获得在关系r下的节点表示：

式中，

代表节点i在第l层关系r下的隐藏层表示，C为注意力头总数；

然后，对得到的结果使用门机制以平滑表示学习，先计算出门的数值水平

再对学到的节点表示

和输入

使用门操作，具体计算流程如下所示：

式中，[·,·]代表向量拼接操作，W_A、b_A代表模型可学习参数，⊙为哈达玛乘积符号，

代表节点i在第l层关系r下学得的表示向量。

进一步的，基于语义注意力网络跨关系聚合节点表示过程中，首先从全局所有节点的视角获得各关系的重要性

并采用softmax函数归一化各关系的重要性，计算方法如下式所示：

式中，

表示关系r在第d个注意力头中的权重，V为异质信息网络中节点集合；

代表第d个注意力头在第l层中的语义注意力向量；

和

是语义注意力网络中的可学习参数，

表示归一化后关系r在第d个注意力头中的权重；

随后，利用计算出的关系权重聚合不同关系子图下的节点表示，聚合流程如下所示：

式中，

代表第l层的节点表示结果，

表示关系图transformers的结果，D为语义注意力网络中的注意力头个数。

进一步的，基于图神经网络的社交媒体机器人账户检测过程中，模型中的每一层图神经网络包括一个关系图transformer以及一个语义注意力网络，经过L层图神经网络后得到最终的节点表示x⁽⁾；在社交媒体用户节点上进行账户分类预测，并通过对推文节点、话题节点以及社群节点的有监督推文立场检测和无监督社群相似度检测来进一步优化社交机器人检测任务。

进一步的，首先，利用一个输出层和一个softmax层进行社交媒体机器人账户检测分类，模型对用户i的预测结果计算方式如下：

式中，

为所有的用户节点的最终表示，所有的W和b是模型的可学习参数；此模块采用有监督的用户标注训练，损失函数如下所示：

式中，Y为有标注的社交媒体用户集合，y_i为标注标；

然后，考虑到社交机器人为了干扰舆论，对特定事件会发布与主流不相符，且情绪激动极端的推文以挑动社交网络用户；利用图中的推文节点与话题事件节点进行立场检测；针对特定立场c和推文节点x_i,x_j，使用线性变换将节点表示映射至立场敏感的线性空间

与

其中α_c和β_c分别为针对立场c的可学习线性映射函数，利用如下损失函数进行优化：

式中，y_i,j,c为指示函数，若节点i,j立场为c则值为1，否则为0；

接着，依据相邻社群内的同种类型节点表示相似，通过对比学习度量社群相似度，正样本为相邻的、同类型节点，负样本为多跳或不同类型的样本，通过优化损失函数拉进正样本、推远负样本，实现无监督社群相似性度量，采用的损失函数如下：

式中，P_i和N_i分别是对于节点i的正样本集合与负样本集合，Q为超参数，σ(·)为sigmoid函数；

最终，社交机器人检测模型采用的损失函数如下：

式中，λ₁和λ₂为控制立场检测模块和社群相似度度量模块的超参数，θ为所有模型中的可训练参数，λ是一个表示正则化项权重的超参数。

进一步的，基于动态异质图的社交媒体机器人检测系统，包括：

社交媒体建模模块，用于基于异质信息网络建模社交媒体，将社交媒体的用户、推文、话题和社群作为网络节点，将各节点之间不同种类的互动关系作为网络中的异质性边，并利用特征工程与预训练语言模型编码用户信息以及社交媒体文本信息，拼接时间戳信息，得到图神经网络中各节点初始特征；

节点计算模块，用于通过各节点初始特征得到不同节点之间的注意力数值以建模关系的异质性，采用关系图transformer对社交媒体关系和影响力异质性建模，通过相对时间编码保留动态依赖信息，计算节点表示；

节点表示模块，用于基于语义注意力网络跨关系聚合节点表示，保留社交媒体异质性所带来的关系；

预测模块，用于经过若干层图神经网络得到最终节点表示，通过输出层和softmax层对用户类型节点进行社交媒体机器人账户预测，同时利用立场检测和社群相似度度量优化检测。

进一步的，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如基于动态异质图的社交媒体机器人检测方法的步骤。

进一步的，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如基于动态异质图的社交媒体机器人检测方法的步骤。

与现有技术相比，本发明有以下技术效果：

本发明的目的是提供一种基于动态异质图的社交媒体机器人检测方法，通过构建动态的社交媒体异质信息网络，利用基于关系图transformer对社交媒体的关系异质性和影响力异质性建模，并基于语义注意力网络跨关系聚合节点，实现社交媒体机器人账户检测分类，同时可以通过立场检测和社群相似性度量来优化社交机器人检测任务。本发明提出社交媒体机器人账户检测算法应当建模社交媒体中广泛存在的关系与影响力异质性，并考虑社交网络的动态特征，增强社交媒体机器人检测算法的鲁棒性；同时，基于动态图结构的、异质性感知的社交媒体机器人账户检测框架，能够学到高质量的社交媒体用户表示，使得本发明与其它社交机器人检测方法相比，具有明显的优势。

附图说明

图1是本发明基于动态异质信息网络的社交机器人检测方法模型流程图。

图2是本发明阐述的社交媒体中的关系异质性和影响力异质性示意图。

具体实施方式

以下结合附图及实施例对本发明的实施方式进行详细说明。需要说明的是，此处描述的实施例只用以解释本发明，并不用于限定本发明。此外，在不冲突的情况下，本发明中的实施例涉及的技术特征可以相互结合。

本发明的具体实施过程包括基于异质信息网络的社交媒体建模、基于关系图transformer的社交媒体影响力异质性建模、基于语义注意力网络跨关系聚合节点和基于图神经网络的社交媒体机器人账户检测。

本发明的目的是提供一种基于动态异质图的社交媒体机器人检测方法，通过构建动态的社交媒体异质信息网络，利用基于关系图transformer对社交媒体的关系异质性和影响力异质性建模，并基于语义注意力网络跨关系聚合节点，实现社交媒体机器人账户检测分类，同时可以通过立场检测和社群相似性度量来优化社交机器人检测任务。

首先，基于异质信息网络建模社交媒体，将社交媒体用户、推文、话题和社群作为网络节点、将各节点之间不同种类的互动关系作为网络中的异质性边，并利用特征工程与预训练语言模型编码用户信息以及社交媒体文本信息，拼接时间戳信息，计算图神经网络中各节点初始特征；

然后，采用关系图transformer对社交媒体关系和影响力异质性建模，通过相对时间编码保留动态依赖信息，计算节点表示；

接着，基于语义注意力网络跨关系聚合节点表示，保留社交媒体异质性所带来的多种多样的关系；

最后，经过若干层图神经网络得到最终节点表示，通过输出层和softmax层对用户类型节点进行社交媒体机器人账户预测，同时利用立场检测和社群相似度度量进一步优化检测。

图1是本发明基于动态异质信息网络的社交机器人检测方法模型流程图。

基于动态异质信息网络的社交媒体建模

本发明以社交媒体用户及发表的推文、参与的话题、加入的社群作为网络的异质性节点v，将用户、推文、话题和社群之间不同种类的互动关系作为网络中的异质性边e，以集合R^V,R^E分别表示异质信息网络中的节点种类和关系种类，用

ψ分别表示节点和边的映射至对应类型的映射函数，并用时间函数t对各节点打上时间戳标记，本发明提出的社交媒体动态异质图网络G定义如下：

随后，本发明利用特征工程编码节点元数据，并采用预训练语言模型编码用户信息以及社交媒体文本信息等语义数据，将得到的编码表征拼接时间戳信息得到各节点特征向量x_i，利用全连接层神经网络对节点i的特征向量x_i进行变换，将得到的结果作为图神经网络中点的初始特征x_i ⁽⁰⁾，计算公式如下所示：

x_i ⁽⁰⁾＝σ(W_I·x_i+b_I)

式中，W_I、b_I代表模型可学习参数，σ代表非线性激活函数，不同类型的节点表示采用不同的线性映射函数。

2.基于关系图transformer的社交媒体影响力异质性建模

本发明提出包含transformers并在异质信息网络中运算的图神经网络结构，用于建模社交媒体中的关系和影响力异质性，同时考虑了动态图的关系依赖。

本发明首先计算第c个注意力头在关系r和节点i下对应的query，key和value的数值，计算公式如下所示：

式中，q,k,v为注意力机制中的query，key和value值，(l)表示第l层图神经网络，所有的W和b是模型中对不同关系和注意力头的可学习参数。

随后，本发明通过计算不同节点之间的注意力数值以建模关系的异质性，其计算方式如下所示：

式中，

代表节点i与j之间的注意力权重，

表示指数型的点积函数，d为每个注意力头的隐藏层维度，N^r(i)表示节点i在关系r的邻居集合。

随后，本发明为保留节点在不同时间段产生的依赖关系，利用相对时间编码RTE建模节点邻居与节点之间的时间差关系，并将其与节点j的原value值相加以进行时间增广，具体计算公式如下：

ΔT(i,j)＝|t_i-t_j|

RTE(ΔT(i,j))＝W_T·Base(ΔT(i,j))+B_T

式中，t_i表示节点i对应的时间戳，W_T,B_T为线性变换参数；

接着，本发明利用如下公式，在节点邻居与注意力头中聚合消息以获得在关系r下的节点表示：

式中，

代表节点i在第l层关系r下的隐藏层表示，C为注意力头总数。

然后，本发明对得到的结果使用门机制以平滑表示学习，先计算出门的数值水平

再对学到的节点表示

和输入

使用门操作，具体计算流程如下所示：

式中，[·,·]代表向量拼接操作，W_A、b_A代表模型可学习参数，⊙为哈达玛乘积运算符号，

代表节点i在第l层关系r下学得的表示向量。

由此图关系transformers架构，可得到节点表示，建模社交媒体中的关系和影响力异质性。

社交媒体中的关系异质性和影响力异质性如图2所示。

3.基于语义注意力网络跨关系聚合节点

本发明首先从全局所有节点的视角获得各关系的重要性权重

并采用softmax函数归一化各关系的重要性，计算方法如下式所示：

式中，

表示关系r在第d个注意力头中的权重，V为异质信息网络中节点集合，

代表第d个注意力头在第l层中的语义注意力向量，

和

是语义注意力网络中的可学习参数，

表示归一化后关系r在第d个注意力头中的权重。

随后，本发明利用计算出的关系权重聚合不同关系子图下的节点表示，聚合流程如下式所示：

式中，

代表第l层的节点表示结果，

表示关系图transformers的结果，D为语义注意力网络中的注意力头个数。

由此本发明实现了跨用户、跨关系子图聚合节点信息，保留社交媒体异质性所带来的多种多样的关系，对社交媒体本征异质性实现了动态处理。

4.基于图神经网络的社交媒体机器人账户检测

本发明提出的模型中的每一层图神经网络包括一个关系图transformer以及一个语义注意力网络，经过L层图神经网络后得到最终的节点表示x⁽⁾，随后，本发明在社交媒体用户节点上进行账户分类预测，并通过对推文节点、话题节点以及社群节点的有监督推文立场检测和无监督社群相似度检测来进一步优化社交机器人检测任务。

本发明利用一个输出层和一个softmax层进行社交媒体机器人账户检测分类，模型对用户i的预测结果计算公式如下：

式中，

为所有社交媒体用户节点的最终表示，所有的W和b是模型的可学习参数；此模块采用有监督的用户标注训练，损失函数如下所示：

式中，Y为有标注的社交媒体用户集合，y_i为标注标签。

进一步的，考虑到社交机器人为了干扰舆论，对特定事件会发布与主流不相符，且情绪激动极端的推文以挑动社交网络用户；利用图中的推文节点与话题事件节点进行立场检测；针对特定立场c和推文节点x_i,x_j，使用线性变换将节点表示映射至立场敏感的线性空间

与

其中α_c和β_c分别为针对立场c的可学习线性映射函数，利用如下损失函数进行优化：

式中，y_i,j,c为指示函数，若节点i,j立场为c则值为1，否则为0；

进一步的，考虑到社交机器人为了能够有效传播大量同一有害信息或者规避一般基于特征的监测模型，会互相关注以起到混淆作用；同时，用户也会关注与自己相似的用户；再依据相邻社群内的同种类型节点表示相似，通过对比学习度量社群相似度，正样本为相邻的、同类型节点，负样本为多跳或不同类型的样本，通过优化损失函数拉进正样本、推远负样本，实现无监督社群相似性度量，采用的损失函数如下：

式中，P_i和N_i分别是对于节点i的正样本集合与负样本集合，Q为超参数，σ(·)为sigmoid函数；

最终，社交机器人检测模型采用的损失函数如下：

式中，λ₁和λ₂为控制立场检测模块和社群相似度度量模块的超参数，θ为所有模型中的可训练参数，λ是一个表示正则化项权重的超参数。

本发明采用的图神经网络模型超参数设定如表3所示。

本发明再一实施例中，提供一种基于动态异质图的社交媒体机器人检测系统，能够用于实现上述的基于动态异质图的社交媒体机器人检测方法，具体的，该系统包括：

社交媒体建模模块，用于基于异质信息网络建模社交媒体，将社交媒体的用户、推文、话题和社群作为网络节点，将各节点之间不同种类的互动关系作为网络中的异质性边，并利用特征工程与预训练语言模型编码用户信息以及社交媒体文本信息，拼接时间戳信息，得到图神经网络中各节点初始特征；

节点计算模块，用于通过各节点初始特征得到不同节点之间的注意力数值以建模关系的异质性，采用关系图transformer对社交媒体关系和影响力异质性建模，通过相对时间编码保留动态依赖信息，计算节点表示；

节点表示模块，用于基于语义注意力网络跨关系聚合节点表示，保留社交媒体异质性所带来的关系；

预测模块，用于经过若干层图神经网络得到最终节点表示，通过输出层和softmax层对用户类型节点进行社交媒体机器人账户预测，同时利用立场检测和社群相似度度量优化检测。

本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于动态异质图的社交媒体机器人检测方法的操作。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于动态异质图的社交媒体机器人检测方法的相应步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.基于动态异质图的社交媒体机器人检测方法，其特征在于，包括：

基于异质信息网络建模社交媒体，将社交媒体的用户、推文、话题和社群作为网络节点，将各节点之间不同种类的互动关系作为网络中的异质性边，并利用特征工程与预训练语言模型编码用户信息以及社交媒体文本信息，拼接时间戳信息，得到图神经网络中各节点初始特征；

采用关系图transformer建模社交媒体关系和影响力异质性，通过各节点初始特征计算注意力头在不同关系与节点对下的query，key和value数值，并由query和key计算不同节点之间的注意力数值以建模关系的异质性，通过相对时间编码保留动态依赖信息，聚合注意力数值和邻居节点value值得到在特定关系下的节点表示；

基于语义注意力网络跨关系聚合节点表示，得到在聚合节点不同关系后的节点表示，以保留社交媒体异质性所带来的关系；

经过若干层图神经网络得到最终节点表示，通过输出层和softmax层对用户类型节点进行社交媒体机器人账户预测，同时利用立场检测和社群相似度度量优化检测。

2.根据权利要求1所述的基于动态异质图的社交媒体机器人检测方法，其特征在于，基于异质信息网络建模社交媒体过程中，将社交媒体的用户、推文、话题和社群作为网络异质性节点v，将用户、推文、话题和社群之间不同种类的互动关系作为网络中的异质性边e，以集合R^V,R^E分别表示异质信息网络中的节点种类和关系种类，用

ψ分别表示节点和边的映射至对应类型的映射函数，并用时间函数t对各节点打上时间戳标记，社交媒体动态异质图网络G定义如下：

3.根据权利要求2所述的基于动态异质图的社交媒体机器人检测方法，其特征在于，利用特征工程编码节点元数据，并采用预训练语言模型编码用户信息以及社交媒体文本信息语义数据，将得到的编码表征拼接时间戳信息得到各节点特征向量x_i，利用全连接层神经网络对x_i进行变换，将得到的结果作为图神经网络中节点的初始特征x_i ⁽⁰⁾，计算公式如下所示：

x_i ⁽⁰⁾＝σ(W_I·x_i+b_I)

式中，W_I、b_I代表模型可学习参数，σ代表非线性激活函数，不同类型的节点表示采用不同的线性映射函数。

4.根据权利要求1所述的基于动态异质图的社交媒体机器人检测方法，其特征在于，关系图transformer的社交媒体影响力异质性建模过程中，提出包含transformers并在异质信息网络中运算的图神经网络结构；首先计算第c个注意力头在关系r和节点i下对应的query，key和value的数值，计算公式如下所示：

式中，q,k,v为注意力机制中的query，key和value值，(l)表示第l层图神经网络，所有的W和b是模型中对不同关系和注意力头的可学习参数；

随后，通过计算不同节点之间的注意力数值建模关系异质性，其计算方式如下所示：

式中，

代表节点i与j之间的注意力权重，

表示指数型的点积函数，d为每个注意力头的隐藏层维度，N^r(i)表示节点o在关系r的邻居集合；

接着，利用相对时间编码RTE建模节点邻居与节点之间的时间差关系，并将其与节点j的原value值相加以进行时间增广，具体计算公式如下：

ΔT(i,j)＝|t_i-t_j|

RTE(ΔT(i,j))＝W_T·Base(ΔT(i,j))+B_T

式中，t_i表示节点i对应的时间戳，W_T,B_T为线性变换参数；

接着，利用如下公式，在节点邻居与注意力头中聚合消息以获得在关系r下的节点表示：

式中，

代表节点i在第l层关系r下的隐藏层表示，C为注意力头总数；

然后，对得到的结果使用门机制以平滑表示学习，先计算出门的数值水平

再对学到的节点表示

和输入

使用门操作，具体计算流程如下所示：

式中，[·,·]代表向量拼接操作，W_A、b_A代表模型可学习参数，⊙为哈达玛乘积符号，

代表节点i在第l层关系r下学得的表示向量。

5.根据权利要求1所述的基于动态异质图的社交媒体机器人检测方法，其特征在于，基于语义注意力网络跨关系聚合节点表示过程中，首先从全局所有节点的视角获得各关系的重要性

并采用softmax函数归一化各关系的重要性，计算方法如下式所示：

式中，

表示关系r在第d个注意力头中的权重，V为异质信息网络中节点集合；

代表第d个注意力头在第l层中的语义注意力向量；

和

是语义注意力网络中的可学习参数，

表示归一化后关系r在第d个注意力头中的权重；

随后，利用计算出的关系权重聚合不同关系子图下的节点表示，聚合流程如下所示：

式中，

代表第l层的节点表示结果，

表示关系图transformers的结果，D为语义注意力网络中的注意力头个数。

6.根据权利要求1所述的基于动态异质图的社交媒体机器人检测方法，其特征在于，基于图神经网络的社交媒体机器人账户检测过程中，模型中的每一层图神经网络包括一个关系图transformer以及一个语义注意力网络，经过L层图神经网络后得到最终的节点表示x⁽⁾；在社交媒体用户节点上进行账户分类预测，并通过对推文节点、话题节点以及社群节点的有监督推文立场检测和无监督社群相似度检测来进一步优化社交机器人检测任务。

7.根据权利要求6所述的基于动态异质图的社交媒体机器人检测方法，其特征在于，首先，利用一个输出层和一个softmax层进行社交媒体机器人账户检测分类，模型对用户i的预测结果计算方式如下：

式中，

为所有的用户节点的最终表示，所有的W和b是模型的可学习参数；此模块采用有监督的用户标注训练，损失函数如下所示：

式中，Y为有标注的社交媒体用户集合，y_i为标注标；

然后，考虑到社交机器人为了干扰舆论，对特定事件会发布与主流不相符，且情绪激动极端的推文以挑动社交网络用户；利用图中的推文节点与话题事件节点进行立场检测；针对特定立场c和推文节点x_i,x_j，使用线性变换将节点表示映射至立场敏感的线性空间

与

其中α_c和β_c分别为针对立场c的可学习线性映射函数，利用如下损失函数进行优化：

式中，y_i,j,c为指示函数，若节点i,j立场为c则值为1，否则为0；

接着，依据相邻社群内的同种类型节点表示相似，通过对比学习度量社群相似度，正样本为相邻的、同类型节点，负样本为多跳或不同类型的样本，通过优化损失函数拉进正样本、推远负样本，实现无监督社群相似性度量，采用的损失函数如下：

式中，P_i和N_i分别是对于节点i的正样本集合与负样本集合，Q为超参数，σ(·)为sigmoid函数；

最终，社交机器人检测模型采用的损失函数如下：

式中，λ₁和λ₂为控制立场检测模块和社群相似度度量模块的超参数，θ为所有模型中的可训练参数，λ是一个表示正则化项权重的超参数。

8.基于动态异质图的社交媒体机器人检测系统，其特征在于，包括：

社交媒体建模模块，用于基于异质信息网络建模社交媒体，将社交媒体的用户、推文、话题和社群作为网络节点，将各节点之间不同种类的互动关系作为网络中的异质性边，并利用特征工程与预训练语言模型编码用户信息以及社交媒体文本信息，拼接时间戳信息，得到图神经网络中各节点初始特征；

节点计算模块，用于通过各节点初始特征得到不同节点之间的注意力数值以建模关系的异质性，采用关系图transformer对社交媒体关系和影响力异质性建模，通过相对时间编码保留动态依赖信息，计算节点表示；

节点表示模块，用于基于语义注意力网络跨关系聚合节点表示，保留社交媒体异质性所带来的关系；

预测模块，用于经过若干层图神经网络得到最终节点表示，通过输出层和softmax层对用户类型节点进行社交媒体机器人账户预测，同时利用立场检测和社群相似度度量优化检测。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于动态异质图的社交媒体机器人检测方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于动态异质图的社交媒体机器人检测方法的步骤。

Images