CN113269228A - 一种图网络分类模型的训练方法、装置、系统及电子设备 - Google Patents

一种图网络分类模型的训练方法、装置、系统及电子设备 Download PDF

Info

Publication number
CN113269228A
CN113269228A CN202110421442.3A CN202110421442A CN113269228A CN 113269228 A CN113269228 A CN 113269228A CN 202110421442 A CN202110421442 A CN 202110421442A CN 113269228 A CN113269228 A CN 113269228A
Authority
CN
China
Prior art keywords
nodes
node
classification model
countermeasure
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110421442.3A
Other languages
English (en)
Other versions
CN113269228B (zh
Inventor
吴涛
先兴平
许爱东
骆俊辉
杨楠
马红玉
姜丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China South Power Grid International Co ltd
Chongqing University of Post and Telecommunications
Original Assignee
China South Power Grid International Co ltd
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China South Power Grid International Co ltd, Chongqing University of Post and Telecommunications filed Critical China South Power Grid International Co ltd
Priority to CN202110421442.3A priority Critical patent/CN113269228B/zh
Publication of CN113269228A publication Critical patent/CN113269228A/zh
Application granted granted Critical
Publication of CN113269228B publication Critical patent/CN113269228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于图数据安全领域，具体涉及一种图网络分类模型的训练方法、装置、系统及电子设备；所述方法包括采集图数据集，并将所述图数据集划分为有标签节点和无标签节点；将有标签节点的图数据输入到分类模型进行训练；使用训练完成后的分类模型对无标签节点的图数据分类；随机从有标签节点和无标签节点中选择出对抗节点，计算对抗节点对对抗样本生成器损失函数的影响，从而产生对抗样本；将对抗样本输入到训练完成后的分类模型再次进行训练，得到增强后的分类模型；本发明用训练好的分类模型对无标签节点的标签进行预测，这样有利于解决连通性问题以及半监督学习中的低标签率问题。本发明能够有效地提高节点分类模型的鲁棒性。

Description

一种图网络分类模型的训练方法、装置、系统及电子设备
技术领域
本发明属于图领域安全领域，具体涉及一种图网络分类模型的训练方法、装置、系统及电子设备。
背景技术
近年来，由于图数据在现实世界中的普遍存在性，研究人员开始思考如何将深度学习模型应用于图数据中。
图深度学习模型被广泛应用于社交网络、社团检测、推荐系统中。其中，图卷积神经网络是图深度学习模型中最重要的一个分支。图卷积神经网络的应用场景大体上分为两类，一类是节点层面的任务，一类是图层面的任务。在图层面的任务中，最常见的有图生成，图分类等任务；在节点层面的任务中，最常见的有节点分类任务，链接预测任务。节点分类任务是图卷积神经网络里面最流行且最被广泛应用的任务之一。图神经网络模型中的节点分类任务是一种通过学习图数据的特征来对节点预测一个真实类别的任务。
在深度学习领域中，利用深度学习模型的弊端破坏模型的方法称为对抗攻击，即针对输入数据做出难以察觉的特殊改动，使得模型失灵。对抗攻击的存在使模型安全性面临着巨大的威胁。图深度学习模型同样会受到对抗攻击的侵害。拿社交网络节点分类为例，如果恐怖分子能够产生对抗样本使得模型将其分类为友好市民，就会给国家安全带来危害。同样地，在推荐系统中，如果攻击者能够向模型注入有害数据使得竞争对手的推荐模型性能下降，就可以在商业中获得有利地位。因此，由于图深度学习模型的普遍应用性，需要提出一些方法与机制来提高模型在面对对抗攻击时的鲁棒性。
发明内容
基于上述技术问题，本发明提供了一种图网络分类模型的训练方法、装置、系统及电子设备，这些方案能够对无标签节点进行分类，能够扩充训练样本，有利于解决分类模型中的低标签率问题。同时，本发明可以有效地解决在对抗训练中训练集与对抗样本缺乏连通性的问题。能够提高分类模型在面对对抗攻击时的鲁棒性。
在本发明的第一方面，本发明提供了一种图网络分类模型的训练方法，所述方法包括：
采集图数据集，并将所述图数据集划分为有标签节点和无标签节点；
将有标签节点的图数据输入到分类模型进行训练；
使用训练完成后的分类模型对无标签节点的图数据分类；
随机从有标签节点和无标签节点中选择出对抗节点，计算对抗节点对对抗样本生成器损失函数的影响，从而产生对抗样本；
将对抗样本输入到训练完成后的分类模型再次进行训练，得到增强后的分类模型。
在本发明的第二方面，本发明还提供了一种图网络分类模型的训练装置，所述装置包括：
数据采集模块，用于采集图数据集；
预处理模块，用于将所述数据集划分为有标签节点和无标签节点；
第一训练模块，用于将有标签节点的图数据输入到分类模型进行训练；
预分类模块，用于从训练完成后的分类模型对无标签节点的图数据分类；
数据生成模块，用于选择部分标签节点作为对抗节点，并计算对抗节点对对抗样本生成器损失函数的影响，从而产生对抗样本；
第二训练模块，用于将对抗样本输入到训练完成后的分类模型再次进行训练，得到增强后的分类模型。
在本发明的第三方面，本发明还提供了一种图网络分类模型的训练系统，所述系统包括数据采集服务器和数据训练服务器；
所述数据采集服务器，用于采集图数据集并将所述图数据集划分为有标签节点和无标签节点；
所述数据训练服务器，用于将有标签节点的图数据输入到分类模型进行训练；
使用训练完成后的分类模型对无标签节点的图数据分类；
随机从有标签节点和无标签节点中选择出对抗节点，计算对抗节点对对抗样本生成器损失函数的影响，从而产生对抗样本；
将对抗样本输入到训练完成后的分类模型再次进行训练，得到增强后的分类模型。
在本发明的第四方面，本发明还提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面的一种图网络分类模型的训练方法。
本发明的有益效果：
与现有的技术相比，本发明提出一种图网络分类模型的训练方法、装置、系统及电子设备；首先使用训练集中的有标签节点对分类模型进行训练。训练完成后，用该模型对无标签节点进行分类，然后将这些分类作为无标签节点的标签。这样有利于解决训练集节点与测试集节点的连通性问题。接下来本发明在数据集中随机采样多组对抗节点，然后计算这些节点对分类模型预测效果的影响，来生成对抗样本。为了更好地将无标签节点与已标签节点结合起来，本发明定义了一个新的损失函数。本发明将使用生成的对抗样本和新的损失函数重新训练分类模型。经过本发明所强化的节点分类模型在面对对抗攻击时有着更好的鲁棒性。本发明用训练好的分类模型对无标签节点的标签进行预测，这样有利于解决连通性问题以及半监督学习中的低标签率问题。本发明能够有效地提高节点分类模型的鲁棒性。
附图说明
图1为本发明提供的一种图网络分类模型的训练方法流程图；
图2为本发明实施例中所采用的GCN节点分类模型的图解；
图3为本发明实施例中的一种GCN节点分类模型对抗攻击的防御架构图
图4是本发明实施例中一种图网络分类模型的训练装置架构图；
图5是本发明实施例中一种图网络分类模型的训练系统架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例中一种图网络分类模型的训练方法流程图，如图1所示，所述方法包括：
101、采集图数据集，并将所述图数据集划分为有标签节点和无标签节点；
在现实生活中，无标签数据易于获取，而有标签数据的收集比较困难，标注工作耗时耗力。本发明不仅需要获得有标签数据，同时还需要大量的无标签数据。
以图卷积神经网络节点分类模型为例，图卷积神经网络节点分类任务面临着低标签率问题，为了能获取到足够的训练数据，本发明需要获得大量的无标签节点和有标签节点，可以理解的是，所述有标签节点和无标签节点主要针对图网络中的节点，即有标签节点和无标签节点都指的是图数据集中节点数据。
在本发明中，假设有一个节点分类任务，其中已获取到一个数据集。但是，数据集中只有一部分的数据被标记，其余的数据未被标记。例如，我们有一个社交网络节点分类模型来对社交网络中的节点进行分类，其中我们将用户填写的职业作为节点的标签，但是在现实生活中，有很多用户是没有填写这一栏信息的，在这种情况下，可以将已填写职业的用户作为有标签数据集，其他没有填写职业信息的用户作为无标签数据集。
本发明中，将无标签节点对应的图数据集的邻接矩阵表示为A，Ai，j为原图邻接矩阵A中链接(i，j)的邻接矩阵值，代表在图中是否存在链接(i，j)，Ai，j∈{0，1}，0代表不存在链接关系，1代表存在链接关系；以电力图网络为例，例如A2，3＝1可以表示为电力节点2与电力节点3之间存在链接关系。
可以理解的是，本发明的图网络可以是社交网络，也可以是工业网络，本发明对此不做任何限定。
102、将有标签节点的图数据输入到分类模型进行训练；
在数据获取的过程中，会得到一些有标签的数据以及无标签的数据。而在有标签的数据中可能存在多个标签，需要对这些标签进行处理，例如对重复的标签去重。因此，在将有标签节点的图数据输入到分类模型进行训练之前还可以对数据集进行预处理，如去重，剔除无用数据、规范化，然后将数据进行存储，以备重复使用。然后将有标签的数据集按9:1的比例划分为训练集和测试集。
将有标签节点的图数据的训练集部分输入到分类模型中进行训练，将有标签节点的图数据的训练集输入到分类模型中进行测试，若测试后的分类准确率达到预期效果，则认为该分类模型训练完成。
103、使用训练完成后的分类模型对无标签节点的图数据分类；
为了能获取到足够的训练数据，本发明需要对无标签节点的图数据分类，也就是通过该分类模型预测出无标签节点中的节点标签，这些处理后的无标签节点将与有标签节点一样，同样具有分类标签。
本发明用节点分类模型提取有标签数据集中的节点特征，通过获取节点特征，可以得到一个原始的节点分类模型。用该模型对无标签节点的标签进行预测，并将预测的标签作为这些无标签节点的标签。
104、随机从有标签节点和无标签节点中选择出对抗节点，计算对抗节点对对抗样本生成器损失函数的影响，从而产生对抗样本；
首先，从有标签节点和无标签节点中随机采样，选择部分标签节点作为对抗节点；
使用随机采样算法从图数据集中选择出w组对抗节点；例如：Simple Random WalkSampling(SRW)算法、Random Walk Sampling with Fly Back Probability(RWF)算法、Induced Subgraph Random Walk Sampling(ISRW)算法对节点进行采样，采样后将其中一部分有标签节点或/和无标签节点作为后续使用。
由于图节点分类任务大多数都是半监督任务，训练集节点与受攻击的测试集节点缺乏连通性。本发明对无标签节点进行分类识别有利于解决连通性问题。
可以理解的是，所述无标签节点仍然具有标签，这些标签是通过分类模型预测出的，并不是指的该无标签节点不具有标签，本发明采用无标签节点与有标签节点仅仅只是为了区分这两种标签节点的处理方式不同。
在本发明实施例中，为了产生对抗样本，本发明采用如下技术：
选择对损失函数影响最大的一组对抗节点，将这组对抗节点所连接的边作为第一候选边
Figure BDA0003027961730000061
其中第一候选边可以定义为：
Figure BDA0003027961730000062
选择对损失函数影响最小的一组对抗节点，将这组对抗节点所连接的边作为第二候选边
Figure BDA0003027961730000063
所述第二候选边可以定义为：
Figure BDA0003027961730000064
其中，
Figure BDA0003027961730000065
为损失函数，
Figure BDA0003027961730000066
为i节点的标签值，zi为i节点的标签预测值。
将所述第一候选边
Figure BDA0003027961730000067
加入到无标签节点的图数据的邻接矩阵A中，将所述第二候选边
Figure BDA0003027961730000068
叭所述无标签节点的图数据的邻接矩阵A中删除；
分别计算出在邻接矩阵中加入第一候选边和删除第二候选边对分类预测效果的影响；
将影响较大的无标签节点的图数据的邻接矩阵作为对抗样本。
比较以上两种情况所产生的预测效果的影响，取影响较大者。例如，如果将
Figure BDA0003027961730000069
加入到邻接矩阵A所产生的预测效果比将
Figure BDA00030279617300000610
从邻接矩阵A删除的预测效果更差，则把邻接矩阵A加上
Figure BDA00030279617300000611
乍为对抗样本A′。
在一些优选实施例中，为了提升对抗样本的抗攻击性，本发明采用多次循环的方式，首先判断||A′-A||＜∈是否成立，若成立，则返回筛选对抗节点的过程，继续生成对抗样本，否则直接输出当前迭代过程中的对抗样本；生成的A′即为本发明所需的对抗样本。其中∈为扰乱预算，这个扰乱预算可以人为设定可以根据多次运算确定。
本发明中分类模型以图卷积神经网络(Graph Convolutional Network，简称GCN)节点分类模型为例，如图2所示，该GCN节点分类模型由两个全连接层和一个softmax层组成，上一层的输出将作为下一层的输入，初始输入为邻接矩阵A和特征X，节点(X1 X2 X3X4)在隐藏层对特征提取后，输出各自的预测标签(Z1 Z2 Z3 Z4)。两个全连接层的参数分别为W(1)、W(2)。本发明可以采用以下公式来代表本发明实施例的分类模型：
Figure BDA0003027961730000071
其中，A为原始的邻接矩阵，
Figure BDA0003027961730000072
为标准化邻接矩阵；
Figure BDA0003027961730000073
为原始矩阵A加上单位矩阵I，
Figure BDA0003027961730000074
为节点的度矩阵，σ为激活函数。
使用交叉熵损失函数：
Figure BDA0003027961730000075
其中，yL代表有标签的数据集，F代表图卷积神经网络的层数，Yi代表标签，YIf表示在第f层图卷积神经网络中第l个节点的标签值；Zi代表预测值，Zlf表示在第f层图卷积神经网络中第l个节点的标签预测值。
使用ReLU线性整流函数：
f(x)＝max(0，x)
也可以使用其它非线性激活函数，例如Leaky ReLU、Randomized Leaky ReLU，本发明可以不限于上述例子。
105、将对抗样本输入到训练完成后的分类模型再次进行训练，得到增强后的分类模型。
由于无标签节点中的标签不一定是正确的标签，此时要对GCN节点分类模型的损失函数进行修改，降低无标签样本中的损失值对损失函数的影响。将上述步骤中获得的对抗样本作为输入结合新的损失函数，重新训练GCN节点分类模型，也就是说所述将对抗样本输入到训练完成后的分类模型再次进行训练中采用更新后的损失函数，所述更新后的损失函数表示为：
Figure BDA0003027961730000081
其中，J(A′，X)表示对抗样本A′与图数据集之间的损失函数；L表示有标签节点的集合；loss(yi，zi)＝(max(zi，：)-yi)；
Figure BDA0003027961730000082
yi表示有标签数据集中i节点的标签值，zi表示有标签数据集中i节点的标签预测值；α表示权重参数；其中zi，：表示有标签数据集中i节点的所有标签值；zj，：表示无标签数据集中j节点的所有标签值；U表示无标签节点的集合；yj表示无标签数据集中j节点的标签值，A′为对抗样本，X为节点特征。
本发明将使用获得的对抗样本A′结合新的损失函数J重新训练GCN节点分类模型；重新训练的GCN节点分类模型与原始模型一样具有两层全连接层，一层softmax输出层。
全连接层定义为：
Figure BDA0003027961730000083
其中，
Figure BDA0003027961730000084
为标准化邻接矩阵。
Figure BDA0003027961730000085
为对抗矩阵A′加上单位矩阵I，
Figure BDA0003027961730000086
为节点的度矩阵，σ为激活函数。
目标函数：
Figure BDA0003027961730000087
损失函数：
Figure BDA0003027961730000088
其中：
loss(yi，zi)＝(max(zi，：)-yi)
Figure BDA0003027961730000089
激活函数：
ReLU＝max(0，x)
L为有标签节点的集合、U为无标签节点的集合，无标签节点集U与有标签节点L的loss值通过α参数结合起来，∈为扰乱参数，σ为激活函数，yi为标签值，zi为预测值。
图3给出了本发明实施例中的一种GCN节点分类模型对抗攻击的防御架构图，如图3所述，该架构中，首先将输入划分为有标签数据和无标签数据，将有标签数据输入到GCN节点分类模型中进行训练，训练完成后输出训练好的GCN节点分类模型f；将无标签数据输入到训练好的GCN节点分类模型f中预测出无标签数据的标签；对有标签数据和无标签数据进行随机采样，生成对抗节点，将对抗节点和有标签数据和无标签数据都输入到对抗样本生成器中，生成对抗样本；将对抗样本输入到训练好的GCN节点分类模型f中，重新训练输出强化后的GCN节点分类模型f’。
图4是本发明实施例中一种图网络分类模型的训练装置架构图，如图4所示，所述装置包括：
数据采集模块，用于采集图数据集；
所述数据采集模块可以采集原始数据集，经过一定的图处理后，将所述原始数据集调整为图数据集。
预处理模块，用于将所述数据集划分为有标签节点和无标签节点；在将有标签节点的图数据输入到分类模型进行训练之前还可以对数据集进行预处理，如去重，剔除无用数据、规范化，然后将数据进行存储，以备重复使用。
第一训练模块，用于将有标签节点的图数据输入到分类模型进行训练；
第一训练模块用于对分类模型进行预训练，有标签的数据集按9∶1的比例划分为训练集和测试集。将有标签节点的图数据的训练集部分输入到分类模型中进行训练，将有标签节点的图数据的训练集输入到分类模型中进行测试，若测试后的分类准确率达到预期效果，则认为该分类模型训练完成。
预分类模块，用于从训练完成后的分类模型对无标签节点的图数据分类；
本发明用节点分类模型提取有标签数据集中的节点特征，通过获取节点特征，可以得到一个原始的节点分类模型。用该模型对无标签节点的标签进行预测，并将预测的标签作为这些无标签节点的标签。
数据生成模块，用于选择部分标签节点作为对抗节点，并计算对抗节点对对抗样本生成器损失函数的影响，从而产生对抗样本；
首先，从有标签节点和无标签节点中随机采样，选择部分标签节点作为对抗节点；然后根据对抗节点对对抗样本生成器损失函数的影响，通过迭代过程按照增删候选边的方式产生对抗样本；
第二训练模块，用于将对抗样本输入到训练完成后的分类模型再次进行训练，得到增强后的分类模型。
由于无标签节点中的标签不一定是正确的标签，此时要对GCN节点分类模型的损失函数进行修改，降低无标签样本中的损失值对损失函数的影响。将上述步骤中获得的对抗样本作为输入结合新的损失函数，重新训练GCN节点分类模型，得到增强后的分类模型。
图5是本发明实施例中一种图网络分类模型的训练系统架构图，如图5所示，所述系统包括数据采集服务器和数据训练服务器；
所述数据采集服务器，用于采集图数据集并将所述图数据集划分为有标签节点和无标签节点；
所述数据训练服务器，用于将有标签节点的图数据输入到分类模型进行训练；
使用训练完成后的分类模型对无标签节点的图数据分类；
随机从有标签节点和无标签节点中选择出对抗节点，计算对抗节点对对抗样本生成器损失函数的影响，从而产生对抗样本；
将对抗样本输入到训练完成后的分类模型再次进行训练，得到增强后的分类模型。
本发明还提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下方法：
采集图数据集，并将所述图数据集划分为有标签节点和无标签节点；
将有标签节点的图数据输入到分类模型进行训练；
使用训练完成后的分类模型对无标签节点的图数据分类；
随机从有标签节点和无标签节点中选择出对抗节点，计算对抗节点对对抗样本生成器损失函数的影响，从而产生对抗样本；
将对抗样本输入到训练完成后的分类模型再次进行训练，得到增强后的分类模型。
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种图网络分类模型的训练方法，其特征在于，所述方法包括：
采集图数据集，并将所述图数据集划分为有标签节点和无标签节点；
将有标签节点的图数据输入到分类模型进行训练；
使用训练完成后的分类模型对无标签节点的图数据分类；
随机从有标签节点和无标签节点中选择出对抗节点，计算对抗节点对对抗样本生成器损失函数的影响，从而产生对抗样本；
将对抗样本输入到训练完成后的分类模型再次进行训练，得到增强后的分类模型。
2.根据权利要求1所述的一种图网络分类模型的训练方法，其特征在于，将所述图数据集划分为有标签节点和无标签节点之后还包括对所述图数据集进行预处理，即去重处理、剔除无用数据以及规范化。
3.根据权利要求1所述的一种图网络分类模型的训练方法，其特征在于，所述计算对抗节点对对抗样本生成器损失函数的影响，从而产生对抗样本包括：
随机从有标签节点和无标签节点中挑选出对抗节点；
选择对损失函数影响最大的一组对抗节点，将这组对抗节点所连接的边作为第一候选边；
选择对损失函数影响最小的一组对抗节点，将这组对抗节点所连接的边作为第二候选边；
将所述第一候选边加入到无标签节点的图数据的邻接矩阵中，将所述第二候选边从所述无标签节点的图数据的邻接矩阵中删除；
分别计算出在邻接矩阵中加入第一候选边和删除第二候选边对分类预测效果的影响；
将影响较大的无标签节点的图数据的邻接矩阵作为对抗样本。
4.根据权利要求3所述的一种图网络分类模型的训练方法，其特征在于，在所述将影响较大的无标签节点的图数据的邻接矩阵作为对抗样本后还包括判断所述无标签节点的图数据的邻接矩阵与对抗样本之间的范数是否小于扰乱预算，若小于扰乱预算，则返回使用随机采样算法从图数据集中选择出w组对抗节点，继续生成对抗样本；否则输出当前的对抗样本。
5.根据权利要求1所述的一种图网络分类模型的训练方法，其特征在于，所述将对抗样本输入到训练完成后的分类模型再次进行训练中采用更新后的损失函数，所述更新后的损失函数表示为：
Figure FDA0003027961720000021
其中，J(A',X)表示对抗样本A'与图数据集之间的损失函数；L表示有标签节点的集合；其中loss(yi，zi)＝(max(zi，：)-yi)；
Figure FDA0003027961720000022
yi表示有标签数据集中i节点的标签值，zi表示有标签数据集中i节点的标签预测值；α表示权重参数；其中zi，：表示有标签数据集中i节点的所有标签值；zj，：表示无标签数据集中j节点的所有标签值；U表示无标签节点的集合；yj表示无标签数据集中j节点的标签值，A′为对抗样本，X为节点特征。
6.一种图网络分类模型的训练装置，其特征在于，所述装置包括：
数据采集模块，用于采集图数据集；
预处理模块，用于将所述数据集划分为有标签节点和无标签节点；
第一训练模块，用于将有标签节点的图数据输入到分类模型进行训练；
预分类模块，用于从训练完成后的分类模型对无标签节点的图数据分类；
数据生成模块，用于选择部分标签节点作为对抗节点，并计算对抗节点对对抗样本生成器损失函数的影响，从而产生对抗样本；
第二训练模块，用于将对抗样本输入到训练完成后的分类模型再次进行训练，得到增强后的分类模型。
7.一种图网络分类模型的训练系统，其特征在于，所述系统包括数据采集服务器和数据训练服务器；
所述数据采集服务器，用于采集图数据集并将所述图数据集划分为有标签节点和无标签节点；
所述数据训练服务器，用于将有标签节点的图数据输入到分类模型进行训练；
使用训练完成后的分类模型对无标签节点的图数据分类；
随机从有标签节点和无标签节点中选择出对抗节点，计算对抗节点对对抗样本生成器损失函数的影响，从而产生对抗样本；
将对抗样本输入到训练完成后的分类模型再次进行训练，得到增强后的分类模型。
8.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一所述的一种图网络分类模型的训练方法。
CN202110421442.3A 2021-04-20 2021-04-20 一种图网络分类模型的训练方法、装置、系统及电子设备 Active CN113269228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110421442.3A CN113269228B (zh) 2021-04-20 2021-04-20 一种图网络分类模型的训练方法、装置、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110421442.3A CN113269228B (zh) 2021-04-20 2021-04-20 一种图网络分类模型的训练方法、装置、系统及电子设备

Publications (2)

Publication Number Publication Date
CN113269228A true CN113269228A (zh) 2021-08-17
CN113269228B CN113269228B (zh) 2022-06-10

Family

ID=77228997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110421442.3A Active CN113269228B (zh) 2021-04-20 2021-04-20 一种图网络分类模型的训练方法、装置、系统及电子设备

Country Status (1)

Country Link
CN (1) CN113269228B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570712A (zh) * 2021-09-23 2021-10-29 南京烽火星空通信发展有限公司 一种基于gcn的3d建模优化方法
CN115294402A (zh) * 2022-08-24 2022-11-04 合肥市正茂科技有限公司 一种基于去冗余多阶混合训练的半监督车辆分类方法
CN113806546B (zh) * 2021-09-30 2024-04-05 中国人民解放军国防科技大学 一种基于协同训练的图神经网络对抗防御方法及系统
WO2024120166A1 (zh) * 2022-12-08 2024-06-13 马上消费金融股份有限公司 数据处理方法、类别识别方法及计算机设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180005136A1 (en) * 2016-07-01 2018-01-04 Yi Gai Machine learning in adversarial environments
CN107563428A (zh) * 2017-08-25 2018-01-09 西安电子科技大学 基于生成对抗网络的极化sar图像分类方法
US20180330205A1 (en) * 2017-05-15 2018-11-15 Siemens Aktiengesellschaft Domain adaptation and fusion using weakly supervised target-irrelevant data
CN109410184A (zh) * 2018-10-09 2019-03-01 天格科技（杭州）有限公司 基于稠密对抗网络半监督学习的直播色情图像检测方法
US20190122120A1 (en) * 2017-10-20 2019-04-25 Dalei Wu Self-training method and system for semi-supervised learning with generative adversarial networks
CN110320162A (zh) * 2019-05-20 2019-10-11 广东省智能制造研究所 一种基于生成对抗网络的半监督高光谱数据定量分析方法
CN110322003A (zh) * 2019-06-10 2019-10-11 浙江大学 一种基于梯度的通过添加虚假节点的图对抗样本生成方法
CN110532377A (zh) * 2019-05-13 2019-12-03 南京大学 一种基于对抗训练和对抗学习网络的半监督文本分类方法
CN110750645A (zh) * 2019-10-15 2020-02-04 广东外语外贸大学 基于对抗训练的跨领域虚假评论识别方法
CN111046900A (zh) * 2019-10-25 2020-04-21 重庆邮电大学 基于局部流形正则化的半监督生成对抗网络图像分类方法
CN111522958A (zh) * 2020-05-28 2020-08-11 泰康保险集团股份有限公司 文本分类方法和装置
CN112070127A (zh) * 2020-08-21 2020-12-11 南方电网科学研究院有限责任公司 一种基于智能分析的海量数据样本增量分析方法
CN112215300A (zh) * 2020-10-28 2021-01-12 浙江工业大学 一种基于网络结构增强的图卷积模型防御方法、装置和系统
CN112287870A (zh) * 2020-11-11 2021-01-29 合肥的卢深视科技有限公司 一种人脸识别方法、装置及电子设备
US10909357B1 (en) * 2019-02-15 2021-02-02 Snap Inc. Image landmark detection
WO2021041342A1 (en) * 2019-08-23 2021-03-04 Memorial Sloan Kettering Cancer Center Semantic image retrieval for whole slide images

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180005136A1 (en) * 2016-07-01 2018-01-04 Yi Gai Machine learning in adversarial environments
US20180330205A1 (en) * 2017-05-15 2018-11-15 Siemens Aktiengesellschaft Domain adaptation and fusion using weakly supervised target-irrelevant data
CN107563428A (zh) * 2017-08-25 2018-01-09 西安电子科技大学 基于生成对抗网络的极化sar图像分类方法
US20190122120A1 (en) * 2017-10-20 2019-04-25 Dalei Wu Self-training method and system for semi-supervised learning with generative adversarial networks
CN109410184A (zh) * 2018-10-09 2019-03-01 天格科技（杭州）有限公司 基于稠密对抗网络半监督学习的直播色情图像检测方法
US10909357B1 (en) * 2019-02-15 2021-02-02 Snap Inc. Image landmark detection
CN110532377A (zh) * 2019-05-13 2019-12-03 南京大学 一种基于对抗训练和对抗学习网络的半监督文本分类方法
CN110320162A (zh) * 2019-05-20 2019-10-11 广东省智能制造研究所 一种基于生成对抗网络的半监督高光谱数据定量分析方法
CN110322003A (zh) * 2019-06-10 2019-10-11 浙江大学 一种基于梯度的通过添加虚假节点的图对抗样本生成方法
WO2021041342A1 (en) * 2019-08-23 2021-03-04 Memorial Sloan Kettering Cancer Center Semantic image retrieval for whole slide images
CN110750645A (zh) * 2019-10-15 2020-02-04 广东外语外贸大学 基于对抗训练的跨领域虚假评论识别方法
CN111046900A (zh) * 2019-10-25 2020-04-21 重庆邮电大学 基于局部流形正则化的半监督生成对抗网络图像分类方法
CN111522958A (zh) * 2020-05-28 2020-08-11 泰康保险集团股份有限公司 文本分类方法和装置
CN112070127A (zh) * 2020-08-21 2020-12-11 南方电网科学研究院有限责任公司 一种基于智能分析的海量数据样本增量分析方法
CN112215300A (zh) * 2020-10-28 2021-01-12 浙江工业大学 一种基于网络结构增强的图卷积模型防御方法、装置和系统
CN112287870A (zh) * 2020-11-11 2021-01-29 合肥的卢深视科技有限公司 一种人脸识别方法、装置及电子设备

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
MANAMI BARTHAKUR: ""Modified_Semi-Supervised_Adversarial_Deep_Network_and_Classifier_Combination_for_Segmentation_of_Satellite_Images"", 《IEEE ACCESS ( VOLUME: 8)》 *
MANAMI BARTHAKUR: ""Modified_Semi-Supervised_Adversarial_Deep_Network_and_Classifier_Combination_for_Segmentation_of_Satellite_Images"", 《IEEE ACCESS ( VOLUME: 8)》, 25 June 2020 (2020-06-25), pages 117972, XP011797193, DOI: 10.1109/ACCESS.2020.3005085 *
WUTAO,XINXINGPING,: ""Structural Predictability Optimization Against", 《DIGITAL OBJECT IDENTIFIER 10.1109/ACCESS.2019.2927002》 *
WUTAO,XINXINGPING,: ""Structural Predictability Optimization Against", 《DIGITAL OBJECT IDENTIFIER 10.1109/ACCESS.2019.2927002》, 5 July 2019 (2019-07-05), pages 92119 *
WUTAO: ""Enhancing robustness of link prediction for noisy complex", 《PHYSICA A: STATISTICAL MECHANICS AND ITS APPLICATIONS》 *
WUTAO: ""Enhancing robustness of link prediction for noisy complex", 《PHYSICA A: STATISTICAL MECHANICS AND ITS APPLICATIONS》, 31 October 2020 (2020-10-31), pages 1 - 12 *
杨济维: ""基于半监督深度学习的脑电信号特征提取及识别"", 《中国优秀硕士学位论文全文数据库-医药卫生科技辑》 *
杨济维: ""基于半监督深度学习的脑电信号特征提取及识别"", 《中国优秀硕士学位论文全文数据库-医药卫生科技辑》, 28 February 2020 (2020-02-28) *
许爱东等: ""基于动态时间规整的智能电网边缘用电数据去重技术"", 《南方电网技术》 *
许爱东等: ""基于动态时间规整的智能电网边缘用电数据去重技术"", 《南方电网技术》, 31 January 2020 (2020-01-31), pages 74 - 79 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570712A (zh) * 2021-09-23 2021-10-29 南京烽火星空通信发展有限公司 一种基于gcn的3d建模优化方法
CN113806546B (zh) * 2021-09-30 2024-04-05 中国人民解放军国防科技大学 一种基于协同训练的图神经网络对抗防御方法及系统
CN115294402A (zh) * 2022-08-24 2022-11-04 合肥市正茂科技有限公司 一种基于去冗余多阶混合训练的半监督车辆分类方法
CN115294402B (zh) * 2022-08-24 2023-08-11 合肥市正茂科技有限公司 一种基于去冗余多阶混合训练的半监督车辆分类方法
WO2024120166A1 (zh) * 2022-12-08 2024-06-13 马上消费金融股份有限公司 数据处理方法、类别识别方法及计算机设备

Also Published As

Publication number Publication date
CN113269228B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN113269228B (zh) 一种图网络分类模型的训练方法、装置、系统及电子设备
Wang et al. HAST-IDS: Learning hierarchical spatial-temporal features using deep neural networks to improve intrusion detection
Xu et al. Fooling vision and language models despite localization and attention mechanism
CN113806746B (zh) 基于改进cnn网络的恶意代码检测方法
Ma et al. A deep learning-based DDoS detection framework for Internet of Things
CN111783442A (zh) 入侵检测方法、设备和服务器、存储介质
CN112217787B (zh) 一种基于ed-gan的仿冒域名训练数据生成方法及系统
CN112884204B (zh) 网络安全风险事件预测方法及装置
CN115147864B (zh) 一种基于协同异质深度学习网络的红外人体行为识别方法
CN113627543B (zh) 一种对抗攻击检测方法
Wu et al. Genetic algorithm with multiple fitness functions for generating adversarial examples
Teoh et al. Analyst intuition based Hidden Markov Model on high speed, temporal cyber security big data
CN116962047A (zh) 一种可解释的威胁情报生成方法、系统及装置
CN111144453A (zh) 构建多模型融合计算模型的方法及设备、网站数据识别方法及设备
CN116192537B (zh) 一种apt攻击报告事件抽取方法、系统和存储介质
Liu et al. Defend Against Adversarial Samples by Using Perceptual Hash.
Wang et al. An efficient intrusion detection model combined bidirectional gated recurrent units with attention mechanism
CN116467720A (zh) 一种基于图神经网络的智能合约漏洞检测方法及电子设备
CN115225373B (zh) 一种信息不完备条件下的网络空间安全态势表达方法及装置
CN116188439A (zh) 一种基于身份识别概率分布的伪造换脸图像检测方法和装置
CN115865459A (zh) 一种基于二次特征提取的网络流量异常检测方法及系统
Zhu et al. FocusedCleaner: Sanitizing Poisoned Graphs for Robust GNN-based Node Classification
Liu et al. GAN-based classifier protection against adversarial attacks
Sadioura et al. Selection of sub-optimal feature set of network data to implement Machine Learning models to develop an efficient NIDS
Wang et al. Intrusion detection model of internet of things based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant