CN113297571A - 面向图神经网络模型后门攻击的检测方法和装置 - Google Patents
面向图神经网络模型后门攻击的检测方法和装置 Download PDFInfo
- Publication number
- CN113297571A CN113297571A CN202110598321.6A CN202110598321A CN113297571A CN 113297571 A CN113297571 A CN 113297571A CN 202110598321 A CN202110598321 A CN 202110598321A CN 113297571 A CN113297571 A CN 113297571A
- Authority
- CN
- China
- Prior art keywords
- graph
- sub
- neural network
- network model
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 238000010586 diagram Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- PXUQTDZNOHRWLI-OXUVVOBNSA-O malvidin 3-O-beta-D-glucoside Chemical compound COC1=C(O)C(OC)=CC(C=2C(=CC=3C(O)=CC(O)=CC=3[O+]=2)O[C@H]2[C@@H]([C@@H](O)[C@H](O)[C@@H](CO)O2)O)=C1 PXUQTDZNOHRWLI-OXUVVOBNSA-O 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Security & Cryptography (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Complex Calculations (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向图神经网络模型后门攻击的检测方法和装置，包括：利用图数据对图神经网络模型进行训练，以优化图神经网络模型的参数；将图数据输入至参数优化的图神经网络模型中，计算图数据对应的损失函数，并对损失函数相对于图数据的邻接矩阵的反向求导以得到各连边对损失函数的重要程度值；依据重要程度值提取不同连边数的子图结构，并依据分类标签，将子图结构换分成与分类标签对应的多个子图库；针对每个子图库，依据子图结构之间的相似性计算子图结构的分布图；分析每个子图库对应的分布图中相似度值，依据相似度值的大小确定图神经网络模型是否被攻击。实现对图神经网络模型的后门攻击检测，来提高模型的安全性。
Description
技术领域
本发明属于安全检测领域，具体涉及一种面向图神经网络模型后门攻击的检测方法和装置。
背景技术
图神经网络(GNN)解决图演化任务的过程中，同时也带来了许多的问题，而关于图神经网络模型的安全问题是在整个过程里尤为重要的部分。令人惊讶的是，尽管先前有很多关于连续数据(例如图像)的DNN的安全性工作，但对于离散结构数据(例如图)的图神经网络(GNN)的脆弱性知之甚少，鉴于其应用范围的增加，其安全性是一个高度令人担忧的问题。图神经网络模型在完成下游任务的过程中，需要大量的数据集来学习数据集信息，更新模型参数，使模型更好的完成下游任务，在这个过程中初始数据尤为关键。
其中，图神经网络的一个特性是其易受后门攻击的脆弱性，而后门攻击是通过设置好触发器的训练数据集训练模型，该模型能在应用阶段以高度可预测的方式响应带有触发器嵌入的数据输入，导致模型产生预先设置好的结果，对于输入模型的其他正常样本，模型则能正常运行。模型一旦在训练阶段被设置好了触发器，攻击者在模型的使用阶段，输入带有触发器嵌入的数据，将导致极其严重的后果。大多数模型的训练阶段都是尤为重要的，而训练过程这个阶段，正是攻击者给数据设置触发器的阶段，从而引发后门攻击。在训练模型所用的数据集，大部分都是来自第三方的网络，无法确保该数据集是否有被修改，导致模型遭受后门攻击，从而导致输出错误结果。为此，在图神经网络安全方面，如何对模型进行后门攻击的检测是尤为重要的。
图神经网络后门攻击这一领域，已经出现了不同的攻击方法，但对于后门攻击的检测方法，目前还处于空白状态，这使得图神经网络模型在安全这一块，时刻有遭受着后门攻击的危险，造成严重的后果。
发明内容
鉴于上述，本发明的目的是提供一种面向图神经网络模型后门攻击的检测方法和装置，实现对图神经网络模型的后门攻击检测，以尽可能减少后门攻击在图神经网络模型这一块所带来的损失，来提高模型的安全性。
第一方面，实施例提供了一种面向图神经网络模型后门攻击的检测方法，包括以下步骤：
利用图数据对图神经网络模型进行训练，以优化图神经网络模型的参数；
将图数据输入至参数优化的图神经网络模型中，计算图数据对应的损失函数，并对损失函数相对于图数据的邻接矩阵的反向求导以得到各连边对损失函数的重要程度值；
依据重要程度值提取不同连边数的子图结构，并依据分类标签，将子图结构换分成与分类标签对应的多个子图库；
针对每个子图库，依据子图结构之间的相似性计算子图结构的分布图；
分析每个子图库对应的分布图中相似度值，依据相似度值的大小确定图神经网络模型是否被攻击。
优选地，所述依据重要程度值提取不同连边数的子图结构包括：
对重要程度值进行降序排序得到连边重要性数据集；依据预设的不同连边数，从连边重要性数据集中提取相应连边数的最高重要程度值形成不同连边数的子图结构。
优选地，所述依据子图结构之间的相似性计算子图结构的分布图包括：
将子图结构输入到图神经网络模型，得到子图结构的向量表示；依据向量表示计算属于同一分类标签的各子图结构之间的相似度；依据相似度值构建每个子图库对应的分布图。
优选地，依据表示计算属于同一分类标签的各子图结构之间的余弦相似度，依据余弦相似度值构建每个子图库对应的分布图。
优选地，所述分析每个子图库对应的分布图中相似度值，依据相似度值的大小确定图神经网络模型是否被攻击包括：
分析每个子图库对应的分布图中相似度值，若存在某个子图结构对应的相似度值与其他子图结构对应的相似度值差距大于第一阈值，且对这一分类标签对应的相似度值均大于第二阈值，则表明差距很大的这个子图结构为被设计的触发器，图神经网络模型已经被攻击。
优选地，所述分析每个子图库对应的分布图中相似度值，依据相似度值的大小确定图神经网络模型是否被攻击包括：
分析每个子图库对应的分布图中相似度值，所有子图结构对应的相似度值之间的差距小于第三阈值，且没有突出的相似度值，且表明图神经网络模型良好，未被攻击。
第二方面，实施例提供的一种面向图神经网络模型后门攻击的检测装置，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，所述处理器执行计算机程序时实现第一方面所述的面向图神经网络模型后门攻击方法。
上述实施例提供的面向图神经网络模型后门攻击的检测方法和装置，具有的有益效果至少包括：
(1)不是针对某一种特定的后门攻击的方法，而是针对的是用于下游任务的嵌入向量，对嵌入向量进行向量空间上的检测，即对使用到嵌入向量的后门攻击方法都能有相应的检测的效果。
(2)不需要知道攻击者是以何种方式在训练数据集上设置触发器，都能有取得良好的检测效果，判断检测的模型是否被设置了后门，保护了图神经网络模型模型的安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是一实施例提供的面向图神经网络模型后门攻击的检测方法的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
针对现有的图神经网络模型，会存在后门攻击，以影响图神经网络模型的分类准确性。后门攻击是针对于图神经网络模型的训练阶段，而且对于正常样本来说，被设置好后门的图神经网络模型，仍能表现出较好的性能，不会影响其正常分类。一旦碰上带有触发器的样本，就会导致图神经网络模型出现预设好错误结果，则说明所设置的触发器，和相对应预测样本的分类结果之间，有着极高的相关性，才会导致这一情况。为了解决这个问题，实施例提供了一种面向图神经网络模型后门攻击的检测方法和装置，通过损失函数进行反向求导，得到重要子图结构，将其嵌入到向量空间中去，同时比较各个子图结构在向量空间中的相似程度，来判断待检测模型是否被设置了触发器。
图1是一实施例提供的面向图神经网络模型后门攻击的检测方法的流程图。如图1所示，实施例提供的面向图神经网络模型后门攻击的检测方法，包括以下步骤：
步骤1，获取数据集与待检测的图神经网络模型。
实施例中，图数据来自于COLLAB数据集，Twitter数据集和Bitcoin数据集等图网络数据集Dataoracle。这些图网络数据集主要用于图分类任务，每一数据集都有若干张图数据，并且每一张图都有相对应的其被分类的分类标签yi，图数据是由节点和连边组成，用G符号表示，图数据的结构信息用邻接矩阵Aij表示，若节点i,j之间存在连边，则在其相对应邻接矩阵位置eij的数值为1，不存在连边eij其对应数值为0。对于不同数据集，其节点和连边都有着其对应含义，例如COLLAB数据集，一个样本代表一位研究者自我中心网络，其中，研究者和其合作的研究人员，都是使用节点来表示，两者之间如果存在合作联系，则两者之间会存在一条连边，而每一样本都存在其相对应的标签，该数据的标签可能的标签为高能物理，凝聚态物理和天体物理学，标签由0，1，2来表示；
图神经网络模型Moracle主要用于分类，是一个图分类器f:G→{0,1,...,yi}，G为相应的输入图数据，{0,1,...,yi}为所对应的图数据的预测标签。图神经网络模型包括实现特征嵌入表示提取的神经网络层和实现任务预测的预测层。
步骤2，利用图数据对图神经网络模型进行训练，以优化图神经网络模型的参数。
利用图数据对图神经网络模型进行训练时，构建模型训练损失函数loss1为：
其中，Hi(yi,yi′)是训练图数据i的交叉熵，b是图数据个数；yi是图数据i的分类标签，yi′是图数据i的预测标签；
是图数据i被预测为标签j的概率，
是图数据ii的标签j的概率；
以损失函数loss1最小化为目标对图神经网络模型进行训练以优化图神经网络模型的参数。
训练采用小批量梯度下降法(Mini-Batch Gradient Descent，MBGD)训练，每次从训练集中随机选择一批数据用于模型的训练，既可避免随机梯度下降(StochasticGradient Descent，SGD)产生的训练震荡，也可避免批量梯度下降(Batch GradientDescent，BGD)对资源的过度消耗，批的大小选择128。其中，模型训练过程的迭代参数选择2000次，学习率为0.001。当损失函数趋于收敛，即认为训练完成，保存此时的模型参数。
步骤3，获取连边重要性排序。
在获得参数优化的图神经网络模型的基础上，将用于训练的各个图数据输入至参数优化的图神经网络模型中，计算得到各个图数据对应的损失函数loss，并对损失函数相对于图数据的邻接矩阵Aij的反向求导以得到各连边对损失函数loss的重要程度值，该重要程度值表示各个图数据影响其其分类结果的程度。
然后，对重要程度值进行降序排序得到连边重要性数据集F＝{e0,e1,...,en}，其中ei是连边重要性的数值，其中i＝0,1,...,n，n为连边的个数。
步骤4，构建模型子图库。
实施例中，依据预设的不同连边数，从连边重要性数据集中提取相应连边数的最高重要程度值形成不同连边数的子图结构，然后依据分类标签，将子图结构换分成与分类标签对应的多个子图库。
具体地，对于各个样本影响其分类结果的连边重要性数值的数据集F＝{e0,e1,...,en}，依次选取同一被分为同一分类标签类的图数据，使用不同连边数Nsize，其中连边数的数值可根据实际情况进行选取，本发明选用子图的不同连边数分别为4，5，6，即根据连边重要性数值的排序选出排在靠前的4，5，6条连边，进而得到3个不同变数的重要的子图结构gsub。然后依据获取的子图结构gsub，按照其模型分类为不同标签结果划分成各个子图库GN，其中N＝{0,1,...,yi}。
步骤5，计算模型子图结构分布图。
针对子图库GN中同一标签的子图结构gsub，首先取出其中一个子图结构再次放入到图神经网络模型嵌入功能中去，即将提取的子图结构作为新图网络，输入到图神经网络模型的具有表征能力的神经网络层，得到子图结构gsub相应的向量表示zsub，再计算同一标签中其他的子图结构的向量表示zi，其中i＝{0,1,...,m}，m为同一标签里的子图结构个数。
基于获得的子图结构的向量表示zsub，对于同一标签各个子图结构的向量表示的相似程度，采用余弦相似度的方法进行比较，公式如下：
其中Ai、Bi为子图结构的向量表示，按照上述的公式可得到两个子图结构向量表示之间的相似度程度，其范围在[0,1]之间，数值越趋近于1，表明这两个子图结构在嵌入到向量空间中，它们之间的距离为越接近，相反，数值越趋近0，表明两个向量之间相关性越低，根据这些余弦相似度值，可得到一个子图结构之间余弦相似度的分布图，再依次按照这一方式判断其他标签的子图结构之间的相似度，最后得到所有标签子图的余弦相似度的分布图Pi，其中i＝{0,1,...,yi}。
步骤6，判断模型是否存被设置了触发器。
实施例中，基于得到子图结构向量之间的余弦相似度的分布图Pi，将其中同一标签的各个余弦相似度分布图进行查看，若存在某些子图结构余弦相似度得分与大部分子图结构相似度得分差距较大，即差距大于第一阈值，并且这一类子图结构的余弦相似度得分极高，即均大于第二阈值，则表明只要存在这一个子图结构，就有着极高的置信度分数被分到该类别，则说明该子图结构就是为攻击者设计好的触发器，则该图神经网络模型已被设置了后门。若余弦相似度的分布图中，余弦相似度都大体相近，相似度值之间的差距小于第三阈值，且没有某些相似度值极为突出，则表明图神经网络模型为良好，未被攻击。
实施例中，第一阈值，第二阈值以及第三阈值作为区分差距的约束调节，根据实际情况设置。当某些相似度值大于平均值很多时，则认为相似度值极为突出，突出的程度可根据实际情况设置。
实施例还提供了一种面向图神经网络模型后门攻击的检测装置，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，所述处理器执行计算机程序时实现上述面向图神经网络模型后门攻击的检测方法。
实际应用中，存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现面向图神经网络模型后门攻击的检测方法的步骤。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种面向图神经网络模型后门攻击的检测方法，其特征在于，包括以下步骤：
利用图数据对图神经网络模型进行训练，以优化图神经网络模型的参数；
将图数据输入至参数优化的图神经网络模型中，计算图数据对应的损失函数，并对损失函数相对于图数据的邻接矩阵的反向求导以得到各连边对损失函数的重要程度值；
依据重要程度值提取不同连边数的子图结构，并依据分类标签，将子图结构换分成与分类标签对应的多个子图库；
针对每个子图库，依据子图结构之间的相似性计算子图结构的分布图；
分析每个子图库对应的分布图中相似度值，依据相似度值的大小确定图神经网络模型是否被攻击。
2.如权利要求1所述的面向图神经网络模型后门攻击的检测方法，其特征在于，所述依据重要程度值提取不同连边数的子图结构包括：
对重要程度值进行降序排序得到连边重要性数据集；依据预设的不同连边数，从连边重要性数据集中提取相应连边数的最高重要程度值形成不同连边数的子图结构。
3.如权利要求1所述的面向图神经网络模型后门攻击的检测方法，其特征在于，所述依据子图结构之间的相似性计算子图结构的分布图包括：
将子图结构输入到图神经网络模型，得到子图结构的向量表示；依据向量表示计算属于同一分类标签的各子图结构之间的相似度；依据相似度值构建每个子图库对应的分布图。
4.如权利要求3所述的面向图神经网络模型后门攻击的检测方法，其特征在于，依据表示计算属于同一分类标签的各子图结构之间的余弦相似度，依据余弦相似度值构建每个子图库对应的分布图。
5.如权利要求1所述的面向图神经网络模型后门攻击的检测方法，其特征在于，所述分析每个子图库对应的分布图中相似度值，依据相似度值的大小确定图神经网络模型是否被攻击包括：
分析每个子图库对应的分布图中相似度值，若存在某个子图结构对应的相似度值与其他子图结构对应的相似度值差距大于第一阈值，且对这一分类标签对应的相似度值均大于第二阈值，则表明差距很大的这个子图结构为被设计的触发器，图神经网络模型已经被攻击。
6.如权利要求1所述的面向图神经网络模型后门攻击的检测方法，其特征在于，所述分析每个子图库对应的分布图中相似度值，依据相似度值的大小确定图神经网络模型是否被攻击包括：
分析每个子图库对应的分布图中相似度值，所有子图结构对应的相似度值之间的差距小于第三阈值，且没有突出的相似度值，且表明图神经网络模型良好，未被攻击。
7.一种面向图神经网络模型后门攻击的检测装置，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1～6任一项所述的面向图神经网络模型后门攻击方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110598321.6A CN113297571B (zh) | 2021-05-31 | 2021-05-31 | 面向图神经网络模型后门攻击的检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110598321.6A CN113297571B (zh) | 2021-05-31 | 2021-05-31 | 面向图神经网络模型后门攻击的检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113297571A true CN113297571A (zh) | 2021-08-24 |
| CN113297571B CN113297571B (zh) | 2022-06-07 |
Family
ID=77326155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110598321.6A Active CN113297571B (zh) | 2021-05-31 | 2021-05-31 | 面向图神经网络模型后门攻击的检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113297571B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113868671A (zh) * | 2021-12-01 | 2021-12-31 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、神经网络模型的后门防御方法及装置 |
| CN114299365A (zh) * | 2022-03-04 | 2022-04-08 | 上海观安信息技术股份有限公司 | 图像模型隐蔽后门的检测方法及系统、存储介质、终端 |
| CN114338147A (zh) * | 2021-12-28 | 2022-04-12 | 中国银联股份有限公司 | 一种口令爆破攻击的检测方法及装置 |
| CN114897161A (zh) * | 2022-05-17 | 2022-08-12 | 中国信息通信研究院 | 一种基于掩码的图分类后门攻击防御方法、系统、电子设备及存储介质 |
| CN115186816A (zh) * | 2022-09-08 | 2022-10-14 | 南京逸智网络空间技术创新研究院有限公司 | 一种基于决策捷径搜索的后门检测方法 |
| CN115659171A (zh) * | 2022-09-26 | 2023-01-31 | 中国工程物理研究院计算机应用研究所 | 一种基于多元特征交互的模型后门检测方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160012228A1 (en) * | 2013-03-08 | 2016-01-14 | The Trustees Of Columbia University In The City Of New York | Identification of backdoors and backdoor triggers |
| CN110909868A (zh) * | 2019-12-04 | 2020-03-24 | 支付宝(杭州)信息技术有限公司 | 基于图神经网络模型的节点表示方法和装置 |
| CN112100369A (zh) * | 2020-07-29 | 2020-12-18 | 浙江大学 | 结合语义的网络故障关联规则生成方法和网络故障检测方法 |
| CN112150338A (zh) * | 2020-09-21 | 2020-12-29 | 清华大学 | 一种神经网络模型图像水印的去除方法 |
| US20200410098A1 (en) * | 2019-06-26 | 2020-12-31 | Hrl Laboratories, Llc | System and method for detecting backdoor attacks in convolutional neural networks |
-
2021
- 2021-05-31 CN CN202110598321.6A patent/CN113297571B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160012228A1 (en) * | 2013-03-08 | 2016-01-14 | The Trustees Of Columbia University In The City Of New York | Identification of backdoors and backdoor triggers |
| US20200410098A1 (en) * | 2019-06-26 | 2020-12-31 | Hrl Laboratories, Llc | System and method for detecting backdoor attacks in convolutional neural networks |
| CN110909868A (zh) * | 2019-12-04 | 2020-03-24 | 支付宝(杭州)信息技术有限公司 | 基于图神经网络模型的节点表示方法和装置 |
| CN112100369A (zh) * | 2020-07-29 | 2020-12-18 | 浙江大学 | 结合语义的网络故障关联规则生成方法和网络故障检测方法 |
| CN112150338A (zh) * | 2020-09-21 | 2020-12-29 | 清华大学 | 一种神经网络模型图像水印的去除方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113868671A (zh) * | 2021-12-01 | 2021-12-31 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、神经网络模型的后门防御方法及装置 |
| CN114338147A (zh) * | 2021-12-28 | 2022-04-12 | 中国银联股份有限公司 | 一种口令爆破攻击的检测方法及装置 |
| CN114338147B (zh) * | 2021-12-28 | 2023-08-11 | 中国银联股份有限公司 | 一种口令爆破攻击的检测方法及装置 |
| CN114299365A (zh) * | 2022-03-04 | 2022-04-08 | 上海观安信息技术股份有限公司 | 图像模型隐蔽后门的检测方法及系统、存储介质、终端 |
| CN114299365B (zh) * | 2022-03-04 | 2022-07-05 | 上海观安信息技术股份有限公司 | 图像模型隐蔽后门的检测方法及系统、存储介质、终端 |
| CN114897161A (zh) * | 2022-05-17 | 2022-08-12 | 中国信息通信研究院 | 一种基于掩码的图分类后门攻击防御方法、系统、电子设备及存储介质 |
| CN114897161B (zh) * | 2022-05-17 | 2023-02-07 | 中国信息通信研究院 | 一种基于掩码的图分类后门攻击防御方法、系统、电子设备及存储介质 |
| CN115186816A (zh) * | 2022-09-08 | 2022-10-14 | 南京逸智网络空间技术创新研究院有限公司 | 一种基于决策捷径搜索的后门检测方法 |
| CN115659171A (zh) * | 2022-09-26 | 2023-01-31 | 中国工程物理研究院计算机应用研究所 | 一种基于多元特征交互的模型后门检测方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113297571B (zh) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113297571B (zh) | 面向图神经网络模型后门攻击的检测方法和装置 | |
| Moon et al. | Parsimonious black-box adversarial attacks via efficient combinatorial optimization | |
| CN110070141B (zh) | 一种网络入侵检测方法 | |
| Liu et al. | Automatic malware classification and new malware detection using machine learning | |
| US11314988B2 (en) | Image aesthetic processing method and electronic device | |
| JP7183385B2 (ja) | ノード分類方法、モデル訓練方法並びに、その装置、機器及びコンピュータプログラム | |
| WO2019109743A1 (zh) | Url攻击检测方法、装置以及电子设备 | |
| WO2019128529A1 (zh) | Url攻击检测方法、装置以及电子设备 | |
| Li et al. | Projection & probability-driven black-box attack | |
| Zolotukhin et al. | Detection of zero-day malware based on the analysis of opcode sequences | |
| JP2022141931A (ja) | 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
| CN107103332A (zh) | 一种面向大规模数据集的相关向量机分类方法 | |
| CN110298024B (zh) | 涉密文档的检测方法、装置及存储介质 | |
| CN104869126A (zh) | 一种网络入侵异常检测方法 | |
| WO2018036547A1 (zh) | 一种数据处理的方法以及装置 | |
| CN113297572A (zh) | 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置 | |
| CN110162939B (zh) | 人机识别方法、设备和介质 | |
| CN112437053A (zh) | 入侵检测方法及装置 | |
| CN111400713B (zh) | 基于操作码邻接图特征的恶意软件族群分类方法 | |
| US20230298315A1 (en) | System and method for improving robustness of pretrained systems in deep neural networks utilizing randomization and sample rejection | |
| CN112613032B (zh) | 基于系统调用序列的主机入侵检测方法及装置 | |
| CN115114484A (zh) | 异常事件检测方法、装置、计算机设备和存储介质 | |
| CN111783088B (zh) | 一种恶意代码家族聚类方法、装置和计算机设备 | |
| WO2024027068A1 (zh) | 评估目标检测模型鲁棒性的攻击方法和装置 | |
| Hou et al. | A data-driven clustering approach for fault diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared |