CN114548428B - 基于实例重构的联邦学习模型智能攻击检测方法及装置 - Google Patents

基于实例重构的联邦学习模型智能攻击检测方法及装置 Download PDF

Info

Publication number
CN114548428B
CN114548428B CN202210404405.6A CN202210404405A CN114548428B CN 114548428 B CN114548428 B CN 114548428B CN 202210404405 A CN202210404405 A CN 202210404405A CN 114548428 B CN114548428 B CN 114548428B
Authority
CN
China
Prior art keywords
training data
target client
target
distance
global model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210404405.6A
Other languages
English (en)
Other versions
CN114548428A (zh
Inventor
王滨
王伟
陈思
王星
张峰
陈加栋
李超豪
许向蕊
钱亚冠
谢瀛辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202210404405.6A priority Critical patent/CN114548428B/zh
Publication of CN114548428A publication Critical patent/CN114548428A/zh
Application granted granted Critical
Publication of CN114548428B publication Critical patent/CN114548428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请提供一种基于实例重构的联邦学习模型智能攻击检测方法及装置，该方法包括：获取目标客户端上传的梯度；依据所述目标客户端上传的梯度，提取所述梯度所对应的训练数据的类别标签；依据所述类别标签，利用条件式解码器，生成所述目标客户端的训练数据的目标实例表示；利用本轮全局模型，对所述目标实例表示进行优化更新，得到重构训练数据；依据所述重构训练数据与所述目标客户端的训练数据的相似度，确定模型的防攻击性能评估结果。该方法可以实现更有效地模型防攻击性能评估。

Description

基于实例重构的联邦学习模型智能攻击检测方法及装置
技术领域
本申请涉及网络安全技术领域，尤其涉及一种基于实例重构的联邦学习模型智能攻击检测方法及装置。
背景技术
随着机器学习（Machine Learning，简称ML）越来越多地应用于包含敏感数据的关键领域，如医疗保健、智能计量或物联网，一种针对敏感数据的具有隐私保护的ML训练方式越来越被人们需要。联邦学习（Federated Learning，简称FL）通过多个用户共享梯度更新来联合训练一个全局模型，是隐私保护机器学习的最新进展。因为数据不出本地，FL被认为是一种可以降低隐私泄露风险的学习范式。
然而，最近的研究表明，共享的梯度更新仍然包含了私有输入数据的重要信息，从而对用户隐私造成巨大威胁。
发明内容
有鉴于此，本申请提供一种基于实例重构的联邦学习模型智能攻击检测方法及装置。
具体地，本申请是通过如下技术方案实现的：
根据本申请实施例的第一方面，提供一种基于实例重构的联邦学习模型智能攻击检测方法，包括：
获取目标客户端上传的梯度；
依据所述目标客户端上传的梯度，提取所述梯度所对应的训练数据的类别标签；
依据所述类别标签，利用条件式解码器，生成所述目标客户端的训练数据的目标实例表示；其中，所述条件式解码器的训练过程中，依据所述目标客户端的训练数据在本轮全局模型上的多维度特征与所述条件式解码器生成的实例表示在本轮全局模型上的多维度特征匹配，对所述条件式解码器的参数更新；
利用本轮全局模型，对所述目标实例表示进行优化更新，得到重构训练数据；
依据所述重构训练数据与所述目标客户端的训练数据的相似度，确定模型的防攻击性能评估结果。
根据本申请实施例的第二方面，提供一种基于实例重构的联邦学习模型智能攻击检测装置，包括：
获取单元，用于获取目标客户端上传的梯度；
提取单元，用于依据所述目标客户端上传的梯度，提取所述梯度所对应的训练数据的类别标签；
生成单元，用于依据所述类别标签，利用条件式解码器，生成所述目标客户端的训练数据的目标实例表示；其中，所述条件式解码器的训练过程中，依据所述目标客户端的训练数据在本轮全局模型上的多维度特征与所述条件式解码器生成的实例表示在本轮全局模型上的多维度特征匹配，对所述条件式解码器的参数更新；
更新单元，用于利用本轮全局模型，对所述目标实例表示进行优化更新，得到重构训练数据；
评估单元，用于依据所述重构训练数据与所述目标客户端的训练数据的相似度，确定模型的防攻击性能评估结果。
根据本申请实施例的第三方面，提供一种电子设备，该电子设备包括：
处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述方法。
本申请实施例的基于实例重构的联邦学习模型智能攻击检测方法，通过获取目标客户端上传的梯度，依据获取到的梯度，提取获取到的梯度所对应的训练数据的类别标签，并依据提取到的类别标签，利用条件式解码器，生成目标客户端的训练数据的目标实例表示，进而，利用本轮全部模型，对目标实例表示进行优化更新，得到重构训练数据，与以随机噪音作为迭代初始点进行训练数据重构的实现方案相比，以更接近真实训练数据的目标实例表示作为训练数据重构的起点，有效提升了训练数据重构攻击的收敛性，实现了更有效地模型防攻击性能评估；此外，通过将依据训练数据的类别标签生成的目标实例表示用于训练数据重构，可以准确地得到重构训练数据与类别标签的对应关系，有效避免了多训练数据重构时训练数据与类别标签的排列混淆。
附图说明
图1为本申请一示例性实施例示出的一种基于实例重构的联邦学习模型智能攻击检测方法的流程示意图；
图2为本申请一示例性实施例示出的一种生成所述目标客户端的训练数据的实例表示的流程示意图；
图3为本申请一示例性实施例示出的一种基于实例重构的联邦学习模型智能攻击检测方法的流程示意图；
图4为本申请一示例性实施例示出的一种基于实例重构的联邦学习模型智能攻击检测方法的流程示意图；
图5为本申请一示例性实施例示出的一种基于实例重构的联邦学习模型智能攻击检测装置的结构示意图；
图6为本申请一示例性实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面先对本申请实施例涉及的部分术语进行简单说明。
1、联邦学习：联邦学习是一种分布式机器学习范式，用于对来自多客户端的分布式数据进行共享模型的训练。在联邦随机梯度下降（FedSGD）的基本设置中，中心服务器首先初始化共享模型（也可以称为全局模型），然后将共享模型分发给K个被选中的客户端，以参与本轮训练。每一个客户端从该客户端的本地数据集中采样一个小批量数据（即训练数据）计算出对应的梯度，并上传至中心服务器。中心服务器对各客户端上传的梯度进行平均，以更新共享模型的参数。然后通过中心服务器和客户端之间不断地迭代更新，最终使全局模型达到收敛。
2、Non-IID数据（非独立同分布数据）：联邦学习中多个客户端拥有的源训练数据 以非独立同分布的形式存在，即对于两个客户端
Figure 126202DEST_PATH_IMAGE001
，存在数据标签为k 的数据
Figure 308921DEST_PATH_IMAGE002
。
3、交叉熵损失：交叉熵是香农信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。在分类任务中，交叉熵损失通常作为模型的损失函数以衡量神经网络的预测值q与实际值p的相似性。其中交叉熵损失H（p，q）的值越小，模型预测效果就越好。
4、Fisher信息（也可以称为费雪信息或费希尔信息）：通常记作
Figure 541189DEST_PATH_IMAGE003
，用来衡量 随机变量X携带的关于未知参数θ的信息量，其中X的概率分布依赖于参数θ。形式化定义公 式为：
Figure 201977DEST_PATH_IMAGE004
其中，
Figure 16349DEST_PATH_IMAGE005
是X关于参数θ的对数似然函数，当X的概率密度函数
Figure 42074DEST_PATH_IMAGE006
已 知时，
Figure 574687DEST_PATH_IMAGE007
。
为了使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1，为本申请实施例提供的一种基于实例重构的联邦学习模型智能攻击检测方法的流程示意图，其中，该基于实例重构的联邦学习模型智能攻击检测方法可以应用于中心服务器，如图1所示，该基于实例重构的联邦学习模型智能攻击检测方法可以包括以下步骤：
步骤S100、获取目标客户端上传的梯度。
步骤S110、依据目标客户端上传的梯度，提取梯度所对应的训练数据的类别标签。
本申请实施例中，上述获取目标客户端上传的梯度可以包括获取目标客户端任一轮训练过程中上传的梯度。
示例性的，目标客户端可以指参与本轮训练的客户端中的任一客户端。
本申请实施例中，中心服务器可以依据获取到的目标客户端的梯度，提取梯度所对应的训练数据（即目标客户端在本轮训练过程中使用的训练数据）的类别标签。
示例性的，中心服务器可以分析最后一层梯度的数值分布，提取出梯度所对应的训练数据的类别标签。
步骤S120、依据提取到的类别标签，利用条件式解码器，生成目标客户端的训练数据的目标实例表示；其中，条件式解码器的训练过程中，依据目标客户端的训练数据在本轮全局模型上的多维度特征与条件式解码器生成的实例表示在本轮全局模型上的多维度特征匹配，对条件式解码器的参数更新。
本申请实施例中，为了更准确地还原目标客户端的训练数据，可以依据提取得到的训练数据的类别标签，利用条件式解码器，生成目标客户端的训练数据的实例表示，以便依据该所生成的实例表示作为训练数据重构的起点，进行目标客户端的训练数据的重构。
示例性的，条件式解码器可以看作是一个生成模型，可以以类别标签作为条件信息，并结合随机噪音共同作为该生成模型的输入，并在合适的损失函数驱动下生成目标样本（如目标客户端的训练数据的目标实例表示）。
示例性的，条件式解码器可以是具有非线性拟合能力的神经网络。
示例性的，为了使条件式解码器生成的实例表示更接近目标客户端的训练数据，在利用条件式解码器生成用于训练数据重构的实例表示之前，可以先对条件式解码器的参数进行更新（可以称为对条件式解码器进行训练）。
在对条件式解码器进行训练的过程中，可以依据目标客户端的训练数据以及条件式解码器生成的实例表示在本轮全局模型上的多维度的特征匹配，对条件式解码器的参数进行更新，直至目标客户端的训练数据在本轮全局模型上的多维度特征与条件式解码器生成的实例表示在本轮全局模型上的多维度特征的匹配情况满足要求。
示例性的，在对条件式解码器进行参数更新时，可以以使目标客户端的训练数据在本轮全局模型上的多维度特征与条件式解码器生成的实例表示在本轮全局模型上的多维度特征尽量匹配为原则进行更新。
示例性的，中心服务器可以依据类别标签，依据训练好的条件式解码器，生成目标客户端的训练数据的实例表示（本文中称为目标实例表示）。
步骤S130、利用本轮全局模型，对目标实例表示进行优化更新，得到重构训练数据。
本申请实施例中，在按照上述方式生成了目标客户端的训练数据的目标实例表示的情况下，可以依据目标实例表示，利用本轮训练中使用的全局模型，进行目标客户端的训练数据的重构。
需要说明的是，每一轮训练过程中，客户端可以使用本地数据集中的部分数据参与本轮训练。在进行训练数据重构时，可以对目标客户端参与本轮训练的训练数据中的部分或全部进行重构。
示例性的，可以利用本轮全局模型，对目标实例表示进行优化更新，使其逐渐接近目标客户端的训练数据，实现训练数据重构，得到重构训练数据。
步骤S140、依据重构训练数据与目标客户端的训练数据的相似度，确定模型的防攻击性能评估结果。
本申请实施例中，在按照上述方式得到了重构训练数据的情况下，可以依据得到的重构训练数据与目标客户端的训练数据的相似度，确定模型的防攻击性能评估结果。
示例性的，按照上述方式得到的重构训练数据与目标客户端的训练数据的相似度越高，模型的防攻击性能越差。
需要说明的是，在按照上述方式进行训练数据重构时，可以重构一个或多个训练样本。
示例性的，在重构训练数据包括一个训练样本的情况下，重构训练数据与目标客户端的训练数据的相似度，可以为该训练样本与对应的目标客户端的训练样本的相似度。
在重构训练数据包括多个训练样本的情况下，重构训练数据与目标客户端的训练数据的相似度，可以为各训练样本与对应的目标客户端的训练样本的相似度的平均值。
此外，考虑到实际场景中，中心服务器是无法获取到实际客户端的真实训练数据的，因此，为了有效地对模型（即联邦学习模型，如上述全局模型）的防攻击性能进行评估，可以模拟一个或多个客户端（可以称为模拟客户端）参与联邦学习模型的训练，并选择一个模拟客户端作为目标客户端，按照上述方式进行训练数据重构，并依据得到的重构训练数据与该模拟客户端的训练数据的相似度，确定模型的防攻击性能评估结果。
示例性的，在按照上述方式得到了模型的防攻击性能评估结果的情况下，可以依据得到的模型防攻击性能评估结果，对联邦学习模型训练过程进行优化，以提升模型防攻击性能。
可见，在图1所示方法流程中，通过获取目标客户端上传的梯度，依据获取到的梯度，提取获取到的梯度所对应的训练数据的类别标签，并依据提取到的类别标签，利用条件式解码器，生成目标客户端的训练数据的目标实例表示，进而，利用本轮全部模型，对目标实例表示进行优化更新，得到重构训练数据，与以随机噪音作为迭代初始点进行训练数据重构的实现方案相比，以更接近真实训练数据的目标实例表示作为训练数据重构的起点，有效提升了训练数据重构攻击的收敛性，实现了更有效地模型防攻击性能评估；此外，通过将依据训练数据的类别标签生成的目标实例表示用于训练数据重构，可以准确地得到重构训练数据与类别标签的对应关系，有效避免了多训练数据重构时训练数据与类别标签的排列混淆。
在一些实施例中，如图2所示，步骤S120中，依据类别标签，利用条件式解码器，生成所述目标客户端的训练数据的实例表示，可以通过以下步骤实现：
步骤S121、将类别标签和随机噪声输入条件式解码器，生成目标客户端的训练数据的实例表示。
步骤S122、依据实例表示在本轮全局模型上的多维度特征与目标客户端的训练数据在本轮全局模型上的多维度特征，确定条件式解码器的损失，并以最小化条件解码器的损失的原则，对条件式解码器进行参数更新。
步骤S123、将类别标签和随机噪声输入参数更新完成的条件式解码器，生成目标客户端的训练数据的目标实例表示。
示例性的，为了利用条件式解码器生成更接近真实训练数据的实例表示，可以依据提取到的类别标签对条件式解码器进行训练，以更新条件式解码器的参数。
示例性的，在对条件式解码器进行训练的过程中，可以将类别标签和随机噪声输入条件式解码器，生成目标客户端的训练数据的实例表示，并确定当前生成的实例标识在本轮全局模型上的多维特征与目标客户端在本轮全局模型上的训练数据的多维度特征，确定条件式解码器的损失，以最小化条件解码器的损失原则，对条件式解码器进行参数更新。
示例性的，在按照上述完成条件式解码器的训练的情况下，可以将提取到的类别标签和随机噪声输入到参数更新完成（即训练完成）的条件式解码器，生成目标客户端的训练数据的目标实例表示。
在一个示例中，步骤S122中，依据所述实例表示在本轮全局模型上的多维度特征与目标客户端在本轮全局模型上的训练数据的多维度特征，确定所述条件式解码器的损失，可以包括：
对于任一维度特征，确定实例表示在本轮全局模型上的该维度特征与目标客户端在本轮全局模型上的训练数据的该维度特征之间的距离；
依据实例表示与目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，确定条件式解码器的损失；其中，条件式解码器的损失与各维度特征之间的距离均正相关。
示例性的，为了使利用条件式解码器生成的实例表示与真实训练数据更接近，在对条件时解码器进行训练的过程中，可以依据条件式解码器生成的实例表示在本轮全局模型上的多维度特征与目标客户端的训练数据在本轮全局模型上的多维度特征之间的距离，确定条件式解码器的损失。
示例性的，对于上述多维度特征中的任一维度特征，可以确定条件式解码器生成的实例表示在本轮全局模型上的该维度特征与目标客户端的训练数据在本轮全局模型上的该维度特征之间的距离，进而，可以依据条件式解码器生成的实例表示与目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，确定条件式解码器的损失。
示例性的，条件式解码器的损失与各维度特征之间的距离均正相关。
作为一种示例，上述多维度特征可以包括类别标签、梯度以及Fisher信息矩阵。
上述实例表示与目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，可以包括：
实例表示的类别标签与目标客户端的训练数据的类别标签之间的第一距离、实例表示的梯度与目标客户端的训练数据的梯度之间的第二距离，以及，实例表示的Fisher信息矩阵与所述目标客户端的Fisher信息矩阵之间的第三距离。
示例性的，以上述多维度包括类别标签、梯度以及Fisher信息矩阵为例。
其中，由于梯度和Fisher信息矩阵可以分别通过依据类别标签，进行一阶求导和二阶求导的方式确定，因此，类别标签可以称为零阶特征，梯度可以称为一阶特征，Fisher信息矩阵可以称为二阶特征。
示例性的，在对条件式解码器进行训练的过程中，可以依据条件式解码器生成的实例表示的类别标签与目标客户端的训练数据的类别标签之间的距离（如欧式距离，本文中称为第一距离）、条件式解码器生成的实例表示的梯度与目标客户端的训练数据的梯度之间的距离（本文中称为第二距离），以及，条件式解码器生成的实例表示的Fisher信息矩阵与目标客户端的Fisher信息矩阵之间的距离（本文中称为第三距离）。
在一个示例中，上述依据实例表示与目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，确定条件式解码器的损失，可以包括：
以第一距离、第二距离、第三距离，以及总方差损失函数作为惩罚项，并设置作为各惩罚项的加权比例的超参数，构建条件式解码器的损失函数。
示例性的，为了保证条件式解码器生成的实例表示的空间平滑性，在构造条件式解码器的损失函数时，可以添加总方差损失函数作为正则化项以指导对自然图像的优化。
示例性的，可以以第一距离、第二距离、第三距离，以及总方差损失函数作为惩罚项，并设置作为各惩罚项的加权比例的超参数，构建条件式解码器的损失函数。
在一些实施例中，步骤S130中，利用本轮全局模型，对目标客户端的训练数据的目标实例表示进行优化更新，得到重构训练数据，可以包括：
将目标客户端的训练数据的目标实例表示，输入本轮全局模型，并依据模型反向传播的梯度与目标客户端上传的梯度之间的距离，对目标实例表示进行更新，直至将更新后的目标实例表示输入本轮全局模型后，模型反向传播的梯度与目标客户端上传的梯度之间的距离满足指定条件的情况下，将该更新后的目标实例表示作为重构训练数据。
示例性的，在利用条件式解码器生成了目标客户端的训练数据的目标实例表示的情况下，可以将目标实例表示，输入本轮全局模型，确定模型反向传播的梯度，并确定该梯度与步骤S100中获取到的梯度之间的距离。
示例性的，可以以最小化模型反向传播的梯度与步骤S100中获取到的梯度之间的距离的原则，对目标实例表示进行更新，以使模型反向传播的梯度尽可能接近步骤S100中获取到的梯度。
示例性的，在更新后的目标实例表示输入本轮全局模型后，模型反向传播的梯度与目标客户端上传的梯度之间的距离满足指令条件的情况下，可以将更新后的目标实例表示作为重构训练数据。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。
本申请实施例提供了一种基于实例重构的联邦学习模型智能攻击检测方法，主要方法流程可以包括：
获取并使用目标客户端在任一轮（记为第t轮，t≥1）时上传的梯度更新；通过分析所得梯度在最后一层上的数值分布，提取出对应训练数据的真实类别标签；将条件式解码器作为样本生成模型，并在多维度特征匹配的引导下生成接近真实训练数据分布的实例表示；将上一步所得的实例表示作为优化初始点输入本轮全局模型 M t，并计算出对应的梯度，然后将该梯度和真实梯度（即上述目标客户端在第t轮时上传的梯度）进行逼近，最终还原出与真实训练数据像素级精确的结果（即重构训练数据），依据重构训练数据与真实训练数据的相似度，确定模型防攻击性能评估结果。其具体流程可以如图3所示，可以包括以下步骤：
步骤S300、获取并使用目标客户端在第t轮时上传的梯度g；
步骤S310、通过分析最后一层梯度的数值分布，提取出g所对应训练数据的类别标签y。
步骤S320、将提取的类别标签y作为条件信息并结合随机噪音（如高斯噪音）共同输入条件式解码器，然后利用条件式解码器生成与目标客户端的真实训练数据接近的实例表示（即上述目标实例表示）。
示例性的，条件式解码器可以为具有非线性拟合能力的神经网络，其参数更新借助条件式解码器生成的实例表示与真实训练数据在多个维度上的特征匹配。
示例性的，该多维维度的特征匹配包括但不限于：零阶的标签特征匹配，一阶的梯度特征匹配以及二阶特征的Fisher信息矩阵匹配。
步骤S330、将得到的实例表示作为初始点，输入本轮全局模型M t，并将通过反向传播计算得到的 g''，然后不断更新实例表示，使得到的虚拟梯度 g'' 逼近真实梯度g，从而还原出与真实训练数据具有像素级别精确度的重构训练数据。
在该实施例中，基于实例重构的联邦学习模型智能攻击检测系统可以包括模块A~模块D；其中：
模块A，用于获取并使用目标用户在第t轮时上传的梯度g。
模块B，用于提取梯度g所对应训练数据的类别标签y。
模块C，用于生成与真实训练数据接近的实例表示。
模型D、用于还原出与真实训练数据像素级精确的重构训练数据（像素级实例还原），其示意图可以如图4所示。
下面对各模块的功能进行详细说明。
模块A：获取并使用目标用户在第t轮时上传的梯度g。
示例性的，在联邦学习的场景下，多个客户端在中心服务器的协调下共同训练一个共享的全局模型。其中，客户端向中心服务器上传由本地小批量数据（即训练数据）训练得到的梯度，中心服务器通过聚合获取到的梯度来更新全局模型。
然而，在数据传输过程中，梯度可能被恶意窃听，也可能在传输到中心服务器后被中心服务器利用。任何恶意获取该梯度信息的人都可能对其进行数据重构攻击。
模块B：提取梯度g对应图片的类别标签y。
示例性的，对于分类模型来说，模型的最后一层通常为一个全连接层（FC），可以表 示为
Figure 976849DEST_PATH_IMAGE008
。其中，r为FC层的输入，
Figure 911307DEST_PATH_IMAGE009
为权重矩阵，b为输出。
因此，给定批大小为 B 的图片
Figure 107933DEST_PATH_IMAGE010
，其损失函数相对于
Figure 127842DEST_PATH_IMAGE009
的 梯度可以表示为：
Figure 594682DEST_PATH_IMAGE011
其中，
Figure 321329DEST_PATH_IMAGE012
表示
Figure 16753DEST_PATH_IMAGE013
的损失函数，
Figure 461640DEST_PATH_IMAGE014
和
Figure 2343DEST_PATH_IMAGE015
分别对应图片
Figure 645814DEST_PATH_IMAGE016
在FC层的输入和输 出。
示例性的，一个特定样本的梯度可以表示为列向量
Figure 184243DEST_PATH_IMAGE017
和行向量
Figure 178744DEST_PATH_IMAGE018
的乘 积。
考虑到分类任务中的交叉熵损失，模型损失
Figure 710088DEST_PATH_IMAGE019
可以表示为：
Figure 473645DEST_PATH_IMAGE020
其中，x和c代表了原始的图片和标签，
Figure 448554DEST_PATH_IMAGE021
表示为原始图 片
Figure 664772DEST_PATH_IMAGE022
预测为第j类标签的置信度，则
Figure 750539DEST_PATH_IMAGE022
的梯度可以表示为：
Figure 571865DEST_PATH_IMAGE023
由于
Figure 779992DEST_PATH_IMAGE024
取值在（0，1）之间，因此，当
Figure 217927DEST_PATH_IMAGE025
时
Figure 91074DEST_PATH_IMAGE022
的梯度为负，反之为正。
此外，FC层的前一层通常包含一个常用的激活函数（如ReLU或sigmoid），因此，
Figure 829223DEST_PATH_IMAGE018
总是非负的。在联邦学习的场景下，一个训练批中的数据类别可能非常少。因此，根 据输出层梯度的数值分布即可定位数据的类别标签，且该方法独立于模型体系结构和参 数，即适用于任何训练阶段的任何网络。
模块C：生成与真实训练数据接近的实例表示。
示例性的，为了得到与真实样本接近的实例表示，可以构建一个条件式解码器E（可以简称解码器E），其中，解码器E 可以是具有非线性拟合能力的神经网络。训练数据的真实类别标签可以作为条件信息并结合随机噪音作为解码器E 的输入。
示例性的，解码器 E 的参数更新可以借助生成样本（即解码器E生成的实例表示）与真实样本（即目标客户端的训练数据）在多个维度上的特征匹配。
其中，整个损失函数可以表达为：
Figure 942672DEST_PATH_IMAGE026
其中，
Figure 71165DEST_PATH_IMAGE027
、
Figure 561052DEST_PATH_IMAGE028
、
Figure 825812DEST_PATH_IMAGE029
和
Figure 579004DEST_PATH_IMAGE030
分别为对应惩罚项的超参数，用来平衡各个惩罚项 的比例。
示例性的，多维度的特征匹配分别对应：零阶的标签特征匹配（记为
Figure 257110DEST_PATH_IMAGE031
）、一阶的 梯度特征匹配（记为
Figure 737639DEST_PATH_IMAGE032
），以及能够代表二阶特征的Fisher信息矩阵匹配（记为
Figure 184801DEST_PATH_IMAGE033
）。
示例性的，匹配方法可以包括：最小化真实样本对应的特征与生成样本对应的特 征之间的
Figure 374473DEST_PATH_IMAGE034
距离（即欧式距离）：
Figure 477559DEST_PATH_IMAGE035
Figure 309248DEST_PATH_IMAGE036
Figure 610917DEST_PATH_IMAGE037
其中，
Figure 174753DEST_PATH_IMAGE038
分别表示真实样本在不同维度上对应的特征，
Figure 827452DEST_PATH_IMAGE039
分别 表示生成样本在不同维度上对应的特征。
需要说明的是，Fisher信息矩阵之间的距离除了可以采用欧式距离之外，还可以采用黎曼空间距离，即可以将Fisher信息矩阵之间黎曼空间距离确定为Fisher信息矩阵之间的距离。
此外，为了保证生成图像的空间平滑性，还添加了总方差损失函数（
Figure 400515DEST_PATH_IMAGE040
）作为正 则化项以指导对自然图像的优化。其中：
Figure 556690DEST_PATH_IMAGE041
即求每一个像素和横向下一个像素的差的平方，加上纵向下一个像素的差的平 方，然后开
Figure 275116DEST_PATH_IMAGE042
次根。
示例性的，
Figure 149531DEST_PATH_IMAGE043
为经验值，例如，
Figure 526286DEST_PATH_IMAGE044
=2。
模块D：还原出与真实训练数据像素级精确的重构训练数据（像素级实例还原）。
示例性的，经过模块C，可以得到接近原始训练数据的实例表示，该实例表示可以 视为一个在目标最优值附近的分布。此时，可以将该实例表示作为初始值输入本轮的全局 模型 M t中，并通过模型反向传播得到
Figure 536967DEST_PATH_IMAGE045
。然后通过更新实例表示，将
Figure 239344DEST_PATH_IMAGE045
与真实梯度g 进行优化逼近，此时的损失函数可以为：
Figure 788006DEST_PATH_IMAGE046
通过不断的迭代优化，即可还原出与原始训练数据具有像素级别精确度的结果（即重构训练数据）。
在该实施例中，在按照上述方式得到了重构训练数据的情况下，可以依据重构训练数据与真实训练数据的相似度，对模型进行防攻击性能评估，得到模型防攻击性能评估结果。
通过分别在两种不同复杂度的模型（Lenet和ResNet）和四种不同像素大小的数据集（MNIST、Cifar100、CalabA、Imagenet）上评估本申请实施例提供的方法的有效性。实验结果表明，与现有的方法相比基于条件式解码与多维度特征匹配相结合的攻击方法能够在不借助辅助数据的条件下，极大的提高数据重构攻击的收敛性，实现像素级精确的实例重构，是一种更为通用有效的攻击模式。并且在多图像还原时，该方法能够准确地得到重构训练数据与类别标签的对应关系，有效避免多张图像与类别标签的排列混淆。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：
请参见图5，为本申请实施例提供的一种基于实例重构的联邦学习模型智能攻击检测装置的结构示意图，如图5所示，该基于实例重构的联邦学习模型智能攻击检测装置可以包括：
获取单元510，用于获取目标客户端上传的梯度；
提取单元520，用于依据所述目标客户端上传的梯度，提取所述梯度所对应的训练数据的类别标签；
生成单元530，用于依据所述类别标签，利用条件式解码器，生成所述目标客户端的训练数据的目标实例表示；其中，所述条件式解码器的训练过程中，依据所述目标客户端的训练数据在本轮全局模型上的多维度特征与所述条件式解码器生成的实例表示在本轮全局模型上的多维度特征匹配，对所述条件式解码器的参数更新；
更新单元540，用于利用本轮全局模型，对所述目标实例表示进行优化更新，得到重构训练数据；
评估单元550，用于依据所述重构训练数据与所述目标客户端的训练数据的相似度，确定模型的防攻击性能评估结果。
在一些实施例中，所述生成单元530依据所述类别标签，利用条件式解码器，生成所述目标客户端的训练数据的实例表示，包括：
将所述类别标签和随机噪声输入条件式解码器，生成所述目标客户端的训练数据的实例表示；
依据所述实例表示在本轮全局模型上的多维度特征与所述目标客户端的训练数据在本轮全局模型上的多维度特征，确定所述条件式解码器的损失，并以最小化所述条件解码器的损失的原则，对所述条件式解码器进行参数更新；
将所述类别标签和随机噪声输入参数更新完成的条件式解码器，生成所述目标客户端的训练数据的目标实例表示。
在一些实施例中，所述生成单元530依据所述实例表示在本轮全局模型上的多维度特征与所述目标客户端的训练数据在本轮全局模型上的多维度特征，确定所述条件式解码器的损失，包括：
对于任一维度特征，确定所述实例表示在本轮全局模型上的该维度特征与所述目标客户端的训练数据在本轮全局模型上的该维度特征之间的距离；
依据所述实例表示与所述目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，确定所述条件式解码器的损失；其中，所述条件式解码器的损失与各维度特征之间的距离均正相关。
在一些实施例中，所述多维度特征包括类别标签、梯度以及Fisher信息矩阵；
所述实例表示与所述目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，包括：
所述实例表示的类别标签与所述目标客户端的训练数据的类别标签之间的第一距离、所述实例表示的梯度与所述目标客户端的训练数据的梯度之间的第二距离，以及，所述实例表示的Fisher信息矩阵与所述目标客户端的Fisher信息矩阵之间的第三距离。
在一些实施例中，所述生成单元530依据所述实例表示与所述目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，确定所述条件式解码器的损失，包括：
以所述第一距离、所述第二距离、所述第三距离，以及总方差损失函数作为惩罚项，并设置作为各惩罚项的加权比例的超参数，构建所述条件式解码器的损失函数。
在一些实施例中，所述更新单元540利用本轮全局模型，对所述目标客户端的训练数据的目标实例表示进行优化更新，得到重构训练数据，包括：
将所述目标客户端的训练数据的目标实例表示，输入本轮全局模型，并依据模型反向传播的梯度与所述目标客户端上传的梯度之间的距离，对所述目标实例表示进行更新，直至将更新后的目标实例表示输入本轮全局模型后，模型反向传播的梯度与所述目标客户端上传的梯度之间的距离满足指定条件的情况下，将该更新后的目标实例表示作为重构训练数据。
对应地，本申请还提供了图5所示装置的硬件结构。参见图6，该硬件结构可包括：处理器和机器可读存储介质，机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例公开的方法。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干机器可执行指令，所述机器可执行指令被处理器执行时，能够实现本申请上述示例公开的方法。
示例性的，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM（Radom Access Memory，随机存取存储器）、易失存储器、非易失性存储器、闪存、存储驱动器（如硬盘驱动器）、固态硬盘、任何类型的存储盘（如光盘、dvd等），或者类似的存储介质，或者它们的组合。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (8)

1.一种基于实例重构的联邦学习模型智能攻击检测方法，其特征在于，包括：
获取目标客户端上传的梯度；
依据所述目标客户端上传的梯度，提取所述梯度所对应的训练数据的类别标签；
依据所述类别标签，利用条件式解码器，生成所述目标客户端的训练数据的目标实例表示；其中，所述条件式解码器的训练过程中，依据所述目标客户端的训练数据在本轮全局模型上的多维度特征与所述条件式解码器生成的实例表示在本轮全局模型上的多维度特征匹配，对所述条件式解码器的参数更新；
利用本轮全局模型，对所述目标实例表示进行优化更新，得到重构训练数据；
依据所述重构训练数据与所述目标客户端的训练数据的相似度，确定模型的防攻击性能评估结果；
其中，所述依据所述类别标签，利用条件式解码器，生成所述目标客户端的训练数据的实例表示，包括：
将所述类别标签和随机噪声输入条件式解码器，生成所述目标客户端的训练数据的实例表示；
依据所述实例表示在本轮全局模型上的多维度特征与所述目标客户端的训练数据在本轮全局模型上的多维度特征，确定所述条件式解码器的损失，并以最小化所述条件解码器的损失的原则，对所述条件式解码器进行参数更新；
将所述类别标签和随机噪声输入参数更新完成的条件式解码器，生成所述目标客户端的训练数据的目标实例表示；
其中，所述利用本轮全局模型，对所述目标客户端的训练数据的目标实例表示进行优化更新，得到重构训练数据，包括：
将所述目标客户端的训练数据的目标实例表示，输入本轮全局模型，并依据模型反向传播的梯度与所述目标客户端上传的梯度之间的距离，对所述目标实例表示进行更新，直至将更新后的目标实例表示输入本轮全局模型后，模型反向传播的梯度与所述目标客户端上传的梯度之间的距离满足指定条件的情况下，将该更新后的目标实例表示作为重构训练数据。
2.根据权利要求1所述的方法，其特征在于，所述依据所述实例表示在本轮全局模型上的多维度特征与所述目标客户端的训练数据在本轮全局模型上的多维度特征，确定所述条件式解码器的损失，包括：
对于任一维度特征，确定所述实例表示在本轮全局模型上的该维度特征与所述目标客户端的训练数据在本轮全局模型上的该维度特征之间的距离；
依据所述实例表示与所述目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，确定所述条件式解码器的损失；其中，所述条件式解码器的损失与各维度特征之间的距离均正相关。
3.根据权利要求2所述的方法，其特征在于，所述多维度特征包括类别标签、梯度以及Fisher信息矩阵；
所述实例表示与所述目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，包括：
所述实例表示的类别标签与所述目标客户端的训练数据的类别标签之间的第一距离、所述实例表示的梯度与所述目标客户端的训练数据的梯度之间的第二距离，以及，所述实例表示的Fisher信息矩阵与所述目标客户端的Fisher信息矩阵之间的第三距离。
4.根据权利要求3所述的方法，其特征在于，所述依据所述实例表示与所述目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，确定所述条件式解码器的损失，包括：
以所述第一距离、所述第二距离、所述第三距离，以及总方差损失函数作为惩罚项，并设置作为各惩罚项的加权比例的超参数，构建所述条件式解码器的损失函数。
5.一种基于实例重构的联邦学习模型智能攻击检测装置，其特征在于，包括：
获取单元，用于获取目标客户端上传的梯度；
提取单元，用于依据所述目标客户端上传的梯度，提取所述梯度所对应的训练数据的类别标签；
生成单元，用于依据所述类别标签，利用条件式解码器，生成所述目标客户端的训练数据的目标实例表示；其中，所述条件式解码器的训练过程中，依据所述目标客户端的训练数据在本轮全局模型上的多维度特征与所述条件式解码器生成的实例表示在本轮全局模型上的多维度特征匹配，对所述条件式解码器的参数更新；
更新单元，用于利用本轮全局模型，对所述目标实例表示进行优化更新，得到重构训练数据；
评估单元，用于依据所述重构训练数据与所述目标客户端的训练数据的相似度，确定模型的防攻击性能评估结果；
其中，所述生成单元依据所述类别标签，利用条件式解码器，生成所述目标客户端的训练数据的实例表示，包括：
将所述类别标签和随机噪声输入条件式解码器，生成所述目标客户端的训练数据的实例表示；
依据所述实例表示在本轮全局模型上的多维度特征与所述目标客户端的训练数据在本轮全局模型上的多维度特征，确定所述条件式解码器的损失，并以最小化所述条件解码器的损失的原则，对所述条件式解码器进行参数更新；
将所述类别标签和随机噪声输入参数更新完成的条件式解码器，生成所述目标客户端的训练数据的目标实例表示；
其中，所述更新单元利用本轮全局模型，对所述目标客户端的训练数据的目标实例表示进行优化更新，得到重构训练数据，包括：
将所述目标客户端的训练数据的目标实例表示，输入本轮全局模型，并依据模型反向传播的梯度与所述目标客户端上传的梯度之间的距离，对所述目标实例表示进行更新，直至将更新后的目标实例表示输入本轮全局模型后，模型反向传播的梯度与所述目标客户端上传的梯度之间的距离满足指定条件的情况下，将该更新后的目标实例表示作为重构训练数据。
6.根据权利要求5所述的装置，其特征在于，所述生成单元依据所述实例表示在本轮全局模型上的多维度特征与所述目标客户端的训练数据在本轮全局模型上的多维度特征，确定所述条件式解码器的损失，包括：
对于任一维度特征，确定所述实例表示在本轮全局模型上的该维度特征与所述目标客户端的训练数据在本轮全局模型上的该维度特征之间的距离；
依据所述实例表示与所述目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，确定所述条件式解码器的损失；其中，所述条件式解码器的损失与各维度特征之间的距离均正相关。
7.根据权利要求6所述的装置，其特征在于，所述多维度特征包括类别标签、梯度以及Fisher信息矩阵；
所述实例表示与所述目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，包括：
所述实例表示的类别标签与所述目标客户端的训练数据的类别标签之间的第一距离、所述实例表示的梯度与所述目标客户端的训练数据的梯度之间的第二距离，以及，所述实例表示的Fisher信息矩阵与所述目标客户端的Fisher信息矩阵之间的第三距离。
8.根据权利要求7所述的装置，其特征在于，所述生成单元依据所述实例表示与所述目标客户端的训练数据在本轮全局模型上的各维度特征之间的距离，确定所述条件式解码器的损失，包括：
以所述第一距离、所述第二距离、所述第三距离，以及总方差损失函数作为惩罚项，并设置作为各惩罚项的加权比例的超参数，构建所述条件式解码器的损失函数。
CN202210404405.6A 2022-04-18 2022-04-18 基于实例重构的联邦学习模型智能攻击检测方法及装置 Active CN114548428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210404405.6A CN114548428B (zh) 2022-04-18 2022-04-18 基于实例重构的联邦学习模型智能攻击检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210404405.6A CN114548428B (zh) 2022-04-18 2022-04-18 基于实例重构的联邦学习模型智能攻击检测方法及装置

Publications (2)

Publication Number Publication Date
CN114548428A CN114548428A (zh) 2022-05-27
CN114548428B true CN114548428B (zh) 2022-08-16

Family

ID=81667532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210404405.6A Active CN114548428B (zh) 2022-04-18 2022-04-18 基于实例重构的联邦学习模型智能攻击检测方法及装置

Country Status (1)

Country Link
CN (1) CN114548428B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115081003B (zh) * 2022-06-29 2024-04-02 西安电子科技大学 一种采样聚合框架下的梯度泄露攻击方法
CN115270192B (zh) * 2022-09-26 2022-12-30 广州优刻谷科技有限公司 样本标签隐私风险评估方法、系统及存储介质
CN116759100B (zh) * 2023-08-22 2023-10-31 中国人民解放军总医院 基于联邦学习构建慢性心血管疾病大模型方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779563A (zh) * 2021-08-05 2021-12-10 国网河北省电力有限公司信息通信分公司 联邦学习的后门攻击防御方法及装置
CN114239049A (zh) * 2021-11-11 2022-03-25 杭州海康威视数字技术股份有限公司 基于参数压缩的面向联邦学习隐私推理攻击的防御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144718A (zh) * 2019-12-12 2020-05-12 支付宝(杭州)信息技术有限公司 基于私有数据保护的风险决策方法、装置、系统及设备
CN111314331B (zh) * 2020-02-05 2020-11-03 北京中科研究院 一种基于条件变分自编码器的未知网络攻击检测方法
CN112434758B (zh) * 2020-12-17 2024-02-13 浙江工业大学 基于聚类的联邦学习搭便车攻击防御方法
CN112714106B (zh) * 2020-12-17 2023-02-14 杭州趣链科技有限公司 一种基于区块链的联邦学习搭便车攻击防御方法
CN113411329B (zh) * 2021-06-17 2022-06-28 浙江工业大学 基于dagmm的联邦学习后门攻击防御方法
CN113609521B (zh) * 2021-07-27 2022-11-01 广州大学 一种基于对抗训练的联邦学习隐私保护方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779563A (zh) * 2021-08-05 2021-12-10 国网河北省电力有限公司信息通信分公司 联邦学习的后门攻击防御方法及装置
CN114239049A (zh) * 2021-11-11 2022-03-25 杭州海康威视数字技术股份有限公司 基于参数压缩的面向联邦学习隐私推理攻击的防御方法

Also Published As

Publication number Publication date
CN114548428A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
Puy et al. Flot: Scene flow on point clouds guided by optimal transport
CN114548428B (zh) 基于实例重构的联邦学习模型智能攻击检测方法及装置
Sameen et al. Classification of very high resolution aerial photos using spectral-spatial convolutional neural networks
Danaci et al. Machine learning pipeline for quantum state estimation with incomplete measurements
Fan et al. Deep adversarial canonical correlation analysis
CN114611720A (zh) 联邦学习模型训练方法、电子设备及存储介质
CN115329885A (zh) 一种基于隐私保护的个性化联邦学习方法和装置
Douillard et al. Tackling catastrophic forgetting and background shift in continual semantic segmentation
Shrivastava et al. Multiple kernel-based dictionary learning for weakly supervised classification
Pham Geostatistical simulation of medical images for data augmentation in deep learning
CN113837256B (zh) 对象识别方法、网络的训练方法及装置、设备及介质
CN115293235A (zh) 建立风险识别模型的方法及对应装置
Miyato et al. Unsupervised learning of equivariant structure from sequences
Rakesh et al. Efficacy of bayesian neural networks in active learning
Luber et al. Structural neural additive models: Enhanced interpretable machine learning
Liu et al. Wtfm layer: An effective map extractor for unsupervised shape correspondence
Tao et al. An efficient and robust cloud-based deep learning with knowledge distillation
Lima Hawkes processes modeling, inference, and control: An overview
Chen et al. A generalized locally linear factorization machine with supervised variational encoding
Garnelo et al. Exploring the space of key-value-query models with intention
Manavalan et al. A Sample-based Criterion for Unsupervised Learning of Complex Models beyond Maximum Likelihood and Density Estimation
Saenz et al. Dimensionality-reduction of climate data using deep autoencoders
CN111428741B (zh) 网络社区的发现方法、装置、电子设备及可读存储介质
Büyüktaş et al. More learning with less labeling for face recognition
Rudy et al. Generative class-conditional autoencoders

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant