CN115019378A - 一种面向协同推理的抗数据审查属性推断攻击方法及装置 - Google Patents

一种面向协同推理的抗数据审查属性推断攻击方法及装置 Download PDF

Info

Publication number
CN115019378A
CN115019378A CN202210946599.2A CN202210946599A CN115019378A CN 115019378 A CN115019378 A CN 115019378A CN 202210946599 A CN202210946599 A CN 202210946599A CN 115019378 A CN115019378 A CN 115019378A
Authority
CN
China
Prior art keywords
image
attribute
model
auxiliary
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210946599.2A
Other languages
English (en)
Inventor
王志波
刘凯鑫
任奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Jiaxing Research Institute of Zhejiang University
Original Assignee
Zhejiang University ZJU
Jiaxing Research Institute of Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Jiaxing Research Institute of Zhejiang University filed Critical Zhejiang University ZJU
Priority to CN202210946599.2A priority Critical patent/CN115019378A/zh
Publication of CN115019378A publication Critical patent/CN115019378A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种面向协同推理的抗数据审查属性推断攻击方法与装置，装置包括影子模型训练模块、图像特征解码器和恶意属性分类器，影子模型训练模块包括影子模型和辅助分类器；影子模型的输入端连接辅助公开数据集，输出端连有特征重建模块，重建模块的输出端连接属性推断模块；影子模型训练模块由卷积神经网络及全连接神经网络组成；图像特征解码器由反卷积神经网络组成，恶意属性分类器由卷积神经网络和全连接神经网络组成。本方案提出影子模型训练模拟目标脱敏模型的行为和输出，以获得有效的脆弱性辅助特征，提出特征重建，用于重建脱敏特征的脆弱性，使其包含更加丰富的敏感信息，使用属性推断模块对重建特征进行属性推断攻击。

Description

一种面向协同推理的抗数据审查属性推断攻击方法及装置
技术领域
本发明涉及人工智能（AI）数据隐私安全领域，具体地说，是一种面向协同推理的抗数据审查属性推断攻击方法及装置。
背景技术
近年来，随着数据聚合和分析的需求不断增加，催生了一个结合了边缘计算和人工智能（AI）的新研究领域，边缘智能。然而，在资源受限的边缘设备上执行复杂的深度神经网络并非易事，为了应对这一挑战，研究者提出了协同推理的计算框架。对于人脸属性分类任务，协同推理将一个属性分类神经网络划分为多个子模型，并基于计算卸载技术将前一部分结构较为简单子模型部署在本地设备上，而将后一部分结构较为复杂的子模型卸载至计算能力更强的边缘服务器上，将本地模型输出的图像特征上传至边缘云，多个子模型进行联合推断。然而，由于属性分类模型存在过度学习的现象，即不仅学习了目标任务的相关信息，还学习了用户输入中的其他信息，这就导致图像特征提取器输出的图像特征表示依然包含着丰富的敏感信息，一旦这种图像特征表示被网络中的恶意攻击者所捕获，将泄露与目标任务属性不相关的隐私属性信息。
目前，研究者已经提出多种人脸属性推断攻击，实现了对于用户人脸的隐私属性甚至原始人脸的隐私窃取。比如基于迁移学习的属性推断攻击，利用人脸图像特征在不同分类属性任务上的迁移性，训练获得能够推断人脸图像隐私属性的恶意分类器，实现对于用户人脸隐私属性的信息窃取。然而这种方法只面向最原始的人脸图像特征，无法有效攻击受隐私保护的人脸图像特征，因为最先进的隐私保护方法对于人脸图像特征进行信息审查和过滤，过滤了人脸隐私属性的相关信息，导致人脸图像特征中敏感信息量大大下降。针对以上缺陷，一些研究者提出预先训练隐私属性分类网络，并提取其内部的人脸图像特征，然后通过基于神经网络的人脸图像特征转换器将被扰动的图像特征转化为预训练的人脸图像特征，进而对其执行属性推断攻击，能够实现对于脱敏图像特征的属性推断攻击。
但这种基于人脸图像特征转换的方法攻击效果仍然欠佳，由于转换人脸图像特征时未考虑脱敏图像特征与预训练模型内人脸图像特征的结构差异，往往在训练模型时，优化过程陷入局部最优，导致得到的转换模型过拟合，使得攻击有效性大大下降。因此提出一种更加有效的抗审查的隐私属性推断攻击方法能够进一步揭示协同推理中的人脸图像隐私漏洞，实现有效的抗审查隐私属性推断攻击，推进协同推理人脸识别隐私方面的研究。
发明内容
本发明就是针对现有技术的不足，提供一种面向基于审查隐私保护方法的隐私属性推断攻击系统和方法，实现了对于脱敏的人脸属性分类模型的有效推断攻击，即根据脱敏特征模型过度学习的特点，利用图像特征解码技术将脱敏图像特征解码为脱敏特征模型内部图像特征的近似，以重建脱敏图像特征的隐私属性相关数据，从而使得隐私属性分类器更易完成隐私属性推断，实现抗审查保护的隐私属性推断攻击。
具体地，该方法利用影子模型模拟脱敏特征模型的行为和输出，并提取影子模型的中间层激活值作为脱敏特征模型内部数据的近似，称之为辅助图像特征，之后通过解码器将脱敏图像特征解码为与辅助图像特征相似的重建图像特征，该图像特征具有丰富的隐私属性相关信息，隐私属性分类器在该图像特征上能够实现高精度的推断攻击。
为了实现本发明的目的，本发明是通过以下技术方法实现的：
本发明公开了一种面向协同推理的抗数据审查属性推断攻击方法及装置，装置包括影子模型、图像特征解码器和恶意属性分类器；影子模型由卷积神经网络组成，由攻击者训练，用来近似用户的图像特征提取器的行为和输出，进而获得敏感信息丰富的辅助图像特征；图像特征解码器模块由反卷积网络组成，用于解码脱敏图像特征，使其产生更加脆弱的图像特征表示；恶意属性分类器由卷积神经网络和全连接层组成，输入端连接图像特征解码器的输出图像特征，通过前向传播输出图像特征相关的隐私属性。
本发明还公开了一种面向隐私保护属性分类模型的隐私属性推断方法，包括如下步骤：用户使用预先训练的脱敏图像特征提取器获得脱敏图像特征，并将脱敏图像特征向量上传至云数据中心获得相应的服务，在此过程中，攻击者可以借助网络嗅探等技术窃取该脱敏图像特征，然后使用训练的图像特征解码器和恶意属性分类器对该图像特征进行属性推断攻击，获取用户不想泄漏的隐私属性。本发明实现方案如下：
一种面向协同推理的抗数据审查属性推断攻击方法及装置，步骤如下：
本发明公开了一种面向协同推理的抗数据审查属性推断攻击方法，包含以下步骤：
云服务器向用户分发预先训练好的脱敏特征提取器，并将脱敏特征提取器下发给用户实现对人脸图像的脱敏图像特征的提取，同时作为攻击者的恶意用户也可访问该脱敏特征提取器；
用户将人脸图像输入脱敏特征提取器，计算获得对象对应的脱敏图像特征，并上传该特征至云服务器进行目标属性推断，例如表情推断；
攻击者预先设定目标敏感属性，通过黑盒访问脱敏特征提取器训练获得影子模型、图像特征解码器以及恶意属性分类器；设置影子模型是为了帮助训练获得特征解码器，影子模型本身并不参与推断阶段，故在训练结束后丢弃该部分模型，将训练完毕的图像特征解码器和恶意属性分类器部署在攻击者的装置上，攻击者捕获用户上传的脱敏图像特征，再通过图像特征解码器重建脱敏图像特征的脆弱性，获得重建特征，之后将重建特征输入恶意属性分类器计算用户数据的隐私属性信息，完成隐私属性推断攻击；
训练获得影子模型、图像特征解码器以及恶意属性分类器的具体步骤如下：
步骤1.获取与用户的训练数据集同分布的辅助数据集，作为训练集，该数据集中图像具有目标属性标签以及隐私属性标签；
步骤2.建立影子模型，并初始化模型参数；对影子模型参数和训练集归一化处理；
步骤3.基于训练集进行前向传播计算，计算影子模型中间层的辅助图像特征和输出层的输出图像特征；同样的，将训练集作为输入，通过脱敏特征模型的特征提取、特征编码和特征汇聚操作，计算人脸图像的脱敏图像特征；攻击者在获得输出图像特征和脱敏图像特征后，计算两个图像特征的相似度作为模型的损失值，基于反向传播和梯度下降算法更新影子模型的参数；
步骤4.建立辅助分类器，初始化辅助分类器的模型参数并归一化；
步骤5.攻击者在获得步骤3中的辅助图像特征后，基于辅助图像特征进行前向传播，计算辅助分类器的输出标签，计算输出标签与真实标签之间的交叉熵，基于反向传播和梯度下降算法更新辅助分类器和影子模型的参数；
步骤6.基于训练集对影子模型进行前向传播，计算影子模型的中间层的辅助图像特征；
步骤7.建立图像特征解码器，初始化图像特征解码器模型的参数并归一化；
步骤8.攻击者在获得步骤3中的脱敏图像特征和步骤6中的辅助图像特征后，基于辅助图像特征进行前向传播，计算图像特征解码器的输出层图像特征；并计算该特征与脱敏特征之间的相似度，基于反向传播和梯度下降算法更新特征解码模型的参数；
步骤9.基于训练集对脱敏特征模型和图像特征解码器模型依次进行前向传播，计算图像特征解码器输出的重建图像特征；
步骤10.建立恶意属性分类器，初始化该分类器模型的参数并归一化；
步骤11.攻击者在获得步骤10中的重建特征之后，基于该特征对恶意属性分类器进行前向传播，计算恶意属性分类器的输出标签，然后计算输出标签和真是标签之间的交叉熵，基于反向传播和梯度下降算法更新恶意属性分类器的模型参数。
作为进一步地改进，本发明所述的步骤3具体步骤如下：
1） 从辅助数据集中采样一批数据，将其输入影子模型
Figure 949368DEST_PATH_IMAGE001
获得近似的脱敏图像特征；
2） 攻击者期望影子模型的行为尽可能地近似于图像特征提取器
Figure 7454DEST_PATH_IMAGE002
，以产生相似的输出，故计算脱敏图像特征表示与近似图像特征表示之间的图像特征空间相似度，并最小化该值，损失函数如下：
Figure 52770DEST_PATH_IMAGE003
其中
Figure 447979DEST_PATH_IMAGE004
表示图像特征相似度损失，由
Figure 527931DEST_PATH_IMAGE005
距离实现，其值越小两种图像特征表示的相似度越高；
3） 在训练过程中，该影子模型的优化目标通过更新模型参数
Figure 615972DEST_PATH_IMAGE006
来最小化上述的相似度损失函数：
Figure 21021DEST_PATH_IMAGE007
作为进一步地改进，本发明所述的步骤5的具体步骤为：
1） 基于步骤3中的辅助图像特征，计算辅助分类器
Figure 485501DEST_PATH_IMAGE008
输出层的预测值，计算辅助分类器输出隐私属性预测值与真实标签
Figure 419959DEST_PATH_IMAGE009
之间的交叉熵；
2） 在优化阶段对最小化该交叉熵以获得更易攻击的辅助图像特征表示，损失函数如下：
Figure 678902DEST_PATH_IMAGE010
其中
Figure 574177DEST_PATH_IMAGE011
时影子模型的浅层神经网络，参数为
Figure 576768DEST_PATH_IMAGE012
，
Figure 365732DEST_PATH_IMAGE013
为辅助属性分类器，参数为
Figure 61156DEST_PATH_IMAGE014
，
Figure 443727DEST_PATH_IMAGE015
代表对于隐私属性的预测置信度，
Figure 718850DEST_PATH_IMAGE016
用来衡量影子模型的浅层网络
Figure 627900DEST_PATH_IMAGE011
产生的辅助图像特征是否保留了足够的隐私信息，最终由
Figure 228646DEST_PATH_IMAGE011
产生辅助图像特征向量；
3） 在训练过程中，该辅助分类器和影子模型应该联合训练以保证辅助图像特征的敏感信息，整体的优化目标为最小化上述的交叉熵损失函数，基于反向传播与梯度下降技术来更新二者的模型参数：
Figure 223147DEST_PATH_IMAGE017
作为进一步地改进，本发明所述的步骤8的具体步骤为：
1） 将步骤6中的辅助图像特征输入图像特征解码器计算重建图像特征，采用MeanSquare error(MSE)作为度量函数评估重建图像特征与步骤3中的脱敏图像特征之间的相似度；
2） 将重建图像特征和脱敏图像特征在欧式距离上的期望值，即
Figure 442907DEST_PATH_IMAGE018
，作为重建误差值：
Figure 206463DEST_PATH_IMAGE019
其中,
Figure 978110DEST_PATH_IMAGE020
表示脱敏特征模型产生的脱敏图像特征，
Figure 194328DEST_PATH_IMAGE021
为图像特征重构器，
Figure 342412DEST_PATH_IMAGE022
为模型参数，
Figure 835842DEST_PATH_IMAGE023
表示随机变量的二范数，MSE均方误差是用于衡量脱敏图像特征以及重建图像特征之间的信息相似度的函数。
作为进一步地改进，本发明所述的步骤11的具体步骤为：
1） 基于步骤9中的重建图像特征，基于重建图像特征进行前向传播，计算恶意属性分类器输出层的预测值，根据该预测值和真实标签计算交叉熵，最有损失函数：
Figure 43969DEST_PATH_IMAGE024
其中，
Figure 747483DEST_PATH_IMAGE025
为恶意属性分类器，模型参数为
Figure 168100DEST_PATH_IMAGE026
，
Figure 906249DEST_PATH_IMAGE027
代表由
Figure 160644DEST_PATH_IMAGE011
和
Figure 351454DEST_PATH_IMAGE021
所产生的重建图像特征，
Figure 841341DEST_PATH_IMAGE028
是模型训练的损失函数，用来衡量恶意属性分类器的推断性能，该值越小越好；
2） 在训练过程中，进行反向传播和梯度下降算法，更新恶意属性分类器的网络参数
Figure 168417DEST_PATH_IMAGE026
来最小化上述的损失函数：
Figure 593713DEST_PATH_IMAGE029
。
作为进一步地改进，本发明所述的攻击者通过网络嗅探等技术捕获用户分享的脱敏图像特征，将其输入图像特征解码器获得重建图像特征，然后输入恶意分类网络输出用户人脸图像的隐私属性。
本发明还公开了一种面向协同推理的抗数据审查属性推断攻击系统，包括：
云服务器：训练脱敏特征模型，并向用户分发预先训练的脱敏特征模型；
用户：基于私有人脸图像，对脱敏特征模型进行前向传播，计算人脸图像的相关特征，即脱敏图像特征，并将该特征上传至边缘云服务器以推断人脸图像的目标属性，例如人脸表情；
攻击者：处在同一网络环境下的恶意攻击者能够截获用户上传的脱敏图像特征，然后使用隐私属性推断装置识别用户人脸图像的隐私属性信息；
影子模型训练模块：包含影子模型和辅助属性分类器，影子模型由卷积神经网络组成，影子模型的输入端连接辅助数据集，中间层连接辅助属性分类器，影子模型根据输入图像的像素值，对其进行特征提取、特征解码和汇聚操作输出图像对应的特征；辅助分类器由卷积神经网络和全连接层组成，输入端连接影子模型的辅助图像特征，输出隐私属性的预测置信度；该装置仅用于模型训练，训练结束后丢弃，仅保留后续的图像特征解码器和恶意属性分类器用于推断；
图像特征解码器：特征解码器由反卷积神经网络组成，特征解码器装置的输入端连接脱敏图像特征，通过反卷积神经网络的卷积层实现特征转换，最终计算得到重建图像特征；
恶意属性分类器：恶意属性分类器由卷积神经网络和全连接神经网络组成，恶意属性分类器的输入端连接重建图像特征，并对其进行特征提取、特征汇聚等操作，计算得到对应的隐私属性，完成对于用户人脸图像的属性推断攻击。
本发明的有益技术效果如下。
本发明提出了一种面向协同推理的抗数据审查属性推断攻击方法及装置，为了在资源受限的边缘设备上执行复杂的深度神经网络，研究者提出一种能够将DNN模型分割并分别部署至边缘设备和边缘云的协同推理框架，用户使用边缘设备的图像特征提取器模型获得图像特征向量上传至边缘云进行分析，这些上传的数据往往包含大量的隐私信息，攻击者能够通过公开数据集上训练的模型推断出图像特征向量对应的隐私属性，然而，现有的攻击方法在面对最新提出的一些隐私保护方法时攻击有效性会大大下降，因为最先进的隐私保护方法能够使敏感信息量大大下降，已有推断攻击在面对此类基于审查的隐私保护方法的攻击成功率会显著下降。
为解决上述问题，进一步探索协同推理中的隐私泄露问题，本发明提出了一种基于人脸图像特征重建的抗审查隐私属性推断攻击。首先，本发明提出了影子模型，通过训练更新影子模型的参数，模拟以用户人脸图像作为输入的脱敏特征模型的行为，并借助辅助分类器识别人脸隐私属性，增强影子模型中间图像特征的隐私信息量，继而获得相较于脱敏图像特征更加脆弱的辅助图像特征；本发明同时提出了图像特征解码器，将脱敏图像特征转化为更易提取人脸隐私属性的重建图像特征；最后，本发明提出了隐私属性推断装置，恶意属性分类器，对重建特征进行前向传播，通过特征提取、特征汇聚和置信度计算等操作，计算获得用户人脸图像的隐私属性，完成人脸隐私属性的推断攻击。
附图说明
图1为本发明装置的结构示意图。
图2为本发明方法的总体流程图及装置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合说明书附图，通过具体实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以用户的目标任务是人脸表情识别为例，图1为本发明装置的结构示意图；
整个过程主要为三方参与，边缘云服务器、上传个人数据的用户以及窃取信息的攻击者，云服务器向用户分发预先训练好的脱敏特征提取器，用户基于私有人脸图像，进行前向传播，计算人脸图像的相关特征，即脱敏图像特征，并将该特征上传至边缘云服务器以推断人脸图像的表情属性，而处在同一网络环境下的恶意攻击者能够截获用户上传的脱敏图像特征，然后执行攻击算法推断出用户人脸图像的隐私属性信息。
图2为本发明方法的总体流程图及装置示意图；本发明系统包括影子模型训练模块、图像特征解码器和恶意属性分类器；影子模型的输入端连接辅助数据集，输出端连有图像特征解码器，图像特征解码器的输出端连接恶意属性分类器，其中图像特征解码器和恶意属性分类器可以联合起来同时训练；影子模型训练模块包含影子模型和辅助属性分类器，由卷积神经网络及全连接神经网络组成，根据输入图像的像素值，对其进行特征提取、特征解码和汇聚操作，以获得面对攻击更加脆弱的辅助图像特征；图像特征重建及推断模块包含解码器和恶意属性分类器，前者由反卷积神经网络组成，后者由卷积神经网络和全连接神经网络组成，用于重建脱敏图像特征的脆弱性并对其进行隐私属性推断攻击。
实现步骤如下：
云服务器向用户分发预先训练好的脱敏特征提取器，并将脱敏特征提取器下发给用户实现对人脸图像的脱敏图像特征的提取，同时作为攻击者的恶意用户也可访问该脱敏特征提取器；
用户将人脸图像输入脱敏特征提取器，计算获得对象对应的脱敏图像特征，并上传该特征至云服务器进行目标属性推断；
攻击者预先设定目标敏感属性，通过黑盒访问脱敏特征提取器训练获得影子模型、特征解码器以及恶意属性分类器；将训练完毕的特征解码器和恶意属性分类器部署在攻击者的装置上，攻击者捕获用户上传的脱敏图像特征，再通过特征解码器重建脱敏图像特征的脆弱性，获得重建特征，之后将重建特征输入恶意属性分类器计算用户数据的隐私属性信息，完成隐私属性推断攻击；
训练获得影子模型、特征解码器以及恶意属性分类器的具体步骤如下。
1.获取与用户的训练数据集同分布的辅助数据集，作为训练集，该数据集中图像具有表情标签以及隐私属性标签。
2.建立影子模型，并初始化模型参数；对影子模型参数和训练集归一化处理。
3.基于训练集，根据人脸五官关键点坐标将人脸对齐，并进行前向传播计算，计算影子模型中间层的辅助图像特征和输出层的输出图像特征，同样的计算脱敏特征模型输出层的脱敏特征；攻击者在获得输出图像特征和脱敏图像特征后，计算两个图像特征的相似度作为模型的损失值，基于反向传播和梯度下降算法更新影子模型的参数；
参照图2的影子模型训练过程，从辅助数据集中采样一批人脸图像数据，根据人脸图像的五官关键点信息将人脸图像进行旋转、缩放和扣取等相关操作，之后将其输入影子模型
Figure 271819DEST_PATH_IMAGE030
获得影子模型输出图像特征，攻击者期望影子模型的行为近似于脱敏特征提取器
Figure 299818DEST_PATH_IMAGE031
，以产生相似的输出，故计算脱敏图像特征与影子模型输出图像特征之间的图像特征的空间相似度，并最小化该值，损失函数如下：
Figure 746980DEST_PATH_IMAGE003
其中
Figure 202232DEST_PATH_IMAGE004
表示图像特征相似度损失，由
Figure 243001DEST_PATH_IMAGE005
距离实现，其值越小两种图像特征表示的相似度越高；
在训练过程中，该影子模型的优化目标可以通过更新模型参数
Figure 74690DEST_PATH_IMAGE032
来最小化上述的相似度损失函数：
Figure 641938DEST_PATH_IMAGE007
。
4.建立辅助分类器，初始化辅助分类器的模型参数并归一化。
5.攻击者在获得步骤3中的辅助图像特征后，基于辅助图像特征进行前向传播，计算辅助分类器的预测置信度，计算输出预测置信度与真实标签之间的交叉熵，基于反向传播和梯度下降算法更新辅助分类器和影子模型的参数；
参照图2的辅助分类器和影子模型的联合训练过程，在影子模型中间层接入一个隐私属性分类器，称之为辅助分类器
Figure 268091DEST_PATH_IMAGE008
，在与表情属性无关的隐私属性
Figure 655210DEST_PATH_IMAGE009
的监督下，优化辅助分类器和影子模型的参数，使得辅助图像特征包含更多的隐私属性信息；
具体方法为计算辅助分类器输出隐私属性预测置信度与真实属性标签
Figure 163028DEST_PATH_IMAGE009
之间的交叉熵，并在优化阶段对最小化该交叉熵以获得更易攻击的辅助图像特征表示，损失函数如下：
Figure 319202DEST_PATH_IMAGE010
其中
Figure 381836DEST_PATH_IMAGE011
是影子模型的浅层模型，参数为
Figure 256251DEST_PATH_IMAGE012
，
Figure 570689DEST_PATH_IMAGE013
为辅助属性分类器，参数为
Figure 846950DEST_PATH_IMAGE014
，
Figure 80485DEST_PATH_IMAGE015
代表对于隐私属性的预测置信度，
Figure 176617DEST_PATH_IMAGE016
用来衡量辅助编码器模型
Figure 153800DEST_PATH_IMAGE011
产生的辅助图像特征是否保留了足够的隐私标签信息，训练收敛之后，可由
Figure 159934DEST_PATH_IMAGE011
产生辅助图像特征。
在训练过程中，该辅助分类器和影子模型应该联合训练以保证辅助图像特征的敏感信息，整体的优化目标为最小化上述的交叉熵损失函数，基于反向传播与梯度下降技术来更新二者的模型参数：
Figure 564370DEST_PATH_IMAGE017
。
6.基于训练集对影子模型进行前向传播，计算影子模型的中间层激活值，作为辅助图像特征。
7.建立图像特征解码器，初始化图像特征解码器模型的参数并归一化。
8.攻击者在获得步骤3中的脱敏图像特征和步骤6中的辅助图像特征后，基于辅助图像特征进行前向传播，通过特征编码和特征汇率等操作，计算图像特征解码器的输出层图像特征；并计算该特征与脱敏特征之间的相似度，基于反向传播和梯度下降算法更新特征解码模型的参数；
参照图2的图像特征解码器训练过程， 首先获得影子模型中的辅助图像特征，设置影子模型网络为测试状态，停止梯度更新，将人脸图像输入影子模型并提取该模型的中间激活值作为辅助图像特征：
Figure 413377DEST_PATH_IMAGE033
其中
Figure 928672DEST_PATH_IMAGE034
为影子模型的中间层激活值，被称为辅助图像特征；
辅助图像特征
Figure 54891DEST_PATH_IMAGE035
作为图像特征解码器的输入，采用Mean Square error(MSE)作为度量函数，利用重建图像特征和脱敏图像特征在欧式距离上的期望值，即
Figure 364650DEST_PATH_IMAGE036
，作为图像特征重建误差值：
Figure 700953DEST_PATH_IMAGE019
其中,
Figure 19939DEST_PATH_IMAGE020
表示脱敏特征模型产生的脱敏图像特征，
Figure 125298DEST_PATH_IMAGE021
为图像特征重构器，
Figure 746904DEST_PATH_IMAGE022
为模型参数，
Figure 304924DEST_PATH_IMAGE023
表示随机变量的二范数，MSE均方误差是用于衡量脱敏图像特征以及由
Figure 427601DEST_PATH_IMAGE037
重建图像特征之间的信息相似度的函数。
9.基于训练集对脱敏特征模型和图像特征解码器模型依次进行前向传播，计算图像特征解码器输出的重建图像特征。
10.建立恶意属性分类器，初始化该分类器模型的参数并归一化。
11.攻击者在获得步骤9中的重建特征之后，基于该特征对恶意属性分类器进行前向传播，计算恶意属性分类器对隐私属性的预测置信度，然后计算预测置信度和人脸图像的隐私属性标签之间的交叉熵，基于反向传播和梯度下降算法更新恶意属性分类器的模型参数；
本方案的攻击最终目标是从脱敏图像特征中推断出敏感信息属性，为实现该目标，在重建图像特征上的敏感预测的不确定性需要最小化，可以通过训练一个恶意属性分类器来实现：
Figure 121887DEST_PATH_IMAGE024
其中，
Figure 39028DEST_PATH_IMAGE025
为恶意属性分类器，模型参数为
Figure 225290DEST_PATH_IMAGE026
，
Figure 886078DEST_PATH_IMAGE027
代表由
Figure 700450DEST_PATH_IMAGE011
和
Figure 54071DEST_PATH_IMAGE021
所产生的重建图像特征，
Figure 321105DEST_PATH_IMAGE028
是模型训练的损失函数，用来衡量恶意属性分类器的推断性能，该值越小越好；
在训练过程中，为最大化提升对于脱敏图像特征的属性推断攻击成功率，步骤8和步骤11中的图像特征重构模块和属性推断模块也可以联合起来同时构建，同时更新图像特征解码器和恶意属性分类器的模型参数，优化范式如下：
Figure 660950DEST_PATH_IMAGE038
。
12.将训练完毕的图像特征解码器和恶意属性分类器部署在攻击者的装置上；用户将人脸图像输入脱敏特征模型计算相应的脱敏图像特征，并将其上传至边缘云服务器以进行人脸表情分类；同时攻击者能够捕获用户图像的脱敏图像特征，将其输入图像特征解码器获得重建图像特征，然后输入恶意分类网络输出用户人脸图像的隐私属性。
本发明还公开了一种面向协同推理的抗数据审查属性推断攻击系统，包括：
云服务器：训练脱敏特征模型，并向用户分发预先训练的脱敏特征模型；
用户：基于私有人脸图像，对脱敏特征模型进行前向传播，计算人脸图像的相关特征，即脱敏图像特征，并将该特征上传至边缘云服务器以推断人脸图像的目标属性，例如人脸表情；
攻击者：处在同一网络环境下的恶意攻击者能够截获用户上传的脱敏图像特征，然后使用隐私属性推断装置识别用户人脸图像的隐私属性信息；
影子模型训练模块：包含影子模型和辅助属性分类器，影子模型由卷积神经网络组成，影子模型的输入端连接辅助数据集，中间层连接辅助属性分类器，影子模型根据输入图像的像素值，对其进行特征提取、特征解码和汇聚操作输出图像对应的特征；辅助分类器由卷积神经网络和全连接层组成，输入端连接影子模型的辅助图像特征，输出隐私属性的预测置信度；该装置仅用于模型训练，训练结束后丢弃，仅保留后续的图像特征解码器和恶意属性分类器用于推断；
图像特征解码器：特征解码器由反卷积神经网络组成，特征解码器装置的输入端连接脱敏图像特征，通过反卷积神经网络的卷积层实现特征转换，最终计算得到重建图像特征；恶意属性分类器：恶意属性分类器由卷积神经网络和全连接神经网络组成，恶意属性分类器的输入端连接重建图像特征，并对其进行特征提取、特征汇聚等操作，计算得到对应的隐私属性，完成对于用户人脸图像的属性推断攻击。
本发明利用影子模型训练技术模拟脱敏图像特征提取器模型的行为和输出，同时引入辅助分类器模型增强影子模型中间图像特征的敏感信息，进而获得包含丰富敏感信息的辅助图像特征，利用图像特征解码器来重建脱敏图像特征的脆弱性，获得与脱敏图像特征相关联的重建图像特征表示，使得后续攻击能够更加容易的执行，最终利用属性推断攻击技术实现对于重建图像特征的高效攻击。
在人脸图像隐私属性攻击任务上，本方法面向目前最先进的数据审查技术都取得了较好的攻击效果。
表1为本发明与现有方法在不同审查技术上的攻击性能比较
Figure 329829DEST_PATH_IMAGE039
第一列表示攻击所面向的不同审查技术，第二列表示当前不同的属性推断攻击方法，第三列及第六列为人脸图像的隐私属性。本实验与当前最先进的隐私属性推断攻击方法，如基于迁移学习的MTL和基于图像特征转换的TB等进行对比，其中RAND表示随机猜想攻击方法，用来对比显示其余三个方案的攻击提升度。所有的攻击方法都收集了在不同的审查技术设定下的实验结果。可以明显看出本方法，即AttrLeaks，在大部分情况下属性推断攻击成功率均高于其他方法，说明在面对最好的人脸属性隐私保护方法时，本方案也能做到有效地识别脱敏图像特征中的人脸图像隐私属性。
本发明所设计的面向协同推理的抗数据审查属性推断攻击方法，针对人脸属性识别任务，借助公开辅助数据集，构建影子提取器模型，构建图像特征重建模型，构建恶意属性推断模型，产生辅助图像特征向量表示，重建图像特征表示，计算图像特征相似度损失，产生梯度回传，更新影子模型参数，并计算辅助分类损失，产生梯度，进行梯度回传，更新辅助编码器和辅助分类器的模型参数，使得获取的辅助图像特征具有丰富的敏感信息，另外计算模型解码器的图像特征重建损失，产生梯度，计算恶意属性推断的分类损失，产生梯度回传，更新图像特征解码器的模型参数，在推断阶段能够借助图像特征解码器来重建脱敏图像特征中的被抑制表达的敏感信息，最后训练过的恶意属性分类器在重建图像特征表示上实现高效的人脸图像隐私属性推断攻击。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种面向协同推理的抗数据审查属性推断攻击方法，其特征在于，包含以下步骤：
云服务器向用户分发预先训练好的脱敏特征提取器，并将脱敏特征提取器下发给用户实现对人脸图像的脱敏图像特征的提取，同时作为攻击者的恶意用户也可访问该脱敏特征提取器；
用户将人脸图像输入脱敏特征提取器，计算获得对象对应的脱敏图像特征，并上传该特征至云服务器进行目标属性推断；
攻击者预先设定目标敏感属性，通过黑盒访问脱敏特征提取器训练获得影子模型、特征解码器以及恶意属性分类器；将训练完毕的特征解码器和恶意属性分类器部署在攻击者的装置上，攻击者捕获用户上传的脱敏图像特征，再通过特征解码器重建脱敏图像特征的脆弱性，获得重建特征，之后将重建特征输入恶意属性分类器计算用户数据的隐私属性信息，完成隐私属性推断攻击；
所述的训练获得影子模型、特征解码器以及恶意属性分类器的具体步骤如下：
步骤1.获取与用户的训练数据集同分布的辅助数据集，作为训练集，该数据集中图像具有目标属性标签以及隐私属性标签；
步骤2.建立影子模型，并初始化模型参数；对影子模型参数和训练集归一化处理；
步骤3.基于训练集进行前向传播计算，计算影子模型中间层的辅助图像特征和输出层的输出图像特征；同样的，将训练集作为输入，通过脱敏特征模型的特征提取、特征编码和特征汇聚操作，计算人脸图像的脱敏图像特征；攻击者在获得输出图像特征和脱敏图像特征后，计算两个图像特征的相似度作为模型的损失值，基于反向传播和梯度下降算法更新影子模型的参数；
步骤4.建立辅助分类器，初始化辅助分类器的模型参数并归一化；
步骤5.攻击者在获得步骤3中的辅助图像特征后，基于辅助图像特征进行前向传播，计算辅助分类器的输出标签，计算输出标签与真实标签之间的交叉熵，基于反向传播和梯度下降算法更新辅助分类器和影子模型的参数；
步骤6.基于训练集对影子模型进行前向传播，计算影子模型的中间层的辅助图像特征；
步骤7.建立特征解码器，初始化特征解码器模型的参数并归一化；
步骤8.攻击者在获得步骤3中的脱敏图像特征和步骤6中的辅助图像特征后，基于辅助特征进行前向传播，计算特征解码器的输出层图像特征；并计算该特征与脱敏特征之间的相似度，基于反向传播和梯度下降算法更新特征解码模型的参数；
步骤9.基于训练集对脱敏特征模型和特征解码器模型依次进行前向传播，计算特征解码器输出的重建图像特征；
步骤10.建立恶意属性分类器，初始化该分类器模型的参数并归一化；
步骤11.攻击者在获得步骤10中的重建特征之后，基于该特征对恶意属性分类器进行前向传播，计算恶意属性分类器的输出标签，然后计算输出标签和真是标签之间的交叉熵，基于反向传播和梯度下降算法更新恶意属性分类器的模型参数。
2.根据权利1要求的面向协同推理的抗数据审查属性推断攻击方法，其特征在于，所述步骤3具体步骤如下：
1）从辅助数据集中采样一批数据，将其输入影子模型
Figure 871716DEST_PATH_IMAGE001
获得近似的脱敏图像特征；
2）攻击者期望影子模型的行为尽可能地近似于图像特征提取器
Figure 54435DEST_PATH_IMAGE002
，以产生相似的输出，故计算脱敏图像特征表示与近似图像特征表示之间的图像特征空间相似度，并最小化该值，损失函数如下：
Figure 834173DEST_PATH_IMAGE003
；
其中
Figure 370327DEST_PATH_IMAGE004
表示图像特征相似度损失，由
Figure 715858DEST_PATH_IMAGE005
距离实现，其值越小两种图像特征表示的相似度越高；
3）在训练过程中，该影子模型的优化目标通过更新模型参数
Figure 803900DEST_PATH_IMAGE006
来最小化上述的相似度损失函数：
Figure 211878DEST_PATH_IMAGE007
。
3.根据权利1要求的面向协同推理的抗数据审查属性推断攻击方法，其特征在于，所述步骤5的具体步骤为：
1）基于步骤3中的辅助图像特征，计算辅助分类器
Figure 676358DEST_PATH_IMAGE008
输出层的预测值，计算辅助分类器输出隐私属性预测值与真实标签
Figure 610816DEST_PATH_IMAGE009
之间的交叉熵；
2）在优化阶段对最小化该交叉熵以获得更易攻击的辅助图像特征表示，损失函数如下：
Figure 869759DEST_PATH_IMAGE010
其中
Figure 765034DEST_PATH_IMAGE011
时影子模型的浅层神经网络，参数为
Figure 767625DEST_PATH_IMAGE012
，
Figure 556589DEST_PATH_IMAGE013
为辅助属性分类器，参数为
Figure 252013DEST_PATH_IMAGE014
，
Figure 493638DEST_PATH_IMAGE015
代表对于隐私属性的预测置信度，
Figure 909707DEST_PATH_IMAGE016
用来衡量影子模型的浅层网络
Figure 818757DEST_PATH_IMAGE011
产生的辅助图像特征是否保留了足够的隐私信息，最终由
Figure 419503DEST_PATH_IMAGE011
产生辅助图像特征向量；
3）在训练过程中，该辅助分类器和影子模型应该联合训练以保证辅助图像特征的敏感信息，整体的优化目标为最小化上述的交叉熵损失函数，基于反向传播与梯度下降技术来更新二者的模型参数：
Figure 414004DEST_PATH_IMAGE017
。
4.根据权利1要求的面向协同推理的抗数据审查属性推断攻击方法，其特征在于，所述步骤8的具体步骤为：
1）将步骤6中的辅助特征输入图像特征解码器计算重建图像特征，采用Mean Squareerror作为度量函数评估重建图像特征与步骤3中的脱敏图像特征之间的相似度；
2）将重建图像特征和脱敏图像特征在欧式距离上的期望值，即
Figure 630834DEST_PATH_IMAGE018
，作为重建误差值：
Figure 394391DEST_PATH_IMAGE019
；
其中,
Figure 431617DEST_PATH_IMAGE020
表示脱敏特征模型产生的脱敏图像特征，
Figure 382255DEST_PATH_IMAGE021
为图像特征重构器，
Figure 530340DEST_PATH_IMAGE022
为模型参数，
Figure 23769DEST_PATH_IMAGE023
表示随机变量的二范数，MSE均方误差是用于衡量脱敏图像特征以及重建图像特征之间的信息相似度的函数。
5.根据权利1要求的面向协同推理的抗数据审查属性推断攻击方法，其特征在于，所述步骤11的具体步骤为：
1） 基于步骤9中的重建图像特征，基于重建图像特征进行前向传播，计算恶意属性分类器输出层的预测值，根据该预测值和真实标签计算交叉熵，最有损失函数：
Figure 231897DEST_PATH_IMAGE024
；
其中，
Figure 935410DEST_PATH_IMAGE025
为恶意属性分类器，模型参数为
Figure 621607DEST_PATH_IMAGE026
，
Figure 235122DEST_PATH_IMAGE027
代表由
Figure 614150DEST_PATH_IMAGE011
和
Figure 539381DEST_PATH_IMAGE021
所产生的重建图像特征，
Figure 29268DEST_PATH_IMAGE028
是模型训练的损失函数，用来衡量恶意属性分类器的推断性能，该值越小越好；
2） 在训练过程中，进行反向传播和梯度下降算法，更新恶意属性分类器的网络参数
Figure 356344DEST_PATH_IMAGE026
来最小化上述的损失函数：
Figure 781641DEST_PATH_IMAGE029
。
6.根据权利1或2或3或4或5要求的面向协同推理的抗数据审查属性推断攻击方法，其特征在于，所述的攻击者通过网络嗅探等技术捕获用户分享的脱敏图像特征，将其输入图像特征解码器获得重建图像特征，然后输入恶意分类网络输出用户人脸图像的隐私属性。
7.一种面向协同推理的抗数据审查属性推断攻击系统，其特征在于，包括：
云服务器：训练脱敏特征模型，并向用户分发预先训练的脱敏特征模型；
用户：基于私有人脸图像，对脱敏特征模型进行前向传播，计算人脸图像的相关特征，即脱敏图像特征，并将该特征上传至边缘云服务器以推断人脸图像的目标属性，例如人脸表情；
攻击者：处在同一网络环境下的恶意攻击者能够截获用户上传的脱敏图像特征，然后使用隐私属性推断装置识别用户人脸图像的隐私属性信息；
影子模型训练模块：包含影子模型和辅助属性分类器，影子模型由卷积神经网络组成，影子模型的输入端连接辅助数据集，中间层连接辅助属性分类器，影子模型根据输入图像的像素值，对其进行特征提取、特征解码和汇聚操作输出图像对应的特征；辅助分类器由卷积神经网络和全连接层组成，输入端连接影子模型的辅助图像特征，输出隐私属性的预测置信度；该装置仅用于模型训练，训练结束后丢弃，仅保留后续的图像特征解码器和恶意属性分类器用于推断；
图像特征解码器：特征解码器由反卷积神经网络组成，特征解码器装置的输入端连接脱敏图像特征，通过反卷积神经网络的卷积层实现特征转换，最终计算得到重建图像特征；
恶意属性分类器：恶意属性分类器由卷积神经网络和全连接神经网络组成，恶意属性分类器的输入端连接重建图像特征，并对其进行特征提取、特征汇聚等操作，计算得到对应的隐私属性，完成对于用户人脸图像的属性推断攻击。
CN202210946599.2A 2022-08-09 2022-08-09 一种面向协同推理的抗数据审查属性推断攻击方法及装置 Pending CN115019378A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210946599.2A CN115019378A (zh) 2022-08-09 2022-08-09 一种面向协同推理的抗数据审查属性推断攻击方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210946599.2A CN115019378A (zh) 2022-08-09 2022-08-09 一种面向协同推理的抗数据审查属性推断攻击方法及装置

Publications (1)

Publication Number Publication Date
CN115019378A true CN115019378A (zh) 2022-09-06

Family

ID=83065571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210946599.2A Pending CN115019378A (zh) 2022-08-09 2022-08-09 一种面向协同推理的抗数据审查属性推断攻击方法及装置

Country Status (1)

Country Link
CN (1) CN115019378A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778544A (zh) * 2023-03-07 2023-09-19 浙江大学 一种面向人脸识别隐私保护的对抗性特征生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778544A (zh) * 2023-03-07 2023-09-19 浙江大学 一种面向人脸识别隐私保护的对抗性特征生成方法
CN116778544B (zh) * 2023-03-07 2024-04-16 浙江大学 一种面向人脸识别隐私保护的对抗性特征生成方法

Similar Documents

Publication Publication Date Title
Lin et al. FPGAN: Face de-identification method with generative adversarial networks for social robots
Zhang et al. Depth-wise separable convolutions and multi-level pooling for an efficient spatial CNN-based steganalysis
WO2021258920A1 (zh) 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
WO2022111506A1 (zh) 视频动作识别方法、装置、电子设备和存储介质
Zhang et al. Efficient feature learning and multi-size image steganalysis based on CNN
CN112699786B (zh) 一种基于空间增强模块的视频行为识别方法及系统
CN111127308A (zh) 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法
CN112991278B (zh) RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及系统
CN112232325B (zh) 样本数据处理方法和装置、存储介质及电子设备
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
CN113361489B (zh) 基于解耦表示的人脸正面化模型构建方法和训练方法
Wang et al. Semantic perceptual image compression with a Laplacian pyramid of convolutional networks
CN114417427A (zh) 一种面向深度学习的数据敏感属性脱敏系统及方法
He et al. Finger vein image deblurring using neighbors-based binary-GAN (NB-GAN)
CN115019378A (zh) 一种面向协同推理的抗数据审查属性推断攻击方法及装置
CN112084952A (zh) 一种基于自监督训练的视频点位跟踪方法
Muthusamy et al. Trilateral Filterative Hermitian feature transformed deep perceptive fuzzy neural network for finger vein verification
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
Lu et al. An interpretable image tampering detection approach based on cooperative game
CN112990357B (zh) 一种基于稀疏扰动的黑盒视频对抗样本生成方法
CN113139618B (zh) 一种基于集成防御的鲁棒性增强的分类方法及装置
Ma et al. Cascade transformer decoder based occluded pedestrian detection with dynamic deformable convolution and Gaussian projection channel attention mechanism
CN113837230A (zh) 基于自适应注意力机制的图像描述生成方法
Lai et al. Generative focused feedback residual networks for image steganalysis and hidden information reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220906

RJ01 Rejection of invention patent application after publication