CN117240979B - 一种基于对抗鲁棒训练的人脸图像预保护方法及装置 - Google Patents
一种基于对抗鲁棒训练的人脸图像预保护方法及装置 Download PDFInfo
- Publication number
- CN117240979B CN117240979B CN202311517209.0A CN202311517209A CN117240979B CN 117240979 B CN117240979 B CN 117240979B CN 202311517209 A CN202311517209 A CN 202311517209A CN 117240979 B CN117240979 B CN 117240979B
- Authority
- CN
- China
- Prior art keywords
- protection
- model
- image
- output
- reinforced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000012549 training Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 238000004088 simulation Methods 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 7
- 238000005728 strengthening Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008485 antagonism Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 14
- 238000013461 design Methods 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 9
- 230000003042 antagnostic effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于对抗鲁棒训练的人脸图像预保护方法及装置，该方法，包括基于深度神经网络构建基于学习的基础保护模型；将原始人脸图像输入至基础保护模型以输出得到基础保护噪声；基于原始人脸图像和所述基础保护噪声构建强化保护模型以输出得到原始人脸图像的强化保护图像。本发明能够直观上显著地干扰编辑模型的生成效果，实现保护的目的，同时能够在存在多种图像扰动后处理的情况下维持较好的保护性能。
Description
技术领域
本发明涉及下一代互联网应用安全、网络空间安全和内容安全技术领域，特别是基于对抗鲁棒训练的人脸图像预保护方法及装置。
背景技术
随着互联网时代的蓬勃发展，图像逐渐替代文字成为信息传递的主要媒介。因为“眼见为实”，通常人们对图像所传递的信息具有更强的信任程度，这使得个体、社会间的交流与沟通更加高效；但同时也导致了以图像为载体的虚假信息具有更大的危害性。针对这一棘手的问题，现有的解决方案大多依靠人工对敏感内容进行内容审核。然而，随着深度人脸编辑技术的不断进步，海量极高质量的人脸编辑图像涌入互联网，这使得依靠现有的人工审核方式来过滤这类虚假信息变得愈发举步维艰。应运而生的自动化审核方式通过在训练集上拟合已知的伪造特征，使用深度神经网络对图像进行真假辨别。然而，这种方式仍然难以扩展到未知的编辑方法上，导致泛化性不足的问题。另外，已有一些研究工作关注到利用对抗噪声进行主动性的防御。这类方法可以通过对图像添加肉眼几乎不可见的噪声，使得人脸编辑方法无法实现原有的编辑效果。虽然初步实验已经验证了该方案的有效性，但是两方面的缺陷使得该方案在实际应用中受阻。第一点是效率问题，基于传统的迭代式优化算法实现的方案需要针对每一张输入的图像进行多次的迭代优化，而这个过程极其消耗时间和计算资源。第二点是鲁棒性问题，现有方法大多忽略了经保护后图像可能遭遇互联网中普遍存在的后处理问题，而这些简单的后处理操作可能导致已有的保护措施失效。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明提出了一种基于对抗鲁棒训练的人脸图像预保护方法，用于对抗现有深度人脸图像编辑方法，避免私有肖像内容在未经允许的情况下被恶意编辑，同时在方法设计中着重利用一个可微分扰动模拟模块和对抗训练的技术强化预保护噪声的鲁棒性。
本发明的另一个目的在于提出一种基于对抗鲁棒训练的人脸图像预保护装置。
为达上述目的，本发明一方面提出一种基于对抗鲁棒训练的人脸图像预保护方法，包括：
基于深度神经网络构建基于学习的基础保护模型；
将原始人脸图像输入至所述基础保护模型以输出得到基础保护噪声；
基于所述原始人脸图像和所述基础保护噪声构建强化保护模型以输出得到所述原始人脸图像的强化保护图像。
本发明实施例的基于对抗鲁棒训练的人脸图像预保护方法还可以具有以下附加技术特征：
在本发明的一个实施例中，预定义所述基础保护模型的优化目标以训练优化所述基础保护模型。
在本发明的一个实施例中，所述强化保护模型，包括：特征提取模型、第一编码模型和第二编码模型，基于所述原始人脸图像和所述基础保护噪声构建强化保护模型以输出得到所述原始人脸图像的强化保护图像，包括：
利用所述特征提取模型对原始人脸图像进行特征提取得到图像特征矩阵；
利用所述第一编码模型对所述基础保护噪声进行信息编码得到第一特征向量，并获取所述第一特征向量在空间维度上对应的第二特征向量；
利用所述第二编码模型对所述第二特征向量进行编码处理得到强化保护噪声，并根据所述强化保护噪声得到强化保护图像。
在本发明的一个实施例中，在得到所述强化保护图像之后，所述方法，还包括基于可微分的扰动模拟模块优化所述强化保护模型，包括：
利用第一扰动模拟方法对所述强化保护图像进行处理以训练强化保护模型输出得到第一模型输出结果；
利用第二扰动模拟方法对所述强化保护图像进行处理以训练强化保护模型输出得到第二模型输出结果；
基于所述第一模型输出结果和所述第二模型输出结果优化所述强化保护模型。
在本发明的一个实施例中，利用第一扰动模拟方法对所述强化保护图像进行处理以训练强化保护模型输出得到第一模型输出结果，包括：
基于预设函数对强化保护图像进行像素级别信息丢失，利用双线性插值的方式对所述强化保护图像进行尺寸缩放，以及利用预设的不同尺寸的高斯核对所述强化保护图像进行卷积以进行图像模糊；
基于像素级别信息丢失、尺寸缩放和图像模糊处理后的强化保护图像训练所述强化保护模型以输出得到第一模型输出结果。
在本发明的一个实施例中，利用第二扰动模拟方法对所述强化保护图像进行处理以训练强化保护模型输出得到第二模型输出结果，包括：
按照JPEG压缩的标准方式对原始输入图像进行离散余弦变换得到数据变化结果；
利用随机生成的遮罩对所述数据变化结果进行屏蔽以模拟JPEG压缩中存在的信息丢失情况得到信息屏蔽结果；
基于所述信息屏蔽结果通过逆离散余弦变换得到原始输入域的结果，以训练所述强化保护模型输出得到第二模型输出结果。
在本发明的一个实施例中，在基于所述第一模型输出结果和所述第二模型输出结果优化所述强化保护模型之后，所述方法，还包括：
构建对抗网络模型；
将所述强化保护图像输入至所述对抗网络模型进行编解码以输出能够被人脸编辑模型修改的图像；以及，
基于所述对抗网络的优化目标函数优化强化保护模型。
为达上述目的，本发明另一方面提出一种基于对抗鲁棒训练的人脸图像预保护装置，包括：
基础保护模型构建模块，用于基于深度神经网络构建基于学习的基础保护模型；
基础保护噪声输出模块，用于将原始人脸图像输入至所述基础保护模型以输出得到基础保护噪声；
强化保护图像输出模块，用于基于所述原始人脸图像和所述基础保护噪声构建强化保护模型以输出得到所述原始人脸图像的强化保护图像。
本发明实施例的基于对抗鲁棒训练的人脸图像预保护方法和装置，首先，本发明提出一个基于深度卷积神经网络的预保护模型，其能够实现针对特定输入人脸图像生成特定的保护噪声，通过叠加生成的保护噪声和原始图像得到保护后的人脸图像，其可以实现抵御多种已知的深度人脸图像编辑方法，使得这些方法的输出偏离原始结果。随后，基于已有的保护噪声，本发明对其进行进一步的鲁棒性增强。一方面，本发明提出来一个可微分扰动模拟模块和对抗神经网络的组合，其中前者用于在训练过程中对已知扰动方法，可能产生的信息丢失情况进行模拟，而后者则是通过训练一个全新的对抗神经网络，使其能够以任意可能的方式消弱已有的保护噪声，从而在训练过程中模拟难以枚举的信息丢失情况。另一方面，本发明基于信息的冗余提升鲁棒性，设计了一条平行于已有的深度卷积神经网络的增强网络，其在空间维度上对已有的保护噪声进行重复编码，使得新生成的保护噪声在任意空间位置上都保留完整的保护信息，以实现在一定信息丢失的情况下完成保护目标。最后，本发明针对多种深度人脸图像编辑方法在公开数据集上进行训练，并利用多种图像扰动方法对保护结果进行有效地验证。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的基于对抗鲁棒训练的人脸图像预保护方法的流程图；
图2是根据本发明实施例的基于对抗鲁棒训练的人脸图像预保护装置的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
下面参照附图描述根据本发明实施例提出的基于对抗鲁棒训练的人脸图像预保护方法和装置。
图1是本发明实施例的基于对抗鲁棒训练的人脸图像预保护方法的流程图。
如图1所示，该方法包括但不限于以下步骤：
S1，基于深度神经网络构建基于学习的基础保护模型。
具体地，预保护是通过添加肉眼几乎不可见的噪声图像实现的，而传统迭代式的方法需要针对特定输入图像进行多次迭代优化。为了避免迭代优化这一低效的方案，本发明首先基于深度神经网络建立一个基于学习的基础保护模型。
步骤（S1.1）：基础保护模型的设计。根据实际应用的需求，基础保护模型需要接受一张RGB图像作为输入，输出该图像特定的基础保护噪声/>，即：
其中表示基础保护模型。根据基础保护模型输入输出具有相同空间尺度这一特征，在具体实现过程中，可以选用U-Net作为/>的网络结构。注意，这里的U-Net网络仅仅是本发明实现的一个案例，可以替换为其他网络结构来实现/>。
步骤（S1.2）：基础保护模型的训练优化。基础保护噪声的目的是为了扰乱人脸编辑方法/>的输出，所以其优化目标可以直观的定义为：
其中是在原始输入图像/>上注入基础保护噪声/>后的结果，函数是为了避免注入的噪声使得原始图像在数值上产生无效值（图像每个像素点的数值应该在0~255之间）。/>是一个全白（数值全0）的保护目标图像。而第二项/>是一项正则项，以达到约束保护噪声数值的目的，/>作为损失权重被设置为10。最后，约束的目的也是将保护噪声的数值限制在一个合理的大小/>之类，避免对原始输入的视觉特征产生较大影响。
S2，将原始人脸图像输入至所述基础保护模型以输出得到基础保护噪声。
具体地：基于步骤（S1），针对特定输入，已经可以的到一个有效的基础保护噪声和基础保护后的结果/>。虽然该结果已经能够扰乱人脸编辑方法/>的输出，但是因为没有在设计中考虑任何可能存在的信息丢失，其面对常见的后处理扰动（如JPEG压缩）后的保护性能还不尽人意，需要从模型设计上就将可能面对的信息丢失的情况纳入考虑范畴。因此，本发明进一步建立强化保护模型。
步骤（S2.1）：强化保护模型的设计。进一步引入强化保护模型的目的是希望在噪声编码阶段使得噪声信息具有足够的冗余度，这样便可以尽可能高的保证信息完整性。首先，本发明利用一个特征提取模型对原始输入/>进行特征提取：
其中是一个/>的特征矩阵，其中/>和/>分别表示输入图像的高和宽；/>是一个预先设定的超参数，用于表示特征维度。然后，利用步骤（1.）中得到的基础保护噪声/>，本发明提出一个编码模型/>对其进行信息编码：
其中是一个/>的特征向量。通过在空间维度上对/>进行/>的重复得到。最后，利用一个编码模型/>得到最终的强化保护噪声/>。具体公式如下：
其中函数将三个输入在特征通道维度进行拼接，使得/>能够接收所有输入的特征。进而，得到最终的强化保护图像/>。具体公式如下：
其中函数是为了避免注入的噪声使得原始图像在数值上产生无效值。
步骤（S2.2）：强化保护模型的训练。针对强化保护模型的输入和输出，本发明可以完全参考步骤（S1.2）中所诉的训练损失函数对其进行参数优化。如此一来，即使经过一定的扰动后处理，并在一定的空间位置产生了信息丢失，本发明也能够保证完整的保护信息从其他的空间位置被完整地恢复出来。
S3，基于所述原始人脸图像和所述基础保护噪声构建强化保护模型以输出得到所述原始人脸图像的强化保护图像。
具体地，基于步骤（S2），已经可以得到具备一定信息冗余的强化保护噪声，但是其鲁棒性并没有在训练过程中得到增强。这里通过引入一个可微分的扰动模拟模块以实现训练过程中的扰动模拟，进而使得本发明的强化保护模型在训练过程中便能够着重优化特定模版下的信息注入机制。
步骤（S3.1）：引入常见可微分扰动函数。首先考虑常见三个后处理扰动方法，包括像素丢失、尺寸缩放、图像模糊。对于像素丢失，其可以定义为如下函数
其中，是一个大小为/>的随机遮罩，其中每个像素点位置的数值都是随机从集合/>中选取的。如此便能实现针对强化保护图像/>在像素级别信息丢失的模拟。然后，尺寸缩放可以利用双线性插值的方式实现。本发明在训练过程中将其最大和最小缩放范围分别设置为原始输入/>的0.5和1.5倍。最后，针对图像模糊，本发明利用预先定义的多个不同尺寸（7，15，31）的高斯核对强化保护图像/>进行卷积以实现模糊的效果。
步骤（S3.2）：从不可微分的JPEG压缩到可微分JPEG压缩的近似。虽然步骤（S3.1）中介绍的三种方法都可以直接应用到模型的训练过程中，然而还有一类常见的后处理扰动，如JPEG压缩，是不可微分的，所以无法直接应用到模型训练过程。在这里，本发明采用对JPEG压缩机制进行近似模拟的方法，用可微分的近似函数模拟其信息丢失的情况。首先按照JPEG压缩的标准方式对输入进行离散余弦变换（DCT变化），然后利用一个类似步骤（3.1）中随机生成的遮罩对变化结果进行屏蔽以模拟JPEG压缩中存在的信息丢失情况，最后通过逆离散余弦变换（IDCT变化）得到原始输入域的结果。
步骤（S3.3）：结合可微分的扰动模拟模块优化强化保护模型。本发明统一将步骤（S3.1）和（S3.2）中介绍的扰动模拟方法定义为，结合这些方法便可以强化步骤（S2.2）中对强化保护模型的鲁棒性。损失函数可以定义为：
对比步骤（S1.2）的优化目标，多出的第二项是为了约束保护结果即使是在经过一定信丢失的函数/>后依旧能实现扰动编辑模型/>输出的目的。
进一步地，还包括S4，虽然结合步骤（S3），本发明的模型已经能够应对一定程度上的信息丢失。但实际情况中可能面对的后处理扰动是无法全部在训练过程中得到枚举的，所以本发明进一步引入一个对抗网络和对抗训练来增强保护噪声对未知扰动的鲁棒性。
（S4.1）对抗网络的设计及目标。对抗网络被定义为，其目的是接收步骤（S2.1）中得到的强化保护图像/>，对其进行编解码并使得输出后的图像能够被人脸编辑模型/>顺利修改。该过程可以通过如下优化过程实现
其中是编辑模型对于原始输入/>的编辑结果。
（S4.2）结合对抗网络的对抗训练过程。基于步骤（S4.1），对抗网络能够使得已有的保护无效化。结合对抗训练的思想，利用对抗网络，本发明可以通过优化以下目标优化强化保护模型：
如此便能强化本发明的保护噪声，使其能够绕过对抗网络中引入的信息丢失。
综上，本发明提出了一种基于对抗鲁棒训练的人脸图像预保护方法，其旨在实现高效的、抗扰动的预保护，以应对深度面部篡改。本发明的一个关键概念是设计一个神经网络来生成针对特定输入的保护噪声。然后，将这些噪声注入到原始输入中，主要目的是干扰编辑结果。因此，与基于优化的方法不同，本发明的模型只需进行一次训练，之后整个保护过程可以在单次前向计算过程后完成。另一方面，本发明强调保护噪声的鲁棒性，其具体的实现分为两个部分。首先，本发明提出了一个双重保护框架。第一个部分，称为基础保护，旨在学习和生成有效的噪声特征。第二个部分，称为强化保护，旨在生成确保稳健性的噪声信号。受到了香农定理的启发，即信息冗余可以提高鲁棒性。基于已有基础保护，本发明在空间维度上对已有的保护噪声进行重复编码，并经过进一步编码的到最终的保护噪声。因此，保护信息被独立、重复地分布在整个空间维度上，确保在可能的信息丢失后能够恢复信息的完整性。其次，从训练的角度出发，本发明提出了一个可微分的扰动模拟模块和一个对抗性网络的组合，以模拟训练中可能发生的信息丢失。引入可微分的扰动模块可以用于训练过程中模拟一些常见的扰动后处理带来的信息丢失。此外，本发明提出了一个对抗性网络来对抗本发明的保护模型，旨在抹去已保护图像中注入的保护信息，从而使得编辑方法能够实现原有的编辑效果。通过对抗训练的方式，本发明的保护模型能够学习到合理的方式以尽可能规避这些可能的信息丢失带来的性能下降问题，从而显著地提升鲁棒性。总地来说，此方法在大规模数据处理中相对传统迭代优化方法有着显著的性能优势，能够直观上显著地干扰编辑模型的生成效果，实现保护的目的，同时能够在存在多种图像扰动后处理的情况下保持较好的保护性能，非常适合现有互联网内容平台对用户人脸图像进行批量预先保护，防止其公开后被恶意编辑。
本发明实施例的基于对抗鲁棒训练的人脸图像预保护方法，能够直观上显著地干扰编辑模型的生成效果，实现保护的目的，同时能够在存在多种图像扰动后处理的情况下保持较好的保护性能，非常适合现有互联网内容平台对用户人脸图像进行批量预先保护，防止其公开后被恶意编辑。同时，通过在原始图像中加入肉眼几乎不可见的噪声图像，以达到扰乱人脸编辑方法输出的效果。结合本发明在鲁棒性上的特别设计，经过本发明预保护的图像能够在存在一定后处理扰动的情况下保持较好的保护效果。由此，本发明能够有效地实现针对特定人脸编辑模型的预保护，并具有优秀的鲁棒性，更好地适用于现实互联网环境。
为了实现上述实施例，如图2所示，本实施例中还提供了基于对抗鲁棒训练的人脸图像预保护装置10，该装置10包括，基础保护模型构建模块100、基础保护噪声输出模块200和强化保护图像输出模块300；
基础保护模型构建模块100，用于基于深度神经网络构建基于学习的基础保护模型；
基础保护噪声输出模块200，用于将原始人脸图像输入至所述基础保护模型以输出得到基础保护噪声；
强化保护图像输出模块300，用于基于原始人脸图像和基础保护噪声构建强化保护模型以输出得到原始人脸图像的强化保护图像。
进一步地，强化保护模型，包括：特征提取模型、第一编码模型和第二编码模型，强化保护图像输出模块300，还用于：
利用特征提取模型原始人脸图像进行特征提取得到图像特征矩阵；
利用第一编码模型对所述基础保护噪声进行信息编码得到第一特征向量，并获取第一特征向量在空间维度上对应的第二特征向量；
利用第二编码模型对第二特征向量进行编码处理得到强化保护噪声，并根据强化保护噪声得到强化保护图像。
进一步地，在强化保护图像输出模块300之后，还包括保护模型优化模块，用于基于可微分的扰动模拟模块优化所述强化保护模型，包括：
利用第一扰动模拟方法对所述强化保护图像进行处理以训练强化保护模型输出得到第一模型输出结果；
利用第二扰动模拟方法对所述强化保护图像进行处理以训练强化保护模型输出得到第二模型输出结果；
基于所述第一模型输出结果和所述第二模型输出结果优化所述强化保护模型。
本发明实施例的基于对抗鲁棒训练的人脸图像预保护装置，能够直观上显著地干扰编辑模型的生成效果，实现保护的目的，同时能够在存在多种图像扰动后处理的情况下保持较好的保护性能，非常适合现有互联网内容平台对用户人脸图像进行批量预先保护，防止其公开后被恶意编辑。同时，通过在原始图像中加入肉眼几乎不可见的噪声图像，以达到扰乱人脸编辑方法输出的效果。结合本发明在鲁棒性上的特别设计，经过本发明预保护的图像能够在存在一定后处理扰动的情况下保持较好的保护效果。由此，本发明能够有效地实现针对特定人脸编辑模型的预保护，并具有优秀的鲁棒性，更好地适用于现实互联网环境。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
Claims (8)
1.一种基于对抗鲁棒训练的人脸图像预保护方法，其特征在于，所述方法包括：
基于深度神经网络构建基于学习的基础保护模型；
将原始人脸图像输入至所述基础保护模型以输出得到基础保护噪声；
基于所述原始人脸图像和所述基础保护噪声构建强化保护模型以输出得到所述原始人脸图像的强化保护图像；
所述强化保护模型，包括：特征提取模型、第一编码模型和第二编码模型，基于所述原始人脸图像和所述基础保护噪声构建强化保护模型以输出得到所述原始人脸图像的强化保护图像，包括：
利用所述特征提取模型对原始人脸图像进行特征提取得到图像特征矩阵；
利用所述第一编码模型对所述基础保护噪声进行信息编码得到第一特征向量，并获取所述第一特征向量在空间维度上对应的第二特征向量；
利用所述第二编码模型对所述第二特征向量进行编码处理得到强化保护噪声，并根据所述强化保护噪声得到强化保护图像。
2.根据权利要求1所述的方法，其特征在于，预定义所述基础保护模型的优化目标以训练优化所述基础保护模型。
3.根据权利要求1所述的方法，其特征在于，在得到所述强化保护图像之后，所述方法，还包括基于可微分的扰动模拟模块优化所述强化保护模型，包括：
利用第一扰动模拟方法对所述强化保护图像进行处理以训练强化保护模型输出得到第一模型输出结果；
利用第二扰动模拟方法对所述强化保护图像进行处理以训练强化保护模型输出得到第二模型输出结果；
基于所述第一模型输出结果和所述第二模型输出结果优化所述强化保护模型。
4.根据权利要求3所述的方法，其特征在于，利用第一扰动模拟方法对所述强化保护图像进行处理以训练强化保护模型输出得到第一模型输出结果，包括：
基于预设函数对强化保护图像进行像素级别信息丢失，利用双线性插值的方式对所述强化保护图像进行尺寸缩放，以及利用预设的不同尺寸的高斯核对所述强化保护图像进行卷积以进行图像模糊；
基于像素级别信息丢失、尺寸缩放和图像模糊处理后的强化保护图像训练所述强化保护模型以输出得到第一模型输出结果。
5.根据权利要求4所述的方法，其特征在于，利用第二扰动模拟方法对所述强化保护图像进行处理以训练强化保护模型输出得到第二模型输出结果，包括：
按照JPEG压缩的标准方式对原始输入图像进行离散余弦变换得到数据变化结果；
利用随机生成的遮罩对所述数据变化结果进行屏蔽以模拟JPEG压缩中存在的信息丢失情况得到信息屏蔽结果；
基于所述信息屏蔽结果通过逆离散余弦变换得到原始输入域的结果，以训练所述强化保护模型输出得到第二模型输出结果。
6.根据权利要求5所述的方法，其特征在于，在基于所述第一模型输出结果和所述第二模型输出结果优化所述强化保护模型之后，所述方法，还包括：
构建对抗网络模型；
将所述强化保护图像输入至所述对抗网络模型进行编解码以输出能够被人脸编辑模型修改的图像；以及，
基于所述对抗网络的优化目标函数优化强化保护模型。
7.一种基于对抗鲁棒训练的人脸图像预保护装置，其特征在于，包括：
基础保护模型构建模块，用于基于深度神经网络构建基于学习的基础保护模型；
基础保护噪声输出模块，用于将原始人脸图像输入至所述基础保护模型以输出得到基础保护噪声；
强化保护图像输出模块，用于基于所述原始人脸图像和所述基础保护噪声构建强化保护模型以输出得到所述原始人脸图像的强化保护图像；
所述强化保护模型，包括：特征提取模型、第一编码模型和第二编码模型，所述强化保护图像输出模块，还用于：
利用所述特征提取模型对原始人脸图像进行特征提取得到图像特征矩阵；
利用所述第一编码模型对所述基础保护噪声进行信息编码得到第一特征向量，并获取所述第一特征向量在空间维度上对应的第二特征向量；
利用所述第二编码模型对所述第二特征向量进行编码处理得到强化保护噪声，并根据所述强化保护噪声得到强化保护图像。
8.根据权利要求7所述的装置，其特征在于，在所述强化保护图像输出模块之后，还包括保护模型优化模块，用于基于可微分的扰动模拟模块优化所述强化保护模型，包括：
利用第一扰动模拟方法对所述强化保护图像进行处理以训练强化保护模型输出得到第一模型输出结果；
利用第二扰动模拟方法对所述强化保护图像进行处理以训练强化保护模型输出得到第二模型输出结果；
基于所述第一模型输出结果和所述第二模型输出结果优化所述强化保护模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311517209.0A CN117240979B (zh) | 2023-11-15 | 2023-11-15 | 一种基于对抗鲁棒训练的人脸图像预保护方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311517209.0A CN117240979B (zh) | 2023-11-15 | 2023-11-15 | 一种基于对抗鲁棒训练的人脸图像预保护方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117240979A CN117240979A (zh) | 2023-12-15 |
| CN117240979B true CN117240979B (zh) | 2024-01-26 |
Family
ID=89098853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311517209.0A Active CN117240979B (zh) | 2023-11-15 | 2023-11-15 | 一种基于对抗鲁棒训练的人脸图像预保护方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117240979B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| CN111598762A (zh) * | 2020-04-21 | 2020-08-28 | 中山大学 | 一种生成式鲁棒图像隐写方法 |
| CN113780123A (zh) * | 2021-08-27 | 2021-12-10 | 广州大学 | 一种对抗样本生成方法、系统、计算机设备和存储介质 |
| CN114241587A (zh) * | 2022-02-23 | 2022-03-25 | 中国科学院自动化研究所 | 人脸活体检测对抗鲁棒性的评估方法及装置 |
-
2023
- 2023-11-15 CN CN202311517209.0A patent/CN117240979B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| CN111598762A (zh) * | 2020-04-21 | 2020-08-28 | 中山大学 | 一种生成式鲁棒图像隐写方法 |
| CN113780123A (zh) * | 2021-08-27 | 2021-12-10 | 广州大学 | 一种对抗样本生成方法、系统、计算机设备和存储介质 |
| CN114241587A (zh) * | 2022-02-23 | 2022-03-25 | 中国科学院自动化研究所 | 人脸活体检测对抗鲁棒性的评估方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| A Cloud Native Zero Trust Full Process Video Image Authentication Encryption Method to Protect Video Data Security;Wei Cheng等;2022 4th International Symposium on Smart and Healthy Cities (ISHC);全文 * |
| 适用于图像检索的强化对抗生成哈希方法;施鸿源等;小型微型计算机系统;第第42卷卷(第第5期期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117240979A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Double-encrypted watermarking algorithm based on cosine transform and fractional Fourier transform in invariant wavelet domain | |
| Abdelhakim et al. | A quality guaranteed robust image watermarking optimization with Artificial Bee Colony | |
| Su | Novel blind colour image watermarking technique using Hessenberg decomposition | |
| CN110334749B (zh) | 基于注意力机制的对抗攻击防御模型、构建方法及应用 | |
| Malik et al. | An AMBTC compression based data hiding scheme using pixel value adjusting strategy | |
| Malik et al. | A reversible data hiding scheme for interpolated images based on pixel intensity range | |
| CN111681154B (zh) | 一种基于生成对抗网络的彩色图像隐写失真函数设计方法 | |
| Parah et al. | Realisation and robustness evaluation of a blind spatial domain watermarking technique | |
| CN109919303B (zh) | 一种深度神经网络的知识产权保护方法、系统及终端 | |
| Liu et al. | Robust blind image watermarking based on chaotic mixtures | |
| Hsu et al. | A high-capacity QRD-based blind color image watermarking algorithm incorporated with AI technologies | |
| Li et al. | AdvSGAN: Adversarial image Steganography with adversarial networks | |
| Meenakshi et al. | A hybrid matrix factorization technique to free the watermarking scheme from false positive and negative problems | |
| CN115619616A (zh) | 基于水印扰动的对抗样本生成方法、装置、设备及介质 | |
| Navale et al. | A multi-analysis on privacy preservation of association rules using hybridized approach | |
| Zhou et al. | Geometric correction code‐based robust image watermarking | |
| Agarwal et al. | Discrete cosine transforms and genetic algorithm based watermarking method for robustness and imperceptibility of color images for intelligent multimedia applications | |
| Melman et al. | Image data hiding schemes based on metaheuristic optimization: a review | |
| CN117240979B (zh) | 一种基于对抗鲁棒训练的人脸图像预保护方法及装置 | |
| Tong et al. | Chaotic coyote optimization algorithm for image encryption and steganography | |
| Lee et al. | Constructing gene features for robust 3D mesh zero-watermarking | |
| Lin et al. | An image authentication and recovery scheme based on turtle Shell algorithm and AMBTC-compression | |
| Ouyang et al. | A semi-fragile reversible watermarking method based on qdft and tamper ranking | |
| Sun et al. | Optimization of MSFs for watermarking using DWT-DCT-SVD and fish migration optimization with QUATRE | |
| Zhang et al. | Embedding Guided End‐to‐End Framework for Robust Image Watermarking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |