CN113793396A - 一种基于对抗生成网络训练图像重构模型的方法 - Google Patents

一种基于对抗生成网络训练图像重构模型的方法 Download PDF

Info

Publication number
CN113793396A
CN113793396A CN202111095432.1A CN202111095432A CN113793396A CN 113793396 A CN113793396 A CN 113793396A CN 202111095432 A CN202111095432 A CN 202111095432A CN 113793396 A CN113793396 A CN 113793396A
Authority
CN
China
Prior art keywords
data
generator
desensitization
image
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111095432.1A
Other languages
English (en)
Inventor
王莹桂
黄伟
王力
张本宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202111095432.1A priority Critical patent/CN113793396A/zh
Publication of CN113793396A publication Critical patent/CN113793396A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioethics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种基于生成对抗网络训练图像重构模型的方法。其中，生成对抗网络包括生成器和判别器。所述方法包括：获得多个第一数据对，每个第一数据对包括原始图像和与其对应的脱敏数据，脱敏数据为对原始图像进行图像脱敏的结果；基于多个第一数据对交替训练所述生成器以及所述判别器，并将训练后的生成器作为图像重构模型。

Description

一种基于对抗生成网络训练图像重构模型的方法
技术领域
本说明书涉及信息技术领域，特别涉及一种基于对抗生成网络训练图像重构模型的方法。
背景技术
通过数据脱敏，可以在一定程度上防止数据(例如，图像)中敏感信息的泄露。然而，攻击者试图通过各种手段由脱敏数据恢复出包含敏感信息的原始图像。
有鉴于此，希望提供可用于测试图像脱敏算法的防御能力的方法。
发明内容
本说明书实施例之一提供一种基于生成对抗网络训练图像重构模型的方法。其中，生成对抗网络包括生成器和判别器。所述方法可以包括：获得多个第一数据对，每个第一数据对包括原始图像和与其对应的脱敏数据，脱敏数据为对原始图像进行图像脱敏的结果；基于多个第一数据对交替训练所述生成器以及所述判别器，并将训练后的生成器作为图像重构模型。
本说明书实施例之一提供一种基于生成对抗网络训练图像重构模型的系统。其中，生成对抗网络包括生成器和判别器。所述系统可以包括：第一获得模块，用于获得多个第一数据对，每个第一数据对包括原始图像和与其对应的脱敏数据，脱敏数据为对原始图像进行图像脱敏的结果；训练模块，用于基于多个第一数据对交替训练所述生成器以及所述判别器，并将训练后的生成器作为图像重构模型。
在一些实施例中，所述生成器和/或所述判别器的训练可以包括：基于第一数据对中的脱敏数据获得生成器输入数据；通过生成器处理所述生成器输入数据，获得生成器输出的生成图像；通过判别器处理第一数据对或第二数据对，获得判别器输出的判别结果，该判别结果反映对应的数据对中的图像为脱敏数据对应的原始图像的概率，其中，第二数据对包括所述生成图像和对应的脱敏数据；基于目标函数调整所述生成器和/或所述判别器的参数。
本说明书实施例之一提供一种基于生成对抗网络训练图像重构模型的装置，包括处理器和存储设备，所述存储设备用于存储指令，其中，当所述处理器执行指令时，实现如本说明书任一实施例所述的基于生成对抗网络训练图像重构模型的方法。
本说明书实施例之一提供一种图像重构方法，包括：获得脱敏数据，所述脱敏数据为对原始图像进行图像脱敏的结果；基于所述脱敏数据获得生成器输入数据；通过生成器处理所述生成器输入数据，获得生成器输出的生成图像，并将其作为所述原始图像的重构结果。
本说明书实施例之一提供一种图像重构系统，包括：第二获得模块，用于获得脱敏数据，所述脱敏数据为对原始图像进行图像脱敏的结果；第三获得模块，用于基于所述脱敏数据获得生成器输入数据；图像重构模块，用于通过生成器处理所述生成器输入数据，获得生成器输出的生成图像，并将其作为所述原始图像的重构结果。
本说明书实施例之一提供一种图像重构装置，其中，包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如本说明书任一实施例所述的图像重构方法。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的基于生成对抗网络训练图像重构模型的场景示意图；
图2是根据本说明书一些实施例所示的基于生成对抗网络训练图像重构模型的方法的示例性流程图；
图3是根据本说明书一些实施例所示的示例性数据处理流程；
图4是根据本说明书一些实施例所示的对第一数据对中的脱敏数据进行编码的示意图；
图5是根据本说明书一些实施例所示的图像重构方法的示例性流程图；
图6是根据本说明书一些实施例所示的基于生成对抗网络训练图像重构模型的系统的示例性模块图；
图7是根据本说明书一些实施例所示的图像重构系统的示例性模块图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
随着计算机技术的发展，图像技术逐渐深入到现实生活的各个领域。例如，人脸识别技术在很多场景中已经开始广泛使用，如基于人脸识别技术的设备解锁、终端应用登录、支付、授权等。
一些图像可能包含敏感信息，通过数据脱敏可以在一定程度上防止图像中敏感信息的泄露。仅作为示例，通过对原始人脸图像进行图像变换或特征提取或者添加噪声等对图像中的敏感信息进行去除或隐匿，得到脱敏数据，进而降低原始人脸图像或对原始人脸图像进行特征提取得到的向量表示被恶意盗取(例如，将盗取的人脸数据用于支付)的可能性，从而起到保护人脸隐私的作用。可以理解，敏感信息可指不当使用或未经授权被人接触或修改会不利于实体利益或不利于个人依法享有的个人隐私权的所有信息。例如，敏感信息可以包括个人隐私信息、内部机密信息、有害信息等中的一种或多种。
然而，攻击者试图通过各种手段由脱敏数据恢复出包含敏感信息的原始图像。以黑盒攻击为例，数据脱敏的算法模型(即目标模型)对于攻击者来说是未知的，但攻击者可以获得多个数据对，每个数据对包括原始图像和与其对应的脱敏数据，基于这些数据对可以训练得到图像重构模型，图像重构模型可用于根据脱敏数据重构(即还原/恢复)原始图像。以人脸图像为例，不法分子可以利用训练得到的图像重构模型由脱敏数据还原原始人脸图像，这将造成个人隐私的泄露甚至更为严重的后果。例如，不法分子可将还原得到的人脸图像用于人脸识别，以获取一些敏感权限，如刷脸支付、设备解锁等。
有鉴于此，本说明书实施例提供一种基于生成对抗网络(GenerativeAdversarial Network，GAN)训练图像重构模型的方法和系统，训练得到的图像重构模型可用于测试图像脱敏算法抵御黑盒攻击的能力或者可以用于对图像脱敏算法进行优化，使其生成的脱敏数据难以被攻击。
图1是根据本说明书一些实施例所示的基于生成对抗网络训练图像重构模型的场景示意图。
如图1所示，场景100可以包括生成对抗网络110和目标模型120。其中，生成对抗网络110可以包括生成器112和判别器114，训练后的生成器112可作为图像重构模型。
目标模型120可以提供数据服务，如数据脱敏服务。服务提供商可以对用户隐藏目标模型及其训练算法的细节，只向用户提供访问目标模型的API(ApplicationProgramming Interface，应用编程接口)，即将目标模型作为一个黑盒。攻击者可以以用户身份可以通过该API向目标模型传输原始图像，并获得目标模型处理原始图像得到的脱敏数据。如此，攻击者即可获得用于训练生成器112以及判别器114的数据对(如第一数据对)，该数据对包括原始图像和与其对应的脱敏数据。可以理解，攻击者可以通过各种途径获得原始图像甚至直接获得数据对，以获得足够的数据对用于训练生成器112以及判别器114。例如，攻击者可以从公开数据中获取原始图像。又如，攻击者可以向一些用户直接购买数据对。
值得说明的是，本说明书实施例提供的基于生成对抗网络训练图像重构模型的方法旨在通过模拟潜在的攻击手段，来测试数据脱敏算法抵御黑盒攻击的能力。因此，获取用于训练生成器112以及判别器114的数据对的方式是灵活的，例如，可以直接从目标模型120的训练数据集中获取数据对。
生成器112可用于根据获得的输入(如脱敏数据)输出生成数据(如生成图像)。判别器114可用于判断获得的输入，如第一数据对或第二数据对中的图像是否是与其中的脱敏数据对应的原始图像，其中，第一数据对可包括脱敏数据和与其对应的原始图像，第二数据对可包括脱敏数据和与其对应的生成图像。可以理解，生成数据是指生成器112的输出，与生成数据相对的是真实数据(如原始图像)，当判别器114判断获得的数据对中不包含真实数据(如原始图像)时，即可认为获得的数据对中包含生成数据。
当生成器112以及判别器114被训练到一定程度后，判别器114具备一定“辨别真假”的能力，即区分数据对中与脱敏数据对应的图像是真实图像(即原始图像，对应“真”)还是生成图像(对应“假”)的能力，同时生成器112具备一定“以假乱真”的能力，即使得判别器114难以区分生成器112的输出是真实图像(即原始图像，对应“真”)还是生成图像(对应“假”)的能力。因此，当生成器112以及判别器114被训练到一定程度后，训练后的生成器112可以作为图像重构模型。
在一些实施例中，针对人脸图像，生成器112可以来自于StyleGAN或StyleGAN2，即生成器112可以采用StyleGAN的生成器或StyleGAN2的生成器。StyleGAN或StyleGAN2的生成器隐层空间对生成图像的特征具有可分离控制的特性，即隐层向量的各个元素可以分别控制不同的人脸特征(例如，元素s1控制眉毛，元素s2控制嘴巴，元素s3控制鼻子等等)，进而可以生成纹理细节丰富的图像。
在一些实施例中，判别器114可以来自于Patch-GAN，即判别器114可以采用Patch-GAN的判别器。在一些实施例中，判别器114可以基于多层感知器实现。
关于生成器112以及判别器114的更多训练细节，可以参考图2及其相关描述。
图2是根据本说明书一些实施例所示的基于生成对抗网络训练图像重构模型的方法的示例性流程图。可以理解，流程200对应于模型训练阶段。
在一些实施例中，流程200可以由图6所示的系统600执行。具体地，流程200可以以指令形式存储在存储设备(如实施系统600的处理设备的内部存储或外接存储设备)中，当所述指令被执行时，可以实现流程200。流程200可以包括以下步骤。
步骤210，获得多个第一数据对，每个第一数据对包括原始图像和与其对应的脱敏数据。在一些实施例中，步骤210可以由第一获得模块610执行。
其中，脱敏数据是指对原始图像进行图像脱敏的结果，在一些应用场景中脱敏数据可以表征为矩阵或向量。
在一些实施例中，可以通过访问目标模型来获得多个原始图像分别对应的脱敏数据。其中，目标模型的输入可以是原始图像，目标模型的输出可以是脱敏数据。在一些实施例中，第一数据对可以来自于目标模型的训练数据集。
步骤220，基于多个第一数据对交替训练生成器以及判别器，并将训练后的生成器作为图像重构模型的至少一部分。在一些实施例中，步骤220可以由训练模块620执行。
参考图1，通过生成器112，可以基于第一数据对中的脱敏数据获得生成图像。进一步地，基于生成图像和与其对应的脱敏数据可以获得第二数据对。第一数据对和第二数据对均可用于训练判别器114。
可以理解，交替训练是指：当训练生成器时，停止对判别器的训练；当训练判别器时，停止对生成器的训练。仅作为示例，可以按判别器→生成器→判别器→生成器...的次序交替训练，直至训练出满足要求的生成器以及判别器。
关于训练过程中输入-输出的具体细节，可以参考图3及其相关描述。
如图3所示，对于所述多个第一数据对中的任一第一数据对，处理流程300可以包括以下步骤。
步骤310，基于第一数据对中的脱敏数据获得生成器输入数据。
在一些实施例中，训练模块620可以将第一数据对中的脱敏数据作为生成器输入数据。
在一些实施例中，训练模块620可以基于脱敏数据以及噪声获得生成器输入数据。在一些实施例中，所述噪声可以表示为向量，其中的元素服从高斯分布。通过添加噪声，可以使生成器输出数据(即生成图像)更多样化，例如，生成更多与脱敏数据对应的生成数据，有助于提升模型效果。在一些实施例中，生成器可以具有多个输入，相应地，脱敏数据以及噪声可以作为不同的输入。例如，条件生成对抗网络的生成器的输入包括条件信息和噪声，其中，条件信息可以基于脱敏数据得到，条件信息可以指导图像的生成，可以提高生成器的生成性能，使其更容易生成与原始图像接近的生成图像。在一些实施例中，也可以将脱敏数据以及噪声处理(整合)成单个输入送入生成器。
在一些实施例中，如图4所示，训练模块620可以通过编码器对第一数据对中的脱敏数据进行编码，以获得生成器输入数据。例如，训练模块620可以将编码后的脱敏数据作为生成器输入数据。在一些实施例中，可以通过U-Net的编码器对脱敏数据进行编码。
在一些实施例中，训练模块620可以基于编码后的脱敏数据和噪声，获得生成器输入数据。
在一个示例中，训练模块620可以将编码后的脱敏数据和噪声拼接在一起，得到生成器输入数据。
在另一个示例中，训练模块620可以通过前馈网络分别处理编码后的脱敏数据和噪声，得到脱敏数据向量和噪声向量。对于脱敏数据向量，训练模块620可以计算脱敏数据向量中各元素的均值和方差。进而，训练模块620基于脱敏数据向量中各元素的均值和方差调整噪声数据向量中各元素的值，得到生成器输入数据。具体地，对于调整前的噪声向量的每个元素y，可以根据y′＝(y-μ)/σ计算调整后的噪声向量的每个元素y′，其中，μ表示所述均值，σ表示所述方差。在一些实施例中，所述前馈网络可以包括全连接层、多层感知器等网络中的一种或多种。
在又一个示例中，训练模块620可以将噪声和编码后的脱敏数据作为不同的输入送入生成器。
在一些实施例中，所述编码器以及所述前馈网络与生成器一起作为图像重构网络的不同部分。
步骤320，通过生成器处理所述生成器输入数据，获得生成器输出的生成图像。
可以理解，所述生成图像即生成器输出数据。参考前述内容，在一些实施例中，生成器可以来自于StyleGAN或StyleGAN2。
步骤330，通过判别器处理第一数据对或第二数据对，获得判别器输出的判别结果。
其中，判别器输出的判别结果可反映对应的数据对(即判别器输入数据)中的图像为所述脱敏数据对应的原始图像的概率。
参考前述内容，在一些实施例中，判别器可以来自于Patch-GAN。Patch-GAN的判别器可以将单张图像划分成多个分片(patch)，并获得该图像的每个分片对应的分片概率，并基于该图像的多个分片对应的分片概率得到判别结果反映的概率值，例如，对所有分片对应的分片概率平均，将得到的平均值作为判别结果反映的概率值。值得注意的是，划分出的分片不宜过小，因为过小的分片包含的信息量不足，使得判别器难以获得具有参考意义的分片概率。仅作为示例，每个patch的分辨率可以是32*32。
在一些实施例中，可以对脱敏数据及其对应的图像进行通道合并，并将合并结果作为输入送至判别器。通道合并或融合是指将两个数据在通道维度上统一大小后，再将这两个数据的所有通道合并，得到一个数据。例如，对于分辨率为112*112的RBG(对应3个通道)图像，可以按112*112将脱敏数据转换成具有一个或多个通道的数据，即转换后的脱敏数据可以包括一个或多个通道，每个通道的分辨率也是112*112。若脱敏数据包含的元素个数不足112*112，可以通过扩充预设元素(如0)得到具有1个通道的脱敏数据，进而将具有1个通道的脱敏数据和RGB图像合并后得到具有4个通道的数据。若脱敏数据包含的元素超过112*112个，可以按112*112将脱敏数据包含的元素划分成至少两组，每个分组即一个通道。可以理解，可能会存在一个分组的元素个数不足112*112，此时同样可以通过扩充预设元素(如0)得到1个完整(即112*112的)通道。
在一些实施例中，生成器可以是经过预训练的。在交替训练生成器以及判别器的过程中，可以对生成器参数进行微调，并将参数微调后的生成器作为图像重构模型。需要说明的是，微调是相对于经过预训练的生成器的参数而言的，可以通过设置较小的学习率达到微调的目的。例如，学习率可以设置为0.001或0.0001。微调可以不改变生成器参数的数量级。例如，假定经过预训练的生成器的某个参数为100，则经过微调后该参数可以变成110、101、102、101.1、101.3等等。从而，在保留生成器已学习到的“知识”的基础上，使其更适于当前的任务。
在一些实施例中，可以根据预设的目标函数交替训练生成器以及判别器。具体地，当训练生成器时，在固定判别器参数的情况下，调整生成器参数以使目标函数最小化。当训练判别器时，在固定生成器参数的情况下，调整判别器参数以使所述目标函数最大化。其中，所述目标函数包括第一部分，所述第一部分与第一数据对对应的判别结果正相关，与第二数据对对应的判别结果负相关。
可以理解，生成器的训练是为了提高其“以假乱真”的能力，即使得判别器114难以区分生成器112的输出是真实图像(即原始图像，对应“真”)还是生成图像(对应“假”)的能力。因此，在调整生成器参数时，希望判别结果所反映的第一数据对中的生成图像为原始图像的概率低，且希望判别结果所反映的第二数据对中的生成图像为原始图像的概率高，即希望所述目标函数最小化。而判别器的训练为了提高其“辨别真假”的能力，即区分数据对中与脱敏数据对应的图像是真实图像(即原始图像，对应“真”)还是生成图像(对应“假”)的能力。因此，在调整判别器参数时，希望判别结果所反映的第一数据对中的生成图像为原始图像的概率高，且希望判别结果所反映的第二数据对中的生成图像为原始图像的概率低，即希望所述目标函数最大化。
在一些实施例中，所述目标函数还可以包括第二部分，所述第二部分可以反映与同一脱敏数据对应的第一数据对和第二数据对中的原始图像和生成图像之间的差异。
仅作为示例，可以按照以下表达式调节生成器和判别器的参数：
G*＝arg minG maxD LcGAN(G，D)+λLL1(G) (1)
其中，G表示生成器，D表示判别器，λ为预设系数。
LcGAN(G，D)+λLL1(G)表示目标函数。其中，LcGAN(G，D)为所述目标函数的第一部分(也可称为损失函数)，其可以与第一数据对对应的判别结果正相关且与第二数据对对应的判别结果负相关。λLL1(G)为所述目标函数的第二部分(也可称为约束项)，其可以反映与同一脱敏数据对应的第一数据对和第二数据对中的原始图像和生成图像之间的差异。
可以理解，arg表示当所述目标函数最小化(min)时生成器G的参数(此时判别器D的参数固定)，或者当所述目标函数最大化(max)时判别器D的参数(此时生成器G的参数固定)。
在一些实施例中，损失函数LcGAN(G，D)可以如下所示：
LcGAN(G，D)＝Ex，y[logD(x，y)]+Ex，z[log(1-D(x，G(x，z))] (2)
其中，x表示脱敏数据，y表示原始图像，z表示噪声。G()表示生成器的输出(即生成图像)，D()表示判别器的输出(即判别结果)。(x，y)表示第一数据对，(x，G(x，z))表示第二数据对。Ex，y表示在(x，y)的集合上求期望，Ex，z表示在(x，z)的集合上求期望，log表示对数运算。
在一些实施例中，约束项LL1(G)可以如下所示：
LL1(G)＝Ex，y，z[||y-G(x，z)||1] (3)
其中，Ex，y，z表示在(x，y，z)的集合上求期望，||y-G(x，z)||1表示与同一脱敏数据x对应的原始图像y与生成图像G(x，z)的差值的1范数，表达式(3)中变量的含义还可以参考表达式(2)的相关说明。
图5是根据本说明书一些实施例所示的图像重构方法的示例性流程图。可以理解，流程500对应于模型预测阶段。
在一些实施例中，流程500可以由图7所示的系统700执行。具体地，流程500可以以指令形式存储在存储设备(如实施系统700的处理设备的内部存储或外接存储设备)中，当所述指令被执行时，可以实现流程500。流程500可以包括以下步骤。
步骤510，获得脱敏数据，所述脱敏数据为对原始图像进行图像脱敏的结果。在一些实施例中，步骤510可以由第二获得模块710执行。
步骤520，基于所述脱敏数据获得生成器输入数据。在一些实施例中，步骤520可以由第三获得模块720执行。
步骤530，通过生成器处理所述生成器输入数据，获得生成器输出的生成图像，并将其作为所述原始图像的重构结果。步骤530可以由图像重构模块730执行。
关于流程500的更多细节，可以参考图2及其相关说明。例如，所述生成器可以来自于StyleGAN或StyleGAN2。又如，第三获得模块720可以对所述脱敏数据进行编码，以获得生成器输入数据。进一步地，第三获得模块720可以基于编码后的脱敏数据和噪声，获得生成器输入数据。又如，所述编码可以通过U-Net的编码器实现。
应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程进行各种修正和改变。例如，训练模块620可以拼接通过前馈网络得到的脱敏数据向量和噪声向量，得到生成器输入数据。然而，这些修正和改变仍在本说明书的范围之内。
图6是根据本说明书一些实施例所示的基于生成对抗网络训练图像重构模型的系统的示例性模块图。
如图6所示，系统600可以包括第一获得模块610和训练模块620。
在一些实施例中，第一获得模块610可以用于获得多个第一数据对，每个第一数据对包括原始图像和与其对应的脱敏数据。
在一些实施例中，训练模块620可以用于基于多个第一数据对交替训练生成器以及判别器，并将训练后的生成器作为图像重构模型的至少一部分。
关于系统600及其模块的更多细节，可以参考图2及其相关描述。
图7是根据本说明书一些实施例所示的图像重构系统的示例性模块图。
如图7所示，系统700可以包括第二获得模块710、第三获得模块720和图像重构模块730。
在一些实施例中，第二获得模块710可以用于获得脱敏数据，所述脱敏数据为对原始图像进行图像脱敏的结果。
在一些实施例中，第三获得模块720可以用于基于所述脱敏数据获得生成器输入数据。
在一些实施例中，图像重构模块730可以用于通过生成器处理所述生成器输入数据，获得生成器输出的生成图像，并将其作为所述原始图像的重构结果。
关于系统700及其模块的更多细节，可以参考图5及其相关描述。
应当理解，图6、图7所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，第二获得模块710、第三获得模块720可以是一个系统中的不同模块，也可以是一个模块实现这两个模块的功能。诸如此类的变形，均在本说明书的保护范围之内。
本说明书实施例可能带来的有益效果包括但不限于：(1)提供了基于生成对抗网络学习从脱敏数据到生成图像之间的映射的方法，训练后的生成器可作为图像重构模型，进而可使用图像重构模型来测试和/或优化图像脱敏算法抵御黑盒攻击的能力；(2)在黑盒攻击的设定下，获得的图像重构模型适用于各类图像脱敏算法的测试和/或优化；(3)通过对脱敏数据进行编码，可以得到能够被生成器接收的生成器输入数据；(4)通过添加噪声，可以使生成器输出数据(即生成图像)更多样化，例如，生成更多与脱敏数据对应的生成数据，有助于提升模型效果；(5)StyleGAN或StyleGAN2的生成器隐层空间对生成图像的特征具有可分离控制的特性，可以生成纹理细节丰富的图像。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书实施例的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书实施例进行各种修改、改进和修正。该类修改、改进和修正在本说明书实施例中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书实施例的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书实施例的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书实施例的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书实施例各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本说明书实施例所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书实施例流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书实施例披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书实施例对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书实施例的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (20)

1.一种基于生成对抗网络训练图像重构模型的方法，其中，生成对抗网络包括生成器和判别器，所述方法包括：
获得多个第一数据对，每个第一数据对包括原始图像和与其对应的脱敏数据，脱敏数据为对原始图像进行图像脱敏的结果；
基于多个第一数据对交替训练所述生成器以及所述判别器，并将训练后的生成器作为图像重构模型；其包括：
基于第一数据对中的脱敏数据获得生成器输入数据；
通过生成器处理所述生成器输入数据，获得生成器输出的生成图像；
通过判别器处理第一数据对或第二数据对，获得判别器输出的判别结果，该判别结果反映对应的数据对中的图像为脱敏数据对应的原始图像的概率；其中，第二数据对包括所述生成图像和对应的脱敏数据；
基于目标函数调整所述生成器和/或所述判别器的参数。
2.如权利要求1所述的方法，其中，所述基于第一数据对中的脱敏数据获得生成器输入数据，包括：
对第一数据对中的脱敏数据进行编码，以获得生成器输入数据。
3.如权利要求2所述的方法，其中，所述对第一数据对中的脱敏数据进行编码，以获得生成器输入数据，包括：基于编码后的脱敏数据和噪声，获得生成器输入数据。
4.如权利要求3所述的方法，其中，所述基于编码后的脱敏数据和噪声，获得生成器输入数据，包括：
拼接编码后的脱敏数据和噪声，得到所述生成器输入数据；或者，
通过前馈网络分别处理编码后的脱敏数据和噪声，得到脱敏数据向量和噪声向量，拼接噪声向量和脱敏数据向量，得到所述生成器输入数据。
5.如权利要求3所述的方法，其中，所述基于编码后的脱敏数据和噪声，获得生成器输入数据，包括：
通过前馈网络分别处理编码后的脱敏数据和噪声，得到脱敏数据向量和噪声向量；
计算脱敏数据向量中各元素的均值和方差；
基于所述均值和方差调整噪声向量中各元素的值，得到生成器输入数据。
6.如权利要求2所述的方法，其中，所述编码通过U-Net的编码器实现。
7.如权利要求1所述的方法，其中，所述目标函数的第一部分与第一数据对对应的判别结果正相关，与第二数据对对应的判别结果负相关；所述基于目标函数调整所述生成器和/或所述判别器的参数，包括：
当训练生成器时，在固定判别器参数的情况下，调整生成器参数以使所述目标函数最小化；
当训练判别器时，在固定生成器参数的情况下，调整判别器参数以使所述目标函数最大化。
8.如权利要求1或7所述的方法，其中，所述目标函数还包括第二部分，所述第二部分反映与同一脱敏数据对应的第一数据对和第二数据对中的原始图像和生成图像之间的差异。
9.如权利要求1所述的方法，其中，所述生成器来自于StyleGAN或StyleGAN2。
10.如权利要求1所述的方法，其中，所述判别器来自于Patch-GAN；或者，所述判别器基于多层感知器实现。
11.一种基于生成对抗网络训练图像重构模型的系统，其中，生成对抗网络包括生成器和判别器，所述系统包括：
第一获得模块，用于获得多个第一数据对，每个第一数据对包括原始图像和与其对应的脱敏数据，脱敏数据为对原始图像进行图像脱敏的结果；
训练模块，用于基于多个第一数据对交替训练所述生成器以及所述判别器，并将训练后的生成器作为图像重构模型；其具体用于：
基于第一数据对中的脱敏数据获得生成器输入数据；
通过生成器处理所述生成器输入数据，获得生成器输出的生成图像；
通过判别器处理第一数据对或第二数据对，获得判别器输出的判别结果，该判别结果反映对应的数据对中的图像为脱敏数据对应的原始图像的概率；其中，第二数据对包括所述生成图像和对应的脱敏数据；
基于目标函数调整所述生成器和/或所述判别器的参数。
12.一种基于生成对抗网络训练图像重构模型的装置，包括处理器和存储设备，所述存储设备用于存储指令，其中，当所述处理器执行指令时，实现如权利要求1～10中任一项所述的方法。
13.一种图像重构方法，包括：
获得脱敏数据，所述脱敏数据为对原始图像进行图像脱敏的结果；
基于所述脱敏数据获得生成器输入数据；
通过生成器处理所述生成器输入数据，获得生成器输出的生成图像，并将其作为所述原始图像的重构结果。
14.如权利要求13所述的方法，其中，所述生成器来自于StyleGAN或StyleGAN2。
15.如权利要求13所述的方法，其中，所述基于所述脱敏数据获得生成器输入数据，包括：对所述脱敏数据进行编码，以获得生成器输入数据。
16.如权利要求15所述的方法，其中，所述对所述脱敏数据进行编码，以获得生成器输入数据，包括：基于编码后的脱敏数据和噪声，获得生成器输入数据。
17.如权利要求15所述的方法，其中，所述编码通过U-Net的编码器实现。
18.如权利要求13所述的方法，所述生成器通过如权利要求1～10中任一项所述的方法训练得到。
19.一种图像重构系统，包括：
第二获得模块，用于获得脱敏数据，所述脱敏数据为对原始图像进行图像脱敏的结果；
第三获得模块，用于基于所述脱敏数据获得生成器输入数据；
图像重构模块，用于通过生成器处理所述生成器输入数据，获得生成器输出的生成图像，并将其作为所述原始图像的重构结果。
20.一种图像重构装置，其中，包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如权利要求13～18中任一项所述的方法。
CN202111095432.1A 2021-09-17 2021-09-17 一种基于对抗生成网络训练图像重构模型的方法 Pending CN113793396A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111095432.1A CN113793396A (zh) 2021-09-17 2021-09-17 一种基于对抗生成网络训练图像重构模型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111095432.1A CN113793396A (zh) 2021-09-17 2021-09-17 一种基于对抗生成网络训练图像重构模型的方法

Publications (1)

Publication Number Publication Date
CN113793396A true CN113793396A (zh) 2021-12-14

Family

ID=78878911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111095432.1A Pending CN113793396A (zh) 2021-09-17 2021-09-17 一种基于对抗生成网络训练图像重构模型的方法

Country Status (1)

Country Link
CN (1) CN113793396A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782300A (zh) * 2022-04-29 2022-07-22 苏州华兴源创科技股份有限公司 产品图像重构方法、产品重构模型训练方法、装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782300A (zh) * 2022-04-29 2022-07-22 苏州华兴源创科技股份有限公司 产品图像重构方法、产品重构模型训练方法、装置
WO2023206844A1 (zh) * 2022-04-29 2023-11-02 苏州华兴源创科技股份有限公司 产品图像重构方法、产品重构模型训练方法、装置

Similar Documents

Publication Publication Date Title
JP7002404B2 (ja) データから潜在因子を発見するニューラルネットワーク
Balle et al. Reconstructing training data with informed adversaries
JP7376593B2 (ja) 人工知能を利用した安全保障システム
Yinka-Banjo et al. A review of generative adversarial networks and its application in cybersecurity
CN108664782B (zh) 面部验证方法和设备
JP7362165B2 (ja) プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置｛ｍｅｔｈｏｄ ｆｏｒ ｔｒａｉｎｉｎｇ ａｎｄ ｔｅｓｔｉｎｇ ａｄａｐｔｉｏｎ ｎｅｔｗｏｒｋ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｏｂｆｕｓｃａｔｉｏｎ ｎｅｔｗｏｒｋ ｃａｐａｂｌｅ ｏｆ ｐｒｏｃｅｓｓｉｎｇ ｄａｔａ ｔｏ ｂｅ ｃｏｎｃｅａｌｅｄ ｆｏｒ ｐｒｉｖａｃｙ、ａｎｄ ｔｒａｉｎｉｎｇ ｄｅｖｉｃｅ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102184787B1 (ko) 개인 정보를 보호하기 위하여 원본 데이터를 컨실링 처리하여 생성된 변조 데이터를 인식하기 위해 사용되는 사용자 러닝 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치
US20200311540A1 (en) Layer-Wise Distillation for Protecting Pre-Trained Neural Network Models
WO2022033220A1 (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN111260620B (zh) 图像异常检测方法、装置和电子设备
CN115860112B (zh) 基于模型反演方法的对抗样本防御方法和设备
CN113408558B (zh) 用于模型验证的方法、装置、设备和介质
CN115913643A (zh) 一种基于对抗自编码器的网络入侵检测方法、系统及介质
KR20220052839A (ko) 개인 정보 보호를 위하여 원본 데이터를 비식별 처리한 변조 데이터를 인식하기 위한 사용자 러닝 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
Liu et al. Making DeepFakes more spurious: evading deep face forgery detection via trace removal attack
CN113793396A (zh) 一种基于对抗生成网络训练图像重构模型的方法
KR20220058189A (ko) 뉴럴 네트워크를 이용한 분류 방법 및 장치
Jain et al. A dataless faceswap detection approach using synthetic images
Mazumdar et al. Siamese convolutional neural network‐based approach towards universal image forensics
CN113239852B (zh) 一种基于隐私保护的隐私图像处理方法、装置及设备
Lim et al. Metamorphic testing-based adversarial attack to fool deepfake detectors
Mohammadi et al. Privacy-preserving Deep-learning Models for Fingerprint Data using Differential Privacy
CN113378982A (zh) 一种图像处理模型的训练方法和系统
CN112291188B (zh) 注册验证方法及系统、注册验证服务器、云服务器
Huang et al. Towards generalized deepfake detection with continual learning on limited new data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination