CN114077895A - 对抗性策略的变分自编码模型 - Google Patents

Abstract

变分自编码模型和生成对抗网络均属于目前深度学习中主流的生成模型。由于生成结果质量的关键取决于模型中推理模型的推理能力和生成器模型的生成能力。所以本发明在变分自编码模型和生成对抗网路的基础上提出两者部分模块相结合的生成模型。这个模型不仅可以生成比传统变分自编码模型更清晰的图像，而且可以生成更具多样性的图像。本发明从模型建模模块、构建优化目标函数模块两个模块进行介绍。随机噪声和原始图像一同进入推理模型；推理模型将最大限度表示出真实的后验概率分布；生成器模型将尽可能获得最大的似然估计值；判别器模型将最大限度提升生成器模型的生成能力。

Description

对抗性策略的变分自编码模型

技术领域

本发明基于机器学习领域，进一步说是一种基于对抗性策略的变分自编码模型。

背景技术

生成模型作为机器学习领域的重要组成部分，在实际应用中，常常会遇到生成图像的质量不高，或生成图像缺乏丰富性等情况。问题是如何在保证生成图像清晰度的前提下，生成与原始图像相似或不同的大量新图像？于是本发明提出了一种基于对抗性策略的变分自编码模型。

传统的生成模型是一种将低维度隐变量还原成高维度数据所建模的模型。传统的变分自编码模型是将机器学习中的神经网络和变分贝叶斯方法相结合的一种生成模型，其主要由推理模型和生成器模型构成，加以神经网络而实现。协同训练这两个网络模型，进而将数据似然的变分下界最大化，以获得更好地生成效果。不同于传统的自编码模型，变分自编码模型通过从推理模型的近似后验分布中提取低维度的隐变量，并对其进行重新参数化处理，然后通过生成器模型将低维度的隐变量重构出高维度的数据。这里不仅采用较为复杂的变分方法，而且通过梯度下降方法和反向传播算法对其目标进行优化。

变分自编码模型生成的图像较为模糊，所以本发明是将其与同为生成模型的生成对抗网络相结合，提出对抗性策略的变分自编码模型。

发明内容

本发明提供了具有对抗性策略的变分自编码模型，不仅可以生成与原始图像不同的新数据，而且生成图像的效果比单独使用变分自编码模型和生成对抗网络都有较大的改善。

对抗性策略的变分自编码模型，包括：模型建模模块、构建优化目标模块。主要发明一种将生成对抗网络中的判别器模型与传统变分自编码模型相结合的新模型。

具体实施方式

在传统变分自编码模型的推理模型之前输入随机噪声ε和原始图像x。在该模型中，推理模型是必不可少的，其强大之处是能够最大限度的采集原始图像的细节信息，为生成结果做更好地保障。这里采用的推理模型用近似后验概率分布

表示，其参数为

原始图像x和随机噪声ε经推理模型产生低维度的隐变量z₁。同时还要从给定的先验分布p(z)中随机采样出于z₁维度相同的隐变量z，先验分布p(z)和隐变量z的存在是为了让模型产生新的图像，与原始图像不完全相同，这样可以较大限度地增加生成图像的丰富性，同时该模型最终的生成结果也是通过不断训练该模型后，隐变量z经生成器模型产生的结果。

现已经拥有两个同维度的隐变量z和z₁，将z₁输入到生成器模型中，通过生成器模型的条件概率分布p_θ(x|z)产生与原始图像x维度相同的数据x’，这里条件概率分布的参数为θ。根据传统变分自编码模型，x’被称作重构图像，意在说明x’是通过原始图像x通过一系列操作重构出来的。与传统变分自编码模型类似，我们要计算原始图像x与重构图像x’的重构误差，来检验重构图像与原始图像的相似性，进而判断生成器模型的生成能力。计算方式与传统变分自编码模型一样，最大化变分似然下界，提升推理模型和生成器模型各自的能力：

通过使用梯度下降等方式对变分下界中的参数θ和参数

优化，使变分似然下界最大化，进而增加推理模型的推理能力和生成器模型的生成能力，为生成器模型生成效果更好的图像做准备。

现已拥有两个低维度隐变量z、z₁和两个高维度数据x、x’，将这四个“组件”按如下方式进行组合：

1)因隐变量z₁是由x经推理模型产生的，故将二者组合形成数据对儿(x，z₁)；

2)因高维数据x’是由隐变量z₁经生成器模型产生的，故将二者组合形成数据对儿(x′，z₁)；

3)为了最终生成的图像具有一些原始图像的细节信息，将先验隐变量z与原始图像x组合形成数据对儿(x，z)。

对于对抗性变分自编码模型来说，“对抗性”体现在模型中有一个重要的模块，就是判别器模型。判别器模型可以将两个或多个输入数据像分类器一样判定哪个是正样本，哪些是负样本，进而达到“正负对抗”的效果。经过判别器模型不断的对抗性训练，生成器模型的生成能力将得到较大限度的提升，所以判别器模型也是该模型中重要的组成部分。

1)现将上述三个数据对儿同时输入到判别器模型中。因为数据对儿(x′，z₁)具有重构图像x’，数据对儿(x，z)具有随机性采样的低维隐变量z，所以让这两个数据对儿均被判别器模型判定为负样本；反之，数据对儿(x，z₁)将被判定为模型的正样本。

现可将判别器模型的目标函数定义成如下的形式，并将目标函数最大化：

对于判别器来说，不断的将数据对儿(x，z₁)判定为正样本将使模型具有如下几个优势：

2)带有生成器模型输出的两个数据对儿均被判定为负样本，对提升生成器模型的生成能力有较大限度的促进作用；

3)根据传统变分自编码器模型的变分似然下界，提升生成器模型的生成能力(最大化重构误差)能有效地促进推理模型的推理能力，使生成器模型生成的图像，具有更多与原始图片类似的细节信息。

相关说明

在理想情况下，该模型可以产生产生比传统变分自编码更清晰的图像，且生成原始图像数据库中不具备的新图像。虽然如此，因为加入了生成对抗网络中的判别器模型，在某种情况下也可能生成与原始图像无关的“乱码”图像。

相比于传统变分自编码模型，该模型具有如下特征：

1)加入生成对抗网络中的判别器模型，使模型具有“对抗性”，对图像的生成效果有较为明显的提升；

2)保留了传统变分自编码模型中的推理模型，对原始图像的细节信息得到最大化的保留，使生成器模型生成的图像保留与原始图像相关的重要细节信息；

3)保留了传统变分自编码器模型中的变分似然下界，推理网络和生成器网络的能力没有改变(在不提及判别器网络的情况下)；

4)先验分布随机采样的隐变量是直接影响模型最终生成结果的，该隐变量是整个模型的重要组成部分。

附图说明

为了能够更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图是变分自编码生成模型的简单示意图，图2附图是对抗性策略的变分自编码模型建模结构示意图。

Claims (3)

1.对抗性策略的变分自编码模型，其特征在于能够将传统的变分自编码模型和生成对抗网络的相关模块进行结合，既保留了变分自编码模型中的推理模型，又加入了生成对抗网络中的判别器模块。包括：模型建模模块、构建优化目标模块。

模型建模模块是在拥有推理模型和生成器模型的传统变分自编码模型中加入传统生成对抗网络的判别器模型，让模型能够不断学习并提升推理模型、生成器模型的推理能力和重构能力，从而提升生成图像的质量。

构建优化目标模块通过变分近似、正则化项转换为判别器模型的目标，来构建优化目标函数。

2.权利要求1所述的模型建模模块，特点是加入生成对抗网络中的判别器模型，对真实图像x与推理模型产生的隐变量z、真实图像x与先验分布采样的隐变量z、生成器网络生成的重构图像x与推理模型产生的隐变量z这三项进行判别。

本模型中假设真实图像为x，随机噪声为ε，先验分布p(z)采样的隐变量为z，真实图像x加入随机噪声ε经推理模型的近似后验概率

产生的隐变量为z₁，隐变量z经生成器模型中的条件概率分布p_θ(x|z)产生的重构图像为x′，判别器模型用D来表示。

模型中具体变量值设置如下，x表示高维度真实图像，z和z₁均表示低维度的隐变量，随机噪声ε和隐变量z均从标准高斯分布中采样得到，即ε～N(0，1)，p(z)＝N(0，1)，p_θ(x|z)表示相应的条件概率分布。

3.构建优化目标模块，真实图像x来自于原始数据集p_D(x)，将真实图像x加入随机噪声后输入到推理模型中产生低维度隐变量z₁；将z₁输入到生成器网络中输出高维度重构图像x′；在先验分布p(z)中采样与z₁同维度的隐变量z。根据权利要求2，将三个组合型数据对儿同时输入到判别器网络中，三个数据对儿分别为(x，z₁)、(x，z)、(x′，z₁)。传统的变分自编码模型中的变分似然下界：

中等式右边两项分别称为重构误差项和正则化项。在不改变第一项的前提下，将正则化项用判别器网络函数进行改进：

根据相关证实得到判别器网络函数的最优化目标是正则化项的相反数：

所以根据变分自编码模型中最大化变分似然下界可以将推理模型和生成器模型的似然下界改为以下问题：

对于判别器模型，在输入到判别器网络中的三个数据对儿中，让最具有说服力的数据对儿(x，z₁)为正样本，另外两个数据对儿(x，z)、(x′，z₁)为负样本，以此来不断训练生成器模型的生成能力。由此得出鉴别器网络的损失函数，并将其最大化：

Images