CN108495110A - 一种基于生成式对抗网络的虚拟视点图像生成方法 - Google Patents

Abstract

本发明涉及一种基于生成式对抗网络的虚拟视点图像生成方法，包括下列步骤：第一步，制作数据集，获得训练生成式对抗网络所需要的图像对；构建模型：生成器和判别器使用的结构均为卷积层后接批量归一化层BatchNorm以及非线性运算单元ReLU激活函数的形式，所有的卷积层使用4×4的卷积核大小，并将步长设置为2，对特征图像进行降采样时长宽均缩小为原来的一半，上采样时长宽均放大至2倍，Dropout层将Dropout率设置为50％；RelU激活函数选用LeakyReLu；定义损失；进行模型的训练和测试。

Description

一种基于生成式对抗网络的虚拟视点图像生成方法

技术领域

本发明属于立体视觉与深度学习领域，涉及一种应用生成式对抗网络模型的虚拟视点图像生成方法。

背景技术

在日常生活中，人类用双眼看物体时，水平排列的左右双眼分别从稍有不同的角度观察物体，因此左右眼捕捉到的图像略有不同。人类由于视觉系统和大脑的感知，左右眼视图在大脑中融合，使人类可以从它们的细微差别中感受到明显的深度，并建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，从而对观察到的事物产生一种立体的概念。

双目立体视觉是机器视觉的一种重要形式，其最基础的原理是三角测量原理和双目视差原理。利用成像设备从不同视角获取同一物体的两幅图像，通过计算图像对应点间的位置偏差，可以获取物体三维几何信息。双目图像数据可以通过同步相机或3D相机来获取。标定相机坐标系，使两部相机保持水平并排放置，并且光轴互相平行，用这两部固定于不同位置的相机拍摄同一物体来，得到同一物体的两幅图像。这种方法由于难以控制左右两个快门同时开闭实现完全“同步”，容易产生或多或少的时间偏差，造成左右影像的偏离。直接使用装配有两个镜头，通过模拟双眼成像来再现立体影像的双目相机、3D数码相机进行拍摄得到双目图像的方法更为方便快捷，然而这种相机通常价格昂贵。因此双目图像数据的获取在生活中并非易事。

在进行双目立体视觉的研究时，常用的带有双目图像数据集是主流的算法评价数据集，如KITTI、Middlebury。这些现有的包含双目图像的数据集数据量普通不足，或只关注特定类图像，泛化能力不强。为弥补现有数据集存在的问题，以促进双目立体视觉技术的进一步研究，需要研究一种能实现双目图像数据集样本数量扩充，具有高泛化能力的虚拟视点图像生成方法。然而过去的研究例如基于深度图的虚拟视点图像生成方法，往往依赖于两个视点图像的深度图、视差图等先验信息。但是这对更一般的、深度信息或视差信息未知时的自然图像并不适用。

生成式对抗网络(Generative Adversarial Net，GAN)是一种通用的模型，适用于解决图像到图像的翻译问题。GAN受启发于博弈论，其模型中使用生成器和判别器充当博弈的双方。生成器通过捕捉样本数据的分布，用服从某一分布的噪声生成出模拟真实训练数据的样本；判别器是一个二分类器，估计样本来自于真实训练数据的概率。通过固定一方，更新另一方的网络权重的方式，交替迭代对生成器和判别器进行训练。训练过程中，双方都极力优化自己的网络，从而形成竞争对抗，直到达到动态平衡：生成器恢复了训练数据的分布，造出了和真实数据一模一样的样本，而判别器再也鉴别不出真实图像。

发明内容

本发明的目的在提供一种利用GAN模型的虚拟视点图像生成方法。技术方案如下：

一种基于生成式对抗网络的虚拟视点图像生成方法，包括下列步骤：

第一步，制作数据集：对于立体图像，根据双目图像的特点，采用数据增强手段，获得训练生成式对抗网络所需要的图像对，将一一对应的左眼视图与右眼视图水平拼接成一张图片，从而得到训练图像和测试图像，生成数据集。

第二步，构建模型：生成器和判别器使用的结构均为卷积层后接批量归一化层BatchNorm以及非线性运算单元ReLU激活函数的形式，所有的卷积层使用4×4的卷积核大小，并将步长设置为2，对特征图像进行降采样时长宽均缩小为原来的一半，上采样时长宽均放大至2倍，Dropout层将Dropout率设置为50％。RelU激活函数选用LeakyReLu；搭建生成器时，在编码器-解码器架构的基础上，在编码模块与解码模块的对应层之间加入跳跃链接，使得对应的特征图能够按通道连接起来，在解码器的最后一层卷积层中，使用Tanh函数代替ReLU作为卷积层的激活函数；搭建判别器，采用不同大小感受野的网络架构，以综合得到更好的判别结果，在判别器的最后一层卷积层中，使用Sigmoid函数代替ReLU作为卷积层的激活函数，特征图被映射到一维的输出，表示判别虚拟视点图像为真实的概率。

第三步，定义损失：将生成式对抗网络损失函数与损失函数一范数损失L1相结合，并将L1权重设置为100；

第四步，进行模型的训练和测试

训练与测试过程中将batch size设置为1，将第一步得到的数据集，每次随机选择一对训练图像，随机裁剪为256×256大小，输入到网络中进行训练调整训练参数，在训练的过程中首先固定生成器，更新判别器的网络权重，然后固定判别器，根据判别器的判别结果更新生成器的权重，如此反复，交替迭代训练，直到双方达到一个动态平衡；训练完成后，经测试集的图像输入训练好的生成器网络中，测试虚拟视点图像的生成效果。

本发明利用深度学习中的生成式对抗网络的算法，仅基于单目图像而不依赖于视差、深度等信息，设计一种虚拟视点图像生成系统。本系统可扩展性强，在应用中只需提供一张单目图像，即可输出其对应的右视图或左视图，因此有助于扩充当前数据量小的立体图像数据集。进行立体图像研究时，通过使用该方法生成虚拟视点图像来模拟的双目数据，可以弥补硬件的不足，例如没有3D数码相机的情况。

附图说明

附图1 U-Net结构的生成器网络架构生成器网络结构图

附图2 不同尺寸的感受野对应的判别器网络架构

附图3 虚拟视点图像生成效果图，(a)由左眼视图生成右眼视图(b)由右眼视图生成左眼视图

具体实施方式

本发明利用深度学习中的生成式对抗网络模型，以KITTI数据集的道路场景图像为研究对象，在不依赖深度、视差等信息的基础上，实现了对道路场景图像的基于单目图像的虚拟视点图像生成，并且可以推广应用于其他自然图像的虚拟视点图像生成。

为使本发明的目的、技术方案更加清楚，下面对本发明实施例作进一步地详细描述。

1.构建数据集

本实验采用KITTI 2015立体数据集，由于其数据量有限，故本发明通过数据增强的方法解决。本实验根据双目图像的特点，采用传统的数据增强手段，包括水平翻转、裁剪等方法。通过数据增强，得到一一对应的左右眼视图图像800对，并将得到的图像数据集划分为训练数据集以及测试数据集两部分，其中训练数据集包含650对图像并用于模型训练阶段，验证数据集包含150对图像并用于模型测试阶段。

将图像数据集的图像通过预处理转化为训练深度卷积GAN所需要的图像对的形式。由于GAN网络中有自动的缩放步骤，因此不对图像进行预先的裁剪以及缩放。将一一对应的左眼视图与右眼视图水平拼接成一张图片，将训练数据及测试数据分别放置于train及test文件夹下即可。

2.模型构建

本发明实际上要完成的工作是图像到图像的翻译，也可以理解为像素到像素的映射，可以通过GAN的模型来解决这个问题。为使生成的样本更符合预期，本发明给GAN加上了条件，让生成器和判别器都观察输入图像。

本发明中生成器和判别器使用的卷积结构为卷积层后接批量归一化层(BatchNorm)以及非线性运算单元(ReLU)激活函数的形式。其中所有的卷积层使用4×4的卷积核大小，并将步长设置为2。对特征图像进行降采样时长宽均缩小为原来的一半，上采样时长宽均放大至2倍。Dropout层将Dropout率设置为50％。RelU激活函数选用LeakyReLu，该系数设置为0.2。

(1)搭建生成器模型

构建生成器模型使其学习到从输入图像以及随机噪声向量到输出图像的映射，目的是使其通过合成图像导致判别器无法区分出真实图像与合成图像。本发明的生成器使用全卷积结构，在传统的编码器-解码器架构的基础上，在编码模块与解码模块的对应层(具有同样大小的特征图的层)之间加入跳跃链接。因此对应的特征图能够按通道连接起来，能够保留不同分辨率下像素级的细节信息。在解码器的最后一层卷积层中，使用Tanh函数代替ReLU作为卷积层的激活函数，其特征图被映射为三通道的输出图像。本发明的生成器网络架构如图1所示，图中括号内的数字中表示该卷积层卷积核的个数。

(2)搭建判别器模型

判别器类似于普通的卷积神经网络分类模型，通过鉴别其输入是否为真正的图像(即非生成图)来约束生成器，使生成器的输出结果更接近真实图像。本发明的判别器具有70×70，1×1，16×16，286×286四种不同大小的感受野，其架构如卷积层个数、通道数略有不同，如图2所示，图中括号内的数字中表示该卷积层卷积核的个数。在判别器的最后一层卷积层中，使用Sigmoid函数代替ReLU作为卷积层的激活函数，特征图被映射到一个一维的输出，表示判别虚拟视点图像为真实的概率。

3.损失定义

在条件生成式对抗网络中，判别器也需要观察输入图像，因此GAN的损失函数可以表达为，其中，x为输入图像，y为输出图像，z为随机噪声向量。

L_cGAN(G,D)＝E_x,y[logD(x,y)]+E_x,z[log(1-D(x,G(x,z))]

本发明在生成式对抗网络损失函数的基础上，加入传统的欧拉距离损失。选用一范数损失L1，因其相对于二范数损失来说生成的模糊更少。

L_L1(G)＝E_x,y,_z[||y-G(x,z)||₁]

本发明将损失函数定义为GAN的目标函数与L1的结合，并将L1权重设置为100，充分结合了二者的优点。相较于二范数损失，本发明选用的一范数损失可以让生成出的图与真实的目标图片尽量相似，提升生成图像在低频信息段的质量。而图像中高频的结构信息等细节部分的特性则由生成式对抗网络损失函数来处理。

G*＝argmin_Gmax_DL_cGAN(G,D)+λL_L1(G)

4.模型训练与测试

以由左眼视图生成右眼视图为例，生成器的训练就是先产生一张右眼图像合成图，该合成图和右眼图像的真实图像再在判别器中进行区分，反复训练，直到判别器无法区分出哪一张是生成器产生的右眼图像合成图。而判别器的训练就是是对生成器生成的图片进行分类，目标是尽可能地识别出非真实的图像。二者相互博弈，形成“对抗”。

在训练的过程中首先固定生成器，更新判别器的网络权重，然后固定判别器，根据判别器的判别结果更新生成器的权重，如此反复，交替迭代，直到双方达到一个动态平衡。由于数据量不太大，训练与测试过程中将batchsize设置为1。

将第一步得到的数据集，每次随机选择一对训练图像，随机裁剪为256×256大小，输入到网络中进行训练调整训练参数。在训练的过程中首先固定生成器，更新判别器的网络权重。然后固定判别器，通过生成的虚拟视点图像与真实图像的误差调整生成器网络的权重，使其生成更为真实的虚拟视点图像。判别器在训练时，将生成的虚拟视点图像分别按70×70、1×1、16×16、256×256四种大小的块，与真实相应视点图像块相比较进行训练，相应的得到四种正确率，加权和得到最终的正确率，其中权值分别是四种图像块占整个图像的比例。

训练完成后，经测试集的图像输入训练好的生成器网络中，测试虚拟视点图像的生成效果。测试效果如图3所示。其中real_A表示基准视点的真实图像，fake_B为生成网络产生虚拟视点图像，real_B表示目标视点的真实图像。

Claims (1)

1.一种基于生成式对抗网络的虚拟视点图像生成方法，包括下列步骤：

第一步，制作数据集：对于立体图像，根据双目图像的特点，采用数据增强手段，获得训练生成式对抗网络所需要的图像对，将一一对应的左眼视图与右眼视图水平拼接成一张图片，从而得到训练图像和测试图像，生成数据集。

第二步，构建模型：生成器和判别器使用的结构均为卷积层后接批量归一化层BatchNorm以及非线性运算单元ReLU激活函数的形式，所有的卷积层使用4×4的卷积核大小，并将步长设置为2，对特征图像进行降采样时长宽均缩小为原来的一半，上采样时长宽均放大至2倍，Dropout层将Dropout率设置为50％；RelU激活函数选用LeakyReLu；搭建生成器时，在编码器-解码器架构的基础上，在编码模块与解码模块的对应层之间加入跳跃链接，使得对应的特征图能够按通道连接起来，在解码器的最后一层卷积层中，使用Tanh函数代替ReLU作为卷积层的激活函数；搭建判别器，采用不同大小感受野的网络架构，以综合得到更好的判别结果，在判别器的最后一层卷积层中，使用Sigmoid函数代替ReLU作为卷积层的激活函数，特征图被映射到一维的输出，表示判别虚拟视点图像为真实的概率；

第三步，定义损失：将生成式对抗网络损失函数与损失函数一范数损失L1相结合，并将L1权重设置为100；

第四步，进行模型的训练和测试

训练与测试过程中将batch size设置为1，将第一步得到的数据集，每次随机选择一对训练图像，随机裁剪为256×256大小，输入到网络中进行训练调整训练参数，在训练的过程中首先固定生成器，更新判别器的网络权重，然后固定判别器，根据判别器的判别结果更新生成器的权重，如此反复，交替迭代训练，直到双方达到一个动态平衡；训练完成后，经测试集的图像输入训练好的生成器网络中，测试虚拟视点图像的生成效果。