CN106408595A - 一种基于神经网络画风学习的图像渲染方法 - Google Patents

Abstract

本发明涉及一种基于神经网络画风学习的图像渲染方法，包括以下步骤：S1，获取待渲染图像x和参考图像y，利用VGG模型获取参考图像y的特征，令待渲染图像x学习参考图像y的风格，得到渲染图像z；S2，定义函数L_content(z；x)描述z和x内容的差异，函数L_texture(z；y)描述z和y风格的差异；S3，优化z使差异最小化，得到最终的渲染图像。与现有技术相比，本发明通过将内容损失和纹理损失的和的最小化，得到了与目标图片风格较为接近的渲染效果。

Description

一种基于神经网络画风学习的图像渲染方法

技术领域

本发明涉及一种图像处理技术，尤其是涉及一种基于神经网络画风学习的图像渲染方法。

背景技术

随着数字娱乐越来越得到大众的青睐，计算机风格化渲染技术日益成为研究热点。然而为了将目标图像渲染为希望的风格，用户常需要掌握并调整大量的参数，这对他们的使用是非常不便的。

神经网络(Neural network)在机器学习领域中，结构模仿生物的神经网络，通过调整网络中的参数来达到近似拟合高维复杂数据。神经网络在工程上实现起来，有很多细节决定了神经网络的成败，例如：目标函数、网络结构设计、初始参数设置等。

Gatys团队利用了一个前人训练好的网络，VGG网络，来获取图像的feature。VGG模型在ImageNet数据库中训练而成，关注的是它结构中的5个卷积层。因为它是一个训练好的而且每层的feature都是有较好性质的网络，所以直接提取它对图像进行识别时的中间层为图像的feature即可。在VGG图像识别的中间层，数据为一个(c,h,w)的3维张量，对应c个feature，每个feature为一张(h,w)的二维数组，由于卷积神经网络的结构特性，feature中每个元素对局部的图像都有描述作用。Gatys团队就利用了这一点，使得对于图像feature的表征有了现成的工具。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于神经网络画风学习的图像渲染方法。

本发明的目的可以通过以下技术方案来实现：

一种基于神经网络画风学习的图像渲染方法，

包括以下步骤：

S1，获取待渲染图像x和参考图像y，利用VGG模型获取参考图像y的特征(feature)，令待渲染图像x学习参考图像y的风格，得到渲染图像z；

S2，定义函数L_content(z；x)描述z和x内容的差异，函数L_texture(z；y)描述z和y风格的差异；

S3，优化z使差异最小化，得到最终的渲染图像。

所述的步骤S2中，对于第l层中第k个特征，F、P分别为需要转化的图像x和转化后的图像z经过VGG时的中间层，i为行标，j为列标，a_l为权系数。

所述的步骤S2中，

其中，G、A分别为被模仿的图像y和转化后的图像z计算出的Gram矩阵

所述的步骤S3中，使内容目标损失和纹理目标损失的和最小化，实现差异最小化。需要优化的cost函数为：

L(z；x,y)＝αL_content(z；x)+βL_texture(z；y)，α、β为权系数。

所述的步骤S3中，内容目标损失为：

其中，C为当前图像，T是目标图片即输入图片的值，i为行标，j为列标，N为像素总数；

第l层纹理目标的损失为：

其中，第l层可以表示为Gram矩阵

与现有技术相比，本发明通过将内容损失和纹理损失的和的最小化，得到了与目标图片风格较为接近的渲染效果。

附图说明

图1为本发明的流程图；

图2为本实施例的图像x；

图3为本实施例的图像y；

图4为本实施例的图像z。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，本实施例的图像渲染方法包括以下步骤：

1、将图像x通过学习y的风格，得到图像z，则定义函数L_content(z；x)描述z和x内容的差异，函数L_texture(z；y)描述z和y风格的差异，然后优化z。

2、设为第n层第k个feature的第i个元素(这里将(h,w)的二维数组视为一个1维向量)，则定义两个图像内容上是否相像(content loss)就有：

F,P分别为需要转化的图像x和转化后的图像z经过VGG时的中间层。

3、接下来定义两个图像风格上是否相似，这里在content loss上再进了一小步，就是使用了Gram矩阵

即认为相似的风格可以用不同feature间的相关度表示。于是定义了两个图像风格上是否相似(texture loss)：

4、G,A分别为被模仿的图像y和转化后的图像z计算出的Gram矩阵，所以需要优化的cost函数为：

L(z；x,y)＝αL_content(z；x)+βL_texture(z；y)。

关于优化过程：

1)内容目标的损失能够很简单的表示为:

其中C是当前的图片，T是目标图片即输入图片的值，i为行标，i为列标，N为像素总数。

2)而纹理目标则跟同一层的所有特征图有关，第l层可以表示为Gram矩阵:

因此第l层纹理目标的损失就能表示为：

3)同样G为当前图片的纹理信息，T为输入图片的纹理信息。我们要求总的目标函数，即Lc+Ls.找到使这个值最小的图片就是我们的画风学习的结果。

4)优选地，叠加内容图是通过增加了一个内容的损失项，通过对两个内容的损失项和纹理的损失项的和的最小化，即Lc1+Lc2+Ls的最小，能够得到类似的结果。

本实施例使用的图像x、y分别如图2、图3所示，得到的图像z如图4所示。

Claims (5)

1.一种基于神经网络画风学习的图像渲染方法，其特征在于，包括以下步骤：

S1，获取待渲染图像x和参考图像y，利用VGG模型获取参考图像y的特征，令待渲染图像x学习参考图像y的风格，得到渲染图像z；

S2，定义函数L_content(z；x)描述z和x内容的差异，函数L_texture(z；y)描述z和y风格的差异；

S3，优化z使步骤S2得到的差异最小化，得到最终的渲染图像。

2.根据权利要求1所述的一种基于神经网络画风学习的图像渲染方法，其特征在于，所述的步骤S2中，对于第l层中第k个特征，F、P分别为需要转化的图像x和转化后的图像z经过VGG时的中间层，i为行标，j为列标，a_l为权系数。

3.根据权利要求2所述的一种基于神经网络画风学习的图像渲染方法，其特征在于，所述的步骤S2中，

其中，G、A分别为被模仿的图像y和转化后的图像z计算出的Gram矩阵

4.根据权利要求1所述的一种基于神经网络画风学习的图像渲染方法，其特征在于，所述的步骤S3中，使内容目标损失和纹理目标损失的和最小化，实现差异最小化。

5.根据权利要求4所述的一种基于神经网络画风学习的图像渲染方法，其特征在于，所述的步骤S3中，内容目标损失为：

$L_c=\frac{1}{4N}\underset{i,j}{\Σ}(C_{ij}^l-T_{ij}^l)^2$

其中，C为当前图像，T是目标图片即输入图片的值，i为行标，j为列标，N为像素总数；

第l层纹理目标的损失为：

$L_c=\frac{1}{4N}\underset{i,j}{\Σ}(C_{ij}^l-T_{ij}^l)^2,$

其中，第l层可以表示为Gram矩阵