CN109636712A - 图像风格迁移及数据存储方法、装置和电子设备 - Google Patents

Abstract

本申请实施例提供了图像风格迁移及数据存储方法、装置和电子设备，应用于图像处理技术领域，该数据存储方法包括：将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各风格类型滤波器的组输出激活相对于中间特征图的权重值；存储各风格类型滤波器组的输出激活相对于中间特征图的权重值及中间特征图。在本申请实施例的数据存储方法中，针对多种风格类型，存储各风格类型的滤波器组的输出激活相对于中间特征图的权重值及中间特征图，而权重值的数据量远远小于特征图的数据量的，因此相比于针对每个风格类型的滤波器组单独存储一个特征图，可以降低存储空间的占用量，节约存储空间。

Description

图像风格迁移及数据存储方法、装置和电子设备

技术领域

本申请涉及图像处理技术领域，特别是涉及图像风格迁移及数据存储方法、装置和电子设备。

背景技术

Style Transfer(风格迁移)是近年来在图像处理及计算机视觉领域中备受关注，并且具有实际应用价值的技术。风格迁移可以将一张Original Image(原始图像)，转变成一张经过艺术加工的Stylized Image(风格化图像)。其中风格元素来自于另一张称为Style Image(风格图像)的图像。一个典型的例子是将任意一张图像变为拥有梵高著名油画《星空》风格的图像。

在基于Style Bank(风格分离)框架的风格迁移方法中，不同的风格是通过中间的128维的Filter Bank(滤波器组)来表示的，每一种风格都有自己的滤波器组，需要分别存储各风格类型的录波器组的输出激活的特征图，因此当风格越来越多，存储的数据将线性增长，占用大量存储空间。

发明内容

本申请实施例的目的在于提供一种图像风格迁移及数据存储方法、装置和电子设备，以实现降低存储空间的占用量。具体技术方案如下：

第一方面，本申请实施例提供了一种数据存储方法，所述方法包括：

将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各所述风格类型滤波器的组输出激活相对于所述中间特征图的权重值；

存储各所述风格类型滤波器组的输出激活相对于所述中间特征图的权重值及所述中间特征图。

可选的，本申请实施例的数据存储方法基于风格分离框架。

可选的，在所述存储各所述风格类型滤波器组的输出激活相对于所述中间特征图的权重值及所述中间特征图之后，所述方法还包括：

获取待风格迁移图像、待转换的目标风格类型及所述中间特征图；

按照所述目标风格类型，获取所述目标风格类型的滤波器组的输出激活相对于所述中间特征图的目标权重值；

按照所述目标权重值，调整所述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过所述目标滤波器组输出激活对所述待风格迁移图像进行处理，得到风格迁移后的图像。

第二方面，本申请实施例提供了一种图像风格迁移方法，所述方法包括：

获取待风格迁移图像、待转换的目标风格类型及预设中间特征图；

按照所述目标风格类型，获取所述目标风格类型的滤波器组的输出激活相对于所述中间特征图的目标权重值；

按照所述目标权重值，调整所述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过所述目标滤波器组输出激活对所述待风格迁移图像进行处理，得到风格迁移后的图像。

可选的，本申请实施例的图像风格迁移方法基于风格分离框架。

第三方面，本申请实施例提供了一种数据存储装置，所述装置包括：

权重值确定模块，被配置为将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各所述风格类型滤波器的组输出激活相对于所述中间特征图的权重值；

数据存储模块，被配置为存储各所述风格类型滤波器组的输出激活相对于所述中间特征图的权重值及所述中间特征图。

可选的，本申请实施例的数据存储装置基于风格分离框架。

可选的，本申请实施例的数据存储装置还包括：

第一参数获取模块，被配置为获取待风格迁移图像、待转换的目标风格类型及所述中间特征图；

目标权重值确定模块，被配置为按照所述目标风格类型，获取所述目标风格类型的滤波器组的输出激活相对于所述中间特征图的目标权重值；

目标滤波器组确定模块，被配置为按照所述目标权重值，调整所述中间特征图中各特征的权重，得到目标滤波器组输出激活；

风格迁移模块，被配置为通过所述目标滤波器组输出激活对所述待风格迁移图像进行处理，得到风格迁移后的图像。

第四方面，本申请实施例提供了一种图像风格迁移装置，所述装置包括：

第二参数获取模块，被配置为获取待风格迁移图像、待转换的目标风格类型及预设中间特征图；

权重值获取模块，被配置为按照所述目标风格类型，获取所述目标风格类型的滤波器组的输出激活相对于所述中间特征图的目标权重值；

滤波器调整模块，被配置为按照所述目标权重值，调整所述中间特征图中各特征的权重，得到目标滤波器组输出激活；

图像处理模块，被配置为通过所述目标滤波器组输出激活对所述待风格迁移图像进行处理，得到风格迁移后的图像。

可选的，本申请实施例的图像风格迁移装置基于风格分离框架。

第五方面，本申请实施例提供了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各所述风格类型滤波器的组输出激活相对于所述中间特征图的权重值；

存储各所述风格类型滤波器组的输出激活相对于所述中间特征图的权重值及所述中间特征图。

可选的，本申请实施例的电子设备基于风格分离框架。

可选的，上述处理器还可以执行：

获取待风格迁移图像、待转换的目标风格类型及所述中间特征图；

按照所述目标风格类型，获取所述目标风格类型的滤波器组的输出激活相对于所述中间特征图的目标权重值；

按照所述目标权重值，调整所述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过所述目标滤波器组输出激活对所述待风格迁移图像进行处理，得到风格迁移后的图像。

第六方面，本申请实施例提供了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取待风格迁移图像、待转换的目标风格类型及预设中间特征图；

按照所述目标风格类型，获取所述目标风格类型的滤波器组的输出激活相对于所述中间特征图的目标权重值；

按照所述目标权重值，调整所述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过所述目标滤波器组输出激活对所述待风格迁移图像进行处理，得到风格迁移后的图像。

可选的，本申请实施例的电子设备基于风格分离框架。

第七方面，本申请实施例提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种数据存储方法，其特征在于，所述方法包括：

将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各所述风格类型滤波器的组输出激活相对于所述中间特征图的权重值；

存储各所述风格类型滤波器组的输出激活相对于所述中间特征图的权重值及所述中间特征图。

可选的，本申请实施例的数据存储方法基于风格分离框架。

可选的，在上述存储各上述风格类型的权重值及上述预设滤波器组之后，上述方法还包括：

获取待风格迁移图像、待转换的目标风格类型及所述中间特征图；

按照所述目标风格类型，获取所述目标风格类型的滤波器组的输出激活相对于所述中间特征图的目标权重值；

按照所述目标权重值，调整所述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过所述目标滤波器组输出激活对所述待风格迁移图像进行处理，得到风格迁移后的图像。

第八方面，本申请实施例提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种图像风格迁移方法，其特征在于，所述方法包括：

获取待风格迁移图像、待转换的目标风格类型及预设中间特征图；

按照所述目标风格类型，获取所述目标风格类型的滤波器组的输出激活相对于所述中间特征图的目标权重值；

按照所述目标权重值，调整所述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过所述目标滤波器组输出激活对所述待风格迁移图像进行处理，得到风格迁移后的图像。

可选的，本申请实施例的图像风格迁移方法基于风格分离框架。

第九方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品在处理器上被执行时，实现上述第一方面任一所述的数据存储方法。

第十方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品在处理器上被执行时，实现上述第二方面任一所述的图像风格迁移方法。

本申请的实施例提供的技术方案可以包括以下有益效果：在本申请实施例中，针对多种风格类型，存储各风格类型的滤波器组的输出激活相对于中间特征图的权重值及中间特征图，而权重值的数据量远远小于特征图的数据量的，因此相比于针对每个风格类型的滤波器组单独存储一个特征图，可以降低存储空间的占用量，节约存储空间，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例的数据存储方法的一种流程示意图；

图2是本申请实施例的数据存储方法的另一种流程示意图；

图3是本申请实施例的图像风格迁移方法的一种流程示意图；

图4是本申请实施例的数据存储装置的一种示意图；

图5是本申请实施例的数据存储装置的另一种示意图；

图6是本申请实施例的图像风格迁移装置的一种示意图；

图7是本申请实施例的电子设备的第一种示意图；

图8是本申请实施例的电子设备的第二种示意图；

图9是本申请实施例的电子设备的第三种示意图；

图10是本申请实施例的电子设备的第四种示意图；

图11是本申请实施例的预设卷积神经网络模型的一种示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

首先对本申请实施例中的专业术语进行解释：

风格迁移是一项近年来在图像处理/计算机视觉领域中受到众多学者关注的、并且有着实际应用价值的技术。风格迁移可以将一张原始图像，转变成一张经过艺术加工的风格化图像。其中风格元素来自于另一张称为风格图像的图像。一个典型的例子是将任意一张图像变为拥有梵高著名油画《星空》风格的图像。

Texture Synthesis(纹理生成)是风格迁移的前身，纹理生成的方法是在像素级建模纹理的方法。此阶段的主要目的是在像素层面对纹理建模，并将给定的纹理迁移到原始图像中，生成最终的纹理图像。在将卷积神经网络引入这一经典问题后。该领域得到了惊人的进步。使得最终生成的纹理图像质量极大提高，在风格迁移中称为风格化图像，因此便有了风格迁移这一领域。风格迁移是基于深度特征来进行纹理建模的方法。因此风格迁移不仅完成的是更一般的纹理生成，同时，其技术特点也与纹理生成几乎不相同了。

风格迁移的具体方法是将原始图像，风格图像一同放入一个预训练好的卷积神经网络，例如VGG19(Visual Geometry Group Network 19，视觉几何组网络19)。通过将原始图像的深度特征转变为与风格图像相似的深度特征，来达到将原始图像转变成风格图像的目的。

Activations(输出激活)，也称为激活函数或激励函数，在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。

在相关的风格迁移方案中，一般可以分为3种迁移类型：单风格迁移、多风格迁移及任意风格迁移。单风格迁移的经典方法包括：FNS(Fast Neural Style，快速神经风格)。多风格迁移的典型方法包括：基于CIN(Conditional Instance Normalization，条件实例归一化)的多风格方法，及Style Bank(风格银行)方法。任意风格迁移包括：基于优化的方法NS(Neural Style，神经风格)，基于亮度和颜色转换的WCT(whitening and coloringtransforms，亮度和色度转换)方法，及基于交换深度特征的方法等。

在多风格的迁移方法中主要有：基于CIN的方法及Style Bank方法。这两个方法都是基于FNS)改进，因此，它们的网络结构中都有自编码器结构，即编码网络和解码网络。在CIN方法中，不同的风格是通过不同的IN层的参数来表示的。这就表示，每一种不同的风格，都有各自的不同的IN参数。在Style Bank方法中，不同的风格是通过中间的128维的FilterBanks(滤波器组)来表示的，同样，每一种风格都有自己的滤波器组。

上述两种方法中，无论是CIN方法的参数解释性不高，导致对风格结果的控制性较弱。SB的参数还是滤波器组，对于新加风格需要过多参数，另外本身对某一种特定风格的表示效率也很低(是一种block-wise(块维度)的表示方法)。在CIN和SB中，风格由IN层的参数或者滤波器组的参数来表示，而内容的表示则由网络中的其他参数所共同表示。两种方法各有优缺点。当风格越来越多，存储的数据将线性增长，会占用大量存储空间。

有鉴于此，本申请实施例提供了一种高效的可解释的数据存储方法，参见图1，该方法包括：

S101，将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图(Intermediate Feature Maps)及各上述风格类型滤波器组的输出激活相对于上述中间特征图的权重值。

本申请实施例中的数据存储方法可以通过处理系统实现，处理系统为任意能够实现本发明实施例的数据存储方法的系统。例如：

处理系统可以为一种设备，包括：处理器、存储器、通信接口和总线；处理器、存储器和通信接口通过总线连接并完成相互间的通信；存储器存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本发明实施例的数据存储方法。

处理系统还可以为一种应用程序，用于在运行时执行本发明实施例的数据存储方法。

处理系统还可以为一种存储介质，用于存储可执行代码，可执行代码用于执行本发明实施例的数据存储方法。

通过相关的神经网络训练方法，得到中间特征图及可风格迁移的各风格类型的滤波器组的输出激活对于中间特征图的权重值。

预设卷积神经网络模型可以如图11所示，包括：编码器(Encoder),解码器(Decoder),以及风格表示部分。其中风格表示部分又由风格基(Style Basis)和风格权值(Style Weights)组成。

在训练过程中，预设卷积神经网络接收的图片包括：内容图像集合及风格图像集合。对每一张输入的内容图像，随机从风格图像集合中抽取最小批处理大小(mini-batchsize)张的风格图像与该内容图像一起训练。需要注意的是，随机对风格集合的抽样，最终是可以保证遍历风格图像集合的。具体训练过程可以包括：

将内容图像输入到编码器中得到中间特征图，然后采用T+1的训练策略，包括T轮进行风格训练，1轮进行自编码器训练。

其中，风格训练为：当得到内容图像的中间特征图后，由风格权值和风格基，加权计算得到风格表示。按照该风格表示对内容图像的中间特征图操作得到风格化的中间特征图，然后用解码器将风格化的中间特征图解码为风格化图像。再接着，将风格化的图像和输入的内容图像同时输入损失网络中，计算损失(Loss)，并通过反向传播算法(BackPropagation Algorithm)优化网络，并且调节网络中所有部分的相关值。当最终风格化图像主观判定合格时，训练过程结束，最终确定任意风格所对应的风格权值。训练过程对应图11中实线部分。

自编码器的训练为：当得到内容图像的中间特征图后，直接使用解码器解码得到重构的内容图像。然后计算重构图像和输入图像的均方误差(Mean Square Error)。再通过反向传播算法(Back Propagation Algorithm)优化网络，并且调节网络中编码器和解码器的相关值。当风格化图像主观判定合格时，训练过程结束。训练过程对应图11中虚线部分。

S102，存储各上述风格类型滤波器组的输出激活相对于上述中间特征图的权重值及上述中间特征图。

处理系统将各风格类型的滤波器组的输出激活相对于中间特征图的权重值及中间特征图存储到指定位置，以供后续进行风格迁移时使用。

可选的，本申请实施例的数据存储方法可以基于风格分离框架，例如Style Bank等。在风格分离的框架中，通过滤波器组与Block-Wise(块维度的)编码表示风格，解码网络的训练是部分分离的。在风格分离框架，例如Style Bank框架中的滤波器组具有更好的解释性，但风格所使用的滤波器组的利用率实际偏低，风格之间的冗余性的探索是可行的。基于此，可以将风格的参数共享，所有需要表示的风格均使用同一组滤波器来表示，对于不同的风格，使用一组表示不同特征图的权重来表示各特定的风格。因此，各风格类型的参数可以使用同一组滤波器组来表示。对于每一种风格本身而言，只需要用一组权重值来表示即可。

在本申请实施例中，针对多种风格类型，存储各风格类型的滤波器组的输出激活相对于中间特征图的权重值及中间特征图，而权重值的数据量远远小于特征图的数据量的，因此相比于针对每个风格类型的滤波器组单独存储一个特征图，可以降低存储空间的占用量，节约存储空间。除此之外，本方法探索了风格之间的关联和冗余性，使得风格中的关联性得以使用共享参数的方式表达，从而使得表示风格的参数明显减少。使用风格分离的框架来单独表示风格，同时，使单独表示的风格尽量共享参数。得益于各风格类型之间的额关联性表示，使得存储风格的参数降低。同时保留少量的通道权值来表示独立的风格。

可选的，参见图2，在上述存储各上述风格类型滤波器组的输出激活相对于上述中间特征图的权重值及上述中间特征图之后，上述方法还包括：

S103，获取待风格迁移图像、待转换的目标风格类型及上述中间特征图。

在用户需要进行风格迁移时，用户会确定待进行风格迁移的图像，即待风格迁移图像，同时用户会输入将待风格迁移图像转换为何种风格类型，即选定待转换的目标风格类型。处理系统获取待风格迁移图像、待转换的目标风格类型及预设中间特征图。

S104，按照上述目标风格类型，获取上述目标风格类型的滤波器组的输出激活相对于上述中间特征图的目标权重值。

处理系统提前存储了各风格类型的滤波器组的输出激活相对于中间特征图的权重值，处理系统确定目标风格类型的滤波器组的输出激活相对于中间特征图的权重值，即目标权重值，并获取目标权重值。

S105，按照上述目标权重值，调整上述中间特征图中各特征的权重，得到目标滤波器组输出激活。

处理系统按照目标权重值，调整中间特征图中各特征的权重，得到权重调整后的特征图，即目标滤波器组输出激活。

S106，通过上述目标滤波器组输出激活对上述待风格迁移图像进行处理，得到风格迁移后的图像。

处理系统通过目标滤波器组输出激活对待风格迁移图像进行处理，将待风格迁移图像的风格类型转换为目标风格类型，得到风格迁移后的图像。

在本申请实施例中，通过目标权重值及中间特征图，得到转换为目标风格类型所需的目标滤波器组输出激活，利用目标滤波器组输出激活对待风格迁移图像进行风格迁移，实现了图像向指定类型的风格迁移。

本申请实施例还提供了一种图像风格迁移方法，参见图3，该方法包括：

S301，获取待风格迁移图像、待转换的目标风格类型及预设中间特征图。

本申请实施例中的图像风格迁移方法可以通过迁移系统实现，迁移系统为任意能够实现本发明实施例的图像风格迁移方法的系统。例如：

迁移系统可以为一种设备，包括：处理器、存储器、通信接口和总线；处理器、存储器和通信接口通过总线连接并完成相互间的通信；存储器存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本发明实施例的图像风格迁移方法。

迁移系统还可以为一种应用程序，用于在运行时执行本发明实施例的图像风格迁移方法。

迁移系统还可以为一种存储介质，用于存储可执行代码，可执行代码用于执行本发明实施例的图像风格迁移方法。

在用户需要进行风格迁移时，用户会确定待进行风格迁移的图像，即待风格迁移图像，同时用户会输入将待风格迁移图像转换为何种风格类型，即选定待转换的目标风格类型。迁移系统获取待风格迁移图像、待转换的目标风格类型及预设中间特征图。预设中间特征图可以通过预设卷积神经网络模型训练得到。

S302，按照上述目标风格类型，获取上述目标风格类型的滤波器组的输出激活相对于上述中间特征图的目标权重值。

迁移系统提前存储了各风格类型的滤波器组的输出激活相对于中间特征图的权重值，迁移系统确定目标风格类型的滤波器组的输出激活相对于中间特征图的权重值，即目标权重值，并获取目标权重值。

可选的，预先存储各风格类型的权重值及预设滤波器组的步骤包括：将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各上述风格类型滤波器的组输出激活相对于上述中间特征图的权重值；存储各上述风格类型滤波器组的输出激活相对于上述中间特征图的权重值及上述中间特征图。

S303，按照上述目标权重值，调整上述中间特征图中各特征的权重，得到目标滤波器组输出激活。

迁移系统按照目标权重值，调整中间特征图中各特征的权重，得到权重调整后的特征图，即目标滤波器组输出激活。

S304，通过上述目标滤波器组输出激活对上述待风格迁移图像进行处理，得到风格迁移后的图像。

迁移系统通过目标滤波器组输出激活对待风格迁移图像进行处理，将待风格迁移图像的风格类型转换为目标风格类型，得到风格迁移后的图像。

可选的，上述图像风格迁移方法基于风格分离框架，例如Style Bank等。在风格分离的框架中，通过滤波器组与编码表示风格，解码网络的训练是部分分离的。在风格分离框架，例如Style Bank框架中的滤波器组具有更好的解释性，风格所使用的滤波器组的利用率实际偏低，风格之间的冗余性的探索是可行的。基于此，可以将风格的参数共享，所有需要表示的风格均使用同一组滤波器来表示，对于不同的风格，使用一组表示不同特征图的权重来表示各特定的风格。因此，各风格类型的参数可以使用同一组滤波器来表示。对于每一种风格本身而言，只需要用一组权重值来表示即可。

在本申请实施例中，通过目标权重值及预设中间特征图，得到转换为目标风格类型所需的目标滤波器组输出激活，利用目标滤波器组输出激活对待风格迁移图像进行风格迁移，实现了图像向指定类型的风格迁移。针对多种风格类型，存储各风格类型的滤波器组的输出激活相对于中间特征图的权重值及中间特征图，而权重值的数据量远远小于特征图的数据量的，因此相比于针对每个风格类型的滤波器组单独存储一个特征图，可以降低存储空间的占用量，节约存储空间。探索了风格之间的关联和冗余性，使得风格中的关联性得以使用共享参数的方式表达，从而使得表示风格的参数明显减少。使用风格分离的框架来单独表示风格，同时，使单独表示的风格尽量共享参数。得益于各风格类型之间的额关联性表示，使得存储风格的参数降低。同时保留少量的通道权值来表示独立的风格。

本申请实施例还提供了一种数据存储装置，参见图4，该装置包括：

权重值确定模块401，被配置为将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各上述风格类型滤波器的组输出激活相对于上述中间特征图的权重值；

数据存储模块402，被配置为存储各上述风格类型滤波器组的输出激活相对于上述中间特征图的权重值及上述中间特征图。

在本申请实施例中，针对多种风格类型，存储各风格类型的滤波器组的输出激活相对于中间特征图的权重值及中间特征图，而权重值的数据量远远小于特征图的数据量的，因此相比于针对每个风格类型的滤波器组单独存储一个特征图，可以降低存储空间的占用量，节约存储空间。

可选的，本申请实施例的数据存储装置基于风格分离框架。

可选的，参见图5，本申请实施例的数据存储装置还包括：

第一参数获取模块403，被配置为获取待风格迁移图像、待转换的目标风格类型及上述中间特征图；

目标权重值确定模块404，被配置为按照上述目标风格类型，获取上述目标风格类型的滤波器组的输出激活相对于上述中间特征图的目标权重值；

目标滤波器组确定模块405，被配置为按照上述目标权重值，调整上述中间特征图中各特征的权重，得到目标滤波器组输出激活；

风格迁移模块406，被配置为通过上述目标滤波器组输出激活对上述待风格迁移图像进行处理，得到风格迁移后的图像。

本申请实施例还提供了一种图像风格迁移装置，参见图6，该装置包括：

第二参数获取模块601，被配置为获取待风格迁移图像、待转换的目标风格类型及预设中间特征图；

权重值获取模块602，被配置为按照上述目标风格类型，获取上述目标风格类型的滤波器组的输出激活相对于上述中间特征图的目标权重值；

滤波器调整模块603，被配置为按照上述目标权重值，调整上述中间特征图中各特征的权重，得到目标滤波器组输出激活；

图像处理模块604，被配置为通过上述目标滤波器组输出激活对上述待风格迁移图像进行处理，得到风格迁移后的图像。

可选的，本申请实施例的图像风格迁移装置基于风格分离框架。

本申请实施例还提供了一种电子设备，参见图7，包括：

处理器701；

用于存储处理器701可执行指令的存储器702；

其中，上述处理器701被配置为：

将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各上述风格类型滤波器的组输出激活相对于上述中间特征图的权重值；

存储各上述风格类型滤波器组的输出激活相对于上述中间特征图的权重值及上述中间特征图。

在本申请实施例中，针对多种风格类型，存储各风格类型的滤波器组的输出激活相对于中间特征图的权重值及中间特征图，而权重值的数据量远远小于特征图的数据量的，因此相比于针对每个风格类型的滤波器组单独存储一个特征图，可以降低存储空间的占用量，节约存储空间。

可选的，本申请实施例的电子设备基于风格分离框架。

可选的，上述处理器701还可以执行：

获取待风格迁移图像、待转换的目标风格类型及上述中间特征图；

按照上述目标风格类型，获取上述目标风格类型的滤波器组的输出激活相对于上述中间特征图的目标权重值；

按照上述目标权重值，调整上述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过上述目标滤波器组输出激活对上述待风格迁移图像进行处理，得到风格迁移后的图像。

可选的，本申请实施例的电子设备可以为如图8所示的装置800。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图8，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

可选的，本申请实施例的电子设备可以为如图9所示的装置900。例如，装置900可以被提供为一服务器。参照图9，装置900包括处理组件922，其进一步包括一个或多个处理器，以及由存储器932所代表的存储器资源，用于存储可由处理组件922的执行的指令，例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件922被配置为执行指令，以执行上述方法。

装置900还可以包括一个电源组件926被配置为执行装置900的电源管理，一个有线或无线网络接口950被配置为将装置900连接到网络，和一个输入输出(I/O)接口958。装置900可以操作基于存储在存储器932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本申请实施例还提供了一种电子设备，参见图10，包括：

处理器1001；

用于存储处理器1001可执行指令的存储器1002；

其中，上述处理器1001被配置为：

获取待风格迁移图像、待转换的目标风格类型及预设中间特征图；

按照上述目标风格类型，获取上述目标风格类型的滤波器组的输出激活相对于上述中间特征图的目标权重值；

按照上述目标权重值，调整上述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过上述目标滤波器组输出激活对上述待风格迁移图像进行处理，得到风格迁移后的图像。

可选的，本申请实施例的电子设备基于风格分离框架。可选的，本申请实施例的电子设备可以为图8或图9所示的装置。

本申请实施例提供了一种非临时性计算机可读存储介质，当上述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种数据存储方法，该方法包括：

将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各上述风格类型滤波器的组输出激活相对于上述中间特征图的权重值；

存储各上述风格类型滤波器组的输出激活相对于上述中间特征图的权重值及上述中间特征图。

在本申请实施例中，针对多种风格类型，存储各风格类型的滤波器组的输出激活相对于中间特征图的权重值及中间特征图，而权重值的数据量远远小于特征图的数据量的，因此相比于针对每个风格类型的滤波器组单独存储一个特征图，可以降低存储空间的占用量，节约存储空间。

可选的，本申请实施例的数据存储方法基于风格分离框架。

可选的，在上述存储各上述风格类型的权重值及上述预设滤波器组之后，上述方法还包括：

获取待风格迁移图像、待转换的目标风格类型及上述中间特征图；

按照上述目标风格类型，获取上述目标风格类型的滤波器组的输出激活相对于上述中间特征图的目标权重值；

按照上述目标权重值，调整上述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过上述目标滤波器组输出激活对上述待风格迁移图像进行处理，得到风格迁移后的图像。

本申请实施例还提供了一种非临时性计算机可读存储介质，当上述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种图像风格迁移方法，该方法包括：

获取待风格迁移图像、待转换的目标风格类型及预设中间特征图；

按照上述目标风格类型，获取上述目标风格类型的滤波器组的输出激活相对于上述中间特征图的目标权重值；

按照上述目标权重值，调整上述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过上述目标滤波器组输出激活对上述待风格迁移图像进行处理，得到风格迁移后的图像。

可选的，本申请实施例的图像风格迁移方法基于风格分离框架。

本申请实施例还提供了一种计算机程序产品，上述计算机程序产品在处理器上被执行时，实现一种数据存储方法，该方法包括：

将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各上述风格类型滤波器的组输出激活相对于上述中间特征图的权重值；

存储各上述风格类型滤波器组的输出激活相对于上述中间特征图的权重值及上述中间特征图。

在本申请实施例中，针对多种风格类型，存储各风格类型的滤波器组的输出激活相对于中间特征图的权重值及中间特征图，而权重值的数据量远远小于特征图的数据量的，因此相比于针对每个风格类型的滤波器组单独存储一个特征图，可以降低存储空间的占用量，节约存储空间。

可选的，本申请实施例的数据存储方法基于风格分离框架。

可选的，在上述存储各上述风格类型的权重值及上述预设滤波器组之后，上述方法还包括：

获取待风格迁移图像、待转换的目标风格类型及上述中间特征图；

按照上述目标风格类型，获取上述目标风格类型的滤波器组的输出激活相对于上述中间特征图的目标权重值；

按照上述目标权重值，调整上述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过上述目标滤波器组输出激活对上述待风格迁移图像进行处理，得到风格迁移后的图像。

本申请实施例还提供了一种计算机程序产品，上述计算机程序产品在处理器上被执行时，实现一种图像风格迁移方法，该方法包括：

获取待风格迁移图像、待转换的目标风格类型及预设中间特征图；

按照上述目标风格类型，获取上述目标风格类型的滤波器组的输出激活相对于上述中间特征图的目标权重值；

按照上述目标权重值，调整上述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过上述目标滤波器组输出激活对上述待风格迁移图像进行处理，得到风格迁移后的图像。

可选的，本申请实施例的图像风格迁移方法基于风格分离框架。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据存储方法，其特征在于，所述方法包括：

将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各所述风格类型滤波器的组输出激活相对于所述中间特征图的权重值；

存储各所述风格类型滤波器组的输出激活相对于所述中间特征图的权重值及所述中间特征图。

2.根据权利要求1所述的方法，其特征在于，在所述存储各所述风格类型滤波器组的输出激活相对于所述中间特征图的权重值及所述中间特征图之后，所述方法还包括：

获取待风格迁移图像、待转换的目标风格类型及所述中间特征图；

按照所述目标风格类型，获取所述目标风格类型的滤波器组的输出激活相对于所述中间特征图的目标权重值；

按照所述目标权重值，调整所述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过所述目标滤波器组输出激活对所述待风格迁移图像进行处理，得到风格迁移后的图像。

3.一种图像风格迁移方法，其特征在于，所述方法包括：

获取待风格迁移图像、待转换的目标风格类型及预设中间特征图；

按照所述目标风格类型，获取所述目标风格类型的滤波器组的输出激活相对于所述中间特征图的目标权重值；

按照所述目标权重值，调整所述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过所述目标滤波器组输出激活对所述待风格迁移图像进行处理，得到风格迁移后的图像。

4.根据权利要求3所述的方法，其特征在于，所述图像风格迁移方法基于风格分离框架。

5.一种数据存储装置，其特征在于，所述装置包括：

权重值确定模块，被配置为将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各所述风格类型滤波器的组输出激活相对于所述中间特征图的权重值；

数据存储模块，被配置为存储各所述风格类型滤波器组的输出激活相对于所述中间特征图的权重值及所述中间特征图。

6.一种图像风格迁移装置，其特征在于，所述装置包括：

第二参数获取模块，被配置为获取待风格迁移图像、待转换的目标风格类型及预设中间特征图；

权重值获取模块，被配置为按照所述目标风格类型，获取所述目标风格类型的滤波器组的输出激活相对于所述中间特征图的目标权重值；

滤波器调整模块，被配置为按照所述目标权重值，调整所述中间特征图中各特征的权重，得到目标滤波器组输出激活；

图像处理模块，被配置为通过所述目标滤波器组输出激活对所述待风格迁移图像进行处理，得到风格迁移后的图像。

7.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为在运行时执行权利要求1-2中任一所述的数据存储方法。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为在运行时执行权利要求3-4中任一所述的风格迁移方法。

9.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种数据存储方法，其特征在于，所述方法包括：

将多种风格类型的图像输入到预设卷积神经网络模型中进行训练，得到中间特征图及各所述风格类型滤波器的组输出激活相对于所述中间特征图的权重值；

存储各所述风格类型滤波器组的输出激活相对于所述中间特征图的权重值及所述中间特征图。

10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种图像风格迁移方法，其特征在于，所述方法包括：

获取待风格迁移图像、待转换的目标风格类型及预设中间特征图；

按照所述目标风格类型，获取所述目标风格类型的滤波器组的输出激活相对于所述中间特征图的目标权重值；

按照所述目标权重值，调整所述中间特征图中各特征的权重，得到目标滤波器组输出激活；

通过所述目标滤波器组输出激活对所述待风格迁移图像进行处理，得到风格迁移后的图像。