CN108205813A - 基于学习网络的图像风格化 - Google Patents

Abstract

根据本公开内容的实现，提出了一种基于学习网络的图像风格化的方案。在该方案中，利用多个图像以及具有特定纹理风格的参考图像来训练学习网络。该学习网络的多个不同子网络被分别训练。具体地，一个子网络被训练为实现从源图像提取一个或多个特征图并且将被施加有纹理风格的特征图变换成目标图像。每个特征图指示源图像的一部分特征信息。另一子网络被训练为将指定的纹理风格施加于提取的特征图，从而使得基于处理后的特征图生成的目标图像能够体现指定的纹理风格。

Description

基于学习网络的图像风格化

背景技术

图像风格化指的是将一幅图像的原始风格转换为期望的其他风格。图像的风格也可以被称为图像的纹理风格，涉及该图像表面呈现的一个或多个纹理特点，包括但不限于图像中的颜色搭配、明暗处理、线条运用等等。图像的风格可以涉及图像的某一方面的特点、例如素描风格中对物体的线条化或油画风格中粗糙的笔触。在一些情况中，图像的风格也可以涉及一幅图像的多个方面的特点。例如，很多画家的不同作品可以被视为不同的风格，这样的风格可以由画作中的颜色、光线、线条等多个方面来体现。在转换一张图像的风格时，该图像中捕捉的内容基本保持不变。例如，如果图像中原本包含建筑、人物、天空、植被等物体，那么这些物体在经过图像风格化之后仍然被保留，只是它们的纹理特点会发生改变，从而体现转换后的纹理风格。

图像风格化的功能可以由诸如智能电话或个人计算机等具有处理能力的电子设备来提供。在一些使用情况中，可以允许用户从不同的图像风格中选择特定风格来处理用户输入的图像。当前的很多图像风格化的实现要求较高的处理资源并且消耗较多时间，这对于电子设备的处理资源有限并且要求快速结果呈现的用户而言是不期望的。

发明内容

根据本公开内容的实现，提出了一种基于学习网络的图像风格化的方案。在该方案中，利用多个图像以及具有特定纹理风格的参考图像来训练学习网络。该学习网络的多个不同子网络被分别训练。具体地，一个子网络被训练为实现从源图像提取一个或多个特征图并且将被施加有纹理风格的特征图变换成目标图像。每个特征图指示源图像的一部分特征信息。另一子网络被训练为将指定的纹理风格施加于提取的特征图，从而使得基于处理后的特征图生成的目标图像能够体现指定的纹理风格。通过本公开内容的方案，图像特征提取与风格化处理分离并且风格化处理在图像的特征空间中被执行，这有利于降低对处理时间和资源的消耗。此外，图像特征提取与风格化处理的这种分离还可以支持针对每种纹理风格训练对应的子网络，从而使得该学习网络在提供更多纹理风格方面具有高灵活度。

提供发明内容部分是为了简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。

附图说明

图1示出了能够实施本公开内容的多个实现的计算环境的框图；

图2示出了根据本公开内容的一个实现的用于图像风格化的学习网络的框图；

图3示出了根据本公开内容的一个实现的对图2的学习网络的训练过程的流程图；

图4示出了根据本公开内容的一个实现的对图2的学习网络的扩展的框图；

图5示出了根据本公开内容的一个实现的在特征空间中执行风格化的示意图；

图6示出了根据本公开内容的一个实现的用于图像风格化的过程的流程图；

图7示出了根据本公开内容的一个实现的基于学习网络的图像风格化的过程的流程图；

图8示出了根据本公开内容的另一个实现的基于学习网络的图像风格化的示意图；以及

图9示出了根据本公开内容的又一个实现的基于学习网络的图像风格化的示意图。

这些附图中，相同或相似参考符号用于表示相同或相似元素。

具体实施方式

现在将参照若干示例实现来论述本公开内容。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开内容，而不是暗示对本主题的范围的任何限制。

如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

示例环境

以下参考附图来说明本公开内容的基本原理和若干示例实现。图1示出了能够实施本公开内容的多个实现的计算设备100的框图。应当理解，图1所示出的计算设备100仅仅是示例性的，而不应当构成对本公开内容所描述的实现的功能和范围的任何限制。如图1所示，计算设备100包括通用计算设备形式的计算设备100。计算设备100的组件可以包括但不限于一个或多个处理器或处理单元110、存储器120、存储设备130、一个或多个通信单元140、一个或多个输入设备150以及一个或多个输出设备160。

在一些实现中，计算设备100可以被实现为各种用户终端或服务终端。服务终端可以是各种服务提供方提供的服务器、大型计算设备等。用户终端诸如是任意类型的移动终端、固定终端或便携式终端，包括移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，计算设备100能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。

处理单元110可以是实际或虚拟处理器并且能够根据存储器120中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备100的并行处理能力。处理单元110也可以被称为中央处理单元(CPU)、微处理器、控制器、微控制器。

计算设备100通常包括多个计算机存储介质。这样的介质可以是计算设备100可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器120可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或其某种组合。存储器120可以包括一个或多个程序产品122，其具有一个或多个程序模块集合，这些程序模块被配置为执行本文所描述的各种实现的功能。存储设备130可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如内存、闪存驱动、磁盘或者任何其他介质，其能够用于存储信息和/或数据并且可以在计算设备100内被访问。

计算设备100可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图1中示出，可以提供用于从可拆卸、非易失性磁盘进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。

通信单元140实现通过通信介质与另外的计算设备进行通信。附加地，计算设备100的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备100可以使用与一个或多个其他服务器、个人计算机(PC)或者另一个一般网络节点的逻辑连接来在联网环境中进行操作。

输入设备150可以是一个或多个各种输入设备，例如鼠标、键盘、追踪球、语音输入设备等。输出设备160可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备100还可以根据需要通过通信单元140与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备100交互的设备进行通信，或者与使得计算设备100与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

计算设备100可以用于实施本公开内容的多种实现中的图像风格化。因此，在下文中，计算设备也被称为“图像处理设备100”。在执行图像风格化时，图像处理设备100能够通过输入设备150接收源图像102。图像处理设备100可以处理该源图像102以将该源图像102的原始风格改变为指定风格，并且通过输出设备160输出经风格化的图像104。在本文中，图像的风格也称为图像的纹理风格。纹理风格涉及该图像中一个或多个区域在颜色、明暗、线条等方面呈现的一个或多个纹理特点，包括但不限于颜色搭配、明暗过渡、笔触、线条粗细和弯曲度等等。

为了实现风格的改变，图像处理设备100可以预先构建用于图像风格化的模型并且使用训练图像170对该模型进行训练。如图所示，训练图像170例如可以存储在存储设备130中，当然也可以存储在设备100可访问的其他存储设备中。训练图像170可以包括具有特定纹理风格的参考图像170-1以及多个其他图像170-2至170-N。其他图像170-2至170-N可以是纹理风格区别于参考图像170-1的任何图像。基于训练图像170，可以将模型训练为能够将多种不同图像170-2至170-N的纹理风格均转换为参考图像170-1的纹理。因此，利用已训练的模型，图像处理设备100可以将当前输入的源图像102的纹理风格变换为具有与参考图像170-1类似的纹理风格的图像104。例如，图像104的颜色搭配和线条运用与参考图像170-1类似，虽然图像104中的内容仍然是源图像102的内容。

应当理解，图1中示出的图像102、104和170-1仅仅是示例性的。可以向图像处理设备100输入任意图像102以供处理，并且基于任意参考图像170-1来训练模型。基于不同的模型和训练方法，得到经风格化的图像104也可能不同。存在多种基于模型的方案来执行图像风格化。一种常用的模型是神经网络。神经网络通常包括多个层，每个层中包括一些神经单元。神经网络的特点在于其强大的学习能力，它可以在训练过程中从训练数据中获得处理能力来对新的数据执行相应处理。因此，神经网络也可以被称为“学习网络”或“学习模型”。在下文中，术语“学习模型”、“学习网络”、“神经网络”、“模型”和“网络”可替换地使用。

神经网络的层数和神经元的数目决定了网络的深度(学习能力)。在训练过程中，通过训练数据对神经网络进行训练，将可以使得神经网络的各个神经元的参数、层与层或神经元之间的映射参数得以被确定。已训练的神经网络可以具备特定的处理能力。例如，神经网络可以被训练为将参考图像中的风格转移到输入的源图像中。虽然神经网络能够提供强大的能力图像风格化，但是当前基于神经网络的方案在计算效率和风格化的灵活度方面存在诸多缺陷。

一种基于神经网络的图像风格化技术方案提供了对于图像风格的实时学习和处理。在该技术方案中，神经网络不针对特定参考图像进行训练。当需要对输入的源图像执行风格转换时，可以将具有期望的纹理风格的参考图像和源图像一起输入该神经网络。该神经网络的损失函数(loss function)被设置使得输出图像在参考图像与源图像之间达到平衡。因此，神经网络将在从输入到输出的前向方向中以及从输出到输入的后向方向中不断更新。当需要处理新的源图像和/或者需要将源图像的风格转换成其他纹理风格时，该神经网络将针对新的源图像和/或参考图像继续更新，以提供对应的经风格化的图像。由于实时对每个源图像和期望的参考图像进行学习和处理，因此输出图像可以较好地呈现出参考图像的纹理风格。然而，这样的结果是以计算资源和时间的高消耗为成本的，因为神经网络的学习过程是非常耗费资源和时间的过程。

取代在使用过程中实时更新神经网络，另外一种图像风格化的技术方案使用训练好的神经网络来对不同的源图像施加特定的纹理风格。在该技术方案中，事先基于具有特定纹理风格的参考图像和多个不同的源图像来训练神经网络，以使得神经网络能够学习到将该纹理风格施加到输入图像的能力。在使用过程中，如果需要对新的源图像进行风格化，直接将该图像作为该神经网络的输入。根据已训练好的神经网络参数，计算出输出图像使得该图像具有与特定纹理风格类似的风格。这种方案虽然损失了一定的精确度，但是可以在使用时较快给出结果。然而，由于整个神经网络被训练成特定于一个纹理风格，因此缺少可扩展性。当需要其他纹理风格时，只能通过训练新的单独的神经网络来实现。

此外，常规的技术方案的共同问题还在于纹理风格与图像内容无法分离。由于作为训练图像的源图像和参考图像共同用于训练整个神经网络，这导致难以区分出神经网络的哪一部分是只用于纹理风格的部分、哪一部分是用于处理源图像的内容的部分。实际上，这样的神经网络的所有参数均被训练为实现一个最终目标，即使得输出图像具有源图像的内容同时又呈现参考图像的纹理风格。也就是说，神经网络只能从整体上学习到将参考图像的纹理风格施加在源图像的内容上。这样的神经网络相当于一个“黑盒子”，因而难以在此基础上进行扩展得到提供更多不同纹理风格的处理的能力。

模型架构和模型训练

根据本公开内容的实现，提出了一种新的基于学习网络(神经网络)的图像风格化的方案。在该方案中，构造学习网络用于图像特征提取和图像风格化处理，并且图像特征提取与风格化处理是可分离的。不同于常规技术方案中将整个学习网络训练为在图像内容空间中执行处理，根据本公开内容提供的学习网络包括单独的子网络用于在图像的特征空间中执行图像风格化处理。被施加有特定纹理风格的图像特征然后从特征空间被转换到内容空间中，从而得到最终的目标图像。借助于分离的图像风格化处理，可以有效地提高处理效率，并且还可以容易地将已训练好的学习网络扩展为容纳对更多不同纹理风格的处理。此外，这样的学习网络在使用过程中也能实现快速处理和风格灵活融合的优点。

以下通过具体示例来进一步描述本公开内容的实现。首先参照图2，其中示出了学习网络200的总体架构。如所示出的，学习网络200包括特征提取部分210、特征转换部分212和图像风格化部分220。特征提取部分210被配置为从输入图像提取一个或多个特征图(feature map)204。每个特征图204指示输入图像的一部分特征信息，诸如输入图像中的一个或多个物体的颜色、轮廓、边缘、线条等信息。特征提取部分210执行与特征转换部分212基本相反的操作，以基于特征图重新生成图像。因此，特征提取部分210可以被称为编码器部分，并且特征转换部分212可以被称为解码器部分。根据本公开内容的实现，特征提取部分210和特征转换部分212组成学习网络200的一个子网络，用于对图像内容进行变换。

在一些实现中，特征提取部分210和特征转换部分212可以由神经网络的多个层组成。可以采用在图像处理方面表现出色的卷积神经网络(CNN)的多个层构成的特征提取部分210。例如，特征提取部分210可以用于特征提取的由多个卷积层构成。特征转换部分212可以对称地设置。例如，如果特征提取部分210包括一个步长为1的卷积层和两个步长为2的卷积层，那么特征转换部分212可以包括两个步长为1/2的卷积层和1个步长为1的卷积层。组成特征提取部分210和特征转换部分212的每个卷积层可以由多个卷积滤波器(卷积核(kernel)或神经元)构成。每个卷积滤波器用于对输入图像(或前一层的输出)中的一个区块(patch)执行卷积操作。可以通过对卷积滤波器的选择实现对图像的特定信息(例如一个或多个物体的颜色、轮廓、边缘、线条等)进行提取。

附加地，在特征提取部分210和特征转换部分212中可以在每个卷积层之后设置用于执行非线性变换的激励层(由非线性激励函数组成，例如ReLU函数)和/或用于执行归一化的层。在一些实现中，可以设置部分210和212的最后一层为卷积层。当然，这并非必要的。应当理解，以上仅给出特征提取部分210和特征转换部分212的一些具体示例。在其他实现中，也可以以其他方式设置特征提取部分210和特征转换部分212，以达到从图像内容中提取特征图以及将特征图转换回到图像内容的目的。特征提取部分210输出的特征图的数目可以由该部分的最后一个卷积层中的卷积核数目决定。

图像风格化部分220被配置为在图像的特征空间中执行，以将相应的纹理风格施加到图像的特征图中。从图2可以看出，在学习网络200中，特征提取部分210的特征提取操作是独立于图像风格化部分220。图像风格化部分220可以包括用于施加不同纹理风格的子网络，例如纹理风格子网络222和纹理风格子网络224。每个纹理风格子网络也可以CNN的多个层构成，例如可以包括多个卷积层，其中每个卷积层包括多个卷积滤波器，用于执行卷积操作。如上所述，卷积滤波器的处理对输入数据(即源图像的特征图204)中的区块(patch)(对应于输入图像中的一个区域)执行卷积操作。在特征空间中的图像风格化的具体原理将在下文中详细描述。

经纹理风格子网络处理的特征图的数目可以由该子网络的最后一个卷积层中的卷积核数目决定。也就是说，经过纹理风格子网络处理后的特征图的数目可能发生变换，但是依然可以结合起来表示源图像的特征信息并且这些特征信息还经过处理以具有一定的纹理风格。

应当理解，虽然仅示出两个子网络，在其他实现中，学习网络200也可以被构造为包括仅一个纹理风格子网络或者多于两个的纹理风格子网络。实际上，由于图像纹理化与特征风格分离，可以灵活地在图像风格化部分220中设置任意数目的纹理风格子网络。

为了使得学习网络200具备实现图像风格化的能力，在构建好学习网络200的架构之后，采用训练图像对该网络进行训练。图3示出了根据本公开内容的一个实现的对学习网络200的训练过程300。过程300例如可以由图1的图像处理设备100来实现。在310，获取多个源图像和具有纹理风格的参考图像。源图像和参考图像可以统称为训练图像。如图2所示，训练图像可以包括多个源图像202-1、202-2、……、202-N(统称为源图像202)和具有相应纹理风格的参考图像230。参考图像230的数目取决于要训练的纹理子网络的数目。例如，如果图像风格化部分220包括两个纹理子网络222和224，则可以采用两个参考图像232和234来分别训练这两个子网络。

在320，基于获取的源图像202和参考图像230来更新学习网络200。对学习网络200的训练过程实际上就是对学习网络200的参数(包括网络的每个层中包含的神经元的权值)不断更新的过程。更新的结束可以通过设定的损失函数(loss function)的收敛来判断。学习网络200的参数在初始阶段可以被设置为随机值，并且随着训练过程不断更新。达到最终收敛的学习网络就是已训练好的网络。

为了实现特征提取与图像风格化的处理分离，在训练过程中，多个源图像202主要用于训练特征提取部分210和特征转换部分212，而具有不同的纹理风格的参考图像230可以用于训练相应的纹理风格子网络。例如，参考图像232用于训练纹理风格子网络222，而参考图像234用于训练纹理风格子网络224。因此，训练过程可以被划分为对两个分支252和254的训练，其中第一分支252包括对特征提取部分210和特征转换部分212的训练，第二分支254包括对图像风格化部分220中的各个纹理风格子网络的训练(当然这个分支也会涉及用于接收输入源图像的特征提取部分210和用于给出输出图像的特征转换部分212)。以下将描述对这两个分支的训练过程。

在第一分支252的训练中，训练的目标是使特征映射部分210被训练为能够提取源图像202的特征图，并且使特征转换部分212被训练为能够将从特征图转换得到的输出图像206-1、206-2……、206-N(统称为输出图像206)分别近似于输入源图像202-1、202-2……、202-N。假设训练特征提取部分210被表示为ε，特征转换部分212被表示为经过训练特征提取部分210之后，可以从每个源图像202(被表示为I)中提取一个或多个特征图(统一表示为F)，即F＝ε(I)。特征转换部分212基于特征图F生成的输出图像O要不断近似于输入图像I，即因此，可以通过度量输出图像O与输入图像I之间的差异作为损失函数。在一个示例中，可以计算输出图像O与输入图像I之间的最小均方误差(MSE)作为损失函数其被表示为：

在对第二分支254的训练中，训练目标是使得每个纹理风格子网络将相应的纹理风格施加于源图像202的特征图204。在通过该子网络施加的纹理风格之后，还应当使得特征转换部分212输出的经风格化的图像240在源图像202与参考图像230之间达到平衡。这样的平衡可以是使得经风格化的图像240与源图像202之间的风格相似度和经风格化的图像240与参考图像230之间的风格相似度基本相同或差异在预定阈值之内。同时，为了保持图像内容，图像240的内容与源图像202的内容也不应有太大差距。例如，纹理风格子网络222被训练为使得输出图像242-1、242-2、……、242-N(统称为输出图像242)分别在参考图像232与相应的源图像202-1、202-2、……、202-N之间达到平衡，纹理风格子网络224要使得输出图像244-1、244-2、……、244-N(统称为输出图像244)分别在参考图像234与相应的源图像202-1、202-2、……、202-N之间达到平衡。

假设图像风格化部分220被表示为其包括n个纹理风格子网络(被表示为K_i，其中i＝{1、…、n})。用于训练每个纹理风格子网络K_i的参考图像被表示为S_i。每个纹理风格子网络K_i对源图像的特征图F执行卷积之后得到经处理的特征图这样的卷积操作可以被表示为：

其中并且c_in和c_out分别表示特征图F和的特征通道的数目，(h，w)表示特征图的尺寸，并且k_w，k_h表示纹理风格子网络K_i中的卷积滤波器的大小。在分支254中，经处理的特征图也由特征转换部分212转换成输出图像O_i。经过每个纹理风格子网络K_i的风格化之后的输出图像O_i可以被表示为

在第二分支254中，用于训练每个纹理风格子网络K_i的损失函数可以被设置为源图像I、参考图像S_i和经风格化的输出图像O_i之间的差异最小化。为了实现图像风格化的目的，三幅图像总是存在差异，因此损失函数的设定可以不基于这些图像的每个像素之间的差异，而是基于整体图像的感知差异(perceptual difference)。这样的感知差异可以由多个方面来确定。首先，期望保证输出图像O_i与输入源图像I的内容保持大体一致，因此可以将输出图像O_i与输入源图像I的内容差异考虑在感知差异中。其次，还期望输出图像O_i与参考图像S_i的风格类似，因此在感知差异中考虑这两幅图像之间的风格差异。备选地或附加地，还可以考虑输出图像O_i本身的变化正则化(variation regularization)。这些不同的差异可以被加权以构成在三幅图像I、S_i、O_i之间的总体感知差异。

基于上述感知差异，可以确定第二分支254的损失函数(也可称为感知损失函数)其可以被表示如下：

其中表示输出图像O_i与输入源图像I的内容差异，表示输出图像O_i与参考图像的风格差异，表示输出图像O_i本身的变化正则化，并且α、β和γ表示内容差异、风格差异和变化正则化的相应权值。

可以采用当前已知或者今后开发出的多个方法来估计上述内容差异风格差异和变化正则化例如，可以在文献L.A.Gatys,A.S.Ecker,M.Bethge，“A neuralalgorithm of artistic style”，arXiv preprint arXiv:1508.06576,2015中找到内容差异和风格差异的计算的示例。还可以在文献H.A.Aly,E.Dubois,“Image up-sampling using total-variation regularization with a new observation model,”IEEE Transactions on Image Processing,14(10):1647–1659,2005和J.Johnson,A.Alahi,and L.Fei-Fei,“Perceptual losses for real-time style transfer andsuper-resolution,”arXiv preprint arXiv:1603.08155,2016中找到变化正则化的一些示例。这些文献通过引用而全文结合于此。应当理解，还可以以其他度量方式来确定源图像I、参考图像S_i和经风格化的输出图像O_i之间的差异以用于训练风格化处理。

基于第一分支252的损失函数可以基于梯度反传原则不断更新特征提取部分210和特征转换部分212。具体地，可以以迭代地方式多次将同一源图像输入特征提取部分210，并且每次以一定梯度更新特征提取部分210和特征转换部分212的参数，然后查看损失函数是否收敛。收敛条件可以被预先设定。此外，基于第二分支254的损失函数也可以类似地基于梯度反传原则更新图像风格化部分220的参数。第二分支254的训练可以涉及针对每个纹理风格子网络的分别更新。除了源图像202之外，每个纹理风格子网络的更新将依赖于对应的参考图像230。每个分支的训练过程都可以被认为是一个端到端的训练过程。

在一些实现中，在两个分支252和254的训练中，可以先确定特征提取部分210和特征转换部分212的参数，并且然后再训练图像风格化部分220。在另外一些实现中，为了平衡特征提取和图像风格化，还可以交替地训练第一分支252和第二分支254。在交替训练过程中，可以每图像风格化部分220更新T次(T≥1)之后，再更新特征提取部分210和特征转换部分212一次。应当理解，初始时可以先将图像风格化部分220更新T次或者先更新特征提取部分210和特征转换部分212一次，并且然后交替进行两者的更新。这样的更新方式可以被称为(T+1)迭代方式。T可以是2、3、5、10等数值。本公开内容的范围在此方面不受限制。当然，也应理解，在交替训练过程的每轮迭代中，也可以将更新特征提取部分210和特征转换部分212两次或两次以上。在一些实现中，由于实现图像风格化部分的任务更重要且更复杂，可以使得第二分支254的更新次数多于第一分支252的更新次数即可。

在一些实现中，第二分支254的更新仅涉及图像风格化部分220的更新。也就是，在第二分支254的更新过程中，特征提取部分210和特征转换部分212的参数保持不变。备选地，为了约束特征提取部分210和特征转换部分212的参数，使得它们更适合于图像风格化情境下的处理而不是一般化的处理，除了在第一分支252中更新之后，还可以在第二分支254中将特征提取部分210和特征转换部分212与图像风格化部分220一起联合地更新。例如，可以在T次对图像风格化部分220的更新中，也对特征提取部分210和特征转换部分212分别执行更新。在这个过程中对特征提取部分210和特征转换部分212的更新的梯度可以较小。

以上描述了用于图像风格化的学习网络200的构建和训练过程。仅为了图示的目的而在图2中示出图像202-1、232-234、242-1、244-1和206-1，在其他实现中，可以采用任何其他源图像和参考图像来训练学习网络200。

在学习网络200中，通过在特征空间中执行图像风格化，可以将特征提取与风格化处理分离。这样的网络架构有利于提高计算效率。例如，由于特征提取部分210和特征转换部分212仅被配置为执行特征提取和特征转换的任务，因此这两个部分对于网络深度的要求不高并且可以由较为简单的神经网络结构来实现。而且，用于实现多种纹理风格的处理的子网络可以共享同一个特征提取部分210和特征转换部分212，而不必为每种纹理风格设计单独的学习网络，这进一步地提高了图像风格化的训练效率。此外，这样的网络架构在使用过程中也有利于效率的提高和图像风格化的灵活施加，这方面的优点将在以下“基于模型的图像风格化”部分中讨论。

模型的扩展

以上已经描述在预先构建学习网络200的图像风格化部分220的一个或多个纹理子网络的情况下对学习网络200的训练。在一些情况中，可能在学习网络200的训练完成之后期望进一步地扩展学习网络200的图像风格化能力。由于学习网络200具有特定的用于图像风格化处理的部分(即部分220)，因此可以方便地添加新的纹理风格子网络并且对其继续训练。

图4示出了扩展学习网络200的示例。在该示例中，图像风格化部分220中添加了新的纹理风格子网络，即纹理风格子网络422(被表示为K₃)。该纹理风格子网络422通过具有特定纹理风格的参考图像432来训练，以向源图像202的特征图204施加该参考图像432的纹理风格。由于学习网络200的其他部分已经完成训练，在纹理风格子网络422的训练过程中，只有纹理风格子网络422的参数被不断更新而其他部分(包括特征提取部分210、特征转换部分212和其他已训练的纹理风格子网络222和224)的参数被固定。因此，虽然源图像202仍被输入到特征提取部分210，但是不改变该部分的参数，而只是为了辅助更新纹理风格子网络422。

纹理风格子网络422的训练也是的特征转换部分212的输出图像442-1、442-2、……、442-N(统称为输出图像442)分别在参考图像432与相应的源图像202-1、202-2、……、202-N之间达到平衡。也就是说，输出图像442在内容上与源图像202类似并且在纹理风格上与参考图像432类似。纹理风格子网络422的训练与以上参照图2描述的对图像风格化部分220中的纹理风格子网络222和224的训练类似，区别仅在于在该训练过程中无需更新特征提取部分210和特征转换部分212的参数。为了简洁，在此将不再赘述这样的训练过程。由于仅需训练纹理风格子网络422，该训练过程可以以较快速度完成(例如达到数分钟或数十秒的水平)。

应当理解，图4示出的参考图像432和输出图像442-1仅是示例性，还可以采用任何其他图像作为参考图像用于训练新的纹理风格子网络，并且取决于网络架构，输出图像442-1也可以有变化。虽然图4仅示出向已训练的学习网络200添加一个新的纹理风格子网络，在其他示例中，还可以向学习网络200同时或按顺序添加更多的子网络。在一些实现中，也可以从学习网络200中删除一个或多个已训练好的纹理风格子网络而不影响其他纹理风格子网络的操作。学习网络200的灵活缩放性为用户提供了更多的方便，使得用户可以根据需要向学习网络200添加和删除对特定纹理风格的处理。

特征空间中的风格化处理

如以上提及的，在本公开内容的实现中，学习网络200提供的图像风格化在输入图像的特征空间中执行。在常规图像风格化方案中，由于特征提取与图像风格化不是可以明确分离的两个过程，因此图像风格化的处理实际上被融合在整个神经网络的每一层中。这样的处理方式也可以被认为直接在图像内容上执行风格化处理。然而，发明人已经发现，在图像的特征空间中执行风格化处理之后并且将经处理的特征图再变换成图像的过程依然可以达到与将纹理风格直接施加到图像内容一样的效果。以下通过图5验证这样的过程。

图5图示了在特征空间中执行风格化的示意图。在图5中，以纹理风格子网络222对源图像202-1的特征图204施加风格化为例。为了图示的目的，仅示出对于特征图204的一个区块502执行的风格化(并且因此可以将特征图204的其他区块的值设为零)。纹理风格子网络222包括多个卷积滤波器(也被称为滤波器组)。经过训练之后，每个滤波器的某种通道组合与区块502相应通道组合进行卷积，卷积后的特征区块512经过特征转换部分212转换到输出图像242-1(即经风格化的图像242-1)的区块542。

通过对比可以发现，输出图像242-1中的区块512与参考图像232的区块532在外观上非常相似并且部分地体现参考图像232的风格。这说明训练得到的纹理风格子网络222的卷积滤波器的通道编码了参考图像232的某个纹理风格单元，也即区块532。因此，参考图像232的区块532可以被认为部分地代表参考图像232的纹理风格。例如，区块532可以包括参考图像232的一个区域中具有代表性的颜色、颜色搭配、线条、轮廓等等。因此，区块532也可以被称为纹理基元(texton)。

应当理解，图5仅仅是卷积滤波器的某一个通道组合的原理示意，在操作过程中，所采用的纹理风格子网络将会对卷积滤波器的其他通道进行组合以代表参考图像232的其他纹理基元，从而实现对特征图204的全部区域的风格化处理。

发明人注意到，图像风格化与图像处理中的纹理合成过程具有一定的相似性，均涉及对图像纹理的改变。纹理合成涉及简单地利用纹理基元对源图像的像素值进行处理。具体地，在纹理合成过程中，源图像的相应区块的像素值被替换为纹理基元的像素值，并且使得该区块边缘像素值与源图像的其他区块实现平滑过渡。由于纹理合成过程仅对源图像的像素处理进行处理(替换或平滑过渡)，因而完全不涉及源图像在特征空间中的特征信息(即特征图)。然而，在图像风格化中，为了使得学习网络能够具有将特定纹理风格施加到不同源图像上的能力，而将源图像变换到特征空间中。通过上述过程可以看出，即使在特征空间中对源图像的特征图施加纹理风格，也可以将该纹理风格延续到最后转换的输出图像中。正是基于这样的构思，在本公开内容的实现中，提出了将特征提取和风格化处理任务明确划分的学习网络(例如以上参照图2至图4描述的学习网络200)，并且可以在训练和使用过程中获得多种优点。

基于模型的图像风格化

已训练的学习网络200可以被存储在图像处理设备100作为例如存储器120中的程序122。学习网络200也可以被存储在图像处理设备100的外部并且通过通信设备140访问。基于学习网络200，可以对新的源图像进行风格化处理。图6示出了根据本公开内容的一个实现的用于图像风格化的过程600。该过程600可以由计算设备110执行。

在610，图像处理设备100获取源图像和对纹理风格的指示。源图像可以是用户希望变换风格的图像，并且可以例如经由图1的图像处理设备100的输入设备150被接收作为学习网络200的特征提取部分210的输入。如果学习网络200的图像风格化部分220包括多个纹理风格子网络，在使用过程中，可以接收对其中一个纹理风格的指示。当然，如果图像风格化部分220仅包括一个纹理风格子网络，那么可以将默认指示该子网络的纹理风格。

对纹理风格的指示也可以经由输入设备150由用户输入。例如，可以提供对学习网络200支持的多种纹理风格处理的指示(例如具有多种纹理风格的相应参考图像)，并且经由用户选择来接收对特定纹理风格的指示。根据接收到的指示，图像处理设备100可以指示使用图像风格化部分220的对应纹理风格来执行图像风格化。

在620，图像处理设备100利用学习网络200的特征提取部分210提取源图像的特征图。提取的每个特征图可以指示源图像的一部分特征信息。在一些示例中，取决于特征提取部分210的构建，可以提取多个特征图。在630，图像处理设备100利用学习网络200的图像风格处理部分220中与所指示的纹理风格对应的纹理风格子网络来处理提取的特征图。在以卷积滤波器组成的纹理风格子网络中，卷积滤器被用于对特征图执行卷积处理，从而将相应的纹理风格施加于特征图。在640，图像处理设备100利用学习网络的特征转换部分212基于经处理的特征图生成目标图像。特征转换部分212执行与特征提取部分210相反的操作，实现从特征空间到图像内容空间的转换。由于特征图被施加纹理风格，因此转换后的目标图像也具有该纹理风格。

图7示出了对学习网络200的使用示例。在图7的示例中，获取源图像702作为特征提取部分210的输入。由接收到的指示确定与纹理风格子网络222对应的纹理风格的参考图像732被用户选择，因此纹理风格子网络222将执行图像风格化操作。特征提取部分210接收到输入图像702之后，从输入图像702提取一个或多个特征图704。特征图704由纹理风格子网络222进行卷积处理，并且处理后的特征图被提供给特征转换部分212。特征转换部分212将特征图映射到内容空间，以生成目标图像706。目标图像706为经风格化后的图像，其纹理风格与用于训练纹理风格子网络222的参考图像632类似。在一些示例中，目标图像706可以经由图像处理设备100的输出设备160输出、例如被呈现给用户。

在一些实现中，由于在学习网络200中图像风格化部分220的不同纹理风格子网络共享同一特征提取部分210，因此对于同一源图像而言，不同的纹理风格子网络均针对同样的特征图进行风格化处理。在一些情况中，用户可能期望对同一源图像尝试不同的纹理风格。为了节约计算资源和时间，在一些实现中，图像处理设备100将特征提取部分210从源图像提取的特征图进行存储、例如存储在存储设备130或存储器120中。当接收到对另一纹理风格的指示时，图像处理设备100可以利用与该纹理风格对应的纹理风格子网络直接处理存储的特征图，而无需利用特征提取部分210对同一源图像重复地进行特征提取。

在一些实现中，由于各个纹理风格子网络的风格化处理是分离的，因此可以使用两个或更多子网络来对输入的源图像执行风格化，从而能够获得与使用单个子网络不同的风格化效果。具体地，可以获取对多个(两个或更多)纹理风格的指示。这样的指示可以是针对学习网络200预先配置的风格化处理的指示或者是用户定义的指示(例如经由图像处理设备100的输入设备150接收到的指示)。基于这样的指示，图像处理设备100可以利用与多个纹理风格对应的纹理风格子网络来处理源图像的特征图，从而达到将多个纹理风格叠加到这些特征图的目的。

在一些实现中，多个纹理风格的叠加可以是线性叠加。也就是说，可以设置与多个纹理风格对应的权值，并且对应的纹理风格子网络基于设置的权值来执行风格化操作。图8示出这样的实现。如所示出的，特征提取部分210接收到源图像802并且从源图像802中提取出特征图804。纹理风格子网络222和224已经分别由参考图像832和834训练。当接收到用户对这两个子网络的选择时，图像处理设备100将这两个纹理风格同时施加于特征图804。这两个纹理风格在特征图804中起作用的程度由对应的权值来控制。

例如，在图8的示例中，纹理风格子网络222对应的纹理风格的权值为α，并且另一纹理风格子网络224对应的纹理风格的权值可以为(1-α)，以使得权值之和为1。这两个权值可以被施加到纹理风格子网络222和224的风格化处理上。存在多种方式用于以权值控制不同纹理风格子网络的处理。在一个示例中，相应的权值可以被施加到纹理风格子网络222和224的内部处理中，并且然后将两个子网络输出的特征图进行加和以得到用于输入给特征变换部分212的特征图。这样的示例可以被表示如下：

其中F表示源图像的特征图，表示处理后的特征图，w_i表示用于控制纹理风格子网络K_i的权值，m表示要被叠加的纹理风格的数目(在图8的示例中等于2)，并且

以上仅给出了基于权值的纹理风格叠加的一个示例方式。还可以采用其他方式将多个纹理风格同时施加到源图像的特征图804上。例如，可以首先利用多个纹理风格子网络分别处理特征图804，并且然后基于相应的权值将处理后的特征图进行加权以得到最后的特征图。该特征图然后被输入到特征变换部分212中。

由于两种纹理风格同时被施加到源图像802的特征图804上，由特征变换部分212生成的目标图像806可以展示出两种风格的融合结果，这样的融合结果不完全与纹理风格子网络的风格相同。通过纹理风格的线性叠加，可以在用于训练学习网络200的多个纹理风格的基础上为用户提供了更多的风格化处理。在一些示例中，多个纹理风格子网络的相应权值可以由用户控制。例如，用户可以不断调整每个纹理风格的权值，以使得目标图像806呈现不同的纹理风格。虽然图8中示出选定两个纹理风格子网络用于风格叠加，在其他示例中，如果可能的话，还可以由用户指示或者预先配置将图像风格化部分220中更多的纹理风格子网络以相应的权值进行叠加。

除了在图像整体上叠加多个纹理风格之外，在另外一些实现中，还可以将不同纹理风格施加到图像的不同区域中。具体地，可以通过将不同纹理风格施加到特征图的不同区域来实现对图像的不同区域的风格化。图9示出了这样的风格化的示例。如所示出的，特征提取部分210接收到源图像902并且从源图像902中提取出特征图904。纹理风格子网络222和224已经分别由参考图像932和934训练。当接收到用户对这两个子网络的选择时，图像处理设备100利用这两个纹理风格子网络分别处理特征图904的不同区域。

特征图904的不同区域通过对特征图904的聚类来标识。例如，可以采用K均值(K-means)聚类或其他高级聚类算法对特征图904进行聚类，以确定出特征图904中与源图像的不同区域902对应的区域。不同区域可以被划分成两个集合，分别由不同的纹理风格子网络222和224执行风格化。在另外一些示例中，可以由用户指定将哪个纹理风格应用于源图像902的哪个区域，并且因此可以用相应的纹理风格子网络来处理特征图904的对应区域。

在标识出特征图904的不同区域之后，在多个纹理风格子网络222和224中的每个子网络来执行纹理风格化时，可以将该子网络不需要处理特征图的区域进行掩蔽，使得该子网络的纹理风格只被应用于未被掩蔽的区域。这个过程可以被表示如下：

其中F表示源图像的特征图，表示处理后的特征图，M_i表示用于为纹理风格子网络K_i掩蔽无需处理的区域的掩蔽图，并且m表示所指示的纹理风格的数目(在图9的示例中等于2)。

在图9的示例中，通过聚类或者经由用户指示，可以确定纹理风格子网络222对源图像902的区域912进行风格化处理，并且因此可以对特征图904进行掩蔽以获得掩蔽后的特征图922。纹理风格子网络222然后对特征图922施加相应的纹理风格。由于部分区域被掩蔽，该纹理风格只被施加到未被掩蔽的区域。纹理风格子网络224可以类似地对源图像902的区域914进行风格化处理，并且可以将相应的纹理风格施加到经掩蔽的特征图924上。经过纹理风格子网络222和224处理的特征图将被加和以得到最终的特征图926。特征图926的不同区域被纹理风格子网络222和224施加有不同纹理风格。

经过分别处理后的特征图926被提供给特征转换部分212以生成目标图像906。由于特征图被施加有不同的纹理风格，因此目标图像906的一部分区域942的纹理风格类似于参考图像932的纹理风格，而另一部分区域944的纹理风格则类似于参考图像934的纹理风格。

虽然图9中示出了将两种纹理风格施加于特征图904的不同区域，在其他示例中，如果可能的话，还可以以类似的方式将三个或更多的纹理子网络对应的纹理风格施加到源图像的特征图的不同区域。在另外一些实现中，图8示出的纹理风格叠加和图9示出的区域风格化还可以联合起来使用。例如，可以对源图像的特征图中的一个区域叠加不同的纹理风格。本公开内容的实现在此方面没有限制。

应当理解，出于图示的目的，虽然图7至图9示出的参考图像不同于在图2的参考图像，但是这并不影响对学习网络200的训练和使用过程的理解。还应当理解，图7至图9示出的源图像、参考图像和目标图像仅是作为示例。在学习网络的使用过程中，可以输入任何图像、包括用于训练学习网络200的图像。此外，也可以选择已训练的一个或多个纹理风格子网络用于对源图像进行风格化处理。

示例实现方式

以下列出了本公开内容的一些示例实现方式。

在一方面，本公开内容提供了一种设备。该设备包括：处理单元；存储器，耦合至所述处理单元并且包含存储于其上的指令。所述指令在由所述处理单元执行时使所述设备执行以下动作：获取源图像和对第一纹理风格的指示；利用学习网络的第一子网络的第一部分提取所述源图像的特征图，每个特征图指示所述源图像的一部分特征信息；利用所述学习网络中与所述第一纹理风格对应的第二子网络处理所述特征图以将所述第一纹理风格施加于所述特征图；以及利用所述第一子网络的第二部分基于经处理的特征图生成目标图像。

在一些实现方式中，使所述第二子网络处理所述特征图进一步包括：获取对第二纹理风格的指示；以及利用所述第二子网络和所述学习网络中与所述第二纹理风格对应的第三子网络处理所述特征图，以将所述第一纹理风格和所述第二纹理风格施加于所述特征图。

在一些实现方式中，利用所述第二子网络和所述第三子网络处理所述特征图包括：基于所述第一纹理风格对应的第一权值和所述第二纹理风格对应的第二权值，利用所述第二子网络和所述第三子网络处理所述特征图，以将所述第一纹理风格和所述第二纹理风格同时施加于所述特征图。

在一些实现方式中，利用所述第二子网络和所述第三子网络处理所述特征图包括：利用所述第二子网络处理所述特征图的第一区域以将所述第一纹理风格施加于所述第一区域；以及利用所述第三子网络处理所述特征图的第二区域以将所述第二纹理风格施加于所述第二区域。

在一些实现方式中，所述动作进一步包括：存储所述源图像的所述特征图；获取对第三纹理风格的指示；利用所述学习网络中与所述第三纹理风格对应的第四子网络处理存储的所述特征图以将所述第三纹理风格施加于所述特征图；以及利用所述第一子网络的所述第二部分基于经处理的特征图以生成另一目标图像。

在一些实现方式中，所述第二子网络包括卷积滤波器，利用所述第二子网络处理所述特征图包括：利用所述卷积滤波器对所述特征图执行卷积处理，以将所述第一纹理风格施加于所述特征图。

在一些实现方式中，获取源图像和对第一纹理风格的指示包括：经由用户选择来获取源图像和对第一纹理风格的指示。

在另一方面，本公开内容提供了一种设备。该设备包括：处理单元；存储器，耦合至所述处理单元并且包含存储于其上的指令。所述指令在由所述处理单元执行时使所述设备执行以下动作：获取多个源图像和具有第一纹理风格的第一参考图像；以及基于所述多个源图像和所述第一参考图像来更新学习网络，所述学习网络包括第一子网络和第二子网络。所述更新包括：更新所述第一子网络以利用所述第一子网络的第一部分提取所述多个源图像的特征图并且利用所述第一子网络的第二部分从所述特征图生成所述多个源图像，每个特征图指示相应源图像的一部分特征信息，以及更新所述第二子网络以利用所述第二子网络将所述第一纹理风格施加于所述多个源图像的所述特征图。

在一些实现方式中，所述学习网络进一步包括第三子网络，所述动作进一步包括：获取具有第二纹理风格的第二参考图像；以及更新所述第三子网络以利用所述第三子网络将所述第二参考图像的所述第二纹理风格施加于所述多个源图像的所述特征图。

在一些实现方式中，更新所述第三子网络包括：在固定所述第一网络和所述第二网络的参数的情况下，更新所述第三子网络。

在一些实现方式中，更新所述学习网络包括：将所述第二子网络更新预定次数；以及在将所述第二子网络更新预定次数之后，更新所述第一子网络。

在一些实现方式中，将所述第二子网络更新预定次数包括：将所述第二子网络和所述第一子网络联合地更新所述预定次数。

在一些实现方式中，更新所述第二子网络包括：更新所述第二子网络以利用所述第二子网络将所述第一参考图像的第一区块与所述多个源图像中相应源图像的特征图中的第二区块进行组合，所述第一区块部分地代表所述第一纹理风格。

在一些实现方式中，所述第二子网络包括卷积滤波器，并且更新所述第二子网络包括：更新所述卷积滤波器的系数以利用所述卷积滤波器通过对所述特征图执行卷积处理来将所述第一纹理风格施加于所述特征图。

在又一方面，本公开内容提供了一种计算机实施的方法。该方法包括：获取源图像和对第一纹理风格的指示；利用学习网络的第一子网络的第一部分提取所述源图像的特征图，每个特征图指示所述源图像的一部分特征信息；利用所述学习网络中与所述第一纹理风格对应的第二子网络处理所述特征图以将所述第一纹理风格施加于所述特征图；以及利用所述第一子网络的第二部分基于经处理的特征图生成目标图像。

在一些实现方式中，使所述第二子网络处理所述特征图进一步包括：获取对第二纹理风格的指示；以及利用所述第二子网络和所述学习网络中与所述第二纹理风格对应的第三子网络处理所述特征图，以将所述第一纹理风格和所述第二纹理风格施加于所述特征图。

在一些实现方式中，利用所述第二子网络和所述第三子网络处理所述特征图包括：基于所述第一纹理风格对应的第一权值和所述第二纹理风格对应的第二权值，利用所述第二子网络和所述第三子网络处理所述特征图，以将所述第一纹理风格和所述第二纹理风格同时施加于所述特征图。

在一些实现方式中，利用所述第二子网络和所述第三子网络处理所述特征图包括：利用所述第二子网络处理所述特征图的第一区域以将所述第一纹理风格施加于所述第一区域；以及利用所述第三子网络处理所述特征图的第二区域以将所述第二纹理风格施加于所述第二区域。

在一些实现方式中，该方法进一步包括：存储所述源图像的所述特征图；获取对第三纹理风格的指示；利用所述学习网络中与所述第三纹理风格对应的第四子网络处理存储的所述特征图以将所述第三纹理风格施加于所述特征图；以及利用所述第一子网络的所述第二部分基于经处理的特征图以生成另一目标图像。

在一些实现方式中，所述第二子网络包括卷积滤波器。利用所述第二子网络处理所述特征图包括：利用所述卷积滤波器对所述特征图执行卷积处理，以将所述第一纹理风格施加于所述特征图。

在又一方面，本公开内容提供了一种计算机实施的方法。该方法包括：获取多个源图像和具有第一纹理风格的第一参考图像；以及基于所述多个源图像和所述第一参考图像来更新学习网络，所述学习网络包括第一子网络和第二子网络。所述更新包括：更新所述第一子网络以利用所述第一子网络的第一部分提取所述多个源图像的特征图并且利用所述第一子网络的第二部分从所述特征图生成所述多个源图像，每个特征图指示相应源图像的一部分特征信息，以及更新所述第二子网络以利用所述第二子网络将所述第一纹理风格施加于所述多个源图像的所述特征图。

在一些实现方式中，所述学习网络进一步包括第三子网络。该方法进一步包括：获取具有第二纹理风格的第二参考图像；以及更新所述第三子网络以利用所述第三子网络将所述第二参考图像的所述第二纹理风格施加于所述多个源图像的所述特征图。

在一些实现方式中，更新所述第三子网络包括：在固定所述第一网络和所述第二网络的参数的情况下，更新所述第三子网络。

在一些实现方式中，更新所述学习网络包括：将所述第二子网络更新预定次数；以及在将所述第二子网络更新预定次数之后，更新所述第一子网络。

在一些实现方式中，将所述第二子网络更新预定次数包括：将所述第二子网络和所述第一子网络联合地更新所述预定次数。

在一些实现方式中，更新所述第二子网络包括：更新所述第二子网络以利用所述第二子网络将所述第一参考图像的第一区块与所述多个源图像中相应源图像的特征图中的第二区块进行组合，所述第一区块部分地代表所述第一纹理风格。

在一些实现方式中，所述第二子网络包括卷积滤波器，并且更新所述第二子网络包括：更新所述卷积滤波器的系数以利用所述卷积滤波器通过对所述特征图执行卷积处理来将所述第一纹理风格施加于所述特征图。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开内容的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开内容的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开内容的范围的限制。在单独的实现的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种设备，包括：

处理单元；

存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行以下动作：

获取源图像和对第一纹理风格的指示；

利用学习网络的第一子网络的第一部分提取所述源图像的特征图，每个特征图指示所述源图像的一部分特征信息；

利用所述学习网络中与所述第一纹理风格对应的第二子网络处理所述特征图以将所述第一纹理风格施加于所述特征图；以及

利用所述第一子网络的第二部分基于经处理的特征图生成目标图像。

2.根据权利要求1所述的设备，其中使所述第二子网络处理所述特征图进一步包括：

获取对第二纹理风格的指示；以及

利用所述第二子网络和所述学习网络中与所述第二纹理风格对应的第三子网络处理所述特征图，以将所述第一纹理风格和所述第二纹理风格施加于所述特征图。

3.根据权利要求2所述的设备，其中利用所述第二子网络和所述第三子网络处理所述特征图包括：

基于所述第一纹理风格对应的第一权值和所述第二纹理风格对应的第二权值，利用所述第二子网络和所述第三子网络处理所述特征图，以将所述第一纹理风格和所述第二纹理风格同时施加于所述特征图。

4.根据权利要求2所述的设备，其中利用所述第二子网络和所述第三子网络处理所述特征图包括：

利用所述第二子网络处理所述特征图的第一区域以将所述第一纹理风格施加于所述第一区域；以及

利用所述第三子网络处理所述特征图的第二区域以将所述第二纹理风格施加于所述第二区域。

5.根据权利要求1所述的设备，其中所述动作进一步包括：

存储所述源图像的所述特征图；

获取对第三纹理风格的指示；

利用所述学习网络中与所述第三纹理风格对应的第四子网络处理存储的所述特征图以将所述第三纹理风格施加于所述特征图；以及利用所述第一子网络的所述第二部分基于经处理的特征图以生成另一目标图像。

6.根据权利1所述的设备，其中所述第二子网络包括卷积滤波器，利用所述第二子网络处理所述特征图包括：

利用所述卷积滤波器对所述特征图执行卷积处理，以将所述第一纹理风格施加于所述特征图。

7.根据权利要求1所述的设备，其中获取源图像和对第一纹理风格的指示包括：

经由用户选择来获取源图像和对第一纹理风格的指示。

8.一种设备，包括：

处理单元；

存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行以下动作：

获取多个源图像和具有第一纹理风格的第一参考图像；以及基于所述多个源图像和所述第一参考图像来更新学习网络，

所述学习网络包括第一子网络和第二子网络，所述更新包括：

更新所述第一子网络以利用所述第一子网络的第一部分提取所述多个源图像的特征图并且利用所述第一子网络的第二部分从所述特征图生成所述多个源图像，每个特征图指示相应源图像的一部分特征信息，以及

更新所述第二子网络以利用所述第二子网络将所述第一纹理风格施加于所述多个源图像的所述特征图。

9.根据权利要求8所述的设备，其中所述学习网络进一步包括第三子网络，所述动作进一步包括：

获取具有第二纹理风格的第二参考图像；以及

更新所述第三子网络以利用所述第三子网络将所述第二纹理风格施加于所述多个源图像的所述特征图。

10.根据权利要求9所述的设备，其中更新所述第三子网络包括：

在固定所述第一网络和所述第二网络的参数的情况下，更新所述第三子网络。

11.根据权利要求8所述的设备，其中更新所述学习网络包括：

将所述第二子网络更新预定次数；以及

在将所述第二子网络更新预定次数之后，更新所述第一子网络。

12.根据权利要求11所述的设备，其中将所述第二子网络更新预定次数包括：

将所述第二子网络和所述第一子网络联合地更新所述预定次数。

13.根据权利要求8所述的设备，其中更新所述第二子网络包括：

更新所述第二子网络以利用所述第二子网络将所述第一参考图像的第一区块与所述多个源图像中相应源图像的特征图中的第二区块进行组合，所述第一区块部分地代表所述第一纹理风格。

14.根据权利要求8所述的设备，其中所述第二子网络包括卷积滤波器，并且更新所述第二子网络包括：

更新所述卷积滤波器的系数以利用所述卷积滤波器通过对所述特征图执行卷积处理来将所述第一纹理风格施加于所述特征图。

15.一种计算机实施的方法，包括：

获取源图像和对第一纹理风格的指示；

利用学习网络的第一子网络的第一部分提取所述源图像的特征图，每个特征图指示所述源图像的一部分特征信息；

利用所述学习网络中与所述第一纹理风格对应的第二子网络处理所述特征图以将所述第一纹理风格施加于所述特征图；以及

利用所述第一子网络的第二部分基于经处理的特征图生成目标图像。

16.根据权利要求15所述的方法，其中使所述第二子网络处理所述特征图进一步包括：

获取对第二纹理风格的指示；以及

利用所述第二子网络和所述学习网络中与所述第二纹理风格对应的第三子网络处理所述特征图，以将所述第一纹理风格和所述第二纹理风格施加于所述特征图。

17.根据权利要求16所述的方法，其中利用所述第二子网络和所述第三子网络处理所述特征图包括：

基于所述第一纹理风格对应的第一权值和所述第二纹理风格对应的第二权值，利用所述第二子网络和所述第三子网络处理所述特征图，以将所述第一纹理风格和所述第二纹理风格同时施加于所述特征图。

18.根据权利要求16所述的方法，其中利用所述第二子网络和所述第三子网络处理所述特征图包括：

利用所述第二子网络处理所述特征图的第一区域以将所述第一纹理风格施加于所述第一区域；以及

利用所述第三子网络处理所述特征图的第二区域以将所述第二纹理风格施加于所述第二区域。

19.根据权利要求15所述的方法，进一步包括：

存储所述源图像的所述特征图；

获取对第三纹理风格的指示；

利用所述学习网络中与所述第三纹理风格对应的第四子网络处理存储的所述特征图以将所述第三纹理风格施加于所述特征图；以及利用所述第一子网络的所述第二部分基于经处理的特征图以生成另一目标图像。

20.根据权利要求15所述的方法，其中所述第二子网络包括卷积滤波器，利用所述第二子网络处理所述特征图包括：

利用所述卷积滤波器对所述特征图执行卷积处理，以将所述第一纹理风格施加于所述特征图。