CN108734653B - 图像风格转换方法及装置 - Google Patents

Abstract

本申请公开了一种图像风格转换方法及装置。该方法包括：获取待处理图像的内容特征数据和风格图像的风格特征数据；分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据；基于所述映射处理后的所述内容特征数据与所述映射处理后的所述风格特征数据，得到重组特征数据；将所述重组特征数据映射到所述风格特征数据所在域，得到转换特征数据；基于所述转换特征数据，得到风格转换图像。还公开了相应的装置。通过对待处理图像的内容特征数据和风格图像的风格特征数据进行映射、重组和转换，得到风格转换后的图像，可实现高效、通用地转换图像风格。

Description

图像风格转换方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像风格转换方法及装置。

背景技术

图像风格转换是指可依据用户或系统的需求将待处理图像转换成任意参考风格图像的风格。近期，许多技术将神经网络运用于图像风格转换。神经网络具有很好的语义与风格信息提取能力，因此，多数利用神经网络进行风格转换的技术，效果都优于传统的风格转换方式。

发明内容

本申请提供了一种图像风格转换方法及装置，以实现图像风格的高效、通用处理。

第一方面，提供了一种图像风格转换方法，包括：获取待处理图像的内容特征数据和风格图像的风格特征数据；分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据；基于所述映射处理后的所述内容特征数据与所述映射处理后的所述风格特征数据，得到重组特征数据；将所述重组特征数据映射到所述风格特征数据所在域，得到转换特征数据；以及基于所述转换特征数据，得到风格转换图像。

在该方面中，通过对待处理图像的内容特征数据和风格图像的风格特征数据进行映射、重组和转换，得到风格转换后的图像，可实现高效、通用地转换图像风格。

在一种可能的实现方式中，所述分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据，包括：将所述内容特征数据和所述风格特征数据投影到同一空间域，得到所述映射处理后的所述内容特征数据和所述映射处理后的所述风格特征数据。

在该实现方式中，由于内容特征数据和风格特征数据可能不位于同一空间域，通过将内容特征数据和风格特征数据投影到同一个空间域，实现了内容特征数据和风格特征数据的归一化处理。

在另一种可能的实现方式中，所述分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据，包括：基于所述内容特征数据和所述内容特征数据的均值信息，得到第一特征数据，并且基于所述风格特征数据和所述风格特征数据的均值信息，得到第二特征数据；对所述第一特征数据进行第一卷积处理，得到所述映射处理后的所述内容特征数据，并对所述第二特征数据进行第二卷积处理，得到所述映射处理后的所述风格特征数据。

在该实现方式中，分别通过对内容特征数据和风格特征数据的均值处理、卷积处理，完成了内容特征数据和风格特征数据的映射。

在又一种可能的实现方式中，所述第一卷积处理的卷积参数是基于所述内容图像得到的，所述第二卷积处理的卷积参数是基于所述风格图像得到的。

在又一种可能的实现方式中，所述基于所述映射处理后的所述内容特征数据与所述映射处理后的所述风格特征数据，得到重组特征数据，包括：将所述映射处理后的所述内容特征数据划分成至少一个内容特征数据块，并将所述映射处理后的所述风格特征数据划分成至少一个风格特征数据块；对所述至少一个内容特征数据块和所述至少一个风格特征数据块进行匹配处理，得到所述至少一个内容特征数据块的匹配块；以及基于所述至少一个内容特征数据块的匹配块，得到所述重组特征数据。

在该实现方式中，通过特征匹配和重组的方式，进行特征融合得到的重组特征，可在保留待处理图像的整体内容的同时，包含有风格图像的大部分特征，使最终完成风格转换的图片从整体上看是待处理图像的内容，但在细节纹理上却有风格图像的成分，这样即可减小不同图片特征融合后内容和细节上的突兀，提高图像风格转换的质量和稳定性。

在又一种可能的实现方式中，所述基于所述至少一个内容特征数据块的匹配块，得到所述重组特征数据，包括：将所述至少一个内容特征数据块中每个内容特征数据块替换为所述每个内容特征数据块的匹配块，得到所述重组特征数据。

在又一种可能的实现方式中，所述对所述至少一个内容特征数据块和所述至少一个风格特征数据块进行匹配处理，得到所述至少一个内容特征数据块的匹配块，包括：将所述至少一个风格特征数据块中与第一内容特征数据块相似度最大的数据块确定为所述第一内容特征数据块的匹配块，其中，所述至少一个内容特征数据块包括所述第一内容特征数据块。

在该实现方式中，将风格特征数据块中与内容特征数据块相似度最大的数据块确定为该内容特征数据块的匹配块，可减小不同图片特征融合后内容和细节上的突兀，提高图像风格转换的质量和稳定性。

在又一种可能的实现方式中，所述获取待处理图像的内容特征数据和风格图像的风格特征数据，包括：对所述内容图像进行逐级编码处理，得到所述内容图像的内容特征数据，并对所述风格图像进行逐级编码处理，得到所述风格图像的风格特征数据。

在又一种可能的实现方式中，所述基于所述转换特征数据，得到风格转换图像，包括：对所述转换特征数据进行逐级解码处理，得到风格转换图像。

在又一种可能的实现方式中，所述对所述转换特征数据进行逐级解码处理，得到风格转换图像，包括：对所述转换特征数据进行至少一级解码处理，得到第一解码特征数据；对所述第一解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第一编码特征数据进行融合处理，得到第一融合特征数据；以及基于所述第一融合特征数据，得到风格转换图像。

在又一种可能的实现方式中，所述基于所述第一融合特征数据，得到风格转换图像，包括：对所述第一融合特征数据进行至少一级解码处理，得到第二解码特征数据；对所述第二解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第二编码特征数据进行融合处理，得到第二融合特征数据，其中，所述第一编码特征数据是通过对所述第二编码特征数据进行至少一级编码处理得到的；以及基于所述第二融合特征数据，得到风格转换图像。

在该实现方式中，通过将解码特征数据与风格图像的编码特征数据进行重新融合，可以实现多尺度的风格融合。

第二方面，提供了一种图像风格转换装置，包括：获取单元，用于获取待处理图像的内容特征数据和风格图像的风格特征数据；映射单元，用于分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据；重组单元，用于基于所述映射处理后的所述内容特征数据与所述映射处理后的所述风格特征数据，得到重组特征数据；所述映射单元，还用于将所述重组特征数据映射到所述风格特征数据所在域，得到转换特征数据；以及转换单元，用于基于所述转换特征数据，得到风格转换图像。

在一种可能的实现方式中，所述映射单元，用于将所述内容特征数据和所述风格特征数据投影到同一空间域，得到所述映射处理后的所述内容特征数据和所述映射处理后的所述风格特征数据。

在另一种可能的实现方式中，所述映射单元，用于基于所述内容特征数据和所述内容特征数据的均值信息，得到第一特征数据，并且基于所述风格特征数据和所述风格特征数据的均值信息，得到第二特征数据；以及对所述第一特征数据进行第一卷积处理，得到所述映射处理后的所述内容特征数据，并对所述第二特征数据进行第二卷积处理，得到所述映射处理后的所述风格特征数据。

在又一种可能的实现方式中，所述第一卷积处理的卷积参数是基于所述内容图像得到的，所述第二卷积处理的卷积参数是基于所述风格图像得到的。

在又一种可能的实现方式中，所述重组单元包括：划分子单元，用于将所述映射处理后的所述内容特征数据划分成至少一个内容特征数据块，并将所述映射处理后的所述风格特征数据划分成至少一个风格特征数据块；匹配子单元，用于对所述至少一个内容特征数据块和所述至少一个风格特征数据块进行匹配处理，得到所述至少一个内容特征数据块的匹配块；以及重组子单元，用于基于所述至少一个内容特征数据块的匹配块，得到所述重组特征数据。

在又一种可能的实现方式中，所述重组子单元，用于将所述至少一个内容特征数据块中每个内容特征数据块替换为所述每个内容特征数据块的匹配块，得到所述重组特征数据。

在又一种可能的实现方式中，所述匹配子单元，用于将所述至少一个风格特征数据块中与第一内容特征数据块相似度最大的数据块确定为所述第一内容特征数据块的匹配块，其中，所述至少一个内容特征数据块包括所述第一内容特征数据块。

在又一种可能的实现方式中，所述获取单元包括：第一编码子单元，用于对所述内容图像进行逐级编码处理，得到所述内容图像的内容特征数据；以及第二编码子单元，用于对所述风格图像进行逐级编码处理，得到所述风格图像的风格特征数据。

在又一种可能的实现方式中，所述转换单元，用于对所述转换特征数据进行逐级解码处理，得到风格转换图像。

在又一种可能的实现方式中，所述转换单元包括：第一解码子单元，用于对所述转换特征数据进行至少一级解码处理，得到第一解码特征数据；第一融合子单元，用于对所述第一解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第一编码特征数据进行融合处理，得到第一融合特征数据；以及第一转换子单元，用于基于所述第一融合特征数据，得到风格转换图像。

在又一种可能的实现方式中，所述第一转换子单元包括：第二解码子单元，用于对所述第一融合特征数据进行至少一级解码处理，得到第二解码特征数据；第二融合子单元，用于对所述第二解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第二编码特征数据进行融合处理，得到第二融合特征数据，其中，所述第一编码特征数据是通过对所述第二编码特征数据进行至少一级编码处理得到的；以及第二转换子单元，用于基于所述第二融合特征数据，得到风格转换图像。

第三方面，提供了一种图像风格转换装置，包括：包括处理器、存储器；所述处理器被配置为支持所述装置执行上述第一方面的方法中相应的功能。存储器用于与处理器耦合，其保存所述装置必要的程序(指令)和数据。可选的，所述装置还可以包括输入/输出接口，用于支持所述装置与其他装置之间的通信。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行所述各方面所述的方法。

第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行所述各方面所述的方法。

附图说明

为了更清楚地说明本发明实施例或背景技术中的技术方案，下面将对本发明实施例或背景技术中所需要使用的附图进行说明。

图1为本申请实施例提供的一种图像风格转换方法的流程示意图；

图2为本申请实施例提供的另一种图像风格转换方法的流程示意图；

图3为本申请实施例提供的又一种图像风格转换方法的流程示意图；

图4为本申请示例的一种图像风格转换网络的结构示意图；

图5为本申请实施例提供的一种图像风格转换装置的结构示意图；

图6为本申请实施例提供的一种图像风格转换装置的硬件结构示意图。

具体实施方式

下面结合本发明实施例中的附图对本发明实施例进行描述。

请参阅图1，图1是本申请实施例提供的一种图像风格转换方法的流程示意图。

S101、获取待处理图像的内容特征数据和风格图像的风格特征数据。

在本公开实施例中，待处理图像也可以称为内容图像，其本身可以具有某种特定风格或者不具有风格(即普通图像)。在对待处理图像进行风格转换之前，需要分别获取待处理图像的内容特征数据和风格图像的风格特征数据。内容特征数据为待处理图像的特征数据，其中，可选地，内容特征数据可以包含一个或多个特征向量，例如，内容特征数据具体表现为特征图或其他形式。风格特征数据为风格图像的特征数据，风格特征数据可以包含一个或多个特征向量，例如，风格特征数据具体表现为特征图或其他形式。获取待处理图像的内容特征数据和风格图像的风格特征数据的方法有多种，例如对待处理图像和/或风格图像进行特征提取处理，得到相应的特征数据，例如利用卷积操作对待处理图像和/或风格图像进行一次或多次(即逐级)编码处理，得到待处理图像的内容特征数据和风格图像的风格特征数据。再例如，可以从其他装置处接收内容特征数据和风格特征数据中的一种或多种，本公开实施例对此不做限定。

S102、分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据。

具体地，可以对内容特征数据和风格特征数据进行变换处理，例如线性变换或非线性变换处理，得到映射处理后的内容特征数据和映射处理后的风格特征数据。

在一些可选实施例中，获取的内容特征数据和风格特征数据可能不位于同一个目标域，此时，可选地，在进行特征数据重组之前，可以分别对内容特征数据和风格特征数据进行映射处理，将它们映射到同一个目标域，例如，可以对内容特征数据和风格特征数据卷积处理和/或其他处理，得到映射处理后的内容特征数据和映射处理后的风格特征数据。

需要说明的是，如果待处理图像对应多个内容特征数据，例如对应多个特征图，则可对内容特征数据分别进行多次或同时进行多次映射处理，得到多个映射处理后的内容特征数据。如果待处理图像对应多个风格特征数据，则可对风格特征数据分别进行多次或同时进行多次映射处理，得到多个映射处理后的风格特征数据。

S103、基于所述映射处理后的所述内容特征数据与所述映射处理后的所述风格特征数据，得到重组特征数据。

在一些可选实施例中，可以将映射处理后的内容特征数据与映射处理后的风格特征数据进行匹配和重组，得到重组特征数据，即将风格特征数据融合到内容特征数据中。对内容特征数据和风格特征数据进行重组后，可在保留待处理图像的整体内容的同时，包含有风格图像的大部分特征，使最终完成风格转换的图片从整体上看是待处理图像的内容，但在细节纹理上却有风格图像的成分，这样即可减小不同图片特征融合后内容和细节上的突兀，提高图像风格转换的质量和稳定性。

S104、将所述重组特征数据映射到所述风格特征数据所在域，得到转换特征数据。

可选地，S103是在目标域中进行内容特征数据与风格特征数据的重组，在完成重组后，需要将重组特征数据映射回风格特征数据所在域，得到转换特征数据，即完成域的转换。可选地，S104中的映射处理可以是S102中的映射处理的逆操作，例如，在S102中，可以将内容特征数据和风格特征数据投影到同一目标域或目标空间，相应地，在S104中，可以将重组特征数据进行逆投影，例如，对重组特征数据进行卷积和/或其他处理，得到转换特征数据，但本公开实施例不限于此。

S105、基于所述转换特征数据，得到风格转换图像。

可选地，可以基于转换特征数据进行一次或多次(即逐级)解码处理，例如卷积操作和/或其他操作，得到风格转换图像，例如，可以对转换特征数据进行与S101中的特征获取操作的逆处理，得到风格转换图像。

在本公开实施例中，可将任意的待处理图像和选定的风格图像经过以上的映射、重组和转换过程，得到风格转换后的图像，可实现高效、通用的风格图像转换。

根据本申请实施例提供的一种图像风格转换方法，通过对待处理图像的内容特征数据和风格图像的风格特征数据进行映射、重组和转换，得到风格转换后的图像，可实现高效、通用地转换图像风格。

请参阅图2，图2是本申请实施例提供的另一种图像风格转换方法的流程示意图。

S201、对待处理图像的内容图像进行逐级编码处理，得到所述内容图像的内容特征数据，并对风格图像进行逐级编码处理，得到所述风格图像的风格特征数据。

在对待处理图像进行风格转换之前，需要分别提取待处理图像的内容特征数据和风格图像的风格特征数据。下面结合图4，对图2所示的实施例进行描述。图4为本申请示例的一种图像风格转换网络的结构示意图。在图4所示的例子中，该图像风格转换网络包括编码器1、风格转换模块2和解码器3。例如，该图像风格转换网络可以是Hourglass网络或其他网络。

如图4所示，将待处理图像和风格图像分别输入到Hourglass网络。在图4中，仅示例输入一张风格图像，实际上可以输入多张风格图像，待处理图像可以与输入的一张或多张风格图像进行风格融合和转换。当往Hourglass网络输入1幅待处理图像和2幅风格图像时，编码器1会分别对两张风格图像提取风格特征数据，最终得到两组风格特征数据，这样最后得到的转换图像会包含有两张风格图像的风格特征数据，本公开实施例对输入的风格图像的数据不作限定。

如图4所示，编码器1由n个编码模块组成(例如

和

)，每个编码模块所需编码的特征的复杂度可以不同，以及提取出的特征尺度也可以不相同。每个编码模块又可以包括一个或多个卷积器。各个编码模块逐级对待处理图像和风格图像进行卷积操作以提取出相应特征。其中，卷积操作的层数越多，代表该编码模块编码的内容越复杂，提取的特征尺度越大。需要指出的是，每一个卷积操作都会提取出相应的特征，每个编码模块通过一个或多个不同的卷积操作达到提取出相应复杂度或特征尺度的特征数据。

在一些可选实施例中，具体的实现过程是，在将待处理图像和风格图像输入到图像风格转换网络后，各级编码器依据特征的尺度及特征内容的复杂程度分别逐级提取出相应的内容特征数据和风格特征数据。其中，各级编码器之间的关系是级联，编码器1在对待处理图像和风格图像通过卷积操作从待处理图像和风格图像中逐级提取出相应的特征数据，并将上一级提取出的特征数据作为下一级卷积操作的输入，继续提取出特征数据，直至完成最后一级卷积操作，得到待处理图像的内容特征数据和风格图像的风格特征数据。

S202、将所述内容特征数据和所述风格特征数据投影到同一空间域，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据。

在一些可选实施例中，获取的内容特征数据与风格特征数据可能并不处于同一个目标域，可选地，在对内容特征数据和风格特征数据重组之前，可以分别将内容特征数据和风格特征数据投影或映射至同一个空间域，以得到映射处理后的内容特征数据和映射处理后的风格特征数据。

将内容特征数据和风格特征数据投影至同一个域，具体是将内容特征数据和风格特征数据的特征向量投影至该目标域，以统一符合该目标域的特征向量设置要求，这样映射处理后的内容特征数据和映射处理后的风格特征数据位于同一个域，以便于后续内容特征数据和风格特征数据的重组。

如图4所示的示例中，编码器1提取了待处理图像的内容特征数据Z_c，并输入风格转换模块2，风格转换模块2将内容特征数据Z_c投影至目标域，得到映射处理后的内容特征数据

编码器1提取了风格图像的风格特征数据Z_s，并输入风格转换模块2，风格转换模块2将风格特征数据Z_s投影至与内容特征数据Z_c对应的同一个目标域，得到映射处理后的风格特征数据

S203、将所述映射处理后的所述内容特征数据划分成至少一个内容特征数据块，并将所述映射处理后的所述风格特征数据划分成至少一个风格特征数据块。

如图4所示，风格转换模块2将映射处理后的内容特征数据

划分成一个或多个内容特征数据块。例如，一个内容特征数据包括多个特征向量，将该内容特征数据以特征向量为单位进行划分。类似地，风格转换模块2将映射处理后的风格特征数据

划分成一个或多个风格特征数据块。

S204、对所述至少一个内容特征数据块和所述至少一个风格特征数据块进行匹配处理，得到所述至少一个内容特征数据块的匹配块。

将该每个内容特征数据块与该一个或多个风格特征数据块进行匹配处理，将匹配度最高的风格特征数据块作为该内容特征数据块的匹配块。在一些可选的实施例中，可以分别将映射处理后的内容特征数据和映射处理后的风格特征数据划分成若干个数据块，然后针对每个内容特征数据块，从所有的风格特征数据块中找出与该内容特征数据块相似度最大的数据块(例如，特征距离最近的数据块)确定为该内容特征数据块的匹配块。

S205、基于所述至少一个内容特征数据块的匹配块，得到重组特征数据。

其中，S203～S205为进行内容特征数据与风格特征数据的匹配和重组的过程。

本实施例中，将每个映射处理后的内容特征数据划分成一个或多个内容特征数据块，并将每个映射处理后的风格特征数据划分成一个或多个风格特征数据块，然后将该每个内容特征数据块与该一个或多个风格特征数据块进行匹配处理，将匹配度最高的风格特征数据块作为该内容特征数据块的匹配块，然后基于每个内容特征数据块的匹配块，得到重组特征数据。

通过这种特征匹配和重组的方式得到的重组特征数据，可在保留待处理图像的整体内容的同时，包含有风格图像的大部分特征，使最终完成风格转换的图片从整体上看是待处理图像的内容，但在细节纹理上却有风格图像的成分，这样即可减小不同图片特征融合后内容和细节上的突兀，提高图像风格转换的质量和稳定性。

S206、将所述重组特征数据映射到所述风格特征数据所在域，得到转换特征数据。

以上操作是在目标域中进行内容特征数据与风格特征数据的重组，在完成重组后，需要将重组特征数据映射回风格特征数据所在域，得到转换特征数据，即完成域的转换，为后续对重组特征数据进行解码操作做准备。

S207、对所述转换特征数据进行至少一级解码处理，得到第一解码特征数据；

S208、对所述第一解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第一编码特征数据进行融合处理，得到第一融合特征数据；

S209、基于所述第一融合特征数据，得到风格转换图像。

其中，S207～S208为基于转换特征数据，得到风格转换图像。具体地，对转换特征数据进行逐级解码处理，得到风格转换图像。

如图4所示，解码器3的相应的解码模块对风格转换模块2得到的转换特征数据进行至少一级解码处理，得到第一解码特征数据，然后通过与该级解码模块旁路连接4的第一编码特征数据进行融合处理，得到第一融合特征数据。其中，该第一编码特征数据为对风格图像进行至少一级编码处理得到的编码特征数据。

例如，假设图3只包括两级解码和两级编码，通过解码模块

对转换特征数据进行解码处理，得到第一解码特征数据，然后，对第一解码特征数据与旁路连接的风格特征数据

(即第一编码特征数据)进行融合处理，得到第一融合特征数据

然后，通过解码模块

对第一融合特征数据进行解码，得到风格转换图像。

具体的融合模型可以由下式(1)给出：

其中，

为第一融合特征数据，σ(·)为方差，μ(·)为平均值，

为待处理图像的内容特征数据，

为第一解码特征数据，n为大于0的整数。

每一支旁路4代表一种尺度，即每个编码模块提取出来的不同尺度的风格特征数据，通过多支旁路4和相应的第一解码特征进行融合，即改变对应位置特征的均值和方差实现多尺度特征融合。由于同一物体或特征的不同尺度的图片包含的场景信息均不一样，多尺度融合可将同一时间获取的某个场景的信息加以综合处理，合成出一幅更丰富、更精确、更可靠的图像。

对第一融合特征数据进行解码，得到风格转换图像。

根据本申请实施例提供的一种图像风格转换方法，通过对待处理图像的内容特征数据和风格图像的风格特征数据进行映射、重组和转换，得到风格转换后的图像，可实现高效、通用地转换图像风格；且通过将内容特征数据和风格特征数据投影到同一个空间域，实现了内容特征数据和风格特征数据的归一化处理；且通过将解码特征数据与风格图像的编码特征数据进行重新融合，可以实现多尺度的风格融合。

请参阅图3，图3是本申请实施例提供的又一种图像风格转换方法的流程示意图。S301、对待处理图像的内容图像进行逐级编码处理，得到所述内容图像的内容特征数据，并对风格图像进行逐级编码处理，得到所述风格图像的风格特征数据。

该步骤可参考前述实施例中的S201，在此不再赘述。

S302、基于所述内容特征数据和所述内容特征数据的均值信息，得到第一特征数据，并且基于所述风格特征数据和所述风格特征数据的均值信息，得到第二特征数据。

S303、对所述第一特征数据进行第一卷积处理，得到所述映射处理后的所述内容特征数据，并对所述第二特征数据进行第二卷积处理，得到所述映射处理后的所述风格特征数据。

其中，所述第一卷积处理的卷积参数是基于所述内容图像得到的，所述第二卷积处理的卷积参数是基于所述风格图像得到的。

在一些可选的实施例中，对内容特征数据Z_c和风格特征数据Z_s进行映射处理，得到映射处理后的内容特征数据

和映射处理后的风格特征数据

具体如下式(2)所示：

其中，

为卷积操作，W_c和W_s均为卷积操作的内核，μ(Z_c)和μ(Z_s)分别为Z_c和Z_s的平均值。

通过对Z_c和Z_s的协方差矩阵分别进行白化处理可得到上述W_c和W_s。这样，在后续对内容特征数据和风格特征数据进行归一化交叉相关(normalization cross correlation，NCC)操作时，依据NCC中的距离定义，可以使得映射处理后的风格特征数据中的大多数元素都能与映射处理后的内容特征数据中的至少一个元素对应，因而风格特征数据中能够有更多的信息转移到内容特征数据中，因而风格图像的内容能更好的融合到内容图像中。

S304、将所述映射处理后的所述内容特征数据划分成至少一个内容特征数据块，并将所述映射处理后的所述风格特征数据划分成至少一个风格特征数据块。

S305、将所述至少一个风格特征数据块中与第一内容特征数据块相似度最大的数据块确定为所述第一内容特征数据块的匹配块，其中，所述至少一个内容特征数据块包括所述第一内容特征数据块。

S306、将所述至少一个内容特征数据块中每个内容特征数据块替换为所述每个内容特征数据块的匹配块，得到重组特征数据。

其中，S304～S306为进行内容特征数据与风格特征数据的匹配和重组的过程。

分别将映射处理后的内容特征数据和映射处理后的风格特征数据划分成若干个数据块，然后针对每个内容特征数据块，从所有的风格特征数据块中找出与该内容特征数据块相似度最大的数据块(例如，特征距离最近的数据块)确定为该内容特征数据块的匹配块，将该匹配块替换掉该内容特征数据块，尽可能地将每个内容特征数据块替换为匹配块，这样得到重组的特征数据。

通过这种特征匹配和重组的方式得到的重组特征数据，可在保留待处理图像的整体内容的同时，包含有风格图像的大部分特征，使最终完成风格转换的图片从整体上看是待处理图像的内容，但在细节纹理上却有风格图像的成分，这样即可减小不同图片特征融合后内容和细节上的突兀，提高图像风格转换的质量和稳定性。

S307、将所述重组特征数据映射到所述风格特征数据所在域，得到转换特征数据。

以上操作是在目标域中进行内容特征数据与风格特征数据的重组，在完成重组后，需要将重组特征数据映射回风格特征数据所在域，得到转换特征数据，即完成域的转换，为后续对重组特征数据进行解码操作做准备。

S308、对所述转换特征数据进行至少一级解码处理，得到第一解码特征数据；

S309、对所述第一解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第一编码特征数据进行融合处理，得到第一融合特征数据。

S310、对所述第一融合特征数据进行至少一级解码处理，得到第二解码特征数据。

S311、对所述第二解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第二编码特征数据进行融合处理，得到第二融合特征数据，其中，所述第一编码特征数据是通过对所述第二编码特征数据进行至少一级编码处理得到的。

S312、基于所述第二融合特征数据，得到风格转换图像。

其中，S308～S312为对转换特征数据进行逐级解码处理，得到风格转换图像。

本实施例的风格融合转换与图2所示实施例的区别在于，在至少一级融合处理后，对得到的第一融合特征数据继续进行解码，得到第二解码特征数据，然后再与该解码模块旁路连接的第二编码特征数据进行融合处理，得到第二融合特征数据，其中，该第二编码特征数据为对风格图像进行至少一级编码处理得到的。然后对第二融合特征数据进行解码，得到风格转换图像。

例如，如图4所示，对转换特征数据通过解码模块

进行二级解码，得到第一解码特征数据，对第一解码特征数据与旁路连接的风格特征数据

(即第一编码特征数据)进行融合处理，得到第一融合特征数据

然后，通过解码模块

对第一融合特征数据

进行解码处理，得到第二解码特征数据，然后，对第二解码特征数据与旁路连接的风格特征数据

(即第二编码特征数据)进行融合处理，得到第二融合特征数据

然后，通过解码模块

对第二融合特征数据进行解码，得到风格转换图像。

可以看出，编码和解码是一个逆过程，第一编码特征数据

是通过对第二编码特征数据

进行至少一级编码处理得到的。

根据本申请实施例提供的一种图像风格转换方法，通过对待处理图像的内容特征数据和风格图像的风格特征数据进行映射、重组和转换，得到风格转换后的图像，可实现高效、通用地转换图像风格；且通过将内容特征数据和风格特征数据投影到同一个空间域，实现了内容特征数据和风格特征数据的归一化处理；且通过将解码特征数据与风格图像的编码特征数据进行重新融合，可以实现多尺度的风格融合。

可选地，在实施以上实施例所描述的图像风格转换方法之前，还可以对图4中所示的编码器和解码器进行训练和提取。当然，该训练是可选的步骤，不是每一次图像风格转换都需要进行训练和提取。具体的训练过程如下：

训练和提取编码器：编码器包括多个卷积操作。例如，VGG19分类网络是一种神经网络，里面包含19层卷积操作。ImageNet是一个计算机视觉系统识别项目，同时也是目前世界上图像识别最大的数据库。本实施例以从使用ImageNet数据集预训练过的VGG19分类网络中提取编码器为例进行描述。当然，编码器的训练和提取方法不限于此。通过ImageNet数据集对VGG19分类网络进行预训练，获得该分类网络中卷积层相应的权重参数，上述权重参数包括：卷积核的个数和卷积滑动的步长大小等。其中，VGG19分类网络通过预训练的约束条件为：经过编码-解码过程(中间不对特征进行融合操作)，直至经过编码-解码处理后的图片能与原图片的整体内容充分接近，且在相应位置的特征也充分接近。

然后，例如，可以选取VGG19分类网络中conv1_1至conv4_1的所有卷积层作为以上实施例中的编码器1，从而实现编码器1的训练和提取。

如图4所示，编码器1由n个编码模块组成(例如

和

)，每个编码模块所需编码的内容的复杂度不同，以及提取出的特征尺度也可以不相同。各个编码模块通过对待处理图像和特征图像进行卷积操作实现编码操作并提取出相应特征，其中，卷积操作的层数越多，代表该编码模块编码的内容越复杂，需要指出的是，每一层卷积操作都会提取出相应的特征。通过该训练只需给编码器1提供丰富的图片素材和特征信息即可自动建立编码器1的编码模块的特征信息提取能力。

训练解码器：解码是编码的逆过程，因此，在完成通过VGG19预训练获得编码器后，对编码器进行镜像操作即可获得解码器3。如图4所示，解码器3由n个解码模块组成(例如

和

)。需要说明的是，编码器和解码器无需一一对应，但编码和解码的级数不能相差太大，一般不超过2级。如：编码器共有5级，解码器最少应有3级，最多有5级。另外，当编码器和解码器级数不一致时，图4中的旁路连接4中的任意两条线不能交叉。

例如，可以使用COCO数据集对镜像得到的解码器3进行训练。由微软发布的COCO数据库，除了图片以外还提供物体检测、分割和对图像的语义文本描述信息。进行训练的约束条件为：经过编码-解码过程(中间不对特征进行融合操作)，直至经过编码-解码处理后的图片能与原图片的整体内容充分接近，且在相应位置的特征也充分接近。

一般而言，训练是指一种迭代的数值优化过程，通过逐级调整同一位置上的数值，使得数据的总体分布达到期望的状态，但是这个训练过程通常较为缓慢。因此，采用这种方式进行训练的绝大部分传统方式会出现运行效率低的问题。本实施例只需要预训练一个编码器1和解码器3即可完成训练，因此在使用本申请中的Hourglass网络进行风格转换时只需要将待处理图像和风格图像输入模型得到输出而无须再训练，这样可大大提高转换的效率。

设置参数：可通过调整特征匹配和重组前后的融合比例来改变最终得到的转换图像的风格比例。例如，假设待处理图像中的天空是白色的，风格图像中的天空是蓝色的，设置不同的参数可最终得到的转换后的图像中天空蓝的程度是不一样的。具体融合比例模型可由下式(3)或(4)给出：

Z_cs←αZ_c+(1-α)Z_cs……公式(3)

其中，0≤α≤1。

或

其中，0≤α≤1。

需要指出的是，上述两个公式均为融合比例模型。

在用户使用本申请中的网络进行图像风格转换之前，可通过参数设置窗口对参数α进行设置。

具体地，用户可根据最终得到的转换图像风格和自己的需求对参数α进行适当的调整。

在选定合适的参数之后，即可将待处理图像和风格图像输入到该网络进行图像风格转换。

请参阅图4，图4为本申请实施例提供的一种图像风格转换装置的结构示意图，该装置1000包括：获取单元11、映射单元12、重组单元13和转换单元14。其中：

获取单元11，用于获取待处理图像的内容特征数据和风格图像的风格特征数据；

映射单元12，用于分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据；

重组单元13，用于基于所述映射处理后的所述内容特征数据与所述映射处理后的所述风格特征数据，得到重组特征数据；

所述映射单元12，还用于将所述重组特征数据映射到所述风格特征数据所在域，得到转换特征数据；

转换单元14，用于基于所述转换特征数据，得到风格转换图像。

进一步地，所述映射单元12，用于将所述内容特征数据和所述风格特征数据投影到同一空间域，得到所述映射处理后的所述内容特征数据和所述映射处理后的所述风格特征数据。

进一步地，所述映射单元12，用于基于所述内容特征数据和所述内容特征数据的均值信息，得到第一特征数据，并且基于所述风格特征数据和所述风格特征数据的均值信息，得到第二特征数据；以及对所述第一特征数据进行第一卷积处理，得到所述映射处理后的所述内容特征数据，并对所述第二特征数据进行第二卷积处理，得到所述映射处理后的所述风格特征数据。

其中，所述第一卷积处理的卷积参数是基于所述内容图像得到的，所述第二卷积处理的卷积参数是基于所述风格图像得到的。

进一步地，所述重组单元13包括：

划分子单元131，用于将所述映射处理后的所述内容特征数据划分成至少一个内容特征数据块，并将所述映射处理后的所述风格特征数据划分成至少一个风格特征数据块；

匹配子单元132，用于对所述至少一个内容特征数据块和所述至少一个风格特征数据块进行匹配处理，得到所述至少一个内容特征数据块的匹配块；

重组子单元133，用于基于所述至少一个内容特征数据块的匹配块，得到所述重组特征数据。

进一步地，所述重组子单元133，用于将所述至少一个内容特征数据块中每个内容特征数据块替换为所述每个内容特征数据块的匹配块，得到所述重组特征数据。

进一步地，所述匹配子单元132，用于将所述至少一个风格特征数据块中与第一内容特征数据块相似度最大的数据块确定为所述第一内容特征数据块的匹配块，其中，所述至少一个内容特征数据块包括所述第一内容特征数据块。

进一步地，所述获取单元11包括：

第一编码子单元111，用于对所述内容图像进行逐级编码处理，得到所述内容图像的内容特征数据；

第二编码子单元112，用于对所述风格图像进行逐级编码处理，得到所述风格图像的风格特征数据。

进一步地，所述转换单元14，用于对所述转换特征数据进行逐级解码处理，得到风格转换图像。

进一步地，所述转换单元14包括：

第一解码子单元141，用于对所述转换特征数据进行至少一级解码处理，得到第一解码特征数据；

第一融合子单元142，用于对所述第一解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第一编码特征数据进行融合处理，得到第一融合特征数据；

第一转换子单元143，用于基于所述第一融合特征数据，得到风格转换图像。

进一步地，所述第一转换子单元143包括：

第二解码子单元144，用于对所述第一融合特征数据进行至少一级解码处理，得到第二解码特征数据；

第二融合子单元145，用于对所述第二解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第二编码特征数据进行融合处理，得到第二融合特征数据，其中，所述第一编码特征数据是通过对所述第二编码特征数据进行至少一级编码处理得到的；

第二转换子单元146，用于基于所述第二融合特征数据，得到风格转换图像。

根据本申请实施例提供的一种图像风格转换装置，通过对待处理图像的内容特征数据和风格图像的风格特征数据进行映射、重组和转换，得到风格转换后的图像，可实现高效、通用地转换图像风格。

图5为本申请实施例提供的一种图像风格转换装置的硬件结构示意图。该通信装置包括处理器21，还可以包括输入装置22、输出装置23和存储器34。该输入装置22、输出装置23、存储器24和处理器21之间通过总线相互连接。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

可以理解的是，图5仅仅示出了图像风格转换装置的简化设计。在实际应用中，图像风格转换装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的图像风格转换装置都在本申请的保护范围之内。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

Claims (32)

1.一种图像风格转换方法，其特征在于，包括：

获取待处理图像的内容特征数据和风格图像的风格特征数据；

分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据；

基于所述映射处理后的所述内容特征数据与所述映射处理后的所述风格特征数据，得到重组特征数据；

将所述重组特征数据映射到所述风格特征数据所在域，得到转换特征数据；

基于所述转换特征数据，得到风格转换图像；

所述基于所述转换特征数据，得到风格转换图像，包括：

对所述转换特征数据进行逐级解码处理，得到风格转换图像；

所述对所述转换特征数据进行逐级解码处理，得到风格转换图像，包括：

对所述转换特征数据进行至少一级解码处理，得到第一解码特征数据；

对所述第一解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第一编码特征数据进行融合处理，得到第一融合特征数据；

基于所述第一融合特征数据，得到风格转换图像。

2.如权利要求1所述的方法，其特征在于，所述分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据，包括：

将所述内容特征数据和所述风格特征数据投影到同一空间域，得到所述映射处理后的所述内容特征数据和所述映射处理后的所述风格特征数据。

3.如权利要求1或2所述的方法，其特征在于，所述分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据，包括：

基于所述内容特征数据和所述内容特征数据的均值信息，得到第一特征数据，并且基于所述风格特征数据和所述风格特征数据的均值信息，得到第二特征数据；

对所述第一特征数据进行第一卷积处理，得到所述映射处理后的所述内容特征数据，并对所述第二特征数据进行第二卷积处理，得到所述映射处理后的所述风格特征数据。

4.如权利要求3所述的方法，其特征在于，所述第一卷积处理的卷积参数是基于所述待处理图像得到的，所述第二卷积处理的卷积参数是基于所述风格图像得到的。

5.如权利要求1所述的方法，其特征在于，所述基于所述映射处理后的所述内容特征数据与所述映射处理后的所述风格特征数据，得到重组特征数据，包括：

将所述映射处理后的所述内容特征数据划分成至少一个内容特征数据块，并将所述映射处理后的所述风格特征数据划分成至少一个风格特征数据块；

对所述至少一个内容特征数据块和所述至少一个风格特征数据块进行匹配处理，得到所述至少一个内容特征数据块的匹配块；

基于所述至少一个内容特征数据块的匹配块，得到所述重组特征数据。

6.如权利要求5所述的方法，其特征在于，所述基于所述至少一个内容特征数据块的匹配块，得到所述重组特征数据，包括：

将所述至少一个内容特征数据块中每个内容特征数据块替换为所述每个内容特征数据块的匹配块，得到所述重组特征数据。

7.如权利要求5或6所述的方法，其特征在于，所述对所述至少一个内容特征数据块和所述至少一个风格特征数据块进行匹配处理，得到所述至少一个内容特征数据块的匹配块，包括：

将所述至少一个风格特征数据块中与第一内容特征数据块相似度最大的数据块确定为所述第一内容特征数据块的匹配块，其中，所述至少一个内容特征数据块包括所述第一内容特征数据块。

8.如权利要求1所述的方法，其特征在于，所述获取待处理图像的内容特征数据和风格图像的风格特征数据，包括：

对所述待处理图像进行逐级编码处理，得到所述待处理图像的内容特征数据，并对所述风格图像进行逐级编码处理，得到所述风格图像的风格特征数据。

9.一种图像风格转换方法，其特征在于，包括：

获取待处理图像的内容特征数据和风格图像的风格特征数据；

分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据；

基于所述映射处理后的所述内容特征数据与所述映射处理后的所述风格特征数据，得到重组特征数据；

将所述重组特征数据映射到所述风格特征数据所在域，得到转换特征数据；

基于所述转换特征数据，得到风格转换图像；

所述基于所述转换特征数据，得到风格转换图像，包括：

对所述转换特征数据进行逐级解码处理，得到风格转换图像；

所述对所述转换特征数据进行逐级解码处理，得到风格转换图像，包括：

对所述转换特征数据进行至少一级解码处理，得到第一解码特征数据；

对所述第一解码特征数据和第一编码特征数据进行融合处理，得到第一融合特征数据；

基于所述第一融合特征数据，得到风格转换图像；

所述基于所述第一融合特征数据，得到风格转换图像，包括：

对所述第一融合特征数据进行至少一级解码处理，得到第二解码特征数据；

对所述第二解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第二编码特征数据进行融合处理，得到第二融合特征数据，其中，所述第一编码特征数据是通过对所述第二编码特征数据进行至少一级编码处理得到的；

基于所述第二融合特征数据，得到风格转换图像。

10.如权利要求9所述的方法，其特征在于，所述分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据，包括：

将所述内容特征数据和所述风格特征数据投影到同一空间域，得到所述映射处理后的所述内容特征数据和所述映射处理后的所述风格特征数据。

11.如权利要求9或10所述的方法，其特征在于，所述分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据，包括：

基于所述内容特征数据和所述内容特征数据的均值信息，得到第一特征数据，并且基于所述风格特征数据和所述风格特征数据的均值信息，得到第二特征数据；

对所述第一特征数据进行第一卷积处理，得到所述映射处理后的所述内容特征数据，并对所述第二特征数据进行第二卷积处理，得到所述映射处理后的所述风格特征数据。

12.如权利要求11所述的方法，其特征在于，所述第一卷积处理的卷积参数是基于所述待处理图像得到的，所述第二卷积处理的卷积参数是基于所述风格图像得到的。

13.如权利要求9所述的方法，其特征在于，所述基于所述映射处理后的所述内容特征数据与所述映射处理后的所述风格特征数据，得到重组特征数据，包括：

将所述映射处理后的所述内容特征数据划分成至少一个内容特征数据块，并将所述映射处理后的所述风格特征数据划分成至少一个风格特征数据块；

对所述至少一个内容特征数据块和所述至少一个风格特征数据块进行匹配处理，得到所述至少一个内容特征数据块的匹配块；

基于所述至少一个内容特征数据块的匹配块，得到所述重组特征数据。

14.如权利要求13所述的方法，其特征在于，所述基于所述至少一个内容特征数据块的匹配块，得到所述重组特征数据，包括：

将所述至少一个内容特征数据块中每个内容特征数据块替换为所述每个内容特征数据块的匹配块，得到所述重组特征数据。

15.如权利要求13或14所述的方法，其特征在于，所述对所述至少一个内容特征数据块和所述至少一个风格特征数据块进行匹配处理，得到所述至少一个内容特征数据块的匹配块，包括：

将所述至少一个风格特征数据块中与第一内容特征数据块相似度最大的数据块确定为所述第一内容特征数据块的匹配块，其中，所述至少一个内容特征数据块包括所述第一内容特征数据块。

16.如权利要求9所述的方法，其特征在于，所述获取待处理图像的内容特征数据和风格图像的风格特征数据，包括：

对所述待处理图像进行逐级编码处理，得到所述待处理图像的内容特征数据，并对所述风格图像进行逐级编码处理，得到所述风格图像的风格特征数据。

17.一种图像风格转换装置，其特征在于，包括：

获取单元，用于获取待处理图像的内容特征数据和风格图像的风格特征数据；

映射单元，用于分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据；

重组单元，用于基于所述映射处理后的所述内容特征数据与所述映射处理后的所述风格特征数据，得到重组特征数据；

所述映射单元，还用于将所述重组特征数据映射到所述风格特征数据所在域，得到转换特征数据；

转换单元，用于基于所述转换特征数据，得到风格转换图像；

所述转换单元，用于对所述转换特征数据进行逐级解码处理，得到风格转换图像；

所述转换单元包括：

第一解码子单元，用于对所述转换特征数据进行至少一级解码处理，得到第一解码特征数据；

第一融合子单元，用于对所述第一解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第一编码特征数据进行融合处理，得到第一融合特征数据；

第一转换子单元，用于基于所述第一融合特征数据，得到风格转换图像。

18.如权利要求17所述的装置，其特征在于，所述映射单元，用于将所述内容特征数据和所述风格特征数据投影到同一空间域，得到所述映射处理后的所述内容特征数据和所述映射处理后的所述风格特征数据。

19.如权利要求17或18所述的装置，其特征在于，所述映射单元，用于基于所述内容特征数据和所述内容特征数据的均值信息，得到第一特征数据，并且基于所述风格特征数据和所述风格特征数据的均值信息，得到第二特征数据；以及对所述第一特征数据进行第一卷积处理，得到所述映射处理后的所述内容特征数据，并对所述第二特征数据进行第二卷积处理，得到所述映射处理后的所述风格特征数据。

20.如权利要求19所述的装置，其特征在于，所述第一卷积处理的卷积参数是基于所述待处理图像得到的，所述第二卷积处理的卷积参数是基于所述风格图像得到的。

21.如权利要求17所述的装置，其特征在于，所述重组单元包括：

划分子单元，用于将所述映射处理后的所述内容特征数据划分成至少一个内容特征数据块，并将所述映射处理后的所述风格特征数据划分成至少一个风格特征数据块；

匹配子单元，用于对所述至少一个内容特征数据块和所述至少一个风格特征数据块进行匹配处理，得到所述至少一个内容特征数据块的匹配块；

重组子单元，用于基于所述至少一个内容特征数据块的匹配块，得到所述重组特征数据。

22.如权利要求21所述的装置，其特征在于，所述重组子单元，用于将所述至少一个内容特征数据块中每个内容特征数据块替换为所述每个内容特征数据块的匹配块，得到所述重组特征数据。

23.如权利要求21或22所述的装置，其特征在于，所述匹配子单元，用于将所述至少一个风格特征数据块中与第一内容特征数据块相似度最大的数据块确定为所述第一内容特征数据块的匹配块，其中，所述至少一个内容特征数据块包括所述第一内容特征数据块。

24.如权利要求17所述的装置，其特征在于，所述获取单元包括：

第一编码子单元，用于对所述待处理图像进行逐级编码处理，得到所述待处理图像的内容特征数据；

第二编码子单元，用于对所述风格图像进行逐级编码处理，得到所述风格图像的风格特征数据。

25.一种图像风格转换装置，其特征在于，包括：

获取单元，用于获取待处理图像的内容特征数据和风格图像的风格特征数据；

映射单元，用于分别对所述内容特征数据和所述风格特征数据进行映射处理，得到映射处理后的所述内容特征数据和映射处理后的所述风格特征数据；

重组单元，用于基于所述映射处理后的所述内容特征数据与所述映射处理后的所述风格特征数据，得到重组特征数据；

所述映射单元，还用于将所述重组特征数据映射到所述风格特征数据所在域，得到转换特征数据；

转换单元，用于基于所述转换特征数据，得到风格转换图像；

所述转换单元，用于对所述转换特征数据进行逐级解码处理，得到风格转换图像；

所述转换单元包括：

第一解码子单元，用于对所述转换特征数据进行至少一级解码处理，得到第一解码特征数据；

第一融合子单元，用于对所述第一解码特征数据和第一编码特征数据进行融合处理，得到第一融合特征数据；

第一转换子单元，用于基于所述第一融合特征数据，得到风格转换图像；

所述第一转换子单元包括：

第二解码子单元，用于对所述第一融合特征数据进行至少一级解码处理，得到第二解码特征数据；

第二融合子单元，用于对所述第二解码特征数据和通过对所述风格图像进行至少一级编码处理得到的第二编码特征数据进行融合处理，得到第二融合特征数据，其中，所述第一编码特征数据是通过对所述第二编码特征数据进行至少一级编码处理得到的；

第二转换子单元，用于基于所述第二融合特征数据，得到风格转换图像。

26.如权利要求25所述的装置，其特征在于，所述映射单元，用于将所述内容特征数据和所述风格特征数据投影到同一空间域，得到所述映射处理后的所述内容特征数据和所述映射处理后的所述风格特征数据。

27.如权利要求25或26所述的装置，其特征在于，所述映射单元，用于基于所述内容特征数据和所述内容特征数据的均值信息，得到第一特征数据，并且基于所述风格特征数据和所述风格特征数据的均值信息，得到第二特征数据；以及对所述第一特征数据进行第一卷积处理，得到所述映射处理后的所述内容特征数据，并对所述第二特征数据进行第二卷积处理，得到所述映射处理后的所述风格特征数据。

28.如权利要求27所述的装置，其特征在于，所述第一卷积处理的卷积参数是基于所述待处理图像得到的，所述第二卷积处理的卷积参数是基于所述风格图像得到的。

29.如权利要求25所述的装置，其特征在于，所述重组单元包括：

划分子单元，用于将所述映射处理后的所述内容特征数据划分成至少一个内容特征数据块，并将所述映射处理后的所述风格特征数据划分成至少一个风格特征数据块；

匹配子单元，用于对所述至少一个内容特征数据块和所述至少一个风格特征数据块进行匹配处理，得到所述至少一个内容特征数据块的匹配块；

重组子单元，用于基于所述至少一个内容特征数据块的匹配块，得到所述重组特征数据。

30.如权利要求29所述的装置，其特征在于，所述重组子单元，用于将所述至少一个内容特征数据块中每个内容特征数据块替换为所述每个内容特征数据块的匹配块，得到所述重组特征数据。

31.如权利要求29或30所述的装置，其特征在于，所述匹配子单元，用于将所述至少一个风格特征数据块中与第一内容特征数据块相似度最大的数据块确定为所述第一内容特征数据块的匹配块，其中，所述至少一个内容特征数据块包括所述第一内容特征数据块。

32.如权利要求25所述的装置，其特征在于，所述获取单元包括：

第一编码子单元，用于对所述待处理图像进行逐级编码处理，得到所述待处理图像的内容特征数据；

第二编码子单元，用于对所述风格图像进行逐级编码处理，得到所述风格图像的风格特征数据。

Images