CN112669202B - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、电子设备和计算机可读存储介质。该方法包括：获取待处理图像；将待处理图像输入图像风格迁移模型中的编码器进行特征编码，得到待处理图像的特征向量；将特征向量分别输入图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果，第二类解码器用于对第二图像区域进行特征解码，多个解码结果中包括第一类解码器的解码结果和第二类解码器的解码结果，基于多个解码结果，得到风格转换后的图像。通过本申请，解决了相关技术中在图像风格转换中，采用多个神经网络分别处理需与原图细节保持一致和不一致的区域，导致数据计算量大影响硬件运行效率，处理效率较低的问题。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及图像数据处理技术领域，具体而言，涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

图像的风格化转换可以在保留图像主要内容的情况下，将图像细节和风格进行变化，如人像年龄变化，照片转化为手绘风格，照片转化为动画（二次元）风格等等。

常用的图像风格化转换的方法，是通过神经网络对输入图片进行拟合，并输出目标风格转化后的图片。通常神经网络采用编码器和解码器两部分构成。相关技术一中，如图1所示，是将图像中的人脸区域A，通过神经网络转化为目标风格的人脸区域B，然后将A与B融合形成人脸风格变换后的图像。然而，这种方式的风格转化，解码器需要将编码器传递过来的信息进行融合，因此会和原图细节比较近似。

在一些图像场景中，图像中有些部位需要和原图细节相似，有些部位需要不和原图细节相似，上述的图像风格化转换方法中若保留编码器到解码器的路径则全图细节都会相似，反之则都不相似，例如手绘风格化任务中，需要脸部细节和原图相似（但风格不同），头发部分需要和原图细节不同（风格也不同）。因此相关技术一中的图像风格化转换方法无法满足此种需求。相关技术二中，采用多个神经网络分别处理图像中需要不同风格化的区域，采用不包含跳连接的神经网络处理目标风格图B与原图A细节不同的区域，采用包含跳连接的神经网络处理风格图B与原图A中细节相同但风格不同的区域。然而，采用多个神经网络，在实际调用时需要多次数据搬运，数据计算量大影响硬件运行效率，导致处理效率较低，另外，多个神经网络输出的结果需要再进行额外融合操作，才能避免融合时出现的伪纹理。

针对相关技术中在图像风格转换中，采用多个神经网络分别处理需与原图细节保持一致和不一致的区域，导致数据计算量大影响硬件运行效率，处理效率较低的问题，目前尚未提出有效的解决方案。

发明内容

本公开提供一种图像处理方法、装置、电子设备和计算机可读存储介质，以至少解决相关技术中在图像风格转换中，采用多个神经网络分别处理需与原图细节保持一致和不一致的区域，导致数据计算量大影响硬件运行效率，处理效率较低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取待处理图像；将待处理图像输入图像风格迁移模型中的编码器进行特征编码，得到待处理图像的特征向量，其中，待处理图像包括：第一图像区域和第二图像区域，第二图像区域为除第一图像区域之外的其它区域；将特征向量分别输入图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果，其中，第一类解码器的每一层解码层的输入还包括以下至少之一：目标集合中的一个子集、待处理图像，其中，目标集合为编码器每一层编码层输出的特征集合，第一类解码器用于对第一图像区域进行特征解码，第二类解码器用于对第二图像区域进行特征解码，多个解码结果中包括第一类解码器的解码结果和第二类解码器的解码结果；基于多个解码结果，得到风格转换后的图像。

进一步地，将特征向量分别输入图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果包括：将特征向量、待处理图像和目标集合中的一个子集进行融合处理，得到融合特征向量；将融合特征向量输入第一类解码器进行解码，得到风格转换后的第一图像区域，将风格转换后的第一图像区域作为第一类解码器的解码结果；将特征向量输入第二类解码器进行解码，得到风格转换后的第二图像区域，将风格转换后的第二图像区域作为第二类解码器的解码结果。

进一步地，第一类解码器包括K层解码层，其中，K≥2，将融合特征向量输入第一类解码器进行解码，得到风格转换后的第一图像区域，包括：将融合特征向量输入第一类解码器的第一层解码层，得到第一层解码层的输出结果；按照将上一层解码层的输出结果和待处理图像、目标集合中的一个子集输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和目标集合中的一个子集输入第K层解码器进行解码，得到风格转换后的第一图像区域。

进一步地，将融合特征向量输入第一类解码器进行解码，得到风格转换后的第一图像区域，包括：将与第一层解码层对应的编码层输出的特征和特征向量输入第一类解码器的第一层解码层，得到第一层解码层的输出结果，其中，与第一层解码层对应的编码层与第一层解码层的特征尺寸相同；按照将上一层解码层的输出结果和与相邻下一层解码层对应的编码层输出的特征输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和与第K层解码层对应的编码层输出的特征输入第K层解码层进行解码，得到风格转换后的第一图像区域。

进一步地，图像风格迁移模型采用以下方式训练得到：获取多个样本图像对，其中，每个样本图像对包括：样本图像和样本图像对应的风格转换后的样本图像，样本图像划分的区域和风格转换后的样本图像划分的图像区域一一对应，不同图像区域的相似度不同；将多个样本图像对输入神经网络进行训练，生成图像风格迁移模型。

进一步地，样本图像中包括第一样本图像区域和第二样本图像区域，其中，第一样本图像区域与对应的风格转换后的样本图像中的第一样本图像区域的相似度大于等于预设相似度，第二样本图像区域与对应的风格转换后的样本图像中的第二样本图像区域的相似度小于预设相似度，将多个样本图像对输入神经网络进行训练，生成图像风格迁移模型包括：将样本图像输入神经网络中的编码器，通过编码器对样本图像进行特征编码，得到样本图像的特征向量；将样本图像的特征向量以及样本数据集合输入第一类解码器对第一样本图像区域进行处理，得到风格转换后的第一样本图像区域，其中，样本数据集合包括以下至少之一：样本图像、样本集合中的一个子集，样本集合为针对样本图像编码器每一层编码层输出的特征集合；将样本图像的特征向量输入第二类解码器对第二样本图像区域进行处理，得到风格转换后的第二样本图像区域；根据风格转换后的第一样本图像区域和风格转换后的第二样本图像区域，得到风格转换后的图像；基于风格转换后的第一样本图像区域、风格转换后的第二样本图像区域、风格转换后的图像和风格转换后的样本图像，对神经网络中的参数进行调整，以生成图像风格迁移模型。

进一步地，基于风格转换后的第一样本图像区域、风格转换后的第二样本图像区域、风格转换后的图像和风格转换后的样本图像，对神经网络中的参数进行调整，以生成图像风格迁移模型，包括：通过第一损失函数对风格转换后的图像和风格转换后的样本图像进行一致性约束，得到全图监督信息；通过第二损失函数对风格转换后的第一样本图像区域和风格转换后的样本图像中的第一样本图像区域进行一致性约束，得到第一样本图像区域的监督信息；通过第三损失函数对风格转换后的第二样本图像区域和风格转换后的样本图像中的第二样本图像区域进行一致性约束，得到第二样本图像区域的监督信息；基于全图监督信息、第一样本图像区域的监督信息和第二样本图像区域的监督信息对神经网络中的参数进行调整，以生成图像风格迁移模型。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：第一获取单元，被配置为获取待处理图像；第一编码单元，被配置为将待处理图像输入图像风格迁移模型中的编码器进行特征编码，得到待处理图像的特征向量，其中，待处理图像包括：第一图像区域和第二图像区域，第二图像区域为除第一图像区域之外的其它区域；第一解码单元，被配置为将特征向量分别输入图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果，其中，第一类解码器的每一层解码层的输入还包括以下至少之一：目标集合中的一个子集、待处理图像，其中，目标集合为编码器每一层编码层输出的特征集合，第一类解码器用于对第一图像区域进行特征解码，第二类解码器用于对第二图像区域进行特征解码，多个解码结果中包括第一类解码器的解码结果和第二类解码器的解码结果；第一转换单元，被配置为基于多个解码结果，得到风格转换后的图像。

进一步地，第一解码单元还包括：第一处理模块，被配置为将特征向量、待处理图像和目标集合中的一个子集进行融合处理，得到融合特征向量；第一解码模块，被配置为将融合特征向量输入第一类解码器进行解码，得到风格转换后的第一图像区域，将风格转换后的第一图像区域作为第一类解码器的解码结果；第二解码模块，被配置为将特征向量输入第二类解码器进行解码，得到风格转换后的第二图像区域，将风格转换后的第二图像区域作为第二类解码器的解码结果。

进一步地，所述第一类解码器包括K层解码层，其中，K≥2，第一解码模块包括：第一获取子模块，被配置为将融合特征向量输入第一类解码器的第一层解码层，得到第一层解码层的输出结果；第一解码子模块，被配置为按照将上一层解码层的输出结果和待处理图像、目标集合中的一个子集输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和目标集合中的一个子集输入第K层解码器进行解码，得到风格转换后的第一图像区域。

进一步地，第一解码模块还包括：第二获取子模块，被配置为将与第一层解码层对应的编码层输出的特征和特征向量输入第一类解码器的第一层解码层，得到第一层解码层的输出结果，其中，与第一层解码层对应的编码层与第一层解码层的特征尺寸相同；第二解码子模块，被配置为按照将上一层解码层的输出结果和与相邻下一层解码层对应的编码层输出的特征输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和与第K层解码层对应的编码层输出的特征输入第K层解码层进行解码，得到风格转换后的第一图像区域。

进一步地，第二获取单元，被配置为获取多个样本图像对，其中，每个样本图像对包括：样本图像和样本图像对应的风格转换后的样本图像，样本图像划分的区域和风格转换后的样本图像划分的图像区域一一对应，不同图像区域的相似度不同；第一生成单元，被配置为将多个样本图像对输入神经网络进行训练，生成图像风格迁移模型。

进一步地，所述样本图像中包括第一样本图像区域和第二样本图像区域，其中，所述第一样本图像区域与对应的风格转换后的样本图像中的第一样本图像区域的相似度大于等于预设相似度，所述第二样本图像区域与对应的风格转换后的样本图像中的第二样本图像区域的相似度小于所述预设相似度，第一编码单元还包括：第一编码模块，被配置为将样本图像输入神经网络中的编码器，通过编码器对样本图像进行特征编码，得到样本图像的特征向量；第一处理模块，被配置为将样本图像的特征向量以及样本数据集合输入第一类解码器对第一样本图像区域进行处理，得到风格转换后的第一样本图像区域，其中，样本数据集合包括以下至少之一：样本图像、样本集合中的一个子集，样本集合为针对样本图像编码器每一层编码层输出的特征集合；第二处理模块，被配置为将样本图像的特征向量输入第二类解码器对第二样本图像区域进行处理，得到风格转换后的第二样本图像区域；第一转换模块，被配置为根据风格转换后的第一样本图像区域和风格转换后的第二样本图像区域，得到风格转换后的图像；第一调整模块，被配置为基于风格转换后的第一样本图像区域、风格转换后的第二样本图像区域、风格转换后的图像和风格转换后的样本图像，对神经网络中的参数进行调整，以生成图像风格迁移模型。

进一步地，第一调整模块还包括：第一约束子模块，被配置为通过第一损失函数对风格转换后的图像和风格转换后的样本图像进行一致性约束，得到全图监督信息；第二约束子模块，被配置为通过第二损失函数对风格转换后的第一样本图像区域和风格转换后的样本图像中的第一样本图像区域进行一致性约束，得到第一样本图像区域的监督信息；第三约束子模块，被配置为通过第三损失函数对风格转换后的第二样本图像区域和风格转换后的样本图像中的第二样本图像区域进行一致性约束，得到第二样本图像区域的监督信息；第一调整子模块，被配置为基于全图监督信息、第一样本图像区域的监督信息和第二样本图像区域的监督信息对神经网络中的参数进行调整，以生成图像风格迁移模型。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述任一项所述的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得处理器执行时实现上述任一项所述的方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的方法。

通过本申请，采用以下步骤：获取待处理图像；将待处理图像输入图像风格迁移模型中的编码器进行特征编码，得到待处理图像的特征向量，其中，待处理图像包括：第一图像区域和第二图像区域，第二图像区域为除第一图像区域之外的其它区域；将特征向量分别输入图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果，其中，第一类解码器的每一层解码层的输入还包括以下至少之一：目标集合中的一个子集、待处理图像，其中，目标集合为编码器每一层编码层输出的特征集合，第一类解码器用于对第一图像区域进行特征解码，第二类解码器用于对第二图像区域进行特征解码，多个解码结果中包括第一类解码器的解码结果和第二类解码器的解码结果，基于多个解码结果，得到风格转换后的图像。通过本申请，解决了相关技术中在图像风格转换中，采用多个神经网络分别处理需与原图细节保持一致和不一致的区域，导致数据计算量大影响硬件运行效率，处理效率较低的问题，通过采用一个图像风格迁移模型对图像进行风格转换处理，避免了采用多个神经网络分别处理需与原图细节保持一致和不一致的区域，从而减少了数据计算量，提升硬件运行效率，快速的得到风格转换后的图像，达到提升图像处理效率的技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是相关技术中公开的图像处理的示意图；

图2是根据一示例性实施例一示出的一种图像处理方法的计算机终端的硬件结构框图；

图3是根据一示例性实施例一示出的一种图像处理方法的流程图；

图4是根据一示例性实施例一示出的一种可选的图像处理方法的示意图；

图5是根据一示例性实施例一示出的一种图像处理效果的示意图；

图6是根据一示例性实施例二示出的一种图像处理装置的框图。

图7是根据一示例性实施例示出的一种终端的结构框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

首先对本公开中出现的技术术语或技术名称进行如下解释说明：

卷积神经网络：Convolutional Neural Network，简称为CNN，是一种前馈神经网络，可以由一个或多个卷积层和顶端的全连通层组成。

损失函数：loss function或称代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。

随机梯度下降算法: Stochastic gradient descent，简称为SGD，在神经网络模型训练中，是一种很常见的优化算法。这种算法是基于梯度下降算法产生的。这个算法的流程就是在每次更新的时候使用一个样本进行梯度下降，所谓的随机二字，就是说我们可以随机用一个样本来表示所有的样本，因为这个样本是随机的，所以每次迭代没有办法得到一个准确的梯度，这样一来虽然每一次迭代得到的损失函数不一定是朝着全局最优方向，但是大体的方向还是朝着全局最优解的方向靠近，直到最后，得到的结果通常就会在全局最优解的附近。这种算法相比普通的梯度下降算法，收敛的速度更快。

本公开实施例一所提供的方法实施例可以在移动终端或者计算机终端中执行。图2是根据一示例性实施例示出的一种图像处理方法的计算机终端（或移动设备）的硬件结构框图。如图2所示，计算机终端10（或移动设备10）可以包括一个或多个（图中采用102a、102b，……，102n来示出）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器104、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口（I/O接口）、通用串行总线（USB）端口（可以作为BUS总线的端口中的一个端口被包括）、网络接口、电源和/或相机。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10（或移动设备）中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制（例如与接口连接的可变电阻终端路径的选择）。

存储器104可用于存储应用软件的软件程序以及模块，如本公开实施例中的图像处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器（LCD），该液晶显示器可使得用户能够与计算机终端10（或移动设备）的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图2所示的计算机设备（或移动设备）可以包括硬件元件（包括电路）、软件元件（包括存储在计算机可读介质上的计算机代码）、或硬件元件和软件元件两者的结合。应当指出的是，图2仅为特定具体实例的一个实例，并且旨在示出可在于上述计算机设备（或移动设备）中的部件的类型。

图3是根据一示例性实施例一示出的一种图像处理方法的流程图，如图3所示，该方法可以用于图像处理过程中风格转换的环节中，包括以下步骤。

在步骤S301中，获取待处理图像。

例如，待处理图像为一张人脸图像，该人脸图像可以是由手机、相机等设备拍摄的原始照片。图像待进行的处理是风格转换，风格转换可以为手绘风格转换、动漫风格转换、彩妆转换等。

在步骤S302中，将待处理图像输入图像风格迁移模型中的编码器进行特征编码，得到待处理图像的特征向量，其中，待处理图像包括：第一图像区域和第二图像区域，第二图像区域为除第一图像区域之外的其它区域。

例如，待处理图像为原图A，第一图像区域为原图A中的人脸区域，第二图像区域为原图A中的头发区域。采用编码器对人脸区域和头发区域进行特征编码，得到特征向量。

在步骤S303中，将特征向量分别输入图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果，其中，第一类解码器的每一层解码层的输入还包括以下至少之一：目标集合中的一个子集、待处理图像，其中，目标集合为编码器每一层编码层输出的特征集合，第一类解码器用于对第一图像区域进行特征解码，第二类解码器用于对第二图像区域进行特征解码，多个解码结果中包括第一类解码器的解码结果和第二类解码器的解码结果。

由于图像风格迁移模型中的第一类解码器的输入包括：特征向量、待处理图像和编码器每一层编码层输出的特征集合中的一个子集，也即，第一类解码器的输入中包括了原图的信息，从而保证第一类解码器对第一图像区域进行特征解码后输出的解码结果与第一图像区域中的细节保存一致。

在步骤S304中，基于多个解码结果，得到风格转换后的图像。

上述的多个解码结果中包括：第一类解码器的解码结果和第二类解码器的解码结果。将第一类解码器的解码结果和第二类解码器的解码结果进行融合，即可得到风格转换后的图像。

通过上述步骤S301到步骤S304中的技术方案，解决了相关技术中在图像风格转换中，采用多个神经网络分别处理需与原图细节保持一致和不一致的区域，导致数据计算量大影响硬件运行效率，处理效率较低的问题，通过采用一个图像风格迁移模型对图像进行风格转换处理，避免了采用多个神经网络分别处理需与原图细节保持一致和不一致的区域，从而减少了数据计算量，提升硬件运行效率，快速的得到风格转换后的图像，达到提升图像处理效率的技术效果。

可选地，在本申请实施例一示出的图像处理方法中，步骤S302还可以包括以下步骤：将特征向量、待处理图像和目标集合中的一个子集进行融合处理，得到融合特征向量；将融合特征向量输入第一类解码器进行解码，得到风格转换后的第一图像区域，将风格转换后的第一图像区域作为第一类解码器的解码结果；将特征向量输入第二类解码器进行解码，得到风格转换后的第二图像区域，将风格转换后的第二图像区域作为第二类解码器的解码结果。

在上述方案中，限定了如何具体的将特征向量分别输入图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果。通过将特征向量、待处理图像和目标集合中的一个子集进行融合处理，融合处理的方式可以为拼接或者数值运算等方式，将特征向量、待处理图像和目标集合中的一个子集合并成一个向量。从而使得第一类解码器的输入中包括了原图的信息，从而保证第一类解码器输出的风格转换后的第一图像区域能够与待处理图像中的第一图像区域中的细节保存一致。将特征向量输入第二类解码器进行解码，由于第二类解码器的输入仅包括特征向量，并未包括原图的信息，因此第二类解码器输出的风格转换后的第二图像区域与待处理图像中的第二图像区域中的细节存在差异，也即，风格转换后的第二图像区域与待处理图像中的第二图像区域中的细节并不一致。

通过上述方案，能够快速以及准确的得到与待处理图像中的第一图像区域细节保持一致的风格转换后的第一图像区域，以及到与待处理图像中的第二图像区域细节存在差异的风格转换后的第二图像区域。

可选地，在本申请实施例一示出的图像处理方法中，第一类解码器包括K层解码层，其中，K≥2，将融合特征向量输入第一类解码器进行解码，得到风格转换后的第一图像区域，包括：将融合特征向量输入第一类解码器的第一层解码层，得到第一层解码层的输出结果；按照将上一层解码层的输出结果和待处理图像、目标集合中的一个子集输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和目标集合中的一个子集输入第K层解码器进行解码，得到风格转换后的第一图像区域。

由于第一类解码器包括K层解码层，其中，K≥2，在上述方案中，限定了第一类解码器中各层解码层具体的输入。例如，将特征向量、待处理图像和目标集合中的一个子集合融合成一个向量（对应上述的融合特征相应），将融合特征向量输入第一类解码器的第一层解码层，得到第一层解码层的输出结果；将第一层解码层的输出结果和待处理图像、目标集合中的一个子集输入第二层解码层，得到第二层解码层的输出结果；将第二层解码层的输出结果和待处理图像、目标集合中的一个子集输入第二层解码层，得到第三层解码层的输出结果；……，按照将上一层解码层的输出结果和待处理图像、目标集合中的一个子集输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和目标集合中的一个子集输入第K层解码器进行解码，得到风格转换后的第一图像区域。

通过上述方案，能够快速以及准确的得到与待处理图像中的第一图像区域细节保持一致的风格转换后的第一图像区域。

可选地，在本申请实施例一示出的图像处理方法中，将融合特征向量输入第一类解码器进行解码，得到风格转换后的第一图像区域，包括：将与第一层解码层对应的编码层输出的特征和特征向量输入第一类解码器的第一层解码层，得到第一层解码层的输出结果，其中，与第一层解码层对应的编码层与第一层解码层的特征尺寸相同；按照将上一层解码层的输出结果和与相邻下一层解码层对应的编码层输出的特征输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和与第K层解码层对应的编码层输出的特征输入第K层解码层进行解码，得到风格转换后的第一图像区域。

如图4所示，编码器包括三层编码层，第一类编码器包括三层解码层，其中，各层解码层与各层编码层一一对应，例如，第一层解码层对应第一层编码层，两者的特征尺寸相同；第二层解码层对应第二层编码层，两者的特征尺寸相同；第三层解码层对应第三层编码层，两者的特征尺寸相同。将与第一层解码层对应的编码层（第一层编码层）输出的特征和特征向量（编码器对原图A进行编码得到的）输入第一层解码层，得到第一层解码层的输出结果；将与第二层解码层对应的编码层（第二层编码层）输出的特征和第一层解码层的输出结果输入第二层解码层，得到第二层解码层的输出结果；将与第三层解码层对应的编码层（第三编码层）输出的特征和第二层解码层的输出结果输入第三解码层，得到第三层解码层的输出结果，也即得到风格B的第一图像区域。由于第一类解码器中的各层解码层与对应编码层之间存在特征跳连接，因此，第一类解码器输出的风格转换后的第一图像区域能够与原图中的第一图像区域的细节保存一致。

通过上述方案，限定了图像风格迁移模型中的第一解码器中各层解码层与对应的编码层之间存在特征跳连接进行特征传递，从而采用该第一解码器对待处理图像的第一图像区域进行特征解码，能够快速以及准确的得到第一解码器输出的风格转换后的第一图像区域，并保证该风格转换后的第一图像区域与待处理图像中的第一图像区域细节保持一致。

可选地，在本申请实施例一示出的图像处理方法中，图像风格迁移模型采用以下方式训练得到：获取多个样本图像对，其中，每个样本图像对包括：样本图像和样本图像对应的风格转换后的样本图像，样本图像划分的区域和风格转换后的样本图像划分的图像区域一一对应，不同图像区域的相似度不同；将多个样本图像对输入神经网络进行训练，生成图像风格迁移模型。

例如，多个样本图像对中包括：样本图像A和样本图像B，样本图像A可以为手机、相机等设备拍摄的图像，样本图像B为样本图像A风格转换后的图像。其中，样本图像A被分割为若干区域Ai，包括：A1，A2，A3……，样本图像B分割为若干区域Bi，包括：B1，B2，B3……，且Ai和Bi对应的区域完全一致（即Ai中的像素坐标集合与Bi中的像素坐标集合完全相同），若样本图像A为人像，样本图像B为风格转换后的手绘风格人像，则Ai和Bi可以定义为人像的各个区域，如头发，眼睛，嘴巴，脸部皮肤，人像之外的背景等区域。样本图像B的每个区域Bi为Ai对应的风格转换后的图像区域，并且不同Bi的风格也可以相互不同，例如，头发区域可以转化为高光柔顺风格，眼睛可以改为长眼睫毛风格，背景部分可以保持不变，与对应区域Ai风格相同。需要说明的是，对样本图像A和样本图像B的区域划分可以采用人工标注或者图像分割算法完成。

通过上述方案，限定了如何生成的图像风格迁移模型。通过将预先处理好的多个样本图像对输入神经网络进行训练，快速的生成图像风格迁移模型。例如，按照神经网络的训练方法（例如，随机梯度下降算法）采用多个样本图像对对神经网络进行更新，得到最终的图像风格迁移模型，从而保证后续对图像进行处理时，采用预先生成的图像风格迁移模型进行处理，快速的得到风格转换后的图像，提升对图像处理的效率。

可选地，在本申请实施例一示出的图像处理方法中，样本图像中包括第一样本图像区域和第二样本图像区域，其中，第一样本图像区域与对应的风格转换后的样本图像中的第一样本图像区域的相似度大于等于预设相似度，第二样本图像区域与对应的风格转换后的样本图像中的第二样本图像区域的相似度小于预设相似度，将多个样本图像对输入神经网络进行训练，生成图像风格迁移模型包括：将样本图像输入神经网络中的编码器，通过编码器对样本图像进行特征编码，得到样本图像的特征向量；将样本图像的特征向量以及样本数据集合输入第一类解码器对第一样本图像区域进行处理，得到风格转换后的第一样本图像区域，其中，样本数据集合包括以下至少之一：样本图像、样本集合中的一个子集，样本集合为针对样本图像编码器每一层编码层输出的特征集合；将样本图像的特征向量输入第二类解码器对第二样本图像区域进行处理，得到风格转换后的第二样本图像区域；根据风格转换后的第一样本图像区域和风格转换后的第二样本图像区域，得到风格转换后的图像；基于风格转换后的第一样本图像区域、风格转换后的第二样本图像区域、风格转换后的图像和风格转换后的样本图像，对神经网络中的参数进行调整，以生成图像风格迁移模型。

在上述方案中，由于神经网络中的第一类解码器的输入包括：样本图像的特征向量、样本图像和编码器每一层编码层输出的特征集合中的一个子集，保证了第一类解码器的输出的风格转换后的第一样本图像区域，与样本图像对中对应的风格转换后的样本图像中的第一样本图像区域的相似度大于等于预设相似度，也即，第一类解码器的输出的风格转换后的第一样本图像区域与样本图像对中对应的风格转换后的样本图像中的第一样本图像区域细节保持一致。由于神经网络中的第二类解码器的输入仅包括样本图像的特征向量，并未包括原图的信息，因此，第二类解码器的输出的风格转换后的第二样本图像区域，与样本图像对中对应的风格转换后的样本图像中的第二样本图像区域的相似度小于预设相似度，因此，第二类解码器的输出的风格转换后的第二样本图像区域，与样本图像对中对应的风格转换后的样本图像中的第二样本图像区域细节不一致。然后根据样本图像对中该样本图像对应的风格转换后的图像、风格转换后的第一样本图像区域、风格转换后的第二样本图像区域和风格转换后的图像，对神经网络中的参数进行调整，生成图像风格迁移模型。通过上述方案生成的图像风格迁移模型可以对待处理图像进行风格转换，并且保证风格转换后的图像中包括与原图（待处理图像）细节保持一致和不一致的区域，减少了数据计算量，提升硬件运行效率，快速的得到风格转换后的图像，达到提升图像处理效率的技术效果。

可选地，在本申请实施例一示出的图像处理方法中，基于风格转换后的第一样本图像区域、风格转换后的第二样本图像区域、风格转换后的图像和风格转换后的样本图像，对神经网络中的参数进行调整，以生成图像风格迁移模型，包括：通过第一损失函数对风格转换后的图像和风格转换后的样本图像进行一致性约束，得到全图监督信息；通过第二损失函数对风格转换后的第一样本图像区域和风格转换后的样本图像中的第一样本图像区域进行一致性约束，得到第一样本图像区域的监督信息；通过第三损失函数对风格转换后的第二样本图像区域和风格转换后的样本图像中的第二样本图像区域进行一致性约束，得到第二样本图像区域的监督信息；基于全图监督信息、第一样本图像区域的监督信息和第二样本图像区域的监督信息对神经网络中的参数进行调整，以生成图像风格迁移模型。

在将多个样本图像对输入神经网络进行训练，生成图像风格迁移模型之前，该方法还包括：确定神经网络中的第一损失函数，其中，第一损失函数用于约束样本图像和风格转换后的样本图像的相似度；确定神经网络中的第二损失函数，其中，第二损失函数用于约束第一样本图像区域和对应的风格转换后的样本图像中的第一样本图像区域的相似度；确定神经网络中的第三损失函数，其中，第三损失函数用于约束第二样本图像区域和对应的风格转换后的样本图像中的第二样本图像区域的相似度。需要说明的是，上述的损失函数可以包括绝对值平均误差，均方误差，判别器误差等，在本申请中不作具体限定。

例如，上述的神经网络可以包含一个编码器、若干解码器Di、一个全图融合模块以及若干区域输出模块Bi。编码器和每一个解码器都是一个多层的卷积神经网络。解码器的第k层解码层的输入包含两部分，第一部分是解码器中的k-1解码层（若k=1则为编码器的最后一层编码层的输出）；第二部分为集合U的一个子集，其中，集合U是包含待处理图像以及编码器每一层编码层输出的特征集合。需要说明的是，全图融合模块为一个一层或者多层的神经网络，输入为所有Di输出的集合，按预设的融合方式进行融合，输出为网络拟合得到的全图风格化图B’。区域输出模块Bi的输入为Di的输出张量，输出为Ai和Bi对应的区域的风格化图像Bi’（作为参考或者监督的作用），例如，风格化图像Bi’中包括：风格B的区域1图像、风格B的区域2图像以及风格B的图像等。也即，在对神经网络进行学习训练过程中，将输入样本图片A输入至神经网络，得到输出结果B’（全图融合模块输出的全图风格化图）和Bi’（区域风格化图像）。Bi’分别与Bi（风格转换后的样本图像中的区域风格化图像）进行一致性损失函数约束，例如，通过第二损失函数对风格转换后的第一样本图像区域和风格转换后的样本图像中的第一样本图像区域进行一致性约束，得到第一样本图像区域的监督信息；通过第三损失函数对风格转换后的第二样本图像区域和风格转换后的样本图像中的第二样本图像区域进行一致性约束，得到第二样本图像区域的监督信息。B’与B（样本图像对中风格转换后的样本图像）进行一致性损失函数约束。例如，通过第一损失函数对风格转换后的图像和风格转换后的样本图像进行一致性约束，得到全图监督信息。然后基于全图监督信息、第一样本图像区域的监督信息和第二样本图像区域的监督信息对神经网络中的参数进行调整，以生成图像风格迁移模型。因此，通过上述方案中的区域监督和全图监督保证了生成的图像风格迁移模型的精确性。

另外，在图像风格迁移模型生成后，去掉所有区域输出模块Bi，仅保留全图融合模块，也即，则图像风格迁移模型至保留一个输入和输出。在生成图像风格迁移模型之后，可以将该图像风格迁移模型嵌入图像处理流程，比如手机、云端等，将图像风格迁移模型输出的风格转换后的图片代替原图作为输出，以便更符合对图像的需求。

例如，图5中左边为原图，将原图输入上述方案生成的图像风格迁移模型进行风格转换，得到图5中右边为风格转换后的图，其中，脸部上眼睛，鼻子，嘴等部分和原图细节（轮廓纹理等）保持一致，但头发部分和原图细节不同。例如，风格转换后的头发比原图头发线条更稀少，有顺滑感，更为平坦无单根细小头发，更符合该风格下对图像的需求。同时通过上述方案生成的图像风格迁移模型对图像进行风格转换处理，避免了采用多个神经网络分别处理需与原图细节保持一致和不一致的区域，从而减少数据计算量，提升硬件运行效率，提升图像处理效率的技术效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种图像处理装置，需要说明的是，本申请实施例的图像处理装置可以用于执行本申请实施例所提供的用于图像处理方法。以下对本申请实施例提供的图像处理装置进行介绍。

图6是根据一示例性实施例二示出的一种图像处理装置框图。如图6，该装置包括第一获取单元601、第一编码单元602、第一解码单元603、第一转换单元604。

具体的，第一获取单元601，被配置为获取待处理图像；

第一编码单元602，被配置为将待处理图像输入图像风格迁移模型中的编码器进行特征编码，得到待处理图像的特征向量，其中，待处理图像包括：第一图像区域和第二图像区域，第二图像区域为除第一图像区域之外的其它区域；

第一解码单元603，被配置为将特征向量分别输入图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果，其中，第一类解码器的每一层解码层的输入还包括以下至少之一：目标集合中的一个子集、待处理图像，其中，目标集合为编码器每一层编码层输出的特征集合，第一类解码器用于对第一图像区域进行特征解码，第二类解码器用于对第二图像区域进行特征解码，多个解码结果中包括第一类解码器的解码结果和第二类解码器的解码结果；

第一转换单元604，被配置为基于多个解码结果，得到风格转换后的图像。

综上，本申请实施例提供的图像处理装置，通过第一获取单元601获取待处理图像；第一编码单元602将待处理图像输入图像风格迁移模型中的编码器进行特征编码，得到待处理图像的特征向量，其中，待处理图像包括：第一图像区域和第二图像区域，第二图像区域为除第一图像区域之外的其它区域；第一解码单元603将特征向量分别输入图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果，其中，第一类解码器的每一层解码层的输入还包括以下至少之一：目标集合中的一个子集、待处理图像，其中，目标集合为编码器每一层编码层输出的特征集合，第一类解码器用于对第一图像区域进行特征解码，第二类解码器用于对第二图像区域进行特征解码，多个解码结果中包括第一类解码器的解码结果和第二类解码器的解码结果；第一转换单元604基于多个解码结果，得到风格转换后的图像。通过采用一个图像风格迁移模型对图像进行风格转换处理，避免了采用多个神经网络分别处理需与原图细节保持一致和不一致的区域，从而减少了数据计算量，提升硬件运行效率，快速的得到风格转换后的图像，达到提升图像处理效率的技术效果。

可选地，在本申请实施例提供的图像处理装置中，第一解码单元603还包括：第一处理模块，被配置为将特征向量、待处理图像和目标集合中的一个子集进行融合处理，得到融合特征向量；第一解码模块，被配置为将融合特征向量输入第一类解码器进行解码，得到风格转换后的第一图像区域，将风格转换后的第一图像区域作为第一类解码器的解码结果；第二解码模块，被配置为将特征向量输入第二类解码器进行解码，得到风格转换后的第二图像区域，将风格转换后的第二图像区域作为第二类解码器的解码结果。

可选地，在本申请实施例提供的图像处理装置中，第一类解码器包括K层解码层，其中，K≥2，第一解码模块包括：第一获取子模块，被配置为将融合特征向量输入第一类解码器的第一层解码层，得到第一层解码层的输出结果；第一解码子模块，被配置为按照将上一层解码层的输出结果和待处理图像、目标集合中的一个子集输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和目标集合中的一个子集输入第K层解码器进行解码，得到风格转换后的第一图像区域。

可选地，在本申请实施例提供的图像处理装置中，第一解码模块还包括：第二获取子模块，被配置为将与第一层解码层对应的编码层输出的特征和特征向量输入第一类解码器的第一层解码层，得到第一层解码层的输出结果，其中，与第一层解码层对应的编码层与第一层解码层的特征尺寸相同；第二解码子模块，被配置为按照将上一层解码层的输出结果和与相邻下一层解码层对应的编码层输出的特征输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和与第K层解码层对应的编码层输出的特征输入第K层解码层进行解码，得到风格转换后的第一图像区域。

可选地，在本申请实施例提供的图像处理装置中，该装置包括：第二获取单元，被配置为获取多个样本图像对，其中，每个样本图像对包括：样本图像和样本图像对应的风格转换后的样本图像，样本图像划分的区域和风格转换后的样本图像划分的图像区域一一对应，不同图像区域的相似度不同；第一生成单元，被配置为将多个样本图像对输入神经网络进行训练，生成图像风格迁移模型。

可选地，在本申请实施例提供的图像处理装置中，样本图像中包括第一样本图像区域和第二样本图像区域，其中，第一样本图像区域与对应的风格转换后的样本图像中的第一样本图像区域的相似度大于等于预设相似度，第二样本图像区域与对应的风格转换后的样本图像中的第二样本图像区域的相似度小于预设相似度，第一编码单元202还包括：第一编码模块，被配置为将样本图像输入神经网络中的编码器，通过编码器对样本图像进行特征编码，得到样本图像的特征向量；第一处理模块，被配置为将样本图像的特征向量以及样本数据集合输入第一类解码器对第一样本图像区域进行处理，得到风格转换后的第一样本图像区域，其中，样本数据集合包括以下至少之一：样本图像、样本集合中的一个子集，样本集合为针对样本图像编码器每一层编码层输出的特征集合；第二处理模块，被配置为将样本图像的特征向量输入第二类解码器对第二样本图像区域进行处理，得到风格转换后的第二样本图像区域；第一转换模块，被配置为根据风格转换后的第一样本图像区域和风格转换后的第二样本图像区域，得到风格转换后的图像；第一调整模块，被配置为基于风格转换后的第一样本图像区域、风格转换后的第二样本图像区域、风格转换后的图像和风格转换后的样本图像，对神经网络中的参数进行调整，以生成图像风格迁移模型。

可选地，在本申请实施例提供的图像处理装置中，第一调整模块还包括：第一约束子模块，被配置为通过第一损失函数对风格转换后的图像和风格转换后的样本图像进行一致性约束，得到全图监督信息；第二约束子模块，被配置为通过第二损失函数对风格转换后的第一样本图像区域和风格转换后的样本图像中的第一样本图像区域进行一致性约束，得到第一样本图像区域的监督信息；第三约束子模块，被配置为通过第三损失函数对风格转换后的第二样本图像区域和风格转换后的样本图像中的第二样本图像区域进行一致性约束，得到第二样本图像区域的监督信息；第一调整子模块，被配置为基于全图监督信息、第一样本图像区域的监督信息和第二样本图像区域的监督信息对神经网络中的参数进行调整，以生成图像风格迁移模型。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种计算机程序产品，包括计算机程序，可选地，该计算机程序被处理器执行时执行如上述的图像处理方法。

在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现如上述的图像处理方法。

在示例性实施例中，还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得处理器执行时实现上述任一项所述的方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

本公开的实施例可以提供一种终端，该终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述终端也可以为移动终端等终端设备。

可选地，在本实施例中，上述终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，图7是根据一示例性实施例示出的一种终端的结构框图。如图7所示，该终端可以包括：一个或多个（图7中仅示出一个）处理器121、用于存储处理器可执行指令的存储器122；其中，处理器被配置为执行指令，以实现上述任一项的图像处理方法。

其中，存储器可用于存储软件程序以及模块，如本公开实施例中的图像处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本领域普通技术人员可以理解，图7所示的结构仅为示意，计算机终端也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌声电脑以及移动互联网设备（MobileInternet Devices，MID）、PAD等终端设备。图7其并不对上述电子装置的结构造成限定。例如，终端12还可包括比图7中所示更多或者更少的组件（如网络接口、显示装置等），或者具有与图7所示不同的配置。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像；

将所述待处理图像输入图像风格迁移模型中的编码器进行特征编码，得到所述待处理图像的特征向量，其中，所述待处理图像包括：第一图像区域和第二图像区域，所述第二图像区域为除所述第一图像区域之外的其它区域；

将所述特征向量分别输入所述图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果，其中，所述第一类解码器的每一层解码层的输入还包括以下至少之一：目标集合中的一个子集、所述待处理图像，其中，所述目标集合为所述编码器每一层编码层输出的特征集合，所述第一类解码器用于对所述第一图像区域进行特征解码，所述第二类解码器用于对所述第二图像区域进行特征解码，所述多个解码结果中包括所述第一类解码器的解码结果和所述第二类解码器的解码结果；

基于所述多个解码结果，得到风格转换后的图像；

将所述特征向量分别输入所述图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果包括：

将所述特征向量、所述待处理图像和目标集合中的一个子集进行融合处理，得到融合特征向量；

将所述融合特征向量输入所述第一类解码器进行解码，得到所述风格转换后的第一图像区域，将所述风格转换后的第一图像区域作为所述第一类解码器的解码结果；

将所述特征向量输入所述第二类解码器进行解码，得到所述风格转换后的第二图像区域，将所述风格转换后的第二图像区域作为所述第二类解码器的解码结果。

2.根据权利要求1所述的图像处理方法，其特征在于，所述第一类解码器包括K层解码层，其中，K≥2，将所述融合特征向量输入所述第一类解码器进行解码，得到所述风格转换后的第一图像区域，包括：

将所述融合特征向量输入所述第一类解码器的第一层解码层，得到第一层解码层的输出结果；

按照将上一层解码层的输出结果和所述待处理图像、所述目标集合中的一个子集输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和所述目标集合中的一个子集输入第K层解码器进行解码，得到所述风格转换后的第一图像区域。

3.根据权利要求2所述的图像处理方法，其特征在于，将所述融合特征向量输入所述第一类解码器进行解码，得到所述风格转换后的第一图像区域，包括：

将与第一层解码层对应的编码层输出的特征和所述特征向量输入所述第一类解码器的第一层解码层，得到所述第一层解码层的输出结果，其中，与第一层解码层对应的编码层与所述第一层解码层的特征尺寸相同；

按照将上一层解码层的输出结果和与相邻下一层解码层对应的编码层输出的特征输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和与第K层解码层对应的编码层输出的特征输入第K层解码层进行解码，得到所述风格转换后的第一图像区域。

4.根据权利要求1所述的图像处理方法，其特征在于，所述图像风格迁移模型采用以下方式训练得到：

获取多个样本图像对，其中，每个样本图像对包括：样本图像和所述样本图像对应的风格转换后的样本图像，所述样本图像划分的区域和所述风格转换后的样本图像划分的图像区域一一对应，不同图像区域的相似度不同；

将所述多个样本图像对输入神经网络进行训练，生成所述图像风格迁移模型。

5.根据权利要求4所述的图像处理方法，其特征在于，所述样本图像中包括第一样本图像区域和第二样本图像区域，其中，所述第一样本图像区域与对应的风格转换后的样本图像中的第一样本图像区域的相似度大于等于预设相似度，所述第二样本图像区域与对应的风格转换后的样本图像中的第二样本图像区域的相似度小于所述预设相似度，将所述多个样本图像对输入神经网络进行训练，生成所述图像风格迁移模型包括：

将所述样本图像输入所述神经网络中的编码器，通过所述编码器对所述样本图像进行特征编码，得到所述样本图像的特征向量；

将样本图像的特征向量以及样本数据集合输入所述第一类解码器对第一样本图像区域进行处理，得到风格转换后的第一样本图像区域，其中，所述样本数据集合包括以下至少之一：所述样本图像、样本集合中的一个子集，所述样本集合为针对所述样本图像所述编码器每一层编码层输出的特征集合；

将所述样本图像的特征向量输入所述第二类解码器对第二样本图像区域进行处理，得到风格转换后的第二样本图像区域；

根据所述风格转换后的第一样本图像区域和所述风格转换后的第二样本图像区域，得到风格转换后的图像；

基于所述风格转换后的第一样本图像区域、所述风格转换后的第二样本图像区域、所述风格转换后的图像和所述风格转换后的样本图像，对所述神经网络中的参数进行调整，以生成所述图像风格迁移模型。

6.根据权利要求5所述的图像处理方法，其特征在于，基于所述风格转换后的第一样本图像区域、所述风格转换后的第二样本图像区域、所述风格转换后的图像和所述风格转换后的样本图像，对所述神经网络中的参数进行调整，以生成所述图像风格迁移模型，包括：

通过第一损失函数对所述风格转换后的图像和所述风格转换后的样本图像进行一致性约束，得到全图监督信息；

通过第二损失函数对风格转换后的第一样本图像区域和所述风格转换后的样本图像中的第一样本图像区域进行一致性约束，得到第一样本图像区域的监督信息；

通过第三损失函数对风格转换后的第二样本图像区域和所述风格转换后的样本图像中的第二样本图像区域进行一致性约束，得到第二样本图像区域的监督信息；

基于所述全图监督信息、第一样本图像区域的监督信息和第二样本图像区域的监督信息对所述神经网络中的参数进行调整，以生成所述图像风格迁移模型。

7.一种图像处理装置，其特征在于，包括：

第一获取单元，被配置为获取待处理图像；

第一编码单元，被配置为将所述待处理图像输入图像风格迁移模型中的编码器进行特征编码，得到所述待处理图像的特征向量，其中，所述待处理图像包括：第一图像区域和第二图像区域，所述第二图像区域为除所述第一图像区域之外的其它区域；

第一解码单元，被配置为将所述特征向量分别输入所述图像风格迁移模型中的第一类解码器和第二类解码器进行特征解码，得到多个解码结果，其中，所述第一类解码器的每一层解码层的输入还包括以下至少之一：目标集合中的一个子集、所述待处理图像，其中，所述目标集合为所述编码器每一层编码层输出的特征集合，所述第一类解码器用于对所述第一图像区域进行特征解码，所述第二类解码器用于对所述第二图像区域进行特征解码，所述多个解码结果中包括所述第一类解码器的解码结果和所述第二类解码器的解码结果；

第一转换单元，被配置为基于所述多个解码结果，得到风格转换后的图像；

所述第一解码单元还包括：

第一处理模块，被配置为将所述特征向量、所述待处理图像和目标集合中的一个子集进行融合处理，得到融合特征向量；

第一解码模块，被配置为将所述融合特征向量输入所述第一类解码器进行解码，得到所述风格转换后的第一图像区域，将所述风格转换后的第一图像区域作为所述第一类解码器的解码结果；

第二解码模块，被配置为将所述特征向量输入所述第二类解码器进行解码，得到所述风格转换后的第二图像区域，将所述风格转换后的第二图像区域作为所述第二类解码器的解码结果。

8.根据权利要求7所述的图像处理装置，其特征在于，所述第一类解码器包括K层解码层，其中，K≥2，所述第一解码模块包括：

第一获取子模块，被配置为将所述融合特征向量输入所述第一类解码器的第一层解码层，得到第一层解码层的输出结果；

第一解码子模块，被配置为按照将上一层解码层的输出结果和所述待处理图像、所述目标集合中的一个子集输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和所述目标集合中的一个子集输入第K层解码器进行解码，得到所述风格转换后的第一图像区域。

9.根据权利要求8所述的图像处理装置，其特征在于，所述第一解码模块还包括：

第二获取子模块，被配置为将与第一层解码层对应的编码层输出的特征和所述特征向量输入所述第一类解码器的第一层解码层，得到所述第一层解码层的输出结果，其中，与第一层解码层对应的编码层与所述第一层解码层的特征尺寸相同；

第二解码子模块，被配置为按照将上一层解码层的输出结果和与相邻下一层解码层对应的编码层输出的特征输入相邻下一层解码层进行解码的原则继续执行，直到将第K-1层解码层的输出结果和与第K层解码层对应的编码层输出的特征输入第K层解码层进行解码，得到所述风格转换后的第一图像区域。

10.根据权利要求7所述的图像处理装置，其特征在于，所述装置还包括：

第二获取单元，被配置为获取多个样本图像对，其中，每个样本图像对包括：样本图像和所述样本图像对应的风格转换后的样本图像，所述样本图像划分的区域和所述风格转换后的样本图像划分的图像区域一一对应，不同图像区域的相似度不同；

第一生成单元，被配置为将所述多个样本图像对输入神经网络进行训练，生成所述图像风格迁移模型。

11.根据权利要求10所述的图像处理装置，其特征在于，所述样本图像中包括第一样本图像区域和第二样本图像区域，其中，所述第一样本图像区域与对应的风格转换后的样本图像中的第一样本图像区域的相似度大于等于预设相似度，所述第二样本图像区域与对应的风格转换后的样本图像中的第二样本图像区域的相似度小于所述预设相似度，所述第一编码单元还包括：

第一编码模块，被配置为将所述样本图像输入所述神经网络中的编码器，通过所述编码器对所述样本图像进行特征编码，得到所述样本图像的特征向量；

第一处理模块，被配置为将样本图像的特征向量以及样本数据集合输入所述第一类解码器对第一样本图像区域进行处理，得到风格转换后的第一样本图像区域，其中，所述样本数据集合包括以下至少之一：所述样本图像、样本集合中的一个子集，所述样本集合为针对所述样本图像所述编码器每一层编码层输出的特征集合；

第二处理模块，被配置为将所述样本图像的特征向量输入所述第二类解码器对第二样本图像区域进行处理，得到风格转换后的第二样本图像区域；

第一转换模块，被配置为根据所述风格转换后的第一样本图像区域和所述风格转换后的第二样本图像区域，得到风格转换后的图像；

第一调整模块，被配置为基于所述风格转换后的第一样本图像区域、所述风格转换后的第二样本图像区域、所述风格转换后的图像和所述风格转换后的样本图像，对所述神经网络中的参数进行调整，以生成所述图像风格迁移模型。

12.根据权利要求11所述的图像处理装置，其特征在于，所述第一调整模块还包括：

第一约束子模块，被配置为通过第一损失函数对所述风格转换后的图像和所述风格转换后的样本图像进行一致性约束，得到全图监督信息；

第二约束子模块，被配置为通过第二损失函数对风格转换后的第一样本图像区域和所述风格转换后的样本图像中的第一样本图像区域进行一致性约束，得到第一样本图像区域的监督信息；

第三约束子模块，被配置为通过第三损失函数对风格转换后的第二样本图像区域和所述风格转换后的样本图像中的第二样本图像区域进行一致性约束，得到第二样本图像区域的监督信息；

第一调整子模块，被配置为基于所述全图监督信息、第一样本图像区域的监督信息和第二样本图像区域的监督信息对所述神经网络中的参数进行调整，以生成所述图像风格迁移模型。

13.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现权利要求1至6中任一项所述的方法。

14.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述处理器执行时实现权利要求1至6中任一项所述的方法。