CN114332470A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法、装置、电子设备和计算机可读存储介质；本发明实施例在获取图像样本集合后，采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征，然后，对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池，根据风格特征池，对初始风格特征进行调整，得到风格图像样本的风格特征，然后，基于风格图像样本的风格特征和原始图像样本对预设图像处理模型进行收敛，得到训练后图像处理模型，该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换；该方案通可以提升图像处理的准确性。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本发明涉及通信技术领域，具体涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

近年来，随着互联网技术的飞速发展，图像的类型和风格也越来越多。对图像处理的方式也越来越多了，比如，将拍摄的真实照片转换为具有艺术风格的风格图像。现有的图像处理方法往往是直接原始图像进行图像转换或风格迁移等方式生成具有特定艺术风格的风格图像。

在对现有技术的研究和实践过程中，本发明的发明人发现图像转换的方式无法生成不同风格的图像，而风格迁移的方式只是将风格建模为纹理从而实现迁移，对于一些没有纹理信息的艺术风格图像，往往无法保证风格迁移的准确，因此，导致图像处理的准确性降低。

发明内容

本发明实施例提供一种图像处理方法、装置、电子设备和计算机可读存储介质，可以提高图像处理的准确性。

一种图像处理方法，包括：

获取图像样本集合，所述图像样本集合包括原始图像样本和风格图像样本；

采用预设图像处理模型对所述风格图像样本进行风格特征提取，得到所述风格图像样本的初始风格特征；

对所述初始风格特征进行聚类，以得到所述图像样本集合对应的风格特征池；

根据所述风格特征池，对所述初始风格特征进行调整，得到所述风格图像样本的风格特征；

基于所述风格图像样本的风格特征和原始图像样本对所述预设图像处理模型进行收敛，得到训练后图像处理模型，所述训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换。

相应的，本发明实施例提供一种图像处理装置，包括：

获取单元，用于获取图像样本集合，所述图像样本集合包括原始图像样本和风格图像样本；

提取单元，用于采用预设图像处理模型对所述风格图像样本进行风格特征提取，得到所述风格图像样本的初始风格特征；

聚类单元，用于对所述初始风格特征进行聚类，以得到所述图像样本集合对应的风格特征池；

调整单元，用于根据所述风格特征池，对所述初始风格特征进行调整，得到所述风格图像样本的风格特征；

收敛单元，用于基于所述风格图像样本的风格特征和原始图像样本对所述预设图像处理模型进行收敛，得到训练后图像处理模型，所述训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换。

可选的，在一些实施例中，所述提取单元，具体可以用于对所述风格图像样本进行数据增广，得到所述风格图像样本对应的多个同源风格图像样本；采用预设图像处理模型的风格特征提取网络对所述同源风格图像样本进行风格特征提取，得到所述风格图像样本的初始风格特征。

可选的，在一些实施例中，所述聚类单元，具体可以用于对所述初始风格特征进行聚类，得到多个风格特征簇；分别计算每一风格特征簇中的风格特征均值，得到每一所述风格特征簇对应的基础风格特征；将所述基础风格特征进行融合，得到所述图像样本集合对应的风格特征池。

可选的，在一些实施例中，所述收敛单元，具体可以用于基于所述风格特征对所述风格特征提取网络进行收敛，得到训练后风格特征提取网络；采用所述训练后风格特征提取网络对所述风格图像样本进行特征提取，得到所述风格图像样本的目标风格特征；根据所述目标风格特征和原始图像样本对图像处理网络进行训练，得到训练后图像处理网络，并将训练后风格特征提取网络和训练后图像处理网络作为所述训练后图像处理模型。

可选的，在一些实施例中，所述收敛单元，具体可以用于对所述风格特征进行分类，得到所述风格图像样本对应的同源风格特征和非同源风格特征，所述同源风格特征为所述风格图像样本的同源风格图像样本对应的风格特征；分别计算所述同源风格特征之间的第一特征距离和所述同源风格特征与非同源风格特征之间的第二特征距离；基于所述第一特征距离和第二特征距离，确定所述风格图像样本的第一风格损失信息，并根据所述第一风格损失信息对所述风格特征提取网络进行收敛，得到训练后风格特征提取网络。

可选的，在一些实施例中，所述收敛单元，具体可以用于对所述原始推向样本进行灰度处理，得到灰度图像样本，根据所述目标风格特征，采用所述图像处理网络对所述灰度图像样本进行图像处理，得到所述灰度图像样本对应的当前风格图像；采用所述图像处理网络对所述灰度图像样本和当前风格图像进行重建，得到重建后灰度图像样本和重建后风格图像；基于所述当前风格图像、灰度图像样本、重建后灰度图像样本和重建后风格图像，确定所述图像样本集合的图像损失信息，并基于所述图像损失信息对所述图像处理网络进行收敛，得到所述训练后图像处理网络。

可选的，在一些实施例中，所述收敛单元，具体可以用于采用所述图像处理网络将所述当前风格图像的风格还原为所述灰度图像样本的风格，得到重建后灰度图像样本；在风格图像样本中筛选出用于风格图像重建的第一风格图像样本和第二风格图像样本，并采用所述图像处理网络将所述第一风格图像样本转换为目标灰度图像样本；采用所述图像处理网络对所述目标灰度图像样本和第二风格图像样本进行处理，得到重建后风格图像。

可选的，在一些实施例中，所述收敛单元，具体可以用于根据所述当前风格图像和目标灰度图像样本，确定所述图像样本集合的对抗损失信息；基于所述灰度图像样本和重建后灰度图像样本，确定所述图像样本集合的灰度图像损失信息；根据所述第一风格图像样本和重建后风格图像，确定所述图像样本集合的风格图像损失信息；基于所述目标风格特征、当前风格图像、重建后风格图像和第二风格图像样本，确定所述图像样本集合的第二风格损失信息；将所述第二风格损失信息、对抗损失信息、灰度图像损失信息和风格图像损失信息进行融合，得到所述图像样本集合的图像损失信息。

可选的，在一些实施例中，所述收敛单元，具体可以用于计算所述灰度图像样本和重建后灰度图像样本的图像相似度，并基于所述图像相似度，确定所述图像样本集合的相似度损失信息；对所述灰度图像样本和重建后灰度图像样本进行像素截断，并将像素截断后的灰度图像样本和像素截断后的重建后灰度图像样本进行对比，以得到所述图像样本集合的像素损失信息；将所述相似度损失信息和像素损失信息进行融合，得到所述图像样本集合的灰度图像损失信息。

可选的，在一些实施例中，所述收敛单元，具体可以用于分别对所述第一风格图像和重建后风格图像进行风格特征提取，并计算提取出的风格特征之间的特征距离，得到第一风格特征距离；计算所述第一风格图像和重建后风格图像之间的图像相似度；基于所述风格特征距离和图像相似度，确定所述图像样本集合的风格图像损失信息。

可选的，在一些实施例中，所述收敛单元，具体可以用于采用训练后风格特征提取网络分别对当前风格图像、重建后风格图像和第二风格图像样本进行特征提取，并根据风格特征池对提取出的风格特征进行调整，得到所述当前风格图像的第一风格特征、重建后风格图像的第二风格特征和第二风格图像样本的第三风格特征；计算第一风格特征与目标风格特征之间的特征距离，得到第二风格特征距离，并计算第二风格特征与第三风格特征之间的特征距离，得到第三风格特征距离；根据所述第二风格特征距离和第三风格特征距离，确定所述图像样本集合的第二风格损失信息。

可选的，在一些实施例中，所述调整单元，具体可以用于根据所述风格特征池，确定所述初始风格特征针对所述风格特征池的映射关系；基于所述映射关系，计算所述初始风格特征对所述风格特征池的映射向量，得到所述风格图像样本的风格特征。

可选的，在一些实施例中，所述图像处理装置还可以包括处理单元，所述处理单元具体可以用于获取待处理原始图像和风格图像，并采用训练后图像处理模型对所述风格图像进行特征提取，得到所述风格图像对应的当前风格特征；对所述待处理原始图像进行灰度处理，得到待处理灰度图像，并对所述待处理灰度图像进行特征提取；基于所述当前风格特征，对提取出的图像特征进行调整，并基于调整后图像特征，生成目标风格图像。

此外，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的图像处理方法。

此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。

本发明实施例在获取图像样本集合后，采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征，然后，对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池，根据风格特征池，对初始风格特征进行调整，得到风格图像样本的风格特征，然后，基于风格图像样本的风格特征和原始图像样本对预设图像处理模型进行收敛，得到训练后图像处理模型，该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换；由于该方案通过对提取的初始风格特征进行聚类，得到一个风格特征池，采用风格特征池对初始风格特征进行调整，使得调整后的风格特征更少受到的风格无关信息的干扰，而且针对没有纹理信息的艺术风格图像也可以保证提取出的风格特征的准确，还可以生成任意风格的风格图像，因此，可以提升图像处理的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像处理的场景示意图；

图2是本发明实施例提供的图像处理方法的流程示意图；

图3是本发明实施例提供的原始图像样本和风格图像样本的图像示意图；

图4是本发明实施例提供的图像处理模型训练的示意图；

图5是本发明实施例提供的提取图像样本的风格特征的流程示意图；

图6是本发明实施例提供的重建原始图像样本和当前风格图像的流程示意图；

图7是本发明实施例提供的采用图像处理模型进行图像处理的流程示意图；

图8是本发明实施例提供的本方案输出肖像画的流程示意图；

图9是本发明实施例提供的图像处理方法的另一流程示意图；

图10是本发明实施例提供的图像处理装置的结构示意图；

图11是本发明实施例提供的图像处理装置的另一结构示意图；

图12是本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种图像处理方法、装置、电子设备和计算机可读存储介质。其中，该图像处理装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。

其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

例如，参见图1，以图像处理装置集成在电子设备中为例，电子设备在获取图像样本集合后，采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征，然后，对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池，根据风格特征池，对初始风格特征进行调整，得到风格图像样本的风格特征，然后，基于风格图像样本的风格特征和原始图像样本对预设图像处理模型进行收敛，得到训练后图像处理模型，该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换。

其中，图像处理可以理解为将一个拍摄的真实照片转换为具有特定艺术风格的风格照片，比如，根据风格照片，将真实的人脸照片转换为特定风格的肖像画，该肖像画的风格与风格照片的风格相同。该风格照片的类型可以有多种，比如，可以包括预先设定的风格照片，或者，可以包括用户自行绘制的风格照片，或者，还可以包括用户将多个预设的或现有的风格照片进行融合生成的新的风格照片，等等。因此，与现有的对风格进行预定义的方式对比，在本方案就无需限定风格种类。

以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本实施例将从图像处理装置的角度进行描述，该图像处理装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、以及个人计算机(PC，Personal Computer)、可穿戴设备、虚拟现实设备或其他可以进行图像处理的智能设备等设备。

一种图像处理方法，包括：

获取图像样本集合，该图像样本集合包括原始图像样本和风格图像样本，采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征，对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池，根据风格特征池，对初始风格特征进行调整，得到风格图像样本的风格特征，基于风格图像样本的风格特征和原始图像样本对预设图像处理模型进行收敛，得到训练后图像处理模型，该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换。

如图2所示，该图像处理方法的具体流程如下：

101、获取图像样本集合。

其中，图像样本集合包括原始图像样本和风格图像样本，所谓原始图像样本可以为采用图像采集设备采集的真实的图像或者视频的画面帧等，比如，可以包括人物照片、人脸照片、动物照片、物品照片或者其他真实的照片或图像。风格图像样本可以为通过艺术的手法生成的包含艺术风格的照片，该艺术手法不包含用户图像采集设备直接拍摄或者采集等，风格图像样本与原始图像样本最大的区别在于风格图像样本不是图像采集设备采集的真实的图像，而是通过绘制或者其他图像生成方式生成的包含特定艺术风格的图像。以原始图像样本为真人照片，风格图像样本为铅笔画为例，原始图像样本和风格图像样本可以如图3所示。

其中，获取图像样本集合的方式可以有多种，比如，可以直接获取图像样本集合，或者，当图像样本集合中的原始图像样本和风格图像样本的数量较多或者内存较大时，还可以间接获取图像样本集合，具体可以如下：

(1)直接获取图像样本集合；

例如，可以直接接收用户通过终端发送的至少一张原始图像样本和风格图像样本，从而得到图像样本集合，或者，还可以直接从互联网或者图像数据库中获取原始图像样本和风格图像样本，从而得到图像样本集合。

(2)间接获取图像样本集合；

例如，可以接收用户通过终端发送的图像处理请求，该图像处理请求中携带图像样本集合的存储地址，根据该存储地址，在内存、缓存或者第三方图像数据库中获取原始图像样本和风格图像样本，从而得到图像样本集合。

可选的，在内存、缓存或者第三方图像数据库中获取到图像样本集合之后，还可以向终端发送提示信息，该提示信息用于提示终端已获取到图像样本集合。

102、采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征。

例如，可以对风格图像样本进行数据增广，得到风格图像样本对应的多个同源风格图像样本，采用预设图像处理模型的风格特征提取网络对同源风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征。

其中，对风格图像样本进行数据增广的方式可以有多种，比如，可以对风格图像样本进行随机水平翻转、图像模糊或随机灰化等数据增广方式，从而得到图像样本对应的多个同源风格图像样本，所谓同源风格图像样本可以理解为来自同一个风格图像样本的数据增广后的风格图像样本，同源风格图像样本的数量可以根据实际应用来进行设定，比如，可以为2或者任意数量。

在得到同源风格图像样本之后，便可以对同源风格图像样本进行风格特征提取，从而得到风格图像样本的初始风格特征，风格特征提取的方式可以有多种，比如，可以采用预设图像处理模型的风格特征提取网络对风格图像样本进行卷积和池化等操作，最后抽象成相应的每一个同源风格图像样本对应的预设维度的初始风格特征，从而得到风格图像样本的初始风格特征。

103、对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池。

其中，风格特征池用于表征风格图像样本中稳定的风格信息的风格特征集合。

其中，对初始风格特征进行聚类而构建图像样本集合对应的风格特征池的方式可以有多种，具体可以如下：

例如，可以对初始风格特征进行聚类，得到多个风格特征簇，分别计算每一风格特征簇中的风格特征均值，得到每一风格特征簇对应的基础风格特征，将基础风格特征进行融合，得到图像样本集合对应的风格特征池。

其中，对初始风格特征进行聚类的方式可以有多种，比如，可以采用k-means(K均值)对初始风格特征进行聚类，从而得到多个风格特征簇，或者，还可以采用其他聚类算法对初始风格特征进行聚类。

其中，构建风格图像样本的风格特征池本质上可以看作是在提取出的初始风格特征中提取出与风格图像样本的风格信息强相关的风格特征，比如，以同源风格图像样本的数量为2个为例，对于所有风格图片样本X＝{x₁，x₂，…，x_n}，在经过数据扩增和风格特征提取后得到初始风格特征H＝{h′₁，h″₁，h′₂，h″₂，...，h′_n，h″_n}，其中h′_i，h″_i对应的输入的风格图像样本的两个数据增广后的同源风格图像样本，对这些初始风格特征进行K-means聚类，从而得到T个聚类簇，然后，对每个聚类簇中的所有初始风格特征求平均值，得到最终的T个代表特征，将这些T个代表特征组成风格特征池

104、根据风格特征池，对初始风格特征进行调整，得到风格图像样本风格特征。

例如，可以根据风格特征池，确定初始风格特征针对风格特征池的映射关系，基于映射关系，计算初始风格特征对风格特征池的映射向量，得到风格图像样本的风格特征。

其中，计算初始风格特征对风格特征池的映射向量的方式可以有多种，比如，可以将风格图像样本对应的两个或者多个同源风格图像样本的初始风格特征与风格特征池进行融合，就可以得到初始风格特征对风格特征池的映射向量，具体可以如公式(1)所示：

s_i＝W(a_i)·B (1)

其中，s_i为映射向量，即风格特征，a_i为任意一个风格图像样本，W(a_i)为风格图像样本a_i的初始风格特征，B为风格特征池。

以风格图像样本有两个同源风格图像样本时，即风格图像样本对应的初始风格特征的数量为2个为例，则计算初始风格特征对风格特征值的映射向量可以参考公式(2)所示：

sf_i′＝h′_iB，sf_i″＝h″_iB (2)

其中，sf_i′和sf_i″分别为同源风格图像对应的映射向量，h′_i和h″_i分别为同源风格图像初始风格特征，B为风格特征池。

可以将计算出的映射向量直接作为风格图像样本的风格特征，或者，还可以将计算出的映射向量进行融合，得到风格图像样本风格特征。

其中，需要说明的是计算映射向量从而对初始风格特征进行调整这种方式，一方面能够有效降低风格特征的维度，另一方面通过引入表征特征组成的风格特征值，能够有效缓解初始风格特征中与风格信息无关的信息带来的干扰。

105、基于风格图像样本的风格特征和原始图像样本对预设图像处理模型进行收敛，得到训练后图像处理模型。

其中，训练后图像处理模型用于根据待处理原始图像进行风格转换，训练后图像处理模型可以包括训练后风格特征提取网络和训练后图像处理网络。

其中，对预设图像处理模型进行收敛的方式可以有多种，具体可以如下：

例如，可以基于风格特征对风格特征提取网络进行收敛，得到训练后风格特征提取网络，采用训练后风格提取网络对风格图像样本进行特征提取，得到风格图像样本的目标风格特征，根据目标风格特征和原始图像样本对图像处理网络进行训练，得到训练后图像处理网络，并将训练后风格特征网络和训练后图像处理网络作为训练后图像处理模型，具体可以如下：

S1、基于风格特征对风格特征提取网络进行收敛，得到训练后风格特征提取网络。

例如，对风格特征进行分类，得到风格图像样本对应的同源风格特征和非同源风格特征，分别计算同源风格特征之间的第一特征距离和同源风格特征与非同源风格特征之间的第二特征距离，基于第一特征距离和第二特征距离，确定风格图像样本的第一风格损失信息，并根据第一风格损失信息对风格特征提取网络进行收敛，得到训练后风格特征提取网络。

其中，同源风格特征为风格图像样本中同源风格图像样本对应的风格特征，比如，风格图像样本x的同源风格图像样本为x₁和x₂，该同源风格图像样本x₁和x₂对应的图像风格特征h′₁和h″₁就为同源风格特征，与风格图像样本y的同源风格图像对应的风格特征h′₂就为非同源风格特征。

在得到同源风格特征和非同源风格特征之后，便可以计算同源风格特征之间的第一特征距离和同源风格特与非同源风格特征之间的第二特征距离，计算特征距离的方式可以有多种，比如，可以计算风格特征之间的余弦相似度，进而根据余弦相似度来确定风格特征之间的特征距离，其中余弦相似的具体的计算公式可以参考公式(3)所示：

其中，sim(a，b)为风格特征W(a_i)和风格特征W(a_j)之间的余弦相似度，a_i，a_j分别为任意两个风格图像样本，W(a_i)为风格图像样本a_i的风格特征，W(a_j)为风格图像样本a_j的风格特征。

其中，基于余弦相似度来确定风格特征之间的特征距离的还需要考虑温度参数τ，τ为超参数，用于控制样本对的匹配程度，具体可以如公式(4)所示：

其中，ES(a_i，a_j)为特征距离，sim(W(a_i)，W(a_j))为风格特征W(a_i)和风格特征W(a_j)之间的余弦相似度，τ为温度参数。

或者，还可以计算风格特征之间的欧式距离或者其他类型的距离，作为同源风格特征之间的第一特征距离和同源风格特征与非同源风格特征之间的第二特征距离。

在计算出第一特征距离和第二特征距离之后，便可以确定风格图像样本的第一风格损失信息，所谓第一风格损失信息用于约束同源风格图像样本的风格特征的距离小于非同源风格图像样本的风格特征，确定第一风格损失信息的方式可以有多种，比如，可以将第二特征距离进行融合，得到非同源特征距离，将非同源特征距离与第一特征距离相加，得到目标特征距离，分别计算第一特征距离与目标特征距离的比值，得到特征距离比值，根据特征距离比值，确定第一风格损失信息，具体公式如公式(5)所示：

其中，L₁为第一风格损失信息，

为同源风格特征，

为非同源风格特征，

为第一特征距离，

为非同源特征距离。

其中，当风格图像样本的同源风格图像样本的数量为两个时，第一风格损失信息的计算就可以如公式(6)所示：

其中，

为第一风格损失信息，h′_i，h′_j和h″_i，h″_j为非同源风格特征，h′_i，h″_i为同源风格特征，

为第一特征距离，

和

为第二特征距离，τ为超参数，用于控制样本对的匹配程度。

S2、采用训练后风格特征提取网络对风格图像样本进行特征提取，得到风格图像样本的目标风格特征。

例如，可以采用训练后风格特征提取网络对风格图像样本直接提取风格特征，得到风格图像样本的目标风格特征，或者，还可以采用训练后风格特征提取网络对风格图像样本进行特征提取，得到初始风格特征，并采用风格特征池对初始风格特征进行调整，得到风格图像样本的目标风格特征。

S3、根据目标风格特征和原始图像样本对图像处理网络进行训练，得到训练后图像处理网络，并将训练后风格特征提取网络和训练后图像处理网络作为训练后图像处理模型。

例如，可以对原始图像样本进行灰度处理，得到灰度图像样本，根据目标风格特征，采用图像处理网络对灰度图像样本进行图像处理，得到灰度图像样本对应的当前风格图像，采用图像处理网络对灰度图像样本和当前风格图像进行重建，得到重建后灰度图像样本和重建后风格图像，基于当前风格图像、灰度图像样本、重建后灰度图像样本和重建后风格图像，确定图像样本集合的图像损失信息，并基于图像损失信息对图像处理网络进行收敛，得到训练后图像处理网络。

其中，对原始图像样本进行灰度处理主要是为了尽可能摆脱RGB(一种颜色空间)图像中颜色带来的无关信息，从而可以保证本方案在图像处理过程中可以更加关注在线条笔画、阴影使用等与目标风格图像的绘画风格直接相关的部分，因此，可以提升图像处理的准确性。另外，采用图像处理网络对灰度图像样本进行图像处理的方式可以有多种，比如，可对灰度图像样本进行特征提取，得到灰度图像样本的样本图像特征，基于目标风格特征，对样本图像特征进行调整，并基于调整后样本图像特征，生成灰度图像样本对应的当前风格图像。

在得到灰度图像样本对应的当前风格图像之后，便可以重建灰度图像样本和当前风格图像，重建的方式可以有多种，比如，可以采用图像处理网络将当前风格图像的风格还原为灰度图像样本的风格，得到重建后灰度图像样本，在风格图像样本中筛选出用于风格图像重建的第一风格图像样本和第二风格图像样本，并采用图像处理网络将第一风格图像样本转换为目标灰度图像样本，采用图像处理网络对目标灰度图像样本和第二风格图像样本进行处理，得到重建后风格图像。

在重建灰度图像样本和当前风格图像之后，便可以基于当前风格图像、灰度图像样本、重建后灰度图像样本和重建后风格图像，确定图像样本集合的图像损失信息，确定图像损失信息的方式可以有多种，比如，可以根据当前风格图像和目标灰度图像样本，确定图像样本集合的对抗损失信息，基于灰度图像样本和重建后灰度图像样本，确定图像样本集合的灰度图像损失信息，根据第一风格图像样本和重建后风格图像，确定图像样本集合的风格图像损失信息，基于目标风格特征、当前风格图像、重建后风格图像和第二风格图像样本，确定图像样本集合的第二风格损失信息。将第二风格损失信息、对抗损失信息、原始图像损失信息和风格图像损失信息进行融合，得到图像样本集合的图像损失信息。

其中，确定图像样本集合的对抗损失信息的方式可以有多种，比如，可以采用对抗网络(GAN)将生成器输出的当前风格图像和目标灰度图像样本与输入的风格图像样本和灰度图像样本进行对比，并采用判别器对输入图像和输出图像进行分类，基于分类结果与真实结果进行对比，从而得到图像样本集合的对抗损失信息，具体可以如公式(7)所示：

其中，L_GAN为对抗损失信息，G为灰度图像样本，

为输出的目标灰度图像样本，F为风格图像样本，

为输出的当前风格图像。

该对抗损失信息的算法针对图像中人脸五官等进行细节的刻画进行约束，通过GAN的生成器保证输出图像(当前风格图像和目标灰度图像样本)在真实性能能够尽量接近输入图像，判别器则保证了算法能够清楚准确地对输入和输出图片进行分类。在两个优化方向相反的损失共同作用下，最后网络能够达到平衡，生成尽可能真实的图片。

其中，确定图像样本集合的灰度图像损失信息的方式可以有多种，比如，计算灰度图像样本和重建后灰度图像样本的图像相似度，并基于图像相似度，确定图像样本集合的相似度损失信息，由于相似度损失主要用于约束原始图像样本和重建后原始图像样本的线条，因此，相似度损失信息又可以称为松弛重建损失信息，具体可以如公式(8)所示：

其中，L_realxed-cyc为相似度损失信息，G为目标风格图像生成器，F为目标原始图像样本生成器，p为原始图像样本，H为图像特征，S为风格特征。

对灰度图像样本和重建后灰度图像样本进行像素截断，并将像素截断后的灰度图像样本和像素截断后的重建后灰度图像样本进行对比，以得到图像样本集合的像素损失信息，将相似度损失信息和像素损失信息进行融合，得到图像样本集合的灰度图像损失信息。

其中，相似度损失信息可以理解为灰度图像样本的松弛重建损失信息，主要为松弛灰度图像样本和重建后灰度图像样本的相似程度，主要是用于对灰度图像样本和重建后灰度图像样本的线条进行约束，而像素损失信息主要是用来约束灰度图像样本和重建后灰度图像样本经过像素截断处理后的输出一致，也可以理解为约束在像素级别的统一。

其中，确定图像样本集合的风格图像损失信息的方式可以有多种，比如，分别对第一风格图像样本和重建后风格图像进行风格特征提取，并计算提取出的风格特征的之间的特征距离，得到第一风格特征距离，计算第一风格图像样本和重建后风格图像的图像相似度，基于第一风格特征距离和图像相似度，确定图像样本集合的风格图像损失信息，由于风格图像损失信息用于约束重建风格图像和第一风格图像在像素级别的统一，因此，风格图像损失信息又可以称为严格重建损失信息，具体可以如公式(9)：

其中，d为第一风格图像样本，G为风格图像样本生成器，G(F(d)，S(d))为重建后风格图像，F为原始图像样本生成器，S为风格特征。

其中，对抗损失信息、灰度图像损失信息和风格图像损失信息都可以看作是对目标风格图像的生成质量的保证，因此，对抗损失信息、灰度图像损失信息和风格图像损失信息又可以被称为质量损失信息。

其中，风格损失信息主要用于拉近输入和输出图像的风格的损失信息，确定风格损失信息的方式可以有多种，比如，可以采用训练后风格特征提取网络分别对当前风格图像、重建后风格图像和第二风格图像样本进行风格特征提取，并根据风格特征池对提取出的风格特征进行调整，得到当前风格图像的第一风格特征、重建后风格图像的第二风格特征和第二风格图像样本的第三风格特征，并计算第一风格特征与目标风格特征的特征距离，得到第二风格特征距离，计算第二风格特征和第三风格特征之间的特征距离，得到第三风格特征距离，根据第二风格特征距离和第三风格特征距离，确定图像样本集合的第二风格损失信息，具体可以如公式(10)所示：

其中，L_style为第二风格损失信息，D_s(a)为当前风格图像，

为目标风格特征对应的风格图像样本，

为重建后风格图像，

为第二风格图像样本，p为原始图像样本，G为目标风格图像生成器。计算出的第二风格损失信息对于风格的控制主要是通过拉近输入和输出图像的风格来实现，尤其对于输入图像的风格可以为任意风格，而不是某些特定的固有风格类型，而且在对图像的风格划分上，也很难统一的将图像风格划分为某几个固定的类别，从而使得生成的目标风格图像的风格更加多样和准确，因此，可以提升图像处理的灵活性和准确性。

在确定出第二风格损失信息、对抗损失信息、灰度图像损失信息和风格图像损失信息之后，便可以将对第二风格损失信息、抗损失信息、灰度图像损失信息和风格图像损失信息进行融合，从而得到图像样本集合的图像损失信息，融合的方式可以有多种，比如，可以将对抗损失信息、灰度图像损失信息和风格图像损失信息作为质量损失信息与风格损失信息相加，从而得到图像样本集合的图像损失信息，参考公式(11)所示：

L_total＝L_quality+L_style (11)

其中，L_total为图像损失信息，L_quality为质量损失信息，L_style为风格损失信息。

其中，质量损失信息可以由对抗损失信息、灰度图像损失信息和风格图像损失信息融合得到，融合的方式可以有多种，比如，可以分别获取灰度图像损失信息和风格图像损失信息的加权参数，并基于该加权参数，分别对原始图像损失信息和风格图像损失信息进行加权，然后，将加权后的灰度图像损失信息和风格图像损失信息与对抗损失信息进行融合，得到质量损失信息，具体可以如公式(12)所示：

L_quality＝L_GAN+λ₁L_relaxed+λ₂L_strict+λ₃L_trunc (12)

其中，L_quality为质量损失信息，L_GAN为对抗损失信息，L_relaxed为相似度损失信息(松弛重建损失)，L_trunc为像素损失信息，L_strict为风格图像损失信息(严格重建损失)。

确定图像样本集合的图像损失信息之后，便可以对图像处理网络进行收敛，收敛的方式可以有多种，比如，可以采用梯度下降算法根据图像损失信息对图像处理网络的网络参数进行更新，或者采用其他更新算法根据图像损失信息对图像处理网络的网络参数进行更新，从而得到训练后图像处理网络。将训练后风格特征提取网络和训练后图像处理网络作为训练后图像处理模型。

其中，需要说明的是，在对图像处理模型进行训练的过程可以如图4所示，通过风格图像样本数据扩增模块对风格图像样本进行数据增广，然后，采用样本风格特征提取模块提取数据增广后的同源风格图像样本的初始风格特征，采用样本风格池处理模块对初始风格特征进行聚类，从而得到风格特征池，采用样本风格特征重映射模块计算初始风格特征对风格特征池的映射向量，从而得到风格图像样本的风格特征，并根据生成的风格特征对图像处理模型的风格特征提取网络进行收敛，基于风格图像(肖像画)生成模块生成风格图像，在生成风格图像之后，对风格图像和原始图像样本对应的灰度图像进行重建，在得到还重建后风格图像和重建后灰度图像，确定图像样本集合的图像损失信息，并基于该图像损失信息对预设图像处理模型的图像处理网络进行收敛，从而得到训练后图像处理模型。其中，在风格特征提取网络进行训练的过程中的核心在于提取图像样本的风格特征，具体可以如图5所示，通过构建风格特征池以及将初始风格对风格特征池进行映射，一方面能够有效降低风格特征的维度，另一方面通过引入表征特征组成的风格特征池，能够有效缓解初始风格特征中与风格无关的信息带来的干扰。在对图像处理网络进行训练的过程中采用了解耦的循环结构来同时实现两个逆向的生成循环，用于重建灰度图像样本和风格图像。重建灰度图像样本用于确定图像样本集合的松弛重建损失信息，重建风格图像用于确定图像样本集合的严格重建损失信息。对于松弛重建损失信息，可以参考图6中的(a)所示，对原始图像样本进行灰度处理，输入灰度图像样本和风格图像样本，生成当前风格图像，然后，将当前风格图像的风格还原为灰度图像样本的风格，从而实现灰度图像样本的重建，然后，利用重建后灰度图像样本和灰度图像样本之间的图像相似度，就可以确定图像样本集合的松弛重建损失信息。对于严格重建损失信息，可以参考图6中的(b)所示，在风格图像样本中筛选出第一风格图像样本作为输入的当前风格图像，将输入的当前风格图像重建为目标灰度图像样本，然后，在风格图像样本中筛选出第二风格图像样本作为目标风格的风格图像样本，对目标原始图像样本和第二风格图像样本进行处理，得到重建后风格图像。重建灰度图像样本和重建风格图像的整个过程可以构成输入输出的双循环。两个不同的循环网络采用不同的原始图像样本(灰度图像样本)-风格图像样本对应的样本对，训练数据配对组合的丰富性更有利于生成更加准确的目标风格图像。

可选的，在得到训练后图像处理模型之后，还可以采用训练后图像处理模型对待处理原始图像和风格图像进行处理，得到目标风格图像。

其中，目标风格图像为将待处理原始图像的风格调整为风格图像的目标风格的图像。

其中，对待处理原始图像和风格图像进行处理的过程可以有多种，具体可以如下：

例如，获取待处理原始图像和风格图像，并采用训练后图像处理模型对风格图像进行特征提取，得到风格图像对应的当前风格特征。对待处理原始图像进行灰度处理，得到待处理灰度图像，并对待处理灰度图像进行特征提取，基于当前风格特征，对提取出的图像特征进行调整，并基于调整后图像特征，生成目标风格图像。

其中，对风格图像进行特征提取方式可以有多种，比如，可以采用训练后图像处理模型的风格特征提取网络直接提取出风格图像的当前风格特征，或者，还可以采用风格特征提取网络对风格图像进行特征提取，得到初始风格特征，并基于预设风格特征池对初始风格特征进行调整，得到风格图像的当前风格特征。

其中，对待处理图像进行灰度处理主要的作用是为了尽可能摆脱RGB图像中颜色带来的无关信息，保证图像处理模型集中关注在线条笔画和阴影使用等与风格图像(肖像画)的绘画风格直接相关的部分。

其中，基于当前风格特征对提取出的图像特征进行调整的方式可以有多种，比如，可以在图像特征中提取出原始风格特征，将原始风格特征替换为当前风格特征，或者，还可以将当前风格特征添加至图像特征中，得到调整后图像特征。

在对图像特征进行调整后，便可以基于调整后图像特征，生成目标风格图像，生成目标风格图像的方式可以有多种，比如，将调整后图像特征转换为图像参数，基于该图像参数绘制目标风格图像，或者，还可以直接将调整后图像特征还原为风格图像，得到目标风格图像。

其中，需要说明的是以目标风格图像为肖像画为例，在本方案中提出了两个符合现实情况的假设：即只包含未标记和未进行原图-肖像图配对的数据，它使得实际操作中可以摆脱对于大体量标注和配对数据的需求，合理利用大量的无标签数据；引入了对比自监督学习进行风格特征的刻画，这也呼应了前述假设：低成本获取大规模无标签训练数据。拉近每个肖像画及其增强图像的距离，并且推远不同的肖像画。通过这种方式，风格特征提取网络可以探索输入数据之间的潜在关系；使用了一个风格池来映射上述任意风格提取器提取的风格特征，保证它们更少地受到风格无关信息的干扰，与此同时通过降低整体特征空间的维度，保证了训练过程的稳定性；使用了解耦的双流循环结构，来保证生成的肖像画的完整性、生动性和对特定风格的贴近。

由以上可知，本发明实施例在获取图像样本集合后，采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征，然后，对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池，根据风格特征池，对初始风格特征进行调整，得到风格图像样本的风格特征，然后，基于风格图像样本的风格特征和原始图像样本对预设图像处理模型进行收敛，得到训练后图像处理模型，该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换；由于该方案通过对提取的初始风格特征进行聚类，得到一个风格特征池，采用风格特征池对初始风格特征进行调整，使得调整后的风格特征更少受到的风格无关信息的干扰，而且针对没有纹理信息的艺术风格图像也可以保证提取出的风格特征的准确，还可以生成任意风格的风格图像，因此，可以提升图像处理的准确性。

根据上面实施例所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以该图像处理装置集成在电子设备，图像处理模型已经训练完成，采用训练后图像处理模型对待处理原始图像和风格图像进行处理为例进行说明。

例如，可以获取待处理原始图像和风格图像，对风格图像进行特征提取，得到风格图像对应的风格特征，对待处理原始图像进行灰度处理，得到待处理灰度图像，对待处理灰度图像进行特征提取，得到待初试原始图像的图像特征，基于风格特征，对图像特征进行调整，并基于调整后图像特征，生成目标风格图像，该目标风格图像为将待处理原始图像的风格调整为风格图像的目标风格的图像。

其中，获取待处理原始图像和风格图像的方式可以有多种，比如，可以直接接收用户通过终端上传的待处理原始图像和风格图像，或者，接收用户通过终端上传的待处理原始图像和用户在预设风格图像集合中筛选出的用于图像处理的风格图像，或者，还可以接收用户通过终端发送的图像处理请求，该图像处理请求中携带待处理原始图像和风格图像的存储地址或者图像标识，基于该存储地址或图像标识，获取待处理原始图像和风格图像。

在获取到待处理原始图像和风格图像之后，便可以对风格图像提取风格特征，提取风格特征的方式可以有多种，比如，可以采用训练后图像处理模型的风格特征提取网络直接提取风格图像的风格特征，或者，还可以采用风格特征提取网络提取风格图像的初始风格特征，然后，基于风格特征池对初始风格特征进行调整，得到风格图像的风格特征。

其中，基于风格特征对待处理原始图像的图像特征进行调整的方式可以有多种，比如，可以在图像特征中提取出原始风格特征，将原始风格特征替换为风格图像的风格特征，或者，还可以将风格特征添加至待处理原始图像的图像特征中，得到调整后图像特征。

在得到调整后图像特征，便可以生成目标风格图像，生成目标风格图像的方式可以有多种，比如，可以采用训练后图像处理模型的图像处理网络将调整后图像特征转换为图像参数，基于该图像参数绘制目标风格图像，或者，还可以采用训练后图像处理模型的图像处理网络直接将调整后图像特征还原为风格图像，得到目标风格图像。

其中，需要说明的是，在采用训练后图像处理模型对待处理原始图像进行处理的过程可以如图7所示，采用原始图像模块获取待处理原始图像，采用风格特征提取模块获取风格图像并提取风格图像的风格模板，采用风格图像生成模块生成目标风格图像。以目标风格图像为肖像画为例，需要输入一张待处理真人图像，再输入或选择一张风格图像，然后，训练后图像处理模型通过对输入的待处理真人图像和风格图像进行处理，从而将待处理真人图像转换为具有风格图像的目标风格的图像，得到目标风格图像，具体可以如图8所示。

根据上面实施例所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以该图像处理装置具体集成在电子设备，电子设备为服务器，原始图像为真人图像，目标风格图像为肖像画为例进行说明。

如图9所示，一种图像处理方法，具体流程如下：

201、服务器获取图像样本集合。

例如，服务器可以直接接收用户通过终端发送的至少一张真人图像样本和风格图像样本，从而得到图像样本集合，或者，还可以直接从互联网或者图像数据库中获取真人图像样本和风格图像样本，从而得到图像样本集合。

服务器还可以接收用户通过终端发送的图像处理请求，该图像处理请求中携带图像样本集合的存储地址，根据该存储地址，在内存、缓存或者第三方图像数据库中获取真人图像样本和风格图像样本，从而得到图像样本集合。

可选的，在内存、缓存或者第三方图像数据库中获取到图像样本集合之后，服务器还可以向终端发送提示信息，该提示信息用于提示终端已获取到图像样本集合。

202、服务器采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征。

例如，服务器可以对风格图像样本进行随机水平翻转、图像模糊或随机灰化等数据增广方式，从而得到图像样本对应的2个同源风格图像样本。采用预设图像处理模型的风格特征提取网络对风格图像样本进行卷积和池化等操作，最后抽象成相应的每一个同源风格图像样本对应的预设维度的初始风格特征，从而得到风格图像样本的初始风格特征。

203、服务器对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池。

例如，服务器对于所有风格图片样本X＝{x₁，x₂，…，x_n}，在经过数据扩增和风格特征提取后得到初始风格特征H＝{h′₁，h″₁，h′₂，h″₂，...，h′_n，h″_n}，其中h′_i，h″_i对应的输入的风格图像样本的两个数据增广后的同源风格图像样本，对这些初始风格特征进行K-means聚类，从而得到T个聚类簇，然后，对每个聚类簇中的所有初始风格特征求平均值，得到最终的T个代表特征，将这些T个代表特征组成风格特征池

204、服务器根据风格特征池，对初始风格特征进行调整，得到风格图像样本风格特征。

例如，服务器可以根据风格特征池，确定初始风格特征针对风格特征池的映射关系，将风格图像样本对应的两个同源风格图像样本的初始风格特征与风格特征池进行融合，就可以得到初始风格特征对风格特征池的映射向量，计算初始风格特征对风格特征值的映射向量可以参考公式(2)所示。将计算出的映射向量直接作为风格图像样本的风格特征，或者，还可以将计算出的映射向量进行融合，得到风格图像样本风格特征。

205、服务器基于风格特征对风格特征提取网络进行收敛，得到训练后风格特征提取网络。

例如，服务器对风格特征进行分类，得到风格图像样本对应的同源风格特征和非同源风格特征。可以计算风格特征之间的余弦相似度，具体的计算公式可以参考公式(3)所示，进而根据余弦相似度来确定风格特征之间的特征距离，具体的计算公式可以参考公式(4)所示，从而得到同源风格特征之间的第一特征距离和同源风格特与非同源风格特征之间的第二特征距离，或者，还可以计算风格特征之间的欧式距离或者其他类型的距离，作为同源风格特征之间的第一特征距离和同源风格特征与非同源特征之间的第二特征距离。

服务器可以将第二特征距离进行融合，得到非同源特征距离，将非同源特征距离与第一特征距离相加，得到目标特征距离，分别计算第一特征距离与目标特征距离的比值，得到特征距离比值，根据特征距离比值，确定第一风格损失信息，具体公式如公式(6)所示。根据第一风格损失信息对风格特征提取网络进行收敛，得到训练后风格特征提取网络。

206、服务器采用训练后风格特征提取网络对风格图像样本进行特征提取，得到风格图像样本的目标风格特征。

例如，服务器可以采用训练后风格特征提取网络对风格图像样本直接提取风格特征，得到风格图像样本的目标风格特征，或者，还可以采用训练后风格特征提取网络对风格图像样本进行特征提取，得到初始风格特征，并采用风格特征池对初始风格特征进行调整，得到风格图像样本的目标风格特征。

207、服务器根据目标风格特征和真人图像样本对图像处理网络进行训练，得到训练后图像处理网络，并将训练后风格特征提取网络和训练后图像处理网络作为训练后图像处理模型。

例如，服务器可以对真人图像样本进行灰度处理，得到真人灰度图像样本，并对真人灰度图像样本进行特征提取，基于目标风格特征，对提取出的样本图像特征进行调整，并基于调整后样本图像特征，生成当前肖像画。

服务器可以采用图像处理网络将当前肖像画的风格还原为真人灰度图像样本的风格，得到重建后真人灰度图像样本，在风格图像样本中筛选出用于风格图像重建的第一风格图像样本和第二风格图像样本，并采用图像处理网络将第一风格图像样本转换为目标真人灰度图像样本，采用图像处理网络对目标真人灰度图像样本和第二风格图像样本进行处理，得到重建后肖像画。

服务器可以采用对抗网络(GAN)将生成器输出的当前肖像画和目标真人灰度图像样本与输入的风格图像样本和真人灰度图像样本进行对比，并采用判别器对输入图像和输出图像进行分类，基于分类结果与真实结果进行对比，从而得到图像样本集合的对抗损失信息，具体可以如公式(7)所示。

服务器计算真人灰度图像样本和重建后真人灰度图像样本的图像相似度，并基于图像相似度，确定图像样本集合的相似度损失信息，相似度损失信息又可以称为松弛重建损失信息，具体可以如公式(8)所示。

对真人灰度图像样本和重建后真人灰度图像样本进行像素截断，并将像素截断后的真人灰度图像样本和像素截断后的重建后真人灰度图像样本进行对比，以得到图像样本集合的像素损失信息，将相似度损失信息和像素损失信息进行融合，得到图像样本集合的真人图像损失信息。

服务器分别对第一风格图像和重建后风格图像进行风格特征提取，并计算提取出的风格特征的之间的特征距离，得到第一风格特征距离，计算第一风格图像和重建后风格图像的图像相似度，基于第一风格特征距离和图像相似度，确定图像样本集合的风格图像损失信息，风格图像损失信息又可以称为严格重建损失信息，具体可以如公式(9)。

其中，对抗损失信息、真人图像损失信息和风格图像损失信息又可以被称为质量损失信息。

服务器可以采用训练后风格特征提取网络分别对当前风格图像、重建后风格图像和第二风格图像样本进行风格特征提取，并根据风格特征池对提取出的风格特征进行调整，得到当前风格图像的第一风格特征、重建后风格图像的第二风格特征和第二风格图像样本的第三风格特征，并计算第一风格特征与目标风格特征的特征距离，得到第二风格特征距离，计算第二风格特征和第三风格特征之间的距离，得到第二风格特征距离，根据第二风格特征距离和第三风格特征距离，确定图像样本集合的第二风格损失信息，具体可以如公式(10)所示。

服务器可以分别获取真人图像损失信息和风格图像损失信息的加权参数，并基于该加权参数，分别对真人图像损失信息和风格图像损失信息进行加权，然后，将加权后的真人图像损失信息和风格图像损失信息与对抗损失信息进行融合，得到质量损失信息，具体可以如公式(12)所示。

服务器可以将质量损失信息与第二风格损失信息相加，从而得到图像样本集合的图像损失信息，参考公式(11)所示。

服务器可以采用梯度下降算法根据图像损失信息对图像处理网络的网络参数进行更新，或者采用其他更新算法根据图像损失信息对图像处理网络的网络参数进行更新，从而得到训练后图像处理网络。将训练后风格特征提取网络和训练后图像处理网络作为训练后图像处理模型。

208、服务器采用训练后图像处理模型对待处理真人图像和风格图像进行处理，得到目标肖像画。

例如，服务器获取待处理真人图像和风格图像，采用训练后图像处理模型的风格特征提取网络直接提取出风格图像的当前风格特征，或者，还可以采用风格特征提取网络对风格图像进行特征提取，得到初始风格特征，并基于预设风格特征池对初始风格特征进行调整，得到风格图像的当前风格特征。

服务器对待处理真人图像进行灰度处理，得到待处理灰度图像，并对待处理灰度图像进行特征提取。在图像特征中提取出原始风格特征，将原始风格特征替换为当前风格特征，或者，还可以将当前风格特征添加至图像特征中，得到调整后图像特征。

服务器将调整后图像特征转换为图像参数，基于该图像参数绘制目标肖像画，或者，还可以直接将调整后图像特征还原为肖像画，得到目标肖像画。

由以上可知，本实施例服务器在获取图像样本集合后，采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征，然后，对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池，根据风格特征池，对初始风格特征进行调整，得到风格图像样本的风格特征，然后，基于风格图像样本的风格特征和原始图像样本对预设图像处理模型进行收敛，得到训练后图像处理模型，该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换；由于该方案通过对提取的初始风格特征进行聚类，得到一个风格特征池，采用风格特征池对初始风格特征进行调整，使得调整后的风格特征更少受到的风格无关信息的干扰，而且针对没有纹理信息的艺术风格图像也可以保证提取出的风格特征的准确，还可以生成任意风格的风格图像，因此，可以提升图像处理的准确性。

为了更好地实施以上方法，本发明实施例还提供一种图像处理装置，该图像处理装置可以集成在电子设备，比如服务器或终端等设备中，该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。

例如，如图10所示，该图像处理装置可以包括获取单元301、提取单元302、聚类单元303、调整单元304和收敛单元305，如下：

(1)获取单元301；

获取单元301，用于获取图像样本集合，该图像样本集合包括原始图像样本和风格图像样本。

例如，获取单元301，具体可以用于直接获取图像样本集合，或者，当图像样本集合中的原始图像样本和风格图像样本的数量较多或者内存较大时，还可以间接获取图像样本集合。

(2)提取单元302；

提取单元302，用于采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征。

例如，提取单元302，具体可以用于对风格图像样本进行数据增广，得到风格图像样本对应的多个同源风格图像样本，采用预设图像处理模型的风格特征提取网络对同源风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征。

(3)聚类单元303；

聚类单元303，用于对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池。

例如，聚类单元303，具体可以用于对初始风格特征进行聚类，得到多个风格特征簇，分别计算每一风格特征簇中的风格特征均值，得到每一风格特征簇对应的基础风格特征，将基础风格特征进行融合，得到图像样本集合对应的风格特征池。

(4)调整单元304；

调整单元304，用于根据风格特征池，对初始风格特征进行调整，得到风格图像样本的风格特征。

例如，调整单元304，具体可以用于根据风格特征池，确定初始风格特征针对风格特征池的映射关系，基于映射关系，计算初始风格特征对风格特征池的映射向量，得到风格图像样本的风格特征。

(5)收敛单元305；

收敛单元305，用于基于风格图像样本的风格特征和原始图像样本对预设图像处理模型进行收敛，得到训练后图像处理模型，该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换。

例如，收敛单元305，具体可以用于基于风格特征对风格特征提取网络进行收敛，得到训练后风格特征提取网络，采用训练后风格提取网络对风格图像样本进行特征提取，得到风格图像样本的目标风格特征，根据目标风格特征和原始图像样本对图像处理网络进行训练，得到训练后图像处理网络，并将训练后风格特征网络和训练后图像处理网络作为训练后图像处理模型。

可选的，该图像处理装置还可以包括处理单元306，如图11所示，具体可以如下：

处理单元306；

处理单元306，用于采用训练后图像处理模型对待处理原始图像和风格图像进行处理，得到目标风格图像，该目标风格图像为将待处理原始图像的风格调整为风格图像的目标风格的图像。

例如，处理单元306，具体可以用于获取待处理原始图像和风格图像，并采用训练后图像处理模型对风格图像进行特征提取，得到风格图像对应的当前风格特征。对待处理原始图像进行灰度处理，得到待处理灰度图像，并对待处理灰度图像进行特征提取，基于当前风格特征，对提取出的图像特征进行调整，并基于调整后图像特征，生成目标风格图像。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由以上可知，本实施例在获取单元301获取图像样本集合后，提取单元302采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征，然后，聚类单元303对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池，调整单元304根据风格特征池，对初始风格特征进行调整，得到风格图像样本的风格特征，然后，收敛单元305基于风格图像样本的风格特征和原始图像样本对预设图像处理模型进行收敛，得到训练后图像处理模型，该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换；由于该方案通过对提取的初始风格特征进行聚类，得到一个风格特征池，采用风格特征池对初始风格特征进行调整，使得调整后的风格特征更少受到的风格无关信息的干扰，而且针对没有纹理信息的艺术风格图像也可以保证提取出的风格特征的准确，还可以生成任意风格的风格图像，因此，可以提升图像处理的准确性。

本发明实施例还提供一种电子设备，如图12所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图12中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取图像样本集合，该图像样本集合包括原始图像样本和风格图像样本，采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征，对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池，根据风格特征池，对初始风格特征进行调整，得到风格图像样本的风格特征，基于风格图像样本的风格特征和原始图像样本对预设图像处理模型进行收敛，得到训练后图像处理模型，该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换。

例如，电子设备可以直接获取图像样本集合，或者，当图像样本集合中的原始图像样本和风格图像样本的数量较多或者内存较大时，还可以间接获取图像样本集合。对风格图像样本进行数据增广，得到风格图像样本对应的多个同源风格图像样本，采用预设图像处理模型的风格特征提取网络对同源风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征。对初始风格特征进行聚类，得到多个风格特征簇，分别计算每一风格特征簇中的风格特征均值，得到每一风格特征簇对应的基础风格特征，将基础风格特征进行融合，得到图像样本集合对应的风格特征池。根据风格特征池，确定初始风格特征针对风格特征池的映射关系，基于映射关系，计算初始风格特征对风格特征池的映射向量，得到风格图像样本的风格特征。基于风格特征对风格特征提取网络进行收敛，得到训练后风格特征提取网络，采用训练后风格提取网络对风格图像样本进行特征提取，得到风格图像样本的目标风格特征，根据目标风格特征和原始图像样本对图像处理网络进行训练，得到训练后图像处理网络，并将训练后风格特征网络和训练后图像处理网络作为训练后图像处理模型该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

由以上可知，本发明实施例在获取图像样本集合后，采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征，然后，对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池，根据风格特征池，对初始风格特征进行调整，得到风格图像样本的风格特征，然后，基于风格图像样本的风格特征和原始图像样本对预设图像处理模型进行收敛，得到训练后图像处理模型，该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换；由于该方案通过对提取的初始风格特征进行聚类，得到一个风格特征池，采用风格特征池对初始风格特征进行调整，使得调整后的风格特征更少受到的风格无关信息的干扰，而且针对没有纹理信息的艺术风格图像也可以保证提取出的风格特征的准确，还可以生成任意风格的风格图像，因此，可以提升图像处理的准确性。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。例如，该指令可以执行如下步骤：

获取图像样本集合，该图像样本集合包括原始图像样本和风格图像样本，采用预设图像处理模型对风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征，对初始风格特征进行聚类，以得到图像样本集合对应的风格特征池，根据风格特征池，对初始风格特征进行调整，得到风格图像样本的风格特征，基于风格图像样本的风格特征和原始图像样本对预设图像处理模型进行收敛，得到训练后图像处理模型，该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换。

例如，直接获取图像样本集合，或者，当图像样本集合中的原始图像样本和风格图像样本的数量较多或者内存较大时，还可以间接获取图像样本集合。对风格图像样本进行数据增广，得到风格图像样本对应的多个同源风格图像样本，采用预设图像处理模型的风格特征提取网络对同源风格图像样本进行风格特征提取，得到风格图像样本的初始风格特征。对初始风格特征进行聚类，得到多个风格特征簇，分别计算每一风格特征簇中的风格特征均值，得到每一风格特征簇对应的基础风格特征，将基础风格特征进行融合，得到图像样本集合对应的风格特征池。根据风格特征池，确定初始风格特征针对风格特征池的映射关系，基于映射关系，计算初始风格特征对风格特征池的映射向量，得到风格图像样本的风格特征。基于风格特征对风格特征提取网络进行收敛，得到训练后风格特征提取网络，采用训练后风格提取网络对风格图像样本进行特征提取，得到风格图像样本的目标风格特征，根据目标风格特征和原始图像样本对图像处理网络进行训练，得到训练后图像处理网络，并将训练后风格特征网络和训练后图像处理网络作为训练后图像处理模型，该训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述图像处理方面或者肖像画生成方面的各种可选实现方式中提供的方法。

以上对本发明实施例所提供的一种图像处理方法、装置、电子设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种图像处理方法，其特征在于，包括：

获取图像样本集合，所述图像样本集合包括原始图像样本和风格图像样本；

采用预设图像处理模型对所述风格图像样本进行风格特征提取，得到所述风格图像样本的初始风格特征；

对所述初始风格特征进行聚类，以得到所述图像样本集合对应的风格特征池；

根据所述风格特征池，对所述初始风格特征进行调整，得到所述风格图像样本的风格特征；

基于所述风格图像样本的风格特征和原始图像样本对所述预设图像处理模型进行收敛，得到训练后图像处理模型，所述训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换。

2.根据权利要求1所述的图像处理方法，其特征在于，所述采用预设图像处理模型对所述风格图像样本进行风格特征提取，得到所述风格图像样本的初始风格特征，包括：

对所述风格图像样本进行数据增广，得到所述风格图像样本对应的多个同源风格图像样本；

采用预设图像处理模型的风格特征提取网络对所述同源风格图像样本进行风格特征提取，得到所述风格图像样本的初始风格特征。

3.根据权利要求2所述的图像处理方法，其特征在于，所述对所述初始风格特征进行聚类，以得到所述图像样本集合对应的风格特征池，包括：

对所述初始风格特征进行聚类，得到多个风格特征簇；

分别计算每一风格特征簇中的风格特征均值，得到每一所述风格特征簇对应的基础风格特征；

将所述基础风格特征进行融合，得到所述图像样本集合对应的风格特征池。

4.根据权利要求2所述的图像处理方法，其特征在于，所述预设图像处理模型还包括图像处理网络，所述基于所述风格图像样本的风格特征和原始图像样本对所述预设图像处理模型进行收敛，得到训练后图像处理模型，包括：

基于所述风格特征对所述风格特征提取网络进行收敛，得到训练后风格特征提取网络；

采用所述训练后风格特征提取网络对所述风格图像样本进行特征提取，得到所述风格图像样本的目标风格特征；

根据所述目标风格特征和原始图像样本对图像处理网络进行训练，得到训练后图像处理网络，并将训练后风格特征提取网络和训练后图像处理网络作为所述训练后图像处理模型。

5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述风格特征对所述风格特征提取网络进行收敛，得到训练后风格特征提取网络，包括：

对所述风格特征进行分类，得到所述风格图像样本对应的同源风格特征和非同源风格特征，所述同源风格特征为所述风格图像样本的同源风格图像样本对应的风格特征；

分别计算所述同源风格特征之间的第一特征距离和所述同源风格特征与非同源风格特征之间的第二特征距离；

基于所述第一特征距离和第二特征距离，确定所述风格图像样本的第一风格损失信息，并根据所述第一风格损失信息对所述风格特征提取网络进行收敛，得到训练后风格特征提取网络。

6.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述目标风格特征和原始图像样本对图像处理网络进行训练，得到训练后图像处理网络，包括：

对所述原始图像样本进行灰度处理，得到灰度图像样本；

根据所述目标风格特征，采用所述图像处理网络对所述灰度图像样本进行图像处理，得到所述灰度图像样本对应的当前风格图像；

采用所述图像处理网络对所述灰度图像样本和当前风格图像进行重建，得到重建后灰度图像样本和重建后风格图像；

基于所述当前风格图像、灰度图像样本、重建后灰度图像样本和重建后风格图像，确定所述图像样本集合的图像损失信息，并基于所述图像损失信息对所述图像处理网络进行收敛，得到所述训练后图像处理网络。

7.根据权利要求6所述的图像处理方法，其特征在于，所述采用所述图像处理网络对所述灰度图像样本和当前风格图像进行重建，得到重建后灰度图像样本和重建后风格图像，包括：

采用所述图像处理网络将所述当前风格图像的风格还原为所述灰度图像样本的风格，得到重建后灰度图像样本；

在风格图像样本中筛选出用于风格图像重建的第一风格图像样本和第二风格图像样本，并采用所述图像处理网络将所述第一风格图像样本转换为目标灰度图像样本；

采用所述图像处理网络对所述目标灰度图像样本和第二风格图像样本进行处理，得到重建后风格图像。

8.根据权利要求7所述的图像处理方法，其特征在于，所述基于所述当前风格图像、灰度图像样本、重建后灰度图像样本和重建后风格图像，确定所述图像样本集合的图像损失信息，包括：

根据所述当前风格图像和目标灰度图像样本，确定所述图像样本集合的对抗损失信息；

基于所述灰度图像样本和重建后灰度图像样本，确定所述图像样本集合的灰度图像损失信息；

根据所述第一风格图像样本和重建后风格图像，确定所述图像样本集合的风格图像损失信息；

基于所述目标风格特征、当前风格图像、重建后风格图像和第二风格图像样本，确定所述图像样本集合的第二风格损失信息；

将所述第二风格损失信息、对抗损失信息、灰度图像损失信息和风格图像损失信息进行融合，得到所述图像样本集合的图像损失信息。

9.根据权利要求8所述的图像处理方法，其特征在于，所述基于所述灰度图像样本和重建后原始图像样本，确定所述图像样本集合的灰度图像损失信息，包括：

计算所述灰度图像样本和重建后灰度图像样本的图像相似度，并基于所述图像相似度，确定所述图像样本集合的相似度损失信息；

对所述灰度图像样本和重建后灰度图像样本进行像素截断，并将像素截断后的灰度图像样本和像素截断后的重建后灰度图像样本进行对比，以得到所述图像样本集合的像素损失信息；

将所述相似度损失信息和像素损失信息进行融合，得到所述图像样本集合的灰度图像损失信息。

10.根据权利要求8所述的图像处理方法，其特征在于，所述根据所述第一风格图像样本和重建后风格图像，确定所述图像样本集合的风格图像损失信息，包括：

分别对所述第一风格图像和重建后风格图像进行风格特征提取，并计算提取出的风格特征之间的特征距离，得到第一风格特征距离；

计算所述第一风格图像和重建后风格图像之间的图像相似度；

基于所述第一风格特征距离和图像相似度，确定所述图像样本集合的风格图像损失信息。

11.根据权利要求8所述的图像处理方法，其特征在于，所述基于所述目标风格特征、当前风格图像、重建后风格图像和第二风格图像样本，确定所述图像样本集合的第二风格损失信息，包括：

采用训练后风格特征提取网络分别对当前风格图像、重建后风格图像和第二风格图像样本进行特征提取，并根据风格特征池对提取出的风格特征进行调整，得到所述当前风格图像的第一风格特征、重建后风格图像的第二风格特征和第二风格图像样本的第三风格特征；

计算第一风格特征与目标风格特征之间的特征距离，得到第二风格特征距离，并计算第二风格特征与第三风格特征之间的特征距离，得到第三风格特征距离；

根据所述第二风格特征距离和第三风格特征距离，确定所述图像样本集合的第二风格损失信息。

12.根据权利要求1至11任一项所述的图像处理方法，其特征在于，所述根据所述风格特征池，对所述初始风格特征进行调整，得到所述风格图像样本的风格特征，包括：

根据所述风格特征池，确定所述初始风格特征针对所述风格特征池的映射关系；

基于所述映射关系，计算所述初始风格特征对所述风格特征池的映射向量，得到所述风格图像样本的风格特征。

13.根据权利要求1至11任一项所述的图像处理方法，其特征在于，所述基于所述风格图像样本的风格特征和原始图像样本对所述预设图像处理模型进行收敛，得到训练后图像处理模型之后，还包括：

获取待处理原始图像和风格图像，并采用训练后图像处理模型对所述风格图像进行特征提取，得到所述风格图像对应的当前风格特征；

对所述待处理原始图像进行灰度处理，得到待处理灰度图像，并对所述待处理灰度图像进行特征提取；

基于所述当前风格特征，对提取出的图像特征进行调整，并基于调整后图像特征，生成目标风格图像。

14.一种图像处理装置，其特征在于，包括：

获取单元，用于获取图像样本集合，所述图像样本集合包括原始图像样本和风格图像样本；

提取单元，用于采用预设图像处理模型对所述风格图像样本进行风格特征提取，得到所述风格图像样本的初始风格特征；

聚类单元，用于对所述初始风格特征进行聚类，以得到所述图像样本集合对应的风格特征池；

调整单元，用于根据所述风格特征池，对所述初始风格特征进行调整，得到所述风格图像样本的风格特征；

收敛单元，用于基于所述风格图像样本的风格特征和原始图像样本对所述预设图像处理模型进行收敛，得到训练后图像处理模型，所述训练后图像处理模型用于根据风格图像对待处理原始图像进行风格转换。

15.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至13任一项所述的图像处理方法中的步骤。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至13任一项所述的图像处理方法中的步骤。

Images