CN117764812A - 图像生成方法、装置、电子设备及介质 - Google Patents

Abstract

本申请实施例公开了图像生成方法、装置、电子设备及介质，可应用于数据处理技术领域。其中方法包括：获取需要进行风格转化的初始图像，并从初始图像中确定出多个脸部关键点；根据多个脸部关键点的位置信息从初始图像中截取脸部图像，并对脸部图像进行图像增强处理，得到增强脸部图像；对初始图像和增强脸部图像分别进行风格转化处理，得到风格化初始图像和风格化脸部图像；根据多个脸部关键点的位置信息将风格化脸部图像覆盖至风格化初始图像中，得到目标风格化图像。采用本申请实施例，有助于提升生成的风格化图像的图像质量。本申请实施例还可应用于云技术、人工智能等各种场景。

Description

图像生成方法、装置、电子设备及介质

技术领域

本申请涉及数据处理技术领域，尤其涉及图像生成方法、装置、电子设备及介质。

背景技术

在一些对图像进行处理的场景中，可能会对图像进行风格转化，例如将图像转化为漫画风格，以满足用户需求。目前对图像进行风格转换通常是将图像输入预先训练的图像处理模型进行处理，得到风格转化后的图像，但发明人在实践过程中发现，采用这种方法，针对一些脸部较为模糊的情况，所生成的风格化图像的图像质量较差。

发明内容

本申请实施例提供了一种图像生成方法、装置、电子设备及介质，有助于提升生成的风格化图像的图像质量。

一方面，本申请实施例公开了一种图像生成方法，所述方法包括：

获取需要进行风格转化的初始图像，并从所述初始图像中确定出多个脸部关键点；

根据所述多个脸部关键点的位置信息从所述初始图像中截取脸部图像，并对所述脸部图像进行图像增强处理，得到增强脸部图像；

对所述初始图像和所述增强脸部图像分别进行风格转化处理，得到风格化初始图像和风格化脸部图像；

根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到目标风格化图像。

一方面，本申请实施例公开了一种图像生成装置，所述装置包括：

获取单元，用于获取需要进行风格转化的初始图像，并从所述初始图像中确定出多个脸部关键点；

处理单元，用于根据所述多个脸部关键点的位置信息从所述初始图像中截取脸部图像，并对所述脸部图像进行图像增强处理，得到增强脸部图像；

所述处理单元，还用于对所述初始图像和所述增强脸部图像分别进行风格转化处理，得到风格化初始图像和风格化脸部图像；

所述处理单元，还用于根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到目标风格化图像。

一方面，本申请实施例提供了一种电子设备，电子设备包括处理器、存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于执行如下步骤：

获取需要进行风格转化的初始图像，并从所述初始图像中确定出多个脸部关键点；

根据所述多个脸部关键点的位置信息从所述初始图像中截取脸部图像，并对所述脸部图像进行图像增强处理，得到增强脸部图像；

对所述初始图像和所述增强脸部图像分别进行风格转化处理，得到风格化初始图像和风格化脸部图像；

根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到目标风格化图像。

一方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被处理器执行时，用于执行如下步骤：

获取需要进行风格转化的初始图像，并从所述初始图像中确定出多个脸部关键点；

根据所述多个脸部关键点的位置信息从所述初始图像中截取脸部图像，并对所述脸部图像进行图像增强处理，得到增强脸部图像；

对所述初始图像和所述增强脸部图像分别进行风格转化处理，得到风格化初始图像和风格化脸部图像；

根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到目标风格化图像。

一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令被处理器执行时可实现上述一方面提供的方法。

采用本申请实施例，能够从初始图像中截取脸部图像，并对脸部图像进行图像增强处理，从而分别对初始图像和增强后的脸部图像进行风格转化处理，得到风格化初始图像和风格化脸部图像，进而再将风格化脸部图像覆盖至风格化初始图像中，得到目标风格化图像。由此可以单独对脸部图像进行图像增强，如提升脸部图像的清晰度，从而使得最终得到的目标风格化图像中的脸部区域得到了增强优化，风格化的效果更加精细，有助于提升生成的风格化图像的图像质量。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像生成系统的结构示意图；

图2是本申请实施例提供的一种图像生成方法的流程示意图；

图3是本申请实施例提供的一种脸部关键点的效果示意图；

图4是本申请实施例提供的一种脸部图像获取过程的示意图；

图5是本申请实施例提供的一种风格转化的效果示意图；

图6是本申请实施例提供的一种图像生成过程的示意图；

图7是本申请实施例提供的一种图像生成方法的流程示意图；

图8是本申请实施例提供的一种图像生成流程的示意图；

图9是本申请实施例提供的一种图像生成装置的结构示意图；

图10是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

本申请实施例提出一种图像生成方案，能够从初始图像中截取脸部图像，并对脸部图像进行图像增强处理，从而分别对初始图像和增强后的脸部图像进行风格转化处理，得到风格化初始图像和风格化脸部图像，进而再将风格化脸部图像覆盖至风格化初始图像中，得到目标风格化图像。由此可以单独对脸部图像进行图像增强，如提升脸部图像的清晰度，从而使得最终得到的目标风格化图像中的脸部区域得到了增强优化，风格化的效果更加精细，有助于提升生成的风格化图像的图像质量。

在一种可能的实施方式中，本申请实施例可以应用于一种图像生成系统中，请参见图1，图1是本申请实施例提供的一种图像生成系统的结构示意图，在该图像生成系统中可以包括客户端和数据处理后台。该客户端可以用于用户选择需要进行风格转化的初始图像，进而客户端将选择的初始图像上传至数据处理后台进行风格转化处理，如将一张用户的自拍图像转换为动漫风格。该初始图像可以为用户从设备中的存储区域选择的图像，也可以为现场拍摄的图像，还可以为视频中的任一视频帧图像，此处不做限制。数据处理后台可以用于执行上述图像生成方案，即可以对用户选择的初始图像进行转化，以得到初始图像进行风格转化的目标风格化图像。该数据处理后台可以为该客户端所在设备，也可以不为该客户端所在设备(例如某个服务器或者其他用户设备)，此处不做限制。

数据处理后台在确定出初始图像的目标风格化图像后，可以向客户端返回该目标风格化图像。客户端在接收到目标风格化图像后，可以显示初始图像对应的目标风格化图像，以供用户查看该初始图像的目标风格化图像的效果。可以理解的是，由于上述图像生成方案中，单独对脸部图像进行了图像增强，从而使得最终得到的目标风格化图像中的脸部区域得到了增强优化，风格化的效果更加精细，在一定程度上提升了目标风格化图像的图像质量。

需要进行说明的是，本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的，且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请在收集用户的相关数据之前以及在收集用户的相关数据的过程中，都可以显示提示信息，以提示用户当前正在搜集其相关数据，使得本申请仅仅在获取到用户对该提示信息发出的确认操作后，才开始执行获取用户相关数据的相关步骤，否则(即未获取到用户对该提示信息发出的确认操作)，结束获取用户相关数据的相关步骤，即不获取用户的相关数据。

本申请的技术方案可运用在电子设备中，如上述的数据处理后台。该电子设备可以是终端，也可以是服务器，或者也可以是用于进行图像生成的其他设备，本申请不做限定。可选的，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器、智能音箱、智能家电等。

可以理解，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

基于上述的描述，本申请实施例提出一种图像生成方法。请参见图2，图2是本申请实施例提供的一种图像生成方法的流程示意图。该方法可以由上述的电子设备执行。该图像生成方法可以包括以下步骤。

S201、获取需要进行风格转化的初始图像，并从初始图像中确定出多个脸部关键点。

其中，该初始图像可以为需要进行风格转化的图像。可以理解的是，进行风格转化可以为将图像转化为另一种风格，如将直接拍摄得到的图像转化为动漫风格、油画风格等等，此处不做限制。

该脸部关键点可以为预设的脸部的关键点。在一个实施例中，该脸部关键点可以包括左右眼中心，鼻子以及左右嘴角共5个脸部关键点。可选的，该脸部关键点的还可以包括更多数量的关键点，如21个脸部关键点、68个脸部关键点等等，此处不做限制。在一个实施例中，该脸部可以为初始图像中的对象的脸部，该对象可以为人物或动物等等，此处不做限制，也就是说，初始图像中的脸部区域可以为人物的脸部，也可以为动物的脸部，此处不做限制。

例如，请参见图3，图3是本申请实施例提供的一种脸部关键点的效果示意图。如图3所示，图3中的每个黑点对应一个人脸的脸部关键点，例如，图3中的301所示为对象脸部的左眼中心这一脸部关键点，图3中的302所示为对象脸部的右眼中心这一脸部关键点，图3中的303所示为对象脸部的鼻子这一脸部关键点，图3中的304所示为对象脸部的左嘴角这一脸部关键点，图3中的305所示为对象脸部的右嘴角这一脸部关键点。

在一种可能的实施方式中，从初始图像中确定出多个脸部关键点，可以为调用关键点检测模型确定出初始图像中的多个脸部关键点。该关键点检测模型可以为深度神经网络，例如该关键点检测模型可以采用ResNet(一种神经网络模型)，进而通过采用大量的脸部图像数据进行训练，使得该关键点检测模型能够确定图像中的多个脸部关键点。

在一种可能的实施方式中，若在对初始图像进行脸部关键点检测时，不能检测到脸部关键点，即表示初始图像中不存在脸部区域，则可以直接对初始图像进行风格转化处理，得到该初始图像的风格化图像。由此不需要对细节较多容易模糊的脸部进行单独的风格化处理。

S202、根据多个脸部关键点的位置信息从初始图像中截取脸部图像，并对脸部图像进行图像增强处理，得到增强脸部图像。

其中，该脸部图像可以为初始图像中的脸部区域所对应的图像。可以理解的是，所截取的脸部图像中可以包括该上述多个脸部关键点。

该脸部关键点的位置信息可以表示为脸部关键点所在的像素点的坐标。例如，任一脸部关键点的位置信息可以表示为脸部关键点所在的像素点在目标坐标系下的二维坐标，例如，该目标坐标系可以为以初始图像的坐上角为原点的坐标系。

在一种可能的实施方式中，在初始图像中，对象(如人物)的脸部可能由于动作的不同，如对象出现歪头的情况，则不同图像中的脸部可能造型各异，为了适配后续对脸部图像的增强处理过程，则在截取脸部图像时，可以获取一个规范化的脸部图像，该规范化的脸部图像通常可以为左右眼中心的脸部关键点保持基本水平，鼻子的脸部关键点处于较为中心的位置，这样可以减小需要处理的脸部图像的各个部位在空间分布上的差异，降低后续图像增强和风格化处理的难度。那么，根据多个脸部关键点的位置信息从初始图像中截取脸部图像，可以包括以下步骤：

①获取针对多个脸部关键点的期望位置信息，并根据多个脸部关键点的位置信息与期望位置信息确定变换矩阵。该变换矩阵用于指示截取到的脸部图像中的各个像素点的位置信息与初始图像中的像素点的位置信息的变换关系。脸部关键点的期望位置信息可以为脸部关键点在规范情况下的位置信息。通常可以通过对初始图像进行旋转、平移与缩放等操作将人脸区域放置在特定位置，即将人脸区域的脸部关键点与期望的位置对齐，这一系列所执行的旋转、平移与缩放等操作可以通过该变换矩阵进行表征。可选的，该脸部关键点的期望位置信息可以为脸部关键点所在像素点所期望调整至的位置，该期望位置信息可以通过坐标进行表示，为了方便计算，该期望位置信息所指示的坐标与初始图像中的脸部关键点所在坐标可以转换至同一坐标系下。

在一个实施例中，该变换矩阵可以为warp矩阵(仿射变换矩阵)，warp矩阵可以基于两组三个点的位置变换关系来确定出变换矩阵，即可以确定出初始图像中的脸部关键点与期望的脸部关键点的位置之间的变换关系。例如，即可以从多个脸部关键点中确定三个脸部关键点，进而可以基于该三个脸部关键点的位置信息以及对应的期望位置信息确定出变换矩阵。可以理解的是，将任意像素点的位置信息与变换矩阵进行矩阵乘法运算，就可以得到经过变换后的位置信息，即相当于对初始图像进行平移、旋转、缩放等操作，由此实现了对于初始图像的仿射变换，以将初始图像中的脸部区域与期望的脸部区域进行对齐。

②根据变换矩阵与目标裁剪尺寸对初始图像进行对齐裁剪处理，得到初始图像中的脸部图像，脸部图像的尺寸为目标裁剪尺寸。其中，对初始图像进行对齐裁剪处理可以包括以下步骤：通过变换矩阵对初始图像进行变换，以实现脸部的对齐，并从变换后的初始图像中截取目标裁剪尺寸的脸部图像。该目标裁剪尺寸可以为预设的尺寸大小，例如该目标裁剪尺寸可以为512*512，则所得到的脸部图像的大小为512*512。在一个实施例中，从变换后的初始图像中截取目标裁剪尺寸的脸部图像，可以理解为，针对各个脸部关键点的期望位置信息所指示的位置，存在一个裁剪框，该裁剪框的尺寸为目标裁剪尺寸，该裁剪框能够使得鼻子这一脸部关键点在裁剪框的中心位置，进而在通过变换矩阵对初始图像进行变换使得变换后的初始图像与脸部关键点的期望位置对齐后，将该裁剪框中的图像从变换后的初始图像中裁剪出来，得到人脸图像。可以理解的是，由于经过了变换矩阵进行对齐，且尺寸为目标裁剪尺寸，则所生成的人脸图像可以为一个规范化的脸部图像，有助于提升后续图像增强以及脸部图像风格化的效果。

例如，请参见图4，图4是本申请实施例提供的一种脸部图像获取过程的示意图。如图4中的401所示为一个初始图像，可以看到，401所示的初始图像中包括一个人物的脸部区域(如图4中的402所示区域)，可以看到该区域的人脸是斜的。进而可以通过上述步骤进行对齐裁剪，得到的人物的脸部图像如图4中的403所示，可以看到，该脸部图像中的，人脸在一定程度上“正”了起来，从而有助于后续对脸部图像进行增强以及风格化。

在一种可能的实施方式中，对脸部图像进行图像增强处理，可以包括以下一项或多项处理方式：高清修复处理、降噪处理、对比度增强处理等等。其中，高清修复处理可以提升图像的清晰度，减少图像的模糊程度。例如，对图像进行高清修复处理可以采用stylegan2(一种图像修复模型)的修复模型对脸部图像进行增强，使得脸部图像在一定程度上能够更清晰，减少运动或远景拍摄等情况下所造成的模糊。降噪处理对可以对图像的噪点进行一定的抑制，或消除，以提高图片的质量，也称图像去噪处理。对比度增强处理可以解决的是由于图像灰度级范围较小造成的对比度较低的问题,能够使图像的灰度级范围放大,从而让图像更加清晰。可以理解的是，对脸部图像可以采用上述的一种或多种方式进行增强处理，以提升图像增强的质量。

在一个实施例中，对脸部图像进行图像处理得到增强脸部图像可以包括以下步骤：对脸部图像进行降噪处理，得到降噪脸部图像；对降噪脸部图像进行高清修复处理，得到增强脸部图像。其中，进行降噪处理和高清修复处理的相关描述可以参照上述描述，此处不做赘述，由此可以先减少图像中的噪点，然后在进行高清修复处理，由此可以提升脸部图像的质量。

在一种可能的实施方式中，本申请还可以先对脸部图像的图像状态进行检测，然后根据脸部图像的图像状态确定对应的增强方式，以使得对脸部图像的图像增强更具有针对性，更能提升图像的处理效果。在一个实施例中，可以对脸部图像进行模糊度检测，进而当检测到脸部图像的模糊度大于或等于模糊度阈值时，对脸部图像进行高清修复处理；当检测到脸部图像的模糊度小于模糊度阈值时，可以不对脸部图像进行高清修复处理，由此可以减少对脸部图像的计算量，避免对脸部图像的过度处理造成图像失真，有助于提升图像增强的效果和质量。对脸部图像进行模糊度检测可以采用多种方式，例如，可以采用Brenner梯度函数(一种模糊度检测方式)、Tenengrad梯度函数(一种模糊度检测方式)、Laplacian梯度函数(一种模糊度检测方式)等方式，此处不做限制。

S203、对初始图像和增强脸部图像分别进行风格转化处理，得到风格化初始图像和风格化脸部图像。

其中，如上述，风格转化处理可以为将图像转换为另一种风格，如转化为漫画风格、油画风格。该风格化初始图像可以为风格化处理后的初始图像，该风格化脸部图像可以为风格化处理后的增强脸部图像。

例如，请参见图5，图5是本申请实施例提供的一种风格转化的效果示意图。如图5中的501所示可以为用户直接拍摄的一个初始图像，进而可以对初始图像进行风格转化后，将该初始图像转化为另一种风格，则可以得到如图5中的502所示的风格化初始图像。

在一种可能的实施方式中，对初始图像和增强脸部图像进行风格转化处理可以调用风格化模型对图像进行处理。该风格化模型可以为神经网络模型，例如，该风格化模型可以为cartoongan模型(一种风格化模型)，该风格化模型可以经过大量图像数据进行训练，具有将图像转换为另一风格的能力，从而可以通过该风格化模型快速地得到风格化初始图像和风格化脸部图像。

在一种可能的实施方式中，本申请还可以对初始图像进行整体的图像增强，进而对进行图像增强后的初始图像进行风格转化处理，得到对应的风格化初始图像。此处对初始图像进行增强的方式可以参照上述对脸部图像进行图像增强的相关，此处不做赘述。由此可以提升初始图像整体的质量。可以理解的是，虽然此处对初始图像可以进行全图的图像增强，但针对脸部图像单独进行图像增强可以使得对脸部的增强更加精细，因此通过裁剪得到脸部图像再针对脸部图像进行细致的增强，更有助于提升图像的质量。

S204、根据多个脸部关键点的位置信息将风格化脸部图像覆盖至风格化初始图像中，得到目标风格化图像。

其中，该目标风格化图像可以为初始图像最终得到的风格转化的图像。可以理解的是，该目标风格化图像中的脸部区域单独进行了图像增强，则在一定程度上提升了该目标风格化图像的质量。

在一个实施例中，将风格化脸部图像覆盖至风格化初始图像中，也就是将风格化脸部图像贴回至风格化初始图像中的对应位置。可选的，该目标风格化图像可以为将风格化脸部图像覆盖至风格化初始图像后直接得到的图像，也可以为在将风格化脸部图像覆盖至风格化初始图像后对风格化脸部图像的覆盖边界进行羽化处理得到的图像。

在一个实施例中，步骤S204可以包括以下步骤：①根据变换矩阵对风格化脸部图像进行逆变换，得到变换图像。其中，对风格化脸部图像进行逆变换相当于，执行上述对初始图像进行变换的相反的操作。例如，通过上述变换矩阵确定变换后的初始图像时，相当于对初始图像向左平移5，则在根据变换矩阵对风格化脸部图像进行逆变换时，需要将风格化脸部图像向右平移5；又如，通过上述变换矩阵确定变换后的初始图像时，相当于对初始图像顺时针旋转45度，则在根据变换矩阵对风格化脸部图像进行逆变换时，需要将风格化脸部图像逆时针旋转45度。可以理解的是，得到的变换图像中的各个部位在空间分布上与初始图像中的各个部位的分布情况相同。例如，在一些场景中，初始图像中的人物做出一个歪头的动作，则若是直接对脸部进行裁剪，则裁剪出的脸部也是歪头的，而本申请为了更好地进行图像增强或风格化处理，需要先将初始图像进行变换，使得脸部是“正”的，然后再进行对齐裁剪得到规范化的脸部图像，进而在对增强脸部图像进行风格化后，需要将“正”的脸部图像再变回像初始图像中的歪头的脸部图像，然后再将变换后的脸部图像贴回风格化初始图像中。

②将变换图像覆盖至风格化初始图像中的目标区域，得到目标风格化图像。该目标区域用于指示风格化初始图像中所对应的截取脸部图像的区域。在一个实施例中，在根据变换矩阵对风格化脸部图像进行逆变换后，可以得到风格化脸部图像中的每个像素点变换后的位置信息，也就是可以按照变换图像中的每个像素点的位置信息将变换图像覆盖至对应的位置，该变换图像的各个边界所形成的区域也就是上述目标区域，即截取的脸部图像对应的区域。

在一种可能的实施方式中，由于该脸部图像和初始图像是分别进行的风格化处理，则风格化脸部图像在覆盖至风格化初始图像时，可能会出现风格化脸部图像与风格化初始图像之间的融合效果不佳的情况，如在风格化脸部图像的边界的位置出现较为明显的分割线，则在将风格化脸部图像在覆盖至风格化初始图像时，可以对风格化脸部图像的边界的位置进行羽化处理，然后得到目标风格化图像，有助于提升脸部图像贴回时的融合效果，从而提升目标风格化图像的质量。那么，步骤S204可以包括以下步骤：①根据多个脸部关键点的位置信息将风格化脸部图像覆盖至风格化初始图像中，得到覆盖风格化图像。确定覆盖风格化图像的方法可以参照上述相关描述，此处不做赘述。

②确定风格化脸部图像在覆盖风格化图像中的覆盖边界。其中，该覆盖边界可以为风格化脸部图像在覆盖风格化图像中的边界。

③对覆盖边界进行羽化处理，并将羽化处理后的覆盖风格化图像确定为目标风格化图像。在一个实施例中，对覆盖边界进行羽化处理时，也就是在覆盖边界进行一定程度的mask模糊过渡(一种模糊过渡方法)。例如，可以为将覆盖边界上任一位置的的像素值可以根据该任一位置上的风格化脸部图像的像素值与风格化初始图像上的像素值的平均值进行确定，由此可以使得风格化脸部图像与风格化初始图像在覆盖边界能够进行更好地融合，过渡得不那么生硬。可选的，还可以覆盖边界为中心确定覆盖边界所对应的覆盖区域，进而可以通过对风格化脸部图像的像素值与风格化初始图像上的像素值进行加权求和确定覆盖区域中任一位置的像素值。例如，在覆盖区域中偏向于风格化脸部图像的一侧，任一位置距离覆盖边界越远，则在确定该任一位置的像素值时，风格化脸部图像的像素值的权重更大，风格化初始图像的像素值的权重更小；在覆盖区域中偏向于风格化初始图像的一侧，任一位置距离覆盖边界越远，则在确定该任一位置的像素值时，风格化脸部图像的像素值的权重更小，风格化初始图像的像素值的权重更大；在确定覆盖区域的覆盖边界上任一位置的像素值时，风格化脸部图像的像素值与风格化初始图像的像素值的权重相同。

此处结合图示对整个图像生成过程进行阐述，请参见图6，图6是本申请实施例提供的一种图像生成过程的示意图。具体的，首先可以执行S601、获取初始图像，即可以由用户上传需要进行风格转化的的初始图像。进而执行S602、裁剪得到脸部图像，获取脸部图像的具体方式可以参照上述描述，从而可以获取规范化的脸部图像。然后执行步骤S603、对初始图像进行图像增强，以及S604、对增强后的初始图像进行风格转化处理，得到风格化初始图像。并且，同步可以执行S605、对脸部图像进行图像增强得到增强脸部图像，以及S606、对增强脸部图像进行风格转化处理，得到风格化脸部图像。最后可以执行S607、对风格化初始图像与风格化脸部图像进行融合，得到目标风格化图像，在对风格化初始图像与风格化脸部图像进行融合时，可以对覆盖边界进行羽化处理，以使得融合效果更好，有助于提升风格化图像的质量。

采用本申请实施例，能够从初始图像中截取脸部图像，并对脸部图像进行图像增强处理，从而分别对初始图像和增强后的脸部图像进行风格转化处理，得到风格化初始图像和风格化脸部图像，进而再将风格化脸部图像覆盖至风格化初始图像中，得到目标风格化图像。由此可以单独对脸部图像进行图像增强，如提升脸部图像的清晰度，从而使得最终得到的目标风格化图像中的脸部区域得到了增强优化，风格化的效果更加精细，有助于提升生成的风格化图像的图像质量。

请参见图7，图7是本申请实施例提供的一种图像生成方法的流程示意图。该方法可以由上述的电子设备执行。该图像生成方法可以包括以下步骤。

S701、获取样本数据。

其中，该样本数据可以为用于训练对图像进行风格转化的风格化模型的的数据。该样本数据包括样本初始图像和样本风格化图像。该样本初始图像可以为一些初始的图像，如初始的风景图像，初始的含有对象脸部的图像。该样本风格化图像可以为需要转化为的目标风格的图像。例如，目标风格为动漫风格，则该样本风格化图像可以为实际的动漫风格的风景图像、含有对象脸部的图像等等；又如，目标风格为油画风格，则该样本风格化图像可以为实际的油画风格的风景图像、含有对象脸部的图像等等，此处不做限制。

S702、调用初始的风格化模型对样本初始图像进行处理，得到样本初始图像对应的预测风格化图像。

该预测风格化图像可以为通过风格化模型处理得到的样本初始图像对应的风格化图像。该初始的风格化模型可以为未训练完成的风格化模型，该风格化模型可以为一个深度神经网络模型，能够通过训练实现对图像的风格转化，例如，该风格化模型可以为cartoongan模型(一种神经网络模型)。

S703、根据预测风格化图像与样本风格化图像对初始的风格化模型进行对抗训练，得到训练好的风格化模型。

其中，对初始的风格化模型进行对抗训练可以使得机器不能准确分辨一个图像是由风格化模型生成的风格化图像，还是真实的风格化图像。

在一个实施例中，根据预测风格化图像与样本风格化图像对初始的风格化模型进行对抗训练，可以通过训练风格化模型与判别模型实现对抗训练。该判别模型可以为一个二分类模型，判定输入的图像为真实的风格化图像，还是风格化模型生成的图像。风格化模型生成的预测风格化图像与获取的样本风格化图像一起对判别模型进行训练，随着训练的进行，风格化模型生成的预测风格化图像与样本风格化图像的风格越来越相近，判别模型无法准确地判断输入的图像，则训练结束。

在一种可能的实施方式中，该风格化模型可以对风景图、脸部图等图像的风格转化均有较好的效果，这是由于在对风格化模型进行训练的过程中，采用交替训练的过程，如迭代5次风景图像训练之后通过人脸图像进行训练，从而可以避免风景图像与人脸图图像之间的域间扰动造成的颜色脏乱，以此进行往复的训练，最终得到风格化模型。并且，采用这种方式可以使得同一个模型具有对脸部和其他各种风景图像进行风格转化的能力，相较于采用两个模型分别对脸部图像与整体的图像进行风格化处理，能够使得生成的风格化脸部图像与风格化初始图像更具有统一性，不容易出现基于不同模型得到的风格化脸部图像和风格化初始图像的之间的风格存在较大差异的情况。

S704、获取需要进行风格转化的初始图像，并从初始图像中确定出多个脸部关键点。

在一种可能的实施方式中，在确定多个脸部关键点之前，可以先初步检测初始图像中是否存在脸部区域，若存在脸部区域，才确定出初始图像的脸部关键点。那么，本申请还可以包括以下步骤：①对初始图像进行脸部检测，得到脸部检测结果。该脸部检测结果用于指示初始图像中存在脸部区域或不存在脸部区域。在一个实施例中，对初始图像进行脸部检测可以采用预先训练的脸部检测模型进行检测，该脸部检测模型可以为深度神经网络，采用大量的图像数据进行训练，使得该脸部检测模型能够确定图像中存在脸部区域的概率，从而基于存在脸部区域的概率确定出脸部检测结果，如可以该概率大于阈值，则可以确定脸部检测结果指示初始图像中存在脸部区域。②若脸部检测结果指示初始图像中存在脸部区域，则执行从初始图像中确定出多个脸部关键点的步骤。可以理解的是，若检测到初始图像中存在脸部区域，才进行脸部关键点的确定，从而可以减少计算量，避免对没有脸部区域的图像进行脸部关键点的确定，导致计算资源的浪费。

在一个实施例中，若脸部检测结果指示初始图像中不存在脸部区域，则可以直接对初始图像进行风格转化处理，得到该初始图像的风格化图像。

S705、根据多个脸部关键点的位置信息从初始图像中截取脸部图像，并对脸部图像进行图像增强处理，得到增强脸部图像。

步骤S705可以参照上述步骤S202的相关描述，此处不做赘述。

S706、调用训练好的风格化模型分别对初始图像和脸部图像进行处理，得到风格化初始图像和风格化脸部图像。

其中，上述过程对风格化模型进行了训练，得到了训练好的风格化模型，该训练好的风格化模型具有对输入的图像进行风格转化的能力。由此可以调用训练好的风格化模型分别对初始图像和脸部图像进行处理，得到风格化初始图像和风格化脸部图像。

在一种可能的实施方式中，本申请可以获取多种风格的样本风格化图像作为样本数据，进而根据上述步骤S701-S703训练得到针对多种风格的风格化模型。可选的，在确定多种风格的风格化模型后，可以根据用户需求从多种风格的风格化模型中确定对应的风格化模型对图像进行风格转化。例如，用户在选择初始图像时，还可以选择初始图像所需转化为的风格，进而根据用户所指示的风格确定对应的风格化模型，从而调用选择的风格化模型对初始图像和初始图像中的增强的脸部图像进行处理，以便于将初始图像转化为用户所指示的风格的风格化图像。

S707、根据多个脸部关键点的位置信息将风格化脸部图像覆盖至风格化初始图像中，得到目标风格化图像。

在一种可能的实施方式中，本申请可以应用于对视频的风格转化，即可以获取视频中的每个视频帧，进而分别将每个视频帧作为上述初始图像，以确定初始图像对应的目标风格化图像，然后根据每个视频帧对应的目标风格化图像生成对应的风格化视频。

此处结合图示对整个图像生成过程进行阐述，请参见图8，图8是本申请实施例提供的一种图像生成流程的示意图。首先可以基于样本数据(如图8中的801所示)训练得到风格化模型(如图8中的802所示)。然后在实际对图像进行风格转化时，可以先获取初始图像(如图8中的803所示)，进而检测初始图像中是否存在脸部区域(如图8中的804所示)，若不存在脸部区域，则可以调用风格化模型对初始图像(如图8中的805所示)进行处理，直接得到该初始图像对应的目标风格化图像(如图8中的806所示)；若存在脸部区域，则可以对初始图像裁剪得到脸部图像(如图8中的807所示)，进而可以对脸部图像进行图像增强处理得到增强脸部图像(如图8中的808所示)，并调用风格化模型对增强脸部图像进行处理，得到对应的风格化脸部图像(如图8中的809所示)，并且，可以调用风格化模型对初始图像(如图8中的810所示)进行处理，得到对应的风格化初始图像(如图8中的811所示)，最后将风格化脸部图像覆盖至风格化初始图像中则可以得到该初始图像对应的目标风格化图像(如图8中的812所示)。

采用本申请实施例，能够从初始图像中截取脸部图像，并对脸部图像进行图像增强处理，从而分别对初始图像和增强后的脸部图像进行风格转化处理，得到风格化初始图像和风格化脸部图像，进而再将风格化脸部图像覆盖至风格化初始图像中，得到目标风格化图像。由此可以单独对脸部图像进行图像增强，如提升脸部图像的清晰度，从而使得最终得到的目标风格化图像中的脸部区域得到了增强优化，风格化的效果更加精细，有助于提升生成的风格化图像的图像质量。

请参见图9，图9是本申请实施例提供的一种图像生成装置的结构示意图。可选的，该图像生成装置可以设置于上述电子设备中。如图9所示，本实施例中所描述的图像生成装置可以包括：

获取单元901，用于获取需要进行风格转化的初始图像，并从所述初始图像中确定出多个脸部关键点；

处理单元902，用于根据所述多个脸部关键点的位置信息从所述初始图像中截取脸部图像，并对所述脸部图像进行图像增强处理，得到增强脸部图像；

所述处理单元902，还用于对所述初始图像和所述增强脸部图像分别进行风格转化处理，得到风格化初始图像和风格化脸部图像；

所述处理单元902，还用于根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到目标风格化图像。

在一种实现方式中，所述处理单元902，具体用于：

获取针对所述多个脸部关键点的期望位置信息，并根据所述多个脸部关键点的位置信息与所述期望位置信息确定变换矩阵，所述变换矩阵用于指示截取到的脸部图像中的各个像素点的位置信息与所述初始图像中的像素点的位置信息的变换关系；

根据所述变换矩阵与目标裁剪尺寸对所述初始图像进行对齐裁剪处理，得到所述初始图像中的脸部图像，所述脸部图像的尺寸为所述目标裁剪尺寸。

在一种实现方式中，所述处理单元902，具体用于：

根据所述变换矩阵对所述风格化脸部图像进行逆变换，得到变换图像；

将所述变换图像覆盖至所述风格化初始图像中的目标区域，得到所述目标风格化图像，所述目标区域用于指示所述风格化初始图像中所对应的截取所述脸部图像的区域。

在一种实现方式中，所述处理单元902，具体用于：

根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到覆盖风格化图像；

确定所述风格化脸部图像在所述覆盖风格化图像中的覆盖边界；

对所述覆盖边界进行羽化处理，并将羽化处理后的覆盖风格化图像确定为所述目标风格化图像。

在一种实现方式中，所述处理单元902，还用于：

获取样本数据，所述样本数据包括样本初始图像和样本风格化图像；

调用初始的风格化模型对所述样本初始图像进行处理，得到所述样本初始图像对应的预测风格化图像；

根据所述预测风格化图像与所述样本风格化图像对所述初始的风格化模型进行对抗训练，得到训练好的风格化模型；

所述处理单元902，具体用于：

调用所述训练好的风格化模型分别对所述初始图像和所述脸部图像进行处理，得到所述风格化初始图像和所述风格化脸部图像。

在一种实现方式中，所述处理单元902，具体用于：

对所述脸部图像进行降噪处理，得到降噪脸部图像；

对所述降噪脸部图像进行高清修复处理，得到所述增强脸部图像。

在一种实现方式中，所述处理单元902，还用于：

对所述初始图像进行脸部检测，得到脸部检测结果；所述脸部检测结果用于指示所述初始图像中存在脸部区域或不存在脸部区域；

若所述脸部检测结果指示所述初始图像中存在脸部区域，则执行所述从所述初始图像中确定出多个脸部关键点的步骤。

请参见图10，图10是本申请实施例提供的一种电子设备的结构示意图。本实施例中所描述的电子设备，包括：处理器1001、存储器1002。可选的，该电子设备还可包括网络接口或供电模块等结构。上述处理器1001、存储器1002之间可以交互数据。

上述处理器1001可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述网络接口可以包括输入设备和/或输出设备，例如该输入设备是可以是控制面板、麦克风、接收器等，输出设备可以是显示屏、发送器等，此处不一一列举。

上述存储器1002可以包括只读存储器和随机存取存储器，并向处理器1001提供程序指令和数据。存储器1002的一部分还可以包括非易失性随机存取存储器。其中，所述处理器1001调用所述程序指令时用于执行：

获取需要进行风格转化的初始图像，并从所述初始图像中确定出多个脸部关键点；

根据所述多个脸部关键点的位置信息从所述初始图像中截取脸部图像，并对所述脸部图像进行图像增强处理，得到增强脸部图像；

对所述初始图像和所述增强脸部图像分别进行风格转化处理，得到风格化初始图像和风格化脸部图像；

根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到目标风格化图像。

在一种实现方式中，所述处理器1001，具体用于：

获取针对所述多个脸部关键点的期望位置信息，并根据所述多个脸部关键点的位置信息与所述期望位置信息确定变换矩阵，所述变换矩阵用于指示截取到的脸部图像中的各个像素点的位置信息与所述初始图像中的像素点的位置信息的变换关系；

根据所述变换矩阵与目标裁剪尺寸对所述初始图像进行对齐裁剪处理，得到所述初始图像中的脸部图像，所述脸部图像的尺寸为所述目标裁剪尺寸。

在一种实现方式中，所述处理器1001，具体用于：

根据所述变换矩阵对所述风格化脸部图像进行逆变换，得到变换图像；

将所述变换图像覆盖至所述风格化初始图像中的目标区域，得到所述目标风格化图像，所述目标区域用于指示所述风格化初始图像中所对应的截取所述脸部图像的区域。

在一种实现方式中，所述处理器1001，具体用于：

根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到覆盖风格化图像；

确定所述风格化脸部图像在所述覆盖风格化图像中的覆盖边界；

对所述覆盖边界进行羽化处理，并将羽化处理后的覆盖风格化图像确定为所述目标风格化图像。

在一种实现方式中，所述处理器1001，还用于：

获取样本数据，所述样本数据包括样本初始图像和样本风格化图像；

调用初始的风格化模型对所述样本初始图像进行处理，得到所述样本初始图像对应的预测风格化图像；

根据所述预测风格化图像与所述样本风格化图像对所述初始的风格化模型进行对抗训练，得到训练好的风格化模型；

所述处理器1001，具体用于：

调用所述训练好的风格化模型分别对所述初始图像和所述脸部图像进行处理，得到所述风格化初始图像和所述风格化脸部图像。

在一种实现方式中，所述处理器1001，具体用于：

对所述脸部图像进行降噪处理，得到降噪脸部图像；

对所述降噪脸部图像进行高清修复处理，得到所述增强脸部图像。

在一种实现方式中，所述处理器1001，还用于：

对所述初始图像进行脸部检测，得到脸部检测结果；所述脸部检测结果用于指示所述初始图像中存在脸部区域或不存在脸部区域；

若所述脸部检测结果指示所述初始图像中存在脸部区域，则执行所述从所述初始图像中确定出多个脸部关键点的步骤。

可选的，该程序指令被处理器执行时还可实现上述实施例中方法的其他步骤，这里不再赘述。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述方法，比如执行上述电子设备执行的方法，此处不赘述。

可选的，本申请涉及的存储介质如计算机可读存储介质可以是非易失性的，也可以是易失性的。

可选的，该计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。其中，本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令被处理器执行时可实现上述方法中的部分或全部步骤。例如，该计算机指令存储在计算机可读存储介质中。计算机设备(即上述的电子设备)的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法的实施例中所执行的步骤。例如，该计算机设备可以为终端，或者可以为服务器。

以上对本申请实施例所提供的一种图像生成方法、装置、电子设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像生成方法，其特征在于，所述方法包括：

获取需要进行风格转化的初始图像，并从所述初始图像中确定出多个脸部关键点；

根据所述多个脸部关键点的位置信息从所述初始图像中截取脸部图像，并对所述脸部图像进行图像增强处理，得到增强脸部图像；

对所述初始图像和所述增强脸部图像分别进行风格转化处理，得到风格化初始图像和风格化脸部图像；

根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到目标风格化图像。

2.根据权利要求1所述方法，其特征在于，所述根据所述多个脸部关键点的位置信息从所述初始图像中截取脸部图像，包括：

获取针对所述多个脸部关键点的期望位置信息，并根据所述多个脸部关键点的位置信息与所述期望位置信息确定变换矩阵，所述变换矩阵用于指示截取到的脸部图像中的各个像素点的位置信息与所述初始图像中的像素点的位置信息的变换关系；

根据所述变换矩阵与目标裁剪尺寸对所述初始图像进行对齐裁剪处理，得到所述初始图像中的脸部图像，所述脸部图像的尺寸为所述目标裁剪尺寸。

3.根据权利要求2所述方法，其特征在于，所述根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到目标风格化图像，包括：

根据所述变换矩阵对所述风格化脸部图像进行逆变换，得到变换图像；

将所述变换图像覆盖至所述风格化初始图像中的目标区域，得到所述目标风格化图像，所述目标区域用于指示所述风格化初始图像中所对应的截取所述脸部图像的区域。

4.根据权利要求1-3任一项所述方法，其特征在于，所述根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到目标风格化图像，包括：

根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到覆盖风格化图像；

确定所述风格化脸部图像在所述覆盖风格化图像中的覆盖边界；

对所述覆盖边界进行羽化处理，并将羽化处理后的覆盖风格化图像确定为所述目标风格化图像。

5.根据权利要求1所述方法，其特征在于，所述方法还包括：

获取样本数据，所述样本数据包括样本初始图像和样本风格化图像；

调用初始的风格化模型对所述样本初始图像进行处理，得到所述样本初始图像对应的预测风格化图像；

根据所述预测风格化图像与所述样本风格化图像对所述初始的风格化模型进行对抗训练，得到训练好的风格化模型；

所述对所述初始图像和所述增强脸部图像分别进行风格转化处理，得到风格化初始图像和风格化脸部图像，包括：

调用所述训练好的风格化模型分别对所述初始图像和所述脸部图像进行处理，得到所述风格化初始图像和所述风格化脸部图像。

6.根据权利要求1所述方法，其特征在于，所述对所述脸部图像进行图像增强处理，得到增强脸部图像，包括：

对所述脸部图像进行降噪处理，得到降噪脸部图像；

对所述降噪脸部图像进行高清修复处理，得到所述增强脸部图像。

7.根据权利要求1所述方法，其特征在于，所述方法还包括：

对所述初始图像进行脸部检测，得到脸部检测结果；所述脸部检测结果用于指示所述初始图像中存在脸部区域或不存在脸部区域；

若所述脸部检测结果指示所述初始图像中存在脸部区域，则执行所述从所述初始图像中确定出多个脸部关键点的步骤。

8.一种图像生成装置，其特征在于，所述装置包括：

获取单元，用于获取需要进行风格转化的初始图像，并从所述初始图像中确定出多个脸部关键点；

处理单元，用于根据所述多个脸部关键点的位置信息从所述初始图像中截取脸部图像，并对所述脸部图像进行图像增强处理，得到增强脸部图像；

所述处理单元，还用于对所述初始图像和所述增强脸部图像分别进行风格转化处理，得到风格化初始图像和风格化脸部图像；

所述处理单元，还用于根据所述多个脸部关键点的位置信息将所述风格化脸部图像覆盖至所述风格化初始图像中，得到目标风格化图像。

9.一种电子设备，其特征在于，包括处理器、存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。