CN117830078A - 图像生成方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供一种图像生成方法、装置、设备及存储介质，方法包括获取原始图像和提示文本，由第一图像生成模型生成风格图像；从风格图像中裁切出待修复图像块，并按照预设比例对待修复图像块进行放大处理；对放大处理后的待修复图像块进行边缘检测，从待修复图像块的边缘信息中去除与面部特征对应的边缘信息，得到与待修复图像块对应的边缘图像块；将边缘图像块分别输入至第二图像生成模型，由第二图像生成模型生成与待修复图像块对应的修复图像块；修复图像块包含第二图像生成模型重构的面部特征；将修复图像块按照预设比例进行缩小处理，将风格图像中包含的与待修复图像块对应的面部区域，替换为与缩小处理后的修复图像块对应的面部区域。

Description

图像生成方法、装置、设备及存储介质

技术领域

本公开涉及机器学习技术领域，尤其涉及图像生成方法、装置、设备及存储介质。

背景技术

随着图像处理技术的发展，图像生成模型可以根据用户输入的提示文本和用户输入的原图，转换为另一张新图像。然而，图像生成模型生成的图像可能存在质量问题，例如，原图中包含了人脸，在原图中该人脸区域的像素数量较少，模型会容易忽略这些像素数量少的区域，导致模型生成的新图像中的人脸容易出现变形或噪声的情况。基于此，如何生成高质量的图像，是亟待解决的技术问题。

发明内容

为克服相关技术中存在的问题，本公开提供了图像生成方法、装置、设备及存储介质。

根据本说明书实施例的第一方面，提供一种图像生成方法，所述方法包括：

获取用户输入的包含至少一个面部的原始图像和提示文本，并将所述原始图像和提示文本输入至第一图像生成模型，由所述第一图像生成模型将所述原始图像转换为符合所述提示文本描述的图像风格的风格图像；

识别所述风格图像中的至少一个面部区域，从所述风格图像中裁切出包含所述面部区域的至少一个待修复图像块，并按照预设比例分别对所述至少一个待修复图像块进行放大处理；

对放大处理后的所述至少一个待修复图像块分别进行边缘检测，并从检测到的所述至少一个待修复图像块的边缘信息中分别去除与面部特征对应的边缘信息，得到与所述至少一个待修复图像块分别对应的至少一个边缘图像块；

将所述至少一个边缘图像块分别输入至第二图像生成模型，由所述第二图像生成模型分别生成与所述至少一个待修复图像块对应的至少一个修复图像块；其中，所述修复图像块包含所述第二图像生成模型重构的面部特征；

将所述至少一个修复图像块分别按照所述预设比例进行缩小处理，并将所述风格图像中包含的与所述至少一个待修复图像块对应的面部区域，分别替换为与缩小处理后的所述至少一个修复图像块对应的面部区域。

根据本说明书实施例的第二方面，提供一种图像生成装置，包括：

第一图像生成模块，获取用户输入的包含至少一个面部的原始图像和提示文本，并将所述原始图像和提示文本输入至第一图像生成模型，由所述第一图像生成模型将所述原始图像转换为符合所述提示文本描述的图像风格的风格图像；

裁切模块，识别所述风格图像中的至少一个面部区域，从所述风格图像中裁切出包含所述面部区域的至少一个待修复图像块，并按照预设比例分别对所述至少一个待修复图像块进行放大处理；

边缘处理模块，对放大处理后的所述至少一个待修复图像块分别进行边缘检测，并从检测到的所述至少一个待修复图像块的边缘信息中分别去除与面部特征对应的边缘信息，得到与所述至少一个待修复图像块分别对应的至少一个边缘图像块；

第二图像生成模块，将所述至少一个边缘图像块分别输入至第二图像生成模型，由所述第二图像生成模型分别生成与所述至少一个待修复图像块对应的至少一个修复图像块；其中，所述修复图像块包含所述第二图像生成模型重构的面部特征；

替换模块，将所述至少一个修复图像块分别按照所述预设比例进行缩小处理，并将所述风格图像中包含的与所述至少一个待修复图像块对应的面部区域，分别替换为与缩小处理后的所述至少一个修复图像块对应的面部区域。

根据本说明书实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现前述第一方面所述方法实施例的步骤。

根据本说明书实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述第一方面所述方法实施例的步骤。

本说明书的实施例提供的技术方案可以包括以下有益效果：

本说明书实施例中，提出了对风格图像中的面部区域进行修复的思路，在第一图像生成模型生成的风格图像中，裁切出包含面部区域的待修复图像块进行放大，进一步提取去除了面部特征的边缘信息，由第二图像生成模型生成包含清晰准确、细节丰富的面部特征的修复图像块，因此利用修复图像块中的面部区域来替换掉风格图像中变形的面部区域，能够得到面部区域清晰准确、细节丰富的风格图像。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本公开的原理。

图1A和图1B分别是本说明书根据一示例性实施例示出的一种图像处理方法的流程图。

图2A是本说明书根据一示例性实施例示出的裁切待修复图像块的示意图。

图2B是本说明书根据一示例性实施例示出的一种边缘图像块。

图2C是本说明书根据一示例性实施例示出的人脸的掩码图像。

图2D是本说明书根据一示例性实施例示出的去除面部特征的边缘图像块。

图3是本说明书根据一示例性实施例示出的一种图像处理装置所在计算机设备的一种硬件结构图。

图4是本说明书根据一示例性实施例示出的一种图像处理装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

在数字图像处理领域，图像风格化生成是近年来的热门研究方向，其旨在将一种特定的艺术风格迁移到给定的图像上，从而为用户创造出独特且艺术化的图像输出。为实现此目标，图像生成模型，例如稳定扩散模型Stable Diffusion Model已经被广泛采用。然而，使用此模型时，当处理某些图像内容，尤其是人脸区域时，存在一些固有的挑战和限制。

具体地说，对于像素点较少的面部区域，例如面部区域的像素数小于200等情况，当通过Stable Diffusion Model进行风格化处理后，得到的结果常常不令人满意。这些风格化后的面部往往与原始图像存在显著差异，不仅导致了面部特征的丢失，还可能引入了不自然的变形或噪声。而用户通常对图像中的面部区域较为关注，这种情况在需要精确和高质量输出的场景下，尤为不可接受。

因此，针对图像生成模型在处理少像素的面部时存在的问题，迫切需要一些技术方案，能够有效改善模型生成的风格图像的质量。

解决上述问题，一种思路是整图放大法。此方法的核心思路是在风格化操作前，先将整个图像放大，从而增加面部区域的像素。然而，这种方法存在明显的局限性。尤其是当处理高分辨率的图像时，放大整图会对显存的需求量造成显著增加。对于那些本身尺寸已经很大的图片，采用此策略将导致巨大的计算开销，甚至可能超出硬件设备的承受范围，导致处理失败。

另一种思路是采用深度学习模型对风格图像进行修复。例如，可以通过深度学习方法训练专门的面部修复模型。但是，大多数现有的这类模型主要是针对真实人脸图像进行训练的的，而风格图像是模型生成的，风格图像中的人脸并非真实人脸，当这些模型被应用于风格图像时，效果往往不尽如人意。这是因为风格图像与常规图像在结构和纹理上存在显著差异，使得这些修复模型难以准确地恢复或优化风格图像中的人脸。

基于此，本说明书实施例提供了一种图像生成方法，提出了对风格图像中的面部区域进行修复的思路，在第一图像生成模型生成的风格图像的基础上，裁切出包含面部区域的待修复图像块进行放大，进一步提取去除了面部特征的边缘信息，由第二图像生成模型生成包含清晰准确、细节丰富的面部特征的修复图像块，因此利用修复图像块中的面部区域来替换掉风格图像中变形的面部区域，能够得到面部区域清晰准确、细节丰富的风格图像。接下来对本说明书实施例进行详细说明。

如图1A和图1B所示，图1A和图1B分别示出了本说明书实施例的一种图像生成方法的流程图，可以包括以下步骤：

步骤102、获取用户输入的包含至少一个面部的原始图像和提示文本，并将所述原始图像和提示文本输入至第一图像生成模型，由所述第一图像生成模型将所述原始图像转换为符合所述提示文本描述的图像风格的风格图像。

步骤104、识别所述风格图像中的至少一个面部区域，从所述风格图像中裁切出包含所述面部区域的至少一个待修复图像块，并按照预设比例分别对所述至少一个待修复图像块进行放大处理；

步骤106、对放大处理后的所述至少一个待修复图像块分别进行边缘检测，并从检测到的所述至少一个待修复图像块的边缘信息中分别去除与面部特征对应的边缘信息，得到与所述至少一个待修复图像块分别对应的至少一个边缘图像块；

步骤108、将所述至少一个边缘图像块分别输入至第二图像生成模型，由所述第二图像生成模型分别生成与所述至少一个待修复图像块对应的至少一个修复图像块；其中，所述修复图像块包含所述第二图像生成模型重构的面部特征；

步骤110、将所述至少一个修复图像块分别按照所述预设比例进行缩小处理，并将所述风格图像中包含的与所述至少一个待修复图像块对应的面部区域，分别替换为与缩小处理后的所述至少一个修复图像块对应的面部区域。

本实施例的图像生成方法可以运行于计算机设备中，计算机设备包括但不限于服务器、云服务器、服务器集群、平板计算机、个人数字助理、膝上计算机、或者台式计算机等设备。在一些例子中，本实施例的图像生成方法中所涉及的模型可以部署于与用户的客户端对接的服务端中，用户的客户端可以接收用户的输入并发送给服务端，由服务端运行本实施例的图像生成方法后将结果发送给用户的客户端中。在其他例子中，也可以是在用户的客户端中部署本实施例的图像生成方法中所涉及的模型，本实施例对此不做任何限制。

对于步骤102，实际应用中可以提供交互接口以获取用户输入的原始图像和提示文本，交互接口的具体类型本实施例对此不进行限定。另外，第一图像生成模型可以根据实际需要灵活选择或自行训练，其具体的结构也根据需要可以自行构建。可选的，第一图像生成模型可以包括：生成对抗网络GAN模型、基于流的生成模型(Flow-based model)或扩散模型等等，本实施例对此不进行限定。

其中，提示(Prompt)文本可以用于指导模型生成特定类型、主题或格式的输出。第一图像生成模型可以基于所述提示文本对原始图像进行图像转换得到风格图像。第一图像生成模型基于输入的原始图像和提示文本，可以通过学习到的模型权重和参数等，对第一图像进行图像转换操作。这个过程中，第一图像生成模型会尝试根据提示文本的引导信息，修改第一图像的特征或外观等等，以生成与提示文本所描述的图像风格相符合的风格图像。风格图像可能在像素级别上与第一图像不同，但根据提示文本的引导，它应该反映出与提示文本所述内容相关的特征和外观。

作为一个例子，用户输入的原始图像是一张包含3个人物的图像，提示文本是“请将图像转换为油画风格”，则图像模型可以将这张包含3个人物的图像转换为符合提示文本的油画风格的风格图像。由前述分析可知，若原始图像中有某个人物的人脸像素数量较少，第一图像生成模型生成的风格图像中该人物的人脸可能存在变形或噪声等问题，导致风格图像的质量较差。此处例子中的“人脸”即步骤104中提及的“面部”，后文中的例子大部分采用人脸为例进行说明，当然此处只是举例，根据实际应用场景，本实施例的面部还可以是各种动物的面部等等，本实施例对此不进行限定。

在步骤104中，可以对风格图像进行面部定位、裁切和放大。例如，以人脸为例可以采用人脸检测算法来识别并定位风格图像中的人脸区域。例如，人脸检测算法可以输出包围人脸的人脸框，可以基于人脸框的中心位置，裁切出包含人脸框的待修复图像块，待修复图像块的大小可以根据需要自定义设置，例如，可以是人脸框的两倍大等大小。如图2A所示，图中包含了风格图像，风格图像中包含人脸，可以对风格图像中的进行人脸定位，得到人脸框后，基于人脸框的位置进行扩大，使扩大之后的区域大于人脸框，再裁切出包含人脸框的待修复图像块的过程。

其中，本实施例的待修复图像块不仅仅包含面部区域，而是在面部区域的基础上往外扩大一定大小所形成的图像块，从而包含了面部所属对象的其他部位特征。例如，图2A中示出的待修复图像块不仅包含了人脸，还包含人的头部或肩膀等其他部位。如此，该待修复图像块对应的边缘图像块就包含了人的其他部位的边缘信息，使得第二图像生成模型可以基于边缘图像块确定其中的边缘信息是人的边缘信息，从而重构出人的面部特征。

实际应用中，待修复图像块可以是长方形或正方形等形状，可以基于图像生成模型的输入要求而设置，本实施例对此不进行限定。

本实施例方案可以对风格图像中的面部进行重构，对风格图像中的面部区域的大小可以不进行限定，即风格图像中的任意面部区域均可以采用本实施例的方案。

在其他例子中，如果风格图像中的面部区域较大，第一图像生成模型生成的面部质量较高，本实施例方案可以只应用于面部质量较差的风格图像的面部重构，基于此，在一些例子中，所述识别所述风格图像中的至少一个面部区域，可以包括：识别所述风格图像中包含的像素数量小于预设数量阈值的至少一个面部区域。其中，预设数量阈值可以根据实际需要灵活配置，本实施例对此不进行限定。

本实施例的待修复图像块是指风格图像中需要进行面部重构的图像块，待修复图像块是从风格图像中裁切出来的，其像素量少于第一图像生成模型生成的风格图像的像素量，为了让第二图像生成模型能够得到像素量较高的输入图像，本实施例按照预设比例对待修复图像块进行了放大处理，使待修复图像放大至预设大小，该预设比例和预设大小可以根据实际需要灵活配置，本实施例对此不进行限定。例如，可以以第二图像生成模型对输入图像的输入要求而设置。例如，第二图像生成模型要求输入的图像最大为400*400的像素量，可以将待修复图像块放大至400*400大小。实际应用中，可以采用多种方式实现图像放大处理，例如双线性插值等算法。

其中，风格图像中的待修复图像块可以有一个或多个，可以利用本实施例的方案对任意一个带修复图像块执行后续的重构处理，例如对待修复图像块进行边缘检测等处理得到边缘图像块，后续可以让第二图像生成模型基于边缘图像块生成修复图像块。

在一些例子中，考虑到对待修复图像块进行放大处理，得到的图像块可能有模糊，可选的，所述对放大处理后的所述至少一个待修复图像块分别进行边缘检测之前，还可以包括：对放大处理后的所述至少一个待修复图像块分别进行超分辨率处理。

示例性的，超分辨率处理可以采用超分模型等实现，例如基于深度学习的超分模型等等，将每个放大处理后的待修复图像块输入至超分模型中，获取超分模型分别输出的提升了分辨率的待修复图像块。

针对步骤106，实际应用中可以根据需要采用所需的边缘检测算法。例如，可以是OpenCV中的Canny边缘提取算子，Canny算子是一个经典的边缘检测方法，可以用于从图像中提取出明显的边缘信息。也可以是HED(Holistically-Nested Edge Detection)算法，HED模型采用的是一种深度学习的边缘检测方法，用于从图像中提取细致和连续的边缘信息；还可以是其他边缘检测算法，本实施例对此不进行限定。可选的，可以采用一种或多种边缘检测算法，使得每个放大后的待修复图像块可以对应有一种或多种边缘信息。

在另一些例子中，考虑到单一的边缘检测算法可能存在的不足，本实施例可以采用多种不同的边缘检测算法，也即是，对一个待修复图像块，可以采用至少两种不同的边缘检测算法，得到一个待修复图像块的对应于至少两种不同的边缘检测算法的至少两种边缘信息，基于此，可以利用多种边缘信息相互补充，使待修复图像块对应了丰富详细的边缘信息，使得第二图像生成模型可以基于丰富详细的边缘信息，对应生成细节丰富的修复图像块。

以两种边缘检测算法为OpenCV中的Canny算子和HED模型为例，一个待修复图像块可以对应了由Canny算子进行边缘检测得到的第一边缘图像块，还可以对应由HED模型进行边缘检测得到的第二边缘图像块。

如图2B所示，是本说明书实施例示出的边缘检测算法对待修复图像块进行边缘检测得到的边缘图像块，图2B中白色像素点表示了识别出的边缘信息，由于风格图像中的待修复图像块中的面部有变形或噪声，导致边缘图像块中面部内部的边缘信息也有变形或噪声。本实施例中，会对检测到的边缘信息去除与面部特征对应的边缘信息，以去除变形或噪声对后续模型生成图像的干扰。

可选的，可以采用面部分割模型等方式对风格图像进行识别，分割出风格图像中的面部区域。面部分割模型对风格图像的分割结果可以是掩码(Binary Mask)图像，掩码图像是一个与原始图像尺寸相同的矩阵，矩阵中每个元素表示相应像素是否属于目标区域。掩码图像中，通常使用两个特定的值来表示像素的状态：值为1表示该像素位于目标区域；值为0表示该像素不属于目标区域；当然，反过来也是可选的。如图2C所示，是本说明书根据一示例性实施例示出的一种对风格图像进行面部分割得到的面部的掩码图像，图2C中白色像素点表示属于目标区域。

识别出的面部的Mask可以用于从边缘图像块中去除与面部特征对应的边缘信息。例如，面部的Mask记录了面部区域在风格图像中的像素位置信息，基于边缘图像块与风格图像的对应关系，可以去除边缘图像块的面部区域内部的边缘信息，使得边缘图像块不包含面部内部的面部特征。如图2D所示，是去除了面部区域内部的边缘信息的边缘图像块的示意图，可以看出，人脸内部的五官等信息被删除了。

通过步骤106得到了风格图像中的一个或多个放大处理后的待修复图像块对应的边缘图像块，在步骤108中就可以对其进行重构；具体的，可以是将每个边缘图像块分别输入至第二图像生成模型，由第二图像生成模型对输入的边缘图像块进行重绘，基于边缘图像块中的边缘信息生成新的图像，本实施例称为修复图像块，由于输入的边缘图像块包含了足够的像素量，并且包含了面部区域所属对象的边缘信息，使得第二图像生成模型能够重构出包含了清晰准确、细节丰富的面部特征的修复图像块。例如，如图2D中的边缘图像块可以输入至第二图像生成模型中，第二图像生成模型能够基于边缘图像块中的边缘信息知道是人的边缘信息，从而基于边缘信息生成图像，生成的图像中其包含的边缘信息与边缘图像块中的边缘相匹配，并且还重构出了人的面部特征。

可选的，输入至第二图像生成模型的输入数据，本实施例不限定是否包含提示文本。由于边缘图像块已经能向第二图像生成模型指示其中面部所属的对象类型，因此不包含提示文本的情况下，第二图像生成模型也能基于未包含面部特征的边缘图像块生成与面部所属的对象类型对应的、重构出面部特征的图像。当然，要包含提示文本也是可选的，例如，第二图像生成模型的提示文本可以指示面部所属的对象的信息，例如，面部所属对象是人，第二图像生成模型的提示文本可以是人等提示信息，面部所属对象是猫，第二图像生成模型的提示文本可以是猫等提示信息。或者，第二图像生成模型的提示文本可以与前述的输入至第一图像生成模型的提示文本相关，例如两者相同，则可以提示第二图像生成模型生成与风格图像的风格相同的修复图像块。

其中，第二图像生成模型可以与第一图像生成模型相同或类似。在一些例子中，第二图像生成模型可以是扩散模型，例如稳定扩散模型(Stable Diffusion，SD)、潜在扩散模型(Latent Diffusion Models，LDMs)等。稳定扩散模型可以包括VAE编码器和生成网络，VAE编码器用于将输入图像编码为在隐含空间中的输入图像。生成网络可以包括U-Net神经网络，用于对所述在隐含空间中的输入图像进行t次采样，并在所述t次采样中的每一次采样后生成该次采样的预测噪声，基于该次采样的预测噪声进一步生成该次采样的在隐含空间中的预测图像。实际应用中，在利用第二图像生成模型生成修复图像块时，可以根据需要设置图像生成模型的扩散步数，也即是上述的t的数值，根据需要，可以设置t为较小的数值，例如t小于或等于预设数值，该预设数值可以根据需要进行配置，例如10等数值。基于此，可以让图像生成模型不进行较多的扩散，使得生成的修复图像块与风格图像的风格保持一致性。

在步骤110中，得到了包含了清晰准确的修复图像块后，风格图像中模糊变形的面部区域就可以利用修复图像块进行修复。由于待修复图像块从风格图像中裁切出来后是经过放大处理的，模型生成的修复图像块的尺寸较大，本实施例将修复图像块按照预设比例进行缩小处理，之后，可以将风格图像中包含的与待修复图像块对应的面部区域，替换为缩小处理后的修复图像块对应的面部区域。

作为一个示例，可以基于前述实施例中从风格图像中识别出的面部区域的mask，确定缩小后的修复图像块中的面部区域，将缩小后的修复图像块中的面部区域覆盖掉风格图像中的面部区域即可，从而实现对风格图像中模糊变形的面部区域的修复，得到包含清晰准确的面部区域的风格图像。

实际应用中，第二图像生成模型可以基于未包含面部特征的边缘图像块生成修复图像块，在另一些例子中，为了使第二图像生成模型可以生成与原始图像中面部区域相匹配的修复图像块，所述将所述至少一个边缘图像块分别输入至第二图像生成模型之前，所述方法还可以包括：

从所述原始图像中裁切出至少一个面部区域，将裁切出的至少一个面部区域缩放至与所述放大处理后的待修复图像块中的面部区域相同大小后，对放大的至少一个面部区域分别进行边缘检测得到的边缘信息填充至所述至少一个边缘图像块的面部区域内。

本实施例中，可以让第二图像生成模块结合原始图像中的面部区域内的面部特征来生成修复图像块。如前述实施例，可以采用面部分割模型等方式对风格图像进行识别，分割出原始图像中的面部区域，本实施例可以成为原始面部区域，原始图像与风格图像的大小不一定相同，原始面部区域缩放至放大处理后的待修复图像块中的面部区域相同大小。如此，由于原始图像包含了准确的面部特征，从缩放后的原始面部区域进行边缘检测，可以得到准确的原始面部区域内的边缘信息。进一步的，可以填充至边缘图像块的面部区域内，得到包含了准确的面部特征的边缘图像块。

例如，原始图像包含了两个面部区域a1和a2，基于图像生成模型的图像生成原理，生成的风格图像中两个面部区域的位置与原始图像中两个面部区域是分别对应的，生成的风格图像包含了对应的两个面部区域b1和b2。

面部区域b1对应了经过放大的待修复图像块C1，待修复图像块C1中包含了面部区域B1(即面部区域b1经过放大处理)。对经过放大的待修复图像块C1进行边缘检测得到边缘图像块D1，边缘图像块D1可以去除面部区域B1内部的边缘信息。将面部区域a1缩放至与面部区域B1相同大小，可以在边缘图像块D1中的面部区域B1内部，填充对经过放大的面部区域a1进行边缘检测得到的边缘信息。

同理，面部区域b2对应了经过放大的待修复图像块C2，待修复图像块C2中包含了面部区域B2(即面部区域b2经过放大处理)。对经过放大的待修复图像块C2进行边缘检测得到边缘图像块D2，边缘图像块D2可以去除面部区域B2内部的边缘信息。将面部区域a2缩放至与面部区域B2相同大小，可以在边缘图像块D2中的面部区域B2内部，填充对经过放大的面部区域a2进行边缘检测得到的边缘信息。

在一些例子中，所述第二图像生成模型可以包括连接了边缘信息控制网络Controlnet的扩散模型；

所述将所述至少一个边缘图像块分别输入至第二图像生成模型，由所述第二图像生成模型分别生成与所述至少一个待修复图像块对应的至少一个修复图像块，可以包括：

将所述至少一个边缘图像块分别输入至输入至所述边缘信息控制网络，在所述边缘信息控制网络提取输入的边缘图像块的边缘特征后，由所述扩散模型基于所述边缘特征分别生成与所述至少一个待修复图像块对应的至少一个修复图像块。

实际应用中，ControlNet是基于Stable Diffusion模型的一种扩展模型，使得用户通过额外的输入来控制预训练的大模型。基于此，本实施例的第二图像生成模型可以包括连接了边缘信息控制网络Controlnet的扩散模型，由边缘信息控制网络Controlnet提取输入的边缘图像块的边缘特征，由扩散模型基于边缘特征生成对应的修复图像块。

可选的，实际实现时，第二图像生成模型可以是基于预训练的图像生成模型进一步进行训练得到，还可以是获取开源的连接了边缘信息控制网络Controlnet的扩散模型，本实施例对此不进行限定。

实际应用中，在一些例子中，可以采用多种不同的边缘检测算法，所述扩散模型可以连接有至少两个边缘信息控制网络；所述对放大处理后的所述至少一个待修复图像块分别进行边缘检测，并从检测到的所述至少一个待修复图像块的边缘信息中分别去除与面部特征对应的边缘信息，得到与所述至少一个待修复图像块分别对应的至少一个边缘图像块，可以包括：

对放大处理后的所述至少一个待修复图像块分别采用至少两种不同的边缘检测算法进行边缘检测，得到每个放大处理后的待修复图像块的对应于至少两种不同的边缘检测算法的至少两种边缘信息；

将每个放大处理后的待修复图像块的至少两种边缘信息分别去除与面部特征对应的边缘信息，得到每个待修复图像块对应的至少两个边缘图像块；

所述将所述至少一个边缘图像块分别输入至输入至所述边缘信息控制网络，在所述边缘信息控制网络提取输入的边缘图像块的边缘特征后，由所述扩散模型基于所述边缘特征分别生成与所述至少一个待修复图像块对应的至少一个修复图像块，可以包括：

将每个待修复图像块对应的至少两个边缘图像块分别输入至所述至少两个边缘信息控制网络，在每个边缘信息控制网络分别提取输入的边缘图像块的边缘特征后，由所述扩散模型基于每个边缘信息控制网络提取的边缘特征，分别生成与所述至少一个待修复图像块对应的至少一个修复图像块。

本实施例中，可以引入至少两个对应于不同边缘检测算法的边缘信息控制网络Controlnet；例如，以采用OpenCV中的Canny算子和HED模型两种边缘检测算法为例，扩散模型可以连接对应于Canny算子的第一边缘信息控制网络Controlnet以及对应于HED模型的第二边缘信息控制网络。

针对每个待修复图像块，利用Canny算子检测并得到的第一边缘图像块输入至第一边缘信息控制网络，利用HED模型检测并得到的第二边缘图像块输入至第二边缘信息控制网络，扩散模型可以根据第一边缘信息控制网络提取的第一边缘特征和第二边缘信息控制网络提取的第二边缘特征来生成修复图像块，生成的修复图像块中既包含了第一边缘图像块的边缘信息也包含了第二边缘边缘图像块的边缘信息。

由上述实施例可见，本实施例考虑了风格化和面部修复的需求，提供了一种在保证风格化效果的同时，确保面部清晰度和细节完整性的方案。

其中，本实施例不需要对风格图像进行整体放大，与直接放大整张风格图像的思路相比，本实施例仅针对面部区域进行放大处理，从而避免了因整体放大导致的显存消耗过大和不必要的计算开销，本实施例方法的成本较低效率更高。

另外，本实施例并不依赖通用的基于深度学习的面部修复模型，本实施例结合了面部识别、分割、边缘提取以及风格化生成，确保了可以生成准确清晰的修复图像块，从而得到包含了准确清晰的面部区域的风格图像。与传统方案相比，本实施例修复好的风格图像中的面部更加清晰、细节丰富，同时保持了整体风格的一致性和连续性。整个处理流程自动化程度高，为用户提供了一种简单易用且效果较好的风格化工具。

在一些实施例中，还可以进行精确的风格化控制，通过使用结合了一个或多个边缘信息控制网络的图像生成模型，能够精确地控制风格化的过程，确保面部区域具有较高的清晰度和丰富准确的细节。

与前述图像生成方法的实施例相对应，本说明书还提供了图像生成装置及其所应用的计算机设备的实施例。

本说明书图像生成装置的实施例可以应用在计算机设备上，例如服务器或终端设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本说明书图像生成装置所在计算机设备的一种硬件结构图，除了图3所示的处理器310、内存330、网络接口320、以及非易失性存储器340之外，实施例中图像生成装置331所在的计算机设备，通常根据该计算机设备的实际功能，还可以包括其他硬件，对此不再赘述。

如图4所示，图4是本说明书根据一示例性实施例示出的一种图像生成装置的框图，所述装置包括：

第一图像生成模块41，获取用户输入的包含至少一个面部的原始图像和提示文本，并将所述原始图像和提示文本输入至第一图像生成模型，由所述第一图像生成模型将所述原始图像转换为符合所述提示文本描述的图像风格的风格图像；

裁切模块42，识别所述风格图像中的至少一个面部区域，从所述风格图像中裁切出包含所述面部区域的至少一个待修复图像块，并按照预设比例分别对所述至少一个待修复图像块进行放大处理；

边缘处理模块43，对放大处理后的所述至少一个待修复图像块分别进行边缘检测，并从检测到的所述至少一个待修复图像块的边缘信息中分别去除与面部特征对应的边缘信息，得到与所述至少一个待修复图像块分别对应的至少一个边缘图像块；

第二图像生成模块44，将所述至少一个边缘图像块分别输入至第二图像生成模型，由所述第二图像生成模型分别生成与所述至少一个待修复图像块对应的至少一个修复图像块；其中，所述修复图像块包含所述第二图像生成模型重构的面部特征；

替换模块45，将所述至少一个修复图像块分别按照所述预设比例进行缩小处理，并将所述风格图像中包含的与所述至少一个待修复图像块对应的面部区域，分别替换为与缩小处理后的所述至少一个修复图像块对应的面部区域。

在一些例子中，所述裁切模块42，识别所述风格图像中的至少一个面部区域，包括：

识别所述风格图像中包含的像素数量小于预设数量阈值的至少一个面部区域。

在一些例子中，所述边缘处理模块43对放大处理后的所述至少一个待修复图像块分别进行边缘检测之前，包括：

对放大处理后的所述至少一个待修复图像块分别进行超分辨率处理。

在一些例子中，所述第二图像生成模块44，将所述至少一个边缘图像块分别输入至第二图像生成模型之前，还包括：

从所述原始图像中裁切出至少一个面部区域，将裁切出的至少一个面部区域放大至与所述放大处理后的待修复图像块中的面部区域相同大小后，对放大的至少一个面部区域分别进行边缘检测得到的边缘信息填充至所述至少一个边缘图像块的面部区域内。

在一些例子中，所述第二图像生成模型包括连接了边缘信息控制网络的扩散模型；

所述第二图像生成模块44，将所述至少一个边缘图像块分别输入至第二图像生成模型，由所述第二图像生成模型分别生成与所述至少一个待修复图像块对应的至少一个修复图像块，包括：

将所述至少一个边缘图像块分别输入至所述边缘信息控制网络，在所述边缘信息控制网络提取输入的边缘图像块的边缘特征后，由所述扩散模型基于所述边缘特征分别生成与所述至少一个待修复图像块对应的至少一个修复图像块。

在一些例子中，所述扩散模型连接有至少两个边缘信息控制网络；

所述边缘处理模块43对放大处理后的所述至少一个待修复图像块分别进行边缘检测，并从检测到的所述至少一个待修复图像块的边缘信息中分别去除与面部特征对应的边缘信息，得到与所述至少一个待修复图像块分别对应的至少一个边缘图像块，包括：

对放大处理后的所述至少一个待修复图像块分别采用至少两种不同的边缘检测算法进行边缘检测，得到每个放大处理后的待修复图像块的对应于至少两种不同的边缘检测算法的至少两种边缘信息；

将每个放大处理后的待修复图像块的至少两种边缘信息分别去除与面部特征对应的边缘信息，得到每个待修复图像块对应的至少两个边缘图像块；

所述第二图像生成模块44将所述至少一个边缘图像块分别输入至输入至所述边缘信息控制网络，在所述边缘信息控制网络提取输入的边缘图像块的边缘特征后，由所述扩散模型基于所述边缘特征分别生成与所述至少一个待修复图像块对应的至少一个修复图像块，包括：

将每个待修复图像块对应的至少两个边缘图像块分别输入至所述至少两个边缘信息控制网络，在每个边缘信息控制网络分别提取输入的边缘图像块的边缘特征后，由所述扩散模型基于每个边缘信息控制网络提取的边缘特征，分别生成与所述至少一个待修复图像块对应的至少一个修复图像块。

在一些例子中，所述至少两种不同的边缘检测算法，包括：OpenCV中的Canny算子和Holistically-Nested Edge Detection算法。

上述图像生成装置中各个模块的功能和作用的实现过程具体详见上述图像生成方法中对应步骤的实现过程，在此不再赘述。

相应的，本说明书实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现前述图像生成方法实施例的步骤。

相应的，本说明书实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现图像生成方法实施例的步骤。

相应的，本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图像生成方法实施例的步骤。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例可以应用于一个或者多个计算机设备中，所述计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，所述计算机设备的硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field-Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。

所述计算机设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。

所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该申请的保护范围内。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

其中，“具体示例”、或“一些示例”等的描述意指结合所述实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。

应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (10)

1.一种图像生成方法，所述方法包括：

获取用户输入的包含至少一个面部的原始图像和提示文本，并将所述原始图像和提示文本输入至第一图像生成模型，由所述第一图像生成模型将所述原始图像转换为符合所述提示文本描述的图像风格的风格图像；

识别所述风格图像中的至少一个面部区域，从所述风格图像中裁切出包含所述面部区域的至少一个待修复图像块，并按照预设比例分别对所述至少一个待修复图像块进行放大处理；

对放大处理后的所述至少一个待修复图像块分别进行边缘检测，并从检测到的所述至少一个待修复图像块的边缘信息中分别去除与面部特征对应的边缘信息，得到与所述至少一个待修复图像块分别对应的至少一个边缘图像块；

将所述至少一个边缘图像块分别输入至第二图像生成模型，由所述第二图像生成模型分别生成与所述至少一个待修复图像块对应的至少一个修复图像块；其中，所述修复图像块包含所述第二图像生成模型重构的面部特征；

将所述至少一个修复图像块分别按照所述预设比例进行缩小处理，并将所述风格图像中包含的与所述至少一个待修复图像块对应的面部区域，分别替换为与缩小处理后的所述至少一个修复图像块对应的面部区域。

2.根据权利要求1所述的方法，所述识别所述风格图像中的至少一个面部区域，包括：

识别所述风格图像中包含的像素数量小于预设数量阈值的至少一个面部区域。

3.根据权利要求1所述的方法，所述对放大处理后的所述至少一个待修复图像块分别进行边缘检测之前，所述方法还包括：

对放大处理后的所述至少一个待修复图像块分别进行超分辨率处理。

4.根据权利要求1所述的方法，所述将所述至少一个边缘图像块分别输入至第二图像生成模型之前，所述方法还包括：

从所述原始图像中裁切出至少一个面部区域，将裁切出的至少一个面部区域缩放至与所述放大处理后的待修复图像块中的面部区域相同大小后，将对放大的至少一个面部区域分别进行边缘检测得到的边缘信息填充至所述至少一个边缘图像块的面部区域内。

5.根据权利要求1所述的方法，所述第二图像生成模型包括连接了边缘信息控制网络的扩散模型；

所述将所述至少一个边缘图像块分别输入至第二图像生成模型，由所述第二图像生成模型分别生成与所述至少一个待修复图像块对应的至少一个修复图像块，包括：

将所述至少一个边缘图像块分别输入至所述边缘信息控制网络，在所述边缘信息控制网络提取输入的边缘图像块的边缘特征后，由所述扩散模型基于所述边缘特征分别生成与所述至少一个待修复图像块对应的至少一个修复图像块。

6.根据权利要求5所述的方法，所述扩散模型连接有至少两个边缘信息控制网络；

所述对放大处理后的所述至少一个待修复图像块分别进行边缘检测，并从检测到的所述至少一个待修复图像块的边缘信息中分别去除与面部特征对应的边缘信息，得到与所述至少一个待修复图像块分别对应的至少一个边缘图像块，包括：

对放大处理后的所述至少一个待修复图像块分别采用至少两种不同的边缘检测算法进行边缘检测，得到每个放大处理后的待修复图像块的对应于至少两种不同的边缘检测算法的至少两种边缘信息；

将每个放大处理后的待修复图像块的至少两种边缘信息分别去除与面部特征对应的边缘信息，得到每个待修复图像块对应的至少两个边缘图像块；

所述将所述至少一个边缘图像块分别输入至输入至所述边缘信息控制网络，在所述边缘信息控制网络提取输入的边缘图像块的边缘特征后，由所述扩散模型基于所述边缘特征分别生成与所述至少一个待修复图像块对应的至少一个修复图像块，包括：

将每个待修复图像块对应的至少两个边缘图像块分别输入至所述至少两个边缘信息控制网络，在每个边缘信息控制网络分别提取输入的边缘图像块的边缘特征后，由所述扩散模型基于每个边缘信息控制网络提取的边缘特征，分别生成与所述至少一个待修复图像块对应的至少一个修复图像块。

7.根据权利要求6所述的方法，所述至少两种不同的边缘检测算法，包括：OpenCV中的Canny算子和Holistically-Nested Edge Detection算法。

8.一种图像生成装置，所述装置包括：

第一图像生成模块，获取用户输入的包含至少一个面部的原始图像和提示文本，并将所述原始图像和提示文本输入至第一图像生成模型，由所述第一图像生成模型将所述原始图像转换为符合所述提示文本描述的图像风格的风格图像；

裁切模块，识别所述风格图像中的至少一个面部区域，从所述风格图像中裁切出包含所述面部区域的至少一个待修复图像块，并按照预设比例分别对所述至少一个待修复图像块进行放大处理；

边缘处理模块，对放大处理后的所述至少一个待修复图像块分别进行边缘检测，并从检测到的所述至少一个待修复图像块的边缘信息中分别去除与面部特征对应的边缘信息，得到与所述至少一个待修复图像块分别对应的至少一个边缘图像块；

第二图像生成模块，将所述至少一个边缘图像块分别输入至第二图像生成模型，由所述第二图像生成模型分别生成与所述至少一个待修复图像块对应的至少一个修复图像块；其中，所述修复图像块包含所述第二图像生成模型重构的面部特征；

替换模块，将所述至少一个修复图像块分别按照所述预设比例进行缩小处理，并将所述风格图像中包含的与所述至少一个待修复图像块对应的面部区域，分别替换为与缩小处理后的所述至少一个修复图像块对应的面部区域。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1至7任一所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一所述方法的步骤。