CN117853513A - 一种图像处理方法、装置、电子设备和计算机存储介质 - Google Patents

Abstract

本申请公开一种图像处理方法、装置、电子设备和计算机存储介质，所述方法包括：获得待处理图像，并确定所述待处理图像对应的延展区域；获得所述待处理图像中与所述延展区域邻接的边缘图像；将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像；针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像；根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。所述图像处理方法提高了图像延展效果的可控性。

Description

一种图像处理方法、装置、电子设备和计算机存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种图像处理方法、装置、电子设备和计算机存储介质。

背景技术

随着科技的发展，图像处理技术的应用也越来越广泛。在对图像进行处理时，根据图像使用的场景需求不同，对图像的尺寸需求也不相同。比如，根据图像使用的场景需求，需要将原来正方形的图像调整为长方形图像，或者，在原始图像的左侧延展一定区域用于添加新的元素。

因此，针对上述场景中图像尺寸的调整需求，如何提供一种有效的图像处理方法是目前亟需解决的问题。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备和计算机存储介质，所述图像处理方法提高了图像延展的可控性。

本申请实施例提供一种图像处理方法，包括：获得待处理图像，并确定所述待处理图像对应的延展区域；获得所述待处理图像中与所述延展区域邻接的边缘图像；将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像；针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像；根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

可选的，所述确定所述待处理图像对应的延展区域，包括：获得所述延展区域的尺寸数据；

所述获得所述待处理图像中与所述延展区域邻接的边缘图像，包括：

在所述待处理图像中，从与所述延展区域邻接的区域中获得与所述延展区域尺寸相同的图像，作为与所述延展区域邻接的边缘图像。

可选的，所述将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像，包括：

针对所述延展区域中的任意一个待处理像素点，获得所述任意一个待处理像素点在所述延展区域中的位置数据；

从所述边缘图像中查找与所述待处理像素点位置相同的像素点，作为选定像素点，其中，所述选定像素点在所述边缘图像中的位置与所述任意一个待处理像素点在所述延展区域中的位置相同；

获得所述选定像素点的像素值；

将所述任意一个待处理像素点的像素值设置为所述选定像素点的像素值；

在设置完所述延展区域中的所有待处理像素点的像素值后，获得所述延展区域的初始图像。

可选的，所述将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像，包括：

获得所述边缘图像的主像素值，所述边缘图像的主像素值为在所述边缘图像中满足预设数量条件并具有相同像素值的像素点所具有的像素值；

将所述延展区域中的所有待处理像素点的像素值设置为所述边缘图像的主像素值；

在将所述延展区域中的所有待处理像素点的像素值设置为所述边缘图像的主像素值后，获得所述延展区域的初始图像。

可选的，所述获得所述待处理图像中与所述延展区域邻接的边缘图像，包括：

在所述待处理图像中，从与所述延展区域邻接的区域中获得主像素值，所述与所述延展区域邻接的区域中的主像素值为在所述与所述延展区域邻接的区域中满足预设数量条件并具有相同像素值的像素点所具有的像素值；

根据所述与所述延展区域邻接的区域中的主像素值生成与所述延展区域的尺寸相同的边缘图像。

可选的，还包括：

在所述待处理图像中确定过渡区域，所述过渡区域为所述待处理图像中与所述延展区域邻接的预设尺寸区域；

从所述待处理图像中获得所述过渡区域的初始图像；

针对所述过渡区域的初始图像，利用图像生成模型，获得所述过渡区域的生成图像；

所述根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像，包括：根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

可选的，所述针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像，并且，所述针对所述过渡区域的初始图像，利用图像生成模型，获得所述过渡区域的生成图像，包括：

将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的初始图像以及所述延展区域的初始图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第一初始图像，作为延展第一初始图像；

利用向量编码器对所述延展第一初始图像进行编码，生成延展第一初始图像向量；

获得噪声向量；

根据所述延展第一初始图像向量和所述噪声向量，生成延展第一初始图像加噪向量；

利用图像生成模型对所述延展第一初始图像加噪向量进行解码，获得延展生成图像；

从所述延展生成图像中获得所述过渡区域的生成图像和所述延展区域的目标图像。

可选的，还包括：

将所述过渡区域的像素值和所述延展区域的像素值设置为第一像素值，获得所述过渡区域的第一像素值图像和所述延展区域的第一像素值图像；将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的第一像素值图像以及所述延展区域的第一像素值图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第二初始图像，作为延展第二初始图像；利用向量编码器对所述延展第二初始图像进行编码，生成延展第二初始图像向量；

将所述待处理图像中除所述过渡区域之外的区域中的像素值设置为第一像素值，获得所述待处理图像中除所述过渡区域之外的第一像素值图像，将所述过渡区域的像素值和所述延展区域的像素值设置为第二像素值，获得所述过渡区域的第二像素值图像和所述延展区域的第二像素值图像；将所述待处理图像中除所述过渡区域之外的第一像素值图像、所述过渡区域的第二像素值图像和所述延展区域的第二像素值图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第三初始图像，作为延展第三初始图像；利用向量编码器对所述延展第三初始图像进行编码，生成延展第三初始图像向量；

所述利用图像生成模型对所述延展第一初始图像加噪向量进行解码，获得延展生成图像，包括：将所述延展第一初始图像加噪向量、所述延展第二初始图像向量和所述延展第三初始图像向量输入到图像生成模型中进行解码处理，获得所述延展生成图像。

可选的，所述根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像，包括：

将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像、所述延展区域的目标图像进行拼接处理，获得针对所述待处理图像进行延展处理后的目标图像。

可选的，所述根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像，包括：

将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得所述过渡区域的融合图像；

将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像、所述延展区域的目标图像进行拼接处理，获得针对所述待处理图像进行延展处理后的目标图像。

本申请实施例还提供一种图像处理方法，包括：获得待处理图像，确定所述待处理图像对应的延展区域，并在所述待处理图像中确定过渡区域，所述过渡区域为所述待处理图像中与所述延展区域邻接的预设尺寸区域；获得所述延展区域的初始图像，并获得所述过渡区域的初始图像；针对所述延展区域的初始图像和所述过渡区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像和所述过渡区域的生成图像；将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得所述过渡区域的融合图像；根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

可选的，所述针对所述延展区域的初始图像和所述过渡区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像和所述过渡区域的生成图像，包括：

将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的初始图像以及所述延展区域的初始图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第一初始图像，作为延展第一初始图像；

利用向量编码器对所述延展第一初始图像进行编码，生成延展第一初始图像向量；

获得噪声向量；

根据所述延展第一初始图像向量和所述噪声向量，生成延展第一初始图像加噪向量；

利用图像生成模型对所述延展第一初始图像加噪向量进行解码，获得延展生成图像；

从所述延展生成图像中获得所述过渡区域的生成图像和所述延展区域的目标图像。

可选的，还包括：

将所述过渡区域的像素值和所述延展区域的像素值设置为第一像素值，获得所述过渡区域的第一像素值图像和所述延展区域的第一像素值图像；将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的第一像素值图像以及所述延展区域的第一像素值图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第二初始图像，作为延展第二初始图像；利用向量编码器对所述延展第二初始图像进行编码，生成延展第二初始图像向量；

将所述待处理图像中除所述过渡区域之外的区域中的像素值设置为第一像素值，获得所述待处理图像中除所述过渡区域之外的第一像素值图像，将所述过渡区域的像素值和所述延展区域的像素值设置为第二像素值，获得所述过渡区域的第二像素值图像和所述延展区域的第二像素值图像；将所述待处理图像中除所述过渡区域之外的第一像素值图像、所述过渡区域的第二像素值图像和所述延展区域的第二像素值图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第三初始图像，作为延展第三初始图像；利用向量编码器对所述延展第三初始图像进行编码，生成延展第三初始图像向量；

所述利用图像生成模型对所述延展第一初始图像加噪向量进行解码，获得延展生成图像，包括：将所述延展第一初始图像加噪向量、所述延展第二初始图像向量和所述延展第三初始图像向量输入到图像生成模型中进行解码处理，获得所述延展生成图像。

可选的，所述根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像，包括：

将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像、所述延展区域的目标图像进行拼接处理，获得针对所述待处理图像进行延展处理后的目标图像。

可选的，还包括：

获得过渡区域的图像距离所述待处理图像的延展边界的预设距离参数值；

所述将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得所述过渡区域的融合图像，包括：

根据所述过渡区域的初始图像、所述过渡区域的生成图像以及所述预设距离参数值，获得过渡区域的融合图像。

可选的，采用如下公式获得过渡区域的融合图像：

pixel_merge＝α×pixel_generate+(1-α)×pixel_origin

其中，α为过渡区域的图像距离所述待处理图像的延展边界的预设距离参数值，所述延展边界为过渡区域与延展区域的邻接处，pixel_generate为过渡区域的生成图像，pixel_origin为过渡区域的初始图像，pixel_merge为过渡区域的融合图像。

可选的，所述获得所述过渡区域的初始图像，包括：

从所述待处理图像中获得所述过渡区域的初始图像。

可选的，所述获得所述延展区域的初始图像，包括：

获得所述待处理图像中与所述延展区域邻接的边缘图像；

将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像。

可选的，所述确定所述待处理图像对应的延展区域，包括：获得所述延展区域的尺寸数据；

所述获得所述待处理图像中与所述延展区域邻接的边缘图像，包括：

在所述待处理图像中，从与所述延展区域邻接的区域中获得与所述延展区域尺寸相同的图像，作为与所述延展区域邻接的边缘图像。

可选的，所述将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像，包括：

针对所述延展区域中的任意一个待处理像素点，获得所述任意一个待处理像素点在所述延展区域中的位置数据；

从所述边缘图像中查找与所述待处理像素点位置相同的像素点，作为选定像素点，其中，所述选定像素点在所述边缘图像中的位置与所述任意一个待处理像素点在所述延展区域中的位置相同；

获得所述选定像素点的像素值；

将所述任意一个待处理像素点的像素值设置为所述选定像素点的像素值；

在设置完所述延展区域中的所有待处理像素点的像素值后，获得所述延展区域的初始图像。

可选的，所述将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像，包括：

获得所述边缘图像的主像素值，所述边缘图像的主像素值为在所述边缘图像中满足预设数量条件并具有相同像素值的像素点所具有的像素值；

将所述延展区域中的所有待处理像素点的像素值设置为所述边缘图像的主像素值；

在将所述延展区域中的所有待处理像素点的像素值设置为所述边缘图像的主像素值后，获得所述延展区域的初始图像。

可选的，所述获得所述待处理图像中与所述延展区域邻接的边缘图像，包括：

在所述待处理图像中，从与所述延展区域邻接的区域中获得主像素值，所述与所述延展区域邻接的区域中的主像素值为在所述与所述延展区域邻接的区域中满足预设数量条件并具有相同像素值的像素点所具有的像素值；

根据所述与所述延展区域邻接的区域中的主像素值生成与所述延展区域的尺寸相同的边缘图像。

本申请实施例还提供一种图像处理装置，包括：待处理图像获得单元，用于获得待处理图像，并确定所述待处理图像对应的延展区域；边缘图像获得单元，用于获得所述待处理图像中与所述延展区域邻接的边缘图像；初始图像获得单元，用于将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像；目标图像获得单元，用于针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像；延展处理后目标图像获得单元，用于根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

本申请实施例还提供一种图像处理装置，包括：确定单元，用于获得待处理图像，确定所述待处理图像对应的延展区域，并在所述待处理图像中确定过渡区域，所述过渡区域为所述待处理图像中与所述延展区域邻接的预设尺寸区域；第一获得单元，用于获得所述延展区域的初始图像，并获得所述过渡区域的初始图像；第二获得单元，用于针对所述延展区域的初始图像和所述过渡区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像和所述过渡区域的生成图像；融合图像获得单元，用于将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得所述过渡区域的融合图像；第三获得单元，用于根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像和所述过渡区域的生成图像，获得针对所述待处理图像进行延展处理后的目标图像。

本申请还提供一种电子设备，所述电子设备包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器运行所述计算机程序后，执行上述方法。

本申请还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器运行后，执行上述方法。

与现有技术相比，本申请实施例具有以下优点：

本申请实施例提供一种图像处理方法，所述方法包括：获得待处理图像，并确定所述待处理图像对应的延展区域；获得所述待处理图像中与所述延展区域邻接的边缘图像；将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像；针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像；根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

本申请实施例所述图像处理方法通过将待处理图像的边缘图像填充到延展区域，获得延展区域的初始图像，然后利用图像生成模型，获得延展区域的目标图像，最终根据待处理图像与延展区域的目标图像获得延展处理后的图像，因此，所述图像处理方法提高了图像延展效果的可控性。

附图说明

图1a是本申请第一实施例提供的一种图像处理方法的应用场景示意图；

图1b是在图像延展区域生成新图案的示意图；

图1c是在图像延展区域生成新实体的示意图；

图2a是本申请第一实施例提供的一种图像处理方法的整体流程图；

图2b是本申请第一实施例提供的一种图像处理方法的前处理阶段流程图；

图2c是本申请第一实施例提供的一种图像处理方法的后处理阶段流程图；

图3是本申请第一实施例提供的一种图像处理方法的流程图；

图4是本申请第一实施例提供的一种图像处理方法中不同方式生成初始latent的对比示意图；

图5是本申请第二实施例提供的一种图像处理方法的流程图；

图6a是未采用融合处理所生成的图像示意图；

图6b是采用融合处理所生成的图像示意图；

图7是本申请第三实施例提供的一种图像处理装置的示意图；

图8是本申请第四实施例提供的一种图像处理装置的示意图；

图9是本申请第五实施例提供的一种电子设备示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

首先，为了使本领域的技术人员更好的理解本申请方案，下面基于本申请提供的一种图像处理方法，对其实施例的具体应用场景进行详细描述。如图1a所示，其为本申请第一实施例提供的一种图像处理方法的应用场景示意图。

在介绍本申请第一实施例提供的一种图像处理方法的应用场景之前，首先对该图像处理方法的背景技术进行简单的介绍，以图像广告设计行业为例，比如，根据展位需求，需要将原来的正方形图片变为长方形图片，或者，根据场景需求，需要在原来图片的左侧延展出一块区域用来添加元素。在上述场景中，如果能直接修改图像尺寸的长宽比，则会极大的提高图像的利用率。现有调整图像尺寸的方案中，一种方案是是直接拉伸图片，通过拉伸图片达到目标的图片尺寸，但是上述直接拉伸图片的方式容易造成图像变形；一种方案是通过裁剪原图像修改图像分辨率，具体操作是，通过定位图片中商品主体，裁剪掉与商品主体无关的背景，从而达到调整分辨率的效果。该方法的优点是不需要额外生成内容，缺点是当商品主体较大时，无法仅通过裁剪背景达到目标的宽高比；另一种方案是使用开源的Stable Diffusion(扩散模型)模型进行延展，该方法的缺点是对图像延展的控制能力较弱，容易在延展区域生成新图案或者新实体。请参见图1b和图1c，图1b是图像延展后，在图像的延展区域生成了新图案，图1c是图像延展后，在图像的延展区域生成了新实体。还有一种方案是，通过收集数据对Stable Diffusion模型进行微调，但是该方案的缺点是需要收集数据，且需要消耗硬件设备重新训练模型。

基于上述问题，本申请实施例提出了一种图像处理方法，通过采用对图像进行延展的方式，不会裁剪原图像内容，保留了原图像的信息；另外，本申请实施例所述图像处理方法通过采用复制原图像扩展区域附近的图像填充生成初始latent，解决了原StableDiffusion模型生成时容易生成新图案、新实体的问题；并且，本申请实施例所述图像处理方法不需要收集训练数据，应用成本低。

在具体实施过程中，本申请实施例所述图像处理方法，实际上是一种针对待处理图像进行延展的方法，请参考图1a，以图像延展区域为右侧为例，图中103区域为图像的延展区域，在确定所述待处理图像对应的延展区域后，还需要获得所述待处理图像中与所述延展区域邻接的边缘图像，所述边缘图像是待处理图像中与所述延展区域邻接的区域中获得与所述延展区域尺寸相同的图像，具体实施时，需要将所述边缘图像填充到所述延展区域中，生成所述延展区域的初始图像，然后，针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像，最后，将待处理图像与所述延展区域的目标图像进行拼接，即可获得针对所述待处理图像进行延展处理后的目标图像。

需要说明的是，所述待处理图像与所述延展区域拼接后会有过渡痕迹，为了消除过渡痕迹，还需要在所述待处理图像中设置过渡区域，所述过渡区域为所述待处理图像中与所述延展区域邻接的预设尺寸区域，请继续参见图1a，图中102区域为过渡区域，所述过渡区域属于待处理图像的一部分，并且过渡区域的边缘与延展区域邻接。具体实施时，还需要从所述待处理图像中获得所述过渡区域的初始图像，针对所述过渡区域的初始图像，利用图像生成模型，获得所述过渡区域的生成图像。通过将过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得过渡区域的融合图像，然后将所述待处理图像中除所述过渡区域之外(图1a中101区域)的图像、所述过渡区域(图1a中102区域)的融合图像、所述延展区域(图1a中103区域)的目标图像进行拼接处理，最终获得针对所述待处理图像进行延展处理后的目标图像。

以下结合图2a、图2b、图2c对上述图像处理方法进行详细说明。

请参见图2a，图2a是本申请第一实施例提供的一种图像处理方法的整体流程图，步骤S201：输入待延展图片，即获得待处理图片，所述待处理图片为待延展的图片；步骤S202：前处理阶段，该阶段请参见图2b，图2b是本申请第一实施例提供的一种图像处理方法的前处理阶段流程图，具体包括如下流程：输入待延展图片后，执行步骤S202-1：计算延展和过渡区域，该步骤用于确定待处理图像的延展区域和过渡区域，以待处理图像的延展区域为右侧为例，根据待处理图像的原始尺寸数据以及目标尺寸数据，确定待处理图像的延展区域的尺寸数据。所述过渡区域是所述待处理图像中与所述延展区域邻接的预设尺寸区域。获得延展区域和过渡区域后，执行步骤S202-2：填充延展区域，具体实施时，是获得所述待处理图像中与所述延展区域邻接的边缘图像，将所述边缘图像填充到所述延展区域中，生成延展区域的初始图像，也就是，从延展区域边缘裁剪与延展区域相同宽度的图片，作为边缘图像，将边缘图像填充到所述延展区域中。在所述待处理图像中确定过渡区域后，从所述待处理图像中获得所述过渡区域的初始图像，获得延展区域和过渡区域的初始图像之后，利用Stable Diffusion(扩散模型)图像生成模型，获得所述过渡区域的生成图像以及延展区域的目标图像。

具体实施时，执行步骤S202-3：利用向量编码器VAE Encoding(VariationalAuto-Encoder，变分自编码器)对图像进行编码，VAE Encoding可以将图像编码成一个嵌入向量。步骤S202-4：生成延展第一初始图像加噪向量(初始latent)。其中，Latent为图像的隐分布空间，自然图像经过Stable Diffusion的编码过程后可以被映射到一个正态分布的隐空间。具体的，将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的初始图像以及所述延展区域的初始图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第一初始图像，作为延展第一初始图像，利用向量编码器VAE Encoding对所述延展第一初始图像进行编码，生成延展第一初始图像向量；获得噪声向量；根据所述延展第一初始图像向量和所述噪声向量，生成延展第一初始图像加噪向量(初始latent)。步骤S202-5：将所述过渡区域和所述延展区域用0像素值填充，生成延展第二初始图像，利用向量编码器VAEEncoding对所述延展第二初始图像进行编码，生成延展第二初始图像向量(masked imageembedding)。步骤S202-6：将所述待处理图像中除所述过渡区域之外的区域用0像素值填充，将所述过渡区域和所述延展区域用1像素值填充，生成延展第三初始图像(mask)。以上是图像前处理阶段，待处理图像经过前处理阶段最终生成延展第一初始图像加噪向量(初始latent)、延展第二初始图像向量(masked image embedding)以及延展第三初始图像(mask)，然后，执行步骤S203：利用Stable Diffusion图像生成模型针对上述图像向量进行解码处理，具体的，将所述延展第一初始图像加噪向量、所述延展第二初始图像向量和所述延展第三初始图像向量输入到图像生成模型中进行解码处理，获得所述延展生成图像。获得延展生成图像后，执行步骤S204：后处理阶段，该阶段是针对过渡区域的原始图像与过渡区域的生成图像进行融合的过程，具体请参见图2c，图2c是本申请第一实施例提供的一种图像处理方法的后处理阶段流程图，步骤S204-1：融合，是指将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理；步骤S204-2：获得过渡区域融合图像；需要说明的是，此处之所以设置过渡区域是因为待处理图像与延展区域拼接后会有过渡痕迹，为了消除过渡痕迹，需要在过渡区域将过渡区域的原始图像与过渡区域的生成图像进行融合处理，以消除过渡痕迹。步骤S204-3：拼接，是指将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像、所述延展区域的目标图像进行拼接处理；步骤S204-4：获得针对所述待处理图像进行延展处理后的目标图像，也就是步骤S205：获得延展处理后的图像。

以上便是对图像处理方法的全过程分析，通过获得待处理图像，并确定所述待处理图像对应的延展区域；获得所述待处理图像中与所述延展区域邻接的边缘图像；将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像；针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像；根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

本申请实施例所述图像处理方法通过将待处理图像的边缘图像填充到延展区域，获得延展区域的初始图像，然后利用图像生成模型，获得延展区域的目标图像，最终根据待处理图像与延展区域的目标图像获得延展处理后的图像，因此，所述图像处理方法提高了图像延展效果的可控性。

以下通过多个实施例和附图对本申请进行详细说明。

第一实施例

本申请第一实施例提供一种图像处理方法，以下结合图3对该图像处理方法进行详细说明，图3是本申请第一实施例提供的一种图像处理方法的流程图。

步骤S301：获得待处理图像，并确定所述待处理图像对应的延展区域。

本步骤用于获得待处理图像以及确定所述待处理图像对应的延展区域。

在本申请实施例中，所述待处理图像是需要增加延展区域的图像，在获得所述待处理图像之后，需要确定所述待处理图像对应的延展区域。所述确定所述待处理图像对应的延展区域，包括：获得所述延展区域的尺寸数据。具体的，所述获得所述延展区域的尺寸数据包括：获得所述待处理图像的原始尺寸数据；获得所述待处理图像的目标尺寸数据，根据所述待处理图像的目标尺寸数据以及所述待处理图像的原始尺寸数据，获得所述延展区域的尺寸数据。比如，请继续参见图1a，图1a中，所述待处理图像的原始尺寸数据是：图像高度为500像素，图像宽度为500像素，即500×500，所述待处理图像的目标尺寸数据是：图像高度为500像素，图像宽度为700像素，即500×700，因此，所述待处理图像对应的延展区域的尺寸数据是：图像高度为500像素，图像宽度为200像素(为了描述方便，以延展区域尺寸为200像素进行介绍)，并且图像的延展方向向右，则需要延展的区域为右侧，即图1a中103区域。当然，也可以根据待处理图像的目标长宽比计算需要延展的区域和尺寸。

步骤S302：获得所述待处理图像中与所述延展区域邻接的边缘图像。

本步骤用于获得所述待处理图像中与所述延展区域邻接的边缘图像。

所述边缘图像属于待处理图像的一部分，并且，所述边缘图像是待处理图像中与所述延展区域邻接的图像。具体实施时，所述获得所述待处理图像中与所述延展区域邻接的边缘图像，包括：在所述待处理图像中，从与所述延展区域邻接的区域中获得与所述延展区域尺寸相同的图像，作为与所述延展区域邻接的边缘图像。

需要说明的是，所述边缘图像的尺寸数据与所述延展区域的尺寸数据相同，并且，所述边缘图像是在所述待处理图像中，从与所述延展区域邻接的区域中获得的，具体是从延展区域边缘裁剪与延展区域相同宽度的图片。比如，上述获得延展区域的尺寸为200像素，延展区域为右侧，在获取边缘图像时，是在待处理图像的右侧从与所述延展区域邻接的区域中裁剪200像素，作为边缘图像。

步骤S303：将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像。

本步骤用于将上述获得的边缘图像填充到所述延展区域中，获得所述延展区域的初始图像。

具体实施时，所述将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像，包括：针对所述延展区域中的任意一个待处理像素点，获得所述任意一个待处理像素点在所述延展区域中的位置数据；从所述边缘图像中查找与所述待处理像素点位置相同的像素点，作为选定像素点，其中，所述选定像素点在所述边缘图像中的位置与所述任意一个待处理像素点在所述延展区域中的位置相同；获得所述选定像素点的像素值；将所述任意一个待处理像素点的像素值设置为所述选定像素点的像素值；在设置完所述延展区域中的所有待处理像素点的像素值后，获得所述延展区域的初始图像。

所述将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像，包括：获得所述边缘图像的主像素值，所述边缘图像的主像素值为在所述边缘图像中满足预设数量条件并具有相同像素值的像素点所具有的像素值；将所述延展区域中的所有待处理像素点的像素值设置为所述边缘图像的主像素值；在将所述延展区域中的所有待处理像素点的像素值设置为所述边缘图像的主像素值后，获得所述延展区域的初始图像。

所述获得所述待处理图像中与所述延展区域邻接的边缘图像，包括：在所述待处理图像中，从与所述延展区域邻接的区域中获得主像素值，所述与所述延展区域邻接的区域中的主像素值为在所述与所述延展区域邻接的区域中满足预设数量条件并具有相同像素值的像素点所具有的像素值；根据所述与所述延展区域邻接的区域中的主像素值生成与所述延展区域的尺寸相同的边缘图像。

步骤S304：针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像。

本步骤用于根据所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像。

在本申请实施例中，所述图像生成模型可以是Stable Diffusion(扩散模型)，该模型采用的是一种先进的图像生成算法，由编码过程和解码过程组成，编码过程可以将图像映射到正态分布的隐空间，而解码过程可以将从隐空间抽样出来的向量还原回图像。具体实施时，针对图像进行编码时，可以采用向量编码器，具体可以是VAE Encoding(Variational Auto-Encoder，变分自编码器)，所述向量编码器可以将图像编码成一个嵌入向量。

具体实施时，还需要在所述待处理图像中确定过渡区域，所述过渡区域为所述待处理图像中与所述延展区域邻接的预设尺寸区域，请继续参见图1a，图中102区域为过渡区域，所述过渡区域属于待处理图像的一部分，并且过渡区域的边缘与延展区域邻接。需要说明的是，此处之所以设置过渡区域是因为待处理图像与延展区域拼接后会有过渡痕迹，为了消除过渡痕迹，需要在过渡区域将过渡区域的原始图像与过渡区域的生成图像进行融合处理，以消除过渡痕迹，此部分内容后续会进行详细介绍，此处不再详述。

在本申请实施例中，还需要获得所述过渡区域的初始图像，具体的，所述获得所述过渡区域的初始图像是从所述待处理图像中获得所述过渡区域的初始图像。然后，针对所述过渡区域的初始图像，利用图像生成模型，获得所述过渡区域的生成图像。

所述针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像，并且，所述针对所述过渡区域的初始图像，利用图像生成模型，获得所述过渡区域的生成图像，包括：将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的初始图像以及所述延展区域的初始图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第一初始图像，作为延展第一初始图像；利用向量编码器对所述延展第一初始图像进行编码，生成延展第一初始图像向量；获得噪声向量；根据所述延展第一初始图像向量和所述噪声向量，生成延展第一初始图像加噪向量；利用图像生成模型对所述延展第一初始图像加噪向量进行解码，获得延展生成图像；从所述延展生成图像中获得所述过渡区域的生成图像和所述延展区域的目标图像。

需要说明的是，在获得所述过渡区域的生成图像和所述延展区域的目标图像时，需要先获得延展生成图像，然后从所述延展生成图像中获得所述过渡区域的生成图像和所述延展区域的目标图像。在获得延展图像时，需要先将所述待处理图像中除所述过渡区域之外(图1a中101区域)的图像、所述过渡区域(图1a中102区域)的初始图像以及所述延展区域(图1a中103区域)的初始图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第一初始图像，作为延展第一初始图像；利用VAE Encoding向量编码器对所述延展第一初始图像进行编码，生成延展第一初始图像向量；然后获得噪声向量，根据所述延展第一初始图像向量和所述噪声向量，生成延展第一初始图像加噪向量(即初始latent)，其中，Latent为图像的隐分布空间，自然图像经过Stable Diffusion的编码过程后可以被映射到一个正态分布的隐空间。上述生成初始latent之后，利用Stable Diffusion扩散模型对初始latent进行解码，即可获得延展生成图像。

在本申请实施例中，在利用图像生成模型对所述延展第一初始图像加噪向量进行解码，获得延展生成图像时，还需要获得延展第二初始图像向量(masked imageembedding)和延展第三初始图像向量(mask)。具体的，将所述过渡区域的像素值和所述延展区域的像素值设置为第一像素值，获得所述过渡区域的第一像素值图像和所述延展区域的第一像素值图像；将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的第一像素值图像以及所述延展区域的第一像素值图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第二初始图像，作为延展第二初始图像；利用向量编码器对所述延展第二初始图像进行编码，生成延展第二初始图像向量。将所述待处理图像中除所述过渡区域之外的区域中的像素值设置为第一像素值，获得所述待处理图像中除所述过渡区域之外的第一像素值图像，将所述过渡区域的像素值和所述延展区域的像素值设置为第二像素值，获得所述过渡区域的第二像素值图像和所述延展区域的第二像素值图像；将所述待处理图像中除所述过渡区域之外的第一像素值图像、所述过渡区域的第二像素值图像和所述延展区域的第二像素值图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第三初始图像，作为延展第三初始图像；利用向量编码器对所述延展第三初始图像进行编码，生成延展第三初始图像向量。

需要说明的是，在获得延展第二初始图像向量(masked image embedding)时，需要将所述过渡区域的像素值和所述延展区域的像素值设置为第一像素值，即将过渡区域和延展区域用0像素值填充，将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域以及所述延展区域用0像素值填充后生成的图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第二初始图像，作为延展第二初始图像，然后使用VAE Encoding编码，得到延展第二初始图像向量，即图像的embedding。其中，Embedding为嵌入向量，是对一张图片或者一个单词的信息压缩，用以与神经网络的交互。

在获得延展第三初始图像向量(mask)时，需要将所述待处理图像中除所述过渡区域之外的区域中的像素值设置为第一像素值，比如，所述待处理图像中除所述过渡区域之外的区域(图1a中101区域)用0像素值填充，将所述过渡区域的像素值和所述延展区域的像素值设置为第二像素值，比如，所述过渡区域(图1a中102区域)和所述延展区域(图1a中103区域)用1像素值填充，将所述待处理图像中除所述过渡区域之外的区域用0像素值填充后生成的图像、所述过渡区域和所述延展区域用1像素值填充后生成的图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第三初始图像，作为延展第三初始图像，然后使用VAE Encoding编码，得到延展第三初始图像向量，即mask。

在本申请实施例中，所述利用图像生成模型对所述延展第一初始图像加噪向量进行解码，获得延展生成图像，包括：将所述延展第一初始图像加噪向量、所述延展第二初始图像向量和所述延展第三初始图像向量输入到图像生成模型中进行解码处理，获得所述延展生成图像。

需要说明的是，通常生成初始latent的方式为随机生成，请参见图4，图4是本申请第一实施例提供的一种图像处理方法中不同方式生成初始latent的对比示意图，图4中左边流程为随机生成latent，右边流程为提取图像边缘图像，填充到延展区域，再使用VAEEncoding和加噪生成初始latent。随机生成latent可以带来较大的生成范围，但是同时也具有不可控制的缺点，针对仅需要扩展图像尺寸，而不修改图像内容的场景下，可能会导致生成图像中存在较多不可用的图像。本申请实施例中，通过提取待处理图像的边缘图像，将所述边缘图像填充到所述延展区域中，之所以使用边缘图像填充到延展区域，主要是利用了相似图像在latent空间表示也相似的原理，引导图像生成模型生成与原图像边缘类似的内容，从而控制减少其它实体的产生，提高了图像延展的可控性。

步骤S305：根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

本步骤用于根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

在本申请实施例中，所述根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像，包括：根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。所述根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像，包括：将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像、所述延展区域的目标图像进行拼接处理，获得针对所述待处理图像进行延展处理后的目标图像。

需要说明的是，上述针对所述待处理图像进行延展处理后的目标图像是将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像、所述延展区域的目标图像三个区域的图像进行拼接获得的。具体实施时，还需要将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得所述过渡区域的融合图像。所述根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像，包括：将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得所述过渡区域的融合图像；将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像、所述延展区域的目标图像进行拼接处理，获得针对所述待处理图像进行延展处理后的目标图像。因此，本申请实施例中，通过将过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得过渡区域的融合图像，然后将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像、所述延展区域的目标图像进行拼接处理，获得针对所述待处理图像进行延展处理后的目标图像，此时，最终获得的延展处理后的目标图像能够消除过渡痕迹，提高了图像的延展效果。

本申请实施例提供一种图像处理方法，包括：获得待处理图像，并确定所述待处理图像对应的延展区域；获得所述待处理图像中与所述延展区域邻接的边缘图像；将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像；针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像；根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

本申请实施例所述图像处理方法通过将待处理图像的边缘图像填充到延展区域，获得延展区域的初始图像，然后利用图像生成模型，获得延展区域的目标图像，最终根据待处理图像与延展区域的目标图像获得延展处理后的图像，因此，所述图像处理方法提高了图像延展效果的可控性。

第二实施例

在上述第一实施例中，提供了一种图像处理方法，与之相对应的，本申请第二实施例提供一种图像处理方法，本实施例与第一实施例内容相同的部分不再赘述，请参见第一实施例中的相应部分。

请参照图5，为本申请第二实施例提供的一种图像处理方法的流程图。

步骤S501：获得待处理图像，确定所述待处理图像对应的延展区域，并在所述待处理图像中确定过渡区域，所述过渡区域为所述待处理图像中与所述延展区域邻接的预设尺寸区域。

本步骤用于在获得待处理图像后，确定所述待处理图像对应的延展区域，以及在所述待处理图像中确定过渡区域。

步骤S502：获得所述延展区域的初始图像，并获得所述过渡区域的初始图像。

本步骤用于获得所述延展区域的初始图像和所述过渡区域的初始图像。

可选的，所述获得所述过渡区域的初始图像，包括：从所述待处理图像中获得所述过渡区域的初始图像。所述获得所述延展区域的初始图像，包括：获得所述待处理图像中与所述延展区域邻接的边缘图像；将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像。

在本申请实施例中，所述确定所述待处理图像对应的延展区域，包括：获得所述延展区域的尺寸数据；所述获得所述待处理图像中与所述延展区域邻接的边缘图像，包括：在所述待处理图像中，从与所述延展区域邻接的区域中获得与所述延展区域尺寸相同的图像，作为与所述延展区域邻接的边缘图像。

可选的，所述将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像，包括：针对所述延展区域中的任意一个待处理像素点，获得所述任意一个待处理像素点在所述延展区域中的位置数据；从所述边缘图像中查找与所述待处理像素点位置相同的像素点，作为选定像素点，其中，所述选定像素点在所述边缘图像中的位置与所述任意一个待处理像素点在所述延展区域中的位置相同；获得所述选定像素点的像素值；将所述任意一个待处理像素点的像素值设置为所述选定像素点的像素值；在设置完所述延展区域中的所有待处理像素点的像素值后，获得所述延展区域的初始图像。

可选的，所述将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像，包括：获得所述边缘图像的主像素值，所述边缘图像的主像素值为在所述边缘图像中满足预设数量条件并具有相同像素值的像素点所具有的像素值；将所述延展区域中的所有待处理像素点的像素值设置为所述边缘图像的主像素值；在将所述延展区域中的所有待处理像素点的像素值设置为所述边缘图像的主像素值后，获得所述延展区域的初始图像。

可选的，所述获得所述待处理图像中与所述延展区域邻接的边缘图像，包括：在所述待处理图像中，从与所述延展区域邻接的区域中获得主像素值，所述与所述延展区域邻接的区域中的主像素值为在所述与所述延展区域邻接的区域中满足预设数量条件并具有相同像素值的像素点所具有的像素值；根据所述与所述延展区域邻接的区域中的主像素值生成与所述延展区域的尺寸相同的边缘图像。

步骤S503：针对所述延展区域的初始图像和所述过渡区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像和所述过渡区域的生成图像。

本步骤用于利用图像生成模型，获得所述延展区域的目标图像和所述过渡区域的生成图像。

可选的，所述针对所述延展区域的初始图像和所述过渡区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像和所述过渡区域的生成图像，包括：将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的初始图像以及所述延展区域的初始图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第一初始图像，作为延展第一初始图像；利用向量编码器对所述延展第一初始图像进行编码，生成延展第一初始图像向量；获得噪声向量；根据所述延展第一初始图像向量和所述噪声向量，生成延展第一初始图像加噪向量；利用图像生成模型对所述延展第一初始图像加噪向量进行解码，获得延展生成图像；从所述延展生成图像中获得所述过渡区域的生成图像和所述延展区域的目标图像。

可选的，将所述过渡区域的像素值和所述延展区域的像素值设置为第一像素值，获得所述过渡区域的第一像素值图像和所述延展区域的第一像素值图像；将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的第一像素值图像以及所述延展区域的第一像素值图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第二初始图像，作为延展第二初始图像；利用向量编码器对所述延展第二初始图像进行编码，生成延展第二初始图像向量；

可选的，将所述待处理图像中除所述过渡区域之外的区域中的像素值设置为第一像素值，获得所述待处理图像中除所述过渡区域之外的第一像素值图像，将所述过渡区域的像素值和所述延展区域的像素值设置为第二像素值，获得所述过渡区域的第二像素值图像和所述延展区域的第二像素值图像；将所述待处理图像中除所述过渡区域之外的第一像素值图像、所述过渡区域的第二像素值图像和所述延展区域的第二像素值图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第三初始图像，作为延展第三初始图像；利用向量编码器对所述延展第三初始图像进行编码，生成延展第三初始图像向量；

可选的，所述利用图像生成模型对所述延展第一初始图像加噪向量进行解码，获得延展生成图像，包括：将所述延展第一初始图像加噪向量、所述延展第二初始图像向量和所述延展第三初始图像向量输入到图像生成模型中进行解码处理，获得所述延展生成图像。

步骤S504：将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得所述过渡区域的融合图像。

本步骤用于将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得所述过渡区域的融合图像。

在本申请实施例中，在获得所述过渡区域的融合图像时，还需要获得过渡区域的图像距离所述待处理图像的延展边界的预设距离参数值；所述将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得所述过渡区域的融合图像，包括：根据所述过渡区域的初始图像、所述过渡区域的生成图像以及所述预设距离参数值，获得过渡区域的融合图像。需要说明的是，融合处理的作用是保证未延展区域与延展前保持一致，减少原图像与延展区域之间过渡的痕迹。请参见图6a和图6b，图6a是未采用融合处理所生成的图像示意图，图6b是采用融合处理所生成的图像示意图。从图6a和图6b中可以看出，采用融合处理，即在边界处对原图以及生成图做渐变式过渡消除拼接痕迹后生成的图像更加平滑。

具体实施时，采用如下公式获得过渡区域的融合图像：

pixel_merge＝α×pixel_generate+(1-α)×pixel_origin

其中，α为过渡区域的图像距离所述待处理图像的延展边界的预设距离参数值，所述延展边界为过渡区域与延展区域的邻接处，pixel_generate为过渡区域的生成图像，pixel_origin为过渡区域的初始图像，pixel_merge为过渡区域的融合图像。

步骤S505：根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

本步骤用于根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

可选的，所述根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像，包括：将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像、所述延展区域的目标图像进行拼接处理，获得针对所述待处理图像进行延展处理后的目标图像。

需要说明的是，在进行图像延展处理时，为了获得待处理图像的目标尺寸数据，可以采用多次延展的方式，比如针对500×500的待延展图片，目标尺寸是500×900，可以先针对500×500的图片进行延展处理，生成500×700的图片，然后再针对500×700的图片进行延展处理，生成500×900的图片。

第三实施例

在上述第一实施例中，提供了一种图像处理方法，与之相对应的，本申请第三实施例提供了一种图像处理装置。由于装置实施例基本相似于方法第一实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

请参照图7，为本申请第三实施例提供的一种图像处理装置的示意图。

该图像处理装置700包括：待处理图像获得单元701，用于获得待处理图像，并确定所述待处理图像对应的延展区域；边缘图像获得单元702，用于获得所述待处理图像中与所述延展区域邻接的边缘图像；初始图像获得单元703，用于将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像；目标图像获得单元704，用于针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像；延展处理后目标图像获得单元705，用于根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

第四实施例

在上述第二实施例中，提供了一种图像处理方法，与之相对应的，本申请第四实施例提供了一种图像处理装置。由于装置实施例基本相似于方法第二实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

请参照图8，为本申请第四实施例提供的一种图像处理装置的示意图。

该图像处理装置800包括：确定单元801，用于获得待处理图像，确定所述待处理图像对应的延展区域，并在所述待处理图像中确定过渡区域，所述过渡区域为所述待处理图像中与所述延展区域邻接的预设尺寸区域；第一获得单元802，用于获得所述延展区域的初始图像，并获得所述过渡区域的初始图像；第二获得单元803，用于针对所述延展区域的初始图像和所述过渡区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像和所述过渡区域的生成图像；融合图像获得单元804，用于将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得所述过渡区域的融合图像；第三获得单元805，用于根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像和所述过渡区域的生成图像，获得针对所述待处理图像进行延展处理后的目标图像。

第五实施例

与本申请上述方法实施例相对应的，本申请第五实施例还提供一种电子设备。如图9所示，图9为本申请第五实施例中提供的一种电子设备的示意图。该电子设备，包括：至少一个处理器901，至少一个通信接口902，至少一个存储器903和至少一个通信总线904；可选的，通信接口902可以为通信模块的接口，如GSM模块的接口；处理器901可能是处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。存储器903可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。其中，存储器903存储有程序，处理器901调用存储器903所存储的程序，以执行本申请上述实施例中提供的方法。

第六实施例

与本申请上述方法相对应的，本申请第六实施例还提供一种计算机存储介质。所述计算机存储介质存储有计算机程序，该计算机程序被处理器运行，以执行本申请上述实施例中提供的方法。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本申请实施例中可能会涉及到对用户数据的使用，在实际应用中，可以在符合所在国的适用法律法规要求的情况下(例如，用户明确同意，对用户切实通知，等)，在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获得待处理图像，并确定所述待处理图像对应的延展区域；

获得所述待处理图像中与所述延展区域邻接的边缘图像；

将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像；

针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像；

根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述待处理图像对应的延展区域，包括：获得所述延展区域的尺寸数据；

所述获得所述待处理图像中与所述延展区域邻接的边缘图像，包括：

在所述待处理图像中，从与所述延展区域邻接的区域中获得与所述延展区域尺寸相同的图像，作为与所述延展区域邻接的边缘图像。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像，包括：

针对所述延展区域中的任意一个待处理像素点，获得所述任意一个待处理像素点在所述延展区域中的位置数据；

从所述边缘图像中查找与所述待处理像素点位置相同的像素点，作为选定像素点，其中，所述选定像素点在所述边缘图像中的位置与所述任意一个待处理像素点在所述延展区域中的位置相同；

获得所述选定像素点的像素值；

将所述任意一个待处理像素点的像素值设置为所述选定像素点的像素值；

在设置完所述延展区域中的所有待处理像素点的像素值后，获得所述延展区域的初始图像。

4.根据权利要求1或2所述的图像处理方法，其特征在于，所述将所述边缘图像填充到所述延展区域中，获得所述延展区域的初始图像，包括：

获得所述边缘图像的主像素值，所述边缘图像的主像素值为在所述边缘图像中满足预设数量条件并具有相同像素值的像素点所具有的像素值；

将所述延展区域中的所有待处理像素点的像素值设置为所述边缘图像的主像素值；

在将所述延展区域中的所有待处理像素点的像素值设置为所述边缘图像的主像素值后，获得所述延展区域的初始图像。

5.根据权利要求1所述的图像处理方法，其特征在于，还包括：

在所述待处理图像中确定过渡区域，所述过渡区域为所述待处理图像中与所述延展区域邻接的预设尺寸区域；

从所述待处理图像中获得所述过渡区域的初始图像；

针对所述过渡区域的初始图像，利用图像生成模型，获得所述过渡区域的生成图像；

所述根据所述待处理图像与所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像，包括：根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

6.根据权利要求5所述的图像处理方法，其特征在于，所述针对所述延展区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像，并且，所述针对所述过渡区域的初始图像，利用图像生成模型，获得所述过渡区域的生成图像，包括：

将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的初始图像以及所述延展区域的初始图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第一初始图像，作为延展第一初始图像；

利用向量编码器对所述延展第一初始图像进行编码，生成延展第一初始图像向量；

获得噪声向量；

根据所述延展第一初始图像向量和所述噪声向量，生成延展第一初始图像加噪向量；

利用图像生成模型对所述延展第一初始图像加噪向量进行解码，获得延展生成图像；

从所述延展生成图像中获得所述过渡区域的生成图像和所述延展区域的目标图像。

7.根据权利要求5所述的图像处理方法，其特征在于，所述根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像，包括：

将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像、所述延展区域的目标图像进行拼接处理，获得针对所述待处理图像进行延展处理后的目标图像。

8.根据权利要求5所述的图像处理方法，其特征在于，所述根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的生成图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像，包括：

将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得所述过渡区域的融合图像；

将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像、所述延展区域的目标图像进行拼接处理，获得针对所述待处理图像进行延展处理后的目标图像。

9.一种图像处理方法，其特征在于，包括：

获得待处理图像，确定所述待处理图像对应的延展区域，并在所述待处理图像中确定过渡区域，所述过渡区域为所述待处理图像中与所述延展区域邻接的预设尺寸区域；

获得所述延展区域的初始图像，并获得所述过渡区域的初始图像；

针对所述延展区域的初始图像和所述过渡区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像和所述过渡区域的生成图像；

将所述过渡区域的初始图像和所述过渡区域的生成图像进行融合处理，获得所述过渡区域的融合图像；

根据所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的融合图像和所述延展区域的目标图像，获得针对所述待处理图像进行延展处理后的目标图像。

10.根据权利要求9所述的图像处理方法，其特征在于，所述针对所述延展区域的初始图像和所述过渡区域的初始图像，利用图像生成模型，获得所述延展区域的目标图像和所述过渡区域的生成图像，包括：

将所述待处理图像中除所述过渡区域之外的图像、所述过渡区域的初始图像以及所述延展区域的初始图像进行拼接处理，获得针对所述待处理图像进行延展处理后的第一初始图像，作为延展第一初始图像；

利用向量编码器对所述延展第一初始图像进行编码，生成延展第一初始图像向量；

获得噪声向量；

根据所述延展第一初始图像向量和所述噪声向量，生成延展第一初始图像加噪向量；

利用图像生成模型对所述延展第一初始图像加噪向量进行解码，获得延展生成图像；

从所述延展生成图像中获得所述过渡区域的生成图像和所述延展区域的目标图像。