CN117974519A - 一种图像处理方法及相关设备 - Google Patents

Abstract

本申请提供一种图像处理方法及相关设备，其中方法包括对第一图像中的目标图像进行图像校正处理，得到校正图像，确定校正图像与第一图像中的剩余图像之间的图像空缺区域，对图像空缺区域进行内容填充，得到第二图像，确保目标图像达到理想校正效果，且其余图像原有内容结构得到保留，提升图像成像效果。

Description

一种图像处理方法及相关设备

技术领域

本申请涉及终端及通信技术领域，尤其涉及一种图像处理方法及相关设备。

背景技术

当图像中原本合理的物体结构发生了不自然的变形或扭曲时，可以称为图像畸变。

拍照尤其是广角摄像头拍照，处于照片边缘的内容会出现形变，该内容例如为人脸等，需要对其进行校正以确保脸部结构合理。

已有方案采用图像压缩拉伸算法进行图像校正处理，当人脸校正较好时背景线条结构会存在不自然现象，当背景线条结构处理自然时人像会存在形变，导致图像处理的两难情况。

现有方案选择对人脸校正和背景校正进行折中处理，但是结果是人脸及背景均没有校正到位，导致整体成像效果不佳。

发明内容

本申请提供了一种图像处理方法及相关设备，能够对图像进行有效校正，提升图像成像效果。

第一方面，提供了一种图像处理方法，包括：

对第一图像中的目标图像进行图像校正处理，得到校正图像；确定校正图像与第一图像中除目标图像之外的剩余图像之间的图像空缺区域；对图像空缺区域进行内容填充，得到第二图像。

第一图像作为待处理对象，其中包括目标图像及除目标图像之外的剩余图像。

相对于从第一图像中提取出的目标图像，校正处理得到的校正图像会出现形变，那么相应地，校正图像与第一图像中的剩余图像之间将会存在图像空缺区域。

在对图像中的目标图像进行校正后，对剩余图像不采用拉伸、压缩等形变处理，而是采用内容填充的方式补全图像空缺区域，获得完整的处理后图像，确保目标图像达到理想校正效果，且其余图像原有内容结构得到保留，提升图像成像效果。

结合第一方面，在第一方面的某些实现方式中，将第一图像中的前景图像作为目标图像，及将第一图像中除前景图像之外的背景图像作为剩余图像。

其中，前景图像作为拍摄的重点对象，以前景及背景的区分方式从图像中进行内容切分，确保对正常情况下需要进行重点校正调整的图像内容进行有效识别处理。

或者，将第一图像中的边缘图像作为目标图像，及将第一图像中除边缘图像之外的图像作为剩余图像。

其中，边缘图像具体是位于第一图像设定边缘范围内的图像内容，确保对处于图像边缘的重点目标对象进行针对性获取，实现对特定情况下可能存在畸变的图像内容的有效处理。

结合第一方面，在第一方面的某些实现方式中，对第一图像中的目标图像进行图像校正处理，得到校正图像，包括：

对第一图像中的目标图像进行畸变校正处理，得到校正图像。通过对目标图像进行畸变校正处理，得到校正图像，满足图像畸变校正的处理需求及成像效果。

结合第一方面，在第一方面的某些实现方式中，确定校正图像与第一图像中除目标图像之外的剩余图像之间的图像空缺区域，包括：

将校正图像与剩余图像进行拼接，得到拼接图像；将拼接图像与第一图像进行比对，确定拼接图像中校正图像与剩余图像之间的图像空缺区域。

采用图像拼接处理以便于通过合适的方式对校正后的目标内容与其余图像内容进行拼接融合，在此基础上确定出还需要进一步进行内容填充的图像空缺区域，在确保图像中目标内容达到理想校正效果的同时，减少其他部分图像内容的不必要形变，确保整体图像处理效果。

结合第一方面，在第一方面的某些实现方式中，将校正图像与剩余图像进行拼接，得到拼接图像，包括：

确定校正图像相对目标图像的形状改变区域；基于形状改变区域，确定剩余图像中与校正图像的图像重叠区域；将图像重叠区域的像素值赋值为校正图像的像素值，得到拼接图像。

剩余图像中与校正图像的图像重叠区域为需要被校正图像进行挤占的图像区域。

在将校正图像与剩余图像进行拼接时，直接将校正图像中对应区域的像素值对剩余图像中图像重叠区域的像素值进行赋值，保留校正图像的图像内容，抹去剩余图像中图像重叠区域的图像内容，在此基础上以图像重叠区域将校正图像与剩余图像实现交叠式拼接，得到拼接图像，在实现校正图像与剩余图像进行融合的同时，维持校正图像中图像内容在整体图像内容中的合理位置布局关系。

结合第一方面，在第一方面的某些实现方式中，对图像空缺区域进行内容填充，得到第二图像，包括：

基于校正图像及剩余图像，生成填充内容，将填充内容填充至图像空缺区域，得到第二图像。

这样，基于校正图像及剩余图像两者中的图像内容结构生成填充内容，实现对图像空缺区域进行内容填充，有效地根据已有图像的内容结构生成相关（相似或相契合）结构的图像内容在图像空缺区域实施内容填充。

结合第一方面，在第一方面的某些实现方式中，基于校正图像及剩余图像，生成填充内容，将填充内容填充至图像空缺区域，得到第二图像，包括：

在校正图像与剩余图像拼接得到的拼接图像中添加噪声，并对拼接图像进行去噪处理，得到拼接图像中图像空缺区域被填充填充内容后的第二图像。

将由校正图像及剩余图像拼接得到的拼接图像作为处理对象，通过加噪及去噪处理，使得拼接图像中图像空缺区域被填充，得到第二图像，确保图像空缺区域中所填充内容中融入校正图像及剩余图像两者的图像特征，确保图像空缺区域中具有较好的图像填充效果，提升图像整体处理质量。

结合第一方面，在第一方面的某些实现方式中，在校正图像与剩余图像拼接得到的拼接图像中添加噪声，并对拼接图像进行去噪处理，得到拼接图像中图像空缺区域被填充填充内容后的第二图像，包括：

将校正图像与剩余图像拼接得到的拼接图像中添加噪声作为待处理图像；对待处理图像进行去噪处理，得到去噪图像，去噪图像中包含图像空缺区域去噪处理后生成的填充内容，及除图像空缺区域之外的其他图像区域去噪处理后的去噪内容；将去噪图像中的去噪内容替换为目标图像内容，得到更新后图像；目标图像内容为拼接图像中相同图像区域的图像内容添加与迭代步数对应强度的噪声后的图像内容；将更新后图像作为待处理图像，返回执行对待处理图像进行去噪处理，得到去噪图像的步骤，直至迭代步数达到步数阈值或者直至去噪图像中的填充内容满足图像标准，将去噪图像作为第二图像。

其中，每迭代处理一次，则需要基于当前迭代处理对应的迭代步数调整噪声添加强度。

该过程，借助于具体的循环迭代处理手段，在循环迭代处理过程中，将去噪图像中非填充区域去噪处理后的图像内容替换为随着迭代步数的改变而适应性调整噪声强度的目标图像内容，投入下一迭代处理过程，确保填充图像的生成效果，同时避免其他区域图像进行拉伸压缩处理，确保最终获得背景结构自然的图像，提升图像整体处理效果。

结合第一方面，在第一方面的某些实现方式中，对待处理图像进行去噪处理，得到去噪图像，包括：

将图像空缺区域的掩膜图像输入至第一图像编码器进行编码处理，得到第一图像特征；

将拼接图像输入至第二图像编码器进行编码处理，得到第二图像特征；

将当前的迭代步数输入至步数编码器进行编码处理，得到步数特征；

基于第一图像特征、第二图像特征及步数特征，将各自分别对应的注意力特征输入至第三图像编码器及图像解码器；

将待处理图像依次通过第三图像编码器及图像解码器进行去噪处理，得到去噪图像。

这样能够确保对图像空缺区域的填充内容进行生成式循环迭代处理时，充分利用已有图像的内容结构特征生成相关结构的图像内容在图像空缺区域实施内容填充，并通过借助注意力模块将第一图像特征、第二图像特征及步数特征各自相应的注意力特征输入至实施去噪处理的图像编码器及图像解码器中，确保多种特征信息在对图像空缺区域的填充内容进行生成式循环迭代处理过程中的有效融合，提升图像空缺区域的图像填充效果。

第二方面，本申请提供了一种图像处理装置，包括：

校正模块，用于对第一图像中的目标图像进行图像校正处理，得到校正图像；

区域确定模块，用于确定所述校正图像与所述第一图像中除所述目标图像之外的剩余图像之间的图像空缺区域；

生成模块，用于对所述图像空缺区域进行内容填充，得到第二图像。

第三方面，本申请提供了一种电子设备，包括：一个或多个处理器，以及存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如第一方面的任意一种方法。

第四方面，本申请提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述一个或多个处理器用于调用计算机指令以使得所述电子设备执行如第一方面的任意一种方法。

第五方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质包括指令，当所述指令在电子设备上运行时，使得所述电子设备执行如第一方面的任意一种方法。

第六方面，本申请提供了一种计算机程序产品，该计算机程序产品包括计算机程序，当计算机程序被处理器执行时能够实现第一方面的任意一种方法。

可以理解地，上述第二方面提供的图像处理装置、第三方面提供的电子设备、第四方面提供的芯片系统、第五方面提供的计算机可读存储介质、第六方面提供的计算机程序产品均用于执行本申请第一方面所提供的任意一种方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

附图说明

图1示出了广角拍摄的一个图像边缘形变示意图；

图2示出了形变式融合下图像校正处理方案对应的图像内容改变示意图；

图3示出了前景图像的一种畸变校正示意图；

图4示出了图像处理方法的整体流程示意图；

图5示出了填充式融合下图像校正处理方案对应的图像内容改变示意图；

图6为生成对抗网络下的图像处理流程示意图；

图7为图像处理方法中的去噪流程示意图；

图8为扩散模型下的图像处理流程示意图；

图9为图像处理方法中去噪处理的一个细化流程示意图；

图10是本申请实施例的一种图像处理装置的示意图；

图11是本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

应当理解，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

图像常常会存在需要进行调整、校正的情形，比如图像出现畸变或者在一些情形下的图像形变调整等，通过图像畸变校正或者对图像中的目标内容进行外形美化调整、重塑等校正处理，改变图像中不自然的变形或扭曲，或者达到特定审美条件下的图像调整效果，使图像的成像效果更佳。

以图像畸变校正为例，图像出现畸变的原因可能是在拍照过程中由于透镜的形状和光线的折射，导致图像出现畸变，或者是视频或图像传输过程中，受信号干扰、显示设备软硬件配置等原因导致畸变。

在图像发生畸变时，图像中原本应该是直线会平滑曲线的地方将发生不自然的变形或扭曲。以具体拍照过程为例，受摄像头影响，处于照片边缘的拍摄内容（例如为物体、人像、花草等）可能会出现形变，尤其例如采用广角摄像头进行图像拍摄而导致图像边缘产生形变。

图1为广角拍摄的一个图像边缘形变示意图。结合图1所示，拍摄对象通过成像中心在成像面上成像，当物体成像在图像中央时，透视畸变较小，拍摄对象的图像形变比较小或者没有形变（如图1成像面上的绿色部分所示），当物体成像在图像边缘时，透视畸变较大，根据相机成像原理，其成像会被拉长，越靠近图像边缘部分，拉长效应越明显（如图1成像面上的红色部分所示）。这种情况下，通过对图像中的目标内容进行调整、校正处理，改变图像中不自然的变形或扭曲。

在一个图像校正处理方案中，结合图2所示，具体可以分为几大步骤：

1、图像分割。

对图像进行分割，将包含目标内容的区域从图像中分割出来，目标内容例如为人像、物体等。在图像分割时，可以选择将图像划分成前景图像和背景图像，前景图像中包含目标内容。

其中，前景图像如图2中示出的橙色区域，背景图像则如图2中示出的蓝色区域。

2、图像校正。

对图像的校正可以是畸变校正或者为美化校正。图像校正操作中包含对图像中目标内容的形变处理。图像的校正可以包含形变调整，例如为图像形状拉伸、压缩、延展、堆叠、重塑等形变处理操作。

对图像的美化校正可以依照美化模板对目标内容中的各组成部分进行相应的形变调整。也可以根据用户输入操作，执行相应的形变调整。

而畸变校正则是一种映射，将畸变的像素投影到校正的像素位置上，实现图像的重塑形变。

图2的（a）中，前景图像在横向方向上的两侧部分位于整体图像的边缘，出现畸变。在对其进行畸变校正过程中，作为一可选的实现方式，可以对摄像头拍摄参数中的焦距、视场、物距等进行模拟调整，将当前前景图像依照模拟调整后的拍摄参数进行投影校正，得到校正后的前景图像。

例如，可以模拟长焦距小视场大物距成像系统，将当前的前景图像校正到小视场相机的投影图像，将畸变的前景图像像素投影到校正的像素位置上。

图3为前景图像的一种畸变校正示意图。结合图3所示，被摄物体通过棕色成像中心在成像面上成像，成像为红色部分所示，其成像靠近图像边缘部分，拉长效应明显，出现畸变。为实现畸变校正，首先将畸变图像投影到当前相机的理想成像球面（参见图3中的孤形成像面），理想成像球面代表了在没有任何畸变或误差的情况下，光线在通过光学系统后应该聚焦的球面，之后将相机系统的焦距进行拉大调整，成像中心由成像中心1（图3中棕点所示）变换为成像中心2（图3中黑点所示）。依照畸变图像在理想成像球面上的投影位置，对前景图像进行重新投影模拟，模拟拍摄对象在成像中心2穿过理想成像球面上的投影位置落在成像面上成像时，得到矫正后的前景图像（图3成像面上的绿色部分所示），将红色部分的成像矫正为绿色部分成像，改变图像拉长效应，透视畸变减小甚至消失。该过程通过畸变校正调整图像的几何形状，获得校正后的前景图像，去除畸变。

3、图像融合。

在对前景图像进行形变调整后，对背景图像及校正后的前景图像进行融合。

一种可选的方式，保持校正后的前景图像不变，调整背景图像，使背景图像随前景图像的形变进行适应性形变调整。这里的形变调整例如为图像形状拉伸、压缩、延展、堆叠、重塑等图像形变处理。

这种方式下，由于前后景深度距离不同，可以选择直接把背景图像拉伸、压缩到前景人像相同的形变。但这种情况下，前景图像中的人像矫正强度较强，背景图像中的物体，例如具有直线线条的物体，会随之产生明显弯曲不自然。例如，前景图像为人脸图像，背景图像为建筑物，则图像中前景图像中的人脸矫正效果较好但是背景图像中的建筑物的直线线条变弯。

另一种可选的方式，将校正后的前景图像与背景图像进行折中处理，两者均进行形变调整，使前景图像与背景图像实现融合。

结合图2所示，前景图像由图2的（a）中橙色区域校正为图2的（b）中橙色区域。在此之后，将校正后的前景图像由图2的（b）中橙色区域向外缘形变，背景图像由图2的（b）中蓝色区域向内缘形变，二者折中融合得到图2的（c）示出的图像。在确保形变处理后的前景图像尽量接近理想校正效果的同时，减少背景图像中物体的不自然弯折形变。

对背景图像的形变调整可以尽量在背景图像中的直线线条的延伸方向上进行图像的拉伸、压缩处理或尽量在背景图像中的非线条区域进行图像的拉伸、压缩处理，减少背景图像中物体的不自然弯折形变。

在实施过程中，还可以选择校正后的前景图像与背景图像两者在形变程度上相同或者不同。当形变程度不同时，可以选择设置背景图像的形变程度大于校正后的前景图像的形变程度。

但这种方式下，由于校正后的前景图像与背景图像均进行形变调整，处理后得到的图像中，图像整体校正效果将呈现折中均衡，虽然背景图像中的直线物体结构自然，但前景图像则仍无法得到比较理想的矫正效果。例如，前景图像为人脸图像，背景图像为建筑物，则最终处理后图像中，背景图像中建筑物线条结构为相对自然的直线，但前景图像中的人脸仍存在不自然畸变，使得前景图像及背景图像均不处于最佳状态，导致整体成像效果不佳。

本申请实施例提出一种图像处理方法，通过对第一图像中的目标图像进行图像校正处理，确定出校正图像与第一图像中剩余图像之间的图像空缺区域并对图像空缺区域进行内容填充，在确保图像中目标内容达到理想矫正效果的同时，确保剩余图像中的线条内容结构自然，使图像中校正图像及剩余图像中的图像内容均处于最佳状态，提升图像整体显示效果。

结合图4所示，该图像处理方法具体包括：

步骤101，对第一图像中的目标图像进行图像校正处理，得到校正图像。

第一图像作为待处理对象，其中包括目标图像及除目标图像之外的剩余图像。

目标图像及剩余图像的划分可以通过提前对第一图像进行内容识别分割进行确定。

这里，可以对第一图像进行前景图像、背景图像的识别分割。将第一图像中的前景图像作为目标图像，及将第一图像中除前景图像之外的背景图像作为剩余图像。

其中，前景图像作为拍摄的重点对象，以前景及背景的区分方式从图像中进行内容切分，确保对正常情况下需要进行重点校正调整的图像内容进行有效识别处理。

或者，可以对第一图像进行中间图像、边缘图像的识别分割。将第一图像中的边缘图像作为目标图像，及将第一图像中除边缘图像之外的图像作为剩余图像。

其中，边缘图像具体是位于第一图像设定边缘范围内的图像内容，确保对处于图像边缘的重点目标对象进行针对性获取，实现对特定情况下可能存在畸变的图像内容的有效处理。

相对于第一图像中的目标图像，校正处理得到的校正图像会出现形变，那么相应地，校正图像与第一图像中的剩余图像之间将会存在图像空缺区域。其中，该形变包含图像内容在形状轮廓、线条走向、相同特征像素点的位置等的改变。

具体地，图像校正处理包括对图像内容进行形变处理，例如为图像形状拉伸、压缩、延展、堆叠、重塑等图像形变处理。图像校正可以是特定审美条件下的图像调整校正。图像校也可以是图像畸变校正，通过对第一图像中的目标图像进行畸变校正处理，得到校正图像，满足图像畸变校正的处理需求及成像效果。

步骤102，确定校正图像与第一图像中除目标图像之外的剩余图像之间的图像空缺区域。

可以通过轮廓比对的方式，确定校正图像与剩余图像之间哪些轮廓相契合，哪些轮廓不相契合，基于不相契合的轮廓部分确定出校正图像与剩余图像之间的图像空缺区域。

或者，可以通过图像拼接比对的方式，将校正图像与剩余图像进行拼接，得到拼接图像，将拼接图像与第一图像进行比对，确定拼接图像中校正图像与剩余图像之间的图像空缺区域。

拼接图像中包含有图像空缺区域。该图像空缺区域为校正处理后的校正图像与未被校正处理的剩余图像进行拼接后形成的图像留白区域。

第一图像为原始图像，将目标图像发生校正改变后拼接得到的拼接图像与第一图像进行比对，则可以确定出拼接图像中校正图像与剩余图像之间的图像空缺区域。

采用图像拼接处理以便于通过合适的方式对校正后的目标内容与其余图像内容进行拼接融合，在此基础上确定出还需要进一步进行内容填充的图像空缺区域，在确保图像中目标内容达到理想校正效果的同时，减少其他部分图像内容的不必要形变，确保整体图像处理效果。

校正图像受到图像校正处理产生形变，在拼接时，图像形变部分会挤占剩余图像的图像区域。

可选择地，在将校正图像与剩余图像进行拼接，可以直接将校正图像与剩余图像以不交叠的方式进行拼接。这样拼接得到的图像中，校正图像与剩余图像保留各自的图像内容，两者边缘相接且两个图像间存在留白区域（即图像空缺区域）。

或者，在将校正图像与剩余图像进行拼接时，可以将校正图像与剩余图像以区域交叠的方式进行拼接。具体包括：

确定校正图像相对目标图像的形状改变区域，基于该形状改变区域，确定剩余图像中与校正图像的图像重叠区域，将图像重叠区域的像素值赋值为校正图像的像素值，得到拼接图像。

剩余图像中与校正图像的图像重叠区域为需要被校正图像进行挤占的图像区域。在将校正图像与剩余图像进行拼接时，直接将校正图像中对应区域的像素值对剩余图像中图像重叠区域的像素值进行赋值，保留校正图像的图像内容，抹去剩余图像中图像重叠区域的图像内容，在此基础上在图像重叠区域将校正图像与剩余图像实现交叠式拼接，得到拼接图像，在实现校正图像与剩余图像进行融合的同时，维持校正图像中图像内容在整体图像内容中的合理位置布局关系。

此外，将图像重叠区域的像素值赋值为校正图像的像素值的同时，还可以对图像重叠区域位于剩余图像中的边缘区域进行像素值的过渡处理，模糊图像拼接痕迹，提升图像处理效果。

步骤103，对图像空缺区域进行内容填充，得到第二图像。

本步骤中，选择对图像空缺区域进行内容填充的方式，生成最终的第二图像。

与前述图像融合方式不同在于，在对图像中的目标图像进行校正后，对剩余图像不采用拉伸、压缩等形变处理，而是采用内容填充的方式补全图像空缺区域，获得完整的处理后图像。

参见图5，前景图像（图中橘色区域）被进行校正后图像发生形变，由图5的（a）中形变为图5的（b）中所示，这种情况下形变后的前景图像与背景图像之间存在图像空缺区域，图像空缺区域如图5的（b）中白色区域所示。需要对其进行内容填充，填充的图像内容如图5的（c）中紫色区域所示。最终图像融合得到的图像如图5中（d）所示，前景图像得到有效校正，原有的背景图像的图像内容不发生形变，图像空缺区域中填充的图像内容则与原有的背景图像的图像内容融合到一起，共同形成为前景图像的图像背景。

在一些情形下，图像空缺区域中填充的图像内容可以是与背景图像及前景图像内容相似或者相契合的填充内容，实现图像过渡效果及图像内容上的效果配合，该填充内容与背景图像及前景图像存在一些差异。在一些情形下，该填充的图像内容可以是与背景图像内容相一致的背景填充内容，实现对原有背景图像的扩充。

最终的输出图像中，前景图像得到有效畸变校正，且原有的背景图像没有被拉伸、压缩等形变处理，输出的最终图像中前景图像矫正强度较强，达到理想校正效果，且背景图像原有内容结构被保留，图像空缺区域则实施内容填充，实现校正后前景图像与背景图像的有效融合，确保整体图像效果。

其中，在对图像空缺区域进行内容填充，得到第二图像时，可以是根据已有图像的内容结构将相关（相似或相契合）结构的图像内容在图像空缺区域实施内容填充。

可以是以预设图像内容对图像空缺区域进行内容填充。例如，选取与已有图像（校正图像和/或剩余图像）的内容结构具有关联性的预设图像内容，或者具有其他显示效果的预设图像内容。

或者，以内容生成的方式对图像空缺区域进行内容填充，获得完整的处理后图像。

采用生成式的图像空缺区域填充方案，不用在背景直线物体的结构保持和前景图像矫正效果上面进行折中处理，在前景图像矫正到最佳效果的基础上，通过生成式填充图像的方式获得背景结构自然的图像。

具体可以基于校正图像及剩余图像两者中的图像内容结构生成填充内容，实现对图像空缺区域进行内容填充。即，对图像空缺区域进行内容填充，得到第二图像时，可以具体包括：

基于校正图像及剩余图像，生成填充内容，将填充内容填充至图像空缺区域，得到第二图像。

具体实施时，可以借助于校正图像与剩余图像中的像素值进行像素过渡分布，生成填充内容，填充至图像空缺区域。

或者，可以在校正图像及剩余图像基础上，借助于模型生成填充内容填充至图像空缺区域。

具体地，可以采用生成对抗网络模型进行生成。如图6所示，在生成对抗网络中包含生成网络和对抗网络，生成网络和对抗网络中均包含图像编码器和图像解码器。在生成对抗网络模型的一个训练过程中，可以准备训练样本，在训练样本中包括真实图像及与真实图像对应的在前景图像与背景图像间存在图像空缺区域的待填充图像。

将待填充图像及待填充图像的mask图像输入至生成网络，得到生成网络输出的图像空缺区域中被填充有图像内容的生成图像，该生成图像及真实图像则被共同输入至对抗网络，并基于损失函数（loss）实施模型训练。在生成对抗网络训练完毕后，使用训练后的生成对抗网络生成填充内容填充至图像空缺区域。

或者，采用扩散模型生成填充内容填充至图像空缺区域，具体基于扩散模型，输入高斯噪声，通过多次迭代去噪后，生成图像空缺区域被填充后的高质量图像。

在一个可选的实现过程中，基于校正图像及剩余图像，生成填充内容，将该填充内容填充至图像空缺区域，得到第二图像，包括：

在校正图像与剩余图像拼接得到的拼接图像中添加噪声，并对拼接图像进行去噪处理，得到拼接图像中图像空缺区域被填充填充内容后的第二图像。

根据扩散理论，任意图像经过多次迭代加噪后，最终都能输出为高斯噪声图像。而在图像中输入高斯噪声，通过多次迭代去噪后，最终能生成正常高质量图像。

将由校正图像及剩余图像拼接得到的拼接图像作为处理对象，通过加噪及去噪处理，使得拼接图像中图像空缺区域被填充，得到第二图像，确保图像空缺区域中所填充内容中融入校正图像及剩余图像两者的图像特征，确保图像空缺区域中具有较好的图像填充效果，提升图像整体处理质量。

在基于扩散模型对图像空缺区域进行内容生成及填充时，可以引入一些具体的循环迭代处理手段。

对应地，结合图7所示，在校正图像与剩余图像拼接得到的拼接图像中添加噪声，并对拼接图像进行去噪处理，得到拼接图像中图像空缺区域被填充填充内容后的第二图像，包括：

步骤201，将校正图像与剩余图像拼接得到的拼接图像中添加噪声作为待处理图像。

该处理步骤，以校正图像与剩余图像拼接得到的拼接图像为基础，在将拼接图像添加噪声后输入至模型以对图像空缺区域进行内容生成式处理。

其中，拼接图像中包含图像空缺区域。在实施过程中，拼接图像中的图像空缺区域形成为待填充区，图像空缺区域之外的其他图像区域形成为非填充区。

结合图8所示，初始时，基于拼接图像制作一张待填充区为随机高斯噪声，非填充区为原图添加高斯噪声的图像作为待处理图像输入网络，开启迭代第一步。

步骤202，对待处理图像进行去噪处理，得到去噪图像。

去噪图像中包含图像空缺区域去噪处理后生成的填充内容，及除图像空缺区域之外的其他图像区域去噪处理后的去噪内容。

待处理图像输出至模型，经过模型中的图像编码器、图像解码器进行去噪处理，可以生成去噪图像。

在对待处理图像进行去噪处理时，可以基于拼接图像、拼接图像的掩膜图像及迭代步数等信息的数据特征，对噪声图像进行去噪处理。其中，掩膜图像中与拼接图像中的图像空缺区域相对应位置的元素取值为1或255，指示图像空缺区域为需要进行图像内容生成的区域。实施时，如图8中的左侧由上至下的输入内容所示，需要将当前迭代步数、拼接图像的掩膜图像（mask）、对由拼接图像添加过噪声后形成的待处理图像，及拼接图像（图8中的待填充图像）共同输入至扩散生成模型，以对携带有噪声的待处理图像实施去噪处理，得到去噪图像。

与之对应地，结合图9所示，在一个实施过程中，对待处理图像进行去噪处理，得到去噪图像，包括：

步骤301，将图像空缺区域的掩膜图像输入至第一图像编码器进行编码处理，得到第一图像特征。

步骤302，将拼接图像输入至第二图像编码器进行编码处理，得到第二图像特征。

第一图像编码器及第二图像编码器用于进行图像编码处理，得到相应的图像特征。

步骤303，将当前的迭代步数输入至步数编码器进行编码处理，得到步数特征。

步数编码器进用于进行步数编码处理，得到相应的步数特征。

在迭代处理过程中，每迭代处理一次，则迭代步数加1。随着迭代步数的改变，待处理图像中的待填充区中被逐步生成填充内容。需要随着迭代步数的改变，在每次迭代过程中，引入相应的步数特征，以在后续基于步数特征添加相应的注意力特征至编、解码器中，确保图像迭代处理过程中的图像逐步迭代处理效果。

步骤304，基于第一图像特征、第二图像特征及步数特征，将各自分别对应的注意力特征输入至第三图像编码器及图像解码器。

结合图8所示，在扩散生成模型的数据处理过程中，处理得到的步数特征、掩码图像的图像特征及拼接图像的图像特征被输入至注意力模块中，通过这些注意力模块将步数特征及两种图像特征各自对应的注意力特征输入至图8中由左至右的主处理流程（去噪处理流程）中的图像编码器及图像解码器中。

这样能够确保对图像空缺区域的填充内容进行生成式循环迭代处理时，充分利用已有图像的内容结构特征生成相关结构的图像内容在图像空缺区域实施内容填充，并通过借助注意力模块将第一图像特征、第二图像特征及步数特征各自相应的注意力特征输入至实施去噪处理的图像编码器及图像解码器中，确保循环迭代处理过程中的图像处理效果。

步骤305，将待处理图像依次通过第三图像编码器及图像解码器进行去噪处理，得到去噪图像。

上述步骤中，当前迭代步数经过步数编码器处理后得到步数特征，之后通过注意力模块在图像编码器和图像解码器中进行融合。拼接图像的掩膜图像经过图像编码器处理后得到第一图像特征，之后通过注意力模块在图像编码器和图像解码器中进行融合。拼接图像形成为待填充图像经过图像编码器处理后得到第二图像特征，之后通过注意力模块在图像编码器和图像解码器中进行融合。通过注意力模块与各个图像编码器，确保多种特征信息在对图像空缺区域的填充内容进行生成式循环迭代处理过程中的有效融合，提升图像空缺区域的图像填充效果。

步骤203，将去噪图像中的去噪内容替换为目标图像内容，得到更新后图像。

目标图像内容为拼接图像中相同图像区域的图像内容添加与迭代步数对应强度的噪声后的图像内容。

每迭代处理一次，则需要基于当前迭代处理对应的迭代步数调整噪声添加强度，针对图像空缺区域中内容的填充情况，随着迭代步数的改变而适应性调整拼接图像中添加的噪声强度，确保填充图像生成效果。

可选地，设置噪声强度与迭代步数之间可以为负相关，即添加的噪声强度随着迭代步数的增加而逐渐变小。

结合图8所示，左侧的待处理图像由于携带有噪声，该待处理图像中的待填充区为噪声图像，在经过图像编码器及图像解码器进行去噪处理后，待填充区中填充有生成的图像内容，在实现图像循环迭代处理过程中，需要对待处理图像中的非填充区域进行内容替换，具体为将非填充区域都替换为拼接图像中非填充区域的原图添加当前迭代步数所对应强度的高斯噪声的图像，获得当前步数下生成的更新后图像（图8中的填充中间结果）。

步骤204，将更新后图像作为待处理图像。

在步骤204将更新后图像作为待处理图像后，需要返回执行对待处理图像进行去噪处理，得到去噪图像的步骤（即步骤202），直至迭代步数达到步数阈值或者直至步骤202得到的去噪图像中的填充内容满足图像标准，则对应的将步骤202中得到的去噪图像作为第二图像，实现对图像空缺区域的内容有效填充。

结合图8所示，当迭代步数不为1时，则需要将更新后图像（图8中的填充中间结果）作为下一迭代步数下的待处理图像输入至模型网络中。

在得到当前步数下的更新后图像后，将其作为下一步数下的输入图像送入至网络，循环执行上述步骤202至步骤204的处理过程，直至迭代步数达到N步（例如N<1000），或者直至在某个步数下步骤202中得到的去噪图像中图像空缺区域内的填充内容满足图像标准，得到最终输出的高分辨率图像。

其中，图像标准例如为像素过渡平滑度、线条的流畅度、图像内容形变度、图像分辨率等达到设定范围等，图像标准可以结合实际图像处理需求进行设定，这里仅为示例性说明。

上述方案借助于具体的循环迭代处理手段，在循环迭代处理过程中，将去噪图像中非填充区域去噪处理后的图像内容替换为随着迭代步数的改变而适应性调整噪声强度的目标图像内容，投入下一迭代处理过程，确保填充图像的生成效果，同时避免其他区域图像进行拉伸压缩处理，确保最终获得背景结构自然的图像，提升图像整体处理效果。

本申请实施例中，不同场景下的图像处理方法中存在一些相同之处及不同之处，该些部分的相关描述内容均可以互相借鉴融合，并不因为场景描述差异存在技术结合实施障碍。

图10是本申请实施例的一种图像处理装置的示意图。如图10所示，该装置2000包括校正模块2001、区域确定模块2002及生成模块2003。

其中，校正模块2001用于对第一图像中的目标图像进行图像校正处理，得到校正图像；区域确定模块2002用于确定所述校正图像与所述第一图像中除所述目标图像之外的剩余图像之间的图像空缺区域；生成模块2003用于对所述图像空缺区域进行内容填充，得到第二图像。

该装置2000可以是集成在手机、平板电脑、智能穿戴设备等电子设备中。

该装置2000能够用于执行上文任意一种图像处理方法。

在一种实现方式中，装置2000还可以包括存储单元，用于存储图像、识别出的图像特征等数据。该存储单元可以是集成在上述任意一个单元中，也可以是独立于上述所有单元之外的单元。

图11是本申请实施例的一种电子设备的硬件结构示意图。

电子设备例如为手机、平板电脑、可穿戴设备、车载设备、增强现实（AugmentedReality，AR）/虚拟现实（Virtual Reality，VR）设备、笔记本电脑、超级移动个人计算机（Ultra-Mobile Personal Computer，UMPC）、上网本、个人数字助理（Personal DigitalAssistant，PDA）等能够支持多应用运行且具有图形化显示功能的设备，本申请实施例对电子设备的具体类型不作任何限制。

如图11所示，电子设备900可以包括处理器910，外部存储器接口920，内部存储器921，通用串行总线（universal serial bus，USB）接口930，充电管理模块940，电源管理模块941，电池942，天线1，天线2，移动通信模块950，无线通信模块960，音频模块970，扬声器970A，受话器970B，麦克风970C，耳机接口970D，传感器模块980，按键990，马达991，指示器992，摄像头993，显示屏994，以及用户标识模块（subscriber identification module，SIM）卡接口995等。其中，传感器模块980可以包括压力传感器980A，陀螺仪传感器980B，气压传感980C，磁传感器980D，加速度传感器980E，距离传感器980F，接近光传感器980G，指纹传感器980H，温度传感器980J，触摸传感器980K，环境光传感器980L，骨传导传感器980M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备900的具体限定。在本申请另一些实施例中，电子设备900可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

示例性地，图11所示的处理器910可以包括一个或多个处理单元，例如：处理器910可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processing unit，GPU），图像信号处理器（image signal processor，ISP），控制器，存储器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备900的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器910中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器910中的存储器为高速缓冲存储器。该存储器可以保存处理器910刚用过或循环使用的指令或数据。如果处理器910需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器910的等待时间，因而提高了系统的效率。

在一些实施例中，处理器910可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（mobile industry processor interface，MIPI），通用输入输出（general-purposeinput/output，GPIO）接口，用户标识模块（subscriber identity module，SIM）接口，和/或通用串行总线（universal serial bus，USB）接口等。

在一些实施例中，I2C接口是一种双向同步串行总线，包括一根串行数据线（serial data line，SDA）和一根串行时钟线（derail clock line，SCL）。处理器910可以包含多组I2C总线。处理器910可以通过不同的I2C总线接口分别耦合触摸传感器980K，充电器，闪光灯，摄像头993等。例如，处理器910可以通过I2C接口耦合触摸传感器980K，使处理器910与触摸传感器980K通过I2C总线接口通信，实现电子设备900的触摸功能。

在一些实施例中，I2S接口可以用于音频通信。处理器910可以包含多组I2S总线。处理器910可以通过I2S总线与音频模块970耦合，实现处理器910与音频模块970之间的通信。

在一些实施例中，音频模块970可以通过I2S接口向无线通信模块960传递音频信号，实现通过蓝牙耳机接听电话的功能。

在一些实施例中，PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。音频模块970与无线通信模块960可以通过PCM总线接口耦合。

在一些实施例中，音频模块970也可以通过PCM接口向无线通信模块960传递音频信号，实现通过蓝牙耳机接听电话的功能。应理解，I2S接口和PCM接口都可以用于音频通信。

在一些实施例中，UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。UART接口通常被用于连接处理器910与无线通信模块960。例如，处理器910通过UART接口与无线通信模块960中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块970可以通过UART接口向无线通信模块960传递音频信号，实现通过蓝牙耳机播放音乐的功能。

在一些实施例中，MIPI接口可以被用于连接处理器910与显示屏994，摄像头993等外围器件。MIPI接口包括摄像头串行接口（camera serial interface，CSI），显示屏串行接口（display serial interface，DSI）等。处理器910和摄像头993通过CSI接口通信，实现电子设备900的拍摄功能。处理器910和显示屏994通过DSI接口通信，实现电子设备900的显示功能。

在一些实施例中，GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。GPIO接口可以用于连接处理器910与摄像头993，显示屏994，无线通信模块960，音频模块970，传感器模块980等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

示例性地，USB接口930是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备900充电，也可以用于电子设备900与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备900的结构限定。在本申请另一些实施例中，电子设备900也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块940用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块940可以通过USB接口930接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块940可以通过电子设备900的无线充电线圈接收无线充电输入。充电管理模块940为电池942充电的同时，还可以通过电源管理模块941为电子设备供电。

电源管理模块941用于连接电池942，充电管理模块940与处理器910。电源管理模块941接收电池942和/或充电管理模块940的输入，为处理器910，内部存储器921，外部存储器，显示屏994，摄像头993，和无线通信模块960等供电。电源管理模块941还可以用于监测电池容量，电池循环次数，电池健康状态（漏电，阻抗）等参数。在其他一些实施例中，电源管理模块941也可以设置于处理器910中。在另一些实施例中，电源管理模块941和充电管理模块940也可以设置于同一个器件中。

电子设备900的无线通信功能可以通过天线1，天线2，移动通信模块950，无线通信模块960，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备900中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如，可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块950可以提供应用在电子设备900上的无线通信的解决方案，例如下列方案中的至少一个：第二代（2th generation，2G）移动通信解决方案、第三代（3thgeneration，3G）移动通信解决方案、第四代（4th generation，5G）移动通信解决方案、第五代（5th generation，5G）移动通信解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器（low noise amplifier，LNA）等。移动通信模块950可以由天线1接收电磁波，并对接收的电磁波进行滤波和放大等处理，随后传送至调制解调处理器进行解调。移动通信模块950还可以放大经调制解调处理器调制后的信号，放大后的该信号经天线1转变为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器910中。在一些实施例中，移动通信模块950的至少部分功能模块可以与处理器910的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备（不限于扬声器970A，受话器970B等）输出声音信号，或通过显示屏994显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器910，与移动通信模块950或其他功能模块设置在同一个器件中。

无线通信模块960可以提供应用在电子设备900上的包括无线局域网（wirelesslocal area networks，WLAN）（如无线保真（wireless fidelity，Wi-Fi）网络），蓝牙（bluetooth，BT），全球导航卫星系统（global navigation satellite system，GNSS），调频（frequency modulation，FM），近距离无线通信技术（near field communication，NFC），红外技术（infrared，IR）等无线通信的解决方案。无线通信模块960可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块960经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器910。无线通信模块960还可以从处理器910接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备900的天线1和移动通信模块950耦合，电子设备900的天线2和无线通信模块960耦合，使得电子设备900可以通过无线通信技术与网络和其他电子设备通信。该无线通信技术可以包括以下通信技术中的至少一个：全球移动通讯系统（global system for mobile communications，GSM），通用分组无线服务（general packetradio service，GPRS），码分多址接入（code division multiple access，CDMA），宽带码分多址（wideband code division multiple access，WCDMA），时分码分多址（time-divisioncode division multiple access，TD-SCDMA），长期演进（long term evolution，LTE），BT，GNSS，WLAN，NFC，FM，IR技术。该GNSS可以包括以下定位技术中的至少一个：全球卫星定位系统（global positioning system，GPS），全球导航卫星系统（global navigationsatellite system，GLONASS），北斗卫星导航系统（beidou navigation satellitesystem，BDS），准天顶卫星系统（quasi-zenith satellite system，QZSS），星基增强系统（satellite based augmentation systems，SBAS）。

电子设备900通过GPU，显示屏994，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏994和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器910可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏994用于显示图像，视频等。显示屏994包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD），有机发光二极管（organic light-emittingdiode，OLED），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrixorganic light emitting diode的，AMOLED），柔性发光二极管（flex light-emittingdiode，FLED），Mini-led，Micro-Led，Micro-oLed，量子点发光二极管（quantum dot light-emitting diodes，QLED）等。在一些实施例中，电子设备900可以包括1个或N个显示屏994，N为大于1的正整数。

电子设备900可以通过ISP，摄像头993，视频编解码器，GPU，显示屏994以及应用处理器等实现拍摄功能。

ISP用于处理摄像头993反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，色彩进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头993中。

摄像头993用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备900可以包括1个或N个摄像头993，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备900在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备900可以支持一种或多种视频编解码器。这样，电子设备900可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，MPEG）1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络（neural-network，NN）计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备900的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口920可以用于连接外部存储卡，例如安全数码（secure digital，SD）卡，实现扩展电子设备900的存储能力。外部存储卡通过外部存储器接口120与处理器910通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器921可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器910通过运行存储在内部存储器921的指令，从而执行电子设备900的各种功能应用以及数据处理。内部存储器921可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储电子设备900使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器921可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universal flash storage，UFS）等。

电子设备900可以通过音频模块970，扬声器970A，受话器970B，麦克风970C，耳机接口970D，以及应用处理器等实现音频功能。例如，音乐播放，录音等。

音频模块970用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块970还可以用于对音频信号编码和解码。在一些实施例中，音频模块970可以设置于处理器910中，或将音频模块970的部分功能模块设置于处理器910中。

扬声器970A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备900可以通过扬声器970A收听音乐，或收听免提通话。

受话器970B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备900接听电话或语音信息时，可以通过将受话器970B靠近人耳接听语音。

麦克风970C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风970C发声，将声音信号输入到麦克风970C。电子设备900可以设置至少一个麦克风970C。在另一些实施例中，电子设备900可以设置两个麦克风970C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备900还可以设置三个，四个或更多麦克风970C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口970D用于连接有线耳机。耳机接口970D可以是USB接口930，也可以是3.5mm的开放移动电子设备平台（open mobile terminal platform，OMTP）标准接口，美国蜂窝电信工业协会（cellular telecommunications industry association of the USA，CTIA）标准接口。

压力传感器980A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器980A可以设置于显示屏994。压力传感器980A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器980A，电极之间的电容改变。电子设备900根据电容的变化确定压力的强度。当有触摸操作作用于显示屏994，电子设备900根据压力传感器980A检测所述触摸操作强度。电子设备900也可以根据压力传感器980A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如，当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感980B可以用于确定电子设备900的运动姿态。在一些实施例中，可以通过陀螺仪传感器980B确定电子设备900围绕三个轴（即x，y和z轴）的角速度。陀螺仪传感器980B可以用于拍摄防抖。示例性地，当按下快门，陀螺仪传感器980B检测电子设备900抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备900的抖动，实现防抖。陀螺仪传感器980B还可以用于导航，体感游戏场景。

气压传感器980C用于测量气压。在一些实施例中，电子设备900通过气压传感器980C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器980D包括霍尔传感器。电子设备900可以利用磁传感器980D检测翻盖皮套的开合。在一些实施例中，当电子设备900是翻盖机时，电子设备900可以根据磁传感器980D检测翻盖的开合；根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器980E可检测电子设备900在各个方向上（一般为三轴）加速度的大小。当电子设备900静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器980F用于测量距离。电子设备900可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备900可以利用距离传感器980F测距以实现快速对焦。

接近光传感器980G可以包括例如发光二极管（light-emitting diode，LED）和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备900通过发光二极管向外发射红外光。电子设备900使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备900附近有物体。当检测到不充分的反射光时，电子设备900可以确定电子设备900附近没有物体。电子设备900可以利用接近光传感器980G检测用户手持电子设备900贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器980G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器980L用于感知环境光亮度。电子设备900可以根据感知的环境光亮度自适应调节显示屏994亮度。环境光传感器980L也可用于拍照时自动调节白平衡。环境光传感器980L还可以与接近光传感器980G配合，检测电子设备900是否在口袋里，以防误触。

指纹传感器980H用于采集指纹。电子设备900可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器980J用于检测温度。在一些实施例中，电子设备900利用温度传感器980J检测的温度，执行温度处理策略。例如，当温度传感器980J上报的温度超过阈值，电子设备900执行降低位于温度传感器980J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备900对电池942加热，以避免低温导致电子设备900异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备900对电池942的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器980K，也称“触控面板”。触摸传感器980K可以设置于显示屏994，由触摸传感器980K与显示屏994组成触摸屏，也称“触控屏”。触摸传感器980K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏994提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器980K也可以设置于电子设备900的表面，与显示屏994所处的位置不同。

骨传导传感器980M可以获取振动信号。在一些实施例中，骨传导传感器980M可以获取人体声部振动骨块的振动信号。骨传导传感器980M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器980M也可以设置于耳机中，结合成骨传导耳机。音频模块970可以基于所述骨传导传感器980M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器980M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键990包括开机键，音量键等。按键990可以是机械按键。也可以是触摸式按键。电子设备900可以接收按键输入，产生与电子设备900的用户设置以及功能控制有关的键信号输入。

马达991可以产生振动提示。马达991可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用（例如拍照，音频播放等）的触摸操作，可以对应不同的振动反馈效果。作用于显示屏994不同区域的触摸操作，马达991也可对应不同的振动反馈效果。不同的应用场景（例如：时间提醒，接收信息，闹钟，游戏等）也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器992可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口995用于连接SIM卡。SIM卡可以通过插入SIM卡接口995，或从SIM卡接口995拔出，实现和电子设备900的接触和分离。电子设备900可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口995可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口995可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口995也可以兼容不同类型的SIM卡。SIM卡接口995也可以兼容外部存储卡。电子设备900通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备900采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备900中，不能和电子设备900分离。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种电子设备，该电子设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时可实现上述任意方法中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，当计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器（read-only memory，ROM）、随机存取存储器（random accessmemory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

对第一图像中的目标图像进行图像校正处理，得到校正图像；

确定所述校正图像与所述第一图像中除所述目标图像之外的剩余图像之间的图像空缺区域；

对所述图像空缺区域进行内容填充，得到第二图像。

2.根据权利要求1所述的方法，其特征在于，将所述第一图像中的前景图像作为所述目标图像，及将所述第一图像中除所述前景图像之外的背景图像作为所述剩余图像；或者，

将所述第一图像中的边缘图像作为所述目标图像，及将所述第一图像中除所述边缘图像之外的图像作为所述剩余图像。

3.根据权利要求1所述的方法，其特征在于，所述对第一图像中的目标图像进行图像校正处理，得到校正图像，包括：

对第一图像中的目标图像进行畸变校正处理，得到所述校正图像。

4.根据权利要求1所述的方法，其特征在于，所述确定所述校正图像与所述第一图像中除所述目标图像之外的剩余图像之间的图像空缺区域，包括：

将所述校正图像与所述剩余图像进行拼接，得到拼接图像；

将所述拼接图像与所述第一图像进行比对，确定所述拼接图像中所述校正图像与所述剩余图像之间的图像空缺区域。

5.根据权利要求4所述的方法，其特征在于，所述将所述校正图像与所述剩余图像进行拼接，得到拼接图像，包括：

确定所述校正图像相对所述目标图像的形状改变区域；

基于所述形状改变区域，确定所述剩余图像中与所述校正图像的图像重叠区域；

将所述图像重叠区域的像素值赋值为所述校正图像的像素值，得到所述拼接图像。

6.根据权利要求1所述的方法，其特征在于，所述对所述图像空缺区域进行内容填充，得到第二图像，包括：

基于所述校正图像及所述剩余图像，生成填充内容，将所述填充内容填充至所述图像空缺区域，得到所述第二图像。

7.根据权利要求6所述的方法，其特征在于，所述基于所述校正图像及所述剩余图像，生成填充内容，将所述填充内容填充至所述图像空缺区域，得到所述第二图像，包括：

在所述校正图像与所述剩余图像拼接得到的拼接图像中添加噪声，并对所述拼接图像进行去噪处理，得到所述拼接图像中所述图像空缺区域被填充所述填充内容后的所述第二图像。

8.根据权利要求7所述的方法，其特征在于，所述在所述校正图像与所述剩余图像拼接得到的拼接图像中添加噪声，并对所述拼接图像进行去噪处理，得到所述拼接图像中所述图像空缺区域被填充所述填充内容后的所述第二图像，包括：

将所述校正图像与所述剩余图像拼接得到的所述拼接图像中添加噪声作为待处理图像；

对所述待处理图像进行去噪处理，得到去噪图像，所述去噪图像中包含所述图像空缺区域去噪处理后生成的所述填充内容，及除所述图像空缺区域之外的其他图像区域去噪处理后的去噪内容；

将所述去噪图像中的所述去噪内容替换为目标图像内容，得到更新后图像；所述目标图像内容为所述拼接图像中相同图像区域的图像内容添加与迭代步数对应强度的噪声后的图像内容；

将所述更新后图像作为所述待处理图像，返回执行所述对所述待处理图像进行去噪处理，得到去噪图像的步骤，直至所述迭代步数达到步数阈值或者直至所述去噪图像中的所述填充内容满足图像标准，将所述去噪图像作为所述第二图像。

9.根据权利要求8所述的方法，其特征在于，所述对所述待处理图像进行去噪处理，得到去噪图像，包括：

将所述图像空缺区域的掩膜图像输入至第一图像编码器进行编码处理，得到第一图像特征；

将所述拼接图像输入至第二图像编码器进行编码处理，得到第二图像特征；

将当前的所述迭代步数输入至步数编码器进行编码处理，得到步数特征；

基于所述第一图像特征、所述第二图像特征及所述步数特征，将各自分别对应的注意力特征输入至第三图像编码器及图像解码器；

将所述待处理图像依次通过所述第三图像编码器及所述图像解码器进行去噪处理，得到所述去噪图像。

10.一种图像处理装置，其特征在于，包括：

校正模块，用于对第一图像中的目标图像进行图像校正处理，得到校正图像；

区域确定模块，用于确定所述校正图像与所述第一图像中除所述目标图像之外的剩余图像之间的图像空缺区域；

生成模块，用于对所述图像空缺区域进行内容填充，得到第二图像。

11.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器，以及存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至9中任一项所述的方法。

12.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述一个或多个处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至9中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1至9中任一项所述的方法。