CN115908120B - 图像处理方法和电子设备 - Google Patents

Abstract

本申请涉及图像处理领域，提供了一种图像处理方法和电子设备，应用于电子设备，包括：获取第一图像与第二图像，第一图像包括第一背景图像区域与目标对象所在的前景图像区域，第二图像包括第二背景图像区域；对第一图像进行图像分割处理，生成第一图像掩膜；基于第一图像掩膜，得到第二图像掩膜；基于第二背景图像区域对第一背景图像区域进行替换处理，生成第三图像；基于第二图像掩膜与第三图像，生成第四图像，第四图像包括遮挡图像区域；基于图像修复网络与第四图像，得到处理后的图像；显示或者保持处理后的图像。基于本申请的方案，在对原始图像进行背景替换时，使得图像中前景图像区域与背景图像区域的过渡更加自然，提高图像质量。

Description

图像处理方法和电子设备

技术领域

本申请涉及图像领域，具体地，涉及一种图像处理方法和电子设备。

背景技术

随着电子设备中图像技术的发展，用户对图像的要求越来越高。例如，用户希望对原始图像进行背景替换处理，生成目标图像（例如，包括原始图像中的前景图像区域与目标背景图像区域）；目前，通常采用图像分割方法，将原始图像中的前景图像区域进行分割；基于前景图像区域与目标背景图像生成目标图像；但是，由于原始图像中的目标对象具体不规则的边缘区域，导致图像分割结果的精度较低，从而使得生成的目标图像中存在前景图像区域与背景图像区域的边缘过渡不自然的问题，导致用户的视觉体验感较差。

因此，在对原始图像进行背景替换的情况下，如何使得图像中的前景图像区域与背景图像区域过渡自然，提高图像质量成为一个亟需解决的问题。

发明内容

本申请提供了一种图像处理方法和电子设备，在对原始图像进行背景替换时，使得图像中前景图像区域与背景图像区域的过渡更加自然，提高图像质量。

第一方面，提供了一种图像处理方法，应用于电子设备，包括：

获取第一图像与第二图像，所述第一图像包括第一背景图像区域与目标对象所在的前景图像区域，所述第二图像包括第二背景图像区域，所述第二背景图像区域与所述第一背景图像区域不同；

对所述第一图像进行图像分割处理，生成第一图像掩膜，所述第一图像掩膜用于指示所述目标对象在所述第一图像中的位置信息；

基于所述第一图像掩膜，得到第二图像掩膜，所述第二图像掩膜用于指示所述目标对象的边缘区域在所述第一图像中的位置信息；

基于所述第二背景图像区域对所述第一背景图像区域进行替换处理，生成第三图像，所述第三图像包括所述第二背景图像区域与所述目标对象所在的前景图像区域；

基于所述第二图像掩膜与所述第三图像，生成第四图像，所述第四图像包括遮挡图像区域，所述遮挡图像区域为基于所述第二图像掩膜得到的图像区域；

基于图像修复网络与所述第四图像，得到处理后的图像，所述图像修复网络用于对所述第四图像中的所述遮挡图像区域进行图像修复处理；

显示或者保持所述处理后的图像。

应理解，目标对象可以是指具体不规则边缘区域的对象。例如，目标对象可以包括但不限于人像、动物、毛绒玩具、或者衣服毛领等。在本申请的实施例中，根据第一图像中目标对象所在的前景图像区域与第二图像中的第二背景图像区域，得到第三图像（例如，背景替换图像）；根据第一图像掩膜（例如，第一图像中目标对象的掩膜）可以得到第二掩膜（例如，目标对象边缘区域的掩膜）；根据第二图像掩膜与第三图像，得到第四图像（例如，对背景替换图像的边缘区域进行遮挡的图像）；通过预先训练的图像修复网络对第四图像中被遮挡的边缘区域进行图像修复处理，生成处理后的图像；在本申请的实施例中，由于通过图像修复网络可以生成目标对象的边缘区域，因此能够在一定程度上避免由于图像分割出现的锯齿、较明显的过渡痕迹、背景残留，或者，前景图像区域的边缘细节不足等问题；通过本申请的实施例，可以对第四图像中前景图像区域与背景图像区域的过渡图像区域进行优化处理，使得生成的处理后的图像中前景图像区域与背景图像区域的过渡更加自然，提高处理后图像的图像质量。

结合第一方面，在第一方面的某些实现方式中，所述基于图像修复网络与所述第四图像，得到处理后的图像，包括：

将所述第四图像输入至所述图像修复网络，得到修复图像，所述修复图像中包括所述遮挡图像区域的像素；

对所述修复图像与所述第三图像进行融合处理，得的所述处理后的图像。

在本申请的实施例中，通过图像修复网络输出的修复图像与第三图像进行融合处理，可以使得生成的处理后的图像在前景图像区域与背景图像区域的过渡更加自然的情况下，使得处理后的图像与背景替换图像的颜色和/或亮度更加接近，提高处理后图像的图像质量。

结合第一方面，在第一方面的某些实现方式中，还包括：

获取第一像素信息，所述第一像素信息用于指示预测的所述第一图像中的高频信息，所述高频信息包括所述目标对象的边缘信息与细节信息；

所述将所述第四图像输入至所述图像修复网络，得到修复图像，包括：

将所述第一像素信息与所述第四图像输入至所述图像修复网络，得到所述修复图像。

在本申请的实施例中，通过获取第一像素信息可以作为图像修复网络的先验信息，使得图像修复网络在进行图像修复处理时，生成的修复图像中的高频信息更加接近真实图像的高频信息，从而提高图像质量。

结合第一方面，在第一方面的某些实现方式中，所述基于所述第一图像掩膜，得到第二图像掩膜，包括：

通过膨胀算法对所述第一图像掩膜进行处理，得到第三图像掩膜；

通过腐蚀算法对所述第二图像掩膜进行处理，得到第四图像掩膜；

基于所述第三图像掩膜和/或所述第四图像掩膜，得到所述第二图像掩膜。

在本申请的实施例中，由于目标对象包括不规则的边缘区域，因此第一图像掩膜的精度通常较低，即第一图像掩膜中通常包括部分分割错误的区域；一般而言，分割错误的区域通常位于目标对象所在的前景图像区域与背景图像区域之间的过渡区域；通过第一图像进行膨胀算法处理，可以使得第一图像掩膜向外扩展得到第三图像掩膜（例如，膨胀掩膜）；通过对第一图像掩膜进行腐蚀算法处理，可以使得第一图像掩膜向内缩小，得到第四图像掩膜（例如，腐蚀掩膜）；进而，根据膨胀掩膜和/或腐蚀掩膜，可以得到可能存在错误的分割边缘区域。

结合第一方面，在第一方面的某些实现方式中，所述基于所述第三图像掩膜和/或所述第四图像掩膜，得到所述第二图像掩膜，包括：

通过对所述第三图像掩膜与所述第四图像掩膜作差，得到所述第二图像掩膜。

结合第一方面，在第一方面的某些实现方式中，还包括：

获取所述第一图像中预设区域的图像掩膜；

所述基于所述第三图像掩膜和/或所述第四图像掩膜，得到所述第二图像掩膜，包括：

基于所述预设区域的图像掩膜与所述第四图像掩膜，得到所述第二图像掩膜。

结合第一方面，在第一方面的某些实现方式中，在所述第一图像掩膜为人像掩膜的情况下，所述预设区域的掩膜为所述人像的发丝区域的图像掩膜，所述基于所述预设区域的图像掩膜与所述第四图像掩膜，得到所述第二图像掩膜，包括：

确定所述第四图像掩膜与所述发丝区域的图像掩膜的交集的信息；

通过所述发丝区域的图像掩膜与所述交集作差，得到所述第二图像掩膜。

结合第一方面，在第一方面的某些实现方式中，所述图像修复网络为通过以下训练方法得到的：

获取样本数据集合，所述样本数据集合包括第一样本图像与第二样本图像，所述第一样本图像与所述第二样本图像相对应，所述第二样本图像中包括样本遮挡图像区域，所述样本遮挡图像区域包括所述第二样本图像中前景图像区域与背景图像区域之间的边缘图像区域：

将所述第二样本图像输入至待训练的图像修复网络，得到预测图像；

基于所述预测图像与所述第一样本图像之间的差异更新所述待训练的图像修复网络的参数，得到所述图像修复网络。

在本申请的实施例中，预先训练的图像修复网络是通过大量的样本图像训练得到的网络，因此图像修复网络能够学习大量的样本前景图像区域与样本背景图像区域之间过渡图像区域的信息；在通过图像修复网络对边缘区域被遮挡的图像进行图像修复处理时，能够在一定程度上避免出现分割导致的锯齿问题、较明显的过渡痕迹、存在原始图像的背景残留的问题，或者，前景图像区域的边缘细节不足等问题；通过本申请的实施例，可以对背景替换图像中前景图像区域与背景图像区域的过渡图像区域进行优化处理，使得生成的处理后的图像中前景图像区域与背景图像区域的过渡更加自然，提高处理后图像的图像质量。

结合第一方面，在第一方面的某些实现方式中，所述目标包括人像，所述人像包括发丝区域。

第二方面，提供了一种电子设备，电子设备包括一个或多个处理器与存储器；存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得电子设备执行：

获取第一图像与第二图像，所述第一图像包括第一背景图像区域与目标对象所在的前景图像区域，所述第二图像包括第二背景图像区域，所述第二背景图像区域与所述第一背景图像区域不同；

对所述第一图像进行图像分割处理，生成第一图像掩膜，所述第一图像掩膜用于指示所述目标对象在所述第一图像中的位置信息；

基于所述第一图像掩膜，得到第二图像掩膜，所述第二图像掩膜用于指示所述目标对象的边缘区域在所述第一图像中的位置信息；

基于所述第二背景图像区域对所述第一背景图像区域进行替换处理，生成第三图像，所述第三图像包括所述第二背景图像区域与所述目标对象所在的前景图像区域；

基于所述第二图像掩膜与所述第三图像，生成第四图像，所述第四图像包括遮挡图像区域，所述遮挡图像区域为基于所述第二图像掩膜得到的图像区域；

基于图像修复网络与所述第四图像，得到处理后的图像，所述图像修复网络用于对所述第四图像中的所述遮挡图像区域进行图像修复处理；

显示或者保持所述处理后的图像。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

将所述第四图像输入至所述图像修复网络，得到修复图像，所述修复图像中包括所述遮挡图像区域的像素；

对所述修复图像与所述第三图像进行融合处理，得的所述处理后的图像。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

获取第一像素信息，所述第一像素信息用于指示预测的所述第一图像中的高频信息，所述高频信息包括所述目标对象的边缘信息与细节信息；

所述将所述第四图像输入至所述图像修复网络，得到修复图像，包括：

将所述第一像素信息与所述第四图像输入至所述图像修复网络，得到所述修复图像。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

通过膨胀算法对所述第一图像掩膜进行处理，得到第三图像掩膜；

通过腐蚀算法对所述第二图像掩膜进行处理，得到第四图像掩膜；

基于所述第三图像掩膜和/或所述第四图像掩膜，得到所述第二图像掩膜。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

通过对所述第三图像掩膜与所述第四图像掩膜作差，得到所述第二图像掩膜。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

获取所述第一图像中预设区域的图像掩膜；

所述基于所述第三图像掩膜和/或所述第四图像掩膜，得到所述第二图像掩膜，包括：

基于所述预设区域的图像掩膜与所述第四图像掩膜，得到所述第二图像掩膜。

结合第二方面，在第二方面的某些实现方式中，在所述第一图像掩膜为人像掩膜的情况下，所述预设区域的掩膜为所述人像的发丝区域的图像掩膜，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

确定所述第四图像掩膜与所述发丝区域的图像掩膜的交集的信息；

通过所述发丝区域的图像掩膜与所述交集作差，得到所述第二图像掩膜。

结合第二方面，在第二方面的某些实现方式中，所述图像修复网络为通过以下训练方法得到的：

获取样本数据集合，所述样本数据集合包括第一样本图像与第二样本图像，所述第一样本图像与所述第二样本图像相对应，所述第二样本图像中包括样本遮挡图像区域，所述样本遮挡图像区域包括所述第二样本图像中前景图像区域与背景图像区域之间的边缘图像区域：

将所述第二样本图像输入至待训练的图像修复网络，得到预测图像；

基于所述预测图像与所述第一样本图像之间的差异更新所述待训练的图像修复网络的参数，得到所述图像修复网络。

结合第二方面，在第二方面的某些实现方式中，所述目标包括人像，所述人像包括发丝区域。

第三方面，提供了一种电子设备，包括用于执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法的模块/单元。

第四方面，提供一种电子设备，所述电子设备包括一个或多个处理器和存储器与；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。

第五方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种图像处理方法。

第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。

第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。

在本申请的实施例中，根据第一图像中目标对象所在的前景图像区域与第二图像中的第二背景图像区域，得到第三图像（例如，背景替换图像）；根据第一图像掩膜（例如，第一图像中目标对象的掩膜）可以得到第二掩膜（例如，目标对象边缘区域的掩膜）；根据第二图像掩膜与第三图像，得到第四图像（例如，对背景替换图像的边缘区域进行遮挡的图像）；通过预先训练的图像修复网络对第四图像中被遮挡的边缘区域进行图像修复处理，生成处理后的图像；在本申请的实施例中，由于通过图像修复网络可以生成目标对象的边缘区域，因此能够在一定程度上避免由于图像分割出现的锯齿、较明显的过渡痕迹、背景残留，或者，前景图像区域的边缘细节不足等问题；通过本申请的实施例，可以对第四图像中前景图像区域与背景图像区域的过渡图像区域进行优化处理，使得生成的处理后的图像中前景图像区域与背景图像区域的过渡更加自然，提高处理后图像的图像质量。

附图说明

图1是一种适用于本申请的电子设备的硬件系统的示意图；

图2是一种适用于本申请的电子设备的软件系统的示意图；

图3是一种适用于本申请实施例的应用场景的示意图；

图4是本申请实施例提供的一种图像处理方法的示意性流程图；

图5是本申请实施例提供的图像掩膜的示意图；

图6是本申请实施例提供的另一种图像处理方法的示意性流程图；

图7是本申请实施例提供的又一种图像处理方法的示意性流程图；

图8是本申请实施例提供的再一种图像处理方法的示意性流程图；

图9是本申请实施例提供的一种图像修复网络的训练方法的示意性流程图；

图10是本申请实施例提供的再一种图像处理方法的示意性流程图；

图11是一种适用于本申请实施例的图形用户界面的示意图；

图12是另一种适用于本申请实施例的图形用户界面的示意图；

图13是再一种适用于本申请实施例的图形用户界面的示意图；

图14是本申请实施例提供的一种电子设备的结构示意图；

图15是本申请实施例提供的另一种电子设备的结构示意图。

具体实施方式

在本申请的实施例中，以下术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

为了便于对本申请实施例的理解，首先对本申请实施例中涉及的相关概念进行简要说明。

1、掩膜（mask）

通过选定的图像、图形或物体，对处理的图像（全部或局部）进行遮挡，从而控制图像的处理区域，其中用于遮挡的选定图像或者物体称为掩膜或模板。

2、膨胀处理

膨胀处理是指选取每个像素位置邻域内的最大值作为输出的灰度值。

3、腐蚀处理

腐蚀处理与中值平滑处理相类似；腐蚀处理是指选取每个像素位置的一个邻域内的最小值。

4、高频信息

高频信息是指图像中灰度值变化剧烈的区域；例如，图像中的高频信息包括物体的边缘信息、纹理信息等。

5、泊松融合

泊松融合是指通过目标图像在融合图像区域根据原始图像的梯度场生成新的图像的融合方式。

可以理解为，通过泊松融合的方式只需要根据原始图像的梯度场，可以使得目标图像根据自身特点，基于原始图像对应的梯度场生成融合图像区域。

6、神经网络

神经网络是指将多个单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入；每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。

7、卷积神经网络（convolutional neuron network，CNN）

卷积神经网络是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征选取器，该特征选取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。

8、反向传播算法

神经网络可以采用误差反向传播（back propagation，BP）算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。

示例性地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。

下面将结合附图，对本申请实施例中提供的图像处理方法和电子设备进行描述。

图1示出了一种适用于本申请的电子设备的硬件系统。

电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

需要说明的是，图1所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图1所示的部件更多或更少的部件，或者，电子设备100可以包括图1所示的部件中某些部件的组合，或者，电子设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器（application processor，AP）、调制解调处理器、图形处理器（graphics processing unit，GPU）、图像信号处理器（image signal processor，ISP）、控制器、视频编解码器、数字信号处理器（digital signal processor，DSP）、基带处理器、神经网络处理器（neural-network processing unit，NPU）。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。例如，处理器110可以包括以下接口中的至少一个：内部集成电路（inter-integrated circuit，I2C）接口、内部集成电路音频（inter-integrated circuit sound，I2S）接口、脉冲编码调制（pulse codemodulation，PCM）接口、通用异步接收传输器（universal asynchronous receiver/transmitter，UART）接口、移动产业处理器接口（mobile industry processor interface，MIPI）、通用输入输出（general-purpose input/output，GPIO）接口、SIM接口、USB接口。

示例性地，在本申请的实施例中，处理器110可以用于执行本申请实施例提供的图像处理方法；例如，获取第一图像与第二图像，第一图像包括第一背景图像区域与目标对象所在的前景图像区域，第二图像包括第二背景图像区域，第二背景图像区域与第一背景图像区域不同；对第一图像进行图像分割处理，生成第一图像掩膜，第一图像掩膜用于指示目标对象在第一图像中的位置信息；基于第一图像掩膜，得到第二图像掩膜，第二图像掩膜用于指示目标对象的边缘区域在第一图像中的位置信息；基于第二背景图像区域对第一背景图像区域进行替换处理，生成第三图像，第三图像包括第二背景图像区域与目标对象所在的前景图像区域；基于第二图像掩膜与第三图像，生成第四图像，第四图像包括遮挡图像区域，遮挡图像区域为基于第二图像掩膜得到的图像区域；基于图像修复网络与第四图像，得到处理后的图像，图像修复网络用于对第四图像中的遮挡图像区域进行图像修复处理；显示或者保持处理后的图像。

图1所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194可以用于显示图像或视频。

可选地，显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD）、有机发光二极管（organic light-emitting diode，OLED）、有源矩阵有机发光二极体（active-matrix organic light-emitting diode，AMOLED）、柔性发光二极管（flex light-emitting diode，FLED）、迷你发光二极管（mini light-emitting diode，Mini LED）、微型发光二极管（micro light-emitting diode，Micro LED）、微型OLED （Micro OLED）或量子点发光二极管（quantum dotlight emitting diodes，QLED）。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

示例性地，电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

示例性地，ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过摄像头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

示例性地，摄像头193（也可以称为镜头）用于捕获静态图像或视频。可以通过应用程序指令触发开启，实现拍照功能，如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的所有物体（也可以称为待拍摄场景、目标场景，也可以理解为用户期待拍摄的场景图像）发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波（例如除可见光外的光波，如红外）滤去；图像传感器可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor，CMOS)光电晶体管。图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。

示例性地，数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

示例性地，视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，MPEG）1、MPEG2、MPEG3和MPEG4。

示例性地，陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴（即，x轴、y轴和z轴）的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。

示例性地，加速度传感器180E可检测电子设备100在各个方向上（一般为x轴、y轴和z轴）加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。

示例性地，距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180F测距以实现快速对焦。

示例性地，环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

示例性地，指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。

示例性地，触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。

上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。

图2是本申请实施例提供的电子设备的软件系统的示意图。

如图2所示，系统架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。

示例性地，应用层210可以包括相机应用程序。

可选地，应用层210还可以包括图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。

示例性地，应用框架层220为应用程序层的应用程序提供应用程序编程接口（application programming interface，API）和编程框架；应用程序框架层可以包括一些预定义的函数。

例如，应用框架层220可以包括相机访问接口；相机访问接口中可以包括相机管理与相机设备。其中，相机管理可以用于提供管理相机的访问接口；相机设备可以用于提供访问相机的接口。

示例性地，硬件抽象层230用于将硬件抽象化。例如，硬件抽象层可以包相机抽象层以及其他硬件设备抽象层；相机抽象层中可以包括相机设备1、相机设备2等；相机硬件抽象层可以与相机算法库相连接，相机硬件抽象层可以调用相机算法库中的算法。

示例性地，相机算法库中包括图像处理算法，图像处理算法用于执行本申请实施例提供的图像处理方法。

驱动层240用于为不同硬件设备提供驱动。比如，驱动层可以包括相机设备驱动。

硬件层250可以包括相机模组以及其他硬件设备。

目前，对于专业的人像摄影师来说，可以使用图像编辑软件提取目标对象（例如，人像）的前景图像区域，然后搭配背景图像区域进行融合得到边缘过渡自然的目标图像。但是，对于日常生活中更多地使用智能电子设备进行拍摄的普通用户来说，使得图像编辑软件操作复杂且耗时；因此，通常采用图像分割方法，将原始图像中的前景图像区域进行分割；基于前景图像区域与目标背景图像生成目标图像；但是，由于原始图像中的目标对象具体不规则的边缘区域，导致图像分割结果的精度较低，从而使得生成的目标图像中存在前景图像区域与背景图像区域的边缘过渡不自然的问题，导致用户的视觉体验感较差。

有鉴于此，本申请实施例提供了一种图像处理方法和电子设备；在本申请的方案中，根据第一图像中目标对象所在的前景图像区域与第二图像中的第二背景图像区域，得到第三图像（例如，背景替换图像）；根据第一图像掩膜（例如，第一图像中目标对象的掩膜）可以得到第二掩膜（例如，目标对象边缘区域的掩膜）；根据第二图像掩膜与第三图像，得到第四图像（例如，对背景替换图像的边缘区域进行遮挡的图像）；通过预先训练的图像修复网络对第四图像中被遮挡的边缘区域进行图像修复处理，生成处理后的图像；在本申请的实施例中，由于通过图像修复网络可以生成目标对象的边缘区域，因此能够在一定程度上避免由于图像分割出现的锯齿、较明显的过渡痕迹、背景残留，或者，前景图像区域的边缘细节不足等问题；通过本申请的实施例，可以对第四图像中前景图像区域与背景图像区域的过渡图像区域进行优化处理，使得生成的处理后的图像中前景图像区域与背景图像区域的过渡更加自然，提高处理后图像的图像质量。

图3是本申请实施例提供的图像处理方法的应用场景的示意图。

示例性地，本申请实施例中的图像处理方法可以应用于图像处理领域；例如，本申请的图像处理方法可以应用于对图像进行背景替换处理，生成包括新背景的图像。

例如，如图3所示，图3中的（a）可以是指原始图像，原始图像中包括前景图像区域260与背景图像区域270；图3中的（b）包括目标背景图像区域280；根据原始图像中的前景图像区域260与目标背景图像区域280生成新背景的图像，如图3中的（c）所示。

应理解，原始图像与新背景的图像中包括相同的前景图像区域；可以理解为，原始图像与新背景的图像中包括相同的目标对象；其中，目标对象可以是指具有不规则边缘区域的对象。例如，目标对象可以包括但不限于人像、动物、毛绒玩具、或者衣服毛领等

可选地，本申请实施例中的图像处理方法可以应用于图像处理应用程序，或者，视频通话场景等。

示例性地，视频通话场景可以包括但不限于以下场景中：

视频通话应用程序、视频会议应用程序、长短视频应用程序、视频直播类应用程序、视频网课应用程序等。

可选地，本申请实施例提供的图像处理方法还可以应用于：景区背景替换、背景虚化替换、会议场景替换，也可将人像背景替换迁移到其他物体的背景替换等场景。

应理解，上述为对应用场景的举例说明，并不对本申请的应用场景作任何限定。

下面结合图4至图10对本申请实施例提供的图像处理方法进行详细地描述。

实现方式一

图4是本申请实施例提供的一种图像处理方法的示意性流程图。该方法300可以由图1所示的电子设备执行；该方法300包括S301至S307，下面分别对S301至S307进行详细的描述。

S301、获取原始图像，原始图像中包括目标对象。

需要说明的是，目标对象可以是指具体不规则边缘区域的对象。例如，目标对象可以包括但不限于人像、动物、毛绒玩具、或者衣服毛领等。

应理解，原始图像中可以包括前景图像区域与背景图像区域，前景图像区域中包括目标对象。

可选地，原始图像可以是指电子设备中相机应用程序采集的图像；或者，原始图像也可以是指电子设备下载的图像。

示例性地，如图3所示，图3中的（a）可以表示原始图像；原始图像中包括目标对象260；目标对象260为人像。

S302、通过分割网络对原始图像进行处理，得到目标对象的掩膜（mask）。

其中，分割网络可以用于对输入的图像进行图像分割处理，输出分割结果；分割结果中包括图像中的前景区域的掩膜与背景区域的掩膜。

可选地，在本申请的实施例中，分割网络可以采用现有的任意一种用于进行图像分割处理的神经网络；本申请对此不做任何限定。

示例性地，将原始图像输入至分割网络，分割网络可以输出目标对象的掩膜；通过原始图像与目标对象的掩膜相乘，可以得到目标对象所在的图像区域，即前景图像区域；通过原始图像与（1-目标对象的掩膜）相乘，可以得到除目标对象之外的图像区域，即背景图像区域。

例如，目标对象的掩膜如图5中的（a）所示；在本申请的实施例中，由于目标对象包括不规则边缘区域，因此通常分割网络无法进行精细分割，即目标对象的掩膜的准确性较低；如图5中的（a）所示的图像区域308，目标对象为人像，人像中包揽发丝区域，发丝区域的分割准确性较低。

在一个示例中，目标对象为人像，则原始图像中包括人像；将原始图像输入至分割网络，输出人像掩膜（mask）；通过原始图像与人像掩膜相乘，得到人像所在的图像区域；可以理解为，得到原始图像中的前景区域；通过（1-人像掩膜）与原始图像相乘，得到除人像之外的图像区域；可以理解为，得到背景区域。

应理解，上述以目标对象为人像进行举例说明；在本申请的实施例中，目标对象是指具体不规则边缘区域的对象；本申请对此不作任何限定。

S303、基于目标对象的掩膜，得到目标对象边缘区域的信息。

可选地，目标对象边缘区域的信息可以是指目标对象边缘区域的位置信息；例如，目标对象边缘区域的掩膜。

示例性地，可以通过对目标对象的掩膜进行膨胀算法处理，得到掩膜1（例如，膨胀mask）；通过对目标对象的掩膜进行腐蚀算法的处理，得到掩膜2（例如，腐蚀mask）；通过对掩膜2与掩膜1作差，得到目标对象的边缘区域。

例如，如图5中的（a）所示为目标对象的掩膜；图5中的（b）所示的为膨胀掩膜，膨胀掩膜是指对目标对象的掩膜进行膨胀算法处理后，得到的掩膜；图5中的（c）所示的为腐蚀掩膜，腐蚀掩膜是指对目标对象的掩膜进行腐蚀算法处理后，得到的掩膜；图5中的（d）为目标对象的边缘区域的掩膜，目标对象的边缘区域的掩膜是指通过对膨胀掩膜与腐蚀掩膜进行作差，得到的掩膜。

应理解，分割网络的精度通常较低，因此输出的目标对象的掩膜中通常包括分割错误的区域；一般而言，分割错误的区域通常位于原始图像中前景图像区域与背景图像区域之间的过渡区域；通过对目标对象的掩膜进行膨胀算法处理，可以使得前景图像区域向外扩展,得到膨胀mask；通过对目标对象的掩膜进行腐蚀算法处理，可以使得前景图像区域向内缩小,得到腐蚀mask；通过膨胀mask与腐蚀mask作差，可以得到目标对象的边缘区域。

S304、获取目标背景图像。

需要说明的是，目标背景图像用于对原始图像进行背景替换图像；可以理解为，目标背景图像用于对原始图像中的背景图像区域进行替换处理。

S305、基于目标对象的掩膜与目标背景图像，得到背景替换图像。

可选地，根据目标对象的掩膜可以在原始图像中获取目标对象所在的图像区域；即可以获取原始图像中的前景图像区域；通过对前景图像区域与目标背景图像的融合，得到背景替换图像。

示例性地，背景替换图像=原始图像×目标对象的掩膜+目标背景图像×（1-目标对象的掩膜）。

应理解，由于原始图像中包括目标对象，目标对象为具有不规则边缘区域的对象；因此，分割网络进行精细分割的难度较大，得到的目标对象的掩膜的精度较低；通过目标对象的掩膜、原始图像与背景图像直接得到的背景替换图像的图像质量较差；例如，在背景替换图像中前景图像区域与背景图像区域的过渡区域存在图像细节较差，或者过渡不自然等问题。

可选地，通过后续S306至S308，可以对背景替换图像中前景图像区域与背景图像区域的过渡区域进行处理，使得处理后的图像中前景图像区域与背景图像区域的过渡区域过渡自然，整体图像更加符合用户的视觉感官。

S306、基于背景替换图像与目标对象边缘区域的信息，得到边缘区域被遮挡的图像。

可选地，可以根据目标对象边缘区域的信息对背景替换图像中目标对象边缘区域进行遮挡处理，得到边缘区域被遮挡的图像；遮挡处理可以理解为覆盖（或者去除）背景替换图像中目标对象边缘区域的像素。

示例性地，边缘区域被遮挡的图像=背景替换图像×（1-目标对象的掩膜）。

S307、基于边缘区域被遮挡的图像与图像修复网络，得到处理后的图像。

可选地，可以边缘区域被遮挡的图像输入至图像修复网络，图像修复网络可以对边缘被遮挡区域进行图像修复处理，输出处理后的图像。

可选地，图像修复网络为预先训练的神经网络；例如，图像修复网络可以为预先训练的卷积神经网络；图像修复网络的训练过程可以参加后续图9的相关描述，此处不再赘述。

在本申请的实施例中，根据原始图像中的前景图像区域（例如，目标对象所在图像区域）与目标背景图像，得到背景替换图像；根据原始图像中目标对象的掩膜可以得到目标对象的边缘区域；对背景替换图像中目标对象的边缘区域进行像素覆盖处理，得到边缘区域被遮挡的图像；可以理解为，像素覆盖处理是指丢弃背景替换图像中目标对象的边缘区域的像素，生成边缘区域被遮挡的图像；通过预先训练的图像修复网络对边缘区域被遮挡的图像进行图像修复处理，生成处理后的图像；由于预先训练的图像修复网络是通过大量的样本图像训练得到的网络，因此图像修复网络能够学习大量的样本前景图像区域与样本背景图像区域之间过渡图像区域的信息；在通过图像修复网络对边缘区域被遮挡的图像进行图像修复处理时，能够在一定程度上避免出现分割导致的锯齿问题、较明显的过渡痕迹、存在原始图像的背景残留的问题，或者，前景图像区域的边缘细节不足等问题；通过本申请的实施例，可以对背景替换图像中前景图像区域与背景图像区域的过渡图像区域进行优化处理，使得生成的处理后的图像中前景图像区域与背景图像区域的过渡更加自然，提高处理后图像的图像质量。

实现方式二

在一种实现方式中，为了使得处理后图像中前景图像区域与背景图像区域过渡区域的亮度和/或颜色与背景替换图像保持一致性，可以对图像修复网络输出的图像与背景替换图像进行融合处理，得到处理后的图像。

图6是本申请实施例提供的一种图像处理方法的示意性流程图。该方法400可以由图1所示的电子设备执行；该方法400包括S401至S408，下面分别对S401至S408进行详细的描述。

S401、获取原始图像，原始图像中包括目标对象。

S402、通过分割网络对原始图像进行处理，得到目标对象的掩膜（mask）。

S403、基于目标对象的掩膜，得到目标对象边缘区域的信息。

S404、获取目标背景图像。

需要说明的是，目标背景图像用于对原始图像进行背景替换图像；可以理解为，目标背景图像用于对原始图像中的背景图像区域进行替换处理。

S405、基于目标对象的掩膜与目标背景图像，得到背景替换图像。

S406、基于背景替换图像与目标对象边缘区域的信息，得到边缘区域被遮挡的图像。

S407、将边缘区域被遮挡的图像输入至图像修复网络，输出修复图像。

可选地，图像修复网络可以是预先训练的神经网络模型；图像修复网络的训练方法可以参见后续图9的相关描述，此处再赘述。

S408、对修复图像与背景替换图像进行融合处理，得到处理后的图像。

可选地，根据目标对象边缘区域的信息获取背景替换图像与修复图像中的像素，对背景替换图像中目标对象边缘区域的像素与修复图像中目标对象边缘区域的像素进行融合处理，得到处理后的图像。

示例性地，对修复图像与背景替换图像进行泊松融合处理，得到处理后的图像。

需要说明的是，图6中与图4相同的步骤可以参见图4的相关描述，此处不再赘述。

应理解，实现方式一与实现方式二的区别在于，在实现方式一中图像修复网络输出的为处理后的图像；在实现方式二中，将图像修复网络输出的图像与背景替换图像进行融合处理，生成处理后的图像；在实现方式二中，通过图像修复网络与背景替换图像进行融合处理，使得生成的处理后的图像的颜色和/或亮度与背景替换图像更加接近。

在本申请的实施例中，根据原始图像中的前景图像区域（例如，目标对象所在图像区域）与目标背景图像，得到背景替换图像；根据原始图像中目标对象的掩膜可以得到目标对象的边缘区域；对背景替换图像中目标对象的边缘区域进行像素覆盖处理，得到边缘区域被遮挡的图像；可以理解为，像素覆盖处理是指丢弃背景替换图像中目标对象的边缘区域的像素，生成边缘区域被遮挡的图像；通过预先训练的图像修复网络对边缘区域被遮挡的图像进行图像修复处理，生成处理后的图像；由于预先训练的图像修复网络是通过大量的样本图像训练得到的网络，因此图像修复网络能够学习大量的样本前景图像区域与样本背景图像区域之间过渡图像区域的信息；在通过图像修复网络对边缘区域被遮挡的图像进行图像修复处理时，能够在一定程度上避免出现分割导致的锯齿问题、较明显的过渡痕迹、存在原始图像的背景残留的问题，或者，前景图像区域的边缘细节不足等问题；通过本申请的实施例，可以对背景替换图像中前景图像区域与背景图像区域的过渡图像区域进行优化处理，使得生成的处理后的图像中前景图像区域与背景图像区域的过渡更加自然，提高处理后图像的图像质量。

此外，在本申请的实施例中，通过图像修复网络输出的修复图像与背景替换图像进行融合处理，可以使得生成的处理后的图像在前景图像区域与背景图像区域的过渡更加自然的情况下，使得处理后的图像与背景替换图像的颜色和/或亮度更加接近，提高处理后图像的图像质量。

实现方式三

可选地，在本申请的实施例中，为了提高目标对象边缘区域的信息的准确性，可以获取预设区域掩膜；基于预配置掩膜与目标对象掩膜，得到目标对象边缘区域的信息。

图7是本申请实施例提供的一种图像处理方法的示意性流程图。该方法500可以由图1所示的电子设备执行；该方法500包括S501至S510，下面分别对S501至S510进行详细的描述。

应理解，图7所示的步骤以目标对象为人像进行举例说明；目标对象可以是指具体不规则边缘区域的对象。例如，目标对象还可以是指动物、毛绒玩具、或者衣服毛领等；本申请实施例对目标对象不作任何限定。

S501、获取原始图像，原始图像包括人像。

可选地，原始图像可以是指电子设备中相机应用程序采集的图像；或者，原始图像也可以是指电子设备下载的图像。

示例性地，原始图像中可以包括前景图像区域与背景图像区域，前景图像区域为人像所在的图像区域。

S502、通过分割网络对原始图像进行处理，得到人像掩膜（mask）。

其中，分割网络可以用于对输入的图像进行图像分割处理，输出分割结果；分割结果中包括图像中的前景区域的掩膜（例如，人像掩膜）与背景区域的掩膜。

可选地，在本申请的实施例中，分割网络可以采用现有的任意一种用于进行图像分割处理的神经网络；本申请对此不做任何限定。

示例性地，原始图像中包括人像；将原始图像输入至分割网络，输出人像掩膜（mask）；通过原始图像与人像掩膜相乘，得到人像所在的图像区域；可以理解为，人像掩膜为原始图像中的前景区域的掩膜；通过（1-人像掩膜）与原始图像相乘，得到除人像之外的图像区域；可以理解为，得到背景区域。

应理解，上述以目标对象为人像进行举例说明；在本申请的实施例中，目标对象是指具体不规则边缘区域的对象；本申请对此不作任何限定。

S503、获取预设区域掩膜。

可选地，在目标对象为人像的情况下，预设区域掩膜可以包括但不限于：发丝边缘区域的掩膜，手指区域的掩膜，或者手掌区域的掩膜中的一项或者多项。

应理解，对于人像而言，发丝区域或者手指区域为分割网络难以精细分割的图像区域，因此可以通过预设区域掩膜对人像边缘区域进行补充与完善，提高人像边缘区域精细度与准确性。

S504、基于人像掩膜与预设区域掩膜，得到人像边缘区域的信息。

可选地，对于人像的不同边缘区域，可以根据不同的处理策略对人像掩膜与预设区域掩膜进行处理，生成人像边缘区域的信息。

可选地，预设区域掩膜可以包括但不限于：脸部掩膜、发丝区域掩膜、手指掩膜等。

示例性地，对于人像发丝图像区域，可以通过人体解析的方式获取原始图像中包括的发丝区域的掩膜；通过对人像掩膜进行腐蚀处理，得到掩膜2（例如，腐蚀mask）；根据掩膜2与发丝区域的掩膜的交集，得到掩膜3；通过发丝区域的掩膜与掩膜3作差，得到人像边缘区域的信息。

在本申请的实施例中，由于人像的发丝区域通常可以包括人像主体的发丝图像区域与背景中的发丝图像区域；人像主体的发丝图像区域通常分割的精度较准确，背景中的发丝图像区域通常分割的精度较低；在本申请的实施例中，通过掩膜2与发丝区域的掩膜的交集，为了去除人像主体的发丝图像区域，确定分割精度较低的背景中的发丝图像区域。

示例性地，对于人像手指图像区域，对原始图像进行手指检测，得到原始图像中的手指框；对手指框对应的图像区域进行图像分割处理，得到手指掩膜；对手指掩膜进行膨胀处理，得到手指掩膜1（例如，手指膨胀mask）；对手指掩膜进行腐蚀处理，得到手指掩膜2（例如，手指腐蚀mask）；对手指掩膜1与手指掩膜2作差，得到手指边缘区域的信息（例如，手指边缘区域的掩膜）。

应理解，分割网络的精度通常较低，因此输出的目标对象的掩膜中通常包括分割错误的区域；一般而言，分割错误的区域通常位于原始图像中前景图像区域与背景图像区域之间的过渡区域；通过对目标对象的掩膜进行膨胀算法处理，可以使得前景图像区域向外扩展,得到膨胀mask；通过对目标对象的掩膜进行腐蚀算法处理，可以使得前景图像区域向内缩小,得到腐蚀mask；通过膨胀mask与腐蚀mask作差，可以得到目标对象的边缘区域。

S505、获取目标背景图像。

需要说明的是，目标背景图像用于对原始图像进行背景替换图像；可以理解为，目标背景图像用于对原始图像中的背景图像区域进行替换处理。

S506、基于人像掩膜与目标背景图像，得到背景替换图像。

可选地，根据人像掩膜可以在原始图像中获取人像所在的图像区域；即可以获取原始图像中的前景图像区域；通过对人像所在图像区域与目标背景图像的融合，得到背景替换图像。

示例性地，背景替换图像=原始图像×人像掩膜+目标背景图像×（1-人像掩膜）。

应理解，由于原始图像中包括人像，人像具有不规则边缘区域，例如，人像的发丝区域、人像的是指区域等；因此，分割网络进行精细分割的难度较大，得到的人像掩膜的精度较低；通过人像掩膜、原始图像与目标背景图像直接得到的背景替换图像的图像质量较差；例如，在背景替换图像中人像所在图像区域与背景图像区域的过渡区域存在图像细节较差，或者过渡不自然等问题。

可选地，通过后续S507至S510，可以对背景替换图像中人像所在图像区域与背景图像区域的过渡区域进行处理，使得处理后的图像中人像所在图像区域与背景图像区域的过渡区域过渡自然，整体图像更加符合用户的视觉感官。

S507、基于背景替换图像与人像边缘区域的信息，得到边缘区域被遮挡的图像。

可选地，可以根据人像边缘区域的信息对背景替换图像中人像边缘区域进行遮挡处理，得到边缘区域被遮挡的图像；遮挡处理可以理解为覆盖（或者去除）背景替换图像中人像边缘区域的像素。

示例性地，边缘区域被遮挡的图像=背景替换图像×（1-人像边缘区域的掩膜）。

S508、获取预测的高频信息。

应理解，高频信息是指图像中灰度值变化剧烈的区域；例如，图像中的高频信息包括物体的边缘信息、纹理信息等。

示例性地，可以获取预先训练的高频信息修复网络，将边缘区域被遮挡的图像输入至高频信息修复网络中，得到预测的高频信息；其中，预先训练的高频信息修复网络可以是指现有的任意一种修复网络。

应理解，S508为可选地步骤，图7所示的图像处理方法也可以不包括S508；可以理解为，在一种的可能实现方式中，在执行S507之后可以执行S509。

S509、将边缘区域被遮挡的图像与预测的高频信息输入至图像修复网络，得到修复图像。

可选地，图像修复模型可以以预测的高频信息为先验信息，对边缘被遮挡的图像进行图像修复处理，修复边缘被遮挡区域的细节信息，得到修复图像。

可选地，若无法通过一次图像修复处理修复边缘被遮挡的图像的细节信息，则可以分阶段进行图像修复处理。

示例性地，可以先修复边缘被遮挡的图像的基础区域，再修复边缘被遮挡的图像的预设区域（例如，手指区域），再修复边缘被遮挡的图像的精细区域（例如，发丝区域）；此外，在图像修复处理过程中可以使用响应的高频引导的图像修复处理，使得修复图像更接近真实图像。

在本申请的实施例中，可以获取预测的原始图像的高频信息；在图像修复网络对边缘区域被遮挡的图像进行图像修复处理时，可以以预测的原始图像的高频信息作为先验信息，从而在一定程度上能够减小图像修复网络的运算量，提高图像修复网络的准确性。

S510、对修复图像与背景替换图像进行融合处理，得到处理后的图像。

可选地，根据人像边缘区域的信息获取背景替换图像与修复图像中的像素，对背景替换图像中人像边缘区域的像素与修复图像中人像边缘区域的像素进行融合处理，得到处理后的图像。

示例性地，对修复图像与背景替换图像进行泊松融合处理，得到处理后的图像。

在本申请的实施例中，根据原始图像中的前景图像区域（例如，目标对象所在图像区域）与目标背景图像，得到背景替换图像；根据原始图像中目标对象的掩膜可以得到目标对象的边缘区域；对背景替换图像中目标对象的边缘区域进行像素覆盖处理，得到边缘区域被遮挡的图像；可以理解为，像素覆盖处理是指丢弃背景替换图像中目标对象的边缘区域的像素，生成边缘区域被遮挡的图像；通过预先训练的图像修复网络对边缘区域被遮挡的图像进行图像修复处理，生成处理后的图像；由于预先训练的图像修复网络是通过大量的样本图像训练得到的网络，因此图像修复网络能够学习大量的样本前景图像区域与样本背景图像区域之间过渡图像区域的信息；在通过图像修复网络对边缘区域被遮挡的图像进行图像修复处理时，能够在一定程度上避免出现分割导致的锯齿问题、较明显的过渡痕迹、存在原始图像的背景残留的问题，或者，前景图像区域的边缘细节不足等问题；通过本申请的实施例，可以对背景替换图像中前景图像区域与背景图像区域的过渡图像区域进行优化处理，使得生成的处理后的图像中前景图像区域与背景图像区域的过渡更加自然，提高处理后图像的图像质量。

此外，在本申请的实施例中，通过预配置区域掩膜可以使得生成的人像边缘区域的信息更加准确；通过获取的预测高频信息可以作为图像修复网络的先验信息，使得图像修复网络在进行图像修复处理时，生成的修复图像中的高频信息更加接近真实图像的高频信息；并且，在本申请的实施例中，通过图像修复网络输出的修复图像与背景替换图像进行融合处理，可以使得生成的处理后的图像在前景图像区域与背景图像区域的过渡更加自然的情况下，使得处理后的图像与背景替换图像的颜色和/或亮度更加接近，提高处理后图像的图像质量。

图8是以原始图像中包括人像，对本申请实施例提供的图像处理方法进行举例说明；图8所示的方法600可以由图1所示的电子设备执行；该方法600包括S601至S613，下面分别对S601至S613进行详细的描述。

S601、获取原始图像，原始图像中包括人像。

可选地，原始图像可以是指电子设备中相机应用程序采集的图像；或者，原始图像也可以是指电子设备下载的图像。

示例性地，原始图像中可以包括前景图像区域与背景图像区域，前景图像区域为人像所在的图像区域。

S602、通过分割网络进行处理

示例性地，通过分割网络对原始图像进行图像分割处理。

其中，分割网络可以用于对输入的图像进行图像分割处理，输出分割结果；分割结果中包括图像中的前景区域的掩膜（例如，人像掩膜）与背景区域的掩膜。

可选地，在本申请的实施例中，分割网络可以采用现有的任意一种用于进行图像分割处理的神经网络；本申请对此不做任何限定。

S603、得到人像掩膜（mask）。

示例性地，原始图像中包括人像；将原始图像输入至分割网络，输出人像掩膜（mask）；通过原始图像与人像掩膜相乘，得到人像所在的图像区域；可以理解为，人像掩膜为原始图像中的前景区域的掩膜；通过（1-人像掩膜）与原始图像相乘，得到除人像之外的图像区域；可以理解为，得到背景区域。

S604、膨胀处理。

可选地，可以对人像掩膜进行膨胀处理，得到膨胀掩膜（mask）。

应理解，膨胀处理是指选取每个像素位置邻域内的最大值作为输出的灰度值。

S605、腐蚀处理。

可选地，可以对人像掩膜进行腐蚀处理，得到腐蚀掩膜（mask）。

应理解，腐蚀处理与中值平滑处理相类似；腐蚀处理是指选取每个像素位置的一个邻域内的最小值。

在本申请的实施例中，由于人像包括不规则的边缘区域，因此分割网络的精度通常较低，输出的人像掩膜中通常包括部分分割错误的区域；一般而言，分割错误的区域通常位于人像图像区域与背景图像区域之间的过渡区域；通过对人像掩膜进行膨胀算法处理，可以使得人像图像区域向外扩展,得到膨胀掩膜；通过对人像掩膜进行腐蚀算法处理，可以使得人像图像区域向内缩小,得到腐蚀掩膜；进而，根据膨胀掩膜与腐蚀掩膜，可以得到可能存在错误的分割边缘区域。

S606、获取预设区域掩膜。

可选地，在原始图像中的目标对象为人像的情况下，预设区域掩膜可以包括但不限于：发丝边缘区域的掩膜，手指区域的掩膜，或者手掌区域的掩膜中的一项或者多项。

应理解，对于人像而言，发丝区域或者手指区域为分割网络难以精细分割的图像区域，因此可以通过预设区域掩膜对人像边缘区域进行补充与完善，提高人像边缘区域精细度与准确性。

S607、生成人像边缘区域的信息。

可选地，基于人像掩膜和/或预设区域的掩膜，生成人像边缘区域的信息；例如，人像边缘区域的信息可以是指人像边缘区域的掩膜。

可选地，对于人像的不同边缘区域，可以根据不同的处理策略对人像掩膜与预设区域掩膜进行处理，生成人像边缘区域的信息。

可选地，预设区域掩膜可以包括但不限于：脸部掩膜、发丝区域掩膜、手指掩膜等。

示例性地，对于拍摄场景中包括用户，用户站立在吹风的场景中；此时，由于部分发丝区域远离人物主体，若通过原始图像中人像掩膜的膨胀掩膜与人像掩膜的腐蚀掩膜作差，则无法获取准确的人像边缘区域的掩膜；因此，可以获取原始图像中发丝区域的掩膜；通过发丝区域的掩膜对人像边缘区域的掩膜进行补充；例如，通过人体解析的方式获取原始图像中包含所有发丝的发丝区域的掩膜；通过对人像掩膜进行腐蚀处理，得到掩膜2（例如，腐蚀mask）；根据掩膜2与发丝区域的掩膜的交集，得到掩膜3；通过发丝区域的掩膜与掩膜3作差，得到人像边缘区域的信息。

在本申请的实施例中，由于人像的发丝区域通常可以包括人像主体的发丝图像区域与背景中的发丝图像区域；人像主体的发丝图像区域通常分割的精度较准确，背景中的发丝图像区域通常分割的精度较低；在本申请的实施例中，通过掩膜2与发丝区域的掩膜的交集，为了去除人像主体的发丝图像区域，确定分割精度较低的背景中的发丝图像区域。

示例性地，若原始图像中包括手指图像区域，可以对原始图像进行手指检测，得到原始图像中的手指框；对手指框对应的图像区域进行图像分割处理，得到手指掩膜；对手指掩膜进行膨胀处理，得到手指掩膜1（例如，手指膨胀mask）；对手指掩膜进行腐蚀处理，得到手指掩膜2（例如，手指腐蚀mask）；对手指掩膜1与手指掩膜2作差，得到手指边缘区域的信息（例如，手指边缘区域的掩膜）；通过手指边缘区域的掩膜，可以对基于人像掩膜的膨胀掩膜与人像掩膜的腐蚀掩膜得到的人像边缘区域进行补充。

应理解，在本申请的实施例中，通过预设区域掩膜可以对人像边缘区域的掩膜进行补充处理，使得人像边缘区域的掩膜的准确性更高。

应理解，分割网络的精度通常较低，因此输出的目标对象的掩膜中通常包括分割错误的区域；一般而言，分割错误的区域通常位于原始图像中前景图像区域与背景图像区域之间的过渡区域；通过对目标对象的掩膜进行膨胀算法处理，可以使得前景图像区域向外扩展,得到膨胀mask；通过对目标对象的掩膜进行腐蚀算法处理，可以使得前景图像区域向内缩小,得到腐蚀mask；通过膨胀mask与腐蚀mask作差，可以得到目标对象的边缘区域。

S608、得到人像图像区域。

可选地，基于人像掩膜与原始图像得到人像图像区域。

例如，人像图像区域=原始图像×人像掩膜（mask）。

S609、获取目标背景图像。

需要说明的是，目标背景图像用于对原始图像进行背景替换图像；可以理解为，目标背景图像用于对原始图像中的背景图像区域进行替换处理。

S610、生成背景替换图像。

可选地，基于人像掩膜与目标背景图像，生成背景替换图像。

示例性地，根据人像掩膜可以在原始图像中获取人像所在的图像区域；即可以获取原始图像中的前景图像区域；通过对人像所在图像区域与目标背景图像的融合，得到背景替换图像。

例如，背景替换图像=原始图像×人像掩膜+目标背景图像×（1-人像掩膜）。

应理解，由于原始图像中包括人像，人像具有不规则边缘区域，例如，人像的发丝区域、人像的是指区域等；因此，分割网络进行精细分割的难度较大，得到的人像掩膜的精度较低；通过人像掩膜、原始图像与目标背景图像直接得到的背景替换图像的图像质量较差；例如，在背景替换图像中人像所在图像区域与背景图像区域的过渡区域存在图像细节较差，或者过渡不自然等问题。

可选地，通过后续S507至S510，可以对背景替换图像中人像所在图像区域与背景图像区域的过渡区域进行处理，使得处理后的图像中人像所在图像区域与背景图像区域的过渡区域过渡自然，整体图像更加符合用户的视觉感官。

S611、生成边缘被遮挡的图像。

可选地，基于背景替换图像与人像边缘区域的信息，得到边缘区域被遮挡的图像。

示例性地，可以根据人像边缘区域的信息对背景替换图像中人像边缘区域进行遮挡处理，得到边缘区域被遮挡的图像；遮挡处理可以理解为覆盖（或者去除）背景替换图像中人像边缘区域的像素。

例如，边缘区域被遮挡的图像=背景替换图像×（1-人像边缘区域的掩膜）。

S612、获取预测的高频信息。

其中，预测高频信息是指原始图像中的预测高频信息。

应理解，高频信息是指图像中灰度值变化剧烈的区域；例如，图像中的高频信息包括物体的边缘信息、纹理信息等。

可选地，可以通过高频信息检测网络获取原始图像中预测的高频信息。

S613、通过图像修复网络进行处理。

可选地，将边缘区域被遮挡的图像与预测高频信息输入至图像修复网络进行图像修复处理。

可选地，图像修复模型可以以预测的高频信息为先验信息，对边缘被遮挡的图像进行图像修复处理，修复边缘被遮挡区域的细节信息，得到修复图像。

可选地，若无法通过一次图像修复处理修复边缘被遮挡的图像的细节信息，则可以分阶段进行图像修复处理。

示例性地，可以先修复边缘被遮挡的图像的基础区域，再修复边缘被遮挡的图像的预设区域（例如，手指区域），再修复边缘被遮挡的图像的精细区域（例如，发丝区域）；此外，在图像修复处理过程中可以使用响应的高频引导的图像修复处理，使得修复图像更接近真实图像。

在本申请的实施例中，可以获取预测的原始图像的高频信息；在图像修复网络对边缘区域被遮挡的图像进行图像修复处理时，可以以预测的原始图像的高频信息作为先验信息，从而在一定程度上能够减小图像修复网络的运算量，提高图像修复网络的准确性。

S614、生成修复图像。

可选地，将边缘区域被遮挡的图像与预测高频信息输入至图像修复网络，生成修复图像。

S615、泊松融合处理。

可选地，对修复图像与背景替换图像进行泊松融合处理。

应理解，泊松融合是指通过目标图像在融合图像区域根据原始图像的梯度场生成新的图像的融合方式；可以理解为，通过泊松融合的方式只需要根据原始图像的梯度场，可以使得目标图像根据自身特点，基于原始图像对应的梯度场生成融合图像区域；因此，通过泊松融合处理生成的图像更加自然，即通过泊松融合生成的图像中前景图像区域与背景图像区域的过渡区域更加自然与平滑。

S616、生成处理后的图像。

可选地，生成处理后的图像之后，可以显示或者保存处理后的图像。

可选地，生成处理后的图像后，可以直接在电子设备中显示处理后的图像。

可选地，生成处理后的图像后，可以保存处理后的图像；在电子设备检测到指示显示处理后的图像的操作时，显示处理后的图像。

下面结合图9对本申请实施例的图像修复网络的训练方法进行详细的描述。图9是本申请实施例提供的一种图像修复网络的训练方法的示意图。图9所示的训练方法700包括S701至S707，下面分别对S701至S707进行详细的描述。

S701、获取样本图像。

示例性地，样本图像中包括人像图像区域。

可选地，样本图像可以是电子设备采集的图像；或者，样本图像也可以是电子设备下载的图像。

应理解，样本图像的数量越多，训练数据集越充足，则训练的图像修复网络的修复准确性越高。

S702、通过分割网络处理，得到人像掩膜（mask）。

可选地，可以将样本图像输入至分割网络，输出人像掩膜；其中，分割网络可以为现有的任意一种用于图像分割的模型，本申请实施例对分割网络的具体实现方式不作任何限定。

S703、进行膨胀处理，生成膨胀掩膜。

可选地，通过膨胀算法对人像掩膜（mask）进行处理，生成膨胀掩膜（mask）。

S704、进行腐蚀处理，生成腐蚀掩膜。

可选地，通过腐蚀算法对人像掩膜（mask）进行处理，生成腐蚀掩膜（mask）。

S705、生成人像边缘区域的信息。

例如，生成人像边缘区域的掩膜。

可选地，通过对膨胀掩膜与腐蚀掩膜作差，生成人像边缘区域的掩膜。

例如，人像边缘区域的掩膜=膨胀掩膜-腐蚀掩膜。

可选地，可以获取预设区域掩膜，根据预设区域掩膜、膨胀掩膜与腐蚀掩膜，得到人像边缘区域掩膜。

在本申请的实施例中，可以获取样本图像的预设区域掩膜，通过预设区域掩膜可以对人像掩膜进行完整与补充，从而提高人像边缘区域的掩膜的准确性。

示例性地，在样本图像中包括人像的情况下，预设区域掩膜可以包括但不限于：发丝边缘区域的掩膜，手指区域的掩膜，或者手掌区域的掩膜中的一项或者多项。

应理解，对于人像而言，发丝区域或者手指区域为分割网络难以精细分割的图像区域，因此可以通过预设区域掩膜对人像边缘区域进行补充与完善，提高人像边缘区域精细度与准确性。

示例性地，对于人像的发丝图像区域，可以通过人体解析的方式获取样本图像中包括的发丝区域的掩膜；通过对人像掩膜进行腐蚀处理，得到掩膜2（例如，腐蚀mask）；根据掩膜2与发丝区域的掩膜的交集，得到掩膜3；通过发丝区域的掩膜与掩膜3作差，得到人像边缘区域的信息。

S706、生成边缘被遮挡的图像。

可选地，可以根据人像边缘区域的信息对背景替换图像中人像边缘区域进行遮挡处理，得到边缘区域被遮挡的图像；遮挡处理可以理解为丢弃背景替换图像中人像边缘区域的像素。

示例性地，边缘区域被遮挡的图像=背景替换图像×（1-人像边缘区域的掩膜）。

S707、训练待训练的图像修复网络。

可选地，以样本图像与边缘被遮挡的图像作为数据对，通过对组数据对训练待训练的图像修复网络；其中，一组数据对中的样本图像与边缘被遮挡的图像相对应；边缘被遮挡的图像是在样本图像的基础上对人像边缘区域进行遮挡处理后生成的图像。

示例性地，可以将边缘被遮挡的图像输入至图像修复网络，得到预测修复图像；根据预测修复图像与样本图像之间的图像差异，通过反向传播算法更新待训练的图像修复网络的参数，得到训练后的图像修复网络。

在本申请的实施例中，可以通过真实数据构建图像修复网络的训练数据集；并且训练数据集的构建方式简单，可获取的训练数据量较大，从而能够充分提高图像修复网络在各种场景下的泛化能力；可以理解为，使得图像修复网络能够适用于较多的场景中。

图10是本申请实施例提供的一种图像处理方法的示意性流程图。该方法800可以由图1所示的电子设备执行；该方法800包括S810至S870，下面分别对S810至S870进行详细的描述。

S810、获取第一图像与第二图像。

其中，第一图像包括第一背景图像区域与目标对象所在的前景图像区域，第二图像包括第二背景图像区域，第二背景图像区域与第一背景图像区域不同。

可选地，第一图像可以是图4、图6至图8中所示的原始图像；第二图像可以是图4、图6至图8中所示的目标背景图像；可以参考图4、图6至图8中相关描述，此处不再赘述。

示例性地，第一图像如图3中的（a）所示，第一图像中包括第一背景图像区域270与目标对象所在的前景图像区域260；第二图像如图3中的（b）所示，第二图像中包括第二背景图像区域280。

可选地，第二图像中也可以包括前景图像区域，第二图像中的前景图像区域可以与第一图像中的前景图像区域相同，或者，也可以与第一图像中的前景图像区域不同，本申请对此不做任何限定。

S820、对第一图像进行图像分割处理，生成第一图像掩膜。

其中，第一图像掩膜用于指示目标对象在第一图像中的位置信息。

示例性地，第一图像掩膜可以如图5中的（a）所示。

可选地，可以将第一图像输入至分割网络，得到分割结果，分割结果包括第一图像掩膜；其中，分割网络可以是指现有的任意一种用于图像分割的网络，本申请对此不作任何限定。

示例性地，分割网络可以是指图4、图6至图8中所示的分割网络；可以参考图4、图6至图8中相关描述，此处不再赘述。

S830、基于第一图像掩膜，得到第二图像掩膜。

其中，第二图像掩膜用于指示目标对象的边缘区域在第一图像中的位置信息。

示例性地，第一图像掩膜可以如图5中的（d）所示。

可选地，基于第一图像掩膜，得到第二图像掩膜，包括：

通过膨胀算法对第一图像掩膜进行处理，得到第三图像掩膜；通过腐蚀算法对第二图像掩膜进行处理，得到第四图像掩膜；基于第三图像掩膜和/或第四图像掩膜，得到第二图像掩膜。

在本申请的实施例中，由于目标对象包括不规则的边缘区域，因此第一图像掩膜的精度通常较低，即第一图像掩膜中通常包括部分分割错误的区域；一般而言，分割错误的区域通常位于目标对象所在的前景图像区域与背景图像区域之间的过渡区域；通过第一图像进行膨胀算法处理，可以使得第一图像掩膜向外扩展得到第三图像掩膜（例如，膨胀掩膜）；通过对第一图像掩膜进行腐蚀算法处理，可以使得第一图像掩膜向内缩小，得到第四图像掩膜（例如，腐蚀掩膜）；进而，根据膨胀掩膜和/或腐蚀掩膜，可以得到可能存在错误的分割边缘区域。

可选地，基于第三图像掩膜和/或第四图像掩膜，得到第二图像掩膜，包括：

通过对第三图像掩膜与第四图像掩膜作差，得到第二图像掩膜。

可选地，还包括：获取第一图像中预设区域的图像掩膜；基于第三图像掩膜和/或第四图像掩膜，得到第二图像掩膜，包括：基于预设区域的图像掩膜与第四图像掩膜，得到第二图像掩膜。

S840、基于第二背景图像区域对第一背景图像区域进行替换处理，生成第三图像。

其中，第三图像包括第二背景图像区域与目标对象所在的前景图像区域。

应理解，第三图像可以是指根据第一图像中的目标对象所在的前景图像区域与第二图像，得到的背景替换图像；第三图像中前景图像区域与背景图像区域的过渡图像区域未进行优化处理；可以理解为，第三图像中的前景图像区域与背景图像区域的过渡可能存在过渡不自然等问题。

可选地，第三图像可以是指图4、图6至图8中所示的背景替换图像；可以参考图4、图6至图8中相关描述，此处不再赘述。

S850、基于第二图像掩膜与第三图像，生成第四图像。

其中，第四图像包括遮挡图像区域，遮挡图像区域为基于第二图像掩膜得到的图像区域。

可选地，第四图像可以是指图4、图6至图8中所示的边缘区域被遮挡的图像；可以参考图4、图6至图8中相关描述，此处不再赘述。

可选地，可以根据第二图像掩膜确定第三图像中目标像素位置；根据目标像素位置确定对应的像素点；将选取的像素点进行覆盖处理，生成第四图像；可以理解为，覆盖处理可以是指丢弃选取像素点的像素信息。

示例性地，第四图像=第三图像×（1-第二图像掩膜）。

S860、基于图像修复网络与第四图像，得到处理后的图像。

其中，图像修复网络用于对第四图像中的遮挡图像区域进行图像修复处理；

可选地，基于图像修复网络与第四图像，得到处理后的图像，包括：

将第四图像输入至图像修复网络，得到修复图像，修复图像中包括遮挡图像区域的像素；对修复图像与第三图像进行融合处理，得的处理后的图像。可选地，实现方式可以参见图6的相关描述，此处不再赘述。

可选地，上述图像处理方法还包括：

获取第一像素信息，第一像素信息用于指示预测的第一图像中的高频信息，高频信息包括目标对象的边缘信息与细节信息；

将第四图像输入至图像修复网络，得到修复图像，包括：

将第一像素信息与第四图像输入至图像修复网络，得到修复图像。

可选地，第一像素信息可以是指如图7或者图8所示的预测的高频信息，参见图7与图8的相关描述，此处不再赘述。

S870、显示或者保持处理后的图像。

可选地，生成处理后的图像后，可以直接在电子设备中显示处理后的图像。

可选地，生成处理后的图像后，可以保存处理后的图像；在电子设备检测到指示显示处理后的图像的操作时，显示处理后的图像。

在本申请的实施例中，根据第一图像中目标对象所在的前景图像区域与第二图像中的第二背景图像区域，得到第三图像（例如，背景替换图像）；根据第一图像掩膜（例如，第一图像中目标对象的掩膜）可以得到第二掩膜（例如，目标对象边缘区域的掩膜）；根据第二图像掩膜与第三图像，得到第四图像（例如，对背景替换图像的边缘区域进行遮挡的图像）；通过预先训练的图像修复网络对第四图像中被遮挡的边缘区域进行图像修复处理，生成处理后的图像；在本申请的实施例中，由于通过图像修复网络生成目标对象的边缘区域的信息，因此能够在一定程度上避免由于图像分割出现的锯齿、较明显的过渡痕迹、背景残留，或者，前景图像区域的边缘细节不足等问题；通过本申请的实施例，可以对第四图像中前景图像区域与背景图像区域的过渡图像区域进行优化处理，使得生成的处理后的图像中前景图像区域与背景图像区域的过渡更加自然，提高处理后图像的图像质量。

下面结合图11至图13对在电子设备中的界面示意图进行举例描述。

示例性地，如图11所示，图11中的（a）所示的图形用户界面（graphical userinterface，GUI）为电子设备的桌面901；电子设备检测到对桌面上的图库应用程序的控件902的点击操作，如图11中的（b）所示；在电子设备检测到对桌面上的图库应用程序的控件902的点击操作之后，显示如图11中的（c）所示的图库显示界面903；图库显示界面903中包括所有照片图标，电子设备检测到对照片图标904的点击操作，如图11中的（d）所示；在电子设备检测到对照片图标904的点击操作之后，显示显示界面905，如图12中的（a）所示；在显示界面905中包括照片的图标906；电子设备检测到对照片的图标906的点击操作，如图12中的（b）所示；在电子设备检测到对照片的图标906的点击操作之后，显示照片的播放显示界面907，播放显示界面907中包括背景控件908，如图12中的（c）所示；电子设备检测到对背景控件908的点击操作，如图12中的（d）所示；在电子设备检测到对背景控件908的点击操作之后，显示显示界面909；显示界面909中包括多个不同背景的预览框910；预览框910中包括背景1、背景2、背景3等，如图13中的（a）所示；电子设备检测到对预览框910中背景3的点击操作，如图13中的（b）所示；在电子设备检测到对预览框910中背景3的点击之后，通过本申请实施例提供的图像处理方法，生成前景图像区域与背景图像区域过渡自然的背景替换图像，显示如图13中的（c）所示的显示界面911。

应理解，上述以电子设备检测到点击操作为例进行举例说明；上述点击操作还可以是语音指示操作，或者其它的指示电子设备进行选择的操作；上述为举例说明，并不对本申请作任何限定。

需要说明的是，上述为对电子设备中的显示界面的举例说明，本申请对此不作任何限定。

应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。

上文结合图1至图13详细描述了本申请实施例提供的图像处理方法；下面将结合图14至图15详细描述本申请的装置实施例。应理解，本申请实施例中的装置可以执行前述本申请实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

图14是本申请实施例提供的一种电子设备的结构示意图。该电子设备1000包括获取模块1010与处理模块1020。

其中，获取模块1010用于获取第一图像与第二图像，所述第一图像包括第一背景图像区域与目标对象所在的前景图像区域，所述第二图像包括第二背景图像区域，所述第二背景图像区域与所述第一背景图像区域不同；处理模块1020用于对所述第一图像进行图像分割处理，生成第一图像掩膜，所述第一图像掩膜用于指示所述目标对象在所述第一图像中的位置信息；基于所述第一图像掩膜，得到第二图像掩膜，所述第二图像掩膜用于指示所述目标对象的边缘区域在所述第一图像中的位置信息；基于所述第二背景图像区域对所述第一背景图像区域进行替换处理，生成第三图像，所述第三图像包括所述第二背景图像区域与所述目标对象所在的前景图像区域；基于所述第二图像掩膜与所述第三图像，生成第四图像，所述第四图像包括遮挡图像区域，所述遮挡图像区域为基于所述第二图像掩膜得到的图像区域；基于图像修复网络与所述第四图像，得到处理后的图像，所述图像修复网络用于对所述第四图像中的所述遮挡图像区域进行图像修复处理；显示或者保持所述处理后的图像。

可选地，作为一个实施例，所述处理模块1020具体用于：

将所述第四图像输入至所述图像修复网络，得到修复图像，所述修复图像中包括所述遮挡图像区域的像素；

对所述修复图像与所述第三图像进行融合处理，得的所述处理后的图像。

可选地，作为一个实施例，所述处理模块1020还用于：

获取第一像素信息，所述第一像素信息用于指示预测的所述第一图像中的高频信息，所述高频信息包括所述目标对象的边缘信息与细节信息；

所述将所述第四图像输入至所述图像修复网络，得到修复图像，包括：

将所述第一像素信息与所述第四图像输入至所述图像修复网络，得到所述修复图像。

可选地，作为一个实施例，所述处理模块1020具体用于：

通过膨胀算法对所述第一图像掩膜进行处理，得到第三图像掩膜；

通过腐蚀算法对所述第二图像掩膜进行处理，得到第四图像掩膜；

基于所述第三图像掩膜和/或所述第四图像掩膜，得到所述第二图像掩膜。

可选地，作为一个实施例，所述处理模块1020具体用于：

通过对所述第三图像掩膜与所述第四图像掩膜作差，得到所述第二图像掩膜。

可选地，作为一个实施例，所述处理模块1020还用于：

获取所述第一图像中预设区域的图像掩膜；

所述基于所述第三图像掩膜和/或所述第四图像掩膜，得到所述第二图像掩膜，包括：

基于所述预设区域的图像掩膜与所述第四图像掩膜，得到所述第二图像掩膜。

可选地，作为一个实施例，在所述第一图像掩膜为人像掩膜的情况下，所述预设区域的掩膜为所述人像的发丝区域的图像掩膜，所述处理模块1020具体用于：

确定所述第四图像掩膜与所述发丝区域的图像掩膜的交集的信息；

通过所述发丝区域的图像掩膜与所述交集作差，得到所述第二图像掩膜。

可选地，作为一个实施例，所述图像修复网络为通过以下训练方法得到的：

获取样本数据集合，所述样本数据集合包括第一样本图像与第二样本图像，所述第一样本图像与所述第二样本图像相对应，所述第二样本图像中包括样本遮挡图像区域，所述样本遮挡图像区域包括所述第二样本图像中前景图像区域与背景图像区域之间的边缘图像区域：

将所述第二样本图像输入至待训练的图像修复网络，得到预测图像；

基于所述预测图像与所述第一样本图像之间的差异更新所述待训练的图像修复网络的参数，得到所述图像修复网络。

可选地，作为一个实施例，所述目标包括人像，所述人像包括发丝区域。

需要说明的是，上述电子设备1000以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路（application specific integrated circuit，ASIC）、电子电路、用于执行一个或多个软件或固件程序的处理器（例如共享处理器、专有处理器或组处理器等）和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

图15示出了本申请提供的一种电子设备的结构示意图。图15中的虚线表示该单元或该模块为可选的；电子设备1100可以用于实现上述方法实施例中描述的图像处理方法。

电子设备1110包括一个或多个处理器1101，该一个或多个处理器1101可支持电子设备1100实现方法实施例中的图像处理方法。处理器1101可以是通用处理器或者专用处理器。例如，处理器1101可以是中央处理器（central processing unit，CPU）、数字信号处理器（digital signal processor，DSP）、专用集成电路（application specific integratedcircuit，ASIC）、现场可编程门阵列（field programmable gate array，FPGA）或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。

可选地，处理器1101可以用于对电子设备1100进行控制，执行软件程序，处理软件程序的数据。电子设备1100还可以包括通信单元1105，用以实现信号的输入（接收）和输出（发送）。

例如，电子设备1100可以是芯片，通信单元1105可以是该芯片的输入和/或输出电路，或者，通信单元1105可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。

又例如，电子设备1100可以是终端设备，通信单元1105可以是该终端设备的收发器，或者，通信单元1105可以1100中可以包括一个或多个存储器1102，其上存有程序1104，程序1104可被处理器1101运行，生成指令1103，使得处理器1101根据指令1103执行上述方法实施例中描述的图像处理方法。

可选地，存储器1102中还可以存储有数据。

可选地，处理器1101还可以读取存储器1102中存储的数据，该数据可以与程序1104存储在相同的存储地址，该数据也可以与程序1104存储在不同的存储地址。

可选地，处理器1101和存储器1102可以单独设置，也可以集成在一起，例如，集成在终端设备的系统级芯片（system on chip，SOC）上。

示例性地，存储器1102可以用于存储本申请实施例中提供的图像处理方法的相关程序1104，处理器1101可以用于在执行图像处理方法时调用存储器1102中存储的图像处理方法的相关程序1104，执行本申请实施例的图像处理方法；例如，获取第一图像与第二图像，第一图像包括第一背景图像区域与目标对象所在的前景图像区域，第二图像包括第二背景图像区域，第二背景图像区域与第一背景图像区域不同；对第一图像进行图像分割处理，生成第一图像掩膜，第一图像掩膜用于指示目标对象在第一图像中的位置信息；基于第一图像掩膜，得到第二图像掩膜，第二图像掩膜用于指示目标对象的边缘区域在第一图像中的位置信息；基于第二背景图像区域对第一背景图像区域进行替换处理，生成第三图像，第三图像包括第二背景图像区域与目标对象所在的前景图像区域；基于第二图像掩膜与第三图像，生成第四图像，第四图像包括遮挡图像区域，遮挡图像区域为基于第二图像掩膜得到的图像区域；基于图像修复网络与第四图像，得到处理后的图像，图像修复网络用于对第四图像中的遮挡图像区域进行图像修复处理；显示或者保持处理后的图像。

可选地，本申请还提供了一种计算机程序产品，该计算机程序产品被处理器1101执行时实现本申请中任一方法实施例中的图像处理方法。

例如，该计算机程序产品可以存储在存储器1102中，例如是程序1104，程序1104经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器1101执行的可执行目标文件。

可选地，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

例如，该计算机可读存储介质例如是存储器1102。存储器1102可以是易失性存储器或非易失性存储器，或者，存储器1102可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器（read-only memory，ROM）、可编程只读存储器（programmable ROM，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（random access memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（dynamic RAM，DRAM）、同步动态随机存取存储器（synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlinkDRAM，SLDRAM）和直接内存总线随机存取存储器（direct rambus RAM，DR RAM）。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的电子设备的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

另外，本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种图像处理方法，其特征在于，应用于电子设备，包括：

获取第一图像与第二图像，所述第一图像包括第一背景图像区域与目标对象所在的前景图像区域，所述第二图像包括第二背景图像区域，所述第二背景图像区域与所述第一背景图像区域不同；

对所述第一图像进行图像分割处理，生成第一图像掩膜，所述第一图像掩膜用于指示所述目标对象在所述第一图像中的位置信息；

基于所述第一图像掩膜，得到第二图像掩膜，所述第二图像掩膜用于指示所述目标对象的边缘区域在所述第一图像中的位置信息；

基于所述第二背景图像区域对所述第一背景图像区域进行替换处理，生成第三图像，所述第三图像包括所述第二背景图像区域与所述目标对象所在的前景图像区域；

基于所述第二图像掩膜与所述第三图像，生成第四图像，所述第四图像包括遮挡图像区域，所述遮挡图像区域为基于所述第二图像掩膜得到的图像区域；

基于图像修复网络与所述第四图像，得到处理后的图像，所述图像修复网络用于对所述第四图像中的所述遮挡图像区域进行图像修复处理；

显示或者保持所述处理后的图像。

2.如权利要求1所述的图像处理方法，其特征在于，所述基于图像修复网络与所述第四图像，得到处理后的图像，包括：

将所述第四图像输入至所述图像修复网络，得到修复图像，所述修复图像中包括所述遮挡图像区域的像素；

对所述修复图像与所述第三图像进行融合处理，得到所述处理后的图像。

3.如权利要求2所述的图像处理方法，其特征在于，还包括：

获取第一像素信息，所述第一像素信息用于指示预测的所述第一图像中的高频信息，所述高频信息包括所述目标对象的边缘信息与细节信息；

所述将所述第四图像输入至所述图像修复网络，得到修复图像，包括：

将所述第一像素信息与所述第四图像输入至所述图像修复网络，得到所述修复图像。

4.如权利要求1至3中任一项所述的图像处理方法，其特征在于，所述基于所述第一图像掩膜，得到第二图像掩膜，包括：

通过膨胀算法对所述第一图像掩膜进行处理，得到第三图像掩膜；

通过腐蚀算法对所述第一图像掩膜进行处理，得到第四图像掩膜；

基于所述第三图像掩膜和/或所述第四图像掩膜，得到所述第二图像掩膜。

5.如权利要求4所述的图像处理方法，其特征在于，所述基于所述第三图像掩膜和/或所述第四图像掩膜，得到所述第二图像掩膜，包括：

通过对所述第三图像掩膜与所述第四图像掩膜作差，得到所述第二图像掩膜。

6.如权利要求4所述的图像处理方法，其特征在于，还包括：

获取所述第一图像中预设区域的图像掩膜；

所述基于所述第三图像掩膜和/或所述第四图像掩膜，得到所述第二图像掩膜，包括：

基于所述预设区域的图像掩膜与所述第四图像掩膜，得到所述第二图像掩膜。

7.如权利要求6所述的图像处理方法，其特征在于，在所述第一图像掩膜为人像掩膜的情况下，所述预设区域的掩膜为所述人像的发丝区域的图像掩膜，所述基于所述预设区域的图像掩膜与所述第四图像掩膜，得到所述第二图像掩膜，包括：

确定所述第四图像掩膜与所述发丝区域的图像掩膜的交集的信息；

通过所述发丝区域的图像掩膜与所述交集作差，得到所述第二图像掩膜。

8.如权利要求1至3、5至7中任一项所述的图像处理方法，其特征在于，所述图像修复网络为通过以下训练方法得到的：

获取样本数据集合，所述样本数据集合包括第一样本图像与第二样本图像，所述第一样本图像与所述第二样本图像相对应，所述第二样本图像中包括样本遮挡图像区域，所述样本遮挡图像区域包括所述第二样本图像中前景图像区域与背景图像区域之间的边缘图像区域：

将所述第二样本图像输入至待训练的图像修复网络，得到预测图像；

基于所述预测图像与所述第一样本图像之间的差异更新所述待训练的图像修复网络的参数，得到所述图像修复网络。

9.如权利要求1至3、5至7中任一项所述的图像处理方法，其特征在于，所述目标包括人像，所述人像包括发丝区域。

10.一种电子设备，其特征在于，包括：

一个或多个处理器和存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至9中任一项所述的图像处理方法。

11.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至9中任一项所述的图像处理方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至9中任一项所述的图像处理方法。

Images