CN114140342A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质。方法包括：获取人脸图像，人脸图像包括目标对象的待修复区域；选取待修复区域的修复参考区域，修复参考区域包括待修复区域以及与待修复区域相邻的区域；将待修复区域的像素值更新为0；将修复参考区域划分为多个与待修复区域大小相等的候选区域，并从多个候选区域中筛选得到目标候选区域，目标候选区域的像素平均值，在按照目标顺序排列的各候选区域的像素平均值内的排列位置居中，目标顺序包括由大到小的顺序或者由小到大的顺序；采用目标候选区域内各像素的像素值更新待修复区域内对应位置的像素的像素值，得到目标人脸图像。本公开提高了人脸图像进行祛瑕疵修复处理的处理速度。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

用户在进行诸如自拍的拍摄操作之后，经常需要对通过拍摄操作得到的人脸图像中人脸进行美颜处理，得到目标图像。例如，对人脸中瑕疵部分进行祛瑕疵美颜处理，得到美颜后目标图像。

在相关技术中，可以采用PatchMatch算法对人脸图像中瑕疵区域进行填充处理，以实现对瑕疵部分的修复美颜处理。其中，采用PatchMatch算法的方式需要多次分别对人脸图像进行下采样处理和上采样处理，以得到多张人脸图像对应的缩小图像和多张人脸图像对应的放大图像。然后从得到的多张缩小图像和多张放大图像中所有非瑕疵区域对瑕疵区域进行全图搜索和匹配，将匹配到的图像块对瑕疵区域进行填充。

然而，采用PatchMatch算法对瑕疵区域进行填充处理的方式计算量巨大，且随着人脸图像中瑕疵部分数量的增加，对人脸图像进行祛瑕疵修复处理的处理速度较慢。

发明内容

本公开提供一种图像处理方法、装置及系统，以至少解决相关技术中人脸图像进行祛瑕疵修复处理的处理速度较慢的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：

获取人脸图像，所述人脸图像包括目标对象的待修复区域；

选取所述待修复区域的修复参考区域，所述修复参考区域包括所述待修复区域以及与所述待修复区域相邻的区域；

将所述待修复区域的像素值更新为0；

将所述修复参考区域划分为多个与所述待修复区域大小相等的候选区域，并从多个所述候选区域中筛选得到目标候选区域，所述目标候选区域的像素平均值，在按照目标顺序排列的各所述候选区域的像素平均值内的排列位置居中，所述目标顺序包括由大到小的顺序或者由小到大的顺序；

采用所述目标候选区域内各像素的像素值更新所述待修复区域内对应位置的像素的像素值，得到目标人脸图像。

在一种可能实现方式中，所述从所述多个候选区域中筛选得到目标候选区域，包括：

计算各所述候选区域的像素平均值；

将各所述像素平均值按照所述目标顺序排列；

将排列后的各所述像素平均值中，位于中间位置的目标数量个像素平均值对应的候选区域作为目标候选区域。

在一种可能实现方式中，所述目标候选区域的数量为多个，所述采用所述目标候选区域内各像素的像素值更新所述待修复区域内对应位置的像素的像素值，得到目标人脸图像，包括：

获取各所述目标候选区域中每个像素的灰度值；

从各所述目标候选区域内对应位置的像素的灰度值中，选取最大灰度值对应的像素值作为所述待修复区域内对应位置的目标像素值；

将所述待修复区域内各像素的像素值分别更新为对应的所述目标像素值，得到目标人脸图像。

在一种可能实现方式中，所述将所述修复参考区域划分为多个与所述待修复区域大小相等的候选区域，包括：

利用与所述待修复区域大小相等的滑窗，以设定步长从所述修复参考区域中截取多个候选区域。

在一种可能实现方式中，在所述将所述修复参考区域划分为多个与所述待修复区域大小相等的候选区域，并从多个所述候选区域中筛选得到目标候选区域之前，所述方法还包括：

将所述人脸图像中非目标对象所在区域的各像素的像素值更新为0。

在一种可能实现方式中，所述目标候选区域的像素平均值，在按照目标顺序排列的各所述候选区域的像素平均值内的排列位置居中，包括：

所述目标候选区域内各像素的红色通道的像素平均值，在按照目标顺序排列的各所述候选区域的红色通道的像素平均值内的排列位置居中。

在一种可能实现方式中，在所述采用所述目标候选区域内各像素的像素值更新所述待修复区域内对应位置的像素的像素值，得到目标人脸图像之后，所述方法还包括：

将所述目标人脸图像与所述人脸图像进行融合处理，得到融合处理后的目标图像。

在一种可能实现方式中，所述选取所述待修复区域的修复参考区域，包括：

确定所述人脸图像中所述待修复区域的最小外接矩形；

将所述最小外接矩形放大设定倍数，得到扩充矩形；

将所述扩充矩形所在区域作为所述修复参考区域。

根据本公开实施例的第二方面，提供一种图像处理装置，所述装置包括：

获取模块，用于获取人脸图像，所述人脸图像包括目标对象的待修复区域；

选取模块，用于选取所述待修复区域的修复参考区域，所述修复参考区域包括所述待修复区域以及与所述待修复区域相邻的区域；

更新模块，用于将所述待修复区域的像素值更新为0；

筛选模块，用于将所述修复参考区域划分为多个与所述待修复区域大小相等的候选区域，并从多个所述候选区域中筛选得到目标候选区域，所述目标候选区域的像素平均值，在按照目标顺序排列的各所述候选区域的像素平均值内的排列位置居中，所述目标顺序包括由大到小的顺序或者由小到大的顺序；

所述更新模块，还用于采用所述目标候选区域内各像素的像素值更新所述待修复区域内对应位置的像素的像素值，得到目标人脸图像。

在一种可能实现方式中，所述筛选模块，还用于：

计算各所述候选区域的像素平均值；

将各所述像素平均值按照所述目标顺序排列；

将排列后的各所述像素平均值中，位于中间位置的目标数量个像素平均值对应的候选区域作为目标候选区域。

在一种可能实现方式中，所述目标候选区域的数量为多个，所述更新模块，还用于：

获取各所述目标候选区域中每个像素的灰度值；

从各所述目标候选区域内对应位置的像素的灰度值中，选取最大灰度值对应的像素值作为所述待修复区域内对应位置的目标像素值；

将所述待修复区域内各像素的像素值分别更新为对应的所述目标像素值，得到目标人脸图像。

在一种可能实现方式中，所述筛选模块，还用于利用与所述待修复区域大小相等的滑窗，以设定步长从所述修复参考区域中截取多个候选区域。

在一种可能实现方式中，所述更新模块，还用于将所述人脸图像中非目标对象所在区域的各像素的像素值更新为0。

在一种可能实现方式中，所述目标候选区域的像素平均值，在按照目标顺序排列的各所述候选区域的像素平均值内的排列位置居中，包括：

所述目标候选区域内各像素的红色通道的像素平均值，在按照目标顺序排列的各所述候选区域的红色通道的像素平均值内的排列位置居中。

在一种可能实现方式中，所述装置还包括：

融合处理模块，用于将所述目标人脸图像与所述人脸图像进行融合处理，得到融合处理后的目标图像。

在一种可能实现方式中，所述选取模块，还用于：

确定所述人脸图像中所述待修复区域的最小外接矩形；

将所述最小外接矩形放大设定倍数，得到扩充矩形；

将所述扩充矩形所在区域作为所述修复参考区域。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现第一方面任一所述的图像处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行第一方面任一所述的图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现第一方面任一所述的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过获取包括目标对象的待修复区域的人脸图像，选取待修复区域的修复参考区域，修复参考区域包括待修复区域以及与待修复区域相邻的区域。以将待修复区域的像素值更新为0后，将修复参考区域划分为多个与待修复区域大小相等的候选区域，并从多个候选区域中筛选得到目标候选区域。采用目标候选区域内各像素的像素值更新待修复区域内对应位置的像素的像素值，得到目标人脸图像。该技术方案中，通过待修复区域的像素值更新为0，且保证选取的目标候选区域的像素平均值，在按照由大到小的顺序或者由小到大的顺序排列的各候选区域的像素平均值内的排列位置居中的方式，保障了筛选的用于更新待修复区域的目标候选区域来自于人脸图像的待修复区域周围的区域。且通过直接采用筛选的目标候选区域内各像素的像素值更新待修复区域的方式，实现了对待修复区域进行修复的效果。相较于相关技术，对待修复区域进行修复的处理过程简单，提升了处理速率，进而提高了处理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的流程图。

图2是根据一示例性实施例示出的一种修复参考区域的示意图。

图3是根据一示例性实施例示出的一种目标像素值选取方法的流程图。

图4是根据一示例性实施例示出的另一种图像处理方法的流程图。

图5是根据一示例性实施例示出的一种图像处理装置的流程图。

图6是根据一示例性实施例示出的一种电子设备装置的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

请参考图1，其示出了本公开实施例提供的一种图像处理方法的流程图。该图像处理方法可以应用于电子设备。该电子设备可以为终端。如图1所示，所述方法包括：

在步骤101中，获取人脸图像，人脸图像包括目标对象的待修复区域。

本公开实施例中，用户若想要对其拍摄的人脸图像中包括目标对象的待修复区域进行美颜处理，则用户可以对终端执行触发美颜处理的设定操作。以使得终端接收该设定操作，响应于设定操作，获取人脸图像。其中，待修复区域包括的目标对象可以为皮肤、饰品或者五官等对象。包括目标对象的待修复区域可以称为人脸图像中目标对象的瑕疵区域。

在步骤102中，选取待修复区域的修复参考区域，修复参考区域包括待修复区域以及与待修复区域相邻的区域。

本公开实施例中，与待修复区域相邻的区域可以包括与待修复区域的至少部分边缘区域相邻的区域。示例的，与待修复区域相邻的区域为与待修复区域的所有边缘区域的相邻的区域，也即是与待修复区域相邻的区域为与待修复区域环绕相邻的区域。

可选的，选取待修复区域的修复参考区域的过程可以包括以下步骤1021至步骤1023。

在步骤1021中，确定人脸图像中待修复区域的最小外接矩形。

可选的，终端可以通过调用opencv软件库中minAreaRect函数，并向minAreaRect函数传入人脸图像中待修复区域的像素，确定待修复区域的最小外接矩形。最小外接矩形以矩形的中心点的像素坐标、矩形的宽度、矩形的高度以及矩形的旋转角度标识。示例的，终端可以通过向minAreaRect函数输入待修复区域内所有像素的像素坐标，或者，待修复区域的外轮廓上像素的像素坐标，得到最小外接矩形的中心点的像素坐标、最小外接矩形的宽度、最小外接矩形的高度以及最小外接矩形的旋转角度。

在步骤1022中，将最小外接矩形放大设定倍数，得到扩充矩形。

可选的，终端可以以最小外接矩形内任一像素为定点，将最小外接矩形放大设定倍数，得到扩充矩形。示例的，终端可以以最小外接矩形的中心点为定点，将最小外接矩形放大设定倍数，得到扩充矩形。也即是，终端可以以最小外接矩形的中心，生成相较于最小外接矩形放大设定倍数的扩充矩形。

这样得到的扩充矩形中除待修复区域的其他区域环绕待修复区域。便于后续可以从扩充矩形中环绕待修复区域的区域内选取用于更新待修复区域内像素的像素，相较于从待修复区域的单一边缘区域的邻近区域选取用于更新待修复区域内像素的像素，提高了用于更新待修复区域内像素的候选像素的全面性。

本公开实施例中，设定倍数的取值可以是用户设定的，也可以是终端预先存储的。其中，设定倍数的取值范围可以根据最小外接矩形与人脸图像的大小确定。示例的，设定倍数w的取值范围为[u1，u2]。u1为1，u2为人脸图像的大小与最小外接矩形的大小的除数。例如，u为3、4等。

基于此，如图2所示，在扩充矩形为以最小外接矩形的中心点为定点，将最小外接矩形放大设定倍数的矩形的情况下，扩充矩形中位于左上角的顶点的坐标(x2,y2)满足：

x2＝max(0,x1-expand_wd)；

y2＝max(0,y1-expand_ht)；

其中，x1为待修复区域的最小外接矩形中位于左上角的顶点的第一坐标值。y1为最小外接矩形中位于左上角的顶点的第二坐标值。expand_wd为待修复区域的最小外接矩形的第一条边至扩充矩形对应边的距离。expand_ht为待修复区域的最小外接矩形的第二条边至扩充矩形对应边的距离，第一条边和第二条边为最小外接矩形相邻的两条边。

扩充矩形的长度w2以及宽度h2满足：

w2＝min(w-1,x1+w1+expand_wd)-x2；

h2＝min(h-1,y1+h1+expand_ht)-y2；

其中，w为人脸图像的长度。h为人脸图像的宽度，w1为待修复区域的最小外接矩形的长度，h1为待修复区域的最小外接矩形的宽度。

在步骤1023中，将扩充矩形所在区域作为修复参考区域。

本公开实施例中，通过确定人脸图像中待修复区域的最小外接矩形，以将最小外接矩形放大设定倍数后的扩充矩形所在区域作为修复参考区域，实现了与待修复区域相邻的区域的快速提取，提升了修复参考区域的选取速度。

需要说明的是，本公开实施例还可以通过其他方式选取待修复区域的修复参考区域。例如，终端可以获取待修复参考区域的外轮廓上各像素的坐标。根据各像素与待修复参考区域的中心点的相对位置，将各像素的坐标中目标坐标值扩大目标倍数，得到各像素对应的新坐标。以各像素对应的新坐标所在位置为外轮廓的区域为修复参考区域。当然，终端还可以通过其他方式选取待修复区域的修复参考区域，本公开实施例对此不作限定。

在步骤103中，将待修复区域的像素值更新为0。

本公开实施例中，终端将待修复区域内各像素的像素值更新为0，以便于后续从修复参考区域中选取用于更新待修复区域内的像素时，避免选取到待修复区域中的像素，保障了选取像素的有效性。

在步骤104中，将修复参考区域划分为多个与待修复区域大小相等的候选区域，并从多个候选区域中筛选得到目标候选区域。

目标候选区域的像素平均值，在按照目标顺序排列的各候选区域的像素平均值内的排列位置居中，目标顺序包括由大到小的顺序或者由小到大的顺序。本公开实施例中，终端可以计算各候选区域的像素平均值。将各像素平均值按照目标顺序排列。将排列后的各像素平均值内排列位置居中的像素平均值对应的候选区域作为目标候选区域。可选的，终端可以通过记录目标候选区域的外轮廓上各像素的像素点，以记录目标候选区域。或者，若待修复区域为不规则形状，终端还可以将修复参考区域划分为多个与待修复区域的最小外接矩形的大小相等的候选区域。则终端可以通过记录目标候选区域的左上角顶点的坐标、长度以及宽度，以记录目标候选区域。

其中，目标候选区域的数量可以为一个或者多个。在目标候选区域的数量为一个时，目标候选区域的像素平均值在按照目标顺序排列的各候选区域的像素平均值内位于中间位置。在目标候选区域的数量为多个时，多个目标候选区域的像素平均值，在按照目标顺序排列的各候选区域的像素平均值内的排列位置可以为相连的中间位置，或者，多个目标候选区域的像素平均值，在按照目标顺序排列的各候选区域的像素平均值内的排列位置可以分别为非相邻的居中位置。

可选的，终端从多个候选区域中筛选得到目标候选区域的过程可以包括：计算各候选区域的像素平均值。将各像素平均值按照目标顺序排列。将排列后的各像素平均值中，位于中间位置的目标数量个像素平均值对应的候选区域作为目标候选区域。其中，目标数量的取值可以至少为一。

示例的，终端可以计算各候选区域的像素平均值，并将计算的各候选区域的像素平均值按照目标顺序存储于目标有序列表。获取目标有序列表的长度N，将目标列表中序号为N/2-1，N/2，N/2+1的像素平均值分别对应的候选区域，作为目标候选区域。其中，N为划分的候选区域的数量。

本公开实施中，目标候选区域的像素平均值，在按照目标顺序排列的各候选区域的像素平均值内的排列位置居中可以包括：目标候选区域内各像素的红色通道的像素平均值，在按照目标顺序排列的各候选区域的红色通道的像素平均值内的排列位置居中。相应的，终端从多个候选区域中筛选得到目标候选区域的过程可以包括：计算各候选区域内各像素的红色通道的像素平均值。将各像素平均值按照目标顺序排列。将排列后的各像素平均值中，位于中间位置的目标数量个像素平均值对应的候选区域作为目标候选区域。

本公开实施例中，通过将排列后的各像素平均值中，位于中间位置的目标数量个像素平均值对应的候选区域作为目标候选区域的方式，由于多个数值的平均数可以表征该多种数值的集中趋势，因此选取的位于中间位置的目标数量个像素平均值，其可以表征对应的候选区域中各像素反映的颜色较为集中于目标对象的颜色。因而选取的目标候选区域较大概率不包括目标对象需要修复的部分，也即是不包括目标对象的瑕疵部分。保障了选取目标候选区域的有效性，提升目标候选区域的选取效率。

进一步的，在目标对象为皮肤的情况下，由于像素的红色通道的像素值相较于其他颜色通道的像素值更能够代表皮肤的颜色。因此，选取的目标候选区域为居中位置的像素平均值对应的候选区域，该居中位置的像素平均值可以更为有效地表征对应的候选区域中各像素反映的颜色较为集中于正常皮肤的颜色。因而选取的目标候选区域可以更较大概率不包括皮肤需要修复的部分，也即是不包括皮肤的瑕疵部分。保障了选取目标候选区域的有效性，提升目标候选区域的选取效率。

本公开实施例中，终端将修复参考区域划分为多个与待修复区域大小相等的候选区域的实现方式可以有多种，下述以两种可选的实现方式为例进行说明。

第一种可选的实现方式，终端将修复参考区域划分为多个与待修复区域大小相等的候选区域的实现方式可以为：终端可以根据待修复区域的大小，将修复参考区域直接分割得到多个与待修复区域大小相等的候选区域。

第二种可选的实现方式，终端将修复参考区域划分为多个与待修复区域大小相等的候选区域的过程可以包括：利用与待修复区域大小相等的滑窗，以设定步长从修复参考区域中截取多个候选区域。本公开实施例中，滑窗可以以设定步长沿相互垂直的两个方向从修复参考区域滑动截取多个候选区域。其中，沿不同方向滑动的设定步长step可以相等，或者，沿不同方向滑动的设定步长step不等。且设定步长可以是用户通过终端设定的数值，或者，设定步长为存储于终端的固定值。

示例的，假设沿水平方式的设定步长step_x为expand_wd/2，沿垂直方向的设定步长step_y为expand_ht/2。终端可以创建与待修复区域大小相等的滑窗，从修复参考区域中左上角开始，沿水平方式以expand_wd/2步长滑动截取多个候选区域。在滑窗的一边与修复参考区域的右边重叠，即滑窗滑动到修复参考区域的右侧后，可以从修复参考区域中左上角开始沿垂直方式以expand_ht/2步长滑动一个步长后，沿水平方式以expand_wd/2步长滑动再次截取多个候选区域。重复执行从修复参考区域中上一次水平滑动的起点开始，沿垂直方式以expand_ht/2步长滑动滑动一个步长后，沿水平方式以expand_wd/2步长滑动再次截取多个候选区域的过程，直至滑窗滑动至修复参考区域的右下角，最终截取到多个候选区域。

本公开实施例中，利用与待修复区域大小相等的滑窗从修复参考区域中截取候选区域的方式，利用了滑窗卷积的思想，每两个相邻截取的候选区域之间可以具有重叠部分，使得截取到的候选区域的数量较多，相较于第一种候选区域的划分方式，得到的候选区域数量较多。并且由于每两个相邻截取的候选区域之间的变化较少，因此使得候选区域的划分粒度更细，有利于选取更为合适的目标候选区，提高了有效目标候选区的选取效率。

步骤105、采用目标候选区域内各像素的像素值更新待修复区域内对应位置的像素的像素值，得到目标人脸图像。

可选的，在目标候选区域的数量为一个的情况下，终端可以直接采用目标候选区域内各像素的像素值更新待修复区域内对应位置的像素的像素值，得到目标人脸图像。其中，对应位置指的是像素在目标候选区域内的位置与像素在待修复区域内的位置相同。

在目标候选区域的数量为多个的情况下，终端可以针对待修复区域内任一像素，从多个目标候选区域内与该任一像素对应位置的多个像素中，根据设定规则选取目标像素的目标像素值，将待修复区域内该任一像素的像素值更新为该目标像素值，得到目标人脸图像。

一示例的，目标候选区域的数量为多个。设定规则可以为选取多个像素中像素平均值作为目标像素值。终端采用目标候选区域内各像素的像素值更新待修复区域内对应位置的像素的像素值，得到目标人脸图像的过程可以包括：计算各目标候选区域内对应位置的像素的像素平均值作为待修复区域内对应位置的目标像素值。将待修复区域内各像素的像素值分别更新为对应的目标像素值，得到目标人脸图像。

另一示例的，目标候选区域的数量为多个。设定规则可以为选取多个像素中最大灰度值对应的像素值作为目标像素值。

如图3所示，终端采用目标候选区域内各像素的像素值更新待修复区域内对应位置的像素的像素值，得到目标人脸图像的过程可以包括：

步骤301、获取各目标候选区域中每个像素的灰度值。

可选的，终端可以从人脸图像中截取各目标候选区域，得到截取的各目标候选区域对应的候选图像。将各候选图像转换为灰度图，读取各目标候选区域中每个像素的灰度值。

步骤302、从各目标候选区域内对应位置的像素的灰度值中，选取最大灰度值对应的像素值作为待修复区域内对应位置的目标像素值。

本公开实施例中，终端可以在获取各目标候选区域中每个像素的灰度值后，针对各目标候选区域中同一位置的像素，比较各像素的灰度值大小。选取最大灰度值作为目标灰度值，并将目标灰度值对应的像素值作为待修复区域内与该像素对应位置的像素对应的目标像素值。

步骤303、将待修复区域内各像素的像素值分别更新为对应的目标像素值，得到目标人脸图像。

本公开实施例中，针对待修复区域内任一位置的像素，将该像素的像素值更新为该像素对应的目标像素值，以采用该像素对应的目标像素值填充待修复区域内该像素对应的位置。在待修复区域内全部位置的像素的像素值均更新为对应的目标像素值后，得到目标人脸图像。

这样，由于灰度值的大小可以反映图像的明暗程度，而目标对象的瑕疵部分通常比正常部分的亮度要暗。因此，选取最大灰度值对应的像素值作为用于更新待修复区域的目标像素值，可以进一步避免选取到目标对象的瑕疵部分的像素，保障选取的目标像素值有效性的同时保留了目标对象的自身纹理。

综上所述，本公开实施例提供的图像处理方法，通过获取包括目标对象的待修复区域的人脸图像，选取待修复区域的修复参考区域，修复参考区域包括待修复区域以及与待修复区域相邻的区域。以将待修复区域的像素值更新为0后，将修复参考区域划分为多个与待修复区域大小相等的候选区域，并从多个候选区域中筛选得到目标候选区域。采用目标候选区域内各像素的像素值更新待修复区域内对应位置的像素的像素值，得到目标人脸图像。该技术方案中，通过待修复区域的像素值更新为0，且保证选取的目标候选区域的像素平均值，在按照由大到小的顺序或者由小到大的顺序排列的各候选区域的像素平均值内的排列位置居中的方式，保障了筛选的用于更新待修复区域的目标候选区域来自于人脸图像的待修复区域周围的区域。且通过直接采用筛选的目标候选区域内各像素的像素值更新待修复区域的方式，实现了对待修复区域进行修复的效果。相较于相关技术，对待修复区域进行修复的处理过程简单，提升了处理速率，进而提高了处理效率。

请参考图4，其示出了本公开实施例提供的另一种图像处理方法的流程图。该图像处理方法可以应用于电子设备。该电子设备可以为终端。如图4所示，所述方法包括：

在步骤401中，获取人脸图像，人脸图像包括目标对象的待修复区域。

该步骤的解释和实现方式可以参考前述步骤101的解释和实现方式，本公开实施例对此不做赘述。

在步骤402中，选取待修复区域的修复参考区域，修复参考区域包括待修复区域以及与待修复区域相邻的区域。

该步骤的解释和实现方式可以参考前述步骤102的解释和实现方式，本公开实施例对此不做赘述。

在步骤403中，将待修复区域的像素值更新为0。

该步骤的解释和实现方式可以参考前述步骤103的解释和实现方式，本公开实施例对此不做赘述。

在步骤404中，将人脸图像中非目标对象所在区域的各像素的像素值更新为0。

本公开实施例中，终端可以识别人脸图像中非目标对象所在区域，并将非目标对象所在区域的各像素的像素值更新为0。

可选的，终端可以将人脸图像输入目标对象检测模型，得到目标对象掩码图像。目标对象掩码图像标识有包括目标对象所在目标区域以及除目标区域之外的其他区域。根据目标对象掩码图像，将人脸图像中非目标对象所在目标区域内各像素的像素值更新为0。

示例的，在目标对象为人脸的皮肤时，目标对象检测模型可以为肤色检测模型。终端将人脸图像输入肤色检测模型，可以得到皮肤掩码图像(又称肤色mask)。皮肤掩码图像中非皮肤区域内各像素的像素值为0，皮肤区域内各像素的像素值为1。终端可以确定人脸图像中与皮肤掩码图像内像素值为1的区域重叠的区域，并将该区域内各像素的像素值更新为0。

本公开实施例中，由于采用目标对象所在区域的像素才有利于更为有效地更新修复待修复区域的像素，实现待修复区域的修复。因此，通过将人脸图像中非目标对象所在区域的各像素的像素值更新为0的方法，可以有效地剔除了人脸图像中不适合用于更新待修复区域地像素，进一步保障后续从修复参考区域中选取用于更新待修复区域的像素时，避免选取到非目标对象所在区域的像素，进而避免将非目标对象所在区域的像素的像素值更新至待修复区域，提高了人脸图像中目标对象的修复效果。

在步骤405中，将修复参考区域划分为多个与待修复区域大小相等的候选区域，并从多个候选区域中筛选得到目标候选区域。目标候选区域的像素平均值，在按照目标顺序排列的各候选区域的像素平均值内的排列位置居中，目标顺序包括由大到小的顺序或者由小到大的顺序。

该步骤的解释和实现方式可以参考前述步骤104的解释和实现方式，本公开实施例对此不做赘述。

在步骤406中，采用目标候选区域内各像素的像素值更新待修复区域内对应位置的像素的像素值，得到目标人脸图像。

该步骤的解释和实现方式可以参考前述步骤105的解释和实现方式，本公开实施例对此不做赘述。

在步骤407中，将目标人脸图像与人脸图像进行融合处理，得到融合处理后的目标图像。

可选的，终端可以采用融合算法对目标人脸图像与人脸图像进行融合处理，，得到融合处理后的目标图像。其中，融合算法可以包括多段融合算法或者柏松融合算法等。这样，通过将目标人脸图像与人脸图像进行融合处理，消除了目标人脸图像中待修复区域与除待修复区域之外的非修复区域二者边界存在的过度效果，使得待修复区域区域与非修复区域的边界较为平滑，进而使得最终得到的目标图像更为和谐，提升人脸图像的修复效果。

综上所述，本公开实施例提供的图像处理方法，通过获取包括目标对象的待修复区域的人脸图像，选取待修复区域的修复参考区域，修复参考区域包括待修复区域以及与待修复区域相邻的区域。以将待修复区域的像素值更新为0后，将修复参考区域划分为多个与待修复区域大小相等的候选区域，并从多个候选区域中筛选得到目标候选区域。采用目标候选区域内各像素的像素值更新待修复区域内对应位置的像素的像素值，得到目标人脸图像。该技术方案中，通过待修复区域的像素值更新为0，且保证选取的目标候选区域的像素平均值，在按照由大到小的顺序或者由小到大的顺序排列的各候选区域的像素平均值内的排列位置居中的方式，保障了筛选的用于更新待修复区域的目标候选区域来自于人脸图像的待修复区域周围的区域。且通过直接采用筛选的目标候选区域内各像素的像素值更新待修复区域的方式，实现了对待修复区域进行修复的效果。相较于相关技术，对待修复区域进行修复的处理过程简单，提升了处理速率，进而提高了处理效率。

请参考图5，其示出了本公开实施例提供的一种图像处理装置的框图。如图5所示，装置包括：获取模块501、选取模块502、更新模块503以及筛选模块504。

获取模块501，用于获取人脸图像，人脸图像包括目标对象的待修复区域；

选取模块502，用于选取待修复区域的修复参考区域，修复参考区域包括待修复区域以及与待修复区域相邻的区域；

更新模块503，用于将待修复区域的像素值更新为0；

筛选模块504，用于将修复参考区域划分为多个与待修复区域大小相等的候选区域，并从多个候选区域中筛选得到目标候选区域，目标候选区域的像素平均值，在按照目标顺序排列的各候选区域的像素平均值内的排列位置居中，目标顺序包括由大到小的顺序或者由小到大的顺序；

更新模块503，还用于采用目标候选区域内各像素的像素值更新待修复区域内对应位置的像素的像素值，得到目标人脸图像。

在一种可能实现方式中，筛选模块504，还用于：

计算各候选区域的像素平均值；

将各像素平均值按照目标顺序排列；

将排列后的各像素平均值中，位于中间位置的目标数量个像素平均值对应的候选区域作为目标候选区域。

在一种可能实现方式中，目标候选区域的数量为多个，更新模块503，还用于：

获取各目标候选区域中每个像素的灰度值；

从各目标候选区域内对应位置的像素的灰度值中，选取最大灰度值对应的像素值作为待修复区域内对应位置的目标像素值；

将待修复区域内各像素的像素值分别更新为对应的目标像素值，得到目标人脸图像。

在一种可能实现方式中，筛选模块504，还用于利用与待修复区域大小相等的滑窗，以设定步长从修复参考区域中截取多个候选区域。

在一种可能实现方式中，更新模块503，还用于将人脸图像中非目标对象所在区域的各像素的像素值更新为0。

在一种可能实现方式中，目标候选区域的像素平均值，在按照目标顺序排列的各候选区域的像素平均值内的排列位置居中，包括：

目标候选区域内各像素的红色通道的像素平均值，在按照目标顺序排列的各候选区域的红色通道的像素平均值内的排列位置居中。

在一种可能实现方式中，装置还包括：

融合处理模块，用于将目标人脸图像与人脸图像进行融合处理，得到融合处理后的目标图像。

在一种可能实现方式中，选取模块502，还用于：

确定人脸图像中待修复区域的最小外接矩形；

将最小外接矩形放大设定倍数，得到扩充矩形；

将扩充矩形所在区域作为修复参考区域。

综上所述，本公开实施例提供的图像处理装置，通过获取包括目标对象的待修复区域的人脸图像，选取待修复区域的修复参考区域，修复参考区域包括待修复区域以及与待修复区域相邻的区域。以将待修复区域的像素值更新为0后，将修复参考区域划分为多个与待修复区域大小相等的候选区域，并从多个候选区域中筛选得到目标候选区域。采用目标候选区域内各像素的像素值更新待修复区域内对应位置的像素的像素值，得到目标人脸图像。该技术方案中，通过待修复区域的像素值更新为0，且保证选取的目标候选区域的像素平均值，在按照由大到小的顺序或者由小到大的顺序排列的各候选区域的像素平均值内的排列位置居中的方式，保障了筛选的用于更新待修复区域的目标候选区域来自于人脸图像的待修复区域周围的区域。且通过直接采用筛选的目标候选区域内各像素的像素值更新待修复区域的方式，实现了对待修复区域进行修复的效果。相较于相关技术，对待修复区域进行修复的处理过程简单，提升了处理速率，进而提高了处理效率。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据一示例性实施例示出的一种电子设备的框图。该电子设备可以为终端。该电子设备600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，电子设备600包括有：处理器601和存储器602。

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的信息显示方法。

在一些实施例中，电子设备600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。

外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置电子设备600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在电子设备600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在电子设备600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。

定位组件608用于定位电子设备600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源609用于为电子设备600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，电子设备600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。

加速度传感器611可以检测以电子设备600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器612可以检测电子设备600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对电子设备600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器613可以设置在电子设备600的侧边框和/或显示屏605的下层。当压力传感器613设置在电子设备600的侧边框时，可以检测用户对电子设备600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时，由处理器601根据用户对显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置电子设备600的正面、背面或侧面。当电子设备600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。

光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制显示屏605的显示亮度。具体地，当环境光强度较高时，调高显示屏605的显示亮度；当环境光强度较低时，调低显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。

接近传感器616，也称距离传感器，通常设置在电子设备600的前面板。接近传感器616用于采集用户与电子设备600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与电子设备600的正面之间的距离逐渐变小时，由处理器601控制显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与电子设备600的正面之间的距离逐渐变大时，由处理器601控制显示屏605从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图6中示出的结构并不构成对电子设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种非计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述各个方法实施例提供的图像处理方法。例如，该计算机可读存储介质可以是ROM(Read-Only Memory,只读内存)、RAM(Random Access Memory，随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品，包括计算机程序。该计算机程序被处理器执行时能够执行上述各个方法实施例提供的图像处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取人脸图像，所述人脸图像包括目标对象的待修复区域；

选取所述待修复区域的修复参考区域，所述修复参考区域包括所述待修复区域以及与所述待修复区域相邻的区域；

将所述待修复区域的像素值更新为0；

将所述修复参考区域划分为多个与所述待修复区域大小相等的候选区域，并从多个所述候选区域中筛选得到目标候选区域，所述目标候选区域的像素平均值，在按照目标顺序排列的各所述候选区域的像素平均值内的排列位置居中，所述目标顺序包括由大到小的顺序或者由小到大的顺序；

采用所述目标候选区域内各像素的像素值更新所述待修复区域内对应位置的像素的像素值，得到目标人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述从所述多个候选区域中筛选得到目标候选区域，包括：

计算各所述候选区域的像素平均值；

将各所述像素平均值按照所述目标顺序排列；

将排列后的各所述像素平均值中，位于中间位置的目标数量个像素平均值对应的候选区域作为目标候选区域。

3.根据权利要求1或2所述的方法，其特征在于，所述目标候选区域的数量为多个，所述采用所述目标候选区域内各像素的像素值更新所述待修复区域内对应位置的像素的像素值，得到目标人脸图像，包括：

获取各所述目标候选区域中每个像素的灰度值；

从各所述目标候选区域内对应位置的像素的灰度值中，选取最大灰度值对应的像素值作为所述待修复区域内对应位置的目标像素值；

将所述待修复区域内各像素的像素值分别更新为对应的所述目标像素值，得到目标人脸图像。

4.根据权利要求1所述的方法，其特征在于，所述将所述修复参考区域划分为多个与所述待修复区域大小相等的候选区域，包括：

利用与所述待修复区域大小相等的滑窗，以设定步长从所述修复参考区域中截取多个候选区域。

5.根据权利要求1所述的方法，其特征在于，在所述将所述修复参考区域划分为多个与所述待修复区域大小相等的候选区域，并从多个所述候选区域中筛选得到目标候选区域之前，所述方法还包括：

将所述人脸图像中非目标对象所在区域的各像素的像素值更新为0。

6.根据权利要求1所述的方法，其特征在于，所述目标候选区域的像素平均值，在按照目标顺序排列的各所述候选区域的像素平均值内的排列位置居中，包括：

所述目标候选区域内各像素的红色通道的像素平均值，在按照目标顺序排列的各所述候选区域的红色通道的像素平均值内的排列位置居中。

7.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取人脸图像，所述人脸图像包括目标对象的待修复区域；

选取模块，用于选取所述待修复区域的修复参考区域，所述修复参考区域包括所述待修复区域以及与所述待修复区域相邻的区域；

更新模块，用于将所述待修复区域的像素值更新为0；

筛选模块，用于将所述修复参考区域划分为多个与所述待修复区域大小相等的候选区域，并从多个所述候选区域中筛选得到目标候选区域，所述目标候选区域的像素平均值，在按照目标顺序排列的各所述候选区域的像素平均值内的排列位置居中，所述目标顺序包括由大到小的顺序或者由小到大的顺序；

所述更新模块，还用于采用所述目标候选区域内各像素的像素值更新所述待修复区域内对应位置的像素的像素值，得到目标人脸图像。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像处理方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的图像处理方法。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至6中任一项所述的图像处理方法。

Images