CN112258404A

CN112258404A - 图像处理方法、装置、电子设备和存储介质

Info

Publication number: CN112258404A
Application number: CN202011105958.9A
Authority: CN
Inventors: 郝燕龙; 张渊; 郭小燕; 郑文
Original assignee: Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2020-10-15
Filing date: 2020-10-15
Publication date: 2021-01-22
Anticipated expiration: 2040-10-15
Also published as: CN112258404B

Abstract

本公开关于图像处理方法、装置、电子设备和存储介质，所述方法包括：获取待修复图像及其对应的掩码图像，待修复图像包括背景区域和待修复的目标区域；将待修复图像和掩码图像输入预训练的第一图像修复网络中，以使第一图像修复网络对目标区域进行修复处理得到第一过渡图像；按照上述相对位置关系，将待修复图像的背景区域与第一过渡图像的过渡目标区域进行合并得到第二过渡图像；将第二过渡图像输入预训练的第二图像修复网络中，以使第二图像修复网络对过渡目标区域进行修复处理得到修复后图像。该方法不仅对图像中缺失区域的修复结果较为稳定，而且即便在图像背景区域复杂的情况下，修复区域也不会存在明显的边界，从而实现较好的修复效果。

Description

图像处理方法、装置、电子设备和存储介质

技术领域

本公开涉及图像处理领域，尤其涉及图像处理方法、装置、电子设备和存储介质。

背景技术

在图像处理领域，通常会遇到图像中的目标对象被移除(如抠图处理后的图像)或图像损坏导致部分区域缺失等情况，因此需要对图像中目标对象被移除的区域或者损坏区域进行修复，以实现较为和谐的图像整体感官。

在相关技术中，通常采用相似块填充的方式进行：首先为待修复的目标区域中的任一基础块随机设置一初始化的偏移量，然后在背景区域中查找与该基础块相似度最高的相似块，并使用该相似块中各个像素点替换基础块中各个像素点，通过迭代进行上述处过程完成目标区域中所有基础块的替换，从而实现对目标区域的修复处理。然而，因为该方式存在随机初始化的过程，所以其修复效果不稳定，即对同一图像的两次处理结果可能并不相同。另外，因为该方案本质上是使用背景区域中的相似块替换目标区域中的基础块，所以在图像背景区域复杂的情况下，可能出现相似度最高的相似块的实际相似度仍然较低的情况，从而导致修复区域存在明显的边界。

发明内容

本公开提供了图像处理方法、装置、电子设备和存储介质，以至少解决相关技术中处理效果不稳定、复杂背景下被修复区域边界明显的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提出一种图像处理方法，包括：

获取待修复图像和所述待修复图像对应的掩码图像，所述待修复图像包括待修复的目标区域和所述目标区域之外的背景区域，所述掩码图像用于指示所述目标区域和所述背景区域的相对位置关系；

将所述待修复图像和所述掩码图像输入预训练的第一图像修复网络中，以使所述第一图像修复网络对所述目标区域进行修复处理得到第一过渡图像，所述第一过渡图像包括对应于所述目标区域的过渡目标区域；

按照所述相对位置关系，将所述待修复图像的背景区域与所述第一过渡图像的过渡目标区域进行合并得到第二过渡图像；

将所述第二过渡图像输入预训练的第二图像修复网络中，以使所述第二图像修复网络对所述过渡目标区域进行修复处理得到修复后图像。

可选的，所述掩码图像包括对应于所述目标区域的目标掩码区域和对应于所述背景区域的背景掩码区域，所述目标掩码区域中像素点的颜色值与所述背景掩码区域中像素点的颜色值不同。

可选的，所述获取所述待修复图像对应的掩码图像，包括：

将所述待修复图像输入预训练的对象分割网络，以使所述对象分割网络识别所述待修复图像中的目标对象，并对所述目标对象所在的目标掩码区域和所述目标掩码区域之外的背景掩码区域进行二值化处理得到掩码图像，二值化后的所述掩码图像中各个像素点的取值用于表征所述相对位置关系。

可选的，将所述待修复图像输入所述第一图像修复网络，包括：

对所述待修复图像进行归一化处理得到归一化待修复图像，并将所述归一化待修复图像输入所述图像修复网络。

可选的，所述第一图像修复网络和所述第二图像修复网络的训练方法，包括：

通过在样本原始图像中添加目标对象得到样本待修复图像，并确定包括所述样本待修复图像和对应于所述样本待修复图像的样本掩码图像的训练样本，所述样本待修复图像包括对应于所述目标对象的待修复的样本目标区域和所述样本目标区域之外的样本背景区域，所述样本掩码图像用于指示所述样本目标区域和所述样本背景区域的相对位置关系；

将所述训练样本输入第一待训练网络，以获取所述第一待训练网络对所述样本目标区域进行修复处理得到的第一样本过渡图像，所述第一样本过渡图像包括对应于所述样本目标区域的样本过渡目标区域；

按照所述相对位置关系，将所述待修复图像的背景区域与所述第一样本过渡图像的样本过渡目标区域进行合并，并将合并得到的第二样本过渡图像输入第二待训练网络，以获取所述第二待训练网络对所述样本过渡目标区域进行修复处理得到的样本修复后图像，所述样本修复后图像包括对应于所述样本目标区域的样本修复后目标区域；

根据所述样本原始图像和所述样本修复后图像训练所述第一待训练网络和所述第二待训练网络，以得到所述第一图像修复网络和所述第二图像修复网络。

可选的，所述第一图像修复网络和所述第二图像修复网络基于U-Net结构的生成对抗网络构建。

可选的，所述第一图像修复网络和/或所述第二图像修复网络中使用ELU函数或PRLEU函数作为激活函数。

根据本公开实施例的第二方面，提出一种图像处理装置，包括：

图像获取模块，被配置为获取待修复图像和所述待修复图像对应的掩码图像，所述待修复图像包括待修复的目标区域和所述目标区域之外的背景区域，所述掩码图像用于指示所述目标区域和所述背景区域的相对位置关系；

第一输入模块，被配置为将所述待修复图像和所述掩码图像输入预训练的第一图像修复网络中，以使所述第一图像修复网络对所述目标区域进行修复处理得到第一过渡图像，所述第一过渡图像包括对应于所述目标区域的过渡目标区域；

图像合并模块，被配置为按照所述相对位置关系，将所述待修复图像的背景区域与所述第一过渡图像的过渡目标区域进行合并得到第二过渡图像；

第二输入模块，被配置为将所述第二过渡图像输入预训练的第二图像修复网络中，以使所述第二图像修复网络对所述过渡目标区域进行修复处理得到修复后图像。

可选的，所述图像获取模块还被配置为：

可选的，所述第一输入模块还被配置为：

可选的，还包括网络训练模块，所述网络训练模块被配置为：

根据本公开实施例的第三方面，提出一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一实施例所述的图像处理方法。

根据本公开实施例的第四方面，提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面中任一实施例所述的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

根据本公开的实施例，本方案用于修复图像的网络包括第一图像修复网络和第二图像修复网络两部分，相应的，对待修复图像的处理过程也分为两个阶段：第一阶段将待修复图像及其掩码图像输入预训练的第一图像修复网络，已由第一图像修复网络对其进行修复得到第一过渡图像；第二阶段根据目标区域与背景区域的相对位置关系将待修复图像的背景区域与第一过渡图像的过渡目标区域合并，并将合并后的第二过渡图像输入预训练的第二图像修复网络，已由第二修复网络对其进行修复得到修复后图像。可见，在第一阶段和第二阶段的处理过程中均不存在随机初始化等不确定过程，因此对于任意一张待修复图像，都能够得到唯一的处理后图像，使得图像的修复结果较为稳定。而且，因为并非简单的像素点替换，所以即便在图像背景区域复杂的情况下，修复区域也不会存在明显的边界，从而实现较好的修复效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据本公开的实施例示出的一种图像处理方法流程图；

图2是根据本公开的实施例示出的一种图像处理系统示意图；

图3是根据本公开的实施例示出的另一种图像处理方法流程图；

图4是根据本公开的实施例示出的一种图像处理效果示意图；

图5是根据本公开的实施例示出的一种图像处理装置的示意框图；

图6是根据本公开的实施例示出的一种电子设备的结构图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在相关技术中，通常采用相似块填充的方式进行：首先为待修复的目标区域中的任一基础块随机设置一初始化的偏移量，然后在背景区域中查找与该基础块相似度最高的相似块，并使用该相似块中各个像素点替换基础块中各个像素点，通过迭代进行上述处过程完成目标区域中所有基础块的替换，从而实现对目标区域的修复。然而，因为该方式存在随机初始化的过程，因此图像修复效果不稳定，即对同一图像的两次修复结果可能并不相同。另外，因为该方案本质上是使用背景区域中的相似块替换目标区域中的基础块，所以在图像背景区域复杂的情况下，相似度最高的相似块的实际相似度可能仍然较低，导致被修复区域存在明显的边界，因此该方案的整体修复效果不佳。

为解决相关技术中存在的处理效果不稳定、复杂背景被修复区域存在明显边界的技术问题，本公开提出一种图像处理方法，利用包含第一图像修复网络和第二图像修复网络的预训练的图像修复网络，通过相互承接的两个阶段对待修复图像的目标区域(即待修复区域)进行修复以得到修复后图像。通过本方案的上述修复处理，可以得到与背景区域较为接近的画面内容，且杯修复区域与背景区域不存在明显的区域边界，从而使得修复后图像的整体感观较为和谐，整体效果类似于将目标区域中的对象抠除后，将目标区域修复为与背景区域自然衔接的画面效果(将位于背景中的对象移除后，剩余的单纯背景)。

首先需要说明的是，作为本公开所述图像处理方法的执行主体的图像处理设备，可以为终端设备，包括但不限于手机、平板设备、笔记本电脑、掌上电脑(PDAs，PersonalDigital Assistants)、可穿戴设备(如智能眼镜、智能手表等)等；也可以为服务器，如包含一独立主机的物理服务器、主机集群承载的虚拟服务器或云服务器等，本公开对于图像处理设备的具体形式并不进行限制。

图1是本说明书一示例性实施例示出的一种图像处理方法的流程图。如图1所示，该方法应用于图像处理设备，可以包括以下步骤：

步骤102，获取待修复图像和所述待修复图像对应的掩码图像，所述待修复图像包括待修复的目标区域和所述目标区域之外的背景区域，所述掩码图像用于指示所述目标区域和所述背景区域的相对位置关系。

在一实施例中，可以先获取需要进行修复处理的待修复图像。该待修复图像可以具有多种形式，例如可以为拍摄得到的静态图像，也可以为从视频画面中提取的视频帧图像，其中，该视频画面可以来自预先制作完成的视频，也可以为实时视频流对应的视频，如直播视频，即时通讯视频等，不再赘述。上述待修复图像中包括目标区域和背景区域，其中，目标区域即为待修复图像中需要进行修复的各个像素点构成的区域，如待修复图像中的目标对象所在区域、被裁切区域、画面损坏区域等。其中，待修复图像中的目标区域和背景区域可以由图像处理设备的用户在待修复图像中以画框、拖拉等方式自定义，也可以由预训练的对象识别模型识别待修复图像中的目标对象，并按照预设规则将包含识别出的目标对象的区域确定为目标区域，进而将待修复图像中区别于上述目标区域的其他区域确定为相应的背景区域。

在一实施例中，待修复图像中任一像素点的颜色值可以为该像素点在预设色彩空间中的取值，该预设色彩空间可以为灰度空间(此时颜色值为灰度值)，可以为RGB空间(此时颜色值为RGB三通道值)，也可以为YUV空间(此时颜色值为YUV三通道值)，本公开对此并不进行限制。

在获取待修复图像后，可以进一步获取其对应的掩码图像。其中，掩码图像可以包括对应于目标区域的目标掩码区域和对应于背景区域的背景掩码区域，目标掩码区域中像素点的颜色值区别于背景掩码区域中像素点的颜色值，从而该掩码图像中各个像素点的颜色值可以表征该像素点位于目标区域还是位于背景区域，即可以通过该掩码图像表征待修复图像中目标区域与背景区域的相对位置关系。通过对应于待修复图像待修复图像的掩码图像表征上述相对位置关系，能够准确获知获取上述目标区域与背景区域的相对位置关系，从而有助于更准确的实现图像修复。

在一实施例中，可以利用对象分割网络获取掩码图像。例如，可以将待修复图像输入预训练的对象分割网络，以使对象分割网络识别待修复图像中的目标对象，并对目标对象所在的目标掩码区域和目标掩码区域之外的背景掩码区域进行二值化处理进而得到掩码图像，二值化后的掩码图像中各个像素点的取值可以用于表征上述相对位置关系。其中，上述二值化过程可以采用诸如相关技术中记载的大津法(又称OSTU法)，迭代阈值法，P分位法，基于最小误差的全局阈值法，局部阈值法，全局阈值与局部阈值相结合的方法等实现，此处不再赘述。例如，可以将目标区域中各个像素点的取值设为1，背景区域中各个各个像素点的取值设为0。通过预训练的对象分割网络识别待修复图像中的目标对象，进而将目标对象对应的目标区域与背景区域进行区分，并进而根据目标区域与背景区域之间的位置关系生成掩码图像，从而能够确保掩码图像中各个像素点的取值能够准确表征上述相对位置关系。

步骤104，将所述待修复图像和所述掩码图像输入预训练的第一图像修复网络中，以使所述第一图像修复网络对所述目标区域进行修复处理得到第一过渡图像，所述第一过渡图像包括对应于所述目标区域的过渡目标区域。

在一实施例中，可以将待修复图像与掩码图像进行级联，并将级联得到的待修复合并图像后输入第一图像修复网络第一图像修复网路，此时，该待修复合并图像的颜色值多了一个掩码通道，其中任一像素点的取值不仅包括该像素点的原有颜色值，还包括该像素点在掩码图像中对应像素点的掩码值，该掩码值即用于表征该像素点是否位于目标区域，从而通过将相对位置关系包含在待修复图像中，以简化第一图像修复网路的输入数据。

进一步的，因为第一图像修复网路和第二图像修复网路对图像进行修复的过程，实际上即为对图像对应的各个特征向量进行向量运算或矩阵运算的过程，而且考虑到特征向量或矩阵中各元素的具体取值为往往是浮点型数值，所以为了保证图像修复的计算精度，在将上述待修复图像与掩码图像进行级联之前可以先对二者进行归一化处理。例如，可以对待修复图像进行归一化处理以得到归一化待修复图像，还可以对掩码图像进行归一化处理以得到归一化掩码图像，然后将归一化原始待修复和归一化掩码图像进行级联得到归一化待修复合并图像。其中，归一化待修复图像和归一化掩码图像中任一像素点的颜色值均处于[-1.0,1.0]区间内；相应的，级联及归一化得到的归一化待修复合并图像中任一像素点的颜色值均处于[-1.0,1.0]区间内，从而便于进行浮点运算，特别是单精度浮点运算。

步骤106，按照所述相对位置关系，将所述待修复图像的背景区域与所述第一过渡图像的过渡目标区域进行合并得到第二过渡图像。

在本实施例中，通过第一图像修复网路修复待修复图像之后，可以通过第一图像修复网路输出的第一过渡图像与待修复图像进行合并得到第二过渡图像。具体的，可以将上述待修复图像的背景区域与第一过渡图像的过渡目标区域进行合并得到第二过渡图像。合并后的第二过渡图像中的目标区域部分是经过第一图像修复网路初步修复的图像，而背景区域部分即为待修复图像的背景区域。

步骤108，将所述第二过渡图像输入预训练的第二图像修复网络中，以使所述第二图像修复网络对所述过渡目标区域进行修复处理得到修复后图像。

在本实施例中，可以使用第二图像修复网路对该第二过渡图像进行进一步修复。其中，上述第一图像修复网络和第二图像修复网络都可以被基于U-Net结构的生成对抗网络(Generative Adversarial Networks，GAN)所构建，以充分发挥U-Net结构和生成对抗网络通过下采样和上采实现图像修复的算法优势，当然，也可以基于其他算法的网络构建上述第一图像修复网络和第二图像修复网络。进一步的，上述第一图像修复网络可以使用Sigmoid函数、Tanh函数等饱和激活函数；当然，为避免梯度消失问题并加快收敛速度，也可以使用ELU函数、ReLU函数、PReLU、RReLU等非饱和激活函数，本公开对此并不进行限制。类似的，第二图像修复网路也可以使用上述ELU函数、PRLEU函数或其他函数作为激活函数，而且，上述第一图像修复网路和第二图像修复网路所使用的激活函数可以相同也可以不同。

在本实施例中，上述第二图像修复网路输出的修复后图像即为对待修复图像进行图像修复后得到的最终图像，该图像的背景区域中的画面内容与目标区域中的画面内容之间的一致性较高，吻合效果好，而且目标区域与背景区域之间并不存在明显的区域边界，从而修复后画面能够呈现出较为和谐的画面感观，人类观察者凭肉眼甚至不会意识到修复后图像中的目标区域中曾经存在目标对象。

在一实施例中，上述第一图像修复网路和第二图像修复网路是预先经过训练的，该训练过程可以由图像处理设备完成，当然，也可以由其他设备完成，本公开并不对此进行限制。具体的训练方法可以包括：首先，可以通过在样本原始图像中添加目标对象得到样本待修复图像，进而确定包括上述样本待修复图像和对应于该样本待修复图像的样本掩码图像的训练样本，该样本待修复图像包括对应于目标对象的待修复的样本目标区域和样本目标区域之外的样本背景区域，样本掩码图像用于指示样本待修复图像中的样本目标区域和样本背景区域的相对位置关系；然后，将训练样本输入第一待训练网络，以获取第一待训练网络对样本目标区域进行修复处理得到的第一样本过渡图像，该第一样本过渡图像包括对应于样本目标区域的样本过渡目标区域；再按照上述相对位置关系，将待修复图像的背景区域与第一样本过渡图像的样本过渡目标区域进行合并，并将合并得到的第二样本过渡图像输入第二待训练网络，以获取该第二待训练网络对样本过渡目标区域进行修复处理得到的样本修复后图像，该样本修复后图像包括对应于样本目标区域的样本修复后目标区域；最后，根据上述样本原始图像和样本修复后图像训练上述第一待训练网络和第二待训练网络，以得到第一图像修复网络和第二图像修复网络。

在上述实施例中，样本原始图像可以为RGB形式的原图，如视频帧图像、视频截图、对被摄对象拍摄得到的图像等。如可以通过图层合并等方式将抠图得到的人像画面添加至样本原始图像的原有画面上，再根据添加后的人像画面和原有画面生成新的图像作为样本原始图像，使得该图像中的人像被显示在原有画面之上(如人物位于远处的建筑背景，从而形成类似于人物为画面前景、建筑为画面背景的显示效果)。当然，在样本图像中添加目标对象可以使用PS(Photoshop)等图像处理软件或预训练的图像处理模型进行批量处理。在通过上述过程处理样本原始图像得到样本修复后图像之后，可以通过样本修复后图像和样本原始图像之间的相似度对图像修复网络(包括第一图像修复网络和第二图像修复网络)的图像修复效果进行评价(即对模型进行损失评价)。具体的，可以使用相关技术中的SSIM(Structural SIMilarity，结构相似性)和PSNR(Peak Signal to Noise Ratio，峰值信噪比)作为样本修复后图像和样本原始图像之间的相似度，当然也可以使用其他参数或者多个参数之间的加群平均值等复合参数作为上述相似度，具体计算过程此处不再赘述。在上述方式中，因为对样本原始图像进行修复的最好结果即为样本原始图像，所以通过图像修复网络最终输出的样本修复后图像与该样本原始图像之间的相似性评价修复效果，保证了修复目标的合理性与准确性，从而有助于训练出修复效果更好的图像修复网络。

进一步的，可以预先设置上述相似度对应的相似度阈值，并在使用若干个训练样本对上述完成上述训练过程后计算当前结果对应的当前相似度，并将当前相似度与上述相似度阈值进行比较以确定是否终止模型训练过程。如在使用SSIM作为上述相似度且预先设置SSIM对应的相似度阈值为SSIM₀＝0.9的情况下，若第i轮训练后对应的SSIM_i＝0.88，第i+1轮训练后对应的SSIM_i+1＝0.91，则表明经过第i+1轮训练后的第一待训练网络和第二待训练网络已经满足模型训练目标，此时可以终止模型训练过程，并将第i+1轮训练后的第一待训练网络和第二待训练网络作为训练结果(即将此时的第一待训练网络作为第一图像修复网络、将此时的第二待训练网络作为第二图像修复网络)。

上述第一图像修复网络和第二图像修复网络构成的图像处理系统的系统架构可以参见图2。如图2所示，可以将待修复图像和其对应的掩码图像级联后作为第一图像修复网络的输入(实际输入的是图像中各个像素点的取值)。第一图像修复网络可以基于输入的图像的各个像素点的取值对目标区域进行修复处理，从而得到第一过渡图像，该图像中各个像素点得取值即为第一图像修复网路计算得到的中间值。然后，可以将第一过渡图像的背景区域与第一过渡图像的目标区域合并以得到第二过渡图像。最后，将第二过渡图像输入第二图像修复网络，以由第二图像修复网络基于第二过渡图像的各个像素点的取值对目标区域进行修复处理，从而得到修复后图像，该图像中各个像素点得取值即为第二图像修复网路计算得到的中间值。此时，该修复后图像即为第二图像修复网络的输出图像，亦即经过该图像处理系统处理后的(修补完成的)图像。

下面结合图3和图4，以使用第一图像修复网络和第二图像修复网络进行图像修复为例，对上述图像修复过程进行详细说明。图3为一示例性实施例所示的另一种图像处理方法流程图，如图3所示，该方法应用于图像处理设备，该方法可以包括以下步骤：

步骤302，获取待修复图像。

待修复图像即为需要进行图像修复的图像。在一实施例中，待修复图像可以具有多种形式，相应的，可以使用多种方式获取待修复图像。例如，在待修复图像为原始静态图像的情况下，可以根据检测到的待修复图像选择指令确定该原始静态图像为待修复图像，该原始静态图像可以为图像处理设备使用自身装配的图像采集组件拍摄得到的图像，或者，也可以为从其他设备获取到的图像。在待修复图像为视频帧图像的情况下，可以从预先制作完成的视频中提取该视频帧图像，或者也可以从直播视频，即时通讯视频等实时视频对应的视频流中获取该视频帧图像。当然，上述待修复图像也可以为从gif动图等动态图像中提取的图像帧，不再赘述。

上述待修复图像中可以包括目标区域和背景区域，其中，目标区域即为待修复图像中需要进行修复的各个像素点构成的区域，如待修复图像中的目标对象所在区域、被裁切区域、画面的损坏区域等。待修复图像中的目标区域和背景区域可以由图形处理设备的用户在待修复图像中以手绘边界、拖拉预设边框等方式自定义指定；也可以由预训练的对象识别模型识别待修复图像中的目标对象，并按照预设规则将包含识别出的目标对象的区域确定为目标区域，并自动将所述待修复图像中区别于上述目标区域的其他区域确定为背景区域。上述预设规则可以包括：将目标对象边界外侧全部或部分像素点的像素连线作为目标区域的边界等。

以图4(a)所示的待修复图像为例，待修复图像的前景为人像，背景为人像背后的海滩和远景，此时，经过上述方式可以确定出背景区域401a为人像背后的海滩和远景区域(除人像区域之外的区域)、目标区域402a为前景的人像区域(人像轮廓以内的区域)。当然，在目标图像中包含多个目标对象(如多个人像)的情况下，可以相应的具有多个目标区域，且各个目标区域之间可以相邻或相连(此时可认为相邻或相连的多个目标区域构成一个目标区域)，当然也可以不相邻；而且，多个目标区域对应的目标对象可以为同一类型的对象，如全部为人像；也可以为不同类型的对象，如包括人像、建筑、车辆等，不再赘述。可以理解的是，在通过上述对象识别模型识别待修复图像中的目标对象以确定目标区域的情况下，上述对象识别模型可以预先通过包含相应对象的样本图形进行训练并验证。

步骤304，获取掩码图像。

在获取到待修复图像后，还可以获取对应于待修复图像的掩码图像。该掩码图像可以包括对应于目标区域的目标掩码区域和对应于背景区域的背景掩码区域，目标掩码区域中像素点的颜色值区别于背景掩码区域中像素点的颜色值。例如，可以直接将目标区域中的各个像素点的颜色值变更为第一预设值，如“0”，并将背景区域中的各个像素点的颜色值变更为第二预设值，如“255”，以生成相应的掩码图像。或者，也可以由上述对象识别模型在识别出目标区域后，直接输出相应的掩码图像，不再赘述。

对于图4(a)所示待修复图像，在第一预设值为0、第二预设值为255的情况下，通过上述过程确定的掩码图像(灰度图)如图4(b)所示，其中包括黑色的背景区域401b和白色的目标区域402b。可以理解的是，也可以令上述第一预设值为255、第二预设值为0，此时上述背景区域401b将为白色，目标区域402b将为黑色。实际上，上述第一预设值和第二预设值仅是用于区分目标区域和背景区域，因此只需保证第一预设值和第二预设值不同即可，对于二者的具体取值本公开并不进行限制。

步骤306，将待修复图像与掩码图像级联得到待修复图像。

在一实施例中，可以将待修复图像与掩码图像进行级联，以得到待修复合并图像，相对于待修复图像，级联后的待修复合并图像中任一像素点的取值均多了一个掩码通道，任一像素点的取值不仅包括该像素点的原有颜色值，还包括该像素点在掩码图像中对应像素点的掩码值。例如，对于RGB三通道格式的尺寸为3*256*256Pix的待修复图像，其对应的掩码图像的尺寸为1*256*256Pix，则级联后的待修复合并图像的尺寸为4*256*256Pix。此时，级联后的待修复合并图像中的任一像素点均对应该像素点的原始颜色值以及其对应的掩码值，如目标区域中的像素点P1的取值为[32,50,77,1]，背景区域中的像素点P2的取值为[32,50,77,0]。另外，级联之前(或之后)，还可以对待修复图像(待修复合并图像中的颜色值部分)进行归一化，以便于进行浮点运算，特别是单精度浮点运算。

步骤308，将级联后的待修复合并图像输入第一图像修复网络进行第一级修复。

将上述步骤306a或306b得到的待修复合并图像输入预训练的第一图像修复网络。在本实施例中，在第一图像修复网络采用U-Net结构的网络进行搭建的情况下，第一图像修复网路对合并后图像进行修复的过程即为对该图像依次进行下采样、上采样和相关计算的过程。

第一图像修复网络进行的第一下采样，本质上就是对待修复合并图像中所有像素点划分采样块，然后对各个采样块内像素点的颜色值进行一系列的扩张卷积运算得到下一级尺寸更小的采样块的颜色值的过程；与之相反，第一图像修复网络进行的第一上采样，本质上就是下采样得到的各个最小采样块中各个像素点的颜色值进行一系列的扩张卷积运算得到下一级尺寸更大的采样块的颜色值的过程。例如，在上述第一下采样时，经过第一次下采样运算，尺寸为4*256*256Pix的待修复图像被转换为尺寸为16*128*128Pix的一级下采样块；再经过第二次下采样运算，待修复图像被转换为尺寸为64*64*64Pix的二级下采样块……，上采样过程与此相反，不再赘述。其中，第一下采样可以采用相关技术中诸如等比抽取等方法实现、第一上采样可以采用相关技术中诸如插值法(Interpolation)、反卷积(Deconvolution)和反池化(UnPooling)等算法实现，具体实现过程不再赘述。

另外，在上述计算过程中，为将神经网络中参数之间的线性关系转换为非线性关系，以实现更准确的处理结果，可以采用ELU函数、Sigmoid函数、Tanh函数、Swish函数等作为第一图像修复网路的激活函数，本公开对此并不进行限制。

步骤310，通过第一图像修复网络输出的第一过渡图像获取第二过渡图像。

第一图像修复网络通过对待修复合并图像进行第一下采样和第一上采样，能够计算出待修复图像的目标区域内各个像素点的中间颜色值，从而输出第一过渡图像。此时，图像处理设备可以利用中间颜色值对应的目标区域中的像素点结合待修复图像背景区域中的各个像素点生成第二过渡图像。或者，第一图像修复网络也可以利用中间颜色值对应的目标区域中的像素点与背景图像区域中的各个像素点生成第二过渡图像，并将其作为修复结果输出，以充分发挥第一图像修复网络的运算优势，并减轻图像处理设备的运算压力。

利用图4(a)所示的待修复图像和图4(b)所示的掩码图像，图像处理设备可以通过本步骤的上述过程得到第一过渡图像(图中未示出)，进而通过待修复图像的背景区域和第一过渡图像的目标区域合并得到如图4(c)所示的第二过渡图像。如图4(c)所示，第二过渡图像可以包括正常显示的(清晰的)背景区域401c和计算出的中间颜色值对应的中间像素点构成的目标区域402c。其中，背景区域401c的各个像素点的颜色值与图4(a)的待修复图像中背景区域401a内的各个像素点的颜色值相同，因此背景区域401c与背景区域401a完全相同。而因为目标区域402c中的各个像素点的颜色值通过第一图像修复网络计算得到，所以其呈现的是待修复图像中将人像对应的目标区域402a扣除后，剩余的全背景图像中目标区域的理论效果(就是把人移走之后剩余的海滩和远景的全景效果)。但是，因为上述计算仅执行了一次，所以效果尚且不佳，呈现出如目标区域402c所示的模糊的效果，即此时尚未实现图像修复的目标。

步骤312，将第二过渡图像输入第二图像修复网络进行第二级修复。

为实现更加接近真实的目标区域展示效果，可以将上述第二过渡图像输入第二图像修复网络进行第二级修复。类似的，在第二图像修复网络采用U-Net结构的网络进行搭建的情况下，第二图像修复网路对合并后图像进行修复的过程即为对该图像依次进行下采样、上采样和相关计算的过程。

第一图像修复网络进行的第二下采样，本质上也是对第二过渡图像中所有像素点划分采样块，然后对各个采样块内像素点的颜色值进行一系列的扩张卷积运算得到下一级尺寸更小的采样块的颜色值的过程；与之相反，第二图像修复网络对第二过渡图像进行的第二上采样，本质上也是对下采样得到的各个最小采样块中各个像素点的颜色值进行一系列的扩张卷积运算得到下一级尺寸更大的采样块的颜色值的过程。实际上，第二图像修复网络对中间颜色值和背景颜色值的具体运算原理及过程与第一图像修复网络并不存在本质差异，不再赘述。

需要说明的是，因为上述第一图像修复网络和第二图像修复网络仅对输入图像进行上采样和下采样处理及其相关计算，所以由上采样和下采样的基本原理可知，第一图像修复网络的输入图像(待修复图像、掩码图像和待修复合并图像)和输出图像(第一过渡图像)，以及第二图像修复网络的输入图像(第二过渡图像)和输出图像(修复后图像)的尺寸全都相同，因此上述第一图像修复网络和第二图像修复网络可以使用多种尺寸的样本图像进行训练，以实现对多种尺寸图像的准确修复；或者，也可以分别使用不同尺寸的样本图像训练多组第一图像修复网络和第二图像修复网络，并根据上述待修复图像的尺寸选择相应尺寸的样本图像训练得到的一组第一图像修复网络和第二图像修复网络，以实现更准确的处理效果。

步骤314，获取第二图像修复网路输出的修复后图像。

在本实施例中，第二图像修复网络对中间图像的各个像素点的颜色值进行下采样和上采样处理后，得到中间目标区域中各个像素点对应的最终颜色值，此时，第二图像修复网路可以直接将最终颜色值作为计算结果输出，此时，图像处理设备可以利用最终颜色值对应的目标区域中的像素点结合待修复图像的背景区域中的各个像素点生成处理后图像。或者，第二图像修复网路也可以直接输出修复后图像，从而充分发挥第二图像修复网路的运算优势，并减轻图像处理设备的运算压力。

上述计算过程得到的修复后图像即为经过该图像处理系统修复后的完整图像，也就是对目标区域填补完成的图像。如图4(d)所示的处理后图像，包括相对于图4(a)所示的待修复图像和图4(c)所示的第二过渡图像基本无变化的背景区域401d，还包括修复得得到的目标区域402d。可见，相对于目标区域402a，目标区域402d不再显示人像，而是被与背景区域融为一体的细节图像所填充，从而实现了对待修复图像中目标区域的修复，而且目标区域402d与背景区域401d之间并不存在明显的区域边界，从而实现了较佳的处理及展示效果。

与前述图像处理方法的实施例相对应地，本公开还提出了图像处理装置的实施例。

图5是根据本公开的实施例示出的一种图像处理装置的示意框图。本实施例所示的图像处理装置可以适用于终端设备，该终端设备可以包括但不限于手机、平板设备、笔记本电脑、掌上电脑(PDAs，Personal Digital Assistants)、可穿戴设备(如智能眼镜、智能手表等)等；该终端设备也可以为服务器，如包含一独立主机的物理服务器、主机集群承载的虚拟服务器或云服务器等，本公开对于图像处理设备的具体形式并不进行限制。

如图5所示，所述图像处理装置可以包括：

图像获取模块501，被配置为获取待修复图像和所述待修复图像对应的掩码图像，所述待修复图像包括待修复的目标区域和所述目标区域之外的背景区域，所述掩码图像用于指示所述目标区域和所述背景区域的相对位置关系；

第一输入模块502，被配置为将所述待修复图像和所述掩码图像输入预训练的第一图像修复网络中，以使所述第一图像修复网络对所述目标区域进行修复处理得到第一过渡图像，所述第一过渡图像包括对应于所述目标区域的过渡目标区域；

图像合并模块503，被配置为按照所述相对位置关系，将所述待修复图像的背景区域与所述第一过渡图像的过渡目标区域进行合并得到第二过渡图像；

第二输入模块504，被配置为将所述第二过渡图像输入预训练的第二图像修复网络中，以使所述第二图像修复网络对所述过渡目标区域进行修复处理得到修复后图像。

可选的，所述图像获取模块501还被配置为：

可选的，所述第一输入模块502还被配置为：

可选的，还包括网络训练模块505，所述网络训练模块被配置为：

本公开的实施例还提出一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的图像处理方法。

本公开的实施例还提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的图像处理方法。

本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的图像处理方法。

图6是根据本公开的实施例示出的一种电子设备的示意框图。例如，电子设备600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，电子设备600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件618。

处理组件602通常控制电子设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述图像处理方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。

多媒体组件608包括在电子设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件618发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到电子设备600的打开/关闭状态，组件的相对定位，例如所述组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变，用户与电子设备600接触的存在或不存在，电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

图像采集组件616可以用于采集被摄对象的图像数据，以形成关于被摄对象的图像，并可以对该图像进行必要的处理。该图像采集组件616可以包括相机模组，相机模组中的图像传感器(Sensor)通过镜头感应来自被摄对象的光线，将得到的感光数据提供给图像信号处理器(ISP，Image Signal Processing)，由后者根据感光数据生成对应于被摄对象的图像。其中，上述图像传感器可以为CMOS传感器或CCD传感器，当然，也可以为红外传感器、深度传感器等；相机模组可以内置在电子设备600中，也可以为电子设备600的外接模组；上述ISP可以内置在相机模组中，也可以外挂在上述电子设备中(不在相机模组内)。

通信组件618被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件618经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件618还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在本公开一实施例中，电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像处理方法。

在本公开一实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620执行以完成上述图像处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

需要说明的是，在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本公开实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述掩码图像包括对应于所述目标区域的目标掩码区域和对应于所述背景区域的背景掩码区域，所述目标掩码区域中像素点的颜色值与所述背景掩码区域中像素点的颜色值不同。

3.根据权利要求1所述的方法，其特征在于，所述获取所述待修复图像对应的掩码图像，包括：

4.根据权利要求1所述的方法，其特征在于，将所述待修复图像输入所述第一图像修复网络，包括：

5.根据权利要求1所述的方法，其特征在于，所述第一图像修复网络和所述第二图像修复网络的训练方法，包括：

6.根据权利要求1所述的方法，其特征在于，所述第一图像修复网络和所述第二图像修复网络基于U-Net结构的生成对抗网络构建。

7.根据权利要求6所述的方法，其特征在于，所述第一图像修复网络和/或所述第二图像修复网络中使用ELU函数或PRLEU函数作为激活函数。

8.一种图像处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像处理方法。

10.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的图像处理方法。