CN109816613A

CN109816613A - 图像补全方法及装置

Info

Publication number: CN109816613A
Application number: CN201910149411.XA
Authority: CN
Inventors: 陈广均
Original assignee: Guangzhou Huaduo Network Technology Co Ltd
Current assignee: Guangzhou Cubesili Information Technology Co Ltd
Priority date: 2019-02-28
Filing date: 2019-02-28
Publication date: 2019-05-28
Anticipated expiration: 2039-02-28
Also published as: CN109816613B

Abstract

本发明提供了一种图像补全方法及装置。终端可以先根据图像中的待修补区域确定多个修补块；然后从候选填充区域中，分别确定与每个修补块相匹配的目标填充块；最后再采用与每个修补块相匹配的目标填充块对修补块进行填充。由于终端可以对待修补区域进行逐块修补，即对待修补区域包括的多个修补块中的每个修补块一一进行修补，因此修补精度较高，修补效果较好。另外，由于候选填充区域是从外围区域确定的，且其面积小于外围区域，因此相对于从较大面积的外围区域中确定与每个修补块相匹配的目标填充块，从候选填充区域确定目标填充块时的计算量更小，效率更高。

Description

图像补全方法及装置

技术领域

本发明属于图像处理领域，特别涉及一种图像补全方法及装置。

背景技术

图像补全作为一种对图像进行修补的技术被广泛应用于图像处理领域中。终端可以通过图像补全方法对获取到的图像中的缺失部分进行修补，从而生成一张完整的图像。

相关技术中，终端可以先确定待修补区域；然后获取除待修补区域之外的区域中，与该待修补区域相似度最高的填充块；最后再采用该填充块填充该待修补区域，实现图像补全。

但是，由于相关技术中，终端是采用图像补全方法对待修补区域进行一次性填充修补，修补精度较低，修补效果较差。

发明内容

本发明实施例提供了一种图像补全方法及装置，可以解决相关技术中修补精度较低，修补效果较差的问题。所述技术方案如下：

一方面，提供了一种图像补全方法，所述方法包括：

根据图像中的待修补区域，确定多个修补块；

从所述图像中除所述待修补区域之外的外围区域中，确定候选填充区域，所述候选填充区域的面积小于所述外围区域的面积；

在所述候选填充区域中，分别确定与每个所述修补块相匹配的目标填充块；

对于每个所述修补块，采用与所述修补块相匹配的目标填充块进行填充。

可选的，所述外围区域包括多个填充块，每个所述填充块的大小与所述修补块的大小相同；所述从所述图像中除所述待修补区域之外的外围区域中，确定候选填充区域，包括：

对于所述外围区域中的每个所述填充块，确定所述填充块与其他每个填充块的相似度；

对应每个所述填充块，根据所述相似度确定所述填充块对应的至少一个相似填充块；

对于每个所述填充块，从所述填充块和所述填充块对应的至少一个相似填充块中，获取一个候选填充块；

将获取到的候选填充块组成的区域确定为所述候选填充区域。

可选的，所述相似填充块与所述填充块的相似度大于其他填充块；

或者，所述相似填充块与所述填充块的相似度大于相似度阈值。

可选的，每个所述填充块均包括N×N个像素；

所述多个填充块中第i个填充块和第j个填充块的相似度MSE满足：

其中，n为不大于N×N的整数，Ψ_i(n)为所述第i个填充块中第n个像素的颜色值，Ψ_j(n)为所述第j个填充块中第n个像素的颜色值。

可选的，所述根据图像中的待修补区域，确定多个修补块，包括：

在所述待修补区域的边界上，确定至少一个中心像素；

对于每个所述中心像素，将所述中心像素以及以所述中心像素为中心的多个像素组成的区域确定为一个修补块。

可选的，所述在所述待修补区域的边界上，确定至少一个中心像素，包括：

确定所述待修补区域的边界上，每个中心像素的优先级；

所述在所述候选填充区域中，分别确定与每个所述修补块相匹配的目标填充块，包括：

按照所述至少一个中心像素的优先级由高到底的顺序，依次确定以每个中心像素为中心的修补块匹配的目标填充块。

可选的，所述至少一个中心像素中，第p个中心像素的优先级P(p)满足：P(p)＝αC(p)+(1-α)D(p)；

其中，p为不小于1的整数，C(p)为以第p个中心像素为中心的修补块的置信度，D(p)为所述第p个中心像素的数据值，所述D(p)满足：为所述第p个中心像素的等照度线向量，n_p为所述第p个中心像素在所述待修补区域边界上的单位法向量，α为第一规则化参数，且α满足：0<α<1。

可选的，所述在所述候选填充区域中，分别确定与每个所述修补块相匹配的目标填充块，包括：

对于每个所述修补块，确定所述修补块与所述候选填充区域中的每个填充块的相似度；

对于每个所述修补块，将与所述修补块相似度最高的一个填充块确定为与所述修补块相匹配的目标填充块。

可选的，在所述根据图像中的待修补区域，确定多个修补块之前，所述方法还包括：

根据获取到的区域选择指令，确定所述待修补区域；

或者，根据获取到的目标物体选择指令，将所述目标物体所在的区域确定为所述待修补区域。

另一方面，提供了一种图像补全装置，所述装置包括：

第一确定模块，用于根据图像中的待修补区域，确定多个修补块；

第二确定模块，用于从所述图像中除所述待修补区域之外的外围区域中，确定候选填充区域，所述候选填充区域的面积小于所述外围区域的面积；

第三确定模块，用于在所述候选填充区域中，分别确定与每个所述修补块相匹配的目标填充块；

填充模块，用于对于每个所述修补块，采用与所述修补块相匹配的目标填充块进行填充。

又一方面，提供了一种图像补全装置，包括：存储器，处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现如上述方面所述的图像补全方法。

再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得计算机执行如上述方面所述的图像补全方法。

本发明实施例提供的技术方案带来的有益效果至少可以包括：

本发明实施例提供了一种图像补全方法及装置。终端可以先根据图像中的待修补区域，确定多个修补块；然后从候选填充区域中，分别确定与每个修补块相匹配的目标填充块；最后再采用与每个修补块相匹配的目标填充块对修补块进行填充。由于终端可以对待修补区域进行逐块修补，即对待修补区域包括的多个修补块中每个修补块一一进行修补，因此修补精度较高，修补效果较好。

另外，由于候选填充区域是从外围区域确定的，且其面积小于小于外围区域，因此相对于从较大面积的外围区域中确定与每个修补块相匹配的目标填充块，从候选填充区域确定目标填充块时的计算量更小，效率更高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像补全方法所涉及的实施环境的示意图；

图2是本发明实施例提供的一种图像补全方法的流程图；

图3是本发明实施例提供的另一种图像补全方法的流程图；

图4是本发明实施例提供的一种确定多个修补块的方法的流程图；

图5是本发明实施例提供的一种确定候选填充区域的方法的流程图；

图6是本发明实施例提供的一种确定目标填充块的方法的流程图；

图7是本发明实施例提供的一种图像补全装置的框图；

图8是本发明实施例提供的一种第一确定模块的框图；

图9是本发明实施例提供的另一种图像补全装置的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1是本发明实施例提供的一种图像补全方法所涉及的实施环境的示意图。如图1所示，该图像补全方法可以应用于终端110。终端110可以为智能手机、电脑或多媒体播放器等，图1以终端110为智能手机为例进行说明。示例的，该终端110中可以安装有图像处理应用程序，该图像处理应用程序可以实现该图像补全方法。

图2是本发明实施例提供的一种图像补全方法的流程图，可以应用于图1所示的终端110中。如图2所示，该方法可以包括：

步骤201、根据图像中的待修补区域，确定多个修补块。

在本发明实施例中，该待修补区域可以为获取到的图像中需要进行修补的区域。为了对待修补区域进行逐块修补，终端可以根据图像中的待修补区域确定多个修补块。并且，各个修补块所包括的像素个数可以相同。

步骤202、从图像中除待修补区域之外的外围区域中，确定候选填充区域，候选填充区域的面积小于外围区域的面积。

该候选填充区域可以为获取到的图像中用于填充待修补区域的区域，也即是，终端可以采用该候选填充区域所包括的像素的颜色值替换待修补区域所包括的像素的颜色值，从而实现对待修补区域的修补。

可选的，该候选填充区域可以包括多个候选填充块，且每个候选填充块的大小与每个修补块的大小可以相同，即每个候选填充块所包括的像素的个数与每个修补块所包括的像素的个数相同。

步骤203、在候选填充区域中，分别确定与每个修补块相匹配的目标填充块。

在本发明实施例中，当终端确定了候选填充区域后，可以根据相似度匹配算法，在该候选填充区域包括的多个候选填充块中，分别确定与每个修补块相匹配的目标填充块。对于每个修补块，该目标填充块可以为多个候选填充块中，与该修补块相似度最高或相似度大于相似度阈值的候选填充块。

步骤204、对于每个修补块，采用与修补块相匹配的目标填充块进行填充。

在本发明实施例中，当终端确定好与每个修补块相匹配的目标填充块后，可以采用该目标填充块对该修补块进行填充，即采用目标填充块所包括的像素的颜色值替换与该目标填充块对应的修补块所包括的像素的颜色值，由此实现对修补区域的补全。

综上所述，本发明实施例提供了一种图像补全方法。终端可以先根据图像中的待修补区域，确定多个修补块；然后从候选填充区域中，分别确定与每个修补块相匹配的目标填充块；最后再采用与各个修补块相匹配的目标填充块对修补块进行填充。由于终端可以对待修补区域进行逐块修补，即对待修补区域包括的多个修补块中的每个修补块一一进行修补，因此修补精度较高，修补效果较好。

另外，由于候选填充区域是从外围区域确定的，且其面积小于外围区域，因此相对于从较大面积的外围区域中确定与每个修补块相匹配的目标填充块，从候选填充区域确定目标填充块时的计算量更小，效率更高。

图3是本发明实施例提供的另一种图像补全方法的流程图，可以应用于图1所示的终端110中。如图3所示，该方法可以包括：

步骤301、确定图像中的待修补区域。

在本发明实施例中，终端可以包括至少一个具有拍摄功能的摄像头。该终端上还可以安装有图像处理应用程序，且该图像处理应用程序可以具备调用摄像头的功能。也即是，终端可以通过图像处理应用程序调用摄像头来进行图像拍摄。相应的，该图像即可以为终端拍摄得到的图像。或者该图像也可以为终端下载得到的图像。另外，该图像处理应用程序还可以实现本发明实施例提供的图像补全方法，即终端可以通过该图像处理应用程序对获取到的图像进行修补。可选的，该图像处理应用程序可以为终端系统自带的应用程序，或者也可以为终端下载的第三方应用程序。该待修补区域可以为获取到的图像中需要进行修补的区域。

可选的，终端确定图像中的待修补区域的方法可以有多种，本发明实施例以以下两种实现方式为例进行说明。

作为一种可选的实现方式：终端可以根据获取到的区域选择指令，确定图像中的待修补区域。

可选的，终端显示的图像的界面中可以显示有待修补区域选择选项，当终端检测到用户点击该待修补区域选择选项时，即可以获取到区域选择指令。进一步的，终端可以根据用户在该图像中的选择操作，将选择操作所选定的区域确定该图像中的待修补区域。其中，用户点击待修补区域选择选项的操作可以为单击、双击或者长按等。该选择操作可以为滑动操作、圈选操作或者将选择框拖选至目标区域的操作。该选择框可以为终端中预先配置的选择框，且该选择框的形状较多，例如，心形选择框、长方形选择框或圆形选择框。

作为另一种可选的实现方式，终端可以根据获取到的目标物体的选择指令，将目标物体所在的区域确定为待修补区域。

可选的，终端显示的图像的界面中可以显示有图像修补选项，当终端检测到用户点击该图像修补选项时，即可以获取到目标物体选择指令。进一步的，终端可以根据用户针对该图像中目标物体的选择，将用户所选择的目标物体所在的区域确定为待修补区域。

或者，终端显示的图像的页面中可以显示有图像编辑选项，终端可以通过该图像编辑选项对图像中的物体进行移除操作。例如，当终端检测到用户点击该图像编辑选项，且检测到用户移动图像中的某个物体的移动操作时，即可根据该移动操作的移动方向移动该物体，并将该物体确定为目标物体，以及将该目标物体的所在区域确定为待修补区域。又例如，当终端检测到用户点击该图像编辑选项，且检测到用户删除图像中的某个物体时，即可以将该物体删除，并将该物体确定为目标物体，以及将该目标物体的所在区域确定为待修补区域。

示例的，假设终端上安装有图像处理应用程序AA，终端通过该图像处理应用程序AA在同一场景下拍摄了多张图像。用户可以在该多张图像中选择一张图像作为目标图像，并可以在该目标图像中选择一个物体作为目标物体。终端可以根据用户选择的目标图像以及目标物体，基于该目标图像中的目标物体的位置对其他图像中的该目标物体的位置进行校准。此外，终端还可以获取到每张图像内的目标物体的移动距离。相应的，终端即可以根据每张图像的转换矩阵(即每张图像中目标物体的移动距离)确定每张图像的待修补区域。

可选的，终端还可以在确定出待修补区域后，将待修补区域所包括的像素的颜色值均填充为0，以和外围区域进行区分。

步骤302、根据图像中的待修补区域，确定多个修补块。

为了对待修补区域进行逐块修补，终端可以根据图像中的待修补区域确定多个修补块，并且，每个修补块的大小可以相同，即每个修补块所包括的像素个数可以相同。

图4是本发明实施例提供的一种确定多个修补块的方法的流程图。如图4所示，该方法可以包括：

步骤3021、在待修补区域的边界上，确定至少一个中心像素。

由于图像补全方法一般是从待修补区域的边界开始进行修补，因此终端可以在确定出待修补区域后，进一步确定出待修补区域的边界。然后，终端可以将图像中位于该待修补区域的边界上的像素确定为中心像素。

步骤3022、对于每个中心像素，将中心像素以及以中心像素为中心的多个像素组成的区域确定为一个修补块。

在本发明实施例中，终端可以将确定的每个中心像素，以及以每个中心像素为中心的多个像素组成的区域确定为一个修补块。并且，由于每个修补块均是以一个中心像素为中心的一个区域，因此每个修补块的形状均可以为正方形，即每个修补块可以均包括N×N个像素，且N可以为大于1的奇数。

示例的，假设N为5，则终端即可以将以每个中心像素为中心的5×5的区域确定为一个修补块。

步骤303、从图像中除待修补区域之外的外围区域中，确定候选填充区域，候选填充区域的面积小于外围区域的面积。

其中，该候选填充区域可以为获取到的图像中用于填充待修补区域的区域，也即是，终端可以采用该候选填充区域所包括的像素的颜色值替换待修补区域所包括的像素的颜色值，从而实现对待修补区域的修补。

在本发明实施例中，由于终端根据待修补区域确定了多个修补块。因此终端还可以根据该外围区域确定多个填充块，且每个填充块的大小与每个修补块的大小可以均相同。例如，假设每个修补块包括N×N个像素，则每个填充块即也可以包括N×N个像素。

并且，为了避免终端从较大面积的外围区域中确定与各个修补块相匹配的目标填充块时，计算量较大，效率较低的问题。终端可以先从图像中除待修补区域之外的外围区域中，确定面积小于外围区域面积的候选填充区域。

图5是本发明实施例提供的一种确定候选填充区域的方法。如图5所示，该方法可以包括：

步骤3031、对于外围区域中的每个填充块，确定填充块与其他每个填充块的相似度。

在本发明实施例中，该多个填充块中第i个填充块和第j个填充块的相似度MSE可以满足：

其中，n为不大于N×N的整数，Ψ_i(n)为第i个填充块中第n个像素的颜色值，Ψ_j(n)为第j个填充块中第n个像素的颜色值。并且，第i个填充块和第j个填充块的相似度与MSE的值成反比，即MSE越小，第i个填充块和第j个填充块的相似度越高。

示例的，终端可以从外围区域的左上角开始，依次计算第1个填充块与其余填充块中每个填充块的MSE，然后再计算第2个填充块与除第1个填充块之外的其余填充块中每个填充块的MSE，然后再计算第3个填充块与除第1个和第2个填充块之外的其余填充块中每个填充块的MSE，以此类推。

步骤3032、对于每个填充块，根据相似度确定填充块对应的至少一个相似填充块。

可选的，该相似填充块与填充块的相似度可以大于其他填充块，也即是，对于每个填充块，该填充块与相似填充块的MSE值小于该填充块与其他填充块的MSE值。

或者，该相似填充块与填充块的相似度可以大于相似度阈值。其中，该相似度阈值可以为终端中预先配置的，例如可以是终端出厂前配置的，或者也可以是用户自行设置的，本发明实施例对此不做限定。

示例的，假设该相似填充块与填充块的相似度大于其他填充块，即相似填充块与填充块的MSE值最小。若外围区域一共包括10个填充块，终端从外围区域的左上角开始，计算得到第1个填充块与第2个填充块的MSE值为0，第1个填充块与其他每个填充块的MSE值均为5，则终端即可以将该第2个填充块确定为该第1个填充块的相似填充块。

步骤3033、对于每个填充块，从填充块和填充块对应的至少一个相似填充块中，获取一个候选填充块。

在本发明实施例中，由于相似的填充块所包括的像素的颜色值差异较小或者甚至为0，因此对于每个填充块，终端均可以从每个填充块，以及确定的与该填充块对应的至少一个相似填充块中，获取一个候选填充块。例如，终端可以将外围区域中相似度最高或相似度大于相似度阈值的至少两个填充块剔除到仅剩一个填充块，然后将该仅剩的一个填充块确定为候选填充块。

示例的，假设终端确定出第1个填充块对应的相似填充块为第2个填充块。则终端即可以将第1个填充块和第2个填充块中的任意一个填充块剔除，仅保留一个填充块作为该候选填充块。

步骤3034、将获取到的候选填充块组成的区域确定为候选填充区域。

终端可以将获取到的多个候选填充块组成的区域确定为候选填充区域，该候选填充区域可以为连通区域，也可以为非连通区域。

示例的，假设外围区域共包括10个填充块，终端最终获取到的候选填充块仅有5个填充块，则终端即可将该5个填充块组成的区域确定为候选填充区域。

步骤304、在候选填充区域中，分别确定与每个修补块相匹配的目标填充块。

在本发明实施例中，当终端确定了候选填充区域后，可以根据相似度匹配算法，在多个候选填充块中，分别确定与每个修补块相匹配的目标填充块，即确定与每个修补块相似度最高或相似度大于相似度阈值的填充块。

由于终端确定的是与每个修补块相匹配的目标填充块，因此对于相似或者相同的填充块，匹配结果可能相同。因此通过执行上述步骤303，相比于直接从外围区域确定与每个修补块相匹配的目标填充块，大大减小了终端在确定与每个修补块相匹配的目标填充块时的计算量，提高了确定目标填充块的效率。

可选的，图6是本发明实施例提供的一种确定目标填充块的方法的流程图。如图6所示，该方法可以包括：

步骤3041、对于每个修补块，确定修补块与候选填充区域中的每个填充块的相似度。

可选的，对于每个修补块，终端均可以采用上述公式(1)计算该修补块与候选填充区域中的每个候选填充块的相似度。或者，终端还可以使用距离衡量算法，计算该修补块与候选填充区域中的每个候选填充块的相似度。本发明实施例对此不做限定。

步骤3042、对于每个修补块，将与修补块相似度最高的一个填充块确定为与修补块相匹配的目标填充块。

在本发明实施例中，对于每个填充块，终端可以将候选填充块中与该修补块的MSE值最小的一个填充块确定为与该修补块相似度最高的目标填充块。或者，终端可以将候选填充块中与该修补块的相似度大于相似度阈值的填充块确定为与该修补块相似度最高的目标填充块。

可选的，为了进一步保证修补的精度。上述步骤3021还可以包括：确定获取到的待修补区域的边界上每个中心像素的优先级。

示例的，在待修补区域的边界上，第p个中心像素的优先级P(p)可以满足：

P(p)＝αC(p)+(1-α)D(p) 公式(2)。

α为预设的第二规则化参数，且α满足：0<α<1。p为不小于1的整数。

C(p)为以第p个中心像素为中心的修补块的置信度，且C(p)满足：

其中，|ψ_p|为以第p个中心像素为中心的修补块的面积，C(q)为以第p个中心像素为中心的修补块中第q个像素点的置信度，φ为外围区域中的任意区域的图像。假设以第p个中心像素为中心的修补块包括N×N个像素，则q即为不大于N×N的整数。

可选的，在本发明实施例中，在通过公式(3)计算得出C(p)后，还可以采用正则化算法对该C(p)进行修正，然后将修正后的C(p)再代入公式(2)中。该修正后的C(p)可以满足：C(p)＝(1-w)×C(p)+w，w为预设的第二规则化参数，且w满足：0<w<1。通过采用修正后的C(p)来计算第p个中心像素的优先级，可以进一步确保计算的精度，进一步保证修补的效果。

D(p)为第p个中心像素的数据值，D(p)满足：

其中，为第p个中心像素的等照度线向量，n_p为第p个中心像素在待修补区域边界上的单位法向量，α为该第一规则化参数。

并且，P(p)的值与优先级的高低成正比，即P(p)越大，第p个中心像素的优先级则越高。相应的，上述步骤3042可以包括：

按照至少一个中心像素的优先级由高到底的顺序，依次确定以每个中心像素为中心的修补块匹配的目标填充块。

即终端可以按照确定的每个中心像素的优先级，按照优先级由高到底的顺序，依次确定以各个中心像素为中心的修补块对应的目标填充块。

通过根据优先级由高到低的顺序，确定以每个中心像素为中心的修补块匹配的目标填充块，可以使得终端按照最优的修补顺序对图像进行修补，进一步保证了对图像进行修补的精度和修补的效果。

示例的，假设终端在待修补区域的边界上确定了10个修补块，且终端计算出该10个修补块中，第1个修补块至第10个修补块的中心像素的优先级依次增大。因此终端可以先确定该10个修补块中，中心像素优先级最高的第10个修补块对应的目标填充块，然后再依次确定第9个修补块至第1个修补块所对应的目标填充块。

步骤305、对于每个修补块，采用与修补块相匹配的目标填充块进行填充。

在本发明实施例中，当终端确定好与每个修补块相匹配的目标填充块后，可以采用该目标填充块对该修补块进行填充，即采用目标填充块所包括的像素的颜色值对与该目标填充块对应的修补块所包括的像素进行颜色值替换。

并且，当对上述步骤3021确定的待修补区域的边界上包括的多个修补块均填充完后，终端可以更新待修补区域。例如，终端可以将该待修补区域中，除已替换颜色值的像素组成的区域之外的区域确定为新的待修补区域，然后再对该更新后的待修补区域的边界采用上述步骤304和步骤305的方法进行修补。以此类推，直至将最先(即上述步骤301)确定的待修补区域修补完毕。

需要说明的是，本发明实施例提供的图像补全方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，例如步骤301和步骤302可以同步执行，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。

图7是本发明实施例提供的一种图像补全装置的框图，应用于终端110中。如图7所示，该装置70可以包括：

第一确定模块701，用于根据图像中的待修补区域，确定多个修补块。

第二确定模块702，用于从图像中除待修补区域之外的外围区域中，确定候选填充区域。该候选填充区域的面积小于外围区域的面积。

第三确定模块703，用于在候选填充区域中，分别确定与每个修补块相匹配的目标填充块。

填充模块704，用于对于每个修补块，采用与修补块相匹配的目标填充块进行填充。

综上所述，本发明实施例提供了一种图像补全装置，该装置包括：第一确定模块、第二确定模块、第三确定模块和填充模块。其中，该第一确定模块可以先根据图像中的待修补区域，确定多个修补块；然后第三确定模块从候选填充区域中，分别确定与每个修补块相匹配的目标填充块；最后填充模块可以采用与各个修补块相匹配的目标填充块对修补块进行填充。由于该装置可以对待修补区域进行逐块修补，即对待修补区域包括的多个修补块中的每个修补块一一进行修补，因此修补精度较高，修补效果较好。

可选的，该外围区域可以包括多个填充块，每个填充块的大小与修补块的大小相同。相应的，该第二确定模块702，即可以用于：

对于外围区域中的每个填充块，确定填充块与其他每个填充块的相似度。对应每个填充块，根据相似度确定填充块对应的至少一个相似填充块。对于每个填充块，从填充块和填充块对应的至少一个相似填充块中，获取一个候选填充块。将获取到的候选填充块组成的区域确定为候选填充区域。

可选的，该相似填充块与填充块的相似度大于其他填充块。或者，该相似填充块与填充块的相似度大于相似度阈值。

可选的，每个填充块均可以包括N×N个像素。且该多个填充块中第i个填充块和第j个填充块的相似度MSE可以满足：

其中，n为不大于N×N的整数，为第i个填充块中第n个像素的颜色值，为第j个填充块中第n个像素的颜色值。

可选的，图8是本发明实施例提供的一种第一确定模块701的框图。如图8所示，该第一确定模块701可以包括：

第一确定子模块7011，可以用于在待修补区域的边界上，确定至少一个中心像素。

第二确定子模块7012，可以用于对于每个中心像素，将中心像素以及以中心像素为中心的多个像素组成的区域确定为一个修补块。

可选的，该第一确定子模块7011，可以用于：确定待修补区域的边界上，每个中心像素的优先级。

相应的，该第三确定模块703，可以用于：按照至少一个中心像素的优先级由高到底的顺序，依次确定以每个中心像素为中心的修补块匹配的目标填充块。

可选的，该至少一个中心像素中，第p个中心像素的优先级P(p)可以满足：P(p)＝αC(p)+(1-α)D(p)。

其中，p为不小于1的整数，C(p)为以第p个中心像素为中心的修补块的置信度，D(p)为第p个中心像素的数据值，且该D(p)可以满足：

为第p个中心像素的等照度线向量，n_p为第p个中心像素在待修补区域边界上的单位法向量，α为第一规则化参数，且α可以满足：0<α<1。

可选的，在本发明实施例中，该第三确定模块703，可以用于：

对于每个修补块，确定修补块与候选填充区域中的每个填充块的相似度。对于每个修补块，将与修补块相似度最高的一个填充块确定为与修补块相匹配的目标填充块。

图9是本发明实施例提供的另一种图像补全装置的框图，应用于终端110中。如图9所示，该装置70还可以包括：

第四确定模块705，用于在根据图像中的待修补区域，确定多个修补块之前，根据获取到的区域选择指令，确定待修补区域。或者，用于根据获取到的目标物体选择指令，将目标物体所在的区域确定为待修补区域。

关于上述实施例中的图像补全装置，其中各个模块执行操作的具体方式已经在有关方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例提供了一种图像补全装置，该装置可以包括：存储器，处理器及存储在存储器上的计算机程序，处理器执行计算机程序时可以实现如图2或图3所示的图像补全方法。

本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机可读存储介质在计算机上运行时，可以使得计算机执行如图2或图3所示的图像补全方法。

以上所述仅为本发明的可选实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种图像补全方法，其特征在于，所述方法包括：

根据图像中的待修补区域，确定多个修补块；

2.根据权利要求1所述的方法，其特征在于，所述外围区域包括多个填充块，每个所述填充块的大小与所述修补块的大小相同；所述从所述图像中除所述待修补区域之外的外围区域中，确定候选填充区域，包括：

3.根据权利要求2所述的方法，其特征在于，

所述相似填充块与所述填充块的相似度大于其他填充块；

4.根据权利要求2所述的方法，其特征在于，每个所述填充块均包括N×N个像素；

5.根据权利要求1至4任一所述的方法，其特征在于，所述根据图像中的待修补区域，确定多个修补块，包括：

在所述待修补区域的边界上，确定至少一个中心像素；

6.根据权利要求5所述的方法，其特征在于，所述在所述待修补区域的边界上，确定至少一个中心像素，包括：

确定所述待修补区域的边界上，每个中心像素的优先级；

7.根据权利要求6所述的方法，其特征在于，所述至少一个中心像素中，第p个中心像素的优先级P(p)满足：P(p)＝αC(p)+(1-α)D(p)；

8.根据权利要求1至4任一所述的方法，其特征在于，所述在所述候选填充区域中，分别确定与每个所述修补块相匹配的目标填充块，包括：

9.根据权利要求1至4任一所述的方法，其特征在于，在所述根据图像中的待修补区域，确定多个修补块之前，所述方法还包括：

根据获取到的区域选择指令，确定所述待修补区域；

10.一种图像补全装置，其特征在于，所述装置包括：

11.一种图像补全装置，其特征在于，包括：存储器，处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至9任一所述的图像补全方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得计算机执行如权利要求1至9任一所述的图像补全方法。