CN105528769B - 图像修补方法及系统 - Google Patents

Abstract

本发明提供一种图像修补方法及系统。本方法将所获取的由待修补区域和多个完整区域构成的图像信息进行分块，得到由完整区域中的像素点构成的第一图像块、和包含待修补区域中的像素点的第二图像块，并降低图像信息的分辨率；根据各第二图像块中待修补像素点的数量、和/或各第二图像块中所包含的物体边缘，确定各第二图像块的优先级；在降低分辨率后的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域；在未降低分辨率的图像信息中，从完整区域选择匹配度最高的第一图像块来修补优先级最高的第二图像块；重复上述步骤，修补待修补区域。本发明有效提高运行效率。

Description

图像修补方法及系统

技术领域

本发明涉及图像处理领域，尤其涉及一种图像修补方法及系统。

背景技术

图像修复技术是指针对数字图像中遗失或者损坏的部分，利用未被损坏的图像信息，按照一定的规则填补，以使得修复后的图像接近或达到原图的视觉效果。

图像修复是一个解不唯一的问题，其合理性取决于人的视觉系统的接受程度。图像修复的本质就是从视觉认知的角度出发，对图像建立准确的分析模型，合理的转化视觉认知规则，然后通过相应的修复技术实现。图像修复的方法通常利用信息缺损区域周围已知的色彩信息沿边界向内进行推进区域填充，为了保证良好的图像填充效果和图像的整体性，在进行推进填充的过程中应努力保持等照度线的平滑过渡。

发表于2004年IEEE Transactions on Image Processing第9卷第13期1200页的文献《Region filling and object removal by exemplar-based image inpainting》提出了一种基于纹理合成技术的图像修复方法，其核心是由等照度线驱动的图像修复方法，主要分为填充区域像素点优先级计算及纹理匹配、合成两步，两步反复迭代来完成破损区域的修复。

文献《Region filling and object removal by exemplar-based imageinpainting》提出的方法在纹理匹配过程中使用了SSD(sum of absolute differences)准则，以及整幅图像全搜索机制，算法计算代价高，响应速度慢，无法满足实时需要。

发明内容

本发明各实施例提供一种图像修补方法及系统，用于解决现有技术中图像修补过程中由于运算复杂，而导致的系统资源占用过大的问题。

基于上述目的，本发明提供一种图像修补方法，包括：基于预设的图像块的尺寸，将所获取的由待修补区域和多个完整区域构成的图像信息进行分块，得到由完整区域中的像素点构成的第一图像块、和包含待修补区域中的像素点的第二图像块，并降低所述图像信息的分辨率；根据各所述第二图像块中待修补像素点的数量、和/或各所述第二图像块中所包含的物体边缘，确定各所述第二图像块的优先级；在降低分辨率后的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域；在未降低分辨率的图像信息中，计算所选择的各完整区域中的各第一图像块与优先级最高的第二图像块的匹配度，选择匹配度最高的第一图像块来修补所述优先级最高的第二图像块；重复上述步骤，逐步修补未降低分辨率的图像信息中的待修补区域。

优选地，所述降低图像信息的分辨率的方式包括：按照预设的分辨率等级，将所述图像信息的分辨率予以降低，并得到对应各分辨率等级的图像信息；对应的，所述在降低分辨率后的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域的方式包括：在分辨率等级最低的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域；逐级提高分辨率等级，在当前分辨率等级的图像信息中的、对应前一级所得到所有完整区域中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域，直至提高到未降低分辨率的图像信息。

优选地，所述计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域的方式包括：计算所述优先级最高的第二图像块u的像素点之和R_u；采用SAD准则，遍历的计算每个第一图像块v与优先级最高的第二图像块u之间的匹配度SAD_k ^(u,v)，以及计算第k个第一图像块v的像素点之和M_k(m,n)；判断所得到的当前的匹配度SAD_k ^(u,v)、第一图像块的像素点之和M_k(m,n)是否满足以下公式：

R_u-SAD^(u,v)≤M_k(m,n)≤R_u+SAD^(u,v)

若是，则以当前得到的匹配度SAD_k ^(u,v)更新所述公式中的匹配度SAD^(u,v)，并暂存当前的匹配度及所对应的第一图像块；若否，则将当前的第一图像块予以滤除；按照匹配度由高到低的顺序，将暂存的各第一图像块予以排序，并选择匹配度高的若干第一图像块所属的至少一个完整区域。

优选地，所述选择匹配度最高的第一图像块，来修补所述优先级最高的第二图像块的方式包括：用所选择的匹配度最高的第一图像块，来替换优先级最高的第二图像块。

优选地，所述重复上述步骤，逐步修补未降低分辨率的图像信息中的待修补区域的方式包括：将修补后的图像信息重新分块，得到新的各所述第一图像块和第二图像块，并基于重新分块后的各第一图像块和第二图像块执行后续步骤。

基于上述目的，本发明还提供一种图像修补系统，包括：预处理模块，用于基于预设的图像块的尺寸，将所获取的由待修补区域和多个完整区域构成的图像信息进行分块，得到由完整区域中的像素点构成的第一图像块、和包含待修补区域中的像素点的第二图像块，并降低所述图像信息的分辨率；优选级确定模块，用于根据各所述第二图像块中待修补像素点的数量、和/或各所述第二图像块中所包含的物体边缘，确定各所述第二图像块的优先级；筛选模块，用于在降低分辨率后的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域；修补模块，用于在未降低分辨率的图像信息中，计算所选择的各完整区域中的各第一图像块与优先级最高的第二图像块的匹配度，选择匹配度最高的第一图像块来修补所述优先级最高的第二图像块；重复执行上述各模块，逐步修补未降低分辨率的图像信息中的待修补区域。

优选地，所述预处理模块用于按照预设的分辨率等级，将所述图像信息的分辨率予以降低，并得到对应各分辨率等级的图像信息；对应的，所述筛选模块用于在分辨率等级最低的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域；逐级提高分辨率等级，在当前分辨率等级的图像信息中的、对应前一级所得到所有完整区域中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域，直至提高到未降低分辨率的图像信息。

优选地，所述筛选模块用于计算所述优先级最高的第二图像块u的像素点之和R_u；采用SAD准则，遍历的计算每个第一图像块v与优先级最高的第二图像块u之间的匹配度SAD_k ^(u,v)，以及计算第k个第一图像块v的像素点之和M_k(m,n)；判断所得到的当前的匹配度SAD_k ^(u,v)、第一图像块的像素点之和M_k(m,n)是否满足以下公式：

R_u-SAD^(u,v)≤M_k(m,n)≤R_u+SAD^(u,v)

若是，则以当前得到的匹配度SAD_k ^(u,v)更新所述公式中的匹配度SAD^(u,v)，并暂存当前的匹配度及所对应的第一图像块；若否，则将当前的第一图像块予以滤除；按照匹配度由高到低的顺序，将暂存的各第一图像块予以排序，并选择匹配度高的若干第一图像块所属的至少一个完整区域。

优选地，所述修补模块用于用所选择的匹配度最高的第一图像块，来替换优先级最高的第二图像块。

优选地，所述预处理模块还用于将修补后的图像信息重新分块，得到新的各所述第一图像块和第二图像块，并基于重新分块后的各第一图像块和第二图像块启动优先级确定模块、筛选模块和修补模块。

如上所述，本发明的图像修补方法及系统，具有以下有益效果：通过对原始分辨率的图像信息进行降分辨率，并在降分辨率中筛选与第二图像块的匹配度最高的完整区域，再从对应到原始分辨率的图像信息中的完整区域中选取一个与第二图像块匹配度最高的第一图像块，并进行修补的方式，极大减少了修补过程中选择第一图像块的运算量，有效提高了确定用于修补第二图像块的第一图像块的确定效率；另外，将原始分辨率的图像信息分等级降分辨率，并从最低分辨率等级开始，筛选与第二图像块匹配度最高的完整区域，此方式经验证试验，其修补效率比现有技术提高了70％以上；还有，在同一分辨率下的完整区域筛选中，基于每次SAD值来提高匹配条件，能够有效过滤掉匹配度低的第一图像块，降低后续对SAD排序的数据量，如此，进一步降低了修补过程中的系统占用量；此外，采用重新分块的方式来修补剩余的待修补区域，能够防止全部由待修补区域构成的第二图像块无法修补的情况。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1是本发明的图像修补方法的一个实施例的流程图。

图2是本发明的图像修补方法中包含物体边缘的第二图像块一个实施例的示意图。

图3是本发明的图像修补方法中步骤S3的一个实施例的流程图。

图4是本发明的图像修补方法的又一个实施例的流程图。

图5是本发明的图像修补系统的一个实施例的结构示意图。

图6是本发明的图像修补系统的又一个实施例的结构示意图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种图像修补方法。所述图像修补方法主要由修补系统来执行。所述修补系统安装在用户设备中，用于修补图像信息中的抠图部分等。所述用户设备包括但不限于：个人电脑、手机、平板电脑等。所述修补系统执行以下步骤：

在步骤S1中，所述修补系统基于预设的图像块的尺寸，将所获取的由待修补区域和多个完整区域构成的图像信息进行分块，得到由完整区域中的像素点构成的第一图像块、和包含待修补区域中的像素点的第二图像块，并降低所述图像信息的分辨率。

在此，所述图像块的尺寸可为固定值，也可以由用户设定。例如，所述修补系统提供包含设定图像块尺寸的设置界面，当用户填入9*9图像块尺寸并提交后，所述修补系统从所述设置界面获取到图像块的尺寸。

在此，所述修补系统可按照预设的固定尺寸将整幅图像信息分成若干区域，并将抠除待修补区域的剩余部分作为各完整区域。或者，所述修补系统按照预设的区域数量，将所获取的图像信息的尺寸进行均分，并将抠除待修补区域的剩余部分作为各完整区域。

具体地，用户操作用户设备中的人机交互装置打开一幅图像信息，所述修补系统获取所述图像信息的尺寸，并将所述图像信息分成若干区域。接着，用户操作所述人机交互装置在所显示的图像信息中勾画待修补区域，并输入图像块尺寸后，所述修补系统确定所述图像信息中的待修补区域和各完整区域，同时，还得到由完整区域中的像素点构成的第一图像块、和包含待修补区域中的像素点的第二图像块。

其中，所述第一图像块中的各像素点全部由完整区域中的像素点构成。所述第二图像块中的各像素点可以全部是待修补区域中的像素点，也可以是包含待修补区域中的像素点和完整区域中的像素点。

所述修补系统可按照现有的图像块划分方式对所述图像信息进行划分。在此不再详述。

除此之外，所述修补系统还降低所述图像信息的分辨率。例如，所述图像信息在原始分辨率下的尺寸为1024*1024，降低分辨率后的尺寸为512*512。

在此，所述修补系统降低分辨率的方式包括但不限于：1)按照预设的固定比例降低分辨率。2)按照预设的分辨率等级，将所述图像信息的分辨率予以降低，并得到对应各分辨率等级的图像信息。例如，所述修补系统按照分辨率由高到低，预设了多个分辨率等级。所述修补系统根据所获取的图像信息的原始分辨率，确定原始分辨率所对应的分辨率等级，并以此等级为起点，按照更低的分辨率等级，对所述图像信息进行降分辨率处理，得到多个降分辨率后的图像信息。

接着，所述修补系统执行步骤S2，根据各所述第二图像块中待修补像素点的数量、和/或各所述第二图像块中所包含的物体边缘，确定各所述第二图像块的优先级。

具体地，所述修补系统可以根据各所述第二图像块中待修补像素点的数量占第二图像块的像素点总数的比例来确定各第二图像块的优先级。在此，比例越高，优先级越高。

所述修补系统还可以利用各第二图像块中的等照度线信息来确定第二图像块中的物体边缘，按照各第二图像块中的物体边缘的数量来确定各第二图像块的优先级。

优选地，所述修补系统根据各第二图像块中触及待修补区域的物体边缘，来确定各第二图像块的优先级。

例如，如图2所示，所述修补系统中预设D(p)表示在每次迭代过程中等照度线触及边界δΩ的强度，定义为：其中表示第二图像块p中的等照度线方向，即垂直于最大梯度方向，n_p为等照度线所对应的物体边缘δΩ的法向量，α为归一化因子(灰度图像取α＝255)。

所述修补系统还可以根据P(p)＝C(p)D(p)，来确定各第二图像块的优先级。其中，P(p)为优先级值，C(p)为待修补像素点的数量占第二图像块的像素点总数的比例。

在得到各第二图像块的优先级之后，所述修补系统执行步骤S3。

在步骤S3中，所述修补系统在降低分辨率后的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域。

具体地，所述修补系统将步骤S1中划分的各第一图像块和第二图像块对应到降低分辨率后的图像信息中，并计算当前分辨率下的各第一图像块和优先级最高的第二图像块的匹配度。

其中，所述计算各匹配度的方式包括但不限于：

1)采用SAD准则，遍历的计算每个第一图像块v与优先级最高的第二图像块u之间的匹配度SAD_k ^(u,v)，其中，k为第一图像块v的编号。

具体地，所述修补系统逐个匹配图像块v与图像块u中同一位置的像素点之差，并根据两图像块v和u所有像素点之差的总和，作为第一图像块和优先级最高的第二图像块的匹配度。

例如，所述修补系统利用公式：其中(x,y)为图像块u内的最左上角像素点的坐标，(m,n)为图像块v内最左上角像素点的坐标，M为预先设定的图像块大小，f()为像素点。

2)通过第一图像块v中的等照度线与优先级最高的第二图像块u中的等照度线的连贯性，确定所述匹配度。

接着，所述修补系统选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域的方式包括：

1)直接将对应各第一图像块的匹配度进行排序，并选取匹配度最高的预设数量的第一图像块所在的完整区域。

2)所述修补系统执行以下步骤来选取至少一个完整区域。如图3所示。

步骤S31，所述修补系统计算所述优先级最高的第二图像块u的像素点之和R_u(即：)

步骤S32，所述修补系统计算第k个第一图像块v的像素点之和M_k(m,n)。

具体地，所述修补系统可以遍历式的获取当前分辨率下的整幅图像信息中各第一图像块的像素点之和。

或者，所述修补系统将前一级分辨率等级所确定的完整区域对应到当前分辨率等级的完整区域，并遍历式的获取当前分辨率下的每个完整区域内各第一图像块的像素点之和。

步骤S33，所述修补系统判断所得到的当前的匹配度SAD_k ^(u,v)、第一图像块的像素点之和M_k(m,n)是否满足不等式：R_u-SAD^(u,v)≤M_i(m,n)≤R_u+SAD^(u,v)；若是，则执行步骤S34；若否，则执行步骤S35。其中，该不等式中的SAD^(u,v)的初始值可等于第一个第一图像块的匹配度SAD₁ ^(u,v)、或者为预设的固定值。

在步骤S34中，所述修补系统以当前得到的匹配度SAD_k ^(u,v)更新所述公式中的匹配度SAD^(u,v)，并暂存当前的匹配度及所对应的第一图像块。

在此，所述修补系统通过调整所述不等式中的匹配度的方式来提高匹配条件，以便有效提高后续步骤的执行效率。

在步骤S35中，所述修补系统将当前的第一图像块予以滤除。

所述修补系统重复执行步骤S32-S35，遍历式的将所有第一图像块与优先级最高的第二图像块进行匹配，并选出满足上述不等式匹配条件的第一图像块及其匹配度。接着，再执行步骤S36。

在步骤S36中，所述修补系统按照匹配度由高到低的顺序，将暂存的各第一图像块予以排序，并选择匹配度高的若干第一图像块所属的至少一个完整区域。

在此，所述修补系统可按照预设的固定数量来选择匹配度最高的第一图像块，并确定所选出的第一图像块所在的完整区域。

优选地，所述修补系统选择当前分辨率等级所对应数量的第一图像块，并确定所选择的第一图像块所属的完整区域。

具体地，所述修补系统预设各分辨率等级所对应的第一图像块数量为2N+1，其中，N为当前的分辨率等级。例如，所述修补系统预设原始分辨率所对应的分辨率等级为0级，下降一级的分辨率等级为1级，则1级分辨率等级所对应的数量为2×1+1＝3。则所述修补系统选择匹配度最高的3个第一图像块所在的完整区域作为第0级匹配的待搜索区域。

对于采用预设分辨率等级的方案来说，所述修补系统在分辨率等级最低的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域。

接着，所述修补系统逐级提高分辨率等级，在当前分辨率等级的图像信息中的根据前一级所得到所有完整区域中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域，直至提高到未降低分辨率的图像信息。

具体地，所述修补系统将在原始图像信息中所划分的各第一图像块和优先级最高的第二图像块，分别对应到按照所述分辨率等级将分辨率后得到的各图像信息中，并按照步骤S31-S36确定在分辨率等级最低的图像信息中的完整区域。接着，提高一个分辨率等级，所述修补系统将前一级得到的完整区域对应到当前分辨率下的完整区域，并在当前分辨率下重复执行步骤S31，并在当前分辨率下所对应得到的完整区域内执行步骤S32-S35，并按照预设的当前等级下的、符合预设匹配条件的第一图像块的数量，选取匹配度最高的若干第一图像块，再执行步骤S36得到对应所选取的第一图像块的完整区域。如此逐级提升分辨率等级并筛选完整区域，直至提升到未降低分辨率的图像信息，再执行步骤S4。

在步骤S4中，所述修补系统在未降低分辨率的图像信息中，计算所选择的各完整区域中的各第一图像块与优先级最高的第二图像块的匹配度，选择匹配度最高的第一图像块来修补所述优先级最高的第二图像块。

在此，所述修补系统在未降低分辨率的图像信息中，计算所选择的各完整区域中的各第一图像块与优先级最高的第二图像块的匹配度的方式与前述步骤S3中的方式相同或相似，在此不再详述。

在此，所述修补系统选择匹配度最高的第一图像块，来修补所述优先级最高的第二图像块的方式可选用现有技术。

优选地，所述修补系统用所选择的匹配度最高的第一图像块，来替换优先级最高的第二图像块。

在替换了当前优先级最高的第二图像块之后，该处的第二图像块变成第一图像块。所述修补系统将替换后的图像信息送入步骤S2，重新确定新的优先级最高的第二图像块。

在一种优选方案中，如图4所示，所述修补系统将替换后的图像信息送入步骤S1，通过更改分块方式、或更改图像块尺寸的方式，将替换后的图像信息重新分块。再基于重新分块后的各第一图像块和第二图像块执行后续步骤。如此循环，逐步修补包含待修补区域像素点的第二图像块，直到最终修补完所有包含待修补区域像素点的第二图像块。

如图5所示，本发明提供一种图像修补系统。所述修补系统安装在用户设备中，用于修补图像信息中的抠图部分等。所述用户设备包括但不限于：个人电脑、手机、平板电脑等。所述修补系统1包括：预处理模块11、优先级确定模块12、筛选模块13、修补模块14。

所述预处理模块11用于基于预设的图像块的尺寸，将所获取的由待修补区域和多个完整区域构成的图像信息进行分块，得到由完整区域中的像素点构成的第一图像块、和包含待修补区域中的像素点的第二图像块，并降低所述图像信息的分辨率。

在此，所述图像块的尺寸可为固定值，也可以由用户设定。例如，所述预处理模块11提供包含设定图像块尺寸的设置界面，当用户填入9*9图像块尺寸并提交后，所述预处理模块11从所述设置界面获取到图像块的尺寸。

在此，所述预处理模块11可按照预设的固定尺寸将整幅图像信息分成若干区域，并将抠除待修补区域的剩余部分作为各完整区域。或者，所述预处理模块11按照预设的区域数量，将所获取的图像信息的尺寸进行均分，并将抠除待修补区域的剩余部分作为各完整区域。

具体地，用户操作用户设备中的人机交互装置打开一幅图像信息，所述预处理模块11获取所述图像信息的尺寸，并将所述图像信息分成若干区域。接着，用户操作所述人机交互装置在所显示的图像信息中勾画待修补区域，并输入图像块尺寸后，所述预处理模块11确定所述图像信息中的待修补区域和各完整区域，同时，还得到由完整区域中的像素点构成的第一图像块、和包含待修补区域中的像素点的第二图像块。

其中，所述第一图像块中的各像素点全部由完整区域中的像素点构成。所述第二图像块中的各像素点可以全部是待修补区域中的像素点，也可以是包含待修补区域中的像素点和完整区域中的像素点。

所述预处理模块11可按照现有的图像块划分方式对所述图像信息进行划分。在此不再详述。

除此之外，所述预处理模块11还降低所述图像信息的分辨率。例如，所述图像信息在原始分辨率下的尺寸为1024*1024，降低分辨率后的尺寸为512*512。

在此，所述预处理模块11降低分辨率的方式包括但不限于：1)按照预设的固定比例降低分辨率。2)按照预设的分辨率等级，将所述图像信息的分辨率予以降低，并得到对应各分辨率等级的图像信息。例如，所述预处理模块11按照分辨率由高到低，预设了多个分辨率等级。所述预处理模块11根据所获取的图像信息的原始分辨率，确定原始分辨率所对应的分辨率等级，并以此等级为起点，按照更低的分辨率等级，对所述图像信息进行降分辨率处理，得到多个降分辨率后的图像信息。

接着，所述优先级确定模块12用于根据各所述第二图像块中待修补像素点的数量、和/或各所述第二图像块中所包含的物体边缘，确定各所述第二图像块的优先级。

具体地，所述优先级确定模块12可以根据各所述第二图像块中待修补像素点的数量占第二图像块的像素点总数的比例来确定各第二图像块的优先级。在此，比例越高，优先级越高。

所述优先级确定模块12还可以利用各第二图像块中的等照度线信息来确定第二图像块中的物体边缘，按照各第二图像块中的物体边缘的数量来确定各第二图像块的优先级。

优选地，所述优先级确定模块12根据各第二图像块中触及待修补区域的物体边缘，来确定各第二图像块的优先级。

例如，如图2所示，所述优先级确定模块12中预设D(p)表示在每次迭代过程中等照度线触及边界δΩ的强度，定义为：其中表示第二图像块p中的等照度线方向，即垂直于最大梯度方向，n_p为等照度线所对应的物体边缘δΩ的法向量，α为归一化因子(灰度图像取α＝255)。

所述优先级确定模块12还可以根据P(p)＝C(p)D(p)，来确定各第二图像块的优先级。其中，P(p)为优先级值，C(p)为待修补像素点的数量占第二图像块的像素点总数的比例。

在得到各第二图像块的优先级之后，所述优先级确定模块12将优先级最高的第二图像块送入筛选模块13。

所述筛选模块13用于在降低分辨率后的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域。

具体地，所述筛选模块13将预处理模块11中划分的各第一图像块和第二图像块对应到降低分辨率后的图像信息中，并计算当前分辨率下的各第一图像块和优先级最高的第二图像块的匹配度。

其中，所述计算各匹配度的方式包括但不限于：

1)采用SAD准则，遍历的计算每个第一图像块v与优先级最高的第二图像块u之间的匹配度SAD_k ^(u,v)，其中，k为第一图像块v的编号。

具体地，所述筛选模块13逐个匹配图像块v与图像块u中同一位置的像素点之差，并根据两图像块v和u所有像素点之差的总和，作为第一图像块和优先级最高的第二图像块的匹配度。

例如，所述筛选模块13利用公式：其中(x,y)为图像块u内的最左上角像素点的坐标，(m,n)为图像块v内最左上角像素点的坐标，M为预先设定的图像块大小，f()为像素点。

2)通过第一图像块v中的等照度线与优先级最高的第二图像块u中的等照度线的连贯性，确定所述匹配度。

接着，所述筛选模块13选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域的方式包括：

1)直接将对应各第一图像块的匹配度进行排序，并选取匹配度最高的预设数量的第一图像块所在的完整区域。

2)所述筛选模块13执行以下步骤来选取至少一个完整区域。如图3所示。

步骤S31，所述筛选模块13计算所述优先级最高的第二图像块u的像素点之和R_u(即：)。

步骤S32，所述筛选模块13计算第k个第一图像块v的像素点之和M_k(m,n)。

具体地，所述筛选模块13可以遍历式的获取当前分辨率下的整幅图像信息中各第一图像块的像素点之和。

或者，所述筛选模块13将前一级分辨率等级所确定的完整区域对应到当前分辨率等级的完整区域，并遍历式的获取当前分辨率下的每个完整区域内各第一图像块的像素点之和。

步骤S33，所述筛选模块13判断所得到的当前的匹配度SAD_k ^(u,v)、第一图像块的像素点之和M_k(m,n)是否满足不等式：R_u-SAD^(u,v)≤M_i(m,n)≤R_u+SAD^(u,v)；若是，则执行步骤S34；若否，则执行步骤S35。其中，该不等式中的SAD^(u,v)的初始值可等于第一个第一图像块的匹配度SAD₁ ^(u,v)、或者为预设的固定值。

在步骤S34中，所述筛选模块13以当前得到的匹配度SAD_k ^(u,v)更新所述公式中的匹配度SAD^(u,v)，并暂存当前的匹配度及所对应的第一图像块。

在此，所述筛选模块13通过调整所述不等式中的匹配度的方式来提高匹配条件，以便有效提高后续步骤的执行效率。

在步骤S35中，所述筛选模块13将当前的第一图像块予以滤除。

所述筛选模块13重复执行步骤S32-S35，遍历式的将所有第一图像块与优先级最高的第二图像块进行匹配，并选出满足上述不等式匹配条件的第一图像块及其匹配度。接着，再执行步骤S36。

在步骤S36中，所述筛选模块13按照匹配度由高到低的顺序，将暂存的各第一图像块予以排序，并选择匹配度高的若干第一图像块所属的至少一个完整区域。

在此，所述筛选模块13可按照预设的固定数量来选择匹配度最高的第一图像块，并确定所选出的第一图像块所在的完整区域。

优选地，所述筛选模块13选择当前分辨率等级所对应数量的第一图像块，并确定所选择的第一图像块所属的完整区域。

具体地，所述筛选模块13预设各分辨率等级所对应的第一图像块数量为2N+1，其中，N为当前的分辨率等级。例如，所述筛选模块13预设原始分辨率所对应的分辨率等级为0级，下降一级的分辨率等级为1级，则1级分辨率等级所对应的数量为2×1+1＝3。则所述筛选模块13选择匹配度最高的3个第一图像块所在的完整区域作为第0级匹配的待搜索区域。

对于采用预设分辨率等级的方案来说，所述筛选模块13在分辨率等级最低的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域。

接着，所述筛选模块13逐级提高分辨率等级，在当前分辨率等级的图像信息中的根据前一级所得到所有完整区域中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域，直至提高到未降低分辨率的图像信息。

具体地，所述筛选模块13将在原始图像信息中所划分的各第一图像块和优先级最高的第二图像块，分别对应到按照所述分辨率等级将分辨率后得到的各图像信息中，并按照步骤S31-S36确定在分辨率等级最低的图像信息中的完整区域。接着，提高一个分辨率等级，所述筛选模块13将前一级得到的完整区域对应到当前分辨率下的完整区域，并在当前分辨率下重复执行步骤S31，并在当前分辨率下所对应得到的完整区域内执行步骤S32-S35，并按照预设的当前等级下的、符合预设匹配条件的第一图像块的数量，选取匹配度最高的若干第一图像块，再执行步骤S36得到对应所选取的第一图像块的完整区域。如此逐级提升分辨率等级并筛选完整区域，直至提升到未降低分辨率的图像信息，再将对应到原始分辨率的图像信息中的完整区域送入修补模块14。

所述修补模块14用于在未降低分辨率的图像信息中，计算所选择的各完整区域中的各第一图像块与优先级最高的第二图像块的匹配度，选择匹配度最高的第一图像块来修补所述优先级最高的第二图像块。

在此，所述修补模块14在未降低分辨率的图像信息中，计算所选择的各完整区域中的各第一图像块与优先级最高的第二图像块的匹配度的方式与前述筛选模块13中的方式相同或相似，在此不再详述。

在此，所述修补模块14选择匹配度最高的第一图像块，来修补所述优先级最高的第二图像块的方式可选用现有技术。

优选地，所述修补模块14用所选择的匹配度最高的第一图像块，来替换优先级最高的第二图像块。

在替换了当前优先级最高的第二图像块之后，该处的第二图像块变成第一图像块。所述修补模块14将替换后的图像信息送入优先级确定模块12，重新确定新的优先级最高的第二图像块。

在一种优选方案中，如图6所示，所述修补模块14将替换后的图像信息送入预处理模块11。所述预处理模块11通过更改分块方式、或更改图像块尺寸的方式，将替换后的图像信息重新分块。再基于重新分块后的各第一图像块和第二图像块执行后续模块。如此循环，逐步修补包含待修补区域像素点的第二图像块，直到最终修补完所有包含待修补区域像素点的第二图像块。

综上所述，本发明的图像修补方法及系统，通过对原始分辨率的图像信息进行降分辨率，并在降分辨率中筛选与第二图像块的匹配度最高的完整区域，再从对应到原始分辨率的图像信息中的完整区域中选取一个与第二图像块匹配度最高的第一图像块，并进行修补的方式，极大减少了修补过程中选择第一图像块的运算量，有效提高了确定用于修补第二图像块的第一图像块的确定效率；另外，将原始分辨率的图像信息分等级降分辨率，并从最低分辨率等级开始，筛选与第二图像块匹配度最高的完整区域，此方式经验证试验，其修补效率比现有技术提高了70％以上；还有，在同一分辨率下的完整区域筛选中，基于每次SAD值来提高匹配条件，能够有效过滤掉匹配度低的第一图像块，降低后续对SAD排序的数据量，如此，进一步降低了修补过程中的系统占用量；此外，采用重新分块的方式来修补剩余的待修补区域，能够防止全部由待修补区域构成的第二图像块无法修补的情况。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种图像修补方法，其特征在于，包括：

基于预设的图像块的尺寸，将所获取的由待修补区域和多个完整区域构成的图像信息进行分块，得到由完整区域中的像素点构成的第一图像块、和包含待修补区域中的像素点的第二图像块，并降低所述图像信息的分辨率；

根据各所述第二图像块中待修补像素点的数量、和/或各所述第二图像块中所包含的物体边缘，确定各所述第二图像块的优先级；

在降低分辨率后的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域；

在未降低分辨率的图像信息中，计算所选择的各完整区域中的各第一图像块与优先级最高的第二图像块的匹配度，选择匹配度最高的第一图像块来修补所述优先级最高的第二图像块；

将修补后的图像信息重新分块，得到新的各所述第一图像块和第二图像块，并基于重新分块后的各第一图像块和第二图像块逐步修补未降低分辨率的图像信息中的待修补区域。

2.根据权利要求1所述的图像修补方法，其特征在于，所述降低图像信息的分辨率的方式包括：

按照预设的分辨率等级，将所述图像信息的分辨率予以降低，并得到对应各分辨率等级的图像信息；

对应的，所述在降低分辨率后的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域的方式包括：

在分辨率等级最低的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域；

逐级提高分辨率等级，在当前分辨率等级的图像信息中的、对应前一级所得到所有完整区域中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域，直至提高到未降低分辨率的图像信息。

3.根据权利要求1或2所述的图像修补方法，其特征在于，所述计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域的方式包括：

计算所述优先级最高的第二图像块u的像素点之和R_u；

采用SAD准则，遍历的计算每个第一图像块v与优先级最高的第二图像块u之间的匹配度SAD_k ^(u,v)，以及计算第k个第一图像块v的像素点之和M_k(m,n)；

判断所得到的当前的匹配度SAD_k ^(u,v)、第一图像块的像素点之和M_k(m,n)是否满足以下公式：

R_u-SAD^(u,v)≤M_k(m,n)≤R_u+SAD^(u,v)

若是，则以当前得到的匹配度SAD_k ^(u,v)更新所述公式中的匹配度SAD^(u,v)，并暂存当前的匹配度及所对应的第一图像块；

若否，则将当前的第一图像块予以滤除；

按照匹配度由高到低的顺序，将暂存的各第一图像块予以排序，并选择匹配度高的若干第一图像块所属的至少一个完整区域。

4.根据权利要求1所述的图像修补方法，其特征在于，所述选择匹配度最高的第一图像块，来修补所述优先级最高的第二图像块的方式包括：

用所选择的匹配度最高的第一图像块，来替换优先级最高的第二图像块。

5.一种图像修补系统，其特征在于，包括：

预处理模块，用于基于预设的图像块的尺寸，将所获取的由待修补区域和多个完整区域构成的图像信息进行分块，得到由完整区域中的像素点构成的第一图像块、和包含待修补区域中的像素点的第二图像块，并降低所述图像信息的分辨率；

优选级确定模块，用于根据各所述第二图像块中待修补像素点的数量、和/或各所述第二图像块中所包含的物体边缘，确定各所述第二图像块的优先级；

筛选模块，用于在降低分辨率后的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域；

修补模块，用于在未降低分辨率的图像信息中，计算所选择的各完整区域中的各第一图像块与优先级最高的第二图像块的匹配度，选择匹配度最高的第一图像块来修补所述优先级最高的第二图像块；

将修补后的图像信息重新分块，得到新的各所述第一图像块和第二图像块，并基于重新分块后的各第一图像块和第二图像块，逐步修补未降低分辨率的图像信息中的待修补区域。

6.根据权利要求5所述的图像修补系统，其特征在于，所述预处理模块用于按照预设的分辨率等级，将所述图像信息的分辨率予以降低，并得到对应各分辨率等级的图像信息；

对应的，所述筛选模块用于在分辨率等级最低的图像信息中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域；逐级提高分辨率等级，在当前分辨率等级的图像信息中的、对应前一级所得到所有完整区域中，计算各第一图像块与优先级最高的第二图像块之间的匹配度，并选择匹配度符合预设匹配条件的第一图像块所属的至少一个完整区域，直至提高到未降低分辨率的图像信息。

7.根据权利要求5或6所述的图像修补系统，其特征在于，所述筛选模块用于计算所述优先级最高的第二图像块u的像素点之和R_u；采用SAD准则，遍历的计算每个第一图像块v与优先级最高的第二图像块u之间的匹配度SAD_k ^(u,v)，以及计算第k个第一图像块v的像素点之和M_k(m,n)；判断所得到的当前的匹配度SAD_k ^(u,v)、第一图像块的像素点之和M_k(m,n)是否满足以下公式：

R_u-SAD^(u,v)≤M_k(m,n)≤R_u+SAD^(u,v)

若是，则以当前得到的匹配度SAD_k ^(u,v)更新所述公式中的匹配度SAD^(u,v)，并暂存当前的匹配度及所对应的第一图像块；若否，则将当前的第一图像块予以滤除；按照匹配度由高到低的顺序，将暂存的各第一图像块予以排序，并选择匹配度高的若干第一图像块所属的至少一个完整区域。

8.根据权利要求5所述的图像修补系统，其特征在于，所述修补模块用于用所选择的匹配度最高的第一图像块，来替换优先级最高的第二图像块。