CN103955891B - 一种基于块匹配的图像修复方法 - Google Patents

Abstract

本发明提供了一种基于块匹配的图像修复方法，包括步骤：A、确定图像中待修复的目标区域；B、确定目标区域的边界网格像素块；C、确定侯选块；D、确定当前所有边界网格像素块的优先权；E、在所有像素点均在已知区域内的像素块中搜索优先权最高的边界网格像素块所对应的最佳匹配块；F、将最佳匹配块的像素复制到优先权最高的边界网格像素块，同时将这部分像素的置信度设置为优先权最高的边界网格像素块内已知点的置信度；G、采用线性规划方法缝合因前述像素复制而形成的填充快与相邻区域之间形成的重叠区域；之后，返回上述步骤B，重复执行所述步骤B及其之后的步骤，直至整个目标区域被修复完毕。从而解决现有图像修复技术主要存在的问题。

Description

一种基于块匹配的图像修复方法

技术领域

本发明涉及一种基于块匹配的图像修复方法。

背景技术

随着计算机图像处理技术的快速发展以及智能手机、平板电脑等移动设备的迅速普及，数字图像的应用也越来越广泛。然而，数字图像在产生和使用过程中会由于各种原因造成图像信息完整性受损，或者用户希望去除图像中不需要的目标。因此需要对数字图像进行修复。

目前存在两大类图像修复技术：一类是基于几何图像模型的图像修复(inpainting)技术，其利用待修补区域的边缘信息，同时采用一种由粗到精的方法来估计等照度线的方向，并采用传播机制将信息传播到带修补的区域内，以便达到较好的修复效果。该技术特别适用于修补图像中的小尺度缺损。另一类则是基于纹理合成的图像补全(completion)技术。就该图像补全技术而言，目前可分为以下两种方法：一种是基于图像分解的修复方法，其主要思想是将图像分解为结构部分和纹理部分。其中，结构部分用inpainting技术来修复，而纹理部分则采用纹理合成的方法来填充。另一种方法是基于块的纹理合成技术来填充丢失的信息，其主要思想是：首先从带修补区域的边界上选取一个像素点，同时以该点为中心，根据图像的纹理特征，选择大小合适的纹理块，然后在带修补区域的周围寻找阈值最相近的纹理匹配块来替代该纹理块。上述图像补全技术对于填充图像中达的丢失块有较好的效果。

上述的图像修复技术主要存在三类问题：第一，图像修复后，不能较好保持细节，造成图像模糊；第二，图像修复后，能够较好地还原细节，但存在块效应，痕迹比较明显；第三，修复算法计算复杂度较高，耗时较长，在PC机上尚可接受，但其应用在运算能力相对较弱的智能手机等移动设备上时，并不能获得较好的用户体验。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于块匹配的图像修复方法，以解决上述的现有图像修复技术所存在的问题。

本发明提供的一种基于块匹配的图像修复方法，包括以下步骤：

A、确定图像中待修复的目标区域；

B、确定所述目标区域的边界网格像素块，包括：

扫描所述目标区域，确定所述目标区域的最小外接矩形；以第一尺寸为单位网格化所述目标区域，并记录下所有边界网格像素块；

C、确定侯选块，包括：

从所述目标区域向外延伸一定像素，获得作为侯选块搜索区域的扩张区域；接着以所述扩张区域中的每个像素点为中心以第二尺寸为单位遍历整个所述扩张区域，统计出所有像素点均在所述扩张区域内的像素块，并将该像素块标记为侯选块；

D、确定当前所有边界网格像素块的优先权，包括：

在一定范围内根据所述目标区域内像素块的稀疏性，使用等式(1)计算所有边界网格像素块的优先权，并确定其中优先权最高的边界网格像素块；

P(p)＝α[(1-ω)C(p)+ω]+βD(p) (1)；

$C\left(p\right)=\frac{{\Σ}_{q\∈{\mathrm{\Ψ}}_p\∩(I-\mathrm{\Ω})}C\left(q\right)}{\left|{\mathrm{\Ψ}}_p\right|};$

D(p)＝d(Ψ_p,Ψ_q)＝d_SSD(Ψ_p,Ψ_q)×d_H(Ψ_p,Ψ_q)；

其中，P(p)为优先权，C(p)为置信度，D(p)为数据项，α+β＝1，ω∈(0,1)，Ψ_p为所述边界网格像素块，Ψ_q为所有像素点均在所述已知区域内的像素块，d_SSD(Ψ_p,Ψ_q)是像素块间对应像素值的平方差之和，d_H(Ψ_p,Ψ_q)是hellinger距离，α、ω、β是影响因子，控制置信度和数据项两部分对优先权的影响；

E、在所有像素点均在所述已知区域内的像素块中搜索优先权最高的边界网格像素块所对应的最佳匹配块，包括：

计算所述已知区域内的{Ψ_q|q∈[0,n]}中的所有像素块与待修复块对应像素点的差值的平方和(SSD)，其中最小的差值平方和，即min(d_SSD(Ψ_p,Ψ_q)|{Ψ_q|q∈[0,n]})对应的像素块就是最佳匹配块；

F、将所述最佳匹配块的像素复制填充到所述优先权最高的边界网格像素块，同时将这部分像素的置信度设置为所述优先权最高的边界网格像素块内已知点的置信度；

G、采用线性规划的方法缝合因前述像素复制填充而形成的填充快与相邻区域之间形成的重叠区域；之后，返回上述步骤B，重复执行所述步骤B及其之后的步骤，直至整个所述目标区域被修复完毕。

在上述的方法中，所述步骤A包括：

涂抹所述图像中的待修复目标区域Ω，并生成所述图像的MASK灰度二值图像。

在上述的方法中，将所述图像的MASK灰度二值图像中的目标区域的灰度值设置为255，将除所述目标区域之外的已知区域的灰度值设置为0。

在上述的方法中，所述第二尺寸大于所述第一尺寸。

由上可以看出，本发明方法采用运算量较小的优先权策略确定待修复图像中各像素块的修复顺序，依照各像素块的优先权顺序依次进行修复，便于在运算能力相对较弱的智能手机上应用。其次，本发明方法采用的上述图像缝合方法可以减轻块效应的影响，从而在快速修复图像的基础上能够尽可能地还原修复区域的细节，减轻修复痕迹以及由修复造成的图像模糊。

附图说明

图1为发明提供的一种基于块匹配的图像修复方法的流程图；

图2为基于本发明方法的图像修复示意图；

图3为优先权最高的边界网格像素块Ψ_p示意图；

图4为填充快与相邻区域之间形成的重叠区域示意图。

具体实施方式

下面结合附图，详细介绍本发明提供的一种基于块匹配的图像修复方法。

如图1所示，本发明方法包括以下步骤：

步骤100：初始处理待修复的图像，确定该图像中待修复的目标区域。

在本步骤中，首先涂抹如图2示出的图像I中待修复的目标区域Ω，这样该图像中剩余的已知区域Φ＝I-Ω。同时生成图像I的MASK灰度二值图像。在图像I的MASK灰度二值图像中，已知区域Φ的灰度值为0，目标区域Ω的灰度值为255。

步骤200：确定目标区域的边界网格像素块。

在本步骤中，扫描涂抹后的目标区域Ω，确定该目标区域Ω的最小外接矩形R。该矩形R的左上、右下坐标分别表示为(l,t)和(r,b)。以尺寸M×M为单位网格化该目标区域Ω，并记录下所有边界网格像素块{b_i}。假设边界网格像素块的尺寸为M1×M1，则设定M1>M，以确保后续优先权的计算。

步骤300：确定用于修复/填充目标区域的边界网格像素块的候选块。

在本步骤中，首先从目标区域向外延伸一定像素，获得作为侯选块搜索区域的扩张区域γ。接着以扩张区域γ中的每个像素点为中心、以尺寸M1×M1的像素块为单位遍历整个扩张区域γ，并统计出所有像素点均在扩张区域γ内的标记为{Ψ_q|q∈[0,n]}像素块，以此类像素块作为用于修复/填充目标区域的边界网格像素块的候选块。

步骤400：确定当前所有边界网格像素块{b_i}的优先权{p_i}。

在本步骤中，根据目标区域Ω内像素块的稀疏性，使用等式(1)计算在2M1×2M1的范围内优先权，并确定其中优先权最高的边界网格像素块Ψ_p(如图3所示)。

P(p)＝α[(1-ω)C(p)+ω]+βD(p) (1)

$C\left(p\right)=\frac{{\Σ}_{q\∈{\mathrm{\Ψ}}_p\∩(I-\mathrm{\Ω})}C\left(q\right)}{\left|{\mathrm{\Ψ}}_p\right|}$

D(p)＝d(Ψ_p,Ψ_q)＝d_SSD(Ψ_p,Ψ_q)×d_H(Ψ_p,Ψ_q)

其中，C(p)为置信度，D(p)为数据项，α+β＝1，ω∈(0,1)。d_SSD(Ψ_p,Ψ_q)是像素块间对应像素值的平方差之和，d_H(Ψ_p,Ψ_q)是hellinger距离。

优先权的确定受到两部分的影响，即置信度C(p)和数据项D(p)。此处的置信度是指边界块中已知像素点数占边界块中像素点总数的权重；数据项是对边界块稀疏性的度量。α、ω、β是影响因子，控制置信度和数据项两部分对优先权的影响。C(q)代表边界块中任一像素点q在计算置信度时的一种标量。在计算置信度时，边界块中的每个像素点都被赋予一个标量。

步骤500：在侯选块(所有像素点均在已知区域Φ内的标记为{Ψ_q|q∈[0,n]}的像素块)中搜索优先权最高的边界网格像素块Ψ_p所对应的最佳匹配块Ψ_p’。

优先权最高的边界像素块对应的最佳匹配块是在距离该边界像素块最近的已知区域内查找的。匹配原理是指一种相似性的度量方法，采用差值的平方和(SSD)，计算{Ψ_q|q∈[0,n]}中的所有像素块与待修复块对应像素点的SSD，其中最小的SSD值(即min(d_SSD(Ψ_p,Ψ_q)|{Ψ_q|q∈[0,n]}))对应的像素块就是最佳匹配块。

步骤600：将最佳匹配块Ψ_p’的像素复制填充到目标区域Ω内的被修复块(具体为优先权最高的边界网格像素块)，同时将这部分像素的置信度设置为被修复块内已知点的置信度。

步骤700：采用线性规划的方法对因前述像素复制填充而形成的填充块与相邻区域之间形成的重叠区域(如图4所示的水平重叠区域H(x)和垂直重叠区域V(x))进行缝合。

线性规划的方法就是对重叠区的像素进行差值运算，假设每个像素点对应的差值为e(i,j)，再计算每个像素点的度量值E(i,j)，以左右方像素块重叠区为例，最上一行的度量值为E(i,j)＝e(i,j)，左侧一列的度量值为E(i,j)＝e(i,j)+MIN(E(i,,j-1),E(i+1,j-1))，右侧一列的度量值为E(i,j)＝e(i,j)+MIN(E(i,j-1),E(i-1,j-1)),其它重叠区像素点的度量值为E(i,j)＝e(i,j)+MIN(MIN(E(i-1,j-1),E(i,j-1)),E(i+1,j-1))，然后从重叠区每行中找到度量值最小的点即为重叠区的分界点，分界点左侧是左像素块的对应像素，右侧是右像素块的对应像素，从而完成像素块的缝合。上下方像素块重叠区同理。

之后，返回上述步骤200，重复执行步骤200及其之后的步骤，直至整个目标区域Ω被修复完毕。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于块匹配的图像修复方法，其特征在于，包括以下步骤：

A、确定图像中待修复的目标区域；

B、确定所述目标区域的边界网格像素块，包括：

扫描所述目标区域，确定所述目标区域的最小外接矩形；以第一尺寸为单位网格化所述目标区域，并记录下所有边界网格像素块；

C、确定侯选块，包括：

从所述目标区域向外延伸一定像素，获得作为侯选块搜索区域的扩张区域；接着以所述扩张区域中的每个像素点为中心以第二尺寸为单位遍历整个所述扩张区域，统计出所有像素点均在所述扩张区域内的像素块，并将该像素块标记为侯选块；

D、确定当前所有边界网格像素块的优先权，包括：

在一定范围内根据所述目标区域内像素块的稀疏性，使用等式(1)计算所有边界网格像素块的优先权，并确定其中优先权最高的边界网格像素块；

P(p)＝α[(1-ω)C(p)+ω]+βD(p) (1)；

$C\left(p\right)=\frac{{\mathrm{\Σ}}_{q\∈{\mathrm{\Ψ}}_p\∩(I-\mathrm{\Ω})}C\left(q\right)}{\left|{\mathrm{\Ψ}}_p\right|};$

D(p)＝d(Ψ_p,Ψ_q)＝d_SSD(Ψ_p,Ψ_q)×d_H(Ψ_p,Ψ_q)；

其中，P(p)为优先权，C(p)为置信度，D(p)为数据项，α+β＝1，ω∈(0,1)，Ψ_p为所述边界网格像素块，Ψ_q为所有像素点均在已知区域内的像素块，d_SSD(Ψ_p,Ψ_q)是像素块间对应像素值的平方差之和，d_H(Ψ_p,Ψ_q)是hellinger距离，α、ω、β是影响因子，控制置信度和数据项两部分对优先权的影响；

E、在所有像素点均在所述已知区域内的像素块中搜索优先权最高的边界网格像素块所对应的最佳匹配块，包括：

计算所述已知区域内的{Ψ_q|q∈[0,n]}中的所有像素块与待修复块对应像素点的差值的平方和(SSD)，其中最小的差值平方和，即min(d_SSD(Ψ_p,Ψ_q)|{Ψ_q|q∈[0,n]})对应的像素块就是最佳匹配块；

F、将所述最佳匹配块的像素复制填充到所述优先权最高的边界网格像素块，同时将这部分像素的置信度设置为所述优先权最高的边界网格像素块内已知点的置信度；

G、采用线性规划的方法缝合因前述像素复制填充而形成的填充快与相邻区域之间形成的重叠区域；之后，返回上述步骤B，重复执行所述步骤B及其之后的步骤，直至整个所述目标区域被修复完毕。

2.根据权利要求1所述的方法，其特征在于，所述步骤A包括：

涂抹所述图像中的待修复目标区域Ω，并生成所述图像的MASK灰度二值图像。

3.根据权利要求2所述的方法，其特征在于，将所述图像的MASK灰度二值图像中的目标区域的灰度值设置为255，将除所述目标区域之外的已知区域的灰度值设置为0。

4.根据权利要求1所述的方法，其特征在于，所述第二尺寸大于所述第一尺寸。