CN104680492B - 基于样本结构一致性的图像修复方法 - Google Patents

Abstract

基于样本结构一致性的图像修复方法,包括如下步骤：确定图像缺损区域边界对缺损区域边界上的每一个像素点p，计算其优先权函数值；在图像缺损区域边界像素点中选取具有最大优先权值P(p)的像素点后，在图像已知区域寻找与目标块最相似的匹配块；找到最佳匹配块后，目标块中的未知像素点用中对应的像素值填充；被填充像素的置信度被更新；重复以上的几个步骤，直至缺损区域被填补完全。

Description

基于样本结构一致性的图像修复方法

技术领域

本发明属于图像处理技术领域，具体涉及一种新的基于样本结构一致性的图像修复方法。

背景技术

图像修复技术是一项古老的技术，可以追溯到文艺复兴时代，当时的艺术家们凭借丰富的经验来修复受损的珍贵艺术品。随着现代计算机科学和数字图像处理技术的飞速发展，对于图像修复方法的研究吸引了大量学者的目光。通过数字图像修复技术，人们在不需要具备专业技术的情况下，可以修复老旧照片、电影和油画；也可以移除照片上的文字，遮挡物等。

图像修复是一个没有真解的问题，因为它没有一个明确定义的解决方案。为了恢复丢失区域的信息，我们假设已知区域的像素点和未知区域的像素点具有相同的统计特性或是几何结构。这样，未知区域的像素点可以通过已知像素点估计出来。目前图像修复一般有两类方法。第一种是基于偏微分方程的扩散修复方法。这类方法模拟人修复图像的过程，将已知区域的图像信息沿着等照度线慢慢延伸进未知区域，直到未知区域被填补完全。它们先建立一个修复模型，然后求解偏微分方程，通过迭代的方法将位置区域计算出来。这类方法适合用于富有结构信息和破损区域小的图像，当它被用来修复大面积破损或是同时具有结构信息和纹理信息的自然图像时，结果并不尽如人意。第二种是基于样本的图像修复方法。这类方法采纳了纹理合成的思想，通过在已知区域找与缺损区域边缘最相似块的方法，直接将相似块填入到缺损区域，保持了未知区域和附近像素的一致性，直至缺损区域被填补完全。这类方法适用于自然图像和大面积缺损图像，但同时也会有修复结果视觉上不连续等缺陷。为了克服已 有方法的一些缺陷，本发明提出了一种基于样本结构一致性的图像修复方法。该方法考虑了图像块之间的结构一致性，并提出一个更合理的优先权函数，能生成更符合人眼视觉的修复结果。

发明内容

本发明要克服现有技术存在的上述缺点和不足，提出一种基于样本结构一致性的图像修复方法，使得修复结果更符合人眼视觉习惯。本发明包括如下基本步骤：

步骤一：确定图像缺损区域边界如果为空，则修复过程结束。本发明定义Φ为已知区域；Ω为图像缺损区域。

步骤二：对缺损区域边界上的每一个像素点p，计算其优先权函数值。本发明提出一种新的优先权函数，用于确定缺损边界像素的修复顺序：

P(p)＝C(p)*C_s(p)*D(p) (1)

其中，P(p)表示缺损边界像素点p的优先权值，P(p)越大，该点应更早被修复。C(p)表示点p的置信度；C_s(p)表示点p的匹配置信度；D(p)表示点p的结构信息。置信度项C(p)用于衡量像素点p周围有多少已知信息，定义如下：

其中，ψ_p表示像素点p的邻域；|ψ_p|表示点p邻域ψ_p中像素点的总数。图像已知区域像素点的初始置信度设置为1，缺损区域像素点的初始置信度设置为0。匹配置信度项C_s(p)用于衡量缺损边缘像素点p邻域中已知像素的匹配置信程度。定义如下：

其中，|ψ_p∩Φ|表示p邻域中的已知像素点个数。图像匹配置信度初始值在已知像素点设置为1，未知像素点设置为0。在图像修复过程中，如果当前待修复目标块与所对应的最佳匹配块的相似程度大，则给匹配置信度赋较大的值；反之，则赋较小值。结构信息项D(p)衡量等照度线撞击缺损区域边界的强度，表示点p是否位于图像结构信息区域。如果是，则该点应更早被修复。定义如下：

其中，α是归一化因子，对于灰度图像α＝255；表示缺损区域边界点p的单位法向量；表示点p梯度的正交向量。

步骤三：在图像缺损区域边界像素点中选取具有最大优先权值P(p)的像素点后，在图像已知区域寻找与目标块最相似的匹配块。本发明提出一种结构一致性匹配算法，用于寻找最佳匹配块：

其中，是找到的最佳匹配块；是与ψ_q两块之间距离函数，表示两块的相似程度；是与ψ_q两块对应像素之间差的平方和；是与ψ_q两块对应像素差值的标准差；β是一个权重常量，用于调整对于最终结果的影响。在计算两块距离时，只需计算目标块中已知像素部分。本发明所提出的结构一致性匹配算法，不仅考虑到了两块之间总体的颜色差异，更将两块间的结构变化考虑进去，能获得更符合人眼视觉的最佳匹配块。

步骤四：找到最佳匹配块后，目标块中的未知像素点用中对应的像素值填充。

步骤五：被填充像素的置信度被更新为：

其中表示点t与块中心点的欧氏距离；λ为置信度下降因子，用于控制

置信度的下降速度；C_upper为置信度更新上限，通过目标块中已知像素的置信度均值来确定为

被填充像素的匹配置信度被更新为：

其中是归一化的两块之间的匹配值：

m表示目标块中已知像素的数量。

步骤六：重复以上的几个步骤，直至缺损区域被填补完全。

本发明的优点是：本发明通过对已有置信度的改进与新的匹配置信度的提出，构造了更合理的优先权函数；本发明通过建立基于样本结构一致性的图像修复能量函数，同时保证了修复过程中图像块信息与结构的相似性。本发明能同时合理的处理纹理信息和结构信息，从而具备修复信息和结构都复杂的图像的能力。

附图说明

图1为本发明中图像修复过程示意图。

图2为本发明中β因子的不同取值的填补结果。

图3为本发明中随空间变化的置信度更新策略。

图4为本发明方法结果示意图和与其他方法结果的比较示意图。

具体实施方式

在以下的描述中，结合附图和具体实施方法对本发明作进一步详细解释。 然而，应该意识到，本发明不限于这种应用，而是可应用于许多其他类型和其他用途的图像处理中。

如图1所示，是本发明图像修复整体过程的示意图。其中Φ为已知区域；Ω为图像缺损区域；为图像缺损区域边界；ψ_p为待修复目标块,ψ_q为可能的匹配块。具体修复步骤如下。

步骤一：确定图像缺损区域边界如果为空，则修复过程结束。

步骤二：对缺损区域边界上的每一个像素点p，计算其优先权函数值。本发明提出一种新的优先权函数，用于确定缺损边界像素的修复顺序：

P(p)＝C(p)*C_s(p)*D(p) (11)

其中，P(p)表示缺损边界像素点p的优先权值,P(p)越大，该点应更早被修复。C(p)表示点p的置信度；C_s(p)表示点p的匹配置信度；D(p)表示点p的结构信息。置信度项C(p)用于衡量像素点p周围有多少已知信息,定义如下：

其中，ψ_p表示像素点p的邻域；|ψ_p|表示点p邻域ψ_p中像素点的总数。图像已知区域像素点的初始置信度设置为1，缺损区域像素点的初始置信度设置为0。匹配置信度项C_s(p)用于衡量缺损边缘像素点p邻域中已知像素的匹配置信程度。定义如下：

其中，|ψ_p∩Φ|表示p邻域中的已知像素点个数。图像匹配置信度初始值在已知像素点设置为1，未知像素点设置为0。在图像修复过程中，如果当前待修复目标块与所对应的最佳匹配块的相似程度大，则给匹配置信度赋较大的值；反之，则赋较小值。结构信息项D(p)衡量等照度线撞击缺损区域边界的强度，表示点 p是否位于图像结构信息区域。如果是，则该点应更早被修复。定义如下：

其中，α是归一化因子，对于灰度图像α＝255；表示缺损区域边界点p的单位法向量；表示点p梯度的正交向量。

步骤三：在图像缺损区域边界像素点中选取具有最大优先权值P(p)的像素点后，在图像已知区域寻找与目标块最相似的匹配块。本发明提出一种结构一致性匹配算法，用于寻找最佳匹配块：

其中，是找到的最佳匹配块；是与ψ_q两块之间距离函数，表示两块的相似程度；是与ψ_q两块对应像素之间差的平方和；是与ψ_q两块对应像素差值的标准差；β是一个权重常量，用于调整对于最终结果的影响。图2显示了β取不同值时的修复效果，2(a)为待修复图像，2(b)为β＝0.5的结果图，2(c)为β＝0.8的结果图，2(d)为β＝1.2的结果图。在本发明中，对β取一个经验值0.8。计算两块距离时，只需计算目标块中已知像素部分。本发明所提出的结构一致性匹配算法，不仅考虑到了两块之间总体的颜色差异，更将两块间的结构变化考虑进去，能获得更符合人眼视觉的最佳匹配块。

步骤四：找到最佳匹配块后，目标块中的未知像素点用中对应的像素点填充。

步骤五：被填充像素的置信度被更新为

其中表示点t与块中心点的欧氏距离；λ为置信度下降因子，用于控制置信度的下降速度，在本发明中，设置为经验值0.03；C_upper为置信度更新上限，通过目标块中已知像素的置信度均值来确定为

图3显示了置信度项随空间变化的更新策略。被填充像素的匹配置信度被更新为：

其中是归一化的两块之间的匹配值：

m表示目标块中已知像素的数量。

步骤六：重复以上的几个步骤，直至缺损区域被填补完全。

如图4所示，图片(a)为待修复图像，两个方块部分代表了缺损区域。(b)为经Criminisi方法修复后的结果图。(c)为匹配函数中使用Bhattacharya距离进行修复的结果图。(d)为本发明方法的修复结果图。可以明显看到，本发明在处理同时具有纹理信息和结构信息的图像时比其他图像修复方法有更优秀的修复效果。

本发明提供了一种基于样本结构一致性的图像修复方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式。应当指出，对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.基于样本结构一致性的图像修复方法，包括如下步骤：

步骤一，确定图像缺损区域边界如果为空，则修复过程结束；定义Φ为已知区域；Ω为图像缺损区域；

步骤二，对缺损区域边界上的每一个像素点p，计算其优先权函数值；提出一种新的优先权函数，用于确定缺损边界像素的修复顺序：

P(p)＝C(p)*C_s(p)*D(p) (1)

其中，P(p)表示缺损边界像素点p的优先权值，P(p)越大，该点应更早被修复；C(p)表示点p的置信度；C_s(p)表示点p的匹配置信度；D(p)表示点p的结构信息；置信度项C(p)用于衡量像素点p周围有多少已知信息，定义如下：

$C\left(p\right)=\frac{{\Σ}_{t\∈{\mathrm{\ψ}}_p\∩\mathrm{\Φ}}C\left(t\right)}{\left|{\mathrm{\ψ}}_p\right|}---\left(2\right)$

其中，ψ_p表示像素点p的邻域；|ψ_p|表示点p邻域ψ_p中像素点的总数；图像已知区域像素点的初始置信度设置为1，缺损区域像素点的初始置信度设置为0；匹配置信度项C_s(p)用于衡量缺损边缘像素点p邻域中已知像素的匹配置信程度；定义如下：

$C_s\left(p\right)=\frac{{\Σ}_{t\∈{\mathrm{\ψ}}_p\∩\mathrm{\Φ}}{C}_s\left(t\right)}{\left|{\mathrm{\ψ}}_p\∩\mathrm{\Φ}\right|}---\left(3\right)$

其中，|ψ_p∩Φ|表示p邻域中的已知像素点个数；图像匹配置信度初始值在已知像素点设置为1，未知像素点设置为0；在图像修复过程中，如果当前待修复目标块与所对应的最佳匹配块的相似程度大，则给匹配置信度赋较大的值；反之，则赋较小值；结构信息项D(p)衡量等照度线撞击缺损区域边界的强度，表示点p是否位于图像结构信息区域；如果是，则该点应更早被修复；定义如下：

$D\left(p\right)=\frac{\left|\▿I_p^{\⊥}\·{\stackrel{\→}{n}}_p\right|}{\mathrm{\α}}---\left(4\right)$

其中，α是归一化因子，对于灰度图像α＝255；表示缺损区域边界点p的单位法向量；表示点p梯度的正交向量；

步骤三，在图像缺损区域边界像素点中选取具有最大优先权值P(p)的像素点后，在图像已知区域寻找与目标块最相似的匹配块；提出一种结构一致性匹配算法，用于寻找最佳匹配块：

其中，是找到的最佳匹配块；是与ψ_q两块之间距离函数，表示两块的相似程度；是与ψ_q两块对应像素之间差的平方和；是与ψ_q两块对应像素差值的标准差；β是一个权重常量，用于调整对于最终结果的影响；在计算两块距离时，只需计算目标块中已知像素部分；所提出的结构一致性匹配算法，不仅考虑到了两块之间总体的颜色差异，更将两块间的结构变化考虑进去，能获得更符合人眼视觉的最佳匹配块；

步骤四，找到最佳匹配块后，目标块中的未知像素点用中对应的像素值填充；

步骤五，被填充像素的置信度被更新为：

其中表示点t与块中心点的欧氏距离；λ为置信度下降因子，用于控制置信度的下降速度；C_upper为置信度更新上限，通过目标块中已知像素的置信度均值来确定为

被填充像素的匹配置信度被更新为：

其中是归一化的两块之间的匹配值：

m表示目标块中已知像素的数量；

步骤六，重复以上的几个步骤，直至缺损区域被填补完全。