CN107967673B - 一种自适应样本块图像修复方法 - Google Patents

Abstract

本发明公开了一种自适应样本块图像修复方法，所述图像修复方法基于改进的SSIM算法，包括以下步骤：标记待修复样本块，当待修复样本块的边长小于预设值时，根据改进的SSIM算法计算相邻尺寸样本块之间的结构相似度；根据结构相似度选取最优样本块的大小；根据最小绝对差平方和匹配准则、最优样本块的大小，从图像源区域中寻找最优匹配块；获取源区域内的匹配块与待修复样本块之间的误差限制准则；若满足准则，利用最优匹配块对待修复样本块进行填充，并将待修复样本块标记为已修复的样本块，更新破损区域及源区域。本方法根据待修复图像不同区域的信息和结构特征来自适应确定合适的样本块大小，可有效提高修复效果。

Description

一种自适应样本块图像修复方法

技术领域

本发明涉及计算机图像处理领域，尤其涉及一种自适应样本块图像修复方法，该修复方法基于改进的结构相似性(SSIM)算法，可广泛用于机器视觉、目标移除、虚拟现实等领域。

背景技术

图像修复是计算机图像和视觉研究领域的热点之一，在文物保护、影视制作、老照片修复，目标移除等方面都得到了广泛的应用。其核心思想是利用图像中已知的纹理和结构信息，按照一定的修复顺序和匹配准则对缺损区域进行修补，以保证图像的视觉完整性。

目前该技术大体上可分为两类：一类是Diffusion-based(基于扩散)修复方法，该类方法主要用于修复图像较小的破损区域，另一类是Exemplar-based(基于样本块)修复方法，该类方法致力于修复大面积破损区域。

传统的基于样本块的图像修复算法大多通过人工设定样本块大小，来达到最佳修复效果。样本块偏小，算法效率低，也不利于保持图像的整体结构；反之，容易出现结构断裂的现象，纹理修复效果不理想。因此，实际工程中往往需要根据实验结果不断修改样本块大小，直至获得最优修复结果。

然而，固定样本块的大小缺乏自适应性；同时，对图像不同纹理和结构区域采用相同大小的样本块，也不利于获得整体最优效果。由于无法根据图像特征信息自适应调整样本块大小，在很大程度上限制了传统算法对复杂结构纹理图像的修复效果。

为解决上述问题，一些学者根据已知的邻域结构信息，提出了一种自适应确定样本块大小的算法，提高了算法的自适应性。

2012年，孟春芝等人对传统算法进行了改进，通过计算基于破损区域领域中完好部分的梯度值变化来确定最优样本块大小，提高了准确性，但算法需要考虑0-360度梯度域数值，运算效率受到限制。

发明内容

本发明提供了一种自适应样本块图像修复方法，本发明针对传统Exemplar-based修复算法，在修复过程中只能采取相同样本块的缺点，修复结果容易出现结构断裂或纹理错乱的现象，提出根据待修复图像不同区域的信息和结构特征来自适应确定合适的样本块大小，可有效提高修复效果，详见下文描述：

一种自适应样本块图像修复方法，所述图像修复方法基于改进的SSIM算法，包括以下步骤：

标记待修复样本块，当待修复样本块的边长小于预设值时，根据改进的SSIM算法计算相邻尺寸样本块之间的结构相似度；根据结构相似度选取最优样本块的大小；

根据最小绝对差平方和匹配准则、最优样本块的大小，从图像源区域中寻找最优匹配块；

获取源区域内的匹配块与待修复样本块之间的误差限制准则；若满足准则，利用最优匹配块对待修复样本块进行填充，并将待修复样本块标记为已修复的样本块，更新破损区域及源区域。

其中，所述标记待修复样本块具体为：

根据初始样本块的置信度和数据项，确定初始样本块的优先级；

选取优先级最大的目标像素点，将最大的目标像素点对应的样本块标记为待修复样本块。

进一步地，所述改进的SSIM算法具体为：

在原有SSIM算法的基础上增加梯度信息，以实现图像局部边缘及纹理的量化表征；

利用破损区域对应的原图像块计算相关梯度信息。

其中，所述源区域内的匹配块与待修复样本块之间的误差限制准则具体为：

其中，和分别表示待修复样本块Ψ_p'与最优匹配块Ψ_q'在中心点处的RGB像素值，N表示待修复样本块Ψ_p′的完好部分的像素个数，γ为允许的正数误差阈值，||.||₂代表二范数。

其中，所述图像修复方法还包括：

当待修复样本块与最优匹配块之间不满足误差限制时，则将待修复样本块的边长大小减去2，重新执行从图像源区域中寻找最优匹配块。

进一步地，所述权重系数α,β按黄金分割比例进行选取。

本发明提供的技术方案的有益效果是：

1、本发明将视觉质量评价领域的结构相似度算法SSIM引入到图像修复领域，并结合梯度信息，提高了图像结构表征能力，并根据图像结构相似度自适应确定修复样本块的大小；

2、通过对不同区域的纹理和结构信息采用不同大小的样本块进行修复，减少了误匹配，结构和纹理修复效果更加自然。

附图说明

图1为一种自适应样本块图像修复方法的流程图；

图2不同修复算法对海滩图像的修复效果对比图；

其中，(a)为原始图像，(b)为待修复图像，(c)为Non-Local算法修复结果，(d)为Meng算法修复结果，(e)为Parabola算法修复结果，(f)本方法修复结果。

图3不同修复算法对台阶图像的修复效果对比图；

其中，(a)为原始图像，(b)为待修复图像，(c)为Non-Local算法修复结果，(d)为Meng算法修复结果，(e)为Parabola算法修复结果，(f)本方法修复结果。

图4不同修复算法对椅子图像的修复效果对比图。

其中，(a)为原始图像，(b)为待修复图像，(c)为Non-Local算法修复结果，(d)为Meng算法修复结果，(e)为Parabola算法修复结果，(f)本方法修复结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了解决背景技术中存在的问题，本发明实施例提出一种基于改进SSIM算法的自适应样本块图像修复方法，在原有亮度、对比度和结构三个模块的指标基础上增加了梯度信息，以此来衡量结构相似度，完成图像的自适应修复。

实施例1

一种自适应样本块图像修复方法，参见图1，该方法基于改进的SSIM算法，包括以下步骤：

101：标记待修复样本块，当待修复样本块的边长小于预设值时，根据改进的SSIM算法计算相邻尺寸样本块之间的结构相似度；根据结构相似度选取最优样本块的大小；

102：根据最小绝对差平方和匹配准则、最优样本块的大小，从图像源区域中寻找最优匹配块；

103：获取源区域内的匹配块与待修复样本块之间的误差限制准则；若满足准则，利用最优匹配块对待修复样本块进行填充，并将待修复样本块标记为已修复的样本块，更新破损区域及源区域。

其中，在步骤101之前，该图像修复方法还包括：

根据初始样本块的置信度和数据项，确定初始样本块的优先级；

选取优先级最大的目标像素点，将最大的目标像素点对应的样本块标记为待修复样本块。

进一步地，步骤101中的改进的SSIM算法具体为：

在原有SSIM算法的基础上增加梯度信息，以实现图像局部边缘及纹理的量化表征；

利用破损区域对应的原图像块计算相关梯度信息。

其中，上述步骤103还包括：

当待修复样本块与最优匹配块之间不满足误差限制时，则将待修复样本块的边长大小减去2，重新执行从图像源区域中寻找最优匹配块。

综上所述，本发明实施例通过上述步骤101-步骤103将结构相似度算法SSIM引入图像修复领域，并结合梯度信息，提高了图像结构评价的能力，根据图像结构相似度自适应确定待修复样本块的大小，对不同的纹理和结构信息区域，采用不同大小的样本块进行修复，减少了误匹配，使得修复后结构和纹理更加自然。

实施例2

下面结合具体的实例、计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：

201：定义待修复的初始样本块大小为3×3，即边长为n＝3个像素的正方形，设初始样本块的中心为p，计算初始样本块的置信度C(p)和数据项D(p)，确定初始样本块Ψ_p的优先级P(p)＝C(p)×D(p)；

其中，上述计算置信度C(p)和数据项D(p)的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

202：根据优先级的计算结果选取优先级最大的目标像素点，并将最大的目标像素点对应的样本块标记为待修复样本块Ψ_p′；

203：当待修复样本块Ψ_p′的边长n<15时，根据改进的SSIM算法计算相邻尺寸样本块之间的结构相似度RSS(E₁,E₂)，样本块大小的迭代步长设为2；

其中，E(p,n)表示以p为中心，大小为n×n的样本块，n为奇数；E₁、E₂表示待比较的相邻尺寸的样本块，即E(p,n)、E(p,n+2)。

结构相似度RSS(E₁,E₂)定义如下：

其中，α,β分别为权重系数，按黄金分割比例进行选取，即α＝0.618,β＝0.382，g(E₁,E₂)为梯度相似度函数；分别为E₁和E₂的平均灰度值；M₁，M₂为固定常数；分别为E₁和E₂的标准差。

传统SSIM定义如下：

SSIM(x,y)＝[l(x,y)]α¹[c(x,y)]α²[s(x,y)]α³

其中，α1,α2,α3为相关权重系数，l(x,y)为亮度相似度函数，c(x,y)为对比度相似度函数，s(x,y)为结构相似度函数，分别定义如下：

其中，x、y代表两幅图像，μ_x、μ_y为图像的平均灰度，σ_x、σ_y为图像的标准差，σ_xy为图像的互相关值，M₁、M₂、M₃为固定常数，用于避免分母为0而造成系统不稳定。M₁＝(K₁L)²，M₂＝(K₂L)²，K₁＜＜1,K₂＜＜1，L为图像灰度级数。

为了得到简化形式，设α1＝α2＝α3＝1，M₃＝M₂/2，本发明实施例中相邻尺寸的样本块E₁、E₂的SSIM值定义为：

本发明实施例尝试将待修复样本块Ψ_p′的大小选取问题转化为结构相似性度量问题，利用改进后的SSIM算法实现样本块大小的自适应选取。原始SSIM算法通常利用结构分量来表征局部区域的结构差异，本发明实施例在原有SSIM算法的基础上增加梯度信息，以实现图像局部边缘及纹理的量化表征。由于破损区域存在信息缺失，因此，本发明实施例利用破损区域对应的原图像块来计算相关梯度信息。

梯度相似度函数g(E₁,E₂)定义如下：

其中，GE₁为E₁的方向梯度均值；GE₂为E₂的方向梯度均值。

定义E(p,n)的方向梯度均值G_E为：

其中，表示样本块E(p,n)在方向的梯度向量模值。M₁为固定常数，可以避免分母为0而造成的系统不稳定。

204：根据结构相似度RSS(E₁,E₂)选取最优样本块大小；

当待修复样本块Ψ_p′的结构变化比较单一时，相邻尺寸样本块之间结构相似度较高，区域结构相似度(RSS)值较大，此时应选取较大的样本块进行修复，以保证修复效率；反之，当待修复区域结构信息比较复杂时，相邻尺寸样本块之间的结构相似度较低，即RSS较小，此时应选取较小的样本块，以保证结构的有效延续。

为此，本方法选取相邻较大、且具有最小结构相似度的样本块大小作为最优样本块，本发明实施例中最优样本块大小选取方法如下：

n^*＝Arg min{RSS(E(p,n),E(p,n+2))}

其中，n^*为最优样本块大小，Argmin代表选取目标函数的最小值。RSS(E(p,n),E(p,n+2))代表相邻样本块E(p,n),E(p,n+2)的结构相似度。

205：根据最小绝对差平方和(SSD)匹配准则、最优样本块大小，从图像源区域中寻找最优匹配块Ψ_q'；

根据步骤202确定待修复样本块Ψ_p'后，采用SSD匹配准则在图像未破损的源区域Φ内寻找与待修复样本块Ψ_p'尺寸相同的最优匹配块Ψ_q'，计算SSD匹配代价，得到与待修复样本块Ψ_p'具有最小绝对差平方和的最优匹配块Ψ_q'。

其中，待修复样本块Ψ_p'与最优匹配块Ψ_q'的SSD匹配代价C_SSD(Ψ_p',Ψ_q')计算公式为：

其中，R(a)、G(a)、B(a)表示待修复样本块Ψ_p'内的任意像素点a的RGB分量，R(b)、G(b)、B(b)表示最优匹配块Ψ_q'内的像素点b的RGB分量。

206：获取源区域内的匹配块与待修复样本块之间的误差限制准则；

在实际修复过程中，当源区域内的匹配块位于图像边缘时，可能存在样本块不完整的情况，为此，本发明实施例定义源区域内的匹配块与待修复样本块之间的误差限制准则如下：

其中，和分别表示待修复样本块Ψ_p'与最优匹配块Ψ_q'在中心点处的RGB像素值，N表示待修复样本块Ψ_p′的完好部分的像素个数，γ为允许的正数误差阈值，||.||₂代表二范数。

207：如果源区域内的匹配块与待修复样本块之间满足误差限制准则，则利用最优匹配块Ψ_q'对待修复样本块Ψ_p'进行填充，并将待修复样本块Ψ_p'标记为已修复的样本块，更新破损区域及源区域Φ即：

其中，表示最优匹配块内，与待修复匹配块Ψ_p'∩Ω相对应的区域，Ω表示图像破损区域。

更新图像破损区域及源区域Φ，分别得到新的破损区域Ω_new和新的源区域Φ_new：

将新的破损区域Ω_new再次标记为破损区域，将新的源区域再次标记为源区域：

Ω＝Ω_new,Φ＝Φ_new

利用优先权最高的点对应的置信度值来更新破损区域的置信度值，返回步骤201继续执行。

如果待修复样本块Ψ_p'与最优匹配块Ψ_q'之间不满足误差限制，则将待修复样本块Ψ_p'大小减去2，即令n＝n-2，重新执行步骤205～206。

208：重复步骤201～207，直至完成图像修复。

综上所述，本发明实施例通过上述步骤201-步骤208根据图像结构相似度自适应确定待修复样本块大小，对不同的纹理和结构信息区域，采用不同大小的样本块进行修复，减少了误匹配，使得修复后的结构和纹理更加自然。

实施例3

下面结合具体的实验数据、图2-图4，对实施例1和2中的方案进行可行性验证，详见下文描述：

区域结构相似度的RSS的权重系数为：α＝0.618,β＝0.382；K₁,K₂分别选为0.01和0.03；L为图像灰度级数，取255。图2、图3、图4误差阈值γ的取值分别为1，3，3。

下面通过仿真实验验证本方法的鲁棒性和有效性，效果分别如图2～4所示。

图2中待修复图像包含较大的破损区域，人体上半部分遮挡位置的纹理信息变化明显。从实验结果可以看出，采用变分框架的Non-Local算法，虽然成功修复了海水轮廓，但由于样本块大小无法自适应选取，在连接处出现了折叠和模糊。Parabola算法虽然在一定程度上抑制了置值度函数迅速下降的情况，但当破损区域较大时，出现了明显的断层。Meng算法能够自适应选择样本块，修复效果优于前面二种算法，但仍然存在人工痕迹。本方法基于图像结构相似度，并结合梯度信息，海水纹理扩散更加合理，结构修复效果也更加自然。

其中，上述Non-Local算法、Parabola算法以及Meng算法均为本领域技术人员所公知，本发明实施例对此不做赘述。

图3中待修复图像的破损区域包含较为复杂的楼梯结构纹理信息。利用Non-Local算法的变分模型恢复的台阶边缘不够清晰；与之类似，Parabola算法在结构传播方面也存在问题；Meng算法依据梯度域评测图像结构相似度，在纹理和结构保持方面不够理想；而本方法不仅完整的恢复了台阶结构，纹理修复效果也更加自然合理，取得了理想的处理效果。

从图4的实验结果也可以看出，与前3种算法相比，本方法对椅子的结构保持效果较为理想和自然，能够满足人眼视觉的要求。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种自适应样本块图像修复方法，其特征在于，所述图像修复方法基于改进的SSIM算法，包括以下步骤：

标记待修复样本块，当待修复样本块的边长小于预设值时，根据改进的SSIM算法计算相邻尺寸样本块之间的结构相似度；根据结构相似度选取最优样本块的大小；

根据最小绝对差平方和匹配准则、最优样本块的大小，从图像源区域中寻找最优匹配块；

获取源区域内的匹配块与待修复样本块之间的误差限制准则；若满足准则，利用最优匹配块对待修复样本块进行填充，并将待修复样本块标记为已修复的样本块，更新破损区域及源区域；

所述结构相似度具体为：

其中，α,β分别为权重系数，g(E₁,E₂)为梯度相似度函数；分别为E₁和E₂的平均灰度值；M₁，M₂为固定常数；分别为E₁和E₂的标准差，E₁、E₂表示待比较的相邻尺寸的样本块。

2.根据权利要求1所述的一种自适应样本块图像修复方法，其特征在于，所述标记待修复样本块具体为：

根据初始样本块的置信度和数据项，确定初始样本块的优先级；

选取优先级最大的目标像素点，将最大的目标像素点对应的样本块标记为待修复样本块。

3.根据权利要求1所述的一种自适应样本块图像修复方法，其特征在于，所述改进的SSIM算法具体为：

在原有SSIM算法的基础上增加梯度信息，以实现图像局部边缘及纹理的量化表征；

利用破损区域对应的原图像块计算相关梯度信息。

4.根据权利要求1所述的一种自适应样本块图像修复方法，其特征在于，所述源区域内的匹配块与待修复样本块之间的误差限制准则具体为：

其中，和分别表示待修复样本块Ψ_p'与最优匹配块Ψ_q'在中心点处的RGB像素值， N表示待修复样本块Ψ_p′的完好部分的像素个数，γ为允许的正数误差阈值，||.||₂代表二范数。

5.根据权利要求1所述的一种自适应样本块图像修复方法，其特征在于，所述图像修复方法还包括：

当待修复样本块与最优匹配块之间不满足误差限制时，则将待修复样本块的边长大小减去2，重新执行从图像源区域中寻找最优匹配块。

6.根据权利要求1所述的一种自适应样本块图像修复方法，其特征在于，所述权重系数α,β按黄金分割比例进行选取。