CN103325095B - 一种结合方向因子的样本块稀疏性图像修复方法 - Google Patents

Abstract

一种结合方向因子的样本块稀疏性图像修复方法，主要操作有：首先利用现有的图像修复算法对待修复图像进行预处理；然后对预处理图像利用非下采样轮廓波变换提取其4个方向的方向因子；根据颜色-方向因子加权距离确定新的结构稀疏度函数以及匹配准则，利用结构稀疏度函数确定填充顺序，然后根据新的匹配准则寻找多个匹配块；建立包含颜色空间局部连续一致性及方向因子局部连续一致性的约束方程，优化求解约束方程获得多个匹配块的稀疏表示信息并填充；更新填充区域直至破损区域完全被填充。该方法能够有效地保持结构部分的连贯性，纹理部分的清晰性及与邻域信息的连续一致性，尤其适合具有复杂纹理和结构特征的真实照片或合成图像的修复。

Description

一种结合方向因子的样本块稀疏性图像修复方法

技术领域

本发明涉及基于样本块的图像修复方法，特别涉及基于样本块稀疏性的图像修复方法。

背景技术：

数字图像修复是根据破损图像内的已知信息，按照一定的规则对破损区域进行修补的一门技术，其目的是使观察者无法察觉图像曾经破损或者已被修复。随着数字图像处理技术的发展，数字图像修复技术成为当前计算机图形学和计算机视觉的一个研究热点，在文物保护，影视特技制作，图像有损压缩，特定物体移除等方面具有重大的应用价值。目前数字图像修复技术主要分为两类：基于扩散的图像修复算法和基于样本块的图像修复算法。

文献1(CriminisiA，PerezP，ToyamaK.Regionfillingandobjectremovalbyexemplar-basedimageinpainting.IEEETransactionsonImageProcessing.2004，13(9)：1200-1212.)是基于样本块的图像修复算法的代表性方法，其基本思想是先计算破损区域边界上所有点的优先权，然后以最大优先权值的像素点为中心选择合适的样本块作为待填充块，其次在已知区域内寻找与待填充块最相似的样本块，将其信息复制给待填充块，最后更新填充区域，重复上述过程直至破损区域完全被填充。该方法能较好的修复纹理区域，但因填充顺序不稳定，不能很好的保持结构部分的连贯性，且在填充时仅利用最相似的匹配块的信息，易产生块效应与接缝效应。

近几年，研究学者利用样本块稀疏性提出图像修复算法：(1)文献2(XuZBandSunJ.Imageinpaintingbypatchpropagationusingpatchsparsity[J].IEEETransactionsonImageProcessing，2010.19(5)：1153-1165.)根据结构块在其局部邻域内的稀疏性构造块结构稀疏度函数，然后利用结构稀疏度确定填充顺序，并将多个匹配块的稀疏表示信息作为填充信息填充到待修复区域中。(2)文献3(史金刚，齐春.一种双约束稀疏模型图像修复算法[J].西安交通大学学报.2012，46(2)：6-10)提出一种双约束稀疏模型图像修复算法，利用线性嵌入方法估计待填充块中未知区域的信息，将估计信息与待填充块中已知信息作为稀疏逼近的目标(3)申请人(文献4：李志丹，和红杰，尹忠科等.基于结构稀疏度的自适应样本块图像修复算法[J].电子学报，2013，41(3)：549-554.)也提出了一种基于结构稀疏度的自适应样本块图像修复算法，根据结构稀疏度值自适应确定待填充块大小，邻域一致性约束的权重系数与局部搜索窗口大小。

上述三种方法均是将多个块的稀疏表示信息填充到待修复区域中去，能够削弱块效应和接缝效应。上述三种方法均仅利用颜色信息衡量样本块之间的相似性，不仅使得寻找到的匹配块不够合理，且对于构造结构稀疏度函数时也造成负面影响。文献3仍然采用文献1中的优先权计算方法，填充顺序不够稳定，不能很好的保持结构部分的连贯性。文献2与文献4虽是利用结构稀疏度函数确定填充顺序，但结构稀疏度函数是由相似度函数及待填充块的邻域内已知块所占比例确定的，不仅相似度函数不够合理，而且当结构块的邻域内已知块较少时，结构稀疏度值较小，不能优先填充结构块。而且上述三种方法均仅在颜色空间建立邻域一致性约束，不能很好的保持修复图像纹理区域与结构区域的清晰性，存在一定的模糊效应。因此如何构造稳定的填充顺序，合理的匹配准则及约束方程，是提高样本块稀疏性图像修复质量必须解决的关键问题。

发明内容

为克服现有基于样本块的图像修复技术存在的技术问题，本发明提供一种结合方向因子的样本块稀疏性图像修复方法，该方法能够有效地保持结构部分的连贯性，纹理部分的清晰性及与邻域信息的连续一致性，使得修复后图像与原始图像更为接近、更加自然，更符合人眼视觉要求，尤其适合具有复杂纹理和结构特征的真实照片或合成图像的修复。

本发明解决其技术问题所采用的技术方案是：一种结合方向因子的样本块稀疏性图像修复方法，包括以下步骤：

A、预处理：将含待修复区域Ω的待修复图像I，利用基于颜色信息的结构稀疏度的自适应样本块图像修复算法进行修复，得到预处理图像I’；同时，划分待修复图像I中待修复区域Ω的填充边界δΩ，将待修复图像I的待修复区域Ω内各像素点r的置信度值C(r)初始化为0，已知区域内各像素点r的置信度值C(r)初始化为1；

B、估计方向因子：对预处理图像I’利用超小波变换估计出其水平、垂直、正对角和反对角四个方向的方向因子矩阵A_k(k＝1，2，3，4)；

C、颜色-方向因子加权距离的计算：以待修复区域Ω的填充边界δΩ上任意点p为中心点的边界样本块Ψ_p与该点p的邻域N(p)内的任意点q为中心的各已知块Ψ_q的颜色-方向因子加权距离D，D＝(η·d(Ψ_p，Ψ_q)+μ·d(Γ_p，Γ_q))；其中η和μ分别为颜色信息和方向因子信息的加权系数，η+μ＝1；边界样本块Ψ_p与邻域块Ψ_q的大小相等，大小均为7*7；邻域N(p)的大小为21*21～101*101；Г_p与Γ_q分别为方向因子矩阵A_k中以p，q点为中心的方向因子块，d(Ψ_p，Ψ_q)表示边界样本块Ψ_p的已知区域的像素点r的值和已知块Ψ_q中对应位置点r’的像素值的差的均方；

D、计算边界样本块的优先权：

先计算边界样本块Ψ_p与邻域N(p)内的已知块Ψ_q的相似度X_p，q：

$X_{p,q}=\frac{1}{Z\left(p\right)}\exp (-\frac{D}{{\mathrm{\σ}}^2})$

其中σ＝5；Z(p)为使得的归一化常数，N_s(p)为中心点q在p点的邻域N(p)内的各已知块Ψ_q的集合，再构造出边界样本块Ψ_p的结构稀疏度S(p)，

进而计算边界样本块Ψ_p的优先权P(p)，P(p)＝C(p)·S(p)，其中C(p)为边界样本块Ψ_p的块置信度值，为边界样本块Ψ_p中像素点r的置信度值C(r)之和与边界样本块Ψ_p像素点r总个数|Ψ_p|的比值，即：

E、寻找匹配块：对计算出的所有边界样本块Ψ_p的优先权P(p)进行比较，将具有最大优先权值P(p)的边界样本块Ψ_p作为当前待填充块Ψ_m，并选出相对应的方向因子块Г_m，根据当前待填充块Ψ_m的结构稀疏度S(m)自适应确定局部搜索窗口半径W，

$W=\left\{\begin{array}{cc}\mathrm{\γ}\·S\left(m\right),& \mathrm{if\γ}\·S\left(m\right)>30\\ 30,& \mathrm{if\γ}\·S\left(m\right)\≤30\end{array}\right.$

其中γ为权重系数，取值范围为40-80；

计算出搜索窗口内以任意点l为中心点的大小为7*7的已知块Ψ_l与当前待填充块Ψ_m的颜色-方向因子加权距离D，从中找出颜色-方向因子加权距离D最小的前M个已知块{Ψ_l′}_l′＝1:M作为匹配块；

F、像素点值填充：在当前待填充块Ψ_m和M个匹配块{Ψ_l′}_l′＝1:M的颜色空间及方向因子空间以局部连续一致性为约束条件，建立能量优化方程，获得稀疏表示系数 是第l’个匹配块Ψ_l′的稀疏表示系数；并得出当前待填充块Ψ_m的稀疏表示信息Ψ_t，将当前待填充块Ψ_m中的未知区域像素点的值用稀疏表示信息Ψ_t中对应位置点的像素值填充；

G、置信度值更新：用当前待填充块Ψ_m的块置信度值C(m)赋值给当前待填充块Ψ_m中被填充的像素点的置信度值C(r)；

H、新的边界样本块优先权的计算：将F步中被填充的像素点作为已知像素点，重新划分待修复区域Ω的填充边界δΩ，对于填充边界δΩ上的新的已知像素点，按C、D步的方法分别计算出以其为中心点的边界样本块Ψ_p的颜色-方向因子加权距离D和优先权P(p)；

I、重复步骤E-H的操作，直至H步重新划分待修复区域Ω的填充边界δΩ为零，结束操作。

与现有技术相比，本发明的技术效果是：

一、本发明利用超小波变换提取待修复图像的水平、垂直、正对角及反对角4个方向的方向特征，进而利用加权的颜色-方向因子加权距离衡量样本块之间的相似性，构造结构稀疏度函数，可以更好的度量结构块在其邻域内的稀疏性，保证优先填充结构块；同时本发明仅利用待填充块与其邻域内已知块的相似度的非零个数确定结构稀疏度值，避免了邻域内已知块所占比例对其的影响，可以更好的突出结构块在其邻域内的稀疏性，保证优先填充结构块，保持结构部分的连贯性。

二、本发明利用加权的颜色-方向因子距离寻找匹配块，能够寻找到更为合理的匹配块，使得修复后的图像在视觉效果上更接近原始样本块。

三、利用多个匹配块构造了更优的原子库，并通过在颜色空间和方向因子空间均建立局部连续一致性约束，使得稀疏表示信息不仅在颜色空间内保持局部连续一致性，而且要在方向因子空间保持局部连续一致性，更好的描述了图像修复的目的，可以获得更优的稀疏表示系数，使得填充信息与邻域信息的连续一致性更优，提高纹理及结构部分的清晰性。

总之，本发明方法采用颜色-方向因子加权距离衡量样本块之间的相似性，可以更好的度量样本块间的距离，据此构造了结构稀疏度函数与匹配准则，保证结构部分优先填充及寻找到的匹配块与原始样本块更为接近；并且在颜色空间和方向因子空间均要保持局部连续一致性，保持了结构信息与纹理信息的清晰性，使得修复后图像与原始图像更为接近，也更加自然，更符合人眼视觉要求。

上述步骤B中的超小波变换为非下采样轮廓波变换(Nonsubsampledcontourlettransform，NSCT)，其具体做法是：

若预处理图像I’为彩色图像，则先将预处理图像I’转化为灰度图像I_g，若预处理图像I’为灰度图像，则令I_g＝I’，然后采用非下采样轮廓波变换对灰度图像I_g进行多尺度多方向分解，即：

Q_ij＝N⁺(I_g)

其中N⁺表示非下采样轮廓波正变换，Q_ij代表图像I_g的非下采样轮廓波系数矩阵的集合，i表示尺度，j表示方向；将第二尺度层到第四尺度层的非下采样轮廓波系数矩阵Q_ij(i＝2，3，4)按方向划分为4个集合，分别为水平方向集合Z₁、正对角方向集合Z₂、垂直方向集合Z₃和反对角方向集合Z₄，则第k个方向的方向因子矩阵A_k(k＝1，2，3，4)为：

A_k＝N^-(H_k(Q))

N^-代表非下采样轮廓波逆变换，H_k(Q)(k＝1，2，3，4)表示将非下采样轮廓波系数矩阵集合Q_ij中属于Z_k的非下采样轮廓波系数矩阵Q_ij(i＝2，3，4)保留，其他的非下采样轮廓波系数矩阵置为零矩阵的系数矩阵集合，即：

$H_k\left(Q\right)=\left\{\begin{array}{cc}{Q}_{i,j},& \mathrm{if}{Q}_{i,j}\∈Z_k\\ 0,& \mathrm{otherwise}\end{array}\right.$

这样，通过非下采样轮廓波变换(NSCT)提取待修复图像的水平、垂直、正对角与反对角4个方向的方向特征，可以更准确的描述图像的方向特征。因为NSCT不仅具有多尺度、良好的空域和频域局部特性和多方向特性，还具有平移不变性，使得NSCT变换能有效捕获图像不同频带和不同方向上的细节及边缘信息，进一步使得修复后图像更好的保持结构纹理信息的清晰性，在细节及边缘信息与原始图像更为接近。

上述步骤F中在当前待填充块Ψ_m和M个匹配块{Ψ_l′}_l′＝1:M的颜色空间及方向因子空间以局部连续一致性为约束条件，建立能量优化方程的具体做法为：

a、计算待填充块Ψ_m已知像素点的信息矩阵与稀疏表示信息Ψ_t中对应像素点的信息矩阵的距离d₁，

b、利用待填充块Ψ_m邻域内已知块Ψ_q估计待填充块Ψ_m的未知像素点信息矩阵EΨ_m，再计算待填充块Ψ_m未知像素点的信息矩阵EΨ_m与稀疏表示信息Ψ_t中对应像素点的信息矩阵EΨ_t的距离d₂，d₂＝‖β(EΨ_t-EΨ_m)‖²，其中β为邻域一致性约束的权重系数，取值为0.5；

c、计算待填充块Ψ_m已知像素点的方向因子信息矩阵与稀疏表示信息Ψ_t中对应的方向因子信息矩阵的距离d₃，

d、利用计算待填充块Ψ_m邻域内已知块Ψ_q对应的方向因子块Γ_q估计待填充块Ψ_m的未知像素点对应的方向因子信息矩阵FΓ_m，再计算待填充块Ψ_m未知像素点对应的方向因子信息矩阵FΓ_m与稀疏表示信息Ψ_t中对应的方向因子信息矩阵FΓ_t的距离d₄，d₄＝‖β(FΓ_t-FΓ_m)‖²；

则求解稀疏表示系数的能量优化方程为：

$\arg \min \left\{{\left|\right|\&PartialD;\left|\right|}_0\right\}s.t.(d_1+d_2+d_3+d_4)<\mathrm{\&delta;and}{\mathrm{\&Sigma;}}_{i^{\&prime;}}^M{\&PartialD;}_{i^{\&prime;}}=1$

其中argmin为求极小值运算，s.t.表示要满足的条件，δ为容错参数，取值为5。

通过上述方法建立优化方程并求解稀疏表示系数，使得优化方程能够更好的描述图像修复的目标，接近人眼视觉要求，使得修复后图像在方向信息上与原始图像更为接近，保持结构信息与纹理信息的清晰性；且稀疏表示信息更好的保持了与邻域信息的连续一致性，使得修复后图像更加自然。

下面结合附图和具体实施方式对本发明作进一步的说明。

附图说明

图1为本发明实施例使用的NSCT系数矩阵示意图。

图2为本发明实施例使用的NSCT系数矩阵的方向分割示意图。

图3为计算位于不同区域的样本块的结构稀疏度值的示例图。其中：(a)分图为示例图像，(b)(c)(d)分图分别为(a)分图中样本块Ψ_a、Ψ_b和Ψ_c的对应邻域N(a)，N(b)和N(c)。

图4为采用文献2算法及本发明方法对划痕和块缺失进行修复的效果示意图。其中，分图(a1)-(a4)为原始图像，分图(b1)-(b4)分别为分图(a1)-(a4)发生缺损后的待修复图像，其中黑色部分表示待修复区域。分图(c1)-(c4)为利用文献2算法对分图(b1)-(b4)修复后的结果图，分图(d1)-(d4)为利用本发明方法对分图(b1)-(b4)修复后的结果图，其中边角处大矩形框内的图像为图中小矩形框内图像的放大图。

图5为采用文献2算法及本发明方法对目标移除后信息缺失区域进行修复的效果示意图。其中，分图(a1)-(a2)为原始图像，分图(b1)-(b2)分别为分图(a1)-(a2)发生缺损后的待修复图像，其中黑色部分表示待修复区域；分图(c1)-(c2)为利用文献2算法对分图(b1)-(b2)修复后的结果图，分图(d1)-(d2)为利用本发明方法对分图(b1)-(b2)修复后的结果图。

具体实施方式

本发明的一种具体实施方式为，一种结合方向因子的样本块稀疏性图像修复方法，包括以下步骤：

A、预处理：将含待修复区域Ω的待修复图像I，利用基于颜色信息的结构稀疏度的自适应样本块图像修复算法进行修复，得到预处理图像I’。基于颜色信息的结构稀疏度的自适应样本块图像修复算法为现有技术，如文献4的方法。同时，划分待修复图像I中待修复区域Ω的填充边界δΩ，将待修复图像I的待修复区域Ω内各像素点r的置信度值C(r)初始化为0，已知区域内各像素点r的置信度值C(r)初始化为1；

B、估计方向因子：对预处理图像I’利用超小波变换估计出其水平、垂直、正对角和反对角四个方向的方向因子矩阵A_k(k＝1，2，3，4)。

超小波变换为非下采样轮廓波变换(Nonsubsampledcontourlettransform，NSCT)，其具体做法是：

若预处理图像I’为彩色图像，则先将预处理图像I’转化为灰度图像I_g，若预处理图像I’为灰度图像，则令I_g＝I’，然后采用非下采样轮廓波变换对灰度图像I_g进行多尺度多方向分解，即：

Q_ij＝N⁺(I_g)

其中N⁺表示非下采样轮廓波正变换，Q_ij代表图像I_g的非下采样轮廓波系数矩阵的集合，i表示尺度，j表示方向。

将第二尺度层到第四尺度层的非下采样轮廓波系数矩阵Q_ij(i＝2，3，4)按方向划分为4个集合，分别为水平方向集合Z₁、正对角方向集合Z₂、垂直方向集合Z₃和反对角方向集合Z₄，如图2所示。

则第k个方向的方向因子矩阵A_k(k＝1，2，3，4)为：

A_k＝N^-(H_k(Q))

其中N^-代表非下采样轮廓波逆变换，H_k(Q)(k＝1，2，3，4)表示将非下采样轮廓波系数矩阵集合Q_ij中属于Z_k的非下采样轮廓波系数矩阵Q_ij(i＝2，3，4)保留，其他的非下采样轮廓波系数矩阵置为零矩阵的系数矩阵集合，即：

$H_k\left(Q\right)=\left\{\begin{array}{cc}{Q}_{i,j},& \mathrm{if}{Q}_{i,j}\&Element;Z_k\\ 0,& \mathrm{otherwise}\end{array}\right.$

由于第k个方向的方向因子矩阵A_k与待修复图像I大小相同，每个像素点A_k(x，y)代表待修复图像I相应像素点(x，y)第k个方向的方向因子。A_k(x，y)值越大，说明像素I(x，y)在第k(k＝1，2，3，4)个方向上的特征信息越丰富。

图1为多尺度NSCT系数矩阵示意图，通过图1可以更直观的看出非下采样轮廓波变换多尺度多方向的划分方式。图1中间的正方形代表第1尺度层系数，由内到外的正方形依次代表第2、3和4尺度层系数。NSCT的尺度层个数及每一尺度层上的方向个数是可以自由设定的，本例选择包含4个尺度层的NSCT变换，第2、3和4尺度层的方向个数分别为8、8和16。不同尺度包含的NSCT系数矩阵的数量不同，第1尺度层包含一个NSCT系数矩阵Q₁₁。除此之外，每一层又分为很多小块，每一小块代表一个方向矩阵，第2-4尺度层分别含有8、8和16个方向矩阵。为表示方便，规定从135°方向开始，按照顺时针方向对每个尺度层的系数矩阵编号，图1给出了第2层8个系数矩阵Q_ij的编号Q₂₁、Q₂₂、…、Q₂₈。

C、颜色-方向因子加权距离的计算：以待修复区域Ω的填充边界δΩ上任意点p为中心点的边界样本块Ψ_p与该点p的邻域N(p)内的任意点q为中心的各已知块Ψ_q的颜色-方向因子加权距离D，D＝(η·d(Ψ_p，Ψ_q)+μ·d(Γ_p，Γ_q))；其中η和μ分别为颜色信息和方向因子信息的加权系数，0＜η，μ＜1，η+μ＝1；边界样本块Ψ_p与邻域块Ψ_q的大小相等，大小为7*7；邻域N(p)的大小为21*21～101*101；Г_p与Γ_q分别为方向因子矩阵A_k中以p，q点为中心的方向因子块，d(Ψ_p，Ψ_q)表示边界样本块Ψ_p的已知区域的像素点r的值和已知块Ψ_q中对应位置点r’的像素值的差的均方；

D、计算边界样本块的优先权：

先计算边界样本块Ψ_p与邻域N(p)内的已知块Ψ_q的相似度X_p，q：

$X_{p,q}=\frac{1}{Z\left(p\right)}\exp (-\frac{D}{{\mathrm{\&sigma;}}^2})$

其中σ＝5；Z(p)为使得的归一化常数，N_s(p)为中心点q在p点的邻域N(p)内的各已知块Ψ_q的集合，再构造出边界样本块Ψ_p的结构稀疏度S(p)，

通常边界样本块Ψ_p的结构稀疏度值与该块在其邻域内相似度的稀疏性高低成正比，当样本块的非零相似度的分布最稀疏和最不稀疏时，结构稀疏度值分别达到最大和最小值。下面给出位于不同区域的图像块的结构稀疏度的实际结果，以图3中分图(a)作为待修复图像为例，在其中结构区域的a点，纹理区域的b点，平滑区域的c点可分别得到边界样本块Ψ_a、Ψ_b和Ψ_c，其邻域分别为N(a)，N(b)和N(c)，分别如分图(b)-(d)所示，邻域N(a)，N(b)和N(c)的大小为25*25。计算得到Ψ_a、Ψ_b和Ψ_c的结构稀疏度S(a)，S(b)，S(c)分别为0.9986，0.3209和0.0403，可见，位于结构区域的边界样本块Ψ_a的结构稀疏度最高。

进而计算边界样本块Ψ_p的优先权P(p)，P(p)＝C(p)·S(p)，其中C(p)为边界样本块Ψ_p的块置信度值，为边界样本块Ψ_p中像素点r的置信度值C(r)之和与边界样本块Ψ_p像素点r总个数|Ψ_p|的比值，即：

E、寻找匹配块：对计算出的所有边界样本块Ψ_p的优先权P(p)进行比较，将具有最大优先权值P(p)的边界样本块Ψ_p作为当前待填充块Ψ_m，并选出相对应的方向因子块Г_m，根据当前待填充块Ψ_m的结构稀疏度S(m)自适应确定局部搜索窗口半径W，

$W=\left\{\begin{array}{cc}\mathrm{\&gamma;}\&CenterDot;S\left(m\right),& \mathrm{if\&gamma;}\&CenterDot;S\left(m\right)>30\\ 30,& \mathrm{if\&gamma;}\&CenterDot;S\left(m\right)\&le;30\end{array}\right.$

其中γ为权重系数，取值范围为40-80；

计算出搜索窗口内任意点l为中心点的大小为7*7的已知块Ψ_l与当前待填充块Ψ_m的颜色-方向因子加权距离D，从中找出颜色-方向因子加权距离D最小的前M个已知块{Ψ_l′}_l′＝1:M作为匹配块；

F、像素点值填充：在当前待填充块Ψ_m和M个匹配块{Ψ_l′}_l′＝1:M的颜色空间及方向因子空间以局部连续一致性为约束条件，建立能量优化方程，获得稀疏表示系数 是第l′个匹配块Ψ_l′的稀疏表示系数；并得出当前待填充块Ψ_m的稀疏表示信息Ψ_t，将当前待填充块Ψ_m中的未知区域像素点的值用稀疏表示信息Ψ_t中对应位置点的像素值填充。

其中在当前待填充块Ψ_m和M个匹配块{Ψ_l′}_l′＝1:M的颜色空间及方向因子空间以局部连续一致性为约束条件，建立能量优化方程的具体做法为：

a、计算待填充块Ψ_m已知像素点的信息矩阵与稀疏表示信息Ψ_t中对应像素点的信息矩阵的距离d₁，

b、利用待填充块Ψ_m邻域内已知块Ψ_q估计待填充块Ψ_m的未知像素点信息矩阵EΨ_m，再计算待填充块Ψ_m未知像素点的信息矩阵EΨ_m与稀疏表示信息Ψ_t中对应像素点的信息矩阵EΨ_t的距离d₂，d₂＝‖β(EΨ_t-EΨ_m)‖²，其中β为邻域一致性约束的权重系数，取值为0.5；

c、计算待填充块Ψ_m已知像素点的方向因子信息矩阵与稀疏表示信息Ψ_t中对应的方向因子信息矩阵的距离d₃，

d、利用计算待填充块Ψ_m邻域内已知块Ψ_q对应的方向因子块Γ_q估计待填充块Ψ_m的未知像素点对应的方向因子信息矩阵FΓ_m，再计算待填充块Ψ_m未知像素点对应的方向因子信息矩阵FΓ_m与稀疏表示信息Ψ_t中对应的方向因子信息矩阵FΓ_t的距离d₄，d₄＝‖β(FΓ_t-FΓ_m)‖²；

则求解稀疏表示系数的能量优化方程为：

$\arg \min \left\{{\left|\right|\&PartialD;\left|\right|}_0\right\}s.t.(d_1+d_2+d_3+d_4)<\mathrm{\&delta;and}{\mathrm{\&Sigma;}}_{i^{\&prime;}}^M{\&PartialD;}_{i^{\&prime;}}=1$

其中argmin为求极小值运算，s.t.表示要满足的条件，δ为容错参数，取值为5。

本发明利用贪婪方法解约束方程，基本思想是以系数非零图像块集合为空集开始，每次从已知图像块集合中选择一个新的非零元素，进而重新构造满足组合系数求和约束且使得局部图像块一致性误差(如(d₁+d₂+d₃+d₄)≤δ)最小的线性组合方式，直到误差(d₁+d₂+d₃+d₄)达到约束要求。获得稀疏表示系数进而获得颜色信息的稀疏表示并进行填充，即EΨ_m＝EΨ_t。

G、置信度值更新：用当前待填充块Ψ_m的块置信度值C(m)赋值给当前待填充块Ψ_m中被填充的像素点的置信度值C(r)；

H、新的边界样本块优先权的计算：将F步中被填充的像素点作为已知像素点，重新划分待修复区域Ω的填充边界δΩ，对于填充边界δΩ上的新的已知像素点，按C、D步的方法分别计算出以其为中心点的边界样本块Ψ_p的颜色-方向因子加权距离D和优先权P(p)；

I、重复步骤E-H的操作，直至H步重新划分待修复区域Ω的填充边界δΩ为零，结束操作。

此外，因为相似度X_p，q的取值范围为0～1，故结构稀疏度S(p)，的取值范围也为0～1。在计算优先权P(p)时，若结构稀疏度值S(p)过小，如S(p)＜0.05，可能会导致填充顺序不够稳定，因此，可对结构稀疏度S(p)进行下面的变换，以调整其取值范围，即：S′(p)＝α·S(p)+(1-α)，再令S(p)＝S′(p)，其中0.7＜α＜1。

仿真实验：

下面是图像修复的仿真实验。通过仿真实验可验证本发明方法较其他修复方法可得到更优的修复效果。在下面的仿真实验中，将本发明所提供的方法所得到的修复结果与其他修复方法所得到的的修复结果进行比较，仿真实验时，设置边界样本块Ψ_p和已知样本块Ψ_q大小为7*7，邻域N(p)的大小为25*25。

针对随机块及划痕丢失的修复对比结果如图4所示，其中，分图(a1)-(a4)为原始图像，分图(b1)-(b4)分别为分图(a1)-(a4)发生缺损后的待修复图像，其中黑色部分表示待修复区域。分图(c1)-(c4)为利用文献2算法对分图(b1)-(b4)修复后的结果图，分图(d1)-(d4)为利用本发明方法对分图(b1)-(b4)修复后的结果图，其中边角处大矩形框内的图像为图中小矩形框内图像的放大图。

比较图4的各分图(尤其其中局部放大图)可以看出：本发明方法较文献2算法可以获得更优的修复效果，能够更好的保持结构部分的连贯性，纹理信息的一致性以及与邻域信息的连续性。

计算表明文献2修复得到的分图(c1)-(c4)的峰值信噪比分别为：32.95dB，38.34dB，40.46dB，35.39dB，本发明修复得到的分图(d1)-(d4)的峰值信噪比分别为：38.25dB，40.51dB，43.48dB，38.76dB。本发明方法要比文献2的算法提高峰值信噪比2dB以上。

可见，本发明方法在主观视觉效果及客观效果上均要优于文献2算法。

针对目标移除的修复对比结果如图5所示。其中，分图(a1)-(a2)为原始图像，分图(b1)-(b2)分别为分图(a1)-(a2)目标移除后的待修复图像，其中黑色部分表示待修复区域；分图(c1)-(c2)为利用文献2算法对分图(b1)-(b2)修复后的结果图，分图(d1)-(d2)为利用本发明方法对分图(b1)-(b2)修复后的结果图。

比较图5的修复结果分图图(尤其是矩形框内区域)可以看出，本发明方法较文献2算法可以获得更好的修复效果，保持结构部分的连通性及纹理信息的清晰性，满足人眼视觉要求。

以上仿真实验结果表明，本发明方法在保持结构部分的连通性及纹理信息的清晰性，满足人眼视觉要求上明显优于现有方法，在图像修复的应用领域中具有可行性和适用性。

Claims (3)

1.一种结合方向因子的样本块稀疏性图像修复方法，包括以下步骤：

A、预处理：将含待修复区域Ω的待修复图像I，利用基于颜色信息的结构稀疏度的自适应样本块图像修复算法进行修复，得到预处理图像I’；同时，划分待修复图像I中待修复区域Ω的填充边界δΩ，将待修复图像I中的待修复区域Ω内各像素点r的置信度值C(r)初始化为0，已知区域内各像素点r的置信度值C(r)初始化为1；

B、估计方向因子：对预处理图像I’利用超小波变换估计出其水平、垂直、正对角和反对角四个方向的方向因子矩阵A_k(k＝1,2,3,4)；

C、颜色-方向因子加权距离的计算：以待修复区域Ω的填充边界δΩ上任意点p为中心点的边界样本块Ψ_p与该点p的邻域N(p)内的任意点q为中心的各已知块Ψ_q的颜色-方向因子加权距离D，D＝(η·d(Ψ_p,Ψ_q)+μ·d(Γ_p,Γ_q))；其中η和μ分别为颜色信息和方向因子信息的加权系数，0<η，μ<1，η+μ＝1；边界样本块Ψ_p与邻域块Ψ_q的大小相等，大小均为7*7；邻域N(p)的大小为21*21～101*101；Γ_p与Γ_q分别为方向因子矩阵A_k中以p，q点为中心的方向因子块，d(Ψ_p,Ψ_q)表示边界样本块Ψ_p中已知区域的像素点r的值和已知块Ψ_q中对应位置点r’的像素值的差的均方；

D、计算边界样本块的优先权：

先计算边界样本块Ψ_p与邻域N(p)内的已知块Ψ_q的相似度X_p,q：

$X_{p,q}=\frac{1}{Z\left(p\right)}\exp (-\frac{D}{{\mathrm{\&sigma;}}^2})$

其中σ＝5；Z(p)为使得的归一化常数，N_s(p)为中心点q在p点的邻域N(p)内的各已知块Ψ_q的集合，N_s(p)＝{q|q∈N(p)且

再构造出边界样本块Ψ_p的结构稀疏度S(p)，

进而计算边界样本块Ψ_p的优先权P(p)，P(p)＝C(p)·S(p)，其中C(p)为边界样本块Ψ_p的块置信度值，为边界样本块Ψ_p中像素点r的置信度值C(r)之和与边界样本块Ψ_p像素点r总个数|Ψ_p|的比值，即：

E、寻找匹配块：对计算出的所有边界样本块Ψ_p的优先权P(p)进行比较，将具有最大优先权值P(p)的边界样本块Ψ_p作为当前待填充块Ψ_m，并选出相对应的方向因子块Γ_m，根据当前待填充块Ψ_m的结构稀疏度S(m)自适应确定局部搜索窗口半径W:

$W=\left\{\begin{array}{ccc}\mathrm{\&gamma;}\&CenterDot;S\left(m\right),& if& \mathrm{\&gamma;}\&CenterDot;S\left(m\right)>30\\ 30,& if& \mathrm{\&gamma;}\&CenterDot;S\left(m\right)\&le;30\end{array}\right.$

其中γ为权重系数，取值范围为40-80；

计算出搜索窗口内以任意点l为中心点的大小为7*7的已知块Ψ_l与当前待填充块Ψ_m的颜色-方向因子加权距离D，从中找出颜色-方向因子加权距离D最小的前M个已知块{Ψ_l'}_l'＝1:M作为匹配块；

F、像素点值填充：在当前待填充块Ψ_m和M个匹配块{Ψ_l'}_l'＝1:M的颜色空间及方向因子空间以局部连续一致性为约束条件，建立能量优化方程，获得稀疏表示系数 是第l'个匹配块Ψ_l'的稀疏表示系数；并得出当前待填充块Ψ_m的稀疏表示信息Ψ_t，将当前待填充块Ψ_m中的未知区域像素点的值用稀疏表示信息Ψ_t中对应位置点的像素值填充；

G、置信度值更新：用当前待填充块Ψ_m的块置信度值C(m)赋值给当前待填充块Ψ_m中被填充的像素点的置信度值C(r)；

H、新的边界样本块优先权的计算：将F步中被填充的像素点作为已知像素点，重新划分待修复区域Ω的填充边界δΩ，对于填充边界δΩ上的新的像素点，按C、D步的方法分别计算出以其为中心点的边界样本块Ψ_p的颜色-方向因子加权距离D和优先权P(p)；

I、重复步骤E-H的操作，直至H步重新划分待修复区域Ω的填充边界δΩ为零，结束操作。

2.根据权利要求1所述的结合方向因子的样本块稀疏性图像修复方法，其特征在于，所述步骤B中的超小波变换为非下采样轮廓波变换(Nonsubsampledcontourlettransform，NSCT)，其具体做法是：

若预处理图像I’为彩色图像，则先将预处理图像I’转化为灰度图像I_g，若预处理图像I’为灰度图像，则令I_g＝I’，然后采用非下采样轮廓波变换对灰度图像I_g进行多尺度多方向分解，即：

Q_ij＝N⁺(I_g)

其中N⁺表示非下采样轮廓波正变换，Q_ij代表图像I_g的非下采样轮廓波系数矩阵的集合，i表示尺度，j表示方向；将第二尺度层到第四尺度层的非下采样轮廓波系数矩阵Q_ij(i＝2,3,4)按方向划分为4个集合，分别为水平方向集合Z₁、正对角方向集合Z₂、垂直方向集合Z₃和反对角方向集合Z₄，则第k个方向的方向因子矩阵A_k(k＝1,2,3,4)为：

A_k＝N^-(H_k(Q))

其中N^-代表非下采样轮廓波逆变换，H_k(Q)(k＝1,2,3,4)表示将非下采样轮廓波系数矩阵集合Q_ij中属于Z_k的非下采样轮廓波系数矩阵Q_ij(i＝2,3,4)保留，其他的非下采样轮廓波系数矩阵置为零矩阵的系数矩阵集合，即：

$H_k\left(Q\right)=\left\{\begin{array}{c}{Q}_{ij},if{Q}_{ij}\&Element;Z_k\\ 0,otherwise\end{array}\right..$

3.根据权利要求1所述的结合方向因子的样本块稀疏性图像修复方法，其特征在于，所述的步骤F中在当前待填充块Ψ_m和M个匹配块{Ψ_l'}_l'＝1:M的颜色空间及方向因子空间以局部连续一致性为约束条件，建立能量优化方程的具体做法为：

a、计算待填充块Ψ_m已知像素点的信息矩阵与稀疏表示信息Ψ_t中对应像素点的信息矩阵的距离d₁， $d_1=\left|\right|\stackrel{\&OverBar;}{E}{\mathrm{\&Psi;}}_t-\stackrel{\&OverBar;}{E}{\mathrm{\&Psi;}}_m|{|}^2;$

b、利用待填充块Ψ_m邻域内已知块Ψ_q估计待填充块Ψ_m的未知像素点信息矩阵EΨ_m，再计算待填充块Ψ_m未知像素点的信息矩阵EΨ_m与稀疏表示信息Ψ_t中对应像素点的信息矩阵EΨ_t的距离d₂，d₂＝||β(EΨ_t-EΨ_m)||²，其中β为邻域一致性约束的权重系数，取值为0.5；

c、计算待填充块Ψ_m已知像素点的方向因子信息矩阵与稀疏表示信息Ψ_t中对应的方向因子信息矩阵的距离d₃，

d、利用计算待填充块Ψ_m邻域内已知块Ψ_q对应的方向因子块Γ_q估计待填充块Ψ_m的未知像素点对应的方向因子信息矩阵FΓ_m，再计算待填充块Ψ_m未知像素点对应的方向因子信息矩阵FΓ_m与稀疏表示信息Ψ_t中对应的方向因子信息矩阵FΓ_t的距离d₄，d₄＝||β(FΓ_t-FΓ_m)||²；

则求解稀疏表示系数的能量优化方程为：

$\begin{array}{cccc}\mathrm{argmin}\left\{\right||\&part;|{|}_0\}& s.t.(d_1+d_2+d_3+d_4)<\mathrm{\&delta;}& and& {\mathrm{\&Sigma;}}_{l^{\&prime;}}^M{\&part;}_{l^{\&prime;}}=1\end{array}$

其中argmin为求极小值运算，s.t.表示要满足的条件，δ为容错参数，取值为5。