CN104680487A - 基于低秩矩阵恢复的非局部图像修复方法 - Google Patents

Abstract

本发明公开了一种基于低秩矩阵恢复的非局部图像修复方法，包括：分别针对低秩纹理和自然图像分别进行预补全；将预补全图像划分为若干个图像块，基于块匹配和分组法计算各个图像块的匹配块矩阵；利用低秩矩阵补全对匹配块矩阵进行对各个图像块进行修复；整合所有图像块的修复结果根据整合结果对待修复图像进行修复。本发明综合使用基于样例和基于数值计算两种图像补全方法。在应用场景的范围上比现存的图像补全方法要广，特别是能够近乎完美的从随机采样中重构出图像，且首先进行预补全，然后再分组进行块补全，大大提高了修复精度，该方法可以方便的应用在多种实际应用中如渲染加速，图像修复和目标移除。

Description

基于低秩矩阵恢复的非局部图像修复方法

技术领域

本发明涉及计算机图像领域，尤其涉及一种基于低秩矩阵恢复的非局部图像修复方法。

背景技术

图像修复算法一直是图像领域里的难点和热点问题之一。目前效果比较好的方法分成两大类：基于数值计算的方法和基于样例的方法。

基于数值计算的方法包括PDE方法和TV方法，基于PDE的方法尝试模仿专家在图像修复过程中的行为：通过在等照线方向的拉普拉斯(Laplacians)传播填充图像中的缺失部分。总变差(TV)，首先作为一个有效的去噪工具被提出，这个方法很快被扩展到处理更多的应用包括图像修复，去模糊和超分辨率。这两种方法具有相似的工作方式，都是平滑梯度域的良好解决方案，但也面临同样的问题：对需补全处纹理补全效果比较差。低秩矩阵补全是最近引入到图像修复领域的一种方法，在满足一些不连贯假设条件的情况下，不完全但是低秩的矩阵能够从相当小的采样条目子集中比较完美地恢复出来。但目前为止，低秩矩阵补全方案往往只能应用在低秩数据中。

基于样例的方法通过简单复制观察到的部分图像内容来补全未知区域。这个方法最初被提出来是为了进行纹理合成，纹理合成可以通过对纹理样例的采样和复制来获得，后来扩展到图像补全问题中，主要思路是复制和需要填充区域相似的纹理进行补全。但是用这中技术去补全包含复杂结构的较大的洞仍然会导致不连贯，Wexler阐述这种补全问题为一个全局优化问题。通过对洞元素最近邻居块的迭代搜索，这个方法能够获得大洞范围内的更加视觉合理的填充块。尽管当前最好的基于样例的方法能够产生具有较好视觉效果的内容感知结果，他们并不能适应很多场景。比如在一些应用场景中，图像中可能存在一些脉冲噪声，这些脉冲噪声往往是随机的，但基于样例的方法对这样的应用场景并不能很好的处理。

发明内容

针对现有的修复方法应用范围较狭窄等不足，如基于数值计算的方法如PDE和TV往往不能很好解决问题纹理补全问题，低秩矩阵恢复方式仅对低秩数据有效，而基于样例的方法又无法对包含较多随机脉冲噪声的图片进行修复，本发明一种基于低秩矩阵恢复的非局部图像修复方法，该非局部图像修复方法结合基于样例的方法以及基于数值计算的方法，综合了两种方法的优点，能够在保证运算速度与精确性的条件下，在各种应用场景(包括随机丢失像素的场景)下对图像进行修复。

一种基于低秩矩阵恢复的非局部图像修复方法，其包括：

(1)对待修复图像进行预补全得到预补全图像，具体实现时分别对待修复图像中的低秩纹理图像和自然图像分别进行预补全，然后将二者的预补全结果合并得到预补全图像。

通过预补全操作，可以大大提高修复精度。本发明中基于低秩矩阵恢复法对待修复图像中的低秩纹理图像进行预补全，预补全时采用的求解方法是ADMM(交替方向乘子法)；采用图像的总变差方法对自然图像进行预补全，预补全时采用的求解方法是梯度下降。

(2)设定图像块，将所述的图像块在预补全图像中按照预设的步长移动，直至遍历所述的预补全图像，将所述的预补全图像划分为若干个图像块；

图像块的大小根据实际待修复图像的大小决定，通过中设定图像块的大小为S×S，所述S的取值为6～10。作为优选，所述S的取值为8.

进一步，为提高修复精度，所述步骤(2)预设的步长为1。

本发明中针对任意一个参考块，得到的参考块的个数相同，具体可根据应用需求调节，通过选择10～30个匹配块，作为优选，可选择20个匹配块。

(3)针对任意一个图像块，进行如下操作：

(3-1)以该图像块为参考块，根据所有图像块与所述参考块的L2距离，从所有图像块中选择若干个作为所述参考块的匹配块，并根据所述的匹配块形成该参考块的匹配块矩阵；

由于经过预补全得到的预补全图像中不同像素的像素值的来源不同，对于待修复图像中的观察像素而言，其直接来自于待修复图像，对于其他像素，通过预补全获取，为对两种来源进行区别，本发明中所述的L2距离为带权重L2距离，图像块P_A与图像块P_B之间的带权重L2距离根据如下公式计算：

Dist(P_A,P_B)＝||(P_A-P_B)⊙w(P_A)⊙w(P_B)||_2,，

其中，运算符⊙表示是两个相同大小的矩阵的元素对应相乘，

W(P_A)和W(P_B)分别表示图像块P_A和图像块P_B的权重矩阵，所述权重矩阵中的每个元素分别表示相应图像块中相应像素的权重，若该像素为待修复图像的观察像素，则其权重为W1，否则，其权重为W2，且w1>w2。

由于待修复图像中的观察像素的像素值是已知的，而其余像素是未知的，通过预补全进行初始赋值，因此，置信度相对于观察像素而言较低，进而设置较低的权重。作为优选，所述W1＝1，W2＝0.5～0.8，进一步优选，W2＝0.5。

所述步骤(3-1)将每个匹配块采用一个列向量进行表示，并将所有匹配块对应的列向量合并得到该参考块的匹配块矩阵。

采用列向量表示每个匹配块时，首先将该匹配块映射为矩阵，然后将该匹配块映射得到的矩阵中按列依次合并为一列，即其余各列依次接到第一列之后。

(3-2)基于低秩矩阵恢复法对所述的匹配块矩阵进行修复，并根据修复后的匹配块矩阵得到该参考块的修复图像块；

根据匹配块矩阵的形成原理，本发明中根据修复后的匹配块矩阵得到该参考块的修复图像块的方法如下：

将恢复后的匹配块矩阵中与参考块的L2距离最近的匹配块对应的列向量恢复为块矩阵(即进行反映射)作为该参考块的修复图像块。

(4)针对待补全图像中的每一个像素，以所有修复图像块中该像素的像素值的均值作为该像素的最终像素值，并利用所述的最终像素值对待修复图像进行修复。

与现有技术相比，本发明的有益效果为：

(a)本发明综合使用基于样例和基于数值计算两种图像补全方法，弥补了基于样例的方法无法很好修复含有随机噪声的图像修复问题，而基于数值的方法无法很好修复包含丰富纹理的图像修复问题，在应用场景的范围上比现存的图像补全方法要广，特别是能够近乎完美的从随机采样中恢复出图像；

(b)本发明方法首先进行第一级预补全，然后再按图像块进行第二修复，采用两级补全，在预补全阶段对待修复图像中的各个未知像素(即待修复图像中除观察像素以为的像素)赋予像素值，第二级修复综合全图像信息和预修复效果进行修复，进而提高了第二阶段中确定的匹配块矩阵的精确度，进一步确保了第二级修复的精度，得到的修复结果更接近原始图像；

(c)本发明方法可以方便的应用在多种实际应用中如渲染加速，图像修复和目标移除。

附图说明

图1为本实施例的待修复图像；

图2(a)为本实施例的待修复图像的原始图像；

图2(b)图2(a)中A的细节放大图；

图3(a)为采用本实施例的修复方法修复得到的最终修复图像；

图3(b)图3(a)中A的细节放大图；

图4(a)为采用PDE方法修复得到的最终修复图像；

图4(b)图4(a)中A的细节放大图；

图5(a)为采用TV方法修复得到的最终修复图像；

图5(b)图5(a)中A的细节放大图。

具体实施方式

下面将结合附图和具体实施例对本发明进行详细说明。

本实施例的基于低秩矩阵恢复的非局部图像修复方法，包括如下步骤：

(1)分别针对待修复图像中的低秩纹理图像M1和自然图像M2(即nature image，除低秩纹理图像以外部分)进行预补全，并将低秩纹理图像M1和自然图像M2的预补全结果合并得到预补全图像X：

如图1和图2所示，分别为本实施例待修复图像M(即原始图像的非完整版本)，以及该待修复图像的原始图像为I，其中图2(a)为原始图像为I，图2(b)为图2(a)中A的细节放大图。

I∈R^m*n，M∈R^m*n，I∈R^m*n表示大小为m×n的实数矩阵(m×n为待修复图像的大小，其中m＝512，n＝512)。

针对待修复图像中的各个像素的像素值如下表示：

$M_{\mathrm{ij}}=\left\{\begin{array}{cc}0,& \mathrm{if}(i,j)\∉\mathrm{\Ω}\\ I_{i,j},& \mathrm{if}(i,j)\∈\mathrm{\Ω}\end{array}\right.$

其中1≤i≤m,1≤j≤n,

Ω是待修复图像中已知像素的集合(即观察像素的集合)，

M_ij为待修复图像中像素(i，j)的像素值，

I_i,j为原始图像中像素(i，j)的像素值。

为了获得更好的补全效果，本实施例中针对低秩纹理和自然图像，我们采用不同的方法。

①针对低秩纹理图像M1

对于一个非完整的低秩纹理图像M1，寻找一个在待修复图像中观察像素的像素值的约束下的具有最低秩的解X1，并以X1作为低秩纹理图像M1的预补全结果：

$\begin{array}{cc}\underset{X}{\min }& rank\left(X1\right)\\ s.t.& {M1}_{\mathrm{ij}}={M1}_{i,j}.(i,j)\∈\mathrm{\Ω}\end{array}---\left(1\right)$

其中，M1_ij为低秩纹理图像M1中像素(i，j)的像素值，X1_ij为低秩纹理图像M1的预补全结果中像素(i，j)的像素值，rank(X1)表示求取矩阵X1的秩。

通过如下方法求解最低秩的解X：

由于最小化秩不是一个凸问题，常见的是使用核范数来近似矩阵X的秩。这样等式(1)转换为：

$\begin{array}{c}\underset{X}{\min }{\left|\right|X1|}_{*}\\ \begin{array}{cc}s.t.& {X1}_{\mathrm{ij}}={M1}_{\mathrm{ij}},(i,j)\∈\mathrm{\Ω}\end{array}\end{array}---\left(2\right)$

其中||.||_*是核范数，其定义是奇异值的和。为了高效并便于实现交替方向乘子法(ADMM)，更进一步将式(2)转换为如下适合ADMM的形式：

$\begin{array}{c}\underset{X1}{\min }{\left|\right|X1\left|\right|}_{*}\\ \begin{array}{cc}s.t.& X1-Y=0,\\ & X1\∈R^{m\×n}\\ & Y\∈U=\{U\∈R^{m\×n}|U_{\mathrm{\Ω}}=M_{\mathrm{\Ω}}\}.\end{array}\end{array}---\left(3\right)$

对于式(3)可以整理为如下的拉格朗日增广形式：

$L_A(X1,Y,Z,\mathrm{\&beta;})={\left|\right|X1\left|\right|}_{*}-<Z,X1-Y>+\frac{\mathrm{\&beta;}}{2}{\left|\right|X1-Y\left|\right|}^2$

其中，Z是线性约束的拉格朗日乘子，β是违反线性约束的惩罚参数，||X1||_*为X1的核范数，而<*>表示对*求标准迹内积。

ADMM的核心思想是用两个具有封闭解的更加简单和更小的子问题来解决最小化任务，而涉及的变量X1和Y可以分别在交替顺序中最小化。特别的，ADMM的迭代组合如下：

$\left\{\begin{array}{c}{Y}^{k+1}\&Element;\arg \underset{Y\&Element;U}{\min }{L}_A({X1}^k,Y,Z^k,\mathrm{\&beta;}),\\ {X1}^{k+1}\&Element;\arg \underset{X\&Element;R^{m\&times;n}}{\min }{L}_A(X1,Y^{k+1},Z^k,\mathrm{\&beta;}),\\ Z^{k+1}=Z^k-\mathrm{\&gamma;\&beta;}({X1}^{k+1}-Y^{k+1}),\end{array}\right.---\left(4\right)$

γ，β为参数，本实施例中γ＝1.6；其中0<sr<1,表示采样率，也即观察像素的个数与待修复图像中全部像素个数的比，

X1^k、Y^k、Z^k分别指X1、Y、Z第K次的迭代结果，

X1^k+1为X1第K+1次迭代的结果，Y^k+1为Y第K+1次迭代的结果，Z^k+1为Z第K+1次迭代的结果。

通过交替不断迭代逐渐得到最优解。其中最主要的是前两个变量X,Y的迭代求解，Z在这两者的结果上可以直接得到。其中Y的迭代结果可以通过下式得到：

$Y^{k+1}=\left\{\begin{array}{cc}{M1}_{\mathrm{ij}}& \mathrm{if}(i,j)\&Element;\mathrm{\&Omega;}\\ B_{\mathrm{ij}}^{k+1}& \mathrm{otherwise}\end{array}\right.---\left(5\right)$

其中 表示B^k+1中第i行第j列的元素

X的迭代结果可以通过下式得到：

$D_{\mathrm{\&tau;}}=\left(A^{k+1}\right)=U^{k+1}{\mathrm{\&Sigma;}}_{\mathrm{\&tau;}}^{k+1}{\left(V^{k+1}\right)}^T---\left(6\right)$

${\mathrm{\&Sigma;}}_{\mathrm{\&tau;}}^{k+1}=\mathrm{diag}\left(\max ({\mathrm{\&sigma;}}_i^{k+1}-\mathrm{\&tau;},0)\right)---\left(7\right)$

X1^k+1＝D_τ(A^k+1)  (8)

其中，A^K+1＝Y^K+1+τZ^K,

D_τ(A^k+1)是类似奇异值分解的操作，所不同的是由(7)式得到。

diag(*)是对矩阵*的对角化操作。

在公式(6)，(7)的基础上，X1的迭代结果便可以由公式(8)得到。

这样综合式(4)～(8)便可以得到式(3)的最优解，即完成对低秩纹理图像M1的预修复。

②针对自然图像M2

本实施例中采用图像的总变差方法(TV)对自然图像M2进行预补全。对于无法满足低秩约束的自然图像而言，低秩矩阵补全并不是一个合适的预补全过程。由于TV方法的快速的计算过程以及良好的补全效果，它便是能够满足预补全目的的一个良好替代方法。图像的总变差(TV)定义为图像中每个像素的梯度之和：

$\begin{array}{c}\mathrm{TV}\left(X2\right)=\underset{i,j}{\mathrm{\&Sigma;}}|\&dtri;X{2}_{i,j}|\\ =\underset{i,j}{\mathrm{\&Sigma;}}\sqrt{{\left(D^{h}X{2}_{i,j}\right)}^2+{\left(D^{v}X{2}_{i,j}\right)}^2}\end{array},$

其中D^hX2_i,j和D^vX2_i,j分别是水平和垂直方向上元素X2_i,j的梯度。补全问题可以定义如下：

$\begin{array}{c}\underset{X}{\min }\mathrm{TV}\left(X2\right)\\ \begin{array}{cc}s.t.& {X2}_{\mathrm{ij}}={M2}_{\mathrm{ij}}.(i,j)\&Element;\mathrm{\&Omega;}\end{array}\end{array}---\left(9\right)$

事实上，使用下面正则化形式而不是等式(9):

$\underset{X}{\min }\mathrm{TV}\left(X2\right)+\frac{\mathrm{\&mu;}}{2}{\left|\right|{X2}_{i,j}-{M2}_{i,j}\left|\right|}_2^2,(i,j)\&Element;\mathrm{\&Omega;}---\left(10\right)$

由于等式(10)是可微的，所以可以通过梯度下降方法来解决。这样针对自然图像预修复也已经完成。

(2)针对预补全后的待修复图像(即预补全图像X)进行块匹配和分组：

块匹配和分组具体过程如下：

首先，定义p_i,j是位于预补全图像X中的大小为s*s的图像块(patch)，其中像素(i,j)位于图像块的左上角，本实施例中s＝8。

对于任意一个图像块，以该图像块作为参考块作为参考块，从图像中所有图像块中寻找以L2距离(即二范数距离)作为衡量标准的最相似的一批图像块，并作为该参考块的匹配块。此处，定义一个图像块作为参考块。对于每一个参考块，寻找其匹配块时，将图像块按从左到右，从上到下的顺序进行移动，移动步长为一个像素，遍历整个预补全图像，对遍历到的每一个图像块计算与参考块的L2距离，寻找与之最近的前k个图像块(本实施例中k＝20)，构成该参考块对应的匹配分组。

在上述匹配过程中，使用L2距离衡量不同块之间的相似性。为了精确地进行匹配过程，将已经给定的像素(即观测像素)和通过预补全的像素区分开来。由于观察到的像素显然比计算得来的像素(即预补全的像素)更可靠，在计算L2距离时，他们应该具有更大的权重。所以L2距离实际上是带权重的L2距离。本实施例中定义观察元素的权重是w1，其他的是w2，其中w1>w2。

P_A,P_B∈R^s×s是预补全图像X的两个图像块(即patch)，那么P_A和P_B之间带权重的L2距离Dist(P_A,P_B)定义为：

Dist(P_A,P_B)＝||(P_A-P_B)⊙w(P_A)⊙w(P_B)||_2,

其中，W(P_A)表示图像块P_A中所有像素的权重的矩阵，W(P_B)表示图像块P_B中所有像素的权重的矩阵，运算符号⊙表示是两个相同大小的矩阵的元素对应相乘。

最后，将匹配分组G_i,j中每个patch的列连接起来构成一个长向量，然后把这些向量堆叠起来，我们构成块矩阵

$G_{i,j}=(P_{i,j}^1,...,P_{i,j}^k),$

G_ij定义为参考块p_i,j对应的匹配分组的匹配块矩阵，第k个与p_i,j最匹配的图像块，并且是一个向量化的patch。

这个过程对每个参考块都会做一次，因此每个参考块都对应了一个匹配块矩阵。

通过上述过程，块匹配与分组便完成了。

(3)利用低秩矩阵补全分别对每一个参考块的匹配块矩阵进行补全：

由于已经将相互匹配的块组合在同一个分组中，那么这个分组构成的块向量中的每个列向量相似程度很大，故而这个块矩阵是低秩的。

针对任意一个块矩阵采用低秩矩阵补全法进行补全，即修复时采用ADMM方法求解，并将与参考块的L2距离最小的列还原为匹配块作为该参考块的修复结果。具体修复过程与步骤(1)中对低秩纹理图像M1的预补全相同。

(4)修复结果整合，即对步骤(3)得到的修复后的块矩阵得到最终修复结果：

在块矩阵中参考块的恢复结果和结果图像中相应位置对应起来针对每个像素，以包含该像素的修复结果中该像素的像素值的平均值作为最终像素值。

将所计算得到的所有像素的像素值整合到一个矩阵中，该矩阵所代表的图像即为待修复图像的最终修复结果。

本实施例的非局部图像修复方法首先对待修复图像进行了预修复操作，该步针对低秩纹理和自然图像两种情况采取不同的方法，分别进行优化；得到预补全结果后通过块匹配算法对块进行匹配和分组，并将分组整合为匹配块矩阵；由于块匹配过程中选取的是比较相似的块，故而整个匹配块矩阵就满足了低秩性，接下来对于块矩阵的修复就转换为低秩矩阵的补全问题，可以同过ADMM方法比较方便的求解；在得到补全的块矩阵之后，针对每一个待修像素，通过使用包含该像素的所有块在该像素处的像素值的均值来进行修复，得到相应的最终修复图像，具体如图3(a)和图3(b)所示，其中图3(a)为最终修复图像，图3(b)为图3(a)中A的细节放大图。

为比较本实施例的修复方法的优势，本实施例中还进一步给出了采用其他修复方法进行修复得到的结果：

图4(a)和图4(b)所示为采用PDE方法修复后得到的结果，其中图4(a)为最终修复图像，图4(b)为图4(a)中A的细节放大图；

图5(a)和图5(b)所示为采用TV方法修复后得到的结果，其中图5(a)为最终修复图像，图5(b)为图5(a)中A的细节放大图；

将图3(b)、图4(b)和图5(b)进行对比，可以明确看出，本方法的修复效果明显优于现存的比较优秀的PDE方法和TV方法，在纹理细节方面尤为突出。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于低秩矩阵恢复的非局部图像修复方法，其特征在于，包括：

(1)对待修复图像进行预补全得到预补全图像；

(2)设定图像块，将所述的图像块在预补全图像中按照预设的步长移动，直至遍历所述的预补全图像，将所述的预补全图像划分为若干个图像块；

(3)针对任意一个图像块，进行如下操作：

(3-1)以该图像块为参考块，根据所有图像块与所述参考块的L2距离，从所有图像块中选择若干个作为所述参考块的匹配块，并根据所述的匹配块形成该参考块的匹配块矩阵；

(3-2)基于低秩矩阵恢复法对所述的匹配块矩阵进行修复，并根据修复后的匹配块矩阵得到该参考块的修复图像块；

(4)针对待补全图像中的每一个像素，以所有修复图像块中该像素的像素值的均值作为该像素的最终像素值，并利用所述的最终像素值对待修复图像进行修复。

2.如权利要求1所述的基于低秩矩阵恢复的非局部图像修复方法，其特征在于，所述步骤(1)中分别对待修复图像中的低秩纹理图像和自然图像分别进行预补全，然后将二者的预补全结果合并得到预补全图像。

3.如权利要求2所述的基于低秩矩阵恢复的非局部图像修复方法，其特征在于，所述步骤(1)中基于低秩矩阵恢复法对待修复图像中的低秩纹理图像进行预补全。

4.如权利要求2所述的基于低秩矩阵恢复的非局部图像修复方法，其特征在于，所述步骤(1)中采用图像的总变差方法对自然图像进行预补全。

5.如权利要求1所述的基于低秩矩阵恢复的非局部图像修复方法，其特征在于，所述步骤(2)中设定图像块的大小为S×S，所述S的取值为6～10。

6.如权利要求1所述的基于低秩矩阵恢复的非局部图像修复方法，其特征在于，所述步骤(2)预设的步长为1。

7.如权利要求1～6中任意一项所述的基于低秩矩阵恢复的非局部图像修复方法，其特征在于，所述的L2距离为带权重L2距离，图像块P_A与图像块P_B之间的带权重L2距离根据如下公式计算：

Dist(P_A,P_B)＝||(P_A-P_B)⊙w(P_A)⊙w(P_B)||_2,，

其中，运算符⊙表示是两个相同大小的矩阵的元素对应相乘，

W(P_A)和W(P_B)分别表示图像块P_A和图像块P_B的权重矩阵，所述权重矩阵中的每个元素分别表示相应图像块中相应像素的权重，若该像素为待修复图像的观察像素，则其权重为W1，否则，其权重为W2，且w1>w2。

8.如权利要求7所述的基于低秩矩阵恢复的非局部图像修复方法，其特征在于，W1＝1，W2＝0.5～0.8。

9.如权利要求8所述的基于低秩矩阵恢复的非局部图像修复方法，其特征在于，所述步骤(3-1)将每个匹配块采用一个列向量进行表示，并将所有匹配块对应的列向量合并得到该参考块的匹配块矩阵。

10.如权利要求9所述的基于低秩矩阵恢复的非局部图像修复方法，其特征在于，所述步骤(3-2)中并根据修复后的匹配块矩阵得到该参考块的修复图像块的方法如下：

将恢复后的匹配块矩阵中与参考块的L2距离最近的匹配块对应的列向量恢复为块矩阵作为该参考块的修复图像块。