CN106097266A - 一种基于svd相似矩阵的图像修复方法 - Google Patents

Abstract

本发明公开了一种基于SVD相似矩阵的图像修复方法，包括：(1)将待修复图像进行SVD分解，通过将相应的奇异值置为零的操作，得到待修复图像的相似矩阵；(2)以待修复区域边界上的每一像素为中心指定待修复图像块，在所述相似矩阵中查找对应的最相似图像块；(3)将所述最相似图像块的像素值赋给所述待修复图像块；(4)更新整个待修复区域，并重复步骤(2)～(3)，直到完成图像修复。本发明提出的基于SVD相似矩阵的图像修复方法，通过对图像进行SVD分解，并通过处理奇异值来得到相似矩阵，能够一定程度移除待修复区域，使得最终修复的图像在视觉上更加连续；对于缺失区域较大的场景，也能够有一定程度的效果提升。

Description

一种基于SVD相似矩阵的图像修复方法

技术领域

本发明涉及计算机图像处理领域，深度学习领域，以及矩阵分解、奇异值等相关数学知识，具体涉及一种基于SVD相似矩阵的图像修复方法。

背景技术

图像修复就是重建一幅图像中的缺失区域的过程，通常会使用缺失区域周围的像素信息。修复的目的，就是构建一幅完整的人眼“可观察”的正常图像。

图像修复最早是由Bertalmio等人提出的，常见的一些修复方法都是基于PDE的，也就是通过解偏微分方程的的方程完成修复。Dallester等人基于变分提出了一种新的偏微分方程；Levin等人提出了一种基于梯度域的图像修复方法；Alilou等人提出了一种使用GRNN神经网络的方法，但是对于纹理丰富，缺损区域较大的图像，这些方法都有其局限性。

近期，Xu和Sun(Zongben X,Sun J(2010)Image inpainting by patchpropagation using patch sparsity.IEEE Trans Image Process 19(5):1153–1165)利用稀疏表达的思想，提出了一种基于实例的修复方法，但是这种方法需要一个先验，即假设缺失区域可以用候选的图像块的线性组合来表达。

发明内容

本发明提供了一种基于SVD相似矩阵的图像修复方法，该方法包括，计算待修复图像的相似矩阵，选择的过程对图像块进行了奇异值分解，并依次将奇异值置零以得到相似矩阵。然后，利用神经网络、SSIM、MSE等相关方法查找相似patch，进而完成图像的修复。

一种基于SVD相似矩阵的图像修复方法，包括：

(1)将待修复图像进行SVD分解，通过将相应的奇异值置为零的操作，得到待修复图像的相似矩阵；

(2)以待修复区域边界上的每一像素为中心指定待修复图像块，在所述相似矩阵中查找对应的最相似图像块；

(3)将所述最相似图像块的像素值赋给所述待修复图像块；

(4)更新整个待修复区域，并重复步骤(2)～(3)，直到完成图像修复。

在步骤(1)中的相似矩阵I_n，按照以下公式得到：

$I_n=U\×\tilde{S}\×V$

其中，U,V为所述待修复图像通过奇异值分解得到的左、右奇异矩阵，S～为奇异值分解得到的对角矩阵中部分对角元素置零后的近似奇异值矩阵。

在步骤(1)中利用神经网络模型计算待修复图像与相似矩阵的相似性，并与阈值比较，如果相似性小于等于阈值，则完成相似矩阵的计算；如果相似性大于阈值，则将对角矩阵中对角元素逐个置零迭代计算，之子获得最终的相似矩阵。

在步骤(1)中奇异值分解得到的对角矩阵为S，

记则

若奇异值个数为m，迭代计算时

在步骤(2)中获取最相似图像块时，在相似矩阵中按照间隔2个像素、从左往右、从上往下的规律，依次扫描得到各个待选图像块，再计算和比较各待选图像块与待修复图像块的相似性以及关系。

在步骤(2)中各待选图像块与待修复图像块的相似性为：

$SSIM(x,y)=\frac{(2{\mathrm{\μ}}_x{\mathrm{\μ}}_y+c_1)(2{\mathrm{\σ}}_{xy}+c2)}{({\mathrm{\μ}}_x^2+{\mathrm{\μ}}_y^2+c_1)({\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2+c_2)}$

其中，x,y表示待比较的待修复图像块和待选图像块，μ_x,μ_y为x,y的均值，σ_x,σ_y为x,y的标准差，σ_xy为x,y的协方差，c₁、c₂为常数。

在步骤(2)中各待选图像块与待修复图像块的关系为：

${\mathrm{sim}}_{x,y}=\left(\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(P_{xi}-P_{yi}\right)}^2\right)\×(1-SSIM(x,y\left)\right)$

P_x为待修复图像块；

P_y为待选图像块；

其中n表示P_x中已经填充的像素的个数；

所述最相似图像块为的sim_x,y值最小的待选图像块。

与现有技术相比，本发明的有益效果为：

(1)本发明提出一种基于SVD相似矩阵的图像修复方法，通过采用相似矩阵，能够一定程度移除待修复区域，这样可以使最最终修复的图像视觉上更加连续。

(2)本发明提出的基于SVD相似矩阵的图像修复方法，对于缺失区域较大的场景，也能够有一定程度的效果提升。

具体实施方式

下面将结合具体实施例对本发明进行详细说明。本发明基于SVD相似矩阵的图像修复方法主要步骤如下：

(1)记输入的待修复图像为I(本实施中，I的大小为256×256)，标记待修复区域为Ω。

(2)指定待修复区域的边界像素点集合为如果Ω为空，则处理过程结束。

(3)对输入的图像做如下初步修复操作：

(3-1)对图像I做SVD分解：

[U S V]＝SVD(I)

其中，SVD表示奇异值分解操作，U,S,V分别表示最终分解得到的左奇异矩阵、对角矩阵和右奇异矩阵。

(3-2)记上述分解得到的对角矩阵S的对角元素为s₁₁,s₂₂,s₃₃...s_nn，其中n为奇异值个数(本实施中，n＝256)，且满足s₁₁≥s₂₂≥s₃₃≥...s_nn≥0，现进行以下迭代操作：

(3-2-1)令s_nn＝0，计算其中U,V为步骤(3-1)计算得到的左、右奇异矩阵，是将S最后奇异值s_nn改为零后得到的矩阵，符号表示为：

记则

(3-2-2)参考“Zagoruyko,Sergey,and Nikos Komodakis.Learning to compareimage patches via convolutional neural networks(2015)”提出的神经网络(文中已给出训练好的模型)，计算I、I_n之间的相似性s(I,I_n)：

首先，将I、I_n均分为64×64的图像块对，具体实施时，共有16对图像块；其次，将每一对图像块，分别输入上述神经网络，经过一系列的卷积层、ReLU激活层、池化层，最终进入到一个称为“decision network”的网络结构；最后，通过上述网络结构，经数据处理后输出一个相似性度量值，即求得I、I_n的相似性s(I,I_n)。

整个数据的处理过程是end-to-end的，中间不需要手动的操作，或是添加额外的信息。

(3-2-3)将计算得到的s(I,I_n)值与一个阈值thr＝0.6比较，如果小于等于阈值，则迭代停止，进行步骤(4)，此时的“近似”图像记为Τ；如果大于阈值，则令n＝n-1，返回(3-2-1)继续迭代。

(4)检查待修复区域Ω，如果不为空，则标明待修复区域Ω中的边界像素点，其集合记为Τ_boundary；如果为空，则整个处理过程结束。

(5)对于Τ_boundary中的每个元素x，即待修复区域边界上的一个像素点，以其为中心，大小为h(本实施中，h＝11×11)的图像块儿P_x，进行以下处理：

(5-1)在图像Τ中，提取同样大小为h的图像块儿P_y(图像Τ中的每个元素y，即图像T上的一个像素点，都对应一个图像块。具体实施中，按照大小为h、间隔2个像素、从左往右、从上往下的规律，依次扫描图像T得到图像块儿P_y)，然后，按照以下公式，计算两图像块P_x与P_y之间的相似性：

$SSIM(x,y)=\frac{(2{\mathrm{\μ}}_x{\mathrm{\μ}}_y+c_1)(2{\mathrm{\σ}}_{xy}+c2)}{({\mathrm{\μ}}_x^2+{\mathrm{\μ}}_y^2+c_1)({\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2+c_2)}$

其中，x,y表示两个待比较的图像块P_x、P_y，μ_x,μ_y为x,y的均值(像素值加和后除以总的像素个数)，σ_x,σ_y为x,y的标准差，σ_xy为x,y的协方差，c₁、c₂为较小的常数(具体实施时，c₁＝6.5，c₂＝58.5)。

(5-2)将上述计算得到的SSIM(x,y)值从小到大排序，选择前K个SSIM(x,y)对应的图像块P_y，形成的集合记为C，这里K表示被选择的图像块儿的个数，一般取值为(其中表示“向下取整”，比如img_width表示输入图像I的宽，img_height表示输入图像I的高，具体实施中K＝256)。

(5-3)对于C中的每一个图像块P_y，按照以下公式计算与初提取的图像块P_x之间的关系：

${\mathrm{sim}}_{x,y}=\left(\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(P_{xi}-P_{yi}\right)}^2\right)\×(1-SSIM(x,y\left)\right)$

其中n表示P_x中已经填充的像素的个数(未填充的意味着尚待修复)，SSIM(x,y)即为上述所计算的值。

(5-4)根据计算得到的sim_x,y找到最小的那个值，该值对应图像T中的图像块为然后，将P_x中位于修复区域Ω中的像素，置为对应的中相应位置的像素值。

(6)将边界像素点集合从Ω中移除，即更新Ω，返回(2)继续执行。

Claims (7)

1.一种基于SVD相似矩阵的图像修复方法，其特征在于，包括：

(1)将待修复图像进行SVD分解，通过将相应的奇异值置为零的操作，得到待修复图像的相似矩阵；

(2)以待修复区域边界上的每一像素为中心指定待修复图像块，在所述相似矩阵中查找对应的最相似图像块；

(3)将所述最相似图像块的像素值赋给所述待修复图像块；

(4)更新整个待修复区域，并重复步骤(2)～(3)，直到完成图像修复。

2.如权利要求1所述的基于SVD相似矩阵的图像修复方法，其特征在于，在步骤(1)中的相似矩阵I_n，按照以下公式得到：

$I_n=U\×\tilde{S}\×V$

其中，U,V为所述待修复图像通过奇异值分解得到的左、右奇异矩阵，为奇异值分解得到的对角矩阵中部分对角元素置零后的近似奇异值矩阵。

3.如权利要求2所述的基于SVD相似矩阵的图像修复方法，其特征在于，在步骤(1)中利用神经网络模型计算待修复图像与相似矩阵的相似性，并与阈值比较，如果相似性小于等于阈值，则完成相似矩阵的计算；如果相似性大于阈值，则将对角矩阵中对角元素逐个置零迭代计算，之子获得最终的相似矩阵。

4.如权利要求3所述的基于SVD相似矩阵的图像修复方法，其特征在于，在步骤(1)中奇异值分解得到的对角矩阵为S，

记则

若奇异值个数为m，迭代计算时

5.如权利要求4所述的基于SVD相似矩阵的图像修复方法，其特征在于，在步骤(2)中获取最相似图像块时，在相似矩阵中按照间隔2个像素、从左往右、从上往下的规律，依次扫描得到各个待选图像块，再计算和比较各待选图像块与待修复图像块的相似性以及关系。

6.如权利要求5所述的基于SVD相似矩阵的图像修复方法，其特征在于，在步骤(2)中各待选图像块与待修复图像块的相似性为：

$SSIM(x,y)=\frac{(2{\mathrm{\μ}}_x{\mathrm{\μ}}_y+c_1)(2{\mathrm{\σ}}_{xy}+c2)}{({\mathrm{\μ}}_x^2+{\mathrm{\μ}}_y^2+c_1)({\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2+c_2)}$

其中，x,y表示待比较的待修复图像块和待选图像块，μ_x,μ_y为x,y的均值，σ_x,σ_y为x,y的标准差，σ_xy为x,y的协方差，c₁、c₂为常数。

7.如权利要求6所述的基于SVD相似矩阵的图像修复方法，其特征在于，在步骤(2)中各待选图像块与待修复图像块的关系为：

${\mathrm{sim}}_{x,y}=\left(\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{\left(P_{xi}-P_{yi}\right)}^2\right)\×(1-SSIM(x,y\left)\right)$

Ρ_x为待修复图像块；

Ρ_y为待选图像块；

其中n表示Ρ_x中已经填充的像素的个数；

所述最相似图像块为的sim_x,y值最小的待选图像块。