CN108615225A - 一种基于svd近似矩阵约束的图像深度学习修复方法 - Google Patents

Abstract

本发明公开了一种基于SVD近似矩阵约束的图像深度学习修复方法，包括：步骤1，对待修复图像进行SVD分解，得到待修复图像的初步修复图像；步骤2，构建相似图像集合；步骤3，指定待修复图像中待修复区域，针对待修复区域边界上的每个待修复图像块，在相似图像集合中寻找和待修复图像块相似的图像块，构建相似图像块集合；步骤4，利用相似图像块集合训练深度生成神经网络模型；步骤5，以待修复图像块中的已知像素作为约束，利用深度生成神经网络模型生成待修复图像块像素；步骤6，更新待修复区域，若待修复区域为空，则修复完成；否则返回步骤3。本发明提供的图像深度学习修复方法，最终得到的修复图像在视觉上更加连续。

Description

一种基于SVD近似矩阵约束的图像深度学习修复方法

技术领域

本发明涉及计算机图像处理技术领域，具体涉及一种基于SVD近似矩阵约束的图像深度学习修复方法。

背景技术

图像修复就是重建一幅图像中的缺失区域的过程，通常会使用缺失区域周围的像素信息。修复的目的，就是构建一幅完整的人眼“可观察”的正常图像。

图像修复最早是由Bertalmio等人提出的，常见的一些修复方法都是基于PDE的，也就是通过解偏微分方程的的方程完成修复。Dallester等人基于变分提出了一种新的偏微分方程；Levin等人提出了一种基于梯度域的图像修复方法；Alilou等人提出了一种使用GRNN神经网络的方法，但是对于纹理丰富，缺损区域较大的图像，这些方法都有其局限性。

近期，Xu和Sun利用稀疏表达的思想，提出了一种基于实例的修复方法，但是这种方法需要一个先验，即假设缺失区域可以用候选的图像块的线性组合来表达。

发明内容

本发明提供了一种基于SVD近似矩阵约束的图像深度学习修复方法，最终得到的修复图像在视觉上更加连续。

一种基于SVD近似矩阵约束的图像深度学习修复方法，包括：

步骤1，对待修复图像进行SVD分解，通过将相应奇异值置为零的操作，得到待修复图像的初步修复图像；

步骤2，构建相似图像集合，相似图像集合中的各图像与待修复图像的初步修复图像具有相似性；

步骤3，指定待修复图像中待修复区域，针对待修复区域边界上的每个待修复图像块，在相似图像集合中寻找和待修复图像块相似的图像块，相似图像块的集合构成相似图像块集合；

步骤4，利用相似图像块集合训练深度生成神经网络模型；

步骤5，以待修复图像块中的已知像素作为约束，利用训练好的深度生成神经网络模型生成待修复图像块像素；

步骤6，更新待修复区域，若待修复区域为空，则修复完成；否则返回步骤3。

步骤1中，对待修复图像进行奇异值分解，能够在一定程度上分离待修复区域，使最终修复得到的图像在视觉上更加连续。

本发明利用深度生成神经网络模型学习相似图像块的分布特征，学习完成之后，利用深度生成神经网络模型生成具有相应分布特征的图像块，利用生成的图像块进行图像修复，修复得到的图像更加符合图像概率分布，视觉上更连续。

深度生成神经网络模型生成的图像块可以与相似图像块集合中的图像块相同或不同，生成的图像块更加多样，以达到更好的修复效果。

作为优选，步骤1中，待修复图像的初步修复图像的具体获取过程如下：

步骤1-1，对待修复图像I进行SVD分解，数学表达式如下：

[U S V]＝SVD(I)

式中：SVD表示奇异值分解操作，U,S,V分别表示分解得到的左奇异矩阵、对角矩阵和右奇异矩阵，其中，对角矩阵的对角线元素为降序排列的奇异值；

步骤1-2，对角矩阵S的对角元素为s₁₁,s₂₂,s₃₃...s_nn，其中n为奇异值个数，且满足s₁₁≥s₂₂≥s₃₃≥...s_nn≥0，进行如下迭代操作：

步骤1-2-1，将对角矩阵S的最后奇异值改为零，得到数学表达如下：

记则

步骤1-2-2，记利用SSIM方法计算I和I_n之间的相似性，SSIM方法的计算公式如下：

其中，x,y表示两个待比较的图像块，μ_x,μ_y分别为x,y的均值，σ_x,σ_y分别为x,y的标准差，σ_xy为x,y的协方差，c₁、c₂为两个常数；

步骤1-2-3，将SSIM(x,y)与阈值进行比较，如果小于等于阈值，迭代停止，初步修复图像为否则，令n＝n-1，返回步骤1-2-1，继续迭代。

作为优选，步骤2中，从互联网中抓取不少于1000万张图像构成互联网图像集合，利用SSIM方法计算互联网图像集合中各图像与所述初步修复图像的相似性，从互联网图像集合中选取适量与初步修复图像具有相似性的图像，构成所述相似图像集合，相似图像集合中各图像的分辨率相同。

从互联网中抓取图像采用现有的爬虫软件实现，相似图像和相似图像块均来自于互联网，不局限于待修复图像中的图像块，图像块内容更加丰富，修复完成的图像更加逼近真实情况。

作为优选，步骤3中，针对待修复区域边界上的每个像素点，将以该像素点为中心，大小为s的图像作为一个待修复图像块，针对每个待修复图像块进行如下操作：

步骤3-1，在相似图像集合的各图像中提取大小为s的图像块，各图像中除边界区域外每个像素对应一个以该像素为中心点的图像块，利用SSIM方法计算各图像块与待修复图像块的相似性，s为常数；

步骤3-2，将各SSIM值从小到大依次排序，选择前K个SSIM值对应的图像块，作为相似图像块集合，K为常数。

s通常选择7×7，即宽高各为7个像素的区域。划分图像块时，采用大小为7×7的窗口，以2个像素为步长，由左至右，由上至下扫描图像。

K表示图像块的个数，将图像宽高的像素个数相乘，然后开二次方取整，得到K的取值，K的大小通常不小于10000。

本申请中计算图像与图像之间的相似度、以及图像块与图像块之间的相似度时，均采用SSIM方法。

与现有技术相比，本发明的有益效果如下：

(1)利用奇异值分解，得到近似矩阵，在一定程度上能够分离待修复区域，使最终修复的图像在视觉上更加连续；

(2)利用相似图像块集合训练深度生成神经网络，深度生成神经网络通过学习到的特征来生成待修复图像块，最终修复的图像更加符合图像的概率分布；

(3)利用深度生成神经网络生成的待修复图像块不一定是现有的图像内容，可以生成与训练用的相似图像块不同的图像，生成的待修复图像块更加多样。

附图说明

图1为本发明深度生成神经网络模型的示意图。

具体实施方式

下面结合附图，对本发明基于SVD近似矩阵约束的图像深度学习修复方法做详细描述。

一种基于SVD近似矩阵约束的图像深度学习修复方法，包括如下步骤：

(1)从互联网上通过爬虫软件抓取一定数量的图像(利用目前最常用的图像抓取方法，本实施例中抓取图像数量为1000万张)，通过软件预处理成分辨率相同的图像，将这些图像集合作为互联网图像集合；

(2)对待修复图像进行SVD分解，通过将相应的奇异值置为零的操作，得到待修复图像矩阵的近似矩阵；

记输入的待修复图像为I(本实施例中，待修复图像I的大小为256×256)，标记待修复区域为Ω，指定待修复区域的边界像素点集合如果Ω为空，则处理过程结束。

对输入的待修复图像I做如下初步修复操作：

(2-1)对待修复图像I做SVD分解：

[U S V]＝SVD(I)

其中，SVD表示奇异值分解操作，U,S,V分别表示最终分解得到的左奇异矩阵、对角矩阵和右奇异矩阵，其中对角矩阵中对角线元素为降序排列的奇异值。

(2-2)记上述分解得到的对角矩阵S的对角元素为s₁₁,s₂₂,s₃₃...s_nn，其中n为奇异值个数(本实施例中，n＝256)，且满足s₁₁≥s₂₂≥s₃₃≥...s_nn≥0，现进行以下迭代操作：

(2-2-1)令s_nn＝0，计算其中U,V分别为(2-1)计算得到的左奇异矩阵和右奇异矩阵，为将S最后奇异值s_nn改为零后得到的矩阵，符号表示为：

记则

(2-2-2)按照以下公式，计算I、I_n之间的相似性：

其中，x,y表示两个待比较的图像块，μ_x,μ_y分别为x,y的均值，σ_x,σ_y分别为x,y的标准差，σ_xy为x,y的协方差，c₁、c₂为两个常数(本实施例中，c₁＝6.5，c₂＝58.5)

(2-2-3)将计算得到的值与一个阈值thr＝0.85比较，如果小于等于阈值，则迭代停止，这个时候的“近似”图像记为Τ；如果大于阈值，则令n＝n-1，返回(2-2-1)继续迭代。

(3)从互联网图像集合中找到一定数量的图像(这里的图像数量选取1万张)，这些图像与待修复图像的近似矩阵图像具有规定的相似性，这个图像集合叫做相似图像集合；图像相似性计算利用(2-2-2)中的SSIM方法；

(4)指定待修复区域的边界像素集合，对于待修复区域边界上的每一图像块，在相似图像集合中寻找和待修复图像块最相似的一定数量的图像块，这些图像块集合叫做相似图像块集合；图像块相似性计算利用(2-2-2)中的SSIM方法。

检查待修复区域Ω，如果不为空，则标明待修复区域Ω中的边界像素点，其集合记为Τ_boundary；如果为空，则整个处理过程结束。对于Τ_boundary中的每个元素x，即待修复区域边界上的一个像素点，以其为中心，大小为s(具体实施中，s＝7)的图像块儿P_x，进行以下处理：

(4-1)在相似图像集合的各图像中，提取同样大小为s的图像块儿P_y(相似图像集合的各图像中的每个元素都对应一个图像块；具体实施中，将图像分为大小为7×7的块，具体就是间隔2个像素(以2个像素为步长)，从左往右，从上往下，扫描图像)，然后，利用SSIM方法，计算两图像块之间的相似性：

(4-2)将上述计算得到的SSIM(x,y)值从小到大排序，选择前K个SSIM(x,y)对应的图像块P_y，形成的集合记为相似图像块集合C，这里K表示被选择的图像块儿的个数，一般取值为(其中表示“向下取整”，比如img_width表示输入图像的宽，img_height表示输入图像的高)，具体实施中K＝10000)。

(5)利用步骤4得到的相似图像块集合来训练一个深度生成神经网络(如图1所示)，图1中，G为一个深度生成网络(这里采用的是对抗生成网络)，E为一个深度编码网络，z代表噪音数据，x代表用于训练深度神经网络的图像块数据，E(x)为图像块x的压缩编码表示，D表示一个深度判别神经网络，最后生成的p(y)是最终的网络输出图像。该神经网络模型能够学习到相似图像块的分布特征，一旦学习好以后，该神经网络模型就能够生成具有该分布特征的图像块。

(6)以待修复图像块中的已知像素作为约束，利用训练好的深度生成神经网络来生成待修复的图像块像素；

(7)更新整个待修复区域；如果更新后待修复区域为空，则停止处理；否则将待修复区域边界像素点集合从Ω中移除，即更新Ω，返回步骤(4)继续执行。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行适当的变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (4)

1.一种基于SVD近似矩阵约束的图像深度学习修复方法，其特征在于，包括：

步骤1，对待修复图像进行SVD分解，通过将相应奇异值置为零的操作，得到待修复图像的初步修复图像；

步骤2，构建相似图像集合，相似图像集合中的各图像与待修复图像的初步修复图像具有相似性；

步骤3，指定待修复图像中待修复区域，针对待修复区域边界上的每个待修复图像块，在相似图像集合中寻找和待修复图像块相似的图像块，相似图像块的集合构成相似图像块集合；

步骤4，利用相似图像块集合训练深度生成神经网络模型；

步骤5，以待修复图像块中的已知像素作为约束，利用训练好的深度生成神经网络模型生成待修复图像块像素；

步骤6，更新待修复区域，若待修复区域为空，则修复完成；否则返回步骤3。

2.如权利要求1所述的基于SVD近似矩阵约束的图像深度学习修复方法，其特征在于，步骤1中，待修复图像的初步修复图像的具体获取过程如下：

步骤1-1，对待修复图像I进行SVD分解，数学表达式如下：

[U S V]＝SVD(I)

式中：SVD表示奇异值分解操作，U,S,V分别表示分解得到的左奇异矩阵、对角矩阵和右奇异矩阵，其中，对角矩阵的对角线元素为降序排列的奇异值；

步骤1-2，对角矩阵S的对角元素为s₁₁,s₂₂,s₃₃...s_nn，其中n为奇异值个数，且满足s₁₁≥s₂₂≥s₃₃≥...s_nn≥0，进行如下迭代操作：

步骤1-2-1，将对角矩阵S的最后奇异值改为零，得到数学表达如下：

记则

步骤1-2-2，记利用SSIM方法计算I和I_n之间的相似性，SSIM方法的计算公式如下：

其中，x,y表示两个待比较的图像块，μ_x,μ_y分别为x,y的均值，σ_x,σ_y分别为x,y的标准差，σ_xy为x,y的协方差，c₁、c₂为两个常数；

步骤1-2-3，将SSIM(x,y)与阈值进行比较，如果小于等于阈值，迭代停止，初步修复图像为否则，令n＝n-1，返回步骤1-2-1，继续迭代。

3.如权利要求1所述的基于SVD近似矩阵约束的图像深度学习修复方法，其特征在于，步骤2中，从互联网中抓取不少于1000万张图像构成互联网图像集合，利用SSIM方法计算互联网图像集合中各图像与所述初步修复图像的相似性，从互联网图像集合中选取适量与初步修复图像具有相似性的图像，构成所述相似图像集合，相似图像集合中各图像的分辨率相同。

4.如权利要求1所述的基于SVD近似矩阵约束的图像深度学习修复方法，其特征在于，步骤3中，针对待修复区域边界上的每个像素点，将以该像素点为中心，大小为s的图像作为一个待修复图像块，针对每个待修复图像块进行如下操作：

步骤3-1，在相似图像集合的各图像中提取大小为s的图像块，各图像中除边界区域外每个像素对应一个以该像素为中心点的图像块，利用SSIM方法计算各图像块与待修复图像块的相似性，s为常数；

步骤3-2，将各SSIM值从小到大依次排序，选择前K个SSIM值对应的图像块，作为相似图像块集合，K为常数。