CN109671030A - 一种基于自适应秩估计黎曼流形优化的图像补全方法 - Google Patents

Abstract

本发明公开了一种基于自适应秩估计黎曼流形优化的图像补全方法。在L1范数正则化矩阵补全算法(L1MC)的基础上，引入自适应秩估计惩罚项和固定秩的黎曼流形，利用惩罚项λR，迭代优化函数f(R)以及不断修正由经验公式确定的矩阵的秩进而估计出缺失矩阵的秩R_q，利用R_q构建固定秩的黎曼流形以用于矩阵补全，在此过程中，避免使用软阈值算法，提高了运算速率，节省了运算空间；应用黎曼流形优化，将秩限制于R≤R_q的范围内寻找与原矩阵最接近的估计值，避免在每次迭代中引入用于降秩的收缩算子，使得计算效率和图像恢复率极大提高；此外，本算法使用卷积神经网络预处理以及构建低秩矩阵，在短时间内有效预估缺失值，加快图像恢复过程，提高了图像恢复的准确率。

Description

一种基于自适应秩估计黎曼流形优化的图像补全方法

【技术领域】

本发明属于图像补全技术领域，具体涉及一种基于自适应秩估计黎曼流形优化的图像补全方法。

【背景技术】

图像补全技术愈发成为计算机视觉和图像处理的一个研究趋势，该技术旨在从缺失像素的周围结构和纹理信息中恢复和补全缺失像素，进而获得恢复图像。在实际应用中，图像的缺失、损坏和噪声污染一般不可避免。以图像的无线传输为例，即使图像在传输的过程中能避免失真，但为了增大储存空间利用率以及延长图像传感器的使用寿命等目的，完整图像也经常被人为采样和压缩。图像补全技术有着广泛的应用领域，例如文物历史图像恢复，医疗、航空和军事图像处理，电影后期制作和目标识别检测等领域。

图像补全算法是根据有限的已知像素恢复其它未知像素，从而获得恢复图像的一种通用方法。现有的图像补全算法主要分为两类，具体为基于偏微分的算法和基于稀疏的算法。基于偏微分的算法是针对缺失像素建立偏微分方程，利用偏微分方程估计缺失像素，从而获得恢复图像的一类算法；基于稀疏的算法是将缺失图像转换于变换域，利用缺失图像在变换域的稀疏性来补全缺失像素的一类算法。有人提出了一种基于奇异值阈值(SVT)的图像补全算法，该算法有效地估计了缺失像素，但存在恢复图像边界模糊的缺陷。一种基于奇异值投影(SVP)的图像补全算法，该算法虽有效改善了恢复图像边界模糊的缺陷，但存在恢复图像高频部分辨率不佳的问题。有学者提出了一种基于压缩渲染(CR)预可视化的方法，压缩渲染可以在合适的时间内对图像的缺失像素进行可信重构，体现了压缩感知在图像补全技术领域的优越性。随着黎曼流形理论研究的兴起，基于黎曼流形的多种优化方法被广泛地应用于计算机视觉和图像处理等领域。有人提出了一种将黎曼优化用于低秩矩阵补全的算法，该算法利用具有固定秩的黎曼流形来补全矩阵，但在该算法中，黎曼流形的固定秩一般难以直接求得，因此该算法需要进行大量的实验求解合适的秩数，导致本算法计算效率较低。有人提出一种基于OptSpace的图像补全算法，有人提出了一种基于IALM(Inexact Augmented Lagrange Multipliers)的图像补全算法，这两种算法虽充分考虑了低秩估计问题，但所得补全图像的视觉效果欠佳。

由于缺失像素在图像中的分布具有随机性，因此现有算法不能提供防止边界模糊的局部场景结构，不完全适用于路径跟踪的预可视化。当缺失图像的缺失率较高时，现有算法重构出的恢复图像具有精度低、恢复效率低等缺点。

【发明内容】

本发明的目的在于针对上述现有技术中的问题，提供一种基于自适应秩估计黎曼流形优化的图像补全方法，避免使用软阈值算法，提高了运算速率，节省了运算空间。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于自适应秩估计黎曼流形优化的图像补全方法，包括以下步骤，

步骤1，读入均匀随机采样的图像，根据该图像的物象信息得到对应像素矩阵和样本索引Ω；

步骤2，搭建并训练卷积神经网络，利用经训练的卷积神经网络对S做预处理，得到预处理结果

步骤3，将I平均分成大小为n_p×m_p的Q个像素块矩阵，其中的第q个像素块矩阵记作I_q(q＝1,2,3,...,Q)，将I₁作为下一步的输入；

步骤4，将I_q列向量化作为低秩矩阵的第一列，利用欧式距离在I中分别取得与I_q等大相似的a个像素块，将该a个像素块分别列向量化排列为具有低秩特性矩阵C_q的第二到a+1列，预估C_q的秩为

步骤5，引入关于自适应秩估计的惩罚项λR，利用自适应秩估计算法估计矩阵C_q的秩；

步骤6，运用基于黎曼流形的优化算法获得对应C_q的重构矩阵U_q；

步骤7，取下一个像素块I_q+1，重复步骤4-步骤6，直到获得Q个重构矩阵U_q(q＝1,2,3,...,Q)，仅对重构矩阵U_q的第一列向量按步骤4中的方法逆列向量化，获得重构像素块I_q ^*，将I_q ^*(q＝1,2,3,...,Q)分别按次序重组获得完整像素矩阵，由物象关系得到恢复图像S^*。

本发明进一步的改进在于：

步骤2的搭建并训练卷积神经网络具体包括：

步骤2.1，构建需要学习的卷积神经网络参数θ为：

θ＝{W_i,B_i}

其中，W_i为卷积核，B_i是偏置，i是迭代次数；

步骤2.2，利用递推关系设置卷积神经网络卷积核W_i：

其中，Δ为动量，l为卷积神经网络的层数；

步骤2.3，设定动量标准传播递推关系为：

其中，η为学习率，L为损失函数；

步骤2.4，获取完整图像素材I_r及其对应的随机抽样的不完整图像I_y，利用n对素材训练卷积神经网络，卷积神经网络的预处理结果F_l(I_y ⁱ)为：

其中，W_l是l层中维度为s_l×s_l、数量为n_l的卷积核，B_l是第l层的偏置，为卷积算子，为sigmoid函数，将原图像素材记为R_i，不完整图像I_y的训练结果记为F(I_y ⁱ,θ)，定义图像损失值为网络参数θ的函数L(θ)：

其中n代表训练样本数。

步骤4中构建具有低秩特性的矩阵和预估秩具体包括：

步骤4.1，在I中选取与I_q欧氏距离最小的a个相似像素块，将此a+1个像素块分别按顺序排列为列向量c_x(x＝1,2,...,a+1)，按列构建低秩矩阵

步骤4.2，按照经验公式对构造的低秩矩阵C_q的秩赋予初值

步骤5包括如下步骤：

步骤5.1，设定正则系数μ,λ，最大迭代数K，终止容错度为tol，构建与C_q等维度的零矩阵Z_q和X_q，令P_Ω(X_q)＝P_Ω(C_q)，其中P_Ω(X_q),P_Ω(C_q)分别为矩阵X_q,C_q在Ω上的投影；

步骤5.2，对低秩特性矩阵C_q做奇异值分解，得到奇异值矩阵为U,W,V，将U的第r列单位化并记为u_r的初始值，将V的第r行单位化并记为v_r的初始值，将W中的奇异值分别记为ω_r的初始值，r＝1,2,...,min(n_p×m_p,a+1)；

步骤5.3，建立最小化的目标函数f，引入惩罚项λR，

其中，u_r,v_r,ω_r与步骤5.2中意义相同，R为离散型正整数变量；

步骤5.4，利用块坐标下降法，将目标函数f(X_q,ω_r,u_r,v_r,R)分为R+2块，基于第r块的元素u_r,v_r,ω_r，构建拉格朗日函数L：

取第一块元素u₁,v₁,ω₁作为下一步的输入，进行第一次迭代；

步骤5.5，若ω_r＝0，则直接取第r+1块元素u_r+1,v_r+1,ω_r+1作为输入，重复步骤5.5；相反，若ω_r≠0，则在第k次迭代过程中，保持其他参数不变，求函数L对u_r的驻点，并更新u_r：

u_r ^(k+1)＝X_q,r ^(k)v_r ^(k)/ω_r(k)

用相同方法求得v_r的迭代关系：

v_r ^(k+1)＝X_q,r ^T(k)u_r ^(k)/ω_r(k)

分别将u_r ^(k+1),v_r ^(k+1)单位化；

步骤5.6，在第k次迭代过程中，保持其它参数不变，求函数L对ω_r的驻点：

引入软阈值操作算子shrink_μ获得数值解：

解得

步骤5.7，取下一块元素u_r+1,v_r+1,ω_r+1，重复步骤5.5-步骤5.6，直到获得块的更新，在第k次迭代过程中，计算重构矩阵由观测索引Ω更新X_q：

其中P_Ω(X_q),分别为矩阵X_q,Z_q ^(k+1)在Ω及其补集上的投影，取R_q ^*＝1作为下一步的输入；

步骤5.8，保持其他参数不变，计算函数值f(R_q ^*),f(R_q ^*+1)：

R_q ^*＝1,2,...,min(n_p×m_p,a+1)-1

步骤5.9，若f(R_q ^*)-f(R_q ^*+1)<0，则令R_q＝R_q ^*；否则令R_q ^*＝R_q ^*+1，并重复步骤5.8，直到寻找到

步骤5.10，若||P_Ω(X_q-Z_q)||_F/P_Ω(X_q)||_F<tol或达到最大迭代次数K，则停止迭代，获得自适应秩估计结果R_q和其对应重构矩阵Z_q，否则令从第k次迭代结束后的第一块元素u₁ ^(k+1),v₁ ^(k+1),ω₁ ^(k+1)开始，重复步骤5.5-步骤5.9，进行第k+1次迭代。

步骤6中运用黎曼流形的优化算法迭代获得对应重构矩阵包括：

步骤6.1，构建光滑流形集合设定光滑的目标函数f(X_q)：

通过求解目标函数的最小化取得重构矩阵

步骤6.2，由步骤5的Z_q，初始化X_q＝Z_q，设定精度τ，令切向量η₀＝0，设置最大迭代次数K；

步骤6.3，计算第k次迭代的流形梯度：

ξ_k＝grad f(X_q ^(k)),k＝1,2,3,...,K

步骤6.4，计算第k次迭代的共轭方向：

其中表示变量X_q ^(k-1)到X_q ^(k)的一个映射；

步骤6.5，计算第k次迭代的步长：

步骤6.6，利用Armijo回溯求解最小非负整数m满足下列不等式：

步骤6.7，获得第k次迭代的更新矩阵X_q ^(k+1)：

步骤6.8，若||ξ_k||≤τ或达到最大迭代次数K，则停止迭代，取得恢复矩阵U_q＝X_q ^{(k +1)}，否则返回步骤6.3进行第k+1次迭代。

与现有技术相比，本发明具有以下有益效果：

本发明创新地提出了一种利用经训练的神经网络预处理缺失图像，再选取相似像素块构建低秩矩阵，运用自适应秩估计黎曼流形优化的算法，节省了大量计算空间和时间，显著提升了图像补全的效率。首先读入缺失图像，利用其固有的物象信息获得对应图像矩阵S和索引Ω；将S输入经训练的卷积神经网络，获得预处理图像矩阵I；将I平均分为Q个大小为为n_p×m_p的像素块I_q(q＝1,2,3,...,Q)；利用欧氏距离在I中取a个与I_q等大相似的像素块，将这些等大相似的像素块列向量化构成低秩特性矩阵C_q，同时根据经验公式预估C_q的秩；构造加入惩罚项λR的目标函数f(X_q,ω_r,u_r,v_r,R)，应用块坐标下降法计算函数L(w_r,u_r,v_r)中的u_r,v_r和ω_r，经k次迭代后，更新矩阵待更新完成后迭代求得最优离散变量至此获得了待补全矩阵的秩R_q；构建秩为R_q的黎曼流形黎曼流形保证了在补全过程中，矩阵的秩始终不会超过常数R_q，最终获得第k次循环的更新矩阵待处理完Q组像素块I_q后，重新排列组合已经补全的像素块U_q(q＝1,2,3,...,Q)，获得补全图像S^*；本发明将缺失图像经卷积神经网络预处理并均分为若干像素块后，按欧氏距离取等大相似的像素块，构建若干独立低秩矩阵；在实际应用中，可通过并行方式补全这若干独立低秩矩阵，和串行方式的图像补全算法相比，并行计算方式减少了计算时间；利用卷积神经网络预处理、自适应秩估计以及黎曼流形优化的结合，大量减少内存占用，实用性能优越。本发明利用经训练的卷积神经网络预处理缺失图像，将机器学习技术和图像补全技术结合，克服了现有图像处理技术随机初始化缺失像素的缺陷，提供了更可信的优化起点，有利于在短时间内获得最优解，对实现快速图像补全具有重要的意义；本发明通过基于自适应秩估计黎曼流形的图像补全算法成功地恢复了像素缺失率高的图像，且恢复图像的SSIM指标评价良好，通过引入卷积神经网络，自适应秩估计和黎曼流形，减小了图像补全迭代的运行时间，提高了本算法的效率和准确性。

【附图说明】

图1是本发明参考图像1对应采样率为30％的缺失图像及补全对比图；

图2是本发明参考图像2对应采样率为30％的缺失图像及补全对比图；

图3是本发明的方法流程图；

图4是本发明经训练的卷积神经网络预处理图像示意图；

图5是本发明构建具有低秩特性矩阵过程的示意图；

图6是本发明采用黎曼流形共轭梯度法优化补全矩阵中缺失元素的示意图；

图7是本发明方法与现有图像补全方法的指标对比图。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明公开的上下文中，当将一层/元件称作位于另一层/元件“上”时，该层/元件可以直接位于该另一层/元件上，或者它们之间可以存在居中层/元件。另外，如果在一种朝向中一层/元件位于另一层/元件“上”，那么当调转朝向时，该层/元件可以位于该另一层/元件“下”。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

本发明一种基于自适应秩估计黎曼流形优化的图像补全方法，包括如下具体实施步骤：

步骤1，使用读图软件读入均匀随机采样的图像，根据该图像的物象信息得到对应像素矩阵和样本索引Ω

步骤2，在编程平台上搭建卷积神经网络，搜集素材训练搭建好的卷积神经网络；利用经训练的卷积神经网络对S做预处理，得到预处理结果

步骤3，将步骤2中所得的预处理矩阵I平均分为大小为n_p×m_p的Q个像素块矩阵，其中的第q个像素块矩阵记作I_q(q＝1,2,3,...,Q)；取I₁作为步骤4的输入；

步骤4，将I_q列向量化作为低秩矩阵的第一列，利用欧氏距离在I中分别取得与I_q等大相似的a个像素块，将此a个像素块分别列向量化排列为具有低秩特性矩阵C_q的第二到a+1列；预估C_q的秩为

步骤5，引入关于自适应秩估计的惩罚项λR，利用自适应秩估计算法估计矩阵C_q的秩；

步骤6，运用基于黎曼流形的优化算法获得对应C_q的重构矩阵U_q；

步骤7，取下一个像素块I_q+1，重复步骤四到步骤六，直到获得Q个重构矩阵U_q(q＝1,2,3,...,Q)；仅对重构矩阵U_q的第一列向量按步骤四中的方法逆列向量化，获得重构像素块I_q ^*；将I_q ^*(q＝1,2,3,...,Q)分别按次序重组获得完整像素矩阵，由物象关系得到恢复图像S^*。

上述流程的步骤2中，搭建并训练卷积神经网络具体包括：

步骤2.1，构建需要学习的卷积神经网络参数θ为：

θ＝{W_i,B_i}

其中W_i为卷积核，B_i是偏置，i表示迭代次数；

步骤2.2，利用递推关系设置卷积神经网络卷积核W_i：

其中Δ为动量，l为卷积神经网络的层数；

步骤2.3，设定动量标准传播递推关系为：

其中，η表示学习率，L表示损失函数；

步骤2.4，获取完整图像素材I_r及其对应的随机抽样的不完整图像I_y，利用n对素材训练卷积神经网络，卷积神经网络的预处理结果F_l(I_y ⁱ)为：

W_l是l层中维度为s_l×s_l、数量为n_l的卷积核，B_l是第l层的偏置，为卷积算子，为sigmoid函数，将原图像素材记为R_i，不完整图像I_y的训练结果记为F(I_y ⁱ,θ)，为使损失值最小，定义图像损失值为网络参数θ的函数L(θ)：

损失函数中n代表训练样本数；

上述流程的步骤4中，构建具有低秩特性的矩阵和预估秩具体包括：

步骤4.1，在I中选取与I_q欧氏距离最小的a个相似像素块，将此a+1个像素块分别按顺序排列为列向量c_x(x＝1,2,...,a+1)，按列构建低秩矩阵

步骤4.2，按照经验公式对构造的低秩矩阵C_q的秩赋予初值

上述流程的步骤5中，引入关于自适应秩估计的惩罚项λR，利用自适应秩估计算法估计矩阵C_q的秩具体包括：

步骤5.1，设定正则系数μ,λ，最大迭代数K，终止容错度为tol；由步骤一获得索引Ω，步骤四获得具有低秩特性的矩阵和对应的初始秩构建与C_q等维度的零矩阵Z_q和X_q；令P_Ω(X_q)＝P_Ω(C_q)，其中P_Ω(X_q),P_Ω(C_q)分别为矩阵X_q,C_q在Ω上的投影；

步骤5.2，对低秩特性矩阵C_q做奇异值分解，得到奇异值矩阵为U,W,V；将U的第r列单位化并记为u_r的初始值，将V的第r行单位化并记为v_r的初始值，将W中的奇异值分别记为ω_r的初始值，r＝1,2,...,min(n_p×m_p,a+1)；

步骤5.3：为获得最优的图像补全，建立最小化的目标函数f，引入惩罚项λR：

其中u_r,v_r,ω_r与步骤5.2的意义相同，R为离散型正整数变量；

步骤5.4，利用块坐标下降法，将目标函数f(X_q,ω_r,u_r,v_r,R)分为R+2块，基于第r块的元素u_r,v_r,ω_r，构建拉格朗日函数L：

取第一块元素u₁,v₁,ω₁作为步骤5.5的输入，进行第一次迭代；

步骤5.5，若ω_r＝0，则直接取第r+1块元素u_r+1,v_r+1,ω_r+1作为输入，重复步骤5.5；相反，若ω_r≠0，则在第k次迭代过程中，保持其他参数不变，求函数L对u_r的驻点，并更新u_r：

u_r ^(k+1)＝X_q,r ^(k)v_r ^(k)/ω_r ^(k)

同理我们可以求得v_r的迭代关系：

v_r ^(k+1)＝X_q,r ^T(k)u_r ^(k)/ω_r ^(k)

分别将u_r ^(k+1),v_r ^(k+1)单位化；

步骤5.6，在第k次迭代过程中，保持其它参数不变，求函数L对ω_r的驻点：

为获得数值解，引入软阈值操作算子shrink_μ：

解得

步骤5.7，取下一块元素u_r+1,v_r+1,ω_r+1，重复步骤5.5到步骤5.6，直到获得块的更新；在第k次迭代过程中，计算重构矩阵由观测索引Ω即可更新X_q：

其中P_Ω(X_q),分别为矩阵X_q,Z_q ^(k+1)在Ω及其补集上的投影；取R_q ^*＝1作为步骤5.8的输入；

步骤5.8，保持其它参数不变，按下式计算函数值f(R_q ^*),f(R_q ^*+1)：

R_q ^*＝1,2,...,min(n_p×m_p,a+1)-1

步骤5.9，若f(R_q ^*)-f(R_q ^*+1)<0，则令R_q＝R_q ^*，否则令R_q ^*＝R_q ^*+1然后重复步骤5.8，直到寻找到

步骤5.10，若||P_Ω(X_q-Z_q)||_F/||P_Ω(X_q)||_F<tol或达到最大迭代次数K，则停止迭代，获得自适应秩估计结果R_q和其对应重构矩阵Z_q，否则令从第k次迭代结束后的第一块元素u₁ ^(k+1),v₁ ^(k+1),ω₁ ^(k+1)开始，重复步骤5.5到步骤5.9，进行第k+1次迭代；。

上述流程的步骤6中，运用黎曼流形的优化算法迭代获得对应重构矩阵具体包括：

步骤6.1，由步骤4获得低秩矩阵C_q和步骤5获得对应的自适应估计秩R_q，构建光滑流形集合设定光滑的目标函数f(X_q)：

通过求解目标函数的最小化取得重构矩阵

步骤6.2，由步骤5的Z_q，初始化X_q＝Z_q，设定精度τ，令切向量η₀＝0，设置最大迭代次数K；由步骤6.3开始进行第一次迭代；

步骤6.3，计算第k次迭代的流形梯度：

ξ_k＝grad f(X_q ^(k)),k＝1,2,3,...,K

步骤6.4，计算第k次迭代的共轭方向：

其中表示变量X_q ^(k-1)到X_q ^(k)的一个映射；

步骤6.5，计算第k次迭代的步长：

步骤6.6，利用Armijo回溯求解最小非负整数m满足下列不等式：

步骤6.7，获得第k次迭代的更新矩阵X_q ^(k+1)：

步骤6.8，若||ξ_k||≤τ或达到最大迭代次数K，则停止迭代，取得恢复矩阵U_q＝X_q ^{(k +1)}，否则返回步骤6.3进行第k+1次迭代。

参阅图1至图7，图1为在30％的采样率下，人物类缺失图像Barbara经本算法(Proposed)及现存算法(SVP,OptSpace,SVT,IALM)补全后的对比示例；图2为在30％的采样率下，景物类缺失图像House经本算法及现存算法补全后的对比示例；图3为本算法的总流程图；图4为本算法步骤2中，利用卷积神经网络处理缺失图像的流程示意图；图5为本算法步骤3-4中，在预处理图像中选取相似像素块构造低秩矩阵的示意图；图6为本算法步骤6中，利用黎曼流形优化的流程示意图；图7说明了人物类缺失图像Barbara和景物类缺失图像House，经不同算法获得补全图像的PSNR及SSIM指标随采样率的变化；本实施例利用PC平台仿真，硬件为acer AL1916W 3GHz、内存3G，软件为Windows 7旗舰版，MATLAB R2016b版本。在调试算法过程中，根据经验，本发明设定正则参数μ＝50,λ＝0.01；参考图像像素为256×256，采样率从10％至90％不等。由图1和图2进行对照可得，在相同的初始化条件下，本发明的恢复效果更佳。根据图7可以看出，本发明的重构精度在各种采样率下均优于现存图像补全算法SVP,OptSpace,SVT,IALM。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种基于自适应秩估计黎曼流形优化的图像补全方法，其特征在于，包括以下步骤，

步骤1，读入均匀随机采样的图像，根据该图像的物象信息得到对应像素矩阵和样本索引Ω；

步骤2，搭建并训练卷积神经网络，利用经训练的卷积神经网络对S做预处理，得到预处理结果

步骤3，将I平均分成大小为n_p×m_p的Q个像素块矩阵，其中的第q个像素块矩阵记作I_q(q＝1,2,3,...,Q)，将I₁作为下一步的输入；

步骤4，将I_q列向量化作为低秩矩阵的第一列，利用欧式距离在I中分别取得与I_q等大相似的a个像素块，将该a个像素块分别列向量化排列为具有低秩特性矩阵C_q的第二到a+1列，预估C_q的秩为

步骤5，引入关于自适应秩估计的惩罚项λR，利用自适应秩估计算法估计矩阵C_q的秩；

步骤6，运用基于黎曼流形的优化算法获得对应C_q的重构矩阵U_q；

步骤7，取下一个像素块I_q+1，重复步骤4-步骤6，直到获得Q个重构矩阵U_q(q＝1,2,3,...,Q)，仅对重构矩阵U_q的第一列向量按步骤4中的方法逆列向量化，获得重构像素块I_q ^*，将I_q ^*(q＝1,2,3,...,Q)分别按次序重组获得完整像素矩阵，由物象关系得到恢复图像S^*。

2.如权利要求1所述一种基于自适应秩估计黎曼流形优化的图像补全方法，其特征在于，步骤2的搭建并训练卷积神经网络具体包括：

步骤2.1，构建需要学习的卷积神经网络参数θ为：

θ＝{W_i,B_i}

其中，W_i为卷积核，B_i是偏置，i是迭代次数；

步骤2.2，利用递推关系设置卷积神经网络卷积核W_i：

W_i+1 ^l＝W_i ^l+Δ_i+1

其中，Δ为动量，l为卷积神经网络的层数；

步骤2.3，设定动量标准传播递推关系为：

其中，η为学习率，L为损失函数；

步骤2.4，获取完整图像素材I_r及其对应的随机抽样的不完整图像I_y，利用n对素材训练卷积神经网络，卷积神经网络的预处理结果F_l(I_y ⁱ)为：

其中，W_l是l层中维度为s_l×s_l、数量为n_l的卷积核，B_l是第l层的偏置，为卷积算子，为sigmoid函数，将原图像素材记为R_i，不完整图像I_y的训练结果记为F(I_y ⁱ,θ)，定义图像损失值为网络参数θ的函数L(θ)：

其中n代表训练样本数。

3.如权利要求1所述一种基于自适应秩估计黎曼流形优化的图像补全方法，其特征在于，步骤4中构建具有低秩特性的矩阵和预估秩具体包括：

步骤4.1，在I中选取与I_q欧氏距离最小的a个相似像素块，将此a+1个像素块分别按顺序排列为列向量c_x(x＝1,2,...,a+1)，按列构建低秩矩阵

步骤4.2，按照经验公式对构造的低秩矩阵C_q的秩赋予初值

4.如权利要求1所述一种基于自适应秩估计黎曼流形优化的图像补全方法，其特征在于，步骤5包括如下步骤：

步骤5.1，设定正则系数μ,λ，最大迭代数K，终止容错度为tol，构建与C_q等维度的零矩阵Z_q和X_q，令P_Ω(X_q)＝P_Ω(C_q)，其中P_Ω(X_q),P_Ω(C_q)分别为矩阵X_q,C_q在Ω上的投影；

步骤5.2，对低秩特性矩阵C_q做奇异值分解，得到奇异值矩阵为U,W,V，将U的第r列单位化并记为u_r的初始值，将V的第r行单位化并记为v_r的初始值，将W中的奇异值分别记为ω_r的初始值，r＝1,2,...,min(n_p×m_p,a+1)；

步骤5.3，建立最小化的目标函数f，引入惩罚项λR，

其中，u_r,v_r,ω_r与步骤5.2中意义相同，R为离散型正整数变量；

步骤5.4，利用块坐标下降法，将目标函数f(X_q,ω_r,u_r,v_r,R)分为R+2块，基于第r块的元素u_r,v_r,ω_r，构建拉格朗日函数L：

取第一块元素u₁,v₁,ω₁作为下一步的输入，进行第一次迭代；

步骤5.5，若ω_r＝0，则直接取第r+1块元素u_r+1,v_r+1,ω_r+1作为输入，重复步骤5.5；相反，若ω_r≠0，则在第k次迭代过程中，保持其他参数不变，求函数L对u_r的驻点，并更新u_r：

u_r ^(k+1)＝X_q,r ^(k)v_r ^(k)/ω_r(k)

用相同方法求得v_r的迭代关系：

v_r ^(k+1)＝X_q,r ^T(k)u_r ^(k)/ω_r(k)

分别将u_r ^(k+1),v_r ^(k+1)单位化；

步骤5.6，在第k次迭代过程中，保持其它参数不变，求函数L对ω_r的驻点：

引入软阈值操作算子shrink_μ获得数值解：

解得

步骤5.7，取下一块元素u_r+1,v_r+1,ω_r+1，重复步骤5.5-步骤5.6，直到获得块u_r,v_r,的更新，在第k次迭代过程中，计算重构矩阵由观测索引Ω更新X_q：

其中P_Ω(X_q),分别为矩阵X_q,Z_q ^(k+1)在Ω及其补集上的投影，取R_q ^*＝1作为下一步的输入；

步骤5.8，保持其他参数不变，计算函数值f(R_q ^*),f(R_q ^*+1)：

R_q ^*＝1,2,...,min(n_p×m_p,a+1)-1

步骤5.9，若f(R_q ^*)-f(R_q ^*+1)<0，则令R_q＝R_q ^*；否则令R_q ^*＝R_q ^*+1，并重复步骤5.8，直到寻找到

步骤5.10，若||P_Ω(X_q-Z_q)||_F/||P_Ω(X_q)||_F<tol或达到最大迭代次数K，则停止迭代，获得自适应秩估计结果R_q和其对应重构矩阵Z_q，否则令从第k次迭代结束后的第一块元素u₁ ^(k+1),v₁ ^(k+1),ω₁ ^(k+1)开始，重复步骤5.5-步骤5.9，进行第k+1次迭代。

5.如权利要求1所述一种基于自适应秩估计黎曼流形优化的图像补全方法，其特征在于，步骤6中运用黎曼流形的优化算法迭代获得对应重构矩阵包括：

步骤6.1，构建光滑流形集合设定光滑的目标函数f(X_q)：

通过求解目标函数的最小化取得重构矩阵

步骤6.2，由步骤5的Z_q，初始化X_q＝Z_q，设定精度τ，令切向量η₀＝0，设置最大迭代次数K；

步骤6.3，计算第k次迭代的流形梯度：

ξ_k＝grad f(X_q ^(k)),k＝1,2,3,...,K

步骤6.4，计算第k次迭代的共轭方向：

其中表示变量X_q ^(k-1)到X_q ^(k)的一个映射；

步骤6.5，计算第k次迭代的步长：

步骤6.6，利用Armijo回溯求解最小非负整数m满足下列不等式：

步骤6.7，获得第k次迭代的更新矩阵X_q ^(k+1)：

步骤6.8，若||ξ_k||≤τ或达到最大迭代次数K，则停止迭代，取得恢复矩阵U_q＝X_q ^(k+1)，否则返回步骤6.3进行第k+1次迭代。