CN111260571B - 一种基于非凸低秩低梯度的深度图像修复方法 - Google Patents

Abstract

本发明公开了一种基于非凸低秩低梯度的深度图像修复方法，包括获取待修复的深度图像D，确定深度图像D的待修复区域Ω，构建图像修复矩阵U；构建基于非凸低秩低梯度的深度图像修复模型；采用ADMM算法求解所述深度图像修复模型中的M子问题；采用区域融合算法求解所述深度图像修复模型中的U子问题；迭代更新辅助变量M和U，直至满足结束条件，得到修复后的深度图像U。本发明提供了基于非凸低秩低梯度的深度图像修复方法，以克服现有的图像修复方法中存在高维数据凸松弛收敛速度慢、深度图像的无纹理性、数据过于稀疏的缺点。

Description

一种基于非凸低秩低梯度的深度图像修复方法

技术领域

本申请属于图像处理技术领域，具体涉及一种基于非凸低秩低梯度的深度图像修复方法。

背景技术

图像修复在计算机视觉和图像处理领域是一项重要的研究课题。深度图像修复在图像修复领域也是一种值得研究的方向，深度图像也被称为距离图像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反应了景物可见表面的几何形状。随着Microsoft Kinect、ASUS、Xtion Pro和Intel Leap Motion等RGB-D传感器的快速发展，深度图像的采集变得越来越普遍。我们可以通过实时的基于图像的深度信息的深度图像提供多种应用。但是深度传感器获取到的深度图像会受到多种原因影响而引起质量退化，比如低分辨率、噪声和信息丢失等。低质量的深度信息严重影响了深度图像的应用。

目前，许多图像修复方法已经被提出来，但是，绝大多数的方法研究集中在自然图像和医学图像上，关于深度图像的研究相对较少。主要的原因是大多数的图像修复技术能直接应用在深度图像上。与自然图像相比，深度图像是没有纹理的，而缺乏纹理会导致使用低秩方法会比较困难。但是，Wright和Candes等人表明，在不一致的假设下，低秩模型尽管存在明显的缺陷，但仍能以很高的概率得到解。而且，深度图像的梯度已经十分稀疏了，并且在某些梯度上是消失的。

近年来，利用低秩模型对表示全局信息的低秩矩阵和表示局部信息的稀疏矩阵进行恢复，引起来人们广泛的关注。这个灵感来自于处理高光谱图像产生低秩权值的时候，其中去噪方法是基于低秩分解变形向量化将全部图像或相似分块产生2-D数据，产生的2-D数据能够分解成一个能用低秩矩阵表示的干净图像和一个表示非高斯噪声的稀疏矩阵。

虽然低秩模型在理论研究和实际应用中取得了成功，但凸松弛仍存在一些缺陷。首先，核范数将所有奇异值相加，而不是像秩函数那样平均处理它们。这意味着较大的奇异值比较小的值更容易受到惩罚。此外，核范数本质上是一个L₁范数的奇异值。众所周知，L₁范数由于其收缩效应，通常会导致偏估计。其次，之前的理论分析通常基于一个强有力的假设，即基础矩阵满足非相干性，这在实际场景中可能得不到保证。随着矩阵维数的增加，凸松弛收敛速度较慢。到目前为止，利用非凸函数代替L₁范数作为L₀范数的替代物受到了广泛的关注。其中，最流行的非凸正则化方法有：极小凹惩罚、l_p范数(0<p<1)、log-sum惩罚、log-行列式惩罚、截断核范数(Truncated Nuclear Norm)、上限l₁惩罚。

发明内容

本申请的目的在于提供一种基于非凸低秩低梯度的深度图像修复方法，以克服现有的图像修复方法中存在高维数据凸松弛收敛速度慢、深度图像的无纹理性、数据过于稀疏的缺点。

为实现上述目的，本申请所采取的技术方案为：

一种基于非凸低秩低梯度的深度图像修复方法，所述基于非凸低秩低梯度的深度图像修复方法，包括：

步骤1、获取待修复的深度图像D，确定深度图像D的待修复区域Ω，构建图像修复矩阵U；

步骤2、构建基于非凸低秩低梯度的深度图像修复模型：

步骤2.1、引入

范数，

范数的表达式如下：

其中，M＝[m₁,m₂,m₃,…,m_n]∈R^m×n，α为权值系数且0<α<1，#{·}代表数据集中元素的个数；

步骤2.2、针对低秩矩阵M的奇异值计算引入非凸低秩优化方法，所述非凸低秩的表达式如下：

其中，γ为γ范数，且γ＞0，q＝m，K＝n，m、n为M的行列数，σ_i表示M在i时的奇异值；

步骤2.3、构建所述深度图像修复模型，如下：

其中，

λ₁为约束项的权值系数，λ₂是

梯度项的重要权值，

D为深度图像；

步骤3、采用ADMM算法求解所述深度图像修复模型中的M子问题；

步骤4、采用区域融合算法求解所述深度图像修复模型中的U子问题；

步骤5、迭代执行步骤3和步骤4以更新辅助变量M和U，直至满足结束条件，得到修复后的深度图像U。

作为优选，所述γ范数具有如下性质：

性质1：给定U∈R^q×K，则γ范数满足如下性质：

其中，||U||_γ为酉不变量；

性质2-正定性：对于

可得到如下关系式：

采用(·)^T，(·)^-1，λ分别表示转置矩阵、逆矩阵和矩阵的特征值，采用E表示一个单位矩阵，引入辅助矩阵L∈R^K×q、V∈R^K×q，则有特征多项式如下：

|(LUV)^TLUV-λE|＝|V^TU^TL^TLUV-λE|＝|V^TU^TUV-λE|＝|V-¹U^TUV-λE|＝|U^TU-λE| (6)

根据上述特征多项式可知，矩阵(LUV)^TLUV和U^TU有相同的特征值，故LUV和U有相同的奇异值，并且对于任意的σ_i(U)，都存在σ_i(U)≥0，从而推导出φ(σ_i(U))≥0和||U||_γ≥0，并得出结论当且仅当U＝0时φ(σ_i(U))为0；

因此，γ范数存在的正定性为：对于任意U∈R^q×K和||U||_γ＝0当且仅当U＝0时有||U||_γ≥0。

作为优选，所述采用ADMM算法求解所述深度图像修复模型中的M子问题，以更新辅助变量M，包括：

步骤3.1、引入辅助变量M，并且U＝M，M的拉格朗日展开式为：

建立辅助变量M在ADMM算法下的子问题为：

步骤3.2、通过以下公式求解M子问题：

其中，M_k+1为最新的辅助变量M，M^k为前一次迭代的结果，ρ为二次惩罚项系数，s＝min{q,K}，

表示

在φ的梯度，并且M的奇异值表示为

且D_k＝M-Y^k，Y^k+1＝Y^k+(U^k+1-M^k+1)。

作为优选，采用区域融合算法求解所述深度图像修复模型中的U子问题，以更新辅助变量U，包括：

步骤4.1、建立U在区域融合算法下的子问题：

步骤4.2、扩展区域融合最小化解决U的最小化问题，定义损失函数如下：

步骤4.3、对于U_i＝U_j优化，当满足以下条件时：

优化结果为U_i＝U_j＝A，定义公式(11)在这个条件下的函数值为f_A；

步骤4.4、对于|U_i-U_j|＝1，即U_j＝U_i±1优化，当满足以下条件时：

优化结果为U_i＝B，U_j＝B±1，定义公式(11)在该条件下的函数值为f_B；

步骤4.5、对于|U_i-U_j|＞1优化，在满足以下条件时：

U_i＝C_i，U_j＝C_j (14)

并且定义公式(11)在该条件下的函数值为f_C；

步骤4.6、根据步骤4.3～步骤4.5，得到融合标准为：

将U_k+1作为本次迭代得到的最新的辅助变量U。

作为优选，所述基于非凸低秩低梯度的深度图像修复方法在算法中显示为：

输入：待修复的深度图像D；

初始化：γ范数，λ₁，λ₂＝0，D₀＝0，k＝0，iter，err；

S1、若iter＞0，同时相对误差relative error＞err，则继续执行；否则输出修复后的深度图像U；

S2、计算D_k＝M-Y^k；

S3、利用公式(7)更新辅助变量M；

S4、利用公式(10)更新辅助变量U；

S5、更新辅助变量Y^k+1＝Y^k+(U^k+1-M^k+1)；

S6、iter＝iter+1，并重新执行S1。

本申请提供的基于非凸低秩低梯度的深度图像修复方法，为了保持图像的梯度惩罚的准确性引入

范数，并且针对低秩矩阵M的奇异值计算加入非凸低秩，得到的深度图像修复模型可有效现有的图像修复方法中存在高维数据凸松弛收敛速度慢、深度图像的无纹理性、数据过于稀疏的缺点，深度图像修复方法整体的运行效率高、数据适应性强、准确度高、鲁棒性强。

附图说明

图1为本申请的基于非凸低秩低梯度的深度图像修复方法的流程图；

图2为各函数与奇异值的关系示意图；

图3为本申请一种实施例的图像处理结果示意图；

图4为实施例2中随机缺失掩码的示意图；

图5为实施例2中文本掩码的示意图；

图6为实施例2中的待修复原图；

图7为实施例2中LR算法处理后的图片；

图8为实施例2中LRTV算法处理后的图片；

图9为实施例2中LRL0算法处理后的图片；

图10为实施例2中NonLRL0^ψ算法处理后的图片。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

如图1所示，其中一个实施例中，提供一种基于非凸低秩低梯度的深度图像修复方法，具体包括以下步骤：

步骤1、获取待修复的深度图像D，确定深度图像D的待修复区域Ω，构建图像修复矩阵U。

步骤2、构建基于非凸低秩低梯度的深度图像修复模型：

步骤2.1、引入

范数。已知可以通过稀疏梯度正则化来惩罚非零梯度，然而，深度图像的梯度不能简单得看作是稀疏的。统计数据表明，虽然大多数的深度图像的像素梯度为零，但仍有一部分梯度为1的像素点是不可忽略的。

广义的TV^ψ范数对于梯度的惩罚不是线性增长的，与泛化的TV范数相似，本实施例采用区域融合最小化方法优化TV范数，提出了

对于梯度1的惩罚的误差是减小的，定义

范数的表达式如下：

其中，M＝[m₁，m₂，m₃，...，m_n]∈R^m×n，α为权值系数且0＜α＜1，#{·}代表数据集中元素的个数。

步骤2.2、由于信号和图像处理非凸正则化具有优异的性能，故针对低秩矩阵M的奇异值计算引入非凸低秩优化方法，即采用非凸低秩函数优化核范数，所述非凸低秩的表达式如下：

其中，γ为γ范数，且γ＞0，q＝m，K＝n，m、n为M的行列数，σ_i表示M在i时的奇异值。

步骤2.3、构建所述深度图像修复模型，如下：

其中，

λ₁为约束项的权值系数，λ₂是

梯度项的重要权值，

D为深度图像。

如图2所示，当奇异值大于1时，核范数、log函数和Schatten p-norm显著偏离1，说明秩分量过小。相对的，而/范数与真实的秩信息更接近，这就意味着γ范数比其他函数更加近似于真实的秩函数。特殊地，γ范数是一种伪范数，γ范数具有如下性质：

性质1：给定U∈R^q×K，则γ范数满足如下性质：

其中，||U||_γ为酉不变量，例如：对于任意正交矩阵U∈R^q×q和V∈R^K×K都有||U||_γ＝||LUV||_γ。

性质2-正定性：对于

可得到如下关系式：

采用(·)^T，(·)^-1，λ分别表示转置矩阵、逆矩阵和矩阵的特征值，采用E表示一个单位矩阵，引入辅助矩阵L∈R^K×q、V∈R^K×q，则有特征多项式如下：

|(LUV)^TLUV-λE|＝|V^TU^TL^TLUV-λE|＝|V^TU^TUV-λE|＝|V-¹U^TUV-λE|＝|U^TU-λE| (6)

根据上述特征多项式可知，矩阵(LUV)^TLUV和U^TU有相同的特征值，故LUV和U有相同的奇异值，并且对于任意的σ_i(U)，都存在σ_i(U)≥0，从而推导出φ(σ_i(U))≥0和||U||_γ≥0，并得出结论当且仅当U＝0时φ(σ_i(U))为0；

因此，γ范数存在的正定性为：对于任意U∈R^q×K和||U||_γ＝0当且仅当U＝0时有||U||_γ≥0。

步骤3、采用ADMM算法求解所述深度图像修复模型中的M子问题：

步骤3.1、由于深度图像修复模型中的第二项和第三项不是相互独立的，因此，引入辅助变量M，并且U＝M，M的拉格朗日展开式为：

建立辅助变量M在ADMM算法下的子问题为：

步骤3.2、通过以下公式求解M子问题：

其中，M_k+1为最新的辅助变量M，M^k为前一次迭代的结果，ρ为二次惩罚项系数，s＝min{q，K}，

表示

在φ的梯度，并且M的奇异值表示为

且D_k＝M-Y^k，Y^k+1＝Y^k+(U^k+1-M^k+1)。

步骤4、采用区域融合算法求解所述深度图像修复模型中的U子问题：

步骤4.1、建立U在区域融合算法下的子问题：

步骤4.2、扩展区域融合最小化解决U的最小化问题，定义损失函数如下：

区域融合算法中的区域融合标准包含了三个条件，通过以下步骤进行说明。

步骤4.3、对于U_i＝U_j优化，当满足以下条件时：

优化结果为U_i＝U_j＝A，定义等式(11)在这个条件下的函数值为f_A。

步骤4.4、对于|U_i-U_j|＝1，即U_j＝U_i±1优化，当满足以下条件时：

优化结果为U_i＝B，U_j＝B±1，定义公式(11)在该条件下的函数值为f_B。

步骤4.5、对于|U_i-U_j|＞1优化，在满足以下条件时：

U_i＝C_i，U_j＝C_j (14)

并且定义公式(11)在该条件下的函数值为f_C。

步骤4.6、根据步骤4.3～步骤4.5，得到融合标准为：

将U_k+1作为本次迭代得到的最新的辅助变量U。

步骤5、迭代执行步骤3和步骤4以更新辅助变量M、U，直至满足结束条件，得到修复后的深度图像U。本实施例的一种处理效果如图3所示，由图可看出，本实施例的深度图像修复方法修复后的图像复原度高，且克服了深度图像的无纹理性、数据过于稀疏的缺点。

本实施例的基于非凸低秩低梯度的深度图像修复方法，为了保持图像的梯度惩罚的准确性引入

范数，并且针对低秩矩阵M的奇异值计算加入非凸低秩，得到的深度图像修复模型可有效现有的图像修复方法中存在高维数据凸松弛收敛速度慢、深度图像的无纹理性、数据过于稀疏的缺点，深度图像修复方法整体的运行效率高、数据适应性强、准确度高、鲁棒性强。

以下通过实施例进一步说明本申请基于非凸低秩低梯度的深度图像修复方法在算法中的流程。

实施例1

本实施例的基于非凸低秩低梯度的深度图像修复方法在算法中显示为：

输入：待修复的深度图像D；

初始化：γ范数，λ₁，λ₂＝0，D₀＝0，k＝0，iter，err；

S1、若iter＞0，同时相对误差relative error＞err，则继续执行；否则输出修复后的深度图像U；

S2、计算D_k＝M-Y^k；

S3、利用公式(7)更新辅助变量M；

S4、利用公式(10)更新辅助变量U；

S5、更新辅助变量Y^k+1＝Y^k+(U^k+1-M^k+1)；

S6、iter＝iter+1，并重新执行S1。

该算法中的S2和S5在深度图像修复方法执行步骤3和步骤4时计算。

以下通过实施例直观体现本申请的基于非凸低秩低梯度的深度图像修复方法的处理效果。

实施例2

1)数据集：基准深度图像来自于14种图像包括Adirondack、Jadeplant、Motorcycle、Piano、Playtable、Playroom、Recycle、Shelves、Teddy、Pipes、Vintage、MotorcycleE、PianoL、PlaytableP。基准视差图的未知值转换到深度图像中为0。为了创建待修复图像，数据集中也包含了了几种掩码，包括如图4所示的随机缺失掩码和如图5所示的文本掩码，并且在数据集中同时生成源码图像。

2)实验部分

2.1)参数设置

实验在Inter i7 3.5GHz CPU、16G内存上进行，以本申请的基于非凸低秩低梯度的深度图像修复方法(简称为NonLRL0^ψ算法)为实验组，以现有的低秩(LR)算法、低秩全变分(LRTV)算法、低秩低梯度(LRL0)算法为对照组进行实验，且实验参数设置如下：

针对所有的算法设置低秩权重λ_r＝10，对于LRTV算法设置的TV正则项权重为λ_tv＝40，对于LRL0算法设置的权重为λ_l0＝30，对于NonLRL0^ψ算法设置的低秩权重为

设置迭代次数阈值为30次，精度阈值设置为0.0001。

2.2)实验数据

表1实验数据一

表2实验数据二

表3实验数据三

表4实验数据四

表1～表4记录的实验数据为针对不同数据集使用不同的修复算法所得到的实验结果，其中的掩码类型表示实验所使用的图像应用哪种数据来生成待修复图像，即对应得到不同的数据集，且rand表示随机缺失，text表示文本。

并且得到一组数据处理图片如图6～10所示，其中图6为待修复的原图，图7为LR算法处理后的图片，图8为LRTV算法处理后的图片，图9为LRL0算法处理后的图片，图10为NonLRL0^ψ算法处理后的图片。

2.3)结果分析

从表1～4和图6～10可以看出，LR算法有明显的噪声，LRL0的修复效果比LRTV算法的修复效果好，且修复结果也更接近NonLRL0^ψ算法。但是，在数据集MotorE和Jadepl上，LRL0的表现比LRTV要差一些，而NonLRL0^ψ算法的修复效果依旧保持较好。结合所有的数据可得，本申请的NonLRL0^ψ算法针对不同类型的待修复图像，始终具有较好的修复效果，因为申请的NonLRL0^ψ算法更好地处理了修复过程中深度图像渐进的像素变化，故始终能够达到最好的PSNR结果。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于非凸低秩低梯度的深度图像修复方法，其特征在于，所述基于非凸低秩低梯度的深度图像修复方法，包括：

步骤1、获取待修复的深度图像D，确定深度图像D的待修复区域Ω，构建图像修复矩阵U；

步骤2、构建基于非凸低秩低梯度的深度图像修复模型：

步骤2.1、引入

范数，

范数的表达式如下：

其中，M＝[m₁,m₂,m₃,…,m_n]∈R^m×n，α为权值系数且0<α<1，#{·}代表数据集中元素的个数；

步骤2.2、针对低秩矩阵M的奇异值计算引入非凸低秩优化方法，所述非凸低秩的表达式如下：

其中，γ为γ范数，且γ>0，q＝m，K＝n，m、n为M的行列数，σ_i表示M在i时的奇异值；

步骤2.3、构建所述深度图像修复模型，如下：

其中，

λ₁为约束项的权值系数，λ₂是

梯度项的重要权值，

D为深度图像；

步骤3、采用ADMM算法求解所述深度图像修复模型中的M子问题，包括：

步骤3.1、引入辅助变量M，并且U＝M，M的拉格朗日展开式为：

建立辅助变量M在ADMM算法下的子问题为：

步骤3.2、通过以下公式求解M子问题：

其中，M_k+1为最新的辅助变量M，M^k为前一次迭代的结果，ρ为二次惩罚项系数，s＝min{q,K}，

表示

在φ的梯度，并且M的奇异值表示为

步骤4、采用区域融合算法求解所述深度图像修复模型中的U子问题；

步骤5、迭代执行步骤3和步骤4以更新辅助变量M、U，直至满足结束条件，得到修复后的深度图像U。

2.如权利要求1所述的基于非凸低秩低梯度的深度图像修复方法，其特征在于，所述γ范数具有如下性质：

性质1：给定U∈R^q×K，则γ范数满足如下性质：

其中，‖U‖_γ为酉不变量；

性质2-正定性：对于

可得到如下关系式：

采用(·)^T,(·)^-1,λ分别表示转置矩阵、逆矩阵和矩阵的特征值，采用E表示一个单位矩阵，引入辅助矩阵L∈R^K×q、V∈R^K×q，则有特征多项式如下：

|(LUV)^TLUV-λE|＝|V^TU^TL^TLUV-λE|＝|V^TU^TUV-λE|＝|V^-1U^TUV-λE|＝|U^TU-λE| (6)

根据上述特征多项式可知，矩阵(LUV)^TLUV和U^TU有相同的特征值，故LUV和U有相同的奇异值，并且对于任意的σ_i(U)，都存在σ_i(U)≥0，从而推导出φ(σ_i(U))≥0和||U||_γ≥0，并得出结论当且仅当U＝0时φ(σ_i(U))为0；

因此，γ范数存在的正定性为：对于任意U∈R^q×K和‖U‖_γ＝0当且仅当U＝0时有‖U‖_γ≥0。

3.如权利要求1所述的基于非凸低秩低梯度的深度图像修复方法，其特征在于，采用区域融合算法求解所述深度图像修复模型中的U子问题，以更新辅助变量U，包括：

步骤4.1、建立U在区域融合算法下的子问题：

步骤4.2、扩展区域融合最小化解决U的最小化问题，定义损失函数如下：

步骤4.3、对于U_i＝U_j优化，当满足以下条件时：

优化结果为U_i＝U_j＝A，定义公式(11)在这个条件下的函数值为f_A；

步骤4.4、对于|U_i-U_j|＝1，即U_j＝U_i±1优化，当满足以下条件时：

优化结果为U_i＝B，U_j＝B±1，定义公式(11)在该条件下的函数值为f_B；

步骤4.5、对于|U_i-U_j|>1优化，在满足以下条件时：

U_i＝C_i,U_j＝C_j (14)

并且定义公式(11)在该条件下的函数值为f_C；

步骤4.6、根据步骤4.3～步骤4.5，得到融合标准为：

将U_k+1作为本次迭代得到的最新的辅助变量U。

4.如权利要求1所述的基于非凸低秩低梯度的深度图像修复方法，其特征在于，所述基于非凸低秩低梯度的深度图像修复方法在算法中显示为：

输入：待修复的深度图像D；

初始化：γ范数，λ₁，λ₂＝0，D₀＝0，k＝0，iter，err；

S1、若iter>0，同时相对误差relative error>err，则继续执行；否则输出修复后的深度图像U；

S2、计算D_k＝M-Y^k；

S3、利用公式(7)更新辅助变量M；

S4、利用公式(10)更新辅助变量U；

S5、更新辅助变量Y^k+1＝Y^k+(U^k+1-M^k+1)；

S6、iter＝iter+1，并重新执行S1。

Images