CN111724428A - 基于图上信号模型的深度图采样与重构方法 - Google Patents

Abstract

本发明涉及重构深度图的获取技术，为提出重构深度图的获取方法，实现深度图采样与重构，本发明采取的技术方案是：基于图上信号模型的深度图采样与重构方法，在采样端，基于图上信号的分析通过建立图结构，得到GNS(graph‑based non‑uniform sampling)采样模型以此捕捉得到深度信号特征；在重构端，利用深度‑彩色之间的结构相关性，建立重构模型GDR(graph‑based depth reconstruction)，并以所述重构模型GDR恢复采样过程中建立的图结构，通过构造合理的约束项，最终获得高质量重构深度图。本发明主要应用于重构深度图的获取场合。

Description

基于图上信号模型的深度图采样与重构方法

技术领域

本发明涉及重构深度图的获取技术，具体涉及基于图上信号模型的深度图采样与重构方法。

背景技术

在计算机应用领域，很多应用需求高质量的深度图像/视频,例如姿势识别，机器人导航和3DTV。然而，由于传感机制的固有限制，现有的基于飞行时间(ToF)或结构光采集仪器捕获的深度图大多是低分辨率或结构缺失的。为了弥补深度感知器的欠采样，深度图超分辨率一直是过去十年内的热门研究方向。一种有效的方法是利用被上采样的深度图与对应的高分辨率彩色图之间结构的关联性。例如，在基于滤波的方法中，通过精心设计的加权系数对相邻像素值进行加权来获得每个像素的深度值，加权系数是根据深度和颜色信息设计的。在基于优化的方法中，诸如总变差先验和自回归先验之类的各种先验被结合到优化模型里，最后通过先进的算法解决。目前的方法大多是对原图进行4、8倍上采样，但是这种低采样率会引入纹理干扰以及出现不需要的伪像。国外已有研究工作证明了在采样率一定的情况下，通过某些自适应的采样方式，得到的重构图效果优于传统的规则采样。目前已有的关于深度图非均匀采样策略是基于主成分分析的分步采样(two-stage PCA)，它相对于其他基于形态学特征的非均匀采样方式具有更好的重构效果以及理论支撑，但是two-stage PCA需要分步采样，计算复杂度与运算时间消耗大。随着基于图结构信号处理的发展，二维深度图像的特征可以通过图结构表示。

对非均匀采样过后的稀疏样本进行恢复可以看成矩阵填充，几年来对矩阵填充问题的算法有很多研究成果，这些算法主要利用迭代的奇异值分解的方法来逼近原来模型的解。如SVT(奇异值阈值)算法，APG(加速近邻梯度)算法，ALM(增广拉格朗日乘子)算法等。在现有的算法中，解决矩阵填充问题时，SVT算法在编程实现过程中需要的内存很小，所以比较适合大规模矩阵的情况使用，但是SVT只适用于矩阵秩非常低的情况。APG是从FISTA(快速迭代收缩阈值)算法变化得到的，其收敛速度比SVT等算法快很多。在解决矩阵恢复问题时，SVT和APG算法依然可以有着不错的表现，但是从收敛速度来看，这些算法都是次线性的。相比之下ALM算法则有着较快的收敛速度。而ADMM算法是ALM算法的一种延伸，只不过将无约束优化的部分用块坐标下降法来分别优化。产生这种方法主要是为了弥补二次惩罚的缺点。在一些问题当中，用二次惩罚来近似约束问题在最优点附近需要惩罚项的系数趋近于无穷，而这种要求会使得海森矩阵很大，因此近似的目标函数很不稳定。为了解决这个问题，引入了线性逼近的部分，通过线性项系数不断的接近最优解(对偶上升)，使得在二次惩罚项的系数很小的情况下，也能得到满足要求精度的解。ADMM目前是比较成熟，比较受欢迎的约束问题最优化通用框架。

发明内容

为克服现有技术的不足，本发明旨在提出重构深度图的获取方法。为此，通过基于图上信号的分析，本发明采取的技术方案是：基于图上信号模型的深度图采样与重构方法，在采样端，基于图上信号的分析通过建立图结构，得到GNS(graph-based non-uniformsampling)采样模型以此捕捉得到深度信号特征；在重构端，利用深度-彩色之间的结构相关性，建立重构模型GDR(graph-based depth reconstruction)，并以所述重构模型GDR恢复采样过程中建立的图结构，通过构造合理的约束项，最终获得高质量重构深度图。

GNS非均匀采样方式具体步骤如下：

1)用矩阵

表示待采样的深度图，

是X的向量化形式，N＝m×n，将每一个像素点都当做图结构中的一个顶点，图结构中的边表示两个顶点之间存在关联，用邻接矩阵

中的元素W(i,j),表示任一像素i与其邻域中的像素j之间的相似性，W中包含了所有顶点与边的信息，构造W(i,j)的步骤如下：

1-1)添加两组分别代表各顶点的x坐标与y坐标的向量，得到一个

的特征向量组，其中第一列是x坐标值，第二列是y坐标值，第三列是深度值；

1-2)确定与顶点i产生边的邻域，定义两个顶点之间的“距离”：

其中c_i代表顶点i的坐标，x_i代表顶点j的深度值，α是平衡参数；

对于一个顶点i，用kd树最近邻搜索的方法搜索出距离最近的邻域

将对应的权重W(i,j)设置为：

2)度矩阵反映各个顶点与外界联系的紧密程度，得到邻接矩阵W之后，计算得到度矩阵

进而得到能够反映信号内部特征的拉普拉斯矩阵

及其标准化形式

L＝D-W,

3)标准化的拉普拉斯矩阵是一个高通图滤波器，实质上计算了定义在图结构上的自回归滤波器

的预测误差，用

表示图滤波器的响应：

预测误差e(i)与被采样的概率成正比例关系p(i)＝e(i)/∈,其中∈＝∑_i|e_i|，对于给定的深度图和固定的采样率r，通过{p_i}得到非均匀的稀疏的采样序列

深度恢复模型GDR构建步骤如下：

1)在重构过程中用高质量的彩色图模拟出采样过程中建立的邻接矩阵，重新确立顶点之间的相似性，其中考虑了深度-彩色图结构的相似性，所以重构模型中邻接矩阵

构造如下：

其中δ₁，δ₂，δ₃是分别表示范围滤波器，深度滤波器和色彩滤波器的衰减率；

2)

是

对应的标准化拉普拉斯矩阵，用

定义相邻顶点间的关系，同时，为了描述深度图分段平滑的特性，使用标准总变差TV正则项对重构的深度图进行约束，结合已有的稀疏样本序列b，重构方程描述为：

其中S是对角化之后采样矩阵,即

P＝[P_X；P_y]是水平和竖直方向上的一阶差分算子，

是基于图结构的拉普拉斯矩阵变形形式，最后得到的最优解x是希望得到的重构深度图序列，‖·‖₂表示矩阵的二范数，‖·‖₁表示矩阵的一范数；

3)求解重构方程，采用交替方向乘子法ADMM，引入r＝x,v＝Px两个辅助变量，为了寻找到平稳点，首先写出模型的增广拉格朗日形式：

其中，w,z是拉格朗日乘子，μ，γ是惩罚因子；

增广拉格朗日函数迭代求解方程如下：

上式中的argmin_x,r,v{·}表示使目标函数取最小值时变量x,r,v的值，ρ₁,ρ₂为倍数因子，k是迭代次数,转换为交替方向法进行如下序列求解：

然后进行迭代求解得到最终的结果。

进行迭代求解的具体步骤如下：

3-1)求解x^k+1:使用傅里叶转换的方法简化矩阵的乘除；

去掉增广拉格朗日方程中与x无关的项，得到如下方程：

对上式等号右侧进行一阶求导得到：

(μI+γP^TP)x^k+1＝(μr^k-w^k+P^Tz^k+γP^Tv^k)

因为P^TP是循环矩阵，所以(μI+γP^TP)利用傅里叶变换是可对角化的，所以x子问题的解写为：

其中

表示2D傅里叶变换，

表示2D傅里叶反变换，

为微分算子的平方；

3-2)求解r^k+1：使用共轭梯度算法(pcg)求解；

去掉增广拉格朗日方程中与r无关的项，得到如下方程：

对上式等号右侧进行一阶求导得到：

因为

是对称的稀疏矩阵，所以求解r的子问题时可以使用预处理共轭梯度算法通过简单的几次迭代达到收敛；

3-3)求解v^k+1：利用凸优化收缩算法求解；

去掉增广拉格朗日方程中与v无关的项，得到如下方程:

这是标准的1范数最小化问题，通过配方并利用收缩算法得到：

其中

表示收缩算子。

重复上述步骤3-1)、3-2)、3-3)直到算法收敛，这时迭代的结果x^k+1，r^k+1，v^k+1就是原问题的最终解x，r，v。

本发明的特点及有益效果是：

本发明方法针对现有深度感知器生成深度图低分辨率和深度缺失的缺点，在相同采样率的基础上，基于图结构的信号处理理论，提出了更加注重特征提取的非均匀采样方式(GNS)，接着提出基于图的重构模型(GDR)。本发明具有以下特点：

1)基于图结构，对二维图像信号的特征有更加细致的表达，为采样以及重构过程提供像素相似性关系提供理论依据。

2)运用了ADMM，PCG,Fourier transform等算法求解子问题，整合了已有算法的优点。

3)利用深度-彩色图中结构相似性，预测深度图中深度不连续处点的位置，从而重构质量更高。

附图说明：

图1是本发明流程图；

图2是采样率一定的情况下，几种采样方式与对应的重构的深度图的对比；

图3是不同采样策略与重构模型的组合。

具体实施方式

本发明属于计算机应用领域，应用于压缩感知方面也具有应用价值。具体来说在由低分辨率的深度图重构出高分辨率深度图的过程中，传统方法是将低分辨率的深度图进行2倍、4倍或更高倍数的上采样。随着近年来基于图(一种数据结构)理论信号处理的发展，通过建立图结构，提出类似双边滤波器的模型，得到更灵活的采样方式(graph-based non-uniform sampling,简称GNS)，更突出的信号特征以便得到更高质量的重构深度图。利用深度-彩色之间的结构相关性，尝试恢复采样过程中建立的图结构，因此提出了相应的重构模型(graph-based depth reconstruction,简称GDR)，获得高质量重构深度图。

本发明分为两部分，第一部分为GNS非均匀采样方式。

1)用矩阵

表示待采样的深度图，

是X的向量化形式,将每一个像素点都当做图结构中的一个顶点，图结构中的边表示两个顶点之间存在关联(相似性)。用邻接矩阵

中的元素W(i,j),表示任一像素i与其邻域中的像素j之间的相似性。W中包含了所有顶点与边的信息，生成的步骤如下：

1-1)x是一组代表各顶点深度值的向量，同时再添加两组分别代表各顶点的x坐标与y坐标的向量，得到一个

的特征向量组，其中第一列是x坐标值，第二列是y坐标值，第三列是深度值。

1-2)确定与顶点i产生边的邻域，定义两个顶点之间的“距离”：

其中c_i代表顶点i的坐标，x_i代表顶点j的深度值，α是平衡参数。

对于一个顶点i，用kd树最近邻搜索的方法搜索出距离最近的10个顶点(邻域

)，将对应的权重W(i,j)设置为：

2)度矩阵反映各个顶点与外界联系的紧密程度。得到邻接矩阵W之后，计算得到度矩阵

进而得到能够反映信号内部特征的拉普拉斯矩阵

及其标准化形式

L＝D-W,

3)标准化的拉普拉斯矩阵是一个高通图滤波器，实质上计算了定义在图结构上的自回归滤波器

的预测误差。用

表示图滤波器的响应：

预测误差e(i)与被采样的概率成正比例关系p(i)＝e(i)/∈,其中∈＝∑_i|e_i|，对于给定的深度图和固定的采样率r，通过{p_i}可以得到非均匀的稀疏的采样序列

第二部分，得到非均匀稀疏采样样本之后，本发明基于图拉普拉斯矩阵结构提出深度恢复模型GDR。主要为以下步骤：

1)在重构过程中用高质量的彩色图模拟出采样过程中建立的邻接矩阵，重新确立顶点之间的相似性，其中考虑了深度-彩色图结构的相似性(深度不连续处一般在对应的彩色图中也会出现色彩的差异)，所以重构模型中邻接矩阵

构造如下：

其中δ₁，δ₂，δ₃是分别表示范围滤波器，深度滤波器和色彩滤波器的衰减率。

2)

是

对应的标准化拉普拉斯矩阵，用

定义相邻顶点间的关系。同时，为了描述深度图分段平滑的特性，使用标准总变差(TV)正则项对重构的深度图进行约束，结合已有的稀疏样本序列b，重构方程描述为：

其中S是对角化之后采样矩阵,即

P＝[P_X；P_y]是水平和竖直方向上的一阶差分算子，

是基于图结构的拉普拉斯矩阵变形形式，最后得到的最优解x是希望得到的重构深度图序列。‖·‖₂表示矩阵(向量)的二范数，‖·‖₁表示矩阵(向量)的一范数。

3)求解重构方程，本发明采用交替方向乘子法(ADMM)，引入r＝x,v＝Px两个辅助变量为了寻找到平稳点，首先写出模型的增广拉格朗日形式：

其中，w,z是拉格朗日乘子，μ，γ是惩罚因子。

增广拉格朗日函数迭代求解方程如下：

上式中的argmin_x,r,v{·}表示使目标函数取最小值时变量x,r,v的值，ρ₁,ρ₂为倍数因子，k是迭代次数,转换为交替方向法进行如下序列求解：

然后按照步骤3-1),3-2),3-3)的方法进行迭代求解得到最终的结果。

3-1)求解x^k+1:使用傅里叶转换的方法简化矩阵的乘除；

去掉增广拉格朗日方程中与x无关的项，得到如下方程：

对上式等号右侧进行一阶求导得到：

(μI+γP^TP)x^k+1＝(μr^k-w^k+P^Tz^k+γP^Tv^k)

因为P^TP是循环矩阵，所以(μI+γP^TP)利用傅里叶变换是可对角化的，所以x子问题的解可以写为：

其中

表示2D傅里叶变换，

表示2D傅里叶反变换，

为微分算子的平方。

3-2)求解r^k+1：使用共轭梯度算法(pcg)求解；

去掉增广拉格朗日方程中与r无关的项，得到如下方程：

对上式等号右侧进行一阶求导得到：

因为

是对称的稀疏矩阵，所以求解r的子问题时可以使用预处理共轭梯度算法通过简单的几次迭代达到收敛。

3-3)求解v^k+1:利用凸优化收缩算法求解；

去掉增广拉格朗日方程中与v无关的项，得到如下方程:

这是标准的1范数最小化问题，通过配方并利用收缩算法得到：

其中

表示收缩算子。

重复上述步骤3-1)、3-2)、3-3)直到算法收敛，这时迭代的结果x^k+1，r^k+1，v^k+1就是原问题的最终解x，r，v。

图是一种数据结构，利用图可以分析信号的某些内部特征。GNS是基于图的高通滤波器，从而得到一种特征突出的采样结果，有利于高质量的重构。在GDR重构模型中，同样是利用高分辨率的彩色图，试图重构采样时建立的图结构，同时加入总变差项进行分段平滑。下面结合附图和实例对本发明做简要说明。

1)将图像看作矩阵，则原图像可以用矩阵X表示(共N个像素)，构造一个表示深度图特征的N行3列的矩阵

第一、二、三列分别对应像素的x坐标，y坐标和深度值。

2)将每个像素看做一个顶点，根据之前步骤构造图的邻接矩阵W，W(i,j)大小表示顶点i与j相似性的大小。接着得到度矩阵D以及拉普拉斯矩阵L。标准化(归一化)后的拉普拉斯矩阵

相当于一个高通滤波器，将向量化后的深度图x与高通滤波器相乘，得到响应序列e。

3)响应序列e与x具有相同的尺寸，其中e(i)代表对像素i的预测误差，误差越大，说明该像素被采样的概率越大。将e中所有元素相加得数值∈，则每个像素被采样到的概率为p(i)＝e(i)/∈。给定采样率r，深度图X根据概率分布{p_i}得到非均匀的稀疏序列b。

4)得到非均匀采样后的稀疏样本之后，对稀疏样本进行高分辨率的重构，由于采样过程中的邻接矩阵w不可用，所以通过深度-色彩图之间结构的相似性，定义新的邻接矩阵

再由此推导出标准化拉普拉斯矩阵

同时对重构深度图进行分段平滑，所以定义一阶差分矩阵P。

5)定义

P之后，得到优化模型：

x^*是恢复出的深度图，λ,β是平衡参数。

5-1)引入辅助变量r＝x,v＝Px，所以优化方程可以表示为：

5-2)求出优化方程的增广拉格朗日形式：

其中，x-problem:

r-problem:

v-problem:

对x,r,v进行迭代最小化，更新拉格朗日乘子w,z,以及惩罚因子μ,γ。最终可以得到需要的重构深度图x。

Claims (4)

1.一种基于图上信号模型的深度图采样与重构方法，其特征是，在采样端，基于图上信号的分析通过建立图结构，得到GNS(graph-based non-uniform sampling)采样模型以此捕捉得到深度信号特征；在重构端，利用深度-彩色之间的结构相关性，建立重构模型GDR(graph-based depth reconstruction)，并以所述重构模型GDR恢复采样过程中建立的图结构，通过构造合理的约束项，最终获得高质量重构深度图。

2.如权利要求1所述的基于图上信号模型的深度图采样与重构方法，其特征是，GNS非均匀采样方式具体步骤如下：

1)用矩阵

表示待采样的深度图，

是X的向量化形式，N＝m×n，将每一个像素点都当做图结构中的一个顶点，图结构中的边表示两个顶点之间存在关联，用邻接矩阵

中的元素W(i,j),表示任一像素i与其邻域中的像素j之间的相似性，

W中包含了所有顶点与边的信息，构造W(i,j)的步骤如下：

1-1)添加两组分别代表各顶点的x坐标与y坐标的向量，得到一个

的特征向量组，其中第一列是x坐标值，第二列是y坐标值，第三列是深度值；

1-2)确定与顶点i产生边的邻域，定义两个顶点之间的“距离”：

其中c_i代表顶点i的坐标，x_i代表顶点j的深度值，α是平衡参数；

对于一个顶点i，用kd树最近邻搜索的方法搜索出距离最近的邻域

将对应的权重W(i,j)设置为：

2)度矩阵反映各个顶点与外界联系的紧密程度，得到邻接矩阵W之后，计算得到度矩阵

进而得到能够反映信号内部特征的拉普拉斯矩阵

及其标准化形式

L＝D-W,

3)标准化的拉普拉斯矩阵是一个高通图滤波器，实质上计算了定义在图结构上的自回归滤波器

的预测误差，用

表示图滤波器的响应：

预测误差e(i)与被采样的概率成正比例关系p(i)＝e(i)/∈,其中∈＝∑_i|e_i|，对于给定的深度图和固定的采样率r，通过{p_i}得到非均匀的稀疏的采样序列

3.如权利要求1所述的基于图上信号模型的深度图采样与重构方法，其特征是，深度恢复模型GDR构建步骤如下：

1)在重构过程中用高质量的彩色图模拟出采样过程中建立的邻接矩阵，重新确立顶点之间的相似性，其中考虑了深度-彩色图结构的相似性，所以重构模型中邻接矩阵

构造如下：

其中δ₁，δ₂，δ₃是分别表示范围滤波器，深度滤波器和色彩滤波器的衰减率；

2)

是

对应的标准化拉普拉斯矩阵，用

定义相邻顶点间的关系，同时，为了描述深度图分段平滑的特性，使用标准总变差TV正则项对重构的深度图进行约束，结合已有的稀疏样本序列b，重构方程描述为：

其中S是对角化之后采样矩阵,即

P＝[P_X；P_y]是水平和竖直方向上的一阶差分算子，

是基于图结构的拉普拉斯矩阵变形形式，最后得到的最优解x是希望得到的重构深度图序列，‖·‖₂表示矩阵的二范数，‖·‖₁表示矩阵的一范数；

3)求解重构方程，采用交替方向乘子法ADMM，引入r＝x,v＝Px两个辅助变量，为了寻找到平稳点，首先写出模型的增广拉格朗日形式：

其中，w,z是拉格朗日乘子，μ，γ是惩罚因子；

增广拉格朗日函数迭代求解方程如下：

上式中的argmin_x,r,v{·}表示使目标函数取最小值时变量x,r,v的值，ρ₁,ρ₂为倍数因子，k是迭代次数,转换为交替方向法进行如下序列求解：

然后进行迭代求解得到最终的结果。

4.如权利要求3所述的基于图上信号模型的深度图采样与重构方法，其特征是，进行迭代求解的具体步骤如下：

3-1)求解x^k+1:使用傅里叶转换的方法简化矩阵的乘除；

去掉增广拉格朗日方程中与x无关的项，得到如下方程：

对上式等号右侧进行一阶求导得到：

(μI+γP^TP)x^k+1＝(μr^k-w^k+P^Tz^k+γP^Tv^k)

因为P^TP是循环矩阵，所以(μI+γP^TP)利用傅里叶变换是可对角化的，所以x子问题的解写为：

其中

表示2D傅里叶变换，

表示2D傅里叶反变换，

为微分算子的平方；

3-2)求解r^k+1：使用共轭梯度算法(pcg)求解；

去掉增广拉格朗日方程中与r无关的项，得到如下方程：

对上式等号右侧进行一阶求导得到：

因为

是对称的稀疏矩阵，所以求解r的子问题时可以使用预处理共轭梯度算法通过简单的几次迭代达到收敛；

3-3)求解v^k+1:利用凸优化收缩算法求解；

去掉增广拉格朗日方程中与v无关的项，得到如下方程:

这是标准的1范数最小化问题，通过配方并利用收缩算法得到：

其中

表示收缩算子。

重复上述步骤3-1)、3-2)、3-3)直到算法收敛，这时迭代的结果x^k+1，r^k+1，v^k+1就是原问题的最终解x，r，v。

Images