CN102722863B - 采用自回归模型对深度图进行超分辨率重建的方法 - Google Patents

Abstract

本发明属于计算机视觉领域。为提供一种简便实用的超分辨率的方法，本发明采取的技术方案是，采用自回归模型对深度图进行超分辨率重建方法，包括下列步骤：1)采用Middlebury数据集里提供的同样大小的深度图和彩色图作为实验数据，按照超分辨率比例将测试深度图下采样，再将得到输入的低分辨率深度图以补零上采样的方式到原来的分辨率，得到初始深度散点图；2)构建能量函数的自回归模型项；3)构建能量函数的基础数据项及最终求解方程；4)利用线性函数优化方法对方程进行求解。本发明主要应用于图像处理。

Description

采用自回归模型对深度图进行超分辨率重建的方法

技术领域

本发明属于计算机视觉领域，涉及采用具有预测效果的自回归模型对低分辨率深度图超分辨率的方法。具体讲，涉及基于自回归模型的深度超分辨率重构方法。

背景技术

超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，利用低分辨率的图像来得到高分辨率的图像。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换。

随着成像技术的进步，近年面市的深度相机突破了传统激光扫描和立体匹配进行深度成像的限制，可以比较方便地获得实时动态三维场景的深度。但是，受到分辨率的限制，其在计算机视觉领域的应用变得很窄。所以，寻找一种增强当前深度图分辨率水平的方法是必要的。增加空间分辨率最直接的解决方法就是通过传感器制造技术减少像素尺寸(例如增加每单元面积的像素数量)。然而，随着像素尺寸的减少，光通量也随之减少，它所产生的散粒噪声使得图像质量严重恶化。另外一个增加空间分辨率的方法是增加芯片的尺寸，从而增加图像的容量。因为很难提高大容量的耦合转换率，因此这种方法一般不认为是有效的。

一种很有前途的方法就是采用信号处理的方法从低分辨率图像得到高分辨率图像。现阶段，国内外工作都是采用经过对齐的高分辨率的彩色图片与低分辨率的深度图片结合来获得高分辨率的深度图。这样，在假设深度不连续的地方正好可以对应彩色图像的边缘，而颜色一致的区域含有相似的3D(three-dimension)几何结构的情况下，可以利用高分辨率的彩色信息对低分辨率深度图进行超分辨率优化。一种方法是将超分辨率优化定义为一个基于马尔科夫场的后项概率问题。通过优化最大后项概率问题，可以提高分辨率。还有一类方法采用双边滤波器来实现超分辨率。因为双边滤波器在滤波的同时可以很好的保住边缘而不被模糊。根据这一特点，将其应用于深度图，可以在扩大分辨率的同时，同时维持边缘的锐利。最近，还有一类方法采用非局部均值滤波来实现超分辨率。他们通过非局部均值滤波可以判断出相似结构的特性，来实现超分辨率。但是，上述提到的方法都不能够很好的维持边缘的锐利性，并且在细小的结构上也容易产生混淆。

发明内容

本发明旨在解决克服现有技术的不足，提供一种简便实用的超分辨率的方法。本发明采取的技术方案是，采用自回归模型对深度图进行超分辨率重建方法，包括下列步骤：

1)采用Middlebury数据集里提供的同样大小的深度图和彩色图作为实验数据，按照超分辨率比例将测试深度图下采样，再将得到输入的低分辨率深度图以补零上采样的方式到原来的分辨率，得到初始深度散点图；根据自回归模型，构造如下优化方程：

${\min }_F\underset{f(i,j)\∈F}{\mathrm{\Σ}}\left|\right|f(i,j)-\underset{(u,v)\∈S}{\mathrm{\Σ}}{a}_{i,j}(u,v)f(u,v)\left|\right|---\left(1\right)$

$\mathrm{subject\; to}{\left|\right|\mathrm{\Ψy}-x\left|\right|}_2^2=0.$

其中，f(i，j)∈F代表图像F上的某一点f(i，j)，(i，j)是当前像素点的索引，a_i，j(u，v)为预测系数，(u，v)是(i，j)的邻域像素点，f(u，v)是邻域像素值，(u，v)∈S代表(u，v)在邻域集合S内，

为初始散点的限制条件，Ψ为空间变换矩阵，y是变换前的矩阵， x是含有有效值的矩阵，‖‖₂表示2范数，subject to表示根据...；

2)构建能量函数的自回归模型项：根据彩色图，双三次插值后的模糊深度图，和每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中，将得到自回归模型作为能量函数的一项列入优化方程；

3)构建能量函数的基础数据项及最终求解方程：利用初始的深度散点构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程；

4)利用线性函数优化方法对方程进行求解。

根据彩色图以及每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中，将得到自回归模型作为能量函数的一项列入优化方程，具体包括以下步骤：

21)利用彩色图像，对其中的每一个像素，选取它的(2w+1)×(2w+1)大小窗口的领域对其进行预测，其中，w是窗口一半的大小；

22)用双边滤波的核取代传统的非局部均值滤波的高斯核，作为训练每个像素参数的基本方法，得到彩色图上的预测系数a_f，p，公式如下：

$a_{f,p}=\exp (-\frac{B_f|P\left(I_f\right)-P\left(I_p\right)|}{2{\mathrm{\σ}}^2})---\left(2\right)$

$B_f(f,p)=\exp (-\frac{{|f-p|}^2}{2{\mathrm{\τ}}_1^2})\exp (-\frac{{|I\left(f\right)-I\left(p\right)|}^2}{2{\mathrm{\τ}}_2^2})---\left(3\right)$

其中，对于当前像素f的邻域中每一个p点，P(I_f)、P(I_p)分别是以彩色值I_f、I_p为中心的预测块；σ为控制a_f，p大小的参数，B_f即为代替了非均值局部滤波的高斯核的双边滤波项，B_f(f，p)代表从f、p两点算出的B_f中的一个权值，τ₁，τ₂分别为空间分辨率和彩色分辨率的调控参数，取值范围均为1.0～5.0，I(f)、I(p)代表彩色图上f、p两点的彩色值；

23)所以引进导图信息：用简单的双三次插值将原始的深度散点插值成模糊的深度图，也作为进行预测的图像，得到初始深度图上的预测系数a_g，公式如下：

$a_g=\exp (-\frac{{(D_g\left(f\right)-D_g\left(p\right))}^2}{2{\mathrm{\τ}}_g^2})---\left(4\right)$

其中，D_g是插值后的深度图，D_g(f)、D_g(p)分别为f、p两点的深度值，τ_g为控制a_g大小的参数，取值范围为4.0～9.0；

24)将22)和23)预测的系数相乘，得到：a＝a_f，p×a_g并带入到下式中作为自回归模型项：

$E_{\mathrm{AR}}=\underset{f\∈F}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2---\left(5\right)$

其中，E_AR为自回归模型项，D是欲求的高分辨率深度图，D(f)、D(p)分别为f、p两点的深度值，S是当前像素点的邻域集合，a为最终的预测系数。

利用初始的深度散点构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程，具体方法包括以下步骤：

31)将初始的深度散点图有值的像素点作为此项的有效值，根据这些点来预测其他为零的像素点的值，公式如下：

$E_{\mathrm{data}}=\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2---\left(6\right)$

其中，E_data为数据项，D是欲求的高分辨率深度图，G是初始的深度散点图，D(f)、G(f)分别为像素f在D和G上的深度值，ζ是G中有效值的集合；

32)通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程，具体公式如下：

$E\left(f\right)=\underset{f\∈f}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2+\mathrm{\λ}\left(\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2\right)---\left(7\right)$

其中，E(f)为能量函数，因子λ平衡两项之间的权重，取值范围为0.01～0.2。

本发明的方法的特点及效果：

本发明方法避免了对成像设备硬件上的改变，采用后处理方法，通过用自回归模型和非局部均值滤波的结合，实现了深度图的超分辨率过程。具有以下特点：

1、程序简单，易于实现。

2、采用自回归模型的预测效果对深度图进行超分辨率重建：将超分辨率问题具体的归结到自回归模型中进行优化，通过非均值局部滤波的方法在对齐的彩色图像对自回归模型进行具有彩色导向的系数训练。这样可以很好的通过彩色图的预测对深度图进行处理，并且双边核替代的非局部均值滤波可以更好地对细小的结构进行预测。

3.通过采用双三次插值方法对原始数据深度散点插值出的边界模糊的深度图做导图，再次对自回归模型的系数进行优化。这样可以保证深度图不会错误的根据彩色图的颜色进行扩散。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是实际实施流程图；

图2是下采样低分辨率深度图(用邻近插值法变成原来大小)；

图3是通过上采样的初始深度散点图；

图4是彩色图像；

图5是测试图的原始深度图像效果图；

图6是利用图3双三次插值后的深度图；

图7是经过超分辨率重构后的深度图。

具体实施方式

下面结合实施例和附图对本发明基于自回归模型的深度图超分辨率做出详细说明。

本发明利用自回归模型对深度图进行超分辨率重建：将深度图超分辨率问题具体地表述为自回归模型求解方程，通过1)利用双边滤波核代替高斯核的非均值滤波的方法在对齐的彩色图像对自回归模型进行具有彩色导向的系数训练2)采用双三次插值方法对原始低分辨率插值出的边界模糊的深度图做导图，再次对自回归模型进行系数训练，将两部分得到的系数相乘作为最终的模型系数带入求解方程中并进行优化。具体方法包括以下步骤：

1)构造初始数据：

11)采用Middlebury数据集里提供的同样大小的深度图和彩色图作为实验数据。

12)按照超分辨率比例将测试深度图下采样，得到输入的低分辨率深度图；

13)将输入的低分辨率深度图以补零上采样的方式到原来的分辨率，得到初始深度图；

14)根据自回归模型，构造如下优化方程：

${\min }_F\underset{f(i,j)\∈F}{\mathrm{\Σ}}\left|\right|f(i,j)-\underset{(u,v)\∈S}{\mathrm{\Σ}}{a}_{i,j}(u,v)f(u,v)\left|\right|---\left(1\right)$

$\mathrm{subject\; to}{\left|\right|\mathrm{\Ψy}-x\left|\right|}_2^2=0.$

其中，f(i，j)∈F代表图像F上的某一点f(i，j)，(i，j)是当前像素点的索引，a_i，j(u，v)为预测系数，与24)中提到的最终系数a相同，可以通过权利要求2中的彩色预测系数a_f，p和初始深度预测系数a_g来确定，(u，v)是(i，j)的邻域像素点，f(u，v)是邻域像素值，(u，v)∈S代表(u，v)在邻域集合S内，

为初始散点的限制条件，Ψ为空间变换矩阵，y是变换前的矩阵，x是含有有效值的矩阵，‖‖₂表示2范数，subject to表示根据...；

2)构建能量函数的自回归模型项：根据彩色图以及每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中。将得到自回归模型作为能量函数的一项列入优化方程；

21)利用彩色图像，对其中的每一个像素，选取它的(2w+1)×(2w+1)大小窗口的领域对其进行预测。其中，w是窗口一半的大小；

22)用双边滤波的核取代传统的非局部均值滤波的高斯核，作为训练每个像素参数的基本方法，得到彩色图上的预测系数a_f，p，公式如下：

$a_{f,p}=\exp (-\frac{B_f|P\left(I_f\right)-P\left(I_p\right)|}{2{\mathrm{\σ}}^2})---\left(2\right)$

$B_f(f,p)=\exp (-\frac{{|f-p|}^2}{2{\mathrm{\τ}}_1^2})\exp (-\frac{{|I\left(f\right)-I\left(p\right)|}^2}{2{\mathrm{\τ}}_2^2})---\left(3\right)$

其中，对于当前像素f的邻域中每一个p点，P(I_f)、P(I_p)分别是以彩色值I_f、I_p为中心的预测块；σ为控制a_f，p大小的参数，B_f即为代替了非均值局部滤波的高斯核的双边滤波项，B_f(f，p)代表从f、p两点算出的B_f中的一个权值，τ₁，τ₂分别为空间分辨率和彩色分辨率的调控参数，I(f)、I(p)代表彩色图上f、p两点的彩色值；a_f，p的值越大，说明f、p两个点的相似度越高，用p点去预测f点准确概率很更高。

23)某些情况下，同一物体表面的像素点可能不具有相同的颜色信息，因此会导致预测不准。所以引进导图信息：用简单的双三次插值将原始的深度散点插值成模糊的深度图，也作为进行预测的图像，得到初始深度图上的预测系数a_g，公式如下：

$a_g=\exp (-\frac{{(D_g\left(f\right)-D_g\left(p\right))}^2}{2{\mathrm{\τ}}_g^2})---\left(4\right)$

其中，D_g是插值后的深度图，D_g(f)、D_g(p)分别为f、p两点的深度值，τ_g为控制a_g大小的参数；

24)将22)和23)预测的系数相乘，得到：a＝a_f，p×a_g并带入到下式中作为自回归模型项：

$E_{\mathrm{AR}}=\underset{f\∈F}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2---\left(5\right)$

其中，E_AR为自回归模型项，D是欲求的高分辨率深度图，D(f)、D(p)分别为f、p两点的深度值，S是当前像素点的邻域范围，a为最终的预测系数。

3)构建能量函数的基础数据项(根据(1)式的限制条件部分)：利用初始的深度散点构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程；

31)将初始的深度散点图有值的像素点作为此项的有效值，根据这些点来预测其他为零的像素点的值，公式如下：

$E_{\mathrm{data}}=\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2---\left(6\right)$

其中，E_data为数据项，D是欲求的高分辨率深度图，G是初始的深度散点图，D(f)、G(f)分别为像素f在D和G上的深度值，ζ是G中有效值的集合；

32)通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程，具体公式如下：

$E\left(f\right)=\underset{f\∈f}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2+\mathrm{\λ}\left(\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2\right)---\left(7\right)$

其中，E(f)为能量函数，λ是加权因子，平衡两项之间的权重；

4)根据(7)式，利用线性函数优化方法对优化方程进行求解。

41)利用矩阵形式构造自回归模型项：将一个大小为MN图像采用列向量相接的方法转化成一个MN×1维向量，向量的每一个值代表原图像上的一个像素(如：原图像上的(i，j)点在新构造的向量里点的位置在M(j-1)+i)；而每一个点又用一个MN×1维的向量独立进行预测。将2)中预测邻域得到的(2w+1)×(2w+1)个点的a值通过索引的方式填入当前像素点的预测向量内(没有预测系数的地方为零)，可以得到最终的MN×MN的预测矩阵；将当前像素预测得到的(2w+1)×(2w+1)个点的a值进行归一化并取负(即所有a值相加等于-1，与D(f)的系数绝对值相等)。对每一个像素点都进行预测后，得到最后的构造矩阵Q。方程如下所示：

$E_{\mathrm{AR}}={\left|\right|\mathrm{Qf}\left|\right|}_2^2---\left(8\right)$

其中，Q为自回归项构造矩阵，‖‖₂是2范数，f为待求的高分辨率图像；

42)利用矩阵形式构造基础数据项：将初始的深度散点图同样以列向量相接的方式转化成MN×1维的向量；抽出其中非零值从新构成一个p维向量，并且记住相应非零值在原向量中的索引值；初始化一个p×MN维的矩阵P，行p代表着非零的p个值，每一个值用MN×1维的向量构成；在每一行中，将对应的非零值的位置的索引处置为1，其他都为零。方程如下：

$E_{\mathrm{data}}={\left|\right|\mathrm{Pf}-g\left|\right|}_2^2---\left(9\right)$

其中，P为数据项构造矩阵，‖‖₂是2范数，f为待求的高分辨率图像，g为具有非零值的p维向量；

43)将上述的两个方程用拉格朗日算法连在一起构成了最后要求解的方程：

$E\left(f\right)={\left|\right|\mathrm{Pf}-g\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{Qf}\left|\right|}_2^2---\left(10\right)$

其中，E(f)为能量函数，λ是加权因子，平衡两项之间的权重；

所以，我们的目的就是通过求(10)中能量函数的最小值，即来得到最后的f。根据上式，采用导数的方式求解：

$\frac{\∂E}{\∂f}=\frac{\∂({\left|\right|\mathrm{Pf}-g\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{Qf}\left|\right|}_2^2)}{\∂f}=0---\left(11\right)$

其中， 

是E对f所求的导数。由此导出：

f＝(P^TP+λQ^TQ)^-1Pg    (12)

其中，P^T、Q^T分别为P、Q的转置矩阵；

至此，f即为重构后的高分辨率图像。

本发明提出了一种基于自回归模型对深度图进行超分辨率重建方法(如图1的流程所示)，结合附图及实施例详细说明如下：

1)构造初始数据：

11)采用Middlebury数据集里提供的同样大小的深度图和彩色图作为实验数据，如图4和图5。

12)按照超分辨率比例将测试深度图下采样，得到输入的低分辨率深度图，如图2所示。

13)将输入的低分辨率深度图以补零上采样的方式到原来的分辨率，得到初始深度图，如图3所示。

14)根据自回归模型，构造出初始的优化方程：

${\min }_F\underset{f(i,j)\∈F}{\mathrm{\Σ}}\left|\right|f(i,j)-\underset{(u,v)\∈S}{\mathrm{\Σ}}{a}_{i,j}(u,v)f(u,v)\left|\right|---\left(1\right)$

$\mathrm{subject\; to}{\left|\right|\mathrm{\Ψy}-x\left|\right|}_2^2=0.$

其中，f(i，j)∈F代表图像F上的某一点f(i，j)，(i，j)是当前像素点的索引，a_i，j(u，v)为预测系数，与24)中提到的最终系数a相同，可以通过权利要求2中的彩色预测系数a_f，p和初始深度预测系数ag来确定，(u，v)是(i，j)的邻域像素点，f(u，v)是邻域像素值，(u，v)∈S代表(u，v)在邻域集合S内，

为初始散点的限制条件，Ψ为空间变换矩阵，y是变换前的矩阵，x是含有有效值的矩阵，‖‖₂表示2范数，subject to表示根据...；

2)构建能量函数的自回归模型项(根据(1)式中的主要部分)：根据彩色图，根据每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中。将得到自回归模型作为能量函数的一项列入优化方程；

21)利用彩色图像，对其中的每一个像素，选取它的11×11大小窗口的领域对其进行预测；

22)用双边滤波的核取代传统的非局部均值滤波的高斯核，作为训练每个像素参数的基本方法，得到彩色图上的预测系数a_f，p，公式如下：

$a_{f,p}=\exp (-\frac{B_f|P\left(I_f\right)-P\left(I_p\right)|}{2{\mathrm{\σ}}^2})---\left(2\right)$

$B_f(f,p)=\exp (-\frac{{|f-p|}^2}{2{\mathrm{\τ}}_1^2})\exp (-\frac{{|I\left(f\right)-I\left(p\right)|}^2}{2{\mathrm{\τ}}_2^2})---\left(3\right)$

其中，对于当前像素f的邻域中每一个p点，P(I_f)、P(I_p)分别是以彩色值I_f、I_p为中心的预测块，块大小同样取的11×11大小，σ为控制a_f，p大小的参数，取值为2.0，B_f即为代替了非均值局部滤波的高斯核的双边滤波项，B_f(f，p)代表从f、p两点算出的B_f中的一个权值，τ₁，τ₂分别为空间分辨率和彩色分辨率的调控参数，取值范围均为1.0～5.0，以中间值效果为佳，I(f)、I(p)代表彩色图上f、p两点的彩色值；a_f，p的值越大，说明f、p两个点的相似度越高，用p点去预测f点准确概率很更高。

23)某些情况下，同一物体表面的像素点可能不具有相同的颜色信息，因此会导致预测不准。所以引进导图信息：用简单的双三次插值将原始的深度散点插值成一幅图片，也作为进行预测的图像，得到初始深度图上的预测系数a_g，公式如下：

$a_g=\exp (-\frac{{(D_g\left(f\right)-D_g\left(p\right))}^2}{2{\mathrm{\τ}}_g^2})---\left(4\right)$

其中，D_g是插值后的深度图，如图6所示，D_g(f)、D_g(p)分别为f、p两点的深度值，τ_g为控制a_g大小的参数取值范围为4.0～9.0，以中间值效果为佳；

24)将22)和23)预测的系数相乘，得到：a＝a_f，p×a_g并带入到下式中作为自回归模型项：

$E_{\mathrm{AR}}=\underset{f\∈F}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2---\left(5\right)$

其中，E_AR为自回归模型项，D是欲求的高分辨率深度图，D(f)、D(p)分别为f、p两点的深度值，S是当前像素点的邻域范围，a为最终的预测系数。

3)构建能量函数的基础数据项(根据(1)式的限制条件部分)：利用初始的深度散点构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程；

31)将初始的深度散点图有值的像素点作为此项的有效值，根据这些点来预测其他为零的像素点的值，公式如下：

$E_{\mathrm{data}}=\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2---\left(6\right)$

其中，E_data为数据项，D是欲求的高分辨率深度图，G是初始的深度散点图，D(f)、G(f)分别为像素f在D和G上的深度值，ζ是G中有效值的集合；

32)通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程，具体公式如下：

$E\left(f\right)=\underset{f\∈f}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2+\mathrm{\λ}\left(\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2\right)---\left(7\right)$

其中，E(f)为能量函数，因子λ平衡两项之间的权重，取值范围为0.01～0.2，以中间值效果为佳，。

4)根据(7)式，利用线性函数优化方法对优化方程进行求解。

41)利用矩阵形式构造自回归模型项。将一个大小为360×360图像(如图4)采用列向量相接的方法转化成一个360×360维向量，向量的每一个值代表一个像素点；而每一个像素又用一个360×360的向量独立进行预测。将2)中预测邻域得到的11×11＝121个点的a值通过索引的方式填入当前像素点的预测向量内，可以得到最终的(360×360，360×360)大小的预测矩阵；将当前像素预测得到的121个点的a值进行归一化并取负(即所有a值相加等于-1，与D(f)的系数绝对值相等)。对每一个像素点都进行预测后，得到最后的构造矩阵Q。方程如下所示：

$E_{\mathrm{AR}}={\left|\right|\mathrm{Qf}\left|\right|}_2^2---\left(8\right)$

其中，Q为自回归项构造矩阵，‖‖₂是2范数，f为待求的高分辨率图像；

42)利用矩阵形式构造基础数据项。将初始的深度散点图同样以列向量相接的方式转化成360×360维的向量；抽出其中非零值从新构成一个p维向量，并且记住相应非零值在原向量中的索引值；初始化一个(p，360×360)的矩阵P，行p代表着非零的p个值，每一个值用360×360维的向量构成；在每一行中，将对应的非零值的位置的索引处置为1，其他都为零。

方程如下：

$E_{\mathrm{data}}={\left|\right|\mathrm{Pf}-g\left|\right|}_2^2---\left(9\right)$

其中，P为数据项构造矩阵，‖‖₂是2范数，f为待求的高分辨率图像，g为具有非零值的p维向量；

43)将上述的两个方程用拉格朗日算法连在一起构成了最后要求解的方程，求解和得到：

f＝(P^TP+λQ^TQ)^-1Pg    (10)

其中，P^T、Q^T分别为P、Q的转置矩阵；

至此，f即为重构后的高分辨率图像(如图7所示)。

Claims (2)

1.一种采用自回归模型对深度图进行超分辨率重建的方法，其特征是，包括以下步骤：

1）采用Middlebury数据集里提供的同样大小的深度图和彩色图作为实验数据，按照超分辨率比例将测试深度图下采样，再将得到输入的低分辨率深度图以补零上采样的方式到原来的分辨率，得到初始深度散点图；根据自回归模型，构造如下优化方程：

$\begin{array}{c}{\min }_F\underset{f(i,j)\∈F}{\mathrm{\Σ}}\left|\right|f(i,j)-\underset{(u,v)\∈S}{\mathrm{\Σ}}{a}_{i,j}(u,b)f(u,v)\left|\right|\\ \mathrm{subjectto}{\left|\right|{\mathrm{\ψ}}_{y-x}\left|\right|}_2^2=0.\end{array}---\left(1\right)$

其中，f(i,j)∈F代表图像F上的某一点f(i,j)，(i,j)是当前像素点的索引，a_i,j(u,v)为预测系数，(u,v)是(i,j)的邻域像素点，f(u,v)是邻域像素值，(u,v)∈S代表(u,v)在邻域集合S内，

为初始散点的限制条件，Ψ为空间变换矩阵，y是变换前的矩阵，x是含有有效值的矩阵，‖‖₂表示2范数，subject to表示约束条件；

2）构建能量函数的自回归模型项：根据彩色图，双三次插值后的模糊深度图，和每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中，将得到自回归模型作为能量函数的一项列入优化方程；

3）构建能量函数的基础数据项及最终求解方程：利用初始的深度散点构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程；

4）利用线性函数优化方法对方程进行求解；

根据彩色图以及每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中，将得到自回归模型作为能量函数的一项列入优化方程，具体包括以下步骤：

21）利用彩色图像，对其中的每一个像素，选取它的(2w+1)×(2w+1)大小窗口的领域对其进行预测，其中，w是窗口一半的大小；

22）用双边滤波的核取代传统的非局部均值滤波的高斯核，作为训练每个像素参数的基本方法，得到彩色图上的预测系数a_f,p，公式如下：

$a_{f,p}=\exp (-\frac{B_f|P\left(I_f\right)-P\left(I_p\right)|}{2{\mathrm{\σ}}^2})---\left(2\right)$

$B_f(f,p)=\exp (-\frac{{|f-p|}^2}{2{\mathrm{\τ}}_1^2})\exp (-\frac{{|I\left(f\right)-I\left(p\right)|}^2}{2{\mathrm{\τ}}_2^2})---\left(3\right)$

其中，对于当前像素f的邻域中每一个p点，P(I_f)、P(I_p)分别是以彩色值I_f、I_p为中心的预测块；σ为控制a_f,p大小的参数，取值为2.0，B_f即为代替了非均值局部滤波的高斯核的双边滤波项，B_f(f,p)代表从f、p两点算出的B_f中的一个权值，τ₁,τ₂分别为空间分辨率和彩色分辨率的调控参数，取值范围均为1.0～5.0，I(f)、I(p)代表彩色图上f、p两点的彩色值；

23）所以引进导图信息：用简单的双三次插值将原始的深度散点插值成模糊的深度图，也作为进行预测的图像，得到初始深度图上的预测系数a_g，公式如下：

$a_g=\exp (-\frac{{(D_g\left(f\right)-D_g\left(p\right))}^2}{2{\mathrm{\τ}}_g^2})---\left(4\right)$

其中，D_g是插值后的深度图，D_g(f)、D_g(p)分别为f、p两点的深度值，τ_g为控制a_g大小的参数，取值范围为4.0～9.0；

24）将22)和23）预测的系数相乘，得到：a=a_f,p×a_g并带入到下式中作为自回归模型项：

$E_{\mathrm{AR}}=\underset{f\∈F}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2---\left(5\right)$

其中，E_AR为自回归模型项，D是欲求的高分辨率深度图，D(f)、D(p)分别为f、p两点的深度值，S是当前像素点的邻域集合，a为最终的预测系数。

2.如权利要求1所述的采用自回归模型对深度图进行超分辨率重建的方法，其特征是，利用初始的深度散点构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程，具体方法包括以下步骤：

31）将初始的深度散点图有值的像素点作为此项的有效值，根据这些点来预测其他为零的像素点的值，公式如下:

$E_{\mathrm{data}}=\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2---\left(6\right)$

其中，E_data为数据项，D是欲求的高分辨率深度图，G是初始的深度散点图，D(f)、G(f)分别为像素f在D和G上的深度值，ζ是G中有效值的集合；

32）通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程，具体公式如下：

$E\left(f\right)=\underset{f\∈f}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2+\mathrm{\λ}\left(\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2\right)---\left(7\right)$

其中，E(f)为能量函数，因子λ平衡两项之间的权重，取值范围为0.01～0.2。

Images