CN102663712A - 基于飞行时间tof相机的深度计算成像方法 - Google Patents

Abstract

本发明属于计算机视觉领域。在一般量化误差和过载误差之间取得平衡，使量化输出信噪比最优，本发明采取的技术方案是基于飞行时间TOF相机的深度计算成像方法，包括下列步骤：1)经过照相机标定，得到TOF相机和彩色相机各自的包括焦距、光心的内部参数和包括旋转、平移的外部参数；得到高分辨率图上的一些深度散点；2)构建能量函数的自回归模型项；3)构建能量函数的基础数据项和最终求解方程：利用初始的深度散点图构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程；4)利用线性函数优化方法对优化方程进行求解。本发明主要应用于数字图像处理。

Description

基于飞行时间TOF相机的深度计算成像方法

技术领域

本发明属于计算机视觉领域，涉及采用自回归模型对TOF深度相机的深度图优化方法。具体讲，涉及一种基于飞行时间TOF相机的深度计算成像方法。

背景技术

目前，3D(three-dimension)场景深度获取已经成为计算机视觉方面面临的一个最基本的挑战。它的应用涵盖了机器人导航，模型重建以及人机互动等方面。在以前的技术里，人们采取激光扫描以及立体匹配算法等方法去获得深度信息。不幸的是，这些现存的深度获取方法都不是很理想：比如，激光扫描采用逐点扫描，获取深度太耗费时间，不适用与动态场景；而立体匹配在无纹理及遮挡的场景区域会无法匹配，导致深度图不准确。

随着成像技术的进步，近年面市的深度相机突破了传统三维扫描仪只能对静态小尺度场景进行深度成像的限制，可以比较方便地获得较大尺度动态三维场景的深度。其中一种是TOF(time-of-flight)深度相机：它通过传感器CCD(Charge-Coupled Device)记录从发光单元发出的调制红外光到物体，再从物体反射回来的相位变化，在一个波长的范围内根据光速，可以实时的获取整个场景深度距离。TOF相机可以实时的获取一幅完整的场景深度信息，弥补了激光扫描和立体匹配的不足。但是，它的深度成像质量还难以满足应用需求：噪声多，TOF深度相机的深度分辨率较高，但是空间分辨率很低(5万像素左右，如200×200)，与目前主流工业相机的空间分辨率(100万像素左右，如1024×768)还有很大的差距。受限于成像机理，这些深度成像方式短期内难以在成像分辨率和精度上获得进展，要实现更迅速的突破还需要借助于新思路与新方法。

针对提高TOF相机深度图的分辨率，国内外进行了大量的研究工作。现阶段，这些工作都是采用一个高分辨率的彩色照相机与低分辨率的TOF相机结合成一个双目系统来获得高分辨率的深度图。通过架构这样的系统，俩相机光心之间的相对位置可以通过严格的3D转换计算出来(通过俩相机各自的内参数和他们之间的外参数来计算)。通过转换，TOF相机产生的3D深度值可以和普通彩色相机产生的2D(two-dimension)彩色值对应起来。这样，在假设深度不连续的地方正好可以对应彩色图像的边缘，而颜色一致的区域含有相似的3D几何结构的情况下，可以利用高分辨率的彩色信息对低分辨率深度图进行超分辨率优化。一种方法是将超分辨率优化定义为一个基于马尔科夫场的后项概率问题。通过优化最大后项概率问题，可以提高分辨率。还有一类方法采用双边滤波器来实现超分辨率。因为双边滤波器在滤波的同时可以很好的保住边缘而不被模糊。根据这一特点，将其应用于深度图，可以在扩大分辨率的同时，同时维持边缘的锐利。最近，还有一类方法采用非局部均值滤波来实现超分辨率。他们通过非局部均值滤波可以判断出相似结构的特性，来实现超分辨率。但是，上述提到的方法都不能够很好的维持边缘的锐利性，并且在细小的结构上也容易产生混淆。

发明内容

本发明旨在解决克服现有技术的不足，在一般量化误差和过载误差之间取得平衡，使量化输出信噪比最优。为达到上述目的，解决TOF相机深度图分辨率过低的问题，提供一种简便实用的后处理的方法，TOF是时间飞行time-of-flight的字头缩写。本发明采取的技术方案是基于飞行时间TOF相机的深度计算成像方法，借助于一个200×200的TOF相机，一个640×480的彩色相机实现，彩色相机架在TOF相机的上方；所述方法包括下列步骤：

1)经过照相机标定，得到TOF相机和彩色相机各自的包括焦距、光心的内部参数和包括旋转、平移的外部参数；根据TOF相机和彩色相机的内部、外部参数，将TOF相机生成的低分辨率深度图扭转到彩色相机的视角，得到高分辨率图上的一些深度散点；此时，深度散点图和彩色相机拍出来的彩色图像是对齐的，利用彩色图片对深度散点图进行优化；

2)构建能量函数的自回归模型项：根据彩色图、导图以及每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中，将得到自回归模型作为能量函数的一项列入求解方程；

3)构建能量函数的基础数据项和最终求解方程：利用初始的深度散点图构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程；

4)利用线性函数优化方法对优化方程进行求解。

自回归模型项的建立，具体包括以下步骤：

21)利用彩色图像，对其中的每一个像素，选取领域对其进行预测；

22)用双边滤波作为训练每个像素参数的基本方法，得到彩色图上的预测系数a_f，p，公式如下：

$a_{f,p}=\exp (-\frac{{|f-p|}^2}{2{\mathrm{\τ}}_1^2})\exp (-\frac{{\mathrm{\Σ}}_{\mathrm{RGB}}{|I\left(f\right)-I\left(p\right)|}^2}{3\×2{\mathrm{\τ}}_2^2})---\left(1\right)$

其中，对于当前像素f的邻域中每一个p点，I(f)是f点在彩色图I中的RGB三通道值，I(p)是p点在彩色图I中的RGB三通道值，∑_RGB代表RGB三通道所求得的|I(f)-I(p)|²值之和，τ₁，τ₂分别为空间分辨率和彩色分辨率的调控参数，取值范围均为1.0～5.0；

23)用简单的双三次插值将原始的深度散点插值成一幅模糊的深度图像，也作为进行预测的图像，得到初始深度图上的预测系数a_g，公式如下：

$a_g=\exp (-\frac{{(D_g\left(f\right)-D_g\left(p\right))}^2}{2{\mathrm{\τ}}_g^2})---\left(2\right)$

其中，D_g是插值后的深度图，D_g(f)、D_g(p)分别为f、p两点的深度值，τ_g为控制a_g大小的参数，取值范围为4.0～9.0；

24)将公式1)和2)预测的系数相乘，得到：a＝a_f，p×a_g并带入到下式中作为自回归模型项：

$E_{\mathrm{AR}}=\underset{f\∈F}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2---\left(3\right)$

其中，E_AR为自回归模型项，D是欲求的高分辨率深度图，D(f)、D(p)分别为f、p两点的深度值，S是当前像素点的邻域范围，a为最终的预测系数。

基础数据项的建立，具体方法包括以下步骤：

31)将初始的深度散点图有值的像素点作为此项的有效值，根据这些点来预测其他为零的像素点的值，公式如下：

$E_{\mathrm{data}}=\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2---\left(4\right)$

其中，E_data为数据项，D是欲求的高分辨率深度图，G是初始的深度散点图，D(f)、G(f)分别为像素f在D和G上的深度值，ζ是G中有效值的集合；

32)通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程，具体公式如下：

$E\left(f\right)=\underset{f\∈f}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2+\mathrm{\λ}\left(\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2\right)---\left(5\right)$

其中，‘+’号前后分别为3)和4)中的E_AB和E_data，λ取0.5。

本发明的方法的特点及效果：

本发明方法可以应用于实际的TOF系统上，避免了对成像设备硬件上的改变，采用后处理方法，通过用自回归模型和双边滤波的结合，实现了TOF深度图的超分辨率过程。具有以下特点：

1、系统容易架构，仅用一个辅助的彩色相机就可以完成TOF深度图的超分辨率

2、程序简单，易于实现。

3、采用自回归模型的预测效果对深度图进行超分辨率重建：将超分辨率问题具体的归结到自回归模型中进行优化，通过双边滤波的方法在对齐的彩色图像对自回归模型进行具有彩色导向的系数训练。这样可以很好的通过彩色图的预测对深度图进行处理。

4、通过采用双三次插值方法对原始数据深度散点插值出的边界模糊的深度图做导图，再次对自回归模型的系数进行优化。这样可以保证深度图不会错误的根据彩色图的颜色进行扩散。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是实际实施流程图

图2是实际搭设的系统图

图3是TOF相机拍摄低分辨率深度图，分辨率为200×200；

图4是通过扭转视角产生的于彩色图对齐的初始深度散点图；

图5是彩色相机拍出的彩色图像，分辨率为640×480；

图6是经过超分辨率重构后的深度图，分辨率为640×480。

具体实施方式

下面结合实施例和附图对本发明的采用具有导向的自回归模型对TOF深度相机的深度图优化方法做出详细说明。

为解决TOF相机深度图分辨率过低的问题，提供一种简便实用的后处理的方法。本发明的装置配备是：一个TOF PMD[vision]camcube3.0相机，一个Point Grey Flea2彩色相机；将彩色相机架在TOF相机的上方构成本系统。本发明采取的技术方案是，利用自回归模型对深度图进行超分辨率重建：将深度图超分辨率问题具体地表述为自回归模型求解方程，通过1)利用双边滤波的方法在对齐的彩色图像对自回归模型进行具有彩色导向的系数训练2)采用双三次插值方法对原始低分辨率插值出的边界模糊的深度图做导图，再次对自回归模型进行系数训练，将两部分得到的系数相乘作为最终的模型系数带入求解方程中并进行优化。具体方法包括以下步骤：

1)构造初始数据：

11)经过照相机标定，得到TOF相机和彩色相机各自的内部参数(焦距、光心)和外部参数(旋转、平移)；

12)根据TOF相机和彩色相机的内外参数，将TOF相机生成的低分辨率深度图扭转到彩色相机的视角，得到高分辨率图上的一些深度散点。此时，深度散点图和彩色相机拍出来的彩色图像是对齐的，利用彩色图片对深度散点图进行优化。原始数据即为深度散点图像和相应的彩色图像；

2)构建能量函数的自回归模型项：根据彩色图以及每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中。将得到自回归模型作为能量函数的一项列入求解方程：

21)利用彩色图像，对其中的每一个像素，选取它的(2w+1)×(2w+1)大小窗口的邻域对其进行预测。其中，w是窗口一半的大小；

22)用双边滤波作为训练每个像素参数的基本方法，得到彩色图上的预测系数a_f，p公式如下：

$a_{f,p}=\exp (-\frac{{|f-p|}^2}{2{\mathrm{\τ}}_1^2})\exp (-\frac{{\mathrm{\Σ}}_{\mathrm{RGB}}{|I\left(f\right)-I\left(p\right)|}^2}{3\×2{\mathrm{\τ}}_2^2})---\left(1\right)$

其中，对于当前像素f的邻域中每一个p点，I(f)、I(p)分别是f、p点在彩色图I中的RGB三通道值，∑_RGB代表RGB三通道所求得的|I(f)-I(p)|²值之和，τ₁，τ₂分别为空间分辨率和彩色分辨率的调控参数；a_f，p的值越大，说明f，p两个点的相似度越高，用p点去预测f点准确概率会更高。

23)某些情况下，同一物体表面的像素点可能不具有相同的颜色信息，因此会导致预测不准。所以引进导图信息：用简单的双三次插值将原始的深度散点插值成模糊的深度图，也作为进行预测的图像，得到初始深度图上的预测系数a_g公式如下：

$a_g=\exp (-\frac{{(D_g\left(f\right)-D_g\left(p\right))}^2}{2{\mathrm{\τ}}_g^2})---\left(2\right)$

其中，D_g是插值后的深度图，D_g(f)、D_g(p)分别为f、p两点的深度值，τ_g为控制a_g大小的参数；

24)将22)和23)预测的系数相乘，得到：a＝a_f，p×a_g，并带入到下式中作为自回归模型项：

$E_{\mathrm{AR}}=\underset{f\∈F}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2---\left(3\right)$

其中，E_AR为自回归模型项，D是欲求的高分辨率深度图，D(f)、D(p)分别为f、p两点的深度值，S是当前像素点的邻域范围，a为最终的预测系数。

3)构建能量函数的基础数据项：利用初始的深度散点构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程；

31)将初始的深度散点图有值的像素点作为此项的有效值，根据这些点来预测其他为零的像素点的值，公式如下：

$E_{\mathrm{data}}=\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2---\left(4\right)$

其中，E_data为数据项，D是欲求的高分辨率深度图，G是初始的深度散点图，D(f)、G(f)分别为像素f在D和G上的深度值，ζ是G中有效值的集合；

32)通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程，具体公式如下：

$E\left(f\right)=\underset{f\∈f}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2+\mathrm{\λ}\left(\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2\right)---\left(5\right)$

其中，E(f)为能量函数，λ是加权因子，平衡两项之间的权重；

4)根据(5)式，利用线性函数优化方法对优化方程进行求解。

41)利用矩阵形式构造自回归模型项：将一个大小为MN图像采用列向量相接的方法转化成一个MN×1维向量，向量的每一个值代表原图像上的一个像素(如：原图像上的(i，j)点在新构造的向量里点的位置在M(j-1)+i；而每一个点又用一个MN×1维的向量独立进行预测。将2)中预测邻域得到的(2w+1)×(2w+1)个点的a值通过索引的方式填入当前像素点的预测向量内(没有预测系数的地方为零)，可以得到最终的MN×MN的预测矩阵；将当前像素预测得到的(2w+1)×(2w+1)个点的a值进行归一化并取负(即所有a值相加等于-1，与D(f)的系数绝对值相等)。对每一个像素点都进行预测后，得到最后的构造矩阵Q。方程如下所示：

$E_{\mathrm{AR}}={\left|\right|\mathrm{Qf}\left|\right|}_2^2---\left(6\right)$

其中，Q为自回归项构造矩阵，||||₂是2范数，f为待求的高分辨率图像；

42)利用矩阵形式构造基础数据项：将初始的深度散点图同样以列向量相接的方式转化成MN×1维的向量；抽出其中非零值从新构成一个p维向量，并且记住相应非零值在原向量中的索引值；初始化一个p×MN维的矩阵P，行p代表着非零的p个值，每一个值用MN×1维的向量构成；在每一行中，将对应的非零值的位置的索引处置为1，其他都为零。方程如下：

$E_{\mathrm{data}}={\left|\right|\mathrm{Pf}-g\left|\right|}_2^2---\left(7\right)$

其中，P为数据项构造矩阵，||||₂是2范数，f为待求的高分辨率图像，g为具有非零值的p维向量；

43)将上述的两个方程用拉格朗日算法连在一起构成了最后要求解的方程：

$E\left(f\right)={\left|\right|\mathrm{Pf}-g\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{Qf}\left|\right|}_2^2---\left(8\right)$

其中，E(f)为能量函数，λ是加权因子，平衡两项之间的权重；

所以，我们的目的就是通过求(8)中能量函数的最小值，即

来得到最后的f。根据上式，采用导数的方式求解：

$\frac{\∂E}{\∂f}=\frac{\∂({\left|\right|\mathrm{Pf}-g\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{Qf}\left|\right|}_2^2)}{\∂f}=0---\left(9\right)$

其中，

是E对f所求的导数。由此导出：

f＝(P^TP+λQ^TQ)^-1Pg    (10)

其中，P^T、Q^T分别为P、Q的转置矩阵；

至此，f即为重构后的高分辨率图像。

本发明提出了一种采用具有导向的自回归模型对TOF深度相机的深度图优化方法(如图1的流程所示)。为解决TOF相机深度图分辨率过低的问题，提供一种简便实用的后处理的方法。本发明的装置配备是：一个200×200的TOF PMD[vision]camcube3.0相机，一个640×480的Point Grey Flea2彩色相机；将彩色相机架在TOF相机的上方构成本系统(如图2所示)。结合附图及实施例详细说明如下：

1)构造初始数据：

11)经过照相机标定，得到TOF相机和彩色相机各自的内部参数(焦距、光心)和外部参数(旋转、平移)；

12)根据两相机的内外参数，将TOF相机生成的低分辨率深度图(如图3所示)扭转到彩色相机的视角，得到高分辨率图上的一些深度散点(如图4所示)。此时，深度散点图和彩色相机拍出来的彩色图像(如图5所示)是对齐的，可以利用彩色图片对深度散点图进行优化。原始数据即为深度散点图像和相应的彩色图像；

2)构建能量函数的自回归模型项：根据彩色图，根据每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中。将得到自回归模型作为能量函数的一项列入优化方程；

21)利用彩色图像，对其中的每一个像素，选取它的9*9大小窗口的领域对其进行预测；

22)用双边滤波作为训练每个像素参数的基本方法，得到彩色图上的预测系数a_f，p，公式如下：

$a_{f,p}=\exp (-\frac{{|f-p|}^2}{2{\mathrm{\τ}}_1^2})\exp (-\frac{{\mathrm{\Σ}}_{\mathrm{RGB}}{|I\left(f\right)-I\left(p\right)|}^2}{3\×2{\mathrm{\τ}}_2^2})---\left(1\right)$

其中，对于当前像素f的邻域中每一个p点，I(f)、I(p)分别是f、p点在彩色图I中的RGB三通道值，∑_RGB代表RGB三通道所求得的|I(f)-I(p)|²值之和，τ₁，τ₂分别为空间分辨率和彩色分辨率的调控参数，取值范围均为1.0～5.0，以中间值为佳；a_f，p的值越大，说明f，p两个点的相似度越高，用p点去预测f点准确概率很更高；

23)某些情况下，同一物体表面的像素点可能不具有相同的颜色信息，因此会导致预测不准。所以引进导图信息：用简单的双三次插值将原始的深度散点插值成一幅图片，也作为进行预测的图像，得到初始深度图上的，预测系数a_g公式如下：

$a_g=\exp (-\frac{{(D_g\left(f\right)-D_g\left(p\right))}^2}{2{\mathrm{\τ}}_g^2})---\left(2\right)$

其中，D_g是插值后的深度图，D_g(f)、D_g(p)分别为f、p两点的深度值，τ_g为控制a_g大小的参数，取值范围为4.0～9.0，以中间值为佳；

24)将22)和23)预测的系数相乘，得到：a＝a_f，p×a_g并带入到下式中作为自回归模型项：

$E_{\mathrm{AR}}=\underset{f\∈F}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2---\left(3\right)$

其中，E_AR为自回归模型项，D是欲求的高分辨率深度图，D(f)、D(p)分别为f、p两点的深度值，S是当前像素点的邻域范围，a为最终的预测系数。

3)构建能量函数的基础数据项：利用初始的深度散点构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程：

31)将初始的深度散点图有值的像素点作为此项的根据值，根据这些点来预测其他为零的像素点的值，公式如下：

$E_{\mathrm{data}}=\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2---\left(4\right)$

其中，E_data为数据项，D是欲求的高分辨率深度图，G是初始的深度散点图，D(f)、G(f)分别为像素f在D和G上的深度值，ζ是G中有效值的集合；

32)通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程，具体公式如下：

$E\left(f\right)=\underset{f\∈f}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2+\mathrm{\λ}\left(\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2\right)---\left(5\right)$

其中，E(f)为能量函数，λ是加权因子，平衡两项之间的权重，λ取0.5；

4)根据(5)式，利用线性函数优化方法对优化方程进行求解。

41)利用矩阵形式构造自回归模型项。将一个大小为640×480图像(如图4)采用列向量相接的方法转化成一个640×480维向量，向量的每一个值代表一个像素点；而每一个像素又用一个640×480的向量独立进行预测。将2)中预测邻域得到的9×9＝81个点的a值通过索引的方式填入当前像素点的预测向量内，可以得到最终的(640×480，640×480)大小的预测矩阵；将当前像素预测得到的81个点的a值进行归一化并取负(即所有a值相加等于-1，与D(f)的系数绝对值相等)。对每一个像素点都进行预测后，得到最后的构造矩阵Q。方程如下所示：

$E_{\mathrm{AR}}={\left|\right|\mathrm{Qf}\left|\right|}_2^2---\left(6\right)$

其中，Q为自回归项构造矩阵，||||₂是2范数，f为待求的高分辨率图像；

42)利用矩阵形式构造基础数据项。将初始的深度散点图同样以列向量相接的方式转化成640×480维的向量；抽出其中非零值从新构成一个p维向量，并且记住相应非零值在原向量中的索引值；初始化一个(p，640×480)的矩阵P，行p代表着非零的p个值，每一个值用640×480维的向量构成；在每一行中，将对应的非零值的位置的索引处置为1，其他都为零。方程如下：

$E_{\mathrm{data}}={\left|\right|\mathrm{Pf}-g\left|\right|}_2^2---\left(7\right)$

其中，P为数据项构造矩阵，||||₂是2范数，f为待求的高分辨率图像，g为具有非零值的p维向量；

43)将上述的两个方程用拉格朗日算法连在一起构成了最后要求解的方程，求解和得到：

f＝(P^TP+λQ^TQ)^-1Pg    (8)

其中，P^T、Q^T分别为P、Q的转置矩阵；

至此，f即为最终得到的高分辨率深度图(如图6所示)。

Claims (3)

1.一种基于飞行时间TOF相机的深度计算成像方法，其特征是，借助于一个200×200的TOF相机，一个640×480的彩色相机实现，彩色相机架在TOF相机的上方；所述方法包括下列步骤：

1)经过照相机标定，得到TOF相机和彩色相机各自的包括焦距、光心的内部参数和包括旋转、平移的外部参数；根据TOF相机和彩色相机的内部、外部参数，将TOF相机生成的低分辨率深度图扭转到彩色相机的视角，得到高分辨率图上的一些深度散点；此时，深度散点图和彩色相机拍出来的彩色图像是对齐的，利用彩色图片对深度散点图进行优化；

2)构建能量函数的自回归模型项：根据彩色图、导图以及每个像素点的邻域，对此像素点进行参数训练并代入自回归模型中，将得到自回归模型作为能量函数的一项列入求解方程；

3)构建能量函数的基础数据项和最终求解方程：利用初始的深度散点图构建能量函数的数据项；通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程；

4)利用线性函数优化方法对优化方程进行求解。

2.如权利要求1所述的基于飞行时间TOF相机的深度计算成像方法，其特征是，自回归模型项的建立，具体包括以下步骤：

21)利用彩色图像，对其中的每一个像素，选取领域对其进行预测；

22)用双边滤波作为训练每个像素参数的基本方法，得到彩色图上的预测系数a_f，p，公式如下：

$a_{f,p}=\exp (-\frac{{|f-p|}^2}{2{\mathrm{\τ}}_1^2})\exp (-\frac{{\mathrm{\Σ}}_{\mathrm{RGB}}{|I\left(f\right)-I\left(p\right)|}^2}{3\×2{\mathrm{\τ}}_2^2})---\left(1\right)$

其中，对于当前像素f的邻域中每一个p点，I(f)是f点在彩色图I中的RGB三通道值，I(p)是p点在彩色图I中的RGB三通道值，∑_RGB代表RGB三通道所求得的|I(f)-I(p)|²值之和，τ₁，τ₂分别为空间分辨率和彩色分辨率的调控参数，取值范围均为1.0～5.0；

23)用简单的双三次插值将原始的深度散点插值成一幅模糊的深度图像，也作为进行预测的图像，得到初始深度图上的预测系数a_g，公式如下：

$a_g=\exp (-\frac{{(D_g\left(f\right)-D_g\left(p\right))}^2}{2{\mathrm{\τ}}_g^2})---\left(2\right)$

其中，D_g是插值后的深度图，D_g(f)、D_g(p)分别为f、p两点的深度值，τ_g为控制a_g大小的参数，取值范围为4.0～9.0；

24)将公式1)和2)预测的系数相乘，得到：a＝a_f，p×a_g并带入到下式中作为自回归模型项：

$E_{\mathrm{AR}}=\underset{f\∈F}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2---\left(3\right)$

其中，E_AR为自回归模型项，D是欲求的高分辨率深度图，D(f)、D(p)分别为f、p两点的深度值，S是当前像素点的邻域范围，a为最终的预测系数。

3.如权利要求1所述的基于飞行时间TOF相机的深度计算成像方法，其特征是，基础数据项的建立，具体方法包括以下步骤：

31)将初始的深度散点图有值的像素点作为此项的有效值，根据这些点来预测其他为零的像素点的值，公式如下：

$E_{\mathrm{data}}=\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2---\left(4\right)$

其中，E_data为数据项，D是欲求的高分辨率深度图，G是初始的深度散点图，D(f)、G(f)分别为像素f在D和G上的深度值，ζ是G中有效值的集合；

32)通过拉格朗日方程，将数据项和自回归项用一个因子λ联合在一起作为最终的求解方程，具体公式如下：

$E\left(f\right)=\underset{f\∈f}{\mathrm{\Σ}}{(D\left(f\right)-\underset{p\∈S}{\mathrm{\Σ}}\mathrm{aD}\left(p\right))}^2+\mathrm{\λ}\left(\underset{f\∈\mathrm{\ζ}}{\mathrm{\Σ}}{(D\left(f\right)-G\left(f\right))}^2\right)---\left(5\right)$

其中，‘+’号前后分别为3)和4)中的E_AR和E_data，λ取0.5。

Images