CN102609977A - 基于深度融合和曲面演变的多视点三维重建方法 - Google Patents

Abstract

本发明公开了一种基于深度融合和曲面演变的多视点三维重建方法。方法步骤为：首先，对由深度摄像机和可见光摄像机组成的摄像机阵列进行标定并利用标定参数将深度摄像机获得的深度图投影到阵列中的一个视点，得到该视点的初始深度图，依据初始深度图得到初始深度曲面；其次，定义基于曲面演变的能量函数，能量函数的定义包括多摄像机的颜色一致性代价，初始深度曲面的不确定度和曲面平滑项；最后，通过凸化和最小化能量函数驱动深度曲面演变得到最终深度曲面，即三维场景信息。本发明同时融合了初始深度信息和多摄像机的颜色一致性代价，是一种能有效获得场景空间信息的三维重建方法，可满足三维电视、虚拟现实等多方面应用需求。

Description

基于深度融合和曲面演变的多视点三维重建方法

技术领域

本发明涉及三维深度信息获取系统，特别涉及一种基于深度融合和曲面演变的多视点三维重建方法。

背景技术

随着信息技术与计算机技术的发展，三维信息获取技术已成为生物医学、虚拟现实、影视娱乐等领域的关键技术，在机械加工、影视制作、文物保护、服装设计、建筑设计、城市规划、军事侦察等领域有广阔的应用前景。在上述领域中，人们对三维获取技术的要求也越来越高。而目前主要采用的有多目立体视觉技术、结构光技术、DFM(depth from motion)、SFM(structure from motion)和TOF(Time of Flight)等三维获取技术，这些技术各有优缺点，但还没有一种技术能很好地满足实时性、高精度、高分辨率和低成本的要求。TOF技术是近几年迅速发展起来的三维获取技术，其优点是精度高、实时和廉价；缺点是空间分辨率较低，对噪声敏感，在目标边缘附近的深度数据有较大的不确定性等。多目立体视觉是一种已被深入研究且应用广泛的三维获取技术，其主要缺点是立体匹配计算量大、在纹理少的区域容易产生误匹配，对于阵列摄像机系统，实现代价较高。

已有的融合TOF的深度信息和可见光摄像机的颜色信息获取三维信息的方法主要有两类。第一类是用立体匹配的方法求取的深度和TOF获得的深度进行融合，然而立体匹配在纹理稀少的区域很难获得致密的深度；第二类是以TOF的深度数据为初始值，以可见光摄像机获得的颜色信息为参考，定义基于马尔可夫随机场或双边滤波的能量函数，通过能量函数最小化修正深度值。这一类方法通常基于深度边缘和颜色边缘一致的假设，难以处理前景和背景颜色相近的复杂场景。此外能量函数通常不是凸的，这使得在初始值偏离真实值较远的情况下容易收敛到局部最优解，完整求解能量函数的复杂度较高。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于深度融合和曲面演变的多视点三维重建方法。

基于深度融合和曲面演变的多视点三维重建方法的步骤如下：

1)在由一个深度摄像机和若干个可见光摄像机组成的摄像机阵列中，首先利用深度摄像机和可见光摄像机的标定参数，将深度摄像机得到的深度图像投影到摄像机阵列的某一个视点下，得到该视点下的初始深度图像，以该视点为参考系，根据该视点下的初始深度图像得到初始的深度曲面，对任意一空间点x，用二元特征函数u(x)标记点x是否在深度曲面上，令u(x)＝1表示x在曲面外，u(x)＝0表示x在曲面上；

2)利用标定参数获得各可见光摄像机间的颜色一致性代价，定义空间点x在摄像机i和j上成像的一致性代价cost(x)_ij：

$\cos t{\left(x\right)}_{\mathrm{ij}}=\frac{1}{c_1{c}_2}\underset{p\&Element;P}{\mathrm{\&Sigma;}}<I_i\left(p\right)-{\stackrel{\&OverBar;}{I}}_i\left({\mathrm{\&pi;}}_i\left(x\right)\right),I_j\left(H_{\mathrm{ij}}\left(p\right)\right)-{\stackrel{\&OverBar;}{I}}_j\left({\mathrm{\&pi;}}_j\left(x\right)\right)>$

其中P表示点x在图像I_i中的邻域，H_ij表示摄像机i像平面到摄像机j像平面的投影，

和分别为各自区域内的均值，c₁和c₂为归一化系数；

在摄像机i视野下，空间点x处的成像颜色一致性代价函数可定义为

$C^i\left(x\right)=\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{ij}}\cos t{\left(x\right)}_{\mathrm{ij}}$

计入统计的cost(x)_ij需要满足两个条件：第一，定义α_ij为点x与摄像机i和j成像视线的夹角，α_ij需要小于设定的最大夹角α_max；第二，计算满足条件一的cost(x)_ij中的最大值cost(x)_i-max和最小值cost(x)_i-min的差，若cost(x)_i-max-cost(x)_i-min大于设定的阈值η，则排除cost(x)_i-max和cost(x)_i-min，ω_ij为权重系数，根据标定得到的摄像机间距定义为

${\mathrm{\&omega;}}_{\mathrm{ij}}\left(x\right)=\frac{d_{\mathrm{ij}}\left(x\right)}{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{d}_{\mathrm{ik}}\left(x\right)}$

d_ij为摄像机i和j的间距；

3)比较初始深度曲面上的点x_S的代价函数值Cⁱ(x_S)和其在摄像机i视线上其它各点的代价函数值

若

且x_S在摄像机i上的成像点不为图像边缘，则令该

在点x与摄像机i的成像视线上，计算该视线上各点的代价函数值Cⁱ(x)，记视线上最大的代价函数值为Cⁱ(x)_max；

4)定义基于颜色一致性代价的能量函数

s.t.u∈{0，1}

其中μ为常系数，ρ(x)表示各可见光摄像机视野下颜色一致性代价的均值，定义为

$\mathrm{\&rho;}\left(x\right)=\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{C}^i\left(x\right)$

l为摄像机个数，核函数f(ρ(x))和g(ρ(x))分别表示点x在曲面上和曲面外的代价，核函数的值域在区间[0，1]上，定义为

$f\left(s\right)=1-\exp (-{(s-1)}^2/{\mathrm{\&sigma;}}_s^2)$

g(s)＝1-f(s)

σ(x)为平滑项系数，以投票权重形式定义

$\mathrm{\&sigma;}\left(x\right)=\exp (-\mathrm{\&gamma;}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{VOTE}}_i\left(x\right))$

γ为常系数，投票值VOTE_i(x)定义为

${\mathrm{VOTE}}_i\left(x\right)=\left\{\begin{array}{cc}{C}^i{\left(x\right)}_{\max }& \mathrm{if}{C}^i\left(x\right)=C^i{\left(x\right)}_{\max }\\ 0& \mathrm{else}\end{array}\right.$

u_ini(x)表示初始深度曲面，

为时间项系数，表示初始深度曲面的不确定度，定义为

η为常系数，

表示初始深度曲面的不确定度，π_tof(x)表示空间点x投影到TOF摄像机下的成像坐标，记为(x_t，y_t，z_t)，初始深度曲面的不确定度的定义为

${\mathrm{\&sigma;}}_d^2\left({\mathrm{\&pi;}}_{\mathrm{tof}}\left(x\right)\right)={(-\frac{\sin \mathrm{\&beta;}}{f}{x}_t+\frac{\cos \mathrm{\&beta;}\sin \mathrm{\&alpha;}}{f}{y}_t+\cos \mathrm{\&beta;}\cos \mathrm{\&alpha;})}^2{\mathrm{\&Omega;}}_{z_t}$

$+{(\frac{\cos \mathrm{\&beta;}\cos \mathrm{\&alpha;}}{f}{y}_t\&CenterDot;z_t-\cos \mathrm{\&beta;}\sin \mathrm{\&alpha;}\&CenterDot;z_t)}^2{\mathrm{\&Omega;}}_{\mathrm{\&alpha;}}$

$+(-\frac{\cos \mathrm{\&beta;}}{f}{x}_t\&CenterDot;z_t-\frac{\sin \mathrm{\&beta;}\sin \mathrm{\&alpha;}}{f}{y}_t\&CenterDot;z_t-\sin \mathrm{\&beta;}\cos \mathrm{\&alpha;}\&CenterDot;Z_t){\mathrm{\&Omega;}}_{\mathrm{\&beta;}}+{\mathrm{\&Omega;}}_T$

α，β为标定得到的绕摄像机坐标系X轴和Y轴的旋转参数，Ω_α和Ω_β为它们的不确定度，Ω_T为平移向量T的不确定度，均由标定程序给出，

为点(x_t，y_t，z_t)的深度值的不确定性，定义为

${\mathrm{\&Omega;}}_{Z_t}=\mathrm{\&kappa;}\frac{I-I_{\min }}{I_{\max }-I_{\min }}$

其中I为点(x_t，y_t，z_t)在深度摄像机强度图像中的强度值，I_max和I_min分别为深度摄像机强度图像中强度值的最大值和最小值，κ为常系数；

5)对能量函数作凸化处理，将二元函数u(x)松弛到连续区间[0，1]上，以能量函数最小化为原则，利用Split Bregman迭代方法求解能量函数驱动深度曲面演变，得到全局最优解，通过定义阈值ε，得到曲面上的点和曲面外部的点，其中，曲面上的点集为

R_S：{x：u(x)≤ε}

将最终曲面上的点投影到任一视点上，根据曲面各点的深度距离可获得对应视点下的深度图信息，当有多个点投影到同一点时，只取离该视点最近的点，至此，得到最终的场景空间三维信息。

本发明与现有技术相比具有的有益效果：

1)提出了一种基于深度融合和曲面演变的多视点三维重建方法，该方法能根据深度摄像机得到的深度图，和各可见光摄像机得到的颜色图，重建场景的空间深度信息；

2)本发明中的方法引入了曲面演化的思想，用空间曲面来模拟所求场景的深度曲面，并利用变分方法和主动轮廓模型进行求解。对能量函数的凸优化可确保得到全局最优解；

3)本发明中的方法利用深度摄像机获得的初始深度信息修正了代价函数，结合深度信息的不确定度定义了能量函数。所定义的能量函数，能适应于多数场景的应用。

附图说明

图1为基于深度融合和曲面演变的多视点三维重建方法实施例的总流程图。

具体实施方式

下面，结合附图和具体实施例对本发明作进一步说明。

基于深度融合和曲面演变的多视点三维重建方法的步骤如下：

1)在由一个深度摄像机和若干个可见光摄像机组成的摄像机阵列中，首先利用深度摄像机和可见光摄像机的标定参数，将深度摄像机得到的深度图像投影到摄像机阵列的某一个视点下，得到该视点下的初始深度图像，以该视点为参考系，根据该视点下的初始深度图像得到初始的深度曲面，对任意一空间点x，用二元特征函数u(x)标记点x是否在深度曲面上，令u(x)＝1表示x在曲面外，u(x)＝0表示x在曲面上；

2)利用标定参数获得各可见光摄像机间的颜色一致性代价，定义空间点x在摄像机i和j上成像的一致性代价cost(x)_ij：

$\cos t{\left(x\right)}_{\mathrm{ij}}=\frac{1}{c_1{c}_2}\underset{p\&Element;P}{\mathrm{\&Sigma;}}<I_i\left(p\right)-{\stackrel{\&OverBar;}{I}}_i\left({\mathrm{\&pi;}}_i\left(x\right)\right),I_j\left(H_{\mathrm{ij}}\left(p\right)\right)-{\stackrel{\&OverBar;}{I}}_j\left({\mathrm{\&pi;}}_j\left(x\right)\right)>$

其中P表示点x在图像I_i中的邻域，H_ij表示摄像机i像平面到摄像机j像平面的投影，

和

分别为各自区域内的均值，c₁和c₂为归一化系数；

在摄像机i视野下，空间点x处的成像颜色一致性代价函数可定义为

$C^i\left(x\right)=\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{ij}}\cos t{\left(x\right)}_{\mathrm{ij}}$

计入统计的cost(x)_ij需要满足两个条件：第一，定义α_ij为点x与摄像机i和j成像视线的夹角，α_ij需要小于设定的最大夹角α_max；第二，计算满足条件一的cost(x)_ij中的最大值cost(x)_i-max和最小值cost(x)_i-min的差，若cost(x)_i-max-cost(x)_i-min大于设定的阈值η，则排除cost(x)_i-max和cost(x)_i-min，ω_ij为权重系数，根据标定得到的摄像机间距定义为

${\mathrm{\&omega;}}_{\mathrm{ij}}\left(x\right)=\frac{d_{\mathrm{ij}}\left(x\right)}{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{d}_{\mathrm{ik}}\left(x\right)}$

d_ij为摄像机i和j的间距；

3)比较初始深度曲面上的点x_S的代价函数值Cⁱ(x_S)和其在摄像机i视线上其它各点的代价函数值若

且x_S在摄像机i上的成像点不为图像边缘，则令该

在点x与摄像机i的成像视线上，计算该视线上各点的代价函数值Cⁱ(x)，记视线上最大的代价函数值为Cⁱ(x)_max；

4)定义基于颜色一致性代价的能量函数

s.t.u∈{0，1}

其中μ为常系数，ρ(x)表示各可见光摄像机视野下颜色一致性代价的均值，定义为

$\mathrm{\&rho;}\left(x\right)=\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{C}^i\left(x\right)$

l为摄像机个数，核函数f(ρ(x))和g(ρ(x))分别表示点x在曲面上和曲面外的代价，核函数的值域在区间[0，1]上，定义为

$f\left(s\right)=1-\exp (-{(s-1)}^2/{\mathrm{\&sigma;}}_s^2)$

g(s)＝1-f(s)

σ(x)为平滑项系数，以投票权重形式定义

$\mathrm{\&sigma;}\left(x\right)=\exp (-\mathrm{\&gamma;}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{VOTE}}_i\left(x\right))$

γ为常系数，投票值VOTE_i(x)定义为

${\mathrm{VOTE}}_i\left(x\right)=\left\{\begin{array}{cc}{C}^i{\left(x\right)}_{\max }& \mathrm{if}{C}^i\left(x\right)=C^i{\left(x\right)}_{\max }\\ 0& \mathrm{else}\end{array}\right.$

u_ini(x)表示初始深度曲面，为时间项系数，表示初始深度曲面的不确定度，定义为

η为常系数，

表示初始深度曲面的不确定度，π_tof(x)表示空间点x投影到TOF摄像机下的成像坐标，记为(x_t，y_t，z_t)，初始深度曲面的不确定度的定义为

${\mathrm{\&sigma;}}_d^2\left({\mathrm{\&pi;}}_{\mathrm{tof}}\left(x\right)\right)={(-\frac{\sin \mathrm{\&beta;}}{f}{x}_t+\frac{\cos \mathrm{\&beta;}\sin \mathrm{\&alpha;}}{f}{y}_t+\cos \mathrm{\&beta;}\cos \mathrm{\&alpha;})}^2{\mathrm{\&Omega;}}_{z_t}$

$+{(\frac{\cos \mathrm{\&beta;}\cos \mathrm{\&alpha;}}{f}{y}_t\&CenterDot;z_t-\cos \mathrm{\&beta;}\sin \mathrm{\&alpha;}\&CenterDot;z_t)}^2{\mathrm{\&Omega;}}_{\mathrm{\&alpha;}}$

$+(-\frac{\cos \mathrm{\&beta;}}{f}{x}_t\&CenterDot;z_t-\frac{\sin \mathrm{\&beta;}\sin \mathrm{\&alpha;}}{f}{y}_t\&CenterDot;z_t-\sin \mathrm{\&beta;}\cos \mathrm{\&alpha;}\&CenterDot;Z_t){\mathrm{\&Omega;}}_{\mathrm{\&beta;}}+{\mathrm{\&Omega;}}_T$

α，β为标定得到的绕摄像机坐标系X轴和Y轴的旋转参数，Ω_α和Ω_β为它们的不确定度，Ω_T为平移向量T的不确定度，均由标定程序给出，

为点(x_t，y_t，z_t)的深度值的不确定性，定义为

${\mathrm{\&Omega;}}_{Z_t}=\mathrm{\&kappa;}\frac{I-I_{\min }}{I_{\max }-I_{\min }}$

其中I为点(x_t，y_t，z_t)在深度摄像机强度图像中的强度值，I_max和I_min分别为深度摄像机强度图像中强度值的最大值和最小值，κ为常系数；

5)对能量函数作凸化处理，将二元函数u(x)松弛到连续区间[0，1]上，以能量函数最小化为原则，利用Split Bregman迭代方法求解能量函数驱动深度曲面演变，得到全局最优解，通过定义阈值ε，得到曲面上的点和曲面外部的点，其中，曲面上的点集为

R_S：{x：u(x)≤ε}

将最终曲面上的点投影到任一视点上，根据曲面各点的深度距离可获得对应视点下的深度图信息，当有多个点投影到同一点时，只取离该视点最近的点，至此，得到最终的场景空间三维信息。

实施例

可见光摄像机采用CCD传感器，可以提供分辨率为320×240的彩色图像，用到的深度摄像机为TOF摄像机，型号为Swiss Ranger 4000，可以同时提供分辨率为176×144的深度图像和强度图像。

摄像机阵列具体的标定方法是：首先，对TOF摄像机的强度图像进行上采样，使其分辨率达到352×288；然后，采用张正友的平板摄像机标定法对每个CCD摄像机和TOF摄像机进行标定，得到各摄像机的内参数，从TOF摄像机投影到每个CCD摄像机的外参数，各CCD摄像机之间的外参数。

本实施例方法的总流程图见图1，具体做法可分为以下三步：第一步将TOF摄像机得到的深度图像投影到某一CCD摄像机视野下得到初始的深度图像，以该摄像机为参考系，由初始深度图像得到初始的空间深度曲面；第二步计算空间点在各CCD摄像机视野下的颜色一致性代价，并依据初始的空间深度曲面进行修正；第三步为迭代模块，基于颜色一致性代价和初始深度曲面建立能量函数，并通过能量函数的凸化和迭代求解驱动深度曲面的演变，得到最终的深度曲面，即最终的空间三维信息。

第一步：由于标定是在320×240的彩色图像和352×288的强度图像之间完成的，所以将TOF深度图上采样到354×288；然后利用标定时得到的参数将上采样过的TOF深度图像投影到CCD摄像机视野下，获得CCD视野下的初始深度图像。以该CCD摄像机为参考系，对应的初始深度图像为依据建立空间深度曲面。对空间各点x，用二元特征函数u(x)标记该点是否在深度曲面上，u(x)＝1表示在x曲面外，u(x)＝0表示x在曲面上。

第二步：利用标定参数计算空间各点在各CCD摄像机视野下的颜色一致性代价。定义空间点x在摄像机i和j上成像颜色一致性代价cost(x)_ij：

$\cos t{\left(x\right)}_{\mathrm{ij}}=\frac{1}{c_1{c}_2}\underset{p\&Element;P}{\mathrm{\&Sigma;}}<I_i\left(p\right)-{\stackrel{\&OverBar;}{I}}_i\left({\mathrm{\&pi;}}_i\left(x\right)\right),I_j\left(H_{\mathrm{ij}}\left(p\right)\right)-{\stackrel{\&OverBar;}{I}}_j\left({\mathrm{\&pi;}}_j\left(x\right)\right)>$

其中P表示点x在图像I_i中的邻域，H_ij表示摄像机i像平面到摄像机j像平面的投影，

和

分别为各自区域内的均值。c₁和c₂为归一化系数。

在CCD摄像机i视野下，空间点x处的颜色一致性代价函数为

$C^i\left(x\right)=\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{ij}}\cos t{\left(x\right)}_{\mathrm{ij}}$

统计满足如下两个条件的cost(x)_ij：第一，定义α_ij为点x与摄像机i和j成像视线的夹角，α_ij需要小于设定的最大夹角α_max；第二，计算满足条件一的cost(x)_ij中的最大值cost(x)_i-max和最小值cost(x)_i-min的差，若大于设定的阈值η，则排除cost(x)_i-max和cost(x)_i-min。ω_ij为权重系数，根据标定得到的摄像机间距定义为

${\mathrm{\&omega;}}_{\mathrm{ij}}\left(x\right)=\frac{d_{\mathrm{ij}}\left(x\right)}{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{d}_{\mathrm{ik}}\left(x\right)}$

d_ij为摄像机i和j的间距。

在点x与摄像机i的成像视线上，计算该视线上各点的代价函数值Cⁱ(x)，记视线上最大的代价函数值为Cⁱ(x)_max。

依据初始深度曲面对一致性代价进行修正，比较初始深度曲面上的点x_S的代价函数值Cⁱ(x_S)和对应视线上其它各点的代价函数值

若

且x_S在摄像机i上的成像点不为图像边缘，则令该点的代价值

图像边缘点可用Sobel算子等边缘检测技术得到。

第三步：定义能量函数驱动深度曲面演化。能量函数定义为

s.t.u∈{0，1}

其中μ为常系数。ρ(x)为各CCD摄像机视野下颜色一致性代价的均值。定义为

$\mathrm{\&rho;}\left(x\right)=\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{C}^i\left(x\right)$

l为摄像机个数。核函数f(ρ(x))和g(ρ(x))分别表示点x在曲面上和曲面外的代价，定义为

$f\left(s\right)=1-\exp (-{(s-1)}^2/{\mathrm{\&sigma;}}_s^2)$

g(s)＝1-f(s)

σ(x)为平滑项系数，以投票权重形式定义

$\mathrm{\&sigma;}\left(x\right)=\exp (-\mathrm{\&gamma;}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{VOTE}}_i\left(x\right))$

γ为常系数，投票值VOTE_i(x)定义为

${\mathrm{VOTE}}_i\left(x\right)=\left\{\begin{array}{cc}{C}^i{\left(x\right)}_{\max }& \mathrm{if}{C}^i\left(x\right)=C^i{\left(x\right)}_{\max }\\ 0& \mathrm{else}\end{array}\right.$

u_ini(x)为初始深度曲面，

为时间项系数，表示初始深度曲面的可靠度。定义为

η为常系数，

表示初始深度曲面的不确定度。π_tof(x)表示空间点x投影到TOF摄像机下的成像坐标，记为(x_t，y_t，z_t)。不确定度的定义由TOF的不确定度和标定参数的不确定度给出

${\mathrm{\&sigma;}}_d^2\left({\mathrm{\&pi;}}_{\mathrm{tof}}\left(x\right)\right)={(-\frac{\sin \mathrm{\&beta;}}{f}{x}_t+\frac{\cos \mathrm{\&beta;}\sin \mathrm{\&alpha;}}{f}{y}_t+\cos \mathrm{\&beta;}\cos \mathrm{\&alpha;})}^2{\mathrm{\&Omega;}}_{Z_t}$

$+{(\frac{\cos \mathrm{\&beta;}\cos \mathrm{\&alpha;}}{f}{y}_t\&CenterDot;Z_t-\cos \mathrm{\&beta;}\sin \mathrm{\&alpha;}\&CenterDot;Z_t)}^2{\mathrm{\&Omega;}}_{\mathrm{\&alpha;}}$

$+(-\frac{\cos \mathrm{\&beta;}}{f}{x}_t\&CenterDot;Z_t-\frac{\sin \mathrm{\&beta;}\sin \mathrm{\&alpha;}}{f}{y}_t\&CenterDot;Z_t-\sin \mathrm{\&beta;}\cos \mathrm{\&alpha;}\&CenterDot;Z_t){\mathrm{\&Omega;}}_{\mathrm{\&beta;}}+{\mathrm{\&Omega;}}_T$

α，β为标定得到的绕X轴和Y轴的旋转参数，Ω_α和Ω_β为它们的不确定度，Ω_T为平移向量T的不确定度，由标定程序给出。

为对应TOF中的点(x_t，y_t，z_t)的深度值的不确定度，定义为

${\mathrm{\&Omega;}}_{Z_t}=\mathrm{\&kappa;}\frac{I-I_{\min }}{I_{\max }-I_{\min }}$

其中I为点(x_t，y_t，z_t)在TOF强度图像中的强度值，I_max和I_min分别为TOF强度图像中强度值的最大值和最小值，κ为常数。

为得到全局最优解，首先对能量函数作凸化处理，将二元函数u(x)松弛到连续区间[0，1]上。以能量函数最小化为原则，利用Split Bregman迭代方法求解能量函数驱动深度曲面演变。在得到最优解后，通过定义阈值ε，得到曲面上的点和曲面外部的点。曲面上的点集为

R_S：{x：u(x)≤ε}

将最终曲面上的点投影到任一视点上，根据曲面各点的深度距离可获得对应视点的深度图信息。当有多个点投影到同一点时，只取离该视点最近的点。至此，得到最终的场景空间深度信息。

Claims (1)

1.一种基于深度融合和曲面演变的多视点三维重建方法，其特征在于它的步骤如下：

1)在由一个深度摄像机和若干个可见光摄像机组成的摄像机阵列中，首先利用深度摄像机和可见光摄像机的标定参数，将深度摄像机得到的深度图像投影到摄像机阵列的某一个视点下，得到该视点下的初始深度图像，以该视点为参考系，根据该视点下的初始深度图像得到初始的深度曲面，对任意一空间点x，用二元特征函数u(x)标记点x是否在深度曲面上，令u(x)＝1表示x在曲面外，u(x)＝0表示x在曲面上；

2)利用标定参数获得各可见光摄像机间的颜色一致性代价，定义空间点x在摄像机i和j上成像的一致性代价cost(x)_ij：

$\cos t{\left(x\right)}_{\mathrm{ij}}=\frac{1}{c_1{c}_2}\underset{p\&Element;P}{\mathrm{\&Sigma;}}<I_i\left(p\right)-{\stackrel{\&OverBar;}{I}}_i\left({\mathrm{\&pi;}}_i\left(x\right)\right),I_j\left(H_{\mathrm{ij}}\left(p\right)\right)-{\stackrel{\&OverBar;}{I}}_j\left({\mathrm{\&pi;}}_j\left(x\right)\right)>$

其中P表示点x在图像I_i中的邻域，H_ij表示摄像机i像平面到摄像机j像平面的投影，

和

分别为各自区域内的均值，c₁和c₂为归一化系数；

在摄像机i视野下，空间点x处的成像颜色一致性代价函数可定义为

$C^i\left(x\right)=\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{ij}}\cos t{\left(x\right)}_{\mathrm{ij}}$

计入统计的cost(x)_ij需要满足两个条件：第一，定义α_ij为点x与摄像机i和j成像视线的夹角，α_ij需要小于设定的最大夹角α_max；第二，计算满足条件一的cost(x)_ij中的最大值cost(x)_i-max和最小值cost(x)_i-min的差，若cost(x)_i-max-cost(x)_i-min大于设定的阈值η，则排除cost(x)_i-max和cost(x)_i-min，ω_ij为权重系数，根据标定得到的摄像机间距定义为

${\mathrm{\&omega;}}_{\mathrm{ij}}\left(x\right)=\frac{d_{\mathrm{ij}}\left(x\right)}{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{d}_{\mathrm{ik}}\left(x\right)}$

d_ij为摄像机i和j的间距；

3)比较初始深度曲面上的点x_S的代价函数值Cⁱ(x_S)和其在摄像机i视线上其它各点的代价函数值

若

且x_S在摄像机i上的成像点不为图像边缘，则令该

在点x与摄像机i的成像视线上，计算该视线上各点的代价函数值Cⁱ(x)，记视线上最大的代价函数值为Cⁱ(x)_max；

4)定义基于颜色一致性代价的能量函数

s.t.u∈{0，1}

其中μ为常系数，ρ(x)表示各可见光摄像机视野下颜色一致性代价的均值，定义为

$\mathrm{\&rho;}\left(x\right)=\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{C}^i\left(x\right)$

l为摄像机个数，核函数f(ρ(x))和g(ρ(x))分别表示点x在曲面上和曲面外的代价，核函数的值域在区间[0，1]上，定义为

$f\left(s\right)=1-\exp (-{(s-1)}^2/{\mathrm{\&sigma;}}_s^2)$

g(s)＝1-f(s)

σ(x)为平滑项系数，以投票权重形式定义

$\mathrm{\&sigma;}\left(x\right)=\exp (-\mathrm{\&gamma;}\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{VOTE}}_i\left(x\right))$

γ为常系数，投票值VOTE_i(x)定义为

${\mathrm{VOTE}}_i\left(x\right)=\left\{\begin{array}{cc}{C}^i{\left(x\right)}_{\max }& \mathrm{if}{C}^i\left(x\right)=C^i{\left(x\right)}_{\max }\\ 0& \mathrm{else}\end{array}\right.$

u_ini(x)表示初始深度曲面，为时间项系数，表示初始深度曲面的不确定度，定义为

η为常系数，

表示初始深度曲面的不确定度，π_tof(x)表示空间点x投影到TOF摄像机下的成像坐标，记为(x_t，y_t，z_t)，初始深度曲面的不确定度的定义为

${\mathrm{\&sigma;}}_d^2\left({\mathrm{\&pi;}}_{\mathrm{tof}}\left(x\right)\right)={(-\frac{\sin \mathrm{\&beta;}}{f}{x}_t+\frac{\cos \mathrm{\&beta;}\sin \mathrm{\&alpha;}}{f}{y}_t+\cos \mathrm{\&beta;}\cos \mathrm{\&alpha;})}^2{\mathrm{\&Omega;}}_{z_t}$

$+{(\frac{\cos \mathrm{\&beta;}\cos \mathrm{\&alpha;}}{f}{y}_t\&CenterDot;z_t-\cos \mathrm{\&beta;}\sin \mathrm{\&alpha;}\&CenterDot;z_t)}^2{\mathrm{\&Omega;}}_{\mathrm{\&alpha;}}$

$+(-\frac{\cos \mathrm{\&beta;}}{f}{x}_t\&CenterDot;z_t-\frac{\sin \mathrm{\&beta;}\sin \mathrm{\&alpha;}}{f}{y}_t\&CenterDot;z_t-\sin \mathrm{\&beta;}\cos \mathrm{\&alpha;}\&CenterDot;Z_t){\mathrm{\&Omega;}}_{\mathrm{\&beta;}}+{\mathrm{\&Omega;}}_T$

α，β为标定得到的绕摄像机坐标系X轴和Y轴的旋转参数，Ω_α和Ω_β为它们的不确定度，Ω_T为平移向量T的不确定度，均由标定程序给出，

为点(x_t，y_t，z_t)的深度值的不确定性，定义为

${\mathrm{\&Omega;}}_{Z_t}=\mathrm{\&kappa;}\frac{I-I_{\min }}{I_{\max }-I_{\min }}$

其中I为点(x_t，y_t，z_t)在深度摄像机强度图像中的强度值，I_max和I_min分别为深度摄像机强度图像中强度值的最大值和最小值，κ为常系数；

5)对能量函数作凸化处理，将二元函数u(x)松弛到连续区间[0，1]上，以能量函数最小化为原则，利用Split Bregman迭代方法求解能量函数驱动深度曲面演变，得到全局最优解，通过定义阈值ε，得到曲面上的点和曲面外部的点，其中，曲面上的点集为

R_S：{x：u(x)≤ε}

将最终曲面上的点投影到任一视点上，根据曲面各点的深度距离可获得对应视点下的深度图信息，当有多个点投影到同一点时，只取离该视点最近的点，至此，得到最终的场景空间三维信息。

Images