CN102903096B - 一种基于单目视频的对象深度提取方法 - Google Patents

Abstract

本发明涉及一种基于单目视频的对象深度提取方法，首先通过使用摄像机的自标定结果进行邻近关键帧之间的像素投影，取得匹配代价最小值，获得局部优化的初始化深度图；其次，定义了表达颜色一致性约束，几何一致性约束，平滑约束和初始化深度图信息的能量函数，将深度图提取问题转化为求能量函数最小化问题，当能量函数得到最优解时，获得的深度图为全局最优；再次，对图像进行各向异性扩散，再使用Meanshift算法获得较好的图像分割结果。对全局最优的深度图中的可信像素，利用分割结果进行平面拟合，更好的改进深度图的质量。同时考虑视频序列时间轴上的深度连续性，进行时间轴优化；最后对非关键帧采取简化算法。

Description

一种基于单目视频的对象深度提取方法

技术领域

本发明涉及一种基于单目视频的对象深度提取方法，属于计算机视觉技术领域。

背景技术

深度信息是立体感的主要载体，可以在虚拟视点合成，场景分层，多视点视频压缩，对象提取等多个领域中发挥重要作用。

目前在实际应用中都是采用多目摄像机或者深度摄像机直接进行深度信息采集，这种采集方法有以下四类问题：1)数据量非常大。2)深度数据精度不高，尤其是深度摄像机在剧烈运动情况下数据精度急剧下降。3)现有的大量珍贵单目视频素材无法被再次利用。4)要求产业链的更新换代。基于单目视频的对象深度提取方法就是为了能够在当前的许多珍贵单目视频素材中直接提取深度信息而产生的技术。视频领域的典型方法包括基于全图像匹配的快速区域分割与区域视差估计算法、基于集束优化的连续视频深度图恢复方法。

基于全图像匹配的快速区域分割与区域视差估计算法的基本原理是：将多视点视频图像中具有近似相同视差的区域称为一个深度对象，把能够反映该深度对象内所有像素深度特征的视差称为区域视差。一个深度对象并非仅对应于一个客观世界中的真实对象，它可能对应场景中深度特性较为一致的几个对象，深度对象与运动对象的概念也不相同，对应于同一个深度对象的几个真实场景中的对象可以具有各自不同的运动参数：因为一个深度对象的视差值基本相同，几乎其中所有的图像块都可以使用同一个视差向量找到它们的最优匹配块，因此各个区域匹配代价函数曲线中的匹配误差最小值也必然小于它所对应的整幅图像视点差-匹配误差关系曲线中的极小值。故认为该函数曲线的局部极小值所在位置对应着一个深度对象的视差，并绘制该帧的视差匹配误差曲线，同一极小值的像素即为同一深度对象，形成深度图，附图1为利用该方法进行深度信息提取的示例，其结果有严重的块状边缘，而且质量不高，无法表达平滑变化的深度区域。

基于集束优化的连续视频深度图恢复方法则是基于视频的稠密深度恢复技术，其解决了邻近帧中像素的投影问题，并定义了表达颜色一致性约束和几何一致性约束的能量函数，使用置信传播算法进行优化获得了初始化深度图，并对图像采用集束优化，将多帧之间的颜色一致性和几何一致性结合起来，有效的降低了图像噪声和遮挡对深度恢复的影响。但是要求多帧进行联合优化，对场景内帧的连续性有较高的要求，同时计算量巨大，不利于实际实用。

发明内容

本发明的目的是提供一种基于单目视频的对象深度提取方法。该方法对于单目摄像机拍摄得到的视频序列，使用摄像机自标定参数进行邻近帧的像素投影，并利用视频的一致性，结合深度值标记优化恢复其对应的场景深度信息，并对所述深度信息进行误差修正，得到最终的深度图。该方法针对的视频应该是摄像机相对于静止物体的场景运动拍摄得到的连续场景序列。

为实现上述目的，本发明采用下述的技术方案。其特征在于包括以下步骤：

步骤一：确定极线：对输入的连续场景视频序列，选取其中一帧作为左关键帧，与其相隔若干帧作为右关键帧，在左右关键帧之间的视频帧作为非关键帧；对左右关键帧，分别使用摄像机自标定方法可以获得左右关键帧分别对应的内参矩阵K_t，K_t′，旋转矩阵R_t，R_t′和三维平移向量T_t，T_t′；以左关键帧为当前帧，对当前帧中像素，通过以下多视图几何投影公式：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=K_{t^{\′}}{R_{t^{\′}}}^T{R}_t{K_t}^{-1}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]+d_x{K}_{t^{\′}}{R_{t^{\′}}}^T(T_t-T_{t^{\′}})---\left(1\right)$

确定像素点 $\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$ 在右关键帧中对应的极线，其中d_x表征深度，深度在给定的深度值范围内变化，极线以d_x为参数，所述像素点的对应最优匹配像素点 ${\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]}_{\mathrm{ideal}}$ 就在该极线上；

步骤二：最小匹配代价搜索：搜索时利用已得到的邻近像素对应的d_x的平均值作为预测值获得第一个搜索点 ${\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]}_0,$ 以 ${\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]}_0$ 为中心的窗口，以颜色差异区分，进行最小匹配代价搜索；如果该点的匹配代价小于预定阈值，则认为最优匹配点在该像素的邻近位置，改变d_x的值，继续进行最小匹配代价搜索，直至匹配代价超过阈值；

步骤三：去除噪声：如果各像素的匹配代价形成的匹配代价函数曲线在当前的极小值附近不符合明显的U型，则认为是一个噪声点，应该去掉；

步骤四：获得初始化深度图；

步骤五：全局优化：以初始化深度图为基础，对当前帧，在置信传播算法中各像素点之间能量值进行多次迭代，求得能量函数的当前最小值，并以其对应的深度信息即为全局最优的深度图；

步骤六：平面拟合修正：对当前帧进行图像分割，对分割结果中的每个块，使用三维空间中的一个面来拟合，其表示为以下的形式：

a_i×X+b_i×Y+c_i＝Z   (2)

分别在当前分割块中的水平、垂直方向上，使用公式(3)、(4)计算得到行或列上任意两个像素间深度变化的导数：

$\stackrel{\‾}{X}=\frac{\mathrm{\Δd}}{\mathrm{\Δx}}=\frac{d_{x1}-{d_{x1}}^{\′}}{x_{x1}-{x_{x1}}^{\′}}---\left(3\right)$

$\stackrel{\‾}{Y}=\frac{\mathrm{\Δd}}{\mathrm{\Δy}}=\frac{d_{x1}-{d_{x1}}^{\′}}{y_{x1}-{y_{x1}}^{\′}}---\left(4\right)$

对求得的导数进行排序，将排序后的结果进行高斯卷积求得a_i，b_i，代入式(2)中求得c_i，从而确定了该平面。对于该块中像素，根据其深度值与拟合平面的d_i差异进行修正；

步骤七：时间轴修正：对当前帧中像素对应的深度值，其与左右相邻关键帧中相同位置的像素对应的深度值进行比较，如果左右相同位置的深度值相近，但与该像素对应的深度值不同，则使用左右对应深度值的平均值来替换当前像素对应的深度值；

较优的，所述步骤二中使用了结合颜色一致性约束，平滑约束，几何一致性约束，初始化深度图信息的能量函数。

较优的，所述步骤六中，根据其深度值与拟合平面的d_i差异进行修正时，若该差异较大，则将该深度值替换为d_i。

较优的，对于非关键帧，可以利用其左右关键帧的深度图估计得到。

本发明所提供的基于单目视频的对象深度提取方法可以较好的提取多目标多层次的视频序列对应的深度图。有关的测试结果表明，本方法对多个深度信息提取具有挑战性的单目视频序列均能较好的提取深度信息，能够清晰的表达深度平滑变化，深度的阶跃变化和复杂结构的深度变化。

附图说明

图1基于全图像匹配的快速区域分割与区域视差估计方案的效果图。

图2本发明基于单目视频的对象深度提取方法流程图。

图3本发明的效果图。

具体实施方式

前已述及，本发明通过使用多视图几何投影公式及摄像机自标定参数来进行视频中邻近帧之间的像素投影，并分析其匹配代价获得初始化深度图，在此基础上，定义表达了颜色一致性约束，平滑约束，几何一致性约束同，初始化深度图信息的能量函数，通过使用置信传播算法求该能量函数的最优解来获得对应的全局最优的深度图，最后利用分割信息和时间冗余来进行修正。

下面结合附图说明本发明的实现方式，图2中明确表示了本发明的过程。首先，获得初始化深度图；其次，定义表达图像信息的能量函数并使用置信传播算法进行全局优化，获得其全局最优深度图；再次，利用图像分割信息进行平面拟合并修正，利用时间冗余进行邻近帧之间的修正；最后，对于非关键帧，由于关键帧质量可信赖，因此使用简化的局部优化来恢复其对应的深度图，从而降低计算复杂度。

需要注意的是，以下仅是示例性的列举了本发明的一种实施方式：

步骤一：深度图初始化

单目视频序列中的邻近两帧并不能简单的视为人的左右眼对应的图像。当前双目立体匹配是已经比较成熟的深度信息提取技术，但其有固有的特点：l)如果两幅图的基线(Baseline)很小，匹配固然容易，但恢复的深度精度不高；而基线过大，又容易造成匹配困难；2)被遮挡的部分因为信息缺失，难以可靠地推测深度。相比而言，利用多视图立体匹配来深度恢复更具有优势。在初始化深度图时，为求匹配最优，首先要寻找匹配像素，匹配像素的选择可以利用多视图几何投影中的极线几何，将整个面的搜索简化到仅在极线上的搜索。极线几何指同一场景中物体点在两帧中投影之间的搜索几何关系：三维场景中物体点M，在摄像机C和C'处分别成像为f和f'，投影中心C，C'和M构成的极面与两帧分别交于l和l',M对应于l上一像素p，其在f'中投影像素必在l'上，故进行搜索时只需要在极线上搜索即可。极线几何是多视图立体匹配中特有的约束，可以大大提高搜索的速度，降低搜索过程中的复杂度。

步骤一的一种示例性实施步骤如下：

要取得匹配像素的位置，首先要得到极线的表达式，根据多视图几何投影公式，对第i_k帧上的像素p_x(x,y),根据极线几何，其在第i_k′帧上对应的像素p_x′＝(x′，y′)可以使用公式来表达极线：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=K_{t^{\′}}{R_{t^{\′}}}^T{R}_t{K_t}^{-1}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]+d_x{K}_{t^{\′}}{R_{t^{\′}}}^T(T_t-T_{t^{\′}})$

求得，其中 $\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]$ 为p_x′对应的三维齐次微量,K_t为i_k帧对应的内参矩阵，R_t为i_k帧对应的旋转矩阵，K_t′为i_k′帧对应的内参矩阵,R_t′为i_k′对应的旋转矩阵,T_t为i_k对应的三维平移向量,T_t′为i_k′对应的三维平移向量，通过将左边求得的向量的Z轴进行归一化可以得到(x′，y′)。

在单目视频中，同一三维点在邻近两帧之间的极线往往不同于图像的扫描行，沿着极线进行搜索实际上是一个重复采样的过程，因此根据极线几何理论及连续场景中三维空间点在二维投影平面上投影像素的颜色一致性约束可知，若给定一个视差范围D＝[D_min，D_max]，d_(x,y)为像素(x,y)对应的深度，且d_x∈D,则当d_x取值为d_(x,y)时,代入匹配代价函数Cost(p_x，d_x)中求得的(x,y)所对应的(x′，y′)的像素颜色与(x,y)具有最高的颜色一致性。

$\mathrm{Cost}(p_x,d_x)=\underset{R,G,B}{\mathrm{\Σ}}{\left(\underset{N\left(p_x\right)}{\mathrm{\Σ}}(I_{i_k}{\left(p_x\right)}_{\mathrm{color}}-I_{i_{k^{\′}}}{(p_x,d_x)}_{\mathrm{color}})\right)}^2$

在求初始化的深度图时，由于其是在另一帧对应的极线上进行步进搜索，因此在极小值附近理想情况下存在一小段的连续下降的过程，表明其正不断接近最优值，因此当且仅当连续减小步进次数大于M后再次连续增大次数亦大于M时认为其是真正的局部最优，通过使用这样的U型约束来去除极线上搜索时的噪声点。

同时在搜索过程中可以利用邻近像素已求得的深度信息。由于邻近的像素为相同深度块的可能性较大，如果已计算得到的邻近多个像素的深度值相似，则采用深度值的平均值为搜索起点双向进行搜索，如果其匹配代价在邻近像素匹配代价均值的邻域内，则以其为初始搜索点，靠近该搜索点时采样的跳跃步长较小，离其越远步长越大，当匹配代价大于阈值时，则取在该搜索范围内的极小值为最优匹配像素，如果初始搜索点的匹配代价超过了阈值，则仍采用以前的搜索过程。这样的优化减小了匹配的计算复杂度。

步骤二：深度图的全局优化

深度图的求解类似于求边缘概率的问题，即求每个像素对应深度在深度取值范围内的每个值的概率，概率最大的深度值即为深度图中正确的值。同时对于图像，最自然的建模模型为图模型，因此问题可转化为在无向图(马尔可夫场)中求每个结点对应的边缘概率的问题。本发明中，提出了一种基于置信传播进行视频深度图全局优化的方法。该方法可以较好的表达视频序列中存在的颜色一致性约束，平滑约束，几何一致性约束，初始化深度图信息等，因此能够获得较好的全局优化结果。

步骤二的一个示例性实施步骤如下：

(1)能量函数的定义

通过将图像转化为马尔可夫场，可以将深度图的全局求优问题转化为能量最小化问题，二者之间的联系需要通过将定性上的一致性约束关系转化为定量的能量函数定义来解决。能量函数一般分为数据项和平滑项部分数据项在能量函数优化过程中起着主要作用，承载着大部分的信息量，通过计算该定义项的值，应该能够强列的区分正确与错误。数据项部分的定义还应该具有鲁棒性，即在无纹理区域中可以辨别微小的像素差异，通过采用窗口的策略可以提高其性能，但过大的窗口会导致其反应强度的降低

E_data＝f_color(p_x)+σf_geo(p_x)

其中σ控制几何一致性约束与颜色一致性约束的比例，f_color(p_x)主要对颜色进行约束，考虑f(x)＝e^x的几何级数长特性，我们使用其构造f_color(p_x)：

$f_{\mathrm{color}}\left(p_x\right)=e^{u\left(p_x\right)}$

这样可以达到较好的区分正确与错误，拉大二者之间的差异的目的。

$u\left(p_x\right)=\mathrm{\μ}\×{\mathrm{\Σ}}_{\mathrm{ti}=Y,U,V}|I_{i_k}{\left(p_x\right)}_{t_i}-I_{i_{k^{\′}}}{(p_x,d_x)}_{t_i}|\×{\mathrm{\γ}}_i$

其中γ_i为颜色Y，U，V分量的权重，一般亮度的权重稍小，以减弱光照变化可能产生的影响，但又不应太小，因为人眼对于光照有较强的敏感性，在实验中取值为0.3。u(p_x)主要表示匹配像素间的颜色差异。

在量化几何一致性约束f_geo(p_x)时，主要考虑当前d_x与邻近像素对应的d_x是否相似，即其不可能与其邻近像素的深度值均不相似，以及与局部优化的深度图中的d_x是否相似，即表达了应利用初始化深度图中的信息。

$f_{\mathrm{geo}}\left(p_x\right)=\min \left(\right|d_x-d_{x\left(\mathrm{near}\right)}\left|\right)+\∈|d_x-d_{x\left(D_{\mathrm{init}}\right)}|$

由于图像中深度只会在某些边缘部分发生较大的变化，因此有必要加入一些平滑代价来达到平衡，因此E_smooth考虑在选择深度值时，邻近的像素对应的深度值是否具有近似的值。通过简单的与其领域内的深度值进行比较并对该代价赋予权值来达到构成平滑项的目的。

$E_{\mathrm{smooth}}=\mathrm{\ω}{\mathrm{\Σ}}_{p_x\left(\mathrm{near}\right)}|d_x-d_x\left(\mathrm{ner}\right)|$

步骤三：深度图的误差修正

由于前述步骤仅利用了序列中邻近的关键帧信息，对于帧内的图像分割信息，序列中的冗余信息等没有利用，使得深度图的质量有再提高的空间。通过结合图像分割结果来拟合图像中相同深度的块，提高深度图中块内的质量；通过利用序列内邻近帧对应的深度图存在的相似性来进行时间轴优化。同时对于非关键帧，由于关键帧质量可信赖，因此使用简化的局部优化来恢复其对应的深度图，从而降低计算复杂度。本发明中，首先结合图像分割结果求解各颜色块对应的拟合平面，并使用该平面来对深度图进行修正。同时在时间轴上利用已求得的多帧来修正当前帧。对非关键帧，当前关键帧的深度图质量较高，因此仅采用对其向关键帧投影，求投影代价的局部最优值来求解的简化方法进行深度图恢复。

步骤三的一个示例性实施步骤如下：

(1)平面拟合

基于分割的结果进行优化主要可以改善无纹理区域的深度图质量，主要的思想是对相同的颜色，使用一个空间上的三维片来代表，通过求解这些三维片的参数对这个片内的像素深度值进行统一求解，而不是逐个像素求解。本发明中使用了MeanShift算法来进行分割，在分割前进行了图像平滑，在分割中需要控制分割的粒度，过小的粒度会导致分割的块过多，其中的可信像素过少，结果不可信，过大的粒度会导致深度纹理的缺失。

将每个分割块S_i对应一个平面Plane_i，平面参数为[a_i,b_i,c_i],则分割块中的像素Ix(x,y)对应的视差值可表示为

a_i×x+b_i×y+c_i＝d_i

对每个可信像素，已求得其di,需要计算出a_i,b_i,c_i。

对于ai,bi,采用二维分解的方法分别进行求解。首先分别对每一行中的可信像素p_xl,p_xl′求得

$\frac{\mathrm{\Δd}}{\mathrm{\Δx}}=\frac{d_{x1}-{d_{x1}}^{\′}}{x_{x1}-{x_{x1}}^{\′}}$

将其值形成序列进行排序，对排序后的结果,利用高斯卷积求得a_i,同样的，在列方向上用类似方法求得b_i，代入式(4.5)中求得c_i，从而获得了该平面的相关参数。然后利用这个平面的拟合结果，对该平面内的错误像素进行修正。错误像素的判定由其于当前平面对应的像素值的差异决定，控制该差异的域值从而进行修正。这种修正方法不同于直接将该平面对应的像素进行赋值，直接的赋值会导致已恢复的特征丰富区域的深度值被错误的赋值，损害深度图的精确度，只有不在差异可容忍的范围内才需要根据平面拟合的结果进行深度图的修正。

(2)时间轴优化

由于无纹理区域，遮挡区域及图像噪声等问题，与真实的深度图相比仍然会有一些误差像素，但是由于视频序列在时间轴上的冗余性，当三维物体M在i_k帧中的投影像素对应的深度图像素错误时，其在i_k帧邻近的T帧内，在深度图投影点像素的值不可能全部错误，即深度图对应的也存在着时间轴上的冗余性。因此可以通过上述冗余性来对深度图进行进一步优化。即若其在某一帧上的深度值与其他帧对应的深度值差异较大，则认为该深度值计算错误，需要用其它帧对应深度值的平均值来进行替换。

以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (4)

1.一种基于单目视频的对象深度提取方法，其特征在于包括以下步骤：

步骤一：确定极线：对输入的连续场景视频序列，选取其中一帧作为左关键帧，与其相隔若干帧作为右关键帧，在左右关键帧之间的视频帧作为非关键帧；对左右关键帧，分别使用摄像机自标定方法可以获得左右关键帧分别对应的内参矩阵K_t，K_t′，旋转矩阵R_t，R_t′和三维平移向量T_t，T_t′；以左关键帧为当前帧，对当前帧中像素，通过以下多视图几何投影公式：

确定像素点在右关键帧中对应的极线，其中d_x表征深度，深度在给定的深度值范围内变化，极线以d_x为参数，所述像素点的对应最优匹配像素点就在该极线上；

步骤二：最小匹配代价搜索：搜索时利用已得到的邻近像素对应的d_x的平均值作为预测值获得第一个搜索点以为中心的窗口，以颜色差异区分，进行最小匹配代价搜索；如果该点的匹配代价小于预定阈值，则认为最优匹配点在该像素的邻近位置，改变d_x的值，继续进行最小匹配代价搜索，直至匹配代价超过阈值；

步骤三：去除噪声：如果各像素的匹配代价形成的匹配代价函数曲线在当前的极小值附近不符合明显的U型，则认为是一个噪声点，应该去掉；

步骤四：获得初始化深度图；

步骤五：全局优化：以初始化深度图为基础，对当前帧，在置信传播算法 中各像素点之间能量值进行多次迭代，求得能量函数的当前最小值，并以其对应的深度信息即为全局最优的深度图；

步骤六：平面拟合修正：对当前帧进行图像分割，对分割结果中的每个块，使用三维空间中的一个面来拟合，其表示为以下的形式：

a_i×X+b_i×Y+c_i＝Z              (2) 

分别在当前分割块中的水平、垂直方向上，使用公式(3)、(4)计算得到行或列上任意两个像素间深度变化的导数：

对求得的导数进行排序，将排序后的结果进行高斯卷积求得a_i，b_i，代入式(2)中求得c_i，从而确定了该平面，对于该块中像素，根据其深度值与拟合平面的d_i差异进行修正；

步骤七：时间轴修正：对当前帧中像素对应的深度值，其与左右相邻关键帧中相同位置的像素对应的深度值进行比较，如果左右相同位置的深度值相近，但与该像素对应的深度值不同，则使用左右对应深度值的平均值来替换当前像素对应的深度值；

2.如权利要求1所述的方法，其特征在于：全局优化时，使用了结合颜色一致性约束，平滑约束，几何一致性约束，初始化深度图信息的能量函数。

3.如权利要求1所述的方法，其特征在于：平面拟合修正时，根据其深度值与拟合平面的d_i差异进行修正时，若该差异较大，则将该深度值替换为d_i。

4.如权利要求1所述的方法，其特征在于：对于非关键帧，可以利用其左右关键帧的深度图估计得到。