CN106447718B - 一种2d转3d深度估计方法 - Google Patents

Abstract

本发明属于图像处理以及立体视觉技术领域，为采用人工标记的方法对2D视频进行半自动的深度估计得到质量较高的深度视频序列，进而生成3D立体视频，从而基于2D视频生成3D视频。本发明采用的技术方案是，一种2D转3D深度估计方法，步骤如下：一、关键帧视差分配二、基于非局部随机游走的关键帧视差估计三、基于移动双边滤波的视差传播四、基于非局部随机游走的非关键帧深度优化。本发明主要应用于图像处理以及立体视觉应用场合。

Description

一种2D转3D深度估计方法

技术领域

本发明属于图像处理以及立体视觉技术领域，涉及一种针对单目视图的半自动2D转3D问题进行深度估计的方法。

背景技术

由于深度信息在采集过程中对拍摄精度要求高，拍摄难度大，耗费时间较长，使得3D视频的制作过程比较复杂，导致3D内容的增长受到限制，影响了3D产业的发展。2D转3D技术考虑了现有的丰富的2D视频/图像资源，利用其中的纹理结构信息进行深度估计，得到相应的深度图。其中，深度估计，也就是从2D视频/图像中获取场景中的深度信息是2D转3D技术的关键部分。

依据深度信息的获取方式，2D转3D的深度估计方法可以主要分为基于场景运动特征的方法、基于图像散焦分析的方法、基于场景结构分析的方法和基于视觉感知的方法等。基于场景运动特征的深度估计主要根据场景中物体的运动视差计算对应的深度信息。若物体与相机的距离越近，在视频中其运动幅度越大，即运动视差越大。这类方法主要研究如何在一系列连续的视频帧中获取可靠的物体运动视差图的问题，通常采用特征点匹配和块匹配的方法来解决这一问题。基于图像散焦分析的方法根据散焦模糊程度与焦平面之间的距离以及图像深度信息之间的关系来估计深度信息。在低深度场景图像中，相机会聚焦于场景内的某一前景目标，只有在焦平面上的物体能得到清晰的影像，其他位置的物体会产生散焦现象，散焦模糊的程度与距离焦平面的远近有关。基于场景结构分析的方法主要依据的原理为物体与相机距离越近，深度越小，成像面积越大越完整，物体下方边缘也越靠近图像底部，反之，图像中物体的位置越高。基于视觉感知的深度估计将图像分为感兴趣区域和非感兴趣区域，即视频前景和背景场景，分别进行处理，一般采用视频运动前景检测和视觉注意力模型来分析提取视频中感兴趣的前景目标以实现深度估计。另外，也可以根据物体的纹理梯度来估计深度信息，纹理越密集则深度值越大。

此外，依据深度信息获取过程中的人工参与程度，2D转3D深度估计方法可以分为两类：全自动深度估计方法和半自动深度估计方法。全自动方法直接输入2D视频序列，算法自动计算得到3D视频序列，几乎不需要人工参与。当前，全自动方法只能得到质量有限的深度图，后期纠错比较困难。半自动方法首先提取视频的关键帧，利用人工标记的方法对关键帧进行立体信息标注，结合图割算法以产生关键帧的深度估计图，再利用深度传播算法将关键帧的深度图进行传播，得到非关键帧的深度图。半自动方法依靠人机交互操作，由于人工操作可以提供高质量的立体感知，因而半自动方法较全自动方法而言，能够得到更高质量的深度估计结果。Yuan等人提出一种基于非局部随机游走算法的半自动深度估计方法，首先利用人工标记的场景深度信息对图像进行分层，再结合K近邻分类算法和随机游走算法提取场景的深度信息以获得视差图。为了得到非关键帧的视差图，Cao等人提出一种基于视差传播的半自动方法，通过人工标记，并运用多对象分割算法产生关键帧视差图，然后利用基于移动双边滤波的视差传播算法得到非关键帧视差图，进而生成3D图像。半自动的深度估计方法虽然能得到质量较高的关键帧深度图，但是由深度传播算法来得到的非关键帧深度图中，对于运动对象的深度估计存在误差，需要对非关键帧深度图进行深度优化，以得到更高质量的深度视频序列。

发明内容

为克服现有技术的不足，本发明旨在采用人工标记的方法对2D视频进行半自动的深度估计得到质量较高的深度视频序列，进而生成3D立体视频，从而基于2D视频生成3D视频。。本发明采用的技术方案是，一种2D转3D深度估计方法，步骤如下：

一、关键帧视差分配

选取视频序列的首尾帧作为关键帧，人工对关键帧进行深度标记，为输入的彩色关键帧图像的不同对象分配不同的视差值，生成标记的视差曲线，视为标记线索(strokes)，作为稀疏视差图；

二、基于非局部随机游走的关键帧视差估计

将标记曲线strokes以及关键帧彩色图作为非局部随机游走算法(NonlocalRandom Walks,NRW)的输入，利用NRW算法对图像进行分割，得到不同视差值的对象组合而成的图像，作为关键帧的视差图，NRW算法在随机游走算法(Random Walks,RW)的基础上结合了K近邻算法(K Nearest Neighbors,KNN)，其欧式距离函数为：

其中，d_i表示在像素i处的深度值，归一化为0到1，E⁸连接两个八邻域像素，E^k表示KNN的K个邻接像素的连接，为八邻域局部权重，为KNN权重；

三、基于移动双边滤波的视差传播

采用移动双边滤波(Shifted Bilateral Filtering,SBF)算法估计非关键帧的视差信息，每个非关键帧的颜色值和色差值都通过其相邻两帧的颜色值和色差值运算得到，由关键帧到非关键帧的视差传播公式为：

其中C^t(x)和C^t+1(x)分别表示位置x处的t帧和t+1帧的彩色像素值，D^t(x)和D^t+1(x)分别表示位置x处的t帧和t+1帧的深度像素值，MV(x)是位置x处的运动向量，f_s和f_r分别表示空间滤波器和顺序滤波器；

四、基于非局部随机游走的非关键帧深度优化

采用稀疏视差图作为NRW的输入，基于NRW算法进行修正。

其中，步骤一后各步骤为：

二、基于移动双边滤波的strokes传播

这一过程中，传播算法传播的不再是关键帧的估计视差图，而是直接通过光流运动估计矢量得到非关键帧的strokes，即通过传播算法对标记线索进行传播，得到非关键帧的稀疏视差图；获得关键帧的稀疏视差图之后，由传播算法得到非关键帧的稀疏视差图，其传播公式如下：

其中，S^t(x)和S^t+1(x)分别表示位置x处的t帧和t+1帧的稀疏视差值，即strokes的像素值，MV_of(x)是位置x处的采用光流法估计的运动向量，f_s和f_r分别表示空间滤波器和顺序滤波器；

三、基于非局部随机游走的非关键帧视差估计

由上述过程可以得到非关键帧的稀疏视差图，在这一步中采用NRW算法对图像进行分割，将非关键帧的稀疏视差图看做strokes，作为NRW算法的输入，输出的视差图即为非关键帧的估计视差图，从而计算得到整个彩色序列的深度视频序列。

本发明的特点及有益效果是：

本发明在为关键帧进行视差分配之后采用NRW算法对图像进行分割，分割得到的对象边界较为清晰。此外，在视差传播得到非关键帧视差图之后，采用NRW算法对非关键帧的初始视差图进行修正，使得其运动对象的视差估计更准确，最终得到较高质量的深度视频序列。

附图说明：

图1为通过方案一得到的非关键帧视差估计结果。

图2为通过方案二得到的非关键帧视差估计结果。

图3为整体的流程图。

图4为方案一的流程图。

图5为方案二的流程图。

具体实施方式

为了克服现有技术的不足，本发明利用人工标记的半自动深度估计方法，深度传播算法以及深度优化思想实现2D视频到3D视频的转换，具体的技术方案主要包括以下几个步骤：

1.关键帧视差分配

选取视频序列的首尾帧作为关键帧，人工对关键帧进行深度标记，为输入的彩色关键帧图像的不同对象分配不同的视差值，生成标记的视差曲线，视为strokes标记线索，作为稀疏视差图。

2.基于非局部随机游走的关键帧视差估计

将标记曲线strokes以及关键帧彩色图作为非局部随机游走算法(NonlocalRandom Walks,NRW)的输入，利用NRW算法对图像进行分割，得到不同视差值的对象组合而成的图像，作为关键帧的视差图。NRW算法在随机游走算法(Random Walks,RW)的基础上结合了KNN算法，其欧式距离函数为：

其中，d_i表示在像素i处的深度值(归一化为0到1)，E⁸连接两个八邻域像素，E^k表示KNN的K个邻接像素的连接，为八邻域局部权重，为KNN权重。

3.基于移动双边滤波的视差传播

采用移动双边滤波(Shifted Bilateral Filtering,SBF)算法估计非关键帧的视差信息，每个非关键帧的颜色值和色差值都通过其相邻两帧的颜色值和色差值运算得到。由关键帧到非关键帧的视差传播公式为：

其中C^t(x)和C^t+1(x)分别表示位置x处的t帧和t+1帧的彩色像素值，D^t(x)和D^t+1(x)分别表示位置x处的t帧和t+1帧的深度像素值，MV(x)是位置x处的运动向量，f_s和f_r分别表示空间滤波器和顺序滤波器。

4.基于非局部随机游走的非关键帧深度优化

由于对非关键帧中运动对象的深度估计存在误差，需要对其进行优化来得到质量较高的深度视频序列。采用NRW算法，将传播得到的非关键帧初始视差图作为strokes标记线索。即采用稀疏视差图作为NRW的输入，基于NRW算法进行修正。

在这里，对于上述方法的实施设计了两种方案。方案一主要包括的步骤为选取关键帧、人工标记视差分配、NRW视差估计、视差传播和NRW深度优化等；方案二主要包括的步骤有选取关键帧、人工标记视差分配、strokes传播和NRW视差估计。方案二相较于方案一在时间和空间效率上进行了优化改进。

本发明设计了两种实施方案，对现有2D彩色视频序列进行深度估计得到深度视频序列。方案一主要包括选取关键帧、关键帧视差分配、NRW关键帧视差估计、视差传播和NRW非关键帧深度优化等。下面通过方案一的流程来说明本发明的最佳实施方式：

1.关键帧视差分配

半自动2D转3D的过程中基本的处理单元是一个视频序列，即一系列时间连续，且空间对象相对变化不大的图像帧。通常将视频的首帧和尾帧标记为关键帧，其余图像帧视为非关键帧。人工对关键帧进行深度标记，为输入的彩色关键帧图像中的不同对象分配不同的视差值，生成标记的视差曲线，视为strokes标记线索，作为稀疏视差图。

2.基于非局部随机游走的关键帧视差估计

将标记曲线strokes以及关键帧彩色图作为NRW算法的输入，利用NRW算法对图像进行分割，得到不同视差值对象组合而成的图像，作为关键帧的视差图。NRW算法在RW算法的基础上融入了KNN算法进行图像分割，将KNN直接作为RW算法的权重，用以对RW算法的边界权重函数进行修正，使得利用RW算法估计得到的视差图有锐利的边界信息。NRW算法中，随机游走的欧式距离函数被修正为：

其中，d_i表示在像素i处的深度值(归一化为0到1)，E⁸连接两个八邻域像素，E^k表示KNN的K个邻接像素的连接，为八邻域局部权重，为KNN权重，式中将八邻域局部权重乘以10以扩大深度传播的影响，从而降低KNN邻域的影响，两个权重的计算式如下：

其中，I_i表示彩色像素值，参数α控制两个像素的相似性，参数β控制两个像素之间的远近，通过改变参数α和参数β，可以调整KNN权重的色彩和空间距离。其中，y_i表示归一化的坐标位置，y_i的表达式如下：

3.基于移动双边滤波的视差传播

经过以上步骤获得关键帧视差图，采用视差传播算法由关键帧向非关键帧进行视差传播，可以得到非关键帧视差图。在这一过程中，既要尽量保证每一帧估计深度图的质量，又要保证深度视频的连续性。

在这一过程中采用SBF算法估计非关键帧的视差信息。SBF在摄像机前进后退或放大缩小时显示良好的特性，通过计算每个像素在关键帧中的颜色值、色差值以及像素的运动矢量，从而得到关键帧相邻两帧的视差图，进而使得系统能够自动计算出所有非关键帧的视差图。

SBF估计非关键帧深度信息时，在双边滤波的基础上考虑运动信息，由关键帧到非关键帧的视差传播公式为：

其中，C^t(x)和C^t+1(x)分别表示位置x处的t帧和t+1帧的彩色像素值，D^t(x)和D^t+1(x)分别表示位置x处的t帧和t+1帧的深度像素值，MV(x)是位置x处的运动向量，f_s和f_r分别表示空间滤波器和顺序滤波器，f_s和f_r的表达式如下：

其中y∈N(x+MV(x))，

采用SBF可以得到任意彩色视频序列所对应的深度视频序列。

4.基于非局部随机游走的非关键帧深度优化

由于对非关键帧中运动对象的深度估计存在误差，需要对其进行优化来得到较高质量的深度视频序列。将基于传播得到的非关键帧初始视差图看做strokes标记线索，即稀疏视差图作为NRW的输入，基于NRW算法对非关键帧初始视差图进行修正。

第二种方案主要包括选取关键帧、关键帧视差分配、strokes传播和NRW视差估计。相较于方案一的不同点在于视差传播不再通过关键帧的视差图估计非关键帧的视差图，而是直接通过光流运动估计矢量得到非关键帧的稀疏视差图，然后采用NRW算法进行图像分割，得到非关键帧的视差图。

方案二相较于方案一在时间和空间效率上进行了优化改进。下面通过方案二的流程来说明本发明的最佳实施方式：

1.关键帧视差分配

与方案一中选取关键帧的方法相同，将一个视频序列的首尾帧作为关键帧进行标记，两者之间的图像帧标记为非关键帧。

人工为输入的彩色关键帧图像中的不同对象分配不同的视差值，对关键帧中的不同对象进行深度标记，生成标记的视差曲线，视为strokes标记线索，作为稀疏视差图。

2.基于移动双边滤波的strokes传播

这一过程中，传播算法传播的不再是关键帧的估计视差图，而是直接通过光流运动估计矢量得到非关键帧的strokes，即通过传播算法对标记线索进行传播，得到非关键帧的稀疏视差图。

获得关键帧的稀疏视差图之后，由传播算法得到非关键帧的稀疏视差图，其传播公式如下：

其中，S^t(x)和S^t+1(x)分别表示位置x处的t帧和t+1帧的稀疏视差值，即strokes的像素值，MV_of(x)是位置x处的采用光流法估计的运动向量，f_s和f_r分别表示空间滤波器和顺序滤波器，表达式与方案一相同。

3.基于非局部随机游走的非关键帧视差估计

由上述过程可以得到非关键帧的稀疏视差图，在这一步中采用NRW算法对图像进行分割，将非关键帧的稀疏视差图看做strokes，作为NRW算法的输入，输出的视差图即为非关键帧的估计视差图，从而计算得到整个彩色序列的深度视频序列。

通过方案一与方案二的实施过程，均可以得到质量较高的深度视频序列。方案二相对于方案一而言，所需的的时间和空间代价更小，使得整个深度估计算法的过程得以优化，算法效率得以提高。

Claims (2)

1.一种2D转3D深度估计方法，其特征是，步骤如下：

一、关键帧视差分配

选取视频序列的首尾帧作为关键帧，人工对关键帧进行深度标记，为输入的彩色关键帧图像的不同对象分配不同的视差值，生成标记的视差曲线，视为标记线索strokes，作为稀疏视差图；

二、基于非局部随机游走的关键帧视差估计

将标记线索strokes以及关键帧彩色图作为非局部随机游走算法NRW(NonlocalRandom Walks)的输入，利用NRW算法对图像进行分割，得到不同视差值的对象组合而成的图像，作为关键帧的视差图，NRW算法在随机游走算法RW(Random Walks)的基础上结合了K近邻算法KNN(K Nearest Neighbors)，其欧式距离函数为：

其中，d_i表示在像素i处的深度值，归一化为0到1，E⁸连接两个八邻域像素，E^k表示KNN的K个邻接像素的连接，为八邻域局部权重，为KNN权重；

三、基于移动双边滤波的视差传播

采用移动双边滤波(Shifted Bilateral Filtering,SBF)算法估计非关键帧的视差信息，每个非关键帧的颜色值和色差值都通过其相邻两帧的颜色值和色差值运算得到，由关键帧到非关键帧的视差传播公式为：

其中C^t+1(x)表示位置x处的t+1帧的彩色像素值，D^t+1(x)表示位置x处的t+1帧的深度像素值，MV(x)是位置x处的运动向量，f_s和f_r分别表示空间滤波器和顺序滤波器；

四、基于非局部随机游走的非关键帧深度优化

采用非关键帧稀疏视差图作为NRW的输入，基于NRW算法进行修正。

2.如权利要求1所述的2D转3D深度估计方法，其特征是，其中，步骤一后各步骤为：

二、基于移动双边滤波的strokes传播

这一过程中，传播算法传播的不再是关键帧的估计视差图，而是直接通过光流运动估计矢量得到非关键帧的strokes，即通过传播算法对标记线索进行传播，得到非关键帧的稀疏视差图，其传播公式如下：

其中，S^t+1(x)表示位置x处的t+1帧的稀疏视差值，即strokes的像素值，MV_of(x)是位置x处的采用光流法估计的运动向量，f_s和f_r分别表示空间滤波器和顺序滤波器；

三、基于非局部随机游走的非关键帧视差估计

由上述过程可以得到非关键帧的稀疏视差图，在这一步中采用NRW算法对图像进行分割，将非关键帧的稀疏视差图看做strokes，作为NRW算法的输入，输出的视差图即为非关键帧的估计视差图，从而计算得到整个彩色序列的深度视频序列。