CN101287142A - 基于双向跟踪和特征点修正的平面视频转立体视频的方法 - Google Patents

Abstract

本发明涉及基于双向跟踪和特征点修正的平面视频转立体视频的方法，属于计算机多媒体技术领域。该方法包括将整个平面视频序列划分成内容相关的子序列；指定一帧作为关键帧；对关键帧进行前景物体分割，并提取对应的深度图及轮廓特征点；进行双向跟踪得到非关键帧的轮廓特征点；去除不满足运动一致性准则的轮廓特征点；将非关键帧轮廓特征点集合中每一个轮廓特征点的位置调整到对应前景物体的轮廓上，得到该视频子序列每一非关键帧对应的轮廓特征点集合，并恢复非关键帧前景物体轮廓，进而得到原平面视频序列的深度图序列；最后得到原平面视频序列对应的立体视频序列。本发明基于关键帧，获取高精度视频序列深度图，很好地实现平面视频转立体视频。

Description

基于双向跟踪和特征点修正的平面视频转立体视频的方法

技术领域

本发明属于计算机多媒体技术领域，是一种将普通平面视频转为立体视频的技术。

技术背景

通过对人类生理立体视觉要素的研究发现，人类左右眼看同一场景时因存在“视差”而产生立体感，所谓“视差”即三维空间中同一物体在左右眼成像时会有水平方向上的位移。传统的视频序列都是单路的平面视频序列，而立体视频序列则包含了多路(两路或两路以上)平面视频序列，各路平面视频序列同一时刻的视图之间带有“视差”信息，能够为观看者提供对应的左眼视图序列和右眼视图序列，这也是观看立体视频时可以产生如临其境的立体感的原因。

一直以来，真实感立体视频以其场景的真实感，很强的视觉冲击力，受到大众的喜爱，也被电视、电影、广告等行业所重视。早期的立体显示方式，需要一定的辅助工具(如偏振眼镜等)，从而限制了立体视频的应用范围。随着立体显示技术的发展，现有裸眼立体显示技术(如裸眼自由式多视点显示技术、裸眼双目立体显示技术)已经逐渐成熟，可以实现无需佩戴特殊的辅助工具的立体视频直接呈现。目前，裸眼立体显示技术的成熟和立体视频应用的逐渐普及，对相应的立体视频内容生成技术提出了很高的要求。

立体视频的内容生成技术是相关计算机多媒体领域内的重要难题之一。多路立体视频片源的的获取主要有两种途径：

1)多路立体采集设备：设计立体摄像机(即多路摄像机)，一方面可以直接获取裸眼自由式立体显示设备所需的多路视频信息，另一方面也可以利用现有计算机算法，从多路视频中获取场景和对象的三维信息，如深度信息、场景对象模型等，并通过这些三维信息，渲染出对应的立体视频。基于多路立体采集设备的技术方案优势在于获取多路立体视频或者三维信息的直接性和便利性，而且还有丰富的计算机算法和成熟的研究成果来支持。但多路立体采集设备复杂，成本高，同时对于各个摄像机之间的标定、校准和同步都大大限制了该技术方案在现阶段广泛应用的可能性。

2)平面视频转立体视频技术：通过用户交互或者计算机算法的处理，提取传统平面视频序列中场景和对象的深度信息，基于这样的深度信息可以很容易渲染得到立体视频所需的多路视频数据。该技术方案特点在于无需特殊硬件设备，硬件成本低；同时，将现有庞大的平面媒体资源换为立体视频的商业价值较高。因此，平面视频转换为立体视频技术越来越受到重视。平面视频转立体视频技术的关键在于从平面视频序列中提取深度信息，而现阶段主要采取用户手动勾勒视频帧前景对象轮廓，并赋予深度信息的方式，保证转换的精度，但转换工作量较大，转换周期长，商业成本高。另外还有利用计算机算法辅助，如勾勒视频序列关键帧的前景对象轮廓，赋予深度信息，并通过跟踪算法完成其他非关键帧的自动转换，可以提高人工转换的效率，但是效果受到了算法鲁棒性的影响，根据距离较短，自动转换的精度也不高。

本发明中所涉及的成熟算法：

1)视频子序列划分和镜头检测技术：

镜头检测算法是基于内容的视频检索技术的一部分，其特点在于能够方便地利用计算机对视频数据进行处理以产生适当的摘要，从而更加全面地表示、处理、组织和获取视频数据。视频中的一个镜头是指用同一摄像机进行连续不间断拍摄、表示时间和空间上的一个连续动作的帧序列；从内容的上下文语义上讲，镜头是视频序列内容的基本单元，而镜头边缘检测则是对应的功能算法，通过对视频帧特定的图像信息进行分析(如亮度变化、直方图分布、运动估计、边缘图等)，利用视频序列镜头边缘若干帧特定信息的突变，来检测视频子序列，完成视频子序列划分和关键帧提取。

2)KLT算法广泛应用于计算机视觉领域，主要步骤包括：

特征点选取：对于图像中N×N(N通常为奇数)的像素块，当像素块中所有像素之间灰度改变大于适应的范围时，则选取像素块中心的像素点作为特征点；

特征点跟踪：特征点选取后，KLT算法通过最小化像素块灰度值的SSD(像素块中所有像素点对应的灰度值差的平方和)，自动在后续帧里对特征点的位置变化进行跟踪。

3)Canny边缘求取算法：

Canny算法是一种边缘检测算法，能够检测到图像中局部区域中像素亮度变化显著的部分。Canny算法首先通过高斯滤波器平滑原图，然后用一阶偏导的优先差分来计算梯度的幅值和方向，并使用梯度幅值进行非极大值抑制；最后利用双阈值算法检测和连接边缘。

4)B样条插值算法：

利用离散点进行插值，拟合得到光滑曲线的轨迹，并且，离散点位于最终所拟合的光滑曲线上。

5)基于深度图的立体渲染算法(DIBR)和立体视频生成：

在不同的观察位置(观察视角)成像的视图中，三维空间中的点与摄像机中心的距离

(景深信息)，表现为平面视图中成像点坐标的位移(即“视差”)；而该“视差”信息和景深(即深度值)成反比关系。DIBR渲染算法基于一个观察位置上所得的平面视图中每个像素所对应的深度信息，计算该像素点的“视差”值，并进行相应的坐标位移；对该视图中每一个像素进行移动后，便生成了该观察视角相邻位置上成像虚拟平面视图；而利用这些带有“视差”信息的多路视图，便能合成多路立体显示设备所需要的立体视图。

发明内容

本发明的目的是为了改进传统平面视频转立体视频技术的不足，提出一种基于双向跟踪和特征点修正的改进KLT算法来实现平面视频到立体视频的转换方法，本方法能够较好地解决跟踪精度随跟踪距离增大时的衰减问题，最大限度地避免跟踪误差扩散，从而能够基于关键帧，自动获取高精度的视频序列深度图；采用高精度的双向特征点跟踪能够支持更长的自动跟踪距离，从而大大降低了人机交互的工作量，很好地实现平面视频转立体视频。

本发明提出的基于双向跟踪和特征点修正的改进KLT算法来实现平面视频到立体视频的转换方法，具体步骤为：

1)利用镜头检测技术，对要处理的平面视频序列，计算机自动按照相邻帧内容的上下文关系，将整个平面视频序列划分成N个内容相关的子序列S₁、S₂、…、S_N；同时，用户通过计算机屏幕指定每个子序列中任意一帧作为关键帧K₁、K₂、…、K_N，其余作为非关键帧，其中下标N为正整数；

2)选定一个平面视频子序列S_i，对该子序列中的关键帧K_i进行前景物体分割，并提取对应的深度图及轮廓特征点x_n，其中下标i，n为正整数，且0＜i≤N，0＜n≤L，L表示关键帧K_i轮廓特征点的数目；

3)参考关键帧前景物体的轮廓特征点，进行双向跟踪得到非关键帧的轮廓特征点；

4)计算机自动利用邻近边缘特征点运动一致性准则，对每一非关键帧上的相邻轮廓特征点进行分析，去除不满足运动一致性准则的轮廓特征点；

5)对于非关键帧上轮廓特征点稀疏的区域，计算机自动利用KLT算法新增轮廓特征点，并将新增轮廓特征点补充到原来的轮廓特征点集合中；

6)计算机自动将非关键帧轮廓特征点集合中每一个轮廓特征点的位置调整到对应前景物体的轮廓上，得到该视频子序列每一非关键帧对应的轮廓特征点集合；

7)计算机自动基于轮廓特征点集合恢复每一个非关键帧前景物体轮廓；

8)根据关键帧前景物体的深度值，得到该视频子序列的深度图序列；

9)对每一个视频子序列按照步骤2)～8)所述方法，获取对应的深度图序列；所有深度图序列组成原平面视频序列的深度图序列；

10)计算机自动将原平面视频序列的每一帧图像作为参考视图，根据对应的深度图，利用DIBR算法得到相应多个视角的视图；根据特定立体显示设备的要求，将同一时刻的多个视角视图合成为该时刻对应的立体视频帧；

11)所有时刻的立体视频帧组成原平面视频序列对应的立体视频序列。

本发明的特点在于：

1)本发明首先通过人机交互操作分割关键帧前景物体，并提取关键帧的精确深度图；然后计算机基于该关键帧中前景物体的轮廓特征点，对其他非关键帧进行双向跟踪，调整边缘特征点的位置，恢复前景物体边缘，进而得到非关键帧的深度图；最后计算机基于DIBR算法，将平面视频序列及其对应的深度图序列渲染生成多路立体视频内容；本方法能够在保证平面视频向立体视频转换效果的同时，提高传统平面视频转立体视频方法的自动化程度；

2)本发明中使用的关键帧轮廓特征点双向跟踪技术，能够较好地解决基于一般KLT算法完成平面视频转立体视频方法中跟踪精度随跟踪距离增大时的衰减问题；而边缘特征点修正技术能够最大限度地避免跟踪误差扩散，从而保证更长的自动跟踪距离，提高转换效率。

附图说明

1)图1为本发明方法的总体流程框图。

2)图2为1个关键帧和4个非关键帧组成的平面视频子序列；

3)图3为关键帧处理过程，其中图3(a)为关键帧原始图像，图3(b)为关键帧深度图，包括分割完的前景物体和背景，图3(c)为关键帧前景物体轮廓特征点示意图；

4)图4为非关键帧处理过程，其中图4(a)为非关键帧轮廓特征点双向跟踪初始结果，图4(b)为运用邻近轮廓特征点运动一致性准则之后的轮廓特征点分布图，图4(c)为进行轮廓特征点补充后的结果，图4(d)为非关键帧的边缘点分布图，图4(e)为进行轮廓特征点位置调整后的结果；

5)图5为非关键帧深度图生成过程，图5(a)为B样条插值后的非关键帧前景物体初始轮廓，图5(b)非关键帧对应的边缘点分布图，图5(c)为轮廓点位置调整后的边缘结果；

6)图6为原平面视频子序列及其对应的深度图序列。

具体实施方式

本发明提出一种基于双向跟踪和特征点修正的平面视频转立体视频方法结合附图及实施例详细说明如下：

本发明的方法流程如图1所示，包括以下步骤：

1)利用镜头检测技术，对要处理的平面视频序列，计算机自动按照相邻帧内容的上下文关系，将整个平面视频序列划分成N个内容相关的子序列S₁、S₂、…、S_N；同时，用户通过计算机屏幕指定每个子序列中任意一帧作为关键帧K₁、K₂、…、K_N，其余作为非关键帧，其中下标N为正整数；

2)选定一个平面视频子序列S_i，对该子序列中的关键帧K_i进行前景物体分割，并提取对应的深度图及轮廓特征点x_n，其中下标i，n为正整数，且0＜i≤N，0＜n≤L，L表示关键帧K_i轮廓特征点的数目：

21)对关键帧K_i进行前景物体分割：用户通过计算机屏幕基于图像编辑软件工具，手动勾勒关键帧K_i的前景物体O₁、O₂、…、O_M对应的边缘轮廓C₁、C₂、…、C_M，完成关键帧前景物体的分割；勾勒方法具体实现为：用户通过计算机屏幕沿着关键帧中待分割的前景物体的轮廓每隔一段距离取一个点，所有点依次连接得到该物体的闭合轮廓曲线，由此完成了对该前景物体的分割；轮廓曲线以外的所有区域为背景区域，其中下标M为正整数；

22)生成关键帧深度图：根据关键帧前景物体O_j的特点，用户通过计算机屏幕以输入数值的方式，指定边缘轮廓C_j所围区域内每个像素的深度值，像素的深度值以一整数表示，该像素的空间位置离摄像机的距离，取值范围为大于0，小于等于255，其中深度值0，表示空间位置在距离摄像机无限远处，而深度值255则表示距离摄像机最近的空间位置；同时，指定背景区域像素的深度值为0，得到关键帧的深度图；

23)提取关键帧的轮廓特征点：在关键帧中所有的前景物体边缘轮廓上，计算机自动利用KLT算法提取其轮廓特征点x_n，获得代表关键帧中该前景物体的轮廓特征点集合{x_n}；

3)参考关键帧前景物体的轮廓特征点，进行双向跟踪得到非关键帧的轮廓特征点：

31)设视频子序列中第t帧为关键帧(其中t为整数，表示帧序号)，参考关键帧前景物体的轮廓特征点，对该子序列中的相邻非关键帧，按照帧号为t-1、t-2、…的顺序，计算机自动利用KLT算法进行后向跟踪，得到关键帧轮廓特征点集合{x_n}中的每一个轮廓特征点x_n在相邻非关键帧中对应的轮廓特征点x′_n，并将其坐标作为该轮廓特征点在本非关键帧中的初始位置；

32)参考关键帧前景物体的轮廓特征点，对相邻非关键帧，按照帧号为t+1、t+2、…的顺序，计算机自动利用KLT算法进行前向跟踪，得到关键帧轮廓特征点集合{x_n}中的每一个轮廓特征点x_n在每一相邻非关键帧中对应的轮廓特征点x″_n，并将其坐标作为该轮廓特征点在本非关键帧中的初始位置；

33)每一个非关键帧中所有的边缘特征点组成该帧前景物体边缘特征点集合{x′_n}或{x″_n}；

4)计算机自动利用邻近边缘特征点运动一致性准则，对每一非关键帧上的相邻轮廓特征点进行分析，去除不满足运动一致性准则的轮廓特征点：

41)计算非关键帧上的轮廓特征点x′_n与相邻帧中对应的参考轮廓特征点x_n在图像平面中的欧氏距离d_n；

42)分别计算x′_n的邻近轮廓特征点x′_n-1、x′_n-2、x′_n+1、x′_n+2与对应参考轮廓特征点的欧氏距离d_n-2、d_n-1、d_n+1、d_n+2；

43)将所述各轮廓特征点之间的欧氏距离代入运动一致性准则函数中：

Δ_n＝d_n-ω₁*(d_n-1+d_n+1)-ω₂*(d_n-2+d_n+2)，

其中Δ_n衡量轮廓特征点x′_n的邻近轮廓特征点运动一致性，ω₁表示邻近特征点x′_n-1、x′_n+1对非关键帧x′_n的影响权重，ω₂表示邻近特征点x′_n-2、x′_n+2对非关键帧x′_n的影响权重，并满足

权重和为1，即2ω₁+2ω₂＝1；

44)对每一非关键帧上轮廓特征点集合{x′_n}中所有的轮廓特征点进行步骤41)～43)的计算；分析每一个轮廓特征点的邻近边缘特征点运动一致性，如果Δ_n大于设定的阈值T1(阈值范围设定在{Δ_n}序列标准差的1～3倍)，则认为对应的轮廓特征点不符合运动一致性准则，置为无效，并从该帧的轮廓特征点集合中去除；

5)对于非关键帧上轮廓特征点稀疏的区域，计算机自动利用KLT算法新增轮廓特征点，并将新增轮廓特征点补充到原来的轮廓特征点集合中：

51)计算机自动依次计算非关键帧中每一个轮廓特征点x′_n与该帧内其相邻轮廓特征点x′_n+1之间的欧氏距离D；

52)如果所述欧氏距离D大于设定阈值T2，则认为轮廓特征点x′_n与x′_n+1之间的区域需要增加轮廓特征点(阈值T2为正整数，由用户根据视频内容特点预先给定，通常根据视频子序列中前景对象的边缘轮廓复杂度来指定，复杂的边缘轮廓对应较小的阈值T2，反之则指定较大的阈值T2)；

53)计算机自动利用KLT算法在该区域新增轮廓特征点，然后将新增轮廓特征点加入到该非关键帧对应的轮廓特征点集合{x′_n}中；

6)计算机自动将非关键帧轮廓特征点集合中每一个轮廓特征点的位置调整到对应前景物体的轮廓上，得到该视频子序列每一非关键帧对应的轮廓特征点集合：

61)利用Canny边缘求取算法，得到非关键帧的边缘点分布图；

62)对非关键帧上的每一个轮廓特征点x′_n，通过水平扫描，找到该帧对应边缘点分布图中最邻近的边缘点，然后将该轮廓特征点的位置调整到对应边缘点上；

63)将调整后的轮廓特征点集合{x′_n}作为参考，跟踪对应视频子序列中其他相邻非关键帧的轮廓特征点；

7)计算机自动基于轮廓特征点集合恢复每一个非关键帧前景物体轮廓：

71)利用B样条插值算法，得到每一非关键帧中各个轮廓特征点之间的轮廓点；

72)利用步骤62)中所述方法，将步骤71)中所述轮廓点位置调整到对应非关键帧边缘点上；

73)连接非关键帧上位置调整后的轮廓点，得到非关键帧中前景物体的轮廓曲线，非关键帧中轮廓曲线以内的区域为前景物体，轮廓曲线以外的所有区域为背景区域；

8)根据关键帧前景物体的深度值，得到该视频子序列的深度图序列：

根据关键帧前景物体的深度值，计算机自动对步骤73)中所得到的非关键帧对应前景物体赋予相同的深度值，对背景区域赋予深度值为0；同时，用户通过计算机屏幕根据视频序列前景物体的运动特点，对非关键帧前景物体的深度值进行细调，得到非关键帧的深度图；关键帧和所有非关键帧的深度图构成该视频子序列的深度图序列；

9)对每一个视频子序列按照步骤2)～8)所述方法，获取对应的深度图序列；所有深度图序列组成原平面视频序列的深度图序列；

10)计算机自动将原平面视频序列的每一帧图像作为参考视图，根据对应的深度图，利用DIBR算法得到相应多个视角的视图；根据特定立体显示设备的要求，将同一时刻的多个视角视图合成为该时刻对应的立体视频帧；

11)所有时刻的立体视频帧组成原平面视频序列对应的立体视频序列。

本发明中提出的基于关键帧双向跟踪和特征点修正的平面视频转立体视频的方法，其实施例，结合附图，说明如下：

本实例的硬件平台为1台普通台式机。

1)利用镜头检测技术，对要处理的平面视频序列，计算机自动按照相邻帧内容的上下文关系，将整个平面视频序列划分成N个内容相关的子序列S₁、S₂、…、S_N；同时，用户通过计算机屏幕指定每个子序列中任意一帧作为关键帧K₁、K₂、…、K_N，其余作为非关键帧，其中下标N为正整数；如图2所示一个视频子序列包括5个视频帧，指定其中用黑线框出的第三帧作为关键帧，其余4帧为非关键帧；

2)选定一个平面视频子序列S_i，对该子序列中的关键帧K_i进行前景物体分割，并提取对应的深度图及轮廓特征点x_n，其中下标i，n为正整数，且0＜i≤N，0＜n≤L，L表示关键帧K_i轮廓特征点的数目；在本实施例中，选定图2所示平面视频子序列，对第三帧(关键帧)进行前景物体分割，并提取对应的深度图及轮廓特征点：

21)对关键帧K_i进行前景物体分割：用户通过计算机屏幕基于图像编辑软件工具，手动勾勒关键帧K_i的前景物体O₁、O₂、…、O_M对应的边缘轮廓C₁、C₂、…、C_M，完成关键帧前景物体的分割；勾勒方法具体实现为：用户通过计算机屏幕沿着关键帧中待分割的前景物体(如图3(a))的轮廓每隔一段距离取一个点，所有点依次连接得到该物体的闭合轮廓曲线，由此完成了对该前景物体的分割；轮廓曲线以外的所有区域为背景区域；在本实施例中，用户按照所述方法对关键帧分割的结果如图3(b)所示，图中对应的前景物体为白色区域，背景为黑色区域；

22)生成关键帧深度图：根据关键帧前景物体O_j的特点，用户通过计算机屏幕以输入数值的方式，指定边缘轮廓C_j所围区域内每个像素的深度值，像素的深度值以一整数表示，该像素的空间位置离摄像机的距离，取值范围为大于0，小于等于255，其中深度值0，表示空间位置在距离摄像机无限远处，而深度值255则表示距离摄像机最近的空间位置；同时，指定背景区域像素的深度值为0，得到关键帧的深度图；如图3(b)所示，背景深度值赋为0，前景物体深度值赋为200；

23)提取关键帧的轮廓特征点：在关键帧中所有的前景物体边缘轮廓上，计算机自动利用KLT算法提取其轮廓特征点x_n，获得代表关键帧中该前景物体的轮廓特征点集合{x_n}；如图3(c)中在前景物体边缘上用黑点表示；

3)参考关键帧前景物体的轮廓特征点，进行双向跟踪得到非关键帧的轮廓特征点：

31)设视频子序列中第t帧为关键帧(其中t为整数，表示帧序号)，参考关键帧前景物体的轮廓特征点，对该子序列中的相邻非关键帧，按照帧号为t-1、t-2、…的顺序，计算机自动利用KLT算法进行后向跟踪，得到关键帧轮廓特征点集合{x_n}中的每一个轮廓特征点x_n在相邻非关键帧中对应的轮廓特征点x′_n，并将其坐标作为该轮廓特征点在本非关键帧中的初始位置；

32)参考关键帧前景物体的轮廓特征点，对相邻非关键帧，按照帧号为t+1、t+2、…的顺序，计算机自动利用KLT算法进行前向跟踪，得到关键帧轮廓特征点集合{x_n}中的每一个轮廓特征点x_n在每一相邻非关键帧中对应的轮廓特征点x″_n，并将其坐标作为该轮廓特征点在本非关键帧中的初始位置；

33)每一个非关键帧中所有的边缘特征点组成该帧前景物体边缘特征点集合{x′_n}或{x″_n}，在图4(a)中用黑色点标出非关键帧轮廓特征点跟踪初始结果；

4)计算机自动利用邻近边缘特征点运动一致性准则，对每一非关键帧上的相邻轮廓特征点进行分析，去除不满足运动一致性准则的轮廓特征点：

41)计算非关键帧上的轮廓特征点x′_n与相邻帧中对应的参考轮廓特征点x_n在图像平面中的欧氏距离d_n；

42)分别计算x′_n的邻近轮廓特征点x′_n-1、x′_n-2、x′_n+1、x′_n+2与对应参考轮廓特征点的欧氏距离d_n-2、d_n-1、d_n+1、d_n+2；

43)将所述各轮廓特征点之间的欧氏距离代入运动一致性准则函数中：

Δ_n＝d_n-ω₁*(d_n-1+d_n+1)-ω₂*(d_n-2+d_n+2)，

其中Δ_n衡量轮廓特征点x′_n的邻近轮廓特征点运动一致性，ω₁表示邻近特征点x′_n-1、x′_n+1对非关键帧x′_n的影响权重，ω₂表示邻近特征点x′_n-2、x′_n+2对非关键帧x′_n的影响权重，并满足权重和为1，即2ω₁+2ω₂＝1；在本实施例中，取ω₁＝1/3、ω₂＝1/6，表示较近的相邻帧对运动一致性影响权重大，且ω₁和ω₂总权重为1；

44)对每一非关键帧上轮廓特征点集合{x′_n}中所有的轮廓特征点进行步骤41)～43)的计算；分析每一个轮廓特征点的邻近边缘特征点运动一致性，如果Δ_n大于设定的阈值T1阈值范围设定在{Δ_n}序列标准差的1～3倍，则认为对应的轮廓特征点不符合运动一致性准则，置为无效，并从该帧的轮廓特征点集合中去除；本实施例中，给定阈值T1为{Δ_n}序列标准差的2倍；特征点筛选后的轮廓特征点分布的结果如图4(b)所示；

5)对于非关键帧上轮廓特征点稀疏的区域，计算机自动利用KLT算法新增轮廓特征点，并将新增轮廓特征点补充到原来的轮廓特征点集合中：

51)计算机自动依次计算非关键帧中每一个轮廓特征点x′_n与该帧内其相邻轮廓特征点x′_n+1之间的欧氏距离D；

52)如果所述欧氏距离D大于设定阈值T2，则认为轮廓特征点x′_n与x′_n+1之间的区域需要增加轮廓特征点(阈值T2由用户根据视频内容特点预先给定，通常根据视频子序列中前景对象的边缘轮廓复杂度来指定，复杂的边缘轮廓对应较小的阈值T2，反之则指定较大的阈值T2)；本实施例中，前景物体边缘轮廓较为简单，指定阈值T2为20；

53)计算机自动利用KLT算法在该区域新增轮廓特征点，然后将新增轮廓特征点加入到该非关键帧对应的轮廓特征点集合{x′_n}中；轮廓特征点补充后的结果如图4(c)所示；

6)计算机自动将非关键帧轮廓特征点集合中每一个轮廓特征点的位置调整到对应前景物体的轮廓上，得到该视频子序列每一非关键帧对应的轮廓特征点集合：

61)利用Canny边缘求取算法，得到非关键帧的边缘点分布图，如图4(d)所示；

62)对非关键帧上的每一个轮廓特征点x′_n，通过水平扫描，找到该帧对应边缘点分布图中最邻近的边缘点，然后将该轮廓特征点的位置调整到对应边缘点上，轮廓特征点位置调整后的结果，如图4(e)所示；

63)将调整后的轮廓特征点集合{x′_n}作为参考，跟踪对应视频子序列中其他相邻非关键帧的轮廓特征点；

7)计算机自动基于轮廓特征点集合恢复每一个非关键帧前景物体轮廓：

71)利用B样条插值算法，得到每一非关键帧中各个轮廓特征点之间的轮廓点，如图5(a)所示；

72)利用步骤62)中所述方法，结合非关键帧边缘点分布图(如图5(b)所示)，将步骤71)中所述轮廓点位置调整到对应非关键帧边缘点上；

73)连接非关键帧上位置调整后的轮廓点，得到非关键帧中前景物体的轮廓曲线，非关键帧中轮廓曲线以内的区域为前景物体，轮廓曲线以外的所有区域为背景区域，如图5(c)所示；

8)根据关键帧前景物体的深度值，得到该视频子序列的深度图序列：

根据关键帧前景物体的深度值，计算机自动对步骤73)中所得到的非关键帧对应前景物体赋予相同的深度值，对背景区域赋予深度值为0；同时，用户通过计算机屏幕根据视频序列前景物体的运动特点，对非关键帧前景物体的深度值进行细调，得到非关键帧的深度图；关键帧和所有非关键帧的深度图构成该视频子序列的深度图序列；本实施例的包括1个视频帧关键帧和4个非关键帧的视频子序列及对应的深度图序列如图6所示；

9)对每一个视频子序列按照步骤2)～8)所述方法，获取对应的深度图序列；所有深度图序列组成原平面视频序列的深度图序列；

10)计算机自动将原平面视频序列的每一帧图像作为参考视图，根据对应的深度图，利用DIBR算法得到相应多个视角的视图；根据特定立体显示设备的要求，将同一时刻的多个视角视图合成为该时刻对应的立体视频帧；

11)所有时刻的立体视频帧组成原平面视频序列对应的立体视频序列。

Claims (8)

1、一种基于双向跟踪和特征点修正的改进KLT算法来实现平面视频到立体视频的转换方法，具体步骤为：

1)利用镜头检测技术，对要处理的平面视频序列，计算机自动按照相邻帧内容的上下文关系，将整个平面视频序列划分成N个内容相关的子序列S₁、S₂、…、S_N；同时，用户通过计算机屏幕指定每个子序列中任意一帧作为关键帧K₁、K₂、…、K_N，其余作为非关键帧，其中下标N为正整数；

2)选定一个平面视频子序列S_i，对该子序列中的关键帧K_i进行前景物体分割，并提取对应的深度图及轮廓特征点x_n，其中下标i，n为正整数，且0＜i≤N，0＜n≤L，L表示关键帧K_i轮廓特征点的数目；

3)参考关键帧前景物体的轮廓特征点，进行双向跟踪得到非关键帧的轮廓特征点；

4)计算机自动利用邻近边缘特征点运动一致性准则，对每一非关键帧上的相邻轮廓特征点进行分析，去除不满足运动一致性准则的轮廓特征点；

5)对于非关键帧上轮廓特征点稀疏的区域，计算机自动利用KLT算法新增轮廓特征点，并将新增轮廓特征点补充到原来的轮廓特征点集合中；

6)计算机自动将非关键帧轮廓特征点集合中每一个轮廓特征点的位置调整到对应前景物体的轮廓上，得到该视频子序列每一非关键帧对应的轮廓特征点集合；

7)计算机自动基于轮廓特征点集合恢复每一个非关键帧前景物体轮廓；

8)根据关键帧前景物体的深度值，得到该视频子序列的深度图序列；

9)对每一个视频子序列按照步骤2)～8)所述方法，获取对应的深度图序列；所有深度图序列组成原平面视频序列的深度图序列；

10)计算机自动将原平面视频序列的每一帧图像作为参考视图，根据对应的深度图，利用DIBR算法得到相应多个视角的视图；根据特定立体显示设备的要求，将同一时刻的多个视角视图合成为该时刻对应的立体视频帧；

11)所有时刻的立体视频帧组成原平面视频序列对应的立体视频序列。

2、如权利要求1所述方法，其特征在于，所述步骤2)选定一个平面视频子序列S_i，对该子序列中的关键帧K_i进行前景物体分割，并提取对应的深度图及轮廓特征点，具体包括：

21)对关键帧K_i进行前景物体分割：用户通过计算机屏幕基于图像编辑软件工具，手动勾勒关键帧K_i的前景物体O₁、O₂、…、O_M对应的边缘轮廓C₁、C₂、…、C_M，完成关键帧前景物体的分割；勾勒方法具体实现为：用户通过计算机屏幕沿着关键帧中待分割的前景物体的轮廓每隔一段距离取一个点，所有点依次连接得到该物体的闭合轮廓曲线，由此完成了对该前景物体的分割；轮廓曲线以外的所有区域为背景区域，其中下标M为正整数；

22)生成关键帧深度图：根据关键帧前景物体O_j的特点，用户通过计算机屏幕以输入数值的方式，指定边缘轮廓C_j所围区域内每个像素的深度值，像素的深度值以一整数表示，该像素的空间位置离摄像机的距离，取值范围为大于0，小于等于255，其中深度值0，表示空间位置在距离摄像机无限远处，而深度值255则表示距离摄像机最近的空间位置；同时，指定背景区域像素的深度值为0，得到关键帧的深度图；

23)提取关键帧的轮廓特征点：在关键帧中所有的前景物体边缘轮廓上，计算机自动利用KLT算法提取其轮廓特征点x_n，获得代表关键帧中该前景物体的轮廓特征点集合{x_n}。

3、如权利要求1所述方法，其特征在于，所述步骤3)参考关键帧前景物体的轮廓特征点，进行双向跟踪得到非关键帧的轮廓特征点，具体包括：

31)设视频子序列中第t帧为关键帧，其中t为整数，表示帧序号，参考关键帧前景物体的轮廓特征点，对该子序列中的相邻非关键帧，按照帧号为t-1、t-2、…的顺序，计算机自动利用KLT算法进行后向跟踪，得到关键帧轮廓特征点集合{x_n}中的每一个轮廓特征点x_n在相邻非关键帧中对应的轮廓特征点x′_n，并将其坐标作为该轮廓特征点在本非关键帧中的初始位置；

32)参考关键帧前景物体的轮廓特征点，对相邻非关键帧，按照帧号为t+1、t+2、…的顺序，计算机自动利用KLT算法进行前向跟踪，得到关键帧轮廓特征点集合{x_n}中的每一个轮廓特征点x_n在每一相邻非关键帧中对应的轮廓特征点x″_n，并将其坐标作为该轮廓特征点在本非关键帧中的初始位置；

33)每一个非关键帧中所有的边缘特征点组成该帧前景物体边缘特征点集合{x′_n}或{x″_n}。

4、如权利要求1所述方法，其特征在于，所述步骤4)计算机自动利用邻近边缘特征点运动一致性准则，对每一非关键帧上的相邻轮廓特征点进行分析，去除不满足运动一致性准则的轮廓特征点，具体包括：

41)计算非关键帧上的轮廓特征点x′_n与相邻帧中对应的参考轮廓特征点x_n在图像平面中的欧氏距离d_n；

42)分别计算x′_n的邻近轮廓特征点x′_n-1、x′_n-2、x′_n+1、x′_n+2与对应参考轮廓特征点的欧氏距离d_n-2、d_n-1、d_n+1、d_n+2；

43)将所述各轮廓特征点之间的欧氏距离代入运动一致性准则函数中：

Δ_n＝d_n-ω₁*(d_n-1+d_n+1)-ω₂*(d_n-2+d_n+2)，

其中Δ_n衡量轮廓特征点x′_n的邻近轮廓特征点运动一致性，ω₁表示邻近特征点x′_n-1、x′_n+1对非关键帧x′_n的影响权重，ω₂表示邻近特征点x′_n-2、x′_n+2对非关键帧x′_n的影响权重，并满足权重和为1，即2ω₁+2ω₂＝1；

44)对每一非关键帧上轮廓特征点集合{x′_n}中所有的轮廓特征点进行步骤41)～43)的计算；分析每一个轮廓特征点的邻近边缘特征点运动一致性，如果Δ_n大于设定的阈值T1，则认为对应的轮廓特征点不符合运动一致性准则，置为无效，并从该帧的轮廓特征点集合中去除。

5、如权利要求1所述方法，其特征在于，所述步骤5)对于非关键帧上轮廓特征点稀疏的区域，计算机自动利用KLT算法新增轮廓特征点，并将新增轮廓特征点补充到原来的轮廓特征点集合中：

51)计算机自动依次计算非关键帧中每一个轮廓特征点x′_n与该帧内其相邻轮廓特征点x′_n+1之间的欧氏距离D；

52)如果所述欧氏距离D大于设定阈值T2，则认为轮廓特征点x′_n与x′_n+1之间的区域需要增加轮廓特征点(阈值T2为正整数，由用户根据视频内容特点预先给定，通常根据视频子序列中前景对象的边缘轮廓复杂度来指定，复杂的边缘轮廓对应较小的阈值T2，反之则指定较大的阈值T2)；

53)计算机自动利用KLT算法在该区域新增轮廓特征点，然后将新增轮廓特征点加入到该非关键帧对应的轮廓特征点集合{x′_n}中。

6、如权利要求1所述方法，其特征在于，所述步骤6)计算机自动将非关键帧轮廓特征点集合{x′_n}中每一个轮廓特征点的位置调整到对应前景物体的轮廓上，得到该视频子序列每一非关键帧对应的轮廓特征点集合，具体包括：

61)利用Canny边缘求取算法，得到非关键帧的边缘点分布图；

62)对非关键帧上的每一个轮廓特征点x′_n，通过水平扫描，找到该帧对应边缘点分布图中最邻近的边缘点，然后将该轮廓特征点的位置调整到对应边缘点上；

63)将调整后的轮廓特征点集合{x′_n}作为参考，跟踪对应视频子序列中其他相邻非关键帧的轮廓特征点。

7、如权利要求1所述方法，其特征在于，所述步骤7)计算机自动基于轮廓特征点集合恢复非关键帧前景物体轮廓，具体包括：

71)利用B样条插值算法，得到每一非关键帧中各个轮廓特征点之间的轮廓点；

72)利用步骤62)中所述方法，将步骤71)中所述轮廓点位置调整到对应非关键帧边缘点上；

73)连接非关键帧上位置调整后的轮廓点，得到非关键帧中前景物体的轮廓曲线，非关键帧中轮廓曲线以内的区域为前景物体，轮廓曲线以外的所有区域为背景区域。

8、如权利要求1所述方法，其特征在于，所述步骤8)根据关键帧前景物体的深度值，得到该视频子序列的深度图序列，具体包括；根据关键帧前景物体的深度值，计算机自动对步骤73)中所得到的非关键帧对应前景物体赋予相同的深度值，对背景区域赋予深度值为0；同时，用户通过计算机屏幕根据视频序列前景物体的运动特点，对非关键帧前景物体的深度值进行细调，得到非关键帧的深度图；关键帧和所有非关键帧的深度图构成该视频子序列的深度图序列。

Images