CN102724530B - 基于反馈控制的平面视频立体化方法 - Google Patents

Abstract

本发明提出一种基于反馈控制的平面视频立体化方法，包括以下步骤：读入平面视频帧序列中的关键帧，并根据输入的关键帧人工标记，利用图像分割算法得到关键帧的前景对象；通过闭环反馈控制的方式生成关键帧前景对象的标记线，并将标记线逐帧地扩展至各个非关键帧，以及利用图像分割算法恢复非关键帧的前景对象；以及对关键帧的前景对象和非关键帧的前景对象进行统一的深度赋值以获得平面视频帧序列的深度图序列，并对深度图序列进行深度双向合成以获得最终的深度图序列。根据本发明实施例的方法，只在少数的关键帧上进行人机交互操作且采用闭环反馈控制方式，提高了效率且保证了深度图的准确性。

Description

基于反馈控制的平面视频立体化方法

技术领域

本发明涉及计算机图像处理领域，特别涉及一种基于反馈控制的平面视频立体化方法。

背景技术

立体视频作为当前影视作品的一种重要表现形式，显示效果层次分明、色彩鲜艳且具有很强的视觉冲击力，随着近年来立体影视作品在全球范围内取得的成功，立体视频在终端显示、机器人导航、航空航天、军事训练、医疗教育、游戏传媒等领域具有广阔的市场前景和商业价值，被广泛认为是影视行业未来发展的主要方向。

与原有的平面视频制作相比，立体视频的制作需要能够呈现出层次分明的场景深度信息，使得影视作品具有很强的视觉冲击力，给人以身临其境的视觉享受。现有的立体视频制作技术主要有三种，一种是使用立体摄像机进行拍摄制作立体视频，另一种是利用三维建模软件制作立体视频，还有一种是利用平面视频立体化技术将平面视频转换为立体视频，其中，第一种制作技术成本高且对设备校准、拍摄环境、后期制作的要求也高，第二种制作技术需要专业人员花费大量精力对场景、对象进行建模，经济成本和时间成本令人望而却步，第三种制作技术成本比前两种技术低很多，且可将任何一组现有的立体视频转换为对应的立体视频。

平面视频立体化技术的关键点在于如何高效的生成相应的深度图序列。现有技术中，通过人机交互，利用图像分割算法，人工的给图像中的物体赋予深度值以获取平面图像序列深度。目前，存在的问题是需要大量的人工操作，使得深度图的制作周期较长，制作成本较高。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为达到上述目的，本发明的实施例提出一种基于反馈控制的平面视频立体化方法，包括以下步骤：S1：读入平面视频帧序列中的关键帧，并根据输入的关键帧人工标记，利用图像分割算法得到所述关键帧的前景对象；S2：通过闭环反馈控制的方式生成所述关键帧前景对象的标记线，并将所述标记线逐帧地扩展至各个非关键帧，以及利用图像分割算法恢复所述非关键帧的前景对象；以及S3：对所述关键帧的前景对象和所述非关键帧的前景对象进行统一的深度赋值以获得所述平面视频帧序列的深度图序列，并对所述深度图序列进行深度双向合成以获得最终的深度图序列。

根据本发明实施例的基于反馈控制的平面视频立体化方法，一方面只在少数的关键帧上进行人机交互操作，提高了效率且保证了深度图的准确性，另一方面采用闭环反馈控制方式，进一步提高了效率。

本发明的一个实例中，所述步骤S1包括：接收用户选定的所述平面视频中存在镜头切换或关键动作变化的帧作为关键帧，或者采用镜头检测算法选定关键帧；通过笔画的方式在所述关键帧的前景物体和背景物体上所做的不同的标记；再根据所述关键帧的前景物体和背景物体上的不同的标记，采用基于笔画标记的图像分割算法提取所述关键帧的前景对象。

本发明的一个实例中，所述关键帧进行滤波以减弱图像噪声。

本发明的一个实例中，所述步骤S2包括：S21：基于闭环反馈控制规律生成所述关键帧的标记线；S22：利用自适应块匹配算法计算各个标记像素的邻域像素的运动矢量，并对所述邻域像素的运动矢量进行加权平均以获取所述标记像素的运动矢量，以及根据所述标记像素的运动矢量，将所述标记线扩展至下一帧，直至下一关键帧处停止；S23：根据扩展得到的标记线，调用图像分割算法恢复所述非关键帧的前景对象。

本发明的一个实例中，所述步骤S2还包括：判断恢复出的非关键帧的前景对象是否准确；以及如果恢复出的非关键帧的前景对象不准确，则按照关键帧中输入人工标记的方式修改所述关键帧的标记线。

本发明的一个实例中，所述步骤S21包括：S211：利用Grass-fire算法得到所述关键帧前景对象的骨架线作为前景标记集合；S212：将所述关键帧前景对象的边界向外膨胀多个像素得到扩展边界，并在所述扩展边界上采样以将采样点作为背景标记集合；S213：以所述前景标记集合与所述背景标记集合为输入，调用图像分割算法得到生成对象；S214：如果所述前景对象与所述生成对象的差异小于预定阈值，则将所述前景标记集合和背景标记集合作为关键帧的标记线；S215：如果存在仅属于前景对象而不属于生成对象的第一区域，则调用Grass-fire算法得到所述第一区域的骨架线并加入到所述前景标记集合中，并返回到步骤S213继续执行；S216；如果存在仅属于生成对象而不属于前景对象的第二区域，则调用Grass-fire算法得到所述第二区域的骨架线并加入到所述背景标记集合中，并返回到步骤S213继续执行。

本发明的一个实例中，所述步骤S3包括：根据从所述平面视频帧序列中提取出的前景对象和预设的深度赋值模型生成所述平面视频帧序列的前向深度图序列和后向深度图序列；根据所述前向深度图序列和后向深度图序列通过进行深度双向合成得到非关键帧的深度图。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于反馈控制的平面视频立体化方法的流程图；以及

图2为本发明实施例的闭环反馈控制的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

图1为本发明实施例的基于反馈控制的平面视频立体化方法的流程图。如图1所示，根据本发明实施例的基于反馈控制的平面视频立体化方法，包括以下步骤：

S101，读入平面视频帧序列中的关键帧，并根据输入的关键帧人工标记，利用图像分割算法得到关键帧的前景对象。

具体地，首先，接收用户选定的平面视频中存在镜头切换或关键动作变化的帧作为关键帧，或者采用镜头检测算法选定关键帧，在本发明的一个实施例中，选择关键帧之后，对关键帧进行滤波以减弱图像噪声，例如可以使用高斯滤波方法或者Mean-shift滤波方法等对关键帧进行滤波，由此以减弱图像噪声对分割算法的影响。然后，接收用户通过笔画的方式在关键帧的前景物体和背景物体上所做的不同的标记，例如，用户可以选择用鼠标左键在前景物体上做标记，用鼠标右键在背景物体上做标记。最后，根据关键帧的前景物体和背景物体上的不同的标记，采用基于笔画标记的图像分割算法提取关键帧的前景对象，例如，可以使用Graph Cut算法、Lazy Snapping等算法等提取关键帧的前景对象，如果图像分割算法不能准确地提取关键帧的前景对象，修改或者重新进行人工标记后再提取关键帧的前景对象。

S102，通过闭环反馈控制的方式生成关键帧前景对象的标记线，并将标记线逐帧地扩展至各个非关键帧，以及利用图像分割算法恢复非关键帧的前景对象。

具体地，首先基于闭环反馈控制规律生成关键帧的标记线。更具体地，利用Grass-fire算法得到关键帧前景对象的骨架线作为前景标记集合，将关键帧前景对象的边界向外膨胀多个像素得到扩展边界，并在扩展边界上采样以将采样点作为背景标记集合，以前景标记集合与背景标记集合为输入，调用图像分割算法得到生成对象，根据前景对象和生成对象进行分析，包括以下几种情况：  (1)如果前景对象与生成对象的差异小于预定阈值，则将前景标记集合和背景标记集合作为关键帧的标记线；  (2)如果存在仅属于前景对象而不属于生成对象的第一区域，则调用Grass-fire算法得到第一区域的骨架线并加入到前景标记集合中，然后，以前景标记集合与背景标记集合为输入，重新调用图像分割算法得到生成对象；  (3)如果存在仅属于生成对象而不属于前景对象的第二区域，则调用Grass-fire算法得到第二区域的骨架线并加入到背景标记集合中，然后，以前景标记集合与背景标记集合为输入，重新调用图像分割算法得到生成对象。

如图2所示，整个关键帧的标记线的生成过程，构成完整的闭环反馈控制系统，以关键帧的前景对象为系统的给定量；以图像分割算法得到的生成对象为系统的反馈量；由Grass-fire算法生成的标记线构成了系统的输出量；控制系统的控制器以给定量与反馈量的偏差为输入，按照前述的控制规律，得到偏差区域作为控制信号给执行器；Grass-fire算法作为控制系统的执行器，负责将偏差区域转化为标记线；图像分割算法作为控制系统的传感器，负责将标记线转化为生成对象。整个系统在前景对象给定后就能够自动的按照闭环反馈控制规律运行，直至输出的标记线达到控制系统的设定要求。

然后，利用自适应块匹配算法计算各个标记像素的邻域像素的运动矢量，并对邻域像素的运动矢量进行加权平均以获取标记像素的运动矢量，根据标记像素的运动矢量，将标记线扩展至下一帧，直至下一关键帧处停止。更具体地，可以将邻域设定为5x5的正方形方格，获取标记像素i的运动矢量朋MV_i的公式如下：

${\mathrm{MV}}_i=\frac{\underset{j}{\mathrm{\Σ}}{f}_{\mathrm{ij}}{w}_{\mathrm{ij}}{\mathrm{MV}}_j}{\underset{j}{\mathrm{\Σ}}{f}_{\mathrm{ij}}{w}_{\mathrm{ij}}},$

其中，

$w_{\mathrm{ij}}=2^{-a\left(\right|r_i-r_j|+|g_i-g_j|+|b_i-b_j\left|\right)}$

MV_j为邻域像素j的运动矢量，f_ij为标记像素i与邻域像素j之间的空间权重，w_ij为标记像素i与邻域像素j之间的颜色权重，p为表征空间权重的输入参数，s为表征邻域尺寸的输入参数，a为表征颜色权重的输入参数，（r，g，b）为图像的RGB三通道颜色值。

最后，根据扩展得到的标记线，调用图像分割算法恢复非关键帧的前景对象。

在本发明的一个实施例中，判断恢复出的非关键帧的前景对象是否准确，如果恢复出的非关键帧的前景对象不准确，则按照关键帧中输入人工标记的方式修改扩展得到的非关键帧标记线。

S103，对关键帧的前景对象和非关键帧的前景对象进行统一的深度赋值以获得平面视频帧序列的深度图序列，并对深度图序列进行深度双向合成以获得最终的深度图序列。

具体地，根据从平面视频帧序列中提取出的前景对象和预设的深度赋值模型生成平面视频帧序列的深度图序列，其中常用的深度赋值模型可以包括单一深度模型、线性渐变深度模型、球形渐变深度模型等。更具体地，根据关键帧的前景对象套用深度赋值模型获得关键帧深度图，根据深度赋值模型的参数与关键帧前景对象的位置关系同理获得非关键帧的深度图，例如，采用显性渐变深度模型，其参数为线段的起始点、终止点及该两点之间的深度值，整个图像前景按照该线段的深度渐变效果生成深度图，通过计算起始点和终止点相对数与关键帧前景对象外包络矩形的相对位置，就得到了线段渐变深度模型的模型参数与关键帧前景对象的位置关系，对于任意非关键帧，按照同样的位置关系就能够恢复出线段的起始点和终止点相对于该帧前景对象外包络矩形的相对位置，从而自动生成该帧的深度图，由此生成整个图像序列对应的深度图序列。

然后，按照上述的深度图序列生成方法获得前向深度图序列和后向深度图序列，再根据前向深度图序列和后向深度图序列通过进行深度双向合成得到非关键帧的深度图。更具体地，计算从第t个关键帧向第t+1个关键帧扩展的标记线，从前向后依次恢复各非关键帧的深度图，得到前向深度图序列，同理计算第t+1个关键帧向第t个关键帧扩展的标记线，从后向前依次恢复中间各非关键帧的深度图，得到后向深度图序列，前向深度图序列以第t个关键帧的深度图序列为基准，后向深度图序列以第t+1个关键帧的深度图为基准，利用深度双向合成的方法，实现前景对象深度值持续渐变的效果，例如，可以采用线性插值的方式进行深度双向合成，D_f为待计算的非关键帧的深度图，计算公式如下：

$D_f=\frac{f-K_t}{K_{t+1}-K_t}{D}_{2f}+\frac{K_{t+1}-f}{K_{t+1}-K_t}{D}_{1f}$

其中，K_t和K_t+1为相邻的关键帧序号，D_1f和D_2f分别为前向和后向深度图序列中第f帧的深度图，f为非关键帧的序号。应当理解，双向合成方式并不限于线性插值，也可以采用平方插值等方式。

根据本发明实施例的基于反馈控制的平面视频立体化方法，至少具有以下的有益效果：（1）只需在少数的关键帧上进行人机交互操作即可分割出整个平面视频序列的前景对象，方便操作者对前景对象统一深度赋值，提高了效率且保证了深度图的准确性。（2）采用闭环反馈控制方式可按照规律循环直至输出的标记线达到要求，进一步提高了效率，同时简化了人工操作。（3）采用了深度双向合成方式，提高了深度图序列的准确性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (5)

1.一种基于反馈控制的平面视频立体化方法，其特征在于，包括以下步骤：

S1：读入平面视频帧序列中的关键帧，并根据输入的关键帧人工标记，利用图像分割算法得到所述关键帧的前景对象；

S2：通过闭环反馈控制的方式生成所述关键帧前景对象的标记线，并将所述标记线逐帧地扩展至各个非关键帧，以及利用图像分割算法恢复所述非关键帧的前景对象；以及

S3：对所述关键帧的前景对象和所述非关键帧的前景对象进行统一的深度赋值以获得所述平面视频帧序列的深度图序列，并对所述深度图序列进行深度双向合成以获得最终的深度图序列，

其中，所述步骤S2进一步包括：

S21：利用Grass-fire算法得到所述关键帧前景对象的骨架线作为前景标记集合；

S22：将所述关键帧前景对象的边界向外膨胀多个像素得到扩展边界，并在所述扩展边界上采样以将采样点作为背景标记集合；

S23：以所述前景标记集合与所述背景标记集合为输入，调用图像分割算法得到生成对象；

S24：如果所述前景对象与所述生成对象的差异小于预定阈值，则将所述前景标记集合和背景标记集合作为关键帧的标记线；

S25：如果存在仅属于前景对象而不属于生成对象的第一区域，则调用Grass-fire算法得到所述第一区域的骨架线并加入到所述前景标记集合中，并返回到步骤S23继续执行；

S26:如果存在仅属于生成对象而不属于前景对象的第二区域，则调用Grass-fire算法得到所述第二区域的骨架线并加入到所述背景标记集合中，并返回到步骤S23继续执行；

S27：利用自适应块匹配算法计算各个标记像素的邻域像素的运动矢量，并对所述邻域像素的运动矢量进行加权平均以获取所述标记像素的运动矢量，以及根据所述标记像素的运动矢量，将所述标记线扩展至下一帧，直至下一关键帧处停止；

S28：根据扩展得到的标记线，调用图像分割算法恢复所述非关键帧的前景对象。

2.根据权利要求1所述的基于反馈控制的平面视频立体化方法，其特征在于，所述步骤S1进一步包括：

接收用户选定的所述平面视频中存在镜头切换或关键动作变化的帧作为关键帧，或者采用镜头检测算法选定关键帧；

接收用户通过笔画的方式在所述关键帧的前景物体和背景物体上所做的不同的标记；以及

根据所述关键帧的前景物体和背景物体上的不同的标记，采用基于笔画标记的图像分割算法提取所述关键帧的前景对象。

3.根据权利要求2所述的基于反馈控制的平面视频立体化方法，其特征在于，所述步骤S1还包括：

对所述关键帧进行滤波以减弱图像噪声。

4.根据权利要求1所述的基于反馈控制的平面视频立体化方法，其特征在于，所述步骤S2还包括：

判断恢复出的非关键帧的前景对象是否准确；以及

如果恢复出的非关键帧的前景对象不准确，则按照关键帧中输入人工标记的方式修改所述关键帧的标记线。

5.根据权利要求1所述的基于反馈控制的平面视频立体化方法，其特征在于，所述步骤S3进一步包括：

根据从所述平面视频帧序列中提取出的前景对象和预设的深度赋值模型生成所述平面视频帧序列的前向深度图序列和后向深度图序列；以及

根据所述前向深度图序列和后向深度图序列通过进行深度双向合成得到非关键帧的深度图。