CN102724532A - 一种平面视频立体化转化方法及使用该方法的系统 - Google Patents

Abstract

本发明提出了一种平面视频立体化转化方法及使用该方法的系统，该转化方法包括如下步骤：输入平面视频；镜头分类，选定关键帧；深度计算，得到关键帧深度图；进行深度传播，得到深度图序列；图像渲染，得到立体图像序列；后期处理，得到最终的立体视频。本发明的平面视频立体化转化方法采用人机交互的方式输入信息并及时调整算法参数和调用相应的转换算法，能够直观而高效地控制整个立体视频的制作流程，提高了深度图制作的效率和生成深度图的精度。本发明还提供了平面视频立体化转化设备和平面视频立体化转化系统，能够根据任务需求，运行在独立工作的状态或终端工作状态，提高了对于不同任务的适应性，特别是在处理大型任务时效率更高。

Description

一种平面视频立体化转化方法及使用该方法的系统

技术领域

本发明涉及计算机图像处理技术领域，特别涉及一种基于人机交互的新型平面视频立体化转化方法及使用该方法的系统。

背景技术

立体视频是视觉信息的一种重要的表示方式，其研究涉及计算机视觉、图像视频处理、模式识别等领域，具有广阔的应用前景。近年来，立体影视作品在全球范围内取得成功，人们普遍将立体视频内容制作技术视为影视行业的一次新的革命。与现有的平面视频内容制作方式相比，立体视频内容制作技术能够呈现出层次分明的场景深度信息，使影视作品具有很强的视觉冲击力，给人以身临其境的视觉享受。

但是，随着立体视频产业的繁荣发展，立体视频片源缺乏的问题变得愈发严重，这成为制约立体产业链发展的瓶颈。如何以较低的成本快速解决此瓶颈，成为当前立体视频研究领域的课题之一。有一种解决方法是采用平面视频立体化转换技术，这种技术是通过计算机视觉、图像处理等技术，利用原有平面视频进行立体视频内容制作，其具有成本低、速度快等优势。考虑到现有的海量平面视频素材，若将其转化为立体视频，不仅能够让观众获得更好的观赏体验，还可以推进以立体电视、立体影院为代表的立体显示技术的推广普及。

然而，平面视频立体化本质上是一个欠定问题，需要引入额外的深度信息才能实现整个转换流程。对于一段无约束的普通平面视频，现有技术还不能利用视频中的各种单目深度线索自动生成高质量的深度图，因而需要操作者以人机交互的方式制作深度图。目前，平面视频立体化技术用到的人机交互方式仍然以鼠标和键盘作为输入装置，这些设备在深度图制作时无法直观而高效的控制整个制作流程。这不仅降低了深度图制作的效率，也影响了生成深度图的精度。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种平面视频立体化转化方法及使用该方法的系统。

为了实现本发明的上述目的，根据本发明的一个方面，本发明提供了一种平面视频立体化转化方法，其包括如下步骤：

S1：输入平面视频；

S2：进行镜头分类，选定平面视频图像序列中存在镜头切换或关键动作变化的帧作为关键帧；

S3：对所述关键帧进行深度计算，得到关键帧深度图；

S4：进行深度传播，根据相邻帧间的运动信息和颜色信息，将深度值从前一帧传播到后一帧，实现关键帧到非关键帧的深度传播，得到深度图序列；

S5：进行图像渲染，根据所述平面视频图像序列和深度图序列，得到立体图像序列；

S6：进行后期处理，填补步骤S5中产生的空洞，得到最终的立体视频。

本发明的平面视频立体化转化方法采用人机交互的方式输入信息并及时调整算法参数和调用相应的转换算法，能够直观而高效地控制整个立体视频的制作流程，提高了深度图制作的效率和生成深度图的精度。

为了实现本发明的上述目的，根据本发明的另一个方面，本发明提供了一种平面视频立体化转化设备，其包括支架、由所述支架支撑的外壳及由所述外壳围成的腔室，所述外壳包括可拆卸地安装于所述支架上的前面板和桌面，在所述桌面上设置有主控制台，所述主控制台上设置有实现人机交互的输入装置和输出装置，在所述桌面下方设置有放置主机的主机箱，所述主机与所述输入装置和输出装置相连，所述输入装置用于输入视频转化过程中需要的参数，所述主机接收输入装置输入的参数并按照本发明所述的平面视频立体化转化方法进行平面视频立体化转化，所述输出装置用于显示输入装置的状态以及主机内平面视频立体化转化方法的运行状态，在所述腔室内设置有第一显示器和第二显示器，所述前面板上具有观看第一显示器和第二显示器的窗口，所述第一显示器和第二显示器均与主机相连，所述第一显示器还与输入装置相连，所述第一显示器用于显示人机交互的用户界面和平面图像序列，所述第二显示器用于显示深度图及转化后的立体视频。

本发明的平面视频立体化转化设备进行平面视频立体化转换时，计算任务由机箱内的主机完成。其使用第一显示器作为系统的主界面，同时使用第二显示器监测转换结果，这样，操作者就能够在平面视频立体化转换的过程中实时的查看各种中间结果和立体效果，便于及时修改算法参数或加入人工操作。

在本发明的一种优选实施例中，主控制台上设置的输入装置包括推杆、按键、滚球、转盘和手写板，所述主控制台上设置的输出装置包括LED窗口。

本发明设计的平面视频立体化转化设备能够提供推杆、滚轮、转盘、手写板等多种输入装置，可以很好地与平面视频立体化流程中的各种操作相融合，丰富了平面视频立化操作的输入方式，提高了立体视频的转换效率与转换精度，便于操作者掌控转换的整个过程。

为了实现本发明的上述目的，根据本发明的再一个方面，本发明提供了一种平面视频立体化转化系统，其包括服务器和与所述服务器相连的至少两个本发明所述的平面视频立体化转化设备，所述每一个平面视频立体化转化设备单独进行人机交互、将交互信息传输给所述服务器并显示服务器传回的深度图和转化后的立体视频，所述服务器接收平面视频立体化转化装置传来的信息并按照本发明所述的平面视频立体化转化方法进行平面视频立体化转化。

本发明的平面视频立体化转化系统将计算任务交由外部的高性能服务器进行，平面视频立体化转化设备只负责人机交互及显示监视等操作，此时，服务器可将每个平面视频立体化转化设备当作一个终端，同时挂载多个平面视频立体化转化设备协同工作，各个终端的操作者根据任务分配，各自完成平面视频立体化转换的一部分工作，协作实现整个转换任务。

本发明提供了平面视频立体化转化设备和平面视频立体化转化系统，能够根据任务需求，运行在平面视频立体化转化设备独立工作的状态或平面视频立体化转化系统工作时的终端工作状态，提高了对不同任务的适应性，特别是在处理大型任务时效率更高。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明平面视频立体化转化方法的一种优选实施方式的流程图；

图2是本发明的平面视频立体化转化设备的结构示意图；

图3是图2中所示平面视频立体化转化设备的主控制台的结构示意图；

图4是本发明的平面视频立体化转化系统的工作状态示意图。

附图标记：

101支架；102第一显示器；103第二显示器；104前面板；105束线口；

106主控制台；107键盘托盘；108主机箱；109主机箱后面板；

110桌面；301推杆；302LED窗口；303按键；304滚球及转盘；

305手写板；401服务器；402平面视频立体化转化设备。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

图1是本发明平面视频立体化转化方法的一种优选实施方式的流程图，该转换方法与本发明的硬件设施相配套，负责提供用户界面、响应硬件平台的控制输入、调整算法参数并调用相应的转换算法，从图中可见，该平面视频立体化转化方法包括如下步骤：

第一步：输入平面视频。

第二步：进行镜头分类，选定平面视频图像序列中存在镜头切换或关键动作变化的帧作为关键帧，在本实施方式中，操作者选定关键帧的方法可以为人工选定平面视频中存在镜头切换或关键动作变化的帧作为关键帧，也可以采用镜头检测算法自动选定关键帧，其中，采用的镜头检测算法可以为但不限于直方图匹配算法。

第三步：对关键帧进行深度计算，得到关键帧深度图，具体的步骤包括：首先，利用人机交互的方法分割出关键帧的前景对象和背景对象，采用的图像分割算法可以为但不限于Graphcut算法、Lazysnapping算法或Matting算法；然后，利用深度赋值模型对前景对象和背景对象分别进行深度赋值，得到关键帧深度图，在本实施方式中，采用的深度赋值模型可以为但不限于单一深度模型、线性渐变深度模型、球形渐变深度模型或柱状渐变深度模型。

第四步：进行深度传播，根据相邻帧间的运动信息和颜色信息，将深度值从前一帧传播到后一帧，依次进行，实现关键帧到非关键帧的深度传播，得到深度图序列，在本实施方式中，采用的深度传播算法可以为但不限于KLT跟踪算法或双边滤波算法。

第五步：进行图像渲染，根据平面视频图像序列和深度图序列，调用基于深度图像的渲染算法，得到立体图像序列，在本实施方式中，采用的渲染算法可以为但不限于DIBR算法。

第六步：进行后期处理，填补第五步中产生的空洞，得到最终的立体视频。

本发明的平面视频立体化转化方法采用人机交互的方式输入信息并及时调整算法参数和调用相应的转换算法，能够直观而高效地控制整个立体视频的制作流程，提高了深度图制作的效率和生成深度图的精度。

如图2所示，本发明还提供了一种平面视频立体化转化设备，其内部安装有运行本发明平面视频立体化转化方法的控制软件，该平面视频立体化转化设备包括支架101及由支架支撑的外壳，该外壳围成一个腔室，该外壳包括可拆卸地安装于支架上的前面板104和桌面110，该支架101用于支撑和容纳腔室内的硬件设备，该桌面110具有一定的倾斜角度，便于用户操作，在本发明的一种优选实施方式中，桌面110的倾斜角度范围为从水平面向下倾斜5度-30度。

在桌面110上设置有主控制台106，该主控制台106上设置有实现人机交互的输入装置和输出装置，在桌面110下方设置有放置主机的主机箱108，在本实施方式中，为便于主机散热，主机箱108的前面板为百叶窗样式，主机箱后面板109的上半部分为百叶窗式，主机箱后面板的下半部分开放。主机与输入装置和输出装置相连，输入装置用于输入视频转化过程中需要的参数，主机接收输入装置输入的参数并按照本发明的平面视频立体化转化方法进行平面视频立体化转化，输出装置用于显示输入装置的状态以及主机内平面视频立体化转化方法的运行状态。

本发明在外壳围成的腔室内设置有第一显示器102和第二显示器103，并且在前面板上具有观看第一显示器102和第二显示器103的窗口，在本实施方式中，前面板104能够快速拆卸或安装，方便操作者调节第一显示器102和第二显示器103的角度，该第一显示器102和第二显示器103均与主机相连，第一显示器102还与输入装置相连，该第一显示器102作为整套设备的主界面，用于显示人机交互的用户界面、控制软件的用户界面和平面图像序列，对平面图像序列所进行的各项操作均显示在这台显示器上；第二显示器103作为整套设备的监视器，用于显示深度图及转化后的立体视频，及时进行立体视频预览，操作者能够在平面视频立体化转换的过程中实时的查看各种中间结果和转换的立体效果，便于及时修改算法参数或加入人工操作。

在本发明一种优选实施方式中，该平面视频立体化转化设备还设置有可编程的接口，保留了进一步开发的扩展性，可以方便的将最新的算法研究成果移植到系统中。桌面110上设置有用于线缆通过的束线口105，桌面下方还设置有用于放置键盘的键盘托盘107。

本发明的平面视频立体化转化设备进行平面视频立体化转换时的计算任务由机箱内的主机完成，能够独立完成平面视频立体化转换工作。其使用第一显示器102作为系统的主界面，同时使用第二显示器103监测转换结果。这样，操作者就能够在平面视频立体化转换的过程中实时的查看各种中间结果和立体效果，便于及时修改算法参数或加入人工操作。

本发明主控制台106上设置有多种输入装置和输出装置，从而能够实现硬件平台和控制软件的结合，如图3所示，输入装置包括推杆301、按键303、滚球及转盘304和手写板305，这些输入装置用于辅助用户进行高效的人机交互操作；输出装置包括LED窗口302，其用于显示当前主控制台106的工作状态。在本发明的一种的优选实施例中，主控制台106上具有8个通道的推杆301，分别用于进行包括控制帧浏览、帧选择、深度值调节的工作，每个推杆用一个8位二进制数表征其位置，对应十进制数范围是0-255。LED窗口302用于显示当前各输入装置的状态，如推杆301的位置、转盘的位置及滚球是否在移动，此外，LED窗口302还可以用来提示用户当前控制软件所处的状态，即此刻控制软件运行在哪个步骤及该步骤中可以进行的操作。按键303可以用来控制LED窗口302的显示内容及主控制台上各装置的背光，此外，用户还可以通过控制软件中的设置窗口将某些常用操作绑定到特定按键上，实现自定义按键的功能。滚球用来改变平面视频立体化转换算法的对应参数，转盘用来进行参数微调。另外，在图像分割时，操作者可以用手写板305勾勒对象边界或绘制图像分割算法的输入标记；在深度赋值时，操作者可以利用手写板305对算法生成的深度模型进行人工修改，提高深度图的精度；在后期处理时，若操作者对算法自动填补空洞的效果不满意，可以利用手写板305进行人工填补。

本发明设计的平面视频立体化转化设备能够提供推杆、滚轮、转盘、手写板等多种输入装置，可以很好地与平面视频立体化流程中的各种操作相融合，丰富了平面视频立化操作的输入方式，提高了立体视频的转换效率与转换精度，便于操作者掌控转换的整个过程。

本发明将平面视频立体化过程中的典型操作与主控制台的输入装置相结合，如表1所示。需要说明的是，这里只列出了平面视频立体化转换的典型操作，实际设备可以包括但不限于这些操作。

表1.平面视频立体化转换的典型操作

本发明的平面视频立体化转化设备能够运行在独立工作状态下完成平面视频立体化转换工作，在这种工作状态下，平面视频立体化转换的计算任务由机箱内的主机完成。

如图4所示，本发明还提供了一种平面视频立体化转化系统，该系统包括服务器401和与服务器相连的至少两个本发明的平面视频立体化转化设备402，该服务器401作为核心运算单元，负责整个平面视频立体化转换的计算操作，该至少两个平面视频立体化转化设备402作为输入输出设备，负责人机交互及显示监视，具体的工作过程是每一个平面视频立体化转化设备402单独进行人机交互、将交互信息传输给服务器401，该服务器401接收平面视频立体化转化设备传来的信息并按照本发明的平面视频立体化转化方法进行平面视频立体化转化，然后将转化后的深度图和立体视频传回平面视频立体化转化设备进行显示，具体可以将转化后的深度图和立体视频传回某一台平面视频立体化转化设备进行显示，也可以传回所有的平面视频立体化转化设备进行显示。

在这种终端工作状态下，平面视频立体化转化设备将计算任务交由外部的高性能服务器进行，平面视频立体化转化设备本身只负责人机交互及显示监视等操作。此时，服务器可将每个平面视频立体化转化设备当作一个终端，同时挂载多个终端协同工作，各个终端的操作者根据任务分配，各自完成平面视频立体化转换的一部分工作，协作实现整个转换任务。

本发明提供了平面视频立体化转化设备和平面视频立体化转化系统，能够根据任务需求，运行在平面视频立体化转化设备独立工作的状态或平面视频立体化转化系统工作时的终端工作状态，提高了对于不同任务的适应性，特别是在处理大型任务时效率更高。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种平面视频立体化转化方法，其特征在于，包括如下步骤：

S1：输入平面视频；

S2：进行镜头分类，选定平面视频图像序列中存在镜头切换或关键动作变化的帧作为关键帧；

S3：对所述关键帧进行深度计算，得到关键帧深度图；

S4：进行深度传播，根据相邻帧间的运动信息和颜色信息，将深度值从前一帧传播到后一帧，实现关键帧到非关键帧的深度传播，得到深度图序列；

S5：进行图像渲染，根据所述平面视频图像序列和深度图序列，得到立体图像序列；

S6：进行后期处理，填补步骤S5中产生的空洞，得到最终的立体视频。

2.如权利要求1所述的平面视频立体化转化方法，其特征在于，在所述步骤S2中，选定关键帧的方法为人工选定平面视频中存在镜头切换或关键动作变化的帧作为关键帧或者采用镜头检测算法自动选定关键帧。

3.如权利要求1所述的平面视频立体化转化方法，其特征在于，所述步骤S3包括如下步骤：

S31：利用人机交互的方法分割出关键帧的前景对象和背景对象；

S32：利用深度赋值模型对前景对象和背景对象分别进行深度赋值，得到关键帧深度图。

4.一种平面视频立体化转化设备，其特征在于，包括：支架、由所述支架支撑的外壳及由所述外壳围成的腔室，所述外壳包括可拆卸地安装于所述支架上的前面板和桌面，在所述桌面上设置有主控制台，所述主控制台上设置有实现人机交互的输入装置和输出装置，在所述桌面下方设置有放置主机的主机箱，所述主机与所述输入装置和输出装置相连，所述输入装置用于输入视频转化过程中需要的参数，所述主机接收输入装置输入的参数并按照权利要求1-3所述的平面视频立体化转化方法进行平面视频立体化转化，所述输出装置用于显示输入装置的状态以及主机内平面视频立体化转化方法的运行状态，在所述腔室内设置有第一显示器和第二显示器，所述前面板上具有观看第一显示器和第二显示器的窗口，所述第一显示器和第二显示器均与主机相连，所述第一显示器还与输入装置相连，所述第一显示器用于显示人机交互的用户界面和平面图像序列，所述第二显示器用于显示深度图及转化后的立体视频。

5.如权利要求4所述的平面视频立体化转化设备，其特征在于，所述主控制台上设置的输入装置包括推杆、按键、滚球、转盘和手写板，所述主控制台上设置的输出装置包括LED窗口。

6.如权利要求4所述的平面视频立体化转化设备，其特征在于，所述桌面上设置有用于线缆通过的束线口。

7.如权利要求4所述的平面视频立体化转化设备，其特征在于，所述主机箱的前面板为百叶窗样式；所述主机箱后面板的上半部分为百叶窗样式，所述主机箱后面板的下半部分开放。

8.如权利要求4所述的平面视频立体化转化设备，其特征在于，所述桌面下方还设置有用于放置键盘的键盘托盘。

9.如权利要求4所述的平面视频立体化转化设备，其特征在于，还包括可编程的接口。

10.一种平面视频立体化转化系统，其特征在于，包括：服务器和与所述服务器相连的至少两个权利要求4-9所述的平面视频立体化转化设备，所述每一个平面视频立体化转化设备单独进行人机交互、将交互信息传输给所述服务器并显示服务器传回的深度图和转化后的立体视频，所述服务器接收平面视频立体化转化装置传来的信息并按照权利要求1-3所述的平面视频立体化转化方法进行平面视频立体化转化。

Images