CN104010177B - 一种视频实时2d转3d播放的方法及其装置 - Google Patents

Abstract

本发明公开了一种视频实时2D转3D播放的方法及其装置，其中该方法包括：步骤一，设置第一图片存储区、第二图片存储区；步骤二，解析视频流，生成RGB格式的一帧图片，保存该帧图片到所述第二图片存储区中；步骤三，以所述第一图片存储区中的图片作为左眼源图片进行红色转换处理，以所述第二存储区中的图片作为右眼源图片进行蓝色转换处理，合并转换后的结果，生成新的RGB图片并显示；步骤四，判断视频流是否结束，当未结束时，将所述第二图片存储区中的图片拷贝到所述第一图片存储区中，作为下一帧的左眼源图片并转入步骤二，否则结束。本发明能够在计算资源有限的嵌入式设备上实时将2D的视频转换成红蓝3D进行播放。

Description

一种视频实时2D转3D播放的方法及其装置

技术领域

本发明涉及视频实时2D转3D播放技术，特别是涉及一种视频实时2D转3D播放的方法及其装置。

背景技术

现有的视频播放器在处理二维视频时，先对流数据解码，还原成RGB（红绿蓝）三原色的图片，然后按照某种二维图片转三维图片的方法，将RGB图片进行转换，最后进行显示。当用户戴上红蓝眼镜进行观看时，就可以看到准3D图片。由于视频是由一系列连续播放的图片组成，因而用户就可以看到变换后的准3D视频。

现有技术在实现视频2D转3D播放时，其关键技术就是二维图片转三维图片的方法，目前常用的方法有深度图（Depth-map）方法、错位（Displacement）方法等。

深度图方法需要人为的加入一些限制，如假定白色区域离用户较近、黑色区域离用户较远，而这种假定在很多情况下是不正确的。另外，其灰度区域化计算量非常大，在计算资源有限的嵌入式设备（如手机）上，需要消耗大量的内存和宝贵的CPU性能，而且对于帧率较高的高清视频，根本就忙不过来了，无法满足实时播放的要求。

错位方法则只是简单的将所有像素点统一向右下角做固定数量的偏移，其结果作为左眼效果，叠加到原始图片上（将原始图片作为右眼效果）。这种方法速度非常快，但由于没有区分出图片的明暗度，因此也无法体现出远近层次，所以其3D效果和原始的二维图片差别不大，因此其实用性并不大。

另外，还有的方法是结合上述两种方法而成，先使用深度图方法得到明暗度的区域，然后再根据不同的明暗度区域做不同数量的错位，因此效果比直接错位方法要好一些，但其效率和深度图方法类似，同样无法满足实时播放的要求。

因此，现有的方法都无法实现视频2D转3D的实时播放，无法满足用户的播放要求。

发明内容

本发明的目的在于提供一种视频实时2D转3D播放的方法及其装置，用于在计算资源有限的嵌入式设备（如手机）上实时将2D的视频转换成红蓝3D进行播放。

为了实现上述目的，本发明提供一种视频实时2D转3D播放的方法，其特征在于，包括：

步骤一，设置第一图片存储区、第二图片存储区；

步骤二，解析视频流，生成RGB格式的一帧图片，保存该帧图片到所述第二图片存储区中；

步骤三，以所述第一图片存储区中的图片作为左眼源图片进行红色转换处理，以所述第二存储区中的图片作为右眼源图片进行蓝色转换处理，合并转换后的结果，生成新的RGB图片并显示；

步骤四，判断视频流是否结束，当未结束时，将所述第二图片存储区中的图片拷贝到所述第一图片存储区中，作为下一帧的左眼源图片并转入步骤二，否则结束。

所述的视频实时2D转3D播放的方法，其中，所述步骤三中，以如下方式进行红色转换处理：将所述第一图片存储区中的图片进行与运算，只保留图片的红色，屏蔽掉其它颜色。

所述的视频实时2D转3D播放的方法，其中，所述步骤三中，以如下方式进行蓝色转换处理：

将所述第二图片存储区中的图片进行与运算，只保留图片的蓝色，屏蔽掉其它颜色。

所述的视频实时2D转3D播放的方法，其中，所述步骤三中，以如下方式合并转换处理后的结果：

将所述红色转换处理结果与所述蓝色转换处理结果进行或运算，生成所述新的RGB图片。

所述的视频实时2D转3D播放的方法，其中，所述步骤三中，所述第二存储区中的图片为对应当前时刻时的图片，所述第一图片存储区中的图片为对应前一时刻时的图片，当前时刻与前一时刻的间隔为40毫秒。

为了实现上述目的，本发明还提供一种视频实时2D转3D播放的装置，其特征在于，包括：

图片生成模块，用于解析视频流，生成RGB格式的一帧图片，并将该图片保存至第二图片存储区中；

转换合并模块，连接所述图片生成模块，用于以第一存储区中的图片作为左眼源图片进行红色转换处理，以所述第二图片存储区中的图片作为右眼源图片进行蓝色转换处理；将红色转换处理结果与蓝色转换处理结果进行合并，生成新的RGB图片并显示；

判断处理模块，连接所述图片生成模块、所述转换合并模块，用于判断视频流是否结束，当视频流未结束时，将所述第二图片存储区中的图片拷贝到所述第一图片存储区中，作为下一帧的左眼源图片，以供所述转换合并模块使用，并根据判断结果控制所述图片生成模块是否解析视频流。

所述的视频实时2D转3D播放的装置，其中，所述转换合并模块，包括：

红色转换模块，用于以所述第一图片存储区中的图片作为左眼源图片进行红色转换处理；

蓝色转换模块，用于以所述第二图片存储区中的图片作为右眼源图片进行蓝色转换处理；及

图片合并模块，用于将红色转换处理结果与蓝色转换处理结果进行合并，生成新的RGB图片并显示。

所述的视频实时2D转3D播放的装置，其中，所述红色转换模块以如下方式进行红色转换处理：

将所述第一图片存储区中的图片进行与运算，只保留图片的红色，屏蔽掉其它颜色。

所述的视频实时2D转3D播放的装置，其中，所述蓝色转换模块以如下方式进行蓝色转换处理：

将所述第二图片存储区中的图片进行与运算，只保留图片的蓝色，屏蔽掉其它颜色。

所述的视频实时2D转3D播放的装置，其中，所述图片合并模块以如下方式合并转换处理后的结果：

将所述红色转换处理结果与所述蓝色转换处理结果进行或运算，生成所述新的RGB图片。

与现有技术相比，本发明的有益技术效果是：

本发明提出了全新的快速2D视频转3D方法，达到了更好的显示效果，使得任意性能硬件设备上的任意视频都能实时的进行三维转换播放，三维效果非常好。

本发明充分利用视频的特点，使用间隔的视频帧来模拟两个摄像头的拍摄效果，从而得到真实的三维空间感觉，而且本发明方法简单，利于计算资源有限的嵌入式设备（如手机）上的实时实现。

附图说明

图1是本发明的视频实时2D转3D播放的方法流程图；

图2是本发明的视频实时2D转3D播放的装置结构图；

图3A-3D是本发明的视频实时2D转3D播放的一实施例。

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

如图1所示，是本发明的视频实时2D转3D播放的方法流程图。该方法流程的具体步骤如下：

步骤101，申请两个图片存储区buf1和buf2，并初始化；

步骤102，解析视频流，生成RGB格式的一帧图片；

步骤103，保存该帧图片到存储区buf2（对应t1时刻）中；

步骤104，以存储区buf1（对应t0时刻）中的图片作为左眼源图片进行红色转换处理，以存储区buf2（对应t1时刻）中的图片作为右眼源图片进行蓝色转换处理，合并转换处理后的结果，生成新的RGB图片，将其显示到屏幕上；

步骤105，判断视频流是否结束，若是，则结束，否则拷贝存储区buf2中的图片到存储区buf1中，作为下一帧的左眼源图片（t1时刻的图片将作为下一次处理的t0时刻），并转入步骤102。

进一步地，该步骤104中，红色转换处理的方式是：将存储区buf1中的图片进行‘与’运算，只保留图片的红色，屏蔽掉其它颜色。计算公式如下：

RRGGBB&0xff0000=RR0000

其中，RR是红色数值的16进制表示[1个字节]，GG是绿色数值的16进制表示[1个字节]，BB是蓝色数值的16进制表示[1个字节]。

进一步地，该步骤104中，蓝色转换处理的方式是：将存储区buf2中的图片进行‘与’运算，只保留图片的蓝色，屏蔽掉其它颜色。计算公式如下：

RRGGBB&0x0000ff=0000BB

其中，RR是红色数值的16进制表示[1个字节]，GG是绿色数值的16进制表示[1个字节]，BB是蓝色数值的16进制表示[1个字节]。

进一步地，该步骤104中，合并转换处理后的结果的方式是：将红色转换处理结果与蓝色转换处理结果进行‘或’运算，生成新的RGB图片。计算公式如下：

RR0000|0000BB=RR00BB

其中，RR是红色数值的16进制表示[1个字节]，BB是蓝色数值的16进制表示[1个字节]。

进一步地，该步骤105中，当拷贝存储区buf2中的图片到存储区buf1中后，则此时存储区buf1中的图片被存储区buf2中的图片所覆盖。

进一步地，该方法中使用了两个图片存储区buf1和buf2，先将第一帧图片（对应t0时刻）保存到存储区buf1中，在处理第二帧图片（对应t1时刻）时，先保存t1时刻的图片到存储区buf2中，然后与存储区buf1（对应t0时刻）一起进行红蓝叠加处理，并进行显示；随后，把存储区buf2中的图片拷贝到存储区buf1中（对应t1时刻），在处理第三帧图片（对应t2时刻）时，保存到存储区buf2中，再将存储区buf2（对应t2时刻）中的图片与存储区buf1（对应t1时刻）的图片一起进行红蓝叠加处理并显示；……总之，存储区buf1中保存的是对应上一帧的图片，存储区buf2中保存的图片是对应当前时刻的图片。

为了提高效率，在实现如上方法时，可以不用图片存储区间的拷贝操作（如存储区buf2拷贝到存储区buf1），而是使用队列这种数据结构代替上述流程图中的两个图片存储区。

如图2所示，是本发明的视频实时2D转3D播放的装置结构图。结合图1，该装置200包括：

图片生成模块201，用于解析视频流，生成RGB格式的一帧图片，并将该图片保存至存储区buf2中；

转换合并模块202，连接图片生成模块201，用于将存储区buf1中的图片作为左眼源图片进行红色转换处理，将存储区buf2中的图片作为右眼源图片进行蓝色转换处理；将红色转换处理结果与蓝色转换处理结果进行合并，生成新的RGB图片，将其显示到嵌入式设备的屏幕上。

进一步地，转换合并模块202又包括：

红色转换模块221，用于将存储区buf1中的图片作为左眼源图片进行红色转换处理；

蓝色转换模块222，用于将存储区buf2中的图片作为右眼源图片进行蓝色转换处理；

图片合并模块223，用于将红色转换处理结果与蓝色转换处理结果进行合并，生成新的RGB图片，将其显示到嵌入式设备的屏幕上。

判断处理模块203，连接图片生成模块201、转换合并模块202，用于判断视频流是否结束，当视频流未播放结束时，将存储区buf2中的图片拷贝到存储区buf1中，作为下一帧的左眼源图片，以供转换合并模块202处理，并根据判断结果控制图片生成模块201是否解析视频流。当视频流未播放结束时，控制图片生成模块201继续解析视频流，当视频流播放结束时，控制图片生成模块201停止解析视频流。

进一步地，红色转换模块221以如下方式进行红色转换处理：

将存储区buf1中的图片进行‘与’运算，只保留图片的红色，屏蔽掉其它颜色。计算公式如下：

RRGGBB&0xff0000=RR0000

其中，RR是红色数值的16进制表示[1个字节]，GG是绿色数值的16进制表示[1个字节]，BB是蓝色数值的16进制表示[1个字节]。

进一步地，蓝色转换模块222以如下方式进行蓝色转换处理：

将存储区buf2中的图片进行‘与’运算，只保留图片的蓝色，屏蔽掉其它颜色。计算公式如下：

RRGGBB&0x0000ff=0000BB

其中，RR是红色数值的16进制表示[1个字节]，GG是绿色数值的16进制表示[1个字节]，BB是蓝色数值的16进制表示[1个字节]。

进一步地，图片合并模块223以如下方式合并转换处理后的结果：

将红色转换处理结果与蓝色转换处理结果进行‘或’运算，生成新的RGB图片。计算公式如下：

RR0000|0000BB=RR00BB

其中，RR是红色数值的16进制表示[1个字节]，BB是蓝色数值的16进制表示[1个字节]。

进一步地，该装置200中使用了两个图片存储区buf1和buf2，图片生成模块201先将第一帧图片（对应t0时刻）保存到存储区buf1中，在处理第二帧图片（对应t1时刻）时，先保存t1时刻的图片到存储区buf2中。

转换合并模块202将存储区buf2（对应t1时刻）中的图片与存储区buf1（对应t0时刻）的图片一起进行红蓝叠加处理，并进行显示；随后，把存储区buf2中的图片拷贝到存储区buf1中（对应t1时刻），在处理第三帧图片（对应t2时刻）时，保存到存储区buf2中，再将存储区buf2（对应t2时刻）中的图片与存储区buf1（对应t1时刻）的图片一起进行红蓝叠加处理并显示；……总之，存储区buf1中保存的是对应上一帧的图片，而存储区buf2中是对应当前时刻的图片。

为了提高效率，在实现如上转换时，可以不用图片存储区的拷贝操作（如存储区buf2拷贝到存储区buf1），而是使用队列这种数据结构代替上述两个图片存储区。

如图3A-3D所示，是本发明的视频实时2D转3D播放的一实施例。结合图1、2所示，对该实施例进行如下具体描述：

播放其实是拍摄的一个逆过程，可以把眼睛想象成是摄像机的逆设备。如果拍摄时只使用了一台摄像机，即对应一只观看时的眼睛，则播放时即使是用两只眼睛来看，也只能看到拍摄的平面效果。

视频是由一系列的连续图片压缩而成，而不是简单的一幅图片，因此可以把连续的2张图片看作是由2台有一定距离的摄像机拍摄而成：如果视频中有一个运动的物体A，假设其在t0时刻的位置是p0，此时刻物体A对应的图片如图3A所示，在下一时刻t1，其运动到了位置p1，此时刻物体A对应的图片如图3B所示，可以用图3A、图3B所示的图来描述这个过程：

转换合并模块202把t0时刻的图片、t1时刻的图片进行叠加，并在t1时刻显示出来，此时如图3C所示，这可以理解为：在t1时刻，有两台摄像机同时在拍摄，如图3D所示。

由于这两台摄像机摆放的位置有一定距离，因此它们对同一物体A，会从不同的角度来进行拍摄，从而得到真正的三维图片。

因此，只需要将t0时刻的图片作为左眼源图片，t1时刻的图片作为右眼源图片，在播放的t1时刻，转换合并模块202进行红蓝叠加，利用红蓝眼镜的滤色能力，从而让用户得到真正的3D感受。同理，转换合并模块202对t1时刻的图片（即buf1中的图片）、t2时刻的图片（即buf2中的图片）在t2时刻进行红蓝叠加，……，对tn时刻的图片（即buf1中的图片）、tn+1时刻的图片（即buf2中的图片）在tn+1时刻进行红蓝叠加，n为正整数，等等，就可以实现3D视频的效果。

由于相邻时刻非常短（对于每秒25帧的视频而言，其间隔也就是40毫秒），因此，用户在观看视频时不会感觉到任何时延。

特别地，要处理一些特殊情况，如刚开始时（即t0时刻）应该显示的内容，还需要结合视频播控的同步要求，来进行一些特殊处理，如视频播控的同步：当视频的解码速度太慢，无法跟上音频的速度时，需要丢弃某些视频帧，因此，此时应该停止2D至3D的转换工作，直接显示出去，一般加快速度，让更多的CPU时间来进行下面的视频解码。由于丢弃视频帧后，会加快处理的速度，使视频的播放速度赶上音频的速度。当音视频同步后，就可以重新进入本算法，进行2D至3D转换。

本发明提出的视频实时2D转3D播放方法由于没有复杂的计算过程（转换、合并只是简单的‘或’和‘与’运算，只需要1步计算），因此其速度非常快，使得任意性能硬件设备上的任意视频都能实时的进行三维转换播放，三维效果非常好。其中‘与’运算：只保留左眼源图片的红色以及右眼源图片的蓝色，屏蔽掉其它颜色；‘或’运算：将左眼源图片的红色与右眼源图片的蓝色生成新的RGB数值。

本发明提出的视频实时2D转3D播放方法，逻辑简单，实现容易，且3D效果突出，该方案已经实际应用于手机视频播放程序，在2D和3D间可以进行随意切换，3D效果显著。对于高清大码率的视频，处理效率也非常高。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种视频实时2D转3D播放的方法，其特征在于，包括：

步骤一，设置第一图片存储区、第二图片存储区；

步骤二，解析视频流，生成RGB格式的一帧图片，保存该帧图片到所述第二图片存储区中，所述第二存储区中的图片为对应当前时刻时的图片，所述第一图片存储区中的图片为对应前一时刻时的图片；

步骤三，以所述第一图片存储区中的图片作为左眼源图片进行红色转换处理，以所述第二存储区中的图片作为右眼源图片进行蓝色转换处理，合并转换后的结果，生成新的RGB图片并显示；

步骤四，判断视频流是否结束，当未结束时，将所述第二图片存储区中的图片拷贝到所述第一图片存储区中，作为下一帧的左眼源图片并转入步骤二，否则结束。

2.根据权利要求1所述的视频实时2D转3D播放的方法，其特征在于，所述步骤三中，以如下方式进行红色转换处理：将所述第一图片存储区中的图片进行与运算，只保留图片的红色，屏蔽掉其它颜色。

3.根据权利要求1所述的视频实时2D转3D播放的方法，其特征在于，所述步骤三中，以如下方式进行蓝色转换处理：

将所述第二图片存储区中的图片进行与运算，只保留图片的蓝色，屏蔽掉其它颜色。

4.根据权利要求1、2或3所述的视频实时2D转3D播放的方法，其特征在于，所述步骤三中，以如下方式合并转换处理后的结果：

将所述红色转换处理结果与所述蓝色转换处理结果进行或运算，生成所述新的RGB图片。

5.根据权利要求1、2或3所述的视频实时2D转3D播放的方法，其特征在于，所述步骤三中，当前时刻与前一时刻的间隔为40毫秒。

6.一种视频实时2D转3D播放的装置，其特征在于，包括：

图片生成模块，用于解析视频流，生成RGB格式的一帧图片，并将该图片保存至第二图片存储区中，所述第二存储区中的图片为对应当前时刻时的图片，所述第一图片存储区中的图片为对应前一时刻时的图片；

转换合并模块，连接所述图片生成模块，用于以第一存储区中的图片作为左眼源图片进行红色转换处理，以所述第二图片存储区中的图片作为右眼源图片进行蓝色转换处理；将红色转换处理结果与蓝色转换处理结果进行合并，生成新的RGB图片并显示；

判断处理模块，连接所述图片生成模块、所述转换合并模块，用于判断视频流是否结束，当视频流未结束时，将所述第二图片存储区中的图片拷贝到所述第一图片存储区中，作为下一帧的左眼源图片，以供所述转换合并模块使用，并根据判断结果控制所述图片生成模块是否解析视频流。

7.根据权利要求6所述的视频实时2D转3D播放的装置，其特征在于，所述转换合并模块，包括：

红色转换模块，用于以所述第一图片存储区中的图片作为左眼源图片进行红色转换处理；

蓝色转换模块，用于以所述第二图片存储区中的图片作为右眼源图片进行蓝色转换处理；及

图片合并模块，用于将红色转换处理结果与蓝色转换处理结果进行合并，生成新的RGB图片并显示。

8.根据权利要求7所述的视频实时2D转3D播放的装置，其特征在于，所述红色转换模块以如下方式进行红色转换处理：

将所述第一图片存储区中的图片进行与运算，只保留图片的红色，屏蔽掉其它颜色。

9.根据权利要求7或8所述的视频实时2D转3D播放的装置，其特征在于，所述蓝色转换模块以如下方式进行蓝色转换处理：

将所述第二图片存储区中的图片进行与运算，只保留图片的蓝色，屏蔽掉其它颜色。

10.根据权利要求7或8所述的视频实时2D转3D播放的装置，其特征在于，所述图片合并模块以如下方式合并转换处理后的结果：

将所述红色转换处理结果与所述蓝色转换处理结果进行或运算，生成所述新的RGB图片。