CN103581652A - 多视点立体视频数据处理方法及装置 - Google Patents

Abstract

本发明涉及立体视频处理技术领域，具体而言，涉及多视点立体视频数据处理方法及装置。其中，多视点立体视频数据处理方法包括：将多视点立体视频转换为RGB视频数据流；根据提供的视频显示器的屏幕分辨率和提供的视频显示器的每个光栅单元容纳的子像素个数，将RGB视频数据流进行子像素重新排列，输出得到用于在二维视频播放器中播放的裸眼立体视频。本发明的多视点立体视频处理方法及装置，将多视点立体视频转换为RGB视频数据流，通过对RGB视频数据流中的子像素重新排列得到裸眼立体视频，利用本发明的方法及装置获取的裸眼立体视频能够在二维视频播放器中直接进行播放。

Description

多视点立体视频数据处理方法及装置

技术领域

本发明涉及立体视频处理技术领域，具体而言，涉及多视点立体视频数据处理方法及装置。

背景技术

多视点立体视频是指利用从不同角度获取的同一目标的视频图像合成的能够呈现立体效果的视频。

为了使多视点立体视频展现立体效果，相关技术中多采用3D视频播放器播放多视点立体视频，用户观看时需要佩戴3D眼镜才能体验多视点立体视频的立体效果。

相关技术中的二维视频播放器一般不支持多视点立体视频的播放，由此导致无法利用二维视频播放器播放多视点立体视频。

发明内容

本发明的目的在于提供多视点立体视频数据处理方法及装置，以解决上述的问题。

在本发明的实施例中提供了一种多视点立体视频处理方法，包括：

将多视点立体视频转换为RGB视频数据流；

根据提供的视频显示器的屏幕分辨率和提供的所述视频显示器的每个光栅单元容纳的子像素个数，将所述RGB视频数据流进行子像素重新排列，输出得到用于在二维视频播放器中播放的裸眼立体视频。

一种多视点立体视频处理装置，包括：

格式转换模块，用于将多视点立体视频转换为RGB视频数据流；

立体视频像素排列模块，用于根据提供的视频显示器的屏幕分辨率和提供的所述视频显示器的每个光栅单元容纳的子像素个数，将所述RGB视频数据流进行子像素重新排列，输出得到用于在二维视频播放器中播放的裸眼立体视频。

本发明上述实施例的多视点立体视频处理方法及装置，将多视点立体视频转换为RGB视频数据流，通过对RGB视频数据流中的子像素重新排列得到裸眼立体视频，利用本发明实施例的方法及装置获取的裸眼立体视频能够在二维视频播放器中直接进行播放。

附图说明

图1示出了本发明实施例中多视点立体视频处理方法的流程图；

图2示出了本发明实施例中九视点立体视频的子像素排列示意图；

图3示出了本发明实施例的维持多视点立体视频横竖比的子像素排列示意图；

图4示出了本发明实施例中λ＝3时多视点立体视频的子像素排列示意图；

图5示出了本发明实施例中λ＝2时多视点立体视频的子像素排列示意图；

图6示出了本发明实施例中λ＝2时多视点立体视频的子像素排列示意图。

具体实施方式

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

本发明实施例提供一种多视点立体视频处理方法，如图1所示，主要处理步骤包括：

步骤S11：将多视点立体视频转换为RGB视频数据流；

步骤S12：根据提供的视频显示器的屏幕分辨率和提供的视频显示器的每个光栅单元容纳的子像素个数，将RGB视频数据流进行子像素重新排列，输出得到用于在二维视频播放器中播放的裸眼立体视频。

本发明实施例的多视点立体视频处理方法，将多视点立体视频转换为RGB视频数据流，通过对RGB视频数据流中的子像素重新排列得到裸眼立体视频，利用本发明实施例的方法获取的裸眼立体视频能够在二维视频播放器中直接进行播放。

本发明实施例中，将RGB视频数据流进行子像素重新排列，包括：确定多视点立体视频的视点数为n，根据公式

和y₁*3=Height确定视频显示器显示所需的单视点视频源的水平分辨率x₁和垂直分辨率y₁，其中，Width代表视频显示器屏幕的宽，Height代表视频显示器屏幕的高；

设K为x₀、y₀到x₁、y₁的映射系数，K满足公式

对于原始的多视点立体视频的水平分辨率x₀和垂直分辨率y₀，在竖直方向将x₀左右边缘剪切掉变为

分辨率，在水平方向将y₀上下方向剪切变为

分辨率，使单视点视频源的分辨率变换为x₁、y₁;

本发明实施例中，分别对RGB视频数据流包括的子像素进行排列，包括：当n为9，8，7或6时，从每行的起始位置开始，以每n个子像素为一个基本的排列单元，将每个视点相应的子像素排列到同一个合成图像中；当n为3，4或5时，采用平衡图像横竖比的排列方式对子像素排列合成；

在各视点子像素排列合成时，超出视频显示器分辨率部分不进行排列合成。

如图2所示，当给出的多视点立体视频为九视点立体视频时，将九视点立体视频转换为RGB视频数据流后，RGB视频数据流包括的R子像素、G子像素及B子像素重新排列的示意图。

本发明实施例中，使单视点视频源的分辨率变换为x₁、y₁，包括：根据公式

$K=\max [\frac{x_1}{x_0},\frac{y_1}{y_0}];$

若K=1，则原始的多视点立体视频的分辨率无变化；

若K>1，则对

的多视点立体视频源在水平和垂直方向上每相邻两个像素间平均插值或者复制出(K-1)个像素；

若K<1，则对

的多视点立体视频源在水平和垂直方向上每

个像素丢掉中间的

个像素。

当n为3，4或5时，采用平衡图像横竖比的排列方式对子像素排列合成，包括：

n=3时，在相邻光栅单元中根据对应子像素数值线性插值出两个光栅单元的子像素数值；

n=4或5时，在相邻光栅单元中根据对应子像素数值线性插值出一个光栅单元的子像素数值。

当n为3，4或5时，采用平衡图像横竖比的排列方式对子像素排列合成，还包括：

取当λ=1时横竖比变化在允许的范围内；

当λ=2或者3时，在水平方向做插值处理，使水平方向分辨率变为原来的λ倍。

在水平方向做插值处理，使水平方向分辨率变为原来的λ倍，包括：

如图3所示，K为非负整数，在第(K*λ+1)个光栅单元中分别排列n视点视频源第H行中的第K个像素，在第(K*λ+1)个光栅单元和第((K+1)*λ+1)个光栅单元之间插值(λ-1)个光栅单元。

如图4中，当λ＝3，即n=3时多视点立体视频的子像素排列示意图；

如图5中，当λ＝2，即n=4时，多视点立体视频的子像素排列示意图；

如图6中，当λ＝1，即n=5时多视点立体视频的子像素排列示意图。

本发明实施例中，将多视点立体视频转换为RGB视频数据流，包括：

多视点立体视频为H.264格式的多视点立体视频，通过H.264JMVC解码器将多视点立体视频解码为YUV数据流；将YUV数据流通过ConvertYUV2RGB函数转化为RGB数据流。

利用本发明实施例的多视点立体视频处理方法获得的裸眼立体视频可以直接在二维视频播放器上进行播放，且能达到3D视频的立体效果，用户在观看的过程中无需使用3D眼镜等其它辅助件，便于用户裸眼体验多视点立体视频效果。

进一步地，将多视点立体视频转换为裸眼立体视频，转换得到的裸眼立体视频可以使用二维视频播放器进行播放，能够达到节约硬件成本和软件成本的目的。

本发明实施例还提供一种多视点立体视频处理装置，如图7所示，包括：

格式转换模块21，用于将多视点立体视频转换为RGB视频数据流；

立体视频像素排列模块22，用于根据提供的视频显示器的屏幕分辨率和提供的视频显示器的每个光栅单元容纳的子像素个数，将RGB视频数据流进行子像素重新排列，输出得到用于在二维视频播放器中播放的裸眼立体视频。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多视点立体视频处理方法，其特征在于，包括：

将多视点立体视频转换为RGB视频数据流；

根据提供的视频显示器的屏幕分辨率和提供的所述视频显示器的每个光栅单元容纳的子像素个数，将所述RGB视频数据流进行子像素重新排列，输出得到用于在二维视频播放器中播放的裸眼立体视频。

2.根据权利要求1所述的方法，其特征在于，将所述RGB视频数据流进行子像素重新排列，包括：

确定多视点立体视频的视点数为n，根据公式

和y₁*3=Height确定视频显示器显示所需的单视点视频源的水平分辨率x₁和垂直分辨率y₁，其中，Width代表视频显示器屏幕的宽，Height代表视频显示器屏幕的高；

设K为x₀、y₀到x₁、y₁的映射系数，K满足公式

对于原始的多视点立体视频的水平分辨率x₀和垂直分辨率y₀，在竖直方向将x₀左右边缘剪切掉变为

分辨率，在水平方向将y₀上下方向剪切变为

分辨率，使单视点视频源的分辨率变换为x₁、y₁;

分别对RGB视频数据流包括的子像素进行排列，包括：当n为9，8，7或6时，从每行的起始位置开始，以每n个子像素为一个基本的排列单元，将每个视点相应的子像素排列到同一个合成图像中；当n为3，4或5时，采用平衡图像横竖比的排列方式对子像素排列合成；

在各视点子像素排列合成时，超出视频显示器分辨率部分不进行排列合成。

3.根据权利要求2所述的方法，其特征在于，所述使单视点视频源的分辨率变换为x₁、y₁，包括：根据公式

$K=\max [\frac{x_1}{x_0},\frac{y_1}{y_0}];$

若K=1，则原始的多视点立体视频的分辨率无变化；

若K>1，则对

的多视点立体视频在水平和垂直方向上每相邻两个像素间平均插值或者复制出(K-1)个像素；

若K<1，则对

的多视点立体视频源在水平和垂直方向上每

个像素丢掉中间的

个像素。

4.根据权利要求2所述的方法，其特征在于，所述当n为3，4或5时，采用平衡图像横竖比的排列方式对子像素排列合成，包括：

n=3时，在相邻光栅单元中根据对应子像素数值线性插值出两个光栅单元的子像素数值；

n=4或5时，在相邻光栅单元中根据对应子像素数值线性插值出一个光栅单元的子像素数值。

5.根据权利要求4所述的方法，其特征在于，所述当n为3，4或5时，采用平衡图像横竖比的排列方式对子像素排列合成，还包括：

取

当λ=1时横竖比变化在允许的范围内；

当λ=2或者3时，在水平方向做插值处理，使水平方向分辨率变为原来的λ倍。

6.根据权利要求5所述的方法，其特征在于，所述在水平方向做插值处理，使水平方向分辨率变为原来的λ倍，包括：

K为非负整数，在第(K*λ+1)个光栅单元中分别排列n视点视频源第H行中的第K个像素，在第(K*λ+1)个光栅单元和第((K+1)*λ+1)个光栅单元之间插值(λ-1)个光栅单元。

7.根据权利要求1所述的方法，其特征在于，所述将多视点立体视频转换为RGB视频数据流，包括：

所述多视点立体视频为H.264格式的多视点立体视频，通过H.264JMVC解码器将所述多视点立体视频解码为YUV数据流；

将所述YUV数据流通过ConvertYUV2RGB函数转化为RGB数据流。

8.一种多视点立体视频处理装置，其特征在于，包括：

格式转换模块，用于将多视点立体视频转换为RGB视频数据流；

立体视频像素排列模块，用于根据提供的视频显示器的屏幕分辨率和提供的所述视频显示器的每个光栅单元容纳的子像素个数，将所述RGB视频数据流进行子像素重新排列，输出得到用于在二维视频播放器中播放的裸眼立体视频。

Images