CN104378616B - 一种平铺式多视图图像帧包装结构与构造方法 - Google Patents

Abstract

一种平铺式多视图图像帧包装构造方法，对于多视图立体图像，当立体图像的像素分辨率即宽×高为W×H时，多视图立体图像是5视图立体图像；将5幅视图中每一视图均旋转90度，然后将它们平铺、左右或右左顺序形成立体图像帧包装结构，平铺后各视图之间的相邻中心间隔为h'_i(i＝1,2,3,4,……,k)；设每一视图宽w，高h(即分辨率为w×h)，每两幅图像之间的间隔可以为等间隔排列，即h'₁＝h'₂＝h'₃＝h'₄＝……＝h'，并且h'＝h；多视图每一幅视图画幅大小像素分辨率w×h，使w＝H。在水平方向右侧或左侧，立体图像存在一定宽度的空余像素区域。

Description

一种平铺式多视图图像帧包装结构与构造方法

技术领域

本发明涉及立体图像内容方面，特别是涉及一种多视图立体图像的帧包装结构与构造，属于视频图像技术领域。

背景技术

多视图立体图像的结构，与立体显示器的立体图像像素排图格式不相关，但与显示器的多视图图像的数值相关。通常的立体显示器直接给出像素排图(Pixel pattern)格式(即“立体图像格式”)，用户将多视图图像按照像素排图格式在像素级融合，形成对应的立体图像格式。但这种融合的立体图像不利于图像压缩，或者说融合的立体图像是不能够被压缩的。因为立体图像的视差(Disparity)区域的边缘通常以高频特性存在，一旦被压缩，立体图像将变得模糊，尤其是深度方向的清晰度将下降，严重的会导致立体图像效果丧失。

另一方面，立体图像数据的特点是信息量大、原始数据容量大，尤其对于超高清立体图像，高清以上的视频立体图像，其数据量更是惊人。这些图像在空间和时间上的需求十分巨大，对于以图像传输为重要内容的现代通信应用中，图像的压缩是提高通信速度的重要手段。而未经压缩的超高清彩色图像，其数据量达到249M字节(Byte)，这样的图像如果不经压缩直接存储，将需要大量的存储空间，尤其是对于超高清彩色视频图像。

为此，可以有两种解决方案：一种办法是时分方式，即多视图以时间顺序分别提供给立体显示器，由立体显示器的相关电路对这些视图进行像素级融合；另一种办法就是将这些多幅视图图像按照一定的结构布置于一幅图像中，这一幅图像提供给立体显示器，由立体显示器的相关电路对这些视图进行像素级融合。立体图像结构中，第二种结构形式的居多。例如两视图立体图像的格式，通常采用帧包装(Frame Packed 3D)方式：

1、边到边结构(Side by Side)：这是应用最广的3D图像帧包装结构，将左视图和右视图在水平方向上压缩至一半的宽度，再包装成为一张整幅图像(或者一帧图像)。

2、顶到底结构(Top/Bottom)：将左视图和右视图在垂直方向上压缩至一半的高度，再包装成为一张整幅图像(或者一帧图像)。

上述两个例子是针对两视图立体图像的，已经在立体电视标准中得以应用。本发明涉及的是多于两幅以上的视图，这种视图的帧包装结构，没有涉及标准问题。

现有技术还有采用了九宫格的方式，将9视图独立平铺于一张整幅图像中，这在图像生成、图像压缩、图像传输方面很有益处。这种九宫格的结构是针对9视图立体图像的，并不适用于其它多视图帧包装结构。另外，US 8482654B2(Stereoscopic image format withdepth information)提出了一种图像加深度的立体图像格式，其目的也是为了便于图像压缩。

发明内容

本发明目的是提出一种新的多视图立体图像帧包装结构，尤其是5视图立体图像帧包装结构，图像构造用于自由立体显示装置。

本发明的技术方案是，一种平铺式多视图图像帧包装构造方法，当立体图像的像素分辨率即宽×高为W×H时，对于多视图立体图像，多视图立体图像是5视图立体图像；将5幅视图中每一视图均旋转90度，然后将它们平铺(左右或右左顺序)形成立体图像帧包装结构，平铺后各视图之间的相邻中心间隔为h'_i(i＝1,2,3,4,……,k)；设每一视图宽w，高h(即分辨率为w×h)，每两幅图像之间的间隔可以为等间隔排列，即h'₁＝h'₂＝h'₃＝h'₄＝……＝h'，并且h'＝h。

在水平方向右侧(或左侧)，立体图像存在一定宽度的空余像素区域，其宽度尺寸为大小为w’×H的空余像素区域可以作为立体图像的标示区域，或者做其它用处，比如条形码、防伪标示等等。

多视图每一幅视图画幅大小像素分辨率w×h，可以使w＝H。

所述的视图旋转90度，可以采用顺时针旋转，也可以采用逆时针旋转。

所述的组合拼接，是指将所有的视图按照时间先后、位置左右或右左顺序排列，形成一幅拼接后的图像，即多视图立体图像结构。

所述的顺序，是指立体图像中各视图(视图1、视图2、视图3、……视图k)的排列次序。可以是自左向右分别为增序列，即按照多视图中各视图获得顺序依次排列，在立体图像中自左向右排列顺序为：视图1、视图2、视图3、……视图k；也可以自左向右分别为减序列，即按照多视图中各视图获得顺序依次排列，在立体图像中自左向右排列顺序为：视图k、……、视图3、视图2、视图1；也可以自左向右为无顺序序列(不按照多视图中各视图获得顺序依次排列)。

所述的视图获得顺序，是指对场景从不同方位所获得的多视图中的k幅视图(视图1、视图2、视图3、……视图k)，按照其获得(即拍摄)的时间先后或者空间排列获得(即拍摄)的顺序所形成的次序。

所述的每一视图之间的中心间隔可以为等间隔排列，也可以为非等间隔排列。

所述的立体图像，其参数与各视图参数之间的关系并不一定是H＝w，同样，并不一定h＝h'，各视图之间存在一些冗余像素区域。

所述的立体图像，其参数与各视图参数之间的关系可以是H＝w，h＝h'，最大化地利用立体图像的有效画幅。

所述的冗余像素区域，可以作为立体图像的标示区域，或者做其它用处，比如条形码、防伪标示。

本发明的有益效果：提出一种新的多视图立体图像帧包装结构，尤其是5视图立体图像结构，图像构造用于自由立体显示装置。对本发明的帧包装立体图像进行适当压缩，不会影响图像的质量和立体图像的立体效果。具有留出的冗余区域，可以作为图像的属性标示(例如立体图像属性、图像防伪属性等等)。本发明对于多视图立体图像的生成、压缩、传输很有益处，能够提高立体图像的相关效率和质量。

附图说明

图1为本发明多视图立体图像平铺式帧包装结构；

图2为任一视图的格式；其中(a)任一视图的原始格式；(b)旋转90度后的图像格式。

图3为多视图立体图像的帧包装结构参数；

图4为超高清5视图立体图像中任一视图的参数；

图5为5视图立体图像的帧包装结构参数(右侧冗余)；

图6为5视图立体图像的帧包装结构参数(左侧冗余)；

图7为5视图立体图像的帧包装结构参数(间隔冗余)。

具体实施方式

本发明的特点是将多视图图像合并形成一幅完整的视图，从而将多视图图像容纳在一幅图像中。根据不同的多视图的画幅参数，可以有不同的组合形式。多视图平铺于整幅图像。如图1所示，视图V₁～V_k，每一幅视图旋转90度之后，再组合拼接，按照一定的顺序平铺于整幅图像中，每幅视图之间保持一定的间隔。

如图2(a)所示，是多视图中的任意一幅视图，例如视图V_i。图像宽w，高h，将图像旋转90度后，成为图2(b)所示的状态。这种90度的旋转处理，可以采用顺时针旋转，也可以采用逆时针旋转。

将所有的视图都按照图2所示的方法，预先做相同的旋转处理。然后，再将所有的视图按照一定的顺序排列，形成一幅拼接后的图像，即多视图立体图像。拼接后的图像中，视图的排列顺序可以是自左向右分别为增序列，即V₁、V₂、V₃、V₄、……、V_k，如图3所示；也可以按照其它顺序排列，例如自左向右分别为减序列，即V_k、……、V₄、V₃、V₂、V₁；也可以根据需要，视图排列顺序自左向右为无顺序序列。每一视图之间的中心间隔h'_i(i＝1,2,3,4,5)可以为等间隔排列，即h'₁＝h'₂＝h'₃＝h'₄＝h'₅＝h'，也可以为非等间隔排列。

立体图像的参数与各视图参数之间的关系并不一定限于H＝w，同样，并不一定限于h＝h'，各视图之间存在一些冗余像素区域。但是，可以是H＝w，h＝h'，这样的话，立体图像的画幅参数正好与各视图的画幅参数相吻合，可以最大化地利用立体图像的有效画幅。

实施例1

5视图超高清裸眼立体显示屏，采用5幅视图构成立体图像帧包装结构。超高清立体图像的像素分辨率为3840×2160，即W＝3840，H＝2160；5视图画幅大小可预先采用2160×719，即w＝2160，h＝719，如图4所示，显然，w＝H。

将每一视图逆时针旋转90度，然后平铺形成图5所示的结构。图5的结构中，h'₁＝h'₂＝h'₃＝h'₄＝h'₅＝h'＝h。水平方向右侧多余出245×2160的像素区域，可以作为立体图像的标示区域，或者做其它用处，比如条形码、防伪标示等等。

实施例2

5视图超高清裸眼立体显示屏，采用5幅视图构成立体图像帧包装结构。超高清立体图像的像素分辨率为3840×2160，即W＝3840，H＝2160；5视图画幅大小可预先采用2160×719，即w＝2160，h＝719，如图4所示，显然，w＝H。

将每一视图逆时针旋转90度，然后平铺形成图6所示的结构。图6的结构中，h'₁＝h'₂＝h'₃＝h'₄＝h'₅＝h'＝h。水平方向左侧多余出245×2160的像素区域，可以作为立体图像的标示区域，或者做其它用处，比如条形码、防伪标示等等。

实施例3

5视图超高清裸眼立体显示屏，采用5幅视图构成立体图像帧包装结构。超高清立体图像的像素分辨率为3840×2160，即W＝3840，H＝2160；5视图画幅大小可预先采用2160×719，即w＝2160，h＝719，如图4所示，显然，w＝H。

将每一视图逆时针旋转90度，然后平铺形成图7所示的结构。图7的结构中，h'1＝h'2＝h'3＝h'4＝h'5＝h'>h，或者说h'＝h+49。每一视图所在位置多余出49×2160的像素区域，可以作为立体图像的标示区域，或者做其它用处，比如条形码、防伪标示等等。

Claims (8)

1.一种平铺式多视图图像帧包装构造方法，其特征是对于5视图立体图像，当立体图像的像素分辨率即宽×高为W×H时；将5幅视图中每一视图均旋转90度，然后将它们平铺，按左右或右左顺序形成立体图像帧包装结构，平铺后各视图之间的相邻中心间隔为h'_i(i＝1,2,3,4)；设每一视图宽w、高h即分辨率为w×h，每两幅图像之间的间隔为等间隔排列，即h'₁＝h'₂＝h'₃＝h'₄＝h'，并且h'＝h；

多视图每一幅视图画幅大小像素分辨率w×h，使w＝H。

2.根据权利要求1所述的平铺式多视图图像帧包装构造方法，其特征是在水平方向右侧或左侧，立体图像存在一定宽度的空余像素区域，其宽度尺寸为大小为w’×H的空余像素区域能作为立体图像的标示区域。

3.根据权利要求2所述的平铺式多视图图像帧包装构造方法，其特征是将5视图中的每一幅视图旋转90度之后，再组合拼接，按照一定的顺序平铺于整幅图像中，各幅视图之间保持一定的间隔。

4.根据权利要求2所述的平铺式多视图图像帧包装构造方法，其特征是所述的视图旋转90度，采用顺时针旋转或采用逆时针旋转。

5.根据权利要求2所述的平铺式多视图图像帧包装构造方法，其特征是进行组合拼接，指将所有的视图按照时间先后、位置左右或右左顺序排列，形成一幅拼接后的图像，即多视图立体图像帧包装结构。

6.根据权利要求1所述的平铺式多视图图像帧包装构造方法，其特征是所述的顺序，是位置自左向右分别为增序列，或自左向右分别为减序列，或是自左向右为无顺序序列。

7.根据权利要求1所述的平铺式多视图图像帧包装构造方法，其特征是所述的立体图像，其参数与各视图参数之间的关系是H＝w，h＝h'，最大化地利用立体图像的有效画幅。

8.根据权利要求2所述的平铺式多视图图像帧包装构造方法，其特征是所述的空余像素区域作为立体图像的标示区域，或者是条形码、防伪标示。