CN102972030A

CN102972030A - 用于生成和重建立体兼容视频流的方法及相关的编码和解码设备

Info

Publication number: CN102972030A
Application number: CN2011800190481A
Authority: CN
Inventors: G·巴洛卡; P·达马托
Original assignee: Sisvel Technology SRL
Current assignee: Sisvel SpA
Priority date: 2010-04-12
Filing date: 2011-04-07
Publication date: 2013-03-13
Anticipated expiration: 2031-04-07
Also published as: US9386293B2; KR101889459B1; PE20130819A1; MX2012011847A; UA109782C2; RU2605368C2; CN102972030B; AU2011241841B2; CL2012002849A1; SG184396A1; EP2559257B1; SG10201502810SA; AU2011241841A1; IL222274A0; TWI527433B; BR112012025502B1; JP6040932B2; CA2795115A1; NZ602870A; US20130201282A1

Abstract

本发明涉及一种用于生成包括容器帧(C)的数字立体视频流(101)的方法，所述容器帧(C)包含关于右眼图像(R)和左眼图像(L)的信息，其中，在编码所述数字立体视频流(101)时，输入至少一个元数据(M)，该元数据(M)适于标识仅包含所述两个图像(L，R)中的一个的容器帧(C)的区域。

Description

用于生成和重建立体兼容视频流的方法及相关的编码和解码设备

本发明涉及一种用于生成数字立体视频流的方法，即，当在可视化设备中适当处理时，产生被观看者感知为三维的图像序列的视频流。

此类方法还允许具有常规(非立体)解码器和电视机的用户以2D显示所述图像。

本发明进一步涉及用于以数字格式编码和解码立体视频流的编码设备和解码设备。

近年来，在凭借新数字技术而使得可用的新生产工具的刺激下，电影制作界对立体三维(3D)内容的制作极度关注并且投入巨大的资源。

现在，对3D的兴趣延伸到家庭使用，即，用于在电视机上显示图像。例如，一些付费电视运营商不久将广播3D节目。

呈现立体视频内容的最常见方式涉及分别显示旨在用于右眼和用于左眼的两个独立视频流，然后，由人脑将它们重组成三维对象。

用于家庭使用的立体内容通常为高清晰度视频内容，并且在大容量存储介质(DVD或蓝光盘，磁光或固态介质等)上或经由(有线或无线)广播通道或经由电信网络(IP)分发。

然而，在制作环境中，利用现有的结构，独立传送和处理由从两个不同视点拍摄场景的立体摄像机生成的两个流可能是不可能的。

此外，到达最终用户的分发网络如此之大以至于使用两个独立的高清晰流来提供单个业务是不经济的。因此，为了减少内容传送和实现所需要的比特率，在制作过程期间必须采用多种措施。

由于对在二维和三维图像的细节感知差异执行的研究的结果似乎指示，甚至当立体内容的分辨率相比于二维内容的分辨率降低时，用户感知的质量仍然是可接受的，已经开发用于将组成立体视觉的两个图像打包为单个帧的不同技术。

例如，如图1a所示，在单个高清晰度帧C(1920×1080像素)的情况下，利用等于高清晰度帧的分辨率的一半的水平分辨率获取组成左右通道(此后称为L和R)的两个图像，并且然后将该两个图形并排布置到单个帧中(并排格式)。

通过这种方式，可能使用单个的高清晰度流来传输两个独立的视频通道；在解码时，两个半帧被分离并通过应用合适的插值技术将其成为16/9格式。

同样地，如图1b所示，可以使用替代的过程，其涉及使竖直分辨率减半并保持水平分辨率不变，然后将两个帧L和R中的一个布置在另一个的上面(上下格式)。

然后压缩由复合帧组成的立体视频流，以便在广播网络、IP网络或大容量存储器介质上分发它之前减少其传输比特率。

目前用于分发高清晰度视频的最常用压缩技术是由H.264/AVC标准所定义的压缩技术。

目前市场上可获得的高清晰度电视机配备有H.264/AVC解码器，其支持直至1080p格式的格式解码。

各种服务提供商(特别是公共服务广播公司)的关注所集中的最重要的需求之一是立体信号的后向兼容性。

事实上，为了允许那些已经拥有高清晰度解码器的用户享受广播服务，希望3D节目也可以被作为2D节目显示。同样地，希望在DVD、蓝光盘或因特网站点上的3D内容可以被2D和3D电视机和监视器显示。

可以通过两种方式来实现该结果：通过同时广播一个节目的2D和3D版本，或者采用合适的技术来编码立体视频流。

当然，第一选项涉及浪费带宽，这是服务提供商们更想避免的一件事。

对于第二选项，现有技术中已知几种用于生成后向兼容立体视频流的技术。

这些技术中的一种涉及所谓的“深度图”的应用，例如，如在美国专利申请号US 2002/0048395和US 2004/0101043中所描述的那样。

实际上，信号与以携带深度图的补充黑和白视频的形式的二维彩色视频相关联。合适的解码器可以从接收到的数据开始重建立体视频。然而，该技术遭遇了与前述相同节目的2D和3D传输完全相同的问题：事实上，两个视频信号必须并行传送，从而导致高传输比特率。

另一个后向兼容立体流编码技术是例如称为“多视点”的编码技术。

由于组成立体视频流的左眼图像和右眼图像对的特征在于高度相似性，因此，当对二维流编码是采用的空时冗余抑制技术也可以在该情况中使用。事实上，一旦减去由于拍摄点之间的几何距离(即两眼之间的距离)而导致的某个偏移，右眼图像和左眼图像之间的差别是小的。

MPEG2标准已经利用称作多视点简档(MVP)的补充规范进行扩展；同样的，随后的H.264/AVC标准已经通过包含多视点编码(MVC)规范进行扩展。

这两个规范的的共同特点是使用可伸缩视频编码：立体视频流被压缩为基本层(2D基本流)，加上传输第二视点的增强层。编码流的语法确保2D视频也可以被老一代的解码器解码，只要它们符合MPEG2或H.264/AVC标准。

然而，将立体视频流编码成上述格式中的一种所需要的比特率仍然太高而不允许在广播环境中使用它。

因此，本发明的目的是提供一种用于生成和重建后向兼容数字立体视频流的方法，广播公司可以通过使用与2D视频流所需要的带宽相同的带宽来分发该立体视频流。

本发明的进一步目的是提供一种生成和重建后向兼容数字立体视频流的方法，该立体视频流基于使用复合帧并且其总是可使用而不论如何将右眼图像和左眼图像打包成所述复合图像。

通过合并所附权利要求书中记载的特征的用于生成和重建立体视频流的方法而实现本发明的这些和其他目的，所附权利要求书旨在作为本说明书的整体部分。

本发明还描述了用于编码和解码立体视频流的编码设备和解码设备，以及立体视频流。

以本发明为基础的一般思想是提供一种用于生成和重建包括根据打包技术而打包的多个帧的视频流的方法，使得由2D解码器和3D解码器两者可使用对视频流解码的结果。

在一个优选实施例中，根据本发明的方法允许视频流以一种方式预布置，使得所述流可以由符合H.264/AVC规范的2D解码器解码(所述解码器不需要进行任何修改)，并使得它可以显示在高清晰度显示器上。

另一方面，耦合到立体显示器的适当的解码器将允许以3D观看立体视频流。

在编码阶段期间，通过已经存在在立体视频流中的元数据的不同使用，使立体视频流的后向兼容性成为可能。

此类元数据定义了立体视频流的包含图像的复合帧的区域，不管是右眼图像还是左眼图像。

对于2D解码器，所述元数据包含一条信息，该信息指示解码器在已经对帧解码之后，其必须仅输出立体流的所解码复合图像的一个区域，即，仅包含一个图像的区域，不管是右眼图像还是左眼图像。

因此，广播公司仅必须传输一个立体流，然后，解码器对该立体流进行适当的处理，不管后者是否能够解码立体视频流：依靠处理它的解码器的特性，可以以2D或3D方式重现相同的视频流。

根据对通过非限制性示例提供的本发明的几个实施例的以下描述，本发明的其他目的和优势将变得清楚。

将参考附图描述所述实施例，其中：

图1a、1b和1c示出了立体视频流的复合帧，分别为并排格式、上下格式和替代格式；

图2示出了根据本发明的用于生成立体视频流的设备的框图；

图3a、3b和3c示出了具有由短划线醒目显示的剪裁矩形的图1a、1b和1c的复合帧；

图4a和4b示出了用于作为数字视频流接收的电视图像的实现的设备的框图，分别在设备仅允许显示2D图像的情况中和在其中设备还允许显示3D图像的情况中。

现参见图2，示出了根据本发明的用于生成立体视频流101的设备100的框图。

设备100接收两个图像序列102和103，例如，两个视频流，分别旨在用于左眼L和右眼R。

设备100允许复用两个图像序列102和103的两个图像。其为此包括能够将输入图像的像素录入单个复合图像C中的装配器模块105。

当在下列描述中参考将图像录入为复合帧或容器帧C中时，应当理解为这意味着执行生成包括与源图像相同的像素的复合帧C的区域的过程(通过使用硬件和/或软件装置)。如果复合图像是如图1a或1b所示的类型，则在复制步骤中，需要将像素数量水平或竖直地减半。因此，录入到复合帧C中的两个左L图像和右R图像将被变形以及将具有减半的水平或竖直分辨率。

在替代图1c的格式的格式的立体视频流的复合帧中，如果输入图像具有大小1280×720像素(所谓的720p格式)，该720p格式是用于以改进质量但并非真的以高清晰度传输图像的格式之一，那么适合包含两个图像的复合帧将是具有1920×1080像素大小的帧，即，1080p视频流的帧(具有1920×1080像素的先进格式)。

在试验的情况下，优势在于两个右眼R图像和左眼L图像者阿以被录入到复合帧C中而没有变形和/或下采样，但是所付出的代价是两个图像中的一个必须被细分为至少三个部分，如图1c的示例中示出的那样。

应当注意的是，以图1c的替代形式，第一图像可以在容器帧的任意点中录入(只要后者不要求把第一图像分解成不同的区域)；可以根据很多不同的技术实现在容器帧中的第二图像的帧的分解和其插入，这些不同技术的特征对于本发明的目的而言是不相关的。

无论如何，左眼L图像和右眼R图像被布置到容器帧C中的方式将不影响根据本发明的方法的实施。

当编码由容器帧C的序列101组成的立体视频流时，录入至少一个元数据M，其包括一条关于复合帧C的区域的信息，其是接收立体视频流101的2D解码器在解码处理后将必须输出的。

元数据M适于标识包含用于左眼L的图像或者用于右眼R的图像的复合帧C的区域，假设所述图像没有像图1c的示例中的右眼图像一样被分解成各种部分。

如果立体视频流101是根据H.264/AVC标准进行编码的，那么元数据M可以有利地替换与“剪裁矩形”相关的元数据，已经通过该特有标准在03-2009的ITU T H.264文档“Advanced video coding for generic audiovisual services”的小节7.3.2.1.1“Sequence parameter set data syntax”中提供。

此类元数据最初被引入是归因于H.264/AVC编码提供用于将图像分解成16×16像素宏块、但是1080不是可以被16整除的数的事实。因此，编码器使用的内部单个帧表示格式与实际帧格式不一致(对于1920×1080帧，H.264/AVC编码器使用1920×1088像素上的表示，因此增加8个空行)。然而，描述“裁剪矩形”和包含在H.264/AVC标准中的元数据允许以极其一般的方式定义将被显示的矩形的帧部分，该元数据的功能是指示解码器关于解码帧的哪个部分应必须被输出以用于重现。

实际上，这定义了从对待显示部分划界的剪裁矩形的水平和竖直边的帧边缘的距离，以像素数量为单位表示。

通常，图像裁剪矩形还可以以其他完全等同的方式被定义；例如，一种方式可以指示矩形的一个顶点的位置或其边的尺寸，或两个相对顶点的坐标。

接着，通过不同地使用已经标准化的“剪裁矩形”的元数据M和因此使用相同的语法，将复合帧C的任意区域的重现指定给符合H.264/AVC规范的解码器是可能的。

现在参考图3a、3b和3c，借助于短划线示出了根据本发明的由裁剪矩阵划界的在至少一个元数据M中必须包含其信息的一些可能的区域。

例如，在图3a的并排格式的容器帧C中和在图3c的替代格式的容器帧C中，由裁剪矩形覆盖的区域与容器帧C的左眼图像L所占的区域相匹配。

作为进一步的示例，在图3b的上下格式的容器帧C中，由裁剪矩形覆盖的区域与容器帧C的右眼图像R所占的区域相匹配。

一旦编码阶段完成，立体流可以通过通信信道传输和/或记录在适当的介质上(例如CD，DVD，蓝光，大容量存储器等等)。

图4a示出了用于观看2D内容的正常系统，由解码器1100和显示器或可视化设备1110组成。解码器1100使两个右眼R图像和左眼L图像中的一个可用于可视化设备1110(例如电视机)，从而允许用户以2D观看3D内容。解码器1100可以是与电视机分离出的机顶盒，或者其可以内置于电视机本身中。

类似的考虑应用于(例如DVD播放器)读取容器帧并对其进行处理而获得2D图像的播放器。

回到图4a，接收器系统接收(通过线缆或天线)包含复合帧C的立体视频流1103。解码器1100读取指示帧C中的哪个部分必须用于在显示器或者可视化设备1110上显示流的元数据M。随后，解码器提取出包含在由元数据M指定的复合帧C的部分中的图像并将其发送给显示器1110。

以下可能发生：解码器1100输出的图像的格式没有包含在那些被显示器1110天然支持的格式中。例如，在并排形式的1080p帧的情况下，在解码时，接收器1100将输出其水平尺寸将是高清晰度帧的水平尺寸的一半的帧：因此所得的帧区域将为960×1080像素及其格式为8/9。

这不是显示器自然支持的图像格式，但是它可以借助于适当的插值步骤转换回1920×1080格式，该插值步骤可以由在所有现代显示器中都包含的设备来执行。这个设备是所谓的缩放器，其功能是将接收到的格式适配成用户所希望的格式(事实上，所有最近电视机的遥控都包含一个按钮，用于在4/3、16/9、14/9和自动格式中进行选择，使得可以以不同于自然格式的格式观看图像)。

如果复合帧是图1c所示的类型，那么2D兼容图像的格式将为720p类型：后者是可以被所有HDTV或HD Ready电视机处理的标准格式。如下，缩放器当然能够将兼容图像扩展到覆盖整个屏幕。

在多个电视机上执行的测试表明：甚至当像图1a或图1b所示那些帧那样的复合帧被使用时，缩放器也可以正确显示兼容图像，即通过将它们转换回全屏16/9格式。

然而，仅通过使用配备有如下装置的新一代解码器，以3D模式观看立体视频将是可能的，该装置适于标识包含在立体视频流中的具体信令并且能够解码视频而不应用剪裁矩形。

以几种方式来实现这一结果。例如，增加附加的元数据N以指定剪裁矩形仅仅对2D解码器或电视机有效。

因此，已有2D产品将不必更新，它们也将不要求任何固件/硬件改变。

在本发明的一个优选实施例中，指定是否必须使用原始裁剪矩形的元数据N可仅仅是指定其是3D还是2D传输的元数据。

例如可在至少一个SI(服务信息)表中或在H.264SEI(补充增强信息)消息中出现该元数据N的传输。作为替代，复合帧的一行或者多行可被专用于3D特定元数据的传输。

图4b示出了适合显示3D内容的接收器系统。此类系统由三个部分组成，这三个部分可以是独立的装置或者可以以各种方式组合在一起。所述部分如下：解码器1100′，解包器1105，和显示器1110′。

与图4a相比，很明显要求附加的部件，即，解包器1105。解码器1100′将复合帧C的序列作为一个整体输出，即忽略剪裁矩形信息：因此它是一个非标准解码器，因为现有技术标准解码器在解码帧后仅仅输出包含在剪裁矩形中的图像部分。解包器1105从复合帧C提取出图像L和R，并以显示器1110′本身所要求的模式将它们输出给显示器1110′。

为了这样做，解包器1105必须知道复合帧是如何建立的。因此，与单个格式相反，适合处理各种格式的解包器1105因此必须读取指定此类模式的元数据P。

所述元数据P可被录入到SI表中或者SEI消息中，或者录入到复合帧的一行中。在第一种情况下，以下是需要的：解码器1100′读取所述元数据并将其发送给解包器1105，例如通过HDMI接口：为了这个特定目的，所述接口的规范最近已经被更新。在第二种情况下，情形比较简单，因为解包器1105将直接在复合帧中找到元数据P。

从以上描述可知，本发明的特征及其优势是清楚的。

本发明的第一个优势是想要广播也可以被2D解码器解码的3D节目的广播公司将不必传输两个同时视频流，因而使用较少的带宽传输视频流。

本发明的第二个优势是不管携带左眼图像和右眼图像的帧是如何被打包到容器帧中的，总是可以应用该方法。

用于生成和重建立体视频流的方法及相关的生成和重建设备可遭受很多可能的变型而不脱离本发明思想的新颖性精神；还需要清楚的是，在本发明的实际实施中，所示出的细节有不同的形状，或者可能被其他技术上等同的元素替换。

例如，虽然在上述描述中特别参考了H.264/AVC标准，但应该清楚假设所述标准使用与用于定义H.264/AVC标准的剪裁矩形的元数据相类似的元数据，当跟据其他标准执行编码时该方法也适用，。

例如，即使在本说明书中特别参考了1080p格式的复合帧，但应该清楚本发明与复合帧的大小以及构成复合帧的图像的大小无关：因此，本发明也适用于其中复合帧具有720p大小或者具有非常高的分辨率的类型(所谓的2K和4K格式，即具有大约2000或4000行)的情况。

因此，可以容易理解本发明不限于用于生成和重建立体视频流的方法及相应设备，但是对本发明可能遭受很多修改、改进或等同部分和元素的替换而不脱离本发明的思想，正如在以下权利要求书中清楚指定的那样。

Claims

1.一种用于生成包括容器帧(C)的数字立体视频流(101)的方法，所述容器帧(C)包含关于右眼图像(R)和左眼图像(L)的信息，其特征在于：当编码所述数字立体视频流(101)时，录入至少一个元数据(M)，所述至少一个元数据(M)适于标识仅包含所述两个图像(L，R)中的一个的容器帧(C)中的区域。

2.根据权利要求1所述的方法，其中所述数字立体视频流是根据包括裁剪矩形的标准进行编码的，以及其中，所述至少一个元数据(M)定义所述裁剪矩形并且，当使用与所述标准相同的语法时仅参考包含在所述容器帧(C)中的两个图像(L，R)中的一个。

3.根据权利要求2所述的方法，其中，所述标准是H.264/AVC标准。

4.根据在前权利要求之一所述的方法，其中，所述容器帧(C)的所述至少一个区域的尺寸使得其可以被显示而不需要对所述区域的宽/高比进行任何改变。

5.根据权利要求1至3中的任意一个所述的方法，其中，对所述容器帧(C)的所述至少一个区域进行插值和格式转换，使得其可以以16/9格式在全屏中显示。

6.根据在前权利要求之一所述的方法，其中，向所述数字立体视频流中录入至少一个附加元数据(N)以向立体解码器指示必须忽略所述至少一个元数据(M)。

7.根据权利要求6所述的方法，其中，所述附加元数据(N)在关于根据H.264/AVC标准编码的所述数字立体视频流的至少一个SI表或SEI消息中发送。

8.根据权利要求6或7所述的方法，其中，所述至少一个附加元数据(N)是指示节目是2D还是3D的元数据。

9.一种用于编码包括容器帧(C)的数字立体视频流(101)的设备(100)，所述容器帧(C)包含关于右眼图像(R)和左眼图像(L)的信息，其特征在于包括适于实施根据权利要求1-8中任意一个所述的方法的装置。

10.一种用于从包括容器帧(C)的数字立体视频流开始重建至少一个2D兼容图像的方法，所述容器帧(C)包括关于右眼图像(R)和左眼图像(L)的信息，其特征在于，当解码所述数字立体视频流(101)时，提取至少一个元数据(M)，所述至少一个元数据(M)适于标识包含所述两个图像(L，R)中仅一个的容器帧(C)中的区域。

11.根据权利要求10所述的方法，其中，所述数字立体视频流是根据包括裁剪矩形的标准进行解码的，以及其中，所述至少一个元数据(M)定义所述裁剪矩形并且当使用与所述标准相同的语法时，参照包含在所述容器帧(C)中的两个图像(L，R)中的仅一个。

12.根据权利要求11所述的方法，其中，所述标准是H.264/AVC标准。

13.根据权利要求10至12中的一个所述的方法，其中，所述容器帧(C)的所述至少一个区域的尺寸使得其可以被显示而不需要对其宽/高比进行任何改变。

14.根据权利要求10至12中的一个所述的方法，其中，对所述容器帧(C)的所述至少一个区域进行插值和格式转换，使得其可以以16/9格式显示在全屏中。

15.一种适于从包括容器帧(C)的立体视频流开始重建至少一个2D兼容图像的解码器，所述容器帧(C)包括关于右眼图像(R)和左眼图像(L)的信息，其特征在于包括用于实施根据权利要求10至14中的一个所述的方法的装置。

16.一种用于解码数字立体视频流并提取容器帧(C)两个右眼(R)图像和左眼(L)图像的方法，其特征在于：解码器(1100′)读取指示视频流是否是立体的至少一个元数据(N)，以及，如果所述视频流是立体的，则

忽略定义裁剪矩形的至少一个附加元数据(M)中包含的信息；

整体地产生容器帧(C)的序列；

将容器帧(C)的所述序列发送到解包器(1105)，所述解包器(1105)产生按照立体显示器(1110′)要求的所述两个右眼(R)图像和左眼(L)图像。

17.根据权利要求16所述的方法，其中，所述解码器(1100′)向所述解包器(1105)发送附加元数据(P)，所述附加元数据(P)指示左眼(L)和右眼(R)图像已经如何打包，特别是从属于所述立体视频流的SI字段和/或SEI消息的内容。

18.根据权利要求16所述的方法，其中，所述解包器(1105)读取附加元数据(P)，所述附加元数据(P)包含在容器帧中并指示左眼(L)和右眼(R)图像已如何打包。

19.根据权利要求17或18所述的方法，其中，所述附加元数据(P)包含针对复合帧(C)的每个区域的剪裁矩形。

20.根据权利要求16所述的方法，其中，如果所述元数据(N)指示所述视频流不是立体的，则所述解码器(1100′)读取定义所述剪裁矩形的所述至少一个附加元数据(M)中包含的信息，并将所述剪裁矩形所定义的图像发送到显示器(1110)。

21.一种适于解码数字立体视频流并提取容器帧(C)的两个右眼(R)图像和左眼(L)图像的解码器，其包括用于实施根据权利要求16至19中的一个或多个所述的方法的装置。

22.一种适于解码数字立体视频流并提取容器帧(C)的图像的解码器，其包括用于实施根据权利要求20所述的方法的装置。

23.一种适于根据权利要求16至19的一个或多个产生按照立体显示器要求的立体频流的右眼图像和左眼图像的解包器(1105)。

24.一种立体视频流(1101)，其特征在于包括根据权利要求1至8中任意一个的至少一个容器帧(C)和至少一个元数据(M，N)。