CN1981522A - 立体电视信号处理方法、传输系统与观众增强 - Google Patents

Abstract

本发明提供了以这样一种方式将两个标准视频流组合为一个标准视频流的方法，该方式使得其可以被高效地编码并且使得其可以通过呈现立体3D图像、双视图显示能力、全景观看与用户交互式"摇摄及扫描"来增强电视观看体验。使用由ATSC和SMPTE标准团体所主管的用于高清晰视频的视频标准。使双标准视频流现在占据单个标准视频流提供了使用用于记录、发送、回放与显示的标准基础设施的装置。

Description

立体电视信号处理方法、传输系统与观众增强

优先权

本申请是序列号为10/840,592、于2004年5月7日提交的标题为“Stereoscopic Television Signal Processing Method，Transmission Systemand Viewer Enhancements”的美国非临时专利申请的继续并要求了其优先权，该申请的公开内容通过引用结合于此。

对相关申请的交叉引用

本申请要求了序列号为60/468,260、于2003年5月7日提交的标题为“Stereoscopic 3D TV System：End-to-End Solution”的美国临时专利申请的优先权并且是其非临时专利申请，该申请的全部公开内容通过引用结合于此。

技术领域

本发明总体上涉及用于将双视频流组合为标准单个视频流的方法。更具体而言，本发明涉及组合双标准视频流来占据单个标准视频流的方法，提供了以几种方式增强观众体验的装置。

背景技术

存在各种用于将双视频流组合为标准单个视频流的方法和现有技术，而且这些发明中的许多都集中于在显示设备上显示立体3D内容。

这些方法典型地使用：通过将图像在水平或竖直方向上压缩的空间复用、光谱复用、场顺序复用、立体照片(anaglyph)、垂直回描数据插入、水平差异编码、基于差分信号的压缩、矢量映射、MPEG IPB块矢量、DCT变换与速率控制。

数字和高清晰标准正很快取代视频标准。ATSC(高级电视系统委员会)与SMPTE(电影和电视工程师协会)是两个主要的标准主管团体，而且FCC(联邦通信委员会)对这些将由广播公司和电视制造商实施的标准制定了时间线。

在数字领域工作使得发明人能够创造许多通过这个向数字视频的转变而实现的新的和令人激动的技术。本发明描述了组合双标准视频流来占据单个标准视频流的方法，提供了以几种方式增强观众体验的装置。

发明内容

本发明通过将两个低分辨率的图像帧平铺为一个高分辨率的图像帧而不损失像素数据，提供了将两个标准视频流组合为一个标准视频流的方法。存在各种适应这种平铺方法的HDTV标准，这种平铺方法是通过将来自两个低分辨率帧的像素数据映射到单个高分辨率帧的新像素位置来完成的。这是通过用两个低分辨率帧的段平铺高分辨率帧来完成的。

当针对立体3D应用或全景应用或摇摄及扫描(pan-and-scan)应用而对两个相机视图进行编码时，这种平铺在大多数情况下将确保当一个相机有相机移动时，另一相机将在相同矢量方向上有移动。而且，这种平铺在大多数情况下将确保当一个相机没有相机移动时，另一相机也将没有移动。

因此，这种平铺方法对于通过依赖于时间冗余来更高效编码的例如MPEG-2、MPEG-4和WM-9的压缩算法来压缩平铺的帧序列是有利的。

另一方面，通过场交替或交织来组合两个视频流的其它方法产生不能由大多数压缩算法来高效编码的帧。

对“平铺”帧编码并且使这样的帧序列由可接受的视频压缩算法压缩允许了此数据通过存储到磁带、存储器或磁盘表面上来被处理，就象其为单个馈源一样，以及由陆地、线缆或卫星首端发送并由其它首端或机顶盒接收。

机顶盒、电视、媒体播放机或PC或者其它专用解码设备可以用于将这种“平铺”图像回解码为两个标准视频流，以显示到例如电视、放映机或计算机监视器的显示设备上。

这种显示设备可以具有呈现给观众的一种或多种能力，可能的并且在本发明中描述为“2D模式”、“双视图模式”、“摇摄及扫描模式”及“立体3D模式”的几种模式。

附图说明

为了更好地理解本发明，结合附图参考以下描述，在附图中，例如：

图1示出了具有1280×720像素的帧分辨率的第一视频源，它可以是例如立体图像对的“左眼”视图。此分辨率是ATSC和SMPTE视频标准。此帧将被编码到[图3]的高分辨率帧中。

例如，图1标记为“左眼”，以区别于第二视频源。

图2示出了具有1280×720像素的帧分辨率的第二视频源，它可以是例如立体图像对的“右眼”视图。此分辨率是ATSC和SMPTE视频标准。此帧将被编码到[图3]的高分辨率帧中。

例如，图2标记为“右眼”，以区别于第一视频源。

图3示出了作为具有1920×1080分辨率的“平铺”帧的[图1]与[图2]的视频帧的组合对，其可以构成例如立体图像对。此分辨率是ATSC和SMPTE视频标准。

图3视为经编码的“平铺”帧。它是用于平铺的典型布局，但并不限于这种平铺段的布置。

如果能提高压缩效率，则图3的占据帧的1/9面积或640×360像素的右下角可以用于插入附加的图像，如缩略图子帧，或者相邻于平铺的缝合区域的图像区域。

具体实施方式

为了将两个标准源视频流组合为一个标准输出视频流，每个视频流[图1、2]首先被数字化到对应的存储缓冲器中。针对每个进入的视频流以一个像素接一个像素的顺序来更新该存储缓冲器。

该存储缓冲器可以是双端口的FIFO配置或单端口的SRAM或VRAM配置，只要用于读和写存储器的总线带宽足以满足同时进行读和写周期就可以，而且读/写地址争用通过硬件或储库切换(转换)(bank-switched(toggled))来避免，以确保没有争用。

来自两个低分辨率输入帧[图1、2]的像素数据到平铺的高分辨率输出帧[图3]的像素数据的重新映射可以下列两种方式中的一种执行：

第一，从每个输入帧[图1、2]到存储器的写周期是线性寻址的，而读周期具有对地址改变顺序以匹配平铺输出帧[图3]所需的顺序的地址发生器。在这种情况下，存储缓冲器需要具有容纳两个输入视频帧的容量、或者如果通过储库切换来避免争用则需要具有容纳四个输入帧的容量。

第二，从每个输入帧[图1、2]到存储器的写周期是由地址发生器寻址的，该地址发生器改变写地址顺序，使得用于输出平铺帧[图3]的输出读周期将被线性寻址。在这种情况下，存储缓冲器需要具有容纳单个输出平铺帧的容量、或者如果通过储库切换来避免争用则需要具有容纳两个输出帧的容量。

在所有情况下，上述方法或任何其它方法都必须确保从存储器读出平铺帧[图3]不会横跨在不同时间捕捉到的所存储的输入帧[图1、2]的边界而读取。

输入源帧[图1、2]典型地被整合在一起，以确保这种存储器模型能工作。

以上方法描述了将两个源帧[图1、2]组合为一个输出平铺帧[图3]的硬件方法。此工作还可以通过以软件呈现所述帧来完成，以从存储在计算机存储器中或磁盘上的两个源帧[图1、2]中呈现相同的输出帧[图3]。

有各种适应这种平铺方法的HDTV标准，这种平铺方法是通过将来自两个低分辨率帧的像素数据映射到单个高分辨率平铺帧的新像素位置而不损失像素数据来完成的。

这些标准的像素分辨率目前包括(水平×垂直)：

1)1920×1080

2)1280×720

3)704×480

4)640×480

在附图及其说明中提供的例子中，两个1280×720的帧可以平铺到一个1920×1080的帧中。类似地，可以将两个640×480的帧平铺到一个1280×720的帧中。

在这些例子中，像素数据未损失，但也可以减小输入帧的大小来匹配输出平铺帧的平铺需求，在这种情况下将需要像素内插，而且在这种转换中一些像素数据会丢失。

当针对立体3D应用[图1、2]或全景应用或摇摄及扫描应用而对两个相机视图进行编码时，这种平铺方法和所产生的输出帧[图3]在大多数情况下将确保当一个相机[图1]有相机移动时，另一相机[图2]将在相同矢量方向上有移动。而且，这种平铺[图3]在大多数情况下将确保当一个相机[图1]没有相机移动时，另一相机[图2]通常也将没有移动。

因此，这种平铺方法对于通过依赖于时间冗余来更高效编码的例如MPEG-2、MPEG-4和WM-9的压缩算法来压缩平铺的帧序列是有利的。对于压缩CODEC(编码器-解码器)，输入图像看起来就象来自单个相机源。

对于组合来自两个源的图像的大多数其它方法、如场交替或交织而言，大多数视频压缩算法都很难高效地编码。

对“平铺”帧[图3]编码并且由可接受的视频压缩算法压缩这样的帧序列允许了此数据就象是单个馈源或单个相机一样被处理。

目前大多数广播基础设施都使用MPEG-2作为选择的压缩算法。

此情况可随着得到更好的算法而改变。通过将平铺视频[图3]编码为MPEG-2流，允许支持MPEG-2的所有基础设施不变地用于压缩、存储、记录、归档、发送、接收和解压缩。

在解压缩成单个平铺视频流[图3]后，平铺视频需要在例如电视、放映机或计算机监视器的显示设备上观看之前回解码为双视频流[图1、2]。

这可以在用户应用中的机顶盒、媒体播放机、PC或其它专用解码设备中执行。

这种显示设备可以具有一种或多种向观众呈现的能力，可能的并且在本发明中描述为“2D模式”、“双视图模式”、“摇摄及扫描模式”及“立体3D模式”的几种模式。

“2D模式”是显示单个解码视频流的模式。[图1]或[图2]就象是常规的2D视频。解码器只向显示器呈现一个固定的视频源。

“双视图模式”是允许观众选择来自解码器的两个源中的一个的模式，就象选择[图1]或[图2]源的A/B开关。至显示器的输入可以从一个源转接到另一个。例如，观众可以从已被编码的两个相机视图中人工选择。

“摇摄及扫描模式”是其中经编码的平铺帧的源材料包含已水平或竖直“缝合”到一起以创建全景视图的视频图像的模式。这可以通过从两个相邻的视频相机捕捉来实现，其中每个相机都具有侧边为共同的视野，使得当“缝合”到一起时产生水平或竖直的全景视图。

观众可以调整滑动“窗口”，以便在全屏中观看全景的任何部分。

这种开窗术需要由解码器通过偏移被读取并显示在显示设备上的存储器的像素列或行起始地址来执行。

“立体3D模式”是显示两个视频源[图1、2]并通常需要平铺的视频流[图3]来包含“左眼”与“右眼”相机视图的模式。显示设备将以显示设备可以支持的任何3D格式如立体照片、偏振或场交替来显示立体3D。

通过选择“双视图模式”并人工选择“左眼”视图[图1]或“右眼”视图[图2]，观众还可以选择以2D观看立体视频内容。

如果显示器具有将双流转换成立体照片3D的能力，则通过现有技术中的标准数学处理，观众将能够利用彩色眼镜观看立体照片3D。

用于每只眼睛的源材料还可以编码成使得其已经是立体照片格式，在这种情况下电视将显示彩色“左眼”视图[图1]和“右眼”视图[图2]的总和。观众将能够利用彩色眼镜观看立体照片3D。

用于每只眼睛的源材料还可以编码成使得其已经是立体照片格式，在这种情况下电视将显示非彩色2D普通视图[图1]和组合的彩色“右眼”与“左眼”视图[图2]的总和。观众将能够不用眼镜而观看2D模式的内容或者利用彩色眼镜观看立体照片3D。

如果电视能够从双视频流产生偏振的立体3D，则观众将能够利用偏振眼镜观看立体3D。

如果电视能够从双视频流产生场交替的立体3D，则观众将能够利用光闸眼镜观看立体3D。

如可以从本发明看到的那样，通过将双视频流的源呈现给显示设备而实现的能力产生了增强的观看体验。

本发明的许多特征与优点是从详细说明书中显而易见的，因此，所附权利要求旨在覆盖落入本发明真正主旨与范围内的本发明的所有这样的特征与优点。此外，由于本领域技术人员将容易想到许多种修改与变化，所以不期望将本发明限定到所例证与描述的确切结构与操作方式，因此，在本发明的范围之内，所有合适的修改与等同设置都可以采用。

Claims (11)

1.一种通过将两个低分辨率图像帧平铺为一个高分辨率图像帧而不损失像素数据来将两个标准视频流组合为一个标准视频流的方法；这种平铺的图像帧在下文中将称为“平铺帧”。

2.如权利要求1所述的方法，其中以这样的方式对所述平铺帧编码，该方式使得可以通过例如MPEG-2、MPEG-4和WM-9的压缩算法来对所述平铺帧高效地编码。

3.如权利要求1所述的方法，其中通过使用接受单个视频流的标准记录设备来存储所述平铺帧。

4.如权利要求1所述的方法，其中通过使用接受单个视频流的标准发送设备来发送所述平铺帧。

5.如权利要求1所述的方法，其中通过使用接受单个视频流的标准接收设备来接收所述平铺帧。

6.如权利要求1所述的方法，其中将所述平铺帧解码为两个标准视频流。

7.在例如电视、放映机或计算机监视器的显示设备上显示所述两个经解码的视频流的方法。

8.如权利要求7所述的方法，其中所述显示设备用于以 2D模式显示常规的“2D”视频。

9.如权利要求7所述的方法，其中所述显示设备用于以用户(观众)可选的 双视图模式将所述两个视频源中的一个显示为常规的“2D”视频。例如，观众可以从已被编码的两个相机视图中人工选择。

10.如权利要求7所述的方法，其中所述显示设备用于显示已水平或竖直“缝合”到一起的所述两个组合视频源，然后将其以观众可选的 摇 摄及扫描模式显示为常规的“2D”视频。例如，观众可以从已被编码的两个相邻相机视图人工调整全屏显示器在双帧“缝合”全景帧内的位置。

11.如权利要求7所述的方法，其中所述显示设备用于以例如立体照片、偏振或者场或帧交替的所述显示设备可以支持的任何3D格式来将所述两个视频源显示为立体3D；这是 立体3D模式，并且通常需要所述双视频流包含“左眼”与“右眼”视图，但用户可能希望以2D模式观看视频内容，这也是本发明所支持的。

Images