具体实施方式
应当理解,图中所示的元件可以以各种形式的硬件、软件或其组合来实现。优选地,这些元件可以以一个或多个适当编程的通用设备上的硬件和软件的组合实现,该通用设备可以包括处理器、存储器和输入/输出接口。这里短语“耦合”定义为直接连接或者通过一个或多个中间组件间接连接。这样的中间组件可以包括基于组件的硬件和软件。
本说明书示意了本公开的原理。因此将认识到,本领域技术人员能够设想各种布置,这些布置尽管在这里没有显式描述或示出,但体现本公开的原理并包括在本公开的精神和范围内。
这里所引述的所有示例和条件性语言均为了教导的目的,以帮助读者理解本公开的原理以及发明人对现有技术做出贡献的构思,应看作不会被限制为这里具体引述的示例和条件。
此外,这里对本公开的原理、方面、实施例及其特定示例做出引述的所有声明意在包括本公开的结构和功能上的等同物。另外,该等同物将包括当前已知的等同物以及将来开发出的等同物,即所开发出来的执行相同功能的任何组件,而与结构无关。
因此,本领域的技术人员可以理解,例如这里所表示的框图展示出体现本公开的示意性电路的概念图。类似地,将理解,任何流程、流程图、状态转移图、伪代码等表现出实质上可以在计算机可读介质上表现的、并且由计算机或处理器执行的各个过程,无论是否明确示出该计算机或处理器。
可以通过使用专用硬件和能够执行适合的软件的关联软件的硬件而提供图中所示各个组件的功能。当由处理器来提供时,这些功能可以由单个的专用处理器、单个的共享处理器、或多个单独的处理器来提供,其中一些可以是共享的。此外,术语“处理器”或“控制器”的显式使用不应被解释为排他性地指代能够执行软件的硬件,而且可以隐式地包括(不限为)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储器。
还可以包括常规和/或定制的其它硬件。类似地,图中所示的任何开关仅是概念上的。其功能可以通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑的交互、或甚至是手动地实现,实施者可以选择的具体技术可以从上下文中得到明确的理解。
在权利要求书中,表示为用于执行指定功能的装置的任何组件意在包括执行该功能的任何方式,例如包括:a)执行该功能的电路元件的组合,或b)任意形式的软件,包括固件、微代码等,并与用于执行该软件以执行该功能的适合的电路进行组合。由权利要求所限定的本公开原理在于如下事实:将各个引述的装置所提供的功能以权利要求所要求的方式组合在一起。因此,可以把能够提供这些功能的任意装置看作与这里所示的装置相等同。
本公开涉及允许三维(3D)视频内容连同二维(2D)内容一起广播和接收以向多个不同接收条件提供服务的系统和方法,包括:仅接收和解码2-D图像;仅接收和解码同时包含降低分辨率的左右视图图像的单个视频帧;以及一起接收和解码两个信号,以便显示改进分辨率的3-D图像。例如,这些系统和方法指示将全分辨率下的左视图图像连同同时具有以降低分辨率(即,半分辨率)组合的左视图图像和右视图图像的第二信号。接收机可以解码一个或另一个信号,并且可以在有能力的情况下交替地解码这两个信号。如果接收机解码两个信号,则接收机还可以对例如降低分辨率右眼视图的采样率进行上转换以匹配降低的全分辨率左视图信号的图像尺寸。
首先,描述向用户分发各种类型视频内容的系统。现在转向图1,示出了用于向家庭或终端用户分发内容的系统100的实施例的框图。内容源自内容源102,例如,电影制片厂或制作室。可以以两种形式中的至少一种来提供内容。一种形式可以是内容的广播形式。向广播联盟管理站104提供广播内容,广播联盟管理站典型地是国际广播服务,例如,美国广播公司(ABC)、国家广播公司(NBC)、哥伦比亚广播系统(CBS)等。广播联盟管理站可以收集和存储内容,并且可以在分发网络(示为分发网络1(106))上调度内容的分发。分发网络1(106)可以包括从国家中心到一个或多个地区或本地中心的卫星链路传输。分发网络1(106)还可以包括例如通过空中广播、卫星广播或有线广播使用本地分发系统的本地内容分发。向用户家庭中的接收设备108提供本地分发的内容,在用户家庭中用户可以随后搜索内容。应当认识到接收设备108可以采用许多形式,并且可以实现为机顶盒/数字视频录像机(DVR)、网关、调制解调器等。
第二种形式的内容被称作特定内容。特定内容可以包括额外服务观看、按次计费观看或者所分发的内容,或者不另外向广播联盟管理站提供的其他内容,例如,电影、视频游戏或其他视频元素。在许多请形下,特定内容可以是用户所请求的内容。可以向内容管理站110分发特定内容。内容管理站110可以是服务供应商,例如,例如与内容供应商联盟的互联网网站、广播服务或分发网络服务。内容管理站110还可以将互联网内容并入分发系统。内容管理站110可以通过单独的分发网络(分发网络2(112))向用户的接收设备18提供内容。分发网络2(112)可以包括高速宽带互联网类型通信系统。应重点注意的是,也可以使用分发网络2(112)的全部或一部分来分发来自广播联盟管理站104的内容,并且可以使用分发网络1(106)的全部或一部分来分发来自内容管理站110的内容。此外,用户还可以经由分发网络2(112)从互联网直接获得内容,而不必具有内容管理站11所管理的内容。
可以利用分开分发的内容的多种适应性。在一种可能的方法中,提供特定内容作为对广播内容的扩增,例如,提供备用显示、购买和选购项目、增强素材以及类似项目。在另一实施例中,特殊内容可以完全代替作为广播内容提供的一些编程内容。最终,特殊内容可以完全与广播内容分开,并且可以简单地为用户可以选择利用的媒体备选内容。例如,特殊内容可以是还不可用作广播内容的电影库。
参照图2,示出了还可以提供二维(2D)传统支持的三维(3D)半分辨率分屏广播的系统200的实施例的框图。系统200包括:用于编码和广播视频内容的发射机202;以及用于接收视频内容、解码视频内容以及向显示设备提供解码视频内容的接收机204。发射机202典型地可以与位于信号传输中心(例如,图1中描述的广播联盟管理站)的设备包括在一起。通过广播网络(例如,分发网络1(106))向接收机204发送发射机202所产生的信号。接收机204可以是典型地位于用户家庭中或附近的机顶盒、网关、计算机或其他网络接口设备。接收机204还可以包括在诸如个人数字助理、平板电脑或蜂窝电话等移动设备中。
发射机202包括针对立体图像对的全分辨率右视图图像206和左视图图像208的源,或者另外获取这些图像。可以从内容源(例如,图1中描述的内容源102)提供右视图图像206和左视图图像208。将右视图图像206和左视图图像208中的每一个分发至相应采样率转换器(210、212)。采样率转换器210、212将每个图像的水平采样率转换到原始水平尺寸的一半。在图像处理器218中将一半尺寸的右视图图像214和一半尺寸的左视图图像215合并成单个图像。
然后将来自图像处理器218的合并图像发送到根据运动图像专家组(MPEG)H.264/MPEG-4部分10标准、高级视频编码(AVC)标准或类似压缩算法来编码合并图像的编码器220,以创建第一比特流222。此外,向根据H.264/MPEG-4部分10、AVC或类似压缩算法编码的左视图图像208的编码器224提供获取的全分辨率左视图图像208,以创建第二比特流226。应当重点注意的是,两个流可以不引用相同压缩算法。例如,编码器220可以使用比编码器224用于第二比特流226的算法更高或更低的压缩率H.264算法来编码第一比特流222。此外,尽管全分辨率图像208表示为左视图图像,但是仅针对常规目的对其进行描述。全分辨率图像208取而代之可以表示为右视图图像。因此,应当理解,贯穿本公开,针对左视图图像和右视图图像信号的描述可以相反。
从编码器238和编码器244向输出信号处理器228提供第一和第二比特流222、226。创建控制器230以确定标识信息,并且将该信息与任何其他控制信息一同提供至输出信号处理器228。在一个实施例中,控制器230为每个比特流设置分组ID。输出信号处理器228基于分组ID信息和控制器230所提供的控制信息将第一和第二比特流222、226合并成单个比特流232,以作为信号的一部分发送至接收设备204。控制器230还将附加信息附加至单个比特流232,单个比特流232包括但不限于标识比特、标识字节或标识分组。此外,控制器230可以使用标识来创建可以作为信号的一部分发送至接收设备的节目指南。包括节目指南信息允许接收机204标识比特流232所包含的节目内容。
接收机204对包括比特流232的输入信号进行处理,并且基于节目指南提供内容分离。接收机204可以包括存储设备237(例如,硬盘驱动器或光盘驱动器)以记录或回放音频和视频内容。向显示设备(例如,图1中描述的显示设备114)提供处理后的内容。显示设备可以是传统2-D型显示器,或者备选地可以是高级的3-D显示器。接收设备204也可以并入到包括显示设备本身的其他系统中。在任一情况下,出于简明的目的没有示出系统完整操作所需的多个部件,因为这些部件对于本领域技术人员而言是公知的。
在接收设备204中,在输入信号接收机234中接收到包括诸如比特流232等内容的接收信号。输入信号接收机234可以是用于对通过多种可能网络之一(包括通过空气、有线、卫星、以太网、光纤和电话线网络)提供的信号进行接收、解调和解码的多个已知接收机电路之一。可以基于通过控制接口(未示出)提供的用户输入来在输入信号接收机234中选择和获取期望的输入信号。可以向输入流处理器236提供来自输入信号接收机234的输出信号。输入流处理器236执行信号选择和处理,并且确定将第一和第二比特流中的哪一个发送至适当解码器。输入流处理器236基于设备202所发送的节目指南和针对每个比特流(例如,比特流222和比特流226)分组ID或其他标识信息来区分第一和第二比特流。
此外,输入流处理器236可以向存储设备237发送接收到的比特流。存储设备237允许在控制器254的控制下并且还基于从用户接口(未示出)接收的命令(例如,诸如快进(FF)和倒退(Rew)等导航指令)来随后获取和回放内容。存储设备237可以是硬盘驱动器、一个或多个大容量集成电路存储器(例如,静态随机存取存储器)或动态随机存取存储器,或者可以是诸如压缩盘驱动器或数字视频盘驱动器等可互换光盘存储系统。
如所述,输入流处理器236分离比特流,并且将第一和第二比特流之一转发至适当的解码器(解码器238或解码器244中的任一个)。在一个实施例中,如果输入流处理器236确定比特流包括合并图像,则向解码器238发送该比特流。解码器238根据一个或多个视频压缩解码算法(例如,H.264/MPEG-4部分10或AVC)将合并图像解码成具有半分辨率左右视图的合并图像240。向选择器250提供3D半分辨率输出242。控制器254用于确定和控制通过选择器250向音频/视频接口252提供哪个比特流。
如果输入流处理器236确定比特流包括全分辨率左视图图像208,向解码器244发送该比特流。解码器244根据一个或多个压缩解码算法来解码左视图图像208,以产生左视图图像246。然后输出左视图图像作为2D全分辨率输出信号248。还向选择器250提供2D全分辨率输出信号248。
控制器254经由音频/视频接口252确定耦合至接收设备204的显示设备类型。音频/视频接口252可以是模拟信号接口,例如红-绿-蓝(RGB),或者可以是数字接口,例如,高清多媒体接口(HDMI)。控制器254与音频/视频接口252进行通信,并且接收来自音频/视频接口252的信息,以确定与其相连的是2D显示设备还是3D显示设备。例如,在HDMI的情况下,控制器254通过HDMI接口与显示设备进行通信,以确定显示设备的能力。然而,这通常不能利用模拟音频/视频(A/V)接口来进行。当通过模拟AV接口连接时,通常利用接收设备204上控制器可以读取的按钮或者利用用户用遥控驱动选择输入显示类型的用户界面屏幕来完成显示设备设置。
基于显示设备的类型,控制器254控制选择器250输出适当的输出信号,3D半分辨率视频信号或2D全分辨率视频信号中任一个。例如,如果控制器254确定3D显示设备耦合至音频/视频接口252,则经由选择器250向音频/视频接口252发送3D半分辨率输出242。如果控制器254确定2D显示设备耦合至音频/视频接口252,则经由选择器250向音频/视频接口252发送2D全分辨率输出248。应当认识到,以上处理可以源自在输入信号接收机处接收到的信号,或者从存储设备237获取的内容。
还应当认识到,控制器230和控制器254可以分别经由总线互连至发射机202和机顶盒204内包含的多个部件。例如,控制器254可以管理用于将输入流信号转换成用于在存储设备237上存储或者用于在显示设备上显示的信号的转换过程(未示出)。控制器254还管理对存储内容的获取和回放。控制器230和控制器254还可以耦合至用于存储针对控制器230和控制器254的信息和指令代码的控制存储器(未示出),例如易失或非易失存储器,包括随机存取存储器、静态RAM、动态RAM、只读存储器、可编程ROM、闪速存储器、EPROM、EEPROM。此外,存储器的实现方式可以包括多个可能实施例,例如单个存储设备,或者备选地,连接在一起以形成共享或公共存储器的多于一个存储电路。此外,存储器可以与其他电路(例如,总线通信电路的一部分)一起包括在较大电路中。
转向图3,示出了用于编码半分辨率分屏广播的过程300的实施例的流程图。主要关于图2中描述的发射机202来描述过程300,但是类似地可以在图1中描述的广播联盟管理站104中找到设备中包括过程300。在步骤302,获得全分辨率右视图图像。类似地,在步骤304,获取全分辨率左视图图像。右视图图像和左视图图像形成立体图像对,并且可以由内容源(例如,图1中描述的内容源102)提供。此外,可以使用2D图像和2D-3D处理技术由发射机设备(例如,发射机202)产生两个图像之一。在步骤306处,通过将每个图像的水平采样率变成原始水平尺寸的一半来转换右视图图像和左视图图像中的每一个。接着,在步骤308,将一半尺寸的右视图图像和一半尺寸的左视图图像合并成单个图像。应重点注意,每个一半尺寸的图像典型地占据图像信号的全水平宽度的一半。备选地,可以在整个图像信号上的图案(例如,棋盘图案)中散布每个一半尺寸的图像。
在步骤310,然后使用视频压缩编码算法来编码合并的图像,以创建第一编码比特流。在一个实施例中,合并的图像可以根据H.264/MPEG-4部分10或AVC或一些类似的压缩算法来编码。在步骤312处,与步骤310中描述的相类似,使用视频压缩编码算法来编码来自步骤304的全分辨率左视图图像,以创建第二编码比特流。
接着,在步骤314,获取并处理关于第一比特流和第二比特流的信息,以形成节目信息的一个或多个片段(例如,比特、字节、分组)。同样,在步骤314,合并第一比特流和第二比特流以形成单个信号或比特流,并且将针对第一比特流和第二比特流的信息附加至单个比特流。在一个实施例中,附加该信息作为节目标识(PID)。针对单个比特流的PID也可以与来自其他比特流的PID相组合,以形成分离节目指南比特流。最后,在步骤316,传输包含单个比特流的输出信号。可以通过分发网络(例如,图1中所描述的分发网络106)传输输出信号作为传输信号。传输步骤316还可以包括传输信号所必要的附加信号处理,例如,附加纠错编码、调制编码、数模转换、滤波和对模拟信号的上转换。输出信号可以包含其他比特流以及附加信息(例如,节目指南流)。应重点注意到,节目指南信息可以附加至单个比特流,而不是作为分离比特流创建。
转向图4,示出了用于解码半分辨率分屏广播的示例过程400的流程图。主要关于图2中描述接收机204来描述过程400。过程400还可以用作接收设备(例如在图1中描述的接收设备108)的操作的一部分。在步骤402,从传输网络接收包含期望比特流(例如,比特流232)的信号以及其他内容。信号和内容可以通过网络服务供应商(例如,图1中描述的广播联盟管理站104)来提供,并且在可以在输入信号接收机(例如,接收机234)中接收到该信号和内容。包括比特流(例如,期望比特流232)的内容也可以从存储设备(例如,存储设备237)或其他媒体设备(例如数字多功能盘(DVD)或其他媒体)提供。
在步骤404,将接收到的输入信号分成多个比特流。根据需要,向适合的解码器提供来自期望比特流232的第一比特流和第二比特流中的每一个。步骤404可以包括确定比特流是否包括合并的图像。如果比特流包括合并的图像,则根据一个或多个视频压缩解码算法(例如,H.264/MPEG-4部分10、AVC或其他类似压缩解码过程)来解码比特流。步骤404处的解码产生具有半分辨率左视图和右视图的合并图像。在步骤406处,如果分开的比特流之一包括全分辨率左视图图像则出现类似的解码。步骤406处的解码可以使用与步骤404中描述的算法类似的视频压缩解码算法。
在步骤408,确定用于显示视频内容的显示设备类型。在一个实施例中,显示设备经由音频/视频接口(例如,音频/视频接口252)耦合至机顶盒204。音频/视频接口252可以是诸如红-绿-蓝(RGB)等模拟信号接口,或者可以是诸如高清多媒体接口(HDMI)等数字接口。显示设备还可以与机顶盒204中的接收和处理部件集成。步骤408处的确定可以通过显示设备标识过程自动执行,或者可以是用户选择的。
基于步骤408中确定的显示类型,然后在步骤410,向显示设备提供适当的输出信号。在一个实施例中,步骤408和410由控制器254和选择器250来执行。例如,如果控制器254确定3D显示设备耦合至音频/视频接口252,则经由选择器250向音频/视频接口252发送3D半分辨率输出242。如果控制器254确定2D显示设备耦合至音频/视频接口252,经由选择器250向音频/视频接口252发送2D全分辨率输出248。备选地,步骤408和410可以使用其他元件(例如,音频/视频接口22或解码器238和244)来执行。还应当认识到,上述处理可以源自在输入信号接收机处接收到的信号,或者源自从存储设备237获取的内容。
现在转向图5,示出了用于传统三维(3D)广播、传统2D广播和全分辨率3D广播的系统的实施例的框图。系统500包括用于编码和广播视频内容的发射机502以及用于接收视频内容、解码视频内容并向显示设备提供解码视频内容的接收设备504(例如,机顶盒、网关、或其他网络接口设备)。接收设备504还可以包括诸如个人数字助理、平板电脑或蜂窝电话灯移动设备中。除了以下所描述的,发射机502和接收设备504均以类似于图2中描述的系统200类似的方式彼此操作和接口连接。
发射机502获取立体图像对的全分辨率右视图图像和全分辨率左视图图像。如上所述可以从内容源或以一些其他方式提供全分辨率右视图图像和左视图图像。在合并电路511中将右视图图像和左视图图像合并成单个图像,并且向采样率转换器510提供。采样率转换器510将合并图像的水平采样率转换到原始水平尺寸的一半。
采样率转换器510的输出向编码器520提供转换的图像518。编码器520使用一个或多个视频压缩算法(例如,上述那些视频压缩算法)来编码图像。此外,将获取的全分辨率左视图图像提供至编码器524,并且使用如上所述的一个或多个视频压缩算法来编码。向输出信号处理器528提供分别被标识为第一比特流522和第二比特流526的编码器520的输出和编码器524的输出。信号处理器528的输出在控制器530的控制下操作。控制器530为每个比特流设置分组ID、或其它流标识,并且输出信号处理器532将第一比特流522和第二比特流526连同分组ID或其它流标识一起合并成单个比特流532。输出信号处理器528向接收设备504提供包括从发射机502发送的比特流532的输出信号。此外,控制器530创建也可以发送至接收设备504的节目指南。
节目指南可以包括与输出流532有关的分组ID或其它信息,以及与发送至接收设备504的其它比特流有关的信息。节目指南用于向接收设备504通知包含比特流532以及作为输出信号一部分包括和发送的任何其它比特流。节目指南可以作为分开的比特流发送,或者可以附加至输出比特流532。
接收设备504处理比特流532,并且基于节目指南提供内容的分离。接收设备504可以包括用于记录和回放音频和视频内容的存储设备,例如,硬盘驱动器或光盘驱动器。向显示设备(例如,图1中描述的显示设备114)提供处理后的内容。显示设备可以是传统2-D型显示器,或者备选地可以是高级的3-D显示器。接收设备504也可以并入到包括显示设备本身的其他系统中。在任一情况下,出于简明的目的没有示出系统完整操作所需的多个部件,因为这些部件对于本领域技术人员而言是公知的。
在接收设备504中,在输入信号接收机534中接收到包括诸如比特流532等内容的接收信号。输入信号接收机534可以是用于对通过多种可能网络之一(包括通过空气、有线、卫星、以太网、光纤和电话线网络)提供的信号进行接收、解调和解码的多个已知接收机电路之一。可以基于通过控制接口(未示出)提供的用户输入来在输入信号接收机534中选择和获取期望的输入信号。可以向输入流处理器536提供来自输入信号接收机534的输出信号。输入流处理器536执行信号选择和处理,并且确定将第一和第二比特流中的哪一个发送至适当解码器(解码器538或解码器544中的任一个)。输入流处理器536基于设备502所发送的节目指南信息和针对接收到的比特流(例如,比特流532)分组ID标识或其他标识信息来区分第一和第二比特流。此外,如上所述输入流处理器536可以根据需要向存储设备537发送接收到的比特流。
如上所述,输入流处理器536可以分离比特流,并且根据识别或区分的比特流,将第一和第二比特流之一提供至适当的解码器(解码器538或解码器544中的任一个)。在一个实施例中,如果输入流处理器536确定比特流包括合并图像比特流(例如,比特流522),则向解码器238发送该合并图像比特流。解码器538使用根据H.264/MPEG-4部分10、AVC(高级视频编码)或其它算法的视频压缩算法来解码合并图像比特流。解码器538产生3D半分辨率输出图像信号542,该图像信号542是具有半分辨率左视图和右视图的合并图像540。在控制器554控制下向选择器250提供3D半分辨率输出542。选择器550和控制器的操作类似于以上关于图2描述的选择器和控制器。
如果输入流处理器536确定、标识或区分提供包括全分辨率左视图图像的比特流(例如,比特流526)作为接收到的信号的一部分,并且向解码器544提供该比特流。在解码器544中,根据H.264/MPEG-4部分10、AVC或其它解码过程来解码左视图图像,以产生作为左视图图像546的2D全分辨率输出信号548。同样在控制器544的控制器下向选择器550发送来自解码器544的2D全分辨率输出信号548(类似于解码器538的输出)。
3D半分辨率输出信号542的半分辨率右视图部分也可以提供至采样率转换器556。采样率转换器556将图像的右视图部分的水平采样率上转换回至全分辨率。备选地,可以向采样率转换器556提供整个3D半分辨率输出信号542。可以在上转换右视图部分之前,操作采样率转换器556以丢弃信号的左视图部分。上采样的右视图可以是1080i水平分图像或720p垂直分图像。可以将上转换的右视图图像信号连同2D全分辨率输出信号548一起从解码器544提供至合并电路557。合并电路577将上转换的右视图图像与全分辨率左视图图像相组合,以产生左和右全分辨率输出信号558。同样在控制器554的控制下向选择器550提供全分辨率输出信号。
应重点注意,基于采样率转换器556对3D半分辨率输出信号542的右视图部分执行的上转换,也可以对2D全分辨率输出信号548执行一些形式的采样率转换。例如,2D全分辨率输出信号548可以是1080i格式,而上转换的右部分信号可以是720p。为了匹配图像,2D全分辨率输出信号548从1080i到720p的采样率转换是必需的。采样率转换可以在解码器544中执行,或者可以在未示出的分离采样率转换器中执行。
尽管也可以在采样率转换器556中与右视图图像部分一起对3D半分辨率输出信号542的左视图图像部分执行附加采样率转换,但是针对左视图图像的2D全分辨率输出信号548的使用产生更高视觉质量图像。采样率转换的过程可能产生显著伪像,例如,图像误差或失真。通过使用2D全分辨率输出信号548,观看者可以几乎不能感知到采样率转换伪像,这是因为这些伪像可以仅存在于右眼视图中。
控制器554经由音频/视频接口554确定耦合至接收设备204的显示设备类型。音频/视频接口252可以是模拟信号接口,例如红-绿-蓝(RGB),或者可以是数字接口,例如,高清多媒体接口(HDMI)。控制器554与音频/视频接口552进行通信,并且接收来自音频/视频接口552的信息,以确定与其相连的是2D显示设备、3D传统显示设备还是3D全分辨率显示设备。基于显示设备的类型,控制器554控制选择器550输出适当的输出信号。例如,如果控制器554确定传统3D显示设备耦合至音频/视频接口552,则经由选择器250向音频/视频接口552发送3D半分辨率输出542。如果控制器554确定2D显示设备耦合至音频/视频接口552,则经由选择器550向音频/视频接口552发送2D全分辨率输出548。如果控制器554确定全分辨率3D显示设备耦合至音频/视频接口552,则经由选择器550向音频/视频接口552发送3D全分辨率输出558。应当认识到,以上处理可以源自在输入信号接收机处接收到的信号,或者从存储设备537获取的内容。
现在转向图3,示出了用于编码传统3D广播、传统2D广播和全分辨率3D广播的示例性过程600的流程图。主要关于图5中描述的发射机502来描述过程600,但是类似地可以关于图2中描述的发射机202来描述过程600,或者过程600可以包括在图1中描述的广播联盟管理站104中找到设备中。在步骤602,获得全分辨率右视图图像。类似地,在步骤604,获取全分辨率左视图图像。右视图图像和左视图图像形成立体图像对,并且可以由内容源(例如,图1中描述的内容源102)提供。此外,可以使用2D图像和2D-3D处理技术由发射机设备(例如,发射机502)产生两个图像之一。在步骤606处,通过将每个图像的水平采样率变成原始水平尺寸的一半来转换右视图图像和左视图图像中的每一个。接着,在步骤608,将一半尺寸的右视图图像和一半尺寸的左视图图像合并成单个图像。应重点注意,每个一半尺寸的图像典型地占据图像信号的全水平宽度的一半。备选地,可以在整个图像信号上的图案(例如,棋盘图案)中散布每个一半尺寸的图像。
应重点注意,根据在发射机502和发射机504处原始接收图像信号的显示格式,有利的是,调节采样率以便以最高可能显示格式来重新格式化生成的单个图像。例如,如果原始左视图图像和右视图图像采用720p格式,则应当执行步骤606处的采样率转换和步骤608处的合并,以创建1080p格式的合并的单个图像。因此,保持并发送针对合并图像信号的最高可能视频质量以供接收机(例如,接收设备504)使用。
在步骤610,然后使用视频压缩编码算法来编码合并的图像,以创建第一编码比特流。在一个实施例中,合并的图像可以根据H.264/MPEG-4部分10、AVC或一些类似的压缩算法来编码。在步骤612处,与步骤610中描述的相类似,使用视频压缩编码算法来编码来自步骤604的全分辨率左视图图像,以创建第二编码比特流。
接着,在步骤614,获取并处理关于第一比特流和第二比特流的信息,以形成节目信息的一个或多个片段(例如,比特、字节、分组)。同样,在步骤614,合并第一比特流和第二比特流以形成单个信号或比特流,并且将针对第一比特流和第二比特流的信息附加至单个比特流。在一个实施例中,附加该信息作为节目标识(PID)。针对单个比特流的输出信号也可以与来自其他比特流的PID相组合,以形成分离节目指南比特流。最后,在步骤616,传输包含单个比特流的输出信号。可以通过分发网络(例如,图1中所描述的分发网络106)传输输出信号作为传输信号。传输步骤616还可以包括传输信号所必要的附加信号处理,如上所述。输出信号可以包含其他比特流以及附加信息(例如,节目指南流)。应重点注意,节目指南信息可以附加至单个比特流,而不是作为分离比特流创建。
现在转向图7,示出了用于解码传统3D广播、传统2D广播和全分辨率3D广播的示例过程700的流程图。主要关于图5中描述的接收设备504但是类似地也可以关于图2中描述接收机202来描述过程700。过程700还可以用作接收设备(例如在图1中描述的接收设备108)的操作的一部分。在步骤702,从传输网络接收包含比特流中期望视频内容的信号以及其他内容。信号和内容可以通过网络服务供应商(例如,图1中描述的广播联盟管理站104)来提供,并且在可以在输入信号接收机(例如,接收机534)中接收到该信号和内容。包括比特流的内容也可以从存储设备(例如,存储设备537)或其他媒体设备(例如数字万能盘(DVD)或其他媒体)提供。
在步骤703,将接收到的输入信号分成多个比特流。分离步骤703包括标识各个单独比特流,例如,将第一比特流确定和标识为合并的半分辨率3D视频图像,并且将第二比特流标识为全分辨率2D图像作为左视图图像。分离步骤703还向适合的解码器提供来自期望比特流的标识的第一比特流和第二比特流中的每一个。基于步骤703中的确定和表示,在步骤704可以根据一个或多个视频压缩解码算法(例如,H.264/MPEG-4部分10、AVC或其他类似压缩解码过程)来解码第一比特流、半分辨率3D视频信号。半分辨率3D信号可以采用多种格式,包括分屏3D视频信号或棋盘视频信号。步骤704处的解码产生具有半分辨率左视图和右视图的合并图像。在步骤706处,对于第二比特流、2D全分辨率图像信号进行类似解码。步骤706处的解码可以使用与步骤704中描述的算法类似的视频压缩解码算法。
在步骤708,对半分辨率合并图像信号的右视图部分进行采样率转换,以产生全尺寸且全分辨率右视图图像信号。尽管右视图图像信号是全分辨率信号,但是应当理解,采样率转换会对全分辨率右视图图像引起图像伪像。在步骤710处,将步骤708中产生的解码并转换的全分辨率右视图图像与解码的全分辨率左视图图像合并成单个全分辨率3D输出信号。应重点注意,来自步骤710的单个全分辨率3D输出信号、来自步骤704的半分辨率3D输出信号、以及来自步骤706的全分辨率2D(左视图)输出信号是可用的,并且提供用于显示。
接着,在步骤712处,确定用于显示以上产生的输出信号之一的的显示设备类型。在一个实施例中,显示设备经由音频/视频接口(例如,音频/视频接口552)耦合至机顶盒504。步骤712处的确定可以通过显示设备标识过程自动执行,或者可以是用户选择的。在一个实施例中,如果使用2D显示设备,则选择全分辨率2D输出信号。如果使用3D显示设备,选择全分辨率3D分辨率输出信号或全分辨率3D输出信号中的任一个。用户可以通过用户接口选择进行对半分辨率或全分辨率3D输出信号的选择。在另一实施例中,如果可用则始终选择全分辨率3D输出信号,如步骤703所确定的。
基于步骤712中确定的显示类型,然后在步骤714,向显示设备提供选择的输出信号、2D全分辨率左视图图像信号、半分辨率3D左视图和右视图图像信号或全分辨率3D左视图和右视图图像信号中的任一个。
应重点注意,尽管描述了如对半分辨率3D左视图和右视图图像信号的系统500、过程600和过程700,但是也可以使用其他部分或者降低分辨率3D信号。例如,可以使用包括降低分辨率(并非一半)的左视图图像和降低分辨率(并非一半)的右视图图像,其中,左视图图像的分辨率与右视图图像的分辨率不同。
可以基于特定实现方式来修改和省略过程800中的特定步骤。例如,显示确定步骤712可以在解码步骤704和706之前执行。基于使用的显示设备类型,可以省略或放弃解码步骤中的一个或另一个。
已经描述了用于传统三维(3D)广播、传统2D广播和全分辨率3D广播的系统和方法。接收设备504对用于左眼视图的传统2D光以及传统3D分屏广播进行解码。通过缩放传统3D分屏广播的右半部来创建全分辨率右视图。这样,全分辨率3D可以不具备所需的新压缩技术。
如上所述,图2-7中的实施例涉及接收和处理用于3D广播的比特流,包括接收包括被合并成数据信号的两个不同比特流在内的数据信号。第一视频信号表示第一视频分辨率的二维图像,第二视频信号表示第二分辨率的三维图像。实施例还包括:在输出显示类型是二维显示类型的情况下解码第一视频信号,在输出显示类型是第一三维显示类型的情况下解码第二视频信号,以及在输出显示类型是第二三维显示类型的情况下同时解码第一视频信号和第二视频信号。
图2-7中的实施例还涉及处理接收到的信号以提供3D视频输出。实施例包括接收信号,信号包括对第一视频分辨率的二维图像加以表示的第一视频信号以及对第二分辨率的三维图像加以表示的第二视频信号;确定用于观看视频内容的显示设备的类型;如果显示设备的类型是三维显示设备,则解码第一视频信号,解码第二视频信号,以及向显示设备提供输出信号,输出信号包括第一解码视频信号和第二解码视频信号的一部分的组合。
在另一实施例中,提供接收设备中用于用户可调节视差映射的系统和方法。该系统和方法在接收设备中使用H.264编码器,以有助于产生接收和解码的立体图像对(即,右视图图像和左视图图像)的密集视差映射。两个图像在时间上连续地对准,并且通过编码器分发以产生诸如运动矢量等编码信息。生成的运动的信息用于产生能够用作用于控制的视差图,用户控制用于调节立体图像集合的图像深度。这样的系统在信号传输包括发生立体图像但是忽略深度图传输的情况下是有用的。
现在转向图8,示出了用于产生密集视差图的接收设备800的示例性实施例。应当认识到,除了如下所描述的,不对以上关于图2和5描述的那些元件类似的元件进行详细描述。例如,输入信号接收机834、输入流处理器836、存储设备837、解码器838和844以及采样率转换器856实质上如上所述执行,以向选择器850提供3D半分辨率输出842、2D全分辨率输出848以及3D全分辨率输出858。
接收设备800还包括耦合至选择器850的输出的编码器860。编码器860还耦合至存储器862。控制器854还耦合至编码器860以及存储器862。用户接口870耦合至控制器854。
在操作中,选择器850输出3D半分辨率信号842或3D全分辨率信号858,编码器860接收左视图图像和右视图图像的解码对,并且在编码图像缓冲器864(示为存储器862的一部分)中存储图像。编码器860将左视图图像设置为参考图像,也被称作瞬时解码刷新(IDR)帧。编码器860分配参考图像,以选择4像素乘4像素(4×4)运动块,并且使用P帧单向预测来产生针对右视图图像的每个4×4子块的运动矢量。应重点注意,对4像素乘4像素块的使用基于标准实践。然而,可以根据结果中对应的视差级别来使用其他块大小。针对每个4×4块的运动矢量用于编码编码图像缓冲器864中存储的右视图图像。由于编码过程的期望输出是运动矢量,而不是实际编码图像,运动矢量从编码图像信号中提取并且存储在运动矢量缓冲器866(也被称作存储器862的一部分)中。在创建运动矢量并将运动矢量存储在运动矢量缓冲器866中之后,在编码图像缓冲器864中存储信息。根据需要,编码器860单步调试图像信号的剩余部分,以编码下个图像对,直到处理所有图像对为止。
应当认识到,编码图像缓冲器864和运动缓冲器866可以驻留在单个共享存储设备862上,或者可以是分立的单独缓冲器。在图8所示的实施例中,包括单个共享存储设备862、仲裁器863。仲裁器863仲裁或管理、访问存储器862的共享存储元件。尽管图8仅示出了访问存储设备862的两个客户端(即,编码器860和控制器854),在多数实际系统中,存在全部尝试访问相同存储设备(例如,存储设备862)的多个独立客户端。在其他实施例中,可以通过类似于控制器854的控制器来控制或单独控制存储访问。仲裁器863的功能是证实每个客户端在指定优先级级别下进行访问,并且利用足够带宽和足够低等待时间来完成分配给每个功能单一的任务。
对运动矢量缓冲器866中存储的信号进行滤波,以去除任何产生运动矢量的任何垂直分量。滤波后的结果用作利用4像素成4像素图像区域的画面级别粒度对左视图画面与右视图画面之间的水平视差的指示。该表示为数值条目、或者一些其他可计量的视差指示符的滤波后结果存储在视差缓冲器868(同样如存储设备862的一部分所示)。应当认识到,尽管如编码器860所执行的说明和描述以上功能,还能够通过控制器854或固定功能硬件或者硬件和软件的组合来实现一个或多个功能。
还可以通过考虑水平相邻视差值之间的差值对视差缓冲器868中存储的水平视差值阵列进行进一步滤波(例如,空间滤波)。例如,对于4×4画面块B认为4×4画面块A紧邻其左侧,并且4×4画面块C紧邻其右侧。如果块A处左画面视图和右画面视图之间的视差是6,如果块B处左画面视图和右画面视图之间的视差是4,并且如果块C处左画面视图和右画面视图之间的视差是2,则将视差中的逐步偏移指示为取决于从图像对的左空间位置到图像对的有空间位置的前进。假定该偏移是平滑的,控制器854可以在4×4画面块B上进行插值,向最左像素分配4与6之间的视差,并且向最右像素分配4与2之间的视差。尽管该示例仅考虑,或合并和处理一个4×4区域到左和右,但是也可以采用沿着任一方向合并其他区域的其他滤波器。此外,以沿着垂直方向应用相同滤波器原理,以创建和处理具有像素级别粒度的视差图。
根据需要,编码器860或备选地控制器854产生遮挡图(occlusionmap)。水平或垂直相邻4×4块之间视差值的急剧变化提供在立体图像对中的近场对象与远场对象之间存在边缘的指示。在这些边缘上,典型的情况是,左眼能够看到从右眼的视场被阻挡的近场对象的一部分;并且同样地右眼能够看到对于左眼而言被阻挡的对象的一部分。左眼与右眼之间视场的视觉彼此排除区域创建能够检测到的遮挡,而同时处理视差矢量,并且向后续图像处理步骤发信号。在后续图像处理步骤中,有利地,对这些遮挡区域应用与应用于整个画面的处理相对的不同处理。同时,以上描述的像素级别视差图和遮挡图形成密集视差图。应当认识到,存在本领域已知的多种技术来根据像素级别视差图和遮挡图产生密集视差图。
立体视频信号的密集视差图揭示了立体图像对内每个像素对的收敛深度。当已知并识别出该信息时,接收设备800能够确定在画面中如何且在哪里存在图形覆盖,以免视频和图形之间令人不快的深度冲突。此外,可以使用密集视差图以便允许接收设备800通过对立体对的一个或两个画面应用视差和遮挡认识缩放算法来修改立体图像的感知3D深度。这使得接收设备800能够实现诸如用户控制的3D深度等特征。
使用视差和遮挡认识缩放算法的深度缩放允许容易地修改立体图像对中感知深度的范围。例如,可以将图像中的深度范围标识为图像呈现表面平面之后最远对象与图像呈现表面屏幕之前最远对象之间的感知距离。该深度范围表示视觉立体‘容量’。在一个实施例中,用户可以经由用户接口870利用简单的用户控制(例如,上/下控制)来控制该视觉立体‘容量’。控制可以用于增加或减小立体图像中感知的深度范围。用户接口870可以是任何已知的用户接口,包括但不限于,遥控设备、置于接收设备804上的多个按钮、通过接收设备804产生并且在显示设备上显示的用户偏好屏幕等。因此,通过在接收设备804中产生密集视差图,可以实现用户控制的深度缩放。
转向图9,示出了用于产生密集视差图的示例性过程900的流程图。可以在接收设备80中执行过程900的步骤。类似地,可以在其他接收机或机顶盒设备(例如,图2中描述的接收机204或图5中描述的接收设备504)中执行过程900的步骤。在步骤902,接收左视图和右视图图像的解码对作为信号的一部分。左视图和右视图图像的解码对可以通过选择器来提供,并且可以是半分辨率3D图像信号或全分辨率3D图像信号。此外,全分辨率3D图像信号可以包括半分辨率3D图像信号的采样率转换部分,如上所述。步骤902还可以包括将图像存储在存储器(例如,编码图像缓冲器864)中。
在步骤904,将左视图图像设置为参考图像或IDR。尽管可以将任一图像设置为参考图像,但是有利地,使用左视图图像,这是因为如上所述左视图图像是全分辨率图像,因此减少或消除了参考图像中图像伪像的存在。接着,在步骤906,选择运动块的尺寸和分配。如上所述,运动块尺寸可以是4×4像素,然而其他块尺寸也是可能的。在步骤908,使用参照左视图图像针对右视图图像的每个对应子块的P帧单向预测来产生运动矢量。接着,在步骤910,针对子块产生的运动矢量用于编码右视图图像。在步骤912,将来自步骤908和910的最终运动矢量集合尺寸在存储器(例如,运动矢量缓冲器866)中。在如以这种方式所述的过程900中,对左视图图像和右视图图像进行处理,就好像左视图图像和右视图图像在时间上存在而不是在空间上存在。换言之,尽管应在时间上同时观看到左图像和右图像,但是执行运动处理,就好像左视图图像和右视图图像在时间上连续出现。
在步骤914,丢弃或擦除存储编码图像的存储器(例如,编码图像缓冲器864)的内容,这是因为上述编码过程步骤的期望输出是运动矢量而不是实际编码的图像的运动矢量。自步骤914,过程900返回至步骤904,以编码任何剩余图像对或部分,直到编码所有图像对并处理运动矢量为止。
接着,在步骤916,通过对运动矢量集合进行滤波来产生粒度视差图并存储。粒度视差图是利用等于步骤96处选择的子块尺寸的画面级别粒度指示左视图图像和右视图图像之间的水平视差。在一个实施例中,对三个连续设置的运动子块的集合的运动矢量进行比较和量化,以确定相邻视差值。然后在步骤920处,通过考虑水平邻近视差值与进一步插值的垂直邻近视差值之间的差值,以类似于上述方式来对水平视差至阵列进行进一步滤波和插值,以确定像素级别视差图。
接着,在步骤922处产生遮挡图。如上所述,水平相邻块与垂直相邻块之间的视差值的任何变化可以指示立体图像对中近场对象与远程对象之间的边缘。在步骤922,可以使用在步骤912处存储的原始运动矢量或者在步骤916和/或920处产生的视差图来产生遮挡图。在后者中,可以通过对运动矢量进行滤波或插值以增强边缘存在的方式,来根据运动矢量产生遮挡图。最后,在步骤924,将步骤920处产生的像素级别视差图以及在步骤922处产生的遮挡图相结合来形成密集视差图。应认识到,存在本领域已知的多种技术来根据像素级别视差图和遮挡图产生密集视差图。如上所述,密集视差可以用于允许这样的特征作为3D图像中用户可调节的深度范围。
图8和9中描述的实施例涉及在接收设备中产生密集视差图。实施例包括接收包括期望比特流在内的信号。期望比特流还可以包括并且被分成一个或多个比特流,一个或多个比特流表示作为单个左眼图像或右眼图像的2D全分辨率图像信号,以及包含降低分辨率左眼图像和降低分辨率右眼图像的3D部分或降低(例如,一半)分辨率图像信号。对比特流进行解码,以便产生具有全分辨率或降低分辨率中任一分辨率下的左眼图像和右眼图像的信号。实施例还描述将左眼图像解码为参考图像,使用作为参考图像编码的左眼图像来对右眼图像进行预测编码,捕获右眼图像的编码期间产生的运动指示符,以及使用运动指示符产生左眼图像与右眼图像之间的密集视差图。
尽管这里详细示出并描述了结合本公开教导的实施例,但是本领域技术人员可以容易设想仍结合这些教导的许多其他变化的实施例。已经描述了用于编码和广播全分辨率2D视频、全分辨率3D视频和半分辨率3D视频的系统和方法的优选实施例(意在示意而非限制),但是注意,本领域技术人员可以根据以上教导进行修改和变型。因此应当理解,可以在根据权利要求概括的本公开范围内所公开的本公开具体实施例中进行改变。