CN102104788A - 一种用于视频处理的方法和系统 - Google Patents

Abstract

本发明涉及一种用于视频处理的方法和系统。视频处理设备可以根据三维输入视频流生成二维输出视频流，所述三维输入视频流包含多个视图序列。所述多个视图序列可以包括立体的左和右参考场或帧序列。初始时可以选择一个视图序列作为二维输出视频流的基础序列，且可以利用未选择的视图序列中的视频内容和/或信息优化所述二维输出视频流。优化所述二维输出视频流的过程中利用的视频内容和/或信息可以包括深度信息和/或前景和/或背景信息。所述二维输出视频流的优化可以包括利用二维输出视频流中图像的基于帧和/或场的插补来提高深度、对比度、清晰度和/或上转换速率。

Description

一种用于视频处理的方法和系统

技术领域

本发明涉及视频处理。更具体地说，本发明涉及一种用于根据三维视频输入优化二维视频显示的方法和系统。

背景技术

显示设备，例如电视机(TVs)，可以被用来输出或播放视听或多媒体流，上述视听或多媒体流可以包括电视播送、电视广播和/或来自一个或多个可用用户设备的本地音频/视频(A/V)材料(feeds)，这些用户设备可以是例如录像机(VCRs)和/或数字视频光盘(DVD)播放器。电视广播和/或视听的或多媒体的材料可以被直接输入电视机，或者可以通过一个或多个专用机顶盒间接传送，专用机顶盒可以提供任意需要的处理操作。用来向电视机输入数据的连接器的类型包括但不限于F-连接器、S-视频、混合和/或视频连接器、和/或最近的高清多媒体接口(HDMI)连接器。

电视广播通常由电视机前端在广播信道上通过RF载波或有线连接发送。电视机前端可以包括地面电视前端、有线电视(CATV)、卫星电视前端和/或宽带电视前端。地面电视前端可以利用例如一系列地面广播信道，这些信道在美国可以包括例如信道2至69。有线电视(CATV)广播可以利用更多数量的广播信道。电视广播包括视频和/或音频信息的发送，其中视频和/或音频信息可以通过多种可用调制方法中的一种编码进广播信道中。电视广播可以利用模拟和/或数字调制格式。在模拟电视系统中，图片和声音信息被编码成模拟信号并通过模拟信号发送，其中视频/音频信息可以通过广播信号传送，根据模拟电视编码标准对电视信号进行幅度和/或频率调制。模拟电视广播商可以，例如，利用NTSC、PAL和/或SECAM模拟编码制式来编码其信号，然后将这些信号调制到譬如VHF或UHF RF载波上。

在数字电视(DTV)系统中，电视广播可以由地面的、有线的和/或卫星前端利用一种可用数字调制方法通过离散的(数字的)信号通信，这些调制方法可以包括，例如，QAM、VSB、QPSK和/或OFDM。由于数字信号在传递同样的信息时需要使用的带宽通常小于模拟信号，因此在与模拟电视系统可用空间相同大小的空间中，DTV系统可以使广播商提供更多数字信道。另外，数字电视信号的使用可以使广播商提供高清电视(HDTV)广播和/或通过数字系统提供其它非电视相关的服务。可用数字电视系统包括，例如，基于ATSC、DVB、DMB-T/H和/或ISDN的系统。可以利用各种视频和/或音频编码和/或压缩算法将视频和/或音频信息编码成数字电视信号，上述视频和/或音频编码和/或压缩算法可以包括，例如，MPEG-1/2、MPEG-4AVC、MP3、AC-3、AAC和/或HE-AAC。

现在，大多数电视广播(以及类似的多媒体材料)利用允许视频图像以位流形式通信的视频格式标准。这些视频标准可以利用各种插补和/或速率转换功能在显示设备上展示包含静态和/或动态图像的内容。例如，可以利用解交错功能将动态和/或静态的图像转换为另一种格式，该格式适用于不支持处理交错内容的显示设备类型。电视广播以及类似的视频材料，可以是交错的或逐行的。交错的视频包括场，可以每隔一个时间间隔捕捉一个场。一个帧可以包括一对场，例如，顶场和底场。形成视频的图片可以包括多个按顺序排列的行。在一个时间间隔内，可以捕捉偶数行视频内容。在随后的一个时间间隔内，可以捕捉奇数行视频内容。偶数行可以被统一称作顶场，同时奇数行可以被统一称作底场。可选地，奇数行可以被统一称作顶场，同时偶数行可以被统一称作底场。对于逐行的视频帧，可以在一个时间间隔内按序列捕捉或播放该帧的所有行。交错的视频可以包括由逐行帧转换而来的场。例如，可以通过将偶数行组织成一个场并将奇数行组织成另一个场而将逐行帧转换为两个交错的场。

比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本领域的普通技术人员来说是显而易见的。

发明内容

本发明提供了一种用于根据三维视频输入优化二维视频显示的方法和/或系统，结合至少一幅附图进行了详细描述，并在权利要求中得到了更完整的阐述。

根据本发明的一个方面，一种用于视频处理的方法，包括：

由视频处理系统中的一个或多个处理器和/或电路执行：

从压缩的三维输入视频流中提取多个视图序列(view sequences)；以及

根据所述多个提取的视图序列生成二维输出视频流，其中所述二维输出视频流的视频数据是利用视图信息生成的，所述视图信息来自所述多个提取的视图序列中的至少一个。

优选地，所述多个提取的视图序列包括立体的左和右参考场或帧的序列。

优选地，所述二维输出视频流的视频数据生成过程中利用的所述视图信息包括深度信息和/或前景和/或背景信息。

优选地，所述方法进一步包括从所述多个提取的视图序列中选择一个作为所述生成的二维输出视频流的基础序列。

优选地，所述方法进一步包括根据所述多个提取的视图序列中的一个或多个未选择的序列来调整(modifying)所述生成的二维输出视频流的基础序列。

优选地，所述调整优化了(enhance)所述二维输出视频流中图像的深度、对比度和/或清晰度(sharpness)。

优选地，所述方法进一步包括利用帧或场插补(interpolation)对所述二维输出视频流执行帧上转换(upconversion)操作。

优选地，所述方法进一步包括根据所述多个提取的视图序列中的至少一个调整所述插补。

优选地，所述方法进一步包括本地执行对应于所述二维输出视频流的图形处理。

优选地，所述方法进一步包括根据所述二维输出视频流中每一图像的至少一个焦点执行所述本地图形处理。

根据本发明的一个方面，一种用于视频处理的系统，包括：

用于从压缩的三维输入视频流中提取多个视图序列的一个或多个电路和/或处理器；以及

所述一个或多个电路和/或处理器用于根据所述多个提取的视图序列生成二维输出视频流，其中所述二维输出视频流的视频数据是利用视图信息生成的，所述视图信息来自所述多个提取的视图序列中的至少一个。

优选地，所述多个提取的视图序列包括立体的左和右参考场或帧的序列。

优选地，所述二维输出视频流的视频数据生成过程中利用的所述视图信息包括深度信息和/或前景和/或背景信息。

优选地，所述一个或多个电路和/或处理器用于从所述多个提取的视图序列中选择一个作为所述生成的二维输出视频流的基础序列。

优选地，所述一个或多个电路和/或处理器用于根据所述多个提取的视图序列中的一个或多个未选择的序列来调整所述生成的二维输出视频流的基础序列。

优选地，所述调整优化了所述二维输出视频流中图像的深度、对比度和/或清晰度。

优选地，所述一个或多个电路和/或处理器用于利用帧或场插补对所述二维输出视频流执行帧上转换操作。

优选地，所述一个或多个电路和/或处理器用于根据所述多个提取的视图序列中的至少一个调整所述插补。

优选地，所述一个或多个电路和/或处理器用于本地执行对应于所述二维输出视频流的图形处理。

优选地，所述一个或多个电路和/或处理器用于根据所述二维输出视频流中每一图像的至少一个焦点执行所述本地图形处理。

本发明的各种优点、各个方面和创新特征，以及其中所示例的实施例的细节，将在以下的说明书和附图中进行详细介绍。

附图说明

图1是根据本发明一个实施例的用于播放各种电视广播和/或从本地设备接收的媒体材料的视频系统的框图；

图2A是根据本发明一个实施例的用于提供三维视频通信的视频系统的框图，三维视频可以用来生成用于二维显示设备的优化的二维视频输出；

图2B是根据本发明一个实施例的用于生成传输流的视频处理系统的框图，该传输流包含三维编码的视频；

图2C是根据本发明一个实施例的用于根据三维视频输入生成优化的二维视频以便通过二维显示器播放的视频处理系统的框图；

图3是根据本发明一个实施例的用于根据三维视频输入生成优化的二维视频输出的示范性步骤的流程图。

具体实施方式

本发明的一些实施例提供了一种用于根据三维视频输入优化二维视频显示的方法和系统。在本发明的各种实施例中，一种视频处理设备可以被用来从压缩的三维(3D)输入视频流中提取多个视图序列，并可以根据多个提取的视图序列生成相应的二维(2D)输出视频流。多个视图序列可以包括立体的左和右参考场或帧序列。二维输出视频流的视频数据是利用视频内容和/或信息生成的，这些视频内容和/或信息来自多个提取的视图序列中的至少一个。一个视图序列，例如左视图序列，可以被选作二维输出视频流的基础序列，然后，可以利用未选择的视图序列中的视频内容和/或信息优化二维输出视频流。优化二维输出视频流的过程中利用的视频内容和/或信息可以包括深度信息和/或前景和/或背景信息。二维输出视频流的优化可以包括改善二维输出视频流中图像的深度、对比度和/或清晰度，和/或清除可视人工痕迹。当显示器的帧速率高于接收的三维输入视频流的帧速率时，视频处理设备可以对二维输出视频流执行帧上转换操作，例如利用帧或场插补。然后，可以利用在初始时未被选作二维输出视频流的基础序列的多个提取的视图序列的至少一个中的帧和/或场中的视频内容和/或信息调整上述帧和/或场插补，以优化二维输出视频流的质量。视频处理设备还可以用来本地执行相应于二维输出视频流的图形处理。可以根据，例如，二维输出视频流中每个图像内的一个或更多焦点来执行本地图形处理。

图1是根据本发明一个实施例的用于播放各种电视广播和/或从本地设备接收的媒体材料(feeds)的视频系统的框图。参考图1，示出了媒体系统100，媒体系统100可以包括显示设备102、地面电视前端104、电视塔106、电视天线108、有线电视(CATV)前端110、有线电视(CATV)分发网络112、卫星电视前端114、卫星电视接收器116、宽带电视前端118、宽带网络120、机顶盒122以及视音(AV)播放设备124。

显示设备102可以包括合适的逻辑、电路、接口和/或代码，用于播放包含视音(AV)数据的多媒体流。显示设备102可以包括，例如，电视机、显示器和/或其它显示和/或音频播放设备，和/或用于播放视频流和/或相应音频数据的部件，上述视频流和/或相应音频数据由显示设备102直接接收和/或通过中间设备(例如机顶盒122)间接接收，和/或从本地媒体记录/播放设备和/或存储资源譬如AV播放设备124接收。

地面电视前端104可以包括合适的逻辑、电路、接口和/或代码，用于通过一个或更多电视塔106在空气中广播电视信号。地面电视前端104可以广播模拟和/或数字编码的地面电视信号。电视天线108可以包括合适的逻辑、电路、接口和/或代码，用于接收由地面电视前端104通过电视塔106发送的电视信号。CATV前端110可以包括合适的逻辑、电路、接口和/或代码，用于进行有线电视信号的通信。CATV前端110可以用于广播模拟和/或数字格式的有线电视信号。CATV分发网络112可以包括合适的分发系统，以便从CATV前端110到多个的有线电视接收器譬如显示设备102的通信可以转发。例如，CATV分发网络112可以包括光纤和/或同轴电缆网络，以便在至少一个实例中连接CATV前端110和显示设备102。

卫星电视前端114可以包括合适的逻辑、电路、接口和/或代码，用于卫星电视信号到陆地接收器譬如显示设备102的下行通信。卫星电视前端114可以包括，例如，卫星电视系统中的多个轨道卫星节点之一。卫星电视接收器116可以包括合适的逻辑、电路、接口和/或代码，用于接收由卫星电视前端114发送的下行卫星电视信号。例如，卫星接收器116可以包括专用抛物型天线，该天线用于接收来自卫星电视前端的卫星电视信号并将接收的卫星信号反射和/或汇集到焦点上，其中可以使用一个或多个低噪声放大器(LNAs)将接收的信号下变频转换为相应的中频，并可以进一步处理，以通过譬如机顶盒122可以从中提取音频/视频数据。另外，由于大多数卫星电视下行材料(feeds)在安全方面进行了编码和/或加扰处理，因此卫星电视接收器116还可以包括合适的逻辑、电路、接口和/或代码，用于对接收的卫星电视材料进行解码、解扰和/或解密处理。

宽带电视前端118可以包括合适的逻辑、电路、接口和/或代码，用于通过宽带网络120进行多媒体/电视广播。宽带网络120可以包括内部连接的网络系统，用于根据一个或多个网络标准在多个节点间交换信息和/或数据，网络标准可以包括，例如TCP/IP。宽带网络120可以包括多个支持宽带的子网络，这些子网络可以包括，例如，卫星网络、电缆网络、DVB网络、因特网和/或类似的局域或广域网，它们共同作用以便向多个终端用户传递包含多媒体内容的数据。根据铜线和/或光纤有线连接、无线接口和/或基于其它标准的接口，可以提供通过宽带网络120的连接。宽带电视前端118和宽带网络120可以对应于，例如，因特网协议电视(IPTV)系统。

机顶盒122可以包括合适的逻辑、电路、接口和/或代码，用于处理由显示设备102外部的一个或多个电视前端发送的电视和/或多媒体流/信号。AV播放设备124可以包括合适的逻辑、电路、接口和/或代码，用于给显示设备102提供视频/音频材料。例如，AV播放设备124可以包括数字视频光盘(DVD)播放器、蓝光(Blu-ray)播放器、数字视频录影机(DVR)、视频游戏机、监测系统和/或个人计算机(PC)捕捉/播放卡。尽管机顶盒122和AV播放设备124以独立的实体示出，但是，至少一部分通过机顶盒122和/或AV播放设备124执行的功能可以直接集成在显示设备102中。

在工作过程中，显示设备102可以用来播放从可用广播前端之一和/或从一个或多个本地资源接收的媒体流。显示设备102可以通过譬如电视天线108从地面电视前端104接收通过空中传播的由电视塔106发射的电视广播。显示设备102还可以接收有线电视广播，该广播由CATV前端110通过CATV分发网络112进行传送；卫星电视广播，该广播由卫星前端114传送并通过卫星接收器116接收；和/或因特网媒体广播，该广播由宽带电视前端118通过宽带网络120进行传送。

电视前端可以在电视广播中使用各种编码方法。传统上，电视广播使用了模拟调制格式方法，包括，例如，NTSC、PAL和/或SECAM。音频编码可以包括使用单独的调制方法，包括，例如，BTSC、NICAM、单声道FM和/或AM。然而，最近已经向基于数字电视(DTV)的广播稳步推进，其中可以在电视广播中使用数字调制格式方法以便发送和/或接收作为离散信号的视频和/或音频流，数字调制格式方法包括，例如QAM、VSB或OFDM。例如，地面电视前端104可以使用基于ATSC和/或DVB的标准以便于DTV地面广播。类似地，CATV前端110和/或卫星前端114也可以使用合适的编码标准以便于基于有线和/或卫星的广播。

显示设备102可以用于直接处理多媒体/电视广播以便播放相应的视频和/或音频数据。可选地，可以利用外部设备譬如机顶盒122来执行处理操作和/或功能，该外部设备可以用于从接收的媒体流中提取视频和/或音频数据，然后，可以通过显示设备102播放提取的音频/视频数据。

在本发明的一个方面，媒体系统100可以支持三维(3D)视频。可以使用各种方法捕捉及生成(在播放时间)三维视频。例如，可以通过呈现多个视图来生成立体的三维视频；通常是对应于观众的左眼和右眼的左视图和右视图。因此，可以捕捉和/或处理左视图视频及右视图视频以便制造三维效果。然后，可以通过分别组合左视图视频部分及右视图视频部分来产生三维视频帧。就这一点而言，一个或更多电视前端可以用于与显示设备102进行三维视频内容的通信。AV播放设备124还可以用于播放以前录制的和/或生成的三维视频内容，这些视频内容来自可以通过譬如AV播放设备124读取的媒体存储部件。然后，通过对譬如左视图视频部分及右视图视频部分分别进行处理和/或组合，显示设备102可以生成三维视频。

但是，在一些实例中，显示设备102仅可用于显示二维视频。因此，显示设备102可以用于根据三维视频输入生成二维视频输出。另外，显示设备102可以用于根据三维视频输入来优化生成的二维视频输出，利用譬如在三维显示情况下用来生成三维视频帧和/或场的内容和/或信息。例如，当仅仅根据左视图视频内容生成二维视频输出时，可以利用右视图内容来优化相应二维视频帧和/或场的深度、对比度和/或清晰度。

图2A是根据本发明一个实施例的用于提供三维视频通信的视频系统的框图，三维视频可以用来生成用于二维显示设备的优化的二维视频输出。参考图2A，示出了三维视频发送单元(3D-VTU)202、通信网络204以及视频接收单元(3D-VRU)206。

3D-VTU 202可以包括合适的逻辑、电路、接口和/或代码，用于生成包含编码的视频内容的传输流，该传输流可以通过通信网络204传送譬如给3D-VRU 206。3D-VTU 202可以用于编码譬如相应于电视广播的三维视频内容和二维视频内容。就这一点而言，3D-VTU 202可以对应于譬如图1所示的地面前端104、CATV前端110、卫星前端114和/或宽带前端118。当编码三维视频时，3D-VTU 202可以用于将三维视频编码成，例如左视图视频流和右视图视频流，其中左视图视频流和右视图视频流可以在不同信道发送给3D-VRU206。通过3D-VTU 202发送的传输流可以包括除了原始视频内容以外的附加视频内容。附加视频内容可以包括新闻更新和/或广告信息。就这一点而言，3D-VTU 202可以用于通过譬如拼接技术将目标广告信息嵌入娱乐节目譬如三维电视节目的内容中。3D-VTU 202可以用于生成目标广告信息的广告流。可以将生成的广告流与三维电视节目的编码的三维视频流复用以形成用于发送的传输流。广告流可以是三维或二维广告流。

通信网络204可以包括合适的逻辑、电路、接口和/或代码，用于在3D-VTU202与3D-VRU 206间进行通信，以便于传送包含三维视频内容的传输流。通信网络204可以是有线或无线通信网络。通信网络204可以对应于譬如图1所示的CATV分发网络112和/或宽带网络122。

3D-VRU 206可以包括合适的逻辑、电路、接口和/或代码，用于接收并处理包含视频内容的传输流，该传输流可以通过譬如3D-VTU 202在通信网络204上传送。3D-VRU 206的功能可以对应于譬如图1所示的显示设备102和/或机顶盒122。接收的传输流可以包括编码的三维视频内容，该三维视频内容可以对应于譬如包含在三维电视广播中的娱乐节目。接收的传输流还可以包括附加的视频内容，例如，商业广告流。3D-VRU 206可以用于处理接收的传输流以分离和/或提取传输流中的各种视频内容，并用于解码和/或处理提取的视频流和/或内容以便于显示操作。

在工作过程中，3D-VTU 202可以用于生成包含三维视频内容的传输流，该三维视频内容对应于譬如包含在三维电视节目中的娱乐节目。3D-VTU 202可以将三维视频内容编码成左视图视频流和右视图视频流。包含譬如广告信息的附加视频内容可以与三维电视节目的编码的三维视频内容一起嵌入传输流中以便发送。可以通过通信网络204将传输流传送给3D-VRU 206。3D-VRU206可以用于接收并处理传输流以便于通过显示设备播放包含在传输流中的视频内容。就这一点而言，3D-VRU 206可以用于，例如，将接收的传输流解复用为三维电视节目的编码的三维视频流和附加视频流。3D-VRU 206可以用于解码三维电视节目的编码的三维视频流以便显示。可以根据譬如用户资料和/或设备配置从编码的三维视频流中提取广告流。根据设备配置和/或用户选择，可以在三维电视节目中呈现提取的广告流或将提取的广告流移出以便单独显示。3D-VRU 206还可以用于本地处理对应于显示的视频内容的图形以产生相应的目标图形对象。可以根据譬如相关三维场景图中的时间信息来放置目标图形对象。3D-VRU 206可以用于根据视图的焦点将目标图形对象拼接入解码的三维视频中。

在本发明的一个方面，3D-VRU 206可以用于根据三维输入视频生成优化的二维视频。当使用具有三维功能的显示设备时，得到的混合三维视频可以通过显示设备作为三维视频播放。但是，在一些实例中，使用的是仅具有二维功能的显示设备。因此，得到的混合三维视频可以通过譬如3D-VRU 206转换为二维视频以便显示。通过3D-VRU 206生成的二维视频的质量可以根据譬如从接收的传输流中提取的三维视频数据和/或内容进行优化。就这一点而言，3D-VRU 206可以用于根据从3D-VTU 202接收的三维视频输入生成二维视频输出。二维视频输出可以对应于，例如三维视频输入的左视图视频部分。但是，可以利用从三维视频输入的其它部分中提取的数据和/或信息对生成的二维视频输出进行优化。例如，在处理三维视频输入时由3D-VRU 206确定的深度信息，可以被用来改善生成的二维视频输出中的对比度和/或视觉深度。深度信息可以从例如对应于每一个视频帧的深度地图(depth map)中提取，深度地图可以根据对应于视频帧的左视图和右视图视频部分生成。另外，处理接收的三维视频输入可以确定每个三维视频帧中的前景和/或背景区域。因此，可以利用前景和/或背景信息来改善例如相应输出二维视频帧中的清晰度，该过程可以通过根据区域的前景和/或背景类别改变生成的二维输出帧中不同区域的可选清晰度标准和/或参数来实现。前景和/或背景信息还可以用来补偿和/或减小其它视觉效果，例如，帧速率上转换时引入的光圈效应，场景中的对象的移动区域的周围，在同一场景中的其它对象移动时将被阻挡。因此，由于右视图可以提供，例如关于背景对象的更佳的信息，可以在帧插补时使用这些信息以避免由于对象在当前帧的背景中而在下一帧移动至前景中而导致的模糊。

当二维视频输出的生成过程中必须进行帧上转换时，还可以使用三维视频内容信息来优化帧速率上转换操作。例如，由于捕捉视频内容时的帧速率小于显示时使用的刷新速率，在播放捕捉的视频内容时，附加帧的生成是必需的。可以以譬如每秒24或48帧(fps)的速率捕捉视频内容。但是，大多数显示器使用更高的刷新速率，例如60、120或240Hz。因此，显示三维视频时，根据譬如解压的左和右参考场或帧，可以通过插补来创建新的左和/或右场或帧。因此，当二维视频输出是根据三维视频输入生成的时，对二维视频输出执行的帧上转换可以利用未被用来生成二维视频输出的那部分三维内容进行优化。例如，当仅根据左视图视频内容生成二维视频输出时，可以使用右视图视频内容优化插补的新左场或帧的质量，上述插补的新左场或帧用于二维视频输出中。

二维输出视频被生成、上转换和/或优化后，可以在二维输出视频中嵌入图形以确保对二维视频输出流执行优化和/或调整时图形不会失真。3D-VRU206可以用于，例如，将图形对象拼接入优化的二维输出视频流中。可以根据视图的焦点来实现将图形对象拼接入优化的二维输出视频流的过程，视图的焦点可以根据，例如深度和/或前景和/或背景信息来确定。

图2B是根据本发明一个实施例的用于生成传输流的视频处理系统的框图，该传输流包含三维编码的视频。参考图2B，示出了视频处理系统220、三维视频源222、基础视图编码器224、优化视图编码器226和传输复用器228。

视频处理系统220可以包括合适的逻辑、电路、接口和/或代码，用于捕捉并处理三维视频数据，并用于生成包含三维视频的传输流。视频处理系统220可以包括，例如三维视频源222、基础视图编码器224、优化视图编码器226和/或传输复用器228。例如，视频处理系统220可以集成到3D-VTU 202中以便于三维视频和/或包含三维视频的传输流的生成。

三维视频源222可以包括合适的逻辑、电路、接口和/或代码，用于捕捉源三维视频内容。三维视频源222可以用于根据捕捉的源三维视频内容生成左视图视频和右视图视频以便于三维视频显示/播放。可以将左视图视频和右视图视频分别传送给譬如基础视图编码器224和优化视图编码器226以便进行视频压缩。

基础视图编码器224可以包括合适的逻辑、电路、接口和/或代码，用于譬如以帧为基础编码来自三维视频源222的左视图视频。基础视图编码器224可以用于利用各种视频编码和/或压缩算法以形成左视图视频的压缩的和/或编码的视频内容，该左视图视频来自三维视频源222，且上述各种视频编码和/或压缩算法具体包括例如MPEG-2、MPEG-4、AVC、VC1、VP6和/或其它视频格式。另外，基础视图编码器224可以用于向优化视图编码器226传送用于优化视图编码的信息，例如基础视图编码中的场景信息。

优化视图编码器226可以包括合适的逻辑、电路、接口和/或代码，用于譬如以帧为基础编码来自三维视频源222的右视图视频。优化视图编码器226可以用于利用各种视频编码和/或压缩算法以形成右视图视频的压缩的和/或编码的视频内容，该右视图视频来自三维视频源222，且上述各种视频编码和/或压缩算法具体包括例如MPEG-2、MPEG-4、AVC、VC1、VP6和/或其它视频格式。尽管图2B中只示出了一个优化视图编码器226，但本发明并不受限于此。因此，可以使用任意数量的优化视图编码器来处理三维视频源222生成的左视图视频和右视图视频，而不脱离本发明的精神和范围。

传输复用器228可以包括合适的逻辑、电路、接口和/或代码，用于将多个视频流合并为一个混合的视频流，即传输流(TS)，以便发送。TS可以包括基础视图流、优化视图流和多个附加视频流，附加视频流可以包括，例如广告流。附加流可以直接在视频处理系统220中捕捉或可选地从专用源接收。例如，广告源可以通过多个广告流提供可用广告视频内容，这些广告流随后将被拼接入TS中。就这一点而言，可以将多个广告流嵌入基础视频流和/或优化视频流的任意间隔中，基础视频流和/或优化视频流分别来自基础视图编码器224和优化视图编码器216。

在工作过程中，三维视频源222可以用于捕捉源三维视频内容以产生左视图视频和右视图视频以便进行视频压缩。可以通过基础视图编码器224对左视图视频进行编码以产生基础视图流。可以通过优化视图编码器226对右视图视频进行编码以产生优化视图流。基础视图编码器224可以用于向优化视图编码器226提供例如场景信息，用于优化视图编码。另外，可以通过传输复用器228将一个或多个附加视频流与基础视图流和/或优化视图流复合以形成传输流(TS)。然后，可以将得到的传输流(TS)传送给，例如3D-VRU 206，具体可参考图2A的描述。

在本发明的一个方面，复合进传输流(TS)中的三维视频内容中编码的一些内容可以被接收设备3D-VRU 206用来生成优化的二维输出视频。例如，当TS中的三维视频内容可以包括立体的左视图和右视图视频数据时，可以根据左视图视频内容生成二维显示视频输出，该输出可以通过基础视图编码器224进行编码。然后，可以利用三维视频流中的其它视频数据优化生成的二维视频输出，其它视频数据包括，例如通过优化视图编码器226编码的右视图视频内容。

图2C是根据本发明一个实施例的用于根据三维视频输入生成优化的二维视频以便通过二维显示器播放的视频处理系统的框图。参考图2C，示出了视频处理系统240、主处理器242、MPEG解码器244、存储及播放模块246、系统存储器248、帧速率上转换(FRUC)模块250、视频处理器252、图形处理器254以及显示器256。

视频处理系统240可以包括合适的逻辑、电路、接口和/或代码，用于接收并处理压缩格式的三维视频数据，并用于提供重建的输出视频以便显示。视频处理系统240可以包括，例如主处理器242、MPEG解码器244、存储及播放模块246、系统存储器248、FRUC模块250、视频处理器252和/或图形处理器254。例如，视频处理系统240可以集成到3D-VRU 206中以便于包含三维视频内容的传输流的接收和/或处理，该传输流由3D-VTU 202发送。视频处理系统240可以用于控制交错的视频场和/或逐行的视频帧。就这一点而言，视频处理系统240可以用于解压和/或上转换交错的视频和/或逐行的视频。视频场，例如交错的场和/或逐行的视频帧可以称作场、视频场、帧或视频帧。在本发明的一个方面，视频处理系统240可以用于根据三维输入视频生成优化的二维视频输出。

主处理器242可以包括合适的逻辑、电路、接口和/或代码，用于处理数据和/或控制视频处理系统240的运行。就这一点而言，主处理器242可以用于给视频处理系统240的各种其它部分、组件和/或子系统提供控制信号。主处理器242还可以控制视频处理系统240的各个部分间的数据传输。主处理器242可以执行应用程序和/或代码。就这一点而言，应用、程序和/或代码可以实现，例如解压、运动补偿操作、插补或其它对三维视频数据的处理。进一步地，应用、程序和/或代码可以实现，例如配置或控制MPEG解码器和/或FRUC模块250的运行。

MPEG解码器244可以包括合适的逻辑、电路、接口和/或代码，用于解复用或解析接收的传输流以便从接收的传输流中提取所需流，还用于解压通过接收的传输流携带的三维视频数据，和/或可以执行附加安全操作譬如数字版权管理。就这一点而言，三维视频数据可以作为左和/或右视图立体的视频帧接收。可以根据譬如MPEG-2传输流(TS)协议或MPEG-2程序流(PS)载体格式来接收视频数据。在本发明的各种实施例中，可以在单独的流或单独的文件中接收左视图数据和右视图数据。在该实施例中，MPEG解码器244可以根据，例如MPEG-2MVP、H.264和/或MPEG-4优化视频编码(AVC)或MPEG-4多视图视频编码(MVC)来解压接收的单独的左和右视图视频数据。在本发明的另一个实施例中，可以将立体的左和右视图混合成一个帧序列。例如，基于左右格式的(side by side)、基于上下格式的(top-bottom)和/或基于棋盘格式(checkerboard lattice)的三维编码器可以将来自三维流(包含左视图数据和右视图数据)的帧转换为一个压缩的帧并可以使用MPEG-2、H.264、AVC和/或其它编码技术。在该实施例中，MPEG解码器244可以根据譬如MPEG-4AVC和/或MPEG-2主文件(MP)解压视频数据。MPEG解码器244可以再生一个压缩帧并可以利用合适的解码器对它进行处理，上述合适的解码器可以是，例如对应于基于左右格式的、基于上下格式的和/或基于棋盘格式的三维编码器的解码器。就这一点而言，可以根据压缩三维内容时使用的相应编码方法来选择解码器。

存储及播放模块246可以包括合适的逻辑、电路、接口和/或代码，用于在三维视频数据被从一个处理过程和/或组件转移到另一个时缓存三维视频数据，例如左和/或右视图。就这一点而言，存储及播放模块246可以从MPEG解码器244接收数据，并可以传送数据给FRUC模块250、视频处理器252和/或图形处理器254。另外，存储及播放模块246可以缓存解压的参考帧和/或场，例如在FRUC模块250进行帧插补时和/或在视频处理系统240中对生成的二维输出视频流进行优化时。存储及播放模块246可以与譬如主处理器242交换控制信号和/或可以在系统存储器248中写入数据以便长期储存。

系统存储器248可以包括合适的逻辑、电路、接口和/或代码，用于存储包含参数和/或代码的信息，上述参数和/或代码可以影响视频处理系统240的运行。参数可以包括配置数据且代码可以包括操作码譬如软件和/或固件，但上述信息并不受限于此。另外，系统存储器248可以用于存储三维视频数据，例如，上述数据包括左和右视图的立体图像数据。

FRUC模块250可以包括合适的逻辑、电路、接口和/或代码，用于以某一速率譬如24或48 fps接收立体的视频帧，并以一更高速率譬如60、120和/或240Hz输出这些帧。就这一点而言，FRUC模块250可以插补一个或多个帧，这些帧可以嵌入接收的帧中以增加每秒帧的数量。FRUC模块250可以用于执行运动估算和/或运动补偿以便插补这些帧。FRUC模块250可以用于控制立体的左和右视图。在本发明的各种实施例中，当只有立体视图譬如左视图被用来生成二维视频输出流时，FRUC模块250可以用于利用未使用视图的帧或场来优化插补操作。例如，右视图帧可以包括一个区域的场景信息，该区域可以被相应左视图帧中的移动对象覆盖。因此，当移动对象下的区域未被覆盖时，右场中特定的场景信息可以用来在一个或多个左视图帧中插补像素。

视频处理器252可以包括合适的逻辑、电路、接口和/或代码，用于在视频处理系统240中执行视频处理以便于生成输出视频流，该输出视频流可通过显示器256播放。在本发明的各种实施例中，视频处理器254可以用于根据三维视频输入流生成二维视频输出。视频处理器252还可以用于根据譬如三维视频输入流的视频数据优化生成的二维视频输出流。就这一点而言，当三维输入流包含立体视频时，视频处理器252可以根据左视图视频流生成二维视频输出流。生成的二维视频的优化可以利用这些视频数据譬如深度和/或前景和/或背景信息来实现，具体可以参考譬如图2A的描述。

图形处理器254可以包括合适的逻辑、电路、接口和/或代码，用于在视频处理系统240中根据譬如视图的焦点本地执行图形处理。图形处理器254可以用于生成图形对象，这些图形对象可以复合到输出视频流中。这些图形对象可以根据譬如视图的焦点和/或服务娱乐节目的上一视图生成。当通过视频处理系统240生成二维视频输出时，生成的图形对象可以包括二维图形对象。通过图形处理器254对图形对象进行的拼接可以在视频处理器252和/或FRUC模块250生成、优化且上转换二维视频输出流后执行。

显示器256可以包括合适的逻辑、电路、接口和/或代码，用于接收根据FRUC模块250处理后的视频数据重建的场和/或帧，并可以显示相应的图像。显示器256可以是一个单独的设备，或者显示器256和视频处理系统240可以作为一个整体设备实施。显示器256可以用于执行三维或二维视频显示。就这一点而言，二维显示器可以用于显示利用三维技术生成的和/或处理的视频。

在工作过程中，MPEG解码器244可以用于接收包含立体视频数据的譬如双视图压缩格式的传输流，并用于解码和/或解压该视频数据。例如，左和右立体视图可以压缩在单独的序列中或可以组合在一个帧序列中，这些帧可以是并左右格式、上下格式和/或棋盘格式。主处理器242可以生成控制信号以便处理并传送数据给视频处理系统240中的各种模块。MPEG解码器244可以用于解压接收的立体视频数据并可以将解压的数据缓存在存储及播放模块246中。然后，可以由FRUC模块250和/或视频处理器252读取解压的视频数据以根据接收的三维视频输入流生成优化的二维视频输出流。就这一点而言，视频处理器252可以利用譬如左视图流生成二维视频输出流，并可以利用其它视频数据，包括譬如右视图流，优化生成的二维视频输出流，具体可以参考譬如图2A的描述。FRUC模块250可以用于执行一个或多个帧的动作补偿和/或像素数据插补以提供帧速率上转换。图形处理器254可以用于提供本地图形处理以便例如将图形拼接到生成的及优化的二维视频输出流中，然后，可以通过显示器256播放最终的二维视频输出流。

图3是根据本发明一个实施例的用于根据三维视频输入生成优化的二维视频输出的示范性步骤的流程图。参考图3，示出了包含多个示范性步骤的流程图300，执行这些步骤可以根据接收的三维输入视频生成优化的二维输出视频。

在步骤302，可以接收并处理三维输入视频流。例如，视频处理系统240可以用于接收并处理包含三维立体视频数据的传输流。就这一点而言，视频数据可以包括左视图和右视图。在步骤304，可以根据三维输入视频流生成二维输出视频流。例如，当三维视频输入流包含左视图和右视图时，可以根据一种视图譬如左视图生成二维视频输出流。在步骤306，可以根据譬如三维视频输入流优化生成的二维输出视频流。例如，当二维视频输出流是根据左视图流生成的时，可以根据对应的左视图流和右视图流的视频数据优化生成的二维视频输出流，以便提高它的质量和/或减少视觉上的人工痕迹。可以根据譬如深度和/或前景和/或背景信息执行上述优化，这些信息可以根据三维视频数据确定，具体可以参考图2A的描述。

在步骤308，可以对二维输出视频流的帧速率进行上转换以便通过显示设备播放，这些显示设备的帧刷新速率大于帧捕捉速率。例如，多数视频内容是以24或48fps的速率捕捉的，而多数显示设备使用60、120或甚至240Hz的刷新率。因此，可以对视频流帧速率进行上转换以提高播放时的视频质量。可以使用各种方法包括帧插补方法来上转换帧速率。对于帧插补方法，可以生成一个或多个新帧基于且嵌入每两个持续的原始帧之间。当二维视频输出流是根据三维视频输入流生成的时，可以利用其它视频内容优化帧速率的上转换操作，上述其它视频内容可以是未被用来生成二维视频输出流的视频内容。例如，当二维视频输出流是根据三维立体输入视频的左视图流生成的时，可以利用未使用的右视图帧和/或场来生成和/或优化插补的帧和/或场。在步骤310，通过二维显示设备播放二维视频输出流。

本发明的各种实施例可以包括一种根据三维视频输入优化二维视频显示的方法和系统。视频处理系统240可以用于接收及处理三维(3D)输入视频流以提取譬如集成在接收的三维输入视频流中的视图序列，然后，当显示器256只具有二维播放功能时，可以生成相应的二维(2D)输出视频流。多个视图序列可以包括立体的左和右参考场或帧的序列。二维输出视频流可以通过譬如视频处理器252根据所述多个提取的视图序列生成。视频处理器252可以利用来自至少一个提取的视图序列中的视频内容和/或信息生成二维输出视频流的视频数据。就这一点而言，视频处理器252可以选择一个视图序列譬如左视图序列作为二维输出视频流的基础序列。然后，视频处理器252可以利用来自未选择的视图序列中的视频内容和/或信息优化二维输出视频流。二维输出视频流的优化过程中使用的视频内容和/或信息可以包括深度信息和/或前景和/或背景信息。二维输出视频流的优化可以包括改善二维输出视频流中图像的深度、对比度和/或清晰度，和/或消除视觉上的人工痕迹。当显示器帧速率大于接收的三维输入视频流的帧速率时，视频处理系统240可以通过譬如FRUC模块250利用譬如帧或场插补对二维输出视频流执行帧上转换操作。利用初始时未被选作二维输出视频流的基础序列的帧和/或场视图序列中的视频内容和/或信息，可以优化帧和/或场插补，以进一步提高二维输出视频流的质量。视频处理系统240还可以用于通过图形处理器254本地执行对应于二维输出视频流的图形处理。图形处理器254可以根据譬如二维输出视频流中每个图像中的一个或多个焦点来执行本地图形处理。

本发明的另一个实施例可以提供一种机器和/或计算机可读存储器和/或媒介，其存储的机器代码和/或计算机程序包括至少一个代码段，所述至少一个代码段由机器和/或计算机执行，从而使该机器和/或计算机执行上述用于根据三维视频输入优化二维视频的显示的步骤。

因此，本发明可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计算机系统，使其按方法运行。

本发明还可以通过计算机程序产品进行实施，程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，可以实现本发明的方法。本文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功能：a)转换成其它语言、解码或符号；b)以不同的格式再现。

虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

相关申请交叉引用

本发明参考并结合以下专利申请的内容：

美国临时专利申请号61/287,624，申请日2009年12月17日；

美国临时专利申请号61/287,634，申请日2009年12月17日；

美国专利申请号12/554,416，申请日2009年9月4日；

美国专利申请号12/546,644，申请日2009年8月24日；

美国专利申请号12/619,461，申请日2009年11月6日；

美国专利申请号12/578,048，申请日2009年10月13日；

美国临时专利申请号61/287,653，申请日2009年12月17日；

美国专利申请号12/604,980，申请日2009年10月23日；

美国专利申请号12/545,679，申请日2009年8月21日；

美国专利申请号12/560,554，申请日2009年9月16日；

美国专利申请号12/560,578，申请日2009年9月16日；

美国专利申请号12/560,592，申请日2009年9月16日；

美国专利申请号12/604,936，申请日2009年10月23日；

美国临时专利申请号61/287,668，申请日2009年12月17日；

美国专利申请号12/573,746，申请日2009年10月5日；

美国专利申请号12/573,771，申请日2009年10月5日；

美国临时专利申请号61/287,673，申请日2009年12月17日；

美国临时专利申请号61/287,682，申请日2009年12月17日；

美国专利申请号12/605,039，申请日2009年10月23日；及

美国临时专利申请号61/287,692，申请日2009年12月17日。

Claims (10)

1.一种用于视频处理的方法，其特征在于，包括：

由视频处理系统中的一个或多个处理器和/或电路执行：

从压缩的三维输入视频流中提取多个视图序列；以及

根据所述多个提取的视图序列生成二维输出视频流，其中所述二维输出视频流的视频数据是利用视图信息生成的，所述视图信息来自所述多个提取的视图序列中的至少一个。

2.根据权利要求1所述的方法，其特征在于， 所述多个提取的视图序列包括立体的左和右参考场或帧的序列。

3.根据权利要求1所述的方法，其特征在于， 所述二维输出视频流的视频数据生成过程中利用的所述视图信息包括深度信息和/或前景和/或背景信息。

4.根据权利要求1所述的方法，其特征在于，包括从所述多个提取的视图序列中选择一个作为所述生成的二维输出视频流的基础序列。

5.根据权利要求4所述的方法，其特征在于，包括根据所述多个提取的视图序列中的一个或多个未选择的序列来调整所述生成的二维输出视频流的基础序列。

6.根据权利要求5所述的方法，其特征在于， 所述调整优化了所述二维输出视频流中图像的深度、对比度和/或清晰度。

7.根据权利要求1所述的方法，其特征在于，包括利用帧或场插补对所述二维输出视频流执行帧上转换操作。

8.根据权利要求6所述的方法，其特征在于， 包括根据所述多个提取的视图序列中的至少一个调整所述插补。

9.根据权利要求1所述的方法，其特征在于， 包括本地执行对应于所述二维输出视频流的图形处理。

10.一种用于视频处理的系统，其特征在于，包括：

用于从压缩的三维输入视频流中提取多个视图序列的一个或多个电路和/或处理器；以及

所述一个或多个电路和/或处理器用于根据所述多个提取的视图序列生成二维输出视频流，其中所述二维输出视频流的视频数据是利用视图信息生成的，所述视图信息来自所述多个提取的视图序列中的至少一个。

Images