CN102045580B

CN102045580B - 用于处理视频的方法和系统

Info

Publication number: CN102045580B
Application number: CN201010504467.1A
Authority: CN
Inventors: 陈雪敏; 萨米尔·赫尔亚尔卡; 马库斯·凯勒曼; 伊利亚·克莱巴诺夫
Original assignee: Zyray Wireless Inc
Current assignee: Broadcom Corp; Zyray Wireless Inc
Priority date: 2009-10-13
Filing date: 2010-10-12
Publication date: 2014-06-11
Anticipated expiration: 2030-10-12
Also published as: TW201143356A; EP2312859A2; EP2312859A3; CN102045580A; US20110085023A1; HK1157974A1

Abstract

本发明涉及一种用于处理视频的方法和系统。第一视频处理设备，例如机顶盒，接收并解码左视图和右视图视频流，以及生成左视图和右视图图形流。将左视图和右视图视频流与左视图和右视图图形流压缩并无线通信给第二视频处理设备，例如三维和/或二维电视机。图形流由第一视频处理设备上的图形处理器利用存储的和/或接收的图形信息生成。第二视频处理设备无线接收并解压视频和图形。在第一视频处理设备进行无线通信前或第二视频处理设备进行无线接收后将左视图视频与图形混合和/或将右视图视频与图形混合。第二视频处理设备显示混合的左视图视频与图形和/或混合的右视图视频与图形。

Description

用于处理视频的方法和系统

技术领域

本发明涉及通信系统。更具体地说，本发明涉及通过无线通信链路进行三维视频通信。

背景技术

很多设备都具有数字视频功能，例如，数字电视、数字直播系统、数字记录系统、游戏机等。数字视频设备相比传统的模拟视频系统在处理和以更高带宽效率传送视频序列方面具有显著的进步。

视频内容可以用二维格式或三维格式记录。在各种应用，例如，DVD电影和数字电视中，一般偏爱三维视频，因为对观看者来说，它通常比二维视频更真实。三维视频包括左视图视频和右视图视频。三维视频帧可以由左视图视频部分和右视图视频部分组合而成。

比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本领域的普通技术人员来说是显而易见的。

发明内容

本发明提供了一种通过无线通信链路进行三维视频通信的方法和/或系统，在权利要求中得到了更完整的阐述。

根据一个方面，一种用于处理视频的方法，包括：

由第一视频处理设备中的一个或多个处理器和/或电路执行如下步骤：

解码包含左视图视频流和右视图视频流的三维视频；以及

通过所述第一视频处理设备的第一无线接口将所述左视图视频流、所述右视图视频流、左视图图形流以及右视图图形流进行无线通信。

优选地，所述第一视频处理设备包括以下至少一种：机顶盒和计算机。

优选地，所述方法进一步包括在进行所述无线通信前将所述右视图视频流与所述右视图图形流混合和/或将所述左视图视频流与所述左视图图形流混合。

优选地，所述方法进一步包括在进行所述无线通信前压缩所述左视图视频流、所述右视图视频流、所述左视图图形流以及所述右视图图形流。

优选地，所述无线通信的左视图压缩视频流、所述右视图压缩视频流、所述左视图压缩图形流以及所述右视图压缩图形流由第二视频处理设备相应的第二无线接口接收，所述第二视频处理设备包括三维和/或二维视频显示设备。

优选地，所述方法进一步包括利用存储在所述第一视频处理设备中和/或由所述第一视频处理设备接收的左视图与右视图图形信息来生成所述左视图图形流和所述右视图图形流。

优选地，所述方法进一步包括由所述第一视频处理设备中的图形处理器来生成所述左视图图形流和所述右视图图形流的图形对象。

优选地，所述方法进一步包括利用无损、视觉无损和/或水平有损压缩方法来压缩所述左视图视频流、所述右视图视频流、所述左视图图形流、所述右视图图形流、所述左视图视频流与所述左视图图形流的混合流和/或所述右视图视频流与所述右视图图形流的混合流。

优选地，第二视频处理设备将压缩的所述左视图视频流、压缩的所述右视图视频流、压缩的所述左视图图形流、压缩的所述右视图图形流、压缩的所述左视图视频流与所述左视图图形流的混合流和/或压缩的所述右视图视频流与所述右视图图形流的混合流进行解压，所述第二视频处理设备包括三维和/或二维视频显示设备。

优选的，所述第二视频处理设备将解压缩的所述左视图视频流和解压缩的所述左视图图形流进行混合和/或将解压缩的所述右视图视频流和解压缩的所述右视图图形流进行混合。

优选地，所述第二视频处理设备显示混合的所述左视图视频流与所述左视图图形流以及混合的所述右视图视频流与所述右视图图形流。

优选地，所述左视图视频流、所述右视图视频流、所述左视图图形流和所述右视图图形流包括未压缩数据。

根据一个方面，一种用于处理视频的系统，包括：

第一视频处理设备中的一个或多个处理器和/或电路，其中所述一个或多个处理器和/或电路用于：

解码包含左视图视频流和右视图视频流的三维视频；以及

优选地，所述一个或多个处理器和/或电路用于在进行所述无线通信前将所述右视图视频流与所述右视图图形流混合和/或将所述左视图视频流与所述左视图图形流混合。

优选地，所述一个或多个处理器和/或电路用于在进行所述无线通信前压缩所述左视图视频流、所述右视图视频流、所述左视图图形流以及所述右视图图形流。

优选地，所述一个或多个处理器和/或电路用于利用存储在所述第一视频处理设备中和/或由所述第一视频处理设备接收的左视图与右视图图形信息来生成所述左视图图形流和所述右视图图形流。

优选地，所述一个或多个处理器和/或电路用于由所述第一视频处理设备中的图形处理器来生成所述左视图图形流和所述右视图图形流的图形对象。

优选地，所述一个或多个处理器和/或电路用于利用无损、视觉无损和/或水平有损压缩方法来压缩所述左视图视频流、所述右视图视频流、所述左视图图形流、所述右视图图形流、所述左视图视频流与所述左视图图形流的混合流和/或所述右视图视频流与所述右视图图形流的混合流。

优选地，所述第二视频处理设备将解压缩的所述左视图视频流和解压缩的所述左视图图形流进行混合和/或将解压缩的所述右视图视频流和解压缩的所述右视图图形流进行混合。

本发明的各种优点、各个方面和创新特征，以及其中所示例的实施例的细节，将在以下的说明书和附图中进行详细介绍。

附图说明

图1是根据本发明实施例的用于通过无线链路进行三维视频和图形通信的示范性视频编码系统的框图；

图2是根据本发明实施例的用于向视频显示单元无线发送左视图和右视图三维视频与图形流的示范性视频接收单元的框图；

图3A是根据本发明实施例的用于向视频显示单元无线发送左视图和/或右视图三维视频流与左视图和/或右视图图形流的示范性视频接收单元的框图；

图3B是根据本发明实施例的用于无线接收来自视频接收单元的压缩的左视图和右视图三维视频流以及处理来自视频接收单元的左视图和右视图图形流的示范性显示设备的框图；

图4A是根据本发明实施例的用于实现三维视频和三维图形从视频接收单元到视频显示设备的无线传输的示范性步骤的流程图；

图4B是根据本发明实施例的用于视频显示单元从视频接收单元无线接收三维视频和三维图形的示范性步骤的流程图。

具体实施方式

本发明通过无线通信链路进行三维视频通信的方法和系统提供了一些实施例。根据本发明的各种实施例，第一视频处理设备中的一个或多个处理器和/或电路可以用于接收和/或解码左视图和右视图视频流。可以将左视图视频流、右视图视频流、左视图图形流和右视图图形流无线通信给第二视频处理设备。就这一点而言，第一视频处理设备可以包括以下至少一种：例如机顶盒和计算机。第二视频处理设备可以包括三维和/或二维视频显示设备，例如电视机。在本发明的各种实施例中，在进行无线通信前，可以将右视图视频流与右视图图形流混合和/或将左视图视频流与左视图图形流混合。在进行无线通信前，可以压缩左视图视频流、右视图视频流、左视图图形流以及右视图图形流。就这一点而言，左视图压缩的视频流、右视图压缩的视频流、左视图压缩的图形流以及右视图压缩的图形流可以通过第一视频处理设备的第一无线接口通信并由第二视频处理设备相应的第二无线接口接收，第二视频处理设备可以包括三维和/或二维视频显示设备。可以利用左视图和右视图图形信息生成左视图图形流和右视图图形流。左视图和右视图图形信息可以存储在第一视频处理设备中和/或由第一视频处理设备接收。

第一视频处理设备中的图形处理器可以生成左视图图形流和右视图图形流的图形对象。在本发明的各种实施例中，可以利用无损、视觉无损和/或水平有损压缩方法来压缩左视图视频流、右视图视频流、左视图图形流、右视图图形流、左视图视频流与左视图图形流的混合流和/或右视图视频流与右视图图形流的混合流。第二视频处理设备将压缩的左视图视频流、压缩的右视图视频流、压缩的左视图图形流、压缩的右视图图形流、压缩的左视图视频流与左视图图形流的混合流和/或压缩的右视图视频流与右视图图形流的混合流进行解压。第二视频处理设备包括三维和/或二维视频显示设备。进一步地，第二视频处理设备将解压的左视图视频流与解压的左视图图形流混合和/或将解压的右视图视频流与解压的右视图图形流混合。第二视频处理设备可以显示左视图视频流与左视图图形流的混合流以及右视图视频流与右视图图形流的混合流。左视图视频流、右视图视频流、左视图图形流和/或右视图图形流可以包括未压缩的数据。

图1是根据本发明实施例的用于通过无线链路进行三维视频和图形通信的示范性视频编码系统的框图。如图1所示，示出了视频传送单元(VTU)110、通信网络120、视频接收单元(VRU)130、无线接口150和160以及视频显示设备114。

VTU 110可以包括合适的逻辑、电路、接口和/或代码，用于向VRU 130提供编码的视频内容。VTU 110可以用于编码三维视频。例如，VTU 110可以用于将三维视频编码为左视图视频流和右视图视频流，又被称作左视频流和右视频流。左视图视频流和/或右视图视频流可以通过不同信道传送给VRU 130。左视图和/或右视图视频流可以包括三维视频内容和/或可以包括二维和/或三维图形信息。VTU 110的例子可以包括有线电视前端、直播卫星前端以及网络服务器。

通信网络120可以包括合适的逻辑、电路、接口和/或代码，用于提供VTU110和VRU 130间的通信平台。通信网络120可以是有线或无线通信网络。通信网络120可以是LAN、WAN、因特网等。

VRU 130可以包括合适的逻辑、电路、接口和/或代码，用于通过通信网络120从VTU 110接收传输流。接收到的传输流可以包括，例如娱乐节目的编码的三维视频流，例如，三维电视节目和/或三维图形信息。就这一点而言，VRU 130可以用于解复用或解析接收到的传输流，例如，包含三维电视节目的左视图和右视图编码的三维视频流，还可以在VRU 130的内存或本地存储器中提取和/或存储左视图和右视图视频流。VRU 130可以用于解码提取的三维电视节目的编码的三维视频流。例如，可以用相关三维电视节目的左视图和右视图覆盖图形信息，或者可以根据用户输入观看图形信息。图形信息可以存储在VRU 130中和/或可以由VRU 130接收，例如，通过视频流。左视图和/或右视图图形信息可以在本地进行处理以产生左视图和右视图图形对象或图形帧。

可以利用，例如水平压缩技术，来压缩左视图和右视图视频流以及左视图和右视图图形对象。压缩的左视图和右视图视频流以及包含图形对象的左视图和右视图图形流可以通过无线传送方法从VRU 130的无线接口150通信给视频显示设备114的无线接口160。在视频显示设备114中，可以将左视图和右视图视频流以及左视图和右视图图形流进行解压。进一步地，可以将左视图视频流与左视图图形流混合以及将右视图视频流与右视图图形流混合。视频显示设备114可以用于显示与三维图形混合的三维视频和/或可以用于将得到的混合的三维视频和图形转化为二维视频以便显示。示范性VRU 130可以包括机顶盒和/或个人计算机。示范性视频显示设备114可以包括三维和/或二维电视机。

无线接口150可以包括合适的逻辑、电路、接口和/或代码，用于将三维的左视图和/或右视图视频和/或图形流无线通信给视频显示设备114的无线接口160。就这一点而言，无线接口150可以用于利用任意合适的无线技术。例如，无线接口150可以包括以下至少一种：60GHz无线接口、无线局域网(WLAN)接口和/或无线个人局域网(WPAN)接口。

当无线接口150包括60GHz无线接口时，60GHz无线接口150用于将三维的左视图和/或右视图视频和/或图形流无线通信给视频显示设备114的无线接口160。例如，可以支持本地文件分发、三维和/或二维视频和/或三维和/或二维图形连接和/或高速三维和/或二维视频单机或多机游戏。60GHz无线接口150可以包括一个物理层接口或一个物理层接口与一个媒体访问控制层。60GHz信号可以，例如，进行短距离发送、点对点发送和/或以高度定向辐射模式发送。无线接口15060GHz物理接口可以支持超宽带(UWB)技术或其它无线技术。

当无线接口150包括无线局域网(WLAN)时，无线接口150用于将三维的左视图和/或右视图视频和/或图形流无线通信给视频显示设备114的无线接口160。就这一点而言，WLAN无线接口150可以用于支持IEEE802.11物理层(PHY)或PHY与媒体访问控制(MAC)层。另外，WLAN无线接口150可以工作在频谱下部，例如，在2.4GHz和/或5GHz附近。WLAN无线接口150可以实现本地文件分发、三维和/或二维视频和/或三维和/或二维图形通信和/或高速三维和/或二维视频单机或多机游戏。

当无线接口150包无线个人局域网(WPAN)时，无线接口150用于将三维的左视图和/或右视图视频和/或图形流无线通信给视频显示设备114的无线接口160。WPAN无线接口150可以包括，例如，包含一个物理层接口或一个物理层接口与一个媒体访问控制(MAC)层的蓝牙收发器。WPAN无线接口150可以工作在，例如2.4GHz和/或5GHz频率带，或可以工作在其它可用频谱。

本发明并不受限于无线接口150中的任意特定无线技术。本发明的各种实施例可以利用各种合适的无线技术。例如，无线接口150可以支持3GPP、3GPP2、WIMAX、WiFi、LTE、WLAN、蓝牙、60GHz、紫蜂以及其它无线技术。

无线接口160可以包括合适的逻辑、电路、接口和/或代码，用于从VRU130的无线接口150无线接收三维的左视图和/或右视图视频和/或图形流。就这一点而言，无线接口150可以用于利用任意合适的无线技术。例如，无线接口150可以包括以下至少一种：60GHz无线接口、无线局域网(WLAN)接口和/或无线个人局域网(WPAN)接口。

当无线接口160包括60GHz无线接口时，60GHz无线接口160用于从VRU130的无线接口150无线接收三维的左视图和/或右视图视频和/或图形流。例如，可以支持本地文件分发、三维和/或二维视频和/或三维和/或二维图形连接和/或高速三维和/或二维视频单机或多机游戏。60GHz无线接口150可以包括一个物理层接口或一个物理层接口与一个媒体访问控制层。60GHz信号可以，例如，进行短距离接收、点对点接收和/或以高度定向辐射模式接收。无线接口16060GHz物理接口可以支持超宽带(UWB)技术或其它无线技术。

当无线接口160包括无线局域网(WLAN)时，无线接口160用于从VRU130的无线接口150无线接收三维的左视图和/或右视图视频和/或图形流。就这一点而言，WLAN无线接口160可以用于支持IEEE802.11物理层(PHY)或PHY与媒体访问控制(MAC)层。另外，WLAN无线接口150可以工作在频谱下部，例如，在2.4GHz和/或5GHz附近。WLAN无线接口150可以实现本地文件分发、三维和/或二维视频和/或三维和/或二维图形通信和/或高速三维和/或二维视频单机或多机游戏。

当无线接口160包无线个人局域网(WPAN)时，无线接口160用于从VRU 130的无线接口150无线接收三维的左视图和/或右视图视频和/或图形流。WPAN无线接口160可以包括，例如，包含一个物理层接口或一个物理层接口与一个媒体访问控制(MAC)层的蓝牙收发器。WPAN无线接口160可以工作在，例如2.4GHz和/或5GHz频率带，或可以工作在其它可用频谱。

本发明并不受限于无线接口160中的任意特定无线技术。本发明的各种实施例可以利用各种合适的无线技术。例如，无线接口160可以支持3GPP、3GPP2、WIMAX、WiFi、LTE、WLAN、蓝牙、60GHz、紫蜂以及其它无线技术。

视频显示设备114可以包括合适的逻辑、电路、接口和/或代码，用于通过无线通信方式接收三维的左视图和/或右视图视频和/或图形并显示所述三维视频和/或图形。另外，视频显示设备114可以用于解压接收到的左视图和/或右视图视频和/或图形流。视频显示设备114可以用于将左视图图形数据域左视图视频数据混合以及用于将右视图图形数据域右视图视频数据混合。视频显示设备114可以用于根据至少一种显示技术显示三维混合左视图视频和/或图形与混合右视图视频和/或图形。例如，视频显示设备114可以利用，例如偏振液晶显示器(LCD)的偏振显示技术。在本发明的另一个实施例中，视频显示设备114可以利用双环背投影显示器或高频帧等离子显示器的时序显示技术。此外，视频显示设备114可以用于利用以下至少一种技术：光谱过滤技术、立体电影技术和/或普尔弗里奇(Pulfrich)技术。本发明并不受限于任意特定的显示技术，并可以利用任意合适的三维视频和/或图形显示技术。

在运行中，VTU 110可以用于将三维视频内容，例如三维电视节目，编码为左视图视频流和右视图视频流。可以通过通信网络120将复合的传输流传送给VRU 130。VRU 130可以用于将接收到的传输流解复用为编码的三维电视节目的三维视频流，并可以用于提取左视图和/或右视图图形信息。VRU 130可以用于解码编码的三维电视节目的左视图和右视图三维视频流。根据设备配置和/或用户输入，可以在三维电视节目期间显示左视图和右视图三维图形。VRU 130可以在本地处理左视图和右视图图形，以产生可称作左视图和右视图图形流的左视图和右视图图形对象。VRU 130可以用于利用，例如水平压缩技术，来压缩左视图和右视图视频流以及左视图和右视图图形流。VRU 130可以通过无线接口150将压缩的左视图和右视图视频流与压缩的左视图和右视图图形流传送给视频显示设备114的无线接口160。视频显示设备114可以用于解压左视图和右视图视频流以及左视图和右视图图形流，并可以将相应的左视图图形对象和右视图图形对象覆盖、混合和/或代替解码的左视图三维视频流数据。得到的混合的三维视频可以由视频显示设备114作为三维视频显示或由视频显示设备114转化为二维视频以便显示。

图2是根据本发明实施例的用于向视频显示单元无线发送左视图和右视图视频与图形流的示范性视频接收单元的框图。如图2所示，示出了包含VRU130的视频处理系统200，VRU 130可以包括主处理器208、解码器204、内存及回放模块216、本地存储器218、图形处理器210、视频和图形混合模块230、左视图和右视图视频和图形压缩模块232以及无线接口150。另外，还示出了无线接口160和视频显示设备114。

主处理器208可以包括合适的逻辑、电路、接口和/或代码，用于控制VRU130中各个单元的运行，例如，解码器204、图形处理器210、视频和图形混合模块230和/或压缩模块220。主处理器208可以支持各种应用，例如，VRU130上的三维视频流。主处理器208可以用于与内存及回放模块216和/或本地存储器218通信。主处理器208可以用于生成左视图和/或右视图图形信息，以生成用于覆盖、混合和/或代替接收到的左视图和/或右视图三维视频流数据的图形。示范性图形可以包括用户界面，例如，用户向导和/或菜单，或者可以包括覆盖三维视频数据的三维图形。可以将左视图和/或右视图图形信息传送给内存及回放模块216和/或图形处理器210以便处理图形并生成左视图和右视图图形对象，这些图形对象可以称作左视图和右视图图形流。就这一点而言，主处理器208可以配置用于选择三维电视节目中显示用的图形。

解码器204可以包括合适的逻辑、电路、接口和/或代码，用于以帧为单位解码从VTU 110接收到的左视图视频。解码器204可以用于利用各种视频解压算法，例如MPEG-2、MPEG-4、AVC、VC1、VP6、H.264和/或其它视频格式将来自VTU 110的左视图视频转化为解压的或解码的视频内容。

图形处理器210可以包括合适的逻辑、电路、接口和/或代码，用于从主处理器208和/或内存及回放模块216接收左视图和/或右视图图形信息，以及可以执行图形处理。图形处理器210可以用于在图形处理过程中与内存及回放模块216进行图形通信。图形处理器210可以用于生成左视图和右视图图形流的相应图形对象。生成的左视图和右视图图形流可以传送给视频和图形混合模块230。

内存及回放模块216可以包括合适的逻辑、电路、接口和/或代码，用于存储信息，例如VRU 130可能利用的可执行指令和数据。可执行指令可以包括图形处理器210用来生成左视图和右视图图形对象的图形处理算法。存储的数据可以包括左视图和/或右视图解码视频内容和/或左视图和/或右视图图形信息。就这一点而言，内存及回放模块216可以被图形处理器210在生成图形帧时用作“缓存存储器”。内存及回放模块216可以包括RAM、ROM、以闪存为例的低延迟非易失性内存和/或其它合适的电子数据存储器。

本地存储器218可以包括合适的逻辑、电路、接口和/或代码，用于记录并存储视频应用和/或图形节目的内容或数据。本地存储器218是VRU 130的可选组件。本地存储器218可以包括磁和/或光驱动器，例如硬盘。本地存储器218还可以包括固体存储器，例如闪存和/或其它合适的能够记录及存储数据和指令的电子数据存储器。

视频和图形混合模块230可以包括合适的逻辑、电路、接口和/或代码，用于将左视图视频流与左视图图形混合，并将右视图视频流与右视图图形混合。就这一点而言，视频和图形混合模块230可以利用混合因子来进行混合。在本发明的各种实施例中，混合因子可以根据图形的透明度来确定。在本发明的另一个实施例中，当不需要视频数据时可以用图形代替视频和/或可以显示图形。视频和图形混合模块230的输出可以传送给左视图和右视图视频和图形压缩模块232。

左视图和右视图视频和图形压缩模块232可以包括合适的逻辑、电路、接口和/或代码，用于在通过无线传输方式将左视图和右视图视频流传送给视频显示设备114前压缩混合的左视图视频和图形内容以及压缩混合的右视图视频和图形内容。左视图和右视图视频和图形压缩模块232可以利用无损和/或视觉无损压缩方式。在本发明的各种实施例中，左视图和右视图视频和图形压缩模块232仅在水平方向上压缩左视图和右视图视频流，因为大脑可以组合或分辨左视图和右视图帧。

在运行中，解码器204可以用于接收三维视频数据的左视图和右视图流。左视图视频流和右视图视频流可以由解码器204解码并存储在内存及回放模块216和/或存储器218中。主处理器208可以生成和/或选择存储在内存及回放模块216和/或存储器218中的左视图和/或右视图图形信息。可以将生成的和/或选择的左视图和/或右视图图形信息发送给图形处理器210以便处理。图形处理器210可以用于根据接收到的左视图和/或右视图图形信息生成左视图和/或右视图图形对象。左视图和/或右视图图形对象可以称作左视图和/或右视图图形流。

可以将解码的左视图和/或右视图视频流和生成的左视图和/或右视图图形对象传送给视频和图形混合模块230。视频和图形混合模块230可以将解码的左视图视频流与生成的左视图图形对象混合以及将解码的右视图视频流与生成的右视图图形对象混合。可以将左视图和/或右视图混合的视频和图形流传送给左视图和右视图视频和图形压缩模块232进行压缩。可以由VRU 130的无线接口150通过无线传输方式将压缩的左视图和/或右视图混合的视频和/或图形流传送给视频显示设备114的无线接口160。视频显示设备114可以用于解压左视图和/或右视图混合的视频和图形流并可以显示左视图和/或右视图混合的视频和图形内容。

若视频显示设备114是刷新速率为240Hz的LCD显示器，当捕捉和/或生成三维视频和/或图形内容时，摄像设备例如相机可以使用速率为60Hz的帧。以这种方式，当将分离的左视图和右视图混合视频和图形内容传送给视频显示设备114时，对于每个捕捉的60Hz视频和/或图形帧，可以生成四个帧。例如，可以生成左视图混合的视频和图形帧、黑帧、右视图混合的视频和图形帧以及另一个黑帧。以这种方式，利用240Hz显示二维视频的视频显示器可以用于显示60Hz混合的视频和图形内容，该内容包括240Hz的每个视频和/或图形捕捉瞬间的四个帧。LCD显示器具有缓慢的响应时间。此外，LCD显示器可以是持久型显示器，其中像素持续在屏幕上显示直至被覆盖。这样，将黑帧与三维左视图帧和/或三维右视图帧交替可以防止在屏幕上同步显示左视图帧像素和右视图帧像素。带宽方面，相对于二维视频使用的带宽来说，附加带宽对LCD显示器的三维视频的无线通信，甚至对于单独发送的额外的同屏显示(OSD)帧来说，并不是必需的。由于黑帧的存在，插入OSD帧中的附加帧可以是用于与二维和/或三维显示器进行无线通信的带宽的一部分。

图3A是根据本发明实施例的用于向视频显示单元无线发送左视图和/或右视图视频流与左视图和/或右视图图形流的示范性视频接收单元的框图。如图3A所示，示出了包含VRU 130的视频处理系统300A，VRU 130可以包括主处理器308、解码器304、内存及回放模块316、本地存储器318、图形处理器310、左视图和右视图视频压缩模块320、左视图和右视图图形压缩模块322以及无线接口150。另外，还示出了无线接口160和视频显示设备114。

主处理器308可以包括合适的逻辑、电路、接口和/或代码，用于控制VRU130中各个单元的运行，例如，解码器304、图形处理器310和/或压缩模块320和322。主处理器308可以支持各种应用，例如，VRU 130上的三维视频流。主处理器308可以用于与内存及回放模块316和/或本地存储器318通信。主处理器308可以用于生成左视图和/或右视图图形信息，以生成用于覆盖、混合和/或代替接收到的左视图和/或右视图三维视频流数据的图形。示范性图形可以包括用户界面，例如，用户向导和/或菜单，或者可以包括覆盖三维视频数据的三维图形。可以将左视图和/或右视图图形信息传送给内存及回放模块316和/或图形处理器310以便处理图形并生成左视图和右视图图形对象，这些图形对象可以称作左视图和右视图图形流。就这一点而言，主处理器308可以配置用于选择三维电视节目中显示用的图形。

解码器304可以包括合适的逻辑、电路、接口和/或代码，用于以帧为单位解码从VTU 110接收到的左视图视频。解码器304可以用于利用各种视频解压算法，例如MPEG-2、MPEG-4、AVC、VC1、VP6、H.264和/或其它视频格式将来自VTU 110的左视图视频转化为解压的或解码的视频内容。可以进行信息通信，例如左视图解码过程中的场景信息，以便用于右视图解码。另外，解码器304可以用于以帧为单位解码来自VTU 110的右视图视频。解码器304可以用于利用各种视频解压算法，例如MPEG-2、MPEG-4、AVC、VC1、VP6、H.264和/或其它视频格式将来自VTU 110的左视图视频转化为解压的或解码的视频内容。

图形处理器310可以包括合适的逻辑、电路、接口和/或代码，用于从主处理器308和/或内存及回放模块316接收左视图和/或右视图图形信息，以及可以执行图形处理。图形处理器310可以用于在图形处理过程中与内存及回放模块316进行图形通信。图形处理器310可以用于生成左视图和右视图图形流的相应图形对象。生成的左视图和右视图图形流可以传送给左视图和右视图图形压缩模块322。

内存及回放模块316可以包括合适的逻辑、电路、接口和/或代码，用于存储信息，例如VRU 130可能利用的可执行指令和数据。可执行指令可以包括图形处理器310用来生成左视图和右视图图形对象的图形处理算法。存储的数据可以包括左视图和/或右视图解码视频内容和/或左视图和/或右视图图形信息。就这一点而言，内存及回放模块316可以被图形处理器310在生成图形帧时用作“缓存存储器”。内存及回放模块316可以包括RAM、ROM、以闪存为例的低延迟非易失性内存和/或其它合适的电子数据存储器。

本地存储器318可以包括合适的逻辑、电路、接口和/或代码，用于记录并存储视频应用和/或图形节目的内容或数据。本地存储器318是VRU 130的可选组件。本地存储器318可以包括磁和/或光驱动器，例如硬盘。本地存储器318还可以包括固体存储器，例如闪存和/或其它合适的能够记录及存储数据和指令的电子数据存储器。

左视图和右视图视频压缩模块320可以包括合适的逻辑、电路、接口和/或代码，用于在通过无线传输方式将左视图和右视图视频流传送给视频显示设备114前压缩左视图视频内容以及压缩右视图视频内容。

左视图和右视图图形压缩模块322可以包括合适的逻辑、电路、接口和/或代码，用于在通过无线传输方式将左视图和右视图图形流传送给视频显示设备114前压缩左视图图形流以及压缩右视图图形流。

左视图和右视图视频压缩模块320和/或左视图和右视图图形压缩模块322可以利用无损和/或视觉无损压缩方式。在本发明的各种实施例中，左视图和右视图视频压缩模块320和/或左视图和右视图图形压缩模块322可以用于仅在水平方向压缩左视图和右视图视频流。人脑可以组合或分辨包含遗失像素的左视图和右视图帧。

在本发明的另一个实施例中，可以将一个帧的一部分，例如，左视图视频帧、右视图视频帧、左视图图形帧和/或右视图图形帧中的一行，压缩并无线传送给视频显示设备114，而不是立刻将整个帧进行传送。例如，视频和/或图形帧的一些部分可以包括能够实现有效压缩性能的几行，但是帧的这些部分比整个帧小得多。传送帧的一部分而不是整个帧可以减小视频信息与图形信息接收间的延迟，因此可以降低缓冲需求和/或无线接收器的复杂度。

在运行中，解码器304可以用于接收三维视频数据的左视图和右视图流。左视图视频流和右视图视频流可以由解码器304解码并存储在内存及回放模块316和/或存储器318中。主处理器308可以生成和/或选择存储在内存及回放模块316和/或存储器318中的左视图和/或右视图图形信息。可以将生成的和/或选择的左视图和/或右视图图形信息发送给图形处理器310以便处理。图形处理器310可以用于根据接收到的左视图和/或右视图图形信息生成左视图和/或右视图图形对象。左视图和/或右视图图形对象可以称作左视图和/或右视图图形流。解码的左视图和/或右视图视频流可以由左视图和右视图视频压缩模块320接收并利用水平压缩技术进行压缩。类似地，左视图和/或右视图图形流可以由左视图和右视图图形压缩模块322接收并利用水平压缩技术进行压缩。可以由VRU 130的无线接口150通过无线传输方式将压缩的左视图和/或右视图视频流和/或压缩的左视图和/或右视图图形流传送给视频显示设备114的无线接口160。视频显示设备114可以用于解压左视图和/或右视图视频流和/或左视图和/或右视图图形流，并可以将左视图图形与左视图视频流混合以及将右视图图形与右视图视频流混合，然后显示混合的视频和图形内容。

在本发明的各种实施例中，当传送分开的左视图和右视图视频流以及分开的左视图和右视图图形流而不是传送如图2所述的左视图和右视图混合的视频和图形内容时，传输带宽将要加倍。然而，通过分开压缩视频和图形内容，左视图和右视图视频压缩模块320和/或左视图和右视图图形压缩模块322可以用于利用不同的压缩技术。就这一点而言，对于图形和视频内容，压缩效率可以是不同的。此外，在本发明的各种实施例中，视频和/或图形内容可以不在无线传送给视频显示设备114前压缩。例如，可以降低图形内容的帧速率以便未压缩的图形内容可以无线传送给视频显示设备114。就这一点而言，比起使用二到一压缩，未压缩图形的传输速率可以是压缩图形帧速率的一半。如图2所述，当视频显示设备114是LCD显示器并用作二维显示器时，例如240Hz显示器，相对于发送二维视频信息，发送三维图形和视频时可以不需要附加带宽。

图3B是根据本发明实施例的用于无线接收来自视频接收单元的压缩的左视图和右视图三维视频流以及处理来自视频接收单元的左视图和右视图图形流的示范性显示设备的框图。如图3B所示，示出了包含视频显示设备114的视频处理系统300B，视频显示设备114可以包括无线接口160、左视图和右视图视频解压模块380、左视图和右视图图形解压模块382、左视图混合模块384、右视图混合模块386以及三维和/或二维显示器314。另外，还示出了无线接口150、左视图和右视图视频压缩模块320以及左视图和右视图图形压缩模块322。

左视图和右视图视频解压模块380可以包括合适的逻辑、电路、接口和/或代码，用于解压视频显示设备114通过无线接口160接收的压缩的左视图视频流和/或压缩的右视图视频流。可以将解压的左视图视频流传送给左视图混合模块384以及将解压的右视图视频流传送给右视图混合模块386。

左视图和右视图图形解压模块382可以包括合适的逻辑、电路、接口和/或代码，用于解压视频显示设备114通过无线接口160接收的压缩的左视图图形流和/或压缩的右视图图形流。可以将解压的左视图图形流传送给左视图混合模块384以及将解压的右视图图形流传送给右视图混合模块386。

左视图混合模块384可以包括合适的逻辑、电路、接口和/或代码，用于接收并混合左视图视频流与左视图图形流。就这一点而言，左视图混合模块384可以利用混合因子来进行混合。在本发明的各种实施例中，视频显示设备114可以根据图形的透明程度确定混合因子。在本发明的另一实施例中，当不需要视频数据时可以用图形代替视频和/或可以显示图形。可以将左视图混合模块384的输出传送给三维和/或二维显示器314。

右视图混合模块386可以包括合适的逻辑、电路、接口和/或代码，用于接收并混合右视图视频流与右视图图形流。就这一点而言，右视图混合模块386可以利用混合因子来混合右视图视频和右视图图形。在本发明的各种实施例中，视频显示设备114可以根据图形的透明程度确定混合因子。在本发明的另一实施例中，当不需要视频数据时可以用图形代替视频和/或可以显示图形。可以将右视图混合模块386的输出传送给三维和/或二维显示器314。在本发明的各种实施例中，可以将混合的右视图和/或左视图视频和图形转化为二维进行显示。

在运行中，视频显示设备114可以通过无线接口160经无线传输接收压缩的左视图视频流、压缩的右视图视频流、压缩的左视图图形流和/或压缩的右视图图形流。左视图和右视图视频解压模块380可以用于接收压缩的左视图和右视图视频流并执行对所述视频流的解压处理。左视图和右视图图形解压模块382可以接收左视图和右视图压缩的图形流并可以对所述接收的图形流执行解压处理。可以将经左视图和右视图视频解压模块380解压的左视图视频流以及经左视图和右视图图形解压模块382解压的左视图图形流传送给左视图混合模块384。左视图混合模块384可以将左视图图形流与左视图视频流混合并可以向三维和/或二维显示器314输出混合的左视图视频与图形。类似地，可以将经左视图和右视图视频解压模块380解压的右视图视频流以及经左视图和右视图图形解压模块382解压的右视图图形流传送给右视图混合模块384。右视图混合模块384可以将左视图图形流与左视图视频流混合并可以向三维和/或二维显示器314输出混合的右视图视频与图形。三维和/或二维显示器314可以显示混合的左视图图形与视频和/或混合的右视图图形与视频。

图4A是根据本发明实施例的用于实现三维视频和三维图形从视频接收单元到视频显示设备的无线传输的示范性步骤的流程图。示范性步骤开始于步骤410。在步骤412，三维视频接收单元(VRU)130可以接收左视图视频流和右视图视频流。在步骤414，由解码器304对左视图视频流和右视图视频流进行解码。在步骤416，由左视图和右视图视频压缩单元320对左视图视频流和右视图视频流进行水平压缩。在步骤418，由图形处理器310对存储在VRU 130中或与左视图和/或右视图视频流一起接收的左视图和/或右视图图形信息进行处理，以生成左视图图形流和/或右视图图形流。在步骤420，由左视图和右视图图形压缩单元322对左视图图形流和/或右视图图形流进行水平压缩。在步骤422，由无线接口150采用无线传输方式将左视图压缩的视频流、右视图压缩的视频流、左视图压缩的图形流以及右视图压缩的图形流传送给三维和/或二维视频显示设备114。示范性步骤可以持续于图4B。

图4B是根据本发明实施例的用于视频显示单元从视频接收单元无线接收三维视频和三维图形的示范性步骤的流程图。在步骤424，三维和/或二维视频显示设备114可以通过无线接口160经无线传输接收左视图压缩的视频流、右视图压缩的视频流、左视图压缩的图形流以及右视图压缩的图形流。在步骤426，左视图和右视图视频解压模块380可以解压左视图视频流和/或右视图视频流。在步骤428，左视图和右视图图形解压模块382可以解压左视图图形流和右视图图形流。在步骤430，可以在左视图混合模块384中根据混合因子混合左视图视频流与左视图图形流。另外，可以在右视图混合模块386中根据混合因子混合右视图视频流与右视图图形流。在步骤432，可以将混合的左视图视频和图形流以及混合的右视图视频和图形流传送给三维和/或二维显示器314。示范性步骤可以结束于步骤434。

在本发明的另一个实施例中，第一视频处理设备中的一个或多个处理器和/或电路，例如，VRU 130，可以用于接收和/或解码左视图和右视图视频流。可以将左视图视频流、右视图视频流、左视图图形流以及右视图图形流无线传送给第二视频处理设备，例如视频显示设备114。就这一点而言，第一视频处理设备可以包括以下至少一种：例如机顶盒与计算机。第二视频处理设备可以包括三维和/或二维视频显示设备，例如电视机。在本发明的各种实施例中，在进行无线通信前，可以由视频和图形混合模块230将右视图视频流与右视图图形流混合和/或将左视图视频流与左视图图形流混合。在进行无线通信前，由如图2所述的左视图和右视图视频和图形压缩模块232或由如图3A所述的左视图和右视图视频压缩模块320与左视图和右视图图形压缩模块322对左视图视频流、右视图视频流、左视图图形流以及右视图图形流进行压缩。就这一点而言，左视图压缩的视频流、右视图压缩的视频流、左视图压缩的图形流以及右视图压缩的图形流可以由第一视频处理设备，例如VRU 130的第一无线接口150发送，并由第二视频处理设备相应的第二无线接口160接收，第二视频处理设备可以包括三维和/或二维视频显示设备，例如，视频显示设备114。

可以利用左视图和右视图图形信息生成左视图图形流和右视图图形流。左视图和右视图图形信息可以存储在第一视频处理设备，例如VRU 130中，和/或可以由第一视频处理设备，例如VRU 130接收。第一视频处理设备中的图形处理器210可以生成左视图图形流和右视图图形流的图形对象。在本发明的各种实施例中，可以由图形压缩模块232、左视图和右视图视频压缩模块320和/或左视图和右视图图形压缩模块322利用无损、视觉无损和/或水平有损压缩方式对左视图视频流、右视图视频流、左视图图形流、右视图图形流、混合的左视图视频流与左视图图形流和/或混合的右视图视频流与右视图图形流进行压缩。

第二视频处理设备中的左视图和右视图视频解压模块380和/或左视图和右视图图形解压模块382可以解压压缩的左视图视频流、压缩的右视图视频流、压缩的左视图图形流、压缩的右视图图形流、压缩的混合左视图视频流与左视图图形流和/或压缩的混合右视图视频流与右视图图形流。第二视频处理设备可以包括三维和/或二维视频显示器。进一步地，第二视频处理设备中的左视图混合模块384和/或右视图混合模块386可以将解压的左视图视频流与解压的左视图图形流混合和/或将解压的右视图视频流于解压的右视图图形流混合。第二视频处理设备，例如视频显示设备114，可以显示混合的左视图视频流与左视图图形流以及混合的右视图视频流与右视图图形流。在本发明的各种实施例中，左视图视频流、右视图视频流、左视图图形流和/或右视图图形流可以包括未压缩的数据。

在本发明的另一个实施例中，第一视频处理设备中的一个或多个处理器和/或电路，例如VRU 130可以接收和/或解码左视图和右视图视频流。另外，可以由第一视频处理设备，例如VRU 130生成左视图和右视图图形流。左视图视频流、右视图视频流、左视图图形流以及右视图图形流可以被压缩并无线传送给第二视频处理设备，例如视频显示设备114。就这一点而言，第一视频处理设备，例如VRU 130可以包括以下至少一种：例如机顶盒与计算机。第二视频处理设备，例如视频显示设备114可以包括三维和/或二维视频显示设备，例如电视机。

可以利用左视图和右视图图形信息生成左视图图形流和右视图图形流，左视图和右视图图形信息可以存储在第一视频处理设备，例如VRU 130中，和/或可以由第一视频处理设备，例如VRU 130接收。例如，第一视频处理设备，例如VRU 130中的图形处理器310可以生成左视图图形流和右视图图形流的图形对象。可以分别由左视图和右视图视频压缩模块320和/或左视图和右视图图形压缩模块322利用水平压缩技术对左视图视频流、右视图视频流、左视图图形流以及右视图图形流进行压缩。

第二视频处理设备，例如视频显示设备114可以通过第二无线接口160接收压缩的左视图视频流、压缩的右视图视频流、压缩的左视图图形流以及压缩的右视图图形流。另外，第二视频处理设备，例如视频显示设备114可以分别在左视图和右视图视频解压模块380与左视图和右视图图形解压模块382中解压接收到的包含左视图视频流、右视图视频流、左视图图形流以及右视图图形流的信息流。第二视频处理设备，例如视频显示设备114可以在左视图混合模块384中将左视图视频流与左视图图形流混合。类似地，第二视频处理设备，例如视频显示设备114可以在右视图混合模块384中将右视图视频流与右视图图形流混合。第二视频处理设备，例如视频显示设备114可以显示混合的左视图视频流与左视图图形流并可以显示混合的右视图视频流与右视图图形流。以这种方式，可以在VRU 130与视频显示设备114间通过无线通信方式进行三维视频与三维图形的通信，VRU 130可以是机顶盒，视频显示设备114可以是电视机。

本发明的另一个实施例可以提供一种机器和/或计算机可读存储器和/或媒介，其内存储的机器代码和/或计算机程序包括至少一个代码段，所述至少一个代码段由机器和/或计算机执行，从而使该机器和/或计算机执行上述通过无线通信链接进行三维视频通信的步骤。

因此，本发明可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计算机系统，使其按方法运行。

本发明还可以通过计算机程序产品进行实施，程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，可以实现本发明的方法。本文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功能：a)转换成其它语言、解码或符号；b)以不同的格式再现。

虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

Claims

1.一种用于处理视频的方法，其特征在于，包括：

解码包含左视图视频流和右视图视频流的三维视频；

通过所述第一视频处理设备的第一无线接口将所述左视图视频流、所述右视图视频流、左视图图形流以及右视图图形流进行无线通信；以及

在进行所述无线通信前，水平压缩所述左视图视频流和所述右视图视频流，以及独立地水平压缩所述左视图图形流和所述右视图图形流；

其中，所述左视图图形流和/或所述右视图图形流包括用于覆盖、混合和/或代替所述左视图视频流和/或所述右视图视频流数据的图形的信息，其中，利用基于所述图形的透明度而确定的混合因子将所述左视图视频流与所述左视图图形流和/或将所述右视图视频流与所述右视图图形流进行混合。

2.根据权利要求1所述的方法，其特征在于，所述第一视频处理设备包括以下至少一种：机顶盒和计算机。

3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括在进行所述无线通信前将所述右视图视频流与所述右视图图形流混合和/或将所述左视图视频流与所述左视图图形流混合。

4.根据权利要求1所述的方法，其特征在于，所述无线通信的左视图压缩视频流、所述右视图压缩视频流、所述左视图压缩图形流以及所述右视图压缩图形流由第二视频处理设备相应的第二无线接口接收，所述第二视频处理设备包括三维和/或二维视频显示设备。

5.一种用于处理视频的系统，其特征在于，包括：

解码包含左视图视频流和右视图视频流的三维视频；

6.根据权利要求5所述的系统，其特征在于，所述第一视频处理设备包括以下至少一种：机顶盒和计算机。

7.根据权利要求5所述的系统，其特征在于，所述一个或多个处理器和/或电路用于在进行所述无线通信前将所述右视图视频流与所述右视图图形流混合和/或将所述左视图视频流与所述左视图图形流混合。

8.根据权利要求6所述的系统，其特征在于，所述无线通信的左视图压缩视频流、所述右视图压缩视频流、所述左视图压缩图形流以及所述右视图压缩图形流由第二视频处理设备相应的第二无线接口接收，所述第二视频处理设备包括三维和/或二维视频显示设备。