CN102572475B - 计算设备中的立体3d视频支持 - Google Patents

Abstract

公开了用于在计算设备中支持立体3D视频的方法。一种计算设备可以接收采用YUV颜色空间和色度子采样的立体3D视频数据，并且可以从中产生补色立体视频数据。可以通过将立体3D视频数据解压为左右视图并且经由矩阵变换将左右视图组合成单个视图而产生补色立体视频数据。该组合使用了与视频管道配置相应的变换矩阵。变换矩阵系数可以取决于视频管道部件的特性。可以响应于视频管道配置的变化而使用修改的变换矩阵系数。根据用户输入和/或视频管道部件的特性，立体3D视频数据中编码的视频可以被选择成以立体3D、补色立体或者单视场形式显示。

Description

计算设备中的立体3D视频支持

技术领域

本公开涉及视频处理设备和方法。更特别地，本公开涉及计算设备中支持立体3D视频的方法。

背景技术

过去数年来，对于三维（3D）视频内容的需求随着日益增大的3D视频内容的可用性以及产生这种内容的能力而增加。例如，可用的3D电影、电视剧和视频游戏的数量相对于仅仅数年前可用的数量大大增加，并且市场上可获得的许多新的视频捕获设备具有3D捕获能力。

不同的立体技术可以用来允许用户体验3D视频。大多数3D视频技术要求用户配戴允许每只眼睛接收与另一只眼睛所接收图像稍有偏移的图像的一套眼镜。大脑将这两幅图像混合在一起并且将它们之间的差异解释为不同距离的结果，从而创建出深度错觉。一种常规的3D视频技术采用显示补色立体（anaglyph）图像，其中两幅不同滤色的彩色图像彼此叠加以产生深度效果。补色立体视频利用由不同颜色的左右镜片组成的眼镜进行观看，所述不同颜色与显示的补色立体图像中的颜色层相应。一种形式的补色立体眼镜是公知的包括红色和蓝色镜片的白卡纸框（white cardboard frame）眼镜，其被电影观众使用了大大超过半个世纪。蓝色镜片让红色图像到达一只眼睛并且红色镜片让蓝色图像到达另一只眼睛。深度错觉通过红色图像与蓝色图像之间的偏移创建。

在另一种立体技术（立体3D技术）中，预期用于左眼和右眼的图像快速连续地交替显示在显示器上。立体3D视频利用与显示器上左右图像的显示同步地交替使得眼镜的左右镜片变得不透明和透明的快门眼镜进行观看。换言之，当显示左图像时，左镜片透明且右镜片不透明，并且当显示右图像时，左镜片不透明且右镜片透明。再一次地，左右图像彼此稍微偏移以便创建深度错觉。

补色立体3D视频如此长时间地广泛使用的一个原因是其低成本。补色立体眼镜相对廉价并且补色立体视频可以在具有常规视频卡的常规显示器上显示。形成对照的是，快门眼镜花费可能比补色立体眼镜高一个数量级或者更多，并且可能需要高端显示器和优质视频卡以便以显示立体3D视频所需的增加的帧率显示和处理帧。除了成本增加之外，立体3D视频的另一个缺点在于，快门眼镜经常与特定商标或型号的显示器匹配。与一种显示器匹配的快门眼镜可能不允许在其他显示器上观看立体3D视频。

不管怎样，对于立体3D的需求是强烈的，因为立体3D视频可以提供比补色立体视频更高的颜色质量。快门眼镜典型地允许基本上整个颜色频谱透射到每只眼睛并且因而不遭受利用补色立体眼镜可能出现的“鬼影”或“串扰”。然而，不是所有的用户都可能希望为立体3D视频硬件花钱。因此，需要为用户提供使用常规技术观看来自立体3D视频源的3D视频的能力。

发明内容

本发明内容部分被提供以便以简化的形式引入概念的选择，这些概念此后在具体实施方式中进一步加以描述。本发明内容部分并不预期识别要求保护的主题的关键特征或基本特征，也不预期用来帮助确定要求保护的主题的范围。

公开了用于在计算设备中支持立体3D视频的方法。如果计算设备接收立体3D视频以便在显示器处输出，那么如果显示器能够显示立体3D视频，则该设备将立体3D视频数据传递至显示器。如果不能，则处理器产生用于显示的补色立体视频（例如非立体3D视频）或者单视场（monoscopic）视频（例如2D视频）。

在一个实施例中，视频处理器可以通过将从立体3D视频数据解压（unpack）的左右视图组合成单个补色立体视图而产生补色立体视频数据。立体3D视频数据可以采用YUV颜色方案和色度子采样，例如4:2:0或4:2:2色度子采样。可以通过对左右视图执行矩阵变换而产生补色立体视频数据。变换矩阵可以与视频管道配置相应，并且变换矩阵系数可以取决于管道内的部件的特性，例如显示器、视频捕获设备和观看眼镜的特性。原始装备制造商可以提供修改的补色立体变换矩阵系数，这些系数调谐到不同视频管道配置中使用的特定视频部件。这些修改的补色立体变换矩阵系数可以提供给计算设备并且用于产生补色立体视频数据。

在另一个实施例中，用户可以选择显示器处输出的视频的格式。选择的视频显示格式可以是立体3D、补色立体或者单视场视频。该选择可以基于显示器或观看眼镜的特性或者用户输入。用户可以响应于计算设备呈现的查询或者独立于设备提示而选择视频显示格式。

本发明的前面的和其他的目的、特征和优点根据以下详细描述将变得更加清楚明白，该描述参照附图而进行。

附图说明

图1为绘出示例性计算设备的系统图。

图2示出了其中可以实现所描述的实施例、技巧和技术的适当实现环境的一般化实例。

图3为示例性视频管道的框图。

图4(a)-4(e)示出了不同的色度采样方案和色度采样布置。

图5为选择视频显示格式的示例性方法的流程图。

图6(a)-6(b)示出了从使用4:2:0和4:2:2色度子采样的立体3D视频数据示例性地产生补色立体视频数据。

图7为从立体3D视频数据产生补色立体视频数据的示例性方法的流程图。

具体实施方式

当在本申请中以及在权利要求书中使用时，单数形式“一”、“一个”和“该”包括复数形式，除非上下文清楚地另有规定。类似地，措词“或”预期包括“和”，除非上下文清楚地另有规定。措词“包括”意味着“包含”；因此，“包括A或B”意味着包含A或B以及同时包含A和B。此外，措词“包含”意味着“包括”。

图1为绘出示例性计算设备100的系统图，该设备可以用来执行本文描述的任何方法。通常，计算设备100中的部件105可以与其他部件通信，尽管为了便于说明未示出所有的连接。计算设备100可以包括各种各样的可选的硬件和软件部件105。计算设备可以是各种各样的移动或非移动计算设备中的任何计算设备（例如智能电话；手持式、上网本、笔记本、平板或台式计算机；个人数字助理（PDA）；服务器），并且可以允许与一个或多个诸如蜂窝或卫星网络之类的移动通信网络107进行无线双向通信。

所示的计算设备100可以包括控制器或处理器110（例如信号处理器、图形处理单元（GPU）、微处理器、ASIC或者其他控制和处理逻辑电路或软件），用于执行诸如信号编码、图形处理、数据处理、输入/输出处理、功率控制之类的任务和/或其他功能。操作系统112可以控制部件105的分配和使用并且支持一个或多个应用程序114。这些应用程序可以包括常见的移动计算应用程序（例如电子邮件应用程序、日历、联系管理器、web浏览器、消息传送应用程序）或者任何其他计算应用程序。

所示出的计算设备100可以包括存储器120。存储器120可以包括不可移除存储器122和可移除存储器124。不可移除存储器122可以包括RAM、ROM、闪存、硬盘驱动器或者其他公知的记忆存储技术。可移除存储器124可以包括闪存卡（例如SD（安全数字）卡）、记忆棒、GSM（全球移动通信系统）系统中公知的订户身份模块（SIM）卡或者其他公知的记忆存储技术，例如“智能卡”。存储器120可以用于存储用于运行操作系统112和应用程序114的数据和/或计算机可执行指令。实例数据可以包括要由计算设备100经由所述一个或多个有线或无线网络107发送至和/或接收自一个或多个网络服务器或其他设备的网页、文本、图像、声音文件、视频数据或者其他数据集。存储器120可以用来存储诸如国际移动订户身份（IMSI）之类的订户标识符以及诸如国际移动装备标识符（IMEI）之类的装备标识符。这样的标识符可以传送至网络服务器以便识别用户和装备。计算设备100也可以有权访问外部存储器126，该外部存储器可以包括例如外部硬盘驱动器或者计算设备100可通过有线或无线本地或网络连接访问的任何记忆存储装置。

计算设备100可以支持一个或多个诸如触摸屏132、麦克风134、照相机136、物理键盘138和跟踪球139之类的输入设备130，以及一个或多个诸如扬声器142、显示器144和3D观看眼镜146（例如补色立体或快门眼镜）之类的输出设备140。照相机136可以是能够捕获和产生3D图像或视频的视频捕获设备。其他可能的输出设备（未示出）可以包括压电或其他触觉输出设备。输入设备130和输出设备140中的任何一个都可以位于计算设备100的内部、外部或者可移除地可与计算设备100附接在一起。外部输入和输出设备130和140可以经由有线或无线网络连接与计算设备100通信。一些设备可以服务超过一个输入/输出功能。例如，触摸屏132和显示器144可以组合在单个输入/输出设备中。

无线调制解调器160可以耦合到无线调制解调器天线162并且可以支持计算设备100与外部设备之间的双向通信，这是本领域中容易理解的。调制解调器160和天线162被笼统地示出，并且可以是用于与移动蜂窝通信网络通信的无线蜂窝调制解调器。无线调制解调器160可以包括其他基于无线电的调制解调器，例如Wi-Fi调制解调器163或者蓝牙调制解调器164，其中每一个都可以耦合到其自身的天线（例如Wi-Fi天线168、蓝牙天线169）。无线调制解调器160典型地被配置用于与一个或多个诸如GSM网络之类的蜂窝网络通信以便在单个蜂窝网络内、在蜂窝网络之间或者在计算设备与公共交换电话网络（PSTN）之间进行数据和语音通信。

计算设备100可以进一步包括至少一个包括物理连接器172的输入/输出端口170（其可以为例如USB端口、IEEE 1394（火线）端口和/或RS-232端口）、电源174、诸如GPS接收器175之类的卫星导航系统接收器、陀螺仪176、加速度计177和罗盘178。GPS接收器175可以耦合到GPS天线179。此外，计算设备100可以包括AM/FM天线180，该天线耦合到AM/FM接收器185以便接收AM/FM无线电信号发送器广播的无线电信号。计算设备100可以进一步包括耦合到一个或多个附加的接收器、发送器和/或收发器195以便允许实现各种不同的附加功能的一个或多个附加的天线190。例如，计算设备100可以包括耦合到附加的接收器195的附加的天线190，该附加的接收器被配置成接收和处理数字音频无线电服务（DARS）信号以便在计算设备100或者附接的附件处输出。

尽管不同的天线被示为计算设备100的单独的硬件部件，但是可以将它们结合到其他部件中。例如，可以将GPS天线179结合到GPS接收器175中。此外，可以将图1中示为分开的天线实现为单个天线。例如，AM/FM天线180和GPS天线179可以是由GPS接收器175和AM/FM接收器185共享的单个天线。此外，可以将多个天线连接到开关以便允许将部件耦合到若干天线源之一或者耦合到超过一个天线源。例如，可以将AM/FM接收器185连接到允许AM/FM天线180或者计算设备100外部的天线用作AM/FM接收器天线源的开关（未示出）。该开关也可以被配置成允许AM/FM天线180和外部天线二者或者多个外部天线同时用作用于AM/FM接收器185的天线源。

所示的部件105不是必需的或者包括一切的，因为可以删除任何部件并且可以添加其他部件。

图2示出了其中可以实现所描述的实施例、技巧和技术的适当实现环境200的一般化实例。

在实例环境200中，通过云210提供不同类型的服务（例如计算服务）。例如，云210可以包括可以位于中心或者为分布式的计算设备集合，这些计算设备将基于云的服务提供给经由诸如因特网之类的网络连接的不同类型的用户和设备。实现环境200可以以不同的方式用来完成计算任务。例如，一些任务（例如处理用户输入和呈现用户接口）可以在本地计算设备（例如连接的设备230、240、250）上执行，而其他任务（例如存储要在后续处理中使用的数据）可以在云210中执行。

在实例环境200中，云210为具有各种各样的屏幕能力的连接的设备230、240、250提供服务。连接的设备230代表具有计算机显示器235（例如中等尺寸显示器）的设备。例如，连接的设备230可以是台式、膝上型、笔记本、上网本或平板计算机等等。连接的设备240代表具有计算设备显示器245（例如小尺寸显示器）的计算设备。例如，连接的设备240可以是移动电话、智能电话、个人数字助理等等。连接的设备250代表具有大的显示器255的设备。例如，连接的设备250可以是具有因特网连接的电视或者连接到另一个设备的电视，所述另一个设备能够连接到云，例如机顶盒、游戏控制台等等。连接的设备230、240、250中的一个或多个可以包括触摸屏能力。没有显示能力的设备也可以用在实例环境200中。例如，云210可以为没有显示器的一个或多个计算机（例如服务器计算机）提供服务。

服务可以由云210通过服务提供商220或者通过在线服务的其他提供商（未绘出）提供。例如，可以根据特定连接的设备（例如连接的设备230、240、250）的显示器尺寸、显示能力和/或触摸屏能力定制云服务。可以由服务提供商220提供的服务包括例如电子邮件、短消息服务（SMS）、多媒体消息服务（MMS）、社交网络、网站托管以及提供3D视频内容。服务提供商可以托管提供各种各样的商品和服务的在线市场，所述商品和服务例如软件应用程序和升级以及媒体内容，其可以由用户经过购买或者无需购买而获得以及用于从云下载或者通过邮件递送。

在实例环境200中，云210至少部分地使用服务提供商220将本文描述的技术和解决方案提供给不同的连接的设备230、240、250。例如，服务提供商220可以为不同的基于云的服务提供集中式解决方案。服务提供商220可以为用户和设备（例如为连接的设备230、240、250及其各自用户）管理服务订购。

图3示出了可以用来实现本文描述的不同方法的示例性视频管道300的框图。视频管道300包括立体3D视频源310、视频处理器320和显示器330。任何视频管道部件都可以在特定计算设备的内部或外部。例如，视频记录器、视频处理器320和显示器330可以集成到膝上型计算机、平板计算机或者智能电话中。在另一个实例中，视频处理器320可以在台式计算机的内部，立体3D视频源可以是可连接到台式计算机的便携式手持视频记录器，并且显示器330可以在台式计算机的外部。在又一个实例中，立体3D视频源（例如网络摄像机）310可以集成到膝上型计算机中，视频处理器320可以是由基于云的服务提供商提供的服务，并且显示器330可以是相对于膝上型计算机的远程显示器，例如电视。尽管未示出，但是3D观看眼镜（例如快门眼镜、补色立体眼镜）也被认为是视频管道的一部分。

立体3D视频源310可以是提供或产生立体3D视频数据340的源。立体3D视频源310可以是例如诸如手持式照相机之类的视频捕获设备、视频记录器或网络摄像机、内部或外部存储器或者基于云的服务提供商。立体3D视频数据340和350可以是可以用于产生单独的左右图像的数据，所述左右图像在显示器上观看时创建深度错觉。立体3D视频数据340和350可以用来产生快速连续地在显示器330上交替地显示的时间复用的左右图像，或者产生空间复用的左右图像，所述空间复用的左右图像同时且彼此邻近地（即左右图像并排（水平平铺）地显示）或者一个在另一个上方地（竖直平铺地）显示。

立体3D视频数据340和350可以遵照任何立体3D视频标准。例如，立体3D视频数据340和350可以遵照H.264/MPEG-4部分10编解码器标准，该标准使用YUV颜色空间并且采用色度子采样。当在本文中使用时，YUV颜色空间指的是可以按照单个视亮度（brightness）分量（Y）和两个颜色分量（UV）描述的任何颜色空间。因此，YUV颜色空间可以指例如YCbCr、YPbPr颜色空间以及指任何数量的YUV像素格式，例如YUY2、NV12、UVUY等等。此外，每个YUV分量可以代表经过伽玛压缩或未经过伽玛压缩的值。例如，YUV颜色空间可以指Y’UV颜色空间，其中视亮度分量为亮度（luma）值Y’，该值为光亮度（luminance）值Y的伽玛压缩版本。

采用色度子采样的诸如H.264标准之类的视频压缩标准利用了人眼对于视亮度的变化比对于颜色的变化更加敏感这一事实以便以降低的比特率编码彩色视频。通常，色度子采样方案可以表示为三部分比率J:a:b，其描述J像素宽和2像素高的概念区中的亮度和色度样本的数量。通常，“a”代表在概念区第一行像素中采取的色度样本的数量，并且“b”代表第二行像素中的附加色度样本的数量。

图4(a)-4(e)示出了4像素宽（J=4）和2像素宽的概念区的不同的色度采样方案和色度采样布置，所述概念区尺寸典型地用于描述色度采样方案。图像像素，即作为显示器处输出的图像的一部分的像素，通过具有细线的框表示。色度采样区，即其中采取单个色度样本的区域，通过具有粗线的框表示。点指示在色度样本区内的什么地方采取色度样本。在图4(a)-4(d)中，色度采样区与图像像素对准。换言之，色度采样区边界与图像像素边界重合。在每个色度采样方案中，在4x2像素概念区内采取八个亮度样本，对于每个图像像素采取一个亮度样本。

图4(a)示出了4:4:4色度采样方案410，例如采样RGB颜色空间的编码中使用的方案。在RGB编码中，在每个图像像素处采取红色、绿色和蓝色样本。沿着概念区的第一行采取四个色度样本，并且沿着概念区的第二行采取另外四个色度样本。因此，对于每个4:4:4概念区而言，在八个位置处采取三色样本，总共24个样本。

图4(b)示出了使用YUV颜色空间的编码中使用的4:2:0色度子采样方案420。在4:2:0色度子采样中，沿着第一行像素采取两个色度样本，并且在第二行像素中不采取附加的色度样本。因此，每个概念区中采取四个色度样本（2个U, V色度样本对），第一U, V色度样本对针对四个最左边的图像像素，并且第二U, V色度样本对针对四个最右边的图像像素。因此，在4:2:0色度子采样方案中，对于每个4x2像素区采取总共十二个样本——8个亮度样本和4个色度样本。

图4(c)示出了4:2:2色度子采样方案430。沿着概念区的第一行采取两个色度样本，并且沿着概念区的第二行采取附加的两个色度样本。因此，在每个八像素区域中采取八个色度样本（4个U, V色度样本对），给出总共16个样本——8个亮度样本和8个色度样本。

因此，4:2:0和4:2:2色度子采样方案允许分别利用相对于4:4:4色度样本方案所需比特数的一半比特数和三分之二比特数表示图像和视频。因此，使用YUV颜色空间和色度子采样编码的视频数据相对于使用RGB颜色空间编码的视频数据提供了以降低的比特率递送彩色图像或视频。

图4(a)-4(c)示出了“居中的”色度采样布置，其中在色度样本的各自色度采样区的质心处采取色度样本。例如，参照图4(b)，在色度采样区的中心采取U, V样本，该中心位于四个相应图像像素的中间。存在其他的“非居中的”色度采样布置，并且这里描述的方法可以对任何色度采样布置起作用。

图4(d)示出了用于4:2:0色度子采样方案的非居中的色度采样布置440，其中在色度采样区内的最左上图像像素处采取色度样本。尽管图4(a)-4(d)示出了其中色度采样区与图像像素对准的色度采样方案，但是这里描述的方法可以用于“非对准的”色度采样布置。色度采样区可以偏离图像像素，例如图4(e)中所示的色度采样布置450。

视频处理器320能够接收立体3D视频数据340，从立体3D视频数据340产生补色立体视频数据360或单视场视频数据370，并且将立体3D视频数据350、补色立体视频数据360或单视场视频数据370传送给显示器330。视频处理器320可以以硬件或软件实现，并且可以集成到计算设备或显示器330中，或者由基于云的服务提供。在计算设备内，视频处理器可以集成到控制器110或操作系统112中，或者为独立的硬件或软件部件。

视频处理器320可以通过检查接收的视频数据的内容而检测接收的视频数据包括立体3D视频数据340。例如，视频处理器320可以包括H.264解码器，该解码器确定接收的数据是否与H.264兼容。如果视频处理器320检测到H.264兼容的视频，那么它可以注意任何补充增强信息（SEI）以便获得关于该数据的附加信息。例如，具有有效载荷22的SEI包含立体视频信息并且具有有效载荷25的SEI包含帧包装信息。这些有效载荷可以提供关于视频数据的立体3D性质的信息，例如哪个字段或哪个帧用于哪个视图（左/右视图）。

视频处理器320也可以处理遵照H.264标准的多视图视频编码（MVC）特征的立体3D视频数据。多视图视频编码是H.264标准的修正，其允许编码从多个照相机同时捕获的视频。多视图视频编码包括支持任意数量的视图的多视图高级规范（profile），以及支持两个视图的立体高级规范。

视频处理器320可以接收指示关于立体3D视频数据340和350的信息的用户输入。例如，如果视频处理器320将立体3D视频数据350传递给显示器330，并且观看者看见设置成邻近彼此的两个视频，那么观看者可以通过用户接口将该信息提供给计算设备。例如，用户可以向计算设备提供指示显示器330正在显示水平或竖直地平铺的视频的输入。

除了接收视频数据以及检测立体3D视频数据的存在之外，视频处理器可以在将视频数据传送给显示器330时选择要使用的视频数据格式。例如，视频处理器320可以选择立体3D、补色立体或者单视场视频格式。如果视频处理器选择了立体3D视频，那么视频处理器可以以相同的立体3D视频格式将接收的立体3D视频数据340传递至显示器330，或者将接收的立体3D视频数据340转换成另一种立体3D视频格式。当在本文中使用时，术语“视频数据格式”指的是数据编码视频的格式，而术语“视频显示格式”指的是在显示器处输出的视频的格式。因此，例如，立体3D视频数据格式的数据编码视频可以用来产生在显示器处以立体3D视频显示格式输出的视频。

可替换地，视频处理器320可以选择非立体3D视频显示格式（例如补色立体或单视场）以便以立体3D视频数据340编码的视频进行显示。视频处理器320可以基于例如显示器330的能力和/或用户输入340做出该选择。例如，视频处理器320可以基于显示器330是否能够显示立体3D视频而选择视频显示格式。

出于各种不同的原因，立体3D视频可能不能够在显示器330处输出。例如，显示器330可能没有足够高的刷新率以用于显示时间复用的立体3D视频。此外，视频管道300中视频处理器（例如视频卡、设备驱动程序）下游的其他硬件或软件部件可能不支持立体3D视频。视频处理器320可以通过向这些下游部件查询它们的能力或者通过被下游部件通知处理立体3D视频以便在显示器330处输出的尝试失败，而确定是否可以在显示器330处观看立体3D视频。例如，视频处理器320可以尝试在处理立体3D视频帧之前分配和准备输出视频缓冲器。如果由于视频管道的硬件或软件缺点的原因，视频处理器320不能分配立体3D视频缓冲器，那么它可以确定不能在显示器330处输出立体3D视频。

此外，视频处理器320可以基于3D观看眼镜是否处于计算设备或显示器330的通信范围之内而选择视频显示格式。例如，立体3D观看眼镜可以被配置成将指示眼镜处于显示器的通信范围之内的数据传送至显示器330或计算设备。眼镜可以在不同的时间发送该信号，例如在眼镜打开时、以周期性间隔或者响应于接收到来自显示器330的同步信号而发送该信号。

视频处理器也可以基于用户输入而选择视频显示格式。在一些实施例中，计算设备可以查询用户以便选择显示器330处的视频显示格式。如果可以在显示器330处输出立体3D视频，那么所述查询可以要求用户从以下视频显示格式中的两个或更多个格式之中进行选择：立体3D、补色立体或者单视场视频。如果不能在显示器330处显示立体3D视频，那么所述查询可以要求用户在补色立体与单视场视频之间进行选择。可以在显示器330处或者在计算设备可访问的任何用户接口处向用户呈现该查询。可以在例如视频处理器320第一次接收到立体3D视频数据340时或者每次接收到立体3D视频数据340时做出该查询。此外，用户可以在单独的软件应用程序中或者通过设置诸如操作系统的参数之类的系统级参数选择视频显示格式。此外，用户可以在不被计算设备查询的情况下选择视频显示格式。例如，自己观看3D视频的用户可以在几个朋友到来并且不存在足够分配的3D观看眼镜的情况下选择单视场视频，并且然后在他的朋友离开之后选择补色立体或立体3D视频。如果选择了补色立体或单视场视频，那么视频处理器320将立体3D视频数据340转换成补色立体视频数据360或者单视场视频370。如果选择了立体3D视频数据，那么视频处理器将立体3D视频数据340作为立体3D视频数据350传递至显示器330。

图5为用于选择视频显示格式的示例性方法500的流程图。方法500可以例如由膝上型计算机执行，该计算机在电视上输出外部视频记录器捕获的3D视频。在510处，在计算设备处接收采用YUV颜色空间的立体3D视频数据。在该实例中，膝上型计算机接收视频记录器捕获的立体3D视频数据。接收的视频数据可以是从记录设备流送的“直播”视频或者存储的先前捕获的视频数据。立体3D视频是使用YUV颜色空间编码的。在520处，从以下格式中的至少两个中选择视频显示格式：立体3D视频、补色立体视频和单视场视频。在该实例中，用户从作为膝上型显示器或电视上示出的查询而呈现给他的立体3D、补色立体和单视场视频显示格式的列表中选择补色立体视频。在530处，以选择的视频显示格式显示立体3D视频数据中编码的视频。在该实例中，在电视处以补色立体形式向用户显示视频捕获设备捕获的视频。

图6(a)示出了从采用YUV颜色空间和4:2:0色度子采样的立体3D数据示例性地产生补色立体视频数据610。视频处理器可以通过将立体3D视频YUV 4:2:0数据解压成左视图数据620和右视图数据630并且然后将左右视图数据620和630组合成单个补色立体视图或者补色立体视频数据610而产生YUV 4:2:0补色立体视频数据610。YUV 4:2:0补色立体数据610可以使用以下方程产生：

其中YL0-YL3为左视图的亮度样本，UL和VL为左视图的色度样本；YR0-YR3为右视图的亮度样本，UR和VR为右视图的色度样本；Y0-Y3为补色立体视频数据的亮度样本，并且U和V为补色立体视频数据的色度样本；ML-_420和MR-_420为具有如下形式的补色立体变换矩阵：

其中a、b、c、d0-d3、e、f、g0-g3、h和i为补色立体变换矩阵系数。得到的YUV 4:2:0补色立体视频数据610可以具有正确的最小显示孔径以及要正确地在显示器上显示的像素高宽比。在多视图视频编码的情况下，无需调节像素高宽比。补色立体帧的正确再现可能依赖于再现引擎兑现（honor）高宽比以及用于帧的视频数据中包含的其他标志。d0-d3和g0-g3变换矩阵系数取决于色度采样布置。在一些实施例中，色度值缩放为处于[-128, 127]范围内。

在一个实施例中，下面的ML-_420和MR-_420补色立体变换矩阵可以用于从使用ITU-R（国际电信联盟无线电通信部门）推荐BT.709色域编码的立体3D视频产生补色立体视频数据：

补色立体变换矩阵（例如ML-_420、MR-_420）可以与特定视频管道配置相应。视频管道配置与视频管道部件的组合以及这些部件的设置相应。例如，一种视频管道配置可以与和膝上型计算机一起提供的立体3D视频源、显示器和观看眼镜组合相应。补色立体变换矩阵系数可以取决于视频管道配置内的部件特性。例如，补色立体变换矩阵系数可以基于以下一个或多个：色度采样方案、色度采样布置、视频捕获设备特性、显示器特性和观看眼镜特性。例如，不同的视频捕获设备和显示器可能具有不同的色域，补色立体眼镜可以具有不同颜色组合（例如红色-蓝色、红色-绿色、红色-青色、绿色-品红色）的镜片，并且视频捕获设备可以使用不同的色度采样布置采样色度值并且可以具有变化的色域。

可以将补色立体变换矩阵系数设置为缺省或修改的系数。缺省系数可以与对于一系列视频管道部件或者对于缺省视频管道配置（例如与计算设备一起提供的视频管道配置）起作用的一般值相应。例如，OEM（原始装备制造商）台式计算机制造商可以确定说明集成到台式计算机中的显示器和照相机使用的色域或光谱的一组缺省补色立体变换矩阵系数。

修改的系数可以与视频管道配置的变化相应。换言之，色度采样方案、色度采样布置、立体3D视频源、显示器或观看眼镜的任何变化都可能导致修改的补色立体变换矩阵系数用于产生补色立体视频数据。这些修改的系数可以例如由立体3D视频源、显示器或眼镜提供（例如存储在这些部件的存储器中并且在部件连接到计算设备时提供给计算设备），或者通过计算设备访问所述云并且从OEM或零售商网站下载修改的系数而提供。

修改的系数可以由用户、应用程序、操作系统、显示器、观看眼镜或者访问通过视频处理器320暴露的应用程序接口（API）的立体3D视频源提供。缺省或修改的系数也可以通过设置视频处理器320可访问的操作系统参数而提供。在一些实施例中，无需转化或映射以便使得修改的系数与特定立体3D视频数据到补色立体视频数据的转换兼容。例如，为了从立体3D YUV 4:2:0视频数据产生补色立体YUV 4:2:0视频数据，修改的系数包括上面描述的ML-_420和MR-_420变换矩阵中使用的系数a、b、c、d0-d3、e、f、g0-g3、h和i中的一个或多个。

修改的补色立体变换矩阵系数可以从多个源提供。例如，可以由于立体3D视频源的变化而提供一个或多个修改的系数，并且可以由于显示器的变化而提供一个或多个其他修改的系数。而且，可以针对单个补色立体变换矩阵系数提供多个修改的系数。例如，显示器的变化和观看眼镜的变化可能导致针对相同的补色立体变换矩阵系数提供修改的系数。在这种情况下，视频处理器可以基于接收的所述多个修改的系数而产生新的修改的系数。

视频处理器320可以将用于产生使用第一颜色空间和色度采样组合的补色立体视频数据的缺省或修改的补色立体变换矩阵系数映射为用于产生使用第二颜色空间和色度采样组合的补色立体视频数据的系数。例如，如果向视频处理器320提供用于从立体3D视频数据产生使用YUV颜色空间和4:4:4色度采样组合的补色立体视频的系数，所述立体3D视频数据也使用了YUV颜色空间和4:4:4色度采样，那么可以依照以下方程产生补色立体视频数据：

其中YL、UL和VL为立体3D左视图数据的色度样本；YR、UR和VR为立体3D右视图数据的色度样本；Y、U和V为补色立体视频数据的色度样本；并且ML-_444和MR-_444为具有以下形式的补色立体变换矩阵：

其中a-i为补色立体变换矩阵系数。

视频处理器320可以将Mx-_444变换矩阵系数变换为Mx-_420变换矩阵系数以便产生使用4:2:0色度子采样的补色立体视频数据。该变换可以说明4:4:4和4:2:0色度采样方案以及所用的色度采样布置方面的差异。例如，Mx-_420变换矩阵色度系数（d0-d3、e、f、g0-g3、h和i）的产生包括向下缩放Mx-_444色度变换矩阵系数以说明以下事实：每个4:2:0色度样本与四个4:4:4色度样本相应。在一些实施例中，Mx-_420色度系数的和总计为它们的相应Mx-_444色度系数（即d0+d1+d2+d3=d；g0+g1+g2+g3=g）。如果Mx-_444和Mx-_420矩阵系数与其中在色度采样区的中心采取色度样本的色度采样布置相应，那么d0=d1=d2=d3=d/4并且g0=g1=g2=g3=g/4。d0-d3和g0-g3的值可以随着不同的色度采样布置而变化。

图7为代替立体3D视频显示补色立体视频的示例性方法700的流程图。方法700可以例如通过流送来自基于云的服务提供商的立体3D视频的膝上型计算机执行。在710处，接收采用YUV颜色空间的立体3D视频数据。在该实例中，膝上型计算机流送来自基于云的服务提供商的以立体3D视频显示格式编码且采用YUV颜色空间的3D电影。在720处，使用计算设备从立体3D视频数据产生补色立体视频数据。在该实例中，台式计算机从立体3D视频数据产生补色立体视频。补色立体数据的产生包括在730处将立体3D视频数据解压为左视图和右视图，并且在740处将左右视图组合成单个视图。补色立体视频数据包括该单个视图。在该实例中，膝上型计算机将立体3D视频数据解压为左右视图并且将它们组合成单个视图。在750处，以补色立体形式显示立体3D视频数据中编码的视频。在该实例中，在膝上型显示器处以补色立体形式显示流送的电影。

图6(b)示出了从采用YUV颜色空间和4:2:2色度子采样的立体3D数据示例性地产生补色立体视频数据650，所述立体3D数据例如遵照H.264标准保真范围扩展的立体3D视频数据。采用YUV颜色空间和使用4:2:2色度子采样的补色立体视频数据650可以使用以下方程根据从立体3D视频数据解压的左视图数据660和右视图数据670产生：

其中YL0和YL1为左视图数据的亮度样本，UL和VL为左视图数据的色度样本，YR0和YR1为右视图数据的亮度样本，UR和VR为右视图数据的色度样本，Y0和Y1为补色立体视频数据的亮度样本，U和V为补色立体视频数据的色度样本；并且ML_422和MR_422为具有以下形式的补色立体变换矩阵：

其中a、b、c、d0、d1、e、f、g0-g1、h和i为补色立体变换矩阵系数。

尽管这里讨论了产生使用YUV颜色空间且使用4:2:2或4:2:0色度子采样方案编码的补色立体视频数据610和650，但是所公开的方法并不限于此。视频处理器320可以以类似的方式从使用其他色度采样方案、色度采样布置或者采用其他颜色空间的立体3D视频数据产生补色立体数据。

返回图3，显示器330可以是计算设备可访问的显示器。显示器330可以是诸如智能电话触摸屏或膝上型LCD显示器之类的集成显示器、与计算设备通信的外部监视器或电视或者计算设备可经由云访问的任何远程显示器。显示器330可以包括位于视频处理器320下游的任何视频管道硬件和软件。例如，显示器可以包括设备驱动程序、视频卡、再现引擎、数字信号处理器、图形处理单元等等。

用于实现所公开的技术的任何计算机可执行指令以及实现所公开的实施例期间创建和使用的任何数据都可以存储到一个或多个计算机可读介质（例如非暂时性计算机可读介质，如一个或多个光学介质盘，易失性存储器部件（例如DRAM或SRAM）或者非易失性存储器部件（例如闪存或硬盘驱动器））并且在计算机（例如任何商业上可获得的计算机，包括智能电话或其他包含计算硬件的移动计算设备）上执行。计算机可执行指令可以是例如专用软件应用程序或者被访问的或经由web浏览器下载的软件应用程序或者其他软件应用程序（例如远程计算应用程序）。这样的软件可以例如在单个本地计算机（例如任何适当的商业上可获得的计算机）上执行或者在网络环境中（例如经由因特网、广域网、局域网、客户端-服务器网络（例如云计算网络）或者其他这样的网络）使用一个或多个网络计算机执行。

为了清楚起见，仅仅描述了基于软件的实现方式的特定选择的方面。本领域中公知的其他细节被省略。例如，应当理解的是，所公开的技术并不限于任何特定的计算机语言或程序。例如，所公开的技术可以通过用C++、Java、Perl、JavaScript、Adobe Flash或者任何其他适当的编程语言编写的软件实现。同样地，所公开的技术并不限于任何特定的计算机或者特定类型的硬件。适当的计算机和硬件的特定细节是公知的并且不必在本公开中详细阐述。

此外，可以上传、下载或者通过适当通信方式远程地访问任何基于软件的实施例（包括例如用于使得计算机执行任何公开的方法的计算机可执行指令）。这样的适当通信方式包括例如因特网、万维网、内联网、软件应用程序、缆线（包括纤维光缆）、磁通信、电磁通信（包括RF、微波和红外通信）、电子通信或者其他这样的通信方式。

所公开的方法、装置和系统不应当以任何方式视为限制性的。相反地，本公开针对单独的以及彼此不同组合和子组合的不同公开实施例的所有新颖和非显而易见的特征和方面。所公开的方法、装置和系统并不限于任何特定的方面或特征或者其组合，所公开的实施例也不要求任何一个或多个特定优点存在或者问题被解决。

本文参照本公开的装置或方法给出的操作理论、科学原理或其他理论描述出于更好地理解的目的而被提供，并非意在限制范围。所附权利要求书中的装置和方法并不限于以通过这样的操作理论描述的方式起作用的那些装置和方法。

尽管为了方便陈述起见以特定的连续顺序描述了一些公开的方法的操作，但是应当理解的是，这种描述方式涵盖重新布置，除非下面阐述的特定语言要求特定的排序。例如，顺序地描述的操作在一些情况下可以重新布置或者并发地执行。而且，为了简单起见，附图不可能示出其中所公开的系统、方法和装置可以与其他系统、方法和装置结合使用的各种不同的方式。

此外，说明书有时使用像“产生”和“提供”那样的措词来描述所公开的方法。这些措词是执行的实际计算机操作的高层次抽象。与这些措词相应的实际计算机操作将根据特定实现方式而变化并且容易为本领域普通技术人员所辨明。

图示且描述了所示实施例的原理之后，可以在不同的布置中修改这些实施例，同时仍然保持忠实于上面描述的概念。考虑到所公开的发明的原理可以适用的许多可能的实施例，应当认识到，所示实施例仅仅是本发明的优选的实施例并且不应当被认为限制了本发明的范围。相反地，本发明的范围由以下权利要求书限定。我们因此主张落入这些权利要求的范围内的都是我们的发明。

Claims (5)

1.一种代替立体3D视频显示补色立体视频的方法，该方法包括：

通过视频管道接收采用YUV颜色空间的立体3D视频数据（340），其中所述视频管道包括多个视频管道部件，其中所述多个视频管道部件包括至少视频处理器和显示器；

使用计算设备（100）从立体3D视频数据（340）产生补色立体视频数据（360），所述产生包括：

     将立体3D视频数据（340）解压为左视图和右视图；以及

     将左视图和右视图组合成单个视图，补色立体视频数据（360）包括该单个视图，其中所述组合使用与视频管道（300）配置相应的补色立体变换矩阵，并且其中补色立体变换矩阵包括取决于视频管道（300）内的多个视频管道部件的配置特性的补色立体变换矩阵系数；以及

以补色立体形式显示立体3D视频数据（340）中编码的视频。

2.权利要求1的方法，其中在显示器（144，330）上显示立体3D视频数据（340）中编码的视频，并且补色立体变换矩阵系数中的至少一个取决于以下部件的一个或多个特性：显示器（144，330）、用来捕获立体3D视频数据（340）中编码的视频的视频捕获设备（310）以及用来观看显示器（144，330）的补色立体眼镜（146）。

3.权利要求1的方法，该方法进一步包括：

响应于视频管道（300）配置的变化而接收一个或多个修改的补色立体变换矩阵系数；以及

使用所述一个或多个修改的补色立体变换矩阵系数产生补色立体视频数据（360）。

4.权利要求3的方法，其中所述一个或多个修改的补色立体变换矩阵系数用于产生使用第一颜色空间和色度采样组合的补色立体视频数据（360），所述方法进一步包括变换所述一个或多个修改的补色立体变换矩阵系数以便用于产生使用第二颜色空间和色度采样组合的补色立体视频数据（360）。

5.权利要求1的方法，其中立体3D视频数据（340）采用4:2:0色度子采样并且补色立体视频数据（360）使用以下公式产生：

其中YL0-YL3为左视图的亮度样本，UL和VL为左视图的色度样本；YR0-YR3为右视图的亮度样本，UR和VR为右视图的色度样本；Y0-Y3为补色立体视频数据（360）的亮度样本，并且U和V为补色立体视频数据（360）的色度样本；ML和MR-为具有如下形式的补色立体变换矩阵：

其中a、b、c、d0-d3、e、f、g0-g3、h和i为补色立体变换矩阵系数。