CN105993171A - 用于立体三维视频处理的技术 - Google Patents

Abstract

一种用于处理立体三维视频的装置包括：存储器，用于存储立体三维(S3D)视频的编码的立体三维视频帧，其中S3D视频帧包括左帧、右帧和深度帧。该装置可包括处理器，用于检索深度帧的像素(x，y)，该像素(x，y)包括参考设备深度(x，y)。该装置还可包括设备知晓解码器组件，用于基于像素(x，y)为左帧中的左像素以及右帧中的右像素确定像素对的位置，并基于参考设备深度(x，y)以及用于呈现S3D视频的目标设备的屏幕大小为像素(x，y)计算目标设备差异。

Description

用于立体三维视频处理的技术

技术领域

本实施例涉及三维(3D)数字媒体，以及特别地，涉及解码3D视频以在显示设备上呈现。

背景技术

最近使用立体3D观看游戏和视频已经变得越来越流行。立体3D设备，如3D投影机、3D电视等广泛用于观看电影、立体3D电视节目和其他立体3D视频。但是，当在不同设备上观看同样的立体3D视频时，当设备之间的屏幕尺寸变化，用户不具有同样的体验。例如，当用户在32英寸屏幕而不是为64英寸设计的屏幕上观看为64英寸屏幕而设计的立体3D视频设计时，用户体验是不同的。假定64英寸屏幕预期的观看距离为4米，而32英寸屏幕预期的观看距离为2米，在当今设计的立体3D视频呈现是这样：对于32英寸屏幕的感知深度范围远小于对64英寸屏幕的反之深度范围。例如，尽管32英寸屏幕是64英寸屏幕尺寸的准确一半，但是当在32英寸的屏幕上显示设计用于64英寸屏幕的立体三维视频时，感知深度范围可能远小于在64英寸屏幕上观看立体3D时体验的感知深度范围的一半。例如，32英寸屏幕上的感知深度范围可小于64英寸屏幕上感知深度范围的1/4。

这种当观看设备的屏幕尺寸小于所设计设备的尺寸时，立体3D视频中呈现深度能力的大幅退化限制了许多用户的体验质量，因为立体3D视频可能在多个不同的设备类型使用。不仅如此，这可能会限制立体3D视频的发展，这是由于需要为不同的设备屏幕尺寸定制设计立体3D视频。

附图说明

图1描绘了用于立体三维视频处理的示例性实现架构。

图2描绘了与本实施例一致的处理方案和装置。

图3描绘了用于产生编码的S3D视频的一个实施例的细节。

图4A呈现了作为二维图像示出S3D视频帧的L-帧或R-帧的呈现的示例图像。

图4B呈现了与图4A的图像对应的深度图像。

图5A至5C描绘了涉及与本实施例一致的视频处理的参数的几何关系。

图6描绘了涉及与本实施例一致的L-帧和R-帧中的像素对的确定的操作。

图7示出了其中由与本实施例一致的解码组件接收来自深度帧的像素的操作。

图8示出了使用设备知晓(aware)解码器组件生成L-帧和R-帧。

图9A-9C详述当S3D视频呈现在不同设备时感知深度之间的关系。

图10示出了示例性的第一逻辑流。

图11说明了示范性系统架构。

具体实施方式

实施例提供对当呈现在数字显示设备(其中除了其他属性之外屏幕尺寸可能会有所不同)上时观看立体3D(S3D)视频的增强。在具体实施例中，视频数据的实时编码和解码提供设备知晓视频处理的方式进行处置，如下面详细描述的。如注意到的，由于具有大范围屏幕尺寸的显示设备模型和预期观看者的距离的分散，需要用于处理立体视频的技术，该技术可适应屏幕尺寸的差别并仍产生对呈现视频的设备适合的可接受的感知深度，其在本文中被称为“目标设备”。本实施例通过在视频实时解码期间改变差异以适应目标设备的尺寸差别，从而解决这一问题。以这种方式，单个S3D视频可在具有屏幕尺寸范围的多个不同设备上使用，其中感知深度产生与设备尺寸无关的愉快用户体验。

在本实施例中，由解码系统执行新颖的操作，该解码系统考虑到呈现S3D视频的该装置的特征。由于调整视频编码以考虑编码后的视频将被传送到的设备的屏幕尺寸的这个特性，执行这样的操作的技术和组件在本文中被称为“设备知晓”。本实施例的操作的结果是减少了可能由针对给定的S3D视频的感知深度方面的不合适的压缩引起的观看者失真。

在不同实施例中，提供如视频解码器或编解码器(编码器/解码器)的组件，以执行或协助执行设备知晓S3D解码。该设备知晓S3D解码可以作为实施框架的一部分提供，该实施框架包括如下详述的新颖S3D视频的记录和处理。

图1描绘了用于根据本公开的实施例处理S3D内容的实施架构。该架构100包括各种组件以处理S3D视频102。如下详述，在各种实施例中该S3D视频可以是以提供信息促进设备知晓该S3D视频的S3D处理的方式生成的视频内容。这具有当使用S3D视频用于跨多个不同设备平台观看时增强用户体验的效果。特别是，S3D视频可被记录和编码，以允许在具有多个不同屏幕大小的设备上观看，其中对象的感知深度被调整以考虑不同的屏幕尺寸。该S3D视频102可以被转发到设备知晓解码器系统104，其操作在下文详述。在一个实现中，S3D视频102可以被转发到包括具有带有第一尺寸的屏幕大小的数字显示的设备106。在一个实例中，S3D视频102可以一种方式进行编码，该方式被设计用于在具有该第一尺寸的屏幕大小的设备上的S3D视频102的呈现。因此，该设备106可以被称为参考设备。

如在图1中进一步示出的，S3D视频102可以由设备知晓解码器系统104进行处理，并转发到第二设备，设备108，其屏幕大小与设备106的屏幕大小不同。该设备知晓解码器系统104可包括解码S3D视频102以调整其视频帧使得视频帧中对象的感知深度适合于设备108的组件。在如下详述的各种实施中，这可以允许当S3D视频102被提供给具有较小屏幕大小的设备时，保留相比于传统的视频编解码器更大的感知深度。

图2呈现与各种实施例一致的用于S3D视频的示例性处理方案200。在该方案中视频内容202由视频记录设备204记录。在各种实施例中，视频记录设备204包括左照相机，右照相机，和深度照相机，其操作在下文详述。该视频内容可作为S3D视频206被存储或传送到另一设备。S3D视频206可以存储在任何地点和任何方便的设备，其被表示为视频源208。在一个使用场景中，视频源208被配置以将S3D视频206作为流播S3D视频210流播。流播S3D视频210可以在一个示例中被设计用于在具有64英寸屏幕的设备上呈现。然而，在一些实例中，流播S3D视频210可被提供给用户用于呈现在具有更小屏幕的设备上，如一个32英寸屏幕。在图2的方案中，设备知晓解码器系统212被提供来以考虑呈现流播S3D视频210的装置的特征的方式解码流播S3D视频210。具体地，该设备知晓解码器系统212可解码流播S3D视频210以考虑流播S3D视频210将被发送到的显示设备224的屏幕大小。要从设备知晓解码器系统接收解码的视频的设备在本文中一般被称为“目标设备”。

该设备知晓解码器系统212可包括作为CPU 214示出的通用处理器、存储器216，图形处理单元。当视频流播到该设备知晓解码器系统212时，存储器216可存储编码的S3D视频(如流播S3D视频210)的帧。流播S3D视频310可以由处理器(如CPU 214或图形处理单元218)从存储器216检索，以用于处理。

设备知晓解码器系统212还可以包括设备知晓解码器组件220，其功能关于紧接着的图进行详细说明。该设备知晓解码器组件220可以包括各种硬件元件，软件元件或两者的组合。硬件元件的示例可以包括设备、组件、处理器、微处理器、电路、电路元件(例如，晶体管，电阻器，电容器，电感器，等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件元件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任意组合。确定实施例是否使用硬件元件和/或软件元件实现可以根据任何数量的因素，如期望的计算速率、功率电平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束(如针对给定实现期望的)而变化。在具体的实施例中，设备知晓解码器组件220可以至少被部分结合在位于包含显示装置224的平台的视频编解码器中。然而，在其它实施例中，设备知晓解码器组件220和设备知晓编码系统可以位于与含有该显示装置224的平台不同的平台。

图2的示例中，设备知晓解码器系统212被配置为输出所接收的流播S3D视频210作为解码的S3D视频222。如下面详述的，流播S3D视频210的解码以格式化解码的S3D视频222的每个视频帧的左和右帧以生成在流播S3D视频210的对象中产生所期望的感知深度的屏幕上差异的方式发生。在一些实施例中，以及如下详述的，设备知晓解码器系统212可操作以当S3D解码视频226呈现在包括不同的屏幕宽度的不同的屏幕大小的不同设备上时，维持感知对象深度/屏幕宽度的恒定比例。

图3描绘用于生成编码S3D视频的实施例的细节。如图3中所示，编码的流播3D视频帧可以由示出为L-帧302的左帧、示出为R-帧306的右帧和深度帧304构成。在本实施例中记录S3D视频的记录设备314可包括左相机316，右相机318，位于左相机316和右相机318中间的深度相机320。当记录S3D视频时，二维左图像、二维右图像和二维深度图像被同时记录以为给定的视频帧生成左帧、右帧、和深度帧。左相机316和右相机318相对于彼此的物理位移导致被记录在L-帧302中的相同场景的图像相对于R-帧306中记录的图像沿轴线330移位。深度相机320可以是常规的深度记录组件诸如投射红外辐射到场景的红外投影仪和记录反射辐射作为对象深度的CMOS传感器的组合。然而该实施例并不限于此上下文。

深度帧304可包括深度值的二维阵列，该深度值呈现记录在L-帧302和R-帧306中的像素位置处的对象深度。图4A呈现了将S3D视频帧的L-帧或R-帧的呈现示为二维图像的示例图像402。图像402可以表示与视频中的一组二维像素位置相关联的一个或多个视觉特征。例如，L-帧或R-帧中的每个像素坐标可与该像素坐标的颜色和亮度信息相关联。当在显示设备上呈现时，各L-帧或R-帧可因此如在传统S3D视频中那样呈现待呈现场景的完整图像。当在显示屏幕上呈现时，R-帧和L-帧之间的偏移或差异确定由观看者感知的对象深度。在本实施例中这个差异如下详述从S3D视频帧的深度帧确定。

图4B展示了对应于图像402的深度图像404。换句话说，深度图像404表示对应于图像402中描绘的场景的场景的深度信息的二维阵列。为说明清楚起见，从深度图像404中所示的深度帧捕获的深度信息以其中亮度正比于深度的格式描绘。因此，在深度图像404中，较亮的区域表示相对于观看者更大深度的对象。这个变化的深度信息可被用于改变不同像素位置处L-帧和R-帧之间的差异。因此，对于在深度帧的给定像素位置的给定对象，与该对象相关联的深度值越大，L-帧中该对象的像素位置和R-帧中该对象像素位置之间的差异越大。现在返回到图3，每一个L-帧302，R-帧306和深度帧304的输出由编码器310编码以生成该S3D编码视频312。如下面的图中讨论的，可利用包括L-帧、R-帧与深度帧数据的这种编码的视频格式，以生成合适的屏幕上的S3D视频的左图像和右图像之间的位移，用于在任何屏幕大小的显示装置上呈现。

尽管在以上例子中可以由记录装置如视频记录设备204来生成S3D编码视频312，在其他实施例中S3D编码视频可以是计算机生成的，使得L-帧、R-帧和深度帧全部是计算机生成的。

图5A至5C描绘涉及与本实施例一致的设备知晓S3D视频处理的几个参数的几何关系。在图5A中，示出有在其中示出观看者的眼睛502、504相对于显示装置506的布置。显示装置506具有沿与平面514平行的方向的屏幕宽度W，其中观看者的左眼和右眼504、502位于该平面。值e是观看者的眼睛之间的距离。对于一个给定的屏幕大小，可以假设为了适于观看，观看者的眼睛位于与显示装置506的屏幕表面距离N处。例如对于64英寸屏幕，N可以是4米，对于32英寸屏幕可以是2米。对于对象的感知深度，期望的对象深度范围介于线508和510之间。从线508到显示设备506的屏幕表面的垂直距离F0表示对屏幕表面之外对象的舒适的感知深度的限制。从线510到显示设备506屏幕表面的垂直距离FI表示对屏幕表面内部对象的舒适的感知深度的限制。由显示装置506呈现的对象的舒适观看范围可以是位于FI和F0之间的区域，该区域部分地由该显示装置的屏幕大小来确定。在一些示例中FI可以等于0.7W，FO可以等于0.4W。

如指出的，在立体3D显示中，深度由左右图像中对象位置的差异感知，该左右图像提供给相应的左眼和右眼以产生感知的三维图像。为了生成对象的正确深度，产生设备屏幕上左和右图像之间的差异d以或使对象出现在屏幕前面(负深度)或屏幕后面(正深度)。现在转向图5B，示出有差异d和对象P1的位置之间的几何关系，该对象P1外观上位于显示装置506屏幕的内部或后面。在此示例中，由左眼504感知的左图像从由右眼502感知的右图像朝向显示设备506的边缘向外移位。这使得对象520的位置出现在位置P1处屏幕内部。现在转向图5C，示出有差异d和对象P2之间的几何关系，该对象P2外观上位于显示装置506的屏幕的外部。在此情况下左眼504感知的左图像相对于由右眼502感知的右图像从显示装置506的边缘向内位移。在这样的场景中左和右图像彼此交叉以使得左图像被感知位于右图像的右侧，这等效于右图像被感知位于左图像的左侧。这使得对象520的位置显示在位置P2处的屏幕外部。相对于观察者的对象位置本文称为感知深度h。

利用相似三角形原理从图5B和图5C中所示的几何结构来导出感知深度h和差异d之间的关系是简单的。在图5B的情形中，h的值由下式给出：

$h=\frac{eN}{e-d}$

而在图5C中，

$h=\frac{eN}{e+d}.$

由于e对于给定的观看者是恒定的，并且N对于给定显示屏幕是恒定的，所以一旦差异d被决定，则感知深度被确定。

为了当呈现在任何目标设备上时在S3D视频中产生对象的正确感知深度，各种实施例采用目标设备的设备信息，以及从编码的S3D视频接收的深度信息以生成目标设备的正确差异。再次参照图2，在一个实现中，设备知晓解码器系统212可以执行分析以确定与在显示设备(如显示设备224)上呈现S3D视频相关的参数。例如，该设备知晓解码器组件220可以首先检索或接收关于包括显示装置224的屏幕宽度W的屏幕大小的信息以及显示设备224的观看者的预期的观看距离N，以及e，其可以表示确定的平均观看者眼睛间隔。

在一个实现中，当由设备知晓解码器系统212接收编码S3D视频的源帧时，该帧可以被解码以生成如以上所讨论的构成该编码S3D视频的每个视频帧的L-帧、R-帧与深度帧。在一些实现中，如S3D视频流播中，当接收到时S3D视频帧可加载到存储器216(其可包括一个或多个缓冲器)中。

然后可分析每个加载的S3D视频帧的深度帧中的像素，以确定在给定S3D视频帧的相关L-帧和R-帧中的像素对的像素位置。像素对构成来自L-帧的指定像素和来自R-帧的相关像素，它们包含对应于该视频帧的深度帧中指定的像素位置的对象数据。深度帧可以呈现表示从自左和右相机收集到的图像之间的中间位置收集到的数据的深度图像，该左和右相机收集到的图像存储在相应的左和右帧中。相应地，被记录在深度帧的任意像素位置的对象或对象的一部分的深度信息可以用于确定记录相同的对象或对象的部分的左和右帧中的对应像素的位置。由于用于记录相同对象的左、右和深度相机的不同位置，在R-帧和L-帧中的对象的像素位置每个从深度帧的像素位置移位。例如，考虑深度帧的帧像素(x，y)，其可以位于深度帧中的任何位置，为传达深度，L-帧中对应的像素(x_L，y_L)可从由深度帧的像素(x，y)表示的像素位置在沿着“X轴”的第一方向移位差异d，并且R-帧中对应的像素(x_R，y_R)可在与沿着“X轴”的第一方向相反的第二方向移位差异d。具体地，对应的L-帧像素的坐标可以由下式给出：

x_L＝x□d(x，y)，y_L＝y；

并且对应的R-帧像素的坐标可以由下式给出：

x_R＝x+d(x，y)，以及y_R＝y。

为了确定被评估的深度帧中给定像素x，y的d值，分别对于屏幕内部和外部的对象，可回顾：

和

相应地，差异由d＝(N-)e/h或d＝(h-N)e/h给出。给定像素(x，y)的感知深度h的值又根据h(x，y)＝k*depth(x，y)，其中k是常数，从深度帧的给定像素x，y的深度(x，y)值直接确定。例如，可以基于参考或期望的屏幕大小提供深度帧中的深度值以生成合适的感知深度h。此外，如上所述，对于给定的屏幕大小，N和e的值可以是预定的。相应地，此设备知晓解码器组件220可以为被处理的深度帧的给定像素x，y加载深度值，并应用k，N和e的相关值，以便确定d，从而确定相关的L-帧和R-帧中的该坐标对的坐标。

上述过程在图6中突出显示，图6与本实施例一致描绘了确定L-帧和R-帧中的像素对所涉及的操作。如所示出的，选择对应于深度帧602的x，y像素用于分析。在本实施例中，组成深度帧602的一系列x，y像素可以以串行的方式加载，以为每个x，y像素确定L-帧和R-帧中相关的像素对。对于给定的x，y像素，深度(x，y)由设备知晓解码器组件220从存储在深度帧602的深度值中检索。设备知晓解码器组件220还接收解码的S3D视频的相关深度值k，N和e值。基于这些输入，设备知晓解码器组件220为所讨论的该x，y像素计算d(x，y)，其应用于每个L-帧和R-帧中对应的像素位置。这导致生成由X_L＝x□d(x，y)和X_R＝x+d(x，y)给出的像素对的相关像素。注意到，像素的对应的y值在像素对中不变。

在随后的操作中，设备知晓解码器组件220可从要被解码的S3D视频构建的偏移的L-帧和R-帧生成像素对的位置，使得S3D视频可以在目标设备上被正确播放。要应用于偏移的L-帧和R-帧的像素对的位置基于目标设备的观看参数。具体地，可以基于目标设备和参考设备的屏幕宽度的比值来计算目标设备的差异值。为了说明的目的，可以假设该参考屏幕宽度为W1，目标屏幕宽度为W2。

对于从深度帧读取的给定深度(x，y)，参考屏幕的感知深度可以由h1(x，y)表示。目标屏幕宽度W2与预期的观看距离N2相关联，可为目标设备确定该距离，如以上所讨论的。与各种实施例一致，感知深度与目标设备屏幕宽度W2的比值可维持在与参考设备中的感知深度/屏幕宽度相同的值。特别的，感知深度h2(x，y)可以从h2＝h1(W2)/W1来确定。

紧跟着上面概述的用于从感知深度确定差异的步骤概要，当h2大于N2时，即当感知对象深度将所讨论对象放置在目标设备屏幕内部时，该目标设备的差异d2可被确定为d2＝(h2-N2)e/h2。另一方面，当h2小于N2时，即当感知对象深度将所讨论对象放置在目标设备屏幕外部(前方)的时候，d2＝(N2-h2)e/h2。一旦d2的值被确定，可为偏移的L-帧和偏移的R-帧计算像素对的像素位置以生成用于在目标设备上呈现的视频帧。

图7示出上述过程的操作，其中由设备知晓解码器组件220接收来自深度帧602的像素x，y。该设备知晓解码器组件220还使用参数N2和W2来确定h2和d2。d2的值然后被用于在左和右偏移帧中的偏移像素位置。然后根据下式确定对于左偏移像素位置X_L′和右偏移像素位置X_R′的像素对，：

X_L′＝x□d2(x，y) X_R′＝x+d2(x，y)。

在随后的操作中，计算出的左偏移像素位置X_L′和右偏移像素位置X_R′用于为呈现生成偏移S3D视频帧用于呈现在目标设备上。偏移L-帧614和偏移R-帧616分别可以通过应用这些过程来生成。这在图8中示出，其示出使用设备知晓解码器组件220生成L-帧614和R-帧616。在此示例中，构成深度帧602的x，y值的矩阵被示为由设备知晓解码器组件220接收到的x，y输入。对于深度帧602的每个x和y像素，如上所述计算对应的d(x，y)，从其中为每个x，y像素确定目标设备差异d2(x，y)。这导致生成然后可加载用于作为S3D视频帧在目标设备上呈现的L-帧614和R-帧616。

一旦生成L-帧614和R-帧616，可分析新的S3D视频帧，以确定是否在任何像素位置存在任何间隙。如果是这样，存在间隙的像素位置可用相邻的像素来填充。所得的经解码S3D视频帧呈现L-帧614和R-帧616，其中每个像素位置的像素对的像素之间的差异d2被以这样的方式缩放：相比于当同样的S3D视频在参考(期望)设备上显示时，该方式可为在目标设备上观看的S3D视频中的对象生成感知深度/屏幕宽度的恒定比，该参考(期望)设备可具有更大或更小的屏幕宽度。由于每个连续的S3D视频帧被解码以用于在目标设备上呈现，这个过程可以实时重复应用于解码流播S3D视频。

图9A-9C通过详述当S3D视频呈现在不同设备上时得到的感知深度之间的关系，突出显示了由本实施例提供的优点。在图9A中可假定参考设备902具有64英寸的屏幕大小，这可表示屏幕宽度或屏幕对角线。预期的观看距离可以是4米。对于位于参考装置902的左侧的观看者，S3D视频对象的感知深度范围是屏幕平面912后22英寸(右侧)和屏幕平面612前面6英寸。图9B描绘了如参考以上图通常描述的，其中相同的S3D视频在由设备知晓编码组件处理后呈现在具有32英寸屏幕的第二设备904上的情形。假定观看距离为2米。注意到，对于位于第二装置904的左侧的观看者，S3D视频对象的感知深度范围是屏幕平面914后11英寸(右侧)和屏幕平面914前面3英寸。该范围保留与所展示的当S3D视频呈现在参考设备902上时相同的感知深度/屏幕宽度比值。相应地，第二设备904的观看者当在第二设备904上观看S3D视频时可以具有和观看者在屏幕大小是两倍的参考设备902上观看该S3D视频类似的体验。

图9C呈现形成对照的场景，其中该S3D视频呈现在也具有32英寸屏幕的另一设备906上。在这种情况下，S3D视频按照常规过程进行解码。在此示例中，对于位于设备906左侧的观看者，S3D视频的对象的感知深度范围是屏幕平面916后面4英寸(右侧)和屏幕平面916前面1英寸。

本文包括用于执行所公开体系结构的新颖方面的表示示范性方法论的一组流程图。虽然为了简化说明的目的，本文示出的一个或多个方法论，例如，以流程图或流程图解的形式被示出并描述为一系列动作，但是要理解和认识到的是，该方法论不受动作次序限制，因为一些动作可以据此以与本文示出和描述的不同顺序和/或与其它动作同时发生。例如，本领域的技术人员将理解并认识到，方法论可备选地表示为一系列相互关联的状态或事件(如在状态图中的)。此外，方法论中未示出新的实施可能需要的所有动作。

图10示出示例性的第一逻辑流1000。在块1002，确定接收S3D视频的目标设备的参数。该参数可包括目标设备的屏幕大小以及观看目标设备的观看者的预期观看距离。

在块1004，接收到经编码的S3D视频帧。经编码的S3D视频帧可以是正被流播到该目标设备的经编码S3D视频的帧。

在块1006，解码经编码的S3D视频帧。解码可生成L-帧、R-帧和包括深度信息的深度帧，该深度信息是在视频帧范围内的对象位置的函数。

在块1008，从深度帧读取像素(x，y)。然后，流程前进到块1010，其中从深度帧检索深度(x，y)，其为像素(x，y)处描绘的对象指示对象深度的值。该深度值可以基于包括屏幕大小和其他参数的参考设备参数。

在块1012，为与深度帧的像素(x，y)对应的相应的左和右帧，从像素(x，y)的深度(x，y)值确定像素对(x_L，y_L)和(x_R，y_R)。可以基于计算出的应用到该像素(x，y)的差异来确定像素对，其中从深度(x，y)和参考设备的参数确定该差异。

在块1014，计算目标设备的差异d2以基于参考屏幕大小和目标设备的目标屏幕大小的比值来偏移像素(x，y)的像素位置。

在块1016，目标设备的差异d2被应用于像素(x，y)以为相应的与深度帧的像素(x，y)对应的偏移左帧和偏移右帧生成左和右像素位置。该左像素位置X_L的x坐标可以按照X_L′＝x□d2(x，y)给出，而该右像素位置X_R′的x坐标可以按照X_R′＝x+d2(x，y)给出。

图11是示例性系统实施例的图，并且具体地，图11是示出了可以包括各种元件的系统1100的图。例如，图11示出了系统(平台)1100可包括本文称为处理器1102的处理器/图形核心、本文称为芯片组1104的芯片组/平台控制集线器(PCH)、输入/输出(I/O)设备1106、随机存取存储器(RAM)(例如动态RAM(DRAM))1108和只读存储器(ROM)1110、显示电子设备1120、显示器背光1122以及各种其他平台组件1114(例如，风扇、横流送风机、散热器、DTM系统、冷却系统、壳体、通风孔，等等)。系统1100也可以包括无线通信芯片1116和图形装置1118、非易失性存储器端口(NVMP)1124和天线1126。然而，该实施例并不限定于这些元件。

如图11所示，I/O设备1106、RAM 1108和ROM 1110通过芯片组1104的方式耦合到处理器1102。芯片组1104可以通过总线1112耦合到处理器1102。相应地，总线1112可以包括多根线路。

处理器1102可以是包括一个或多个处理器核心的中央处理单元，并且可包括具有任何数量处理器核心的任何数量的处理器。处理器1102可以包括任何类型的处理单元，诸如，例如CPU、多处理单元、精简指令集计算机(RISC)、具有流水线的处理器、复杂指令集计算机(CISC)、数字信号处理器(DSP)，等等。在一些实施例中，处理器1102可以是位于单独的集成电路芯片上的多个单独的处理器。在一些实施例中处理器1102可以是具有集成图形的处理器，而在其他实施例中的处理器1102可以是一个或多个图形核。命令可被提供给处理器1102，例如，通过键盘、触摸屏交互、手势、面部表情以及声音。

以下的示例与进一步的实施例有关

在示例1中，用于处理立体三维视频的设备可以包括存储器以存储编码的立体三维(S3D)视频的源帧，该源帧配置用于在参考设备上显示，并包括左帧，右帧和深度帧；处理器，用于从深度帧检索像素(x，y)，该像素(x，y)包括参考设备深度(x，y)；以及，设备知晓解码器组件，用于基于该参考设备的深度(x，y)和用于呈现S3D视频的目标设备的屏幕宽度为像素(x，y)计算目标设备差异。

在示例2中，示例1的设备知晓解码器组件可基于参考设备深度(x，y)，在源帧中为左帧的左像素和右帧的右像素确定像素对的位置。

在示例3中，示例1-2中任意一个的设备知晓解码器组件可为像素(x，y)计算相应的左帧的左像素位置(x_L，y_L)和右帧的右像素位置(x_R，y_R)，其中x_L＝x□d(x，y)，y_L＝y，以及其中x_R＝x+d(x，y)，以及y_R＝y，其中d是将要为参考设备显示的对象的屏幕上的差异。

在示例4中，示例1-3中任意一个的设备知晓解码器组件可以从深度帧中读取参考设备深度(x，y)；根据h＝参考设备深度(x，y)*C，其中C是常数，为像素(x，y)计算感知深度h，；以及对于正深度根据d＝((h-N)e)/h，对于负深度根据d＝((N-h)e)/h，而计算d，其中N是表示参考屏幕期望观看距离的常数，e是表示观看者眼睛间隔的常数。

在示例5中，示例1-4中任意一个的设备知晓解码器组件可以将目标设备差异应用到像素(x，y)，以在相应的偏移左帧和偏移右帧中生成一组目标设备像素对位置。

在示例6中，示例1-5中任意一个的设备知晓解码器组件可以：确定目标设备预期的观看距离N2，目标和参考设备相应的屏幕宽度W2和屏幕宽度W1；确定目标屏幕的像素x，y的感知深度h2，其中h2＝hW2/W1；以及根据：对于正深度d2＝((h2-N2)e)/h，对于负深度d2＝((N2-h2)e)/h2，来计算目标设备差异d2。

在示例7中，示例1-6中任意一个的目标设备像素对位置组可以包括由下式给出的左帧像素X_LT和右帧像素X_RT＝：X_LT＝X□d2(x，y)，Y_LT＝Y，和X_RT＝X+d2(x，y)，以及Y_RT＝Y。

在示例8中，示例1-7中任意一个的设备知晓解码器组件可以：基于所述深度帧中的相应的帧像素的多样性，确定相应的所述左帧中的左像素和所述右帧中的右像素的相应的像素对位置的多样性；为帧像素的所述相应的多样性计算目标设备差异的相应多样性；以及将目标设备差异的所述相应多样性应用到所述相应的帧像素以在所述相应的目标左帧和目标右帧中生成目标设备像素对位置的组的相应多样性。

在示例9中，示例1-8中任意一个的设备知晓解码器组件可以通过借助于从相应的相邻像素添加像素内容到混合像素来填充所述偏移左帧或右帧的中缺失像素以执行平滑过程。

在示例10中，示例1-9中任意一个的装置可包括呈现S3D视频的显示器、网络接口和无线电装置。

示例11包括至少一个计算机可读存储介质，包括指令，当被执行时，使系统：接收被配置成在参考设备上显示的源帧，其包括左帧，右帧和深度帧；从深度帧读取像素(x，y)，以确定参考设备深度(x，y)；以及基于所述参考设备的深度(x，y)和呈现S3D视频的目标设备的屏幕大小为像素(x，y)计算目标设备差异。

在示例12中，示例11中的至少一个计算机可读存储介质可包括指令，当被执行时，使系统对像素(x，y)应用目标设备差异，以在相应的目标左帧和目标右帧中生成一组目标设备像素对位置。

在示例13中，示例11-12中任意一个的至少一个计算机可读存储介质可以包括指令，当被执行时，使系统基于参考设备的深度(x，y)在源帧中为左帧的左像素和右帧的右像素确定像素对位置。

在示例14中，示例11-13中任意一个的至少一个计算机可读存储介质可以包括指令，当被执行时，使系统为像素(x，y)计算相应的左帧的左像素位置(x_L，y_L)和右帧的右像素位置(x_R，y_R)，其中x_L＝x□d(x，y)，y_L＝y，以及其中x_R＝x+d(x，y)，以及y_R＝y，其中d是要为参考设备显示的对象的屏幕上的差异。

在示例15中，示例11-14中任意一个的至少一个计算机可读存储介质可以包括指令，当被执行时，使系统：根据h＝Cdepth(x，y)为像素(x，y)计算感知深度h，其中C是常数；以及对于正深度根据d＝((h-N)e)/h，对于负深度根据d＝((N-h)e)/h来计算d，其中N是表示参考屏幕期望观看距离的常数，e是表示观看者眼睛间隔的常数。

在示例16中，示例11-15中任意一个的至少一个计算机可读存储介质可以包括指令，当被执行时，使系统：确定目标设备预期的观看距离N2，目标和参考设备相应的屏幕宽度W2和屏幕宽度W1；确定目标屏幕的像素x，y的感知深度h2，其中h2＝hW2/W1；以及根据：对于正深度d2＝((h2-N2)e)/h，对于负深度d2＝((N2-h2)e)/h2，来计算目标设备差异d2。

在示例17中，示例11-16中任意一个的至少一个计算机可读存储介质可以包括指令，当被执行时，使系统：根据X_LT＝X□d2(x，y)，Y_LT＝Y，和X_RT＝X+d2(x，y)，以及Y_RT＝Y为目标像素对位置的组确定左帧像素X_LT和右帧像素X_RT。

在示例18中，示例11-17中任意一个的至少一个计算机可读存储介质可以包括指令，当被执行时，使系统以：基于所述深度帧中相应的帧像素的多样性，确定相应的所述左帧中的左像素和所述右帧中的右像素的相应的像素对位置的多样性；为帧像素的所述相应的多样性计算目标设备差异的相应多样性；以及将目标设备差异的所述相应的多样性应用到所述相应的帧的像素以在所述相应的目标左帧和目标右帧中生成目标设备像素对位置的组的相应的多样性。

在示例19中，一种处理三维立体视频帧的方法可以包括接收配置以在参考设备上显示的源帧，其包括左帧，右帧和深度帧；从深度帧读取像素(x，y)，以确定参考设备深度(x，y)；以及基于所述参考设备的深度(x，y)和呈现S3D视频的目标设备的屏幕大小为像素(x，y)计算目标设备差异。

在示例20中，示例19的方法可以包括对像素(x，y)应用目标设备差异，以在相应的目标左帧和目标右帧中生成一组目标设备像素对位置。

在示例21中，示例19-20中任意一个的方法可以包括基于参考设备的深度(x，y)在源帧中为左帧的左像素和右帧的右像素确定像素对位置。

在示例22中，为示例19-21中任意一个确定像素对位置可以包括为像素(x，y)计算相应的左帧的左像素位置(x_L，y_L)和右帧的右像素位置(x_R，y_R)，其中x_L＝x□d(x，y)，y_L＝y，以及其中x_R＝x+d(x，y)，以及y_R＝y，其中d是要为参考设备显示的对象的屏幕上的差异。

在示例23中，示例19-22中任意一个的方法可以包括根据h＝C depth(x，y)，其中C是常数，为对应于深度(x，y)的参考屏幕计算感知深度h；以及对于正深度根据d＝((h-N)e)/h，对于负深度根据d＝((N-h)e)/h来计算d，其中N是表示参考屏幕期望观看距离的常数，并且e是表示观看者眼睛间隔的常数。

在示例24中，示例19-23中任意一个的方法可以包括确定目标设备预期的观看距离N2，目标和参考设备相应的屏幕宽度W2和屏幕宽度W1；为像素x，y确定目标屏幕的的感知深度h2，其中h2＝hW2/W1；以及根据：对于正深度d2＝((h2-N2)e)/h，对于负深度d2＝((N2-h2)e)/h2，来计算目标设备差异d2。

在示例25中，示例19-24中任意一个的目标设备像素对位置组可以包括由X_LT＝X□d2(x，y)，Y_LT＝Y，和X_RT＝X+d2(x，y)，以及Y_RT＝Y给出的左帧像素X_LT和右帧像素X_RT。

在示例26中，示例19-25中任意一个的方法可以包括基于所述深度帧中相应的帧像素的多样性，确定相应的所述左帧中的左像素和所述右帧中的右像素的相应的像素对位置的多样性；为帧像素的所述相应的多样性计算目标设备差异的相应多样性；以及将目标设备差异的所述相应的多样性应用到所述相应的帧的像素以在所述相应的目标左帧和目标右帧中生成目标设备像素对位置的组的相应的多样性。

示例27是用于处理立体三维视频的用户设备，其包括执行示例19-26中任意一个的方法的部件。

示例28是用于处理立体三维视频的装置，其包括执行示例19-26中任意一个的方法的部件。

在示例29中，用于播放立体三维视频的视频设备可以包括存储器以存储编码的立体三维(S3D)视频的源帧，该源帧配置为在参考设备上显示，并包括左帧、右帧和深度帧；处理器，用于从深度帧检索像素(x，y)，该像素(x，y)包括参考设备深度(x，y)；设备知晓解码器组件，用于基于该参考设备的深度(x，y)和呈现S3D视频的目标设备的屏幕宽度为像素(x，y)计算目标设备差异；以及，包括该目标设备屏幕宽度以接收解码S3D视频的数字显示器。

在示例30中，示例29的设备知晓解码器组件可基于参考设备深度(x，y)，在源帧中为左帧的左像素和右帧的右像素确定像素对的位置。

在示例31中的，示例29-30中任意一个的设备知晓解码器组件可：为像素(x，y)计算对应的左帧的左像素位置(x_L，y_L)和右帧的右像素位置(x_R，y_R)，其中x_L＝x□d(x，y)，y_L＝y，以及其中x_R＝x+d(x，y)，以及y_R＝y，其中d是要为参考设备显示的对象的屏幕上的差异。

在示例32中，示例29-31中任意一个的设备知晓解码器组件可以：从深度帧中读取参考设备深度(x，y)；根据h＝参考设备深度(x，y)*C，其中C是常数为像素(x，y)计算感知深度h；以及对于正深度根据d＝((h-N)e)/h，对于负深度根据d＝(N-h)e/h来计算d，其中N是表示参考屏幕期望观看距离的常数，并且e是表示观看者眼睛间隔的常数。

在示例33中，示例29-32中任意一个的设备知晓解码器组件可以将目标设备差异应用到像素(x，y)，以在相应的偏移左帧和偏移右帧中生成一组目标设备像素对位置。

在示例34中，示例29-33中任意一个的设备知晓解码器组件可以：确定数字设备预期的观看距离N2，目标和参考设备相应的屏幕宽度W2和屏幕宽度W1；为像素x，y确定目标屏幕的感知深度h2，其中h2＝hW2/W1；以及根据：对于正深度d2＝((h2-N2)e)/h，对于负深度d2＝((N2-h2)e)/h2，来计算目标设备差异d2。

在示例35中，示例29-34中任意一个的目标设备像素对位置组可以包括由X_LT＝X□d2(x，y)，Y_LT＝Y，和X_RT＝X+d2(x，y)，以及Y_RT＝Y给出的左帧像素X_LT和右帧像素X_RT＝。

在示例36中，示例29-35中任意一个的设备知晓解码器组件可以：基于所述深度帧中相应的帧像素的多样性，确定相应的所述左帧中的左像素和所述右帧中的右像素的相应的像素对位置的多样性；为帧像素的所述相应的多样性计算目标设备差异的相应多样性；以及将目标设备差异的所述相应的多样性应用到所述相应的帧的像素以在所述相应的目标左帧和目标右帧中生成目标设备像素对位置的组的相应的多样性。

实施例，如先前所描述的，可使用各种硬件元件、软件元件或两者的组合实施。硬件元素的示例可以包括设备、逻辑设备、组件、处理器、微处理器、电路、处理器电路、电路元件(例如，晶体管、电阻器、电容器、电感器，等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)，现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件元件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、软件开发程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任意组合。确定实施例是否使用硬件元件和/或软件元件实施可以按照任何数量的因素，如期望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束而变化(如根据给定实现所期望的)。

在一些实施例中，元件被定义为执行一个或多个操作的特定结构。然而，可以认识到，定义为执行特定功能的特定结构的任何元件可以被表示为用于执行指定功能的部件或步骤，而不具有对支持其的结构、材料或动作的详述，以及这样的部件或步骤意味着覆盖在详细描述和其等同物所描述的相应的结构、材料或动作。实施例不受此上下文的限制。

一些实施例可使用表述“一个实施例”或“实施例”连同它们的派生词进行描述。这些术语是指与该实施例有关描述的特定的特征、结构或特性被包括在至少一个实施例中。在说明书中各个地方出现的短语“在一个实施例中”不一定全部指同一实施例。另外，一些实施例可以使用表述“耦合的”和“连接的”连同它们的派生词的来描述。这些术语不一定旨在作为彼此的同义词。例如，一些实施例可以使用术语“连接的”和/或“耦合的”进行描述，以指示两个或更多元件彼此直接物理或电接触。然而术语“耦合的”也可以指两个或多个元件没有彼此直接接触，但仍协作或彼此交互。

另外，在前述的详细描述中，可以看出，各种特征在单个实施例中被分组在一起，用于简化本公开的目的。这种公开的方法不应被解释为反映了所要求保护的实施例需要比每个权利要求中明确记载更多的特征的意图。而是，如以下权利要求所反映的，发明主题在于少于单个公开实施例的所有特征。因此，以下权利要求由此被结合到详细说明中，其中每个权利要求独立地作为单独实施例。在所附的权利要求书中，术语“包括”和“其中”分别用作相应术语“包括”和“其中”的普通英语等效。此外，术语“第一”、“第二”、“第三”，等等，被只用作标记，并不意图对它们的对象强加数字要求。

以上已描述的包括所公开的体系结构的例子。当然，它不可能描述组件和/或方法论的每个可想到的组合，但本领域的普通技术人员可认识到，许多进一步的组合和置换是可能的。相应地，该新颖体系结构旨在涵盖落入所附权利要求的精神和范围内的所有此类更改、修改和变化。

Claims (20)

1.一种用于处理立体三维视频的装置，包括：

存储器，用于存储编码的立体三维(S3D)视频的源帧，所述源帧用于在参考设备上显示，并包括左帧、右帧和深度帧；

处理器，用于从所述深度帧检索像素(x，y)，所述像素(x，y)包括参考设备深度(x，y)；以及，

设备知晓解码器组件，用于基于所述参考设备深度(x，y)和呈现所述S3D视频的目标设备的屏幕宽度为所述像素(x，y)计算目标设备差异。

2.如权利要求1所述的装置，所述设备知晓解码器组件基于所述参考设备深度(x，y)，确定在所述源帧中的所述左帧中的左像素和所述右帧中的右像素的像素对位置。

3.如权利要求2所述的装置，所述设备知晓解码器组件用于：

为所述像素(x，y)计算对应的所述左帧的左像素位置(x_L，y_L)和所述右帧的右像素位置(x_R，y_R)，其中x_L＝x□d(x，y)，y_L＝y，以及其中x_R＝x+d(x，y)，以及y_R＝y，

其中d是要为所述参考设备显示的对象的屏幕上的差异。

4.如权利要求3所述的装置，所述设备知晓解码器组件用于：

从所述深度帧中读取所述参考设备深度(x，y)；

根据感知深度h＝参考设备深度(x，y)*C，其中C是常数，为所述像素(x，y)计算h；以及

对于正深度根据d＝((h-N)e)/h，或对于负深度根据d＝((N-h)e)/h，来计算d，其中N是表示所述参考屏幕的预期观看距离的常数，并且e是表示观看者眼睛间隔的常数。

5.如权利要求1所述的装置，所述设备知晓解码器组件将所述目标设备差异应用到所述像素(x，y)，以在相应的偏移左帧和偏移右帧中生成一组目标设备像素对位置。

6.如权利要求4所述的装置，所述设备知晓解码器组件用于：

分别确定所述目标设备预期观看距离N2，所述目标和参考设备屏幕宽度W2和屏幕宽度W1；

为所述像素x，y确定所述目标屏幕的感知深度h2，其中h2＝hW2/W1；以及

根据以下来计算目标设备差异d2：

对于正深度d2＝((h2-N2)e)/h或

对于负深度d2＝((N2-h2)e)/h2。

7.如权利要求6所述的装置，目标设备像素对位置的组包括由以下给出的左帧像素X_LT和右帧像素X_RT＝：

X_LT＝X□d2(x，y)，Y_LT＝Y，和

X_RT＝X+d2(x，y)，以及Y_RT＝Y。

8.如权利要求1所述的装置，所述设备知晓解码器组件用于：

基于所述深度帧中的相应的帧像素的多样性，确定相应的所述左帧中的左像素和所述右帧中的右像素的相应的像素对位置的多样性；

为帧像素的所述相应的多样性计算目标设备差异的相应多样性；以及

将目标设备差异的所述相应多样性应用到所述相应的帧像素以在所述相应的目标左帧和目标右帧中生成目标设备像素对位置的组的相应多样性。

9.如权利要求1所述的装置，所述设备知晓解码器组件通过借助于从相应的相邻像素添加像素内容到混合像素来填充所述偏移左帧或右帧的中缺失像素以执行平滑过程。

10.如权利要求1所述的装置，包括用于呈现所述S3D视频的显示器、网络接口和无线电装置。

11.一种处理三维立体视频帧的方法，包括：

接收被配置用于在参考设备上显示的源帧，其包括左帧、右帧和深度帧；

从所述深度帧读取像素(x，y)，以确定参考设备深度(x，y)；以及

基于所述参考设备深度(x，y)和用于呈现所述S3D视频的目标设备的屏幕大小为像素(x，y)计算目标设备差异。

12.如权利要求11所述的方法，包括：

对所述像素(x，y)应用所述目标设备差异，以在相应的目标左帧和目标右帧中生成一组目标设备像素对位置。

13.如权利要求11所述的方法，包括：

基于所述参考设备的深度(x，y)确定在所述源帧中的所述左帧中的左像素和所述右帧中的右像素的像素对位置。

14.如权利要求13所述的方法，确定所述像素对位置包括：

为所述视频帧的像素(x，y)计算对应的所述左帧的左像素位置(x_L，y_L)和所述右帧的右像素位置(x_R，y_R)，

其中x_L＝x□d(x，y)，y_L＝y，以及

其中x_R＝x+d(x，y)，以及y_R＝y，

其中d是要为所述参考设备显示的对象的屏幕上差异。

15.如权利要求14所述的方法，包括：

根据h＝C depth(x，y)，其中C是常数，为参考屏幕计算对应于深度(x，y)的感知深度h；以及

对于正深度根据d＝((h-N)e)/h，或对于负深度根据d＝((N-h)e)/h来计算d，其中N是表示所述参考屏幕预期观看距离的常数，以及e是表示观看者眼睛间隔的常数。

16.如权利要求15所述的方法，包括：

确定所述目标设备预期的观看距离N2，所述目标和参考设备的屏幕宽度W2和屏幕宽度W1；

为所述像素x，y确定所述目标屏幕的感知深度h2，其中h2＝hW2/W1；以及

根据以下来计算目标设备差异d2：

对于正深度d2＝((h2-N2)e)/h，或

对于负深度d2＝((N2-h2)e)/h2。

17.如权利要求16所述的方法，目标设备像素对位置的所述组包括由以下给出的左帧像素X_LT和右帧像素X_RT：

X_LT＝X□d2(x，y)，Y_LT＝Y，以及

X_RT＝X+d2(x，y)，以及Y_RT＝Y。

18.如权利要求11所述的方法，包括：

基于所述深度帧中相应的帧像素的多样性，确定相应的所述左帧中的左像素和所述右帧中的右像素的相应的像素对位置的多样性；

为帧像素的所述相应的多样性计算目标设备差异的相应多样性；以及

将目标设备差异的所述相应的多样性应用到所述相应的帧的像素以在所述相应的目标左帧和目标右帧中生成目标设备像素对位置的组的相应的多样性。

19.至少一种计算机可读存储介质，包括指令，当所述指令被计算设备执行时，使所述计算设备执行权利要求11-18中任意一项所述的方法。

20.用于处理立体三维视频的用户设备，其包括用于执行权利要求11-18中任意一项所述的方法的部件。