CN103562958B - 尺度无关图 - Google Patents

Abstract

各种实现方式为分辨率不变区域提供了分辨率特有属性。几种实现方式为尺度不变小区提供了基于SCM的视差值。特定实现方式提供了包括这样属性的信号或结构。更进一步实现方式访问这样的属性，并处理该属性。一种特定实现方式访问画面的一个区域的属性。该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展。该属性是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的。转换该属性以便提供该特定分辨率特有的属性。将转换的属性与第一整数个像素相联系。其他实施例将转换属性用在像，例如，使用视差信息的字幕布置中那样后处理操作中。

Description

尺度无关图

交叉引用相关申请

本申请要求如下两个美国临时申请的申请日的权益，两者通过引用而被整体合并于此用于所有目的：（i）2011年5月26日提交、和发明名称为“尺度无关视差图”的第61/490,179号；以及（ii）2011年9月27日提交、和发明名称为“尺度无关图”的第61/626,496号。

技术领域

本文描述了涉及为数字画面提供信息的实现方式。各种特定实现方式涉及视频图像的视差图（disparity map）。

背景技术

立体视频提供包括左视频图像和右视频图像的两种视频图像。也可以为这两种视频图像提供深度和/或视差信息。深度和/或视差信息可以用于对两种视频图像的多种处理操作。

发明内容

按照一个一般方面，为画面的一个区域确定一种属性。该画面具有特定分辨率以及该属性是该特定分辨率和该区域特有的。该画面的该区域可与具有特定分辨率的第一整数个像素共同扩展，以及可与具有第二分辨率的第二整数个像素共同扩展。转换该属性以便提供该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的属性。

按照另一个一般方面，一种信号或结构包括属性部分。该属性部分包括指示画面的一个区域的属性的数据。该属性是该区域和组合分辨率特有的。该组合分辨率是作为特定分辨率和第二分辨率的组合确定的。该画面的该区域可与具有该特定分辨率的第一整数个像素共同扩展，以及可与具有该第二分辨率的第二整数个像素共同扩展。

按照另一个一般方面，为画面的一个区域访问一种属性。该画面的该区域可与具有特定分辨率的第一整数个像素共同扩展，以及可与具有第二分辨率的第二整数个像素共同扩展。该属性是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的。转换该属性以便提供该区域和该特定属性特有的属性。将转换的属性与具有该特定分辨率的第一整数个像素相联系。

一种或多种实现方式的细节展示在附图和下面的描述中。即使以一种特定方式描述，也应该清楚可以以各种方式配置或体现这些实现方式。例如，一种实现方式可以作为一种方法来执行，体现为像，例如，配置成执行一组操作的装置或存储执行一组操作的指令的装置那样的装置，或以信号形式体现。其他方面和特征将从结合附图和权利要求书考虑的如下详细描述中明显看出。

附图说明

图1是平行摄像机的实际深度值的图形表示；

图2是视差值的图形表示；

图3是视深与视差之间的关系的图形表示；

图4是交向摄像机的图形表示；

图5是立体视频图像对中的遮挡的图形表示；

图6是描绘具有不同本机格式和发送格式的实现方式的方块/流程图；

图7是视差值的公倍数表示的一例子的表格表示；

图8是描绘视差值的公倍数表示的发送和使用的过程的一个例子的方块/流程图；

图9是在不同分辨率上的像素的几个例子的方块/图形表示；

图10是不同分辨率的像素网格的两个例子的方块/图形表示；

图11是图10的像素网格例子的第一例子的单独方块/图形表示；

图12是图10的像素网格例子的第二例子的单独方块/图形表示；

图13是不同分辨率的像素网格的三个进一步例子的方块/图形表示；

图14是图13的像素网格例子的第一例子的单独方块/图形表示；

图15是图13的像素网格例子的第二例子的单独方块/图形表示；

图16是图13的像素网格例子的第三例子的单独方块/图形表示；

图17是描绘处理尺度无关视差图值的例子的方块/流程图；

图18是描绘处理分辨率不变区域的分辨率特有属性的一个例子的方块/流程图；

图19是描绘处理分辨率不变区域的分辨率特有属性的另一个例子的方块/流程图；

图20是描绘可以用在一种或多种实现方式上的发送系统的例子的方块/流程图；以及

图21是描绘可以用在一种或多种实现方式上的接收系统的例子的方块/流程图。

具体实施方式

作为展示在本申请中的一些特征的预览，至少一种实现方式描述了提供每一个应用于相应小区（多个像素）的一个或多个视差值的视差图的使用。实际视差值基于比任何标准显示器的最大分辨率大得多、称为非标准分辨率的分辨率。在本申请中，术语“分辨率”一般指水平分辨率，但也用于指垂直分辨率和/或水平和垂直分辨率两者，并且用，例如，显示器的像素的数量或显示器的像素的块数，或数字图像的元素的数量来度量。非标准分辨率是容易转换成几种标准显示分辨率的一种或多种的整数。在这种特定实现方式中，有效显示分辨率是几种标准显示分辨率的最小公倍数。有效显示分辨率的视差值用整数格式表示。视差值作为基于大非标准分辨率的结果可能是大值。然而，当将视差值向下转换成标准显示分辨率时，整数表示为子像素精度提供了保证。另外，小区尺寸和地点可与具有两种或更多种分辨率的整数个像素共同扩展。实际整数值在不同分辨率下是不同的。这种尺寸和地点以及将单个视差值用于整个小区使小区视差值可以在分辨率改变时保持相同。但是，视差值将与具有不同分辨率的可变数量像素相联系。

从上面的预览中退出，图1例示了视频图像中的深度的概念。图1示出了带有传感器107的右摄像机105、和带有传感器112的左摄像机110。两台摄像机105，110捕获对象115的图像。为了例示的目的，对象115是具有处在十字架的右侧的任意细节116的有形十字架（参见图2）。右摄像机105具有捕获角120，左摄像机110具有捕获角125。两个捕获角120，125重叠在3D立体区130中。

因为对象115处在3D立体区130中，所以对象115可被摄像机105，110两者看见，因此能够感测到对象115是有深度的。对象115具有实际深度135。实际深度135一般称为从对象115到摄像机105，110的距离。更具体地说，实际深度135可以称为从对象115到立体摄像机基线140的距离，立体摄像机基线140是由两台摄像机105，110的入射光瞳平面定义的平面。摄像机的入射光瞳平面通常在变焦透镜的内部，因此通常在物理上不可接近。

摄像机105，110也被显示成具有焦距145。焦距145是从出射光瞳平面到传感器107，112的距离。为了例示的目的，入射光瞳和出射光瞳被显示成重合的，但在大多数情况下，它们分开一点。另外，摄像机105，110被显示成具有基线长度150。基线长度150是摄像机105，110的入射光瞳的中心之间的距离，因此在立体摄像机基线140上测量。

对象115被摄像机105和110的每一台成像成传感器107和112的每一个上的实像。这些实像包括传感器107上的细节116的实像117、和传感器112上的细节116的实像118。如图1所示，如在现有技术中所知，实像是颠倒的。

深度与视差密切相关。图2示出了从摄像机110中捕获的左图像205、和从摄像机105中捕获的右图像210。两个图像205，210包括带有细节116的对象115的表示。图像210包括细节116的细节图像217，图像205包括细节116的细节图像218。细节116的右远点被捕获在左图像205中的细节图像218中的像素220中，和被捕获在右图像210中的细节图像217中的像素225中。像素220和像素225的地点之间的差值是视差230。假设物像217，218是垂直对齐的，以便细节116的图像在两个图像205，210中具有相同垂直位置。视差230提供当左右图像205，210分别被观众的左右眼看到时对象215有深度的感觉。

图3示出了视差与感觉深度之间的关系。所示的是三个观察者305，307，309在各自屏幕310，320，330上观看对象的立体图像对。

第一观察者305观看到具有正视差的对象的左视图315和对象的右视图317。正视差反映在屏幕310上对象的左视图315在对象的右视图317的左边的事实。正视差导致出现在屏幕310的平面的后面的感觉或虚拟对象319。

第二观察者307观看到具有零视差的对象的左视图325和对象的右视图327。零视差反映在屏幕320上对象的左视图325与对象的右视图327处在相同水平位置上的事实。零视差导致出现在与屏幕320相同的深度上的感觉或虚拟对象329。

第三观察者309观看到具有负视差的对象的左视图335和对象的右视图337。负视差反映在屏幕330上对象的左视图335在对象的右视图337的右边的事实。负视差导致出现在屏幕330的平面的前面的感觉或虚拟对象339。

值得注意的是，视差和深度可以可交换地用在实现方式中，除非上下文另有指出或要求。使用方程1，我们已知视差与屏幕深度成反比。

其中“D”描述深度（图1中的135），“b”是两台立体图像摄像机之间的基线长度（图1中的150），“f”是每台摄像机的焦距（图1中的145），以及“d”是两个相应特征点的视差（图2中的230）。

上面的方程1对于具有相同焦距的平行摄像机有效。对于其他情形可以定义更复杂公式，但在大多数情况下，方程1可以用作近似。但是，另外，如本领域的普通技术人员所知，下面的方程2至少对于交向摄像机的各种安排有效：

d_∞是处在无穷远的对象的视差值。d_∞取决于交向角和焦距。用米（例如）表达而不是用像素的数量表达。焦距前面针对图1和焦距145已经讨论过。交向角显示在图4中。

图4包括按交向配置而不是图1的平行配置放置的摄像机105和摄像机110。角度410示出了摄像机105，110交向的视线，角度410可以称为交向角。

视差图用于为视频图像提供视差信息。视差图一般指具有与相关视频图像中的像素相对应的几何形状的一组视差值。

密集视差图一般指空间和时间分辨率通常与相关视频图像的分辨率相同的视差图。时间分辨率指，例如，帧速率，可以是，例如，50Hz或60Hz。因此，密集视差图一般每个像素地点具有一个视差样本。密集视差图的几何形状通常与相应视频图像的几何形状相同，例如，具有用如下像素数量表示的水平和垂直尺寸的长方形：

（i）1920x1080（或1920x1200）；

（ii）1440x1080（或1440x900）；

（iii）1280x720（或1280x1024、1280x960、1280x900、1280x800）；

（iv）960x640（或960x600、960x576、960x540）；

（v）2048x1536(或2048x1152）；

（vi）4096x3072（或4096x3112、4096x2304、4096x2400、4096x2160、4096x768）；或

（vii）8192x4302（或8192x8192、8192x4096、7680x4320）。

密集视差图的分辨率可以与相关图像的分辨率基本相同，但也可以不同。在一种实现方式中，难以获得图像边界上的视差信息。因此，在那种实现方式中，边界像素上的视差值未包括在视差图中，该视差图小于相关图像。

向下采样视差图一般指分辨率小于本机视频分辨率（例如，除以4）的视差图。向下采样视差图将，例如，每个像素块具有一个视差值。这些方块在任一个方向都无需是整数个像素。在一种实现方式中，向下采样视差图为沿着水平方向2.5个像素和沿着垂直方向2.5个像素的方块提供视差值。

稀疏视差图一般指非密集视差图。因此，稀疏视差图包括向下采样视差图。在许多应用中，稀疏视差图包括与有限个像素（例如，1000个）相对应的一组视差，该有限个像素与被认为在相应视频图像中可容易追踪的图像特征点相对应。选择的有限个像素一般取决于内容本身。在图像（1280x720或1920x1080）中经常高达一二百万个像素。像素子集选择一般通过能够检测特征点的跟踪工具自动或半自动地完成。跟踪工具可容易获得。特征点可以是，例如，可以在其他图像中容易跟踪的画面中的边缘和角落点。对于像素子集来说，代表对象的高对比度边缘的特征一般更可取。

视差图，或更一般地说，视差信息可以用于各种处理操作。这样的操作包括，例如，调整消费者设备上的3D效果的视图内插（再现）、提供智能字幕安置、视觉效果、和图形插入。

在一种特定实现方式中，将图形插入图像的背景中。在这种实现方式中，3D表示包括两者都在前景中的现场解说员和足球运动员之间的采访立体视频。背景包括体育馆的视图。在这个例子中，视差图用于当相应视差值比预定值小（也就是说，更靠近）时从采访立体视频中选择像素。相反，如果视差值比预定值大（也就是说，更远离），则从图形中选择像素。这使，例如，导演可以将采访参与者显示在图形图像的前面，而不是在实际体育馆背景的前面。在其他变体中，例如，在重播运动员最新得分场面期间用像，例如，球场那样的另一种环境替代该背景。

在一种实现方式中，根据用户偏爱软化（降低）3D效果。为了降低3D效果（减小视差的绝对值），使用视差和视频图像内插新视图。例如，将新视图放置在现有左视图和右视图之间的地点上，让新视图取代左视图和右视图之一。因此，新立体图像对具有较小基线长度和具有减小的视差，因此具有降低的3D效果。

在另一种实现方式中，进行外推而不是内插，以扩大视深从而提高3D效果。在这种实现方式中，与相对于原始左右视图之一基线长度增加了的虚拟摄像机相对应地外推新视图。

在另一个例子中，将视差图用于智能地将字幕放置在视频图像中，以便降低或避免观众不适感。例如，字幕一般应该具有在遮挡字幕的任何对象前面的感觉深度。但是，感觉深度一般应该具有与感兴趣的区域相当的深度，而不应该在处在感兴趣区域中的对象的前面太远。

对于许多3D处理操作，密集视差图优于向下采样视差图或其他稀疏视差图。例如，当视差图被用于实现方式用户可控3D效果时，逐个像素的视差信息一般是优选的。基于逐个像素的视差信息一般可以获得更好的结果，因为使用稀疏视差图（例如，向下采样视差图）可能使合成视图的质量下降。

视差值可以用各种格式表示。几种实现方式使用如下格式来表示视差值以便于存储或传输：

（i）带符号整数：2的补数

·（a）负视差值指示在屏幕前面的深度；

·（b）零用于屏幕平面上的对象的视差值；

（ii）以1/8像素为单位

（iii）使用16个位以便表示视差值

·（a）典型视差范围在+80与-150个像素之间。这对于分辨率为1920或2048的40英寸显示器一般足够了。

·（b）对于1/8像素精度，该范围在+640与-1200个单位之间，可以用11个位+1个符号位=12个位来表示。

·（c）为了在8k显示器（具有近似四倍于1920或2048个像素宽的显示器的水平分辨率的水平分辨率）上保持相同3D效果，我们通常需要两个附加位来编码视差：12+2=14个位。

·（d）这提供了2个位供将来使用。

进一步，使用上述格式的各种实现方式也为密集视差图创造了条件。因此，为了为这样的实现方式完成密集视差图，为相应视频图像中的每个像素地点提供上述16-位格式。

视差以及相关深度变体在场景的不同视图之间选成遮挡。图5示出了在观众大脑中组合起来产生3D场景530的左视图510和右视图520。左视图510、右视图520、和3D场景530每一种都包含三个对象，这三个对象包括胖圆柱体532、椭球534、和瘦圆柱体536。但是，如图5所示，三个对象532，534，536当中的两个在视图510，520和3D场景530的每一个中处在不同相对地点上。那两个对象是胖圆柱体532和瘦圆柱体536。椭球534在视图510，520和3D场景530的每一个中处在相同相对地点上。

如下面简化讨论所说明，不同的相对地点会选成遮挡。在也揭示了遮挡区545和548的左图像540中示出了左视图510。遮挡区545和548只在左视图510中可看见而在右视图520中看不见。这是因为（i）在右视图520中与遮挡区545相对应的区域被胖圆柱体532覆盖，以及（ii）在右视图520中与遮挡区548相对应的区域被瘦圆柱体536覆盖。

类似地，在也揭示了两个遮挡区555和558的右图像550中示出了右视图520。遮挡区555，558只在右视图520中可看见而在左视图510中看不见。这是因为（i）在左视图510中与遮挡区555相对应的区域被胖圆柱体532覆盖，以及（ii）在左视图510中与遮挡区558相对应的区域被瘦圆柱体536覆盖。

鉴于在立体图像对中可能存在遮挡，为立体图像对提供两个视差图是有用的。在一种这样的实现方式中，为左视频图像提供左视差图，为右视频图像提供右视差图。已知算法可以用于将视差值指定给每个图像不能使用标准视差矢量手段确定视差值的像素地点。然后可以通过比较左右视差值确定遮挡区。

作为比较左右视差值的一个例子，考虑左眼图像和相应右眼图像。一个像素L处在第N行上，在左眼图像中具有水平坐标x_L。像素L被确定为具有视差值d_L。像素R处在相应右眼图像的第N行上，具有与x_L+d_L最接近的水平坐标。像素R被确定为具有大约“-d_L”的视差值d_R。然后，可以很有把握地认为，在L或R上没有遮挡，因为视差相互对应。也就是说，一般说来，对于它们确定的视差，像素L和R两者相互指向对方。

但是，如果d_R不与-d_L大致相同，则可能存在遮挡。例如，如果两个视差值明显不同，则在考虑到符号之后，一般可以很有把握地认为存在遮挡。在一种实现方式中，用|d_L-d_R|>1来指示明显不同。另外，如果视差值之一（d_R或d_L）不可用，则一般可以很有把握地认为存在遮挡。视差值可能不可用是因为，例如，不能确定视差值。遮挡一般涉及两个图像之一。例如，与具有较小幅度的视差相联系的像素所示，或与不可用视差值相对应的像素所示的场景部分一般认为在另一个图像中被遮挡。

表示视差值的一种可能性是使用整数来表示视频图像中的给定像素地点的视差的像素数。视差值代表视频图像的特定水平分辨率的视差的像素数。因此，视差值取决于特定水平分辨率。这样的实现方式是有用的并且可以是有效的。

但是，其他实现方式要求视差值达到子像素精度。这样的实现方式一般使用浮点数来表示视差值，以便在视差值中可以包括分数。这些实现方式的几种提供了给定水平分辨率特有的视差值。这些实现方式也是有用的并且可以是有效的。

一些其他实现方式将视差值表示成百分比值。因此，取代将视差表示成像素数，将视差表示成水平分辨率的百分比。例如，如果给定像素地点的视差是十个像素，和水平分辨率是1920，则百分比视差值是(10/1920)*100。这样的实现方式也可以提供视差的子像素精度。百分比值表示通常是浮点表示，而不是整数表示。例如，水平分辨率为1920的显示器的一个像素视差是1/1920，等于0.0005208或.05208%。

并且，这样的百分比视差值可以直接应用于其他水平分辨率。例如，假设（i）视频图像具有1920的水平分辨率，（ii）将视频图像发送到用户的家里，以及（iii）用户的显示设备具有1440的水平分辨率。在这种情形下，用户的显示设备（或机顶盒、路由器、或一些其他处理器或处理设备）通常将视频图像的水平分辨率从1920转换成1440，并且还转换视差值以便视差值对应于1440的水平分辨率。该转换可以，例如，通过将百分比视差值乘以水平分辨率来进行。例如，如果给定像素地点的百分比视差是0.5%，和水平分辨率是1920，则绝对视差值是1/2*1920/100。这些实现方式的几种与视频图像和视差图的水平分辨率无关地将等于百分比视差值的单个视差值用在视差值的发送和存储中。这样的实现方式也是有用的，并且可以是有效的。

如上所述，发送系统可以使用与视频图像的水平分辨率不同的发送格式的水平分辨率。另外，接收系统可以使用不同水平分辨率来显示视频图像。因此，可能需要从一种水平分辨率转换到另一种水平分辨率。这样的转换不仅改变视频图像的分辨率，而且需要调整视差值。一般说来，这样的转换不仅是绝对视差值所需的，而且是百分比视差值所需的。

如下的例子提供了有关各种实现方式之间的一些折衷的更多细节：

·（i）一种实现方式将视差值格式化成精度为一个像素的1/8的给定视频分辨率的绝对值（像素数）（例如，在具有1920个水平像素的视频内容上一个对象具有10个像素的视差）。

·（ii）这样的系统具有许多优点，包括简单和易于操纵。

·（iii）在一个这样的系统中，使用11个位：8位用于提供直到255个像素视差的整数部分，3位用于小数部分（以便达到1/8准确度或精度）。注意，也可以使用符号位，或系统提供+/-127个像素的视差值。

·（iv）如果在发送期间需要将视频图像重新格式化，则也要将视差图格式化，这可能导致信息丢失。例如，参照图6，一种实现方式使用水平分辨率为1920的本机格式610和向下采样成具有1280（或在另一种实现方式中，1440）的水平分辨率的发送格式620。在通常导致深度细节丢失的子采样之前，与视频图像一样地滤波深度或视差图。该滤波发生在滤波和子采样操作630中。将滤波和子采样操作应用于视频图像和视差图两者。

·（v）而且，新视差值被转换，并通常遭到破坏。例如，在向下采样以便降低视差图的分辨率（也就是说，减少视差值的数量）之后，视差值被转换成发送格式的分辨率。当从1920变成1280时，10个像素的视差值变成6.6666。这导致了，例如，将该值舍成6.625，因为小数部分只能是0.125（1/8）的倍数。

·（vi）在发送之后，如果显示器是1920个像素宽，则最终视差值是6.625x1920/1280=9.9375。9.9375的值与10的原始值相比代表某种失真。9.9375的值可能被向上，向下舍成最接近整数，或例如，最接近1/8，从而可能造成信息丢失。如果该值被向下舍入，则丢失很严重。

一种解决方案是使用可能是所有水平分辨率共有的百分比视差。上述这样的实现方式既有优点也有缺点。百分比视差值的使用使发送之前的转换操作可以省略。

另一种解决方案是使用不是任何一种常用分辨率特有的整数值（注意，通常假设画面已经经过垂直校正以及接受其他处理。于是，通常针对水平布置来讨论视差就足够了）。这种解决方案建议定义11,520个像素的参考分辨率（或虚拟分辨率），在本申请中将其称为几种标准TV水平分辨率（720，960，1280，1440，1920）的最小公倍数（“SCM”）。注意，SCM在各种参考文献中也被称为可以缩小成LCM的“最低公倍数”。

这种SCM解决方案的至少一种实现方式具有包括如下的许多优点（其他实现方式无需具有所有这些优点）：

·（i）因为视差值是整数，所以确定和存储视差值简单，并且使视差值易于操纵和处理。

·（ii）视差值不再是严格绝对的，而是具有相对方面，因此与本机视频分辨率无关。

·（iii）不需要小数部分。

·（iv）视差值像百分比，因为它是相对的，并且与本机视频分辨率无关。但是，视差值是整数，因此，无明显需要编码像0.00868%那样的复杂数字来描述最小视差值。最小视差值是一个像素，1/11,520是0.00868%。

·（v）在传输期间无明显需要将视差值转码，因为视差值指的是11,520。

·（vi）当基于SCM的视差值到达，例如，机顶盒（“STB”）时，STB通过进行像，例如，如下那样的极简单运算计算给定视频分辨率的真正绝对值视差：

ο（a）对于1920分辨率，视差/6；

ο（b）对于1440分辨率，视差/8；

ο（c）对于1280分辨率，视差/9；以及

ο（d）对于920分辨率，视差/12。

·（vii）与使用哪些信道无关，只要不转码，在传输期间就不关心视差信息。

·（viii）即使对于像2k，4k，8k那样的较新消费者分辨率，其运算实现方式起来也简单，并且可以容易地在STB处理单元中实现。注意，2k一般指具有2048的水平像素分辨率的图像，4k一般指4096，以及8k一般指8192。其运算是，例如：

ο（a）对于2048分辨率，视差x8/45；

ο（b）对于4096分辨率，视差x16/45；以及

ο（c）对于8192分辨率，视差x32/45。

在实际中，一种或多种SCM实现方式（1）确定相应视频内容的现有水平分辨率的视差值；（2）通过简单相乘和/或相除将那些视差值转换成11,520的尺度（scale）以生成SCM视差值；（3）不转码地存储和发送SCM视差值；以及（4）使用简单相乘和/或相除将接收的SCM视差值转换成输出显示器的分辨率。因为不用转码，所以这种解决方案一般不会遭受由转码引起的信息丢失（例如，舍入丢失）。注意，上述过程不会改变视差图的分辨率。而是，缩放现有视差值（针对现有分辨率），以便使它们基于，或反映与实际分辨率不同的参考分辨率（或虚拟分辨率）。

各种实现方式通过与上述的那些相反的简单数学运算生成视差值。例如，为了生成SCM视差值，按如下将接收的绝对视差值乘以和/或除以一个或两个整数：

ο（i）1920视差*6=SCM视差；

ο（ii）1440视差*8=SCM视差；

ο（iii）1280视差*9=SCM视差；

ο（iv）960视差*12=SCM视差；

ο（v）2048视差*45/8=SCM视差；

ο（vi）4096视差*45/16=SCM视差；

ο（vii）8192视差*45/32=SCM视差。

图7更详细地提供了为各种不同水平分辨率确定最小公倍数的过程。列710列出了不同水平分辨率。列720列出了水平分辨率的最小约数。例如，960被因子分解成2⁶*3*5，其中2⁶是2的6次方。因此，960=64*3*5。还要注意到，关于1280的水平分辨率，3⁰等于1。

前四个分辨率960，1280，1440和1920的最小公倍数2⁸*32*5，即等于11,520。通过乘以2的适当次方，然后除以未出现在2k，4k和8k中的3²和5因子，将11,520分辨率用在2k，4k和8k的分辨率上。注意，在各种实现方式中，使用逐位左移操作，而不是实际相乘运算来进行2的幂次相乘。图7包括提供在11,520与显示在列710中的各种分辨率之间转换的转换方程的列730。

列630的转移方程可以用于根据多种常用显示器尺寸（显示器尺寸指的是用，例如，英寸或厘米度量的显示器的物理尺寸）支持的分辨率缩放视差值。在图6的例子中，通过6的因子缩放基于，例如，1920水平分辨率的输入视差值，以便将视差值转换成基于11,520的水平分辨率的新视差值。新视差值也基于960，1280，和1440的水平分辨率，因为那些分辨率是被11,520的分辨率接纳的，并且用在确定11,520的分辨率中。

一种替代实现方式简单地使用11,520*2⁵=368,640的视差分辨率。在这种替代实现方式中，无需相乘将368,640转换回到原始分辨率。

11,520的值被用于各种实现方式。但是，在其他实现方式中也可以使用其他值。在一种实现方式中，将11,520加倍成23,040。在第二种实现方式中，将368,640加倍成737,280。

可替代地，在各种实现方式中可以使用不同组的水平分辨率。这导致不同的SCM。例如，在另一种实现方式中，只对1920和1440输出分辨率感兴趣，因此该实现方式使用5,760的SCM。然后，为了生成SCM视差值，将来自1920分辨率的视差值乘以3的因子，而将来自1440分辨率的视差值乘以4的因子。

应当清楚，各种实现方式不是SCM实现方式。例如，甚至11,520值也不是列在列710中的所有七种分辨率的SCM。而是，368,640值是SCM。不过，即使视差值不是所有水平分辨率的最小公倍数，描述在本申请中的实现方式一般也称为SCM实现方式。

注意，SCM实现方式提供了子像素精度。例如，对于1920分辨率，视差值使用6的因子转换成11,520分辨率/从11,520分辨率转换过来，这样就提供了1/6的像素精度。更具体地说，如果基于11,520的视差值是83，则基于1920的视差值是135/6。这显然提供了1/6的像素精度。就质量，以及将来使用的边界而言，这提供了各种优点。例如，如果1920分辨率被2k分辨率取代，则基于11,520的视差值仍然提供8/45像素精度的子像素精度，这稍低于1/6（7.5/45）像素的精度，但仍然高于1/5（9/45）像素的精度。

使用11,520的SCM分辨率的至少一种实现方式以两字节（十六位）格式操作。在1920x1080显示器（分辨率）上典型的视差值往往在+80与-150个像素之间变化。在11,520参考分辨率上将那些数字乘以六得出+480到-900的范围。这个1380的范围可以用十一个位（2¹¹=2048）来表示。一种替代实现方式使用十个位来表示视差的绝对值（视差最大绝对值是900），以及用一个附加位来表示符号。

又一种实现方式通过认为视差的符号是隐含的保留一个位。例如，与视差的符号一起编码左视图中的像素的视差。但是，假设相应右视图中的相应像素的视差具有相反符号。

另一种实现方式为了能够按视图（左视图和右视图两者）提供一个密集视差图，从而减轻遮挡引起的问题，分配指示密集视差图对应的视图的位。另一种实现方式提供图像（左图像或右图像）与相应密集视差图之间的隐含联系，因此无需把位花费在这个信息上。这些实现方式的变体使用一个或多个附加位来介绍其他类型的图或图像。一种这样的实现方式使用两个位来指示该图是（i）左图像视差图，（ii）右图像视差图，（iii）遮挡图，还是（iv）透明图。一种实现方式使用十六位格式，将11位用于指示-900到+480的范围，将2位用于指示图的类型，另外3位待用。

图8提供了例示一种或多种实现方式的操作的方块/流程图。图8还例示了不同实现方式之间的一些折衷。

图8包括处理视频的处理链810。视频图像811具有1920的水平分辨率。但是，处理链810的发送格式具有1280的分辨率。于是，在操作812中滤波和向下采样视频图像811，以便生成水平分辨率为1280的视频图像813。在处理链810中滤波和向下采样是一起进行的。但是，其他实现方式可以分开进行滤波和向下采样。该滤波用于，例如，当向下采样视频图像811时以防止混叠为目的地低通滤波视频图像811。在发送和/或存储操作814中传送视频图像813。

处理链810的接收侧访问可以与视频图像813相同、相似或不同的接收视频图像815。例如，在一种实现方式中，视频图像815是视频图像813的存储形式。另外，在另一种实现方式中，视频图像815代表源编码和解码操作（未示出）之后视频图像813的重构形式。并且，在又一种实现方式中，视频图像815代表信道编码和解码（包括纠错）操作（未示出）之后视频图像813的纠错形式。在向上采样操作816中处理视频图像815以产生具有像在原始视频图像811中那样的1920水平分辨率的视频图像817。

图8还包括处理与在处理链810中处理的视频图像相对应的视差图像的处理链820。视差图像821具有1920的水平分辨率，并且包括基于11,520的分辨率的整数值化视差值。注意，视差图像一般指像，例如，密集视差图、向下采样（稀疏）视差图、或另一种稀疏视差图那样的视差信息的任何累积。并且，视差图可以对应于，例如，画面、帧、半帧、切片、宏块、分区、或视差信息的一些其他集合。

但是，处理链820的发送格式具有1280的水平分辨率。于是，在操作822中滤波和向下采样视差图像，以便生成水平分辨率为1280的视差图像823。在处理链820中滤波和向下采样是一起进行的。但是，其他实现方式可以分开进行滤波和向下采样。该滤波用于，例如，当向下采样视差图像821时以防止混叠为目的地低通滤波视差图像821的视差值。

视差图像823的视差值是整数值。这可以以各种方式来完成。在一种实现方式中，将滤波和向下采样操作的结果舍成最接近整数。在另一种实现方式中，简单地放弃任何分数部分。又一种实现方式将浮点表示用于视差图像823的视差值。注意，即使在滤波和向下采样产生1280的视差图像823的分辨率之后，视差值也仍然基于11,520的分辨率。

在发送和/或存储操作824中传送视差图像823。处理链820的接收侧访问接收的视差图像825。视差图像825可以与视差图像823相同、相似或不同。例如，在一种实现方式中，视差图像825是视差图像823的存储形式。另外，在另一种实现方式中，视差图像825代表源编码和解码操作（未示出）之后视差图像823的重构形式。并且，在又一种实现方式中，视差图像825代表信道编码和解码（包括纠错）操作（未示出）之后视差图像823的纠错形式。但是，如果需要的话，通过使用，例如，舍入使视差图像825中的视差值保持整数。

在向上采样操作826中处理视差图像825以产生具有像在原始视差图像821中那样的1920水平分辨率的视差图像827。操作826使用，例如，舍入和截断生成视差图像827的整数值。

在转换操作828中将视差图像827的视差值从基于11,520分辨率的值转换成基于1920分辨率的值。如上所述，转换操作828将每个视差值除以6。转换操作828生成视差图像829。将视差图像829的视差值表示成浮点数，以便保持子像素精度。

应当清楚，处理链820包括明显优点。首先，视差值在整个处理链820中都是整数，直到提供最终视差图像829。其次，尽管发送格式的水平分辨率不同于本机视差图821的水平分辨率，但不用转码实际视差值。因此，该视差值可应用于多种不同水平分辨率。

然后，接收系统使用视差图像829处理视频图像817。如上所述，该处理可以包括调整3D效果，定位字幕，插入图形，或实现方式视觉效果。

图8还描绘了用于比较目的的处理链830。处理链830也处理与在处理链810中处理的视频图像相对应的视差图像。处理链830是处理链820的一种替代。应当清楚，如下所述，为了简化图8，未示出整个处理链830。

视差图像831具有1920的水平分辨率，并且包括具有浮点表示的基于百分比视差值。但是，处理链830的发送格式具有1280的水平分辨率。于是，在操作832中滤波和向下采样视差图像831，以便生成水平分辨率为1280的视差图像833。操作832可以类似于，例如，滤波和向下采样操作812或822。继续用浮点格式表示视差图像833的基于百分比视差值。

处理链830的其余部分（未示出）反映了处理链820的其余部分。在发送和/或存储操作中传送视差图像833。处理链830的接收侧访问接收的视差图像。将接收的视差图像向上采样成1920的水平分辨率，然后将视差值从基于百分比的值转换成基于1920分辨率的值。如上所述，该转换操作是百分比乘以1920的乘法。但是，与处理链820相反，处理链830中的视差图像的视差值总是用浮点格式表示。

图8还描绘了用于比较目的的处理链840。处理链840也处理与在处理链810中处理的视频图像相对应的视差图像。处理链840是处理链820的一种替代。应当清楚，如下所述，为了简化图8，未示出整个处理链840。

视差图像841具有1920的水平分辨率，并且包括基于1920分辨率和具有浮点表示的视差值。但是，处理链840的发送格式具有1280的水平分辨率。于是，在操作842中滤波和向下采样视差图像841，以便生成水平分辨率为1280的视差图像843。操作842可以类似于，例如，滤波和向下采样操作812或822。继续用浮点格式表示视差图像843的视差值。

然后，在转换操作850中转换视差图像843的视差值，以便生成视差图像860。转换操作850将视差值从基于1920水平分辨率的值转换成基于1280水平分辨率的值。继续用浮点格式表示视差图像860的视差值。

处理链840的其余部分（未示出）反映了处理链820的其余部分。在发送和/或存储操作中传送视差图像860。处理链840的接收侧访问接收的视差图像。将接收的视差图像向上采样成1920的水平分辨率，然后将视差值从基于1280分辨率的值转换成基于1920分辨率的值。该转换操作牵涉到将视差值乘以1920/1280。与处理链830一样，而与处理链820相反，处理链840中的视差图像的视差值总是用浮点格式表示。

在处理链840的另一种实现方式中，不进行转换操作850。因此，视差图像843的视差值保持与基于1920水平分辨率的视差值一样。但是，视差图像843的水平分辨率保持与1280一样。因此，这种实现方式避免了发送之前的转换，以及可能避免了接收或检索之后的再转换。在至少一些实现方式中避免转换或再转换也避免了舍入误差。这种实现方式与本申请中的所有其他实现方式一样具有优点并且可以是有用的。但是，视差值在整个实现方式过程中都用浮点数表示。

我们再次提一下使用，例如，11,520的分辨率的SCM实现方式。11,520宽度被称为选择如前所述的预定图像分辨率（例如，960，1280，1440，和1920）的宽度（水平像素）的最小公倍数。注意，11,520也是1280，1440，和1920的最小公倍数。

使用SCM的水平视差的单个计数可以称为“视差单位（DU）”、“水平单位（HU）”或“水平视差单位（HDU）”。用DU表达视差有效地相对于所选图像宽度的最小公倍数来表达视差。用DU表达视差具有一些优点。用DU表达视差的一种这样优点是在所选分辨率之一上对立体图像对中的对象计算的视差对于相同立体图像对缩放成所选分辨率的不同一种的形式中的相同对象几乎是相同的。

例如，参照图9，示出了代表相同区域，但在具有三种不同分辨率的图像中的像素的三行910，920和930。另外，第四行940示出了来自11,520的SCM分辨率的视差单位。

顶行910包括来自1280个像素宽的画面的像素的区域。如图所示，顶行910包括8个像素。顶行910实际上具有1280x720的分辨率，这通常具有与宽高比为1：1的像素相对应的16：9的图像宽高比。因此，顶行910中的像素被显示成正方形。

第二行920包括来自与行910相同的画面的像素的区域。但是，行920是将画面的尺寸调整成1440个像素宽，给出分辨率为1440x1080的整个图像之后从画面中提取的，分辨率为1440x1080的整个图像通常具有16：9的相同图像宽高比，但像素宽高比为4：3。因此，如图所示，行920包括9个像素，而不是像行910中那样的仅仅8个像素。

第三行930包括来自与行910和行920相同的画面的像素的区域。但是，行930是针对1920x1080的整个图像分辨率将画面的尺寸调整成1920个像素宽之后从画面中提取的。与讨论过的其他分辨率一样，该画面具有16：9的宽高比，但与行910一样具有1：1的像素宽高比（正方形像素）。因此，如图所示，行930包括12个像素，而不是像行910中那样的仅仅8个像素或像行920中那样的9个像素。应当清楚，行910、行920、和行930都显示画面的相应区域，包括相同内容。

我们提供了例示在这四种不同分辨率下的视差差异的例子。在一种实现方式中，一个对象精确地出现在立体图像对的一个图像的1280个像素宽形式中顶行910的最左像素912上，并精确地出现在立体图像对的相应另一只眼图像中的第五像素914上。视差是跨过顶行910的一半长度或（以像素为单位）恰好是4（如5-1计算出来）。

但是，如在第三行930的重新缩放图像中所测量，该对象出现在立体图像对的一个图像的最左像素932中，并精确地出现在立体图像对的相应另一只眼图像中的第七像素934上。因此，等于跨过第三行930的一半长度的视差具有6个像素的长度。

进一步，如在第二行920的重新缩放图像中所测量，该对象出现在立体图像对的一个图像的最左像素922中。该对象还出现在立体图像对的相应另一只眼图像中第五像素924的右半边中。因此，等于跨过第二行920的一半长度的视差具有4¹/₂个像素的长度。

因此，该视差在行910，920，和930的每种分辨率下是不同的。该视差从4个像素变化到4¹/₂个像素，再变化到6个像素。

但是，当用DU表达视差时，这同一个对象在所有三种分辨率上都具有36DU的视差。这可以通过检查第四行940看到。如在第四行940的重新缩放图像中所测量，该对象出现在立体图像对的一个图像的最左DU942中，并精确地出现在立体图像对的相应另一只眼图像中的第三十七DU944上。因此，等于跨过第四行940的一半长度的视差具有36个DU的长度。通过使用DU，而不是像素来测量视差，由于在不同所选分辨率之间缩放画面，所以无需重新测量，重新计算或缩放这个对象的视差。

如前所述，密集视差图通常包含与立体图像对的一个图像中的每个像素的内容相联系的视差值。该视差值是相对于立体图像对中的其他图像的。因此，密集视差图通常包含数量与相应图像含有像素的数量相同的视差项。

从高分辨率（例如，1920个像素宽）的图像的第一密集视差图中，可以通过第一密集视差图中与第二密集视差图中的数值空间重叠的数量的加权平均（或一些其他函数）计算较低分辨率的图像的第二密集视差图。

在一种实现方式中，视差缩小函数是加权平均。在这种实现方式中，第二密集视差图中的数值等于乘积之和。相加的乘积是与第一视差图中的每个像素相对应的视差乘以它的相应像素与正在计算视差值的第二视差图像素的交区的面积（归一化到第二视差图的像素）的乘积。

例如，参照图10，所示的是两个像素网格重叠的一部分。第一像素网格被称为Map1，是较高分辨率画面的像素网格。第二像素网格被称为Map2，是较低分辨率画面的像素网格。应当清楚，图1和图2未全部显示在图10中。图10示出了Map1和Map2重叠的一部分。

图10的网格也对应于视差图。第一视差图提供Map1中的每个像素地点的视差值，有时称为Map1视差图。第二视差图提供Map2中的每个像素地点的视差值，有时称为Map2视差图。Map1视差图是较高分辨率画面的密集视差图，有时称为较高分辨率视差图。Map2视差图是较低分辨率画面的密集视差图，有时称为较低分辨率视差图。在如下的各种实现方式中，Map2视差图可以通过向下采样Map1视差图来创建，相反，Map1视差图可以通过向上采样Map2视差图来创建。

参照图11，图10的Map1也没有Map2地单独显示在图11中。类似地，参照图12，图10的Map2也没有Map1地单独显示在图12中。应当清楚，如本文一般使用的视差图包括相应画面的视差值。视差图通常被认为具有相应画面中的像素（或像素组）的视差值。于是，有时认为视差图含有像素是方便的，尤其对于具有相应画面中的每个像素的视差值的密集视差图。

Map1（在图10和11两者中）示出了含有像素P11、像素P12、像素P13、像素P14、像素P15、像素P16、像素P17、像素P18、和像素P19的相应画面的像素网格。Map2（在图10和11两者中）示出了含有像素P21、像素P22、像素P23、和像素P24的相应画面的像素网格。可以看出，在Map1的网格中的像素的尺寸小于Map2的网格的像素的尺寸。尺寸差异反映了Map1相对于Map2用于较高分辨率画面的事实。

在从Map1视差图中形成Map2视差图的至少一种实现方式中，与Map2的像素P21相对应的视差值的加权平均是乘积之和。第一乘积是与Map1的像素P11相对应的视差值（称为d(P11)）乘以像素P11和像素P21的交区的面积。注意，像素P21的面积被认为是1个单位。对于Map1视差图的每个视差值，其余乘积都是相似的。但是，只有像素P11，像素P12、像素P14、和像素P15具有与像素P21的非空交区。于是，只有像素P11，像素P12、像素P14、和像素P15的视差对与像素P21相对应的视差有贡献。以方程形式表示，使用这种加权平均视差计算的像素P21的视差是：

d(P21)=d(P11)*4/9+d(P12)*2/9+d(P14)*2/9+d(P15)*1/9。

类似地，对于像素P24：

d(P24)=d(P15)*1/9+d(P16)*2/9+d(P18)*2/9+d(P19)*4/9。

像素P22和像素P23的视差以相似方式计算。

除了加权平均之外，可以选择另一种函数。例如，另一种实现方式将新图中的像素的视差的视差缩小函数定义成与相交的像素相对应的视差的最小值。以方程形式表示，使用这种视差最小（或“最小视差”）计算的像素P21的视差是：

d(P21)=min(d(P11),d(P12),d(P14),d(15))。

对于Map2中的每个特定像素（例如，像素P21），这种视差最小函数保证了对Map2中的特定像素的视差值有贡献的来自Map1视差图的视差值没有一个小于Map2中的那个特定像素的视差值。回想一下较低视差值指示对象较接近观众。因此，视差最小函数提供了保证在新分辨率下对象与观众总是至少与对象在旧分辨率下一样接近的新分辨率的计算视差图。

相反，在特定实现方式中，视差最小函数往往对最负视差选成额外影响。例如，在一种实现方式中，Map1视差图的视差值除了与具有小视差值的像素P15相对应的视差值之外都很大。不过，像素P15的视差值影响包括像素P21、像素P22、像素P23、和像素P24、Map2中与Map1中的像素P15重叠的每个像素的视差值。回想一下Map1视差图和Map2视差图是一个图面的视差图。结果是，当该画面从较高分辨率（Map1的像素网格）变成较低分辨率（Map2的像素网格）时，该画面被认为具有与像素P15相联系的视差值的部分将增长到原来的九倍。这是因为Map2中的四个像素都至少部分与Map1中的像素P15重叠，Map2的面积是像素P15的面积的九倍。

也可以将函数应用于从Map2的较低分辨率转换到Map1的较高分辨率。例如，将加权平均视差计算和/或视差最小计算用在各种实现方式中。这样的计算遵循与这些计算的以前例子相同的原理。但是，注意，Map1的像素现在被认为是1个单位，而不是Map2的像素。

在一种这样的实现方式中，计算像素P11和像素P12的视差的加权平均视差计算提供了：

d(P11)=d(P21)，因为像素P21完全与像素P11重叠；以及

d(P12)=d(P21)*1/2+d(P22)*1/2，因为像素P12一半被像素P21覆盖，另一半被像素P22覆盖。

在另一种这样的实现方式中，计算像素P15的视差的视差最小计算提供了：

d(P15)=min(d(P21),d(P22),d(P23),d(24))。

图10，11和12的上述讨论原则上都能处理密集视差图。的确，尤其涉及修改立体图像对中的视深的图像处理，存在需要具有可接受结果的密集视差图的情况。

但是，存在无需密集视差图的其他情况，在那些情况下，稀疏视差图（非密集）是可接受的。例如，为了将字幕（或图形、或屏幕菜单）放置成与立体展示复合，通常为字幕/图形/菜单选择不大于重叠的区域中的最小（最负）视差的视差。

全面的检查可能要测试密集视差图当中字幕/图形/菜单重叠的每个像素的视差。但是，通常只将字幕/图形/菜单的视差与稀疏视差图相比较就可以获得高质量结果。在各种实现方式中，这样的稀疏视差图每两个像素，每十个像素，或甚至更多像素提高一个视差值。稀疏视差图的使用可以使用较少数据来表示稀疏视差图。这导致了，例如，存储或发送的数据较少，以及试图放置字幕/图形/菜单时要检查的数据较少。

但是，以前，当将画面缩放成不同分辨率时，重新计算或重新缩放稀疏视差图，以便在表示在视差图中的视差与显示在底层像素中的对象的实际视差之间具有适当对应关系。例如，如果拥有以整数或分数像素单位展示的视差图（密集或稀疏），以及转换成不同分辨率，则通常a）将视差值缩放成新的不同尺寸像素值，以及b）确定适合新尺度的视差，因为每个像素（或区域）与用于覆盖的相比估计覆盖图像的不同部分。例如，当视差图（稀疏或密集）被转换成需要，例如，向上采样（也称为向上转换）或向下采样（也称为向下转换）的不同分辨率时，就可能发生这种情况。这种转换的例子以前针对密集视差图，例如，结合图10-12讨论过。还要注意的是，各种转换可能需要滤波，以防止或减少，例如，混叠。

注意，以前向上采样（例如，从Map2转换到Map1）和向下采样（例如，从Map1转换到Map2）密集视差图的例子也可应用于向上采样和向下采样稀疏视差图。如下是几个例子。

-在各种实现方式中，稀疏视差图只由所选和稀疏定位像素的视差值组成。但是，一旦转换成不同分辨率，所选和稀疏定位像素具有与不同分辨率的像素重叠的区域。于是，在一种实现方式中，使用了使用（例如）加权平均或最小函数的向上采样和/或向下采样。

-在另一种实现方式中，画面的稀疏视差图由每一个应用于画面当中的独立小区（像素组）的视差值组成。但是，一旦转换成不同分辨率，独立小区具有与不同分辨率的小区重叠的区域。于是，在一种实现方式中，使用了使用（例如）加权平均或最小函数的向上采样和/或向下采样。当像素被认为是小区而不是单个像素时，可以从图10中看到这样实现方式的一个例子。因此，例如，“像素”P11在这样的实现方式中代表小区（像素组），而不仅仅是单个像素，将单个视差值（等于d(P11))与整个小区相联系。

但是，在各种实现方式中，可以构建无需重新计算视差值以便与预定分辨率的某一种相对应的特殊稀疏视差图。这种尺度无关视差图通过如下所述为每个小区选择宽度和高度来构建。

将视差图中每个小区的宽度选成等于如用DU度量的各种分辨率的像素宽度的SCM，或它的整数倍。在一种实现方式中，对于1280，1440和1920的预定水平分辨率，以DU为单位的参考显示器宽度是它们的SCM11,520。这对应于对于1280分辨率，一个像素是9DU宽，对于1440分辨率，一个像素是8DU宽，以及对于1920分辨率，一个像素是6DU宽。9DU、8DU和6DU的像素宽度的SCM是72DU。因此，在72DU的水平间隔上，三种画面分辨率的垂直像素边界对齐。

使用类似的过程，选择每个小区的高度，因此提供垂直像素的间隔。构建本例的视频格式（也称为分辨率）是1280x720、1440x1080、和1920x1080。注意，1280x720和1920x1080格式中的像素宽高比是1：1，但在1440x1080格式中，像素具有较宽的4：3宽高比。因此，除了正方形像素之外，这种技术也适用于非正方形像素。

因此，垂直分辨率只有两种：720和1080。这两种分辨率的SCM是2160。这种SCM以，例如，前面计算水平SCM所讨论的相同方式计算，注意（i）720==2⁴*3²*5，（ii）1080=2³*3³*5，以及（iii）2160=2⁴*3³*5。因此，在这种实现方式中，在三种图像格式具有2160VU（垂直单位）的高度。对于高720个像素的图像格式，每个像素高2160/720=3VU。对于高1080个像素的另一种图像格式，每个像素高2160/1080=2VU。

将视差图中每个小区的高度选成等于如用VU度量的各种分辨率的像素高度的SCM，或它的整数倍。因此，对于上述实现方式，每个小区的高度是3VU和2VU的SCM，即6VU。

我们可以将上面的宽度和高度计算组合在一起。在这样的实现方式中，一个小区具有72DU（或它的整数倍）的宽度和6VU（或它的整数倍）的高度。这种实现方式例示在图13-16中，下面加以讨论。

参照图13-16，所示的是三种像素网格的一部分。示出了称为Grid1和用左对角笔触画出的第一像素网络的一部分。示出了称为Grid2和用右对角笔触画出的第二像素网络的一部分。示出了称为Grid3和用交叉影线（即，左对角笔触和右对角笔触两者）画出的第三像素网络的一部分。三个部分是可共同扩展的，因此代表画面的相同部分。三个部分可共同扩展的事实例示在示出了相互重叠的三个部分的图13中。相反，图14-16只示出三个部分之一。图14单独示出了Grid1的部分。图15单独示出了Grid2的部分。图16单独示出了Grid3的部分。

三种像素网格具有三种不同分辨率。Grid1具有1920x1080的分辨率。Grid2具有1440x1080的分辨率。Grid3具有1280x720的分辨率。因此，Grid1具有最高水平分辨率，也具有最高总分辨率。Grid3具有最低分辨率（水平、垂直和总分辨率）。Grid2具有中等水平分辨率和总分辨率。在每种像素网格中，一些像素用适当笔触加上阴影，以更好例示每个网格的间距。“间距（pitch）”应理解为一般指像素尺寸和地点、像素间隔、或空间频率。

图13-16还包括分别示出VU和DU单位的垂直和水平轴。VU和DU单位是如前面针对图13-16的三种分辨率所述确定的。因此，Grid1中的每个像素是6DU宽x2VU高。Grid2中的每个像素是8DU宽x3VU高。Grid3中的每个像素是9DU宽x3VU高。

从图13中可以看出，每6个VU（2VU和3VU的SCM）所有三种网格的垂直像素边界对齐。每72个DU（6DU、8DU、和9DU的SCM）所有三种网格的水平像素边界对齐。

因此，对于各种实现方式，将视差图中的小区定义成6VU高的第一整数倍和72DU宽的第二整数倍。小区的视差值提供Grid1、Grid2、或Grid3的某一个中与该小区相对应的像素中的对象的视差值。在这样的实现方式中，当在Grid1、Grid2、或Grid3的三种分辨率之间转换画面时，无需重新计算小区的视差值。而是，将小区的视差值应用在所有这三种预定画面分辨率上。

划分成小区的所得视差图具有等于以DU为单位的画面宽度除以以DU为单位的小区宽度的小区列数。小区行数等于以VU为单位画面高度除以以VU为单位的小区高度。

在显示在图13中的例子中，如果乘以6VU和72DU的第一和第二整数两者都是“1”，则显示在图13中的网格部分对应于三个尺度无关视差图小区，每个小区宽72DU高6VU。注意，这导致了短宽的视差图小区。这三个小区的每一个占据了图13的整个宽度。第一小区在垂直方向从0VU延伸到6VU。第二小区在垂直方向从6VU延伸到12VU。第三小区在垂直方向从12VU延伸到18VU。

可替代地，如果第一整数是“3”和第二整数是“1”，则显示在图13中的三种网格的部分对应于单个尺度无关视差图小区。这单个小区的水平和垂直轴具有比上面第一整数是“1”的例子的小区更相似的表示。由于该更相似表示，取决于，例如，底层数据的大小，本例中的小区的宽高比对于某些用途可能更有效。

注意，不要求DU和VD具有相同尺寸。在参照图13讨论的例子中，一个VU大于一个DU。这可以从，例如，图13中看出，其中72个水平增量每一个1DU宽，18个垂直增量每一个1VU高。1DU x1VU的区域（称为微像素）在本例中不是正方形，因为DU和VU不是相同尺寸。正如我们所讨论，水平分辨率的SCM可以用于设置多少个DU构成图像的水平宽度。同样，可以针对VU和图像的垂直高度提供这样的计算。一般说来，不要求假想显示器的所得微像素是正方形微像素。这是因为DU的尺寸和VU的尺寸可能不同。注意，尽管微像素不是正方形，但Grid1和Grid3的像素是正方形，而Grid2的像素具有4：3的像素宽高比。

当像尺度无关视差图那样提供视差图时，可以在预定分辨率的任何一种上不用为相应画面作变更地使用视差图值。因此，例如，不需要转换处理。

注意，在各种实现方式中，尺度无关视差图由每个小区只包括一个像素的小区构成。在几种这样的实现方式中，预定分辨率是相互的整数倍。在这些实现方式中，最粗分辨率的一个像素对应于每种其他（较不粗）分辨率的像素的整数倍。在一种特定实现方式中，最粗分辨率的一个像素对应于较细（较不粗）分辨率之一下的四个像素。

尺度无关视差图在不同实现方式中提供了各种优点。例如，在各种实现方式中，当改变分辨率时，尺度无关视差图无需转换视差值。作为另一个例子，在各种实现方式中，尺度无关视差图保持视差值与该视差值所应用的相关内容（例如，对象）之间的对应关系。这些优点将在下面作进一步讨论。

我们首先解决了视差值的转换问题。再次参照图10，假设小区尺寸被选成可与定义成由像素P11-P16组成的像素组共同扩展。一旦转换成Map2的分辨率，显然，Map1小区的边界不完全与Map2中的任何可能（全像素）小区边界对齐。因此，例如，包括像素P24的小区的视差值估计基于P11-P16的Map1小区的视差以及包括像素P18-P19的Map1小区的视差。这样的转换需要另外处理资源。

但是，通过提供在所有分辨率下在像素边界上对齐的小区边界，所有分辨率下的小区的视差值无需考虑小区外的区域的视差值。另外，视差值本身基于分辨率的SCM，因此无需转换成反映当前（但不是最终）的分辨率。的确，在各种实现方式中，在像，例如，字幕放置那样的处理之前的任何点上都无需转换视差值。

我们现在解决视差值与内容之间的对应问题。再次参照图10，假设像素P11-P19和像素P21-P24都是小区而不是像素。进一步假设小区P15具有最低视差和对应于包括前景对象的像素。一旦从Map1转换到Map2，使用视差最小算法，将小区P15的视差应用于小区P21-P24。一旦从Map2重新转换回到Map1，就将小区P21-P24的视差应用于小区P11-P19的所有小区。因此，在这两种转换中，小区P的视差增长到小区P11-P19的整个区域中。

例如，在典型发送环境下，可能会出现这样的双转换例子。在一种实现方式中，将画面转换成发送器的处理链使用的分辨率（参见，例如，处理链810的讨论）。然后将接收的画面转换回到原始分辨率（参见，例如，视频图像817的讨论）。的确，其他实现方式包括另外的转换。例如，在一种实现方式中，（i）将接收和转换的画面提供给小屏幕设备（例如，蜂窝式电话），该小屏幕设备将画面转换（第三转换）成较低分辨率；（ii）然后用户发送来自小屏幕设备的画面，这牵涉到变成发送分辨率的第四转换）；以及（iii）用户的朋友接收发送的画面，并在显示该画面之前转换该画面（第五转换）。随着转换次数增加，最小视差可以递增地增长，占据越来越多的网格。

最小视差的增长到达的一种影响是字幕位置可能发生变化。例如，在原始画面中，像素P15中的对象可能是不太感兴趣的前景人行道。像素P12中的人员可能处在背景中，但是关注的焦点。在原始画面中，字幕可能是特写解说文字，有意放在与人员相近的视深上。但是，在上述的两次转换之后，像素P12中的人员的指示视差现在与像素P15的前景人行道相同。于是，特写解说文字打算放在靠近人的地方，但具有与人行道相同的视深。这样的结果会使观众感到不适。

注意，上述多转换实现方式的确提供了各种好处。另外，各种实现方式使用了可以提供另外好处的不同视差转换函数。

注意，一些实现方式使用本身隔离的和不相邻的小区。在这样的实施例中，未必需要将视差值与较大小区相联系。例如，可以缩小小区尺寸。但是，考虑到不同分辨率的小区未在所有边界上对齐，底层内容通常会有一些失配。于是，这样的实现方式通常会提供一些优点，但未必是尺度无关视差小区的所有优点。

参照图17，提供了过程1700。过程1700解决了尺度无关视差图的生成和使用的方方面面问题。

过程1700包括确定支持哪些分辨率（1705）。例如，在本申请中讨论的一种或多种实现方式中支持1280x720、1440x1080、和1920x1080的分辨率。

过程1700包括确定尺度无关小区尺寸（1710）。例如，对于1280x720、1440x1080、和1920x1080的三种分辨率，最小尺度无关视差小区尺寸是基于11,520x3160的SCM分辨率的72DU x6VU。在一种或多种实现方式中用于最小尺度无关视差小区尺寸的公式是：

其中对于本例来说，R₁，R₂和R₃是感兴趣的水平或垂直分辨率，N=3，以及“r”是单元的数量（取决于正在考虑水平还是垂直，以DU或VU为单位）。因此，对于1280、1440、和1920的示范性水平分辨率，内部分子变成等于11,520的SCM（1280，1440，1920），以及该方程变成：

垂直分辨率的类型计算得出6。于是，尺度无关小区尺寸可以选成具有等于72DU（在这种情况下）的整数倍的宽度、和等于6VU（在这种情况下）的整数倍的高度。

过程1700包括通过，例如，接收密集视差图（1715）访问密集视差图。其他实现方式通过估计视差值，或通过根据接收的或估计的深度值计算视差值生成密集视差图。还有其他实现方式不访问密集视差图。

过程1700包括确定一个或多个小区视差值（1720）。小区视差值通过，例如，对来自密集视差图的视差值使用求平均函数或求最小函数（如本申请所述）来确定。

过程1700包括将一个或多个小区视差值向上转换成SCM视差值（1725）。在一种实现方式中，在这种操作1725中将在操作1720中确定的小区视差值向上转换成SCM视差值。在不同实现方式中，在操作1720之前针基于像素的视差值向上转换成SCM视差值。因此，在不同实现方式中，在操作1720中产生的一个或多个小区视差值已经是SCM视差值，所以省略操作1725。

过程1700包括将尺度无关视差图格式化（1730）。在不同实现方式中以多种不同方式将尺度无关视差图格式化。几个例子如下，其中的每一个针对给定视差图的小区将基于SCM的尺度无关视差值格式化。

在第一种格式实现方式中，应该明白（i）只支持特定分辨率；（ii）只使用特定小区尺寸；以及（iii）以特定小区次序将小区视差值模式化。在这第一种格式实现方式中，使用如下伪码形成尺度无关视差图：

for(i=0;i<"number of cells";i++){

SCM-based scale-independent disparity for cell(i)}

在第二种格式实现方式中，支持不同小区尺寸。但是，对于每个小区尺寸，以特定小区次序将小区视差值模式化。于是，这第二种格式实现方式选择决定视差图中的小区的数量的小区尺寸。小区尺寸选择用“小区尺寸标志”指示。例如，如果支持四种不同小区尺寸，则使用2-位标志来指示小区尺寸选择。在这第二种格式实现方式中，使用如下伪码形成尺度无关视差图：

"cell size flag";

for(i=0;i<"number of cells";i++){

SCM-based scale-independent disparity for cell(i)}

在第一种格式实现方式的一种变体中，使用第一种格式实现方式形成全视差图。但是，可以形成改变一个或多个小区的视差值，而不是形成整个新视差图的更新。在这种变体中，提供“更新小区的数量”和这些更新小区每一个的“小区号”。在这种变体中，使用如下伪码形成尺度无关视差图的更新：

在第三种格式实现方式中，只使用有限个小区。假设像上述的第一种格式实现方式那样使用特定小区尺寸。但是，只对包括像，例如，对象的角、或对象的边那样的感兴趣特征的那些小区计算视差值。在这第三种格式实现方式中，确定使用的“小区的数量”，以及小区标识符。在这第三种格式实现方式的一种变体中，小区标识符是像，例如，以例如DU和VU为单位的左上角像素和右下角像素的坐标那样的每个小区的坐标。在另一种变体中，小区标识符是“小区号”。在这第三种格式实现方式的别的其他变体中，有多个小区尺寸可供使用，如上述的第二种格式实现方式所示，将“小区尺寸标志”用于指示所选小区尺寸。在这第三种格式实现方式的一种变体中，使用如下伪码形成尺度无关视差图：

过程1700包括编码尺度无关视差图（1735）。该尺度无关视差图可以是，例如，基于SCM的视差图，或提供仅仅为单种显示分辨率而生成的视差的视差图。

过程1700包括存储和/或发送尺度无关视差图（1740）。该尺度无关视差图可以是，例如，编码基于SCM视差图、编码非基于SCM视差图、未编码基于SCM视差图、或未编码非基于SCM视差图。在某些应用中，存储未编码视差图，并发送编码视差图。因此，在一种应用中，存储以及编码来自操作1730的格式化视差图。并且发送来自操作1735的编码视差图。

过程1700包括访问尺度无关视差图（1745）。在一种实现方式中，操作1745发生在接收器上，该接收器通过接收发送的编码尺度无关视差图访问编码尺度无关视差图。在另一种实现方式中，操作1745发生在后处理器上，该后处理器通过检索存储的编码尺度无关视差图访问编码尺度无关视差图。后处理器检索视差图，以便进行像，例如，为字幕确定视差和/或深度那样，使用视差图的处理。

过程1700包括解码尺度无关视差图（1750）。在一种实现方式中，操作1750牵涉到接收器在发送信道上接收到视差图之后解码编码的尺度无关视差图。

过程1700包括选择分辨率（1755）。在一种实现方式中，从几种支持分辨率当中选择一种分辨率。例如，从1280、1440、和1920当中选择1920水平分辨率。

过程1700包括将一个或多个基于SCM的视差值向下转换成特定分辨率（1760）。在一种实现方式中，将基于SCM的尺度无关视差图向下转换成从SCM支持的几种分辨率当中选择的分辨率。例如，通过将视差值除以6将基于11,520SCM的视差值向下转换成1920水平分辨率。

过程1700包括将一个或多个小区与相应像素地点相联系（1765）。在一种实现方式中，将基于SCM的尺度无关视差小区映射到给定分辨率的画面中的相应像素地点。进一步，从SCM支持的几种分辨率当中选择给定分辨率。这样的实现方式使，例如，特定小区的视差可以与特定像素地点一起，或与相应画面中表示在那些像素地点上的对象一起识别。在一种实现方式中，与72DU x6VU的小区尺寸一起使用11,520x2160的SCM分辨率。在这种实现方式中，像，例如，从（72DU，6VU）开始的小区那样，通过其左上角的（DU，VU）坐标识别小区。与那个小区相联系的像素地点通过将该小区的（DU，VU）坐标除以像素的（DU，VU）尺寸来确定。如果选择1920x1080分辨率，则如前所述，像素尺寸是（6DU，2VU）。对于这种实现方式，与（72DU，6VU）相联系的像素地点是从像素地点（12，3）开始并延伸到（但不包括）像素地点（24，6）的像素。

过程1700包括使用一个或多个相关视差值处理画面（1770）。在一种实现方式中，将来自视差图的视差值与相应画面中的像素地点相联系。该画面是这些画面的立体图像对的一部分，立体图像对的每个画面包括字幕。处理立体图像对中的至少一个画面，以便为字幕提供与该字幕的像素地点相联系的视差值所指的视差量。

参照图18，所示是过程1800。过程1800包括为分辨率不变区确定分辨率特有属性（1810）。分辨率特有属性是具有取决于分辨率的数值的属性。视差是取决于分辨率的属性的一个例子。

其他分辨率特有属性包括，例如，“粒度”或“纹理特性”。在某些实现方式中，各种纹理特性用像素的数量来定义。例如，在一种实现方式中，以像素为单位定义平均粒度尺寸和标准偏差。在另一种实现方式中，以像素为单位定义重复纹理的间距。

另一种分辨率特有属性是，例如，用像素表达的必然性/置信度。在一种实现方式中，必然性/置信度表达用像素度量的预期误差。

分辨率不变区域是可与具有第一分辨率的第一整数个像素共同扩展，以及可与具有第二分辨率的第二整数个像素共同扩展的区域（例如，画面的区域）。在一种实现方式中，操作1810通过确定一个或多个小区视差值的操作1720来执行。

过程1800包括将属性转换成与组合分辨率有关（1820）。该组合分辨率是作为第一分辨率和第二分辨率的组合确定的分辨率。转换属性是该区域特有的，也是该组合分辨率特有的。在一种实现方式中，操作1820通过将一个或多个小区视差值向上转换成SCM视差值的操作1725来执行。

参照图19，所示的是过程1900。过程1900包括为画面的分辨率不变区域访问组合分辨率特有的属性（1910）。该属性具有取决于分辨率数值，以及该属性是该组合分辨率和该区域特有的。另外，该分辨率不变区域是可与具有特定分辨率的第一整数个像素共同扩展，以及可与具有第二分辨率的第二整数个像素共同扩展的区域（例如，画面的区域）。进一步，该组合分辨率是作为特定分辨率和第二分辨率的组合确定的分辨率。在一种实现方式中，操作1910通过访问尺度无关视差图的操作1745来执行。

过程1900包括转换属性以便与特定分辨率有关（1920）。转换属性是该区域和该组合分辨率特有的。在一种实现方式中，操作1920通过将一个或多个基于SCM视差值向下转换成特定分辨率的操作1760来执行。

过程1900包括将转换的属性与特定分辨率下的区域像素相联系（1930）。将转换的属性与特定分辨率下的第一整数个像素相联系。在一种实现方式中，操作1930通过将一个或多个小区与相应像素地点相联系的操作1765来执行。

现在参照图20，所示的是可以应用上述特征和原理的视频发送系统或装置2000。视频发送系统或装置2000可以是，例如，使用像，例如，卫星、电线、电话线、或地面广播那样的多种媒体的任何一种发送信号的首端或发送系统。视频发送系统或装置2000也可以或可替代地可以用于，例如，提供加以存储的信号。可以在互联网或一些其他网络上提供发送。视频发送系统或装置2000能够生成和输送，例如，视频内容以及像，例如，包括，例如，深度和/或视差值的深度指示那样的其他内容。还应当清楚，除了提供视频发送系统或装置的方块图之外，图20的方块还提供了视频发送过程的流程图。

视频发送系统或装置2000接收来自处理器2001的输入视频。在一种实现方式中，处理器2001简单地将像视差图像821，831，841和/或视频图像811那样的原始分辨率图像提供给视频发送系统或装置2000。但是，在另一种实现方式中，处理器2001是配置成，例如，如上面针对操作812，822，832，842所述，进行滤波和向下采样，以便生成像视频图像813和/或视差图像823，833，843那样的图像的处理器。在又一种实现方式中，处理器2001被配置成进行像，例如，操作850那样的视差转换，以便生成像，例如，视差图像860那样具有转换视差值的视差图像。在又一种实现方式中，处理器2001被配置成执行操作1700的各种操作，例如，操作1705-1730。在又一种实现方式中，处理器2001被配置成执行过程1800的整个或部分过程。处理器2001也可以把元数据提供给视频发送系统或装置2000以指示，例如，输入图像的水平分辨率、视差值基于的水平分辨率、视差值基于百分比还是公倍数、和描述一种或多种输入图像的其他信息。

视频发送系统或装置2000包括编码器2002和能够发送编码信号的发送器2004。编码器2002接收来自处理器2001的视频信息。该视频信息可以包括，例如，视频图像和/或视差（或深度）图像。编码器2002根据视频和/或视差信息生成编码信号。编码器2002可以是，例如，AVC编码器。AVC编码器可以应用于视频和视差信息两者。AVC指的是现有国际标准化组织/国际电工委员会（ISO/IEC）运动图像专家组-4（MPEG-4）第10部分高级视频编码（AVC）标准/国际电信联盟，电信部门（ITU-T）H.264建议书（在下文中，“H.264/MPEG-4AVC标准”或像“AVC标准”、“H.264标准、或简单地“AVC”或“H.264”那样它的变体）。

编码器2002可以包括子模块，该子模块包括，例如，接收各种信息段并将其组装成结构化格式加以存储或发送的组装单元。各种信息段可以包括，例如，编码或未编码视频、编码或未编码视差（或深度）值、和像，例如，运动矢量、编码模式指示符、和语法元素那样的编码或未编码元素。在一些实现方式中，编码器2002包括处理器2001，因此进行处理器2001的操作。

发送器2004接收来自编码器2002的编码信号，并在一种或多种输出信号中发送编码信号。发送器2004可以，例如，适用于发送含有代表编码画面和/或与之相关的信息的一种或多种位流的节目信号。典型的发送器执行像，例如，提供纠错编码、交织信号中的数据、将信号中的能量随机化、和使用调制器2006将信号调制在一种或多种载波上的一种或多种那样的功能。发送器2004可以包括天线（未示出），或与天线交接。并且，发送器2004的实现方式可以不局限于调制器2006。

视频发送系统或装置2000还可通信地与存储单元2008耦合。在一种实现方式中，存储单元2008与编码器2002耦合，以及存储单元2008存储来自编码器2002的编码位流。在另一种实现方式中，存储单元2008与发送器2004耦合，存储来自发送器2004的位流。来自发送器2004的位流可以包括，例如，已经经过发送器2004进一步处理的一种或多种编码位流。在不同实现方式中，存储单元2008是标准DVD、蓝光盘、硬盘驱动器、或一些其他存储设备的一种或多种。

现在参照图21，所示的是可以应用上述特征和原理的视频接收系统或装置2100。视频接收系统或装置2100可以配置成在像，例如，卫星、电线、电话线、或地面广播那样的多种媒体上接收信号。可以在互联网或一些其他网络上接收信号。还应当清楚，除了提供视频接收系统或装置的方块图之外，图21的方块还提供了视频接收过程的流程图。

视频接收系统或装置2100可以是，例如，蜂窝式电话、计算机、机顶盒、路由器、电视机、或接收编码视频和提供，例如，解码视频信号加以显示（向，例如，用户显示），加以处理，或加以存储的其他设备。因此，视频接收系统或装置2100可以将它的输出提供给，例如，电视机的屏幕、计算机监视器、计算机（加以存储、处理、或显示）、或一些其他存储、处理、或显示设备。

视频接收系统或装置2100能够接收和处理视频信息，该视频信息可以包括，例如，视频图像和/或视差（或深度）图像。视频接收系统或装置2100包括接收像，例如，在本申请的实现方式中所述的信号那样的编码信号的接收器2102。接收器2102可以接收，例如，提供视频图像815和/或视差图像825的一种或多种的信号、或从图20的视频发送系统2000输出的信号。在一种实现方式中，接收器2102接收提供按照针对操作1730所讨论的一种或多种伪码实现方式形成的数据的信号。在另一个实现方式中，接收器2102接收提供来自过程1800的输出的数据的信号。

接收器2102可以，例如，适用于接收含有代表编码画面的多种位流的节目信号。典型的接收器执行像，例如，接收调制和编码数据信号、使用解调器2104从一种或多种载波中解调数据信号、将信号中的能量去随机化、将信号中的数据去交织、和纠错解码信号的一种或多种那样的功能。接收器2102可以包括天线（未示出），或与天线交接。接收器2102的实现方式可以不局限于解调器2104。

视频接收系统或装置2100包括解码器2106。接收器2102将接收信号提供给解码器2106。接收器2102提供给解码器2106的信号可以包括一种或多种编码位流。解码器2106输出像，例如，包括视频信息的解码视频信号那样的解码信号。解码器2106可以是，例如，AVC解码器。

视频接收系统或装置2100还可通信地与存储单元2107耦合。在一种实现方式中，存储单元2107与接收器2102耦合，接收器2102从存储单元2107中访问位流。在另一种实现方式中，存储单元2107与解码器2106耦合，解码器2106从存储单元2107中访问位流。在不同实现方式中，从存储单元2107中访问的位流包括一种或多种编码位流。在不同实现方式中，存储单元2107是标准DVD、蓝光盘、硬盘驱动器、或一些其他存储设备的一种或多种。

在一种实现方式中，将来自解码器2106的输出视频提供给处理器2108。在一种实现方式中，处理器2108是配置成进行像，例如，针对向上采样操作816和/或826所述的那种那样的向上采样的处理器。在另一种实现方式中，处理器2108被配置成执行，例如，操作1755-1765的全部或部分操作，或过程1900的整个或部分过程。在另一种实现方式中，处理器2108被配置成执行像，例如，操作1770那样的后处理，或使用，例如，过程1900的输出提供的视差值和相关信息的后处理。

在一些实现方式中，解码器2106包括处理器2108，因此执行处理器2108的操作。在其他实现方式中，处理器2108是像，例如，机顶盒、路由器、计算机可读媒体、平板电脑或电视机那样的下游设备的一部分。

其他实现方式可以通过本申请提供的例子设想出来。例如，分辨率为960x640、1280x720、1440x1080、和1920x1080的SCM是11,520x17,280。“17,280”是，例如，以与本申请中前面的11,520相同的方式计算的。“17,280”等于640*27。这个SCM分别产生12DU x27VU、9DU x24VU、8DU x16VU、和6DU x16VU的像素尺寸。这些像素尺寸产生72DU（或整数倍）x432VU（或整数倍）的尺度无关视差图小区尺寸。

注意，至少一种实现方式使用额外位来生成2个视差图。第一视差图是针对“左”视图计算的，第二视差图是针对“右”视图计算的。鉴于对象可能被遮挡，拥有两个视差图有助于改进对遮挡的管理。例如，通过比较相应视差值，系统可以确定是否存在遮挡，如果存在，则采取填充造成空洞的步骤。另外的实现方式提供更多的视差图，并分配适当位数来接纳视差图的数量。例如，在像，例如，MVC（指的是带有MVC扩展的AVC（附录G））那样的多视点背景下，可能希望发送逐个视点地示出计算视差的一组视差图。可替代地，一种实现方式可能只发送与一小组视点有关的视差图。

视差可以，例如，以类似于计算运动矢量的方式计算。可替代地，众所周知以及如上所述，视差可以从深度值中计算出来。

各种实现方式还具有使用视差值取代深度值引起的优点。这样的优点可以包括：（1）视差值是有界的，而深度值可能无穷大，因此深度值更难以表示/编码；以及（2）视差值可以直接表示，而表示可能极大深度值往往需要对数尺度。另外，从视差中确定深度一般很简单。在各种实现方式中包括元数据来提供像焦距、基线距离（长度）、和交向面距离那样的信息。交向面距离是当摄像机交向时摄像机轴相交的距离。像角度410的顶点那样可以从图4中看出摄像机轴相交的点。当摄像机平行时，交向面距离是无穷大距离。

描述在本申请中的实现方式可以应用于各种属性。一种这样的属性是视差。

-但是，其他实现方式使用分辨率特有的其他属性。如前所述，分辨率特有属性是具有取决于分辨率的数值的属性。视差是取决于分辨率的属性的一个例子。其他例子包括粒度和置信度。

-各种实现方式使用像，例如，深度那样，不是分辨率特有的属性。这样的属性在某些方面类似于当改变分辨率时无需修改的基于SCM视差值。

本文描述了在分辨率之间的转换期间将加权平均或最小函数用于确定视差值的各种实现方式。其他实现方式使用像，例如，非加权平均、最大（使用最大视差）、模式、中值、内插、或多种滤波函数的任何一种那样的不同函数。

注意，一些实现方式具有特别优点或缺点。但是，对实现方式的缺点的讨论即不会抵消那些实现方式的优点，也不会指示该实现方式是不可行的和甚至不是推荐实现方式。

各种实现方式生成和处理信号和/或信号结构。在某些实现方式中，这样的信号是使用像在操作1730的讨论中所述那样的伪码形成的。在各种实现方式中，信号是在处理器2001、编码器2002、发送器2004、接收器2102、解码器2106、或处理器2108的输出端上产生的。在各种实现方式中发送和/或存储（例如，在处理器可读介质上）信号和/或信号结构。

在特定实现方式中，信号或信号结构包括属性部分，该属性部分包括指示画面的一个区域的属性的数据。该属性是该区域和组合分辨率特有的。该组合分辨率是作为特定分辨率和第二分辨率的组合确定的。该画面的该区域可与具有该特定分辨率的第一整数个像素共同扩展，以及可与具有该第二分辨率的第二整数个像素共同扩展。

另外，对于与小区尺寸、小区地点、和其他元数据有关的数据，其他实现方式包括信号或信号结构中的一些部分。在各种实现方式中，这样的信号以多种方式的任何一种编码。

本申请提供了包括图6、8、和17-21的方块/流程图的多个方块/流程图。应当清楚，本申请的方块/流程图既给出了描述过程的流程图，也给出了描述装置的功能块的方块图。另外，本申请提供了包括图1-5的图形表示的多个图形表示。应当清楚，本申请的图形表示既给出了（i）例示、结果、或输出，又给出了（ii）描述过程的流程图。另外，本申请至少提供了图7中的表格表示。应当清楚，该表格表示提供了数据的表格，也例示了在不同分辨率上获取视差值的过程。另外，本申请提供了包括图9-16的方块/图形表示的多个方块/图形表示。应当清楚，本申请的方块/图形表示既给出了描述各种数据格式和分辨率的方方面面的方块图，也给出了例示部件与部件的输出之间的关系的图形表示。

另外，描述在本申请中的实现方式的许多操作、方块、输入、或输出是可选的，即使在这些实现方式的描述和讨论中未明确声明。例如，如前所讨论，在各种实现方式中可以省略过程1700的某种操作。仅仅列在特定实现方式中的特征并不指示该特征对于所有实现方式都是强制的。的确，一般应该默认的是相反的结论，所有特征都被认为是可选的，除非声明需要这样的特征。即使声明需要一种特征，那种要求也预定只应用于那种特定实现方式，其他实现方式被认为与这样的要求无关。

因此，我们提供了具有特定特征和方面的一种或多种实现方式。尤其，我们提供了与密集视差图有关的几种实现方式，以及提供了与稀疏视差图有关的几种实现方式。密集视差图可以使像，例如，消费者设备上的相对复杂3D效果调整那样的多种应用成为可能。稀疏视差图可以使像，例如，制作后期的相对简单字幕布置那样的多种应用成为可能。但是，可以设想出这些实现方式的变体和另外应用，它们都在本公开之内，以及所述实现方式的特征和方面可以适用于其他实现方式。

注意，对于一种或多种特定显示器尺寸，在上述实现方式的至少一种中使用了+80到-150个像素的范围。但是，在其他实现方式中，即使对于那些特定显示器尺寸，也可以使用范围的端值和/或范围本身的大小有变的不同视差范围。在一种实现方式中，主题公园中的表演使用负得多的视差（例如，把对象描绘成比中途更近地从屏幕出来）来达到更具戏剧性的效果。在另一种实现方式中，让专业设备支持比消费者设备更宽的视差范围。

本申请所述的几种实现方式和特征可以用在AVC标准、带有MVC扩展的AVC（附录G）、和/或带有SVC扩展的AVC（附录H）的背景下。另外，这些实现方式和特征可以用在另一种标准（现在或将来）的背景下，或用在不牵涉标准的背景下。

提到本原理的“一个实施例”、“实施例”、“一种实现方式”或“实现方式”以及它们的其他变体意味着结合所述实施例描述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，在说明书各处出现的短语“在一个实施例中”、“在实施例中”、“在一种实现方式中”或“在实现方式中”以及任何其他变体的出现不一定都指代相同的实施例。

另外，本申请或其权利要求书可能提及“确定”各种信息段。确定信息可以包括，例如，估计信息、计算信息、评估信息、预测信息或从存储器中检索信息的一种或多种。

进一步，本申请或其权利要求书可能提及“访问”各种信息段。访问信息可以包括，例如，接收信息、检索信息（例如，存储器）、存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息、或估计信息。

另外，本申请或其权利要求书可能提及“接收”各种信息段。接收与“访问”一样，意指广义术语。接收信息可以包括，例如，访问信息或检索信息（例如，存储器）的一种或多种。进一步，在像存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息、或估计信息那样的操作期间，通常以某种方式牵涉到“接收”。

各种实现方式提及“图像”和/或“画面”。术语“图像”和“画面”在整个本文件中可交换使用，并且意指广义术语。“图像”或“画面”可能是，例如，整个或部分帧或场。术语“视频”指的是图像（或画面）的序列。图像或画面可以包括，例如，各种视频成分或它们的组合的任何一种。这样的成分或它们的组合包括，例如，亮度、色度、Y（YUV、YCbCr或YPbPr中）、U（YUV中）、V（YUV中）、Cb（YCbCr中）、Cr（YCbCr中）、Pb（YPbPr中）、Pr（YPbPr中）、红色（RGB中）、绿色（RGB中）、蓝色（RGB中）、S-Video、和这些成分的任何成分的负色或正色。“图像”或“画面”还可以或可替代地可以指各种不同类型的内容，包括，例如，典型的二维视频、2D视频画面的视差图、与2D视频画面相对应的深度图、或边缘图。

进一步，许多实现方式可能提及“帧”。但是，这样的实现方式被认为可同等应用于“画面”或“图像”。

“深度图”、“视差图”或“边缘图”也意指广义术语。一幅图一般指，例如，包括特定类型的信息的画面。但是，一幅图可以包括未通过其名称指出的其他类型的信息。例如，深度图通常包括深度信息，但也可以包括像，例如，视频或边缘信息那样的其他信息。

应该明白，给定显示器可能支持多种不同分辨率。因此，给定显示器可能能够显示具有，例如，1280、1440或1920的分辨率的视频内容。不过，给定显示器往往被称为1920显示器，因为最高支持分辨率是1920。当大显示器显示低分辨率图像时，图像的各个元素可能包含多个像素。例如，如果显示器可以支持800和1920的水平分辨率，则显示器通常至少是1920个像素宽。当显示器显示800分辨率图像时，显示器可能至少将一部分三个或更多个像素分配给图像的元素。

各种实现方式使用视差值的浮点表示。这样实现方式的特定变体使用视差值的定点表示来取代浮点表示。

应当认识到，例如，在“A/B”、“A和/或B”和“A和B的至少一个”的情况中，如下“/”、“和/或”和“至少一个”的任何一种的使用意欲包括只对第一所列选项(A)的选择、只对第二所列选项(B)的选择、或者对两个选项(A和B)的选择。作为另一示例，在“A、B和/或C”、“A、B和C的至少一个”和“A、B或C的至少一个”的情况中，这种措辞意欲包括只对第一所列选项(A)的选择、只对第二所列选项(B)的选择、只对第三所列选项(C)的选择、只对第一和第二所列选项(A和B)的选择、只对第一和第三所列选项(A和C)的选择、只对第二和第三所列选项(B和C)的选择、或者对全部三个选项(A和B和C)的选择。如本领域和相关领域普通技术人员容易认识到，这可以被扩展用于很多列出的项目。

另外，许多实现方式可以在编码器（例如，编码器2002）、解码器（例如，解码器2106）、处理来自解码器的输出的后处理器（例如，处理器2108）、或向编码器提供输入的预处理器（例如，处理器2001）的一个或多个中实现。在各种实现方式中，在本申请中讨论的处理器的确包括集体配置成执行，例如，进程、功能或操作的多个处理器（分处理器）。例如，在各种实现方式中，处理器2001和处理器218每一个由集体配置成执行各自处理器2001和2108的操作的多个分处理器组成。并且，通过本公开可以设想出其他实现方式。

本文所述的实现方式可以以，例如，方法或进程、装置、软件程序、数据流、或信号的形式实现。即使只在单种实现方式形式的背景下讨论（例如，只作为方法来讨论），所讨论的特征的实现方式也可以以其他形式（例如，装置或程序）实现。装置可以以，例如，适当硬件、软件、或固件的形式实现。方法可以在，例如，像例如处理器那样的装置中实现，处理器一般指处理设备，包括，例如，计算机、微处理器、集成电路、或可编程逻辑设备。处理设备还包括像，例如，计算机、蜂窝式电话、便携式/个人数据助理（“PDA”）、和有助于在最终用户之间传送信息的其他设备那样的通信设备。处理器也可以包括集体配置成执行，例如，进程、功能或操作的多个处理器。集体配置和执行可以像将专用分处理器用于特定任务，或使用并行处理那样，使用在现有技术中已知的多种技术的任何一种来实现。

本文所述的各种进程和特征的实现方式可以在多种不同装备或应用，尤其，例如，与数据编码、数据解码、视图生成、深度或视差处理、和图像和相关深度和/或视差图的其他处理相联系的装备或应用中实施。这样装备的例子包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、万维网服务器、机顶盒、膝上型电脑、个人计算机、平板电脑、蜂窝式电话、PDA、和其他通信设备。应当清楚，该装备可以是移动的，甚至可以安装在移动工具中。

另外，这些方法可以通过由处理器执行的指令（或由集体配置成执行这样指令的多个处理器）来实现，这样的指令（和/或由实现方式产生的数据值）可以存储在像，例如，集成电路、软件载体或像，例如，硬盘、致密盘（“CD”）、光盘（像，例如，往往称为数字多功能盘或数字视频盘的DVD那样）、随机访问存储器（“RAM”）、或只读存储器（“ROM”）那样的其他存储器件那样的处理器可读介质上。这些指令可以形成有形体现在处理器可读介质上的应用程序。这些指令可以在，例如，硬件、固件、软件或它们的组合体中。这些指令可以在，例如，操作系统、单独应用程序、或两者的组合体中找到。因此，可以将处理器表征成，例如，配置成执行进程的设备和包括含有执行进程的指令的处理器可读介质（像存储器件那样）的设备两者。并且，除了指令之外或取代指令，处理器可读介质可以存储由实现方式产生的数据值。

对于本领域的普通技术人员来说，显而易见，各种实现方式可以产生格式化成传送可以，例如，存储或发送的信息的多种信号。该信息可以包括，例如，执行方法的指令、或由所述实现方式之一产生的数据。例如，可以将信号格式化成传送写入或读取所述实施例的语法的规则作为数据，或传送所述实施例写入的实际语法值作为数据。这样的信号可以格式化成，例如，电磁波（例如，使用频谱的射频部分）或基带信号。格式化可以包括，例如，编码数据流和将编码数据流调制在载波上。信号传送的信息可以是，例如，模拟或数字信息。众所周知，可以在多种不同有线或无线链路上发送信号。可以将信号存储在处理器可读介质上。

本文描述了许多实现方式。不过应该明白，可以作出各种修改。例如，可以组合，补充，修改，或除去不同实现方式的一些元素以形成其他实现方式。另外，本领域的普通技术人员应该明白，可以用其他结构和进程取代本文公开的那些，所得实现方式以至少基本相同的方式执行至少基本相同的功能，以获得与本文公开的实现方式至少基本相同的结果。于是，这些和其他实现方式可以通过本申请设想出来。

Claims (33)

1.一种为分辨率不变区域提供视差信息的方法，其包含：

为画面的一个区域确定视差值，该画面具有特定分辨率以及该视差值是该特定分辨率和该区域特有的，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展；以及

转换该视差值以便提供该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的另一视差值。

2.如权利要求1所述的方法，其中该区域的尺寸基于(i)在特定分辨率下像素的像素尺度和(ii)在第二分辨率下像素的像素尺度的组合。

3.如权利要求2所述的方法，其中：

区域宽度基于与包括特定分辨率和第二分辨率的一组分辨率中的分辨率有关的像素的像素宽度的倍数；以及

区域高度基于与该组分辨率中的分辨率有关的像素的像素高度的倍数。

4.如权利要求3所述的方法，其中：

该特定分辨率包含特定水平分辨率，

该第二分辨率包含第二水平分辨率，

该组合分辨率包含组合水平分辨率，以及

该组分辨率中的给定分辨率的像素宽度基于组合水平分辨率除以给定分辨率的水平分辨率。

5.如权利要求3所述的方法，其中：

该特定分辨率包含特定垂直分辨率，

该第二分辨率包含第二垂直分辨率，

该组合分辨率包含组合垂直分辨率，以及

该组分辨率中的给定分辨率的像素高度基于组合垂直分辨率除以给定分辨率的垂直分辨率。

6.如权利要求1所述的方法，其中该组合分辨率基于至少特定分辨率和第二分辨率的倍数。

7.如权利要求1所述的方法，其中该特定分辨率包含水平分辨率、垂直分辨率、或水平分辨率和垂直分辨率两者。

8.如权利要求1所述的方法，其中确定视差值包含根据第一整数个像素的两个或更多个像素的视差值确定该区域的视差值。

9.如权利要求1所述的方法，其中：

确定视差值包含从视差图中访问视差值。

10.如权利要求1所述的方法，进一步包含将该区域的该另一视差值插入适合存储或发送的至少一种的数据结构。

11.如权利要求10所述的方法，进一步包含将指示区域尺寸和区域位置的信息插入数据结构中。

12.如权利要求1所述的方法，进一步包含确定区域尺寸和区域位置。

13.如权利要求1所述的方法，进一步包含编码该另一视差值。

14.如权利要求1所述的方法，进一步包含编码指示区域尺寸和区域位置的信息。

15.如权利要求1所述的方法，其中该转换包括将视差值乘以反映组合分辨率和特定分辨率的比率的整数。

16.一种包含集体配置成执行如下步骤的一个或多个处理器的装置：

为画面的一个区域确定视差值，该画面具有特定分辨率以及该视差值是该特定分辨率和该区域特有的，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展；以及

转换该视差值以便提供该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的另一视差值。

17.一种为分辨率不变区域提供视差信息的装置，其包含：

为画面的一个区域确定视差值的部件，该画面具有特定分辨率以及该视差值是该特定分辨率和该区域特有的，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展；以及

转换该视差值以便提供该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的另一视差值的部件。

18.一种为分辨率不变区域提供视差信息的装置，其包含：

配置成执行如下步骤的处理器：

为画面的一个区域确定视差值，该画面具有特定分辨率以及该视差值是该特定分辨率和该区域特有的，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展；以及

转换该视差值以便提供该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的另一视差值；以及

配置成将指示该另一视差值的数据调制在信号上的调制器。

19.一种用于访问分辨率不变区域的视差信息的方法，其包含：

为画面的一个区域访问视差值，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展，该视差值是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的；

转换该视差值以便提供该区域和该特定分辨率特有的另一视差值；以及

将该另一视差值与该特定分辨率下的第一整数个像素相联系。

20.如权利要求19所述的方法，其中该区域的尺寸基于(i)在特定分辨率下像素的像素尺度和(ii)在第二分辨率下像素的像素尺度的组合。

21.如权利要求20所述的方法，其中：

区域宽度基于与包括特定分辨率和第二分辨率的一组分辨率中的分辨率有关的像素的像素宽度的倍数；以及

区域高度基于与该组分辨率中的分辨率有关的像素的像素高度的倍数。

22.如权利要求21所述的方法，其中：

该特定分辨率包含特定水平分辨率，

该第二分辨率包含第二水平分辨率，

该组合分辨率包含组合水平分辨率，以及

该组分辨率中的给定分辨率的像素宽度基于组合水平分辨率除以给定分辨率的水平分辨率。

23.如权利要求21所述的方法，其中：

该特定分辨率包含特定垂直分辨率，

该第二分辨率包含第二垂直分辨率，

该组合分辨率包含组合垂直分辨率，以及

该组分辨率中的给定分辨率的像素高度基于组合垂直分辨率除以给定分辨率的垂直分辨率。

24.如权利要求19所述的方法，其中该组合分辨率基于至少特定分辨率和第二分辨率的倍数。

25.如权利要求19所述的方法，其中该特定分辨率包含水平分辨率、垂直分辨率、或水平分辨率和垂直分辨率两者。

26.如权利要求19所述的方法，其中访问视差值包含访问位流，该位流包括格式化成提供该区域的视差值和该画面的一个或多个其他区域的其他视差值的数据。

27.如权利要求19所述的方法，其中该转换包括将视差值除以反映组合分辨率和特定分辨率的比率的整数。

28.如权利要求19所述的方法，其中该视差值包含编码视差值，以及该方法进一步包含解码该编码视差值。

29.如权利要求19所述的方法，其中该联系包含为特定分辨率下的第一整数个像素确定像素地点。

30.如权利要求19所述的方法，其中数据结构含有第一数量像素每一个的独立字段。

31.一种包含集体配置成执行如下步骤的一个或多个处理器的装置：

为画面的一个区域访问视差值，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展，该视差值是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的；

转换该视差值以便提供该区域和该特定分辨率特有的另一视差值；以及

将该另一视差值与该特定分辨率下的第一整数个像素相联系。

32.一种用于访问分辨率不变区域的视差信息的装置，其包含：

为画面的一个区域访问视差值的部件，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展，该视差值是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的；

转换该视差值以便提供该区域和该特定分辨率特有的另一视差值的部件；以及

将该另一视差值与该特定分辨率下的第一整数个像素相联系的部件。

33.一种用于访问分辨率不变区域的视差信息的装置，其包含：

配置为解调信号的解调器，该信号包括指示画面的一个区域的视差值的数据，其中该画面的该区域可与特定分辨率下的第一整数个像素共同扩展，以及可与第二分辨率下的第二整数个像素共同扩展，该视差值是该区域和作为该特定分辨率和该第二分辨率的组合确定的组合分辨率特有的；以及

配置成执行如下操作的处理器：

转换该视差值以便提供该区域和该特定分辨率特有的另一视差值；以及

将该另一视差值与该特定分辨率下的第一整数个像素相联系。