CN102823260A - 视差值指示 - Google Patents

Abstract

一种特定实现方式接收立体视频和与立体视频对应的视差图，该视差图包括不指示实际视差值的样本。该特定实现方式确定与该样本对应的视差信息，并且基于视差信息处理立体视频。另一种实现方式接收立体视频以及处理与立体视频对应的视差信息。又一实现方式生成视差图，该视差图包括不指示实际视差值的样本。

Description

视差值指示

相关申请的交叉引用

本申请要求下面的于2010年4月1日提交的序列号61/319，973、名称是“Disparity Value Indications”的美国临时申请的提交日的权益，针对所有的目的通过引用的方式以其整体并入于此。

技术领域

描述了涉及3D的实现方式。各种具体实现方式涉及视频内容的视差图。

背景技术

立体视频提供两个视频图像，包括左视频图像和右视频图像。深度和/或视差信息可以用于这两个视频图像。深度和/或视差信息可以用于两个视频图像上的多种处理操作。

发明内容

根据一般方面，接收立体视频和与所述立体视频对应的视差图，所述视差图包括不指示实际视差值的样本。根据样本确定视差信息。基于视差信息处理立体视频。

根据另一一般方面，接收立体视频以及与立体视频对应的密集视差图，所述密集视差图包括不指示实际视差值的样本。根据所述样本确定视差信息，以指示应该与样本对应的实际视差值是否小于或者大于某一值。基于视差信息处理立体视频来执行以下中至少一项：放置重叠信息、调整3D效果、生成警告以及合成新视图。

根据另一一般方面，接收立体视频。处理与立体视频对应的视差信息。生成立体视频的视差图，所述视差图包括不指示实际视差值的样本。

在附图以及下面的描述中阐述了一个或者多个实现方式的细节。即使在一个特定方式中描述，也应该清楚实现方式可以配置或者体现在各种方式中。例如，实现方式可以被执行为方法或者体现为装置，诸如例如配置为执行一组操作的装置或者存储用于执行一组操作的指令的装置，或者体现在信号中。连同附图和权利要求考虑下面的详细描述，其他方面和特征将变得显而易见。

附图说明

图1是平行相机的实际深度值的图示表示。

图2是视差值的图示表示。

图3表观深度和视差之间的关系的图示表示。

图4是会聚相机（convergent camera）的图示表示。

图5是描述调整3D效果的实现方式的框图。

图6是会聚相机和来自会聚相机的立体图像对的图示表示。

图7是含有具有不同视差值的对象的画面的图示表示。

图8是其准确视差值在阴影区域是未知的立体图像对的图示表示。

图9是描绘根据本原理实施例的生成视差图的示例的流程图。

图10是描绘用于根据本原理的实施例处理视差图以获得视差值或者其他视差信息的示例的流程图。

图11是描绘可以与一个或者多个实现方式一起使用的图像处理系统的示例的框图。

图12是描绘可以与一个或者多个实现方式一起使用的图像处理系统的另一个示例的框图。

具体实施例

如在本申请中呈现的一些特征的预览，至少一个实现方式使用视差图中的样本来指示视差值或者其他视差信息。当准确视差值是已知的并且在规定范围内，样本指定视差值。另外，样本可以指示视差值大于或者小于预定值或者计算值。预定值可以是规定范围的上限或者下限、相邻位置的视差值，特定值或者特定位置的视差值。计算值可以基于其他位置的一个或者多个视差值计算。样本还可以指示关于视差值的信息在当前位置不可用。

从上面的预览后退，图1图示视频图像中的深度概念。图1示出具有传感器107的右相机以及具有传感器112的左相机。两个相机105、110捕获对象115的图像。为了图示的目的，对象115是物理十字，具有位于十字右侧上的任意细节116（见图2）。右相机105具有捕获角度120，左相机110具有捕获角度125。两个捕获角度120、125在3D立体区域130中重叠。

因为对象115是在3D立体区域130中，对象115对于两个相机105、110是可见的，并且因此对象115能够被感知为具有深度。对象115具有实际深度135。实际深度135一般被称为从对象115到相机105、110的距离。更具体地，实际深度135可以被称为从对象115到立体相机基线140的距离，立体相机基线140是两个相机105、110的入瞳平面定义的平面。相机的入瞳平面典型地在变焦镜头内，并且因此在物理上不可接近。

相机105、110还被示出具有焦距145。焦距145是从出瞳平面到传感器107、112的距离。为了图示的目的，入瞳平面和出瞳平面被示为重合，当在大多数情况下它们稍微分离。此外，相机105、110被示为具有基线长度150。基线长度150是相机105、110的出瞳的中心之间的距离，并且因此在立体相机基线140处测量。

对象115由每个相机105和110成像为传感器107和112的每个上的真实图像。这些真实图像包括传感器107上的细节116的真实图像117以及传感器112上的细节116的真实图像118。如图1所示，真实图像是翻转的，如本领域中已知的。

深度密切涉及视差。图2示出从相机110捕获的左图像205以及从相机105捕获的右图像210。两个图像205、210包括具有细节116的对象115的表示。图像210包括对象115的对象图像217，并且图像205包括对象115的对象图像218。细节116的远右点（far right point）被捕获在左图像205的对象图像218的像素220中，并且被捕获在右图像210的对象图像217的像素225中。像素220和像素225的位置之间的水平差是视差230。对象图像217、218被假设为垂直对准（register），使得细节116的图像在图像205和210二者中具有相同的垂直定位。当左图像和右图像205、210分别由观看者的左眼和右眼观看时，视差230提供对于物体215的深度感知。

图3示出视差和感知的深度之间的关系。示出观看相应屏幕310、320、330上的对象的立体图像对的三个观察者305、307和309。

第一观察者305观看具有正视差的对象的左视图315以及对象的右视图317。正视差反映以下事实：屏幕310上对象的左视图315在对象的右视图317的左侧。正视差导致感知的或者虚拟的对象319出现在屏幕310的平面后面。

第二观察者307观看具有零视差的对象的左视图325以及对象的右视图327。零视差反映以下事实，在屏幕320上对象的左视图325与对象的右视图327在同一水平位置。零视差导致感知的或者虚拟的对象329出现在与屏幕320相同的深度。

第三观察者309观看具有负视差的对象的左视图335和对象的右视图337。负视差反映如下事实，在屏幕330上对象的左视图335在对象的右视图337的右侧。负视差导致感知的或者虚拟的对象339出现在屏幕330的平面的前面。注意，在图2中，右图像中的像素225相对左图像的像素220朝左，这向视差230给出了负符号。由此，对象图像217和218将产生对象比屏幕更靠近的表现（如对象339表现地比屏幕330更靠近）。

在这一点上值得注意的是，视差和深度可以在实现方式中交换使用，除非另外由上下文指示或者要求。使用等式1，知道视差与屏幕深度成反比。

$D=\frac{f\·b}{d}---\left(1\right)$

其中“D”描述深度（图1中的135），“b”是两个立体图像相机之间的基线长度（图1中的150），“f”是每个相机的焦距（图1中的145）以及“d”是两个对应特征点的视差（图2中的230）。

上面的等式1对于具有相同焦距的平行相机是有效的。可以对于其他场景定义更复杂的公式，但是在多数情形中，等式1可以用作近似。此外，然而，下面的等式2对于会聚相机是有效的：

$D=\frac{f\·b}{d_{\∞}-d}---\left(2\right)$

其中d_∞是在无限处对象的视差值。d_∞依赖会聚角度和焦距，并且被表达为米（例如）而不是像素的数量。之前关于图1和焦距145讨论了焦距。会聚角度在图4中示出。

图4包括被定位在会聚配置而不是图1的平行配置的相机105和相机110。会聚角度410示出相机105、110会聚的焦线。

视差图用于提供视频图像的视差信息。视差图一般指代一组具有与相关联的视频图像中的像素对应的几何形状（geometry）的视差值。

密集视差图一般指代具有与相关联的视频图像的分辨率相同的空间和时间分辨率的视差图。时间分辨率例如指代帧率，并且例如可以是50Hz或者60Hz。因此，密集视差图一般每个像素位置将具有一个视差样本。密集视差图的几何形状将典型地与对应视频图像的几何形状相同，例如，具有以下以像素表示的水平和垂直尺寸的矩形：

(i)1920×1080（或1920×1200），

(ii)1440×1080（或1440×900），

(iii)1280×720（或1280×1024，1280×960，1280×900，1280×800）

(iv)960×640（或960×600，960×576，960×540），

(v)2048×1536（或2048×1152），

(vi)4096×3072（或4096×3112，4096×2304，4096×2400，4096×2160，4096×768），或者

(vii)8192×4302（或8192×8192，8192×4096，7680×4320）

以下是可能的：密集视差图的分辨率基本上与相关联的图像的分辨率相同，但是与该相关联的图像的分辨率不同。在一个示例中，当图像边界的视差信息难于获得时，可以选择不包括边界像素上的视差并且视差图小于相关联的图像。

下采样的视差图一般指代具有小于原始视频分辨率的分辨率的视差图（例如，除以因数四）。下采样的视差图例如每个像素块具有一个视差值。

稀疏视差图一般指代与被视为在对应视频图像中容易追踪的有限数量像素（例如1000个）对应的一组视差。被选择的有限数量的像素将一般依赖内容本身。图像中存在经常超过一百万或者两百万的像素（1280×720或者1920

×1080）。像素子集选择一般由能够检测特征点的跟踪器工具自动地或者半自动地完成。跟踪器工具容易获得。特征点可能是例如在其他图像中容易跟踪的画面中的边缘点或者角点。表示对象的高对比度边缘的特征一般对于像素子集是优选的。

视差图，或者更一般地，视差信息可以用于多种处理操作。这样的操作包括例如视图内插（呈现），用于调整消费设备上的3D效果，提供智能字幕放置、视觉效果以及图形插入。

在一个具体示例中，图形被插入图像的背景中。在一个示例中，3D呈现可以包括体育广播员和足球运动员（二者在后景中）之间的立体视频采访。背景包括体育馆的视图。在这个示例中，当对应视差值小于（也就是，更靠近）预定值时，视差图用于从立体视频采访中选择像素。反之，如果视差值大于预定值（也就是，更远），则从图形选择像素。这允许例如导演在图形图像的前面，而不是在实际体育馆背景的前面，示出采访参与者。在其他变型中，用另一个环境替换背景，诸如例如，球员的最近得分比赛的回放期间的球场。

在一个实现方式中，3D效果基于用户偏好被软化（减少）。为了减少3D效果（减少视差的绝对值），使用视差和视频图像来内插新的视图。例如，在现有的左视图和右视图之间的位置定位新的视图，并且新的视图替代左视图和右视图之一。由此，新的立体图像对具有减少的视差，以及因此减少3D效果。在另一个实现方式中，虽然较不常用，但外插可以被执行，以增大图像的表观深度。图5图示执行3D效果调整的图像处理系统。该系统在输入端510接收立体视频和视差图。在框520通过基于立体视频和视差图的视图内插/外插生成新的视图。每个个体可能对于3D效果的强度具有不同容忍度/偏好。也就是，一个个体可能喜爱强的3D效果，而另一个可能偏爱柔和的3D效果。这样的3D容忍度/偏好可以由用户接口550接收并且传递到框530，以相应地调整深度。调整后的立体视频然后被输出到显示器540。

在另一个实现方式中，视差图用于智能地在立体视频中定位字幕，以减少或者避免观看者的不适。例如，字幕应该一般具有该字幕正在遮挡的任何对象前面的感知的深度。然而，感知的深度应该一般具有与感兴趣的区域相当的深度，并且离感兴趣的区域中的对象的前面不太远。

对于很多3D处理操作，密集视差图比下采样的视差图或者稀疏视差图优选，例如，当视差图用于使用户能够对3D效果可控时。在这样的操作中，需要每个像素的视差信息，以实现良好的结果，这是因为使用稀疏或者下采样的视差图可能减少合成视图的质量。

视差值可以以多种格式表示。若干实现方式使用以下格式来表示用于存储或者传送的视差值:

-有符号整数：2s补数（complement）

·负视差值指示在屏幕前面的深度。

·零用于在屏幕平面中的对象的视差值。

-1/8像素的单位

-表示视差值的16比特，

·典型视差范围在+80和-150像素之间变化。这一般在1920或者2048像素水平分辨率的四十英寸显示器上是足够的。

·在1/8像素精度的情况下，该范围在+640和-1200单位之间，这可以由有符号数=12比特的11比特+1比特表示。

·为了保持8K显示器上相同的3D效果（这大约是1920或2048像素宽的显示器的水平分辨率的四倍），典型地需要两个附加比特，以编码视差：12+2=14比特。

·这提供了2比特用于将来使用。

另外，对于密集视差图还提供使用以上格式的各种实现方式。由此，为了对于这样的实现方式完成密集视差图，对于对应视频图像中的每个像素位置提供以上16比特格式。

如上面提及的，典型的视差范围在+80和-150像素之间变化。假设65mm的两眼间（即，眼之间的距离），对于空间分辨率1920×1080的四十英寸显示器，以大约143个像素测量该两眼间。因为+80是大约两眼间测量的一半，正视差界限对应于大约是在与观看者在屏幕前面一样远的、在屏幕后面的远深度（far-depth）。因为负视差界限粗略等于两眼间测量，负视差界限对应观看者和屏幕之间的大约一半的近深度。该范围一般对于四十英寸显示器是足够的。然而，该视差可能超过其中立体视频被不良地拍摄或者包含3D特定效果的正常足够的限制。

图6图示当屏幕610被会聚相机620和630拍摄时正溢出（例如，视差值大于+80像素）的示例。该屏幕610包括被表示为前景中的“X”的对象和后景中的数字1-9。对象“X”由左相机620捕获在背景在左图像640中“6”和“7”之间，并且由右相机630捕获在右图像650中的“3”和“4”之间。如果用户660决定聚焦在“4”上，用户的右眼将稍微向右偏移（如连同右图像650中的数字“4”所示），用户的左眼将明显地向左侧偏移（如连同左图像640中的数字“4”所示）。这造成超出平行的眼睛发散。也就是，背景数字“4”的视差大于用户660的两眼间测量和正视差界限，并且其准确的视差值不能够被上面讨论的视差图格式指定。也就是，视差值“溢出”该格式的表示，另外，该溢出在正方向，即，真正的视差值大于表示所允许的最大正视差。

图7图示负溢出的示例（例如，视差值小于-150个像素）。图7示出包括对象710、720、730和740的画面。在画面的底部的是对象710，具有-195像素的视差，指示该对象710朝观看者弹出。对象720在屏幕层，具有基本零的视差，而对象730和740各自具有视差+10和-10，二者在上面讨论的格式的+80到-150像素的范围内。在该画面中，对象710具有超出负视差界限的-195像素的视差。类似于图6中图示的示例，对象710的准确视差值不能够被上面讨论的视差图表示的格式指定。

注意，+80到-150像素的范围用在上面的示例中，以图示视差可能超过规定的视差范围。然而，范围的末端值或者范围本身的尺寸可以在各种视差图格式中改变。在一个示例中，主题公园的呈现可能为了更加剧烈的效果要求更加严重的负视差（即，对象比距屏幕的一半更近）。在另一个示例中，专业设备可以支持比消费设备更宽的视差范围。

本领域的技术人员已知，准确视差值可以从立体视频和其他输入（例如，与之前或者稍后的图像对的相关性）确定。也就是，实际视差值可以利用足够高的置信度确定。然而，可能的是：置信水平是很低的并且准确的视差值实际上“未知”。例如，准确的视差值可能在屏幕的边缘或者遮挡引起的阴影区域中是未知的。当遮挡引起未知视差时，即使准确视差值是未知的，也可以推导视差的限制。示出平行左相机和右相机的图8提供这样的示例。

图8包括当屏幕810分别利用平行的左相机820和右相机825拍摄时发生遮挡的示例。该屏幕810包括被示为前景中的“X”的对象和背景中的数字1-9。左相机820在左图像830中捕获屏幕810，以及右相机825在右图像835中捕获屏幕810。图像830和835中的围绕“X”中的阴影区域示出其他相机不能看到的屏幕810的部分。例如，左图像830示出可以由左相机820看到但是不能由右相机825看到的阴影区域，这是因为“X”将图像的该部分与右相机825阻挡。由此，对于阴影部分不能够准确计算视差。

绘图850和860示出沿着水平线840的左图像830的视差信息的两个表示。视差值841对应背景的视差（即，数字1-9），无论在什么情况下，该背景沿着中心线840可见。在这个示例中，视差值841小于上面示例格式允许的最大正视差值。该视差值842对应于沿着中心线840的“X”的视差，因为“X”在前景中，视差值842比视差值841负地更多（同样，正地更少）。

然而，由于左图像830中的阴影“X”图示的遮挡，对于其在右图像835中不存在相关，该区域中的实际视差值不能够被确定，以及由此在绘图850中，示出未知值851，其表示可以以示例格式表示的从正极值到负极值的任何值的可能性，此外包括正溢出或者负溢出的可能性。

然而，可以推导视差约束以提供阴影部分的视差的更多信息。给定右相机825的观看角度，例如，已知图像830中的任何给定遮挡点上的视差，虽然未知，将比遮挡区域中的左侧和右侧的已知视差之间的直线内插更大（更后退到背景中）。这因为，如果视差小于（即，更靠近）直线内插，则该位置将朝向观看者弹出并且将对于相机825可见。由此，在绘图860中，示出视差值861上的约束，其代表从正极值（以及此外正溢出）到大于或者等于842的视差值的任何值的可能性。该视差值861必须大于或者等于线性增加值，该线性增加值等于遮挡区域的最左边缘的841的视差值并且等于最右边缘的842的视差值。此外，在某些情形下，类似界限可以存在于视差的正末端（例如，在“X”是细小（skinny）的情形下，未示出）。也就是，遮挡区域中的未知视差值861不能够具有过大的视差，否则，可能后退到远至进入背景，使得在“X”的另一侧对右相机可见。

由此，当准确视差值未知时，仍然可以提供视差在某些值之间或者大于（或者小于）某些值的指示。当放置字幕时可以使用这样的视差信息。例如，如果字幕需要以3D被放置在屏幕810的中心，则给定绘图850，必须将字幕放置到其他某一地方，以避免遮挡的区域，这是因为“未知”视差值851可以穿透字幕并且造成差的呈现。然而，当视差值未知，但是被约束，如861的那些，字幕可以被安全地放置在视差842（或者，稍微少于，即更加向前），而不担心差的呈现。由此，未知的视差呈现851不需要干扰字幕放置（不将其放置于此），而未知但是受约束的视差呈现861可以被有效地使用。

注意，在绘图850和860中，垂直轴意图是视差范围，例如，+80到-150像素，或在由视差图格式指定的正和负视差界限之间，或者“+”和“-”符号暗示的其他值。

使用+80到-150像素的视差范围和图6-8作为示例，图示了当为视差图格式固定范围时，可能存在以下情况，其中视差不是精确已知的或者不是位于规定的范围内。在这些情况中，提供视差图中的某些视差信息是有用的，即使不能够指定准确的视差值。在一个这样的实现方式中，视差图给定位置的视差样本可能简单地指示实际视差值是“未知的”。如上面所讨论的，例如，这样的信息可以用于避免在那里插入字幕，这是因为它们可能干扰图像中的一些东西。

然而，其他实现方式可能比简单指示“未知”视差提供更多的粒度（granularity）和更多的信息。因为视差的实际值或者视差上的约束在某些条件下是已知的，其他指示可以用于提供附加信息。例如使用当指定特定视差值时将不被使用的预定值提供指示。处理器然后可以通过将预定值与它们各自对应信息相关联来确定与不指示实际视差值的样本有关的信息。

其他可能的指示包括，例如：

（i）正溢出（例如，大于正视差界限）；

（ii）负溢出（例如，小于负视差界限）；

（iii）小于或者大于另一位置的视差值（例如，像素位置）；

-小于该位置向左的视差值；

-小于该位置向右的视差值；

-大于该位置向左的视差值；

-大于该位置向右的视差值；

（iv）小于或者大于计算的特定的视差值；

-小于作为两个其他已知视差值之间的内插的视差值；

-大于作为两个其他已知视差值之间的内插的视差值；

（v）两个视差值之间（一个或者多个视差值可以是例如用于特定位置，或者可以是计算或者另外已知或者确定的特定值）。

其他指示，诸如例如上面所列的，可以用于多种应用。这样的应用包括例如放置重叠信息、调整3D效果、合成新视图以及生成警告。

放置重叠信息

如果实际已知“未知的”视差要处于背景中（“正溢出”），则一般可接受的将字幕放置在图像的该部分上。然而，如果“未知的”视差实际上是在前景中（“负溢出”），则使字幕放置于图像的该部分一般对于观看者不舒服。这些其他指示，诸如，例如“正溢出”，允许设计者在确定字幕的适当位置以及在图像上重叠的或者另外向用户示出的其他特征使用更多信息。这样的其他特征可以包括菜单选择、音量水平以及其他控制或者系统配置显示、向用户显示信息的附加窗口或者区域，等等。

调整3D效果

一些用户可能优选使3D效果增强或者减少，如图5图示。例如，如果用户对于3D效果敏感，则用户可能不希望使对象看上出朝向用户跳出屏幕超过距离的25%或者50%。因此，显示器或者机顶盒可以基于用户偏好和视差值衰减3D效果。然而，“未知”视差值使得3D效果的减少不明确，而视差值的约束值也使得其更不明确。相反，“负溢出”的使用将指示更极端情形，其中对象在用户处弹出，并且因此用户将偏好于修改视差以使得减少3D效果。

合成新视图

如图8的示例图示，靠近前景对象的位置的视差值经常不能够被确定，这是因为左图像或者右图像被前景对象遮挡。由于遮挡，视差估计过程不能在左图像和右图像二者中找到对应位置。这使得更难于呈现（合成）新视图。然而，对于这样的位置，经常存在关于视差可用的大量信息，即使实际视差值可能是未知的。附加信息，诸如视差的约束，提供了视图合成的更多视差提示。

生成警告

极端视差值可能创建不舒服的3D效果。如果视差被简单标记为“未知”，则后期制作操作者（诸如，例如，立体摄影师）不清楚视差是否将创建不舒服的3D效果。使用更多粒度指示可能以警告的形式向立体摄影师提供有用的信息，例如如果需要，允许立体摄影师调整3D效果。图6提供以下示例，其中用户正在观看利用互相成角度的相机拍摄的特写镜头（close-up）的前景对象。用户然后可以决定查看将导致用户的眼睛发散的背景对象。这种发散对于用户可能是不舒服的，并且如果立体摄影师接收到警告，则该立体摄影师可能决定修改视差。“正溢出”的指示可能提供给立体摄影师这样的警告。此外，警告可能以“正溢出”的出现以及利用会聚相机捕获立体图像对的事实为前提。

图9图示如何根据一个实施例生成视差图的示例。在该方法中，考虑视差图的每个位置的视差信息。如上面所讨论，所考虑的视差信息不局限为准确的视差值。根据本发明的原理，在视差图中利用并且指示对视差值的约束。也就是，要考虑的视差信息包括视差的所有可用信息，例如，准确的视差值、视差值的约束，如图8所描述。此外，当准确的视差值是已知的但是其大到或小到超过规定的视差值范围时，本发明的视差图格式也捕获这样的信息并且因此在视差图中提供指示。使用当指定特定视差值时将不使用的预定值来提供该指示。也就是，当准确视差值是已知的并且在特定位置在规定的范围中时，样本值设置为视差值。否则，样本值根据可用的视差信息被设置。当设置所有位置的样本值时生成视差图。

转到图9，用参考标号900总体指示基于视差值或者其他视差信息生成视差图的示例性方法。方法900包括将控制传递到功能块907的开始块905。块907接收立体视频。循环限制块910使用位置的变量i=1，…，#开始在视差图的每个位置上循环。在功能块915获得第i位置的视差信息。视差信息可以被提供为输入或者可以从立体视频确定。块920检查视差值（D）是否是已知的。如果视差值是已知的，则块930检查视差值是否小于负极限T_l。如果D小于T_l，则在功能块935中将变量S设置为S_no，以指示“负溢出”。如果D不小于T_l，则块940比较D与正极限T_h。如果D大于T_h，则在功能块945中将S设置为S_po，以指示“正溢出”。如果D不大于T_h（即，D位于范围内），则在功能块950中将S设置为视差值D。

如果没有指定准确的视差值，则块925检查关于视差的其他信息是否可用。如果没有其他信息可用，则在功能块993中将S设置为S_u以指示“未知”。

如果不存在其他视差信息，块955检查相对于相邻位置（左侧和右侧）的视差信息是否可用。如果相邻位置的信息是可用的，则块960检查D是否大于其左侧的视差值(D_l)或其右侧的视差值(D_r)。如果D大于D_l(D_r)，则在功能块970中将S设置为S_gl(S_gr)，以指示视差值大于该位置左侧（右侧）的视差值。如果D不大于D_l(D_r)，则在功能块965中将S设置为S_ll(S_lr)，以指示视差值不大于该位置左侧（右侧）的视差值。如果相对于相邻位置的信息是不可用的，则块975检查相对于所计算的值(D_c)的视差信息是否是可用的。例如，所计算的值可以是两个其他已知视差值之间的内插。如果相对于所计算的值D_c的信息是可用的，块980检查D是否大于D_c。如果D大于D_c，则在功能块986中将S设置为S_gc，以指示视差值大于所计算的值。如果D不大于D_c，则在功能块983中将S设置为S_lc，以指示小于所计算的值的视差值。如果相对于D_c的信息是不可用的，则在功能块989中将S设置为S_ni以指示不被包括在上面块中的信息。

对于不同状况获得变量S之后，在功能块996中将视差图中第i位置将样本值设置为S。块997关闭循环。块998输出视差图并且将控制传递到结束块999。

可替代地，在各种实现方式中可以考虑比图9更少或者更多的视差信息。例如，方法可能仅仅指示视差界限。在另一个示例中，方法可以进一步考虑视差值是否小于或者大于指定位置上的指定值或者视差值。在又一实施例中，方法还可以考虑立体视频是利用平行还是会聚相机捕获。本领域的技术人员在给定本原理的教导的情况下将容易地设想到各种其他方式来指示视差信息。

如之前讨论的，典型视差范围可以在+80和-150像素之间。也就是，T_l＝-150像素以及T_h＝+80像素。为了指示除视差值之外的视差信息，使用+80和-150像素之外的值。例如，S_no=81,S_po=82,S_u=83,S_gl=84,S_gr=85,S_ll=86,S_lr=87,S_gc＝88，S_lc＝89和S_ni＝90，如表1中总结的。该表示还可以将样本值偏移150像素，以给出范围0-230，导致T_l＝0，T_h＝230，以及留下231-240用于指示。本领域技术人员可以设想例如通过偏移其他值或者缩放进行的其他表示。

	Tl	Th	Sno	Spo	Su	Sgl	Sgr	Sll	Slr	Sgc	Slc	Sni
													值(像素)	-150	80	81	82	83	84	85	86	87	88	89	90

表1.视差界限和指示的值的示例

当视差界限不同时，其他值应该用于T_l和T_h，以反映差异，以及用以指示其他视差信息的值还可以相应地被设置。

图10图示可以如何解析根据图9生成的视差图以确定视差值或者其他视差信息。在该方法中，解析视差图的每个位置的样本以输出视差值或者其他视差信息。也就是，在当前位置的样本值在视差范围内时，采用样本值作为视差值；否则，将样本值与预定条件比较，以提供视差信息。

转到图10，参考标号1000总体地指示用于解析视差的示例性方法。方法1000包括将控制传递到功能块1007的开始块1005。块1007接收立体视频以及对应的视差图。循环限制块1010使用位置的变量i＝1，...，#开始在视差图的每个位置上的循环。在功能块1015读入第i位置的样本。块1020检查样本值（S）是否在范围T_l和T_h之间。如果S在该范围内，则在功能块1025将视差值设置为S。如果S不位于该范围内，则块1055检查S是否等于S_po或S_no。如果S等于S_po或者S_no，则在功能块1030将视差信息指示为“正溢出”或者“负溢出”。也就是，应该对应样本的实际视差值大于正视差界限（“正溢出”）或者小于负视差界限（“负溢出”）。如果S不等于S_po或者S_no，块1060检查S是否等于S_ll或者S_lr。如果S等于S_ll或者S_lr，则在功能块1035将视差值指示为小于该位置左侧或右侧的视差值。如果S不等于S_ll或者S_lr，则块1065检查S是否等于S_gl或S_gr。如果S等于S_gl或S_gr，则在功能块1040将视差值指示为大于该位置左侧或右侧的视差值。如果S不等于S_gl或S_gr，则块1070检查S是否等于S_gc或者S_lc。如果S等于S_gc或者S_lc，则在功能块1045将视差值指示为大于或者小于所计算的值。使用与在视差图生成中使用的相同计算来计算所计算的值。如果S不等于S_gc或者S_lc，则块1075检查S是否等于S_ni。如果S等于S_ni，则将视差信息指示为具有未被包括在上面的块中的信息。在块1050中指示的这样的信息的含义应该与当生成视差图时（图9，989）的含义相同。如果S不等于S_ni，则视差值被指示为未知。在解析第i位置的样本之后，对于第i位置确定视差值或者其他视差信息。块1090关闭循环。块1095基于确定的视差值或者其他视差信息处理立体视频并且将控制传递到结束块1099。

注意，视差图解析通常与视差图生成相对（reciprocal）。例如，在生成和解析视差图期间，应该使用相同的视差界限并且其他视差信息的指示应该具有相同的含义。当操作，诸如偏移或者缩放用于生成视差图时，应该在解析期间使用额外的逆步骤。如上面讨论的，存在各种可能的实现方式来生成视差图，因此还存在各种对应的实现方式来解析视差图。

现在参考图11，示出可以应用上面描述的特征和原理的视频传送系统或者装置1100。视频传送系统或者装置1100可以是例如前端（head-end）或者传送系统，用于使用多种介质的任何一个（诸如，例如卫星、电缆、电话线或者地面广播）传送信号。视频传送系统或者装置1100还可以或者可替代地用于例如提供用于存储的信号。传送还可以在因特网或者某些其他网络上提供。视频传送系统或者装置1100能够生成并且例如传递视频内容或者其他内容，诸如，例如深度指示符，包括例如深度和/或视差值。还应该清楚，图11的块除了提供视频传送系统或者装置的框图之外，还提供视频传送处理的流程图。

视频传送系统或者装置1100从处理器1101接收输入的立体视频和视差图。在一个实现方式中，处理器1101处理视差信息以根据图9描述的方法或者其他变型生成视差图。处理器1101还可以向视频传送系统或者装置1100提供元数据，指示例如输入图像的分辨率、视差界限以及考虑哪些类型的视差信息。

视频传送系统或者装置1100包括编码器1102和能够传送编码信号的传送器1104。编码器1102从处理器1101接收视频信息。视频信息可以包括例如视频图像和/或视差（或者深度）图像。编码器1102基于视频和/或视差信息生成（多个）编码信号。编码器1102可以是例如AVC编码器。AVC编码器可以应用于视频和视差信息二者。AVC指代现有的国际标准化组织/国际电工委员会（ISO/IEC）运动图像专家组-4（MPEG-4）第10部分高级视频编码（AVC）标准/国际电信联盟电信分部（ITU-T）H.264推荐（在下文中为“H.264/MPEG-4AVC标准”或者其变型，诸如“AVC标准”、“H.264标准”或者简单地“AVC”或者“H.264”）。当立体视频和视差图二者被编码时，它们可以使用相同或者不同的编码配置下的相同的编码器，或者它们可以使用不同的编码器，例如立体视频的AVC编码器以及视差图的无损耗数据压缩器。

编码器1102可以包括子模块，包括例如组装单元，用于接收各种信息并且将其组装为用于存储或者传送的结构化格式。各种信息可以包括例如编码或者未编码的视频、编码或者未编码的视差（或者深度）值，以及编码或者未编码的元素，诸如例如运动矢量、编码模式指示符以及语法元素。在某些实现方式中，编码器1102包括处理器1101以及因此执行处理器1101的操作。

传送器1104从编码器1102接收（多个）编码信号并且在一个或者多个输出信号中传送（多个）编码信号。传送器1104例如可以适配为传送具有一个或者多个代表编码画面和/或其相关信息的比特流的节目信号。典型传送器执行以下的一个或者多个功能，诸如，例如提供纠错编码、在信号中交织数据、随机化信号中的能量以及使用调制器1106调制信号到一个或多个载波。传送器1104可以包括天线（未示出）或者与天线接口。另外，传送器1104的实现方式可以被限制为调制器1106。

视频传送系统或者装置1100还通信地耦接到存储单元1108。在一个实现方式中，存储单元1108耦接到编码器1102，并且存储来自编码器1102的编码比特流。在另一个实现方式中，存储单元1108耦接到传送器1104，并且存储来自传送器1104的比特流。来自传送器1104的比特流可以包括，例如已经被传送器1104另外处理的一个或者多个编码比特流。在不同的实现方式中，存储单元1108是标准DVD、蓝光盘、硬驱动器或者一些其他存储设备中的一个或者多个。

现在参考图12，示出可以应用上面描述的特征和原理的视频接收系统或者装置1200。视频接收系统或者装置1200可以被配置为通过各种介质（诸如，例如存储设备、卫星、电缆、电话线或者地面广播）接收信号。信号可以通过因特网或者一些其他网络接收。还应该清楚的是，图12的块除了提供视频接收系统或者装置的框图之外，还提供视频接收处理的流程图。

视频接收系统或者装置1200可以例如是蜂窝电话、计算机、机顶盒、电视、或者接收编码视频并且提供例如解码的视频信号供显示（例如，向用户显示）、供处理或者供存储的其他设备。由此，视频接收系统或者装置1200可以提供其输出到例如电视的屏幕、计算机监视器、计算机（用于存储、处理或者显示）、或者一些其他存储、处理或者显示设备。

视频接收系统或者装置1200能够接收和处理视频信息，并且视频信息可以包括例如视频图像和/或视差（或者深度）图像。视频接收系统或者装置1200包括接收器1202，用于接收编码信号，诸如例如，本申请的实现方式中描述的信号。接收器1202可以接收例如提供一个或者多个立体视频和/或视差图像的信号，或者图11的视频传送系统1100输出的信号。

接收器1202可以例如适配为接收具有多个表示编码画面的多个比特流的节目信号。典型接收器执行以下一个或多个功能，诸如，例如接收调制和编码的数据信号、使用解调器1204从一个或多个载波中解调数据信号、去随机化信号中的能量、去交织信号中的数据以及纠错解码信号。接收器1202可以包括天线（未示出）或者与天线接口。接收器1202的实现方式可以被限制为解调器1204。

视频接收系统或者装置1200包括解码器1206。接收器1202向解码器1206提供所接收的信号。接收器1202向解码器1206提供的信号可以包括一个或者多个编码的比特流。解码器1206输出解码信号，诸如例如，包括视频信息的解码视频信号。解码器1206可以是例如AVC解码器。

视频接收系统或者装置1200还通信地耦接到存储单元1207。在一个实现方式中，存储单元1207耦接到接收器1202，接收器1202存取来自存储单元1207的比特流。在另一个实现方式中，存储单元1207耦接到解码器1206，解码器1206存取来自存储单元1207的比特流。在不同的实现方式中，从存储单元1207存取的比特流包括一个或者多个编码比特流。在不同实现方式中，存储单元1207是标准DVD、蓝光盘、硬驱动器或者一些其他存储设备中的一个或者多个。

在一种实现方式中，来自解码器1206的输出视频被提供给处理器1208。在一种实现方式中，处理器1208是配置为执行视差图解析的处理器，诸如例如图10中描述的。在一些实现方式中，解码器1206包括处理器1208以及因此执行处理器1208的操作。在其他实现方式中，处理器1208是下游设备的一部分，诸如例如，机顶盒或者电视。

注意，当实际视差值不能被指定时，至少一种实现方式指示关于视差的信息。例如，系统指示大于或者小于一个值（例如，视差正界限、负界限、相邻位置或者指定位置的视差值，或者所计算的值）的视差。附加实现方式可以提供多个视差信息，因此提供后续处理的更多提示。

例如可以以与计算运动矢量类似的方式计算视差。可替代地，视差可以从深度值计算，如已知和上面描述的。

由此提供具有特定特征和方面的一个或多个实现方式。具体地，提供与视差图有关的若干实现方式。视差图可以允许多种应用，诸如例如对消费设备的相对复杂3D效果调整，以及后期制作的相对简单的字幕放置。然而，这些实现方式和附加应用的变型被设想到了并且在本公开内，以及描述的实现方式的特征和方面可以适配为其他实现方式。

在本申请中描述的若干实现方式和特征可以用在AVC标准、和/或具有MVC扩展的AVC（附录H）和/或具有SVC扩展的AVC（附录G）的上下文中。此外，这些实现方式和特征可以用在另一个标准（现有或者将来）的上下文或者未涉及标准的上下文中。

对本原理的“一个实施例”或“实施例”或者“一个实现方式”或“实现方式”及其其他变型的引用意味着在本原理的至少一个实施例中包括与该实施例相关联地描述的特定的特征、结构、特性等。因而，贯穿本说明书的多处出现的短语“在一个实施例中”或“在实施例中”或者“在一个实现方式中”或“在实现方式中”以及任何其他变型的出现不一定都指代相同的实施例。

此外，本申请或者其权利要求书可以指代“确定”各种信息。确定信息可以包括以下中的一项或者多项，例如估计信息、计算信息、预测信息或者从存储器中获取信息。

将要理解，如下“/”、“和/或”、和“至少一个”的任何一种的使用，例如，在“A/B”、“A和/或B”、和“A和B的至少一个”的情形下，意图包含只选择第一列出选项（A），或只选择第二列出选项（B），或选择两个选项（A和B）。作为进一步的例子，在“A、B和/或C”和“A、B和C的至少一个”和“A、B或C的至少一个”的情形下，这样的措词意图包含只选择第一列出选项（A），或只选择第二列出选项（B），或只选择第三列出选项（C），或只选择第一和第二列出选项（A和B），或只选择第一和第三列出选项（A和C），或只选择第二和第三列出选项（B和C），或选择所有三个选项（A和B和C）。本领域及相关领域的普通技术人员容易明白，这可以扩展到许多列出项目。

此外，很多实现方式可以被实现在一个或者多个编码器（例如，编码器1102）、解码器（例如，解码器1206）、处理来自解码器的输出的后处理器（例如，处理器1208）、或者向编码器提供输入的预处理器（例如，处理器1101）。另外，本公开设想了其它实现方式。

在此描述的实现方式可以实现为例如方法或处理、装置、软件程序、数据流或者信号。即使仅仅在单个形式的实现方式的上下文中讨论（例如，仅仅讨论方法），讨论的特征的实现方式也可以实现为其他形式（例如，装置或程序）。装置可以实现在例如适当硬件、软件和固件中。在例如一般指代包括例如计算机、微处理器、集成电路或可编程逻辑器件的处理设备的诸如例如处理器之类的装置中可以实现该方法。处理器还包括通信设备(诸如例如计算机、蜂窝电话、便携式/个人数字助理（“PDA”）)以及方便终端用户之间通信信息的其他设备。

在此描述的各种处理和特征的实现方式可以体现在各种不同设备或者应用中，具体地，例如，与数据编码、数据解码、视图生成、深度或者视差处理，以及图像和相关深度和/或视差图的其他处理相关联的设备或应用。这样的设备的示例包括编码器、解码器、用以处理来自解码器的输出的后处理、用以向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型电脑、个人计算机、蜂窝电话、PDA以及其他通信设备。应该清楚，设备可以是移动的并且甚至安装在移动车辆中。

另外，这些方法可以通过处理器执行指令来实现，并且这样的指令（和/或实现方式产生的数据值）可以存储在诸如例如集成电路、软件载体或者其他存储装置之类的处理器可读介质中，诸如例如硬盘、致密盘（“CD”）、光盘（诸如，例如DVD，通常指代数字通用盘或者数字视频盘）、随机存取存储器（“RAM”）或者只读存储器（“ROM”）。这些指令可以形成有形地体现在处理器可读介质上的应用程序。指令可以例如在硬件、固件、软件或组合中。指令可以在例如操作系统、单独程序、或二者的组合中找到。因此，处理器可以被表征为例如配置为执行处理的设备以及包括具有执行处理的指令的处理器可读介质（诸如存储设备）的设备这二者。另外，除了指令之外或者替代指令，处理器可读介质可以存储实现方式产生的数据值。

对于本领域的普通技术人员来说将显而易见，实现方式可以产生格式化成携带可以例如被存储和发送的信息的各种信号。该信息可以包括，例如，执行一种方法的指令，或由描述的实现方式之一产生的数据。例如，信号可以被格式化成携带用于写或者读描述的实施例的语法的规则作为数据或者携带描述的实施例所写的实际语法值作为数据。这样的信号可以被格式化为例如电磁波（例如，使用频谱的射频部分）或基带信号。格式化可以包括例如编码数据流以及用编码数据流调制载波。信号携带的信息可以是，例如，模拟信息或数字信息。如已知的，信号可以通过多种不同有线或无线链路传送。信号可以存储在处理器可读介质上。

已经描述了许多实现方式。不过，将明白，可以做出各种修改。例如，可以组合、补充、修改或移除不同实现方式的要素以产生其他实现方式。另外，本领域的普通技术人员应该明白，可以用其他结构和处理替代所公开的那些，并且所获得的实现方式将以至少基本相同的（多个）方式执行至少基本相同的（多个）功能，以实现与所公开实现方式至少基本相同的（多个）结果。因此，可以通过本申请来设想这些和其他实现方式。

Claims (21)

1.一种方法，包括：

接收立体视频以及与所述立体视频对应的视差图，所述视差图包括不指示实际视差值的样本（1007）；以及

根据所述样本确定视差信息（1030，1035，1040，1045，1050，1080）；以及

基于视差信息处理立体视频（1095）。

2.如权利要求1所述的方法，其中，视差图是密集视差图，以及其中确定的视差信息与样本所关联的像素相关。

3.如权利要求1所述的方法，其中，视差信息与所述样本所关联的像素组相关。

4.如权利要求1所述的方法，其中，从一个或者多个替代值中选择样本以提供所述视差信息。

5.如权利要求4所述的方法，其中，所述样本指示应该与所述样本对应的实际视差值是小于还是大于某个值。

6.如权利要求5所述的方法，其中，该某个值是预定值或者计算值。

7.如权利要求6所述的方法，其中，基于其他位置上的一个或者多个视差值来计算所述计算值。

8.如权利要求7所述的方法，其中，基于其他位置上的两个视差值的内插来计算所述计算值。

9.如权利要求1所述的方法，其中，确定步骤包括将样本与多个预定视差条件中的相应的一个相关以提供视差信息。

10.如权利要求1所述的方法，其中，处理包括以下中的一项：放置重叠信息、调整3D效果、生成警告以及合成新视图。

11.如权利要求1所述的方法，还包括从用户接口接收用户对于3D效果强度的偏好，以及其中，处理包括响应于用户的偏好处理立体视频。

12.一种方法，包括：

接收立体视频以及与所述立体视频对应的密集视差图（1007），所述密集视差图包括不指示实际视差值的样本；

根据所述样本确定视差信息，该视差信息指示应该与所述样本对应的实际视差值是小于还是大于某个值（1030，1035，1040，1045）；以及

基于视差信息处理立体视频以执行以下中的至少一项：放置重叠信息、调整3D效果、生成警告，以及合成新视图（1095）。

13.一种方法，包括：

接收立体视频（907）；

处理与立体视频对应的视差信息（935，945，950，993，965，970，983，986，989）；以及

生成立体视频的视差图，所述视差图包括不指示实际视差值的样本（996，998）。

14.如权利要求13所述的方法，其中，所述视差图是密集视差图。

15.如权利要求13所述的方法，其中，从一个或者多个替代值中选择样本以提供视差信息。

16.如权利要求15所述的方法，其中，样本指示小于或者大于某个值的实际视差值。

17.一种装置，包括：

输入端，接收立体视频以及与立体视频对应的视差图，所述视差图包括不指示实际视差值的样本；以及

处理器，根据样本确定视差信息并且基于视差信息处理立体视频。

18.一种装置，包括

输入端，接收立体视频以及与所述立体视频对应的密集视差图，所述密集视差图包括不指示实际视差值的样本；

处理器，根据所述样本确定视差信息并且基于视差信息处理立体视频以执行以下中的至少一项：放置重叠信息、调整3D效果、生成警告以及合成新视图，该信息指示应该与所述样本对应的实际视差值是小于还是大于某个值。

19.一种装置，包括：

用于接收立体视频以及与立体视频对应的视差图的部件，所述视差图包括不指示实际视差值的样本；以及

用于根据样本确定视差信息并且基于视差信息处理立体视频的部件。

20.一种在其上存储有指令的处理器可读介质，所述指令使得一个或者多个处理器共同地执行：

接收立体视频以及与立体视频对应的视差图，所述视差图包括不指示实际视差值的样本；以及

根据样本确定视差信息并且基于视差信息处理立体视频。

21.一种装置，包括：

输入端，接收立体视频；

处理器，处理与立体视频对应的视差信息；以及

输出端，生成立体视频的视差图，所述视差图包括不指示实际视差值的样本。

Images