CN105074781A - 可变分辨率深度表示 - Google Patents

Abstract

本文描述设备、图像捕获装置、计算装置、计算机可读介质。该设备包括确定深度指示符的逻辑。该设备还包括基于深度指示符来改变图像的深度信息的逻辑以及生成可变分辨率深度表示的逻辑。深度指示符可以是照明、纹理、边缘、轮廓、颜色、运动、时间或者它们的任何组合。

Description

可变分辨率深度表示

技术领域

本发明一般涉及深度表示。更具体来说，本发明涉及具有可变分辨率的标准化深度表示。

背景技术

在图像捕获期间，存在用来捕获与图像信息关联的深度信息的各种技术。深度信息通常用来产生图像中包含的深度的表示。例如，点云、深度图或三维(3D)多边形网格可用来指示图像中的3D对象的形状的深度。深度信息也能够使用立体像对或者多视图重构方法从二维(2D)图像来得出，并且还从包括结构化光、飞行时间传感器和许多其他方法的大量直接深度感测方法来得出。

附图说明

图1是可用来产生可变分辨率深度表示的计算装置的框图；

图2是基于可变位深度的可变分辨率深度图和另一个可变分辨率深度图的图示；

图3是基于可变空间分辨率的可变分辨率深度图和所生产图像的图示；

图4是从可变分辨率深度图所形成的一组图像；

图5是产生可变分辨率深度图的方法的过程流程图；

图6是用于生成可变分辨率深度图的示范系统的框图；

图7是可实施图6的系统600的小形状因数装置的示意图；以及

图8是示出存储用于可变分辨率深度表示的代码的有形非暂时计算机可读介质的框图。

相同标号在本公开和附图中通篇用来表示相似组件和特征。100系列中的标号表示最初见于图1的特征；200系列中的标号表示最初见于图2的特征；依此类推。

具体实施方式

各深度表示是深度的均质表示。深度对于各像素密集地生成或者在已知特性所包围的特定像素稀疏地生成。因此，当前深度图没有对人类视觉系统进行建模或者优化深度映射过程，从而仅提供均质或恒定分辨率。

本文所提供的实施例实现可变分辨率深度表示。在一些实施例中，深度表示可基于深度图的使用或者深度图中的感兴趣面积来调整。在一些实施例中，生成备选优化深度图表示。为了便于描述，使用像素来描述技术。但是，能够使用图像数据的任何单位，例如，如计算机图形学中所使用的体素、点云或3D网格。可变分辨率深度表示可包括在整个深度表示以异质分辨率所捕获的一组深度信息以及从共同工作的一个或多个深度传感器所捕获的深度信息。所产生深度信息可采取密集均匀间隔点或者稀疏不均匀间隔点或者图像的线条或者整个2D图像阵列的形式，这取决于所选方法。

在以下描述和权利要求书中，可使用术语“耦合”和“连接”及其派生。应当理解，这些术语并不是要作为彼此的同义词。在具体实施例中，“连接”而是可用来表示两个或更多元件相互直接物理或电接触。“耦合”可表示两个或更多元件直接物理或电接触。但是，“耦合”也可表示两个或更多元件不是相互直接接触，但是仍然相互配合或交互。

一些实施例可通过硬件、固件和软件其中之一或者它们的组合来实现。一些实施例还可作为机器可读介质上存储的指令来实现，所述指令可由计算平台读取和运行以执行本文所述的操作。机器可读介质可包括用于存储或传送机器、例如计算机可读的形式的信息的任何机制。例如，机器可读介质可包括：只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪速存储器装置；或者电、光、声或其他形式的传播信号(例如载波、红外信号、数字信号或者传送和/或接收信号的接口)等。

一实施例是实现或示例。本说明书中提到“一实施例”、“一个实施例”、“一些实施例”、“各个实施例”或者“其他实施例”表示结合这些实施例所述的特定特征、结构或特性包含在本发明的至少部分实施例但不一定是全部实施例中。出现“一实施例”、“一个实施例”或“一些实施例”的各种情况不一定都表示相同实施例。来自一实施例的元件或方面能够与另一个实施例的元件或方面相结合。

并非本文所述和所示的所有组件、特征、结构、特性等都需要包含在具体实施例中。例如，如果本说明书陈述组件、特征、结构或特性“可”、“可能”或者“能够”被包含，则不要求包含那个特定组件、特征、结构或特性。如果本说明书或权利要求书提到“一”或“一个”元件，则并不表示只有一个这种元件。如果本说明书或权利要求书提到“一个附加”元件，则不排除存在一个以上这种附加元件的情况。

要注意，虽然一些实施例参照具体实现来描述，但是按照一些实施例，其他实现是可能的。另外，附图所示和/或本文所述的电路元件或其他特征的布置和/或顺序无需按照所示和所述的特定方式来设置。按照一些实施例，许多其他布置是可能的。

在附图所示的各系统中，一些情况下的元件各可具有相同的参考标号或者不同的参考标号，以暗示所表示的元件可能是不同的和/或相似的。但是，元件可以足够灵活，以便具有不同实现，并且与本文所示或所述的系统的部分或全部配合工作。附图所示的各种元件可以是相同或不同的。哪一个称作第一元件和哪一个称作第二元件是任意的。

图1是可用来产生可变分辨率深度表示的计算装置100的框图。计算装置100可以是例如膝上型计算机、台式计算机、平板计算机、移动装置或服务器等等。计算装置100可包括中央处理单元(CPU)102(其配置成运行所存储指令)以及存储器装置104(其存储由CPU102可执行的指令)。CPU可经过总线106耦合到存储器装置104。另外，CPU102能够是单核处理器、多核处理器、计算集群或者任何数量的其他配置。此外，计算装置100可包括一个以上CPU102。由CPU102来运行的指令可用来实现共享虚拟存储器。

计算装置100还可包括图形处理单元(GPU)108。如所示，CPU102可经过总线106耦合到GPU108。GPU108可配置成执行计算装置100中的任何数量的图形操作。例如，GPU108可配置成再现或操纵图形图像、图形帧、视频等，以便向计算装置100的用户显示。在一些实施例中，GPU108包括多个图形引擎(未示出)，其中各图形引擎配置成执行特定图形任务或者运行特定类型的工作负荷。例如，GPU108可包括产生可变分辨率深度图的引擎。深度图的特定分辨率可基于应用。

存储器装置104能够包括随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器或者任何其他适当存储器系统。例如，存储器装置104可包括动态随机存取存储器(DRAM)。存储器装置104包括驱动器110。驱动器110配置成运行用于操作计算装置100中的各种组件的指令。装置驱动器110可以是软件、应用程序、应用代码等。

计算装置100包括图像捕获装置112。在一些实施例中，图像捕获装置112是照相装置、立体照相装置、红外传感器等。图像捕获装置112用来捕获图像信息。图像捕获机构可包括传感器114，例如深度传感器、图像传感器、红外传感器、X射线光子计数传感器或者它们的任何组合。图像传感器可包括电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器、芯片上系统(SOC)图像传感器、具有光敏薄膜晶体管的图像传感器或者它们的任何组合。在一些实施例中，传感器114是深度传感器114。深度传感器114可用来捕获与图像信息关联的深度信息。在一些实施例中，驱动器110可用来操作图像捕获装置112中的传感器、例如深度传感器。深度传感器可通过分析像素之间的变化并且按照预期分辨率捕获像素，来产生可变分辨率深度图。

CPU102可经过总线106连接到输入/输出(I/O)装置接口116，其配置成将计算装置100连接到一个或多个I/O装置118。I/O装置118可包括例如键盘和指针装置，其中指针装置可包括触摸板或触摸屏等等。I/O装置118可以是计算装置100的内置组件，或者可以是外部连接到计算装置100的装置。

CPU102也可经过总线106链接到显示器接口120，其配置成将计算装置100连接到显示装置122。显示装置122可包括显示屏幕，其是计算装置100的内置组件。显示装置122还可包括计算机监视器、电视机或投影仪等等，其外部连接到计算装置100。

计算装置还包括存储装置124。存储装置124是物理存储器，例如硬盘驱动器、光驱动器、thumbdrive、驱动器阵列或者它们的任何组合。存储装置124还可包括远程存储驱动器。存储装置124包括任何数量的应用126，其配置成运行于计算装置100。应用126可用来组合媒体和图形，包括用于立体显示器的3D立体照相装置图像和3D图形。在示例中，应用126可用来生成可变分辨率深度图。

计算装置100还可包括网络接口控制器(NIC)128，其可配置成经过总线106将计算装置100连接到网络130。网络130可以是广域网(WAN)、局域网(LAN)或因特网等等。

图1的框图并不是要表示计算装置100将包括图1所示的全部组件。此外，计算装置100可包括图1中未示出的任何数量的附加组件，这取决于具体实现的细节。

可变分辨率深度表示可采取各种格式，例如3D点云、多边形网格或者二维(2D)深度Z阵列。为了便于描述，深度图用来描述可变分辨率深度表示的特征。但是，任何类型的深度表示能够如本文所述来使用。另外，为了便于描述，像素用来描述表示的一些单位。但是，能够使用任何类型的单位，例如体积像素(体素)。

深度表示的分辨率可按照与肉眼相似的方式改变。人类视觉系统高度优化成通过增加视网膜中心附近的光受体和神经节细胞的变化径向浓度中的有效分辨率，并且以指数方式降低更远离中心的这些细胞(这通过在必要时增加细节并且降低其他位置的细节来优化分辨率和深度感知)，在必要时捕获增加细节。

视网膜包括称作小凹的小区域，其可在目标位置提供最高深度分辨率。眼睛则能够进行更快的扫视运动以在目标位置周围抖动，并且对目标位置添加附加分辨率。因此，抖动使来自包围焦点的像素的数据在计算焦点的分辨率时能够被考虑。中央凹区是包围小凹的面积，其也对人类视觉添加细节，但是与小凹区相比以较低分辨率来添加。副中央凹区提供比中央凹区要少的细节，以及近中央凹区提供比副中央凹区要小的分辨率。因此，近中央凹区提供人类视觉系统中的最少细节。

可变深度表示能够按照与人类视觉系统相似的方式来设置。在一些实施例中，传感器能够用来降低传感器中心附近的像素的大小。其中减少像素的面积的位置也可以是按照传感器所接收的命令可变的。深度图还可包括若干深度层。深度层是深度图中具有特定深度分辨率的区域。深度层与人类视觉系统的区域相似。例如，中央凹层可以是深度图的焦点和具有最高分辨率的面积。小凹层可包围中央凹层，其中具有比中央凹层要小的分辨率。副中央凹层可包围小凹层，其中具有比小凹层要小的分辨率。另外，中心凹层可包围副中央凹层，其中具有比副中央凹层要小的分辨率。在一些实施例中，副中央凹层可称作深度表示的背景层。此外，背景层可以是包含超过特定距离的所有深度信息的深度图的同构面积。背景层可设置成深度表示中的最低分辨率。虽然在这里描述四个层，但是可变分辨率深度表示可包含任何数量的层。

通过可变分辨率深度表示所指示的深度信息能够使用若干技术来改变。改变可变分辨率深度表示的一种技术是使用可变位深度。各像素的位深度表示各像素的位精密度等级。通过改变各像素的位深度，为各像素所存储的信息量也能够改变。具有较小位深度的像素存储与像素有关的较少信息，这产生像素在再现时的较小分辨率。改变可变分辨率深度表示的另一种技术是使用可变空间分辨率。通过改变空间分辨率，改变各像素或体素的大小。变化大小在较大像素区域作为区域来共同处理时使较少深度信息被存储，而在较小像素被单独处理时使较多深度信息被保留。在一些实施例中，可变位深度、可变空间分辨率、像素大小的减小或者它们的任何组合能够用来改变深度表示中的区域的分辨率。

图2是基于可变位深度的可变分辨率深度图202和另一个可变分辨率深度图204的图示。可变位深度又可称作可变位精确度。可变分辨率深度图202和可变分辨率深度图204均具有特定位深度，如深度图202和深度图204的各正方形内部的数字所指示。为了便于描述，深度图202和深度图204分为多个正方形，其中各正方形表示深度图的像素。但是，深度图能够包含任何数量的像素。

深度图202具有正方形形状的区域，而深度图204具有基本上圆形形状的区域。深度图204的区域基本上为圆形，因为所示的正方形与圆形形状不完全一致。任何形状能够用来定义可变分辨率深度表示中的各种区域，例如圆形、矩形、八边形、多边形或者曲线样条形状。深度图202和深度图204的每个中以参考标号206所示的层具有16位的位深度，其中为各像素存储16位信息。通过存储各像素的16位信息，根据二进制数表示能够为各像素存储最大65536个不同的颜色等级。深度图202和深度图204的以参考标号208所示的层具有8位的位深度，其中为各像素存储8位信息，这产生各像素的最大256个不同的颜色等级。最后，以参考标号210所示的层具有4位的位深度，其中为各像素存储4位信息，这产生各像素的最大16个不同的颜色等级。

图3是基于可变空间分辨率的可变分辨率深度图302和所生产图像304的图示。在一些实施例中，深度图302可使用深度的体素金字塔表示。金字塔表示可用来检测图像的特征，例如脸部或眼睛。金字塔八度分辨率能够在深度图的层之间改变。以参考标号306所示的层具有粗略1/4金字塔八度分辨率，这使四个体素作为一个单位来处理。以参考标号308所示的层具有较细1/2金字塔八度分辨率，这使两个体素作为一个单位来处理。以参考标号310所示的中心层具有最高金字塔八度分辨率，其中具有1:1金字塔八度分辨率，一个体素作为一个单元来处理。所产生图像304在图像的眼睛附近的图像中心具有最高分辨率。在一些实施例中，深度信息可按照结构化文件格式作为可变分辨率层来存储。此外，在一些实施例中，分层可变空间分辨率可用来创建可变分辨率深度表示。在分层可变空间分辨率中，图像金字塔被生成并且然后用作较高分辨率区域的复制背景以便被覆盖。图像金字塔的最小区域可作为背景来复制以填充图像的面积，以便覆盖整个视场。

通过仅在深度表示的一部分中使用高分辨率，深度图的大小可减小，因为对较低分辨率面积存储较少信息。此外，在处理使用可变深度表示的较小文件时，降低功率消耗。在一些实施例中，可在深度图的焦点处减小像素的大小。像素的大小可按照如下方式来减小：增加包括焦点的表示的层的有效分辨率。像素大小的减小与人类视觉系统的视网膜模式相似。为了减小像素的大小，传感器单元受体的深度能够增加，使得在图像中的焦点处能够收集附加光子。在一些实施例中，深度感测模块可通过与人类视觉系统相似地构建的设计来增加有效分辨率，其中增加实现为光电二极管的感光器按照与上述视网膜模式相似的模式来实现。在一些实施例中，分层深度精确度和可变深度区域形状能够用来减小深度图的大小。

图4是从可变分辨率深度图所形成的一组图像400。图像400包括具有变化分辨率等级的若干区域。在一些实施例中，可变位深度、可变空间分辨率、像素大小的减小或者它们的任何组合能够基于深度指示符自动调整。如本文所使用的深度指示符是图像的一个特征，其能够用于区分变化深度分辨率的面积。相应地，深度指示符能够是照明、纹理、边缘、轮廓、颜色、运动或时间。但是，深度指示符能够是图像的一个特征，其能够用于区分变化深度分辨率的面积。

自动调整分辨率区域是深度图中使用深度指示符来调整到空间分辨率、位深度、像素大小或者它们的任何组合的面积。深度图的任何层能够覆盖在调整分辨率区域。调整分辨率区域能够基于使图像传感器减小深度指示符处于特定值的深度的命令。例如，当纹理较低时，深度分辨率可以较低，而在纹理较高的情况下，深度分辨率也可以较高。图像传感器能够自动调整深度图像，并且所产生可变分辨率存储在深度图中。

图像400使用纹理作为深度指示符来改变深度分辨率。在一些实施例中，深度传感器用来使用基于纹理的深度调整来自动检测低纹理的区域。低纹理的区域可由深度传感器来检测。在一些实施例中，低纹理的区域使用纹理分析来检测。在一些实施例中，低纹理的区域通过满足指示纹理的某个阈值的像素来检测。此外，可变位深度和可变空间分辨率可用来降低如深度传感器所发现的低纹理的区域中的深度分辨率。类似地，可变位准确度和可变空间分辨率可用来增加高纹理的面积中的深度分辨率。用来改变深度表示中的分辨率的特定指示符可基于深度图的特定应用。此外，使用深度指示符使基于指示符的深度信息能够被存储，同时减小深度表示的大小以及用来处理深度表示的功率。

当运动用作深度指示符时，动态帧率用来使深度传感器能够基于画面运动来确定帧率。例如，如果不存在画面移动，则不需要计算新深度图。因此，对于低于预定阈值的画面移动，能够使用较低帧率。类似地，对于高于预定阈值的画面移动，能够使用较高帧率。在一些实施例中，传感器能够使用像素邻域比较并且将阈值逐帧应用于像素运动，来检测帧运动。帧率调整允许深度图以所选或动态计算的间隔(包括常规间隔和斜升/斜降)来创建。此外，帧率能够基于深度层可变的。例如，深度图对高分辨率深度层能够以每秒60帧(FPS)的速率来更新，而对较低分辨率深度层以30FPS来更新深度图。

除了使用深度指示符对深度分辨率的自动调整之外，深度分辨率还可基于送往传感器的关于图像中的特定焦点应当是最高或最低分辨率的点的命令来调整。另外，深度分辨率可基于关于图像中的特定对象应当是最高或最低分辨率的点的对传感器的命令来调整。在示例中，焦点可能是图像的中心。传感器则可将图像的中心指定为中央凹层，并且然后基于送往传感器的其他命令来指定小凹层、中心凹层和副中央凹层。其他层也可通过已经就位的传感器的设定来指定。此外，每层不一定始终存在于可变深度图表示中。例如，当跟踪焦点时，可变深度图表示可包括中央凹层和中心凹层。

在深度表示的不同区域之间改变分辨率的结果是由可变分辨率深度信息的层所组成的深度表示。在一些实施例中，可变分辨率由传感器自动创建。驱动器可用来按照改变深度表示的分辨率的方式来操作传感器。传感器驱动器能够修改成使得当传感器正处理能够与特定深度指示符关联的像素时，传感器自动修改像素的位深度或空间分辨率。例如，CMOS传感器通常按照逐行方式来处理图像数据。当传感器处理具有某个照明值范围的像素(其中预期低分辨率)时，传感器可自动降低那个照明值范围中的像素的位深度或空间分辨率。这样，传感器能够用来产生可变分辨率深度图。

在一些实施例中，命令协议可用来使用传感器来得到可变分辨率深度图。在一些实施例中，图像捕获装置可使用协议中的命令来与计算装置进行通信，以指示图像捕获机构的能力。例如，图像捕获机构能够使用命令来指示由图像捕获机构所提供的分辨率等级、由图像捕获机构所支持的深度指示符以及使用可变深度表示的操作的其他信息。命令协议还可用来指定各深度层的大小。

在一些实施例中，可变分辨率深度表示能够使用标准文件格式来存储。在包含可变分辨率深度表示的文件中，可存储报头信息，其指示各深度层的大小、所使用的深度指示符、每层的分辨率、位深度、空间分辨率和像素大小。这样，可变分辨率深度表示能够是跨多个计算系统可移植的。此外，标准化可变分辨率深度表示文件能够实现由层对图像信息的访问。例如，应用能够通过访问标准化可变分辨率深度表示文件中的报头信息，来访问图像的最低分辨率部分供处理。在一些实施例中，可变分辨率深度图能够标准化为文件格式以及深度感测模块中的特征。

图5是产生可变分辨率深度图的方法的过程流程图。在框502，确定深度指示符。如上所述，深度指示符能够是照明、纹理、边缘、轮廓、颜色、运动或时间。此外，深度指示符能够由传感器来确定，或者深度指示符能够使用命令协议来发送给传感器。

在框504，深度信息基于深度指示符来改变。在一些实施例中，深度信息能够使用可变位深度、可变空间分辨率、像素大小的减小或者它们的任何组合来改变。深度信息的变化产生可变分辨率深度图中的一个或多个深度层。在一些实施例中，分层可变空间分辨率能够用来通过复制深度层的一部分以便填充在特定深度层的其余空间，来改变深度信息。另外，深度信息能够使用自动调整分辨率区域来改变。在框506，可变分辨率深度表示基于所改变深度信息来生成。可变分辨率深度表示可按照具有标准化报头信息的标准化文件格式来存储。

使用当前描述技术，深度表示精度能够增加。可变分辨率深度图在深度表示中提供必要时的精度，其实现在需要精度的情况下使用密集算法，而在不需要精度的情况下使用不太密集的算法。例如，立体深度匹配算法在某些区域中能够优化，以提供一些区域中的子像素精度、其他区域中的像素精度以及低分辨率区域中的像素组精度。

深度分辨率能够按照匹配人类视觉系统的方式来提供。通过计算模仿肉眼、仅在必要时对精度适当定义的深度图分辨率，增加性能，并且降低功率，因为整个深度图不是高分辨率的。此外，通过将可变分辨率添加到深度图，深度图像中要求较高分辨率的部分可具有它，并且要求较低分辨率的部分也可具有它，从而产生较小深度图，其消耗较少存储器。当运动作为深度指示符来监测时，分辨率能够在高运动的面积中有选择地增加而在低运动的面积中降低。另外，通过监测作为深度指示符的纹理，深度图的精度能够在高纹理面积中增加而在低纹理面积中降低。深度图的视场还能够限制到已经改变的面积，从而降低存储器带宽。

图6是用于生成可变分辨率深度图的示范系统600的框图。相似编号的项目如针对图1所述。在一些系统中，系统600是媒体系统。另外，系统600可结合到个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能装置(例如智能电话、智能平板或者智能电视机)、移动因特网装置(MID)、消息传递装置、数据通信装置等中。

在各个实施例中，系统600包括耦合到显示器604的平台602。平台602可从诸如(一个或多个)内容服务装置606或者(一个或多个)内容传递装置608之类的内容装置或者其他类似内容源来接收内容。包括一个或多个导航特征的导航控制器610可用来与例如平台602和/或显示器604进行交互。下面更详细描述这些组件的每个。

平台602可包括芯片组612、中央处理单元(CPU)102、存储器装置104、存储装置124、图形子系统614、应用126和无线电616的任何组合。芯片组612可提供CPU102、存储器装置104、存储装置124、图形子系统614、应用126和无线电614之间的相互通信。例如，芯片组612可包括存储适配器(未示出)，其能够提供与存储装置124的相互通信。

CPU102可实现为复杂指令集计算机(CISC)或简化指令集计算机(RISC)处理器、x86指令集兼容处理器、多核心或者任何其他微处理器或中央处理单元(CPU)。在一些实施例中，CPU102包括(一个或多个)双核处理器、(一个或多个)双核移动处理器等。

存储器装置104可实现为易失性存储器装置，例如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。存储装置124可实现为非易失性存储装置，例如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储装置、附连存储装置、闪速存储器、电池备用SDRAM(同步DRAM)和/或网络可访问存储装置。在一些实施例中，例如，存储装置124包括在包括多个硬盘驱动器时增加有价值数字媒体的存储性能增强保护的技术。

图形子系统614可执行诸如静止或视频之类的图像的处理供显示。例如，图形子系统614可包括图形处理单元(GPU)，例如GPU108或视觉处理单元(VPU)。模拟或数字接口可用来在通信上耦合图形子系统614和显示器604。例如，接口可以是高清晰度多媒体接口、DisplayPort、无线HDMI和/或符合无线HD的技术中的任一个。图形子系统614可集成到CPU102或芯片组612中。备选地，图形子系统614可以是通信上耦合到芯片组612的独立卡。

本文所述的图形和/或视频处理技术可通过各种硬件架构来实现。例如，图形和/或视频功能性可集成在芯片组612中。备选地，可使用分立图形和/或视频处理器。作为又一个实施例，图形和/或视频功能可通过包括多核处理器的通用处理器来实现。在另一实施例中，功能可在消费电子装置中实现。

无线电616可包括一个或多个无线电，其能够使用各种适当的无线通信技术来传送和接收信号。这类技术可涉及跨一个或多个无线网络的通信。示范无线网络包括无线局域网(WLAN)、无线个人区域网络(WPAN)、无线城域网(WMAN)、蜂窝网络、卫星网络等。在跨这类网络的通信中，无线电616可按照任何版本的一个或多个适用标准进行操作。

显示器604可包括任何电视机类型监视器或显示器。例如，显示器604可包括计算机显示屏幕、触摸屏显示器、视频监视器、电视机等。显示器604可以是数字和/或模拟的。在一些实施例中，显示器604是全息显示器。另外，显示器604可以是可接收视觉投影的透明表面。这类投影可传送各种形式的信息、图像、对象等。例如，这类投影可以是移动增强现实(MAR)应用的视觉覆盖。在一个或多个应用126的控制下，平台602可在显示器604上显示用户界面618。

(一个或多个)内容服务装置606可由任何国家、国际或独立服务来托管，并且因而可以是平台602经由例如因特网可访问的。(一个或多个)内容服务装置606可耦合到平台602和/或显示器604。平台602和/或(一个或多个)内容服务装置606可耦合到网络130，以便向/从网络130传递(例如发送和/或接收)媒体信息。(一个或多个)内容传递装置608还可耦合到平台602和/或显示器604。

(一个或多个)内容服务装置606可包括有线电视盒、个人计算机、网络、电话或者能够传递数字信息的因特网使能装置。另外，(一个或多个)内容服务装置606可包括能够经由网络130或者直接在内容提供商与平台602或显示器604之间单向或双向传递内容的任何其他类似装置。将会理解，可经由网络130向/从系统600中的组件的任一个和内容提供商单向和/或双向传递内容。内容的示例可包括任何媒体信息，其中包括例如视频、音乐、医疗和游戏信息等。

(一个或多个)内容服务装置606可接收内容，例如包括媒体信息的有线电视节目、数字信息或其他内容。内容提供商的示例可包括任何有线或卫星电视或无线电或者因特网内容提供商等等。

在一些实施例中，平台602从包括一个或多个导航特征的导航控制器610接收控制信号。例如，导航控制器610的导航特征可用来与用户界面618进行交互。导航控制器610可以是指针装置，其可以是允许用户将空间(例如连续并且多维的)数据输入计算机中的计算机硬件组件(特别是人性化界面装置)。诸如图形用户界面(GUI)之类的许多系统以及电视机和监视器允许用户使用形体姿态来控制并且将数据提供给计算机或电视机。形体姿态包括但不限于脸部表情、脸部移动，各种肢体的移动，身体移动、人体语言或者它们的任何组合。这类形体姿态能够被识别并且转化为命令或指令。

通过移动显示器610上显示的指针、光标、聚焦环或者其他视觉指示符，可在显示器604上复制仿效导航控制器604的导航特征的移动。例如，在应用126的控制下，位于导航控制器610上的导航特征可映射到用户界面618上显示的虚拟导航特征。在一些实施例中，导航控制器610可以不是独立组件，而是可集成到平台602和/或显示器604中。

系统600可包括驱动器(未示出)，其包括例如在被启用时使用户能够例如通过在初始引导之后触摸按钮来立即接通和关断平台602的技术。程序逻辑可允许平台602在平台“关断”时，将内容流播到媒体适配器或者(一个或多个)其他内容服务装置606或者(一个或多个)内容传递装置608。另外，例如，芯片组612可包括对5.1环绕声音频和/或高清晰度7.1环绕声音频的硬件和/或软件支持。驱动器可包括集成图形平台的图形驱动器。在一些实施例中，图形驱动器包括外设部件互连express(PCIe)图形卡。

在各个实施例中，可集成系统600中所示组件的任一个或多个。例如，可集成平台602和(一个或多个)内容服务装置606；可集成平台602和(一个或多个)内容传递装置608；或者可集成平台602、(一个或多个)内容服务装置606和(一个或多个)内容传递装置608。在一些实施例中，平台602和显示器604是集成单元。例如，可集成显示器604和(一个或多个)内容服务装置606，或者可集成显示器604和(一个或多个)内容传递装置608。

系统600可实现为无线系统或者有线系统。当实现为无线系统时，系统600可包括适合于通过无线共享介质(例如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等)进行通信的组件和接口。无线共享介质的一个示例包括无线谱的部分，例如RF谱。当实现为有线系统时，系统600可包括适合于通过有线通信介质(例如输入/输出(I/O)适配器、将I/O适配器与对应有线通信介质连接的物理连接器、网络接口卡(NIC)、磁盘控制器、视频控制器、音频控制器等)进行通信的组件和接口。有线通信介质的示例可包括电线、电缆、金属引线、印刷电路板（PCB）、底板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。

平台602可建立一个或多个逻辑或物理信道以传递信息。信息可包括媒体信息和控制信息。媒体信息可表示预计送往用户的内容的任何数据。内容的示例可包括例如来自语音转换的数据、视频会议、流播视频、电子邮件(电子邮件)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等。来自语音转换的数据可以是例如话音信息、静寂周期、背景噪声、舒适噪声、信号音等。控制信息可表示预计用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息可用于通过系统路由媒体信息，或者指示节点以预定方式处理媒体信息。但是，实施例并不局限于图6所示或所述的元件或上下文。

图7是可实施图6的系统600的小形状因数装置700的示意图。相似编号的项目如针对图6所述。在一些实施例中，例如，装置700实现为具有无线能力的移动计算装置。例如，移动计算装置可指具有处理系统和移动电源或电力供应、例如一个或多个电池的任何装置。

如上所述，移动计算装置的示例可包括个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能装置(例如智能电话、智能平板或者智能电视机)、移动因特网装置(MID)、消息传递装置、数据通信装置等。

移动计算装置的示例还可包括设置成供人佩戴的计算机，例如手腕计算机、手指计算机、指环计算机、眼镜计算机、皮带夹计算机、臂章计算机、靴式计算机、服饰计算机或者任何其他适当类型的可佩戴计算机。例如，移动计算装置可实现为智能电话，其能够运行计算机应用以及进行语音通信和/或数据通信。虽然作为举例可采用实现为智能电话的移动计算装置来描述一些实施例，但是可理解，其他实施例也可使用其他无线移动计算装置来实现。

如图7所示，装置700可包括壳体702、显示器704、输入/输出(I/O)装置706和天线708。装置700还可包括导航特征710。显示器704可包括适合于移动计算装置、用于显示信息的任何适当显示器。I/O装置706可包括用于将信息输入移动计算装置中的任何适当I/O装置。例如，I/O装置706可包括字母数字键盘、数字键盘、触摸板、输入按键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别装置和软件等。信息也可通过麦克风输入到装置700中。这种信息可由语音识别装置来数字化。

在一些实施例中，小形状因数装置700是平板装置。在一些实施例中，平板装置包括图像捕获机构，其中图像捕获机构是照相装置、立体照相装置、红外传感器等。图像捕获装置可用来捕获图像信息、深度信息或者它们的任何组合。平板装置还可包括一个或多个传感器。例如，传感器可以是深度传感器、图像传感器、红外传感器、X射线光子计数传感器或者它们的任何组合。图像传感器可包括电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器、芯片上系统(SOC)图像传感器、具有光敏薄膜晶体管的图像传感器或者它们的任何组合。在一些实施例中，小形状因数装置700是照相装置。

此外，在一些实施例中，本技术可与显示器(诸如电视面板和计算机监视器)配合使用。能够使用任何尺寸的显示器。在一些实施例中，显示器用来再现包括可变分辨率深度表示的图像和视频。此外，在一些实施例中，显示器是三维显示器。在一些实施例中，显示器包括图像捕获装置，以使用可变分辨率深度表示来捕获图像。在一些实施例中，图像装置可使用可变分辨率深度表示来捕获图像或视频，并且然后实时地向用户再现图像或视频。

另外，在实施例中，计算装置100或系统600可包括打印引擎。打印引擎能够向打印装置发送图像。图像可包括如本文所述的深度表示。打印装置能够包括打印机、传真机和其他打印装置，其能够使用打印对象模块来打印所产生图像。在一些实施例中，打印引擎可跨网络130(图1、图6)向打印装置发送可变分辨率深度表示。在一些实施例中，打印装置包括一个或多个传感器，以基于深度指示符来改变深度信息。打印装置还可生成、再现和打印可变分辨率深度表示。

图8是示出存储用于可变分辨率深度表示的代码的有形非暂时计算机可读介质800的框图。有形非暂时计算机可读介质800可由处理器802通过计算机总线804来访问。此外，有形非暂时计算机可读介质800可包括配置成指令处理器802执行本文所述方法的代码。

本文所述的各种软件组件可存储在一个或多个有形非暂时计算机可读介质800上，如图8所示。例如，指示符模块806可配置成确定深度指示符。深度模块808可配置成基于深度指示符来改变图像的深度信息。表示模块810可生成可变分辨率深度表示。

图8的框图并不是要表示有形非暂时计算机可读介质800将包含图8所示的所有组件。此外，有形非暂时计算机可读介质800可包括图8未示出的任何数量的附加组件，这取决于特定实现的细节。

示例1

本文描述用于生成可变分辨率深度表示的设备。该设备包括确定深度指示符的逻辑、基于深度指示符来改变图像的深度信息的逻辑以及生成可变分辨率深度表示的逻辑。

深度指示符可以是照明、纹理、边缘、轮廓、颜色、运动、时间或者它们的任何组合。另外，深度指示符可通过使用可变分辨率深度表示来指定。基于深度指示符来改变图像的深度信息的逻辑可包括使用可变位深度、可变空间分辨率、像素大小的减小或者它们的任何组合来改变深度信息。一个或多个深度层可从所改变深度信息来得到，其中各深度层包括特定深度分辨率。基于深度指示符来改变图像的深度信息的逻辑可包括使用分层可变空间分辨率。可变分辨率深度表示可按照具有标准化报头信息的标准化文件格式来存储。命令协议可用来生成可变分辨率深度表示。该设备可以是平板装置或打印装置。另外，可变分辨率深度表示可用来在显示器上再现图像或视频。

示例2

本文描述一种图像捕获装置。图像捕获装置包括传感器，其中传感器确定深度指示符，基于深度指示符来捕获深度信息，并且基于深度信息来生成可变分辨率深度表示。深度指示符可以是照明、纹理、边缘、轮廓、颜色、运动、时间或者它们的任何组合。深度指示符可基于由传感器使用命令协议所接收的命令来确定。传感器可使用可变位深度、可变空间分辨率、像素大小的减小或者它们的任何组合来改变深度信息。另外，传感器可从深度信息来生成深度层，其中各深度层包括特定深度分辨率。传感器可按照具有标准化报头信息的标准化文件格式来生成可变分辨率深度表示。此外，传感器可包括用来生成可变分辨率深度表示的命令协议的接口。图像捕获装置可以是照相装置、立体照相装置、飞行时间传感器、深度传感器、结构化光照相装置或者它们的任何组合。

示例3

本文描述一种计算装置。计算装置包括配置成运行所存储指令的中央处理单元(CPU)以及存储指令的存储装置，存储装置包括处理器可执行代码。处理器可执行代码在由CPU运行时配置成确定深度指示符，基于深度指示符来改变图像的深度信息，并且生成可变分辨率深度表示。深度指示符可以是照明、纹理、边缘、轮廓、颜色、运动、时间或者它们的任何组合。基于深度指示符来改变图像的深度信息可包括使用可变位深度、可变空间分辨率、像素大小的减小或者它们的任何组合来改变深度信息。一个或多个深度层可从所改变深度信息来得到，其中各深度层包括特定深度分辨率。

示例4

本文描述一种有形非暂时计算机可读介质。计算机可读介质包括代码，以指令处理器确定深度指示符，基于深度指示符来改变图像的深度信息，并且生成可变分辨率深度表示。深度指示符可以是照明、纹理、边缘、轮廓、颜色、运动、时间或者它们的任何组合。另外，深度指示符可通过应用对可变分辨率深度表示的使用来指定。基于深度指示符来改变图像的深度信息可包括使用可变位深度、可变空间分辨率、像素大小的减小或者它们的任何组合来改变深度信息。

要理解，上述示例中的具体细节可在一个或多个实施例中的任何位置使用。例如，上述计算装置的所有可选特征也可针对本文所述的方法或计算机可读介质的任一个来实现。此外，虽然本文中可使用流程图和/或状态图来描述实施例，但是，本发明并不局限于那些简图或者本文中的对应描述。例如，流程无需经过每个所示的框或状态，或者按照与本文所示和所述完全相同的顺序。

本发明并不局限于本文所示的具体细节。实际上，获益于本公开的本领域的技术人员会理解，在本发明的范围内可对以上描述和附图进行其他许多变更。相应地，以下包含对本发明的任何修正的权利要求书定义本发明的范围。

Claims (27)

1.一种用于生成可变分辨率深度表示的设备，包括：

确定深度指示符的逻辑；

基于所述深度指示符来改变图像的深度信息的逻辑；以及

生成所述可变分辨率深度表示的逻辑。

2.如权利要求1所述的设备，其中，所述深度指示符是照明、纹理、边缘、轮廓、颜色、运动、时间或者它们的任何组合。

3.如权利要求1所述的设备，其中，所述深度指示符通过使用所述可变分辨率深度表示来指定。

4.如权利要求1所述的设备，其中，基于所述深度指示符来改变图像的深度信息的逻辑包括使用可变位深度、可变空间分辨率、像素大小的减小或者它们的任何组合来改变深度信息。

5.如权利要求1所述的设备，包括从所述所改变深度信息来得到一个或多个深度层，其中各深度层包括特定深度分辨率。

6.如权利要求1所述的设备，其中，基于所述深度指示符来改变图像的深度信息的逻辑包括使用分层可变空间分辨率。

7.如权利要求1所述的设备，其中，所述可变分辨率深度表示按照具有标准化报头信息的标准化文件格式来存储。

8.如权利要求1所述的设备，其中，命令协议用来生成所述可变分辨率深度表示。

9.如权利要求1所述的设备，其中，所述设备是平板装置。

10.如权利要求1所述的设备，其中，所述设备是打印装置。

11.如权利要求1所述的设备，还包括再现所述可变分辨率深度表示被用来在显示器上再现图像或视频。

12.一种包括传感器的图像捕获装置，其中，所述传感器确定深度指示符，基于所述深度指示符来捕获深度信息，并且基于所述深度信息来生成可变分辨率深度表示。

13.如权利要求12所述的图像捕获装置，其中，所述深度指示符是照明、纹理、边缘、轮廓、颜色、运动、时间或者它们的任何组合。

14.如权利要求12所述的图像捕获装置，其中，所述深度指示符基于由所述传感器使用命令协议所接收的命令来确定。

15.如权利要求12所述的图像捕获装置，其中，所述传感器使用可变位深度、可变空间分辨率、像素大小的减小或者它们的任何组合来改变所述深度信息。

16.如权利要求12所述的图像捕获装置，其中，所述传感器从所述深度信息来生成深度层，其中各深度层包括特定深度分辨率。

17.如权利要求12所述的图像捕获装置，其中，所述传感器按照具有标准化报头信息的标准化文件格式来生成所述可变分辨率深度表示。

18.如权利要求12所述的图像捕获装置，其中，所述传感器包括用来生成所述可变分辨率深度表示的命令协议的接口。

19.如权利要求12所述的图像捕获装置，其中，所述图像捕获装置是照相装置、立体照相装置、飞行时间传感器、深度传感器、结构化光照相装置或者它们的任何组合。

20.一种计算装置，包括：

中央处理单元(CPU)，配置成运行所存储指令；

存储指令的存储装置，所述存储装置包括在由所述CPU运行时配置成执行下列步骤的处理器可执行代码：

确定深度指示符；

基于所述深度指示符来改变图像的深度信息；以及

生成所述可变分辨率深度表示。

21.如权利要求20所述的计算装置，其中，所述深度指示符是照明、纹理、边缘、轮廓、颜色、运动、时间或者它们的任何组合。

22.如权利要求20所述的计算装置，其中，基于所述深度指示符来改变图像的深度信息包括使用可变位深度、可变空间分辨率、像素大小的减小或者它们的任何组合来改变深度信息。

23.如权利要求20所述的计算装置，包括从所述所改变深度信息来得到一个或多个深度层，其中各深度层包括特定深度分辨率。

24.一种有形非暂时计算机可读介质，包括代码以指令处理器：

确定深度指示符；

基于所述深度指示符来改变图像的深度信息；以及

生成所述可变分辨率深度表示。

25.如权利要求24所述的计算机可读介质，其中，所述深度指示符是照明、纹理、边缘、轮廓、颜色、运动、时间或者它们的任何组合。

26.如权利要求24所述的计算机可读介质，其中，所述深度指示符通过由应用对所述可变分辨率深度表示的使用来指定。

27.如权利要求24所述的计算机可读介质，其中，基于所述深度指示符来改变图像的深度信息包括使用可变位深度、可变空间分辨率、像素大小的减小或者它们的任何组合来改变深度信息。