CN117083852A - 多视图图像创建系统和方法 - Google Patents

Abstract

一种多视图图像创建系统和方法从单视图图像创建多视图图像。创建多视图图像包括导入单视图图像并将单视图图像分配给复合多视图图像的第一多视图图像层。创建多视图图像还包括将单视图图像复制到第一多视图图像层的多个视图图像中，基于视图图像的有序编号将第一多视图图像层的深度设置转换为对应的视图图像的多个移位值，以及根据对应的移位值移位第一多视图图像层的视图图像。多个多视图图像层可以在多视图显示器上以预定义的序列自动渲染为复合多视图图像。

Description

多视图图像创建系统和方法

相关申请的交叉引用

N/A

关于联邦赞助研究或开发的声明

N/A

背景技术

多视图图像表示具有不同视图的场景。视图可以根据观看角以不同的程度重叠。当观看者位于相对于显示器的不同观看角时，他或她可以感知同时呈现在显示器上的多视图图像的不同视图。例如，多视图图像的不同视图被单独地呈现给观看者的每只眼睛以创建深度感。在一些情况下，观看者可以佩戴特殊的眼镜来控制眼睛感知到哪些视图。在其他情况下，视图以自动立体方式指向每只眼睛，而不需要特殊的眼镜。在任一种情况下，多视图显示系统呈现多视图图像以供显示。在一些情况下，使用不同视点处的相机(或多个相机)来创建多视图图像以捕获场景。每个视图被组装在一起以形成多视图图像。

附图说明

参考以下结合附图的详细描述，可以更容易地理解根据本文描述的原理的示例和实施例的各种特征，其中相同的附图标记表示相同的结构元件，并且附图中：

图1示出了根据与本文描述的原理一致的实施例的示例中的多视图图像。

图2示出了根据与本文描述的原理一致的实施例的多视图显示器的示例。

图3示出了根据与本文描述的原理一致的实施例的从单视图图像创建多视图图像的示例。

图4示出了根据与本文描述的原理一致的实施例的复制单视图图像以创建多视图图像的示例。

图5示出了根据与本文描述的原理一致的实施例的将深度设置转换为多个移位值的示例。

图6示出了根据与本文描述的原理一致的实施例的移位视图图像以修改多视图图像的感知深度的示例。

图7示出了根据与本文描述的原理一致的实施例的自动渲染多个多视图图像层的示例。

图8示出了根据与本文描述的原理一致的实施例的将每个视图图像的像素映射到多视图显示器的交错位置的示例。

图9是示出根据与本文描述的原理一致的实施例的多视图生成系统和操作该系统的方法的流程图的流程图。

图10示出了根据与本文描述的原理一致的实施例的从深度图创建多视图图像的示例。

图11示出了根据与本文描述的原理一致的实施例的允许用户创建和编辑多视图图像的应用的用户界面的示例。

图12示出了根据与本文描述的原理一致的实施例的描绘多视图显示系统的示例图示的示意性框图。

某些示例和实施例具有作为上述附图中所示的特征的补充和替代之一的其他特征。下面参考上述附图详细描述这些和其他特征。

具体实施方式

根据本文描述的原理的示例和实施例提供了一种多视图图像编辑创建和编辑的解决方案。虽然可以使用相机(或相机系统)来创建多视图图像以捕获场景的不同视点处的图像，但是本文讨论的实施例允许用户通过以下方式来创建多视图内容：导入或以其他方式创建单视图图像，复制单视图图像以形成多个视图图像，通过自动移位不同视图图像来修改深度，以及自动渲染结果以供显示。实施例涉及多视图图像层，其中每个多视图图像层包含形成多视图图像层的不同视图图像。可以选择多视图图像层，使得各种图像编辑操作被选择性地应用于所选择的多视图图像层。这样的操作包括例如修改所选择的多视图图像层的内容的深度。单视图图像可以在应用中导入并且与新的或预先存在的多视图图像层相关联。可以复制单视图图像以生成多个视图图像，多个视图图像是单视图图像的副本。用户可以操纵各种深度设置以改变导入的内容的相对深度。作为响应，应用将深度设置转换为移位值，以与深度设置和视图位置(例如，姿势)成比例地移位不同的视图图像。通过沿着坐标系移位不同视图图像的像素，在不同视图图像之间创建视差。这种视差由观看者实现为相对于显示器表面的深度。因此，实施例引入深度设置的概念，以在单视图图像被转换成多视图图像时选择性地修改单视图图像的特性。

在一些实施例中，可以加载深度图并将其应用于单视图图像，以将其变换为采用由深度图定义的深度轮廓(profile)的多视图图像。深度图可以是像素阵列(例如，位图)，其中像素的每个像素值表示像素位置处的深度设置。然后可以将深度图应用于单视图图像，以允许单视图图像采用深度图的深度特性。例如，深度图可以定义具有深度的各种形状(例如，凸形、凹形、立方体、金字塔)，并且深度图可以应用于单视图图像，从而将其变换为多视图视图。深度图可经修改(例如，拉伸、偏斜、裁剪)以符合由单视图图像表示的对象的形状和大小。可以执行视图合成以从修改的深度图和单图像生成多个视图图像。

图1示出了根据与本文描述的原理一致的实施例的示例中的多视图图像。多视图图像103具有多个视图106(例如，视图图像)。视图106中的每一个对应于不同的主角度方向109(例如，左视图、右视图、中心视图等)。视图106被渲染以供多视图显示器112显示。每个视图106表示由多视图图像103表示的场景的不同观看角或视角。因此，不同视图106相对于彼此具有一定水平的视差。观看者可以用她的右眼感知一个视图106，同时用她的左眼感知不同的视图106。这允许观看者同时感知不同的视图106，从而体验三维(3D)效果。

在一些实施例中，当观看者物理地改变她相对于多视图显示器112的观看角时，观看者的眼睛可以捕获多视图图像103的不同视图106。结果，观看者可以与多视图显示器112交互以看到多视图图像103的不同视图106。例如，当观看者向左移动时，观看者可以在多视图图像103中看到场景左侧的更多部分。多视图图像103可以具有沿着水平面的多个视图106和/或具有沿着垂直平面的多个视图106。因此，当用户改变观看角以看到不同视图106时，观看者可以获得由多视图图像103捕获的场景的附加视觉细节。

如以上所讨论的，每个视图106由多视图显示器112在不同的对应主角方向109处呈现。每个视图106对应于光束(例如，具有类似主角度方向109的光线的集合)。当呈现多视图图像103以供显示时，视图106实际上可以出现在多视图显示器112上或其附近。观察光场内容的特性是同时观察不同视图的能力。光场内容包含可以出现在屏幕前面以及屏幕后面的视觉图像，以便向观看者传达深度感。

2D显示器可以基本上类似于多视图显示器112，除了2D显示器通常被配置为提供单视图(例如，仅一个视图)，与多视图图像103的不同视图106相反。在本文中，“二维显示器”或“2D显示器”被定义为这样的显示器，其被配置为提供基本上相同的图像的视图，而不管从哪个方向观看该图像(即，在2D显示器的预定义观看角或范围内)。在许多智能电话和计算机监视器中常见的传统液晶显示器(LCD)是2D显示器的示例。与之相对比，在此，“多视图显示器”被定义为电子显示器或显示系统，其被配置为从用户的视角同时地在不同观看方向上或从不同观看方向提供多视图图像(例如，多视图帧)的不同视图。具体地，不同视图106可以表示多视图图像103的不同透视图。

多视图显示器112可以使用适应不同图像视图的呈现的各种技术来实现，使得它们被同时感知。多视图显示器的一个示例是采用散射光以控制不同视图106的主角方向的多波束元件的显示器。根据一些实施例，多视图显示器112可以是光场显示器，其是呈现对应于不同视图的不同方向和不同颜色的多个光束的显示器。在一些示例中，光场显示器是所谓的“无眼镜”三维(3-D)显示器，其可以使用多波束元件(例如，衍射光栅)来提供多视图图像的自动立体表示，而不需要佩戴特殊的眼镜来感知深度。

图2示出了根据与本文描述的原理一致的实施例的多视图显示器的示例。当在多视图模式下操作时，多视图显示器112可以呈现多视图图像103。在一些实施例中，多视图显示器112根据其操作模式来渲染多视图图像以及2D图像。例如，多视图显示器112可以包括多个背光源(backlight)以在不同模式下操作。多视图显示器112可以被配置为使用宽角度背光源115在2D模式期间提供宽角度发射光。另外，多视图显示器112可以被配置为使用具有多波束元件阵列的多视图背光源118在多视图模式期间提供定向发射光，定向发射光包括由多波束元件阵列的每个多波束元件提供的多个定向光束。在一些实施例中，多视图显示器112可以被配置为使用模式控制器121对2D模式和多视图模式进行时间复用，以在对应于2D模式的第一顺序时间间隔期间顺序地激活宽角度背光源115，并且在对应于多视图模式的第二顺序时间间隔期间顺序地激活多视图背光源118。定向光束中的定向光束的方向可以对应于多视图图像103的不同观看方向。模式控制器121可以生成模式选择信号124以激活宽角度背光源115或多视图背光源118。

在2D模式中，宽角度背光源115可以用于生成图像，使得多视图显示器112像2D显示器一样操作。根据定义，“宽角度”发射光被定义为锥角大于多视图图像或多视图显示器的视图的锥角的光。具体地，在一些实施例中，宽角度发射光可以具有大于约20度(例如，>±20°)的锥角。在其他实施例中，宽角度发射光锥角可以大于约三十度(例如，>±30°)，或大于约四十度(例如，>±40°)，或大于五十度(例如，>±50°)。例如，宽角度发射光的锥角可以是约六十度(例如，>±60°)。

多视图模式可以使用多视图背光源118而不是宽角度背光源115。多视图背光源118可以在顶表面或底表面上具有多波束元件的阵列，其将光散射为具有彼此不同的主角方向的多个定向光束。例如，如果多视图显示器112以多视图模式操作以显示具有四个视图的多视图图像，则多视图背光源118可以将光散射成四个定向光束，每个定向光束对应于不同的视图。模式控制器121可以在2D模式和多视图模式之间顺序地切换，使得使用多视图背光源在第一顺序时间间隔显示多视图图像，并且使用宽角度背光源在第二顺序时间间隔显示2D图像。定向光束可以处于预定角度，其中每个定向光束对应于多视图图像的不同视图。

在一些实施例中，多视图显示器112的每个背光源被配置为在光导中引导光作为被引导光。在本文中，“光导”被定义为使用全内反射或“TIR”在结构内引导光的结构。具体地，光导可以包括在光导的操作波长处基本上透明的芯。在各种示例中，术语“光导”通常是指电介质光波导，其采用全内反射来在光导的电介质材料与围绕该光导的材料或介质之间的界面处引导光。根据定义，全内反射的条件是光导的折射率大于与光导材料的表面相邻的周围介质的折射率。在一些实施例中，除了上述折射率差之外或代替上述折射率差，光导可以包括涂层，以进一步促进全内反射。例如，涂层可以是反射涂层。光导可以是若干光导中的任何一个，包括但不限于板或厚片光导和条带光导中的一个或两个。光导可以成形为板或厚片。光导可以由光源(例如，发光设备)进行边缘点亮。

在一些实施例中，多视图显示器112的多视图背光源118被配置为使用多波束元件阵列的多波束元件散射出被引导光的一部分作为定向发射光，多波束元件阵列的每个多波束元件包括衍射光栅、微折射元件和微反射元件中的一个或多个。在一些实施例中，多波束元件的衍射光栅可以包括多个单独的子光栅。在一些实施例中，微反射元件被配置为反射地耦合或散射出被引导光部分作为多个定向光束。微反射元件可以具有反射涂层以控制被引导的光被散射的方式。在一些实施例中，多波束元件包括微折射元件，该微折射元件被配置为通过或使用折射来耦合或散射出被引导光部分作为多个定向光束(即，折射地散射出被引导光部分)。

多视图显示器112还可以包括位于背光源上方(例如，在宽角度背光源115上方和在多视图背光源118上方)的光阀阵列。光阀阵列的光阀可以是例如液晶光阀、电泳光阀、基于或采用电润湿的光阀、或其任何组合。当以2D模式操作时，宽角度背光源115朝向光阀阵列发射光。该光可以是以宽角度发射的漫射光。每个光阀被控制以实现特定的像素阀，以在其被宽角度背光源115发射的光照射时显示2D图像。在这方面，每个光阀对应于单个像素。在这方面，单个像素可以包括构成单个像素单元(例如，LCD单元)的不同颜色像素(例如，红色、绿色、蓝色)。

当在多视图模式下操作时，多视图背光源118发射定向光束以照亮光阀阵列。光阀可以分组在一起以形成多视图像素。例如，在四视图多视图配置中，多视图像素可以包括不同的像素，每个像素对应于不同的视图。在多视图像素的情况下，多视图像素中的每个像素可以被称为子像素。多视图像素中的每个子像素还可以包括不同颜色的像素。

多视图像素布置中的每个光阀可以由其具有主角度方向的光束中的一个光束照射。因此，多视图像素是提供多视图图像的像素的不同视图的像素分组。在一些实施例中，多视图背光源118的每个多波束元件专用于光阀阵列的多视图像素。

多视图显示器112包括用于显示多视图图像103的屏幕。例如，屏幕可以是电话(例如，移动电话、智能电话等)、平板计算机、膝上型计算机、台式计算机的计算机监视器、相机显示器或基本上任何其他设备的电子显示器的显示屏。

如本文所使用的，“视差”被定义为在对应位置处的多视图图像的至少两个视图之间的差异。例如，在立体视觉的背景下，由于眼睛之间的观看角的差异，左眼和右眼可以看到相同的对象，但是在略微不同的位置处。该差异可以被量化为视差。跨多视图图像的视差变化传达深度感。

如本文所使用的，“基线”或“相机基线”被定义为捕获多视图图像的对应视图的两个相机之间的距离。例如，在立体视觉的背景下，基线是左眼和右眼之间的距离。较大的基线导致增加的视差，并且可以增强多视图图像的3D效果。

如本文所使用的，“透明度”是指定义对象后面的其他对象可以被看到的程度的对象属性。增加上层的透明度将允许看到下层。最小透明度(例如，没有透明度)将防止下层被看到，而最大透明度将使特定层不可见，以便完全显露下层。

如本文所使用的，冠词“一”旨在具有其在专利领域中的普通含义，即“一个或多个”。例如，“处理器”意指一个或多个处理器，同样，“存储器”在本文中意指“一个或多个存储器组件”。

图3示出了根据与本文描述的原理一致的实施例的从单视图图像创建多视图图像的示例。图3表示计算设备或由计算设备执行的应用203的功能。另外，图3表示创建多视图图像的计算机实现的方法。

应用203可以是如关于图12进一步详细讨论的用户级应用。应用203可以提供用户界面以允许用户创建和编辑多视图图像，诸如例如图1的多视图图像103。应用203可以执行各种操作，诸如例如，将单视图图像导入到应用203中，单视图图像被分配给形成复合多视图图像的多个多视图图像层中的第一多视图图像层。单视图图像205可以是任何2D图像，并且可以被格式化为包括每个像素的透明度值和颜色通道值的位图格式。例如，单视图图像205可以是RBG图像(红色、绿色、蓝色)，其中每个像素具有红色值、绿色值和蓝色值。另外，单视图图像205可以具有指定每个像素的透明度值的阿尔法通道。

应用203可以允许用户通过将内容从剪贴板粘贴到应用中来导入图像。例如，操作系统可以提供临时存储复制的图像数据的剪贴板或其他系统存储器。该数据可以由应用203通过粘贴操作接收。应用203还可以允许用户将单视图图像205导入为图像文件。还可以通过本地或远程访问图像库来将单视图图像205导入到应用203中。

应用203可以管理多视图图像层数据207。例如，多视图图像层数据207可以由应用203生成并加载在系统存储器中的地址空间中。多视图图像层数据207可以包括多视图图像层的列表。多视图图像层可以根据多视图图像层顺序210排序并且由多视图图像层名称213识别。每个多视图图像层包含视图图像216的集合。将每个多视图图像层组合在一起形成复合多视图图像，该复合多视图图像最终被渲染以供显示。因此，给定多视图图像层的视图图像216的集合表示复合多视图图像的层。单视图图像205可以在其被导入到应用203中时被分配给特定的多视图图像层。例如，用户可以在导入单视图图像205之前选择多视图图像层。因此，当单视图图像205被导入到应用203中时，单视图图像205可以被分配给所选择的多视图图像层。作为另一示例，导入单视图图像205可以导致应用203创建新的多视图图像层，其中然后将导入的单视图图像205分配给新创建的多视图图像层。因此，应用203可以创建和选择多视图图像层，或者用户可以选择导入的单视图图像205被分配给的预先存在的多视图图像层。

图3的示例描绘了被存储为多视图图像层数据207的多个多视图图像层。用户可以通过提供多视图图像层名称213来命名每个多视图图像层。在该示例中，存在三个多视图图像层，命名为“背景”、“山”、“新层”。多视图图像层可以被命名为允许用户在创建多视图图像内容时跟踪多视图图像层。新的多视图图像层可以被添加并且被给予默认多视图图像层名称213，诸如例如“新层”。

多视图图像层顺序210定义要渲染多视图图像层的序列。从下到上渲染多视图图像层，使得首先绘制底部多视图图像层，在上面绘制中间多视图图像层，并且最终，最后绘制顶部多视图图像层。因此，当按顺序渲染多视图图像层时，每个多视图图像层可以覆盖其下方的多视图图像层。在一些实施例中，可以应用混合操作以在层被渲染以供显示时将层混合在一起。用户可以改变多视图图像层顺序210的序列。

当编辑多视图图像时，用户可以通过选择多视图图像层来对特定的多视图图像层进行操作。由用户指定的所有图像处理操作可以限于所选择的多视图图像层。在图3的示例中，“新层”是所选择的多视图图像层，其可以被称为第一多视图图像层219。这允许用户对正在创建或以其他方式编辑的多视图图像的选择部分进行操作。当导入单视图图像205时，单视图图像205可以被分配给多个多视图图像层中的第一多视图图像层219。在一些实施例中，导入单视图图像205自动创建第一多视图图像层219，使得导入的单视图图像205被分配给新的多视图图像层。当顺序地渲染每个多视图图像层时，结果形成复合多视图图像。

每个多视图图像层包含其自己的视图图像216的集合。该视图图像的集合中的每个视图图像表示不同的视图，如图1的视图106。每个视图图像相对于另一视图图像具有其自己的位置。视图图像可以以各种多视图配置来格式化。多视图配置定义视图图像的数量。例如，立体多视图配置仅具有左视图和右视图，使得它是双视图配置。四视图多视图配置具有四个视图等。另外，多视图配置还可以指视图的取向。视图可以水平地、垂直地或两者都有地定向。例如，四视图多视图配置可以水平地定向，横向有四个视图；可以垂直地定向，纵向有四个视图；也可以四角地定向，横向有两个视图，纵向有两个视图。应用203可以被配置为根据多视图配置来管理每个多视图图像层的视图。在一些实施例中，用户可以通过调整视图的数量、视图的位置、视图之间的距离(例如，称为基线)等来修改多视图配置。

图4示出了根据与本文描述的原理一致的实施例的复制单视图图像以创建多视图图像的示例。例如，图4描绘了将单视图图像205复制到第一多视图图像层219的多个视图图像222中。响应于导入单视图图像205，可以自动复制单视图图像205。响应于导入单视图图像205，可以预先选择或自动生成第一多视图图像层219。因此，图4示出了如何生成视图图像222并将其分配给多视图图像层。

至少最初，每个视图图像222可以是单视图图像205的复制品或副本，使得在每个视图图像222之间不存在视差。在该示例中，单视图图像205是行走的人(例如，对象)的图像。在每个视图图像222中添加垂直虚线以示出位于视图图像222内的对象的位置。

可以根据指定视图的数量以及视图角度或位置的多视图配置来复制单视图图像205。每一视图可具有有序编号，其为视图索引。在该示例中，视图1(v1)具有编号1，视图2(v2)具有编号2，视图3(v3)具有编号3，并且视图4(v4)具有编号4。每个有序编号可以对应于视图的相对位置。在该示例中，v3被认为是基本视图或中心视图。最左侧的视图v1距v3左侧2个单位的距离，v2距v3左侧1个单位的距离，v4距v3右侧1个单位的距离。因此，实施例涉及将视图图像中的一个(例如，v3)分配为基本视图图像。如下所述，以相对于基本视图图像的方式对视图图像进行基于深度的操作。

图5示出了根据与本文描述的原理一致的实施例的将深度设置转换为多个移位值的示例。图5图示了接收包括针对第一多视图图像层的深度设置的用户输入。应用203可以提供用于编辑多视图图像内容的用户界面。用户界面可以包括用户界面元素225，其允许用户指定用于第一多视图图像层219的深度设置228。用户界面元素225可以是滑块、转盘、文本框或允许用户指定深度设置228的任何其他元素。深度设置可以是对应于渲染内容相对于多视图显示器将被感知的位置的值。例如，深度值为零指示多视图内容将出现在等于屏幕的深度处(例如，在屏幕上)。在该示例中，正值对应于屏幕前面的深度，而负值对应于屏幕后面的深度。在图5的示例中，用户选择深度设置228为七，以便有效地将单视图图像的渲染移动得更靠近观看者(出现在屏幕前面特定距离处)。深度设置228可以仅应用于与所选择的多视图图像层相关联的内容。

图5进一步展示基于视图图像中的每一个的有序编号将深度设置转换成对应视图图像的多个移位值的操作。例如，图5展示如何将7的深度设定228转换成用于四个视图图像222的移位值234，其中v1具有-20的移位值，v2具有-10的移位值，v3具有0的移位值，且v4具有+10的移位值。移位值可以表示相对于基本视图图像(例如，v3)的移位距离。移位值234的符号可对应于移位的方向(例如，向左或向右)。因此，v1是v3的复制品然后向左移位20个像素。

图5还示出了将视图图像中的一个视图图像分配为基本视图图像，其中基本视图图像的移位值234为零。在这方面，当其他视图图像相对于v3移位时，基本视图图像(例如，v3)保持静态。当用户编辑第一多视图图像层219的内容时，相同的编辑被自动应用于第一多视图图像层219内的所有视图。然而，视图保持相对于彼此移位。例如，当用户对基本视图图像执行图像编辑操作时，图像编辑操作被自动应用于多视图图像层内的其他视图。

当将深度设置228转换为移位值234时，应用可以考虑有序视图编号。有序编号对应于视图的位置，并且进而对应于视图之间的距离。例如，v1离v3比离v2更远。各种多视图参数231可控制如何将深度设置228转换成移位值234。一个示例是基线。基线是指捕获多视图图像的对应视图的两个相机(例如，虚拟相机)之间的距离。

图6示出了根据与本文描述的原理一致的实施例的移位视图图像以修改多视图图像的感知深度的示例。图6示出了响应于第一多视图图像层被选择，根据对应的移位值来移位第一多视图图像层的视图图像。例如，第一多视图图像层219可以具有被导入和复制以创建四个不同视图图像的单视图图像205。可以存在其他多视图图像层，诸如例如第二多视图图像层237。然而，复制的四个视图图像仅被分配给第一多视图图像层219。深度设置228的应用被选择性地应用于第一多视图图像层219。当用户创建新的多视图图像内容时，他或她可以控制相应多视图图像层的不同对象之间的相对深度。

第一多视图图像层219的内容在v1中向左移位20个像素，在v2中向左移位10个像素，在v3中不移位，并且在v4中向右移位10个像素。在这些移位操作中，第二多视图图像层237中的内容保持相同。当渲染时，该移位影响第一多视图图像层219的内容与第二多视图图像层237的内容之间的相对深度的量。

图6的示例示出了移位每个视图图像包括沿着水平方向移位每个视图图像的像素。例如，视图(v1、v2、v3、v4)具有4×1配置中的水平相机姿势。在其他实施例中，视图可以具有垂直视图或者具有水平视图和垂直视图两者。

图6还示出了分配给第一多视图图像层219的所有内容如何响应于深度设置228而移位。一些实施例涉及选择第一多视图图像层的区域并且选择性地移位视图图像的落入所选择的区域内的部分。例如，用户可以通过绘制框(或任何其他形状)、选择特定颜色或进行任何其他像素位置选择来选择第一多视图图像层219的一部分。此后，深度设置仅应用于所选择的多视图图像层的所选择的区域。例如，第一多视图图像层219的视图图像可以表示具有各种特征(例如，身体、手臂、头部等)的人。用户可以选择特征(或其一部分)，使得深度设置仅应用于特征的像素。

图7示出了根据与本文描述的原理一致的实施例的自动渲染多个多视图图像层的示例。例如，图7描绘了以预定义序列将多个多视图图像层自动渲染为多视图显示器上的复合多视图图像。在一些实施例中，渲染是自动的，使得应用可以响应于用户输入而自动渲染多个多视图图像层。例如，每次用户绘制、编辑或以其他方式修改一个或多个多视图图像层中的图形内容时，应用自动将其渲染以供显示，以允许用户看到他或她的编辑的结果。在一些实施例中，渲染是自动的，使得应用可以周期性地渲染多视图图像层以显示对多视图内容进行的最新编辑。自动渲染允许用户在实时地对深度进行改变时感知复合多视图图像。当用户调整深度设置时，自动修改(例如，移位)多视图图像层的不同视图图像。

多视图图像层被存储为多视图图像层数据207。渲染多视图图像层的应用可以利用着色器240来执行渲染。着色器240可以是在图形流水线中执行以处理纹理数据或其他图像数据的模块或程序。着色器240可以是作为GPU的一部分的硬件组件，或者它可以是在图形流水线中执行的软件程序。着色器240可以根据预定义的序列绘制每个多视图图像层。预定义序列可以由用户指定，并且可以被包括作为多视图图像层数据207的一部分。例如，预定义序列可以是由用户设置的多视图图像层顺序210。预定义序列可以指定底部多视图图像层249、一个或多个中间多视图图像层250和顶部多视图图像层251。着色器240可以通过以第一序列(示出为第一箭头)在多视图显示器112上绘制底部多视图图像层249来开始。着色器240然后可以在多视图显示器112上绘制中间多视图图像层250。当每个多视图图像层被绘制到多视图显示器112上时，当前多视图图像层可以以第二序列(如第二箭头所示)覆盖或以其他方式覆盖下面的多视图图像层。在这方面，下面的多视图图像层的像素值被替换为当前多视图图像层的像素值。着色器240然后可以以第三序列(示出为第三箭头)在多视图显示器112上绘制顶部多视图图像层251。这完成了多视图图像层249、250、251的渲染，其在多视图显示器112上产生复合多视图图像252。由着色器240执行的绘制涉及将特定多视图图像层的像素值映射到屏幕上的对应位置。绘制是渲染图像以供显示的一部分。在一些实施例中，着色器240被配置为在显示器上渲染图像之前将图像绘制到图形存储器缓冲器。

在一些实施例中，创建多视图图像的操作包括通过渲染由预定义序列定义的上部多视图图像层、同时省略上部多视图图像层的透明区域，来自动渲染多个多视图图像层。例如，多视图图像层可以包括指定每个像素的透明度水平的透明通道(除了颜色通道之外)。透明区域包括具有指示该区域透明(例如，完全或部分透明)的像素值的一个或多个像素。当渲染中间多视图图像层250的透明区域时，底部多视图图像层249的对应部分将在复合多视图图像252中保持暴露，除非其被上部多视图图像层覆盖。

在一些实施例中，创建多视图图像的操作包括以用户指定的多视图文件格式格式化复合多视图图像252。多视图文件格式可以是控制特定多视图配置(例如，视图的数量、视图的取向)的格式。当生成多视图图像时，用户可以首先在视图的数量、视图的取向、基线等方面指定定义多视图图像的最终外观的特性。这些特性可以符合多个可选择的多视图图像格式中的一个。在进行选择时，应用可以根据多视图格式选择来生成复合多视图图像252。

在一些实施例中，创建多视图图像的操作包括将第一多视图图像层的每个视图图像与多个多视图图像层中的第二多视图图像层的对应视图图像混合。例如，可以在自动渲染过程的序列期间混合多视图图像层。例如，当在底部多视图图像层249(例如，第一多视图图像层)上绘制中间多视图图像层250(例如，第二多视图图像层)时，着色器240可以混合不同多视图图像层的像素值，而不是用中间多视图图像层249的像素值完全覆写底部多视图图像层249。混合可以涉及对上部多视图图像层的像素值与绘制的下部多视图图像层的像素值求平均。混合可涉及逐像素操作以平均或以其它方式合并两个像素的色彩值。在这方面，正被绘制的多视图图像层与先前绘制的多视图图像层混合。因此，混合可以在渲染过程期间发生。

图8示出了根据与本文描述的原理一致的实施例的将每个视图图像的像素映射到多视图显示器的交错位置的示例。例如，在一些实施例中，创建多视图图像的操作包括通过将每个视图图像的像素映射到多视图显示器的交错位置来自动渲染多个多视图图像层。执行渲染的着色器240可以接收多视图图像层数据207，并且针对每个多视图图像层生成经渲染的多视图图像层254作为输出。经渲染的多视图图像层254可以是例如底部多视图图像层249、(多个)中间多视图图像层250或顶部多视图图像层251。经渲染的多视图图像层254可以被加载到图形存储器缓冲器中或以其他方式绘制到多视图显示器112上。着色器240可以根据多视图显示器112特有的格式来格式化经渲染的多视图图像层254。在一些实施例中，这涉及使每个视图的像素交错以基于其对应位置并置各个视图的像素。例如，当生成经渲染的多视图图像层254时，每个视图的最左上像素可以并置。换句话说，每个视图的像素在空间上被复用或以其他方式交错以生成经渲染的多视图图像层254。

如图8所示，经渲染的多视图图像层254具有空间复用或以其他方式交错的视图。图8示出了对应于四个视图之一的像素，其中像素是交错的(例如，交错的、空间复用的)。属于视图1的像素由编号1表示，属于视图2的像素由编号2表示，属于视图3的像素由编号3表示，并且属于视图4的像素由编号4表示。经渲染的多视图图像层254的视图沿着每一行水平地逐像素交错。经渲染的多视图图像层254具有由大写字母A-E表示的像素行和由小写字母a-h表示的像素列。图8示出了在行E、列e-h处的一个多视图像素257的位置。多视图像素257是从四个视图中的每一个的像素取得的像素的布置。换句话说，多视图像素257是交错四个视图中的每一个的各个像素使得它们在空间上被复用的结果。虽然图8示出了在水平方向上交错不同视图的像素，但是不同视图的像素可以在垂直方向上、以及在水平和垂直方向上交错。

交错视图可以产生具有来自四个视图中的每一个的像素的多视图像素227。在一些实施例中，多视图像素可以在特定方向上交错，如图8所示，其中多视图像素在垂直交错的同时水平对准。在其他实施例中，多视图像素可以水平交错并垂直对准。多视图像素交错和交错的具体方式可以取决于多视图显示器112的设计及其多视图配置。经渲染的多视图图像层253可以交错像素并将其像素布置成多视图像素，以允许它们被映射到多视图显示器112的物理像素(例如，光阀阵列259)。换句话说，经渲染的多视图图像层253的像素坐标对应于多视图显示器112的物理位置。多视图像素257具有到光阀阵列259中的光阀的特定集合的映射261。控制光阀阵列259以根据经渲染的多视图图像层254调制光。附加的多视图图像层由着色器240处理以生成附加的经渲染的多视图图像层，然后将这些图像层绘制在底层的经渲染的多视图图像层上。

图9是示出根据与本文描述的原理一致的实施例的多视图图像生成系统和操作系统的方法的流程图的流程图。图9的流程图提供了由执行指令集的计算设备(例如，图12的多视图显示系统)实现的不同类型的功能的一个示例。例如，多视图图像生成系统可以包括多视图显示器(例如，图1、图2、图7和图8的多视图显示器112)。多视图图像生成系统还可以包括处理器和存储多个指令的存储器，该多个指令在被执行时使处理器执行流程图中所示的各种操作。作为替代，图9的流程图可以被视为描绘根据一个或多个实施例的在计算设备中实现的方法的元素的示例。图9还可以表示存储可执行指令的非暂时性计算机可读存储介质，该可执行指令在由计算系统的处理器执行时实现用于创建多视图图像的操作。

多视图图像生成系统被配置为执行指令以使处理器将单视图图像导入304到应用中。多视图图像生成系统可以执行接收或获得对单视图图像的访问的应用(例如，图2的应用203)。多视图图像生成系统被配置为执行指令以使处理器复制307单视图图像。默认多视图图像格式或用户指定的多视图图像格式可以控制视图的数量或视图的取向。可以根据该多视图图像格式复制单视图图像。例如，如图3所示，复制单视图图像205以根据四视图多视图图像格式生成具有水平视差的四个视图。

多视图图像生成系统被配置为执行指令以使处理器选择310多视图图像层。例如，处理器可以在形成复合多视图图像的多个多视图图像层中选择第一多视图图像层，第一多视图图像层包括多个视图图像。多个视图图像可以是从先前导入的单视图图像复制的相同视图图像。在一些实施例中，当导入单视图图像时，应用可以自动为单视图图像层创建新的多视图图像层，然后复制单视图图像层以生成新的多视图图像层的相同视图。响应于导入单视图图像，可以默认选择新的多视图图像层。在其他实施例中，用户可以手动选择任何预先存在的多视图图像层。由用户指定的图像编辑操作限于所选择的多视图图像层(例如，第一多视图图像层)。

多视图图像生成系统被配置为执行指令以使处理器接收313包括第一多视图图像层的深度设置的用户输入。深度设置可以是用于在渲染多视图图像时调整深度的多视图图像编辑操作。深度设置可以是对应于视觉内容相对于屏幕向用户呈现的距离的值。在这方面，深度设置可以使内容出现在多视图显示器的屏幕的前面、上面或后面。深度设置可以仅应用于所选择的多视图图像层的内容。

多视图图像生成系统被配置为执行指令以使处理器将深度设置转换316为移位值。例如，处理器可基于视图图像中的每一个的有序编号将深度设置转换成用于对应视图图像的多个移位值。例如，视图图像可以跨越最左视图到最右视图从1到4排序。移位值可以取决于每个视图图像的相对位置。在一些实施例中，视图图像中的一个视图图像被分配为基本视图图像，其中基本视图图像的移位值为零。在这方面，视图图像相对于基本视图图像移位。

多视图图像生成系统被配置为执行指令以使处理器移位319所选择的多视图图像层的视图图像。例如，处理器可以根据对应的移位值来移位所选择的第一多视图图像层的视图图像。以上关于图6讨论了这种情况的示例。

多视图图像生成系统被配置为执行指令以使处理器自动渲染322多视图图像层。例如，处理器可以在多视图显示器上以预定义序列自动地将多个多视图图像层渲染为复合多视图图像。以上关于图7讨论了这种情况的示例。另外，多视图图像生成系统可以包括着色器，该着色器被配置为通过将每个多视图图像层的像素映射到多视图显示器的交错位置来以预定义序列迭代地渲染多个多视图图像层。在其他实施例中，当以预定义序列渲染每个多视图图像层时，可以在自动渲染期间混合当前多视图图像层。在这方面，处理器可以将第一多视图图像层的每个视图图像与多个多视图图像层中的第二多视图图像层的对应视图图像混合。

上面讨论的图9的流程图可以示出生成多视图图像的系统或方法以及可执行指令集的实施方式。如果体现在软件中，则每个框可以表示包括用于实现指定的逻辑功能的指令的模块、代码段或部分。指令可以以包括以编程语言编写的人类可读语句的源代码、从源代码编译的目标代码或包括可由合适的执行系统(诸如处理器、计算设备)识别的数字指令的机器代码的形式体现。机器代码可以从源代码等转换而来。如果体现在硬件中，则每个框可以表示用于实现指定的逻辑功能的电路或多个互连电路。

尽管图9的流程图示出了特定的执行顺序，但是应当理解，执行顺序可以与所描绘的顺序不同。例如，两个或更多个框的执行顺序可以相对于所示的顺序被打乱。此外，所示的两个或更多个框可以同时或部分同时执行。此外，在一些实施例中，可以跳过或省略框中的一个或多个。

图10示出了根据与本文描述的原理一致的实施例的从深度图创建多视图图像的示例。图10提供了由执行指令集的计算设备(例如，图12的多视图显示系统)实现的不同类型的功能的一个示例。图10还描绘了存储可执行指令的非暂时性计算机可读存储介质的实施例，该可执行指令在由计算系统的处理器执行时实现使用深度图创建多视图图像的操作。

图10描绘了将单视图图像分配给第一多视图图像层的操作。操作还包括加载第一多视图图像层的深度图。另外，操作包含修改深度图的大小和形状中的一者或两者。操作还包括：从单视图图像和从第一多视图图像层的经修改深度图合成多个视图图像；以及在多视图显示器上以预定义序列将第一多视图图像层和第二多视图图像层自动渲染为复合多视图图像。

具体地，图10描绘了深度图402。深度图可以在图像文件中格式化，或者可以以其他方式包括像素阵列。深度图可包括每个像素的像素值405，其中像素值指定像素的深度设置。深度图可以被可视化为灰度图像。深度图402可应用于单视图图像以逐像素地控制2D图像的深度。图10的示例描绘了反映球形形状的深度图，其中朝向球体中心的像素指示更靠近观看者的位置，而朝向球体边缘的像素指示更远离观看者的位置。深度图402被应用于单视图图像408，使得单视图图像408采用由深度图402定义的深度属性。单视图图像408可以在用户界面411中呈现给用户。深度图402可经缩放、偏斜、调整大小、重新整形或以其它方式失真以符合单视图图像408中的对象的边缘。用户可拖动深度图402(或单视图图像)的各种角或边以将深度图402对准到单视图图像408。在这方面，初始深度图402a可由用户调整以生成经修改深度图402b。单视图图像408可以被分配给多个多视图图像层中的多视图图像层。视图合成器415可将经修改深度图402b应用于单视图图像408以生成多视图图像418的视图图像。因此，可以为所选择的或特定的多视图图像层合成视图图像，同时保留未选择的多视图图像层的视图图像。

为了进一步解释，可以通过将单视图图像分配给第一多视图图像层来创建多视图图像。如上所述，用户可以将单视图图像408导入到应用(例如，图3的应用203)中。可以通过更新多视图图像层数据以反映分配来将单视图图像分配给多视图图像层。通过将单视图图像分配给第一多视图图像层，对单视图图像408执行的图像编辑操作可以仅限于第一多视图图像层而不影响其他多视图图像层。

操作还包括加载第一多视图图像层的深度图402。深度图402可以作为图像文件存储在存储库中，例如本地存储器或远程服务器。深度图402可以由用户通过将图像转换为灰度图像来创建。操作包括修改深度图402的大小和形状中的一者或两者。用户可修改深度图402的形状或大小，使得初始深度图402a产生经修改深度图402b。用户界面411可被配置为将深度图402叠加在单视图图像408上以及接收用户输入以修改深度图402的大小和形状中的一者或两者。例如，用户可使用光标、触摸屏或其它输入机构来拉伸、偏斜、放大或缩小深度图402的形状和大小。深度图402或单视图图像408可以是部分透明的，以允许用户看到深度图402和单视图图像408两者。用户可移动、调整或修改深度图402以使其对准或以其它方式使深度图402的形状符合单视图图像408中的对象或特征的形状。应用程序可允许用户将深度图402中的特征的边界或边缘匹配到单视图图像408中的特征的边界或边缘。图10的示例展示如何通过将初始深度图402a调整大小为经修改深度图402b来放大和缩放深度图402的球形特征以符合单视图图像408的球形特征。

一旦深度图402被调整大小或重新整形，操作就包括从单视图图像408和从第一多视图图像层的经修改深度图402b合成多个视图。视图合成器415可以用于执行视图合成。视图合成器415可从经修改深度图402b和单视图图像408生成目标数量的视图图像。视图合成器415可以外推单视图图像408以生成一个或多个新视图图像。视图合成可以涉及前向扭曲、深度测试和修补(in-painting)技术中的一个或多个，以对附近区域进行采样，以便填充去遮挡区域。前向扭曲是将变换应用于源图像的图像失真过程。可按扫描线顺序处理来自源图像的像素，且将结果投影到目标图像上。深度测试是其中由着色器处理或将由着色器处理的图像的片段具有相对于其被写入的样本的深度来测试的深度值的过程。当测试失败时丢弃片段。当测试通过时，用片段的输出深度更新深度缓冲器。修补是指填充图像的缺失或未知区域。一些技术涉及基于附近像素预测像素值或将附近像素反射到未知或缺失区域上。图像的缺失或未知区域可由场景去遮挡引起，场景去遮挡是指由另一场景对象部分覆盖的场景对象。在这方面，视图合成可以涉及图像处理技术以从原始视角构建场景的新视角。视图合成可以涉及使用神经网络预测多个视图图像。可以使用训练数据来训练神经网络。训练数据可以包括多视图图像以及对应的深度图。

一旦合成了视图图像，计算系统就可以执行附加操作，包括以预定义的序列将第一多视图图像层和第二多视图图像层自动渲染为多视图显示器上的复合多视图图像。以上关于图7讨论了以预定义序列渲染多视图图像层的示例。在一些实施例中，通过将每个视图图像的像素映射到多视图显示器的交错位置来执行自动渲染。上面关于图8讨论了交错多视图图像层的不同视图的像素的示例。

图11示出了根据与本文描述的原理一致的实施例的允许用户创建和编辑多视图图像的应用的用户界面的示例。用户界面502可以由诸如例如图3的应用203的应用提供。用户界面502允许用户加载单视图图像，将它们转换为多视图图像，对不同的多视图图像进行分层，编辑所选择的层，调整不同多视图图像层的多视图参数，以及在对多视图图像进行编辑时实时地在多视图显示器上可视化结果。用户界面502包括图像区域506，其在编辑图像时显示图像。图像区域506呈现已经利用用户的最新编辑处理的图像。在这方面，当用户编辑多视图图像时，应用自动渲染多视图图像并将其呈现在图像区域506中。

用户界面502还可以包括2D/多视图拨动开关509。2D/多视图拨动开关509允许用户在“2D”和“多视图”之间切换经编辑图像的呈现。当2D/多视图拨动开关509被设置为“2D”时，图像区域506将经编辑图像呈现为2D图像。在一些情况下，编辑以2D呈现的图像可能更方便，因为用户可能更容易选择多视图图像的特定部分来执行图像编辑操作。另外，当选择“2D”视图选项时，向用户呈现基本图像视图。然后可以将对基本图像视图进行的编辑自动应用于其他视图。当2D/多视图拨动开关509被设置为“多视图”时，图像区域506将经编辑图像呈现为多视图图像。

用户界面502还可以包括深度控制器512。深度控制器512可以类似于图5的用户界面元素225，以允许用户输入深度设置。深度控制器512可以用于将深度设置应用于所选择的多视图图像层或所选择的多视图图像层的所选择的部分。例如，当用户修改特定多视图图像的深度设置时，自动渲染多视图图像以允许用户感知跟踪深度设置的深度。

用户界面502还可以包括多视图图像层列表515。多视图图像层列表515可以向用户传送包括多视图图像层的有序列表的多视图图像层数据。用户可以选择一个或多个多视图图像层以仅将图像编辑操作应用于所选择的多视图图像层。该示例，图11示出了“MV层2”被选择，而“MV层1”和“MV层3”未被选择。结果，图像编辑操作(例如，调整深度设置、移动图像等)仅应用于“MV层2”的视图图像。另外，用户可以改变在多视图图像层列表515中反映的多视图图像层的顺序。顺序可以指定从下到上渲染多视图图像层的序列。在该示例中，“MV层1”是底部多视图图像层的名称，“MV层2”是中间多视图图像层的名称，并且“MV层3”是顶部多视图图像层的名称。

用户界面502可以具有用于选择工具518的菜单。选择工具518可以包括允许用户选择图像区域506中所示的像素的各种用户界面元素。例如，用户可以使用套索来选择像素组，用户可以选择对应于颜色或颜色范围的像素，或者用户可以选择落入图像区域506中的经编辑图像的特征的边界或边缘内的像素。可以对所选择的像素选择性地应用各种图像编辑操作。

用户界面502可以包括导入图像521的菜单。导入图像521的菜单可以提供对包括单视图图像的图像的存储库的访问。在这方面，可以使用用户界面502导入单视图图像。用户界面502可以包括样式菜单524。样式524是将经编辑图像变换为呈现样式524的视觉属性的过滤器、纹理、图案或颜色方案。样式524可以应用于单视图图像以及多视图图像。

用户界面502可以包括图像编辑工具527。图像编辑工具527允许用户绘制形状、添加颜色填充、擦除颜色、添加文本或以其他方式创建视觉内容。图像编辑工具527还包括用于修改视觉属性的工具，视觉属性包括锐化、羽化、模糊、涂抹、旋转、混合像素颜色或创建新图像或图形内容。可以使用图像编辑工具从头开始创建单视图图像，然后通过修改深度将其转换为多视图图像。

用户界面502可以包括混合工具530。混合是指当以预定义序列渲染多视图图像层时，混合不同多视图图像层的像素值。混合工具530可以指定在渲染期间混合哪些多视图图像层以及应当应用的任何混合功能。

用户界面502可以包括加载深度图533的菜单。例如，用户界面502可类似于图10的用户界面411操作以允许用户选择和加载特定深度图(例如，图10的深度图402)。用户界面502可以包括用于选择多视图参数536的菜单。多视图参数536包括特定于如何格式化多视图图像的参数。多视图参数可以类似于图5的多视图参数231。例如，多视图参数536可以包括基线、视图的数量或视图的取向。用户界面502可以包括保存图像539的菜单。用户可以在保存图像时指定多视图文件格式。

因此，用户界面502允许用户从单视图图像创建多视图图像，并且在对多视图图像进行编辑时实时看到这些编辑。用户界面可以将单视图图像转换成所选择的多视图图像层内的多视图图像，并且允许用户调整多视图图像的深度和其他多视图参数，而不是在不同的时间点创建单独的视图。当多视图参数和图像编辑操作被应用于单视图图像时，不同视图的创建和编辑自动发生。

图12示出了描绘根据与本文描述的原理一致的实施例的多视图显示系统1000的一个示例图示的示意性框图。多视图显示系统1000可以包括为多视图显示系统1000的用户执行各种计算操作的组件的系统。多视图显示系统1000可以是膝上型计算机、平板计算机、智能电话、触摸屏系统、智能显示系统、计算设备或其他客户端设备。多视图显示系统1000可以包括各种组件，诸如例如(一个或多个)处理器1003、存储器1006、(一个或多个)输入/输出(I/O)组件1009、显示器1012和潜在的其他组件。这些组件可以耦合到总线1015，总线1015用作本地接口以允许多视图显示系统1000的组件彼此通信。虽然多视图显示系统1000的组件被示出为包含在多视图显示系统1000内，但是应当理解，至少一些组件可以通过外部连接耦合到多视图显示系统1000。例如，组件可以经由外部端口、插座、插头或连接器从外部插入到多视图显示系统1000中或以其他方式与多视图显示系统1000连接。

处理器1003可以是中央处理单元(CPU)、图形处理单元(GPU)、执行计算处理操作的任何其他集成电路或其任何组合。处理器1003可以包括一个或多个处理核。处理器1003包括执行指令的电路。指令包括例如计算机代码、程序、逻辑或由(一个或多个)处理器1003接收和执行以执行体现在指令中的计算功能的其他机器可读指令。处理器1003可以执行指令以对数据进行操作。例如，处理器1003可以接收输入数据(例如，图像)，根据指令集处理输入数据，并生成输出数据(例如，经处理的图像)。作为另一示例，处理器1003可以接收指令并生成用于后续执行的新指令。处理器1003可以包括实现着色器以渲染图像的硬件，诸如上面关于图7讨论的着色器240。(多个)处理器1003可以包括实现图形流水线的一个或多个GPU核、向量处理器、缩放器进程或硬件加速器。

存储器1006可以包括一个或多个存储器组件。存储器1006在本文中被定义为包括易失性和非易失性存储器中的任一者或两者。易失性存储器组件是在断电时不保留信息的那些组件。易失性存储器可以包括例如随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、磁随机存取存储器(MRAM)或其他易失性存储器结构。可以使用易失性存储器来实现系统存储器(例如，主存储器、高速缓存等)。系统存储器是指可以临时存储用于进行快速读取和写入访问的数据或指令以辅助处理器1003的快速存储器。

非易失性存储器组件是在断电时保留信息的那些组件。非易失性存储器包括只读存储器(ROM)、硬盘驱动器、固态驱动器、USB闪存驱动器、经由存储卡读取器访问的存储卡、经由相关联的软盘驱动器访问的软盘、经由光盘驱动器访问的光盘、经由适当的磁带驱动器访问的磁带。ROM可以包括例如可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或其他类似的存储器设备。存储存储器可以使用非易失性存储器来实现，以提供数据和指令的长期保留。

存储器1006可以指用于存储指令以及数据的易失性和非易失性存储器的组合。例如，数据和指令可以存储在非易失性存储器中并加载到易失性存储器中以供处理器1003处理。指令的执行可以包括，例如，编译程序，其被翻译成可以从非易失性存储器加载到易失性存储器中然后由处理器1003运行的格式的机器代码，以适当格式转换的源代码，例如能够被加载到易失性存储器中以便由处理器1003执行的目标代码，或者由另一个可执行程序解释以在易失性存储器中生成指令并由处理器1003执行的源代码，等等。指令可以被存储或加载到存储器1006的任何部分或组件中，包括例如RAM、ROM、系统存储器、存储装置或其任何组合。

虽然存储器1006被示出为与多视图显示系统1000的其他组件分离，但是应当理解，存储器1006可以至少部分地嵌入或以其他方式集成到一个或多个组件中。例如，处理器1003可以包括板载存储器寄存器或高速缓存以执行处理操作。

I/O组件1009包括例如触摸屏、扬声器、麦克风、按钮、开关、拨号盘、相机、传感器、加速度计或接收用户输入或生成指向用户的输出的其他组件。(一个或多个)I/O组件1009可以接收用户输入并将其转换成数据以存储在存储器1006中或由(一个或多个)处理器1003处理。I/O组件1009可以接收由存储器1006或处理器1003输出的数据，并将它们转换成用户感知的格式(例如，声音、触觉响应、视觉信息等)。上面讨论的用户界面可以通过诸如例如键盘、触摸屏或鼠标等的I/O组件1009接收用户输入。

一种特定类型的I/O组件1009是显示器1012。显示器1012可以包括多视图显示器(例如，多视图显示器112)。用作I/O组件1009的电容式触摸屏层可以在显示器内分层，以允许用户在感知视觉输出的同时提供输入。处理器1003可以生成被格式化为用于在显示器1012上呈现的图像的数据。处理器1003可以执行指令以在显示器上渲染图像以供用户感知。

总线1015促进(一个或多个)处理器1003、存储器1006、(一个或多个)I/O组件1009、显示器1012和多视图显示系统1000的任何其他组件之间的指令和数据的通信。总线1015可以包括地址转换器、地址解码器、结构、导电迹线、导线、端口、插头、插座和其他连接器，以允许数据和指令的通信。

存储器1006内的指令可以以实现软件栈的至少一部分的方式以各种形式体现。例如，指令可以体现为操作系统1031、(一个或多个)应用1034、设备驱动器(例如，显示驱动器1037)、固件(例如，显示固件1040)或其他软件组件。操作系统1031是支持多视图显示系统1000的基本功能(诸如调度任务、控制I/O组件1009、提供对硬件资源的访问、管理功率、以及支持应用1034)的软件平台。

应用1034在操作系统1031上执行，并且可以经由操作系统1031获得对多视图显示系统1000的硬件资源的访问。在这方面，应用1034的执行至少部分地由操作系统1031控制。应用1034可以是向用户提供高级功能、服务和其他功能的用户级软件程序。在一些实施例中，应用1034可以是用户在多视图显示系统1000上可下载或以其他方式可访问的专用“app”。用户可以经由由操作系统1031提供的用户界面启动应用1034。应用1034可以由开发者开发并且以各种源代码格式定义。应用1034可以使用多种编程或脚本语言来开发，例如C、C++、C#、Objective C、Swift、Perl、PHP、Visual Ruby、Go或其他编程语言。应用1034可以由编译器编译成目标代码或由解释器解释以供处理器1003执行。应用1034可以是图3的应用203。应用1034还可以提供用户界面(例如，用户界面411、用户界面511)。

诸如例如显示驱动器1037的设备驱动器包括允许操作系统1031与各种I/O组件1009通信的指令。每个I/O组件1009可以具有其自己的设备驱动器。可以安装设备驱动器，使得它们存储在存储装置中并加载到系统存储器中。例如，在安装时，显示驱动器1037将从操作系统1031接收的高级显示指令转换为由显示器1012实现的较低级指令以显示图像。

固件(例如，显示固件1040)可以包括允许I/O组件1009或显示器1012执行低级操作的机器代码或汇编代码。固件可以将特定组件的电信号转换成更高级的指令或数据。例如，显示固件1040可通过调整电压或电流信号来控制显示器1012如何以低电平激活各个像素。固件可以存储在非易失性存储器中并且直接从非易失性存储器执行。例如，显示固件1040可以体现在耦合到显示器1012的ROM芯片中，使得ROM芯片与多视图显示系统1000的其他存储装置和系统存储器分离。显示器1012可以包括用于执行显示固件1040的处理电路。

操作系统1031、(多个)应用1034、驱动器(例如，显示驱动器1037)、固件(例如，显示固件1040)和潜在的其他指令集可以各自包括可由(多个)处理器1003或多视图显示系统1000的其他处理电路执行以执行上述功能和操作的指令。尽管本文描述的指令可以体现在由如上所述的处理器1003执行的软件或代码中，但是作为替代，指令也可以体现在专用硬件或软件和专用硬件的组合中。例如，由上面讨论的指令执行的功能和操作可以被实现为采用多种技术中的任何一种或其组合的电路或状态机。这些技术可以包括但不限于具有用于在应用一个或多个数据信号时实现各种逻辑功能的逻辑门的离散逻辑电路、具有适当逻辑门的专用集成电路(ASIC)现场可编程门阵列(FPGA)或其他组件等。

在一些实施例中，执行上面讨论的功能和操作的指令可以体现在非暂时性计算机可读存储介质中。例如，实施例涉及存储可执行指令的非暂时性计算机可读存储介质，该可执行指令在由计算系统(例如，多视图显示系统1000)的处理器(例如，处理器1003)执行时使处理器执行上述各种功能，包括从单视图图像生成多视图图像的操作。非暂时性计算机可读存储介质可以是或可以不是多视图显示系统1000的一部分。指令可以包括例如可以从计算机可读介质获取并由处理电路(例如，处理器1003)执行的语句、代码或声明。在本文中，“非暂时性计算机可读存储介质”被定义为可以包含、存储或维护本文描述的指令以供指令执行系统(诸如例如多视图显示系统1000)使用或与指令执行系统结合使用的任何介质，并且还排除包括例如载波的暂时性介质。

非暂时性计算机可读介质可包括许多物理介质中的任一者，例如磁性、光学或半导体介质。合适的非暂时性计算机可读介质的更具体示例可以包括但不限于磁带、磁性软盘、磁性硬盘驱动器、存储卡、固态驱动器、USB闪存驱动器或光盘。此外，非暂时性计算机可读介质可以是随机存取存储器(RAM)，包括例如静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)或磁随机存取存储器(MRAM)。另外，暂时性计算机可读介质可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或其他类型的存储器设备。

多视图显示系统1000可以执行上述任何操作或实现上述功能。例如，上面讨论的流程图和过程流可以由执行指令和处理数据的多视图显示系统1000来执行。虽然多视图显示系统1000被示出为单个设备，但是实施例不限于此。在一些实施例中，多视图显示系统1000可以以分布式方式卸载指令的处理，使得多个多视图显示系统1000或其他计算设备一起操作以执行可以以分布式布置存储或加载的指令。例如，可以在结合多视图显示系统1000操作的基于云的系统中存储、加载或执行至少一些指令或数据。

因此，已经描述了创建多视图图像的示例和实施例，多视图图像可以从单视图图像生成。应用可以将单视图图像复制到多个视图中。用户可以调整深度，其基于复制的视图图像的相对位置来单独地自动移位复制的视图图像。另外，用户可以将深度图应用于单视图并从深度图合成多个视图图像。用户可修改深度图的形状或大小以使其适合于单视图图像的特征。实施例涉及用于从导入的单视图图像创建和编辑多视图内容的用户级应用。应当理解，上述示例仅仅是表示本文描述的原理的许多具体示例中的一些示例的说明。显然，本领域技术人员可以在不脱离由所附权利要求限定的范围的情况下容易地设计出许多其他布置。

Claims (20)

1.一种创建多视图图像的方法，所述方法包括：

将单视图图像导入到应用中，所述单视图图像被分配给形成复合多视图图像的多个多视图图像层中的第一多视图图像层；

将所述单视图图像复制到所述第一多视图图像层的多个视图图像中；

接收包括用于所述第一多视图图像层的深度设置的用户输入；

基于所述视图图像中的每一个的有序编号，将所述深度设置转换成用于对应视图图像的多个移位值；

响应于所述第一多视图图像层被选择，根据对应的移位值来移位所述第一多视图图像层的所述视图图像；以及

在多视图显示器上以预定义序列将所述多个多视图图像层自动渲染为所述复合多视图图像。

2.根据权利要求1所述的创建多视图图像的方法，其中，所述单视图图像以位图格式被格式化，所述位图格式包括每个像素的透明度值和颜色通道值。

3.根据权利要求1所述的创建多视图图像的方法，还包括：将所述视图图像中的一个视图图像分配为基本视图图像，其中，所述基本视图图像的移位值为零。

4.根据权利要求1所述的创建多视图图像的方法，其中移位每个视图图像包括沿着水平方向移位每个视图图像的像素。

5.根据权利要求1所述的创建多视图图像的方法，还包括将所述第一多视图图像层的每个视图图像与所述多个多视图图像层中的第二多视图图像层的对应视图图像混合。

6.根据权利要求1所述的创建多视图图像的方法，其中以所述预定义序列将所述多个多视图图像层自动渲染为所述复合多视图图像包括渲染由所述预定义序列定义的上部多视图图像层，同时省略所述上部多视图图像层的透明区域。

7.根据权利要求1所述的创建多视图图像的方法，其中以所述预定义序列将所述多个多视图图像层自动渲染为所述复合多视图图像包括将每个视图图像的像素映射到所述多视图显示器的交错位置。

8.根据权利要求1所述的创建多视图图像的方法，还包括选择所述第一多视图图像层的区域并且选择性地移位所述视图图像的落在所选择的区域内的部分。

9.根据权利要求1所述的创建多视图图像的方法，以用户指定的多视图文件格式对所述复合多视图图像进行格式化。

10.一种多视图图像生成系统，包括：

多视图显示器；

处理器；以及

存储器，所述存储器存储多个指令，所述多个指令在被执行时使所述处理器：

在形成复合多视图图像的多个多视图图像层中选择第一多视图图像层，所述第一多视图图像层包括多个视图图像；

接收包括用于所述第一多视图图像层的深度设置的用户输入；

基于所述视图图像中的每一个的有序编号，将所述深度设置转换成用于对应视图图像的多个移位值；

根据对应的移位值来移位所选择的第一多视图图像层的视图图像；以及

在所述多视图显示器上以预定义序列将所述多个多视图图像层自动渲染为所述复合多视图图像。

11.根据权利要求10所述的多视图图像生成系统，其中所述多个视图图像是从单视图图像复制的相同视图图像。

12.根据权利要求10所述的多视图图像生成系统，其中，所述视图图像中的一个视图图像被分配为基本视图图像，其中，所述基本视图图像的移位值为零。

13.根据权利要求10所述的多视图图像生成系统，其中，所述多个指令在被执行时还使得所述处理器：

将所述第一多视图图像层的每个视图图像与所述多个多视图图像层中的第二多视图图像层的对应视图图像混合。

14.根据权利要求10所述的多视图图像生成系统，还包括着色器，所述着色器被配置为通过将每个多视图图像层的像素映射到所述多视图显示器的交错位置来以所述预定义序列迭代地渲染所述多个多视图图像层。

15.根据权利要求10所述的多视图图像生成系统，其中，所述多视图显示器被配置为使用宽角度背光源在二维2D模式期间提供宽角度发射光；

其中，所述多视图显示器被配置为使用具有多波束元件阵列的多视图背光源在多视图模式期间提供定向发射光，所述定向发射光包括由所述多波束元件阵列中的每个多波束元件提供的多个定向光束；

其中，所述多视图显示器被配置为使用模式控制器对所述2D模式和所述多视图模式进行时间复用，以在对应于所述2D模式的第一顺序时间间隔期间顺序地激活所述宽角度背光源，并且在对应于所述多视图模式的第二顺序时间间隔期间顺序地激活所述多视图背光源；以及

其中所述定向光束中的定向光束的方向对应于所述复合多视图图像的不同观看方向。

16.根据权利要求15所述的多视图图像生成系统，其中，所述多视图显示器被配置为在光导中引导光作为被引导光；以及

其中，所述多视图显示器被配置为使用所述多波束元件阵列中的多波束元件散射出所述被引导光的一部分作为所述定向发射光，所述多波束元件阵列中的每个多波束元件包括衍射光栅、微折射元件和微反射元件中的一个或多个。

17.一种存储可执行指令的非暂时性计算机可读存储介质，所述可执行指令在由计算系统的处理器执行时实施从深度图创建多视图图像的操作，所述操作包括：

将单视图图像分配给第一多视图图像层；

加载第一多视图图像层的深度图；

修改所述深度图的大小和形状中的一者或两者以提供经修改深度图；

从所述单视图图像和从所述第一多视图图像层的所述经修改的深度图合成多个视图图像；以及

在多视图显示器上以预定义序列将所述第一多视图图像层和第二多视图图像层自动渲染为复合多视图图像。

18.根据权利要求17所述的非暂时性计算机可读存储介质，其中合成多个视图包括使用神经网络预测所述多个视图图像。

19.根据权利要求17所述的非暂时性计算机可读存储介质，其中，自动渲染包括将每个视图图像的像素映射到所述多视图显示器的交错位置。

20.根据权利要求17所述的非暂时性计算机可读存储介质，其中用户界面被配置为将所述深度图叠加在所述单视图图像上以及接收用户输入以修改所述深度图的大小和形状中的一或两者。