CN102572465A - 用于使用深度图信息的多视图像生成的装置和方法 - Google Patents

Abstract

公开了用于使用深度图信息的多视图像生成的装置和方法。在一个实施例中，一种计算机实现的方法包括使用来自映射到投影像素位置的物理像素位置的值，将输入图像和输入深度图转换成投影图像和投影深度图，其中投影图像和投影深度图与输入图像的特定的视图相关联，修复投影图像和投影深度图，并使用经修复的投影图像和经修复的投影深度图来产生特定的视图的方向上的输出图像。

Description

用于使用深度图信息的多视图像生成的装置和方法

技术领域

本公开的实施例一般涉及图像处理系统，尤其涉及用于执行多视图像生成的方法和装置。

背景技术

图像捕捉和/或视频记录设备是目前全球消费电子市场的重要组成部分。这种设备的广泛使用揭示出各种缺陷。例如，这些设备仅将图像和/或视频帧存储为场景的二维表示。即使提供了深度图(depth map)，没有巨大的处理能力和存储容量，三维表示也无法被渲染和观看。为了节约资源，目前的技术因此使这些设备限于捕捉描绘场景的少数几个可能视图(view)之一的图像。

被设计成处理和存储多视图像的系统导致伪影(artifact)。伪影一般包括由过度强烈的或不当地损耗数据的压缩算法的应用造成的媒体(例如，图像、音频和/或视频)的显著失真。当这种图像被接收时，图像的逐块解码被执行以重构被传输的图像。各个图像块的量化必然与可能导致重构期间块边界处的可见边缘的信息损失相关联。当与大量化参数相对应的很粗糙的量化被提供时，这些伪影可能尤其显著。

因此，本领域需要一种用于使用深度图信息并产生较少伪影的多视图像生成的装置和方法。

发明内容

本公开的各种实施例一般包括用于使用深度图信息的多视图像生成的装置和方法。根据一个实施例，用于执行使用深度图信息的多视图像生成的计算机实现的方法包括使用来自映射到投影像素位置的物理像素位置的值将输入图像和输入深度图转换成投影图像和投影深度图，其中所述投影图像和投影深度图与输入图像的特定视图相关联，修复投影图像和投影深度图，以及使用经修复的投影图像和经修复的投影深度图来产生所述特定视图的方向上的输出图像。

附图说明

所以，参考实施例可以得到上面概述的发明的更具体描述并以详细的方式理解以上记载的本发明的特征，某些实施例在附图中被例示。然而，应该注意，附图仅例示了本发明的典型实施例，因此不应被理解为限制其范围，因为本发明承认其他等效的实施例。

图1是例示了根据至少一个实施例的用于执行使用深度图信息的多视图像生成的设备的框图；

图2是例示了根据至少一个实施例的用于捕捉多视输出图像的相机的功能框图；

图3是例示了根据至少一个实施例的用于执行使用深度图信息的多视图像生成的图像处理器的功能框图；

图4是例示了根据至少一个实施例的用于修复至少一个图像和至少一个深度图的修复模块的功能框图；

图5是例示了根据至少一个实施例的用于执行使用深度图信息的多视图像生成的方法的流程图；

图6A和图6B是例示了根据至少一个实施例的用于使用输入图像和输入深度图来执行从左眼图像和左眼深度图到右眼图像和右眼深度图的三维投影的方法的流程图；

图7是例示了根据至少一个实施例的用于修复深度图的方法的流程图；

图8是例示了根据至少一个实施例的用于修复投影图像的方法的流程图；

图9是例示了根据至少一个实施例的用于执行投影图像上的三维遮蔽(occlusion)修复的方法的流程图；

图10描绘了根据至少一个实施例的特定视图中的三维投影；

图11描绘了根据至少一个实施例的特定视图的右眼；

图12描绘了根据至少一个实施例的特定视图的左眼；

图13描绘了根据至少一个实施例的使用像素的物理位置的从输入图像到投影图像的前向投影；

图14描绘了根据至少一个实施例的投影图像中的像素的亮度和深度插值；并且

图15描绘了根据至少一个实施例的将被修复的图像的图形表示。

具体实施方式

图1例示了根据至少一个实施例的用于使用深度图信息的多视图像生成的设备100。设备100是一种包含中央处理单元(CPU)102、支持电路104和存储器106的计算设备(例如，笔记本、相机、台式机、服务器、移动设备、多媒体记录设备等)。CPU 102包含市场上可买到的、辅助数据处理和存储的一个或多个微处理器或微控制器。支持电路104辅助CPU102的操作并包括时钟电路、总线、电源、输入/输出电路等。存储器106包括只读存储器、随机存取存储器、盘驱动存储装置、光存储装置、可移除存储装置等。

存储器106还包括各种软件包，如图像处理软件108。存储器106还存储各种数据，如输入图像110、深度图信息112、投影图像114、映射信息116、纹理信息118、一个或多个修复图像120和输出图像122。在某些实施例中，输入图像110和输出图像122分别包括组合起来构成特定三维视图的左眼图像和右眼图像。另外，输入图像110可被转化成特定三维视图的左眼图像。深度图信息112还包括输入深度图124、投影深度图126和经修复的深度图128。

图像处理软件108包括用于执行使用输入图像110和输入深度图124的多视图像生成的软件代码(处理器可执行指令)。在转化输入图像110之后，图像处理软件108将转化后的输入图像投影到投影图像114上。然后，图像处理软件108使用来自输入图像110的值来对右眼图像内的像素的深度值和/或亮度(intensity)(即颜色)值进行插值。在某些实施例中，如映射信息116中所指示的，被插值的值与映射到投影图像114内的投影位置的输入图像110内的像素相关联。

投影图像内的丢失或遮蔽区域被利用经修复的深度图128和/或纹理信息118来修复。在某些实施例中，投影深度图126被利用来自输入深度图124或其经转化副本的深度值来修复。通过修复投影深度图126内的遮蔽区域，图像处理软件108产生在下面图4的描述中进一步说明的经修复的深度图。

输入图像110内的每个像素对应于指示颜色(即亮度值)、深度和/或纹理的各种值。每个像素还可与输入图像110的场景信息相关联。输入图像110的像素例如可描绘场景的二维表示，在所述二维表示中，每个像素与指示一个或多个相应的颜色分量的相对强度的一个或多个亮度值相关联。输入深度图126包括反映每个像素的距离和透明度的深度值。在某些实施例中，至少对于二维图像，每个像素包括可以被表示为图像处理张量的五分量表示，所述图像处理张量至少包括单维图像处理矩阵(即，向量)。

这种矩阵的示例性实施例如下：

$\left[\begin{array}{c}{x}_1\\ x_2\\ x_2\\ {\∂}_{h}x\\ {\∂}_{v}x\end{array}\right]$

该图像处理矩阵包括输入图像110的主颜色分量[x₁，x₂，x₃]、

(即，沿水平方向的偏导数和主颜色分量的归一化之积)和

(即，沿垂直方向的偏导数和主颜色分量的归一化因子之积)。x₁，x₂，和x₃是主颜色分量(例如，红、绿、蓝(RGB)分量)的亮度值，其中每个亮度值表示像素中的特定颜色的饱和度或量。例如，如果像素对于每个主颜色分量包括满亮度或强亮度，则输入图像110看起来完全是白的。另外，像素块的亮度值可在不检测每个像素的亮度值的情况下被近似或计算。

纹理信息118指示输入图像110或经转化的输入图像以及投影图像114内的每个像素的纹理强度。纹理强度一般是表面的亮度变化的度量，量化诸如平滑度、粗糙度和规则度之类的属性。用来描述纹理的三个基本方法是统计方法、结构方法和谱方法。统计技术用构成表面的点的灰度级的统计属性来刻画纹理。通常，这些属性是从表面的灰度级直方图或灰度级共生矩阵计算出的。结构技术将纹理刻画为由被称作“纹素”(纹理元素)的简单基元组成，所述纹素根据某些规则有规律地排列在表面上。谱技术是基于傅立叶谱的性质的，并且通过识别谱中的高能峰来描述表面的灰度级的全局周期性。

图2是例示了根据一个或多个实施例的用于捕捉多视输入图像并生成多视输出图像的相机200的功能框图。相机200采用镜头模块202、深度图源204和图像处理器206来产生输出图像。镜头模块202与深度图源204可操作地耦合并捕捉用于场景的输入图像或视频帧。深度图源204存储与所捕捉的输入图像或视频帧相关联的深度图，这些深度图由图像处理器206访问。

镜头模块202捕获输入并将输入作为诸如输入图像110之类的图像来发送到图像处理器206。在某些实施例中，镜头模块202从彼此水平位移(即，左右眼之间的差距)的两个不同视点捕捉光束。输入图像可能与右眼或左眼相关。在某些实施例中，两个视点之间的水平位移或差距大约为六十五(65)毫米，这是人的左右眼之间的平均距离。在某些实施例中，图像处理器调整该差距异并产生具有不同视图的输出图像。

图像处理器206是访问深度图信息和输入图像的电路并产生诸如输出图像122之类的输出图像。在某些实施例中，图像处理器206包括用于运行图像处理软件(例如，图1的图像处理软件108)的硬件组件。在某些实施例中，图像处理器206包括诸如转换器208、修复模块210和输出模块212之类的各种模块。转换器208和修复模块210分别在下面参考图3和图4的描述被进一步说明。

图3是例示了根据至少一个实施例的用于多视图像生成图像处理300的功能框图。处理300包括由图像处理器(例如图2的图像处理器206)执行的操作。处理300开始于输入图像和输入深度图被传送到转换器208时。转换器208包括用于转换输入图像和输入深度图的各种模块。最初，输入图像和输入深度图分别由模块302和模块304预处理。在某些实施例中，模块304将滤波器应用于输入深度图以减少伪影效果并产生更精确的深度值。

然后，经预处理的输入图像和经预处理的输入深度图被发送到执行一个或多个旋转和/或变换操作的模块306。结果，经预处理的输入图像和经预处理的输入深度图被变换成与不同视图相关联的图像和深度图。换言之，像素随经变换的图像和经变换的深度图被投影到与输入图像和输入深度图不同的方向上。例如，与中视(center view)相关联的图像被翻转或旋转以便生成与左视相关联的图像。作为另一示例，与中视相关联的图像被顺时针旋转90度一次以创建指向底视的图像。

处理300前进到模块308以执行从经变换的图像和经变换的深度图到投影图像和投影深度图的三维投影(例如，前向投影)。投影图像和投影深度图随经变换的输入图像和经变换的深度图一起形成特定视图。在某些实施例中，经变换的图像构成左眼图像，左眼图像与作为立体互补的右眼图像的投影输入图像一起形成在图10、11和12的描述中说明的三维视图(例如，中视、左视、右视、极右视、极左视等)。

在识别了经变换的输入图像内的像素的物理像素位置后，模块308将这些像素中的每一个像素映射到投影图像中的投影像素位置。接着，模块308将投影图像和投影深度图传送到修复模块210。另外，模块308传送在投影像素位置计算期间识别出的任何遮蔽像素的索引。一个或多个相邻的遮蔽像素形成下面进一步描述的将被修复的遮蔽区域。

在对投影图像的一个或多个副本执行各种修复技术(例如，对遮蔽区域的三维修复)后，修复模块210产生输出图像。在某些实施例中，修复模块210接收经修复的右眼深度图，并识别右眼图像副本内的一个或多个遮蔽区域。图像处理器选择遮蔽区域，并使用与所选遮蔽区域右边的位置相关联的像素来修复遮蔽区域。一旦每个遮蔽区域被修复，图像处理器就产生右眼图像的经修复副本。在对右眼图像的另一副本执行图元(primitive)修复后。在某些实施例中，图像处理器从输入图像复制这样的值，所述值映射到右眼图像的另一副本内的、目标区域右边的位置。

对于每个目标区域，图像处理器将这些位置变换为输入图像内的投影位置，并且最终变换为输入图像内的物理位置。与这些物理位置相关联的某些值被用来修复投影图像内的每个目标区域。处理300继续到输出模块212，其中图像处理器将投影图像的经修复副本与投影图像的另一经修复副本相混合以产生输出图像122。如果需要，模块310旋转输出图像122以形成用户所期望的特定视图。

图4是例示了根据至少一个实施例的对至少一个图像和至少一个深度图的修复处理400的功能框图。修复模块210执行如下所述的用于完成修复处理400的各种操作。

修复模块210处理作为来自转换器(例如，图2的转换器208)的输入的投影图像和投影深度图。投影图像被传送到模块402以计算纹理程度。对于每个遮蔽区域，模块402度量纹理信息中存储的纹理程度或强度。模块404访问投影深度图并前进到诸如遮蔽区域之类的修复目标区域。在某些实施例中，模块404识别出投影深度图内的一个或多个遮蔽区域(例如，像素块)并使用来自原图像的值来填充这种区域。原图像可以是被相机捕捉的图像或从这种图像变换成像素指向特定视图的图像。对于每个遮蔽区域，模块404识别原图像内的源区域并将深度值从源区域复制到遮蔽区域。在某些实施例中，模块404识别与遮蔽区域相异最小的源区域。在某些实施例中，这种源区域映射到投影图像中位于被修复的遮蔽区域右边的投影位置。

因此，模块404产生被传送到模块406的经修复的深度图。由于一个或多个遮蔽区域也存在于投影图像中，因此，模块406使用经修复的深度值来计算这种区域的亮度值。同时，模块408处理投影深度图和投影图像并对遮蔽区域执行用于图元修复的操作。

图5是例示了根据至少一个实施例的用于执行使用深度图信息的多视图像生成的方法500的流程图。方法500的每一个步骤可由图像处理软件(例如，图1的图像处理软件108)或图像处理器(例如，图像处理器206)来执行。在其他实施例中，一个或多个步骤被省略。

方法500开始于步骤502并前进到步骤504。在步骤504，方法500访问输入图像和输入深度图。步骤504之后，方法500执行可选步骤506或前进到步骤508。在可选步骤506，方法500变换输入图像和输入深度图。在某些实施例中，输入图像和输入深度图与由前景和/或背景组成的场景的某个视图相关联。为了生成场景的多个视图，输入图像和输入深度图被旋转和/或变换成经变换的输入图像和经变换的输入深度图。例如，朝向右视的输入图像可被翻转或旋转180度以创建指向左视的经变换的图像。

作为替代，方法500在执行步骤504后跳过可选步骤506，而是直接前进到步骤508。由于方法500可从指向包括中视在内的任意视图的图像产生指向多个三维视图的图像，因此方法500可使用输入图像和输入深度图的未经变换版本来执行三维投影。

在步骤508，方法500执行到与诸如右视、左视、顶视和底视之类的特定三维视图相关联的投影图像和投影深度图的三维投影。三维视图还可包括极右视、极顶视、极左上视、右上视、左下视、极左下视、极下左视等。如果方法500执行可选步骤506，则方法500使用输入图像和输入深度图的经变换版本。另一方面，如果方法500跳过可选步骤506，则执行从输入图像和输入深度图到投影图像和投影深度图的投影。在某些实施例中，特定视图是三维视图并且可通过不同的差距度量来表示。为了产生特定三维视图，场景的右眼图像和左眼图像被渲染。

在步骤510，方法500修复投影深度图。步骤510的各种实施例在下面针对图7来描述。在步骤512，方法500修复投影图像。步骤512的各种实施例在下面针对图8来描述。在步骤514，方法500产生特定三维视图的方向上的输出图像。在步骤516，方法500结束。

图6是例示了用于执行从输入图像和输入深度图到投影图像和投影深度图的投影的方法600的流程图。方法600的每一个步骤可由图像处理器(例如，图2的图像处理器206)的转换器(例如，图2的转换器208)来执行。在其他实施例中，一个或多个步骤被省略。

方法600开始于步骤602并前进到步骤604。在步骤604，输入图像(即，中视)和输入深度图(即，中视)通过旋转和/或变换被变换成特定三维视图，如右视或左视。例如，如果输入图像是中视图像，则方法600通过将像素值移动到右边来将输入图像变换成右视。如果输入图像和输入深度图指向三维右视，则方法600旋转或翻转像素信息以形成三维左视。

在某些实施例中，步骤606到步骤612描绘了从中视图像和中视深度图到投影图像和投影深度图的三维投影。在旋转和/或变换中视图像和中视深度图之后，图像和深度图分别形成特定三维视图的左眼图像和左眼深度图。因此，方法600执行从左眼图像和左眼深度图到右眼图像和右眼深度图的三维投影，其间，右眼像素被归类为遮蔽或非遮蔽。接着，方法600执行步骤614至630，步骤614至630例示了下面更详细说明的针对投影图像(例如，右眼图像)中的非遮蔽像素的亮度和深度值插值。

在步骤606，方法600处理经旋转和/或变换的输入图像中的像素。在步骤608，方法600确定物理像素位置。在某些实施例中，物理像素位置是来自与经旋转和/或变换的输入图像(即，左眼图像)中的像素相关联的光源的光的正交投影。在步骤610，方法600将物理像素位置映射到投影图像中的投影像素位置。方法600创建新的投影图像(即，右眼图像)来存储与每一个投影像素位置相关联的值。在步骤612，方法600确定是否存在下一像素。如果方法600确定将被投影到新的投影图像上的经旋转和/或变换的输入图像内存在下一像素，则方法600返回到步骤606。另一方面，如果方法600确定不存在更多像素，则方法600前进到步骤614。图10、11和12详细描述了用于执行三维投影的示例性实施例。

在步骤614，方法600对经变换和/或旋转的输入图像内的像素的投影图像内的投影像素位置进行排序。在步骤616，方法600处理投影图像中的像素。在某些实施例中，像素与显示区域的x轴内的整数像素位置相关联。在步骤618，方法600选择两个或更多个投影位置，所述投影位置的来自经变换和/或旋转的输入图像的深度和/或亮度值被用来计算投影图像内的经处理的像素的深度和/或亮度值。在某些实施例中，两个或更多个投影位置是整数像素位置的预定距离(例如，一个像素长度)内的浮点像素位置。作为示例，方法600可选择与整数像素位置最靠近的两个投影像素位置。

在步骤620，方法600确定经处理的像素是否被遮蔽。在某些实施例中，如果方法600确立经变换和/或旋转的输入图像中不存在映射到离整数像素位置预定距离内的投影像素位置的像素，则经处理的像素被遮蔽。如果经处理的像素被遮蔽，则方法600前进到步骤622。在步骤622，方法600存储整数像素位置。在步骤622，方法600前进到步骤628。另一方面，如果经处理的像素未被遮蔽，则方法600前进到步骤624。

在步骤624，方法600使用与两个或更多个投影位置相关联的值来插值非遮蔽像素的值。在步骤626，方法600使用来自两个或更多个投影像素位置的深度和亮度值来计算深度和亮度值。例如，来自最靠近的投影像素位置的深度值被选择为经处理像素的深度值。作为另一示例，来自两个最靠近的投影像素位置的亮度值被混合以产生经处理像素的亮度值。在步骤628，方法600确定投影图像中是否存在下一像素。如果方法600确定存在下一像素，则方法600返回到步骤616。另一方面，如果方法600确定投影图像内不存在更多像素，则方法600前进到步骤630。在步骤630，方法600结束。

图7是例示了根据至少一个实施例的用于修复深度图的方法700的流程图。方法700的每一个步骤可由图像处理器(例如，图2的图像处理器206)的修复模块(例如，图2的修复模块210)来执行。在其他实施例中，方法700的一个或多个步骤被省略。方法700开始于步骤702并前进到步骤704。

在步骤704，方法700检查诸如投影深度图(例如，图1的投影深度图126)之类的深度图。在步骤706，方法700处理目标区域。在某些实施例中，每个遮蔽区域也是将被修复的目标区域。在708，方法700将目标区域映射到输入深度图或经变换的输入深度图内的位置。在某些实施例中，输入深度图或经变换的输入深度图与中视相关联。在步骤710，方法700选择输入图像或经变换的输入图像内的一个或多个源区域。根据从输入深度图到投影深度图的前向投影，这些源区域可包括位于与目标区域相对应的区域右边的像素。在步骤712，方法700混合来自一个或多个源区域的值。在步骤714，方法700将经混合的值复制到目标区域。

在步骤716，方法700确定投影深度图中是否存在下一目标。如果方法700确定存在更多目标区域，则方法700返回到步骤706。另一方面，如果方法700确定投影深度图内不存在更多目标区域，则方法700前进到步骤718。在步骤718，方法700结束。

图8是例示了根据至少一个实施例的用于修复投影图像的方法800的流程图。在某些实施例中，方法800修复投影图像的至少两个副本，这两个副本稍后被混合以产生输出图像。在某些实施例中，方法800对投影图像的副本内的目标区域执行图元修复，然后对另一副本内的目标区域执行基于范本(exemplar)的修复。方法800的每一个步骤可由图像处理器(例如，图2的图像处理器206)的修复模块(例如，图2的修复模块210)来执行。在其他实施例中，方法800的一个或多个步骤被省略。

方法800开始于步骤802并前进到步骤804。在步骤804，方法800检查投影深度图。在步骤806，方法800处理目标区域。目标区域可以是遮蔽区域。在步骤808，方法800将目标区域映射到输入图像内的位置。在步骤810，方法800识别输入图像内的源区域。在某些实施例中，映射信息标识出诸如中间图像之类的输入图像内的、投影到位于目标区域右边的非遮蔽像素的像素。方法800使用所识别的像素作为用于修补目标区域的潜在源区域。在步骤812，方法800从源区域向目标区域复制值。

在步骤814，方法800确定投影图像中是否存在下一目标区域。如果方法800确定存在更多的目标区域，则方法800返回到步骤806。另一方面，如果方法800确定投影图像内不存在更多目标区域，则方法800前进到步骤816。在步骤816，方法800执行诸如三维遮蔽修复之类的遮蔽修复。在步骤818，方法800结束。

图9是例示了根据至少一个实施例的用于对投影图像执行三维遮蔽修复的方法900的流程图。方法900的每一个步骤可由图像处理器(例如，图2的图像处理器206)的修复模块(例如，图2的修复模块210)来执行。在其他实施例中，方法900的一个或多个步骤被省略。

方法900开始于步骤902并前进到步骤904。在步骤904，方法900访问经修复的深度图。经修复的深度图提供一个或多个遮蔽区域的深度值。这些区域在像素插值期间被识别，如下面针对图13进一步详细描述的。在步骤906，方法900选择目标区域。目标区域可以是包括遮蔽区域的一部分和非遮蔽区域的一部分的像素块。在步骤908，方法900度量纹理信息中存储的、位于遮蔽区域右边的每个像素或像素块的纹理强度。如下面进一步描述的，纹理信息被用来混合像素。在步骤910，方法900基于像素相似性来识别源区域。

在某些实施例中，方法900将满足深度条件的块识别为候选补丁。一旦方法900定义了搜索范围，方法900就对搜索范围内的像素块进行搜索，以寻找与目标区域匹配的候选补丁。为了优化搜索处理，方法900仅比较满足作为由下式定义的阈值的深度条件的某些候选块。

$d_{{\mathrm{\Ψ}}_s}>C_d*d_{\mathrm{\Ω}}$

在该公式中，

表示诸如源区域的右侧块之类的特定候选补丁中的任何像素的深度值，并且d_Ω表示被修复的块内的目标区域的平均深度值。在某些实施例中，C_d被设置为浮点值0.8。值0.8被用来例示搜索处理并且不打算限制深度条件，深度条件可使用任何浮点值作为用于比较深度值的衡量，只要该浮点值符合条件0＜C_d＜＝1.0即可。

在某些实施例中，经修复的深度图提供目标区域的深度值，所述深度值被平均以产生平均深度值。在计算平均深度值之后，方法900将平均深度值与特定候选块中的每一个像素的深度值作比较。如果至少一个像素满足深度条件，则方法900计算特定候选块和将被修复的所选块之间的失真代价。如果没有像素满足深度条件，则方法900前进到所定义的搜索范围内的另一候选块。

在步骤912，方法900从源区域向所选遮蔽区域复制值。在步骤914，方法900确定投影图像中是否存在下一遮蔽区域。如果方法900确定至少存在一个更多的遮蔽区域，则方法900返回到步骤906。另一方面，如果方法900确定右眼图像内不存在更多的遮蔽区域，则方法900前进到步骤916。在步骤916，方法900结束。

图10描绘了根据至少一个实施例的视图1000。视图1000是来自多个光源1002的光投影到右眼1016和左眼1018上并与显示窗口1020相交的方向。例如，视图1000可以是右视、左视、中视等。每个交点是左眼图像和右眼图像内的投影像素位置，如针对图11和图12的说明中进一步描述的。

投影像素位置的物理像素位置对应于从光源1002到显示窗口1020的正交投影。例如，光源1002₃与指代到物理像素位置1006的距离的深度1004相关联，投影到左眼位置1008和右眼位置1010。左眼位置1008和/或右眼位置1010可以是显示窗口1020内的浮点和/或整数像素位置。度量1012指代显示窗口1020的大小的一半。差距1014指代左眼1016和右眼1018之间的距离。度量1012和差距1014被用于计算左眼位置1008的物理像素位置1006并计算映射到物理像素位置1006的右眼位置1010。

图11描绘了根据至少一个实施例的视图1000的物理像素位置计算1100。光源1102是多个光源1002_N之一。光源1102与表示到显示区域1110(即，画面)上的物理像素位置1106的相对距离(例如，正交距离)的深度值1104(d)相关联。因此，光源1002和物理像素位置1106共享x轴位移值(x)。从光源1102到左眼1114的光在像素1108处与显示区域1110相交。一般地，像素1108对应于诸如左眼图像之类的输入图像中的整数像素位置(i)。使用等于显示区域1110的一半的度量1112(D)，物理像素位置1106的x轴位移值(x)被使用下式来计算，其中p等于单个像素长度，并且f表示从左眼1114到显示区域1110的距离：

$x=\frac{(d+f)*p*(i-1)-d*D}{f}$

图12描绘了根据至少一个实施例的、在物理像素位置计算1100之后的视图1000的投影像素位置计算1200。来自光源1102的光传播到右眼1202并与显示区域1110相交于投影像素位置1204(r(x))。投影像素位置1204一般指代诸如右眼图像之类的投影图像内的浮点位置。差距1206(b)表示右眼1202和左眼1114之间的距离，该距离在下式中与度量1110(D)一起被用来计算投影像素位置1204的x轴位移值：

$r\left(x\right)=\frac{d*(b+D)+f*x}{d+f}$

由于投影像素位置1204是浮点位置，因此投影像素位置计算1200还识别投影图像内的最靠近的整数像素位置。使用以下公式，最靠近的整数像素位置的索引(i_r)被计算：

$i_r=\frac{r\left(x\right)}{p}+1$

图13描绘了根据至少一个实施例的使用像素1302的物理位置的从输入图像110到投影图像114的前向投影1300。在计算物理位置之后，每个像素1302_N被映射到投影图像114中的投影位置1304_N。投影位置1304_N是像素1306_N的一个像素长度内的浮点位置。在某些实施例中，使用来自映射到像素1306_N的一个像素长度内的一个或多个浮点位置1304的一个或多个像素1302的信息，像素1306_N的深度值和亮度值被插值，如针对图14所详细说明的。

图14描绘了根据至少一个实施例的对投影图像中沿显示区域1402的像素1306的亮度和深度插值1400。具体地，像素1306位于沿显示区域1402的x轴的整数位置。像素1404是当前的整数像素位置。根据一个或多个实施例，为了计算像素1404的亮度或深度值，来自诸如投影像素位置1406和投影像素位置1408之类的两个或更多个投影像素位置1304的亮度或深度值被比较。在某些实施例中，投影像素位置1406和投影像素位置1408的深度和/或亮度值被混合。在其他实施例中，最靠近的投影像素位置的深度和/或亮度值被选择为像素1404的深度和/或亮度值。

图15描绘了根据至少一个实施例的将被修复的图像1500的图形表示。根据一个或多个实施例，图像1500包括至少一个源区域1502、至少一个目标区域1504和至少一个块1506。在某些实施例中，目标区域1504形成前向投影期间被识别的遮蔽区域。源区域1502包括包含诸如亮度值之类的像素信息的像素块。目标区域1504还包括像素块，但这些块可以不包括像素信息和/或包括不正确的像素信息(即，目标区域1504是使用来自源区域1502的像素信息来修复的图像1500的一部分)。预定的或动态的搜索区域内的块被选择为用于下面进一步描述的图像修复的一个或多个候选补丁1508。

搜索区域包括来自源区域1502和目标区域1504的像素，其中每个块1506覆盖源区域1502的一部分和目标区域1504的一部分。这样，根据一个或多个实施例，块1506包括由源区域1502的覆盖部分提供的亮度和深度值以及来自经修复的右眼深度图的深度值。

目标区域1504可使用各种技术来修复。在某些实施例中，基于范本的或图切割的修复被采用以确定目标区域1504中的每个像素的值。这些值从源区域1502内的像素被复制或修改。作为替代，这些值从另一图像内的源区域被复制。例如，这些值可从原输入图像或经变换的输入图像(即，像素位置被变换和/或旋转)的一部分被复制。由于另一图像还可能用作针对图像1500(即，右眼图像)的左眼图像，因此位于映射到块1506的块右边的像素块区别最小。换言之，另一图像中的右侧块最可能与块1506相异最小。因此，候选补丁搜索开始于右侧块，这减少了计算时间并节约了计算资源。

与搜索区域的源区域1502中的块相关联的亮度值被用来确定包含目标区域1504的一部分的块1506的部分中的像素的最佳亮度值。源区域的块的亮度值被根据每个中心像素到块1506的中心像素的距离来优先和/或加权。在两个或更多个相邻块中，例如，较低的优先级(即权重)被指派给离块1506最远的相邻块。然而，较高的优先级被指派给位于块1506右侧的相邻块。在某些实施例中，搜索区域被定义为从块1506的中心像素朝右、朝上或朝下方向的像素数目的动态范围。

本领域技术人员还将理解，虽然各种项被例示为存储在存储器中或存储装置上，但是当被使用时，出于存储器管理和数据完整性的目的，这些项或其一部分可在存储器和其他存储设备之间转移。作为替代，在其他实施例中，软件组件的一些或全部可在另一设备上的存储器中运行并可经由计算机间通信与所例示的显示设备通信。设备组件或数据结构的一些或全部还可(例如作为指令或结构化数据)被存储在计算机可访问介质或便携物上已被适当的驱动器读取，其各种示例已在上文中描述。各种实施例还可包括在计算机可访问介质上或经由通信介质接收、发送或存储根据前述说明来实现的指令和/或数据。一般地，计算机可访问介质可包括诸如磁或光介质之类的存储装置介质或存储器介质，例如盘或DVD/CD-ROM、诸如RAM(例如，SDRAM、DDR、RDRAM、SRAM等)、ROM之类的易失性或非易失性介质。

这里描述的方法可以通过软件、硬件或其组合的形式在不同实施例中实现。另外，方法的次序可改变，并且各种要素可被添加、重排、组合、省略、修改等。这里描述的所有示例以非限制性方式被展示。本领域技术人员得益于本公开而明白的各种修改和变更可被做出。根据实施例的实现以在特定实施例的背景下被描述。这些实施例打算成为示例性而非限制性的。很多变更、修改、添加和改进是可能的。因此，可为在这里被描述为单个实例的组件提供多个实例。各种组件、操作和数据存储之间的边界在多少有些任意，并且特定操作在具体示例性配置的背景中被例示。其他功能分配被设想并可落入所附权利要求的范围内。最后，在示例配置中被展示为离散组件的结构和功能可被实现为组合的结构或组件。这些和其他变更、修改、添加和改进可落入所附权利要求限定的实施例的范围内。

虽然本发明是结合各个附图的优选实施例来描述的，但是应该理解，其他类似实施例可被使用。可对所描述的实施例进行修改/添加以执行本发明的同一功能而不脱离本发明。因此，本发明不应限制在任何单个实施例，而是应根据所附权利要求的记载范围广义地理解。

虽然前文针对本发明的实施例，但是本发明的其他更多实施例可被设计而不脱离本发明的基本范围，并且本发明的范围由所附权利要求限定。

Claims (10)

1.一种用于使用深度图信息生成多视图像的计算机实现的方法，包括：

使用来自映射到投影像素位置的物理像素位置的值，将输入图像和输入深度图转换成投影图像和投影深度图，其中所述投影图像和所述投影深度图与所述输入图像的具体视图相关联；并且还包括：

在所述视图的方向上变换所述输入图像和所述输入深度图；以及

执行从变换后的输入图像和变换后的输入深度图到所述投影图像和所述投影深度图上的前向投影；

修复所述投影图像和所述投影深度图；以及

使用经修复的投影图像和经修复的投影深度图来产生所述具体视图的方向上的输出图像。

2.根据权利要求1所述的方法，其中，转换所述输入图像和所述输入深度图还包括：

对于所述输入图像中的每个像素：

确定所述输入图像中的物理位置，以及

将所述物理位置映射到所述投影图像中的投影位置；并且还包括：

对所述投影图像中的投影像素位置进行排序。

3.根据权利要求2所述的方法，还包括：

对于所述投影图像中的至少一个像素，使用所述投影图像中的至少两个投影位置来计算值，其中：

所述值包含亮度或深度中的至少一个，

计算所述值还包括对与所述输入图像中的、映射到所述至少两个投影位置的至少两个像素相关联的至少两个值进行插值，并且

所述至少两个值包括与在具有至少一个像素的大小的水平显示区域内具有最小深度的投影位置相关联的值、与具有较小深度的投影位置相关联的值、或与最靠近的投影位置相关联的值中的至少一个。

4.根据权利要求1所述的方法，其中，修复所述投影图像和所述投影深度图还包括：

对于所述投影深度图中的每个被遮蔽区域，从所述输入深度图内的至少一个源区域复制至少一个值，其中所述至少一个源区域映射到所述每个被遮蔽区域的至少一部分；以及

对于所述投影图像中的每个被遮蔽区域，处理来自所述输入图像内的至少一个源区域的至少一个值，其中所述至少一个源区域映射到每个被遮蔽区域的至少一部分。

5.根据权利要求1所述的方法，其中，产生所述输出图像还包括混合至少两个经修复的图像。

6.根据权利要求1所述的方法，其中，转换所述输入图像和所述输入深度图还包括识别所述投影图像和所述投影深度图内的至少一个被遮蔽区域。

7.一种包括一个或多个处理器可执行指令的计算机可读存储介质，所述计算机可执行指令当被至少一个处理器运行时，令所述至少一个处理器执行包含根据权利要求1-6所述的方法中的任一个方法。

8.一种用于使用深度图信息的图像的多视图生成的装置，包括：

用于捕捉输入图像的镜头模块；

包含输入深度图的深度图存储装置；以及

图像处理器，用于使用来自映射到投影像素位置的物理像素位置的值，将输入图像和输入深度图转换成投影图像和投影深度图，其中所述投影图像和所述投影深度图与所述输入图像的视图相关联，修复所述投影图像和所述投影深度图，并使用经修复的投影图像和经修复的投影深度图来产生形成所述视图的输出图像。

9.根据权利要求8所述的装置，其中，所述图像处理器还包括：

转换器，用于基于所述视图来变换所述输入图像和所述输入深度图，并执行从变换后的输入图像和变换后的输入深度图到所述投影图像和所述投影深度图上的前向投影；

深度图修复模块，用于针对所述投影深度图中的每个目标区域，从所述输入深度图内的至少一个源区域复制值，其中所述至少一个源区域对应于针对所述每个目标区域的变换后的输入深度图内的投影像素位置；

图像修复模块，用于针对所述投影图像的副本中的每个目标区域，从变换后的输入图像内的至少一个源区域复制值，其中每个源区域映射到位于所述每个目标区域右边的像素，所述图像修复模块还用于使用经修复的变换后的输入深度图和纹理信息来修复投影图像的另一副本内的被遮蔽区域；以及

输出模块，所述输出模块用于混合所述投影图像的经修复副本和所述投影图像的另一经修复副本。

10.根据权利要求9所述的装置，其中，所述转换器

对于所述输入图像中的每个像素，确定物理位置，并将所述物理位置映射到所述投影图像中的投影位置；

对于所述投影图像中的每个像素，使用所述输入图像中的至少两个像素的至少两个投影位置来计算深度值和亮度值，并且

修复与所述至少两个像素相关联的至少两个值，其中所述至少两个像素包括与在具有至少一个像素的大小的水平显示区域内具有最小深度的投影位置相关联的像素、与所述至少两个像素中具有最小深度值的投影位置相关联的像素、或与最靠近的投影位置相关联的像素中的至少一个。

Images