CN104618704A

CN104618704A - 用于图像处理的方法和设备

Info

Publication number: CN104618704A
Application number: CN201410635581.6A
Authority: CN
Inventors: 郑英珠; 南东暻; 朴柱容; 赵良镐
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2013-11-05
Filing date: 2014-11-05
Publication date: 2015-05-13
Anticipated expiration: 2034-11-05
Also published as: EP2869262A1; US20150125093A1; CN104618704B; KR20150052442A; EP2869262B1; KR102156402B1; US9646399B2; JP2015091136A; JP6463946B2

Abstract

本发明提供了一种用于图像处理的方法和设备。用于图像处理的方法包括：基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生基础图像；基于基础图像(即，包括将基于彩色图像和深度图像产生的至少一个LF图像的闭塞区域的图像)产生光场(LF)图像(例如，输出图像)。

Description

用于图像处理的方法和设备

本申请要求于2013年11月5日提交到韩国知识产权局的第10-2013-0133629号韩国专利申请的优先权权益，所述申请的公开通过引用合并于此。

技术领域

示例实施例涉及用于图像处理的方法和设备，更具体地讲，涉及用于对光场(LF)图像进行处理的方法和设备。

背景技术

为了在多视点图像被输入时产生光场(LF)显示，可通过对多视点图像进行转换来产生包括视点的LF图像。

基于图像的渲染(IBR)方法可用于从多视点图像产生LF图像。为了应用IBR方法，采用多个多视点图像或基于多视点图像和与该多视点图像对应的深度图图像产生的多个图像。

可能存在LF图像的闭塞区域(occlusion region)，闭塞区域是LF图像的输入的多视点图像不提供信息的区域。因此，闭塞区域中的数据可能需要被恢复。

此外，需要大量的存储器来产生LF图像。具体地讲，为了产生自然的LF图像，可能需要对闭塞区域的适当的处理。当省略闭塞区域的处理时，在LF图像内可能会发生失真。

发明内容

通过提供用于图像处理的方法实现前述和/或其他方面，所述方法包括：基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生基础图像，其中，基础图像包括闭塞区域；对基础图像中的闭塞区域中的一个或更多个进行恢复；基于闭塞区域被恢复后的基础图像产生输出图像。

闭塞区域可与至少一个图像的所有闭塞区域对应。

可基于闭塞区域的包含关系确定基础图像。

基础图像可以是这样的图像，在该图像中，除了包括基础图像的闭塞区域的单个图像之外，在将基于多视点彩色图像和深度图像产生的至少一个图像中不存在包括闭塞区域的其他LF图像。

产生基础图像的步骤包括产生多个基础图像。

多个基础图像与基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生的至少一个图像中的最左边的图像和最右边的图像中的至少一个对应。

可基于输出图像的光线的方向选择基础图像。

基础图像可以是至少一个图像中的光线的方向偏离最多的图像。

产生基础图像的步骤可包括：基于闭塞区域确定基础图像的位置，基于多视点彩色图像和深度图像产生确定的位置的基础图像。

产生基础图像的步骤包括：从将基于多视点彩色图像和深度图像产生的图像中确定具有最大量的关于闭塞区域的信息的图像的位置，并基于多视点彩色图像和深度图像产生确定的位置的基础图像。

产生基础图像的步骤可包括：通过将多视点彩色图像和深度图像转换为确定的位置处的视点的图像来产生转换后的图像，并通过将转换后的图像合并来产生确定的位置的基础图像。

所述方法还可包括：从转换后的图像的像素中选择基于深度值的像素，其中，产生基础像素的步骤使用来自选择的像素的数据作为多个像素的数据来产生基础图像。

与基础图像的多个像素对应的、多个视点被转换的图像的像素中的具有最大深度值的像素的数据用于所述多个像素。

对基础图像中的闭塞区域进行恢复的步骤可包括：检测基础图像中的闭塞区域；基于基础深度图像针对基础图像产生至少一个深度层，基础深度图像表示基础图像的深度；基于至少一个深度层中的与闭塞区域相邻的一个深度层恢复闭塞区域。

可产生与闭塞区域相邻的多个深度层。

恢复的步骤可基于多个相邻深度层中的至少一个深度层之一恢复闭塞区域。

可针对包括闭塞区域的深度层通过纹理合成来恢复闭塞区域。

产生基础图像的步骤可包括产生多个基础图像。

多个基础图像可包括用于产生输出图像的主要基础图像。

主要基础图像可以是基于闭塞区域的尺寸从多个基础图像中选择的基础图像。

主要基础图像可以是多个基础图像中的包括最大闭塞区域的基础图像。

主要基础图像可以是基于离光源的距离从多个基础图像中选择的基础图像。

主要基础图像可以是多个基础图像中的离光源最近的基础图像。

主要基础图像可以是基于第二角度和第一角度从多个基础图像中选择的基础图像。

主要基础图像可以是多个基础图像中的第一角度最接近第二角度的基础图像。

第一角度可以是基础图像的倾斜的角度。

第二角度可以是对输出图像进行输出的显示器的法向量与光线之间的角度。

产生输出图像的步骤可包括：确定主要基础图像；基于确定的主要基础图像产生输出图像；基于所述多个图像中的除主要基础图像之外的基础图像对输出图像中的闭塞区域进行渲染。

输出图像可以是LF图像。

可通过将视点插值应用于主要基础图像来产生输出图像。

可通过提供图像处理设备来实现前述和/或其他方面，所述图像处理设备包括：基础图像产生器，被配置为基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生基础图像，其中，基础图像包括闭塞区域；闭塞区域恢复器，被配置为对基础图像中的闭塞区域进行恢复；输出图像产生器，被配置为基于闭塞区域被恢复后的基础图像产生输出图像。

闭塞区域可以是至少一个图像的所有闭塞区域。

至少一个示例实施例涉及产生光场(LF)图像的方法，其中，LF图像是四维图像。

在至少一个实施例中，所述方法包括：基于深度图像将多个输入图像合并为光场(LF)基础图像，LF基础图像具有缺少像素值的至少一个闭塞区域；检测与LF基础图像关联的至少一个闭塞区域；通过基于LF基础图像的闭塞区域的深度对所述闭塞区域中的像素值进行恢复来形成恢复的LF基础图像；对恢复的LF基础图像中的像素进行移位来产生LF图像。

在至少一个实施例中，至少一个闭塞区域缺少的像素值包括闭塞区域中的像素的彩色值和深度值中的至少一个，恢复闭塞区域中的像素值的步骤包括：通过执行纹理合成来估计闭塞区域中的像素值，以扩展与闭塞区域相邻且处于相同深度的像素的像素值。

在至少一个实施例中，所述方法还包括经由图像传感器捕捉多个输入图像，并经由深度传感器捕捉深度图像。

在至少一个实施例总，四维LF图像包括关于四维LF图像中的图像数据的色彩、强度和方向的信息。

在至少一个实施例中，合并步骤将多个输入图像合并为多个LF基础图像，并基于所述多个LF基础图像确定闭塞区域的深度。

在至少一个实施例中，形成恢复的LF基础图像的步骤包括：选择多个LF基础图像中的具有闭塞区域中的相对最大量的像素值的一个LF基础图像。

示例实施例的另外方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过本公开的实施可以被学习。

附图说明

从结合附图的示例实施例的以下描述，这些和/或其他方面将变得清楚并更容易理解，其中：

图1示出根据一些示例实施例的用于图像处理的设备；

图2示出根据一些示例实施例的图像处理的方法；

图3示出根据一些示例实施例的基础图像产生器；

图4示出根据一些示例实施例的产生基础图像的方法；

图5示出根据一些示例实施例的图像合并器；

图6示出根据一些示例实施例的对图像进行合并的方法；

图7示出根据一些示例实施例的产生针对透视(perspective)光场(LF)的基础图像的方法；

图8示出根据一些示例实施例的产生针对正交LF的基础图像的方法；

图9示出根据一些示例实施例的计算LF像素的方法；

图10A示出根据一些示例实施例的到相机坐标的转换；

图10B示出根据一些示例实施例的到世界坐标的转换；

图10C示出根据一些示例实施例的到LF坐标的转换；

图10D示出根据一些示例实施例的基于正交投影的像素映射；

图10E示出根据一些示例实施例的基于透视投影的像素映射；

图11A至图11F示出根据一些示例实施例的三个输入彩色图像和三个深度图像；

图11A示出根据一些示例实施例的第一输入彩色图像；

图11B示出根据一些示例实施例的第一输入深度图像；

图11C示出根据一些示例实施例的第二输入彩色图像；

图11D示出根据一些示例实施例的第二输入深度图像；

图11E示出根据一些示例实施例的第三输入彩色图像；

图11F示出根据一些示例实施例的第三输入深度图像；

图12A至图12F示出根据一些示例实施例的视点被转换为基础图像的视点的三个彩色图像和三个深度图像；

图12A示出根据一些示例实施例的视点被转换后的第一彩色图像；

图12B示出根据一些示例实施例的视点被转换后的第一深度图像；

图12C示出根据一些示例实施例的视点被转换后的第二彩色图像；

图12D示出根据一些示例实施例的视点被转换后的第二深度图像；

图12E示出根据一些示例实施例的视点被转换后的第三彩色图像；

图12F示出根据一些示例实施例的视点被转换后的第三深度图像；

图13A至图13F示出根据一些示例实施例的三个基础图像；

图13A示出根据一些示例实施例的第一基础彩色图像；

图13B示出根据一些示例实施例的第一基础深度图像；

图13C示出根据一些示例实施例的第二基础彩色图像；

图13D示出根据一些示例实施例的第二基础深度图像；

图13E示出根据一些示例实施例的第三基础彩色图像；

图13F示出根据一些示例实施例的第三基础深度图像；

图14示出根据一些示例实施例的闭塞区域恢复器；

图15示出根据一些示例实施例的对闭塞区域进行恢复的方法；

图16示出根据一些示例实施例的基础彩色图像；

图17示出根据一些示例实施例的基础深度图像；

图18示出根据一些示例实施例的输出图像产生器的结构；

图19示出根据一些示例实施例的产生输出图像的方法；

图20A示出根据一些示例实施例的第一基础图像；

图20B示出根据一些示例实施例的第二基础图像；

图20C示出根据一些示例实施例的基于第一基础图像产生的LF图像；

图20D示出根据一些示例实施例的基于第二基础图像产生的LF图像；

图21A示出根据一些示例实施例的第一基础图像；

图21B示出根据一些示例实施例的基于第一基础图像产生的LF图像；

图21C示出根据一些示例实施例的第二基础图像；

图21D示出根据一些示例实施例的基于第二基础图像产生的LF图像。

具体实施方式

现将详细描述示例实施例，示例实施例的示例被示出在附图中，其中，相同的标号始终表示相同的元件。以下将参照附图更详细地描述特定示例实施例。

视图包括由相机捕捉的彩色图像和由深度相机捕捉的深度图像。视图的视点表示将针对将被捕捉的对象(例如，场景)捕捉到该对象的点的位置和方向。此外，视点表示捕捉的方向或位置。多个视图的视点表示多个视图中的相对方向和相对位置。

如在此使用，“彩色图像”可指示表示图像中的像素的彩色值的图像。此外，彩色图像可表示彩色图像的信息或数据。

例如，彩色图像可包括彩色图像中的像素的彩色值。彩色图像的像素的彩色值指示场景内的对象的彩色，其中，由通过捕捉来产生的彩色图像内的像素表示所述场景。

如在此使用，“深度图像”可指示表示图像中的像素的深度值的图像。此外，深度图像可表示深度图像的信息或数据。术语“深度图像”和“深度图图像”被解释为相同，因此，“深度图像”和“深度图图像”可被互换地使用。

例如，深度图像包括深度图像内的深度值。深度图像的像素的深度值指示场景内的对象、点或区域的深度，其中，由通过捕捉场景而产生的深度图像中的像素表示所述场景。通过示例的方式，小深度值可指示由像素表示的对象、点或区域远离捕捉点，大深度值可指示由像素表示的对象、点或区域接近捕捉点。相反地，大深度值可指示由像素表示的对象、点或区域远离捕捉点，小深度值可指示由像素表示的对象、点或区域接近捕捉点。

当由相机和深度相机在一点捕捉场景时，针对与场景内的期望的(或可选择地，预定的)点或区域对应的像素产生彩色值和深度值。产生的像素的彩色值指示期望的(或可选择地，预定的)点的彩色值，产生的像素的深度值指示期望的(或可选择地，预定的)点与捕捉点之间的距离。彩色图像包括产生的像素的彩色值，深度图像包括产生的像素的深度值。

彩色图像的像素和深度图像的像素具有对应关系。当彩色图像的像素和深度图像的像素对应时，给出这样的指示：彩色图像的像素和深度图像的像素两者指示场景内的相同的对象、点或区域。在彩色图像和深度图像内具有相同的坐标值的彩色图像的像素和深度图像的像素彼此对应。

图1示出根据一些示例实施例的用于图像处理的设备100。

参照图1，用于图像处理的设备100包括处理器102和存储器104。

处理器102可被配置为通过执行算术运算、逻辑运算和输入/输出操作来执行计算机程序的指令。处理器可经由总线和/或网络接口从存储器104读取指令。当由处理器102执行指令时，指令将处理器配置为基础图像产生器110、闭塞区域恢复器120和输出图像产生器130。稍后将参照图2和其他相关附图对基础图像产生器110、闭塞区域恢复器120和输出图像产生器130的功能进行描述。

存储器104可以是计算机可读存储介质。存储器104可包括随机存取存储器(RAM)、只读存储器(ROM)和/或永久大容量存储装置(诸如，盘驱动器)。处理器100可以是逻辑芯片，例如，中央处理单元(CPU)、控制器或专用集成电路(ASIC)，其中，当逻辑芯片执行存储在存储器104中的指令时，逻辑芯片被配置为用作基础图像产生器110、闭塞区域恢复器120和输出图像产生器130的专用机器。

图2示出根据一些示例实施例的图像处理的方法。

参照图2，在操作210，基础图像产生器110接收多视点彩色图像和与该多视点彩色图像对应的深度图像。多视点彩色图像指示多个具有不同的视点的彩色图像。视点可与单个基线上的不同的位置对应。深度图像可以是与所述多个彩色图像对应的深度图像。作为示例，视点处的视图可包括视点处的彩色图像和深度图像。此外，基础图像产生器110接收基础位置。

稍后将参照图11A至图11F描述多视点彩色图像和深度图像。

在操作220，基础图像产生器110基于多视点彩色图像和与该多视点彩色图像对应的深度图像产生基础图像。

基础图像指示包括将基于多视点彩色图像和深度图像产生的至少一个光场(LF)图像的闭塞区域的图像。可选择地，基础图像指示包括将基于多视点彩色图像和深度图像产生的至少一个LF图像的所有闭塞区域的图像。

此外，基础图像是指这样的图像：除了包括基础图像的闭塞区域的单个LF图像之外，在将基于彩色图像和深度图像产生的至少一个LF图像中不存在包括闭塞区域的其他LF图像。作为示例，基于将基于彩色图像和深度图像产生的至少一个LF图像的闭塞区域的包含关系，确定基础图像。

另外，基础图像是指这样的图像，在该图像中，从将基于多视点彩色图像和深度图像产生的具有不同的视点的彩色图像和深度图像恢复了所有闭塞区域或一部分闭塞区域。基础图像包括基础彩色图像和与基础彩色图像的深度图像对应的基础深度图像。基础彩色图像指示基础图像的色彩。基础深度图像指示基础图像的深度。

在操作230，闭塞区域恢复器120对产生的基础图像内的闭塞区域进行恢复。

闭塞区域是指彩色值或深度值未知的区域。彩色图像和深度图像包括二维(2D)信息。因此，当彩色图像和深度图像的视点改变时，可显示被场景内的前景闭塞的一部分前景或背景。然而，彩色图像和深度图像可不包括关于闭塞的部分的信息，例如，闭塞的部分的彩色值和深度值。因此，闭塞的部分可被表示为通过视点的改变而产生的彩色图像和深度图像内的闭塞区域。

在操作240，输出图像产生器130基于恢复了闭塞区域的基础图像产生输出图像。

输出图像是指具有与彩色图像和深度图像的视点不同的视点的图像。输出图像可以是彩色图像。此外，输出图像包括输出的彩色图像和输出的深度图像。

输出图像可以是光场(LF)图像。作为示例，当与输入的多视点彩色图像和深度图像的视点比较时，输出图像的视点可以是在垂直方向和水平方向上不同的视点。垂直方向和水平方向是指针对由多视点彩色图像和深度图像表示的场景的方向。

输出图像产生器130通过将插值应用到多个产生的基础图像来产生输出图像。输出图像产生器130输出产生的输出图像。

输出图像产生器130可以是投影器。输出图像产生器130是用于图像处理的设备100的内部组成，或经由线缆或网络与用于图像处理的设备100连接的外部组件。

图3示出根据一些示例实施例的基础图像产生器110。

参照图3，基础图像产生器110包括位置确定器310和图像产生器320。

将参照图4描述位置确定器310和图像产生器320。

图4示出根据一些示例实施例的产生基础图像的方法。

参照图2至图4，在图2的操作220描述的基础图像的产生可包括操作410和操作420。

在操作410，位置确定器310确定基础图像的位置。基础图像的位置指示基础图像的视点。如在此的使用，“基础图像或图像的位置”与“基础图像或图像的视点”可互换。

位置确定器310将由用于图像处理的设备100产生的图像的位置中至少一个位置确定为基础图像的位置。例如，位置确定器310从由用于图像处理的设备100产生的图像中确定基础图像，并将确定的图像的位置确定为基础图像的位置。

位置确定器130从由用于基于输入的彩色图像和与该彩色图像对应的深度图像进行图像处理的设备100产生的图像中，将具有最大量的闭塞信息的图像的位置确定为基础图像的位置。作为示例，位置确定器310基于将由基于输入的彩色图像和与该彩色图像对应的深度图像进行图像处理的设备100产生图像的闭塞区域，确定基础图像的位置。

闭塞信息是指关于闭塞区域的信息。具有最大量的闭塞信息的图像是指包括最大闭塞区域的图像。

位置确定器310从多个位置中选择两端处的位置作为基础图像的位置。多个基础图像可以是将基于多视点彩色图像和与该多视点彩色图像对应的深度图像产生的至少一个图像中的最左边的LF图像和最右边的LF图像。

在确定基础图像的位置时，位置确定器310负责对输出图像进行输出的输出产生器130进行旋转。

位置确定器310可从多个位置中选择光线(ray)的方向偏离最多的图像的位置选作基础图像的位置。光线的方向偏离最多的图像的数量可以是两个。作为示例，基础图像可以是将基于多视点彩色图像和与该多视点彩色图像对应的深度图像产生的至少一个图像中的、光线的方向偏离最多的图像。作为示例，基于将基于多视点彩色图像和与该多视点彩色图像对应的深度图像产生的至少一个图像的光线的方向选择基础图像。

可通过将具有相同的光的透视光成像为单个组来获得基础图像。可选择地，可通过将具有相同的光方向和不同的光源的正交光成像为单个组来获得基础图像。

将由前述的用于图像处理的设备100产生的图像可以是LF图像。由多视点彩色图像和深度图像确定将由用于图像处理的设备100产生的图像。作为示例，位置确定器310把将基于多视点彩色图像和深度图像产生的图像的至少一个位置确定为基础图像的位置。

在操作420，图像产生器320基于多视点彩色图像和与该多视点彩色图像对应的深度图像产生确定的位置的基础图像。产生的基础图像可以是LF图像。将参照图5和图6讨论基础图像的产生。

图5示出根据一些示例实施例的图像合并器320。图6示出根据一些示例实施例的将图像合并以产生基础图像的方法。

参照图3至图6，图3的图像合并器320可包括图像转换器510和图像合并器520。

在操作610，图像转换器510通过将彩色图像和与该彩色图像对应的深度图像转换为在操作410确定的位置处的视点的图像，来产生视点被转换后的图像。视点被转换后的图像包括具有确定的位置的视点的彩色图像和深度图像。作为示例，视点被转换后的图像包括视点被转换后的彩色图像和视点被转换后的深度图像。视点被转换后的多个图像包括在彩色和深度方面的不同的信息。

针对多视点彩色图像和与该多视点彩色图像对应的深度图像，图像转换器510将每个彩色图像和每个与多视点彩色图像对应的深度图像转换为在操作410确定的位置处的视点的图像，并产生视点被转换为确定的位置处的视点的多个图像。确定的位置处的视点可以是基础图像的视点。

对于输入了三个多视点彩色图像和三个深度图像的情况，稍后将参照图12A至图12F描述视点被转换后的三个彩色图像和三个深度图像。

在操作620，图像合并器520将视点被转换后的多个图像合并，并产生在操作410确定的位置处的合并的基础图像。视点被转换后的多个图像的合并可指示对具有转换后的视点的多个图像进行集成。

视点被转换后的多个图像包括不同的闭塞区域。当图像合并器520对视点被转换后的多个图像进行合并时，图像合并器520从视点被转换后的多个图像中选择最近的对象。图像合并器520从与多个像素对应的视点被转换后的多个图像的多个像素中，使用针对基础图像的多个像素的具有最大深度值的像素的数据。作为示例，图像合并器520从与多个像素对应的视点被转换后的多个图像的多个像素中，使用针对所述多个像素的基于深度值选择的像素的数据。

作为示例，图像合并器520从与多个像素对应的视点被转换后的多个图像的第二像素中，将最近的像素的彩色值确定为基础图像的第一像素的彩色值。图像合并器520使用视点被转换后的深度图像确定第二像素中的最近的像素。图像合并器520将确定的最近的像素的彩色值设置为基础图像(或基础彩色图像)的像素的彩色值。通过示例的方式，图像合并器520从视点被转换后的彩色图像的相同的位置处的像素中，将最近的像素的彩色值设置为基础图像(或基础彩色图像)的位置的像素的彩色值。

作为示例，图像合并器520从与多个像素对应的视点被转换后的多个图像的第二像素中，将最近的像素的深度值确定为基础图像的第一像素的深度值。图像合并器520使用视点被转换后的深度图像确定第二像素中的最近像素。图像合并器520将确定的最近像素的深度值确定为基础图像(或基础彩色图像)的像素的深度值。通过示例的方式，图像合并器520从视点被转换后的深度图像的相同位置处的像素中，将最近的像素的深度值设置为基础图像(或基础彩色图像)的位置处的像素的深度值。

作为示例，当图像合并器520将视点被转换后的多个图像合并时，图像合并器520从视点被转换后的多个图像中选择最突出的对象。最突出的对象是指距离观看者的视点最近的对象。此外，最突出的对象是指深度最小或最大的对象。

稍后将参照图13A至图13F描述通过进行合并而产生的具有不同的视点的三个基础对象。

图7示出根据一些示例实施例的针对透视LF产生基础图像的方法。

相机图像空间中的多视点图像示出在图7的右手边。三个输入图像以从多个点开始的三角形的形式被示出为多视点图像。三个输入图像的视点可以是基础线上的不同的视点。每个输入图像包括彩色图像和深度图像。

LF图像中的多个基础图像示出在图7的左手边。第一基础图像和第二基础图像以从多个点开始的三角形的形式被示出为多个基础图像。三角形指示图像的的光源。

指示输入图像的点(以下称为输入图像点)与指示基础图像的点(以下称为基础图像点)之间的线指示输入图像与基础图像之间的依赖关系。输入图像点与基础图像点之间的线指示输入图像用于基础图像的产生。

从输入图像点或基础图像点开始的三角形指示由输入图像和基础图像表示的空间。

多个输入图像可以是通过透视投影而获得的图像。透视投影是如通过单个点进行观看时在表面上的投影。此外，通过透视投影产生多个基础图像。

图8示出根据一些示例实施例的针对正交LF产生基础图像的方法。

相机图像空间中的多视点图像示出在图8的右手边。三个输入图像以从多个点开始的三角形的形式被示出为多视点图像。三个输入图像的视点是基础线上的不同的视点。每个输入图像包括彩色图像和深度图像。

LF图像空间中的多个基础图像示出在图8的左手边。第一基础图像和第二基础图像均以平行四边形的边(face)的形式被示出为多个基础图像。第一基础图像的第二基础图像的左侧的垂直边表示平行光源的线。

多个输入图像可以是通过透视投影而获得的图像。此外，通过正交投影产生多个基础图像。正交投影以二维对三维对象进行投影，其中，所有投影线与投影平面正交。

图9示出根据一些示例实施例的计算LF像素的方法。

参照图5和图9，图像转换器510基于相机固有参数将输入图像的像素或像素的坐标转换为相机坐标。稍后将参照图10A描述到相机坐标的转换。

图像转换器510基于相机外部参数将相机坐标转换为世界坐标。稍后将参照图10B描述到世界坐标的转换

图像转换器510基于LF外部参数将世界坐标转换为LF坐标。稍后将参照图10C描述到LF坐标的转换。

图像转换器510基于LF固有参数将LF坐标转换为LF像素。图像转换器510从LF图像内的像素中确定与计算出的LF坐标对应的像素。

图像转换器510基于LF的类型通过正交投影或透视投影来将计算出的LF坐标映射到LF图像内的期望的(或可选择地，预定的)坐标。可选择地，图像转换器510基于LF的类型通过正交投影或透视投影将计算出的LF坐标映射到LF图像内的像素中的单个像素。通过映射产生LF图像内的LF像素。

稍后将参照图10D和图10E描述基于正交投影或透视投影的到像素的映射。图10A示出根据一些示例实施例的到相机坐标的转换。

参照图10A，输入图像内的位置(i_c,j_j,d_ij)处的像素1011被转换为相机坐标系统1010中的坐标1012(x_c,y_c,z_c)。

输入图像内的位置(i_c,j_j,d_ij)中的“i_c,j_j,d_ij”分别表示像素的水平位置、像素的垂直位置和像素的深度。

如图10A所示的三角形与输入图像的区域对应。

图10B示出根据一些示例实施例的到世界坐标的转换。

参照图10B，相机坐标系统1010的坐标1012(x_c,y_c,z_c)被转换为世界坐标系统1020中的坐标1021(x,y,z)。

图10B所示的三角形与输入图像的区域对应。

图10C示出根据一些示例实施例的到LF坐标的转换。

参照图10C，世界坐标1020中的坐标1021(x,y,z)被转换为LF坐标系统1030中的坐标1031(x_LF,y_LF,z_LF)。

图10D示出根据一些示例实施例的基于正交投影的像素映射。

参照图10D，LF坐标系统1030中的坐标(x_LF,y_LF,z_LF)通过正交投影被映射到LF图像内的位置(i_LF,j_LF)处的像素1041。

LF图像内的位置(i_LF,j_LF)中的“i_LF和j_LF”分别表示像素的水平位置和像素的垂直位置。

如图10D所示的正方形与基础图像的区域对应。

图10E示出根据一些示例实施例的基于透视投影的像素映射。

参照图10E，LF坐标系统1030中的坐标1051(x_LF,y_LF,z_LF)通过透视投影被映射到LF图像内的位置(i_LF,j_LF)处的像素1031。

如图10E所示的三角形1052与基础图像的区域对应。

图11A至图11F示出根据一些示例实施例的三个输入彩色图像和三个深度图像。

参照图11A至图11F，多视点彩色图像包括第一输入彩色图像、第二输入彩色图像和第三输入彩色图像，多视图深度图像包括第一输入深度图像、第二输入深度图像和第三输入深度图像。

第一输入彩色图像和第一输入深度图像构成第一视点图像或第一输入图像。第二输入彩色图像和第二输入深度图像构成第二视点图像或第二输入图像。第三输入彩色图像和第三输入深度图像构成第三视点图像或第三输入图像。

参照图11A至图11F，前景中的对象被示出为以圆形或球形的形式被提供。背景示出为黑色。

图11A示出根据一些示例实施例的第一输入彩色图像。

参照图11A，第一输入彩色图像是多视点彩色图像中的左视点或最左边的视点处的彩色图像。

在第一输入彩色图像中，前景中的圆形对象被示出为朝着右侧倾斜。前景中的对象的深度值越大或距离捕捉点越近，前景中的对象越靠近右侧。

图11B示出根据一些示例实施例的第一输入深度图像。

参照图11B，第一输入深度图像是与第一输入彩色图像对应的深度图像。第一输入深度图像是多视点深度图像中的左视点或最左边的视点处的深度图像。

在第一深度图像中，浅色部分指示具有大深度值的部分或距离捕捉点较近的部分。相对更深颜色部分指示具有小深度值的部分或距离捕捉点更远的部分。

图11C示出根据一些示例实施例的第二输入彩色图像。

参照图11C，第一输入彩色图像是多视点彩色图像中的中心视点处的彩色图像。

在第一彩色图像中，前景中的圆形对象被示出为处于彩色图像的中心处。前景中的对象中的具有较小深度值的对象(例如，距离捕捉点更远的对象)被具有更大的深度值的对象(例如，距离捕捉点更近的对象)闭塞。

图11D示出根据一些示例实施例的第二输入深度图像。

参照图11D，第二输入深度图像是与第二输入彩色图像对应的深度图像。第二输入深度图像是多视点深度图像中的中央视点处的深度图像。

在第二深度图像中，浅色部分指示具有大深度值的部分或距离捕捉点更近的部分。相对更深颜色部分指示具有小深度值的部分或距离捕捉点更远的部分。

图11E示出根据一些示例实施例的第三输入彩色图像。

参照图11E，第三输入彩色图像是多视点彩色图像中的右侧视点或最右侧视点处的彩色图像。

在第三输入彩色图像中，前景中的圆形对象被示出为朝着左侧倾斜。前景中的对象的深度值越大或者距离捕捉点越近，前景中的对象距离左侧越近。

图11F示出根据一些示例实施例的第三输入深度图像。

参照图11F，第三输入深度图像是与第三输入彩色图像对应的深度图像。第三输入深度图像是多视点深度图像中的右侧视点或最右侧视点处的深度图像。

在第三输入深度图像中，浅色部分指示具有大深度值的部分或距离捕捉点更近的部分。相对更深颜色部分指示具有较小深度值的部分或距离捕捉点更远的部分。

图12A至图12F示出根据一些实施例的视点被转换为基础图像的视点的三个彩色图像和三个深度图像。

参照图12A至图12F，示出了视点已被转换为基础图像的视点的三个彩色图像以及视点已被转换为基础图像的视点的三个深度图像。转换后的视点可以是与由位置确定器310确定的位置对应的视点。

图像转换器510产生视点被转换后的彩色图像和视点被转换后的深度图像。

位置确定器310将至少一个位置确定为将被产生的基础图像的位置。如图12A至图12F所示的视点被转换后的三个彩色图像和视点被转换后的三个深度图像的视点是与三个确定的位置中的左侧位置或最左侧位置对应的视点。例如，如图12A至图12F所示的视点被转换后的三个彩色图像以及视点被转换后的三个深度图像的视点是第一基础图像的视点。

产生的视点被转换后的彩色图像的数量与多视点彩色图像输入的数量对应。此外，视点被转换后的产生的深度图像的数量与多视点深度图像的数量对应。

在图12A、图12C和图12E中，多视点彩色图像(例如，第一输入彩色图像、第二输入彩色图像和第三输入彩色图像)被示出为视点被转换为基础图像的视点的彩色图像。

图12A示出根据一些示例实施例的视点被转换后的第一彩色图像。

视点被转换后的第一彩色图像是通过将图11A的第一输入彩色图像的视点转换为基础图像的视点而产生图像。

第一输入彩色图像的前景中的一部分对象被前景中的另一对象闭塞，闭塞的区域通过视点的转换被产生在视点被转换后的第一彩色图像中。闭塞的区域在视点被转换后的第一彩色图像内用黑色指示。此外，在稍后讨论的图12B至图12F中用黑色指示闭塞的区域。

图12B示出根据一些示例实施例的视点被转换后的第一深度图像。

视点被转换后的第一深度图像是通过将图11B的第一输入深度图像的视点转换为基础图像的视点而产生的图像。

第一输入深度图像的前景中的一部分对象被前景中的另一对象闭塞，闭塞的区域通过视点的转换产生在视点被转换后的第一深度图像中。

图12C示出根据一些示例实施例的视点被转换后的第二彩色图像。

视点被转换后的第二彩色图像是通过将图11C的第二输入彩色图像的视点转换为基础图像的视点而产生的图像。

第二输入彩色图像的前景中的一部分对象被前景中的另一对象闭塞，闭塞的区域通过视点的转换被产生在视点被转换后的第二彩色图像中。

图12D示出根据一些示例实施例的视点被转换后的第二深度图像。

视点被转换后的第二深度图像是通过将图11D的第二输入深度图像的视点转换为基础图像的视点而产生的图像。

第二输入深度图像的前景中的一部分对象被前景中的另一对象闭塞，闭塞的区域通过视点的转换被产生在视点被转换后的第二深度图像中。

图12E示出根据一些示例实施例的视点被转换后的第三彩色图像。

视点被转换后的第三彩色图像是通过将图11E的第三输入彩色图像的视点转换为基础图像的视点而产生的图像。

第三输入彩色图像的前景中的一部分对象被前景中的另一对象闭塞，闭塞的区域通过视点转换被产生在视点被转换后的第三彩色图像中。

图12F示出根据一些示例实施例的视点被转换后的第三深度图像。

视点被转换后的第三深度图像是通过将图11F的第三输入深度图像的视点转换为基础图像的视点而产生的图像。

第三输入深度图像的前景中的一部分对象被前景中的另一对象闭塞，闭塞的区域通过视点的转换被产生在视点被转换后的第三深度图像中。

图13A至图13F示出根据一些示例实施例的三个基础图像。

如上所述，位置确定器310将至少一个位置确定为将被产生的基础图像的位置。图11A至图11F示出了这样的实例，其中，三个位置被确定为基础图像的位置，与所述三个位置对应的基础图像被产生。

在透视模式下，位置确定器310将基础图像的位置确定为与最外侧边缘处的光源对应的位置和与中心处的光源对应的位置。最左侧光源、中心光源和最右侧光源的位置被确定为基础图像的位置。

与三个位置中的左侧位置对应的第一基础图像包括图13A中的第一基础彩色图像和图13B中的第二基础深度图像。与中心位置对应的第二基础图像包括图13C中的第二基础彩色图像和图13D中的第二基础深度图像。与右侧位置对应的第三基础图像包括图13E中的第三基础彩色图像和图13F中的第三基础深度图像。

图13A示出根据一些示例实施例的第一基础彩色图像。

第一基础彩色图像表示第一基础图像的色彩。

图像合并器520将图12A的视点被转换后的第一彩色图像、图12C的视点被转换后的第二彩色图像以及图12E的视点被转换后的第三彩色图像合并，并产生第一基础彩色图像。

图13B示出根据一些示例实施例的第一基础深度图像。

第一基础深度图像表示第一基础图像的深度。

图像合并器520将图12B的使用转换后的视点转换的第一深度图像、图12D的视点被转换后的第二深度图像以及图12F的视点被转换后的第三深度图像合并，并产生第一基础深度图像。

图13C示出根据一些示例实施例的第二基础彩色图像。

第二基础彩色图像表示第二基础图像的色彩。通过将视点被转换为第二基础图像的视点的彩色图像合并来产生第二基础彩色图像。

图13D示出根据一些示例实施例的第二基础深度图像。

第二基础深度图像表示第二基础图像的深度。通过将视点被转换为第二基础图像的视点的深度图像合并来产生第二深度图像。

图13E示出根据一些示例实施例的第三基础彩色图像。

第三基础彩色图像表示第三基础图像的色彩。通过将视点被转换为第三基础图像的视点的彩色图像合并来产生第三基础彩色图像。

图13F示出根据一些示例实施例的第三基础深度图像。

第三基础深度图像表示第三基础图像的深度。通过将视点被转换为第三基础图像的视点的深度图像合并来产生第三基础深度图像。

图14示出根据一些示例实施例的闭塞区域恢复器。图15示出根据一些示例实施例的对闭塞区域进行恢复的方法。

参照图1、图2、图14和图15，如参照图2所讨论，在操作230，闭塞区域恢复器120对闭塞区域进行恢复。

闭塞区域恢复器120包括闭塞区域检测器1410、深度层产生器1420和闭塞区域估计器1430。

基础图像包括闭塞区域，在输入的多视点彩色图像和深度图像中不提供关于闭塞区域的信息。

基础图像包括将由用于图像处理的设备100产生的LF图像中的最多数量的闭塞区域。因此，当基础图像的闭塞区域被恢复时，关于恢复的区域的信息用于产生另一LF图像。

在操作1510，闭塞区域检测器1410在基础图像中检测闭塞区域。

基于视点被转换的多个图像产生基础图像。然而，针对基础图像的视点可能存在这样的区域，在该区域中，视点被转换的多个图像中的任何图像都不提供基础图像的产生所需的信息。如在此使用，所述信息包括区域或区域中的像素的彩色值和深度值。闭塞区域是指基础图像内的缺少信息的区域。

闭塞区域检测器1410将基础图像的像素中的彩色值和深度值未被设置的像素检测为闭塞区域。通过映射来设置基础图像的像素的彩色值和深度值。将被映射到基础彩色图像的第一像素的像素是具有与视点被转换的彩色图像的第一像素相同的坐标值的第二像素中的最近的像素。将被映射到基础深度图像的第三像素的像素是具有与视点被转换的深度图像的第三像素相同的坐标值的第四像素中的最近的像素。

在操作1520，深度层产生器1420基于基础图像的基础深度图像针对基础图像确定深度层。深度层产生器1420将具有相同的深度值或相似的深度值的像素组合(group)为单个深度层。作为示例，深度层将具有相同的深度值或相似的深度值的像素的区域表示为层。

深度层产生器1420将基础图像的像素划分为至少一个层。在前述的像素的划分中，深度层产生器1420将具有相同的深度值或相似的深度值的像素组合为单个深度层。例如，通过将具有相同的深度值或相似的深度值的邻近像素划分为多个层来获得至少一个深度层。

如在此使用，相似的深度值是指在期望的(或可选择地，预定的)范围内的深度值。范围的中心对应于与深度层对应的像素的均值或中值。范围可以是适合于组合为单个深度层的范围，深度值的范围使观看者能够感受到相同的深度感。

可不针对基础图像内的闭塞区域或闭塞区域中的像素确定深度值。深度层产生器1420从与闭塞区域相邻的像素中选择具有最小深度值的像素，将与所述像素对应的深度层确定为闭塞区域的深度层。作为示例，相邻像素可以是与闭塞区域平行的邻近像素。可选择地，针对闭塞区域，深度层产生器1420从与闭塞区域相邻的深度层中选择具有最小深度值的深度层，并将闭塞区域包括在选择的深度层中。作为示例，相邻深度层可以是与闭塞区域平行的邻近深度层。

将参照图16和图17描述包括闭塞区域的深度层的选择。

在操作1530，闭塞区域估计器1430通过基于至少一个深度层中的闭塞区域所属的深度层或与闭塞区域相邻的深度层对闭塞区域进行估计，来恢复闭塞区域。

提供了与闭塞区域相邻的多个深度层。闭塞区域估计器1430使用多个深度层中的具有最小深度值的深度层来恢复闭塞区域。作为示例，闭塞区域估计器1430使用多个深度层中的基于深度值选择的深度层来恢复闭塞区域。

闭塞区域所属的深度层或与闭塞区域相邻的深度层与具有彩色值和深度值的像素对应。

可选择地，闭塞区域所属的深度层或与闭塞区域相邻的深度层包括具有彩色值和深度值的像素。闭塞区域估计器1430通过将纹理合成方法应用于具有闭塞区域所属的深度层的彩色值和深度值的像素，来恢复闭塞区域。作为示例，闭塞区域估计器1430通过将纹理合成方法应用于具有闭塞区域所属的深度层的彩色值和深度值的像素，来将像素的彩色信息和深度信息扩展到闭塞区域。

具有深度层的彩色值和深度值的像素可表示场景的对象。作为示例，闭塞区域估计器1430通过将纹理合成方法应用于关于闭塞区域所属的深度层中表示的对象的信息，来对关于产生深度层的闭塞区域的信息进行恢复。如在此使用，所述信息包括彩色值和深度值。

图16示出根据一些示例实施例的基础彩色图像1600。

基础彩色图像1600包括第一前景区域1610、第二前景区域1620和闭塞区域1630。

用黑色表示闭塞区域1630。

图17示出根据一些示例实施例的基础深度图像1700。

基础深度图像1700是指与图16的基础彩色图像对应的深度图像。

基础深度图像1700包括第一前景深度区域1710、第二前景深度区域1720和闭塞区域1730。

当与第一前景深度区域1710比较时，第二前景深度区域1720相对突出。作为示例，第二前景深度区域1720的深度值可大于第一前景深度区域1710的深度值。

深度层产生器1420将第一前景深度区域1710的区域确定为第一深度层，并且将第二前景深度区域1720的区域确定为第二深度层。

第一前景深度区域1710和第二前景深度区域1720与闭塞区域1730相邻。深度层产生器1420将闭塞区域1730包括在第一深度层1710和第二深度层1720中的具有较小深度值的第一深度层1710中。

当多个深度层与闭塞区域相邻时，多个深度层包括与背景对应的深度层和与前景对应的深度层。深度层产生器1420将闭塞区域包括在与背景对应的深度层和与前景对应的深度层中的与背景对应的深度层中。此外，深度层产生器1420将闭塞区域包括在与前景对应的多个深度层中的具有最小值的深度层中。

图18示出根据一些示例实施例的输出图像产生器的结构。图19示出根据一些示例实施例的产生输出图像的方法。

参照图1、图2、图18和图19，如参照图2所讨论，在操作240，输出图像产生器130产生输出图像。输出图像产生器130包括基础图像确定器1810、LF图像产生器1820和渲染器1830。在操作1910，基础图像确定器1810从多个产生的基础图像中确定用于产生输出图像的基础图像。基础图像确定器1810将从多个基础图像中确定的用于产生输出图像的基础图像指定作为主要基础图像。另外，基础图像确定器1810将多个基础图像中的除确定的基础图像之外的其它基础图像指定为辅助基础图像。作为示例，多个基础图像包括用于产生输出图像的主要基础图像。

基础图像确定器1810从多个产生的基础图像中确定具有最大闭塞区域的基础图像作为用于产生输出图像的基础图像。作为示例，基础图像确定器1810基于闭塞区域的尺寸从多个产生的基础图像中选择用于产生输出图像的基础图像。

此外，基础图像确定器1810将多个基础图像中的在基础图像的视点被转换为输出图像的视点时显示最大闭塞区域的基础图像，确定为用于产生输出图像的基础图像。

当LF图像(例如，输出图像)是透视方法中的图像时，基础图像确定器1810将多个基础图像中的距离光源最近的基础图像确定为用于产生输出图像的基础图像。例如，基础图像确定器1810将基于离光源的距离从多个基础图像中选择的基础图像确定为用于产生输出图像的基础图像。

当LF图像(例如，输出图像)是正交方法中的图像时，基础图像确定器1810计算第一角度和第二角度之间的差。第一角度是指基础图像相对于水平平面的倾斜的角度。第二角度是指对输出图像进行输出的显示器的法向量与光线之间的角度。基础图像确定器1810将多个产生的基础图像中的使第一角度和第二角度之间的差最小化的基础图像确定为用于产生输出图像的基础图像。作为示例，确定的基础图像是指多个基础图像中的第一角度最接近于第二角度的基础图像。可选择地，确定的基础图像是指多个基础图像中的基于第二角度和第一角度选择的基础图像。

在操作1920，LF图像产生器1820基于在操作1910确定的基础图像，产生LF图像(例如，输出图像)。LF图像的视点和基础图像的视点可彼此不同。LF图像产生器1820基于在操作1910确定的基础图像的基础彩色图像和基础深度图像，产生LF图像。

LF图像产生器1820通过将视点插值应用于确定的基础图像来产生LF图像。

在操作1930，渲染器1830在LF图像(例如，输出图像)内渲染闭塞区域，其中，基于多个基础图像中的除确定的基础图像之外的其它基础图像产生所述闭塞区域。渲染器1830在基于以下信息产生的LF图像内渲染闭塞区域：1)关于辅助基础图像的基础彩色图像的彩色值的信息以及2)关于辅助基础图像的基础深度图像的深度值的信息。作为示例，为了在LF图像内渲染闭塞区域，使用关于多个基础图像中的除用于产生LF图像的基础图像以外的其它基础图像的信息。关于基础图像的信息包括关于由基础图像包括的基础彩色图像的彩色值的信息以及关于由基础图像包括的基础深度图像的深度值的信息。

在操作1910选择的基础图像是指包括最大闭塞区域的图像。因此，基于多个基础图像中的除选择的基础图像之外的其它基础图像产生的LF图像可不包括新的闭塞区域或额外的闭塞区域。因此，渲染器1830可不使用恢复闭塞区域的额外的方法。

如上所述，通过将视点插值应用于基础图像来产生输出图像。因此，输出图像产生器130通过对基础图像的像素执行移位操作来产生输出图像。此外，输出图像产生器130在产生输出图像时使用集成的单个闭塞区域。因此，在恢复闭塞区域时，可实现输出图像中的一致性。

根据另一示例性实施例，光场图像可以是是四维图像，并且产生光场图像的方法包括：基于深度图像将多个输入图像合并为光场基础图像，光场基础图像具有其中缺少像素值的至少一个闭塞区域；检测与光场基础图像关联的至少一个闭塞区域；通过基于光场基础图像的闭塞区域的深度对所述闭塞区域中的像素值进行恢复来形成恢复的光场基础图像；对恢复的光场基础图像中的像素进行移位来产生光场图像。

图20A示出根据一些示例实施例的第一基础图像2010。

图20A的第一基础图像2010是指在输出图像通过透视投影被显示时的基础图像。第一基础图像2010是指在输出产生器130或显示器是透视类型的设备时的基础图像。

在图20A中，第一基础图像2010包括前景中的两个对象。第一对象被指示为区域2011和区域2012。第二对象被指示为区域2013。第二对象是相对突出的对象，第一对象是布置得相对靠后的对象。

图20B示出根据一些示例实施例的第二基础图像2020。

图20B的第二基础图像2020是指在输出图像通过透视投影被显示时的基础图像。第二基础图像2020是指在输出产生器130或显示器是透视类型的设备的基础图像。

第一基础图像2010和第二基础图像2010具有不同的视点。

如图20A和图20B所述，第一基础图像2010和第二基础图像2020中的闭塞区域可彼此不同。

图20C示出根据一些示例实施例的基于第一基础图像2010产生的LF图像2030。

基于第一基础图像2010产生的LF图像2030包括闭塞区域2032和2033。

第一基础图像2010包括前景中的两个对象。第一对象被指示为区域2011和区域2012。第二对象被指示为区域2013。

点2031与LF图像2030的视点或输出点对应。

图20D示出根据一些示例实施例的基于第二基础图像2020产生的LF图像2040。

基于第二基础图像2020产生的LF图像2040包括闭塞区域2042和2043。

点2041与LF图像2040的视点或输出点对应。

如图20C和图20D所示，基于不同的基础图像产生的LF图像的闭塞区域彼此不同。

作为示例，当第一基础图像2010被确定为主要基础图像时，闭塞区域2032和2033存在于基于第一基础图像2010产生的LF图像2030中。从诸如第二基础图像2020的其他基础图像获得关于闭塞区域2032和2033的信息。

图21A示出根据一些示例实施例的第一基础图像2110。

参照图21A，第一基础图像2110是指在输出图像通过正交投影被显示时的基础图像。第一基础图像2110是指在输出产生器或显示器是正交类型的设备时的基础图像。

在图21A中，第一基础图像2110包括前景中的两个对象(即，区域2111和区域2112中的第一对象)。第二对象被指示为区域2113。第二对象是相对突出的对象，并且第一对象是布置得相对靠后的对象。

图21B示出根据示例实施例的基于第一基础图像2110产生的LF图像2120。

参照图21B，基于第一基础图像2110产生的LF图像2120包括闭塞区域2121。

图21C示出根据一些示例实施例的第二基础图像2130。

参照图21C，第二基础图像2130是指在输出图像通过正交投影被显示时的基础图像。第二基础图像2130是指在输出产生器130或显示器是正交类型的设备时的基础图像。

第二基础图像2130还包括前景中的两个对象。第一对象被指示为区域2131，第二对象被指示为区域2132。

第一基础图像2110和第二基础图像2130具有不同的视点。

图21D示出根据一些示例实施例的基于第二基础图像2130产生的LF图像2140。

参照图21D，基于第二基础图像2130产生的LF图像2140包括闭塞区域2141。

如图21B和图21D所述，基于不同的基础图像产生的LF图像的闭塞区域彼此不同。

当第一对象相对突出并且第二对象被布置得相对靠后时，第一基础图像2110和第二基础图像2130的突出区域可彼此不同。如图21B所示，基于第一基础图像2110的基础深度图像产生新的LF图像(诸如，LF图像2120)。此外，如图21D所示，基于第二基础图像2130的基础深度图像产生新的LF图像(诸如，LF图像2140)。

便携式装置可包括移动通信装置，诸如，个人数字蜂窝(PDC)电话，个人通信服务(PCS)电话、个人手持电话系统(PHS)电话、码分多址(CDMA)-2000(1x、3x)电话、宽带CDMA电话、双频带/双模式电话、全球移动通信系统(GSM)电话、移动宽带系统(MBS)电话、卫星/地面数字多媒体广播(DMB)电话、智能电话、蜂窝电话、个人数字助理(PDA)、MP3播放器、便携式媒体播放器(PMP)、自动导航系统(例如，全球定位系统)等。此外，如在整个说明书中使用的便携式装置包括数字相机、等离子显示面板等。

根据上述实施例的用于图像处理的方法可被记录在包括用于实现由计算机实施的各种操作的程序指令的非暂时性计算机可读介质中。所述介质还可包括单独的程序命令、数据文件和数据结构等或者包括其组合。记录到介质的程序指令可以是专门设计和构建为用于实施例的目的的程序指令，或者可以是计算机软件领域的技术人员熟知和可用的类型。非暂时性计算机可读记录介质的示例包括磁介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，CD-ROM盘和DVD)、磁光介质(诸如，光盘)和被专门配置为存储和执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)和闪存)等。计算机可读介质还可分布于网络，从而以分布的方式存储和执行程序指令。可通过一个或更多个处理器执行程序指令。计算机可读介质还可被实施在执行(像处理器一样处理)程序指令的至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)中。程序指令的示例包括诸如由编译器产生的机器代码以及包含可由计算机使用解释器执行的高级代码的文件。所述硬件装置可被配置为用作一个或更多个软件模块，以便执行上述实施例的操作，反之亦然。

尽管已示出和描述了示例实施例，但是本领域的技术人员将理解，在不脱离本公开的原理和精神的情况下，可在这些示例实施例中进行改变，其中，本公开的范围由权利要求及其等同物来限定。

Claims

1.一种用于图像处理的方法，所述方法包括：

基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生基础图像，其中，基础图像包括闭塞区域；

对基础图像中的闭塞区域中的一个或更多个闭塞区域进行恢复；

基于闭塞区域被恢复后的基础图像产生输出图像。

2.如权利要求1所述的方法，其中，基础图像基于闭塞区域的包含关系来确定。

3.如权利要求1所述的方法，其中，产生基础图像的步骤包括产生多个基础图像，并且，

所述多个基础图像与基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生的至少一个图像中的最左边的图像和最右边的图像中的至少一个对应。

4.如权利要求1所述的方法，其中，基础图像基于输出图像的光线的方向来选择。

5.如权利要求1所述的方法，其中，产生基础图像的步骤包括：

基于闭塞区域确定基础图像的位置；

基于多视点彩色图像和深度图像产生确定的位置的基础图像。

6.如权利要求5所述的方法，其中，产生基础图像的步骤包括：

通过将多视点彩色图像和深度图像转换为确定的位置处的视点的图像来产生转换后的图像；

通过将转换后的图像合并来产生确定的位置的基础图像。

7.如权利要求6所述的方法，还包括：

从转换后的图像的像素中选择基于深度值的像素，其中，产生基础图像的步骤使用来自选择的像素的数据作为多个像素的数据来产生基础图像。

8.如权利要求1所述的方法，其中，对基础图像中的闭塞区域进行恢复的步骤包括：

检测基础图像中的闭塞区域；

基于基础深度图像针对基础图像产生至少一个深度层，其中，基础深度图像表示基础图像的深度；

基于所述至少一个深度层中的与闭塞区域相邻的一个深度层来恢复闭塞区域。

9.如权利要求1所述的方法，其中，对基础图像中的闭塞区域进行恢复的步骤包括：

检测基础图像中的闭塞区域；

产生与闭塞区域相邻的多个深度层；

基于来自所述多个相邻深度层中的至少一个深度层之一来恢复闭塞区域。

10.如权利要求8所述的方法，其中，针对包括闭塞区域的深度层通过纹理合成来恢复闭塞区域。

11.如权利要求1所述的方法，其中，产生基础图像的步骤包括产生多个基础图像，并且，

所述多个基础图像包括用于产生输出图像的主要基础图像。

12.如权利要求11所述的方法，其中，主要基础图像是基于闭塞区域的尺寸从所述多个基础图像中选择的基础图像。

13.如权利要求11所述的方法，其中，主要基础图像是基于离光源的距离从所述多个基础图像中选择的基础图像。

14.如权利要求11所述的方法，其中，主要基础图像是基于第二角度和第一角度从所述多个基础图像中选择的基础图像，其中，主要基础图像具有最小的第一角度和第二角度之间的差，

第一角度是基础图像相对于水平平面的倾斜的角度，

第二角度是对输出图像进行输出的显示器的法向量与光线之间的角度。

15.如权利要求11所述的方法，其中，产生输出图像的步骤包括：

确定主要基础图像；

基于确定的主要基础图像产生输出图像；

基于所述多个图像中除主要基础图像之外的其它基础图像对输出图像中的闭塞区域进行渲染。

16.如权利要求15所述的方法，其中，输出图像是光场图像。

17.如权利要求16所述的方法，其中，产生输出图像的步骤包括将视点插值应用于主要基础图像。

18.一种图像处理设备，包括：

基础图像产生器，被配置为基于多视点彩色图像和与所述多视点彩色图像对应的深度图像产生基础图像，其中，基础图像包括闭塞区域；

闭塞区域恢复器，被配置为对基础图像中的闭塞区域进行恢复；

输出图像产生器，被配置为基于闭塞区域被恢复后的基础图像产生输出图像。

19.一种产生光场图像的方法，其中，光场图像是四维图像，所述方法包括：

基于深度图像将多个输入图像合并为光场基础图像，光场基础图像具有其中缺少像素值的至少一个闭塞区域；

检测与光场基础图像关联的至少一个闭塞区域；

通过基于光场基础图像的闭塞区域的深度对所述闭塞区域中的像素值进行恢复来形成恢复的光场基础图像；

对恢复的光场基础图像中的像素进行移位来产生光场图像。