CN106507089B - 用于生成图像的方法和设备 - Google Patents

Abstract

一种用于生成图像的方法和设备。可基于以面板图像为基础生成预测的3D图像的操作，将预测的3D图像与源图像进行比较，并调整面板图像以减小预测的3D图像与源图像之间的差别，从而生成面板图像，其中，所述面板图像可在显示设备中被显示，以显示与源图像的差别减小的3D图像。可迭代地执行此处理。可基于在卷积运算中向面板图像应用卷积核的操作来生成预测的3D图像。卷积核可基于第一函数和第二函数。第一函数可与面板图像的一个或更多个视野的亮度分布关联。第二函数可与面板图像像素的亮度的高斯分布关联。

Description

用于生成图像的方法和设备

本申请要求保护于2015年9月7日在韩国知识产权局提交的第10-2015-0126198号韩国专利申请和于2016年1月13日在韩国知识产权局提交的第10-2016-0004117号韩国专利申请，所述两个申请的全部内容通过引用其全部而包含于此。

技术领域

至少一个示例实施例涉及生成图像。

背景技术

在一些情况下，可从光场设备向观看者(在本文中也被称为“用户”)提供三维(3D)图像。光场设备可基于生成立体图像使得向用户的各只眼显示场景的不同图像以致用户察觉到场景的3D视图来向用户提供3D图像。

在一些情况下，向用户的各只眼显示不同图像的操作可包括将不同的光场导向用户的各只眼，其中，不同的光场对应于不同的图像。可使用眼镜型方法将不同的光场导向用户的各只眼，其中，眼睛型方法包括使用基于偏振的划分、时分和用于改变原色波长的波长划分进行过滤。可使用无眼镜方法将不同的光场导向用户的各只眼，其中，无眼镜方法允许使用三维(3D)转换器(诸如，视差屏障、柱状透镜和定向背光单元(BLU))使每个图像仅在特定空间中被观看到。

发明内容

至少一个示例实施例涉及一种图像生成方法。

在至少一个示例实施例中，所述方法可包括：确定与二维(2D)面板图像的一个或更多个视野的亮度分布关联的第一函数；基于距面板图像像素的距离，确定与面板图像像素的亮度的高斯分布关联的第二函数；以及基于二维面板图像、第一函数和第二函数，生成三维(3D)图像。二维面板图像可包括发出多个视野的多个面板图像像素。第一函数可包括基于所述多个视野中的观察到的视野的观察到的面板图像像素相对亮度的正态分布。3D图像可包括与二维面板图像的各个视野对应的多个图像。

可基于源图像来生成二维面板图像，其中，源图像包括与所述各个视野对应的多个图像，所述方法还可包括：基于源图像的一个或更多个像素值与3D图像的一个或更多个像素值之间的差来调整二维面板图像的一个或更多个面板图像像素值。所述方法还可包括：基于第一函数和第二函数来生成卷积核；基于二维面板图像和卷积核来生成预测的3D图像；以及调整二维面板图像的一个或更多个像素值，以减小所确定的源图像的像素值和所述3D图像的像素值之间的差。可通过向源图像应用分数视图计巧方法来确定二维面板图像的初始值。

第一函数可包括视图模板函数，第二函数可包括点扩散函数。

至少一个示例实施例涉及一种图像生成方法。

在至少一个示例实施例中，所述方法可包括：获得与二维(2D)面板图像的源图像的像素值和二维面板图像的三维(3D)图像的像素值之间的差关联的第一代价函数；以及基于第一代价函数来调整二维面板图像的一个或更多个像素值，以减小源图像的像素值和所述3D图像的像素值之间的差。二维面板图像可包括发出多个视野的多个面板图像像素。源图像可包括对应于各个视野的多个图像。3D图像可包括对应于各个视野的多个图像。

调整二维面板图像的一个或更多个像素值的步骤可包括：调整包括在二维面板图像中的像素的值以减小第一代价函数。第一代价函数可包括源图像的像素值与所述3D图像的像素值之间的最小二乘误差。第一代价函数可包括与所述3D图像中的伪像关联的第二代价函数。第二代价函数可以是基于所述3D图像包括中的像素的像素值的变化而被确定的。

源图像可包括各个图像集合，其中，所述各个图像集合中的每个图像集合与距显示视野的显示设备的各个观看距离关联。所述方法还可包括：基于对源图像的每个视野的像素值进行采样的操作，确定二维面板图像的初始像素值。源图像和所述3D图像可以是光场图像。

所述方法还可包括：以距面板图像像素的距离为基础，基于与二维面板图像的一个或更多个视野的亮度分布关联的第一函数和与面板图像像素的亮度的高斯分布关联的第二函数来生成预测的3D图像。所述方法可包括：基于包括二维面板图像、第一函数和第二函数的卷积运算来生成预测的3D图像。

第一函数可包括视图模板函数，第二函数可包括点扩散函数。

至少一个示例实施例涉及一种图像生成方法。

在至少一个示例实施例中，所述方法可包括：接收源图像，其中，源图像包括多个视野；基于源图像来渲染二维(2D)面板图像，其中，二维面板图像包括发出多个视野的多个面板图像像素；以及基于源图像和以二维面板图像为基础生成的预测的3D图像的像素值，迭代地调整二维面板图像的像素值，其中，预测的3D图像是基于与3D显示设备对应的卷积核而被生成的。

源图像可以是针对多个视野的3D图像。卷积核可以是以距面板图像像素的距离为基础，基于与二维面板图像的一个或更多个视野的亮度分布关联的第一函数和与面板图像像素的亮度的高斯分布关联的第二函数而被确定的，其中，二维面板图像包括发出多个视野的多个面板图像像素，第一函数包括基于所述多个视野中的观察到的视野的观察到的面板图像像素相对亮度的正态分布。

迭代地调整二维面板图像的像素值的步骤可包括：基于卷积核来生成预测的3D图像；以及调整二维面板图像的一个或更多个像素值，以减小所确定的源图像的像素值与所述3D图像的像素值之间的差。

基于源图像来渲染二维面板图像的步骤可包括：基于向源图像应用分数视图技巧方法的操作来确定二维面板图像的初始像素值。

迭代地调整二维面板图像的像素值的步骤可包括：调整二维面板图像的一个或更多个像素值，以减小与源图像的像素值和所述3D图像的像素值之间的差关联的代价函数。代价函数可包括以下项中的至少一项：与源图像的像素值和所述3D图像的像素值之间的最小二乘误差关联的第一函数元素，以及与所述3D图像中的伪像关联的第二函数元素。

所述方法还可包括：估计用户距显示二维面板图像的显示设备的观看距离；以及基于估计的观看距离来确定卷积核。

至少一个示例实施例涉及一种图像生成设备。

在至少一个示例实施例中，所述设备可包括：存储器，被构造成存储二维(2D)面板图像，其中，二维面板图像包括发出多个视野的多个面板图像像素；以及处理器，被构造成确定与源图像的像素值和二维面板图像的三维(3D)图像的像素值之间的差关联的代价函数，以及基于所确定的代价函数，调整二维面板图像的一个或更多个像素值。

处理器可调整二维面板图像的一个或更多个像素值，以减小源图像的像素值和二维面板图像的3D图像的像素值之间的差。代价函数可包括以下项中的至少一项：与源图像的像素值和所述3D图像的像素值之间的最小二乘误差关联的第一函数以及与所述3D图像中的伪像关联的第二函数。第二函数可以是基于所述3D图像的像素值的变化而被确定的。

源图像可包括各个图像集合，其中，所述各个图像集合中的每个图像集合与距显示视野的显示设备的各个观看距离关联。处理器可基于对源图像的每个视野的像素值进行采样的操作，确定二维面板图像的初始像素值。

处理器可以以距面板图像像素的距离为基础，基于与二维面板图像的一个或更多个视野的亮度分布关联的第一函数和与面板图像像素的亮度的高斯分布关联的第二函数来生成预测的3D图像。处理器可基于包括二维面板图像、第一函数和第二函数的卷积运算来生成预测的3D图像。第一函数可包括视图模板函数并且第二函数可包括点扩散函数。

至少一个示例实施例涉及一种图像生成设备。

在至少一个示例实施例中，所述设备可包括：通信模块，被构造成接收源图像，其中，源图像包括多个视野；以及处理器，被构造成基于源图像来渲染二维(2D)面板图像，以及基于源图像和以二维面板图像为基础生成的预测的3D图像的像素值，迭代地调整二维面板图像的像素值，其中，二维面板图像包括发出多个视野的多个面板图像像素，预测的3D图像是基于与3D显示设备对应的卷积核而被生成的。

卷积核可以是以距面板图像像素的距离为基础，基于与二维面板图像的一个或更多个视野的亮度分布关联的第一函数和与面板图像像素的亮度的高斯分布关联的第二函数而被确定的，其中，二维面板图像包括发出多个视野的多个面板图像，第一函数包括基于所述多个视野中的观察到的视野的观察到的面板图像像素相对亮度的正态分布。处理器可基于卷积核来生成预测的3D图像，并调整二维面板图像的像素值以减小源图像的像素值和所述3D图像的像素值之间的差。处理器可调整二维面板图像的一个或更多个像素值，以减小与源图像的像素值和所述3D图像的像素值之间差关联的代价函数。代价函数可包括以下项中的至少一项：与源图像的像素值和所述3D图像的像素值之间的最小二乘误差关联的第一函数元素，以及与所述3D图像中的伪像关联的第二函数元素。

处理器可估计用户距显示二维面板图像的显示设备的观看距离并基于估计的观看距离来确定卷积核。

至少一个示例实施例可包括一种设备。所述设备可包括：存储器，存储计算机可读指令；以及处理器，被构造成执行计算机可读指令以进行以下操作：确定与二维(2D)面板图像的一个或更多个视野的亮度分布关联的第一函数，其中，二维面板图像包括发出多个视野的多个面板图像，第一函数包括基于所述多个视野的观察到的视野的观察到的面板图像像素相对亮度的正态分布；基于距面板图像像素的距离，确定与面板图像像素的亮度的高斯分布关联的第二函数；以及基于二维面板图像、第一函数和第二函数来生成三维(3D)图像，其中，所述3D图像包括与二维面板图像的各个视野对应的多个图像。

处理器可被构造成执行计算机可读指令，以基于由相机传感器生成的一个或更多个图像，估计用户距被构造成显示二维面板图像的显示设备的观看距离，并基于估计的观看距离来确定第一函数和第二函数中的至少一个函数。

处理器可被构造成执行计算机可读指令，以基于处理由相机传感器生成的图像流的操作，动态调整估计的观看距离，并基于经过动态调整的估计的观看距离，动态调整第一函数和第二函数中的至少一个函数。

至少一个示例实施例可用无眼镜型方法来播放立体图像，因此减少了在眼镜型方法中因配戴眼镜而可能体验到的不便。根据至少一个示例实施例，多个视图可被分配到面板图像，以输出到显示面板。至少一个示例实施例可提供以下技术：相比于播放立体图像的一般无眼镜型方法，抑制、擦除、减少并/或防止问题，例如，由于按每个视图划分面板图像而导致每个视图的分辨率下降、在每个视图的像素之间的空间中可能出现的黑底、由于视图之间的串扰而导致3D图像的质量下降、以及3D图像的视图数量有限。

示例实施例的另外的方面将在随后的描述中被部分阐述，并且部分将根据描述而清楚，或者可通过本公开的实践而获知。

附图说明

如附图中所示，发明构思的前述和其它特征从发明构思的非限制性实施例的更具体的描述将是清楚地，其中，贯穿不同的附图，相同的参考标号是指相同的部件。附图不一定成比例，而是重点放在示出发明构思的原理。在附图中：

图1是示出根据至少一个示例实施例的图像生成设备和三维(3D)显示设备的示图；

图2A和图2B示出根据至少一个示例实施例的图像转换处理；

图3A、图3B和图3C示出根据至少一个示例实施例的视图分配；

图4示出根据至少一个示例实施例的预测3D图像的操作；

图5A、图5B、图5C、图5D和图5E示出根据至少一个示例实施例的卷积核；

图6是示出根据至少一个示例实施例的使代价函数最小的操作的示图；

图7是示出根据至少一个示例实施例的基于离线确定的代价函数来渲染3D图像的处理的流程图；

图8是示出根据至少一个示例实施例的图像生成设备的示图；

图9是示出根据至少一个示例实施例的基于观看距离来渲染3D图像的处理的流程图；

图10是示出根据至少一个示例实施例的取决于观看距离的视野改变的示图；

图11是示出根据至少一个示例实施例的光的扩散的示图；

图12是示出根据至少一个示例实施例的对3D图像进行建模的方法的流程图；

图13是示出根据至少一个示例实施例的调整面板图像的处理的流程图；以及

图14是示出根据至少一个示例实施例的调整面板图像的另一处理的流程图。

具体实施方式

下文中，将参照附图详细描述一些示例实施例。关于分派给附图中的元件的参考标号，应该注意，只要有可能，就将用相同的参考标号来指定相同的元件，即便它们在不同附图中示出也是如此。另外，在描述实施例时，当认为此描述将使本公开的解释模糊不清时，将省去对已知的相关结构或功能的详细描述。

然而，应该理解，并不意图将本公开限于所公开的特定示例实施例。相反地，示例实施例将涵盖落入示例实施例的范围内的所有修改形式、等同形式和替代形式。在对附图的描述中，相同标号始终是指相同的元件。

另外，这里可使用诸如“第一”、“第二”、A、B、(a)、(b)等的术语来描述组件。这些术语中的每个术语不用于限定对应组件的本质、次序或顺序，而是仅用于将对应组件与其他组件区分开。

这里使用的术语仅出于描述特定实施例的目的，而不旨在是限制。如这里使用的，单数形式也旨在包括复数形式，除非上下文另行清楚指明。还将进一步理解，当术语“包括”、“包括…的”、“包含”和/或“包含…的”在这里使用时指明所叙述的特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或更多个其他特征、整体、步骤、操作、元件、组件和/或其组合的存在或添加。

为了便于描述，这里可使用诸如“在…之下”、“下面”、“下方”、“上面”、“上方”等空间相对术语来描述如图中所示的一个元件或特征与另一元件或特征的关系。应该理解，除了在附图中描绘的方位之外，空间相对术语还意在涵盖装置在使用或操作时的不同方位。例如，如果在附图中装置被翻转，则被描述为在其他元件或特征“下面”或“之下”的元件随后将被定位为在所述其他元件或特征“上面”。因此，术语“下面”可涵盖上面和下面两种方位。所述装置可被另外定位(旋转90度或者在其他方位)，相应地解释这里使用的空间相对描述符。

这里，参照作为示例实施例的理想化实施例(和中间结构)的示意性示图的剖面示图来描述示例实施例。如此，将预料到由于(例如)制造技术和/或容差导致的示图的形状变化。因此，示例实施例应该不被理解为限于这里示出的区域的特定形状，而是将包括由于(例如)制造而导致的形状偏差。例如，被图示为矩形的蚀刻区域或注入区域可具有倒圆或弯曲的特征。因此，图中示出的区域本质是示意性的，并且它们的形状不意图示出装置的区域的实际形状并且不意图限制示例实施例的范围。

除非另有定义，否则这里使用的所有术语(包括技术术语和科技术语)具有与示例实施例所属领域的普通技术人员所通常理解的意思相同的意思。将进一步理解，除非这里明确定义，否则术语(诸如，在通用字典中定义的术语)应该被解释为具有与它们在相关领域的背景下的意思一致的意思，而不将被理想地或过于正式地解释。

尽管可不示出一些剖视图的对应平面图和/或透视图，但这里示出的装置结构的剖视图为多个装置结构提供了支持，其中，所述装置结构如将用平面图示出地沿着两个不同方向延伸，以及/或者将如透视图示出的在三个不同方向上延伸。所述两个不同方向可或者可不彼此正交。所述三个不同方向可包括可与所述两个不同方向正交的第三方向。所述多个装置结构可被集成在同一电子装置中。例如，当用剖视图示出装置结构(例如，存储器单元结构或晶体管结构)时，如将用电子装置的平面图示出的，电子装置可包括多个装置结构(例如，存储器单元结构或晶体管结构)。所述多个装置结构可按照阵列和/或二维图案来布置。

还应该注意，在一些替代实现方式中，所指出的功能/动作可不按附图中指出的次序发生。例如，根据所涉及的功能/动作，连续示出的两个附图可事实上被基本同时执行或者有时可按倒序执行。

下文中将描述的示例实施例可应用于三维(3D)图像的建模。例如，可使用示例实施例提高3D图像的质量。

图1是示出根据至少一个示例实施例的图像生成设备100和3D显示设备200的示图。

参照图1，图像生成设备100包括存储器110和处理器120。3D显示设备200包括显示面板210和图像转换器220。图像生成设备100可将面板图像发送到3D显示设备200。面板图像包括提供给3D显示设备200使得面板图像在显示面板210上被显示的二维图像。3D显示设备200可基于面板图像来输出3D图像。为了基于面板图像输出3D图像，3D显示设备200可在显示面板210上显示面板图像，使得显示面板210向图像转换器220发出光场。图像转换器220接收显示面板发出的光场并且将光场转换成对应于3D图像的一个或更多个光场。图像转换器220将所述一个或更多个光场导向3D显示设备200的外部，其中，所述一个或更多个光场可被用户察觉到。图像转换器220可包括一个或更多个各种图像转换器。例如，图像转换器220可包括视差屏障、柱状透镜和定向背光单元(BLU)中的至少一个。

面板图像指示输出到显示面板210的平面图像。3D图像指示从通过图像转换器220转换得到的面板图像获得的立体图像。这里，生成针对显示面板210的面板图像的操作被称为渲染操作，因此图像生成设备100也可被称为渲染设备。

尽管图像生成设备100与3D显示设备200被分开提供，但图像生成设备100可被包括在3D显示设备200中。例如，3D显示设备200可包括处理器和存储器，并且包括在3D显示设备200中的处理器和存储器可被解释为图像生成设备100。

处理器120可调整面板图像以提高3D图像的质量。调整面板图像的操作可包括调整面板图像的一个或更多个像素的一个或更多个像素值。如这里所表示的，像素的像素值可包括深度值、亮度值、RGB值、颜色值、这些值的某种组合等中的一个或更多个。可按各种方式将处理器120构造为例如单个处理器、多个处理器、硬件加速计(HWA)、或它们的组合。尽管随后进行了详细描述，但处理器120可基于卷积核预测用户将观看到的3D图像。另外，处理器120可调整面板图像，以减小面板图像的源图像或原始图像与预测的3D图像之间的差别。稍后将更详细地描述此操作。

存储器110可存储面板图像、面板图像的源图像和预测的3D图像。处理器120可从存储器110获得面板图像、面板图像的源图像和预测的3D图像。存储器110可存储针对处理器120的运算的数据(诸如，例如各种函数、等式和运算结果)。处理器110随后可使用存储在存储器110中的数据。

图像转换器220可将面板图像转换成3D图像。图像转换器220可包括例如视差屏障、柱状透镜和定向背光单元(BLU)。图像转换器220可控制将通过显示面板210输出的光的透射方向。例如，图像转换器220可将面板图像输出到多个视野(visual field)。通过图像转换器220，可生成多个视图或视野。将参照图2A和图2B详细描述此图像转换处理。

在一些示例实施例中，图像生成设备100可针对不同的图像转换器220生成不同的面板图像。图像生成设备100可与多个不同的图像转换器220通信连接。图像生成设备100可存储指示不同的图像转换器220的各个独特特性的信息。因此，在一些示例实施例中，图像生成设备100可基于公共源图像针对图像转换器220中的每个图像转换器220生成各个面板图像，其中，每个面板图像是根据多个图像转换器220中的特定图像转换器220的所述一个或更多个独特特性而被生成的。

图2A和图2B示出根据至少一个示例实施例的图像转换处理。参照图2A，图像转换器220可将输出到显示面板210(“由显示面板210显示的”)面板图像205转换成3D图像30。3D图像30可包括与3D场景的多个视图对应的图像。例如，如图2A中所示，第一图像31可对应于场景的第一视图，第二图像32可对应于场景的第二视图。可观看到对应于每个视图的图像的区域被称为视野(visual field)。因此，可观看到对应于第一视图的第一图像31的区域被称为第一视野，可观看到对应于第二视图的第二图像32的区域被称为第二视野。例如，如图2B中所示，第一图像31可在第一视野53中可观看到，并且第二图像32可在第二视野55中可观看到。

通过多视图显示方法，可向用户的各只眼辐射(例如，发出、引导等)不同视图的图像，因此，用户可基于观察场景的立体图像而体验到3D效果。例如，如图2B中所示，用户的左眼51可在第一视野53内并且用户的右眼52可在第二视野55内。因此，用户可用左眼51观看第一图像31并且用右眼52观看第二图像32，从而体验到3D图像30带来的3D效果。

“3D效果”可指用户观察到场景的立体图像。3D效果可包括双目视差带来的效果，其中，在双目视差中，用户的各只眼观察与3D图像的各个视图对应的各个视野，使得用户察觉到包括在3D图像中的场景的立体表现。此3D效果可被称为场景的“3D空间印象”。为了生成3D图像30，渲染设备100可基于与根据用于转换显示面板210所显示的面板图像的图像转换器220所显示的3D图像中的视图对应的各种图像，确定显示面板210所显示的面板图像中包括的像素的像素值。

参照图2B，图像转换器220可发出通过显示面板210的像素输出(发出)的光线，以使其均匀扩散到3D空间。针对通过面板图像均匀扩散的所有光线所设计的这种方法可被称为光场显示方法。图像转换器220可包括视差屏障或柱状透镜。如图2B中所示，包括在图像转换器220中的视差屏障或柱状透镜可被构造成与显示面板210中包括的像素阵列倾斜交叉。如图2B中所示，被构造成与像素阵列倾斜交叉的图像转换器220包括相对于显示面板210的像素阵列的像素211成角度的透镜221的阵列。

如以上描述的，可为面板图像分配多个视图。为面板图像分配多个视图的操作可包括下述操作：渲染面板图像，使得如果显示面板210显示面板图像和/或当显示面板210显示面板图像时，图像转换器220将显示面板210所发出的光场转换成与多个视图对应的多个视野。在一些示例实施例中，分配多个视图的操作包括渲染面板图像，其中，面板图像被构造成根据显示面板210的像素阵列中的像素211按照“视图分配的图案”被显示，其中，面板图像的特定像素所发出的光被导向包括3D图像的特定视野。分配视图的方法可与3D图像的质量密切相关。例如，3D图像的质量会受包括在面板图像中的视图的数量和针对面板图像的视图分配的图案影响。将参照图3A和图3B详细地描述此视图分配。

图3A、图3B和图3C示出根据至少一个示例实施例的视图分配。在图3A、图3B和图3C中，示出面板图像的一部分。面板图像300A至300C中包括的多个像素301可被分配到多个视图。参照图3A和图3B，面板图像300A和300B的像素310被分配到第一视图至第九视图。参照图3C，面板图像300C的像素301被分配到第一视图至第三十二视图。当所分配视图的数量增加时，3D空间印象会由于双目视差而增加。3D空间印象根据所分配的视图的数量(质量)增加而增加可指3D图像中的场景的3D空间印象基于场景的各个视图的数量(质量)增加而提高。

图像转换器可将所显示的面板图像的所发出的光场输出到(“转换成”)多个视野。此输出操作可包括根据面板图像的各个像素集合，将面板图像300A至300C的各种区域中的像素301的各种集合所发出的光场划分成各个视野的操作。例如，图像转换器可通过视差屏障、柱状透镜或BLU将面板图像输出到视野。参照图3A、图3B和图3C，面板图像300A至300C的区域(例如，图3A中的面板图像300A的区域251、图3B中的面板图像300B的区域252和图3C中的面板图像300C的区域253)包括对应于第一视图的像素。图像转换器可将区域251、252和253的像素发出的光输出到(“转换成”)第一视野。如在以上描述的，图像转换器可将每个视图的像素所发出的光输出到对应的视野。

图像生成设备100可基于各种图案将视图“分配”到面板图像中包括的多个像素。可基于图案将像素输出到对应的视野。参照图3B和图3C，可分配适于视差屏障或柱状透镜的视图，其中，在视差屏障中，狭缝被设计成对角地布置，在柱状透镜中，中线被设计成对角地布置。在此示例中，基于狭缝的方向是相对于作为纵向方向的方向的对角方向，可减少和/或防止在横向方向上可能出现的分辨率降低，并且可减少视野之间的黑底(blackmatrix)。另外，可降低视野的亮度不均匀性。另外，除了视野的像素之外，还会观察到邻近视野的像素，因此分辨率可增大。基于各种图案向面板图像的像素分配视图的操作可包括：图像转换器被构造成将给定像素图案所发出的光导向特定视野。另外，由于单个视野可具有比原始图像更低的分辨率，因此相对于在没有邻近视野的情况下观看视野，基于观看视野和一个或更多个邻近视野的操作，可能导致对于观看用户而言图像分辨率增大。

如以上描述的，分配到面板图像的视图的数量增加可增强3D图像的3D效果。然而，当视图增加时，对应于视图的图像的分辨率会减小并且3D图像的分辨率也会减小。分辨率的这种劣化会与分配到面板图像的视图的质量成比例地增加。这里，可通过调整面板图像来减少和/或防止3D图像的这种劣化。因此，根据至少一个实施例，可执行基于面板图像预测用户将观看到的3D图像的操作和调整面板图像以减小面板图像的源图像和3D图像之间的差别的操作。将参照图4描述预测3D图像的操作。

图4示出根据至少一个示例实施例的预测3D图像的操作。

参照图4，源图像和3D图像可以是光场图像。光场图像指示包括与多个视图对应的多个图像的图像。例如，光场图像可包括与预设数量的视图对应的图像。

在图4中示出的坐标轴中，k轴指示视图，x轴和y轴指示像素的坐标。例如，如图4中所示，k的值是1的x-y平面中包括的图像指示对应于第一视图的图像，k的值是2的x-y平面中包括的图像指示对应于第二视图的图像。因此，作为光场图像的源图像可包括与多个视图对应的二维(2D)图像。例如，源图像可包括与第一视图对应的第一源图像至与第k视图对应的第k源图像。源图像包括场景的各个“源”2D图像的阵列，其中，各个2D图像与场景的多个视图中的各个视图对应，使得源图像是场景的理想3D图像的表现。通过光场，可提高生成并校正3D图像的便利度和精度。例如，光场的3D效果在将2D图像转换成3D图像的操作中是有用的。

通过图像转换器基于从所显示的面板图像发出光场来生成3D图像，使得光场被划分成与3D图像的各个视图对应的各个视野。可基于面板图像来预测通过图像转换器基于从所显示的面板图像发出光场而生成的3D图像(例如，多个视图)。例如，可基于面板图像和卷积核之间的运算，预测3D图像。卷积核可包括与面板图像的视野关联的第一函数和与面板图像的扩散关联的第二函数。第一函数可包括视图模板函数(view profile function)并且第二函数可包括点扩散函数。面板图像和卷积核之间的运算可被称为卷积运算。将参照图5A、图5B、图5C、图5D和图5E详细地描述第一函数和第二函数。

可通过将基于面板图像预测的3D图像与源图像进行比较并且调整面板图像(例如，调整面板图像的一个或更多个像素的一个或更多个像素值)以使通过比较而获得的差别减小(和/或最小)来确定最佳面板图像。也就是说，可确定面板图像以允许源图像和3D图像彼此最大程度地近似。为了确定最佳面板图像，可迭代地执行预测3D图像的操作和调整面板图像的操作。尽管稍后进行了描述，但可使用代价函数将3D图像与源图像进行比较。在这种情况下，最佳面板图像可以是使代价函数减小(和/或最小)的面板图像。

可使用面板图像来预测3D图像，因此可通过各种方法来确定初始面板图像。例如，可基于源图像来确定初始面板图像。详细地，可基于源图像的每个视野的样本值，确定初始面板图像。在此示例中，初始面板图像可包括在第一源图像至第k源图像中采样并且被分配到第一视图至第k视图的像素。初始面板图像也可被称为面板图像的初始值。可基于生成3D图像的已知方法来确定初始面板图像。源图像可包括针对每个视野的图像。可基于特定采样率对针对每个视野的图像进行采样。通过将经过采样的图像渲染成单个图像，可生成初始面板图像。

可基于源图像来渲染初始面板图像，并且可基于以下操作来生成最佳面板图像：迭代地处理所渲染的面板图像以生成预测的3D图像，并调整面板图像的一个或更多个像素值以减小所确定的预测的3D图像的一个或更多个视图与源图像的一个或更多个对应视图之间的差别。视图之间的差别可以基于预测的3D图像的一个或更多个视图与源图像的一个或更多个对应视图的对应像素的像素值之间的差。

图5A、图5B、图5C、图5D和图5E示出根据至少一个示例实施例的卷积核。

图5A示出与面板图像的视野关联的第一函数。第一函数可包括视图模板函数。可观察视野中的图像连同邻近视野中的图像。视图模板函数指示位于视野中的观看者将观察到的邻近视野的相对亮度。例如，当观看者位于视野“k”中时，视图模板函数可指示相对于视野k中的像素的亮度，观察到其他视野中的像素处于什么亮度。当3D图像中包括的所有视野的数量是N个时，视图模板函数可指示分配到视野的像素的相对亮度“(k+n)％N)”，其中，“％”指示模数运算符并且“n”指示大于或等于0且小于或等于N的整数。在图5A中，x轴指示基于视野k的相对视野(例如，0)，y轴指示基于视野k的亮度的相对亮度。

在一些示例实施例中，第一函数是作为观看者所位于的视野的函数的发出视野的像素的亮度的正态分布。可基于确定显示视野的像素的亮度值的操作来凭经验确定第一函数，作为观看者所位于的视野的函数。

详细地，图5B示出当3D图像中包括的所有视野的数量是9个时的多个视野510，图5C示出当3D图像中包括的所有视野的数量是9个时的第一函数520。视野510包括第一视野至第九视野。观看者可基于观看者眼睛的位置，观看视野510之中的一视野中的图像。可观看该视野中的图像连同另一邻近视野中的图像。例如，当观看者观察第一视野时，也可观察到第二视野至第四视野以及第七视野至第九视野。当3D图像中包括的视图的数量增加时，观看者将观察到的邻近视野的数量可增加。

可基于通过图像转换器输出的图像的这种特性来确定3D图像。视图模板函数可被设计成具有与正态分布类似的形式，如第一函数520中一样。例如，视图模板函数可被设计成通过调整3D图像中包括的所有视野和将分配到显示面板的每个像素的视图的数量，具有与正态分布近似的形式。

图5D示出与面板图像的扩散关联的第二函数。第二函数可包括点扩散函数。在图5D中，x-y平面指示像素的相对位置并且z轴指示相对亮度。如图5D中所示，从点光源输出的光可扩散到周围的区域。可基于通过图像转换器输出的图像的此特性来确定3D图像。

可通过以上描述的卷积核来预测对应于面板图像的3D图像，并且可基于预测3D图像来提高实际将输出的3D图像的质量。

图5D示出与面板图像的扩散关联的第二函数。在一些示例实施例中，图5D中示出的第二函数是作为沿着显示面板的平面距像素的相对距离(例如，沿着x、y平面距像素的距离，其中，在x、y平面中，距显示面板的距离沿着与显示面板垂直的z轴是距离0)的函数的像素亮度的高斯分布。可基于分别确定显示视野的像素的亮度值的操作凭经验确定第二函数，作为沿着x、y平面距像素的距离的函数。

参照图5E，通过面板图像p和卷积核g之间的卷积运算，预测出3D图像1。如在这里提到的，“预测”3D图像的操作包括生成预测的3D图像的操作，其中，预测的3D图像包括预测的3D图像的多个视图的阵列。可基于在“卷积运算”中向面板图像应用卷积核的操作来生成预测的3D图像，其中，卷积核是第一函数和第二函数的函数。可通过第一函数g1和第二函数g2之间的卷积运算来确定卷积核g，并且面板图像p可以是初始面板图像或通过先前的迭代操作而确定的面板图像。第一函数和第二函数中的每个函数可取决于与可显示面板图像的显示面板耦接的图像转换器的特定构造、类型等。例如，与倾斜交叉的图像转换器关联的第一函数和第二函数可不同于与对齐的图像转换器关联的第一函数和第二函数。

如在这里提到的，图像可包括与图像的各个像素对应的像素值的阵列。在一些示例实施例中，每个像素值是深度值、亮度值、RGB值、这些值的某种组合等中的一个。

在一些示例实施例中，卷积运算包括卷积核与面板图像像素值的简单相乘，以得到预测的3D图像的像素值。在一些示例实施例中，空间域中的卷积运算可被转换成频域中的乘法运算。

可通过调整所渲染的面板图像p来确定(“渲染”)最佳面板图像p*。例如，可通过迭代地调整501面板图像p以使源图像1₀和3D图像1'之间的差别减小(和/或最小)来确定最佳面板图像p*。详细地，可基于初始面板图像p'来预测3D图像1'(例如，可生成预测的3D图像1')，并且可调整初始面板图像p'以使预测的3D图像1'和源图像1₀之间的差别减小(和/或最小)。类似地，可基于调整后的面板图像p”来预测3D图像1”，并可重新调整面板图像p”以使3D图像1”和源图像1₀之间的差别减小(和/或最小)。通过进行这种迭代，可生成最佳面板图像p*。可基于以源图像为基础生成3D图像的已知方法来确定(“生成”)初始面板图像p'。例如，源图像可包括每个视野的图像。可基于特定采样率对每个视野的图像进行采样。基于将采样得到的图像渲染成单个图像的操作，可生成初始面板图像。如以上指示的，可根据已知的方法，实现基于源图像来生成初始面板图像的方法。调整面板图像p的操作可包括改变面板图像的一个或更多个像素的一个或更多个像素值，其中，基于预测的3D图像1的像素的像素值与源图像1₀的对应像素的像素值之间的差，所述一个或更多个像素值被调整。可迭代地调整面板图像p，直到所确定的源图像和3D图像1'之间的差别等于或小于阈值差别大小为止。在一些示例实施例中，可迭代地调整面板图像p，直到所确定的源图像和3D图像1'之间的差别最小为止。

可通过各种方法来确定源图像1₀和预测的3D图像1之间的差别。例如，可定义确定源图像1₀和3D图像1之间的差别的代价函数，并且可调整面板图像p，以使用代价函数减小源图像1₀和3D图像1之间的差别。将参照图6详细地描述使代价函数最小的操作。

图6是示出根据至少一个示例实施例的使代价函数最小的操作的示图。在图6中，示出与面板图像关联的代价函数的示例。可如等式1中定义图6中示出的代价函数。

[等式1]

E(l，l_o)＝||l-l_o||²

等式1代表作为预测的3D图像和源图像的对应像素的值的最小二乘误差的代价函数(在本文中也被称为第一代价函数、第一函数元素、其某种组合等)。在等式1中“E”指代价函数，“l”和“l₀”分别指预测的3D图像和源图像。代价函数可包括源图像和所述3D图像之间的最小二乘误差。

可将使代价函数减小(和/或最小)的图像确定为最佳面板图像。例如，可将面板图像中包括的像素的值调整成在最小亮度和最大亮度之间的有效范围内使代价函数减小(和/或最小)的值。

这里，可使用各种优化方法使代价函数减小(和/或最小)。例如，可使用最速下降法使代价函数减小(和/或最小)。如以上描述的，预测的3D图像可以是面板图像和卷积核之间的卷积运算的结果，即，1＝p*g。这里，当针对“p”执行求等式1的微分时，可获得等式2。

[等式2]

在等式2中，

指通过相对于x轴、y轴和z轴进行对称变换而获得的核。这里，面板图像p可被设置成初始值，并且基于最速下降法，每次可按

的值从初始值减去面板图像p。“μ”指正常数。由于代价函数和限制条件可以是凸形式，因此可通过在限制条件下对面板图像p迭代地执行修剪处理来获得使代价函数减小(和/或最小)的最佳面板图像p*。

在图6中，“p0”、“p1”和“p*”分别表示面板图像的初始值、中间值和最终值。根据至少一个示例实施例，可基于针对源图像的每个视野的采样值，确定面板图像的初始值。例如，可通过向源图像应用分数视图技巧方法(fractional view trick method)来确定面板图像的初始值。可将p1与p0之间的关系表示为等式3。等式3示出基于预测的3D图像和源图像之间的差别对面板图像做出的调整。所述调整可包括对一个或更多个面板图像像素的一个或更多个像素值进行的调整。

[等式3]

在一些示例实施例中，等式3是基于等式2。可通过迭代地应用等式3来获得面板图像的最终值。可基于迭代地显像(生成)使预测的3D图像与源图像的差别最小的面板图像来显像(生成)最佳面板图像。面板图像的最终值指示使代价函数减小(和/或最小)的值。最速下降方法作为示例被提供，因此可使用各种方法来获得使代价函数减小(和/或最小)的面板图像。时域中的卷积运算可被转换成频域中的乘法运算，因此可更有效执行使代价函数最小的运算。

可凭经验确定等式3中包括的正常数(μ)。

根据至少一个示例实施例，可基于在预测的3D图像中可能出现的伪像来确定代价函数。例如，代价函数可被定义为等式4。

[等式4]

E(l，l_o)＝||l-l_o||²+λf(l)

在等式4中，“f(l)”指与伪像(诸如，预测的3D图像中可能出现的波图案或莫尔纹)关联的代价函数(在本文中也被称为第二代价函数、第二函数元素、其某种组合等)。f(l)的值可被定义为随着伪像增加而增大f(l)的输出值。“λ”表示用于调整两个代价之间的加权值的正则化系数。可凭经验确定正则化系数。

根据至少一个示例实施例，可基于预测的3D图像中包括的像素的值的总变化，定义f(l)的值。所述总变化指示图像中包括的每个像素的梯度之和。这里，当针对“p”执行求等式4的微分时，可获得等式5。

[等式5]

在等式5中，

指示通过相对于x轴、y轴和z轴进行对称变换而获得的核。这里，面板图像p可被设置成初始值，并且基于最速下降法，每次可按

的值从初始值减去面板图像p。“μ”指示正常数。由于代价函数和限制条件可以是凸形式，因此可通过在限制条件下对面板图像p迭代地执行修剪处理来获得使代价函数减小(和/或最小)的最佳面板图像p*。通过等式4和5，可减少伪像(诸如，与3D图像的边缘分量邻近的波图案)。

图7是示出根据至少一个示例实施例的基于离线确定的代价函数来渲染3D图像的处理的流程图。参照图7，在操作411中，确定第一函数。第一函数是与面板图像的视野关联的函数。在操作412中，确定第二函数。第二函数是与面板图像的扩散关联的函数。可顺序地或并行地执行操作411和412。如稍后描述的，第一函数和第二函数可根据用户的观看距离而有所不同。可基于预设的参考观看距离，确定操作411和412中的第一函数和第二函数。在操作413中，确定卷积核。可通过第一函数和第二函数之间的卷积运算来确定卷积核。在操作414中，确定代价函数。可基于以上描述的等式1或等式4来确定代价函数。

可离线地执行操作411至414。这里，“离线”指示制作图像处理设备或3D显示设备的处理。“离线”执行操作可指在接收源图像和/或基于源图像渲染面板图像之前执行操作。“在线”执行操作可指作为接收源图像和/或基于源图像渲染面板图像的部分所执行的操作。在一些示例实施例中，“离线”执行操作可指在制造产品的阶段执行操作，并且“在线”执行操作可指在用户使用产品的阶段执行操作。另外，可通过参照图1描述的处理器120和将参照图8描述的处理器330来执行操作411至414。

在操作431中，接收源图像。可从相机或存储器接收源图像。还可通过通信模块从外部装置接收源图像。在操作432中，确定面板图像的初始值。可通过向源图像应用分数视图计巧方法来确定面板图像的初始值。在操作433中，使用面板图像的初始值来预测3D图像。可基于操作413中确定的卷积核来预测3D图像。在操作434中，确定使代价函数减小(和/或最小)的面板图像。可基于等式2、等式3和等式5中的至少一个，使代价函数减小(和/或最小)。例如，在操作434中，可调整面板图像，以基于操作433中预测的3D图像(例如，3D图像1')来减小代价函数，并且可基于调整后的面板图像来预测3D图像1”，并且还可对调整后的面板图像进行调整以基于预测的3D图像1”来减小代价函数。可迭代地执行此操作。

在操作435中，使用使代价函数减小(和/或最小)的面板图像来渲染3D图像。这里，渲染操作可包括例如确定显示面板中包括的像素或子像素的值的操作和生成将在显示面板上显示的图像的操作。可通过以上描述的多视图显示方法或光场显示方法渲染3D图像。操作435可指(如果最佳面板图像被显示在面板上/当最佳面板图像被显示在面板上时)基于哪个3D图像被显示来渲染最佳面板图像。

可在线执行操作431至435。这里，“在线”指示操作图像生成设备或3D显示设备的处理。另外，可通过图1的处理器120和图8的处理器330执行操作431至435。

图8是示出根据至少一个示例实施例的图像生成设备300的示图。图8中示出的图像生成设备300可包括这里描述的一些或全部图像生成设备。例如，图8中示出的图像生成设备300可包括图1中示出的一些或全部图像生成设备100。参照图8，图像生成设备300包括存储器320、处理器330、显示面板340和通信模块350。例如，图像生成设备300可被包括在互联网协议电视(IPTV)中。存储器320、处理器330、显示面板340和通信模块350可通过总线310相互通信。

通信模块350可使用各种互联网协议从外部装置接收数据。例如，通信模块350可从外部装置接收源图像。外部装置可包括例如图像提供服务器、移动装置(诸如移动电话、智能电话、个人数字助理(PDA)、平板计算机和膝上型计算机)、计算装置(诸如个人计算机(PC)、平板PC和上网本)、图像输出装置(诸如TV和智能TV)、以及图像捕获装置(诸如相机和摄录机)。在一些示例实施例中，图像生成设备300可包括图像提供服务器、移动装置、计算装置、图像输出装置和图像捕获装置中的一个或更多个。移动装置可包括移动电话、智能电话、个人数字助理(PDA)、其某种组合等。计算装置可包括个人计算机(PC)、平板计算机、膝上型计算机、上网本、其某种组合等。图像输出装置可包括TV、智能TV、其某种组合等。图像捕获装置可包括相机、摄录机、其某种组合等。

处理器330可执行参照图1至图7描述的操作和将参照图9至图14描述的操作。例如，处理器330可执行参照图7描述的操作。处理器330可执行程序并且控制图像生成设备300。处理器3300将执行的程序代码可被存储在存储器320中。电子系统可通过输入/输出装置(未示出)连接到外部装置并且与外部装置交换数据。

存储器320可存储源图像、面板图像和预测的3D图像，并存储诸如例如用于处理器330的操作的运算或计算的各种函数、等式和结果的数据。另外，存储器320可将面板图像、面板图像的源图像和预测的3D图像发送到处理器330，或者将存储在存储器320中的其他数据发送到处理器330。存储器320可以是易失性存储器或非易失性存储器。存储器320可以是非暂态计算机可读存储介质。存储器可存储如本文中描述的当被执行时使执行一个或更多个方法、功能、处理等的计算机可读指令。在一些示例实施例中，处理器330可执行存储在存储器320中的计算机可读指令中的一个或更多个。

显示面板340可输出使代价函数减小(和/或最小)的面板图像。处理器330所确定的面板图像可由显示面板340输出并且被图像转换器转换成3D图像。

在一些示例实施例中，在图像生成设备300中可没有元件340和350。例如，图像生成设备300可包括还包括通信接口的加密狗，其中，通信接口可至少将处理器通信耦接到3D显示设备200，使得图像生成设备300可将面板图像提供给3D显示设备200，以在3D显示设备200的显示面板210上进行显示。通信接口可包括USB和/或HDMI接口。加密狗可包括存储器320和处理器330，但不包括通信模块350或显示面板340。

图9是示出根据至少一个示例实施例的基于观看距离渲染3D图像的处理的流程图。参照图9，在操作451中，确定代价函数。可离线执行操作451。可通过参照图1描述的处理器120和参照图8描述的处理器330来执行操作451。

在操作471中，接收源图像。在操作472中，确定面板图像的初始值。在操作473中，使用面板图像的初始值来预测3D图像。可基于操作479中确定的卷积核来预测3D图像。在操作474中，确定使代价函数减小(和/或最小)的面板图像。在操作475中，使用使代价函数最小的面板图像，渲染3D图像。参照图7描述的细节可应用于操作471至475。

在操作476中，估计观看距离。观看距离(也被称为“正交观看距离”)可以是用户眼睛中的一个或更多个距显示面板的距离。例如，可基于相机识别出的用户眼睛的位置来估计观看距离。相机可包括各种类型的传感器(例如，视觉传感器和红外传感器)。第一函数和第二函数可根据观看距离而有所不同。在一些示例实施例中，第一函数和第二函数中的一个或更多个函数是与显示面板平行的高斯分布并且相对于距显示面板的正交距离在大小上线性地反变化。基于用户的观看距离来调整卷积函数的操作可提高3D图像的质量。将参照图10和图11描述基于观看距离确定卷积核的操作。

图10是示出根据至少一个示例实施例的取决于观看距离的视野改变的示图。参照图10，通过图1的显示面板210和图像转换器220来输出第一光线91、第二光线92和第光线93。

第一光线91、第二光线92和第光线93可被包括在3D图像中，以通过显示面板210和图像转换器220来输出。如以上描述的，可在与视图对应的视野中观看到不同视图的图像。例如，可在第一视野中观看到与第一视图邻近的视图的图像。将被观看到的邻近视图可基于观看距离而有所不同。例如，如图10中所示，在位置94处的第一视野中将观看到的邻近视图的图像可不同于在位置95处的第一视野中将观看到的邻近视图的图像。

位置94和95与距显示面板210的像素211的不同正交距离(“观看距离”)1004对应。

在一些示例实施例中，3D显示设备200包括相机传感器1000。相机传感器1000可被构造成捕获视场1002的图像。如图10中所示，如果一个或更多个用户眼睛51、52位于视场1002内和/或当一个或更多个用户眼睛51、52位于视场1002内时，相机传感器100可捕获所述一个或更多个用户眼睛51、52的一个或更多个图像。3D显示设备200可处理捕获到的所述一个或更多个用户眼睛51、52的一个或更多个图像，以确定用户眼睛51、52所处的位置94、95，从而确定观看距离1004的大小。

在一些示例实施例中，可基于将视场1002的捕获的图像中的所确定的用户眼睛和/或面部特征与位于查找表阵列中的对应距离1004值(大小)关联的查找表，确定观看距离1004。可凭经验确定所述阵列中的观看距离1004值。

可基于观看距离来确定与面板图像的视野关联的第一函数。例如，当针对位置94绘出图5A的曲线时，针对位置95的第一函数的曲线可根据显示面板210和图像转换器220的设计而具有比图5A的曲线更广或更窄的形式。可使用观看距离1004来确定第二函数。将参照图11详细描述基于观看距离来确定第二函数的操作。

在一些示例实施例中，可根据对第一函数和第二函数进行动态调整来动态调整最佳面板图像。所确定的第一函数和第二函数可根据所确定的观看距离1004的动态改变而有所不同。可基于处理由一个或更多个相机传感器生成的图像流的操作，动态调整所确定的观看距离1004。在一些示例实施例中，可根据所确定的观看距离来调整第一函数和第二函数中的一个或更多个函数，并且可根据调整后的第一函数和第二函数来生成预测的3D图像。

基于观看距离1004的改变，对第一函数和第二函数的这种调整可以是动态的。例如，相机传感器1002可重复地捕获视场1002的图像，并且根据处理重复捕获的视场的图像的操作，观看距离1004可被重复地重新计算。可根据对观看距离1004的连续重新计算来重新调整第一函数和第二函数中的至少一个函数。可根据对第一函数和第二函数中的至少一个的调整，重新计算预测的3D图像。因此，在一些示例实施例中，可根据对第一函数和第二函数中的至少一个的动态调整，动态调整最佳面板图像，其中，这些动态调整是基于所确定的观看距离1004的动态改变。

图11是示出根据至少一个示例实施例的光的扩散的示图。参照图11，通过图1的显示面板210和图像转换器220输出第一光线70。第一光线70可被包括在3D图像中，以通过显示面板210和图像转换器220进行输出。在一些示例实施例中，第一光线70是图像转换器220用显示面板210的一个或更多个像素211所发出的光发出的视野。

可从显示面板210的像素中的任一个像素输出第一光线70。随着第一光线70越来越远离图像转换器220，第一光线70可被扩散。例如，位置72处的第一光线70的扩散程度可大于位置71处的第一光线70的扩散程度。因此，可基于观看距离来确定与面板图像的扩散关联的第二函数。例如，当针对位置71绘出图5B的曲线时，针对位置72的第二函数的曲线可具有随着z值减小而扩散的形式。某位置处的第一光线70中的光的“扩散”可指该位置处的与第一光线70对应的视野的大小。

回头参照图9，在操作477中，确定第一函数。在操作478中，确定第二函数。在操作477和478中，基于操作476中估计的观看距离，确定第一函数和第二函数。可顺序地或并行地执行操作477和478。在操作479中，确定卷积核。可基于第一函数和第二函数之间的卷积运算，确定卷积核。

可在线执行操作471至475。可通过参照图1描述的处理器120和参照图8描述的处理器330来执行操作471至475。

图12是示出根据至少一个示例实施例的对3D图像建模的方法的流程图。参照图12，在操作510中，确定与面板图像的视野关联的第一函数和与面板图像的扩散关联的第二函数。图12的操作510可包含图7的操作411、412和图9的操作477、478。在操作520中，基于第一函数和第二函数对面板图像的3D图像建模。图12的操作520可包含图7的操作413、433和图9的操作479、473。这里，建模指示如以上描述的为了预测3D图像并且提高3D图像的质量而执行的操作。例如，建模可包括例如确定源图像、确定面板图像、预测3D图像、和基于代价函数调整面板图像的操作。可通过参照图1描述的处理器120和参照图8描述的处理器330来执行操作510和520。处理器120和处理器330可执行以上描述的操作之中的与操作510和520相关的操作。

图13是示出根据至少一个示例实施例的调整面板图像的处理的流程图。参照图13，在操作610中，确定与面板图像的源图像和面板图像的面板图像的3D图像之间的差别关联的代价函数。图13的操作610可包含图7的操作414和图9的451。在操作620中，基于代价函数来调整面板图像。图13的操作620可包含图7的操作434和图9的474。可通过参照图1描述的处理器120和参照图8描述的处理器330来执行操作610和620。处理器120和处理器330可执行以上描述的操作之中的与操作610和620相关的操作。

图14是示出根据至少一个示例实施例的调整面板图像的另一处理的流程图。参照图14，在操作710中，接收3D图像的源图像。可通过参照图8描述的通信模块350接收源图像。可供选择地，可由图8的处理器330通过图8的总线310从通信模块350接收源图像。图14的操作710可包含图7的操作431和图9的471。在操作720中，基于源图像来确定面板图像的初始值。图14的操作720可包含图7的操作432和图9的472。在操作730中，在早于基于对应于3D显示设备的卷积核之前，基于源图像和面板图像的3D图像来迭代地调整面板图像。图14的操作730可包含图7的操作433、434和图9的473、474。可通过参照图1描述的处理器120和处理器330来执行操作720和730。处理器120和处理器330可执行以上描述的操作之中的与操作710至730相关的操作。

可使用硬件组件和软件组件来实现这里描述的单元和/或模块。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频-数字转换器和处理装置。可使用被构造成通过执行算术运算、逻辑运算、和输入/输出运算来执行和/或运行程序代码的一个或更多个硬件装置来实现处理装置。处理装置可包括处理器、控制器和算术逻辑单元、数字信号处理器、微计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以所限定的方式响应和执行指令的任何其他装置。处理装置可运行操作系统(OS)和在OS上运行的一个或更多个软件应用。处理装置还可响应于软件的执行来访问、存储、操纵、处理和创建数据。出于简化的目的，使用单数的处理装置的描述；然而，本领域的技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或包括处理器和控制器。另外，诸如并行处理器的不同处理构造是可能的。

软件可包括用于独立地或共同地指示和/或构造处理装置以使其根据需要进行操作的计算机程序、一条代码、指令、或其某种组合，从而将处理装置转变成专用处理器。可用能够将指令或数据提供给处理装置或能够由处理装置进行解释的机器、组件、物理或虚拟设备、计算机存储介质或装置、或传播信号波中的任意类型来永久地或暂时地实施软件和数据。软件还可被分布于联网的计算机系统，使得软件以分布式方式被存储和执行。可通过一个或更多个非暂态计算机可读记录介质来存储软件和数据。

根据上述示例实施例的方法可被记录在包括用于实现上述示例实施例的各种操作的程序指令的非暂态计算机可读介质中。介质还可包括单独的或与程序指令组合的数据文件、数据结构等。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计和构造的程序指令，或者它们可以是对于计算机软件领域中的技术人员已知和可用的种类。非暂态计算机可读介质的示例包括诸如硬盘、软盘和磁带的磁性介质；诸如CD-ROM盘、DVD和/或蓝光盘的光学介质；诸如光盘的磁-光介质；以及诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器(例如，USB闪存驱动、存储卡、记忆棒等)的被专门构造成存储并执行程序指令的硬件装置等。程序指令的示例包括诸如由编译器生成的机器代码以及包含可由计算机使用解释器执行的更高级代码的文件两者。上述装置可被构造成充当一个或更多个软件模块，以执行上述示例实施例的操作，或反之亦然。

应该理解，这里描述的示例实施例应该被视为仅是描述性含义而非为了限制性的目的。对根据示例实施例的每个装置或方法内的特征或方面的描述通常应该被认为可用于根据示例实施例的其他装置或方法中的其他类似特征或方面。虽然已经具体示出和描述了一些示例实施例，但本领域的普通技术人员将理解，可在不脱离权利要求书的精神和范围内的情况下，在其中进行形式和细节上的变化。

Claims (43)

1.一种图像生成方法，包括：

确定与观察到二维面板图像的多个视野的亮度分布关联的第一函数；

基于用户距面板图像像素的距离，确定与面板图像像素的亮度分布关联的第二函数；以及

基于二维面板图像、第一函数和第二函数，生成三维图像，

其中，所述图像生成方法还包括：

基于第一函数和第二函数来生成卷积核；

基于二维面板图像和卷积核来生成预测的三维图像；以及

调整二维面板图像的一个或更多个像素值，以减小二维面板图像的源图像的像素值与预测的三维图像的像素值之间的差。

2.根据权利要求1所述的图像生成方法，其中，二维面板图像包括多个面板图像像素，所述多个面板图像像素发出被输出到所述多个视野的光。

3.根据权利要求1所述的图像生成方法，其中，第一函数具有基于所述多个视野中的观察到的视野的观察到的面板图像像素相对亮度的正态分布的形式。

4.根据权利要求1所述的图像生成方法，其中，三维图像包括与二维面板图像的各个视野对应的多个图像。

5.根据权利要求1所述的图像生成方法，其中，

二维面板图像是基于源图像而被生成的，其中，源图像包括与所述多个视野中的各个视野对应的多个图像；

所述图像生成方法还包括：基于源图像的一个或更多个像素值与三维图像的一个或更多个像素值之间的差来调整二维面板图像的一个或更多个面板图像像素值。

6.根据权利要求1所述的图像生成方法，其中，第一函数包括视图模板函数。

7.根据权利要求1所述的图像生成方法，其中，第二函数包括点扩散函数。

8.一种图像生成方法，包括：

获得与二维面板图像的源图像的像素值和二维面板图像的三维图像的像素值之间的差关联的第一代价函数；以及

基于第一代价函数来调整二维面板图像的一个或更多个像素值，以减小所述源图像的像素值与所述三维图像的像素值之间的差，

其中，所述图像生成方法还包括：

基于第一函数和第二函数来生成卷积核；

基于二维面板图像和卷积核来生成预测的三维图像，

其中，第一函数与观察到二维面板图像的多个视野的亮度分布关联，第二函数与面板图像像素的亮度分布关联。

9.根据权利要求8所述的图像生成方法，其中，调整二维面板图像的一个或更多个像素值的步骤包括：调整包括在二维面板图像中的像素的值以减小第一代价函数。

10.根据权利要求8所述的图像生成方法，其中，第一代价函数包括所述源图像的像素值与所述三维图像的像素值之间的最小二乘误差。

11.根据权利要求8所述的图像生成方法，其中，第一代价函数包括与所述三维图像中的伪像关联的第二代价函数。

12.根据权利要求11所述的图像生成方法，其中，第二代价函数是基于所述三维图像的像素值的变化而被确定的。

13.根据权利要求8所述的图像生成方法，其中，源图像包括各个图像集合，其中，所述图像集合中的每个图像集合与用户距显示所述多个视野的显示设备的各个观看距离关联。

14.根据权利要求8所述的图像生成方法，还包括：

基于对所述源图像的每个视野的像素值进行采样的操作，确定二维面板图像的初始像素值。

15.根据权利要求8所述的图像生成方法，其中，

以用户距面板图像像素的距离为基础，第二函数与面板图像像素的亮度的高斯分布关联。

16.根据权利要求15所述的图像生成方法，还包括：

基于包括二维面板图像、第一函数和第二函数的卷积运算来生成预测的三维图像。

17.根据权利要求15所述的图像生成方法，其中，第一函数包括视图模板函数。

18.根据权利要求15所述的图像生成方法，其中，第二函数包括点扩散函数。

19.一种图像生成方法，包括：

接收源图像，其中，源图像包括多个视野；

基于源图像来渲染二维面板图像；以及

基于源图像和以二维面板图像为基础生成的预测的三维图像的像素值，迭代地调整二维面板图像的像素值，其中，预测的三维图像是基于与三维显示设备对应的卷积核而被生成的，

其中，所述图像生成方法还包括：

基于第一函数和第二函数来生成所述卷积核；

基于二维面板图像和所述卷积核来生成预测的三维图像，

其中，第一函数与观察到二维面板图像的多个视野的亮度分布关联，第二函数与面板图像像素的亮度分布关联。

20.根据权利要求19所述的图像生成方法，其中，所述卷积核是以用户距面板图像像素的距离为基础，基于与观察到二维面板图像的所述多个视野的亮度分布关联的第一函数和与面板图像像素的亮度的高斯分布关联的第二函数而被确定的，其中，二维面板图像包括多个面板图像像素，所述多个面板图像像素发出被输出到所述多个视野的光，第一函数具有基于所述多个视野中的观察到的视野的观察到的面板图像像素相对亮度的正态分布的形式。

21.根据权利要求19所述的图像生成方法，其中，迭代地调整二维面板图像的像素值的步骤包括：

调整二维面板图像的一个或更多个像素值，以减小源图像的像素值与所述三维图像的像素值之间的差。

22.根据权利要求19所述的图像生成方法，其中，基于源图像来渲染二维面板图像的步骤包括：

基于向源图像应用分数视图技巧方法的操作来确定二维面板图像的初始像素值。

23.根据权利要求19所述的图像生成方法，其中，迭代地调整二维面板图像的像素值的步骤包括：

调整二维面板图像的一个或更多个像素值，以减小与源图像的像素值和所述三维图像的像素值之间的差关联的代价函数。

24.根据权利要求23所述的图像生成方法，其中，代价函数包括以下项中的至少一项：

与源图像的像素值和所述三维图像的像素值之间的最小二乘误差关联的第一函数元素，以及

与所述三维图像中的伪像关联的第二函数元素。

25.根据权利要求19所述的图像生成方法，还包括：

估计用户距显示二维面板图像的显示设备的观看距离；以及

基于估计的观看距离来确定所述卷积核。

26.一种图像生成设备，包括：

存储器，被构造成存储二维面板图像，其中，二维面板图像包括多个面板图像像素，所述多个面板图像像素发出被输出到多个视野的光；以及

处理器，被构造成：

确定与源图像的像素值和二维面板图像的三维图像的像素值之间的差关联的代价函数，以及

基于所确定的代价函数，调整二维面板图像的一个或更多个像素值，

其中，处理器还被构造成：

基于第一函数和第二函数来生成卷积核；

基于二维面板图像和卷积核来生成预测的三维图像，

其中，第一函数与观察到二维面板图像的所述多个视野的亮度分布关联，第二函数与面板图像像素的亮度分布关联。

27.根据权利要求26所述的图像生成设备，其中，处理器被构造成调整二维面板图像的一个或更多个像素值，以减小源图像的像素值与二维面板图像的三维图像的像素值之间的差。

28.根据权利要求26所述的图像生成设备，其中，代价函数包括以下项中的至少一项：

与源图像的像素值和所述三维图像的像素值之间的最小二乘误差关联的第一函数，以及

与所述三维图像中的伪像关联的第二函数。

29.根据权利要求28所述的图像生成设备，其中，第二函数是基于所述三维图像的像素值的变化而被确定的。

30.根据权利要求26所述的图像生成设备，其中，源图像包括各个图像集合，其中，所述各个图像集合中的每个图像集合与用户距显示视野的显示设备的各个观看距离关联。

31.根据权利要求26所述的图像生成设备，其中，处理器被构造成基于对源图像的每个视野的像素值进行采样的操作，确定二维面板图像的初始像素值。

32.根据权利要求26所述的图像生成设备，其中，以用户距面板图像像素的距离为基础，第二函数与面板图像像素的亮度的高斯分布关联。

33.根据权利要求32所述的图像生成设备，其中，处理器被构造成基于包括二维面板图像、第一函数和第二函数的卷积运算来生成预测的三维图像。

34.根据权利要求32所述的图像生成设备，其中，第一函数包括视图模板函数并且第二函数包括点扩散函数。

35.一种图像生成设备，包括：

通信模块，被构造成接收源图像，其中，源图像包括多个视野；以及

处理器，被构造成：

基于源图像来渲染二维面板图像，以及

基于源图像和以二维面板图像为基础生成的预测的三维图像的像素值，迭代地调整二维面板图像的像素值，其中，预测的三维图像是基于与三维显示设备对应的卷积核而被生成的，

其中，处理器还被构造成：

基于第一函数和第二函数来生成所述卷积核；

基于二维面板图像和所述卷积核来生成预测的三维图像，

其中，第一函数与观察到二维面板图像的多个视野的亮度分布关联，第二函数与面板图像像素的亮度分布关联。

36.根据权利要求35所述的图像生成设备，其中，所述卷积核是以用户距面板图像像素的距离为基础，基于与观察到二维面板图像的所述多个视野的亮度分布关联的第一函数和与面板图像像素的亮度的高斯分布关联的第二函数而被确定的，其中，二维面板图像包括多个面板图像像素，所述多个面板图像像素发出被输出到所述多个视野的光，第一函数具有基于所述多个视野中的观察到的视野的观察到的面板图像像素相对亮度的正态分布的形式。

37.根据权利要求35所述的图像生成设备，其中，处理器被构造成调整二维面板图像的像素值以减小源图像的像素值和所述三维图像的像素值之间的差。

38.如权利要求35所述的图像生成设备，其中，处理器被构造成调整二维面板图像的一个或更多个像素值，以减小与源图像的像素值和所述三维图像的像素值之间的差关联的代价函数。

39.根据权利要求35所述的图像生成设备，其中，代价函数包括以下项中的至少一项：

与源图像的像素值和所述三维图像的像素值之间的最小二乘误差关联的第一函数元素，以及

与所述三维图像中的伪像关联的第二函数元素。

40.根据权利要求35所述的图像生成设备，其中，处理器被构造成：

估计用户距显示二维面板图像的显示设备的观看距离，以及

基于估计的观看距离来确定所述卷积核。

41.一种图像生成设备，包括：

存储器，存储计算机可读指令；以及

处理器，被构造成执行计算机可读指令以进行以下操作：

确定与观察到二维面板图像的多个视野的亮度分布关联的第一函数；

基于用户距面板图像像素的距离，确定与面板图像像素的亮度分布关联的第二函数；以及

基于二维面板图像、第一函数和第二函数来生成三维图像，

其中，处理器还被构造成执行计算机可读指令以进行以下操作：

基于第一函数和第二函数来生成卷积核；

基于二维面板图像和卷积核来生成预测的三维图像；以及

调整二维面板图像的一个或更多个像素值，以减小二维面板图像的源图像的像素值与预测的三维图像的像素值之间的差。

42.根据权利要求41所述的图像生成设备，其中，处理器被构造成执行计算机可读指令以进行以下操作：

基于由相机传感器生成的一个或更多个图像，估计用户距被构造成显示二维面板图像的显示设备的观看距离；以及

基于估计的观看距离来确定第一函数和第二函数中的至少一个函数。

43.根据权利要求42所述的图像生成设备，其中，处理器被构造成执行计算机可读指令以进行以下操作：

基于处理由相机传感器生成的图像流的操作，动态调整估计的观看距离；

基于经过动态调整的估计的观看距离，动态调整第一函数和第二函数中的至少一个函数。

Images