CN112087616A - 生成二维光场图像的方法、装置和计算机可读介质 - Google Patents

Abstract

本发明涉及一种生成二维光场图像的方法，所述二维光场图像用于配合针孔阵列呈现虚拟三维场景的立体光场，所述方法包括：确定二维光场图像所在的二维图像面的位置、尺寸和中心点；确定用于拍摄虚拟三维场景的虚拟相机所在的正交投影面的位置和尺寸；确定虚拟相机在正交投影面内的拍摄位置坐标集合；将虚拟相机设置在拍摄位置坐标集合中的各个位置坐标上且视角朝向中心点拍摄多个视角的正交投影图像；从多个视角的正交投影图像中提取多个光场图像区域；对多个光场图像区域进行仿射变换，以获得多个校正后光场图像区域；以及组合多个校正后光场图像区域，以获得完整光场图像；将完整光场图像的多个物像像素网格旋转180度，作为二维光场图像。

Description

生成二维光场图像的方法、装置和计算机可读介质

技术领域

本发明涉及二维图像的生成方法和装置，具体涉及一种用于描述三维空间立体光场的二维图像数据的生成方法和装置。

背景技术

人们对于能实际观看立体影像一直抱有强烈的期待。目前的立体电影、立体电视、VR(virtual reality)、AR(Augmented reality)等技术正是在这样的需求下逐渐出现，并在一定程度上满足了人们的要求。然而，这种纯粹从人眼视角出发的立体成像有很多方面的局限性，实现方法并不自然。

一方面，利用这几种技术的立体成像都需要配戴立体眼镜才能观看。通常的立体眼镜又大又重，很不方便。人眼对于这种立体眼镜的某些非自然因素比较敏感，长时间观看会引起不适。现在虽然有一些裸眼3D显示设备，可以摆脱眼镜的束缚，但是其成像效果在很大程度上受到视角、距离等因素的影响，导致其很难在多人共同观看时满足不同位置的观众的视觉感受，因此效果上远远未达到人们正常观看的要求。

另一方面，如VR、AR以及裸眼3D等技术，为了完成高运算量的立体图像或视频处理，需要相当体积的高性能运算终端。其图像或视频的生成速度缓慢，耗费时间长，不能满足大量应用的需求。

发明内容

本发明所要解决的技术问题是提供一种快速生成用于描述三维空间立体光场的二维光场图像的方法和装置。

为解决上述技术问题，本发明提出了一种生成二维光场图像的方法，所述二维光场图像用于配合针孔阵列呈现虚拟三维场景的立体光场，所述方法包括以下步骤：确定所述二维光场图像所在的二维图像面的位置、尺寸和中心点；确定用于拍摄所述虚拟三维场景的虚拟相机所在的正交投影面的位置和尺寸，其中所述虚拟三维场景被限定在所述正交投影拍摄范围内；确定所述虚拟相机在所述正交投影面内的拍摄位置坐标集合；将所述虚拟相机设置在所述拍摄位置坐标集合中的各个位置坐标上且视角朝向所述中心点拍摄多个视角的正交投影图像；从所述多个视角的正交投影图像中提取多个光场图像区域；对所述多个光场图像区域进行仿射变换，以获得多个校正后光场图像区域；以及组合所述多个校正后光场图像区域，以获得完整光场图像，所述完整光场图像包括多个物像像素网格；将所述完整光场图像的所述多个物像像素网格旋转180度，作为所述二维光场图像。

在本发明的一实施例中，所述正交投影面在第一方向的尺寸大于所述二维图像面在第一方向的尺寸，且所述正交投影面在第二方向的尺寸大于所述二维图像面在第二方向的尺寸，使得所述多个视角的正交投影图像完整覆盖所述二维图像面，其中所述第一方向和第二方向垂直。

在本发明的一实施例中，确定所述虚拟相机在正交投影面内的拍摄位置坐标集合的步骤包括：根据所述立体光场的目标可视角度和所述正交投影面与二维图像面的之间的距离，确定所述虚拟相机的活动范围；根据所述立体光场的视角数量确定所述虚拟相机在所述正交投影面内的拍摄位置点数量；以及根据所述拍摄位置点组成的拍摄位置点阵和所述虚拟相机的活动范围，确定所述虚拟相机在所述正交投影面内的拍摄位置坐标集合。

在本发明的一实施例中，还包括确定所述虚拟相机水平正视所述中心点时与所述中心点的距离，作为所述正交投影面与二维图像面的之间的距离。

在本发明的一实施例中，组合所述多个校正后光场图像区域的步骤包括：按照所述多个校正后光场图像区域的相对视角位置，将所述多个校正后光场图像区域的相同位置的像素点组合成物像像素网格；组合所有物像像素网格，获得所述完整光场图像。

在本发明的一实施例中，每个所述光场图像区域为平行四边形，每个所述校正后光场图像区域为矩形。

在本发明的一实施例中，所述拍摄位置坐标集合中，各拍摄位置的间距是相等的。

在本发明的一实施例中，所述拍摄位置坐标集合中，相邻拍摄位置的间距随着远离所述正交投影面的中心而在水平或垂直至少一个方向上单调递增。

为解决上述技术问题，本发明还提出了一种生成二维光场图像的装置，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行所述指令以实现如上所述的方法。

为解决上述技术问题，本发明还提出了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。

本发明利用正交投影相机来生成二维光场图像，可以与针孔阵列配合实现三维物体的立体显示，效果逼真；本发明根据正交投影相机在多个拍摄位置所获得的多个光场图像区域组合成二维光场图像，极大的降低了运算次数，提高了图像生成的速度。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1是本发明一实施例的立体光场显示装置的结构示意图；

图2是本发明一实施例的生成二维光场图像的方法的示例性流程图；

图3是本发明一实施例的生成二维光场图像的方法的原理示意图；

图4是本发明一实施例的虚拟相机的拍摄位置坐标集合的示意图；

图5是本发明一实施例中虚拟相机执行拍摄的示意图；

图6是本发明一实施例中的光场图像区域的示意图；

图7是本发明一实施例中的校正后光场图像区域的示意图；

图8是本发明一实施例的完整光场图像的示意图；

图9是本发明一实施例的二维光场图像的示意图；

图10是本发明一些实施例中确定虚拟相机在正交投影面内的拍摄位置坐标集合的示例性流程图；

图11A是本发明一实施例中确定虚拟相机的拍摄位置坐标集合的原理示意图之一；

图11B是本发明一实施例中确定虚拟相机的拍摄位置坐标集合的原理示意图之二；

图12是本发明一实施例中组合校正后光场图像区域以获得完整光场图像的示例性流程图；

图13是本发明一实施例中组合校正后光场图像区域以获得完整光场图像的原理示意图；

图14是本发明一实施例中根据完整光场图像生成二维光场图像的原理示意图。

具体实施方式

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

在详述本申请实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本申请保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

为了方便描述，此处可能使用诸如“之下”、“下方”、“低于”、“下面”、“上方”、“上”等等的空间关系词语来描述附图中所示的一个元件或特征与其他元件或特征的关系。将理解到，这些空间关系词语意图包含使用中或操作中的器件的、除了附图中描绘的方向之外的其他方向。例如，如果翻转附图中的器件，则被描述为在其他元件或特征“下方”或“之下”或“下面”的元件的方向将改为在所述其他元件或特征的“上方”。因而，示例性的词语“下方”和“下面”能够包含上和下两个方向。器件也可能具有其他朝向(旋转90度或处于其他方向)，因此应相应地解释此处使用的空间关系描述词。此外，还将理解，当一层被称为在两层“之间”时，它可以是所述两层之间仅有的层，或者也可以存在一个或多个介于其间的层。

在本申请的上下文中，所描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例，也可以包括另外的特征形成在第一和第二特征之间的实施例，这样第一和第二特征可能不是直接接触。

根据本发明的一种生成二维光场图像的方法所生成的二维光场图像可以应用于一种立体光场显示装置。为了辅助说明本发明的方法，首先对这种立体光场显示装置进行说明。

图1是本发明一实施例的立体光场显示装置的结构示意图。参考图1所示，该立体光场显示装置100包括光场图像层110和针孔阵列120。本实施例中的光场图像层110和针孔阵列120为矩形的薄层结构，光场图像层110和针孔阵列120平行设置，且二者之间具有一距离S。优选地，光场图像层110和针孔阵列120的大小和形状相同。

本发明并不用于限制所示结构的厚度和形状。在其他的实施例中，光场图像层110和针孔阵列120可以具有其他的厚度(厚度的范围可以在0.1～20mm之间)，也可以是其他的形状，如圆形、椭圆形、方形等。在其他的实施例中，光场图像层110和针孔阵列120的大小和形状都可以不同。

光场图像层110用于显示二维光场图像。该二维光场图像是根据本发明的生成二维光场图像的方法所生成的，包含三维物体模型的不同视角的图像信息。该二维光场图像可以是平面图像，也可以是曲面图像。该二维光场图像包括且不限于静态图像和动态图像。

光场图像层110可以主动发光或被动发光。当光场图像层110被动发光时，该光场图像层110为被动发光层。光源可以集成在光场图像层110中，也可以在光场图像层110之外，还可以独立于本发明实施例的立体光场显示装置100而存在。本发明对光源不做特殊限制，可以使用任何本领域技术人员可以想到的光源，例如荧光灯、发光二极管(Light-Emitting Diode，LED)灯等。

在一些实施例中，作为被动发光层的光场图像层110可以通过透光、反射或散射等方式被动地发光。光场图像层110可以是印制有光场图像的纸片、塑料片等，以显示静态图像。

在一些实施例中，光场图像层110可以是显示面板，例如液晶显示面板，并且在远离针孔阵列120的方向设有背光光源。光场图像层110也可以为有机发光二极管(OrganicLight-Emitting Diode，OLED)面板。

参考图1所示，针孔阵列120上包括多个针孔区，如图1中针孔阵列120上的点所示。该多个针孔区呈阵列方式按照一定的规律分布在针孔阵列120上。光线穿过每个针孔区会在一定的立体角度范围内展开。

在图1所示的实施例中，该针孔阵列120为一薄层，其上用白色点表示针孔区。在一些示例中，该针孔阵列120可以由不透光的材质构成，该针孔区可以为实际上穿过针孔阵列120厚度方向的通孔。在一些示例中，该针孔区也可以由透光材料构成，而不是实际意义上穿透该薄层的通孔。针孔区之外的部分用黑色表示不透光，可以是在透光材料上附加不透光材料制成，或者直接由不透光材料构成。

从光场图像层110主动或被动发出的光线，使光场图像层110所显示的二维光场图像透过针孔阵列120上的针孔区，利用小孔成像原理在针孔阵列120的另一侧成像。其中，二维光场图像的不同视角图像信息会在不同方向上给出相关而不相同的光线，从而在空间里模拟虚拟三维模型发出的立体光场，实现对应于该二维光场图像的立体显示。在针孔阵列120的另一侧的空间中，用户可以观察到该虚拟三维模型的立体光场的区域被称为可视范围。

在一些实施例中，在光场图像层110和针孔阵列120之间还包括有一透明层。可以通过调整透明层的厚度、光场图像层110的厚度和针孔阵列120的厚度来优化本发明的立体光场显示装置100所显示的虚拟三维图像。

在一些实施例中，光场图像层110和/或针孔阵列120可以是透明材质。例如，光场图像层110和/或针孔阵列120可以是玻璃或有机透明材料。在一些实施例中，有机透明材料可以是亚克力、聚对苯二甲酸乙二酯(polyethylene terephthalate，PET)或聚苯乙烯(Polystyrene，PS)。

图2是本发明一实施例的生成二维光场图像的方法的示例性流程图。参考图2所示，该方法包括以下步骤：

步骤210，确定二维光场图像所在的二维图像面的位置、尺寸和中心点。

图3是本发明一实施例的生成二维光场图像的方法的原理示意图。参考图3所示，其中用棋盘格表示生成二维光场图像所在的二维图像面310。该二维图像面310的位置可以是在虚拟空间中的任意位置。

在此实施例中，该二维图像面310是矩形。如图3所示，设第一方向X和第二方向Y相互垂直。将二维图像面310沿第一方向X的长度称为宽度，将二维图像面310沿第二方向Y的长度称为高度。该二维图像面310的尺寸用宽度I和高度J来表示。该二维图像面310的中心点即为该矩形的中心点。

需要说明的是，本发明的生成二维光场图像的方法可以在虚拟的计算空间中进行，在计算过程中所用到的量都是虚拟的。对于本步骤210和图3来说，该二维图像面310并不真实存在。为了计算和表达的方便，本发明以二维图像面310是矩形为例展开说明，但是图3并不用于限制二维图像面310的形状、尺寸和位置。在其他的实施例中，二维图像面310也可以是其他的形状，例如圆形等，相应的二维图像面310的中心点可以是其圆点。

步骤220，确定用于拍摄虚拟三维场景的虚拟相机所在的正交投影面的位置和尺寸。

在本步骤中，假设利用虚拟相机320对虚拟三维场景进行拍摄。该虚拟相机320处于正交投影面330上。在本实施例中，该虚拟三维场景被限定在二维图像面310和正交投影面330之间。参考图3所示，在二维图像面310和正交投影面330之间具有一三维虚拟物体340。本发明对处于虚拟三维场景中的三维虚拟物体340的体积不做限制。该三维虚拟物体340的体积可以超出该虚拟三维场景所限定的范围，在这种情况下，虚拟相机所拍摄的是三维虚拟物体340位于该虚拟三维场景中的部分的正交投影图像。

本发明中的虚拟相机为一种正交投影照相机。利用该虚拟相机可以拍摄到虚拟三维场景中的三维虚拟物体的正交投影。正交投影照相机拍摄所形成的图像没有近大远小的效果，不会因为投影而改变物体比例。在三维空间中平行的线，利用正交投影到二维空间中也一定是平行的。

在本发明的生成二维光场图像的方法中，假设从二维图像面310处发出的光到达正交投影面330处都可以视为是平行光，当虚拟三维场景中存在物体时，一部分光被该物体所遮挡而不能到达正交投影面330。反过来看，从正交投影面330处使用虚拟相机320对位于虚拟三维场景中的三维虚拟物体340进行拍摄，相当于拍摄该三维虚拟物体340在二维图像面310上的正交投影。如图3所示，设虚拟相机320位于正交投影面330的中心，三维虚拟物体340位于该虚拟相机320的正交投影的拍摄范围内，也就是说虚拟相机320以正视的位置拍摄三维虚拟物体340，所获得的正交投影图像中包括如图3中所示的具有三维虚拟物体340正视投影图的二维图像面310。

在本实施例中，设二维图像面310与正交投影面330之间的距离为G。该距离G可以是二维图像面310与正交投影面330之间的面距离。虚拟相机320可以在正交投影面330上的多个位置对三维虚拟物体进行拍摄。

在一些实施例中，二维图像面310与正交投影面330相互平行。

如图3所示，将正交投影面330沿第一方向X的长度称为宽度，将正交投影面330沿第二方向Y的长度称为高度。该正交投影面330的尺寸用宽度T和高度S来表示。

本发明所要生成的二维光场图像是为了用于配合立体光场显示装置100的针孔阵列120来呈现虚拟三维场景的立体光场，因此，该二维图像面310中应当包括所要显示的二维光场图像的所有信息。然而，当虚拟相机320处于某些拍摄角度时，所获得的正交投影图像的尺寸可能会超出二维图像面310所限定的范围。因此，在一些实施例中，正交投影面330的宽度T大于二维图像面310的宽度I，并且正交投影面330的高度S大于二维图像面310的高度J，该正交投影面330的宽度T和高度S可以使得虚拟相机320在正交投影面330的任意位置拍摄所得的正交投影图像都完整覆盖二维图像面310。

步骤230，确定虚拟相机在正交投影面内的拍摄位置坐标集合。

在本发明的生成二维光场图像的方法中，虚拟相机320在正交投影面330内的多个位置对三维虚拟物体进行拍摄。虚拟相机320在正交投影面330内的多个位置组成了该虚拟相机320的拍摄位置坐标集合。

图4是本发明一实施例的虚拟相机的拍摄位置坐标集合的示意图。参考图4所示，正交投影面330上的多个黑点表示虚拟相机320的拍摄位置。在图4所示的实施例中，多个拍摄位置组成了N行M列的矩阵，即在该拍摄位置坐标集合中具有N*M个拍摄位置点，且相邻拍摄位置点之间的间距相等。图4并不用于限制虚拟相机的拍摄位置坐标集合的大小、位置点阵形状和数量。

在一些实施例中，拍摄位置坐标集合中的相邻拍摄位置点的间距随着远离正交投影面330的中心而在水平或垂直至少一个方向上单调递增。

步骤240，将虚拟相机设置在拍摄位置坐标集合中的各个位置坐标上且视角朝向中心点拍摄多个视角的正交投影图像。

在本步骤中，虚拟相机320遍历拍摄位置坐标集合中的每一个拍摄位置点。本发明对遍历的顺序不做限制。优选地，按照拍摄位置坐标集合在存储器中的存储位置的顺序对拍摄位置坐标集合中的每一个位置坐标进行遍历。

图5是本发明一实施例中虚拟相机执行拍摄的示意图。参考图5所示，虚拟相机320位于正交投影面330上的拍摄位置坐标集合中的某一个拍摄位置点处。该拍摄位置点可以对应于图4中所示的位置Q。虚拟相机320从该位置Q朝向二维图像面310的中心点O处。显然，为了朝向该中心点O，虚拟相机320本身需要旋转一定的角度。在步骤240中，在二维图像面310和正交投影面330之间的虚拟三维场景中设定一三维虚拟物体(图未示)。虚拟相机320将拍摄到的三维虚拟物体的图像投影在二维图像面310上，获得对应于该拍摄位置的正交投影图像。

需要说明的是，二维图像面310在本发明的生成二维光场图像的方法中是用于表征该二维光场图像的投影位置，例如显示屏幕或电视机的位置，并不是实际存在的面。在一些实施例中，三维虚拟物体可以不位于二维图像面310和正交投影面330之间虚拟三维场景中，而是位于二维图像面310的另一侧。在这种情况下，利用虚拟相机320对该三维虚拟物体进行拍摄，将所得的图像反向投影在二维图像面310所在的位置，该正交投影图像也可以用于生成相应的二维光场图像。

在一些实施例中，在步骤240中，还可以将虚拟相机拍摄多个视角的正交投影图像时的旋转角度记录下来。设当虚拟相机320处于水平正视二维图像面310的中心点O时，虚拟相机320的旋转角度为零。

步骤250，从多个视角的正交投影图像中提取多个光场图像区域。

参考图5所示，当虚拟相机320处于不同的拍摄位置时，其旋转角度会不同，所获得的正交投影图像也会不同。

图6是本发明一实施例中的光场图像区域的示意图。参考图6所示，虚拟相机320在拍摄位置坐标集合中的每一个拍摄位置可以拍摄获得的一张正交投影图像620。该正交投影图像620和正交投影面330的大小相等，从而保证正交投影图像620可以完整覆盖二维图像面310。

在图6中，光场图像区域610位于正交投影图像620中。该光场图像区域610包含二维图像面310以及三维虚拟物体在其上的投影。由于虚拟相机320在图5所示的拍摄位置朝向二维图像面310的中心点O拍摄需要一定的旋转角度，因此所获得的光场图像区域610相比于正视角度来说具有一定的变形。参考图6所示，用发生形变的棋盘格表示虚拟相机320从图5示的拍摄位置所拍摄获得的光场图像区域610。该光场图像区域610可以由表征该区域W'四个顶点位置的四个坐标组成，将该区域W'表示为W'[W1'、W2'、W3'、W4']。

下面对获得区域W'的步骤进行说明。

假设虚拟相机320仍处于图4中所示的位置Q。在本实施例中，用矩形来描述虚拟相机320在该位置Q处对其正面光场的采样范围W，该矩形的四个顶点位置的坐标来表征该采样范围，将该采样范围W表示为W[W1、W2、W3、W4]。在其他的实施例中，也可以用其他的形状来描述该采样范围。

为了生成本发明所需要生成的二维光场图像，虚拟相机320需要旋转自身角度，朝向二维图像面310的中心点。虚拟相机320的旋转角度包括上下视角旋转角度和左右视角旋转角度。这里的上下视角表示沿第二方向Y的视角，左右视角表示沿第一方向X的视角。设此时虚拟相机320的上下视角旋转角度为

左右视角旋转角度为θ。根据该旋转角度分别获得旋转变换矩阵M1和M2，如下式所示：

设采样范围W的四个顶点W1、W2、W3、W4的坐标分别为W1(x1,y1)、W2(x2,y2)、W3(x3,y3)、W4(x4,y4)，将该四个顶点的坐标记做向量[x,y,0,0]，即，

将上面的W、M1和M2代入下面的坐标矩阵变换公式：

W'＝W*M1*M2

可以获得区域W'的区域范围坐标[W1'、W2'、W3'、W4']。

可以理解的是，光场图像区域610所在的区域W'可能会超出二维图像面310的范围，但是并未超出正交投影面330的范围。

在本步骤中，对于任意一个拍摄位置，在正交投影图像620中都具有对应的光场图像区域610，且每一个光场图像区域610的形状和虚拟相机320的旋转角度有关。

在本发明的实施例中，虚拟相机320的旋转角度是虚拟相机320自身的一个参数，可以直接获得。

步骤260，对多个光场图像区域进行仿射变换，以获得多个校正后光场图像区域。

由于虚拟相机320在一些拍摄位置所获得的光场图像区域610发生了变形，而本发明所要生成的二维光场图像应当限制在二维图像面310的范围内，因此，需要对发生变形或超出二维图像面310范围的光场图像区域610进行校正。本步骤通过仿射变换，将光场图像区域610变换到二维图像面310所在的矩形区域，将变换后的光场图像区域610称为校正后光场图像区域。

图7是本发明一实施例中的校正后光场图像区域的示意图。参考图7所示，由步骤260对光场图像区域610进行仿射变换，获得校正后光场图像区域710。该校正后光场图像区域710的大小与二维图像面310的大小相同。如图7所示，二位图像面310上的棋盘格经过本步骤的变换之后，恢复了原来的形状。而三维虚拟物体的正交投影图像部分与变换之前相比发生了明显的变化。

对应于虚拟相机320的每一个拍摄位置所获得的光场图像区域都经过本步骤的校正，获得对应于每个拍摄位置的校正后光场图像区域。

参考图6和图7所示，在一些实施例中，由于正交投影的特性，虚拟相机320所获得的发生形变的光场图像区域610为平行四边形，校正后光场图像区域710为矩形。

在其他的实施例中，本步骤还可以采用其他的数学变换方法来对光场图像区域610进行校正。

每一个校正后光场图像区域710中所包含的像素信息对应于虚拟相机320在某一旋转方向上所获得的三维虚拟物体在二维图像面310上的投影。本发明由于采用正交投影相机，可以认为到达虚拟相机320的所有光线都是平行光，具有相同的入射角度，因此，虚拟相机320只需拍摄一次即可得到对应于该拍摄位置的光场图像区域610和校正后光场图像区域710。

步骤270，组合多个校正后光场图像区域，以获得完整光场图像。该完整光场图像包括多个物像像素网格。

图8是本发明一实施例的完整光场图像的示意图。参考图8所示，完整光场图像810中包括多个物像像素网格811。每一个物像像素网格811中包括N*M个像素，对应于虚拟相机320在拍摄位置坐标集合中的N*M个拍摄位置坐标。结合步骤260可以理解，物像像素网格811中的像素来自于该像素所处位置所对应的校正后光场图像区域。

在图8所示的实施例中，N＝M＝5。

以物像像素网格A11和物像像素网格A12为例，位于该两个物像像素网格中的第1行第1列的像素821和像素822都来自于虚拟相机320在拍摄位置坐标集合中第1行第1列位置坐标所获得的校正后光场图像区域；位于该两个物像像素网格中的第4行第1列的像素823和像素824都来自于虚拟相机320在拍摄位置坐标集合中第4行第1列位置坐标所获得的校正后光场图像区域。至于像素821、822、823和824的像素值具体地是来自于该校正后光场图像区域中的哪一个像素，在这里不做具体限制，本领域技术人员可以在合理的范围内做出各种变化。

步骤280，将完整光场图像的多个物像像素网格旋转180度，作为二维光场图像。

由于根据本发明的方法所生成的二维光场图像是用于配合立体光场显示装置100中的针孔阵列120呈现虚拟三维场景的立体光场。二维光场图像经过针孔阵列120之后会产生180度的旋转。假设完整光场图像中的物像像素网格中的图像是三维虚拟物体的正向成像，则为了由立体光场显示装置100所显示出来的图像是正向的，需要将物像像素网格中的图像旋转180度。

图9是本发明一实施例的二维光场图像的示意图。参考图9所示，经过步骤280获得了二维光场图像910。结合图8和图9所示，在图8中位于物像像素网格A11中的第1行第1列的像素821，在图9中位于物像像素网格A11中的第5行第5列；在图8中位于物像像素网格A11中的第1行第4列的像素823，在图9中位于物像像素网格A11中的第2行第5列；在图8中位于物像像素网格A12中的第1行第1列的像素822，在图9中位于物像像素网格A12中的第5行第5列；在图8中位于物像像素网格A12中的第4行第1列的像素822，在图9中位于物像像素网格A12中的第2行第5列。

根据本发明的生成二维光场图像的方法，可以生成二维光场图像，使该二维光场图像通过针孔阵列120之后，立体显示在立体光场显示装置100的前方。

图10是本发明一些实施例中确定虚拟相机在正交投影面内的拍摄位置坐标集合的示例性流程图。参考图10所示，在一些实施例中，本发明生成二维光场图像的步骤230可以由以下的步骤来执行：

步骤231，根据立体光场的目标可视角度和正交投影面与二维图像面的之间的距离，确定虚拟相机的活动范围。

图11A是本发明一实施例中确定虚拟相机的拍摄位置坐标集合的原理示意图之一。参考图11A所示，从二维图像面310的中心点O处向虚拟相机320所在的正交投影面330方向观看，其可以观看到的范围受到可视角度的限制。在本实施例中，该可视角度包括左右可视角度α和上下可视角度β。其中，左右可视角度α表示沿第一方向X的可视角度，上下可视角度β表示沿第二方向Y的可视角度。

参考图11A所示，二维图像面310的中心点O到正交投影面330的中心点O'之间的距离为G。该中心点O'为虚拟相机320水平正视二维图像面310的中心点O时所处的拍摄位置。则对于二维图像面310的中心点O来说，其所对应在正交投影面330上的可视范围就由其左右可视角度α、上下可视角度β和距离G来确定。具体的，可以按照下面的公式来计算:

E(O)∈(-G*tan(α/2),G*tan(α/2))(0°<α<180°)

F(O)∈(-G*tan(β/2),G*tan(β/2))(0°<β<180°)

在上述公式中，以正交投影面330的中心点O'为坐标原点，E(O)表示在第一方向X上的可视范围，F(O)表示在第二方向Y上的可视范围。

对于二维图像面310上的任意一个点来说，在正交投影面330上都具有其所对应的可视范围。所有这些可视范围一起用于限定正交投影面330的大小，以及虚拟相机320在正交投影面330所处位置的活动范围。

步骤232，根据立体光场的视角数量确定虚拟相机在正交投影面内的拍摄位置点数量。

图11B是本发明一实施例中确定虚拟相机的拍摄位置坐标集合的原理示意图之二。参考图11B所示，在正交投影面330内包括多个表征虚拟相机320的拍摄位置的点。

在本步骤中，根据所需要呈现虚拟三维场景的立体光场的视角数量来确定拍摄点的数量。这里的视角数量可以包括在第一方向X上的数量M和第二方向Y上的数量N。该视角数量的多少和所要呈现的虚拟三维场景的分辨率相关，同时也会影响生成相应的二维光场图像的运算量。视角数量越多，所要呈现的虚拟三维场景的分辨率越高，生成相应的二维光场图像的运算量越大。

参考图11B所示，在本实施例中，虚拟相机320在第一方向X上具有M个拍摄位置点，在第二方向Y上具有N个拍摄位置点。这些拍摄位置点按照矩阵形式排列，形成了M*N的拍摄位置点阵。虚拟相机320可以在该M*N个拍摄位置点上面向虚拟三维场景进行拍摄。

步骤233，根据拍摄位置点组成的拍摄位置点阵和虚拟相机的活动范围，确定虚拟相机在正交投影面内的拍摄位置坐标集合。

如图11B所示，由步骤232所确定的多个拍摄位置点构成虚拟相机320的拍摄位置点阵。根据该拍摄位置点阵和虚拟相机320的活动范围，可以确定虚拟相机320在正交投影面330内的拍摄位置坐标集合。该坐标集合可以以正交投影面330的中心点O'为坐标原点来表示，也可以以正交投影面330上的任意位置为坐标原点。

在该实施例中，该拍摄位置点阵呈均匀分布的矩形阵列，即拍摄位置坐标集合中的各个拍摄位置之间的间距是相等的。需要说明的是，图11A和11B并不用于限制正交投影面330形状、大小，以及虚拟相机320的拍摄位置点阵的形状和拍摄位置数量。在其他的实施例中，正交投影面330可以是其他的形状，虚拟相机320的拍摄位置点阵也可以是其他分布形式，例如非均匀分布的矩阵。

图12是本发明一实施例中组合校正后光场图像区域以获得完整光场图像的示例性流程图。参考图12所示，在一些实施例中，本发明生成二维光场图像的步骤270可以由以下的步骤来执行：

步骤271，按照多个校正后光场图像区域的相对视角位置，将多个校正后光场图像区域的相同位置的像素点组合成物像像素网格。

图13是本发明一实施例中组合校正后光场图像区域以获得完整光场图像的原理示意图。参考图13所示，区域801包含N*M个校正后光场图像区域，分别对应于虚拟相机320在其拍摄位置坐标集合中的N*M个拍摄位置点。

每一个校正后光场图像区域中包括n*m个像素。将每一个校正后光场图像区域中处于某一相同位置的像素点组合起来，可以得到一个对应于该位置的物像像素网格，并且该物像像素网格中包括N*M个像素。最终可以获得n*m个物像像素网格。

在图13所示的实施例中，M＝N＝5。相应的物像像素网格为正方形。在其他的实施例中，M可以不等于N。

在图13所示的实施例中，n＝5，m＝8。

步骤272，组合所有物像像素网格，获得完整光场图像。

如前所述，完整光场图像810由n*m个物像像素网格组成。每一个物像像素网格中包括N*M个像素。完整光场图像810中物像像素网格的个数和划分方式由二维图像面310的形状和大小，以及想要获得的二维光场图像的分辨率来确定。较高的分辨率对应于较多的物像像素网格的个数，较低的分辨率对应于较少的物像像素网格的个数。

参考图13所示，物像像素网格A11位于完整光场图像810中的第1行第1列。物像像素网格A11中每一个像素点的像素值来自于位于每一个校正后光场图像区域中第1行第1列的像素点的像素值。并且，这些像素点在物像像素网格A11中的位置对应于其所在的校正后光场图像区域的相对视角位置，也就是虚拟相机320在拍摄位置点阵中的位置。

例如，校正后光场图像区域B11的相对视角位置为拍摄位置点阵中的第1行第1列，校正后光场图像区域B12的相对视角位置为拍摄位置点阵中的第1行第2列，校正后光场图像区域B13的相对视角位置为拍摄位置点阵中的第1行第3列，校正后光场图像区域B21的相对视角位置为拍摄位置点阵中的第2行第1列，依次类推。

在物像像素网格A11中，位于第1行第1列的像素P1'等于校正后光场图像区域B11中的第1行第1列的像素P1，位于第1行第2列的像素P2'等于校正后光场图像区域B12中的第1行第1列的像素P2，依次类推；位于第2行第1列的像素P3'等于校正后光场图像区域B21中的第1行第1列的像素P3。

在物像像素网格A12中，位于第1行第1列的像素P4'等于校正后光场图像区域B11中的第1行第2列的像素P4，位于第1行第2列的像素P5'等于校正后光场图像区域B12中的第1行第2列的像素P5，依次类推。

在物像像素网格A4m中，位于第1行第3列的像素P6'等于校正后光场图像区域B13中的第4行第m列的像素P6。在图8所示的实施例中，m＝8。

需要说明的是，本文中所提到的两个像素相等表示该两个像素的像素值相等。

根据本实施例的生成完整光场图像的方法，所生成的完整光场图像820中的像素个数为N*M*n*m。

图14是本发明一实施例中根据完整光场图像生成二维光场图像的原理示意图。参考图14所示，将完整光场图像810中的每一个物像像素网格都在其所处的位置上旋转180度，使其内部的像素排列发生变化。可以理解的是，每一个物像像素网格在二维光场图像910中的位置与其在完整光场图像810中的位置相同。

下面结合图13和图14，以几个像素点为例，说明经过物像像素网格旋转之后像素点位置发生的具体变化。

以物像像素网格A11为例，校正后光场图像区域中的像素P1在完整光场图像810中对应于位于物像像素网格A11第1行第1列的像素P1'，经过步骤280之后，像素P1'的位置变换到物像像素网格A11的第5行第5列。校正后光场图像区域中的像素P2在完整光场图像810中对应于位于物像像素网格A11第1行第2列的像素P2'，经过步骤280之后，像素P2'的位置变换到物像像素网格A11的第5行第4列。校正后光场图像区域中的像素P3在完整光场图像810中对应于位于物像像素网格A11第2行第1列的像素P1'，经过步骤280之后，像素P3'的位置变换到物像像素网格A11的第4行第5列。

对物像像素网格A12来说，校正后光场图像区域中的像素P4在完整光场图像810中对应于位于物像像素网格A12第1行第1列的像素P4'，经过步骤280之后，像素P4'的位置变换到物像像素网格A12的第5行第5列。校正后光场图像区域中的像素P5在完整光场图像810中对应于位于物像像素网格A12第1行第2列的像素P5'，经过步骤280之后，像素P5'的位置变换到物像像素网格A12的第5行第4列。

对物像像素网格A4m来说，校正后光场图像区域中的像素P6在完整光场图像810中对应于位于物像像素网格A4m第1行第3列的像素P6'，经过步骤280之后，像素P6'的位置变换到物像像素网格A4m的第5行第3列。

根据本实施例的生成二维光场图像的方法，所生成的二维光场图像910中的像素个数为N*M*n*m，与完整光场图像810中的像素个数相同。

本发明还包括一种生成二维光场图像的装置，包括存储器和处理器。该存储器用于存储可由处理器执行的指令；该处理器用于执行该指令以实现本发明的生成二维光场图像的方法。

根据本发明的生成二维光场图像的方法和装置，可以生成二维光场图像，使该二维光场图像通过针孔阵列120之后，立体显示在立体光场显示装置100的前方。本发明的生成二维光场图像的方法和装置具有以下有益效果:

其一，人们无需佩戴特殊的眼镜或其他额外的设备，直接通过裸眼即可从不同的视觉角度观看到相应的三维立体图像，效果逼真。

其二，利用正交投影相机在不同的拍摄位置所获得的校正后光场图像区域作为该视角方向上的二维光场图像，极大的降低了运算次数，提高了图像生成的速度。

本申请的方法和装置的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD)……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。

计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个申请实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (10)

1.一种生成二维光场图像的方法，所述二维光场图像用于配合针孔阵列呈现虚拟三维场景的立体光场，所述方法包括以下步骤：

确定所述二维光场图像所在的二维图像面的位置、尺寸和中心点；

确定用于拍摄所述虚拟三维场景的虚拟相机所在的正交投影面的位置和尺寸，其中所述虚拟三维场景被限定在所述正交投影拍摄范围内；

确定所述虚拟相机在所述正交投影面内的拍摄位置坐标集合；

将所述虚拟相机设置在所述拍摄位置坐标集合中的各个位置坐标上且视角朝向所述中心点拍摄多个视角的正交投影图像；

从所述多个视角的正交投影图像中提取多个光场图像区域；

对所述多个光场图像区域进行仿射变换，以获得多个校正后光场图像区域；以及

组合所述多个校正后光场图像区域，以获得完整光场图像，所述完整光场图像包括多个物像像素网格；

将所述完整光场图像的所述多个物像像素网格旋转180度，作为所述二维光场图像。

2.如权利要求1所述的方法，其特征在于，所述正交投影面在第一方向的尺寸大于所述二维图像面在第一方向的尺寸，且所述正交投影面在第二方向的尺寸大于所述二维图像面在第二方向的尺寸，使得所述多个视角的正交投影图像完整覆盖所述二维图像面，其中所述第一方向和第二方向垂直。

3.如权利要求1所述的方法，其特征在于，确定所述虚拟相机在正交投影面内的拍摄位置坐标集合的步骤包括：

根据所述立体光场的目标可视角度和所述正交投影面与二维图像面的之间的距离，确定所述虚拟相机的活动范围；

根据所述立体光场的视角数量确定所述虚拟相机在所述正交投影面内的拍摄位置点数量；以及

根据所述拍摄位置点组成的拍摄位置点阵和所述虚拟相机的活动范围，确定所述虚拟相机在所述正交投影面内的拍摄位置坐标集合。

4.如权利要求3所述的方法，其特征在于，还包括确定所述虚拟相机水平正视所述中心点时与所述中心点的距离，作为所述正交投影面与二维图像面的之间的距离。

5.如权利要求1所述的方法，其特征在于，组合所述多个校正后光场图像区域的步骤包括：

按照所述多个校正后光场图像区域的相对视角位置，将所述多个校正后光场图像区域的相同位置的像素点组合成物像像素网格；

组合所有物像像素网格，获得所述完整光场图像。

6.如权利要求1所述的方法，其特征在于，每个所述光场图像区域为平行四边形，每个所述校正后光场图像区域为矩形。

7.如权利要求1所述的方法，其特征在于，所述拍摄位置坐标集合中，各拍摄位置的间距是相等的。

8.如权利要求1所述的方法，其特征在于，所述拍摄位置坐标集合中，相邻拍摄位置的间距随着远离所述正交投影面的中心而在水平或垂直至少一个方向上单调递增。

9.一种生成二维光场图像的装置，包括：

存储器，用于存储可由处理器执行的指令；

处理器，用于执行所述指令以实现如权利要求1-8任一项所述的方法。

10.一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如权利要求1-8任一项所述的方法。

Images