CN110365965B

CN110365965B - 三维光场图像生成方法及装置

Info

Publication number: CN110365965B
Application number: CN201910559221.5A
Authority: CN
Inventors: 桑新柱; 霍伟平; 管延鑫; 邢树军
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2019-06-26
Filing date: 2019-06-26
Publication date: 2020-11-06
Anticipated expiration: 2039-06-26
Also published as: CN110365965A

Abstract

本发明实施例提供一种三维光场图像生成方法及装置，所述方法包括：获取每一透镜的中心点的实际坐标值；分别以每一透镜的中心点作为原点，获取每一透镜对应的魏格纳塞茨原胞；利用光线跟踪算法获取每一子像素的像素值，其中，子像素的像素视线的起点为子像素的中心点，子像素的像素视线的方向的起点为覆盖子像素的魏格纳塞茨原胞对应的透镜的中心点，终点为子像素的中心点。本发明实施例提供的三维光场图像生成方法及装置，在光线跟踪实现的过程中校正集成成像显示系统由于透镜阵列位置偏差所引起的显示误差，能够在不同显示设备的不同透镜阵列排列下，生成具有大视角多视点的三维光场图像，进而提高了立体成像效果的清晰度和真实感。

Description

三维光场图像生成方法及装置

技术领域

本发明涉及三维显示技术领域，尤其涉及一种三维光场图像生成方法及装置。

背景技术

集成成像技术是实现三维显示的一种常用的方法，集成成像技术很早被提出，并且具有很好的前景。

现有技术中，传统的集成成像技术包括两大步骤：一、采集；二、显示。其中，在采集过程中，每个镜头或针孔将记录采集到的对象，这些对象被称为元素图像，大量小型和并列的元素图像将在透镜阵列后方的录制设备上成像，得到三维光场图像。在显示过程中，三维光场图像首先通过LCD显示，LCD前方设置有微透镜阵列，观看者在微透镜阵列的前方即可看到立体的成像效果。由于集成成像显示系统结构复杂，在利用采集系统采集内容生成三维光场图像的过程中，以及通过显示系统再现三维图像的过程中，都可能引入误差，造成显示效果不好。

随着计算机计算速度的提升，高性能计算设备的问世，采用计算机生成三维光场图像的技术使得内容更加丰富，避免了采集过程中，采用实际的相机阵列引入的拍摄过程中的误差，并且降低了内容生成成本。

虽然，使用计算机合成技术可以替代传统的采集过程，但是，在显示过程中，仍然需要使用微透镜阵列进行分光，实现立体成像的效果，并且理论上要求显示系统中的微透镜阵列的排列要绝对整齐、均匀，才能到达立体成像清晰，真实感更高的效果。实际应用中，受到微透镜阵列加工工艺的精度的限制，微透镜阵列的排列无法做到绝对的整齐、均匀，造成微透镜阵列排列位置不均匀，与原来的点之间的距离有差距。从而导致立体成像效果不清晰，真实感差的技术问题。

发明内容

本发明实施例的目的是提供一种克服上述问题或者至少部分地解决上述问题的三维光场图像生成方法及装置。

为了解决上述技术问题，一方面，本发明实施例提供一种三维光场图像生成方法，包括：

获取每一透镜的中心点的实际坐标值；

分别以每一透镜的中心点作为原点，获取每一透镜对应的魏格纳塞茨原胞；

利用光线跟踪算法获取每一子像素的像素值，其中，子像素的像素视线的起点为子像素的中心点，子像素的像素视线的方向的起点为覆盖子像素的魏格纳塞茨原胞对应的透镜的中心点，终点为子像素的中心点。

进一步地，所述分别以每一透镜的中心点作为原点，获取每一透镜对应的魏格纳塞茨原胞，具体包括：

以目标透镜的中心点作为原点，作原点与其它透镜的中心点连接的中垂线，由这些中垂线所围成的最小面积为所述目标透镜对应的魏格纳塞茨原胞；

依次遍历每一透镜，获取每一透镜对应的魏格纳塞茨原胞。

进一步地，所述利用光线跟踪算法获取每一子像素的像素值，具体包括：

获取每一子像素的中心点的坐标值；

根据子像素的中心点的坐标值，以及覆盖子像素的魏格纳塞茨原胞对应的透镜的中心点的实际坐标值，确定每一子像素的像素视线的方向；

利用光线跟踪引擎，根据每一子像素的像素视线的起点和方向执行光线跟踪渲染，分别得到每一子像素的像素值。

进一步地，所述获取每一子像素的中心点的坐标值，具体包括：

获取目标子像素的索引值；

根据所述目标子像素的索引值，以及子像素的长度和宽度，确定所述目标子像素的中心点的坐标值；

依次遍历每一子像素，获取每一子像素的中心点的坐标值。

另一方面，本发明实施例提供一种三维光场图像生成装置，包括：

获取模块，用于获取每一透镜的中心点的实际坐标值；

透镜覆盖模块，用于分别以每一透镜的中心点作为原点，获取每一透镜对应的魏格纳塞茨原胞；

生成模块，用于利用光线跟踪算法获取每一子像素的像素值，其中，子像素的像素视线的起点为子像素的中心点，子像素的像素视线的方向的起点为覆盖子像素的魏格纳塞茨原胞对应的透镜的中心点，终点为子像素的中心点。

进一步地，所述透镜覆盖模块具体用于：

依次遍历每一透镜，获取每一透镜对应的魏格纳塞茨原胞。

进一步地，所述生成模块具体包括像素视线起点获取单元、像素视线方向获取单元和光线跟踪单元，其中：

像素视线起点获取单元，用于获取每一子像素的中心点的坐标值；

像素视线方向获取单元，用于根据子像素的中心点的坐标值，以及覆盖子像素的魏格纳塞茨原胞对应的透镜的中心点的实际坐标值，确定每一子像素的像素视线的方向；

光线跟踪单元，用于利用光线跟踪引擎，根据每一子像素的像素视线的起点和方向执行光线跟踪渲染，分别得到每一子像素的像素值。

进一步地，所述像素视线起点获取单元具体用于：

获取目标子像素的索引值；

依次遍历每一子像素，获取每一子像素的中心点的坐标值。

再一方面，本发明实施例提供一种电子设备，包括：存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述方法的步骤。

又一方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述方法的步骤。

本发明实施例提供的三维光场图像生成方法及装置，在光线跟踪实现的过程中校正集成成像显示系统由于透镜阵列位置偏差所引起的显示误差，能够在不同显示设备的不同透镜阵列排列下，生成具有大视角多视点的三维光场图像，进而提高了立体成像效果的清晰度和真实感，并且降低了光学系统设计和开发成本。

附图说明

图1为本发明实施例提供的三维光场图像生成方法示意图；

图2为本发明实施例提供的透镜阵列的排列对比示意图；

图3为本发明实施例提供的采集透镜位置的示意图；

图4为本发明实施例提供的透镜对应的魏格纳塞茨原胞示意图；

图5为本发明实施例提供的光线跟踪技术中的单元图像-单元透镜对示意图；

图6为本发明实施例提供的魏格纳塞茨原胞的生成原理示意图；

图7为本发明实施例提供的三维光场图像生成装置示意图；

图8为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

近年来计算机的硬件设备不断更新，特别是GPU处理性能的提升，使得计算机图形学中光线跟踪算法技术发展越来越成熟，计算速度也有了很大的提高，比于传统的光栅化算法，光线跟踪算法更适用于生成多视点大视角的三维光场图像内容。

由于光线跟踪可以直接控制每个像素点视线的起点和方向，所以不需要传统的图像校正，在光线跟踪实现的过程中就可以校正误差。

为了保证图像生成的效率问题，本发明采用基于逆向光线跟踪的光场内容生成方法，使得图像的渲染效率不受视点数目影响，适合大视角多视点数目的光场内容的生成。

图1为本发明实施例提供的三维光场图像生成方法示意图，如图1所示，本发明实施例提供一种三维光场图像生成方法，其执行主体为三维光场图像生成装置，该方法包括：

步骤S101、获取每一透镜的中心点的实际坐标值。

具体来说，虽然，使用计算机合成技术可以替代传统的采集过程，来获取三维光场图像，但是，在三维光场图像的显示过程中，仍然需要使用微透镜阵列进行分光，实现立体成像的效果，并且理论上要求显示系统中的微透镜阵列的排列要绝对整齐、均匀，才能到达立体成像清晰，真实感更高的效果。图2为本发明实施例提供的透镜阵列的排列对比示意图，如图2所示，图2中(a)为理论上透镜阵列按正四边形排列时的情况，理论上透镜阵列应是排列整齐，即相邻透镜之间的相对位置是固定的相同的。

实际应用中，受到微透镜阵列加工工艺的精度的限制，微透镜阵列的排列无法做到绝对的整齐、均匀，造成微透镜阵列排列位置不均匀，与原来的点之间的距离有差距。图2中(b)为实际应用中透镜阵列按正四边形排列时可能的情况，阵列中的每一透镜都可能与原来的点之间的距离有差距。

正是由于微透镜阵列排列位置不均匀，与原来的点之间的距离有差距。从而导致立体成像效果不清晰，真实感差的技术问题。

因此，本发明实施例提供的三维光场图像生成方法，首先获取每一透镜的中心点的实际坐标值。

图3为本发明实施例提供的采集透镜位置的示意图，如图3所示，需要对每个透镜的位置进行测量和记录，这里将透镜中心正下方的像素点作为透镜的位置，以LCD左上角的为起点，将第i行、第j列的透镜位置用一个二维向量进行记录，记作P(i,j)，当透镜阵列由N×M个完全相同的小透镜组成时，就需要对N×M个位置信息进行记录。

测量和记录每个透镜的位置的方法，可以采用手工测量，或者可以使用计算机软件进行测量，或者可以采用图像处理技术进行测量。

步骤S102、分别以每一透镜的中心点作为原点，获取每一透镜对应的魏格纳塞茨原胞。

具体来说，图4为本发明实施例提供的透镜对应的魏格纳塞茨原胞示意图，如图4所示，图4给出了透镜按照正方形排列时每一透镜对应的魏格纳塞茨原胞，以及透镜按照正六边形排列时每一透镜对应的魏格纳塞茨原胞。

理论上，透镜按照正方形排列时，每一透镜对应的魏格纳塞茨原胞都是面积大小相同，排列整齐的正方形，每一透镜对应的魏格纳塞茨原胞所覆盖的LCD上的子像素的数量也是相同且均匀的。透镜按照正六边形排列时，每一透镜对应的魏格纳塞茨原胞都是面积大小相同，排列整齐的正六边形，每一透镜对应的魏格纳塞茨原胞所覆盖的LCD上的子像素的数量也是相同且均匀的。

实际应用中，受到微透镜阵列加工工艺的精度的限制，微透镜阵列的排列无法做到绝对的整齐、均匀，造成微透镜阵列排列位置不均匀，与原来的点之间的距离有差距。因此，需要分别以测量得到的每一透镜的实际的中心点作为原点，获取每一透镜对应的魏格纳塞茨原胞。实际得到的每一魏格纳塞茨原胞的大小和形状，都有可能不同，每一魏格纳塞茨原胞所覆盖的LCD上的子像素的数量也可能不再是相同且均匀的。

步骤S103、利用光线跟踪算法获取每一子像素的像素值，其中，子像素的像素视线的起点为子像素的中心点，子像素的像素视线的方向的起点为覆盖子像素的魏格纳塞茨原胞对应的透镜的中心点，终点为子像素的中心点。

具体来说，在确定每一透镜对应的实际的魏格纳塞茨原胞之后，利用光线跟踪算法获取每一子像素的像素值，得到三维光场图像。

本发明实施例采用逆向光线跟踪算法，对光场显示的结果图像进行渲染，光线跟踪是几何光学的逆过程。在逆向光线跟踪技术中，所得图像的每个子像素都具有一条视线，根据视线与虚拟物体碰撞的结果，可以计算出每个子像素的像素值。图5为本发明实施例提供的光线跟踪技术中的单元图像-单元透镜对示意图，如图5所示，O为单元透镜中心的坐标点，P为虚拟空间中每个子像素中心对应的坐标点，即，子像素的像素视线的起点。O点到P点的方向为子像素的像素视线的方向。

在利用光线跟踪算法获取每一子像素的像素值的过程中，子像素的像素视线的起点为子像素的中心点，子像素的像素视线的方向的起点为覆盖子像素的魏格纳塞茨原胞对应的透镜的中心点，终点为子像素的中心点。

本发明实施例提供的三维光场图像生成方法，在光线跟踪实现的过程中校正集成成像显示系统由于透镜阵列位置偏差所引起的显示误差，能够在不同显示设备的不同透镜阵列排列下，生成具有大视角多视点的三维光场图像，进而提高了立体成像效果的清晰度和真实感，并且降低了光学系统设计和开发成本。并且，兼容不同的透镜阵列排列方式的显示设备。

基于上述任一实施例，进一步地，所述分别以每一透镜的中心点作为原点，获取每一透镜对应的魏格纳塞茨原胞，具体包括：

依次遍历每一透镜，获取每一透镜对应的魏格纳塞茨原胞。

具体来说，图6为本发明实施例提供的魏格纳塞茨原胞的生成原理示意图，如图6所示，透镜按照正六边形排列时，一个透镜对应的魏格纳塞茨原胞的生成过程。

实际应用中，无论透镜的位置如何偏差，都以实际测量得到的透镜的中心为依据，确定一个实际的魏格纳塞茨原胞。

以一个透镜的实际的中心点作为原点，作原点与其它透镜的实际的中心点连接的中垂线，由这些中垂线所围成的最小面积为该标透镜对应的实际的魏格纳塞茨原胞。

按照上述方法，依次遍历每一透镜，即可获取每一透镜对应的实际的魏格纳塞茨原胞。

理论上当透镜阵列排列是正方形时，相邻透镜中心相连以中垂线分割，形成的魏格纳塞茨原胞为一个正方形，而按照正六边形排列的透镜阵列，形成的魏格纳塞茨原胞是正六边形。

但是，在实际加工过程中，相邻透镜位置会因为加工工艺的原因造成一定的偏差，会使得透镜不再是理想中的正方形或者正六边形，相邻边的比可能不再是1:1的比例，透镜阵列呈杂乱排列，这种情况下一个透镜中心与周围相邻的几个透镜中心的距离不再相等，形成的魏格纳塞茨原胞可能是一个不规则的多边形，具体形状由周围与确定透镜中心相邻的透镜中心点的实际位置决定。

基于上述任一实施例，进一步地，所述利用光线跟踪算法获取每一子像素的像素值，具体包括：

获取每一子像素的中心点的坐标值；

具体来说，利用光线跟踪算法获取每一子像素的像素值的过程中，首先需要确定每一子像素点的视线的起点和方向。

本发明实施例中，将获取到的每一子像素的中心点的坐标值，以每一子像素的中心点作为子像素点的视线的起点。

然后，根据子像素的中心点的坐标值，以及覆盖子像素的魏格纳塞茨原胞对应的透镜的中心点的实际坐标值，确定每一子像素的像素视线的方向。

如图5所示，O为覆盖目标子像素的单元透镜中心的坐标点，P为虚拟空间中目标子像素中心对应的坐标点，即，目标子像素的像素视线的起点。则O点到P点的方向为目标子像素的像素视线的方向。子像素的像素视线的方向用公式可以表示为

最后，利用光线跟踪引擎，根据已经确定的每条像素视线的方向和起点执行光线跟踪渲染，每条像素视线与场景中所有的物体进行求交计算，得到每个子像素点的颜色值，即，子像素的像素值，最终得到渲染结果，生成三维光场图像。

基于上述任一实施例，进一步地，所述获取每一子像素的中心点的坐标值，具体包括：

获取目标子像素的索引值；

依次遍历每一子像素，获取每一子像素的中心点的坐标值。

具体来说，获取每一子像素的中心点的坐标值的具体方法如下：

首先，需要获取目标子像素的索引值。该索引值由目标子像素在LCD中的行列信息构成。例如，以LCD左上角为原点，以LCD行的延伸方向为x轴正方向，以LCD列的延伸方向为y轴正方向，则第x_i行，第y_j列的子像素的索引值表示为(x_i，y_j)。

然后，根据目标子像素的索引值，以及子像素的长度和宽度，确定目标子像素的中心点的坐标值。由几何关系，可以用以下公式表示子像素的中心点的坐标值。

p＝(xl,yl)

xl＝(x_i-1/2)a

yl＝(y_j-1/2)b

其中，p为第x_i行，第y_j列的子像素的中心点的坐标值，a为子像素的宽度，b为子像素的长度或高度。

按照上述方法，依次遍历每一子像素，即可获取每一子像素的中心点的坐标值。

基于上述任一实施例，图7为本发明实施例提供的三维光场图像生成装置示意图，如图7所示，本发明实施例提供一种三维光场图像生成装置，包括获取模块701、透镜覆盖模块702和生成模块703，其中：

获取模块701用于获取每一透镜的中心点的实际坐标值；透镜覆盖模块702用于分别以每一透镜的中心点作为原点，获取每一透镜对应的魏格纳塞茨原胞；生成模块703用于利用光线跟踪算法获取每一子像素的像素值，其中，子像素的像素视线的起点为子像素的中心点，子像素的像素视线的方向的起点为覆盖子像素的魏格纳塞茨原胞对应的透镜的中心点，终点为子像素的中心点。

基于上述任一实施例，进一步地，所述透镜覆盖模块具体用于：

依次遍历每一透镜，获取每一透镜对应的魏格纳塞茨原胞。

基于上述任一实施例，进一步地，所述生成模块具体包括像素视线起点获取单元、像素视线方向获取单元和光线跟踪单元，其中：

基于上述任一实施例，进一步地，所述像素视线起点获取单元具体用于：

获取目标子像素的索引值；

依次遍历每一子像素，获取每一子像素的中心点的坐标值。

本发明实施例提供一种三维光场图像生成装置，用于执行上述任一实施例中所述的方法，通过本实施例提供的装置执行上述某一实施例中所述的方法的具体步骤与上述相应实施例相同，此处不再赘述。

本发明实施例提供的三维光场图像生成装置，在光线跟踪实现的过程中校正集成成像显示系统由于透镜阵列位置偏差所引起的显示误差，能够在不同显示设备的不同透镜阵列排列下，生成具有大视角多视点的三维光场图像，进而提高了立体成像效果的清晰度和真实感，并且降低了光学系统设计和开发成本。并且，兼容不同的透镜阵列排列方式的显示设备。

图8为本发明实施例提供的电子设备的结构示意图，如图8所示，所述设备包括：处理器(processor)801、存储器(memory)802、总线803，以及存储在存储器上并可在处理器上运行的计算机程序。

其中，处理器801和存储器802通过总线803完成相互间的通信；

处理器801用于调用并执行存储器802中的计算机程序，以执行上述各方法实施例中的步骤，例如包括：

获取每一透镜的中心点的实际坐标值；

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例中的步骤，例如包括：

获取每一透镜的中心点的实际坐标值；

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述各方法实施例中的步骤，例如包括：

获取每一透镜的中心点的实际坐标值；

以上所描述的装置及设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种三维光场图像生成方法，其特征在于，包括：

获取每一透镜的中心点的实际坐标值；

2.根据权利要求1所述的三维光场图像生成方法，其特征在于，所述分别以每一透镜的中心点作为原点，获取每一透镜对应的魏格纳塞茨原胞，具体包括：

依次遍历每一透镜，获取每一透镜对应的魏格纳塞茨原胞。

3.根据权利要求1所述的三维光场图像生成方法，其特征在于，所述利用光线跟踪算法获取每一子像素的像素值，具体包括：

获取每一子像素的中心点的坐标值；

4.根据权利要求3所述的三维光场图像生成方法，其特征在于，所述获取每一子像素的中心点的坐标值，具体包括：

获取目标子像素的索引值；

依次遍历每一子像素，获取每一子像素的中心点的坐标值。

5.一种三维光场图像生成装置，其特征在于，包括：

获取模块，用于获取每一透镜的中心点的实际坐标值；

6.根据权利要求5所述的三维光场图像生成装置，其特征在于，所述透镜覆盖模块具体用于：

依次遍历每一透镜，获取每一透镜对应的魏格纳塞茨原胞。

7.根据权利要求5所述的三维光场图像生成装置，其特征在于，所述生成模块具体包括像素视线起点获取单元、像素视线方向获取单元和光线跟踪单元，其中：

8.根据权利要求7所述的三维光场图像生成装置，其特征在于，所述像素视线起点获取单元具体用于：

获取目标子像素的索引值；

依次遍历每一子像素，获取每一子像素的中心点的坐标值。

9.一种电子设备，包括存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至4任一项所述三维光场图像生成方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至4任一所述三维光场图像生成方法的步骤。