CN111327886B

CN111327886B - 3d光场渲染方法及装置

Info

Publication number: CN111327886B
Application number: CN202010146154.7A
Authority: CN
Inventors: 胡嘉君
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-03-05
Filing date: 2020-03-05
Publication date: 2021-11-16
Anticipated expiration: 2040-03-05
Also published as: CN111327886A

Abstract

本发明提供一种3D光场渲染方法及装置，该方法包括：对3D模型进行空间变换后生成3D场景；在3D场景上均设置多个摄像机进行拍照采集获得多个以摄像机为中心的3D场景；对多个以摄像机为中心的3D场景进行剪切变换获得多个齐次裁剪的3D场景；对多个齐次裁剪的3D场景对应的Y轴进行透视除法获得多个规格化设备空间；对多个规格化设备空间进行光栅化处理获得多个窗口空间；对多个窗口空间进行片元着色，获得一个包含多个视角图像信息的帧缓存对象；使用帧缓存对象为屏幕上绘制的空白长方形进行上色，获得裸眼3D光场信息；将裸眼3D光场信息显示到对应的纳米光栅屏幕上。该方案可以加速多视角、基于纳米光栅的裸眼3D显示技术的普及。

Description

3D光场渲染方法及装置

技术领域

本发明涉及3D光场渲染技术领域，特别涉及一种3D光场渲染方法及装置。

背景技术

裸眼3D为不采用头戴式设备、红蓝/偏振式眼镜、切换式眼镜而实现左右眼视差从而产生立体视觉的显示技术。

现有技术中提出的裸眼3D渲染方法均存在不同问题，其中一种裸眼3D渲染方法是由某公司提出的基于柱面透镜的显示器来实现，该显示器采用ASIC(专用集成电路)完成像素再分配过程，可以支持双视角/九视角的裸眼3D显示。像素再分配过程为将独立并行渲染的多视角图像合成为单张可以兼容裸眼3D设备的图像的过程。这种方法存在如下缺点：柱面透镜显示方法导致横向分辨率损失极大，而且使用专用集成电路成本高。同时，由于像素的再分配是在视频解码过程中通过硬件方法加入的，不具有可扩展性，而且仅支持有限的视频类型，也不支持实时渲染，只能用于广告、电影观看和图片展示等静态用途。另一种裸眼3D渲染方法为基于3DsMax的渲染方法，该方法采用离线渲染，通过反复设置摄像机的位置，以捕捉不同视角的画面，然后采用视频混流的方法完成像素再分配过程，可以支持多达16视角的渲染与裸眼3D显示(理论上视角没有上限)。但是这种方法存在如下缺点：由于采用的是传统的渲染方法，没有考虑视角增加以后透视方法的改变，而且由于采用离线渲染，多视角图像采集和混合是分步进行的，所以也不支持实时渲染，同样只能用于广告、电影观看和图片展示等静态用途。

发明内容

本发明实施例提供了一种3D光场渲染方法及装置，解决了现有技术中没有考虑视角增加以后透视方法的改变，不支持实时渲染等技术问题。

本发明实施例提供了一种3D光场渲染方法，该方法包括：

对3D模型进行空间变换后生成3D场景；

在3D场景的多个采样点上均设置一个摄像机，对3D场景的多个采样点进行拍照采集，获得多个以摄像机为中心的3D场景；

对多个以摄像机为中心的3D场景中的每一个进行剪切变换，获得多个齐次裁剪的3D场景；

对多个齐次裁剪的3D场景对应的Y轴进行透视除法，不对X轴进行透视除法，获得多个规格化设备空间；

对多个规格化设备空间进行光栅化处理，获得多个窗口空间；

对多个窗口空间进行片元着色，获得一个包含多个视角图像信息的帧缓存对象；

在屏幕上绘制覆盖整个屏幕的空白长方形，使用帧缓存对象为所述空白长方形进行上色，获得裸眼3D光场信息；

将所述裸眼3D光场信息显示到对应的纳米光栅屏幕上。

本发明实施例还提供了一种3D光场渲染装置，该装置包括：

空间变换模块，用于对3D模型进行空间变换后生成3D场景；

拍照采集模块，用于在3D场景的多个采样点上均设置一个摄像机，对3D场景的多个采样点进行拍照采集，获得多个以摄像机为中心的3D场景；

剪切变换模块，用于对所述多个以摄像机为中心的3D场景中的每一个进行剪切变换，获得多个齐次裁剪的3D场景；

透视除法模块，用于对多个齐次裁剪的3D场景对应的Y轴进行透视除法，不对X轴进行透视除法，获得多个规格化设备空间；

光栅化处理模块，用于对多个规格化设备空间进行光栅化处理，获得多个窗口空间；

帧缓存对象获得模块，用于对多个窗口空间进行片元着色，获得一个包含多个视角图像信息的帧缓存对象；

长方形绘制上色模块，用于在屏幕上绘制覆盖整个屏幕的空白长方形，使用帧缓存对象为所述空白长方形进行上色，获得裸眼3D光场信息；

显示模块，用于将所述裸眼3D光场信息显示到对应的纳米光栅屏幕上。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。

在本发明实施例中，使用帧缓存对象实现像素重分配的技术，通过只对Y轴实现透视以补偿视角增加带来的失真问题的技术，可以加速多视角、基于纳米光栅的裸眼3D显示技术的普及，方便3D建模等工作的开展，增强3D类游戏等多媒体应用的代入感和沉浸体验感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种3D光场渲染方法流程图；

图2是本发明实施例提供的一种3D光场渲染装置结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中，提供了一种3D光场渲染方法，如图1所示，该方法包括：

步骤101：对3D模型进行空间变换后生成3D场景；

步骤102：在3D场景的多个采样点上均设置一个摄像机，对3D场景的多个采样点进行拍照采集，获得多个以摄像机为中心的3D场景；

步骤103：对多个以摄像机为中心的3D场景中的每一个进行剪切变换，获得多个齐次裁剪的3D场景；

步骤104：对多个齐次裁剪的3D场景对应的Y轴进行透视除法，不对X轴进行透视除法，获得多个规格化设备空间；

步骤105：对多个规格化设备空间进行光栅化处理，获得多个窗口空间；

步骤106：对多个窗口空间进行片元着色，获得一个包含多个视角图像信息的帧缓存对象；

步骤107：在屏幕上绘制覆盖整个屏幕的空白长方形，使用帧缓存对象为所述空白长方形进行上色，获得裸眼3D光场信息；

步骤108：将所述裸眼3D光场信息显示到对应的纳米光栅屏幕上。

在本发明实施例中，步骤101至步骤108的具体实现如下：

首先需要进行对3D模型的空间变换。也就是将3D模型(模型坐标系)由平移，旋转，缩放等等一系列变换以后形成一个完整的3D场景。这个过程可以看作使用布景道具(3D模型)搭建一个摄影棚(3D场景)的过程。

在3D场景(即世界坐标系)生成之后，渲染方法需要将此场景变换为屏幕上的像素数据。这个过程可以看作对摄影棚内的场景进行一次虚拟拍摄，获得照片的过程。完成这个步骤需要引入“虚拟摄影机”的概念。这个概念表示了假定的观察者(屏幕前的用户)在3D场景中的位置。由于传统渲染方法只有一个视角，故只需要放置一台“虚拟摄影机”；而本发明提出的3D光场渲染方法需要取得较为完整的水平光场数据，故需要放置多台“虚拟摄影机”，该“虚拟摄影机”的数量即为光场渲染方法法的视角数量(比如，n个视角矩阵)。作为参考，举VR渲染为例，VR渲染是一种特殊的光场渲染，只具有两个视角，分别对应使用者的左右眼。而光场显示设备由于不是固定在用户头上，所以用户双眼的位置相对于设备会不断变动，所以需要8个以上的视角。现在已经做到16个，未来将提升到36个～64个，或者更多。在放置“虚拟摄像机”之后，需要对整个3D场景进行变换，使得“虚拟摄像机”位于坐标系原点(0，0，0)处，以方便之后的投影流程。传统3D渲染只需要1次场景变换，而光场渲染需要和视角数量相同的场景变换，因为每一个“虚拟摄像机”的位置都有细微的差别，即获得以每个摄像机为中心的场景(n×镜头坐标系)。

然后，3D场景中的每一个模型坐标与投影矩阵相乘。(这里的“投影矩阵”只是习惯上的命名，真正的投影过程在下一步完成，即将模型从三维空间投影到二维平面)传统投影矩阵的作用是将处于“虚拟摄像机”视线之外的物体筛选出来(即使用n个裁剪矩阵，即对每个摄像机添加不同的剪切变换，获得n个齐次裁剪空间)，使其坐标在投影之后位于-1～1之外，这样之后的渲染过程中，这些物体不会占用计算力。可以说，传统3D渲染中，投影矩阵的作用与实际显示关系不大，主要是为了提高渲染效率。而在光场3D渲染中，投影矩阵还对场景进行剪切变换，使得靠右的视角“朝左看”，靠左的视角“朝右看”。这个变换，加上光场显示器件光学特性相当于水平方向的透视投影。所以，光场渲染的投影矩阵承担了一部分透视投影的作用。

下一个步骤为透视除法。由于OpenGL定义显示器的水平和竖直方向分别为X轴和Y轴，而表示3D模型远近的轴为Z轴(确切地说，是-Z轴，下同)，所以透视除法即是把模型坐标的X值和Y值分别除以Z值，这样，离观察者(原点)越远的物体(Z值越大的物体)，其X、Y值越小，也就是在屏幕上的大小越小，越接近屏幕中心(假设观察者站在一条无限长的笔直道路上观察两旁的行道树，观察到的场景为越远的树越小且越接近中心)。在3D光场渲染方法中，只有Y值需要除以Z值，因为所有X方向的透视已经完成了。但是，由于透视除法在OpenGL中是自动完成的，其过程不可更改，故使用将X值乘以Z值的方式进行抵消。另外，在光场3D渲染中，透视除法进行的次数同样和视角数相等(n个)。

进行透视除法以后，3D场景的Z值被抛弃，即所有模型被直接“拍扁”在屏幕上。然后，渲染程序对多个规格化设备空间进行光栅化(光栅化的任务主要是决定每个渲染图元中的哪些像素应该被绘制在屏幕上)处理，获得多个窗口空间，再根据模型文件储存的颜色信息对多个窗口空间进行上色。

在传统3D算法中，完成上色的图片被直接显示在屏幕上。而在光场3D渲染方法中，像素需要重新排列以适配3D显示设备的物理特性。所以，渲染好的多个3D图像帧被保存在一张类似于“监控大屏幕”的图片中。以九宫格(或者16宫格，25宫格、36宫格、……)的形式排列。这个图片被称为帧缓存对象，该帧缓存对象包含多个视角图像信息。

在OpenGL中，帧缓存对象可以作为其他对象的贴图。所以在生产该缓存对象以后，可以使用2D图像在屏幕上绘制一个正好覆盖整个屏幕的长方形。然后将帧缓存对象“贴在”该长方形上。这一“张贴”过程中，OpenGL提供了访问图像具体像素位置的接口，而具体像素位置可以反推出其对应的光场3D显示设备的光栅方向，并通过该信息判断应该采用那个视角的图像。到此，3D光场显示流程完毕，图像准备好被显示在光场显示设备上。

基于同一发明构思，本发明实施例中还提供了一种3D光场渲染装置，如下面的实施例所述。由于3D光场渲染装置解决问题的原理与3D光场渲染方法相似，因此3D光场渲染装置的实施可以参见3D光场渲染方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是本发明实施例的3D光场渲染装置结构框图，如图2所示，包括：

空间变换模块201，用于对3D模型进行空间变换后生成3D场景；

拍照采集模块202，用于在3D场景的多个采样点上均设置一个摄像机，对3D场景的多个采样点进行拍照采集，获得多个以摄像机为中心的3D场景；

剪切变换模块203，用于对所述多个以摄像机为中心的3D场景中的每一个进行剪切变换，获得多个齐次裁剪的3D场景；

透视除法模块204，用于对多个齐次裁剪的3D场景对应的Y轴进行透视除法，不对X轴进行透视除法，获得多个规格化设备空间；

光栅化处理模块205，用于对多个规格化设备空间进行光栅化处理，获得多个窗口空间；

帧缓存对象获得模块206，用于对多个窗口空间进行片元着色，获得一个包含多个视角图像信息的帧缓存对象；

长方形绘制上色模块207，用于在屏幕上绘制覆盖整个屏幕的空白长方形，使用帧缓存对象为所述空白长方形进行上色，获得裸眼3D光场信息；

显示模块208，用于将所述裸眼3D光场信息显示到对应的纳米光栅屏幕上。

在本发明实施例中，所述多个视角为16个。

在本发明实施例中，所述多个视角为36～64个。

在本发明实施例中，透视除法模块204具体用于：

将所述多个齐次裁剪的3D场景对应的Y轴的值除以Z轴的值，不对X轴进行透视除法，获得多个规格化设备空间。

综上所述，本发明提出的3D光场渲染方法是为使用衍射光学的光场显示设备专门编写的，具有低失真，即时渲染的优点。理论上支持无限视角，与现有VR设备只有两个视角不同，可以提供更具有真实感的用户体验，并且不需要特殊的头戴设备支持，避免了传统设备笨重、穿戴不便的缺点。该方法使用帧缓存对象实现像素重分配的技术、通过修改可编程渲染管线实现透视的转换以补偿视角增加带来的失真问题的技术。可以加速多视角、基于纳米光栅的裸眼3D显示技术的普及，方便3D建模等工作的开展，增强3D类游戏等多媒体应用的代入感和沉浸体验感。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种3D光场渲染方法，其特征在于，包括：

对3D模型进行空间变换后生成3D场景；

将所述裸眼3D光场信息显示到对应的纳米光栅屏幕上。

2.如权利要求1所述的3D光场渲染方法，其特征在于，所述多个视角为16个。

3.如权利要求1所述的3D光场渲染方法，其特征在于，所述多个视角为36个～64个。

4.如权利要求1所述的3D光场渲染方法，其特征在于，对多个齐次裁剪的3D场景对应的Y轴进行透视除法，不对X轴进行透视除法，获得多个规格化设备空间，包括：

将所述多个齐次裁剪的3D场景对应的Y轴的值除以Z轴的值，获得多个规格化设备空间。

5.一种3D光场渲染装置，其特征在于，包括：

空间变换模块，用于对3D模型进行空间变换后生成3D场景；

6.如权利要求5所述的3D光场渲染装置，其特征在于，所述多个视角为16个。

7.如权利要求5所述的3D光场渲染装置，其特征在于，所述多个视角为36个～64个。

8.如权利要求5所述的3D光场渲染装置，其特征在于，透视除法模块具体用于：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一项所述方法的计算机程序。