CN117635454A - 多源光场融合渲染方法、装置及存储介质 - Google Patents

Abstract

本申请实施例提供一种多源光场融合渲染方法、装置及存储介质，所述方法包括：基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息；基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像；基于所述目标物体图像确定所述目标物体的多源场景数据；融合所述多源场景数据对所述目标物体图像进行渲染，得到渲染结果。本申请实施例提供的多源光场融合渲染方法、装置及存储介质，可以通过EPI域转化对多视点图像进行深度提取，然后根据深度信息剔除非目标物体并进行多源场景的融合渲染，可以得到多源场景下的场景重构渲染图像。

Description

多源光场融合渲染方法、装置及存储介质

技术领域

本申请涉及三维可视化技术领域，尤其涉及一种多源光场融合渲染方法、装置及存储介质。

背景技术

视觉是人类感知外界信息的重要途径，借助视觉可以完成复杂的操作，可以估计物体的位置，可以感受五彩缤纷的世界，人们日常活动都高度依赖于视觉的感知。显示技术的发展为视觉系统获取信息提供了更加丰富的感受，让人类的视觉感知范围更广，观看到的内容也更加精彩，这对满足人们的视觉需求有着巨大的意义。随着计算机科学和显示技术的不断发展，三维显示技术能够还原深度信息，给人一种身临其境的感觉，三维显示技术是目前显示领域最前沿、最热门的高新技术。

现如今，人们往往已不再满足于单一的场景渲染，将多源场景下不同的元素进行重组，重新得到具有在各个元素深度信息不失真的场景重构渲染图像，在电影，游戏，教育等领域具有深远的意义和应用场景。

发明内容

针对上述技术问题，本申请实施例提供一种多源光场融合渲染方法、装置及存储介质。

第一方面，本申请实施例提供一种多源光场融合渲染方法，包括：

基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息；

基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像；

基于所述目标物体图像确定所述目标物体的多源场景数据；

融合所述多源场景数据对所述目标物体图像进行渲染，得到渲染结果。

在一些实施例中，所述基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息，包括：

将所述多视点图像中的每个多边形分解为一组沿图像序列扫描线的水平多边形切片，得到多边形切片轨迹PST图像；

对所述PST图像中的多边形切片的端点进行插值，确定所述PST图像中每个像素点的深度信息；

基于所述PST图像中每个像素点的深度信息，获取所述目标物体的深度信息。

在一些实施例中，所述基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像，包括：

基于所述目标物体的深度信息，确定深度阈值；

基于所述深度阈值，剔除所述多视点图像中的非目标物体，获取目标物体图像。

在一些实施例中，所述融合所述多源场景数据，包括：

对多源场景中的像素进行坐标转化，获取统一坐标系；

在统一坐标系下，基于所述多源场景数据中的深度信息融合所述多源场景数据，获取融合光场图像。

在一些实施例中，所述基于所述多源场景数据中的深度信息融合所述多源场景数据，包括：

确定每个像素点的重合部分；

基于所述重合部分，对比所述多源场景数据中的深度信息，使用深度较浅的像素点覆盖深度较深的像素点。

在一些实施例中，所述方法还包括：

获取多视点图像。

在一些实施例中，所述方法还包括：

对所述渲染结果进行光场编码，获取光场编码图像，所述光场编码图像用于目标物体的三维显示。

第二方面，本申请实施例还提供一种多源光场融合渲染装置，包括：

第一获取模块，用于基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息；

第二获取模块，用于基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像；

第一确定模块，用于基于所述目标物体图像确定所述目标物体的多源场景数据；

第一融合模块，用于融合所述多源场景数据对所述目标物体图像进行渲染，得到渲染结果。

在一些实施例中，所述第一获取模块，包括：

第一处理子模块，用于将所述多视点图像中的每个多边形分解为一组沿图像序列扫描线的水平多边形切片，得到多边形切片轨迹PST图像；

第一确定子模块，用于对所述PST图像中的多边形切片的端点进行插值，确定所述PST图像中每个像素点的深度信息；

第一获取子模块，用于基于所述PST图像中每个像素点的深度信息，获取所述目标物体的深度信息。

在一些实施例中，所述第二获取模块，包括：

第二确定子模块，用于基于所述目标物体的深度信息，确定深度阈值；

第二获取子模块，用于基于所述深度阈值，剔除所述多视点图像中的非目标物体，获取目标物体图像。

在一些实施例中，所述第一融合模块，包括：

第一转化子模块，用于对多源场景中的像素进行坐标转化，获取统一坐标系；

第一融合子模块，用于在统一坐标系下，基于所述多源场景数据中的深度信息融合所述多源场景数据，获取融合光场图像。

在一些实施例中，所述第一融合子模块，包括：

第一确定单元，用于确定每个像素点的重合部分；

第一处理单元，用于基于所述重合部分，对比所述多源场景数据中的深度信息，使用深度较浅的像素点覆盖深度较深的像素点。

在一些实施例中，所述多源光场融合渲染装置还包括：

第三获取模块，用于获取多视点图像。

在一些实施例中，所述多源光场融合渲染装置还包括：

第四获取模块，用于对所述渲染结果进行光场编码，获取光场编码图像，所述光场编码图像用于目标物体的三维显示。

第三方面，本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多源光场融合渲染方法。

第四方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多源光场融合渲染方法。

第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多源光场融合渲染方法。

本申请实施例提供的多源光场融合渲染方法、装置及存储介质，可以通过EPI域转化对多视点图像进行深度提取，然后根据深度信息剔除非目标物体并进行多源场景的融合渲染，可以得到多源场景下的场景重构渲染图像。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的多源光场融合渲染方法的流程示意图；

图2是本申请实施例提供的多源光场融合渲染装置的结构示意图；

图3是本申请实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1是本申请实施例提供的多源光场融合渲染方法的流程示意图，如图1所示，本申请实施例提供一种多源光场融合渲染方法，包括：

步骤101，基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息。

具体地，视差信息是深度重建的基础。通过估计多个视角的图像之间的视差信息，可以计算出场景中每个像素点的深度信息，从而实现三维重建。

为了将对极平面图像可视化，首先得将光场可视化。我们对目标场景采集一组在空间中密集采样的图像序列来记录和表示光场。可以将光场视为从平行于共同平面的多个视点获取的视图集合，此时光场便可视为一个视图矩阵。我们通过固定拍摄所在平面的单一坐标轴，选取图像序列某一行或者某一列的像素，同时随着拍摄平面非固定坐标这移动，将这一行或者这一列像素按照坐标轴移动的顺序堆砌起来得到EPI图像。

当进行三维场景的EPI域转换时，本方法会将三维场景的每个多边形分解为一组沿图像序列扫描线的水平多边形切片每个多边形切片扫出其相应EPI的一个区域，称为多边形切片轨迹(polygon slice track，PST)。PST图像的每个像素的深度可以从多边形切片的端点的深度值插值。图像精度缓冲区保存EPI中每个像素的最前面原语的深度。来自PST的新渲染像素只有在其像素深度比已经在该空间位置写入的像素值更接近相机时才会写入EPI。

步骤102，基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像。

具体地，为了避免渲染非融合场景中的物体，在计算出图像所在场景的深度信息后，我们可以根据场景中所需融合的一个或多个物体的深度对场景进行阈值划分，通过剔除场景中以外的深度，可以加快后续场景中渲染的效率。场景中除了剔除阈值范围外的场景信息以外，我们还要剔除阈值范围以内的非目标物体，从而获取剔除后的目标物体图像。

步骤103，基于所述目标物体图像确定所述目标物体的多源场景数据。

具体地，多源场景融合指的是从不同场景中进行场景融合，可以将从多个采集场景下获取多源场景数据。

进一步地，多源场景数据可以包括以下数据中的至少一种：云数据，网格数据，体数据，距离场数据，光场实拍采集数据，深度图像数据。

步骤104，融合所述多源场景数据对所述目标物体图像进行渲染，得到渲染结果。

具体地，将多源场景数据融合至统一的光场渲染管线，实现多尺度的光场内容融合渲染，得到渲染结果。

本申请实施例提供的多源光场融合渲染方法，可以通过EPI域转化对多视点图像进行深度提取，然后根据深度信息剔除非目标物体并进行多源场景的融合渲染，可以得到多源场景下的场景重构渲染图像。

在一些实施例中，所述方法还包括：

获取多视点图像。

具体地，本申请实施例可以通过传相机拍摄以及从Blender中输出两种方式获取多视点图像。

相机拍摄：由至少一套采集设备组成，通过连接线与后续进行数据处理的计算机相连。基于采集设备对目标场景采集多视点图像。根据相机位置、方向不同，可以将采集过程分为三类：平行式、汇聚式、离轴式，三种方法都可以得到3D图像，但是3D图像结果并不相同、并且像素编码也不同。本方法所采用的方法为离轴式，离轴式适用于屏幕较大的3D光场显示器。

多视点图像的获取流程如下，首先根据设备的种类确定相机阵列的维度和排列方式，根据透镜位置、视点数目、视场角度等设备参数设置虚拟相机的间距、视场角度、出屏入屏深度。根据透镜的折射能力合理分配相机间距，通常情况下相机之间等间距排列。

Blender输出：Blender是一款免费开源三维图形图像软件，提供从建模、动画、材质、渲染、到音频处理、视频剪辑等一系列动画短片制作解决方案。使用Blender可以方便的实现立体内容的渲染和生成。

由于Blender是一款免费开源三维图形图像软件，可以根据需求对Blender进行编译和改进。新编译版本的Blender可以同时摆放多个相机。这些相机阵列可以为后续自由立体成像和图像融合提供虚拟视差图。可以通过定整体相机阵列位置达到多视点采集图像的目的。

本申请实施例提供的多源光场融合渲染方法，通过采用传相机拍摄以及从Blender中输出两种方式获取多视点图像，为后续EPI域转化获取场景深度信息提供基础。

在一些实施例中，所述基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息，包括：

将所述多视点图像中的每个多边形分解为一组沿图像序列扫描线的水平多边形切片，得到多边形切片轨迹PST图像；

对所述PST图像中的多边形切片的端点进行插值，确定所述PST图像中每个像素点的深度信息；

基于所述PST图像中每个像素点的深度信息，获取所述目标物体的深度信息。

具体地，为了将对极平面图像可视化，首先得将光场可视化。我们对目标场景采集一组在空间中密集采样的图像序列来记录和表示光场。可以将光场视为从平行于共同平面的多个视点获取的视图集合，此时光场便可视为一个视图矩阵。我们通过固定拍摄所在平面的单一坐标轴，选取图像序列某一行或者某一列的像素，同时随着拍摄平面非固定坐标这移动，将这一行或者这一列像素按照坐标轴移动的顺序堆砌起来得到EPI图像。

当进行三维场景的EPI域转换时，本方法会将三维场景的每个多边形分解为一组沿图像序列扫描线的水平多边形切片每个多边形切片扫出其相应EPI的一个区域，称为PST。PST图像的每个像素的深度可以从多边形切片的端点的深度值插值。图像精度缓冲区保存EPI中每个像素的最前面原语的深度。来自PST的新渲染像素只有在其像素深度比已经在该空间位置写入的像素值更接近相机时才会写入EPI。

本申请实施例提供的多源光场融合渲染方法，通过EPI域转换得到PST图像，再对PST图像中的多边形切片的端点进行插值，从而确定PST图像中每个像素点的深度信息，进而实现图像的深度提取。

在一些实施例中，所述基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像，包括：

基于所述目标物体的深度信息，确定深度阈值；

基于所述深度阈值，剔除所述多视点图像中的非目标物体，获取目标物体图像。

具体地，为了避免渲染非融合场景中的物体，在计算出图像所在场景的深度信息后，我们可以根据场景中所需融合的一个或多个物体的深度对场景进行阈值划分，通过剔除场景中以外的深度，可以加快后续场景中渲染的效率。场景中除了剔除阈值范围外的场景信息以外，我们还要剔除阈值范围以内的非目标物体。

进一步地，在剔除多视点图像中的非目标物体之后，还可以进行多视点渲染，多视点渲染主要用于对基于深度阈值剔除后的场景图像进行渲染，主要包括，几何扫描变换、视图独立着色、背面剔除和双面照明、隐藏表面消除、剪切、纹理映射、Phong着色等。

几何扫描变换：在扫描变换过程将几何图形转换为图像光栅的扫描线。多视点扫描线算法将投影到视图平面上的多边形转换为最终图像的像素。所使用的渲染算法的特定实施方式可以限制输入多边形的几何形状，以便简化渲染。例如，所有多边形可能都必须是凸的，或者只有三个顶点。即使特性可能显著影响性能，对多边形形状的进一步限制也是不切实际的。多边形可以非常大或非常小，具有高或宽的纵横比，或者具有与图像的扫描线不对齐的边或顶点。

在多视点渲染算法中，多边形切片过程执行多视点渲染扫描转换的扫描线相交功能。多视点渲染的实际扫描转换是将PST的几何描述转换为EPI的像素的过程。与任意多边形相比，PST在几何上更简单，在图形上更容易渲染。假设在所有视点中，多边形切片都保持在相机的视野内，并且没有发生其他剪切或剔除，则相应PST的两个边都与EPI的顶部和底部扫描线屏幕对齐。

渲染PST时，几何参数的插值也比渲染任意多边形时更容易。形成多边形切片时，从多边形顶点的位置对切片的两个端点进行插值。两个端点的恒定纵坐标用于将多边形切片分配给EPI，但在扫描转换过程中不使用。渲染PST时，两个切片端点的横坐标值将沿着极左和极右视角之间的边进行插值。

视图独立着色：计算机图形学通常通过假设材料的外观在从不同方向上不会改变，从而近似于一类扩散、发射或不变色材料的行为。在多视点渲染算法中实现一个与视图无关的模型是非常有效的，因为一个多边形切片的颜色是独立于透视图的。直接的结果是，响应PST的阴影在透视方向上没有变化。如果阴影操作被认为是一个颜色计算函数，则一个视图独立的函数是一维的，只需要在不同的地方进行采样，以产生PST的所有扫描线。另一种类型的光模型假设多边形足够小，并且一个对象的颜色变化足够慢，因此照明计算可以只在场景多边形的顶点位置执行，而不是在每个像素。这个模型的视图独立版本被称为高洛德阴影。Gouraud阴影算法执行每个顶点照明计算，计算单个颜色值，并线性插值颜色。极化过程与扫描转换的几何插值非常相似，并且通常同时执行。多视点渲染算法可以通过在场景多边形的顶点上执行视图独立的光照计算，首先插值这些值，以找到多边形切片的端点的颜色，然后再次插值以计算扫描线的每个像素，有效地渲染高阴影场景。

背面剔除和双面照明：背面剔除是指从场景几何图形中去除正面远离摄像机的表面的过程，以降低渲染成本。背面剔除假设的阴影曲面的特性仅对其正面有效。对于许多对象来说，背面的表面经常被正面的表面遮挡，所以忽略它们对最终的渲染没有影响地点另一方面，有时使用从正面和背面都可以看到的表面是有用的。例如，在计算机辅助设计应用程序中使用的机械模型的内表面可能有不同的颜色，因此它们在剖面图中清晰可见。除了不同的颜色外，双向表面还有其他不同的材料特性。背面剔除不用于双面曲面。相反，一个双边照明模型被用于根据表面的方向执行单独的照明计算。在单视点渲染中，通过计算一个多边形的表面法向线的点积来实现背面扑杀和双面多边形渲染技术。点积的符号表示多边形是朝向相机还是远离相机。必须为每个视点上的每个多边形计算点产量。在多视点渲染中，可以使用一种简单的几何技术来计算，在其中查看一个多边形切片面向前或远离相机。PRS相机几何形状保证只有三种可能的情况可以发生在多边形切片的相对方向：切片总是正面的，它总是面向，或者它从一个方向过渡到另一个方向。在前两种情况下，眼睛向量与多边形切片法线的单点积决定了一个切片在所有视图中的方向。在第三种情况下，通过寻找多边形切片之间的过渡点，可以将多边形切片的PST分为正面和背面两部分。这个过渡透视图是PST的彼此相交的点。从这个角度看，多边形切片是边缘的，没有屏幕宽度。过渡视角一侧的所有视角都面向一个方向；另一边的都是另一个方向。不同的渲染参数可以应用到PST的两个部分来实现双面照明，或者可以剔除面向背面的部分。

隐藏表面消除：隐藏曲面消除或删除可防止被渲染图像中可见的对象的其他部分遮挡的曲面。单视点渲染中的隐表面消除可以使用多视点渲染中常见的大多数技术。隐藏表面消除的最简单的技术之一是深度缓冲。当PST扫描转换为EPI时，PST图像的每个像素的深度可以从多边形切片端点的深度值进行插值。图像精度缓冲区在EPI中的每个像素处保持最前面原始的深度。从PST中得到的新渲染像素，只有如果其像素深度比已经写在该空间位置的像素值更接近相机，才会写入EPI。多视点渲染深度缓冲区共享单视点渲染深度缓冲区的所有优缺点。深度缓冲是图像空间渲染技术的一个例子，因为它基于图像的像素而不是场景几何图形来执行深度比较。使用场景几何而不是像素级原语的算法被称为对象空间技术。多视点渲染可以使用其他隐藏的表面技术，包括图像空间和对象空间算法。对象空间算法通常在多视点渲染中比在单视点渲染中更容易实现，因为充满一维多边形切片的上极平面具有简单的二维几何测量。相比之下，单视点渲染算法通常在三维空间中对平面几何原语进行分割、排序和重排序。此外，与图像的一个特定扫描线相交的多边形数通常是场景中多边形总数的小部分。多视点渲染只需要处理这个子集，这就降低了成本，增加了几何运算的局部性。

剪切：剪切可以防止位于视图区域边界之外的部分被弯曲。多视点渲染中的剪切发生在渲染管道的两个不同部分中。在任何视图中，位于视点上方或下方的场景部分都可以在多边形切片过程之前或过程中进行裁剪。剪切相机的水平运动永远不会导致场景的这些部分可见，所以它们可以在渲染过程的早期被剪切。横向摄影机移动也不会改变PRS相机几何图形中对象的深度，因此此时也可以执行深度剪切。此外，如果在多边形切片过程之前知道渲染轨迹的最大范围，则可以裁剪所有视点之外的部分场景。所有其他的水平裁剪都必须有这样的知识，即从另一个角度看可能部分或完全可见。每个PST可以在栅化前剪切到EPI的边界以满足此条件。任何标准的剪切算法都可以用来执行此操作。

纹理映射：纹理映射是一种将非几何细节应用于几何场景中的原语的技术。两种类型的纹理映射。第一个，过程纹理，使用功能纹理描述。第二种更一般的类型，栅格纹理，使用一个网格或一个体积的图像数据来提供纹理信息。光栅纹理映射在许多软件计算机图形系统中使用，现在可以在除了最便宜的图形硬件引擎之外的所有引擎上实现。在这里，我们将讨论映射二维光栅纹理到多边形曲面的细节。

最简单的多视点渲染纹理映射算法完全对应于单视点渲染纹理映射，除了映射应用于PST的像素，而不是那些多边形的像素。在多边形切片的端部计算出均匀的纹理坐标，并应用于PST前栅格化的顶点。纹理映射算法执行每像素的纹理划分，以计算真实的纹理坐标。在硬件中实现的纹理映射算法可以用于渲染PST，其比单视点渲染渲染的效率适中。

多视点渲染纹理映射也可以扩展到使用PRS相机几何形状的特性，以减少计算和内存成本。关于纹理的最具揭示性的观察结果是，它们似乎附着在与它们相关联的表面上。观察者位置的改变不会改变纹理的外观，除了由底层表面的仿射转换所产生的结果。换句话说，纹理映射是一个视图独立的阴影操作。

Phong着色：本申请实施例所采用的着色算法是Phong着色，它在多边形的顶点之间插入的不是颜色，而是表面法线，并在每个像素上进行照明计算。这些计算使用插值的法向量、查看器和像素之间的视点向量、光源和表面之间的向量，以及材料属性，如光泽度和材料颜色来计算最终的像素阴影。多视点渲染可以使用Phong着色模型渲染PST。在透视方向上，眼点矢量会随着相机沿视图轨迹移动而变化。在PST上，正常向量和视点向量的变化就像它们在多边形切片上一样，就像单视点渲染Phong阴影一样。

本申请实施例提供的多源光场融合渲染方法，通过确定目标物体的深度信息并设置阈值来剔除非目标物体，可以减少对非融合场景部分的不必要的渲染，加快后续场景中渲染的效率。

在一些实施例中，所述融合所述多源场景数据，包括：

对多源场景中的像素进行坐标转化，获取统一坐标系；

在统一坐标系下，基于所述多源场景数据中的深度信息融合所述多源场景数据，获取融合光场图像。

具体地，在获取场景图像信息时，需要采集场景的内参矩阵和外参矩阵，用于后续流程中的坐标系转换，即进行世界坐标系、相机坐标系、图像坐标系、像素坐标系间的互相转换。所述世界坐标系，用于描述环境中任何物体的位置，可在环境中任意选择一个基准坐标系作为世界坐标系。所述相机坐标系，也就是视点坐标系，是以视点(光心)为原点，以视线的方向为Z+轴正方向的坐标系，世界坐标系到相机坐标系只涉及旋转和平移，属于刚体变换，不涉及形变，二者之间的变换通过外参矩阵实现。所述图像坐标系，相机坐标系与其属于透视投影关系，从3D转换到2D。所述像素坐标系，是以图像左上角为原点建立的以像素为单位的直角坐标系u-v，相机坐标系与像素坐标系之间的转换通过内参矩阵实现。

本申请实施例提供的多源光场融合渲染方法，通过将多源场景下采集的像素进行坐标系转换，可以得到多源场景的统一坐标系，再通过对比多源场景中深度缓存中的深度值，可以实现多源场景的融合。

在一些实施例中，所述基于所述多源场景数据中的深度信息融合所述多源场景数据，包括：

确定每个像素点的重合部分；

基于所述重合部分，对比所述多源场景数据中的深度信息，使用深度较浅的像素点覆盖深度较深的像素点。

具体地，可以将点云数据，网格数据，体数据，距离场数据，光场实拍采集数据，深度图像数据等融合至统一的光场渲染管线，实现多尺度的光场内容融合渲染。采用光线跟踪技术，棚格化渲染技术和基于图像的渲染技术将内容统一于光场延迟着色后处理图形管线，输入为散射极线图,高光极线图，法线极线图与深度极线图，输出为融合光场图像。利用光场视点图像的相关性进行角度分辨率，空间分辨率和时间分辨率的超分，实现了光场高质量的快速内容生成与融合。在统一后的坐标系下，通过对比融合后逐一像素点重合部分，通过对比多源场景中深度缓存中的深度值，深度较浅的会覆盖深度较深的像素点，实现多源场景的融合。

本申请实施例提供的多源光场融合渲染方法，通过将多源场景下采集的像素进行坐标系转换，可以得到多源场景的统一坐标系，再通过对比多源场景中深度缓存中的深度值，可以实现多源场景的融合。

在一些实施例中，所述方法还包括：

对所述渲染结果进行光场编码，获取光场编码图像，所述光场编码图像用于目标物体的三维显示。

具体地，3D光场显示利用其光学结构中的定向控光单元实现对平面显示器的像素发出光线的定向控制，进而在视区内重构出3D图像。在理想情况下，来自像素发出的光构建的3D图像在视区内是连续的。由于平面显示器上均匀排布的像素具有一定的物理尺寸，经过光学控光层之后会以定向的小角度出射，在空间中会聚并在特定的位置形成视点。基于指向背光的3D光场显示在成像时，像素发出的光在柱透镜光栅调制后沿着水平方向分布，因此在编码时只需要将像素编码到水平方向的视点。成像质量的好坏要从视点分辨率、视角大小、视点连续性和景深等多方面综合考虑。而且这几个因素相互制约，共同影响。在编码时，单视点分配的像素数目越多，观看时的分辨率就越高，每个视点观看到的像的清晰度就越好。但与之而来的就是视点总数会越少，在视角大小一定的情况下，视点的稀疏会导致运动视差的不连续，进而3D图像的断裂感就越严重。视角的大小受限制于光学结构层对像素发出光线的控制。在不优化光学结构层的情况下，增大视角会导致相邻视点串扰的加剧，而且视角越大，串扰越严重。此外，单纯地增大视角也会导致3D图像的景深被压缩，进一步导致成像质量下降。因此，在保证实时的前提下，合理排布用于编码的视点的数目和分辨率，能最优化3D光场显示的成像质量。

光场编码的作用是生成适用于三维显示的光场编码图像，具体流程为：根据最终三维显示器显示对视点数的要求，生成相应数量的新视点图像后，提取生成的各视点图像序列中的特定子像素，以一定规律排列生成的新图像称为光场编码图像；对于光栅3D显示器，将光场编码图像显示在光栅3D显示器中的2D显示面板上，通过光栅的控光作用，子像素发出的光线会在空间中形成不同的视点显示区域，观看者左、右眼处在不同视点区域内时，将看到具有立体效果的图像,这个过程称之为立体图像的再现过程；对于集成成像3D显示，所述光场编码方式，可选的有，二次拍摄法、多层合成法、视点合成法、反向追踪合成法。

其中，光场是光线在空间传播中四维的概念，光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示，是空间中所有光线光辐射函数的总体。三维显示器能够在空间中重建光场，使用户能够获得立体视觉效果，感受到更加真实的视觉体验。

本申请实施例提供的多源光场融合渲染方法，可以根据三维显示器的硬件设计排布，对多视点图进行光场编码，得到光场编码后的多视点图像，将其导入三维显示器从而实现了光场的实时生成与显示，实现重构场景可视化。

下面以具体的例子，对上述实施例中的方法进行进一步说明。

本申请实施例提供的多源光场融合渲染方法可以通过以下模块来实现：采集模块，EPI域转化模块，深度融合模块和光场编码模块。

其中，采集模块包含四台相机以及从Blender中提取照片两种方式，采用相机拍摄主要是提取现实场景中的物体，从Blender中采用多视点采集图像。

EPI域转化模块主要分为深度计算以及多视点渲染，我们通过对相机和Blender中采集到的图像信息进行深度提取，将图像中的每个多边形分解为一组沿图像序列扫描线的水平多边形切片，每个多边形切片扫出其相应EPI的一个区域，称为PST，通过对多边形切边的端点进行插值可以得到每个像素点的深度，将图像的深度值保存在深度缓存区域中，这样就可以实现了图像的深度提取。此外，为了减少对非融合场景部分的不必要的渲染，对场景中所需融合的一个或多个物体的深度对场景进行阈值划分，通过剔除场景中以外的深度，可以加快后续场景中渲染的效率。此外还需对阈值范围内进行剔除。多视点渲染主要对基于深度阈值剔除后的场景图像进行渲染，主要包括，几何扫描变换、视图独立着色、背面剔除和双面照明、隐藏表面消除、剪切、纹理映射、Phong着色等。

深度融合模块，深度融合模块主要是对多源场景进行融合，主要包含坐标系转换以及多源场景重构，我们通过对相机采集和Blender中提取的像素点的深度信息，将两种采集场景下的像素进行坐标系转换，统一多源场景中的坐标系，在统一后的坐标系下，通过对比融合后逐一像素点重合部分，通过对比多源场景中深度缓存中的深度值，深度较浅的会覆盖深度较深的像素点，实现多源场景的融合。

光场编码模块可以根据三维显示器的硬件设计排布，对多视点图进行光场编码，得到光场编码后的多视点图像，将其导入三维显示器从而实现了光场的实时生成与显示，实现重构场景可视化。

本申请实施例提供的多源光场融合渲染方法、装置及存储介质，可以通过EPI域转化对多视点图像进行深度提取，然后根据深度信息剔除非目标物体并进行多源场景的融合渲染，可以得到多源场景下的场景重构渲染图像。

图2是本申请实施例提供的多源光场融合渲染装置的结构示意图，如图2所示，本申请实施例提供的多源光场融合渲染装置，包括第一获取模块201，第二获取模块202，第一确定模块203，第一融合模块204，其中：

第一获取模块201，用于基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息；

第二获取模块202，用于基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像；

第一确定模块203，用于基于所述目标物体图像确定所述目标物体的多源场景数据；

第一融合模块204，用于融合所述多源场景数据对所述目标物体图像进行渲染，得到渲染结果。

在一些实施例中，所述第一获取模块，包括：

第一处理子模块，用于将所述多视点图像中的每个多边形分解为一组沿图像序列扫描线的水平多边形切片，得到多边形切片轨迹PST图像；

第一确定子模块，用于对所述PST图像中的多边形切片的端点进行插值，确定所述PST图像中每个像素点的深度信息；

第一获取子模块，用于基于所述PST图像中每个像素点的深度信息，获取所述目标物体的深度信息。

在一些实施例中，所述第二获取模块，包括：

第二确定子模块，用于基于所述目标物体的深度信息，确定深度阈值；

第二获取子模块，用于基于所述深度阈值，剔除所述多视点图像中的非目标物体，获取目标物体图像。

在一些实施例中，所述第一融合模块，包括：

第一转化子模块，用于对多源场景中的像素进行坐标转化，获取统一坐标系；

第一融合子模块，用于在统一坐标系下，基于所述多源场景数据中的深度信息融合所述多源场景数据，获取融合光场图像。

在一些实施例中，所述第一融合子模块，包括：

第一确定单元，用于确定每个像素点的重合部分；

第一处理单元，用于基于所述重合部分，对比所述多源场景数据中的深度信息，使用深度较浅的像素点覆盖深度较深的像素点。

在一些实施例中，所述多源光场融合渲染装置还包括：

第三获取模块，用于获取多视点图像。

在一些实施例中，所述多源光场融合渲染装置还包括：

第四获取模块，用于对所述渲染结果进行光场编码，获取光场编码图像，所述光场编码图像用于目标物体的三维显示。

具体地，本申请实施例提供的上述多源光场融合渲染装置，能够实现上述多源光场融合渲染方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图3是本申请实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行多源光场融合渲染方法，该方法包括：

基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息；

基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像；

基于所述目标物体图像确定所述目标物体的多源场景数据；

融合所述多源场景数据对所述目标物体图像进行渲染，得到渲染结果。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在一些实施例中，所述基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息，包括：

将所述多视点图像中的每个多边形分解为一组沿图像序列扫描线的水平多边形切片，得到多边形切片轨迹PST图像；

对所述PST图像中的多边形切片的端点进行插值，确定所述PST图像中每个像素点的深度信息；

基于所述PST图像中每个像素点的深度信息，获取所述目标物体的深度信息。

在一些实施例中，所述基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像，包括：

基于所述目标物体的深度信息，确定深度阈值；

基于所述深度阈值，剔除所述多视点图像中的非目标物体，获取目标物体图像。

在一些实施例中，所述融合所述多源场景数据，包括：

对多源场景中的像素进行坐标转化，获取统一坐标系；

在统一坐标系下，基于所述多源场景数据中的深度信息融合所述多源场景数据，获取融合光场图像。

在一些实施例中，所述基于所述多源场景数据中的深度信息融合所述多源场景数据，包括：

确定每个像素点的重合部分；

基于所述重合部分，对比所述多源场景数据中的深度信息，使用深度较浅的像素点覆盖深度较深的像素点。

在一些实施例中，所述方法还包括：

获取多视点图像。

在一些实施例中，所述方法还包括：

对所述渲染结果进行光场编码，获取光场编码图像，所述光场编码图像用于目标物体的三维显示。

具体地，本申请实施例提供的上述电子设备，能够实现上述执行主体为电子设备的方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的多源光场融合渲染方法，该方法包括：

基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息；

基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像；

基于所述目标物体图像确定所述目标物体的多源场景数据；

融合所述多源场景数据对所述目标物体图像进行渲染，得到渲染结果。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多源光场融合渲染方法，该方法包括：

基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息；

基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像；

基于所述目标物体图像确定所述目标物体的多源场景数据；

融合所述多源场景数据对所述目标物体图像进行渲染，得到渲染结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

另外需要说明的是：本申请实施例中术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。

本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。

本申请中的“基于A确定B”表示确定B时要考虑A这个因素。并不限于“只基于A就可以确定出B”，还应包括：“基于A和C确定B”、“基于A、C和E确定B”、基于“A确定C，基于C进一步确定B”等。另外还可以包括将A作为确定B的条件，例如，“当A满足第一条件时，使用第一方法确定B”；再例如，“当A满足第二条件时，确定B”等；再例如，“当A满足第三条件时，基于第一参数确定B”等。当然也可以是将A作为确定B的因素的条件，例如，“当A满足第一条件时，使用第一方法确定C，并进一步基于C确定B”等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多源光场融合渲染方法，其特征在于，包括：

基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息；

基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像；

基于所述目标物体图像确定所述目标物体的多源场景数据；

融合所述多源场景数据对所述目标物体图像进行渲染，得到渲染结果。

2.根据权利要求1所述的多源光场融合渲染方法，其特征在于，所述基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息，包括：

将所述多视点图像中的每个多边形分解为一组沿图像序列扫描线的水平多边形切片，得到多边形切片轨迹PST图像；

对所述PST图像中的多边形切片的端点进行插值，确定所述PST图像中每个像素点的深度信息；

基于所述PST图像中每个像素点的深度信息，获取所述目标物体的深度信息。

3.根据权利要求1所述的多源光场融合渲染方法，其特征在于，所述基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像，包括：

基于所述目标物体的深度信息，确定深度阈值；

基于所述深度阈值，剔除所述多视点图像中的非目标物体，获取目标物体图像。

4.根据权利要求1所述的多源光场融合渲染方法，其特征在于，所述融合所述多源场景数据，包括：

对多源场景中的像素进行坐标转化，获取统一坐标系；

在统一坐标系下，基于所述多源场景数据中的深度信息融合所述多源场景数据，获取融合光场图像。

5.根据权利要求4所述的多源光场融合渲染方法，其特征在于，所述基于所述多源场景数据中的深度信息融合所述多源场景数据，包括：

确定每个像素点的重合部分；

基于所述重合部分，对比所述多源场景数据中的深度信息，使用深度较浅的像素点覆盖深度较深的像素点。

6.根据权利要求1所述的多源光场融合渲染方法，其特征在于，所述方法还包括：

获取多视点图像。

7.根据权利要求1所述的多源光场融合渲染方法，其特征在于，所述方法还包括：

对所述渲染结果进行光场编码，获取光场编码图像，所述光场编码图像用于目标物体的三维显示。

8.一种多源光场融合渲染装置，其特征在于，包括：

第一获取模块，用于基于极平面图像EPI域转化，获取多视点图像中目标物体的深度信息；

第二获取模块，用于基于所述目标物体的深度信息剔除所述多视点图像中的非目标物体，获取目标物体图像；

第一确定模块，用于基于所述目标物体图像确定所述目标物体的多源场景数据；

第一融合模块，用于融合所述多源场景数据对所述目标物体图像进行渲染，得到渲染结果。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的多源光场融合渲染方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的多源光场融合渲染方法。