CN116528065B - 一种高效虚拟场景内容光场获取与生成方法 - Google Patents

Abstract

本发明涉及光场显示技术领域，为了解决现有数据处理算法不足导致的实时性和保真性低的技术问题，本发明公开了一种高效虚拟场景内容光场获取与生成方法，根据光场视角以及所需视点数，设定虚拟相机位置，通过指定虚拟相机获取彩色视频流和深度视频流，通过光场编码模块对视频流编码，压缩上传云端传输；通过在预定位置的虚拟相机，实时获取虚拟场景的彩色视频流和深度视频流，并从云端实现远端到本地端传输，获取单帧对应的彩色图与深度图，经过光场编码后进行具有高保真和实时性的远程渲染，能够极大地降低传输成本，解决了通过模型传输代价高、无法实时的问题，同时保证了光场下的渲染精度，满足了高保真和实时的传输和生成需求。

Description

一种高效虚拟场景内容光场获取与生成方法

技术领域

本发明涉及光场显示技术领域，尤其涉及一种高效虚拟场景内容光场获取与生成方法。

背景技术

随着计算机和显示技术的飞速发展，高保真虚拟场景内容光场生成技术已经成为备受瞩目的前沿技术，该技术利用先进的算法和计算机图形技术，可以完整地捕捉现实世界中的光场数据，并实时传输到其他地方进行渲染和展示，实现场景和光照的真实再现，为用户带来身临其境的视觉体验。

虚拟场景内容光场生成技术的发展已经取得了一定的进展。然而，在当前市场和公开的文献中，实时传输和渲染仍然基于模型，面临着传输成本高和无法实时处理的问题，这些技术面临的挑战主要包括以下几个方面：

数据传输和处理的实时性方面，虚拟场景内容光场生成技术需要大量的数据传输和处理，尤其是对于高保真度的场景。在实时传输和渲染过程中，需要解决数据传输的时延和处理速度的问题，以确保光场的实时性和流畅性。

传输带宽的限制方面，虚拟场景内容光场生成技术产生的数据量庞大，需要高带宽的网络传输才能实现实时传输和渲染。然而，当前的网络基础设施可能无法满足高带宽要求，这限制了技术的应用范围和用户体验。

另外，设备的复杂性也使其无法普及到更广泛的领域和用户群体。

可见，高保真虚拟场景内容光场生成技术需要处理大量的光场数据并进行实时渲染，数据处理的实时性和算法优化是关键问题，需要一种高效的数据处理和渲染算法，以减少计算复杂度、提高算法效率、节省带宽和优化图像质量。

发明内容

本发明的目的在于提供一种高效虚拟场景内容光场获取与生成方法，解决现有数据处理算法不足导致的实时性和保真性低的技术问题。

为实现上述目的，本发明的一种高效虚拟场景内容光场获取与生成方法的具体技术方案如下：

一种高效虚拟场景内容光场获取与生成方法，包括如下步骤：

步骤S10，根据光场视角以及所需视点数，设定虚拟相机位置，虚拟相机用于提供远程渲染算法所需要的彩色信息和深度信息，以及提供光场编码所需的视点位置信息；

步骤S20，通过指定虚拟相机获取彩色视频流和深度视频流；

步骤S30，通过光场编码模块对视频流编码，压缩上传云端传输；

步骤S40，在光场编码下，生成光场显示器上每个像素的光线，利用稀疏深度图去框定光线步进范围；

步骤S50，利用稀疏深度图像，通过多视点融合模块进行多视点融合，根据深度差值检测光线碰撞；

步骤S60，利用彩色信息，基于阴影贴图的思想，通过光场渲染模块为光线相交处计算颜色。

通过在预定位置的虚拟相机，实时获取虚拟场景的彩色视频流和深度视频流，并从云端实现远端到本地端传输，获取单帧对应的彩色图与深度图，经过光场编码后进行具有高保真和实时性的远程渲染，能够极大地降低传输成本，解决了以往通过模型传输代价高、无法实时的问题，并同时保证了光场下的渲染精度，满足了高保真和实时的虚拟内容远程光场传输与生成。

进一步地，包括如下虚拟相机设置方法：

设置三台提供彩色信息与深度信息的虚拟相机，分别均匀地设定在距离虚拟场景内容观看距离的左、中、右位置，并以视频流的方式实时传输；

还设置有提供视点位置信息的虚拟相机，均匀地设定在视点错切平面上，并提供固定的相机位置参数。

进一步地，光场编码模块包括：

光线生成模块，使用光场编码算法获取对应视点编号，之后利用视点位置信息，生成光场显示器上每像素的光线；

光场光线范围模块，利用稀疏深度图像去框定光线投射的步进范围。

进一步地，光场光线范围模块将稀疏视点下的深度图信息，以像素为单位形成体素，投射到生成视点的观察空间，以低分辨率的方式光栅化这些体素，使得这些体素分布在生成视点低分辨率的平面上，并通过最大最小值滤波，保留每个像素上体素在观察空间内深度最大与深度最小的体素，并以此得到的最大最小深度值，作为对应像素上光线步进的范围，之后根据步进范围以及光场编码后求得的对应视点位置信息以及像素坐标进而投射光线。

进一步地，多视点融合模块包括用于光线碰撞检测的碰撞检测模块和减少表面噪声的融合模块。

进一步地，碰撞检测模块根据三个稀疏视点下的深度图，动态获得光线与虚拟场景的截断深度差值并进行融合，用于计算光线的步进，检测光场中光线与虚拟场景中的物体是否碰撞。

进一步地，融合模块将稀疏视点下的深度图做方差预处理，实时计算时，将对应深度的方差提取，对于高方差区域，降低对应视点深度图得到的深度差值权重，计算出各个视点深度图得到深度差值并计算权重进行融合。

进一步地，光场渲染模块将光线交点处作为体素单位，投射到彩色图视点的观察空间中，基于阴影贴图的思想，比较视点观察空间中深度的大小，定义体素的深度值为A，虚拟场景的深度值为B，若|A-B|＜0.05cm，则确定视点的彩色图可参与光线交点处颜色的计算。

本发明提供的一种高效虚拟场景内容光场获取与生成方法具有以下优点：

本发明实施例提供的一种高效虚拟场景内容光场获取与生成方法，通过特定位置下的虚拟相机实时获取虚拟场景的彩色视频流和深度视频流，并从云端传输到本地设备，获取单帧对应的彩色图与深度图，经过光场编码后进行具有高保真和实时性的远程渲染，相较于现有的技术方法，该方法能够极大地降低传输成本，解决了以往通过模型传输代价高、无法实时的问题，并同时保证了光场下的渲染精度，满足了高保真和实时的虚拟内容远程光场传输与生成。

附图说明

图1为本发明提供的高效虚拟场景内容光场获取与生成方法的流程图；

图2为本发明提供的采集彩色信息和深度信息的虚拟相机布置示意图；

图3为本发明提供的采集视点位置信息的虚拟相机布置示意图；

图4为本发明提供的具体实施流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参阅图1，本发明提供的一种高效虚拟场景内容光场获取与生成方法，包括如下步骤：

步骤S10，根据光场视角以及所需视点数，设定虚拟相机位置，虚拟相机用于提供远程渲染算法所需要的彩色信息和深度信息，以及提供光场编码所需的视点位置信息；

步骤S20，通过指定虚拟相机获取彩色视频流和深度视频流；

步骤S30，通过光场编码模块对视频流编码，压缩上传云端传输；

步骤S40，在光场编码下，生成光场显示器上每个像素的光线，利用稀疏深度图去框定光线步进范围；

步骤S50，利用稀疏深度图像，通过多视点融合模块进行多视点融合，根据深度差值检测光线碰撞；

步骤S60，利用彩色信息，基于阴影贴图的思想，通过光场渲染模块为光线相交处计算颜色。

下面将上述方法应用于光场数字人的即时通讯场景对各个步骤展开详细描述：

第一，在步骤S10和步骤S20中所涉的虚拟相机一共分为两类，一类用于提供远程渲染算法所需要的彩色信息和深度信息，一类提供光场编码所需的视点位置信息：

远程渲染算法所需要的彩色信息和深度信息分别指虚拟相机拍摄到的彩色图与深度图，并以视频流的方式实时传输，视频流由多帧的彩色图以及深度图组成。

如图2所示， 用于提供远程渲染算法所需要的彩色信息和深度信息的虚拟相机，其数量共三台，分别均匀地设定在距离数字人模型观看距离的左、中、右位置。设定位置的选取，其最终目的是尽可能的采集到光场显示视场角内设定视点位置上的全部信息。若规定了光场显示视场角以及观看距离，用于提供彩色信息和深度信息的虚拟相机应设置在图中左、中、右位置上。

光场编码所需的视点位置指的是光场显示视场角内所需要的虚拟视点位置。

用于提供光场编码所需的视点位置信息的虚拟相机，数量为规定视点数，其中错切平面以正对于数字人模型的中间视点展开，以错切的方式拍摄数字人模型，具体设置位置如图3所示，规定视点数为n，均匀地设置在错切平面内，并且中间虚拟相机正对于数字人模型。错切平面距离数字人模型的垂直距离为观看距离。

最终，将设定好的所有虚拟相机的视点位置，以观察矩阵和透视矩阵的方式，在初始化阶段告知远端设备。

第二，在步骤S30中，GPU对多路视频流的编码解码操作压缩视频流以及云端传输：

GPU对多路视频流的编码解码操作压缩视频流指的是，通过使用图形处理器进行视频编码和解码。GPU视频编码和解码基于硬件加速和并行计算的原理。当进行视频编码时，GPU可以同时对多个像素进行处理，将它们转换为数字信号，并将其压缩为更小的文件。解码是将压缩的数字信号解码为像素数据。GPU可以在非常短的时间内解码大量的数据，并将其转换为可视化的图像。GPU编码解码技术通常使用现代编码标准，如H.264、H.265和VP9等。这些标准具有高压缩率和高质量，能够使视频数据更小并保持清晰度。

第三，在步骤S40中，使用光场编码算法获取对应视点编号，之后利用视点位置信息生成光场显示器上每像素的光线：

光场编码指的是，一种用于捕捉和呈现3D场景的技术，其基本原理是在3D场景中放置一个多通道相机阵列，从而获取多个视点的光场信息。在这个过程中，每个像素都包含了多个视点的信息，因此需要一种算法来将像素中的多个视点信息进行解码，以便于呈现所需的视点。

使用光场编码算法获取对应视点编号指的是，通过对光场数据进行处理，从而找到最佳的视点，以使得视点上的图像与目标图像尽可能的匹配。一种常用的方法是使用基于优化的算法，例如逆向投影算法、光场视差算法、多视点光场编码算法等，来寻找最佳的视点。

利用视点位置信息生成光场显示器上每像素的光线指的是，利用获得生成视点的位置信息，通过其透视矩阵和对应像素坐标求得光线方向的单位向量d，光线起点为生成视点下观察空间坐标系的原点O，t代表光线随时间以光线方向前进t个单位向量，之后将所有深度图信息，以像素为单位形成体素，投射到生成视点的观察空间，以低分辨率的方式光栅化这些体素，使得这些体素分布在生成视点低分辨率的平面上，并通过最大最小值滤波，保留每个像素上体素在观察空间内深度最大与深度最小的体素，并以此得到的最大深度值depth_max与最小深度值depth_min，作为对应像素上光线步进的范围。所以整体光线公式如下：；

第四，在步骤S50中，通过不同视点下的深度图，动态获得截断深度差值并进行融合，用于计算光线的步进，检测光场中的光线与数字人模型是否碰撞。

动态获得截断深度差值指的是，首先将光线位置从生成视点观察空间坐标系转换到提供深度图视点的观察空间坐标系，并进行光栅化操作找到深度图上对应的像素坐标与深度值，将光线位置在深度图视点的观察空间的深度depth_ray与深度图的深度值depth做差值求得深度差值depth_diff：，

通过截断函数求得截断深度差值depth_T,其中T是人为设定的截断值，其目的就是保证在深度融合中防止光线过度的步进：；

融合截断深度差值是指，融合截断深度差值作为光线的步进。获得的三个截断深度差值，分别对应三台提供深度信息的虚拟相机。融合方法是，首先按照n*n像素范围大小，获得每个对应深度图中该像素上深度值的方差，对于高方差区域，降低其深度差值的权重，设该像素n*n范围内方差为σ_i，权重值为w,其中N_i表示n*n范围内的像素：

；

光线的步进可以表示为s：

；

最终，当光线步进s达到某一个阈值之后，判定光线此时与数字人模型碰撞。

第五，在步骤S60中，通过彩色图颜色信息，并利用阴影贴图算法的思想，求解光线碰撞处的颜色。

阴影贴图算法指的是用于实时渲染的阴影技术，它通过生成一个深度图来模拟光线在场景中的传播和遮挡关系，从而实现在场景中显示动态阴影的效果。该算法的基本思想是在光源的视角下渲染场景，将渲染结果保存到深度贴图中，然后在场景渲染时利用深度贴图来计算物体表面上每个点是否在阴影中，从而实现阴影的渲染。

利用阴影贴图算法的思想，求解光线碰撞处的颜色指的是，参考阴影贴图算法的思路去计算颜色。首先将光线位置从生成视点观察空间下的坐标转换到彩色图视点观察空间下的坐标系。此时通过光栅化找到对应像素坐标，先比较该像素坐标下深度值与光线位置在此视点观察空间下的深度，若两者深度差在设定阈值范围内，则判定彩色图在该像素下应该提供颜色，并将颜色乘上该视点相机方向向量与光线来源视点相机方向向量的余弦值，加权到最终颜色值。

参阅图4，在一实施方式中，将上述方法应用于光场数字人即时通讯场景具体展开描述：

（1）光场显示的视点数设定为70个视点，视场角设定为70°，观看距离1m，分辨率为7680*4320，每个虚拟视点分辨率为800*600。

（2）虚拟相机模块包含3台用于提供彩色信息与深度信息的虚拟相机，以及70台提供光场编码所需视点位置信息。其中70台为设定光场显示所需的视点数。根据光场显示要求的视点数、视场角以及观看距离，摆放虚拟相机，并将所有73台虚拟相机的观察矩阵以及透视矩阵在初始化阶段告知远端设备，此后不会改变相机位置。

（3）在实时运行阶段，3台用于提供彩色信息与深度信息的虚拟相机，实时提供彩色视频流和深度视频流。配置FFmpeg启用GPU对视频流进行编码，利用CUDA加速并使用NVIDIA GPU上的H.264_nvenc编码器对视频进行编码，设置视频的目标比特率为2 Mbps。其中对于深度视频流编码，通常需要进行两次编码：首先对深度数据进行压缩，然后将压缩后的数据与彩色视频流进行合并编码。这个过程通常被称为“视觉+深度”编码。这将读取彩色视频流（input_color.mp4）和深度视频流（input_depth.mp4），使用zscale滤镜将深度视频流调整为与彩色视频流相同的分辨率和颜色空间，然后使用vstack滤镜将两个视频流合并。最后，使用hwupload滤镜将数据上传到GPU进行编码，并使用H.264_nvenc编码器对视频进行压缩，输出为output.mp4文件。

（4）对编码压缩后的视频流output.mp4，进行云端传输。首先选择传输协议，根据实时性以及低延时的要求，这里选择RTMP协议。通过点对点传输，将视频流上传到远程设备。

（5）远程设备接收视频并进行处理，首先使用UDP协议接受视频流，并用AAC编码并将其转换为RTMP协议，以实时传输到远程设备上。

（6）在远程设备上使用FFmpeg打开并解析视频流，之后使用解码器解码视频，并从中获取解码后的视频帧数据，对于合并后的视频帧，使用FFmpeg中crop和split滤镜。将彩色视频流和深度视频流分开，并获取同一帧的三张彩色图和三张深度图。

（7）之后将数据从CPU内存放置到GPU纹理内存内，以Texture2D的格式存储。

（8）使用光场编码算法获取对应视点编号，这里使用多视点光场编码算法，获得具体视点编号，从而获取对应视点位置信息，生成光场显示器上每像素的光线，这里使用CUDA加速。

（9）从GPU中的纹理内存中读取三张深度图纹理，通过稀疏深度图的多视点融合，获取光线的步进长度，这里获取截断深度差值时的截断值位置为1.5cm，其次融合时，求取方差的像素范围设定为7*7。

（10）判断光线与数字人模型碰撞后，从GPU中的纹理内存中读取三张彩色图纹理，利用阴影贴图算法的思想，求取该像素上最终的颜色值，这里使用DirectX 12渲染。

（11）最终画面渲染在光场显示器上，完成了数字人远程传输及渲染的任务，其中由于本方法的高效性，保证了整体系统的实时性，并极大地减少了传输的带宽。经测试，在光场分辨率为7680*4320下，光场内容的实时生成帧率满足30FPS以上。

综上所述，本发明提供的一种高效虚拟场景内容光场获取与生成方法，

通过特定位置的虚拟相机实时获取虚拟场景对应的彩色视频流和深度视频流，并从云端传输到本地设备，获取单帧对应的彩色图和深度图，经过光场编码算法后进行了具有高保真和实时性的远程渲染，相较于现有的技术方法，具有较高的压缩率节省带宽，该方法能够极大地降低传输成本，解决了以往通过模型传输代价高、无法实时同步的问题，并同时保证了光场下的渲染精度，满足了高保真和实时的虚拟场景远程光场传输与渲染，本方法适用于各种虚拟应用场景，包括但不限于光场数字人的即时通讯、虚拟仿真的远程传输和虚拟展示的远程教学等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种高效虚拟场景内容光场获取与生成方法，包括如下步骤：

步骤S10，根据光场视角以及所需视点数，设定虚拟相机位置，所述虚拟相机用于提供远程渲染算法所需要的彩色信息和深度信息，以及提供光场编码所需的视点位置信息；

步骤S20，通过指定虚拟相机获取彩色视频流和深度视频流；

步骤S30，通过光场编码模块对视频流编码，压缩上传云端传输；

步骤S40，在光场编码下，生成光场显示器上每个像素的光线，利用稀疏深度图去框定光线步进范围；

步骤S50，利用稀疏深度图像，通过多视点融合模块进行多视点融合，根据深度差值检测光线碰撞；

深度差值获取方法如下：

将光线位置从生成视点观察空间坐标系转换到提供深度图视点的观察空间坐标系，并进行光栅化操作找到深度图上对应的像素坐标与深度值；

将光线位置在深度图视点的观察空间的深度值与深度图的深度值做差值求得所述深度差值，定义观察空间的深度值为depth_ray、深度图的深度值为depth、深度差值为depth_diff，则depth_diff = depth - depth_ray；

步骤S60，利用彩色信息，基于阴影贴图的思想，通过光场渲染模块为光线相交处计算颜色。

2.根据权利要求1所述的一种高效虚拟场景内容光场获取与生成方法，其特征在于，包括如下虚拟相机设置方法：

设置三台提供彩色信息与深度信息的虚拟相机，分别均匀地设定在距离虚拟场景内容观看距离的左、中、右位置，并以视频流的方式实时传输；

还设置有提供视点位置信息的虚拟相机，均匀地设定在视点错切平面上，并提供固定的相机位置参数。

3.根据权利要求2所述的一种高效虚拟场景内容光场获取与生成方法，其特征在于，所述光场编码模块包括：

光线生成模块，使用光场编码算法获取对应视点编号，之后利用视点位置信息，生成光场显示器上每像素的光线；

光场光线范围模块，利用稀疏深度图像去框定光线投射的步进范围。

4.根据权利要求3所述的一种高效虚拟场景内容光场获取与生成方法，其特征在于，光场光线范围模块将稀疏视点下的深度图信息，以像素为单位形成体素，投射到生成视点的观察空间，以低分辨率的方式光栅化这些体素，使得这些体素分布在生成视点低分辨率的平面上，并通过最大最小值滤波，保留每个像素上体素在观察空间内深度最大与深度最小的体素，并以此得到的最大最小深度值，作为对应像素上光线步进的范围，之后根据步进范围以及光场编码后求得的对应视点位置信息以及像素坐标进而投射光线。

5.根据权利要求1所述的一种高效虚拟场景内容光场获取与生成方法，其特征在于，所述多视点融合模块包括用于光线碰撞检测的碰撞检测模块和减少表面噪声的融合模块。

6.根据权利要求5所述的一种高效虚拟场景内容光场获取与生成方法，其特征在于，所述碰撞检测模块根据三个稀疏视点下的深度图，动态获得光线与虚拟场景的截断深度差值并进行融合，用于计算光线的步进，检测光场中光线与虚拟场景中的物体是否碰撞。

7.根据权利要求1至6任一项所述的一种高效虚拟场景内容光场获取与生成方法，其特征在于，所述光场渲染模块将光线交点处作为体素单位，投射到彩色图视点的观察空间中，基于阴影贴图的思想，比较视点观察空间中深度的大小，定义体素的深度值为A，虚拟场景的深度值为B，若|A-B|＜0.05cm，则确定该视点的彩色图可参与光线交点处颜色的计算。