CN112700528B - 一种用于头戴增强现实设备的虚拟物体阴影渲染方法 - Google Patents

Abstract

本发明公开了一种用于头戴增强现实设备的虚拟物体阴影渲染方法，主要分为五个步骤：提取真实空间目标平面属性、虚拟对象以及阴影图层绘制、生成负阴影遮罩层，负阴影遮罩层针对场景适配和图层的线性混合。本发明可应用于多数头戴式增强现实平台，提升真实场景中虚拟物体的绘制质量和真实感。

Description

一种用于头戴增强现实设备的虚拟物体阴影渲染方法

技术领域

本发明属于增强现实技术，具体为一种用于头戴增强现实设备的虚拟物体阴影渲染方法。

背景技术

增强现实(AR)是一种将3D虚拟对象实时集成到3D现实环境中的多媒体技术，近年来，增强现实技术的巨大潜力体现在了诸多方面，诸如模拟培训，教育实验，工业组装等。增强现实，尤其是混合现实系统，有望在娱乐，教育和医疗保健领域提供前所未有的沉浸式体验。常见的增强现实系统一般都通过摄像机对用户周围环境进行理解，在用户的视场上渲染虚拟叠加层，从而增强了现实世界。

在很多情况下，沉浸式增强现实技术受限于多方面的原因，当前的沉浸式增强现实应用无法呈现具有高真实感的渲染结果，导致了目前的增强现实应用主要集中于信息的增强，重点被放在了显示准确的信息而非具有真实感的信息。而当增强现实应用的主要目标是为用户创造沉浸感时，叠加在真实空间中的虚拟物体较差的视觉效果就成为了一个明显的问题。在这种情况下，较为糟糕的视觉效果可以分为两个子问题:虚拟物体拟真度问题和虚拟环境光照问题。各类渲染管线的引入可以一定程度上的解决拟真度问题，例如Unity的高清材质渲染管线以及Unreal Engine的延迟渲染管线，可以实现包括法线贴图，粗糙度贴图，高光贴图等多类特性，使得材质更加逼真。但是叠加在真实场景中的虚拟物体不具备阴影，则真实感依旧会大打折扣，缺少阴影的虚拟物体叠加会导致用户对虚拟物体的高度感知出现误判等多种问题。

发明内容

本发明提出了一种用于头戴增强现实设备的虚拟物体阴影渲染方法。

实现本发明目的的技术方案为：一种用于头戴增强现实设备的虚拟物体阴影渲染方法，具体步骤为：

步骤1：获取真实空间目标平面以及真实空间目标平面的色彩信息，所述真实空间目标平面为场景中接受虚拟物体投影的平面；

步骤2：绘制虚拟场景的颜色信息和阴影信息，并存储为前景层图像和阴影层图像；

步骤3：将步骤2渲染获得的阴影层处理为负阴影遮罩层；

步骤4：基于步骤3得到的负阴影遮罩层，根据步骤1获得的真实空间目标平面的色彩经过神经网络获得负阴影色彩层，将负阴影色彩层的RGB通道与负阴影遮罩层的alpha通道混合得到具有RBGA四个通道的负阴影层；

步骤5：将负阴影层与前景层合成得到最终图像。

优选地，获取真实空间目标平面的具体方法为：

步骤1.1：根据人工标记点对场景中的地面进行三维注册，解算得到真实世界平面相对于虚拟视点的位置姿态；

步骤1.2：在虚拟场景中绘制虚拟平面，并根据绘制结果中的虚拟平面相对于视点的深度缓存，得到虚拟平面的覆盖区域，并将覆盖区域与相机获取的真实世界图像作比对，获得真实世界图像中经步骤1.1三维注册的目标平面所在区域；

步骤1.3：提取步骤1.2中目标平面区域的真实世界图像颜色通道。

优选地，虚拟场景前景图层以及阴影图层绘制的具体步骤如下：

步骤2.1：渲染前景层，所述前景层包含了三种渲染过程中的的缓存信息，分别是场景法线信息缓存，材质PBR信息缓存，颜色信息缓存，调用渲染线程获取三类缓存，并将三者合并，获得不包含光照信息的前景层；

步骤2.2：渲染阴影层，根据当前虚拟场景的每个光源的属性，计算场景中接受阴影的目标平面的光照情况，根据渲染场景相对于虚拟视点的透视关系，生成阴影分布图并将结果存储为阴影层。

优选地，将步骤2渲染获得的阴影层处理为负阴影遮罩层的具体步骤如下：

步骤3.1：根据步骤2获取到的阴影层渲染结果，获取场景中每个光源的阴影层，并解析为阴影贴图；

步骤3.2：根据获得的阴影贴图，提取阴影边缘部分；

步骤3.3：对获得的阴影贴图的每个像素的alpha通道值取反，获得针对该光源的负阴影遮罩层。

优选地，对步骤3渲染获得的负阴影遮罩层进行色彩处理的具体步骤如下：

步骤4.1：获取步骤3中各个光源的负阴影遮罩层并进行合并；

步骤4.2：基于步骤1获取的真实空间目标平面的色彩，通过深度学习得到颜色通道结果；

步骤4.3：将步骤4.1合并后的负阴影遮罩层根据像素alpha通道与步骤4.2中输出的目标平面区域图像进行混合，得到具有RBGA四个通道的完整负阴影层。

优选地，通过深度学习得到颜色通道结果的具体方法为：

通过场景颜色匹配网络对负阴影遮罩层进行优化，所述颜色匹配网络采用U-Nets结构，输入为步骤1中获取的真实空间目标平面图像各像素的位置信息以及颜色RGB通道值，输出为目标区域各像素的颜色RGB通道值以及颜色渐变参数因子k。

优选地，对各个光源的负阴影遮罩层进行合并的规则为保留alpha值大于设定阈值的像素，覆盖alpha值小于设定阈值的像素。

优选地，将负阴影层与前景层合成得到最终图像的具体公式为：

R_n＝f(1-S_n)

其中，I表示最终的图像，B表示前景层，R_n表示n号光源的负阴影遮罩层，M表示负阴影色彩层，

的运算指将负阴影遮罩层中每个像素的透明度通道值赋给负阴影色彩层中对应位置的像素，S_n表示单个光源阴影层，f(x)则表示对负阴影图像作逐像素透明度处理的结果。

本发明与现有技术相比，其显著优点为：本发明能够在使用NED(Near EyeDisplay)显示方式的头戴式增强显示设备中正确的绘制阴影，提高场景真实感与沉浸感；

本发明可应用于多数头戴式增强现实平台，提升真实场景中虚拟物体的绘制质量和真实感。

下面结合附图对本发明做进一步详细的描述。

附图说明

图1为应用本发明的方法在第一个场景中合成虚拟物体各个阶段结果图。

图2为应用本发明的方法在第二个场景中合成虚拟物体各个阶段结果图。

图中，A为真实场景图像，B为色彩层，C为阴影层，D为混合后的显示结果。

具体实施方式

一种用于头戴增强现实设备的虚拟物体阴影渲染方法，获取场景中接受虚拟物体投影的平面以及其色彩信息，并将虚拟物体针对当前虚拟视角的渲染流程分为两个并行的部分，分别为色彩层和阴影层，渲染色彩层，实现基本虚拟物体基本的遮挡剔除，着色以及深度缓冲。渲染针对当前虚拟视点的场景阴影贴图阴影层，该阴影贴图信息显示了当前光栅化的场景中哪些位置包含阴影。通过负阴影处理，将场景中黑色的阴影被凸显，实现在不改变阴影原本颜色的基础下，达到虚拟物体阴影可视化的目的。获取负阴影遮罩层后，根据当前真实场景的平面颜色，通过神经网络获得一张负阴影颜色层，目的是为了能够在不同颜色不同特性的真实平面上实现虚拟物体阴影最大可视化。最终将遮罩层与颜色层混合，并与色彩层逐像素求和得到带透明通道的渲染结果，由优化后的最终渲染结果在头戴式增强现实显示设备上与真实场景叠加，最终得到具有较高真实感的增强现实绘制结果。

本发明的具体步骤为：

步骤1：提取真实空间目标平面：获取真实空间目标平面以及真实空间目标平面的色彩信息，所述真实空间目标平面为场景中接受虚拟物体投影的平面；

在其中一个实施例中，提取真实空间目标平面的具体方法为：

步骤1.1：根据人工标记点对场景中的地面进行三维注册，解算得到地面/桌面等真实世界平面相对于虚拟视点的位置姿态。

步骤1.2：在虚拟场景中绘制虚拟平面，并根据绘制结果中的虚拟平面相对于视点的深度缓存，得到虚拟平面的覆盖区域，并将该区域与相机获取的真实世界图像作比对，获得真实世界图像中经步骤1.1三维注册的目标平面所在区域。

步骤1.3：提取步骤1.2中目标平面区域的真实世界图像颜色通道并存储，作为步骤4中的神经网络输入。

步骤2：绘制虚拟场景的颜色信息和阴影信息，并最终存储一张前景层图像和一张阴影层图像。

在其中一个实施例中，虚拟场景前景图层以及阴影图层绘制的具体步骤如下：

步骤2.1：渲染前景层，前景层包含了三种渲染过程中的的缓存信息，分别是场景法线信息缓存，材质PBR信息缓存，颜色信息缓存。在渲染引擎中，三类缓存信息均以图像的形式提供，调用渲染线程获取三类缓存，并将三者合并，获得最终不包含光照信息的前景层。

步骤2.2：渲染阴影层，根据当前虚拟场景的每个光源的属性(辐亮度，光源体积，衰减率等)，计算场景中接受阴影的目标平面的光照情况，根据渲染场景相对于虚拟视点的透视关系，生成阴影分布图并将结果存储为阴影层。

步骤3：生成负阴影遮罩层：头戴显示器常用的显示技术中的Alpha通道是黑色。在这种硬件条件下，阴影的颜色越深，则在用户眼中阴影就越难以看见。针对这种状况，将步骤2渲染获得的阴影层处理为负阴影遮罩层。

在其中一个实施例中，将步骤2渲染获得的阴影层处理为负阴影遮罩层的具体步骤如下：

步骤3.1：根据步骤2获取到的阴影层渲染结果，获取场景中每个光源的阴影层，并解析为阴影贴图。

步骤3.2：根据获得的阴影贴图，提取阴影边缘部分，保留结果供步骤5使用。

步骤3.3：对获得的阴影贴图的每个像素的alpha通道值a取反，获得针对该光源的负阴影遮罩层。

步骤4：负阴影遮罩层的适配：基于步骤3得到的负阴影遮罩层，根据步骤1获得的真实空间目标平面的色彩经过神经网络获得负阴影色彩层，将负阴影色彩层的RGB通道与负阴影遮罩层的alpha通道混合得到具有RBGA四个通道的负阴影层；

在其中一个实施例中，对步骤3渲染获得的负阴影遮罩层进行色彩处理的具体步骤如下：

步骤4.1：获取步骤3中各个光源的负阴影遮罩层并进行合并，合并的规则为保留alpha值大于设定阈值的像素，覆盖alpha值小于设定阈值的像素。

步骤4.2：基于步骤1获取的目标平面色彩，通过深度学习得到颜色通道结果，以实现虚拟物体阴影在当前真实环境平面上的最大可视化。

具体地，通过场景颜色匹配网络对负阴影遮罩层进行优化，所述的颜色匹配网络采用U-Nets结构，输入为步骤1中获取的真实场景平面图像各像素的位置信息以及颜色RGB通道值，输出为目标区域各像素的颜色RGB通道值以及颜色渐变参数因子k。

步骤4.3：将步骤4.1中得到的负阴影遮罩层根据像素alpha通道与步骤4.2中输出的目标平面区域图像进行混合，得到具有RBGA四个通道的完整负阴影层。

步骤5：图层的线性混合：将负阴影层与前景层合成得到最终图像，合并公式如下：

R_n＝f(1-S_n)

其中，I表示最终的图像，B表示前景层层，R_n表示n号光源的负阴影遮罩层，M表示负阴影色彩层，S_n表示单个光源阴影层，f(x)则表示对负阴影图像作逐像素透明度做处理，输入为负阴影图像，输出为带透明通道的负阴影遮罩层。f(x)的具体形式如下：查找像素(X_i,Y_j)到距离最近的阴影边缘点(X_s,Y_s),并根据距离以及步骤4.2获得的渐变参数因子k，最终计算得到该点的透明度A。计算目标像素透明度A的公式如下：

式中，L_max的值由当前的渲染分辨率决定，计算方法如下图所示：

其中m,n分别为当前图像的横向分辨率以及纵向分辨率。

本发明利用实时绘制管线和光照信息绘制虚拟物体的色彩层以及阴影层，再根据头戴式增强显示设备的显示特性，将阴影层处理为负阴影遮罩层，并根据真实世界中投影平面的色彩信息，通过一个经训练学习的神经网络进行色彩的适配，实现虚拟物体阴影在当前真实环境平面上的最大可视化。最终将处理过的负阴影遮罩层与色彩层合成，获得逼真的结果图像。

实施例

图1-2是应用本实施例对不同使用场景添加虚拟对象的各阶段生成结果。从左到右依为真实场景图像，前景层渲染结果，阴影层渲染结果，以及混合后的最终显示结果。

一种用于头戴增强现实设备的虚拟物体阴影渲染方法，具体为：

在离线阶段获取训练集：建立一个虚拟场景，包含一个较大的平面用于接受阴影，平面上放置的是具有随机几何形状的虚拟模型，在不同的光照强度，不同的平面颜色下渲染生成由光照的图像。将虚拟场景中的虚拟平面原本的色彩值作为输入，对该虚拟平面在各类光照生成的光照图像中的阴影区域进行人工标记，将获得受光照影响后呈现的色彩值作为输出，作为一对训练集。本实施例中，每个对象由平均分布随机变量系数调幅的5阶球谐函数表示，将取值钳位为非负值，并表示为球坐标高度图。确切表述为：

{max(0,∑x_l,my_l,m(ω)|x_l,m～U(-1,1),ω∈Ω)}

其中U表示均匀分布，x_l,m表示球谐系数，l,m分别表示基函数的阶数和序数.

离线训练好神经网络后，在线阶段的第一步，先获取真实世界平面的颜色特征信息。平面三维注册方法还是较为传统的根据人工标记点解算出平面相对于虚拟视点的位置姿态，而目标平面的相对于真实世界图像中的覆盖区域可由当前场景中针对虚拟视角的深度缓存计算得到，当前的深度缓冲可以准确地将真实视角下的平面与非平面区域进行区分。经过上述步骤，可以获得一张真实世界中目标平面的颜色数据。

第二步，将虚拟场景的渲染管线并行为两个独立的过程，包括针对色彩层的渲染和阴影层的渲染，以本发明的实验环境为例，两者的渲染结果均以图像缓存的形式存储在内存中，并经由后续步骤调用。

第三步，根据第二步获取到的阴影层渲染结果，获取场景中每个光源的阴影层，并解析为阴影贴图。根据获得的阴影贴图，提取阴影边缘部分，保留结果供步骤5使用。对获得的阴影贴图的每个像素的alpha通道值取反，最终生成一个针对该光源的负阴影遮罩层。

第四步，将各个光源的负阴影遮罩层进行合并，合并的规则为保留alpha值为较大的像素，覆盖alpha值较小的像素。并根据分割后的真实世界颜色数据，经由训练好的神经网络，给出特定区域负阴影遮罩层的适配颜色以及渐变过渡参数k。将神经网络训练输出的结果与原本的负阴影遮罩层进行合并，最终生成一张针对当前虚拟视角看到的真实世界平面处理过的负阴影层。

第五步，线性混合。使用具体实施步骤5中的混合规则，将上述流程中获取到的前景层与负阴影层混合获得最终的渲染结果。

发明人在一台配有Intel Core i7-8750H中央处理器，Nvidia RTX 2060笔记本图形处理器的笔记本电脑上实现了本发明的实施实例。发明人采用了所有在具体实施方法中列举的步骤以及流程，得到了附图中的实验结果。本发明可以使用户自然流畅地与虚拟对象进行互动，包括移动和旋转。对于一张1268*720图像，每个单帧处理流程大概需要35毫秒：实时图形绘制管线耗时12毫秒；运行色彩匹配网络耗时18毫秒；剩下时间主要用于CPU及GPU之间数据传输；另外负阴影色彩匹配网络在单张NVidia GTX 2080图形处理器上预训练需要时间为8小时。

Claims (4)

1.一种用于头戴增强现实设备的虚拟物体阴影渲染方法，其特征在于，具体步骤为：

步骤1：获取真实空间目标平面以及真实空间目标平面的色彩信息，所述真实空间目标平面为场景中接受虚拟物体投影的平面，获取真实空间目标平面的具体方法为：

步骤1.1：根据人工标记点对场景中的地面进行三维注册，解算得到真实世界平面相对于虚拟视点的位置姿态；

步骤1.2：在虚拟场景中绘制虚拟平面，并根据绘制结果中的虚拟平面相对于视点的深度缓存，得到虚拟平面的覆盖区域，并将覆盖区域与相机获取的真实世界图像作比对，获得真实世界图像中经步骤1.1三维注册的目标平面所在区域；

步骤1.3：提取步骤1.2中目标平面区域的真实世界图像颜色通道；

步骤2：绘制虚拟场景的颜色信息和阴影信息，并存储为前景层图像和阴影层图像，虚拟场景前景图层以及阴影图层绘制的具体步骤如下：

步骤2.1：渲染前景层，所述前景层包含了三种渲染过程中的缓存信息，分别是场景法线信息缓存，材质PBR信息缓存，颜色信息缓存，调用渲染线程获取三类缓存，并将三者合并，获得不包含光照信息的前景层；

步骤2.2：渲染阴影层，根据当前虚拟场景的每个光源的属性，计算场景中接受阴影的目标平面的光照情况，根据渲染场景相对于虚拟视点的透视关系，生成阴影分布图并将结果存储为阴影层；

步骤3：将步骤2渲染获得的阴影层处理为负阴影遮罩层，具体步骤如下：

步骤3.1：根据步骤2获取到的阴影层渲染结果，获取场景中每个光源的阴影层，并解析为阴影贴图；

步骤3.2：根据获得的阴影贴图，提取阴影边缘部分；

步骤3.3：对获得的阴影贴图的每个像素的alpha通道值取反，获得针对该光源的负阴影遮罩层；

步骤4：基于步骤3得到的负阴影遮罩层，根据步骤1获得的真实空间目标平面的色彩经过神经网络获得负阴影色彩层，将负阴影色彩层的RGB通道与负阴影遮罩层的alpha通道混合得到具有RBGA四个通道的负阴影层，对步骤3渲染获得的负阴影遮罩层进行色彩处理的具体步骤如下：

步骤4.1：获取步骤3中各个光源的负阴影遮罩层并进行合并；

步骤4.2：基于步骤1获取的真实空间目标平面的色彩，通过深度学习得到颜色通道结果；

步骤4.3：将步骤4.1合并后的负阴影遮罩层根据像素alpha通道与步骤4.2中输出的目标平面区域图像进行混合，得到具有RBGA四个通道的完整负阴影层；

步骤5：将负阴影层与前景层合成得到最终图像。

2.根据权利要求1所述的用于头戴增强现实设备的虚拟物体阴影渲染方法，其特征在于，通过深度学习得到颜色通道结果的具体方法为：

通过场景颜色匹配网络对负阴影遮罩层进行优化，所述颜色匹配网络采用U-Nets结构，输入为步骤1中获取的真实空间目标平面图像各像素的位置信息以及颜色RGB通道值，输出为目标区域各像素的颜色RGB通道值以及颜色渐变参数因子k。

3.根据权利要求1所述的用于头戴增强现实设备的虚拟物体阴影渲染方法，其特征在于，对各个光源的负阴影遮罩层进行合并的规则为保留alpha值大于设定阈值的像素，覆盖alpha值小于设定阈值的像素。

4.根据权利要求1所述的用于头戴增强现实设备的虚拟物体阴影渲染方法，其特征在于，将负阴影层与前景层合成得到最终图像的具体公式为：

R_n＝f(1-S_n)

其中，I表示最终的图像，B表示前景层，R_n表示n号光源的负阴影遮罩层，M表示负阴影色彩层，

的运算指将负阴影遮罩层中每个像素的透明度通道值赋给负阴影色彩层中对应位置的像素，S_n表示单个光源阴影层，f(x)则表示对负阴影图像作逐像素透明度处理的结果。

Images