CN112419472A - 一种基于虚拟阴影图的增强现实实时阴影生成方法 - Google Patents

Abstract

本发明公开了一种基于虚拟阴影图的增强现实实时阴影生成方法。该方法为：首先获取当前设备数据，对场景中的光源方向和光照强度进行估计；通过摄像机获取当前场景视频，将图像分为阴影区域和非阴影区域；通过深度相机获取视频深度信息，得到三维空间坐标，并转换至灯光空间；然后根据光源方向渲染阴影图，将现实场景中的阴影区域渲染至阴影图中，构建二值阴影图；接着将虚拟对象顶点变换至阴影图空间，根据二值阴影图判断当前顶点是否处于阴影之中，是则渲染阴影效果，否则渲染光照效果，并生成阴影；最后生成3D虚拟对象，与当前场景图像融合后输出显示。本发明计算效率高，可以实现移动增强现实中全部阴影和局部阴影的生成。

Description

一种基于虚拟阴影图的增强现实实时阴影生成方法

技术领域

本发明涉及移动增强现实技术领域，特别是一种基于虚拟阴影图的增强现实实时阴影生成方法。

背景技术

增强现实技术(Augmented Reality，AR)，与传统的虚拟现实技术所要求的完全沉浸的效果不同，它致力于将计算机生成的物体叠加到现实环境中。它通过多种设备，如与计算机相连接的光学透视头盔显示器(optical see-through head-mounted display,S-HMD)或配有各种成像元件的眼镜等，让虚拟物体能够叠加到真实场景中，以便使它们一起出现在使用者的视场中。移动增强现实(Mobil Augmented Reality)，即基于移动终端的增强现实，是增强现实技术与移动终端计算相结合的产物，也是近年来计算机视觉领域的研究热点之一。移动增强现实为传统增强现实的扩展，具有传统增强现实的特点，即在真实场景中，借助于计算机图像学与可视化技术，实现将虚拟对象叠加至真实场景，进行虚拟与现实的融合；同时移动增强现实还具有移动平台的特点，即高自由度以及区别于PC平台的感知体验和交互方式。然而目前的增强现实技术只是简单的将虚拟对象叠加至真实场景的对应位置，其真实程度较低，难以实现“无缝”融合。

光照效果是阳光照射到物体上所呈现给人的一种视觉效果，为了提高增强现实画面的真实感，其中呈现的虚拟物体的色度、亮度等信息必须同真实环境保持一致，需要对场景图片进行光照分析，基于真实场景的光源分布、强度、色度等信息来进行虚拟物体绘制。阴影是自然场景中的常见现象，阴影生成是增强现实真实感渲染中的重要环节，是图形显示质量的判别指标之一。随着光照的变化，物体所投射的阴影也会随之变化，虚拟物体的阴影、明暗以及虚-虚、虚-实、实-实、实-虚之间的相互遮挡关系，都影响到增强现实画面的真实性与增强现实系统的沉浸感。现有的增强现实系统中的虚拟对象大多不考虑光照与阴影，或者阴影不能与真实场景中的阴影交互，因此融合效果不够真实，无法给用户以沉浸感与真实感。

发明内容

本发明的目的在于提供一种计算效率高，且可以实现移动增强现实技术中全部阴影和局部阴影的生成，实现虚拟对象与真实环境无缝融合的阴影生成与虚实交互方法。

实现本发明目的的技术解决方案为：一种基于虚拟阴影图的增强现实实时阴影生成方法，包括以下步骤：

步骤1、获取当前设备数据，对场景中的光源方向和光照强度进行估计；

步骤2、通过摄像机获取当前场景视频，进行阴影检测，将图像分为阴影区域和非阴影区域；

步骤3、通过深度相机获取视频深度信息，得到三维空间坐标，将三维空间坐标转换至灯光空间；

步骤4、根据光源方向渲染阴影图，将现实场景中的阴影区域渲染至阴影图中，用0、1标识阴影区域与非阴影区域，构建二值阴影图；

步骤5、将虚拟对象顶点变换至阴影图空间，根据二值阴影图判断当前顶点是否处于阴影之中，若处于阴影之中则渲染阴影效果，否则渲染光照效果，并生成阴影；

步骤6、生成渲染的3D虚拟对象，将当前场景图像与渲染的3D虚拟对象融合后输出显示。

进一步地，步骤1所述的获取当前设备数据，对场景中的光源方向和光照强度进行估计，具体如下：

从GPS传感器获得当地纬度，从时间计数器获得此时的日期和时间，根据以上信息通过天文年历计算太阳天顶角与方位角；从ALS传感器获得绝对日光照度，根据天气API获得的天气信息计算出此时的直射光照E_DH和漫射光照分量E_KH，根据太阳的天顶角与方位角即可确定光源方向，光照强度E通过E＝E_DH+E_KH求得。

进一步地，步骤2所述的通过摄像机获取当前场景视频，进行阴影检测，将图像分为阴影区域和非阴影区域，具体如下：

步骤2.1、获取当前设备摄像机所捕获的当前场景图像，统计图像像素的RGB颜色值，计算RGB三通道的平均值，获取最大信道图像F_max和最小信道图像F_min，对最大信道图像F_max与最小信道图像F_min做差获得差值图像F_sub；

步骤2.2、对原始图像进行灰度化处理，并将获得的灰度图像F_gray通过加权系数α叠加至差值图像，得到叠加图像F_sum，通过阈值T对F_sum进行二值化，以获得图像的阴影区域，其中加权系数α和阈值T通过迭代反馈计算获得。

进一步地，步骤3所述的通过深度相机获取视频深度信息，得到三维空间坐标，将三维空间坐标转换至灯光空间，具体如下：

步骤3.1、通过摄像机设备获取当前场景视频帧图像F_color，通过深度相机设备获取当前场景深度图像F_depth，对齐F_color和F_depth，对于F_color中的每个像素P，计算得到F_depth中的对应深度信息D，经变换得像素P在视点相机坐标系中的三维信息[X_view Y_view Z_view]；

步骤3.2、对摄像机捕获的视频帧相邻两帧F_k-1与F_k进行匹配，得到n组特征点对，通过PnP算法求解相机位姿矩阵R、t，其中，R为旋转矩阵，t为平移矩阵，基于R、t矩阵将视点相机空间坐标转换至世界坐标系下。

进一步地，步骤4所述的根据光源方向渲染阴影图，将现实场景中的阴影区域渲染至阴影图中，用0、1标识阴影区域与非阴影区域，构建二值阴影图，具体如下：

步骤4.1、根据步骤1中估计的光源方向，得到投影矩阵P，基于P将世界坐标转换至阴影图空间；

步骤4.2、基于步骤2中的阴影检测结果，渲染阴影图的像素值，若当前视点像素为阴影区域像素，则对应阴影图像素置为1，否则置为0，构建二值阴影图。

进一步地，步骤5所述的将虚拟对象顶点变换至阴影图空间，根据二值阴影图判断当前顶点是否处于阴影之中，若处于阴影之中则渲染阴影效果，否则渲染光照效果，并生成阴影，具体如下：

步骤5.1、在图形渲染软件中创建虚拟对象，虚拟对象顶点的世界坐标[X_vw Y_vwZ_vw]能够直接获取，通过坐标变换将虚拟对象顶点映射至阴影图空间；

步骤5.2、在二值阴影图中找到虚拟对象的每个顶点对应的像素点，根据二值阴影图中像素点的值，判定当前顶点是否处于阴影之中，若二值阴影图像素值为1，则当前顶点位于阴影中，将当前顶点渲染为阴影区域，否则当前顶点未处于阴影之中，将当前顶点渲染为光照区域，并生成阴影。

本发明与现有技术相比，其显著优点在于：(1)通过手机传感器数据、天气API、日期和时间计算太阳方位和光照参数，避免了通过图像处理的方式进行计算，提高了计算效率，更加贴合移动设备的特性；(2)采用构建二值阴影图的方法，可以在增强现实领域生成阴影；(3)考虑了虚拟对象与真实场景融合时虚拟对象的阴影与真实对象之间的互相遮挡关系，当虚拟对象位于某个真实对象的阴影之中时将不会生成阴影，而当其全部或部分暴露于阳光下时，可以实现全部阴影和局部阴影的生成。

附图说明

图1为本发明移动增强现实中阴影生成和虚实交互方法的流程示意图。

图2为本发明中光照估计模块的结构示意图。

图3为本发明中阴影检测模块的流程示意图。

图4为本发明中二值阴影图构建模块的流程示意图。

图5为本发明中二值阴影图构建模块的原理示意图。

图6为本发明中阴影判定模块的原理示意图。

具体实施方式

本发明基于虚拟阴影图的增强现实实时阴影生成方法，包括以下步骤：

步骤1、获取当前设备数据，对场景中的光源方向和光照强度进行估计；

步骤2、通过摄像机获取当前场景视频，进行阴影检测，将图像分为阴影区域和非阴影区域；

步骤3、通过深度相机获取视频深度信息，得到三维空间坐标，将三维空间坐标转换至灯光空间；

步骤4、根据光源方向渲染阴影图，将现实场景中的阴影区域渲染至阴影图中，用0、1标识阴影区域与非阴影区域，构建二值阴影图；

步骤5、将虚拟对象顶点变换至阴影图空间，根据二值阴影图判断当前顶点是否处于阴影之中，若处于阴影之中则渲染阴影效果，否则渲染光照效果，并生成阴影；

步骤6、生成渲染的3D虚拟对象，将当前场景图像与渲染的3D虚拟对象融合后输出显示。

进一步地，步骤1所述的获取当前设备数据，对场景中的光源方向和光照强度进行估计，具体如下：

从GPS传感器获得当地纬度，从时间计数器获得此时的日期和时间，根据以上信息通过天文年历计算太阳天顶角与方位角；从ALS传感器获得绝对日光照度，根据天气API获得的天气信息计算出此时的直射光照E_DH和漫射光照分量E_KH，根据太阳的天顶角与方位角即可确定光源方向，光照强度E通过E＝E_DH+E_KH求得。

进一步地，步骤2所述的通过摄像机获取当前场景视频，进行阴影检测，将图像分为阴影区域和非阴影区域，具体如下：

步骤2.1、获取当前设备摄像机所捕获的当前场景图像，统计图像像素的RGB颜色值，计算RGB三通道的平均值，获取最大信道图像F_max和最小信道图像F_min，对最大信道图像F_max与最小信道图像F_min做差获得差值图像F_sub；

步骤2.2、对原始图像进行灰度化处理，并将获得的灰度图像F_gray通过加权系数α叠加至差值图像，得到叠加图像F_sum，通过阈值T对F_sum进行二值化，以获得图像的阴影区域，其中加权系数α和阈值T通过迭代反馈计算获得。

进一步地，步骤3所述的通过深度相机获取视频深度信息，得到三维空间坐标，将三维空间坐标转换至灯光空间，具体如下：

步骤3.1、通过摄像机设备获取当前场景视频帧图像F_color，通过深度相机设备获取当前场景深度图像F_depth，对齐F_color和F_depth，对于F_color中的每个像素P，计算得到F_depth中的对应深度信息D，经变换得像素P在视点相机坐标系中的三维信息[X_view Y_view Z_view]；

步骤3.2、对摄像机捕获的视频帧相邻两帧F_k-1与F_k进行匹配，得到n组特征点对，通过PnP算法求解相机位姿矩阵R、t，其中，R为旋转矩阵，t为平移矩阵，基于R、t矩阵将视点相机空间坐标转换至世界坐标系下。

进一步地，步骤4所述的根据光源方向渲染阴影图，将现实场景中的阴影区域渲染至阴影图中，用0、1标识阴影区域与非阴影区域，构建二值阴影图，具体如下：

步骤4.1、根据步骤1中估计的光源方向，得到投影矩阵P，基于P将世界坐标转换至阴影图空间；

步骤4.2、基于步骤2中的阴影检测结果，渲染阴影图的像素值，若当前视点像素为阴影区域像素，则对应阴影图像素置为1，否则置为0，构建二值阴影图。

进一步地，步骤5所述的将虚拟对象顶点变换至阴影图空间，根据二值阴影图判断当前顶点是否处于阴影之中，若处于阴影之中则渲染阴影效果，否则渲染光照效果，并生成阴影，具体如下：

步骤5.1、在图形渲染软件中创建虚拟对象，虚拟对象顶点的世界坐标[X_vw Y_vwZ_vw]能够直接获取，通过坐标变换将虚拟对象顶点映射至阴影图空间；

步骤5.2、在二值阴影图中找到虚拟对象的每个顶点对应的像素点，根据二值阴影图中像素点的值，判定当前顶点是否处于阴影之中，若二值阴影图像素值为1，则当前顶点位于阴影中，将当前顶点渲染为阴影区域，否则当前顶点未处于阴影之中，将当前顶点渲染为光照区域，并生成阴影。

下面结合附图及具体实施例对本发明作进一步详细说明。

实施例

结合图1，基于虚拟阴影图的增强现实实时阴影生成方法，包括以下步骤：

步骤1、获取当前设备传感器数据，进行光源方向和光照强度估计，具体如下：

图2为光照估计模块的结构示意图，从GPS传感器获得当地纬度，从时间计数器获得日期/时间，根据以上信息通过天文年历计算太阳天顶角与方位角；从ALS传感器获得绝对日光照度，根据天气API获得的天气信息计算出此时的直射光照和漫射光照分量，估计得到光源方向与光照强度；

由于地球绕太阳公转的轨道是椭圆形的，太阳位于椭圆两焦点中的一个，日地距离对于任何一年的任何一天都是精确已知的，所以这个距离E_R可以为如下的数学表达式：

E_R＝1.000423+0.032359sinθ+0.000086sin2θ-0.008349cosθ+0.000115cos2θ

式中的θ称为日角，即：

其中，N为积日，即日期在年内的顺序号，如1月1日积日为1，平年12月31日为365，闰年12月31日为366，N₀＝79.6764+0.2422×(年份-1985)-INT[(年份-1985)/4]。

日地中心的连线与赤道面间的夹角每一瞬间都处于变化之中，这个夹角称作太阳赤纬角，它在一年的运动中任何时刻的具体值都是已知的，具体为：

δ＝0.3723+23.2567sinθ+0.1149sin2θ-0.1712sin3θ-0.758cosθ+0.3656cos2θ+0.0201cos3θ

由于太阳的运动并不是匀速的，因此真太阳日的长短各不相同，日常所用的时间称为平太阳时，是通过假设太阳以均匀的速度行进得到的。真太阳时S'和平太阳时S可以互相转化，其差值E_t称为时差，S'＝S+E_t；由于太阳实际运动是不均匀的，因此时差也在随时变化，表示为：

E_t＝0.0028-1.9857sinθ+9.9059sin2θ-7.0924cosθ-0.6882cos2θ

基于上述三个公式，得到太阳高度的计算公式为：

其中δ为太阳赤纬角，

为当地的地理纬度，τ为当时的太阳时角；

太阳时角可以通过以下公式获得，S’和F’分别为真太阳时和真太阳分：

太阳方位角的计算式为：

基于上式求得两个A值，分别为午前与午后的太阳方位。

通过移动设备的ALS传感器数据及大气状况计算场景的光照条件；移动设备的ALS传感器数据为此时的绝对日光照度，分为直射光照和漫射光照，即：

E＝E_DH+E_KH

根据天气情况的不同，直射光照和漫射光照的比例为：

晴：E_DH＝0.85E

多云：E_DH＝0.5E

阴：E_DH＝0

步骤2、通过摄像机获取现实场景视频，进行阴影检测，将图像分为阴影区域和非阴影区域，结合图3，具体如下：

步骤2.1、基于当前设备摄像机所捕获的当前场景图像帧F，计算三色信道的平均值

公式为：

其中

为当前帧F的第k个像素的红色信道值，M为当前帧F中的像素总数；

根据三色信道平均值求得当前图像的最大信道Max和最小信道Min；

三色衰减模型描述了同一点的阴影值与对应的非阴影背景之间分别在RGB三色通道的衰减关系，可表示为：

其中，

为阴影像素值向量，

为对应的非阴影背景值向量，[ΔRΔGΔB]为三色衰减向量，三者之间的关系为

基于三色衰减模型，通过最大信道图像与最小信道图像差值(Max-Mim)获得差值图像；

步骤2.2、将原始图像进行灰度化处理，将得到的灰度化图像与差值图像叠加，叠加方式如下：

Z＝αX+Y

其中Z为叠加后所得图像，α权重系数，初始化为

将得到的图像二值化，实现将图像分为阴影区域与非阴影区域，并迭代更新权重系数α的值，直至

迭代公式为：

其中，

与

分别为图像Z的非阴影区域像素平均值与阴影像素平均值，其差值代表阴影区域与非阴影区域之间的差异；G(T)为权重函数，防止出现T过大或过小的问题。

步骤3、通过深度相机获取深度信息，得到三维空间坐标，将三维空间坐标转换至灯光空间，结合图4，具体如下：

步骤3.1、通过摄像机设备获取当前场景视频帧图像F_color，通过深度相机设备获取当前场景深度图像F_depth，获取现实场景中的点于视点相机坐标系中的三维信息；

步骤3.2、求解相机位姿，将视点相机空间坐标转换至阴影图空间；

所述的求解相机位姿，即求解相机的R，t矩阵，可通过PnP(Perspective-n-Point)算法求得；

所述的PnP算法是用于求解3D到2D点对运动的方法，如果两张图像其中一张特征点的3D位置已知，那么最少只需3个点对就可以估计相机运动，方法为：

将视点相机坐标系坐标[X_C Y_C Z_C]^T转换为世界坐标[X_W Y_W Z_W]^T，

其中R、t为视点相机的旋转矩阵和平移矩阵；然后基于光照估计模块中估计得到的光源方向与位置，将世界坐标[X_W Y_W Z_W]^T转换至灯光空间[X_L Y_L Z_L]^T；最后基于投影矩阵P将[X_L Y_L Z_L]映射至阴影图空间；

步骤4、根据光源方向渲染阴影图，将现实场景中的阴影区域渲染至阴影图中，构建二值阴影图，用0、1标识阴影区域与非阴影区域，结合图5，具体如下：

步骤4.1、根据步骤1中估计的光源方向，得到投影矩阵P，基于P将世界坐标转换至阴影图空间；

步骤4.2、基于步骤2中的阴影检测结果，渲染阴影图的像素值，若当前视点像素为阴影区域像素，则对应阴影图像素置为1，否则置为0，构建二值阴影图。

步骤5、将虚拟对象顶点变换至阴影图空间，根据二值阴影图判断当前顶点是否处于阴影之中，若处于阴影之中则渲染阴影效果；否则渲染光照效果，并生成阴影，结合图6，具体如下：

步骤5.1、创建虚拟对象，将虚拟对象顶点映射至阴影图空间；

步骤5.2、根据二值阴影图中与顶点相对应的像素值为1或为0，判定当前顶点是否处于阴影之中，若二值阴影图像素值为1，则说明当前顶点位于阴影中，将其渲染为阴影区域，否则说明当前顶点未处于阴影之中，将其渲染为光照区域，并生成阴影。

步骤6、生成渲染的3D虚拟对象，将当前场景图像与渲染的3D虚拟对象融合后输出显示。

综上所述，本发明通过手机传感器数据、天气API、日期和时间计算太阳方位和光照参数，避免了通过图像处理的方式进行计算，提高了计算效率，更加贴合移动设备的特性；采用构建二值阴影图的方法，可以在增强现实领域生成阴影；考虑了虚拟对象与真实场景融合时虚拟对象的阴影与真实对象之间的互相遮挡关系，当虚拟对象位于某个真实对象的阴影之中时将不会生成阴影，而当其全部或部分暴露于阳光下时，可以实现全部阴影和局部阴影的生成。

Claims (6)

1.一种基于虚拟阴影图的增强现实实时阴影生成方法，其特征在于，包括以下步骤：

步骤1、获取当前设备数据，对场景中的光源方向和光照强度进行估计；

步骤2、通过摄像机获取当前场景视频，进行阴影检测，将图像分为阴影区域和非阴影区域；

步骤3、通过深度相机获取视频深度信息，得到三维空间坐标，将三维空间坐标转换至灯光空间；

步骤4、根据光源方向渲染阴影图，将现实场景中的阴影区域渲染至阴影图中，用0、1标识阴影区域与非阴影区域，构建二值阴影图；

步骤5、将虚拟对象顶点变换至阴影图空间，根据二值阴影图判断当前顶点是否处于阴影之中，若处于阴影之中则渲染阴影效果，否则渲染光照效果，并生成阴影；

步骤6、生成渲染的3D虚拟对象，将当前场景图像与渲染的3D虚拟对象融合后输出显示。

2.根据权利要求1所述的基于虚拟阴影图的增强现实实时阴影生成方法，其特征在于，步骤1所述的获取当前设备数据，对场景中的光源方向和光照强度进行估计，具体如下：

从GPS传感器获得当地纬度，从时间计数器获得此时的日期和时间，根据以上信息通过天文年历计算太阳天顶角与方位角；从ALS传感器获得绝对日光照度，根据天气API获得的天气信息计算出此时的直射光照E_DH和漫射光照分量E_KH，根据太阳的天顶角与方位角即可确定光源方向，光照强度E通过E＝E_DH+E_KH求得。

3.根据权利要求1所述的基于虚拟阴影图的增强现实实时阴影生成方法，其特征在于，步骤2所述的通过摄像机获取当前场景视频，进行阴影检测，将图像分为阴影区域和非阴影区域，具体如下：

步骤2.1、获取当前设备摄像机所捕获的当前场景图像，统计图像像素的RGB颜色值，计算RGB三通道的平均值，获取最大信道图像F_max和最小信道图像F_min，对最大信道图像F_max与最小信道图像F_min做差获得差值图像F_sub；

步骤2.2、对原始图像进行灰度化处理，并将获得的灰度图像F_gray通过加权系数α叠加至差值图像，得到叠加图像F_sum，通过阈值T对F_sum进行二值化，以获得图像的阴影区域，其中加权系数α和阈值T通过迭代反馈计算获得。

4.根据权利要求1所述的基于虚拟阴影图的增强现实实时阴影生成方法，其特征在于，步骤3所述的通过深度相机获取视频深度信息，得到三维空间坐标，将三维空间坐标转换至灯光空间，具体如下：

步骤3.1、通过摄像机设备获取当前场景视频帧图像F_color，通过深度相机设备获取当前场景深度图像F_depth，对齐F_color和F_depth，对于F_color中的每个像素P，计算得到F_depth中的对应深度信息D，经变换得像素P在视点相机坐标系中的三维信息[X_view Y_view Z_view]；

步骤3.2、对摄像机捕获的视频帧相邻两帧F_k-1与F_k进行匹配，得到n组特征点对，通过PnP算法求解相机位姿矩阵R、t，其中，R为旋转矩阵，t为平移矩阵，基于R、t矩阵将视点相机空间坐标转换至世界坐标系下。

5.根据权利要求1所述的基于虚拟阴影图的增强现实实时阴影生成方法，其特征在于，步骤4所述的根据光源方向渲染阴影图，将现实场景中的阴影区域渲染至阴影图中，用0、1标识阴影区域与非阴影区域，构建二值阴影图，具体如下：

步骤4.1、根据步骤1中估计的光源方向，得到投影矩阵P，基于P将世界坐标转换至阴影图空间；

步骤4.2、基于步骤2中的阴影检测结果，渲染阴影图的像素值，若当前视点像素为阴影区域像素，则对应阴影图像素置为1，否则置为0，构建二值阴影图。

6.根据权利要求1所述的基于虚拟阴影图的增强现实实时阴影生成方法，其特征在于，步骤5所述的将虚拟对象顶点变换至阴影图空间，根据二值阴影图判断当前顶点是否处于阴影之中，若处于阴影之中则渲染阴影效果，否则渲染光照效果，并生成阴影，具体如下：

步骤5.1、在图形渲染软件中创建虚拟对象，虚拟对象顶点的世界坐标[X_vw Y_vw Z_vw]能够直接获取，通过坐标变换将虚拟对象顶点映射至阴影图空间；

步骤5.2、在二值阴影图中找到虚拟对象的每个顶点对应的像素点，根据二值阴影图中像素点的值，判定当前顶点是否处于阴影之中，若二值阴影图像素值为1，则当前顶点位于阴影中，将当前顶点渲染为阴影区域，否则当前顶点未处于阴影之中，将当前顶点渲染为光照区域，并生成阴影。

Images