CN109242800A - 通过图像估计环境光照来实现虚拟模型光照一致性的方法 - Google Patents

Abstract

本发明提供了一种通过图像估计环境光照来实现虚拟模型光照一致性的方法，包括：获取预处理图像的当前帧，将图像格式转换为指定格式，计算指定格式的图像均值；计算当前帧图像与上一帧图像的均值之差；均值之差超过阈值则对均值之差进行平滑处理；对均值之差或平滑处理结果进行归一化处理；将归一化处理结果实时传递给渲染场景树进行环境光照渲染；将与光源节点同级的虚拟模型节点的显示效果同步渲染，实现虚拟模型与现实场景的光照一致性。本发明在既未提高计算量、也未借助外部设备的前提下，实现了对环境光照情况的大致估计，并且利用估计的结果对虚拟模型进行相应的光照处理，以达到虚实融合的目的。

Description

通过图像估计环境光照来实现虚拟模型光照一致性的方法

技术领域

本发明涉及SLAM(simultaneous localization and mapping)显示技术领域，尤其是一种通过图像估计环境光照来实现虚拟模型光照一致性的方法。

背景技术

增强现实(Augmented Reality，简称AR)技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，该技术具有三大特点：虚实融合、实时交互、三维注册。而光照一致性就是虚实融合中非常重要的部分。光照一致性为根据现实环境中的光照情况，对虚拟模型进行相应的光照处理，从而使虚拟模型更好的融合在现实环境中。

目前解决光照一致性的方法主要有：利用高动态图像进行光源求解；利用反射球进行光源求解。这两种方法在实际运用中存在以下问题：

1.利用高动态图像求解需通过多张图像合成高动态范围图像后在进行计算，计算量大，对于移动设备的普适性不高。

2.利用反射球求解则需要额外使用反射球这一实际物体，增加了实际应用时的难度。

发明内容

为了解决上述技术问题，本发明提供了一种通过图像估计环境光照来实现虚拟模型光照一致性的方法，该方法在既未提高计算量、也未借助外部设备的前提下，实现了对环境光照情况的大致估计，从而利用估计的结果对虚拟模型进行相应的光照处理，以达到虚实融合的目的。

本发明提供了一种通过图像估计环境光照来实现虚拟模型光照一致性的方法，包括：

步骤一：获取预处理图像的当前帧，判断图像格式，若图像格式为指定格式，则进行步骤三，否则进行步骤二；

步骤二：将图像格式转换为指定格式；

步骤三：计算指定格式的图像均值；

步骤四：计算当前帧图像与上一帧图像的均值之差；

步骤五：判断均值之差是否超过阈值，若超过则进行步骤六，否则进行步骤七；

步骤六：对均值之差进行平滑处理；

步骤七：对均值之差或平滑处理结果进行归一化处理；

步骤八：将归一化处理结果实时传递给渲染场景树进行环境光照渲染，将与归一化处理结果同级的虚拟模型节点的显示效果同步渲染，实现虚拟模型光照与现实场景的一致性。

进一步的，指定格式优选为HSV格式。

步骤四中，计算当前帧图像与上一帧图像的均值之差ΔL，包括：

ΔL＝L_i-L_i-1

其中，L_i为当前帧图像的灰度均值，L_i-1为上一帧图像的灰度均值。

步骤六中，对均值之差进行平滑处理，得到平滑处理结果ΔL′，包括：

其中，ΔL为均值之差，为平滑系数。

步骤七中，对均值之差或平滑处理结果进行归一化处理，包括：

根据设置的光照变化范围R∈[min,max]，得到归一化处理结果L：

其中，ΔL″为步骤四中的均值之差ΔL或步骤六中的平滑处理结果ΔL′。

步骤八中，将归一化处理结果实时传递给渲染场景树进行环境光照渲染的步骤包括：

在渲染场景树的根节点下添加一个光源根节点，基于归一化处理结果在该光源根节点上通过增减光源对环境光照进行设置；

在光源根节点下增加一个光源节点，在光源节点下添加光照节点，用于对光照参数进行设置，将该光照参数中代表环境光照的参数设置为(L,L,L,1)，其他参数均维持默认，其中，L为归一化处理结果。

步骤八中，将与归一化处理结果同级的虚拟模型节点的显示效果同步渲染，实现虚拟模型与现实场景的光照一致性的步骤包括：

将所述光源节点设置为虚拟模型节点的兄弟节点，光源根节点作为虚拟模型节点的父节点；

所述光源节点与虚拟模型节点同级，光照节点对环境光照进行设置的效果默认为虚拟模型节点对环境光照进行设置的效果，基于光照节点中的环境光照设置参数对虚拟模型的显示效果进行同步渲染，实现虚拟模型与真实场景的光照一致性。

本发明提供的一种通过图像估计环境光照来实现虚拟模型光照一致性的方法，成功实现虚实融合的效果，且不获取摄像头参数、不利用额外设备、不增加额外计算量；对环境光照情况快速响应，无延迟，在每帧都进行渲染的情况下，控制计算量和计算机负荷；该方法适用性广，适用于各种格式的图片，且计算结果可根据渲染部分灵活改变。

附图说明

图1为根据本发明的一种通过图像估计环境光照来实现虚拟模型光照一致性的方法的流程图。

图2为根据本发明的一种通过图像估计环境光照来实现虚拟模型光照一致性的方法的渲染部分的结构图及设置光照的函数示意图。

图3a为根据本发明的一种通过图像估计环境光照来实现虚拟模型光照一致性的方法的开灯条件下虚拟模型效果示意图。

图3b为根据本发明的一种通过图像估计环境光照来实现虚拟模型光照一致性的方法的关灯条件下虚拟模型效果示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

参照图1，图1示出了本发明提供的一种通过图像估计环境光照来实现虚拟模型光照一致性的方法的流程图，包括：步骤一至步骤八。

步骤一：获取预处理图像的当前帧，判断图像格式，若图像格式为指定格式，则进行步骤三，否则进行步骤二。

例如，通过摄像头采集到的图像作为预处理图像，获取当前帧f，记录当前帧号为i，保存f图像格式，若为HSV格式，则进行步骤三，否则进行步骤二。

步骤二：将图像格式转换为指定格式。

例如，将f转换为HSV格式。

步骤三：计算指定格式的图像均值。

例如，计算HSV格式的图像均值(相当于图片的灰度均值)，记为环境光照参数L_i，在本方法中，认为图像灰度均值在一定程度上可以反应当前场景下的环境光照情况。

步骤四：计算当前帧图像与上一帧图像的均值之差。

ΔL＝L_i-L_i-1

其中，L_i为当前帧图像的灰度均值，L_i-1为上一帧图像的灰度均值。

步骤五：判断均值之差是否超过阈值，若超过则进行步骤六，否则进行步骤七；

例如，判断ΔL是否大于设定的阈值M，若大于则进行步骤六，否则进行步骤七；

步骤六：对均值之差进行平滑处理；

例如，为防止虚拟模型光照处理效果突变，在此处进行平滑处理；得到平滑处理结果ΔL′，包括：

其中，ΔL为均值之差，为用户设置的平滑系数。

步骤七：对均值之差或平滑处理结果进行归一化处理；包括：

根据设置的光照变化范围R∈[min,max]，得到归一化处理结果L：

其中，ΔL″为步骤四中的均值之差ΔL或步骤六中的平滑处理结果ΔL′。

步骤八：将归一化处理结果实时传递给渲染场景树进行环境光照渲染，将与归一化处理结果同级的虚拟模型节点的显示效果同步渲染，实现虚拟模型与现实场景的光照一致性。

其中，将归一化处理结果实时传递给渲染场景树进行环境光照渲染的步骤包括：

在渲染场景树的根节点(Root)下添加一个光源根节点(LightRoot)，基于归一化处理结果在该光源根节点上通过增减光源对环境光照进行设置；

在光源根节点下增加一个光源节点与虚拟模型节点(node)同级，以保证该光照设置效果会影响到虚拟模型而不会作用于真实场景节点(Camera)，在光源节点(LightSource)下添加光照节点(Light)，用于对光照参数进行设置，将该光照参数中代表环境光照的参数设置为(L,L,L,1)，其他参数均维持默认，其中，L为归一化处理结果。

其中，将与归一化处理结果同级的虚拟模型节点的显示效果同步渲染，实现虚拟模型与现实场景的光照一致性的步骤包括：

将所述光源节点设置为虚拟模型节点的兄弟节点，是同一个父节点——根节点的孩子，即，光源根节点作为虚拟模型节点的父节点；所述光源节点与虚拟模型节点同级，此时光源节点会自动作用于虚拟模型节点，光照节点对环境光照进行设置的效果默认为虚拟模型节点对环境光照进行设置的效果，基于光照节点中的环境光照设置参数，对虚拟模型的显示效果进行同步渲染，实现虚拟模型与真实场景的光照一致性。

当两个子节点是同一个父节点的孩子时，两个子节点会自动绑定，光源节点所设置的光照效果会默认为虚拟模型子节点的光照效果，见附图2。

为了更好的说明本发明的设计原理，现通过具体优选实施例，举例说明我方发明的设计工作原理及方法过程：

首先，实例背景选取：OpenCV3.0进行图像获取，ORB_SLAM2进行虚拟模型位置和相机位姿计算，OSG3.4.0进行虚拟模型渲染；

其次，系统设置：M＝60、min＝80、max＝160、

最后，实例执行过程：

1.当前帧帧号为1611，图像格式为BGR格式；

2.使用transFrame(frame)函数将图像格式转换为HSV；

img＝transFrame(frame)；

其中，在本实例中使用的格式转换函数为本方法定义的transFrame()函数，其本质是调用了OpenCV中的格式转换函数即cvCvtColor(frame,img,CV_BGR2HSV)；该函数可实现将BGR格式的图片转换为HSV格式；

3.计算第1611帧图像均值，L₁₆₁₁＝mean(img)＝150；

4.计算两帧均值之差，ΔL＝L₁₆₁₁-L₁₆₁₀＝30，小于设定的阈值60，则进行步骤七；

5.对均值之差做归一化处理，L＝60/(160-80)＝0.75；

6.将L作为参数传递给setAmbient()函数，该函数在每一次传递进新的L时进行更新，虚拟模型效果也在同步更新，效果如图3a开灯条件下虚拟模型效果以及图3b关灯条件下虚拟模型效果所示。

其中，该步骤的详细技术方案如下：

1.在场景树中添加新的光照节点light到光源节点LightSource下，同时将虚拟模型节点node也添加到LightSource的父节点LightRoot下；

osg::ref_ptr<osg::LightSource>lightSource＝new osg::LightSource()；

LightSource->setLight(light.get())；

LightRoot->addChild(node)；

LightRoot->addchild(LightSource.get())；

光源节点LightSource会自动读取光照节点Light所设置的参数，并将该参数作用它的兄弟节点node；

(开光灯条件下模型变亮变暗，是设置好参数后，渲染软件自动完成的效果)

2.对light节点的参数进行设置，由于其余参数在本实施例中不需要修改，只列出需要更新的环境光参数设置方法：

light->setAmbient(osg::Vec4(L,L,L,1))；

其中L是步骤5的归一化处理结果。

本发明提供的一种通过图像估计环境光照来实现虚拟模型光照一致性的方法，成功实现虚实融合的效果，且不获取摄像头参数、不利用额外设备、不增加额外计算量；对环境光照情况快速响应，无延迟，在每帧都进行渲染的情况下，控制计算量和计算机负荷；该方法适用性广，适用于各种格式的图片，且计算结果可根据渲染部分灵活改变。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种通过图像估计环境光照来实现虚拟模型光照一致性的方法，其特征在于，包括：

步骤一：获取预处理图像的当前帧，判断图像格式，若图像格式为指定格式，则进行步骤三，否则进行步骤二；

步骤二：将图像格式转换为指定格式；

步骤三：计算指定格式的图像均值；

步骤四：计算当前帧图像与上一帧图像的均值之差；

步骤五：判断均值之差是否超过阈值，若超过则进行步骤六，否则进行步骤七；

步骤六：对均值之差进行平滑处理；

步骤七：对均值之差或平滑处理结果进行归一化处理；

步骤八：将归一化处理结果实时传递给渲染场景树进行环境光照渲染，将与归一化处理结果同级的虚拟模型节点的显示效果同步渲染，实现虚拟模型与现实场景的光照一致性。

2.如权利要求1所述的方法，其特征在于，指定格式优选为HSV格式。

3.如权利要求1或2所述的方法，其特征在于，步骤四中，计算当前帧图像与上一帧图像的均值之差ΔL，包括：

ΔL＝L_i-L_i-1

其中，L_i为当前帧图像的灰度均值，L_i-1为上一帧图像的灰度均值。

4.如权利要求1-3之一所述的方法，其特征在于，步骤六中，对均值之差进行平滑处理，得到平滑处理结果ΔL′，包括：

其中，ΔL为均值之差，为平滑系数。

5.如权利要求1-4之一所述的方法，其特征在于，步骤七中，对均值之差或平滑处理结果进行归一化处理，包括：

根据设置的光照变化范围R∈[min,max]，得到归一化处理结果L：

其中，ΔL″为步骤四中的均值之差ΔL或步骤六中的平滑处理结果ΔL′。

6.如权利要求5所述的方法，其特征在于，步骤八中，将归一化处理结果实时传递给渲染场景树进行环境光照渲染的步骤包括：

在渲染场景树的根节点下添加一个光源根节点，基于归一化处理结果在该光源根节点上通过增减光源对环境光照进行设置；

在光源根节点下增加一个光源节点，在光源节点下添加光照节点，用于对光照参数进行设置，将该光照参数中代表环境光照的参数设置为(L,L,L,1)，其他参数均维持默认，其中，L为归一化处理结果。

7.如权利要求6所述的方法，其特征在于，步骤八中，将与归一化处理结果同级的虚拟模型节点的显示效果同步渲染，实现虚拟模型与现实场景的光照一致性的步骤包括：

将所述光源节点设置为虚拟模型节点的兄弟节点，光源根节点作为虚拟模型节点的父节点；

所述光源节点与虚拟模型节点同级，光照节点对环境光照进行设置的效果默认为虚拟模型节点对环境光照进行设置的效果，基于光照节点中的环境光照设置参数对虚拟模型的显示效果进行同步渲染，实现虚拟模型与真实场景的光照一致性。