CN111199573B - 一种基于增强现实的虚实互反射方法、装置、介质及设备 - Google Patents

Abstract

本申请涉及增强现实技术领域，提供一种基于增强现实的虚实互反射方法等。本申请进行现实场景建模,形成现实环境层；所述现实环境形成现实物体模型bg；虚拟物体渲染层形成虚拟物体fg；将所述虚拟物体在现实环境的反射数据渲染处理后形成虚拟到现实环境反射层；同时，将所述现实物体模型在虚拟物体上的反射数据渲染处理后作为现实到虚拟物体反射层；将虚拟到现实环境反射层、现实到虚拟物体反射层、现实环境层以及虚拟物体渲染层进行虚实融合，获取带有虚实物体互反射数据的合成结果。本申请基于虚实融合的思想，对不同反射信息分开处理，再利用多图层框架技术灵活快速地存储反射信息，最终实现了虚实物体的互反射。

Description

一种基于增强现实的虚实互反射方法、装置、介质及设备

技术领域

本申请涉及增强现实(AR)技术领域，具体而言，涉及一种基于增强现实的虚实互反射方法、装置、介质及设备。

背景技术

虚实融合是增强现实(AR)领域的最终目的，即将真实场景与虚拟场景无违和的叠加。而光照一致性是虚实融合研究的关键问题之一，是指光源对真实场景与虚拟场景的阴影分布、明暗效果与现实效果一致。他体现了现实场景中的光照对虚实对象产生的影响，如明暗、阴影、反射等。

目前市面上的虚拟演播厅或者AR应用等节目中，大多场景侧重于对虚实物体明暗和阴影效果的处理，缺乏在动态光照下现实物体对虚拟物体及虚拟物体对周围环境反射效果的研究。

在有反射的场景中，基本都是虚拟物体对虚拟环境的反射，没有虚拟物体对现实环境的反射。该难点在于实时获得现实环境的材质信息难度高，各材质的漫反射分量、镜面反射分量信息计算量大，不可控因素多。

随着材质多样性、场景复杂性的增加，仅实现虚实物体的阴影融合是不够的，物体的材质体现光线是如何被反射，描述了物体对光线的反射特征，如反射光的强度、颜色信息等。良好的反射能进一步加深虚实结合场景的真实感和沉浸感。

发明内容

本申请提供一种基于增强现实的虚实互反射方法、装置、介质及设备，以解决现有技术的技术问题。本申请基于虚实融合的思想，对不同反射信息分开处理，再利用多图层框架技术灵活快速地存储反射信息，最终实现了虚实物体的互反射，体现了光照一致性，达到了实时性。

本申请的实施例通过如下方式实现：

一种基于增强现实的虚实互反射方法包括：进行现实场景建模,形成现实环境层；所述现实环境形成现实物体模型bg；虚拟物体渲染层形成虚拟物体fg；通过对虚实场景进行标定、配准，用以实现现实环境与虚拟场景处于同一的世界坐标系；其中，所述虚拟物体渲染层通过虚拟场景形成；将所述虚拟物体在现实环境的反射数据渲染处理后形成虚拟到现实环境反射层；同时，将所述现实物体模型在虚拟物体上的反射数据渲染处理后作为现实到虚拟物体反射层；将虚拟到现实环境反射层、现实到虚拟物体反射层、现实环境层以及虚拟物体渲染层进行虚实融合，获取带有虚实物体互反射的合成结果。

优选的，所述现实到虚拟物体反射层具体形成过程是：将所述现实物体模型导入三维渲染引擎地图中，并对现实物体模型进行纹理贴图，边缘平滑操作；利用BRDF反射算法计算现实物体模型在虚拟物体上的反射数据作为现实到虚拟物体反射层；同时剔除现实场景物体模型，不渲染现实物体模型。

优选的，所述虚拟到现实环境反射层具体形成过程是：将虚拟物体进行预处理，即利用虚拟物体的alpha通道，进行边缘平滑操作；参考全局光照明模型，计算现实背景中现实物体的反射系数k；根据公式reflection＝k*fg+(1-k)*bg近似插值计算虚拟物体到现实物体模型的反射数据，所述反射数据形成虚拟到现实环境反射层。

一种基于增强现实的虚实互反射装置，其特征在于，包括：

虚实三维场景形成模块，用于进行现实场景建模,形成现实环境层；所述现实环境形成现实物体模型bg；虚拟物体渲染层形成虚拟物体fg；通过对虚实场景进行标定、配准，用以实现现实环境与虚拟场景处于同一的世界坐标系；其中，所述虚拟物体渲染层通过虚拟场景形成；

反射层形成模块，用于将所述虚拟物体的反射量渲染处理后形成虚拟到现实环境反射层；同时，将所述现实物体模型在虚拟物体上的反射数据渲染处理后作为现实到虚拟物体反射层；

虚拟融合模块，用于将虚拟到现实环境反射层、现实到虚拟物体反射层、现实环境层以及虚拟物体渲染层进行虚实融合，获取带有虚拟物体互反射的场景。

一种计算机可读存储介质所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于增强现实的虚实互反射方法的步骤。

一种基于增强现实的虚实互反射设备包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述任一项所述的基于增强现实的虚实互反射方法的步骤。

技术效果：

本发明的反射提取算法能完整的获得现实物体到虚拟物体及虚拟物体到现实环境的反射信息，不会丢失关键信息，体现出虚实融合的光照一致性。

对于虚拟物体对现实环境的反射，本发明将虚拟对象的反射信息进行处理，规避了漫反射、镜面反射分量计算，将反射信息保存为反射层，最后将反射层输出，实现虚拟物体对现实环境的反射，是本发明能实现反射虚实融合的创新点和关键点。

对于现实物体对虚拟物体的反射，本发明将现实物体建模，并与虚拟物体配准至同一世界坐标系，然后将渲染后的反射信息存储在反射层，不渲染现实物体，仅将反射层与现实环境层、虚拟物体渲染层进行融合，是本发明能实现现实到虚拟物体反射的重点。

本发明基于多图层框架计算并存储反射信息，是能够实现动态虚实融合实时性的重点。

在性能方面，本发明将反射数据通过多图层框架实现的最终虚拟现实融合效果，帧率稳定，且GPU占用在50％以下，既能保证不同复杂场景的流畅性又能实现动态虚实场景的实时性。

在应用场景方面，本发明涉及场景广播电视电影节目制作，游戏类、科技类、展厅类等众多AR的应用场景。且可移植性强，可以以插件的形式支持主流引擎，且操作简单。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的流程图；

图2为本申请实施例提供的虚拟物体到现实物体的反射生成图；

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

请参照图1，基于增强现实的虚实互反射方法应用于各个需要应用场景，例如摄像机相机视角的现实场景作为背景，在场景中获取真实光源后，将相机视角作为视点，以相机视角捕捉的画面作为现实环境。根据现实环境建模现实物体、配准虚实场景、并进行反射计算。

本发明实施例提供了一种基于增强现实的虚实互反射方法，具体包括:

步骤101：进行现实场景建模,形成现实环境层；所述现实环境形成现实物体模型bg；虚拟物体渲染层形成虚拟物体fg；通过对虚实场景进行标定、配准，用以实现现实环境与虚拟场景处于同一的世界坐标系；其中，所述虚拟物体渲染层通过虚拟场景形成；

其中现实场景建模可以是通过摄像机等图像采集装置获取现实背景数据后对现实背景中的现实物体建模；例如：静态物体采用双目立体视觉建模的方式提取现实物体模型，人物采用人物板三维建模的方式实时获取近似的人物三维模型。

步骤102：将所述虚拟物体在现实环境的反射数据渲染处理后形成虚拟到现实环境反射层；同时，将所述现实物体模型在虚拟物体上的反射数据渲染处理后作为现实到虚拟物体反射层；

步骤103：将虚拟到现实环境反射层、现实到虚拟物体反射层、现实环境层以及虚拟物体渲染层进行虚实融合，获取带有虚实物体(虚实物体指的是虚拟物体与现实物体)互反射的合成结果。

其中，在得到现实物体对虚拟物体的虚拟到现实环境反射层的反射数据，虚拟物体对现实环境的现实到虚拟物体反射层的反射数据后，通过应用虚实融合技术，将两个反射数据与现实环境、虚拟物体(虚拟物体渲染层形成虚拟物体fg)融合，在场景中实现虚拟物体与现实物体的互反射。

例如，在虚拟演播厅中，现实物体是主持人，虚拟物体是汽车，那么融合的结果就是车身可以反射主持人，演播厅地面可以反射汽车和主持人。

为了详述上述实施例公开的基于增强现实的虚实互反射方法，本发明中将现实环境中的现实物体建模，只将现实物体对虚拟物体的反射数据进行渲染，剔除边缘灰色区域，得到现实到虚拟物体反射层，建模的现实物体不渲染到最终buffer。这样，现实到虚拟物体反射层只有现实物体对虚拟物体的反射信息。所述现实到虚拟物体反射层具体形成过程是：

步骤201：将所述现实物体模型导入三维渲染引擎地图中，并对现实物体模型进行纹理贴图，边缘平滑操作；

其中，例如现实物体模型可以是静态物体或人物。

步骤202：利用BRDF反射算法计算现实物体模型在虚拟物体上的反射数据作为现实到虚拟物体反射层；同时剔除现实物体模型，不渲染现实物体模型。

为了详述上述实施例公开的基于增强现实的虚实互反射方法，所述现实背景和虚拟场景处于同一世界坐标系，即通过对虚实场景进行标定、配准，用以实现现实背景与虚拟场景处于同一的世界坐标系。

为了详述上述实施例公开的基于增强现实的虚实互反射方法，所述虚拟到现实环境反射层具体形成过程是：

步骤301：将虚拟物体进行预处理，即利用虚拟物体的alpha通道，进行边缘平滑操作；

步骤302：参考全局光照明模型，计算现实背景中现实物体的反射系数k。

步骤303：根据公式reflection＝k*fg+(1-k)*bg近似插值计算虚拟物体到现实物体模型的反射数据，所述反射数据形成虚拟到现实环境反射层。

为了详述上述实施例公开的基于增强现实的虚实互反射方法，所述现实到虚拟物体反射层形成之前，将现实环境与现实物体分离。

为了详述上述实施例公开的基于增强现实的虚实互反射方法，进行现实场景建模,形成现实物体建模，具体过程是：

例如现实场景是静态物体时，则采用双目立体视觉建模的方式提取现实物体的模型。

例如现实场景是人物时，则采用人物板三维建模的方式实时获取近似的人物三维模型。

为了详述上述实施例公开的基于增强现实的虚实互反射方法，本申请对应公开一种增强现实虚实融合装置，具体包括：

虚拟三维物体形成模块，用于进行现实场景建模,形成现实环境层；所述现实环境形成现实物体模型bg；虚拟物体渲染层形成虚拟物体fg；通过对虚实场景进行标定、配准，用以实现现实环境与虚拟场景处于同一的世界坐标系；其中，所述虚拟物体渲染层通过虚拟场景形成；

反射层形成模块，用于将所述虚拟物体在现实环境的反射数据渲染处理后形成虚拟到现实环境反射层；同时，将所述现实物体模型在虚拟物体上的反射数据渲染处理后作为现实到虚拟物体反射层；

虚拟融合模块，用于将虚拟到现实环境反射层、现实到虚拟物体反射层、现实环境层以及虚拟物体渲染层进行虚实融合，获取带有虚实物体互反射的合成结果。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述的基于增强现实的虚实互反射方法的步骤。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

步骤401：进行现实场景建模,形成现实环境层；所述现实环境形成现实物体模型bg；虚拟物体渲染层形成虚拟物体fg；通过对虚实场景进行标定、配准，用以实现现实环境与虚拟场景处于同一的世界坐标系；其中，所述虚拟物体渲染层通过虚拟场景形成；

其中现实场景建模可以是通过摄像机等图像采集装置获取现实背景层后对现实背景中的现实物体建模；例如：静态物体采用双目立体视觉建模的方式提取现实物体模型，人物采用人物板三维建模的方式实时获取近似的人物三维模型。

步骤402：将所述虚拟物体在现实环境的反射数据渲染处理后形成虚拟到现实环境反射层；同时，将所述现实物体模型在虚拟物体上的反射数据渲染处理后作为现实到虚拟物体反射层；

步骤403：将虚拟到现实环境反射层、现实到虚拟物体反射层、现实环境层以及虚拟物体渲染层进行虚实融合，获取带有虚实物体(虚实物体指的是虚拟物体与现实物体)互反射的合成结果。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (4)

1.一种基于增强现实的虚实互反射方法,其特征在于包括:

进行现实场景建模,形成现实环境层；所述现实环境形成现实物体模型bg；虚拟物体渲染层形成虚拟物体fg；通过对虚实场景进行标定、配准，用以实现现实环境与虚拟场景处于同一的世界坐标系；其中，所述虚拟物体渲染层通过虚拟场景形成；

将所述虚拟物体在现实环境的反射数据渲染处理后形成虚拟到现实环境反射层；同时，将所述现实物体模型在虚拟物体上的反射数据渲染处理后作为现实到虚拟物体反射层；

将虚拟到现实环境反射层、现实到虚拟物体反射层、现实环境层以及虚拟物体渲染层进行虚实融合，获取带有虚实物体互反射的合成结果；

所述现实到虚拟物体反射层具体形成过程是：

将所述现实物体模型导入三维渲染引擎地图中，并对现实物体模型进行纹理贴图，边缘平滑操作；

利用BRDF反射算法计算现实物体模型在虚拟物体上的反射数据作为现实到虚拟物体反射层；同时剔除现实物体模型，不渲染现实物体模型；

所述虚拟到现实环境反射层具体形成过程是：

将虚拟物体进行预处理，即利用虚拟物体的alpha通道，进行边缘平滑操作；

参考全局光照明模型，计算现实背景中现实物体的反射系数k；

根据公式reflection＝k*fg+(1-k)*bg近似插值计算虚拟物体到现实物体模型的反射数据，所述反射数据形成虚拟到现实环境反射层。

2.一种基于增强现实的虚实互反射方法装置，其特征在于，采用如权利要求1所述的方法，包括：

虚实三维场景形成模块，用于进行现实场景建模,形成现实环境层；所述现实环境形成现实物体模型bg；虚拟物体渲染层形成虚拟物体fg；通过对虚实场景进行标定、配准，用以实现现实环境与虚拟场景处于同一的世界坐标系；其中，所述虚拟物体渲染层通过虚拟场景形成；

反射层形成模块，用于将所述虚拟物体在现实环境的反射数据渲染处理后形成虚拟到现实环境反射层；同时，将所述现实物体模型在虚拟物体上的反射数据渲染处理后作为现实到虚拟物体反射层；

虚拟融合模块，用于将虚拟到现实环境反射层、现实到虚拟物体反射层、现实环境层以及虚拟物体渲染层进行虚实融合，获取带有虚拟物体互反射的场景。

3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1所述的基于增强现实的虚实互反射方法的步骤。

4.一种基于增强现实的虚实互反射设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1所述的基于增强现实的虚实互反射方法的步骤。

Images