CN111311757A - 一种场景合成方法、装置、存储介质及移动终端 - Google Patents

Abstract

本申请涉及一种场景合成方法，该场景合成方法包括：获取场景渲染指令，场景渲染指令携带有虚拟场景标识；根据场景渲染指令确定现实场景中真实参与介质的属性信息；基于属性信息和虚拟场景标识生成虚拟参与介质模型；对虚拟参与介质模型进行体渲染，以得到虚拟参与介质；根据虚拟参与介质、虚拟坐标系和现实场景确定合成图像，从而在对增强现实场景进行渲染时，能够实现对增强现实场景中云彩、雾等参与介质的真实感渲染，以确保现实场景和虚拟场景的融合效果。

Description

一种场景合成方法、装置、存储介质及移动终端

技术领域

本申请涉及增强现实技术领域，具体涉及一种场景合成方法、装置、存储介质及移动终端。

背景技术

AR(增强现实，Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

已知的现有技术，AR应用多局限在室内场景的平面上，如桌子、墙壁上，而室外场景的应用多在GPS(全球定位系统，Global Positioning System)相关的AR导航上，并且室外场景中具体物体的AR渲染，主要采用传统的三角形光栅化渲染方法，对于室外场景中的云彩等光照复杂的情况，不能很好的表现真实感，影响AR融合效果。

发明内容

本申请的目的在于提供一种场景合成方法、装置、存储介质及移动终端，以解决现有的场景合成方法对于室外场景中的云彩等光照复杂的情况，不能很好的表现真实感，影响AR融合效果的问题。

为了解决上述问题，本申请实施例提供了一种场景合成方法，该场景合成方法包括：获取场景渲染指令，场景渲染指令携带有虚拟场景标识；根据场景渲染指令确定现实场景中真实参与介质的属性信息；基于属性信息和虚拟场景标识生成虚拟参与介质模型；对虚拟参与介质模型进行体渲染，以得到虚拟参与介质；根据虚拟参与介质、虚拟坐标系和现实场景确定合成图像。

其中，确定现实场景中真实参与介质的属性信息，具体包括：确定现实场景的三维点云数据；根据三维点云数据构建现实场景的三维模型；基于三维模型确定现实场景中真实参与介质的属性信息。

其中，确定现实场景的三维点云数据，具体包括：获取现实场景不同视角的图像；根据不同视角的图像确定现实场景的三维点云数据。

其中，基于属性信息和虚拟场景标识生成虚拟参与介质模型，具体包括：基于属性信息将真实参与介质注册到预先建立的虚拟坐标系中；根据虚拟场景标识对注册于虚拟坐标系中的真实参与介质进行修改、以及在虚拟坐标系中配置虚拟参与介质模型。

其中，根据虚拟参与介质、虚拟坐标系和现实场景确定合成图像，具体包括：确定现实场景的图像；从现实场景的图像中去掉真实参与介质，得到现实场景的处理后图像；根据虚拟坐标系叠加处理后图像和虚拟参与介质，以得到合成图像。

为了解决上述问题，本申请实施例还提供了一种场景合成装置，该场景合成装置包括：获取模块，用于获取场景渲染指令，场景渲染指令携带有虚拟场景标识；第一确定模块，用于根据场景渲染指令确定现实场景中真实参与介质的属性信息；生成模块，用于基于属性信息和虚拟场景标识生成虚拟参与介质模型；渲染模块，用于对虚拟参与介质模型进行体渲染，以得到虚拟参与介质；第二确定模块，用于根据虚拟参与介质、虚拟坐标系和现实场景确定合成图像。

其中，第一确定模块具体用于：确定现实场景的三维点云数据；根据三维点云数据构建现实场景的三维模型；基于三维模型确定现实场景中真实参与介质的属性信息。

其中，确定现实场景的三维点云数据，具体包括：获取现实场景不同视角的图像；根据不同视角的图像确定现实场景的三维点云数据。

其中，生成模块具体用于：基于属性信息将真实参与介质注册到预先建立的虚拟坐标系中；修改模块，用于根据虚拟场景标识对注册于虚拟坐标系中的真实参与介质进行修改、以及在虚拟坐标系中配置虚拟参与介质模型。

其中，第二确定模块具体用于：确定现实场景的图像；从现实场景的图像中去掉真实参与介质，得到现实场景的处理后图像；根据虚拟坐标系叠加处理后图像和虚拟参与介质，以得到合成图像。

为了解决上述问题，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有多条指令，指令适于由处理器加载以执行上述任一项的场景合成方法。

为了解决上述问题，本申请实施例还提供了一种移动终端，该移动终端包括处理器和存储器，处理器与存储器电性连接，存储器用于存储指令和数据，处理器用于执行上述任一项场景合成方法中的步骤。

本申请的有益效果是：区别于现有技术，本申请提供的场景合成方法，通过获取场景渲染指令，场景渲染指令携带有虚拟场景标识，并根据场景渲染指令确定现实场景中真实参与介质的属性信息，然后基于属性信息和虚拟场景标识生成虚拟参与介质模型，并对虚拟参与介质模型进行体渲染，以得到虚拟参与介质，之后根据虚拟参与介质、虚拟坐标系和现实场景确定合成图像，从而在对增强现实场景进行渲染时，能够实现对增强现实场景中云彩、雾等参与介质的真实感渲染，以确保现实场景和虚拟场景的融合效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的场景合成方法的流程示意图；

图2是本申请实施例提供的场景合成方法的另一流程示意图；

图3是本申请实施例所提供确定合成图像的效果显示示意图；

图4是本申请实施例提供的场景合成装置的结构示意图；

图5是本申请实施例提供的移动终端的结构示意图；

图6是本申请实施例提供的移动终端的另一结构示意图。

具体实施方式

本申请提供一种场景合成方法、装置、存储介质及移动终端，为使本申请的目的、技术方案和技术效果更加明确、清楚，以下对本申请进一步详细说明，应当理解此处所描述的具体实施条例仅用于解释本申请，并不用于限定本申请。

请参阅图1，图1是本申请实施例提供的场景合成方法的流程示意图，该场景合成方法的具体流程可以如下：

S101：获取场景渲染指令，场景渲染指令携带有虚拟场景标识。

在本实施例中，虚拟场景标识作为其对应的虚拟场景的唯一标识，上述场景渲染指令可以携带有至少一个虚拟场景标识。具体地，当用户打开移动终端中已安装的交互式应用(比如，骑行比赛类游戏应用、枪战类游戏应用、仙侠类游戏应用等)时，移动终端可以获取该交互式应用的虚拟场景对应的场景渲染指令，其中，交互式应用的虚拟场景可以指的是移动终端开启该交互式应用后需要向用户展示的虚拟对象构成的虚拟场景，例如，当上述交互式应用为骑行比赛类游戏应用，该骑行比赛类游戏应用的虚拟场景可以包括仿真模拟骑行比赛过程中各类场景的多个虚拟场景，并且，虚拟场景可以包括云彩、路标、里程提示牌等多个虚拟对象。

S102：根据场景渲染指令确定现实场景中真实参与介质的属性信息。

其中，真实参与介质指的是存在于现实场景的一定空间中，并因充满比较大的颗粒而对光线产生不可忽视影响(比如，散射、吸收等)的介质，例如烟、雾、火、云等。

具体地，上述S102可以具体包括：

S1021：根据场景渲染指令确定现实场景的三维点云数据。

在一个实施例中，可以通过激光扫描仪或激光雷达直接获取现实场景的三维点云数据，具体地，激光扫描仪和激光雷达可以向现实场景中的对象物体发射大量激光束，接收反射信号，并计算被测对象表面点的三维坐标，记录反射率以及纹理等信息，从而得到现实场景的三维点云数据。

在一些替代实施例中，考虑到上述激光扫描仪和激光雷达获取三维点云数据的方法存在设备成本高、以及数据分辨率较低的问题，如图2所示，上述S1021可以具体包括：

S1-1：获取现实场景不同视角的图像。

具体地，移动终端可以通过调用自身设备安装的双目摄像头，或者调用其他设备中的双目摄像头获取现实场景不同视角的第一图像和第二图像，其中，双目摄像头可以包括第一摄像头和第二摄像头，第一摄像头和第二摄头中一个为左摄像头，另一个为右摄像头，相应的，第一图像和第二图像中一个为左目图像，另一个为右目图像。

S1-2：根据不同视角的图像确定现实场景的三维点云数据。

具体地，移动终端可以从获得的现实场景不同视角的图像中确定同名像点、以及同名像点在每一视角的图像中的像平面坐标，然后基于该同名像点在不同视角的图像中的像平面坐标，利用多影像光束法平差计算得到该同名像点的三维空间坐标，之后还可以结合其在一个视角的图像上R、G、B三个通道的灰度值，得到该同名像点的颜色信息，其中，上述同名像点可以理解为现实场景中的一个物点在不同视角的图像中所对应的像点，上述三维点云数据可以包括现实场景中各个物点所对应的同名像点的三维空间坐标和颜色信息。

在一个具体实施例中，当移动终端通过双目摄像头采集现实场景不同视角的图像时，在上述S1-1之前，还可以包括：对双目摄像头进行标定，得到双目摄像头的内外参数，其中，内外参数可以包括每个摄像头的焦距、成像原点、畸变系数等内部参数、以及两个摄像头之间的相对位置，即右摄像头相对于左摄像头的三维平移和旋转参数；基于双目摄像头定标后得到的内外参数，对该双目摄像头进行标定，例如，分别对双目摄像头的左右视图进行消除畸变和行对准，以使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、以及对极线行对齐。进一步地，上述S1-1可以具体包括：利用标定好的双目摄像头进行现实场景不同视角的图像采集。如此，通过利用双目摄像头采集现实场景不同视角的图像，能够获取现实场景的远距离深度信息、以及扩大观测现实场景的视野范围，进而有利于提高基于双目摄像头所采集的左右目图像生成的三维云点数据的精度。

S1022：根据三维点云数据构建现实场景的三维模型。

其中，移动终端可以对现实场景的三维点云数据进行特征提取、以及表面网格构建等处理来重建现实场景的三维模型。

S1023：根据三维模型确定现实场景中真实参与介质的属性信息。

其中，属性信息可以包括位置、朝向、形状网格等属性数据。具体地，移动终端可以从现实场景的三维模型中识别出真实参与介质，并得到该真实参与介质的属性信息。

S103：基于属性信息和虚拟场景标识生成虚拟参与介质模型。

其中，如图2所示，上述S103可以具体包括：

S1031：基于属性信息将真实参与介质注册到预先建立的虚拟坐标系中。

S1032：根据虚拟场景标识对注册于虚拟坐标系中的真实参与介质进行修改、以及在虚拟坐标系中配置虚拟参与介质模型。

具体地，移动终端可以确定上述虚拟场景标识对应的虚拟场景，并获取该虚拟场景对应的预设的虚拟对象配置规则，然后基于该虚拟对象配置规则判断虚拟坐标系中是否存在多余的真实参与介质，或者判断是否存在需要更改属性信息的真实参与介质，以及在该虚拟坐标系中利用模型工具配置当前虚拟坐标系中缺少的虚拟对象所对应的虚拟对象模型，其中，当前虚拟坐标系中缺少的虚拟对象可以包括虚拟参与介质、以及除该虚拟参与介质之外的其他虚体对象，可以理解的是，虚拟参与介质指的是虚拟场景中仿真模拟现实场景中真实参与介质的虚拟对象。并且，当判断得到虚拟坐标系中存在多余的真实参与介质时可以将该多余的真实参与介质从上述虚拟坐标中删除，当判断得到虚拟坐标系中存在需要更改属性信息的真实参与介质，可以对虚拟坐标系中对应的真实参与介质的属性信息进行修改，例如，更改虚拟坐标系中该真实参与介质的位置、朝向、或形状网格等。

S104：对虚拟参与介质模型进行体渲染，以得到虚拟场景的图像。

可以理解的是，在对虚拟坐标系中的虚拟参与介质模型进行体渲染的同时，还会对虚拟坐标系中的其他虚拟对象模型进行渲染，得到对应的虚拟对象。其中，对虚拟坐标系中除虚拟参与介质模型之外的其他虚拟对象模型的渲染可以采用传统的三角形光栅化渲染方法，故在此不再赘述。

在本实施例中，为了实现虚拟参与介质的渲染真实感，采用体渲染方法对虚拟参与介质模型进行渲染，其中，体渲染方法与传统的三角形光栅化渲染方法截然不同，传统的三角形光栅化渲染方法只需计算材质表面特征，而体渲染方法需要对虚拟参与介质所在的整个体空间进行积分计算。体渲染方法可以用于模拟特殊的大气形态和环境特效，能够表现虚拟参与介质对光线的吸收和散射，进而实现虚拟参与介质的真实感渲染。目前，常见的几种体渲染方法可以包括：多次散射模型下的体渲染、单次散射光照模型下的体渲染(也即，忽略虚拟参与介质内部的多次散射的体渲染)等等。

如此，通过将现实场景中的真实参与介质注册到虚拟坐标系中，并在该虚拟坐标系中配置虚拟参与介质模型，之后再对该注册有真实参与介质的虚拟坐标系中的虚拟参与介质模型进行体渲染，能够在渲染得到虚拟参与介质时表现出真实参与介质与虚拟参与介质之间的光线散射和吸收关系，进而提高虚拟参与介质的渲染真实感。

S105：根据虚拟参与介质、虚拟坐标系和现实场景确定合成图像。

其中，如图2所示，上述S105可以具体包括：

S1051：确定现实场景的图像。

具体地，移动终端可以通过调用自身设备安装的摄像头，或者调用其他设备中的摄像头直接拍摄得到现实场景的图像，并且，在另一些实施例中，当上述移动终端基于双目摄像头采集的左右目图像生成现实场景的三维点云数据时，移动终端还可以通过整合上述双目摄像头采集的左右目图像来得到对应的现实场景的图像。

S1052：从现实场景的图像中去掉真实参与介质，得到现实场景的处理后图像。

具体地，当在前序步骤S1031中基于属性信息将现实场景的真实云彩注册到预先建立的虚拟坐标系中时，如图3所示，移动终端可以基于上述属性信息确定现实场景的图像A中的真实参与介质(如，云彩)所在的图像区域A1，并从现实场景的图像A中删掉该图像区域A1，以得到对应的处理后图像B。如此，在后续步骤中叠加现实场景的图像与虚拟场景的图像时，能够避免由于现实场景的图像中的真实参与介质所在的图像区域与虚拟场景的图像中的真实参与介质所在的图像区域不一致所造成场景渲染异常的问题。

S1053：根据虚拟坐标系叠加处理后图像和虚拟参与介质，以得到合成图像。

具体地，移动终端可以通过整合现实场景的处理后图像的坐标系以及上述虚拟坐标系来得到现实场景和虚拟参与介质的合成图像，例如，请继续参阅图3，在叠加现实场景的处理后图像B和虚拟参与介质C之后可以得到上述现实场景和虚拟参与介质的合成图像D，其中，现实场景的处理后图像中删掉的图像区域A1中的真实参与介质可以整合处理后图像的坐标系以及上述虚拟坐标系而出现于合成图像D中。并且，在得到合成图像之后，上述移动终端还可以进一步将该合成图像输出至自身设备安装的显示器、或者其他设备中的显示器，以向用户显示该合成图像。

区别于现有技术，本实施例中的场景合成方法，通过获取场景渲染指令，场景渲染指令携带有虚拟场景标识，并根据场景渲染指令确定现实场景中真实参与介质的属性信息，然后基于属性信息和虚拟场景标识生成虚拟参与介质模型，并对虚拟参与介质模型进行体渲染，以得到虚拟参与介质，之后根据虚拟参与介质、虚拟坐标系和现实场景确定合成图像，从而在对增强现实场景进行渲染时，能够实现对增强现实场景中云彩、雾等参与介质的真实感渲染，以确保现实场景和虚拟场景的融合效果。

请参阅图4，图4是本申请实施例提供的场景合成装置的结构示意图。如图4所示，该场景合成装置50包括：

(1)获取模块51

获取模块51用于获取场景渲染指令，场景渲染指令携带有虚拟场景标识。

在本实施例中，虚拟场景标识作为其对应的虚拟场景的唯一标识，上述场景渲染指令可以携带有至少一个虚拟场景标识。具体地，当用户打开移动终端中已安装的交互式应用(比如，骑行比赛类游戏应用、枪战类游戏应用、仙侠类游戏应用等)时，上述获取模块51可以获取该交互式应用的虚拟场景对应的场景渲染指令，其中，交互式应用的虚拟场景可以指的是移动终端开启该交互式应用后需要向用户展示的虚拟对象构成的虚拟场景，例如，当上述交互式应用为骑行比赛类游戏应用，该骑行比赛类游戏应用的虚拟场景可以包括仿真模拟骑行比赛过程中各类场景的多个虚拟场景，并且，虚拟场景可以包括云彩、路标、里程提示牌等多个虚拟对象。

(2)第一确定模块52

第一确定模块52用于根据场景渲染指令确定现实场景中真实参与介质的属性信息。其中，真实参与介质指的是存在于现实场景的一定空间中，并因充满比较大的颗粒而对光线产生不可忽视影响(比如，散射、吸收等)的介质，例如烟、雾、火、云等。

具体地，上述第一确定模块52可以具体用于：

S1021：根据场景渲染指令确定现实场景的三维点云数据。

在一个实施例中，可以通过激光扫描仪或激光雷达直接获取现实场景的三维点云数据，具体地，激光扫描仪和激光雷达可以向现实场景中的对象物体发射大量激光束，接收反射信号，并计算被测对象表面点的三维坐标，记录反射率以及纹理等信息，从而得到现实场景的三维点云数据。

在一些替代实施例中，考虑到上述激光扫描仪和激光雷达获取三维点云数据的方法存在设备成本高、以及数据分辨率较低的问题，在执行上述S1021时，上述第一确定模块52可以具体用于：

S1-1：获取现实场景不同视角的图像。

具体地，上述第一确定模块52可以通过调用自身设备安装的双目摄像头，或者调用其他设备中的双目摄像头获取现实场景不同视角的第一图像和第二图像，其中，双目摄像头可以包括第一摄像头和第二摄像头，第一摄像头和第二摄头中一个为左摄像头，另一个为右摄像头，相应的，第一图像和第二图像中一个为左目图像，另一个为右目图像。

S1-2：根据不同视角的图像确定现实场景的三维点云数据。

具体地，上述第一确定模块52可以从获得的现实场景不同视角的图像中确定同名像点、以及同名像点在每一视角的图像中的像平面坐标，然后基于该同名像点在不同视角的图像中的像平面坐标，利用多影像光束法平差计算得到该同名像点的三维空间坐标，之后还可以结合其在一个视角的图像上R、G、B三个通道的灰度值，得到该同名像点的颜色信息，其中，上述同名像点可以理解为现实场景中的一个物点在不同视角的图像中所对应的像点，上述三维点云数据可以包括现实场景中各个物点所对应的同名像点的三维空间坐标和颜色信息。

在一个具体实施例中，当上述第一确定模块52通过双目摄像头采集现实场景不同视角的图像时，在执行上述S1-1之前，上述第一确定模块52还可以用于：对双目摄像头进行标定，得到双目摄像头的内外参数，其中，内外参数可以包括每个摄像头的焦距、成像原点、畸变系数等内部参数、以及两个摄像头之间的相对位置，即右摄像头相对于左摄像头的三维平移和旋转参数；基于双目摄像头定标后得到的内外参数，对该双目摄像头进行标定，例如，分别对双目摄像头的左右视图进行消除畸变和行对准，以使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、以及对极线行对齐。进一步地，在执行上述S1-1时，上述第一确定模块52可以具体用于：利用标定好的双目摄像头进行现实场景不同视角的图像采集。如此，通过利用双目摄像头采集现实场景不同视角的图像，能够获取现实场景的远距离深度信息、以及扩大观测现实场景的视野范围，进而有利于提高基于双目摄像头所采集的左右目图像生成的三维云点数据的精度。

S1022：根据三维点云数据构建现实场景的三维模型。

其中，上述第一确定模块52可以对现实场景的三维点云数据进行特征提取、以及表面网格构建等处理来重建现实场景的三维模型。

S1023：根据三维模型确定现实场景中真实参与介质的属性信息。

其中，属性信息可以包括位置、朝向、形状网格等属性数据。具体地，上述第一确定模块52可以从现实场景的三维模型中识别出真实参与介质，并得到该真实参与介质的属性信息。

(3)生成模块53

生成模块54用于基于属性信息和虚拟场景标识生成虚拟参与介质模型。

其中，上述生成模块53可以具体用于：

S1031：基于属性信息将真实参与介质注册到预先建立的虚拟坐标系中。

S1032：根据虚拟场景标识对注册于虚拟坐标系中的真实参与介质进行修改、以及在虚拟坐标系中配置虚拟参与介质模型。

具体地，上述生成模块53可以确定上述虚拟场景标识对应的虚拟场景，并获取该虚拟场景对应的预设的虚拟对象配置规则，然后基于该虚拟对象配置规则判断虚拟坐标系中是否存在多余的真实参与介质，或者判断是否存在需要更改属性信息的真实参与介质，以及在该虚拟坐标系中利用模型工具配置当前虚拟坐标系中缺少的虚拟对象所对应的虚拟对象模型，其中，当前虚拟坐标系中缺少的虚拟对象可以包括虚拟参与介质、以及除该虚拟参与介质之外的其他虚体对象，可以理解的是，虚拟参与介质指的是虚拟场景中仿真模拟现实场景中真实参与介质的虚拟对象。并且，当判断得到虚拟坐标系中存在多余的真实参与介质时可以将该多余的真实参与介质从上述虚拟坐标中删除，当判断得到虚拟坐标系中存在需要更改属性信息的真实参与介质，可以对虚拟坐标系中对应的真实参与介质的属性信息进行修改，例如，更改虚拟坐标系中该真实参与介质的位置、朝向、或形状网格等。

(4)渲染模块54

渲染模块54用于对虚拟参与介质模型进行体渲染，以得到虚拟参与介质。

可以理解的是，在对虚拟坐标系中的虚拟参与介质模型进行体渲染的同时，上述渲染模块54还会对虚拟坐标系中的其他虚拟对象模型进行渲染，得到对应的虚拟对象。其中，对虚拟坐标系中除虚拟参与介质模型之外的其他虚拟对象模型的渲染可以采用传统的三角形光栅化渲染方法，故在此不再赘述。

在本实施例中，为了实现虚拟参与介质的渲染真实感，采用体渲染方法对虚拟参与介质模型进行渲染，其中，体渲染方法与传统的三角形光栅化渲染方法截然不同，传统的三角形光栅化渲染方法只需计算材质表面特征，而体渲染方法需要对虚拟参与介质所在的整个体空间进行积分计算。体渲染方法可以用于模拟特殊的大气形态和环境特效，能够表现虚拟参与介质对光线的吸收和散射，进而实现虚拟参与介质的真实感渲染。目前，常见的几种体渲染方法可以包括：多次散射模型下的体渲染、单次散射光照模型下的体渲染(也即，忽略虚拟参与介质内部的多次散射的体渲染)等等。

如此，通过将现实场景中的真实参与介质注册到虚拟坐标系中，并在该虚拟坐标系中配置虚拟参与介质模型，之后再对该注册有真实参与介质的虚拟坐标系中的虚拟参与介质模型进行体渲染，能够在渲染得到虚拟参与介质时表现出真实参与介质与虚拟参与介质之间的光线散射和吸收关系，进而提高虚拟参与介质的渲染真实感。

(5)第二确定模块55

第二确定模块55用于根据虚拟参与介质、虚拟坐标系和现实场景确定合成图像。

其中，上述第二确定模块55可以具体用于：

S1051：确定现实场景的图像。

具体地，上述第二确定模块55可以通过调用自身设备安装的摄像头，或者调用其他设备中的摄像头直接拍摄得到现实场景的图像，并且，在另一些实施例中，当上述第一确定模块52基于双目摄像头采集的左右目图像生成现实场景的三维点云数据时，上述第二确定模块55可以通过整合上述双目摄像头采集的左右目图像来得到对应的现实场景的图像。

S1052：从现实场景的图像中去掉真实参与介质，得到现实场景的处理后图像。

具体地，在上述生成模块53基于属性信息将现实场景的真实云彩注册到预先建立的虚拟坐标系中时，如图3所示，上述第二确定模块55可以基于上述属性信息确定现实场景的图像A中的真实参与介质(如，云彩)所在的图像区域A1，并从现实场景的图像A中删掉该图像区域A1，以得到对应的处理后图像B。如此，在后续步骤中叠加现实场景的图像与虚拟场景的图像时，能够避免由于现实场景的图像中的真实参与介质所在的图像区域与虚拟场景的图像中的真实参与介质所在的图像区域不一致所造成场景渲染异常的问题。

S1053：根据虚拟坐标系叠加处理后图像和虚拟参与介质，以得到合成图像。

具体地，上述第二确定模块55可以通过整合现实场景的处理后图像的坐标系以及上述虚拟坐标系来得到现实场景和虚拟参与介质的合成图像，例如，请继续参阅图3，在叠加现实场景的处理后图像B和虚拟参与介质C之后可以得到上述现实场景和虚拟参与介质的合成图像D，其中，现实场景的处理后图像中删掉的图像区域A1中的真实参与介质可以整合处理后图像的坐标系以及上述虚拟坐标系而出现于合成图像D中。并且，在得到合成图像之后，上述移动终端还可以进一步将该合成图像输出至自身设备安装的显示器、或者其他设备中的显示器，以向用户显示该合成图像。

具体实施时，以上各个模块和/或单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块和/或单元的具体实施可参见前面的方法实施例，具体可以达到的有益效果也请参看前面的方法实施例中的有益效果，在此不再赘述。

区别于现有技术，本实施例中的场景合成装置，通过获取场景渲染指令，场景渲染指令携带有虚拟场景标识，并根据场景渲染指令确定现实场景中真实参与介质的属性信息，然后基于属性信息和虚拟场景标识生成虚拟参与介质模型，并对虚拟参与介质模型进行体渲染，以得到虚拟参与介质，之后根据虚拟参与介质、虚拟坐标系和现实场景确定合成图像，从而在对增强现实场景进行渲染时，能够实现对增强现实场景中云彩、雾等参与介质的真实感渲染，以确保现实场景和虚拟场景的融合效果。

相应的，本申请实施例还提供一种移动终端，该移动终端可以是智能手机、平板电脑等设备。如图5所示，移动终端800包括处理器801、存储器802。其中，处理器801与存储器802电性连接。

处理器801是移动终端800的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或加载存储在存储器802内的应用程序，以及调用存储在存储器802内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。

在本实施例中，移动终端800中的处理器801会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器802中，并由处理器801来运行存储在存储器802中的应用程序，从而实现各种功能：

获取场景渲染指令，场景渲染指令携带有虚拟场景标识；

根据场景渲染指令确定现实场景中真实参与介质的属性信息；

基于属性信息和虚拟场景标识生成虚拟参与介质模型；

对虚拟参与介质模型进行体渲染，以得到虚拟参与介质；

根据虚拟参与介质、虚拟坐标系和现实场景确定合成图像。

该移动终端可以实现本申请实施例所提供的场景合成方法任一实施例中的步骤，因此，可以实现本发明实施例所提供的任一场景合成方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

图6示出了本发明实施例提供的移动终端的具体结构框图，该移动终端可以用于实施上述实施例中提供的场景合成方法。该移动终端900可以为AR眼镜、AR头盔、AR平视显示器(HUD)、智能手机或笔记本电脑等设备。

RF电路910用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。RF电路910可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路910可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统(Global System for Mobile Communication,GSM)、增强型移动通信技术

(Enhanced Data GSM Environment,EDGE)，宽带码分多址技术(Wideband CodeDivision Multiple Access,WCDMA)，码分多址技术(Code Division Access,CDMA)、时分多址技术(Time Division Multiple Access,TDMA)，无线保真技术(Wireless Fidelity，Wi-Fi)(如美国电气和电子工程师协会标准IEEE802.11a，IEEE 802.11b,IEEE802.11g和/或IEEE 802.11n)、网络电话(Voice over Internet Protocol,VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access，Wi-Max)、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。

存储器920可用于存储软件程序以及模块，如上述实施例中场景合成方法对应的程序指令/模块，处理器980通过运行存储在存储器920内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现对备用电池充电，对电池充电等功能。存储器920可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器920可进一步包括相对于处理器980远程设置的存储器，这些远程存储器可以通过网络连接至移动终端900。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入单元930可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元930可包括触敏表面931以及其他输入设备932。触敏表面931，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面931上或在触敏表面931附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面931可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器980，并能接收处理器980发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面931。除了触敏表面931，输入单元930还可以包括其他输入设备932。具体地，其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元940可用于显示由用户输入的信息或提供给用户的信息以及移动终端900的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元940可包括显示面板941，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板941。进一步的，触敏表面931可覆盖显示面板941，当触敏表面931检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。虽然在图中，触敏表面931与显示面板941是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面931与显示面板941集成而实现输入和输出功能。

移动终端900还可包括至少一种传感器950，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板941的亮度，接近传感器可在翻盖合上或者关闭时产生中断。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于移动终端900还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路960、扬声器961，传声器962可提供用户与移动终端900之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号输出；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据输出处理器980处理后，经RF电路910以发送给比如另一终端，或者将音频数据输出至存储器920以便进一步处理。音频电路960还可能包括耳塞插孔，以提供外设耳机与移动终端900的通信。

移动终端900通过传输模块970(例如Wi-Fi模块)可以帮助用户接收请求、发送信息等，它为用户提供了无线的宽带互联网访问。虽然图中示出了传输模块970，但是可以理解的是，其并不属于移动终端900的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器980是移动终端900的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行移动终端900的各种功能和处理数据，从而对移动终端进行整体监控。可选的，处理器980可包括一个或多个处理核心；在一些实施例中，处理器980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解地，上述调制解调处理器也可以不集成到处理器980中。

移动终端900还包括给各个部件供电的电源990(比如备用电池和电池)，在一些实施例中，电源可以通过电源管理系统与处理器980逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源990还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，移动终端900还包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等，在此不再赘述。具体在本实施例中，移动终端的显示单元是触摸屏显示器，移动终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令：

获取场景渲染指令，场景渲染指令携带有虚拟场景标识；

根据场景渲染指令确定现实场景中真实参与介质的属性信息；

基于属性信息和虚拟场景标识生成虚拟参与介质模型；

对虚拟参与介质模型进行体渲染，以得到虚拟参与介质；

根据虚拟参与介质、虚拟坐标系和现实场景确定合成图像。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的场景合成方法中任一实施例的步骤。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的场景合成方法任一实施例中的步骤，因此，可以实现本申请实施例所提供的任一场景合成方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种场景合成方法、装置、存储介质和移动终端进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种场景合成方法，其特征在于，包括：

获取场景渲染指令，所述场景渲染指令携带有虚拟场景标识；

根据所述场景渲染指令确定现实场景中真实参与介质的属性信息；

基于所述属性信息和虚拟场景标识生成虚拟参与介质模型；

对所述虚拟参见介质模型进行体渲染，以得到虚拟参与介质；

根据所述虚拟参与介质、虚拟坐标系和现实场景确定合成图像。

2.根据权利要求1所述的场景合成方法，其特征在于，所述确定现实场景中真实参与介质的属性信息，具体包括：

确定现实场景的三维点云数据；

根据所述三维点云数据构建所述现实场景的三维模型；

基于所述三维模型确定所述现实场景中真实参与介质的属性信息。

3.根据权利要求2所述的场景合成方法，其特征在于，所述确定现实场景的三维点云数据，具体包括：

获取现实场景不同视角的图像；

根据所述不同视角的图像确定所述现实场景的三维点云数据。

4.根据权利要求1所述的场景合成方法，其特征在于，所述基于所述属性信息和虚拟场景标识生成虚拟参与介质模型，具体包括：

基于所述属性信息将所述真实参与介质注册到预先建立的虚拟坐标系中；

根据所述虚拟场景标识对注册于所述虚拟坐标系中的所述真实参与介质进行修改、以及在所述虚拟坐标系中配置所述虚拟参与介质模型。

5.根据权利要求4所述的场景合成方法，其特征在于，所述根据所述虚拟参与介质、虚拟坐标系和现实场景确定合成图像，具体包括：

确定所述现实场景的图像；

从所述现实场景的图像中去掉所述真实参与介质，得到所述现实场景的处理后图像；

根据所述虚拟坐标系叠加所述处理后图像和虚拟参与介质，以得到合成图像。

6.一种场景合成装置，其特征在于，包括：

获取模块，用于获取场景渲染指令，所述场景渲染指令携带有虚拟场景标识；

第一确定模块，用于根据所述场景渲染指令确定现实场景中真实参与介质的属性信息；

生成模块，用于基于所述属性信息和虚拟场景标识生成虚拟参与介质模型；

渲染模块，用于对所述虚拟参见介质模型进行体渲染，以得到虚拟参与介质；

第二确定模块，用于根据所述虚拟参与介质、虚拟坐标系和现实场景确定合成图像。

7.根据权利要求6所述的场景合成装置，其特征在于，所述第一确定模块具体用于：

确定现实场景的三维点云数据；

根据所述三维点云数据构建所述现实场景的三维模型；

基于所述三维模型确定所述现实场景中真实参与介质的属性信息。

8.根据权利要求6所述的场景合成装置，其特征在于，所述确定现实场景的三维点云数据，具体包括：

获取现实场景不同视角的图像；

根据所述不同视角的图像确定所述现实场景的三维点云数据。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至5任一项所述的场景合成方法。

10.一种移动终端，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行权利要求1至5任一项所述场景合成方法中的步骤。

Images