CN113763568A - 增强现实的显示处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种增强现实的显示处理方法、装置、电子设备及计算机可读存储介质；方法包括：显示现实场景，现实场景包括至少一个真实对象；将增强现实素材包中的至少一个候选虚拟对象素材所关联的特征，与真实对象的特征进行匹配处理，得到匹配成功的目标特征；从增强现实素材包中获取与目标特征关联的至少一个虚拟对象素材、以及与目标特征关联的素材配置文件；基于素材配置文件中的至少一个虚拟对象素材的播放时机，播放融合到真实对象的至少一个虚拟对象素材。通过本申请，能够在增强现实场景中灵活控制虚拟对象素材的播放。

Description

增强现实的显示处理方法、装置、设备及存储介质

技术领域

本申请涉及计算机应用技术，尤其涉及一种增强现实的显示处理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，电子设备可以实现更加丰富的和形象的虚拟场景。虚拟场景是指计算机通过数字通讯技术勾勒出的数字化场景，用户可以在虚拟场景中获得视觉、听觉等方面的完全虚拟化的感受(例如虚拟现实)或部分虚拟化的感受(例如增强现实)，同时可以与虚拟场景中的各种虚拟对象素材进行交互。

然而，相关技术对于增强现实的显示方式的支持比较片面，例如，用户在进行增强现实的交互时，只能通过动画效果的编写逻辑播放虚拟对象素材，这种对于虚拟对象素材的播放的局限性进一步影响了虚拟对象素材的播放效果。

发明内容

本申请实施例提供一种增强现实的显示处理方法、装置、电子设备及计算机可读存储介质，能够在增强现实场景中灵活控制虚拟对象素材的播放。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种增强现实的显示处理方法，包括：

显示现实场景，所述现实场景包括至少一个真实对象；

将增强现实素材包中的至少一个候选虚拟对象素材所关联的特征，与所述真实对象的特征进行匹配处理，得到匹配成功的目标特征；

从所述增强现实素材包中获取与所述目标特征关联的至少一个虚拟对象素材、以及与所述目标特征关联的素材配置文件；

基于所述素材配置文件中的所述至少一个虚拟对象素材的播放时机，播放融合到所述真实对象的所述至少一个虚拟对象素材。

本申请实施例提供一种增强现实的显示处理装置，包括：

显示模块，用于显示现实场景，所述现实场景包括至少一个真实对象；

匹配模块，用于将增强现实素材包中的至少一个候选虚拟对象素材所关联的特征，与所述真实对象的特征进行匹配处理，得到匹配成功的目标特征；

获取模块，用于从所述增强现实素材包中获取与所述目标特征关联的至少一个虚拟对象素材、以及与所述目标特征关联的素材配置文件；

播放模块，用于基于所述素材配置文件中的所述至少一个虚拟对象素材的播放时机，播放融合到所述真实对象的所述至少一个虚拟对象素材。

上述技术方案中，所述将匹配模块还用于针对所述至少一个候选虚拟对象素材中的每个候选虚拟对象素材执行以下处理：获取所述候选虚拟对象素材所关联的特征对应的第一特征图；

获取所述真实对象的表面的特征点对应的第二特征图；

将每个所述候选虚拟对象的所述第一特征图与所述第二特征图进行特征点匹配处理，将匹配成功的所述第一特征图作为匹配成功的目标特征。

上述技术方案中，所述显示模块还用于当与所述至少一个候选虚拟对象素材关联的特征与所述真实对象的特征匹配失败时，显示匹配失败提示信息；

其中，所述匹配失败提示信息用于指示需要重新拍摄所述现实场景。

上述技术方案中，所述显示模块还用于触发客户端的匹配失败处理逻辑，以通过所述匹配失败处理逻辑显示所述提示信息；或者，

触发状态机转移到特征匹配失败状态，以触发显示与所述特征匹配失败状态关联的虚拟对象素材，其中，与所述特征匹配失败状态关联的虚拟对象素材包括所述匹配失败提示信息。

上述技术方案中，所述虚拟对象素材包括以下至少之一：虚拟对象模型、虚拟对象模型动画、多媒体文件；

所述播放模块还用于执行以下操作至少之一：

在满足所述虚拟对象模型的播放时机的时间段中，在所述真实对象的表面叠加显示所述虚拟对象模型；

在满足所述虚拟对象模型动画的播放时机的时间段中，在所述真实对象的表面播放所述虚拟对象模型动画；

在满足所述多媒体文件的播放时机的时间段中，播放所述多媒体文件。

上述技术方案中，所述装置还包括：

处理模块，用于将所述素材配置文件中的所述至少一个虚拟对象素材的播放时机、以及在满足所述播放时机的时间段内待执行的触发事件分别与状态绑定，得到状态机；

当通过所述匹配处理得到匹配成功的目标特征时，将所述状态机设置为初始状态；

通过所述状态机中状态的切换确定满足不同的所述播放时机的时间段、以及不同的所述触发事件；

其中，所述触发事件用于基于所述素材配置文件中的效果参数，触发执行播放融合到所述真实对象的所述至少一个虚拟对象素材。

上述技术方案中，所述播放模块还用于当通过所述匹配处理得到匹配成功的目标特征时，确定所述现实场景中所述目标特征所对应的平面，以所述平面为参考面，基于所述参考面建立世界坐标系与屏幕坐标系之间的映射关系；

基于所述映射关系，将所述世界坐标系中的所述虚拟对象模型映射到所述屏幕坐标系中的所述真实对象的表面。

上述技术方案中，所述虚拟对象模型的播放时机包括以下至少之一：显示所述虚拟对象模型的起始时刻、显示所述虚拟对象模型的持续时长、针对所述虚拟对象模型的互动操作；

所述虚拟对象模型动画的播放时机包括以下至少之一：播放所述虚拟对象模型动画的起始时刻、播放所述虚拟对象模型动画的持续时长、针对所述虚拟对象模型动画的互动操作；

所述多媒体文件的播放时机包括以下至少之一：播放所述多媒体文件的起始时刻、播放所述多媒体文件的持续时长、所述多媒体文件的循环播放次数、针对所述多媒体文件的互动操作。

上述技术方案中，所述显示模块还用于显示所述增强现实素材包中的多个候选虚拟对象素材；

响应于针对所述多个候选虚拟对象素材的选择操作，将被选择的候选虚拟对象素材所关联的特征，作为用于进行所述匹配处理的所述至少一个候选虚拟对象素材所关联的特征。

上述技术方案中，所述显示模块还用于通过神经网络模型对所述多个候选虚拟对象素材进行预测处理，得到用户对所述多个候选虚拟对象素材的偏好程度；

基于所述用户对所述多个候选虚拟对象素材的偏好程度，对所述多个候选虚拟对象素材进行降序排序；

根据所述降序排序的结果显示所述多个候选虚拟对象素材。

上述技术方案中，所述显示模块还用于获取所述多个候选虚拟对象素材的互动参数；

基于所述多个候选虚拟对象素材的互动参数，对所述多个候选虚拟对象素材进行降序排序；

根据所述降序排序的结果显示所述多个候选虚拟对象素材。

上述技术方案中，所述显示模块还用于获取所述多个候选虚拟对象素材的使用频率；

根据所述使用频率的降序结果显示所述多个候选虚拟对象素材。

上述技术方案中，所述显示模块还用于显示针对所述被选择的候选虚拟对象素材的引导信息；

其中，所述引导信息用于指示播放所述被选择的候选虚拟对象素材时拍摄所述现实场景的条件。

上述技术方案中，所述装置还包括：

配置模块，用于响应于针对所述被选择的候选虚拟对象素材所关联的素材配置文件的配置入口的触发操作；

显示所述被选择的候选虚拟对象素材所关联的素材配置文件的配置界面；

响应于针对所述配置界面的配置操作，基于所述配置操作输入的配置参数，更新所述被选择的候选虚拟对象素材所关联的素材配置文件。

本申请实施例提供一种用于增强现实的显示处理的电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的增强现实的显示处理方法。

本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的增强现实的显示处理方法。

本申请实施例具有以下有益效果：

基于素材配置文件中的虚拟对象素材的播放时机，播放融合到真实对象的虚拟对象素材，从而通过素材配置文件灵活控制虚拟对象素材的播放，实现多样化虚拟对象素材的播放效果。

附图说明

图1A-图1B是本申请实施例提供的增强现实的显示处理方法的应用模式示意图；

图2是本申请实施例提供的用于增强现实的显示处理的电子设备的结构示意图；

图3A-图3B是本申请实施例提供的增强现实的显示处理方法的流程示意图；

图4是本申请实施例提供的真实对象的示意图；

图5A-图5B是本申请实施例提供的增强现实的场景示意图；

图6是本申请实施例提供的关联关系的示意图；

图7是本申请实施例提供的匹配失败提示信息的示意图；

图8是本申请实施例提供的候选虚拟对象素材的示意图；

图9是本申请实施例提供的引导信息的示意图；

图10是本申请实施例提供的配置界面；

图11A-图11C是本申请实施例提供的播放虚拟对象素材的效果示意图；

图12是本申请实施例提供的设计侧的流程示意图；

图13是本申请实施例提供的增强现实的显示处理方法的流程示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)虚拟场景：利用设备输出的区别于现实世界的场景，通过裸眼或设备的辅助能够形成对虚拟场景的视觉感知，例如通过显示屏幕输出的二维影像，通过立体投影、虚拟现实和增强现实技术等立体显示技术来输出的三维影像；此外，还可以通过各种可能的硬件形成听觉感知、触觉感知、嗅觉感知和运动感知等各种模拟现实世界的感知。

2)响应于：用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

3)客户端：终端中运行的用于提供各种服务的应用程序，例如游戏客户端、短视频客户端、军事演习仿真客户端等。

4)虚拟对象素材：虚拟场景中的任意元素，包括以下至少之一：虚拟对象模型、虚拟对象模型动画、多媒体文件(音频、视频)，例如游戏中的人物(角色)、道具，用户可以控制人物或者道具与其他用户进行对战；虚拟现实(VR，Virtual Reality)中的人、物；增强现实(AR，Augmented Reality)中的虚拟特效。

5)虚拟对象模型：虚拟场景中可以进行交互的各种人和物的形象，或在虚拟场景中的可活动对象。该可活动对象可以是虚拟人物、虚拟动物、动漫人物等，比如，在虚拟场景中显示的人物、动物、植物、油桶、墙壁、石块等。该虚拟对象可以是该虚拟场景中的一个虚拟的用于代表用户的虚拟形象。虚拟场景中可以包括多个虚拟对象，每个虚拟对象在虚拟场景中具有自身的形状和体积，占据虚拟场景中的一部分空间。

6)标记增强现实(Marker AR，Marker Augmented Reality)：一种增强现实技术，首先事先制作好标记(Marker)，例如可以是二维码或者目标物体的特征图，通过对图像里的Marker识别，以建立世界坐标系到屏幕坐标系的映射关系，以实现增强现实功能。

相关技术中，在拍摄中的AR效果(即虚拟对象素材)玩法比较单一，是在屏幕中通过点击或者在标记(Marker)处放置一个三维(3D，3-Dimension)模型，并同时播放背景音乐或者动画，播放的时机不支持自定义，能够实现的效果受到限制，不能做出复杂精细的带有层次感的特效，约束了设计师创意的发挥。

申请人发现，相关技术中的AR效果单一，大部分只支持拍摄开始时根据AR处理的结果，放置虚拟模型(即虚拟对象模型)到AR场景中，并同时播放一首背景音乐，但不能支持放置多个虚拟模型以及播放多首音乐，并同时控制虚拟模型以及音乐出现的时机，这个缺点限制了效果的表现力，只能做出一些比较简单的特效；并且，相关技术中的AR效果开发复杂，每个AR效果需要额外编写逻辑，没有形成通用可配置的方案，设计师很难独立调整效果，需要开发人员深度参与，导致产出效率比较低。

为了解决上述问题，本申请实施例提供一种增强现实的显示处理方法、装置、电子设备和计算机可读存储介质，能够通过素材配置文件灵活控制虚拟对象素材的播放。下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的电子设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。下面，将说明设备实施为终端时示例性应用。

为便于更容易理解本申请实施例提供的增强现实的显示处理方法，首先说明本申请实施例提供的增强现实的显示处理方法的示例性实施场景，增强现实的虚拟场景可以完全基于终端输出，或者基于终端和服务器的协同来输出。

在一个实施场景中，参见图1A，图1A是本申请实施例提供的增强现实的显示处理方法的应用模式示意图，适用于一些完全依赖终端400的计算能力即可完成虚拟场景100的相关数据计算的应用模式，通过智能手机、平板电脑和增强现实设备等终端400完成增强现实的虚拟场景的输出。

当形成增强现实的虚拟场景100的视觉感知时，终端400通过图形计算硬件计算显示所需要的数据，并完成显示数据的加载、解析和渲染，在图形输出硬件输出能够对增强现实的形成视觉感知的视频帧，例如，在智能手机的显示屏幕呈现二维的视频帧，或者，在增强现实眼镜的镜片上投射实现三维显示效果的视频帧；此外，为了丰富感知效果，设备还可以借助不同的硬件来形成听觉感知、触觉感知、运动感知和味觉感知的一种或多种。

作为示例，终端400运行具有增强现实功能的客户端410(例如单机版的短视频应用、直播应用、即时通信应用、视频编辑应用等)，在客户端410的运行过程中输出包括增强现实的虚拟场景100(包括真实对象以及虚拟对象模型)，虚拟场景中包括虚拟对象模型110，虚拟对象模型110可以是受用户(或称玩家)控制的道具，即虚拟对象模型110受控于真实用户，将响应于真实用户手势的操作而在虚拟场景中操作，虚拟场景中包括真实对象120，真实对象120可以是现实世界的物品，例如纸币。

在另一个实施场景中，参见图1B，图1B是本申请实施例提供的增强现实的显示处理方法的应用模式示意图，应用于终端400和服务器200，适用于依赖服务器200的计算能力完成增强现实的虚拟场景计算、并在终端400输出增强现实的虚拟场景的应用模式。

以形成增强现实的虚拟场景100的视觉感知为例，服务器200进行增强现实的虚拟场景相关显示数据的计算并发送到终端400，终端400依赖于图形计算硬件完成计算显示数据的加载、解析和渲染，依赖于图形输出硬件输出虚拟场景以形成视觉感知，例如可以在智能手机的显示屏幕呈现二维的视频帧，或者，在增强现实眼镜的镜片上投射实现三维显示效果的视频帧；对于增强现实的虚拟场景的形式的感知而言，可以理解，可以借助于终端的相应硬件输出，例如使用麦克风输出形成听觉感知，使用振动器输出形成触觉感知等等。

作为示例，终端400运行具有增强现实功能的客户端410(例如网络版的短视频应用、直播应用、即时通信应用、视频编辑应用等)，通过连接短视频应用的服务器(即服务器200)与其他用户进行游戏互动，终端400输出客户端410的增强现实的虚拟场景100(包括真实对象以及虚拟对象模型)，虚拟场景中包括虚拟对象模型110，虚拟对象模型110可以是受用户(或称玩家)控制的道具，即虚拟对象模型110受控于真实用户，将响应于真实用户手势的操作而在虚拟场景中操作，虚拟场景中包括真实对象120，真实对象120可以是现实世界的物品，例如纸币。

在一些实施例中，终端400可以通过运行计算机程序来实现本申请实施例提供的增强现实的显示处理方法，例如，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，例如短视频APP(即上述的客户端410)；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的游戏小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。

本申请实施例可以借助于云技术(Cloud Technology)实现，云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。

云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源。

作为示例，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、以及智能手表等，但并不局限于此。终端400以及服务器200可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。

下面说明本申请实施例提供的用于增强现实的显示处理的电子设备的结构，参见图2，图2是本申请实施例提供的用于增强现实的显示处理的电子设备的结构示意图，以电子设备为终端为例进行说明，图2所示的电子设备包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。电子设备400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。

处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450例如包括在物理位置上远离处理器410的一个或多个存储设备。

存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。

在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；

呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；

输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本申请实施例提供的增强现实的显示处理装置可以采用软件方式实现，图2示出了存储在存储器450中的增强现实的显示处理装置455，其可以是程序和插件等形式的软件，包括以下软件模块：显示模块4551、匹配模块4552、获取模块4553、播放模块4554、处理模块4555以及配置模块4556，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。

如前所述，本申请实施例提供的增强现实的显示处理方法可以由各种类型的电子设备实施。参见图3A，图3A是本申请实施例提供的增强现实的显示处理方法的流程示意图，结合图3A示出的步骤进行说明。

需要说明的是，图3A示出的方法可以由终端400运行的各种形式计算机程序执行，并不局限于上述的客户端410，例如上文的操作系统451、软件模块、脚本和小程序，因此下文中以客户端的示例不应视为对本申请实施例的限定。

在步骤101中，显示现实场景，现实场景包括至少一个真实对象。

例如，通过具有增强现实功能的终端拍摄现实世界，获取的现实场景的影像，其中，现实场景的影像包括现实场景中的真实对象的影像，并在终端的显示界面呈现所拍摄的现实场景，即现实场景的影像，拍摄的现实场景包括至少一个真实对象。参见图4，通过具有增强现实功能的终端拍摄现实世界，在终端的显示界面中呈现现实场景401中的纸币402。

其中，根据观看用户的观看位置和视场角，确定观看对象的视场区域，呈现虚拟场景中位于视场区域中的部分虚拟场景，即所显示的虚拟场景可以是相对于全景虚拟场景的部分虚拟场景。

例如，以用户佩戴增强现实设备为例，参见图5A，图5A是本申请实施例提供的增强现实的界面示意图，观看用户(即真实用户)在增强现实设备中通过透镜所能够感知到包括现实场景501的虚拟场景502，增强现实设备中设置有姿态检测的传感器(如九轴传感器)，用于实时检测增强现实设备的姿态变化，如果用户佩戴了增强现实设备，那么当用户头部姿态发生变化时，会将头部的实时姿态传给处理器，以此计算用户的视线在虚拟场景中的注视点，根据注视点计算虚拟场景的三维模型中处于用户注视范围(即视场区域)的图像，并在显示屏上显示，使人仿佛在置身于现实环境中观看一样的沉浸式体验。

以用户操控增强现实设备显示现实场景501为例，即观看用户是完整现实场景503中的现实人物504，参见图5B，图5B是本申请实施例提供的增强现实的界面示意图，现实人物504控制增强现实设备，调整在完整现实场景503中的观看位置和视场角，以呈现完整现实场景503中的部分现实场景505。

在步骤102中，将增强现实素材包中的至少一个候选虚拟对象素材所关联的特征，与真实对象的特征进行匹配处理，得到匹配成功的目标特征。

例如，在显示了现实场景后，可以自动将增强现实素材包中的多个候选虚拟对象素材与真实对象进行匹配处理，即通过将候选虚拟对象素材的特征与真实对象的特征进行匹配，得到匹配成功的目标特征，即目标特征所关联的候选虚拟对象为目标虚拟对象素材。其中，目标特征本身可以不在增强现实素材包中，是在独立于增强现实素材包的特征库中，从而节约增强现实素材包的存储资源；也可以是在增强现实素材包中的，例如在素材配置文件中。

在一些实施例中，将增强现实素材包中的至少一个候选虚拟对象素材所关联的特征，与真实对象的特征进行匹配处理，得到匹配成功的目标特征，包括：针对至少一个候选虚拟对象素材中的每个候选虚拟对象素材执行以下处理：获取候选虚拟对象素材所关联的特征对应的第一特征图；获取真实对象的表面的特征点对应的第二特征图；将每个候选虚拟对象的第一特征图与第二特征图进行特征点匹配处理，将匹配成功的第一特征图作为匹配成功的目标特征。

例如，特征图包括用于描述特征点的特征向量。将第一特征图与第二特征图进行相似度处理，得到候选虚拟对象素材所关联的特征与真实对象之间的相似度，当相似度大于相似度阈值时，将相似度对应的候选虚拟对象素材所关联的特征确定为目标特征。

如图6所示，一张5元的图像601(特征)与拍摄5元的AR特效602(一种候选虚拟对象素材)关联，当AR特效602所关联的图像601与真实对象(真实的5元纸币)匹配，则将图像601作为匹配成功的目标特征。

在一些实施例中，将增强现实素材包中的至少一个候选虚拟对象素材所关联的特征，与真实对象的特征进行匹配处理之后，当与至少一个候选虚拟对象素材关联的特征与真实对象的特征匹配失败时，还可以显示匹配失败提示信息；其中，匹配失败提示信息用于指示需要重新拍摄现实场景。

例如，当增强现实素材包中所有的候选虚拟对象素材所关联的特征与真实对象的特征不匹配时，说明当前真实对象不适用于增强现实素材包中所有的候选虚拟对象素材，可以在电子设备的显示界面上呈现匹配失败提示信息。

如图7所示，在终端的显示界面中呈现现实场景401中的5元纸币402，当增强现实素材包中所有的候选虚拟对象素材所关联的特征与5元纸币402不匹配时，在终端的显示界面呈现匹配失败提示信息403，以提示用户重新拍摄。

承接上述示例，显示匹配失败提示信息有两种方式：1)触发客户端的匹配失败处理逻辑，以通过匹配失败处理逻辑显示提示信息；2)触发客户端中的状态机转移到特征匹配失败状态，以触发显示与特征匹配失败状态关联的虚拟对象素材，其中，与特征匹配失败状态关联的虚拟对象素材包括匹配失败提示信息，由于虚拟对象素材包括的匹配失败提示信息可以是自定义的，因此可以灵活修改匹配失败提示信息。

承接上述示例，为了便于随时重新设置匹配失败提示信息，在终端的显示界面显示显示匹配失败提示信息的设置入口，响应于针对设置入口的触发操作，在终端的显示界面显示匹配失败提示信息的设置界面，响应于针对设置界面的设置操作，将设置界面中的设置参数更新匹配失败提示信息。

在一些实施例中，终端可以支持用户通过手动选择候选虚拟对象素材，将被选择的候选虚拟对象素材所关联的特征与真实对象进行匹配。例如，在显示界面显示增强现实素材包中的多个候选虚拟对象素材；响应于针对多个候选虚拟对象素材的选择操作，将被选择的候选虚拟对象素材所关联的特征，作为用于进行匹配处理的至少一个候选虚拟对象素材所关联的特征。

如图8所示，在终端的显示界面呈现多个候选虚拟对象素材，例如拍摄20元的AR特效，拍摄专属口罩的AR特效等，当用户选择拍摄50元的AR特效801时，则终端将拍摄50元的AR特效801所关联的特征作为目标特征，后续可以在显示界面呈现拍摄50元的AR特效801。

承接上述示例，显示增强现实素材包中的多个候选虚拟对象素材可以通过以下方式实现：通过神经网络模型对多个候选虚拟对象素材进行预测处理，得到用户对多个候选虚拟对象素材的偏好程度；基于用户对多个候选虚拟对象素材的偏好程度，对多个候选虚拟对象素材进行降序排序；根据降序排序的结果显示多个候选虚拟对象素材。

其中，神经网络模型可以是深度神经网络、卷积神经网络等。例如，神经网络模型基于用户的画像信息对多个候选虚拟对象素材进行预测处理，得到用户对每个候选虚拟对象素材的偏好程度，基于用户对多个候选虚拟对象素材的偏好程度，对多个候选虚拟对象素材进行降序排序，将降序排序结果中的前10个候选虚拟对象素材显示在终端的显示界面上，以供用户进行选择。

承接上述示例，显示增强现实素材包中的多个候选虚拟对象素材可以通过以下方式实现：获取多个候选虚拟对象素材的互动参数；基于多个候选虚拟对象素材的互动参数，对多个候选虚拟对象素材进行降序排序；根据降序排序的结果显示多个候选虚拟对象素材。

例如，互动参数表示用户针对候选虚拟对象素材的互动信息，例如点赞数、转发量、评论数等。基于多个候选虚拟对象素材的互动参数，对多个候选虚拟对象素材进行降序排序，将降序排序结果中的前10个候选虚拟对象素材显示在终端的显示界面上，以供用户进行选择。

承接上述示例，显示增强现实素材包中的多个候选虚拟对象素材可以通过以下方式实现：获取多个候选虚拟对象素材的使用频率；根据使用频率的降序结果显示多个候选虚拟对象素材。

例如，获取用户对多个候选虚拟对象素材的使用频率，当候选虚拟对象素材的使用频率越高，则说明用户越喜欢该候选虚拟对象素材。获取样本用户对多个候选虚拟对象素材的使用频率，当候选虚拟对象素材的使用频率越高，则说明该候选虚拟对象素材的热度越高，用户可能会喜欢候选虚拟对象素材。

在一些实施例中，在确定被选择的候选虚拟对象素材之后，还可以显示针对被选择的候选虚拟对象素材的引导信息；其中，引导信息用于指示播放被选择的候选虚拟对象素材时拍摄现实场景的条件。

如图9所示，在终端的显示界面呈现多个候选虚拟对象素材，例如拍摄20元的AR特效，拍摄专属口罩的AR特效等，用户选择拍摄50元的AR特效801后，可以在显示界面上显示拍摄50元的AR特效801的引导信息802，例如“请拍摄纸币背面”，以提醒用户进行正常的拍摄，避免匹配到目标特征，无法显示拍摄50元的AR特效801。

在步骤103中，从增强现实素材包中获取与目标特征关联的至少一个虚拟对象素材、以及与目标特征关联的素材配置文件。

其中，素材配置文件包括效果参数，效果参数包括虚拟对象模型的显示效果参数(例如显示位置、动画样式、动画时长等)、多媒体文件(音频、视频)的播放效果参数(例如持续时间、循环播放次数等)。

在一些实施例中，在确定候选虚拟对象素材之后，终端还可以支持手动调整素材配置文件，例如响应于用户针对被选择的候选虚拟对象素材所关联的素材配置文件的配置入口的触发操作；显示被选择的候选虚拟对象素材所关联的素材配置文件的配置界面；响应于用户针对配置界面的配置操作，基于配置操作输入的配置参数，更新被选择的候选虚拟对象素材所关联的素材配置文件。

如图10所示，用户选择拍摄50元的AR特效801后，点击拍摄50元的AR特效801所关联的素材配置文件的配置入口803，则在显示界面显示拍摄50元的AR特效801所关联的素材配置文件的配置界面804，用户可以在配置界面中输入配置参数，以更新拍摄50元的AR特效801所关联的素材配置文件，即用户可以根据自己的喜好设计AR特效。

其中，设置素材配置文件可以在播放融合到真实对象的至少一个虚拟对象素材之前，也可以在播放虚拟对象素材中，还可以在播放融合到真实对象的至少一个虚拟对象素材之后。

在步骤104中，基于素材配置文件中的至少一个虚拟对象素材的播放时机，播放融合到真实对象的至少一个虚拟对象素材。

例如，在从增强现实素材包中获取与目标特征关联的虚拟对象素材、以及与目标特征关联的素材配置文件后，当触发素材配置文件中的虚拟对象素材的播放时机时，播放融合到真实对象的至少一个虚拟对象素材，以实现多样化的增强现实显示效果。

参见图3B，图3B是本申请实施例提供的增强现实的显示处理方法的一个可选的流程示意图，图3B示出图3A的步骤104还可以通过以下步骤至少之一实现：在步骤1041中，在满足虚拟对象模型的播放时机的时间段中，在真实对象的表面叠加显示虚拟对象模型；在步骤1042中，在满足虚拟对象模型动画的播放时机的时间段中，在真实对象的表面播放虚拟对象模型动画；在步骤1043中，在满足多媒体文件的播放时机的时间段中，播放多媒体文件。

其中，虚拟对象素材包括以下至少之一：虚拟对象模型、虚拟对象模型动画、多媒体文件。其中，虚拟对象模型的播放时机包括以下至少之一：显示虚拟对象模型的起始时刻、显示虚拟对象模型的持续时长、针对虚拟对象模型的互动操作；虚拟对象模型动画的播放时机包括以下至少之一：播放虚拟对象模型动画的起始时刻、播放虚拟对象模型动画的持续时长、针对虚拟对象模型动画的互动操作；多媒体文件的播放时机包括以下至少之一：播放多媒体文件的起始时刻、播放多媒体文件的持续时长、多媒体文件的循环播放次数、针对多媒体文件的互动操作。其中互动操作可以是手势(例如点击)、语音、体感、面部、眼部动作(例如持续观看1秒钟)等。

作为示例，虚拟对象模型的播放时机可以是显示虚拟对象模型的起始时刻、显示虚拟对象模型的持续时长、或者针对虚拟对象模型的互动操作，例如虚拟对象模型的播放时机可以是在匹配到目标特征之后的1秒钟的起始时刻(对应的虚拟对象模型的播放时机的时间段可以是在匹配到目标特征之后的1秒钟到虚拟对象素材的总播放时长或者关闭播放虚拟对象素材的时间段)，持续显示2秒钟(对应的虚拟对象模型的播放时机的时间段可以是在匹配到目标特征之后的2秒钟内的时间段)，或者检测到点击手势(对应的虚拟对象模型的播放时机的时间段可以是在检测到点击手势的起始手势到检测到双击手势的终止手势的时间段)等。

作为示例，虚拟对象模型的播放时机可以是显示虚拟对象模型的起始时刻、显示虚拟对象模型的持续时长、针对虚拟对象模型的互动操作的任意组合，例如虚拟对象模型的播放时机可以是在匹配到目标特征之后的1秒钟的起始时刻并持续显示2秒钟(对应的虚拟对象模型的播放时机的时间段可以是在匹配到目标特征之后的1秒钟至3秒钟)，虚拟对象模型的播放时机还可以是在匹配到目标特征之后的1秒钟的起始时刻并检测到点击手势(对应的虚拟对象模型的播放时机的时间段可以是在匹配到目标特征之后的1秒钟至检测到点击手势的时间段)等。

如图11A所示，通过具有增强现实功能的终端拍摄现实世界，在终端的显示界面中呈现现实场景401中的纸币402(真实对象)后，1秒钟之后(满足显示山峰403的播放时机，即显示虚拟对象模型的起始时刻)，在纸币402的表面叠加显示山峰403，直至AR效果结束(山峰403的播放时机的时间段为1秒钟直至AR效果结束)。

如图11B所示，在纸币402的表面叠加显示山峰403之后，检测到点击手势(满足播放凤凰404动画的播放时机，即针对虚拟对象模型的互动操作)，在纸币402的周围播放凤凰404飞舞的动画，直至检测到双击手势(凤凰404的播放时机的时间段为检测到点击手势直至检测到双击手势)。

如图11C所示，在纸币402的周围播放凤凰404飞舞的动画的同时，播放背景音乐405两次(播放背景音乐405的播放时机为播放凤凰404飞舞的起始时刻)。

在一些实施例中，在基于素材配置文件中的至少一个虚拟对象素材的播放时机，播放融合到真实对象的至少一个虚拟对象素材之前，将素材配置文件中的至少一个虚拟对象素材的播放时机、以及在满足播放时机的时间段内待执行的触发事件分别与状态绑定，得到状态机；当通过匹配处理得到匹配成功的目标特征时，将状态机设置为初始状态；通过状态机中状态的切换确定满足不同的播放时机的时间段、以及不同的触发事件；其中，触发事件用于基于素材配置文件中的效果参数，触发执行播放融合到真实对象的至少一个虚拟对象素材。

其中，效果参数包括：虚拟对象模型的显示效果参数(例如显示位置、动画样式、动画时长等)、多媒体文件的播放效果参数(例如持续时间、循环播放次数等)。其中，将素材配置文件中的每个虚拟对象素材的播放时机、以及在满足播放时机的时间段内待执行的触发事件分别与对应的状态绑定，得到绑定有不同状态的状态机。

例如，当匹配到目标特征时，将状态机设置为初始状态，后续可以通过状态机中状态的切换确定满足不同的播放时机的时间段以及不同的触发事件，从而基于确定的触发事件确定素材配置文件中的效果参数，从而触发执行播放融合到真实对象的虚拟对象素材。

承接上述示例，在真实对象的表面叠加显示虚拟对象模型，包括：当通过匹配处理得到匹配成功的目标特征时，确定现实场景中目标特征所对应的平面，以平面为参考面，基于参考面建立世界坐标系与屏幕坐标系之间的映射关系；基于映射关系，将世界坐标系中的虚拟对象模型映射到屏幕坐标系中的真实对象的表面。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。

本申请实施例提出一种增强现实的显示处理方法，基于Marker AR能力的处理结果，根据处理结果确定物体表面，在物体表面上放置多个3D虚拟模型，并可以控制虚拟模型、音乐出现和动画播放的时机，形成一种与拍摄画面融合的沉浸感体验。

如图12所示，设计师根据AR效果的主题和内容，制作出对应的3D虚拟模型及绑定在3D虚拟模型上的动画，并保存为常用的模型格式(例如glb)，无需额外的模型文件转换操作。为了使AR效果看起来自然生动，设计师会给3D模型加上灯光和阴影。关于灯光的颜色、方向、强度以及是否开启阴影，设计师可以在素材配置文件中，添加对应的字段和参数来完成。完成初步的设计工作后，将设计资源(包括3D虚拟模型以及背景音乐)和素材配置文件(包括AR效果的效果参数，例如3D虚拟模型的动画效果参数)放在一起，放到客户端对应的素材目录下，即可预览效果。这样在没有开发人员参与的情况下，设计师独立调整并修改效果，提高了效果的产出效率。

例如，如图9所示，客户端中集成了6款采用本申请实施例的AR特效，均为拍摄纸币玩法，对应了100元、50元、20元、10元、5元和1元的面值。如图11B所示，将纸币背面朝上放在桌面上，点击对应面值的AR特效对准进行拍摄，会有景物模型403出现在纸币上面，同时有从纸面上生长出来的动画效果，过一秒后，有一只凤凰404从画面角落飞入，在景物模型403周围盘旋，同时有音乐响起。

如图13所示，下面具体介绍本申请实施例提出的增强现实的显示处理方法包括3个阶段，具体如下所示：

第一阶段：依据玩法放置物体，并为每一个AR特效准备一张物体表面的特征图(即AR特效与特征图关联，且特征图还与配置文件关联)，对摄像头采集到的画面，与准备好的特征图进行特征点匹配。

其中，特征图可以是目标物体表面的正面角度的图片，也可以是灰度图。允许有多张特征图，也就是说可以对多种表面进行匹配检测，但只会返回第一个匹配到的表面。第一阶段会对拍摄图像提取特征，得到特征点以及用于描述该特征点信息的特征向量，并与特征图对应的特征进行匹配操作。匹配成功后，将该特征图放到现实中的一个位置上(即将特征图放到物体表面上)，以确定一个现实场景中的平面，以该特征图中心为原点建立世界坐标系，以特征图表面为XY轴平面，垂直该XY轴平面的法向量为Z轴。然后通过摄像头对特征图进行姿态评估，以得到一个从世界坐标系到屏幕坐标系的映射变换，根据这个映射变换在屏幕中绘制的虚拟模型就可以达到摆放在物体表面的效果。

当匹配成功时，确定与匹配成功的特征图所关联的AR特效，说明AR特效与物体表面匹配，可以呈现关联的AR特效。

第二阶段：如果匹配失败，那么不触发效果播放，这时可以给用户提示，要扫描到特定物体才会有效果；如果匹配成功，以匹配到的物体表面为XY轴平面，垂直该平面的法向量为Z轴，建立世界坐标系，原点为物体表面的几何中心，与特征图绑定的3D虚拟模型会按照素材配置文件(与匹配成功的特征图关联)中定义好的坐标，摆放到世界坐标系的对应位置。

其中，基于匹配结果差异化处理，分为两种情况，即1)匹配失败以及2)匹配成功：

1)匹配失败：匹配结果会返回给客户端上层，并呈现匹配失败的提示信息，其中，匹配失败的提示信息可以由预置在客户端里的逻辑来处理，也可以配置在素材中，通过触发相应的状态，来完成显示。其中，提示信息的内容可以是文本以及贴纸动画。

2)匹配成功：每一张特征图都有唯一标识符，用来确定从拍摄画面里检测到的是哪一类物体表面。有些场景下需要识别多种物体表面并对其进行区分。例如在拍摄纸币场景下，在纸币背面设计AR效果，但用户在不熟悉玩法的情况下会对着纸币正面进行拍摄，这时候需要弹出提示信息，引导用户对着纸币背面拍摄。客户端上层逻辑获得标识符后，判断是不是现实场景的物体表面，如果不是现实场景的物体表面，弹出提示信息；如果是现实场景的物体表面，将状态机设置为开始状态，触发整体效果播放。

第三阶段：匹配成功后，程序会将状态机设置为开始状态，表示效果开始播放。后面的状态转换根据素材配置文件中的播放时机触发(例如，当不同事件的播放时机是一定的时间间隔设定时，则状态机按照一定的时间间隔触发不同的事件，即过一段指定的时间则触发一个事件)，每当状态机转换到下一个状态，即执行与这个状态绑定的触发动作(也即触发事件)。触发动作可以是摆放3D虚拟模型、播放绑定在3D虚拟模型上的动画、播放背景音乐等。不同的事件的执行时间的关系是多样化的，可以是互斥、并行或交错。

为了能够通过配置支持复杂的动画效果，使用了状态机的状态转换来实现效果的触发。触发事件可以是3D虚拟模型摆放到世界坐标系的特定位置、播放与3D虚拟模型绑定的动画效果、播放背景音乐等。触发事件与状态机某个状态关联，当状态机转移到对应状态时，触发事件会被执行。AR效果是在特征图匹配到目标物体表面之后出现，因此需要客户端上层逻辑，在检测到目标物体出现在拍摄画面以后，设置状态机为开始状态，之后的状态转换，是由时间驱动的，例如等待2秒进入状态1，放置3D虚拟模型到现实世界的物体表面上，再等待3秒进入状态2，开始播放背景音乐。通过基于时间的状态转换，本申请实施例实现了对各种效果的时序控制，同时状态转换的时间和状态对应的效果，可以在素材配置文件以JSON格式进行配置，提升了特效开发效率。

综上，本申请实施例提出的增强现实的显示处理方法具有以下有益效果：

1)丰富效果，支持在拍摄场景中被识别到的物体表面，放置多个3D虚拟模型，每个3D虚拟模型可以有自己独特的动画效果，3D虚拟模型出现在画面的时机和动画播放的时机可以自由调整，精确到毫秒，同时根据是否识别到特定的物体表面，触发整个特效的播放。可以为特效配置多首背景音乐，并控制音乐在效果中播放的时机；

2)减少生产新效果时的开发工作量，设计师通过在素材配置文件里设置各项属性，如3D虚拟模型的出现时间、3D虚拟模型动画的开始播放时间和持续时间、背景音乐的开始时间和循环次数等，与对应设计资源打包在一起，即可产生一种新的拍摄场景AR特效，无需额外的开发工作量，使批量生产类似效果成为了可能，加快了效果上线的节奏；

3)支持3D虚拟模型、动画和背景音乐之间复杂的时序关系，提升了效果的表现力，通过状态转换和配置文件结合的方式，减少了生产新特效时的开发工作量，提升了创作效率。

至此已经结合本申请实施例提供的终端的示例性应用和实施，说明本申请实施例提供的增强现实的显示处理方法，下面继续说明本申请实施例提供的增强现实的显示处理装置455中各个模块配合实现增强现实的显示处理的方案。

显示模块4551，用于显示现实场景，所述现实场景包括至少一个真实对象；匹配模块4552，用于将增强现实素材包中的至少一个候选虚拟对象素材所关联的特征，与所述真实对象的特征进行匹配处理，得到匹配成功的目标特征；获取模块4553，用于从所述增强现实素材包中获取与所述目标特征关联的至少一个虚拟对象素材、以及与所述目标特征关联的素材配置文件；播放模块4554，用于基于所述素材配置文件中的所述至少一个虚拟对象素材的播放时机，播放融合到所述真实对象的所述至少一个虚拟对象素材。

在一些实施例中，所述将匹配模块4552还用于针对所述至少一个候选虚拟对象素材中的每个候选虚拟对象素材执行以下处理：获取所述候选虚拟对象素材所关联的特征对应的第一特征图；获取所述真实对象的表面的特征点对应的第二特征图；将每个所述候选虚拟对象的所述第一特征图与所述第二特征图进行特征点匹配处理，将匹配成功的所述第一特征图作为匹配成功的目标特征。

在一些实施例中，所述显示模块4551还用于当与所述至少一个候选虚拟对象素材关联的特征与所述真实对象的特征匹配失败时，显示匹配失败提示信息；其中，所述匹配失败提示信息用于指示需要重新拍摄所述现实场景。

在一些实施例中，所述显示模块4551还用于触发客户端的匹配失败处理逻辑，以通过所述匹配失败处理逻辑显示所述提示信息；或者，触发状态机转移到特征匹配失败状态，以触发显示与所述特征匹配失败状态关联的虚拟对象素材，其中，与所述特征匹配失败状态关联的虚拟对象素材包括所述匹配失败提示信息。

在一些实施例中，所述虚拟对象素材包括以下至少之一：虚拟对象模型、虚拟对象模型动画、多媒体文件；所述播放模块4554还用于执行以下操作至少之一：在满足所述虚拟对象模型的播放时机的时间段中，在所述真实对象的表面叠加显示所述虚拟对象模型；在满足所述虚拟对象模型动画的播放时机的时间段中，在所述真实对象的表面播放所述虚拟对象模型动画；在满足所述多媒体文件的播放时机的时间段中，播放所述多媒体文件。

在一些实施例中，所述装置还包括：处理模块4555，用于将所述素材配置文件中的所述至少一个虚拟对象素材的播放时机、以及在满足所述播放时机的时间段内待执行的触发事件分别与状态绑定，得到状态机；当通过所述匹配处理得到匹配成功的目标特征时，将所述状态机设置为初始状态；通过所述状态机中状态的切换确定满足不同的所述播放时机的时间段、以及不同的所述触发事件；其中，所述触发事件用于基于所述素材配置文件中的效果参数，触发执行播放融合到所述真实对象的所述至少一个虚拟对象素材。

在一些实施例中，所述播放模块4554还用于当通过所述匹配处理得到匹配成功的目标特征时，确定所述现实场景中所述目标特征所对应的平面，以所述平面为参考面，基于所述参考面建立世界坐标系与屏幕坐标系之间的映射关系；基于所述映射关系，将所述世界坐标系中的所述虚拟对象模型映射到所述屏幕坐标系中的所述真实对象的表面。

在一些实施例中，所述虚拟对象模型的播放时机包括以下至少之一：显示所述虚拟对象模型的起始时刻、显示所述虚拟对象模型的持续时长、针对所述虚拟对象模型的互动操作；所述虚拟对象模型动画的播放时机包括以下至少之一：播放所述虚拟对象模型动画的起始时刻、播放所述虚拟对象模型动画的持续时长、针对所述虚拟对象模型动画的互动操作；所述多媒体文件的播放时机包括以下至少之一：播放所述多媒体文件的起始时刻、播放所述多媒体文件的持续时长、所述多媒体文件的循环播放次数、针对所述多媒体文件的互动操作。

在一些实施例中，所述显示模块4551还用于显示所述增强现实素材包中的多个候选虚拟对象素材；响应于针对所述多个候选虚拟对象素材的选择操作，将被选择的候选虚拟对象素材所关联的特征，作为用于进行所述匹配处理的所述至少一个候选虚拟对象素材所关联的特征。

在一些实施例中，所述显示模块4551还用于通过神经网络模型对所述多个候选虚拟对象素材进行预测处理，得到用户对所述多个候选虚拟对象素材的偏好程度；基于所述用户对所述多个候选虚拟对象素材的偏好程度，对所述多个候选虚拟对象素材进行降序排序；根据所述降序排序的结果显示所述多个候选虚拟对象素材。

在一些实施例中，所述显示模块4551还用于获取所述多个候选虚拟对象素材的互动参数；基于所述多个候选虚拟对象素材的互动参数，对所述多个候选虚拟对象素材进行降序排序；根据所述降序排序的结果显示所述多个候选虚拟对象素材。

在一些实施例中，所述显示模块4551还用于获取所述多个候选虚拟对象素材的使用频率；根据所述使用频率的降序结果显示所述多个候选虚拟对象素材。

在一些实施例中，所述显示模块4551还用于显示针对所述被选择的候选虚拟对象素材的引导信息；其中，所述引导信息用于指示播放所述被选择的候选虚拟对象素材时拍摄所述现实场景的条件。

在一些实施例中，所述装置还包括：配置模块4556，用于响应于针对所述被选择的候选虚拟对象素材所关联的素材配置文件的配置入口的触发操作；显示所述被选择的候选虚拟对象素材所关联的素材配置文件的配置界面；响应于针对所述配置界面的配置操作，基于所述配置操作输入的配置参数，更新所述被选择的候选虚拟对象素材所关联的素材配置文件。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的增强现实的显示处理方法。

本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的增强现实的显示处理方法，例如，如图3A-图3B示出的增强现实的显示处理方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (17)

1.一种增强现实的显示处理方法，其特征在于，所述方法包括：

显示现实场景，所述现实场景包括至少一个真实对象；

将增强现实素材包中的至少一个候选虚拟对象素材所关联的特征，与所述真实对象的特征进行匹配处理，得到匹配成功的目标特征；

从所述增强现实素材包中获取与所述目标特征关联的至少一个虚拟对象素材、以及与所述目标特征关联的素材配置文件；

基于所述素材配置文件中的所述至少一个虚拟对象素材的播放时机，播放融合到所述真实对象的所述至少一个虚拟对象素材。

2.根据权利要求1所述的方法，其特征在于，所述将增强现实素材包中的至少一个候选虚拟对象素材所关联的特征，与所述真实对象的特征进行匹配处理，得到匹配成功的目标特征，包括：

针对所述至少一个候选虚拟对象素材中的每个候选虚拟对象素材执行以下处理：获取所述候选虚拟对象素材所关联的特征对应的第一特征图；

获取所述真实对象的表面的特征点对应的第二特征图；

将每个所述候选虚拟对象的所述第一特征图与所述第二特征图进行特征点匹配处理，将匹配成功的所述第一特征图作为匹配成功的目标特征。

3.根据权利要求1所述的方法，其特征在于，所述将增强现实素材包中的至少一个候选虚拟对象素材所关联的特征，与所述真实对象的特征进行匹配处理之后，所述方法还包括：

当与所述至少一个候选虚拟对象素材关联的特征与所述真实对象的特征匹配失败时，显示匹配失败提示信息；

其中，所述匹配失败提示信息用于指示需要重新拍摄所述现实场景。

4.根据权利要求3所述的方法，其特征在于，所述显示匹配失败提示信息，包括：

触发客户端的匹配失败处理逻辑，以通过所述匹配失败处理逻辑显示所述提示信息；或者，

触发状态机转移到特征匹配失败状态，以触发显示与所述特征匹配失败状态关联的虚拟对象素材，其中，与所述特征匹配失败状态关联的虚拟对象素材包括所述匹配失败提示信息。

5.根据权利要求1所述的方法，其特征在于，

所述虚拟对象素材包括以下至少之一：虚拟对象模型、虚拟对象模型动画、多媒体文件；

所述基于所述素材配置文件中的所述至少一个虚拟对象素材的播放时机，播放融合到所述真实对象的所述至少一个虚拟对象素材，包括：

执行以下操作至少之一：

在满足所述虚拟对象模型的播放时机的时间段中，在所述真实对象的表面叠加显示所述虚拟对象模型；

在满足所述虚拟对象模型动画的播放时机的时间段中，在所述真实对象的表面播放所述虚拟对象模型动画；

在满足所述多媒体文件的播放时机的时间段中，播放所述多媒体文件。

6.根据权利要求5所述的方法，其特征在于，在基于所述素材配置文件中的所述至少一个虚拟对象素材的播放时机，播放融合到所述真实对象的所述至少一个虚拟对象素材之前，所述方法还包括：

将所述素材配置文件中的所述至少一个虚拟对象素材的播放时机、以及在满足所述播放时机的时间段内待执行的触发事件分别与状态绑定，得到状态机；

当通过所述匹配处理得到匹配成功的目标特征时，将所述状态机设置为初始状态；

通过所述状态机中状态的切换确定满足不同的所述播放时机的时间段、以及不同的所述触发事件；

其中，所述触发事件用于基于所述素材配置文件中的效果参数，触发执行播放融合到所述真实对象的所述至少一个虚拟对象素材。

7.根据权利要求5所述的方法，其特征在于，所述在所述真实对象的表面叠加显示所述虚拟对象模型，包括：

当通过所述匹配处理得到匹配成功的目标特征时，确定所述现实场景中所述目标特征所对应的平面，以所述平面为参考面，基于所述参考面建立世界坐标系与屏幕坐标系之间的映射关系；

基于所述映射关系，将所述世界坐标系中的所述虚拟对象模型映射到所述屏幕坐标系中的所述真实对象的表面。

8.根据权利要求5所述的方法，其特征在于，

所述虚拟对象模型的播放时机包括以下至少之一：显示所述虚拟对象模型的起始时刻、显示所述虚拟对象模型的持续时长、针对所述虚拟对象模型的互动操作；

所述虚拟对象模型动画的播放时机包括以下至少之一：播放所述虚拟对象模型动画的起始时刻、播放所述虚拟对象模型动画的持续时长、针对所述虚拟对象模型动画的互动操作；

所述多媒体文件的播放时机包括以下至少之一：播放所述多媒体文件的起始时刻、播放所述多媒体文件的持续时长、所述多媒体文件的循环播放次数、针对所述多媒体文件的互动操作。

9.根据权利要求1所述的方法，其特征在于，在将增强现实素材包中的至少一个候选虚拟对象素材所关联的特征，与所述真实对象的特征进行匹配处理之前，所述方法还包括：

显示所述增强现实素材包中的多个候选虚拟对象素材；

响应于针对所述多个候选虚拟对象素材的选择操作，将被选择的候选虚拟对象素材所关联的特征，作为用于进行所述匹配处理的所述至少一个候选虚拟对象素材所关联的特征。

10.根据权利要求9所述的方法，其特征在于，所述显示所述增强现实素材包中的多个候选虚拟对象素材，包括：

通过神经网络模型对所述多个候选虚拟对象素材进行预测处理，得到用户对所述多个候选虚拟对象素材的偏好程度；

基于所述用户对所述多个候选虚拟对象素材的偏好程度，对所述多个候选虚拟对象素材进行降序排序；

根据所述降序排序的结果显示所述多个候选虚拟对象素材。

11.根据权利要求9所述的方法，其特征在于，所述显示所述增强现实素材包中的多个候选虚拟对象素材，包括：

获取所述多个候选虚拟对象素材的互动参数；

基于所述多个候选虚拟对象素材的互动参数，对所述多个候选虚拟对象素材进行降序排序；

根据所述降序排序的结果显示所述多个候选虚拟对象素材。

12.根据权利要求9所述的方法，其特征在于，所述显示所述增强现实素材包中的多个候选虚拟对象素材，包括：

获取所述多个候选虚拟对象素材的使用频率；

根据所述使用频率的降序结果显示所述多个候选虚拟对象素材。

13.根据权利要求9所述的方法，其特征在于，在确定被选择的候选虚拟对象素材之后，所述方法还包括：

显示针对所述被选择的候选虚拟对象素材的引导信息；

其中，所述引导信息用于指示播放所述被选择的候选虚拟对象素材时拍摄所述现实场景的条件。

14.根据权利要求9所述的方法，其特征在于，在确定被选择的候选虚拟对象素材之后，所述方法还包括：

响应于针对所述被选择的候选虚拟对象素材所关联的素材配置文件的配置入口的触发操作；

显示所述被选择的候选虚拟对象素材所关联的素材配置文件的配置界面；

响应于针对所述配置界面的配置操作，基于所述配置操作输入的配置参数，更新所述被选择的候选虚拟对象素材所关联的素材配置文件。

15.一种增强现实的显示处理装置，其特征在于，所述装置包括：

显示模块，用于显示现实场景，所述现实场景包括至少一个真实对象；

匹配模块，用于将增强现实素材包中的至少一个候选虚拟对象素材所关联的特征，与所述真实对象的特征进行匹配处理，得到匹配成功的目标特征；

获取模块，用于从所述增强现实素材包中获取与所述目标特征关联的至少一个虚拟对象素材、以及与所述目标特征关联的素材配置文件；

播放模块，用于基于所述素材配置文件中的所述至少一个虚拟对象素材的播放时机，播放融合到所述真实对象的所述至少一个虚拟对象素材。

16.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至14任一项所述的增强现实的显示处理方法。

17.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至14任一项所述的增强现实的显示处理方法。

Images