CN110288717A - 一种混合现实应用处理系统 - Google Patents

Abstract

本发明提供一种混合现实应用处理系统，应用于云服务平台中，云服务平台包括：存储模块，至少存储组成混合现实应用的素材元素、工程场景和/或混合现实应用程序；混合现实应用编辑模块，与存储模块连接，提供工程场景的环境，对素材元素、导入的模型元素以及基于素材元素和/或导入的模型元素进行修改、增加、删除的编辑和脚本制作；编译模块，与混合现实应用编辑模块连接，将经过编辑的素材元素和/或导入的模型元素编译成混合现实应用程序；混合现实应用运行模块，与存储模块连接，运行展示混合现实应用程序。本发明的有益效果在于：通过网络就可以在云服务平台上体验混合现实应用程序，从而不限设备就可以编辑和运行混合现实应用程序。

Description

一种混合现实应用处理系统

技术领域

本发明涉及增强现实领域，尤其涉及一种混合现实应用处理系统。

背景技术

AR(Augmented Reality，增强现实技术)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，AR技术将真实世界信息和虚拟世界信息“无缝”集成。

VR(Virtual Reality，虚拟现实技术)是一种多源信息融合的、交互式的三维动态视景和实体行为的系统。

目前AR/VR当前在中国处于起步阶段，但市场前景却相当广阔，发展潜力巨大。并且随着互联网行业的快速发展，AR/VR技术开始普遍发展。但是现有技术中需要依赖安装内嵌AR/VR算法的App(Application，应用程序)的方式实现增强现实技术和虚拟现实技术，而不同厂商制作的AR/VR应用需要使用不同的APP运行，即采用APP的方式会局限了用户的使用方式，以及用户需要从各大应用商城去搜索相关APP并下载才能够运行AR/VR应用，因此运行不同的AR/VR应用需要下载不同的APP，并且下载多个APP不及时清理会占用设备内存和下载的等候时间会降低用户的体验，而且同一个AR/VR应用也不能在不同的App和设备上同时运行，由此可见，上述方法中的AR/VR应用的分发成本较高，不利于AR/VR的普及和发展。

发明内容

针对现有技术中存在的上述问题，现提供一种旨在通过网络体验混合现实应用程序和提高用户的体验的混合现实应用处理系统。

具体技术方案如下：

一种混合现实应用处理系统，其中，应用于云服务平台中，云服务平台包括：

存储模块，用于至少存储组成混合现实应用的素材元素、工程场景和/或混合现实应用程序；

混合现实应用编辑模块，与存储模块连接，用于提供工程场景的环境，对素材元素、导入的模型元素以及基于素材元素和/或导入的模型元素进行修改、增加、删除的编辑和脚本制作；

编译模块，与混合现实应用编辑模块连接，用于将经过编辑的素材元素和/或导入的模型元素编译成混合现实应用程序；

混合现实应用运行模块，与存储模块连接，用于运行展示混合现实应用程序。

优选的，混合现实应用处理系统，其中，云服务平台还包括：

地址生成模块，与存储模块连接，用于生成访问素材元素、导入的模型元素、工程场景和/或混合现实应用程序的访问地址。

优选的，混合现实应用处理系统，其中，云服务平台还包括：

地址分享模块，与地址生成模块连接，以供分享访问地址。

优选的，混合现实应用处理系统，其中，混合现实应用编辑模块包括：

第一获取单元，用于通过访问地址选取与操作用户的操作对应的访问地址；

编辑单元，与第一获取单元连接，用于供操作用户对访问地址对应的内容进行编辑。

优选的，混合现实应用处理系统，其中，编辑单元包括一操作界面，操作用户通过一终端访问操作界面。

优选的，混合现实应用处理系统，其中，终端包括移动终端、计算机、AR显示设备或VR显示设备。

优选的，混合现实应用处理系统，其中，操作界面通过web、APP和客户端程序中的任意一种提供。

优选的，混合现实应用处理系统，其中，混合现实应用编辑模块包括：

第二获取单元，用于通过访问地址选取与操作用户对应的混合现实应用程序；

解码单元，分别与第二获取单元及编辑单元连接，用于将第二获取单元获取的混合现实应用程序进行解码，以得到解码后的混合现实应用程序对应的访问地址，并将解码后的访问地址发送至编辑单元。

优选的，混合现实应用处理系统，其中，存储模块，还用于存储用户权限信息。

优选的，混合现实应用处理系统，其中，用户权限信息包括操作用户、体验用户和/或登录访问用户。

优选的，混合现实应用处理系统，其中，云服务平台还包括：

用户信息验证模块，与存储模块连接，用于验证访问混合现实应用程序的用户信息的显示、编辑和/或运行混合现实应用程序的权限。

优选的，混合现实应用处理系统，其中，云服务平台还包括：

位置获取模块，分别与存储模块和用户信息验证模块连接，用于获取访问混合现实应用处理系统的用户的所在的地理位置信息，并将地理位置信息发送至用户信息验证模块进行匹配。

上述技术方案具有如下优点或有益效果：通过网络就可以在云服务平台上体验混合现实应用程序，从而不限设备就可以编辑和运行混合现实应用程序，以及实现在云服务平台中随意切换不同的混合现实应用程序，进而提高用户体验。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1为本发明混合现实应用处理系统实施例的结构示意图一；

图2为本发明混合现实应用处理系统实施例的结构示意图二；

图3为本发明混合现实应用处理系统实施例的混合现实应用编辑模块的结构示意图；

图4为本发明混合现实应用处理系统实施例的流程图；

图5为本发明混合现实应用处理系统实施例的云服务平台的数据交互图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明包括一种混合现实应用处理系统，应用于云服务平台中，如图1所示，云服务平台包括：

存储模块1，可以至少存储组成混合现实应用的素材元素和工程场景，也可以至少存储组成混合现实应用的素材元素和混合现实应用程序，还可以至少存储组成混合现实应用的素材元素、工程场景和混合现实应用程序；

混合现实应用编辑模块2，与存储模块1连接，可以提供工程场景的环境，对素材元素、导入的模型元素以及基于素材元素进行修改、增加、删除的编辑和脚本制作；也可以提供工程场景的环境，对素材元素、导入的模型元素以及导入的模型元素进行修改、增加、删除的编辑和脚本制作；还可以提供工程场景的环境，对素材元素、导入的模型元素以及基于素材元素和导入的模型元素进行修改、增加、删除的编辑和脚本制作；

编译模块3，与混合现实应用编辑模块2连接，可以将经过编辑的素材元素编译成混合现实应用程序，也可以将导入的模型元素编译成混合现实应用程序，还可以将经过编辑的素材元素和导入的模型元素编译成混合现实应用程序，并将上述得到的混合现实应用程序存储到存储模块1中；

混合现实应用运行模块4，与存储模块1连接，用于运行展示混合现实应用程序。

在上述实施例中，通过混合现实应用编辑模块2在工程场景中对需要编辑的内容进行修改、增加、删除的编辑和脚本制作，并通过编译模块3编译得到混合现实应用程序，并将上述混合现实应用程序存储到存储模块1中，使得编译模块3可以运行存储模块1中的混合现实应用程序，并且上述编辑和运行均可以直接在云服务平台上进行，从而实现通过网络就可以在云服务平台上体验混合现实应用程序，进而不限设备就可以编辑和运行混合现实应用程序，同时可以在云服务平台中随意切换不同的混合现实应用程序，以提高用户体验。

进一步地，作为优选的实施方式，混合现实应用程序可以为AR应用程序或VR应用程序，因此可以通过云服务平台对AR应用程序或VR应用程序进行编辑和运行中的任意一种或两种。

进一步地，作为优选的实施方式，用户可以通过网络打开云服务平台，从而在云服务平台中的存储模块1中获取组成混合现实应用程序的素材元素和工程场景，或素材元素和混合现实应用程序，或素材元素、工程场景和混合现实应用程序；其中素材元素可以为组成混合现实应用程序的数字资源；可以直接通过网络在云服务平台上对需要编辑、脚本制作的内容进行编辑和脚本制作，并将经过编辑和脚本制作的素材元素，或导入的模型元素，或编辑、脚本制作的素材元素和导入的模型元素编译成混合现实应用程序以数字资源的形式保存到云服务平台中的存储模块1中，并且在用户再次获取该混合现实应用程序时，会将混合现实应用程序的数字资源解码并重组成对应的混合现实应用程序展示给用户，从而使得用户可以随时随地对混合现实应用程序进行编辑和运行。

进一步地，作为优选的实施方式，素材元素可以包括3D模型，3D视频，虚拟人像，360度全景视频，深度内容等；

工程场景可以为操作用户对素材元素进行编辑中的素材元素。

进一步地，作为优选的实施方式，用户可以通过网络打开云服务平台，从而在云服务平台中的存储模块1中获取各个混合现实应用程序展示在一显示界面中，并且根据用户的操作选取对应的混合现实应用程序进行显示、编辑和运行。

例如，用户可以在显示界面中根据关键字进行搜索操作得到对应的混合现实应用程序进行显示、编辑和运行。其中，关键字可以为混合现实应用程序的名称或介绍中的某个字或某几个字。

进一步地，作为优选的实施方式，用户可以通过一个基于浏览器的web、客户端程序和APP应用中的任意一种或几种来访问云服务平台。并且直接从存储模块1中获取混合现实应用程序，并在用户的访问地址中将上述混合现实应用程序缓存到访问地址中，并进行对应的操作；从而避免直接将混合现实应用程序下载到用户设备中，以实现通过网络就可以实现混合现实应用程序的运行。

除了用户通过网络的访问地址获取对应的混合现实应用程序，还可以通过其他方式获取混合现实应用程序。

例如，用户可以通过查看设置有嵌入式URL的二维码获取与二维码对应的混合现实应用程序，其中上述二维码可以为QR(QuickResponse)码。

例如，用户在访问云服务平台后通过获取设备运行权限以获取用户所在的场景，并通过点击用户所在的场景中的浮动对象来获取对应的混合现实应用程序。

例如，用户可以点击预设按钮获取与所述预设按钮对应的混合现实应用程序。

例如，用户可以通过查看2D图像或3D对象的基准识别图来获取与所述预设按钮对应的混合现实应用程序。

进一步地，在上述实施例中，如图2所示，云服务平台还包括：

地址生成模块5，与存储模块1连接，可以生成访问素材元素、导入的模型元素和工程场景的访问地址，也可以生成访问素材元素、导入的模型元素和混合现实应用程序的访问地址，还可以生成访问素材元素、导入的模型元素、工程场景和混合现实应用程序的访问地址。

在上述实施例中，每一个素材元素、素材元素、工程场景和混合现实应用程序都具有唯一的访问地址，用户可以通过上述访问地址访问对应的素材元素、素材元素、工程场景和混合现实应用程序。

进一步地，作为优选的实施方式，地址生成模块5在混合现实应用编辑模块2对素材元素、导入的模型元素以及基于素材元素和导入的模型元素进行修改、增加、删除的编辑和脚本制作后会生成与素材元素、导入的模型元素以及基于素材元素和导入的模型元素对应的唯一访问地址；

地址生成模块5在编译模块3得到混合现实应用程序时生成与上述混合现实应用程序对应的唯一访问地址。

进一步地，作为优选的实施方式，云服务平台可以使用与万维网相同的格式和协议来提供素材元素、素材元素、工程场景和混合现实应用程序中的任意一种或几种。其中，每一个素材元素、素材元素、工程场景和混合现实应用程序存储在位于HTTP对应的唯一访问地址，唯一访问地址可以为一个URL(Uniform Resource Locator，统一资源定位符)。

进一步地，在上述实施例中，如图2所示，云服务平台还包括：

地址分享模块6，与地址生成模块5连接，以供分享访问地址。从而实现通过各种社交软件将范围地址分享给其他用户。

进一步地，在上述实施例中，如图3所示，混合现实应用编辑模块2包括：

第一获取单元21，用于通过访问地址选取与操作用户的操作对应的访问地址；

编辑单元22，与第一获取单元21连接，用于供操作用户对访问地址对应的内容进行编辑。

进一步地，作为优选的实施方式，云服务平台还包括：

审核模块，与混合现实应用编辑模块2连接，用于根据预设的第一审核标准对进行编辑和脚本制作后的素材元素、导入的模型元素以及基于素材元素和导入的模型元素进行审核，将符合第一审核标准的素材元素、导入的模型元素以及基于素材元素和导入的模型元素保存到存储模块1中，并生成可以访问的唯一访问地址供其他用户访问和执行对应的操作；

审核模块，与编译模块3连接，用于根据预设的第二审核标准对进行编译后的混合现实应用程序进行审核，将符合第二审核标准的混合现实应用程序保存到存储模块1中，并生成可以访问的唯一访问地址供其他用户访问和执行对应的操作。

通过审核模块对编辑和编译后的内容进行审核，以提高编辑和编译后的内容的安全性。

编辑单元22，也可以供操作用户对访问地址对应的内容进行脚本制作。

进一步地，在上述实施例中，编辑单元22包括操作界面，操作用户通过终端访问操作界面。

进一步地，在上述实施例中，终端包括移动终端、计算机、AR显示设备或VR显示设备，从而使得操作用户可以随时随地对访问地址对应的内容进行编辑。

其中，移动终端可以包括Android系统设备和IOS系统设备。

其中，计算机可以包括台式电脑和笔记本。

在上述实施例中，云服务平台中的每一个混合现实应用程序均适配每一种终端，并且可以自动检测每一个终端的种类，以实现一个混合现实应用程序可以运行在不同的设备中，并且每一个混合现实应用程序会根据需求进行自动更新，使得每一个混合现实应用程序可以运行在最新版本的设备中。

进一步地，在上述实施例中，操作界面可以通过web、APP和客户端程序中的任意一种提供。因此，如图5所示，云服务平台均可以通过移动终端、计算机、服务器、数据库和互联网实现数据交互。

进一步地，在上述实施例中，如图3所示，混合现实应用编辑模块2包括：

第二获取单元23，用于通过访问地址选取与操作用户对应的混合现实应用程序；

解码单元24，分别与第二获取单元23及编辑单元22连接，用于将第二获取单元23获取的混合现实应用程序进行解码，以得到解码后的混合现实应用程序对应的访问地址，并将解码后的访问地址发送至编辑单元22，使得操作用户可以通过访问地址对与访问地址对应的内容进行编辑。

进一步地，在上述实施例中，存储模块1，还用于存储用户权限信息。

进一步地，在上述实施例中，用户权限信息可以包括操作用户和体验用户，也可以包括操作用户和登录访问用户，还可以包括操作用户、体验用户和登录访问用户。

进一步地，在上述实施例中，如图2所示，云服务平台还包括：

用户信息验证模块7，与存储模块1连接，可以验证访问混合现实应用程序的用户信息的显示和编辑混合现实应用程序的权限，也可以验证访问混合现实应用程序的用户信息的显示和运行混合现实应用程序的权限，还可以验证访问混合现实应用程序的用户信息的显示、编辑和运行混合现实应用程序的权限。

进一步地，作为优选的实施方式，操作用户具有显示、编辑和运行混合现实应用程序的权限，即操作用户可以访问操作界面，以执行混合现实应用编辑模块2的功能；

体验用户具有显示和运行符合其权限的混合现实应用程序的权限；

登录访问用户具有显示和运行符合其权限的混合现实应用程序的权限，并且登录访问用户可以收藏混合现实应用程序的访问入口；

其中，体验用户的显示和运行的权限小于登录访问用户的显示和运行的权限；因此体验用户可以显示和运行的混合现实应用程序也少于登录访问用户可以显示和运行的混合现实应用程序。

需要说明的是，操作用户、体验用户和登录访问用户三者之间可以相互转换；当体验用户、登录访问用户和操作用户想要转化为对应的除本身以外的用户时，云服务平台可以提供对应的转换条件，使得体验用户和登录访问用户根据上述转换条件转换为对应的用户，上述转换条件可以根据开发者的需求进行自设定；

例如，当体验用户想要显示或运行或下载登录访问用户才可以显示或运行或下载的混合现实应用程序时，用户信息验证模块7验证访问混合现实应用程序的用户信息的显示、编辑和运行混合现实应用程序的权限，当不符合时，会提示用户根据转换条件进行权限获取。

进一步地，作为优选的实施方式，云服务平台还包括：

应用推荐模块，分别与存储模块1和用户信息验证模块7连接，用于根据用户信息的显示权限给用户展示符合对应用户权限的混合现实应用程序。

例如，应用推荐模块可以将符合对应用户权限的混合现实应用程序通过图文信息、音频信息和视频信息中的任意一种或几种展示给对应的用户，从而使得用户可以通过网络直接获取可能感兴趣的混合现实应用程序，进而提高用户体验。

例如，应用推荐模块可以将符合对应用户权限的混合现实应用程序通过图文信息、音频信息和视频信息中的任意一种或几种通过web、APP和客户端程序提供的显示界面展示给对应的用户。

例如，应用推荐模块可以将符合对应用户权限的混合现实应用程序通过图文信息、音频信息和视频信息中的任意一种或几种通过web、APP和客户端程序发送的即时消息展示给对应的用户。

进一步地，在上述实施例中，如图2所示，云服务平台还包括：

位置获取模块8，分别与存储模块1和用户信息验证模块7连接，用于获取访问混合现实应用处理系统的用户的所在的地理位置信息，并将地理位置信息发送至用户信息验证模块7进行匹配。

进一步地，作为优选的实施方式，用户想要访问设置有地址权限的混合现实应用处理系统时，位置获取模块8会在用户请求访问该混合现实应用处理系统时请求获取用户的所在的地理位置信息，并将上述地理位置信息发送给用户信息验证模块7，使得用户信息验证模块7判断地理位置信息是否符合混合现实应用处理系统的地址权限，若符合，用户可以显示和运行上述混合现实应用处理系统；若不符合，提示用户获取该混合现实应用处理系统的地址权限。

其中，位置获取模块8可以根据LBS(Location Based Service，基于位置服务)功能获取用户所在的地理位置信息。

例如，一个混合现实应用处理系统为咖啡馆AR集券应用，然而上述咖啡馆AR集券应用的地址权限为上海市区内某品牌固定的几家咖啡馆内的地址范围，因此用户只能在上述地址范围内才可以打开和运行上述咖啡馆AR集券应用，当用户打开咖啡馆AR集券应用后可以通过相机扫描咖啡馆内的标志物识别图，并在识别成功后获得对应的优惠券。而在其他地点的用户，无法通过网络获取到此咖啡馆AR集券应用的相关信息，但是云服务平台可以提示用户如何获取该咖啡馆AR集券应用的地址权限。

进一步地，作为优选的实施方式，如图4所示，用户访问一个为AR应用程序的混合现实应用程序时会执行以下步骤：

步骤1，用户访问一个AR应用程序；

步骤2，AR应用程序对应的标识信息上传到云服务平台中；

步骤3，云服务平台根据标识信息从存储模块1中加载组成AR应用程序的素材元素，并通过对应的解析器对上述素材元素进行解析得到对应的wbin文件；

其中素材允许包括模型资源、动画文件、AR项目组件列表等信息；

步骤4，将wbin文件根据组件或渲染节点的方式转化为AR场景树，并对AR场景树进行渲染；

步骤5，判断AR场景树是否有AR识别组件；

若是，开启AR识别组件，执行步骤6；

若否，执行步骤10；

步骤6，获取用户设备的相机权限，并启动AR识别组件；

步骤7，通过相机识别AR识别组件中的可识别物；

其中可识别物可以为包含预设图案的2D识别图或3D识别模型；

步骤8，返回可识别物的位置和方向信息；

步骤9，根据可识别物的位置和方向信息更改AR场景树的组件或节点属性，并将更改后的AR场景树的数据实时推送给用户；

步骤10，发送AR场景树的渲染数据；

步骤11，用户获取AR应用程序，并运行AR应用程序。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (12)

1.一种混合现实应用处理系统，其特征在于，应用于一云服务平台中，所述云服务平台包括：

存储模块，用于至少存储组成混合现实应用的素材元素、工程场景和/或混合现实应用程序；

混合现实应用编辑模块，与所述存储模块连接，用于提供所述工程场景的环境，对所述素材元素、导入的模型元素以及基于所述素材元素和/或导入的模型元素进行修改、增加、删除的编辑和脚本制作；

编译模块，与所述混合现实应用编辑模块连接，用于将经过编辑的所述素材元素和/或导入的模型元素编译成所述混合现实应用程序；

混合现实应用运行模块，与所述存储模块连接，用于运行展示所述混合现实应用程序。

2.如权利要求1所述的混合现实应用处理系统，其特征在于，所述云服务平台还包括：

地址生成模块，与所述存储模块连接，用于生成访问所述素材元素、所述导入的模型元素、所述工程场景和/或所述混合现实应用程序的访问地址。

3.如权利要求2所述的混合现实应用处理系统，其特征在于，所述云服务平台还包括：

地址分享模块，与所述地址生成模块连接，以供分享所述访问地址。

4.如权利要求2所述的混合现实应用处理系统，其特征在于，所述混合现实应用编辑模块包括：

第一获取单元，用于通过所述访问地址选取与所述操作用户的操作对应的所述访问地址；

编辑单元，与所述第一获取单元连接，用于供所述操作用户对所述访问地址对应的内容进行编辑。

5.如权利要求4所述的混合现实应用处理系统，其特征在于，所述编辑单元包括一操作界面，所述操作用户通过一终端访问所述操作界面。

6.如权利要求5所述的混合现实应用处理系统，其特征在于，所述终端包括移动终端、计算机、AR显示设备或VR显示设备。

7.如权利要求5所述的混合现实应用处理系统，其特征在于，所述操作界面通过web、APP和客户端程序中的任意一种提供。

8.如权利要求4所述的混合现实应用处理系统，其特征在于，所述混合现实应用编辑模块包括：

第二获取单元，用于通过所述访问地址选取与所述操作用户对应的所述混合现实应用程序；

解码单元，分别与所述第二获取单元及所述编辑单元连接，用于将所述第二获取单元获取的所述混合现实应用程序进行解码，以得到解码后的所述混合现实应用程序对应的所述访问地址，并将解码后的所述访问地址发送至所述编辑单元。

9.如权利要求1所述的混合现实应用处理系统，其特征在于，所述存储模块，还用于存储用户权限信息。

10.如权利要求9所述的混合现实应用处理系统，其特征在于，所述用户权限信息包括所述操作用户、体验用户和/或登录访问用户。

11.如权利要求9所述的混合现实应用处理系统，其特征在于，所述云服务平台还包括：

用户信息验证模块，与所述存储模块连接，用于验证访问所述混合现实应用程序的所述用户信息的显示、编辑和/或运行所述混合现实应用程序的权限。

12.如权利要求11所述的混合现实应用处理系统，其特征在于，所述云服务平台还包括：

位置获取模块，分别与所述存储模块和所述用户信息验证模块连接，用于获取访问所述混合现实应用处理系统的用户的所在的地理位置信息，并将所述地理位置信息发送至所述用户信息验证模块进行匹配。