CN115097934A - 基于3d引擎的跨平台增强现实导游虚拟人客户端实现方法 - Google Patents

Abstract

本申请公开了一种基于3D引擎的跨平台增强现实导游虚拟人客户端实现方法。该方法包括根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示，其中在路线可视化展示过程中随着用户在园区中位置变化不断更新相关信息；通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息。本申请解决了景区导游无法较好地进行虚拟化呈现的技术问题。通过本申请的云端导览接口服务，在客户端实现3D可导航、可交互的智能AI导游虚拟人物。

Description

基于3D引擎的跨平台增强现实导游虚拟人客户端实现方法

技术领域

本申请涉及计算机软件、虚拟现实技术领域，具体而言，涉及一种基于3D引擎的跨平台增强现实导游虚拟人客户端实现方法。

背景技术

对于旅游行业来说，AR虚拟人物应用还在起步阶段，目前景区实现的AR功能，尚处于初步的探索阶段，对于游客来说，也并非旅游中的刚需功能。不过对于年轻一族，更愿意尝试新事物，结合景区的智慧旅游体系，AR可以提供更为生动有趣的旅游体验。

一方面，由于3D数字人物的三维建模技术生成数字形象，信息维度增加，所需的计算量更大，导致大部分3D虚拟人数字人客户端通过安卓、苹果原生引擎实现，移动端用户需要下载独立的应用程序，另一方面，即使使用webgl方式，面对移动浏览器权限、兼容性问题，仍无法应对当前移动客户端的适配。

另一方面，当前文旅行业，在线语音导览在国内各大景区已经逐渐上线，然而呈现方式仍然是工具化的手绘地图+定点讲解，语音内容生搬硬套，导游形象仅有简单循环的固定动画，AI功能不够全面，无法兼顾每个游客的个性化需求。

针对相关技术中景区导游无法较好地进行虚拟化呈现的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种基于3D引擎的跨平台增强现实导游虚拟人客户端实现方法，以解决景区导游无法较好地进行虚拟化呈现的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于3D引擎的跨平台增强现实导游虚拟人客户端实现方法。

根据本申请的基于3D引擎的跨平台增强现实导游虚拟人客户端实现方法包括：根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示，其中在路线可视化展示过程中随着用户在园区中位置变化不断更新相关信息；通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息。

进一步地，方法还包括：通过本地可视化融合执行引擎，在终端实现各类信息的融合与显示输出，其中，所述终端实现各类信息的融合与显示输出的过程中根据用户姿态、位置的变化实时变更显示输出对象的组织关系；所述终端实现各类信息的融合与显示输出的过程中对象在屏幕中的显示参数以及显示图层配置；其中所述本地可视化融合执行引擎还用于3D对象可视化控制、H5对象可视化控制、系统显示输出控制、终端显示缓存队列管理、可视化注册与识别、对象渲染引擎。

进一步地，所述根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示，包括：基本设施检索与查询的步骤，用于根据用户设定的条件检索景区内的餐饮、卫生间、休息等个服务类设施，景观\景点等游览设施，场馆\会展活动体验设施，实现对象的基本检索以及相关推介信息结果的获取；路线检索与导航的步骤，根据用户设定的兴趣点在园区范围内检索行动路线。实现路线结果的数据的获取与本地管理；平面模式导航交互的步骤，在2Dwebgis的基础上，实现园区空间地理信息的可视化展示，实现各类对象、设施的基本位置与状态标注；实景模式导航交互的步骤，在实景模式的基础上，以多通道信息实景融合的方式实时展示各类对象、行走路线以及导航形象；移动定位跟踪与数据更新的步骤，在导航交互过程中，实时采集用户终端位置与姿态变化信息，根据规则通过云端不断更新本地导航导览对象信息，并实现可视化更新。

进一步地，所述方法还包括：在移动终端操作系统原生功能支撑的基础上，提供统一的接口服务，通过所述接口服务，用于为各类交互操作、数据采集与交换过程提供功能支撑，其中所述功能支撑至少包括如下之一：移动终端姿态即时获取、视频影像采集与现场处理、本地元数据管理、本地数据存储管理、本地数据存储管理。

进一步地，所述通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息，包括：所述导游虚拟数字3D人物包括：人物形象、语音生成、动画生成、音视频合成显示、交互。

进一步地，通过导游虚拟数字3D人物，在景区内进行地理信息查询和景区导游讲解服务，为游客提供景点、卫生间和周边服务设施信息，并支持以AR方式推送给游客；以及通过所述导游虚拟数字3D人物基于通过语音、导航定位和用户点击事件触发交互反馈，并实现一次唤醒，多次交互。

进一步地，基于Unity引擎渲染，应用于安卓应用程序、苹果应用程序、Windows程序和H5页面应用程序。

为了实现上述目的，根据本申请的另一方面，提供了一种基于3D引擎的跨平台增强现实导游虚拟人客户端实现装置。

根据本申请的基于3D引擎的跨平台增强现实导游虚拟人客户端实现装置包括：请求模块，用于根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示，其中在路线可视化展示过程中随着用户在园区中位置变化不断更新相关信息；交互模块，用于通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息。

为了实现上述目的，根据本申请的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述方法。

为了实现上述目的，根据本申请的再一方面，提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的方法。

在本申请实施例中基于3D引擎的跨平台增强现实导游虚拟人客户端实现方法，采用根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示的方式，通过通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息，达到了为景区提供增强现实导游虚拟人的目的，从而实现了景区内的交互、引导的技术效果，进而解决了景区导游无法较好地进行虚拟化呈现的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于3D引擎的跨平台增强现实导游虚拟人客户端实现方法流程示意图；

图2是根据本申请实施例的基于3D引擎的跨平台增强现实导游虚拟人客户端实现装置结构示意图；

图3是根据本申请实施例的基于3D引擎的跨平台增强现实导游虚拟人客户端实现方法的架构示意图；

图4是根据本申请实施例的基于3D引擎的跨平台增强现实导游虚拟人客户端实现方法的效果示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，该方法包括如下的步骤S101至步骤S102：

步骤S101，根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示，其中在路线可视化展示过程中随着用户在园区中位置变化不断更新相关信息。

步骤S102，通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息。

从以上的描述中，可以看出，本申请实现了如下技术效果：

采用根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示的方式，通过通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息，达到了为景区提供增强现实导游虚拟人的目的，从而实现了景区内的交互、引导的技术效果，进而解决了景区导游无法较好地进行虚拟化呈现的技术问题。

上述步骤S101中根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示。

具体实施时，根据用户设定的条件向云端提交路线检索与设施检索请求。根据返回的结果数据进行可视化展示以及用户交互操作。在路线展示过程中随着用户位置变化不断更新相关信息。同时，根据用户选择的展示模式将相关对象信息、路线信息、用户位置信息在终端实时展示与交互。同时，根据用户选择的展示模式将相关对象信息、路线信息、用户位置信息在终端实时展示与更新。

在一些实施例中，所述相关对象信息包括对象基本信息、可交互方式。

在一些实施例中，所述用户位置信息包括路线距离、路线依据、路线可游览景观。

优选地，在路线可视化展示过程中随着用户在园区中位置变化不断更新相关信息，参观者可从中获取导航路线中相关信息以及附近虚拟点位。

上述步骤S102中通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息。

具体实施时，导游虚拟数字人呈现由人物形象、语音生成、动画生成、音视频合成显示、交互5个模块构成。人物形象拟使用3D模型呈现；语音生成模块和动画生成模块可分别基于文本生成对应的人物语音以及与之相匹配的人物动画，音视频合成显示模块将语音和动画合成视频，再显示给用户。交互模块使数字3D人物具备交互功能，即通过语音语义识别等智能技术识别用户的意图，并根据用户当前意图决定数字3D人物后续的语音和动作，驱动人物开启下一轮交互。

作为本实施例中的优选，还包括：通过本地可视化融合执行引擎，在终端实现各类信息的融合与显示输出，其中，所述终端实现各类信息的融合与显示输出的过程中根据用户姿态、位置的变化实时变更显示输出对象的组织关系；所述终端实现各类信息的融合与显示输出的过程中对象在屏幕中的显示参数以及显示图层配置；其中所述本地可视化融合执行引擎还用于3D对象可视化控制、H5对象可视化控制、系统显示输出控制、终端显示缓存队列管理、可视化注册与识别、对象渲染引擎。

具体实施时，通过本地可视化融合执行引擎，在终端实现各类信息的融合与显示输出。在这一过程中，一方面根据用户姿态、位置的变化实时变更显示输出对象的组织关系。另一方面实现各种对象在屏幕中的显示参数以及显示图层配置。保证各类标注对象、3D模型对象的显示正确性与实时性。其主要包括以下功能：

(1)3D对象可视化控制：在终端3D输出控制层中，实现对象数据姿态、位置以及状态的更新，根据对象显示参数实现3D类模型对象正确显示配置。同时，建立通用交互操作调用接口，实现对象交互操作响应。

(2)h5对象可视化控制：在终端h5输出控制层中，实现对象数据css定制与转换，根据对象显示参数实现h5类标注对象正确显示配置。同时，建立通用交互操作调用接口，实现对象交互操作响应。

(3)系统显示输出控制：在终端建立分层显示输出控制。在不同层中建立深度依赖关系。根据对象可视化控制产生的结果，将不同对象实现对应的图层显示输出，图层内容更新，图层对象检索等操作。

(4)终端显示缓存队列管理：在终端实现各类显示对象的统一缓存管理，通过这一缓存管理实现可显示对象的统一控制，对象检索，内容迭代更新等操作。

(5)可视化注册与识别：在现场实现的空间识别与定位注册。利用训练的模式实现对应的场景，并在场景中完成空间注册。保证各类3D对象显示输出过程中，坐标系的基准确定以及转换。

(6)对象渲染引擎：在终端中实景导航、道路标志识别等交互过程中，实现3D类对象的显示输出。通过手机陀螺仪和雷达实现显示刷新过程中视角变更、对象姿态与状态更新的计算以及渲染。同时，提供交互过程中不同投影坐标的转换计算服务。

作为本实施例中的优选，所述根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示，包括：基本设施检索与查询的步骤，用于根据用户设定的条件检索景区内的餐饮、卫生间、休息等个服务类设施，景观\景点等游览设施，场馆\会展活动体验设施，实现对象的基本检索以及相关推介信息结果的获取；路线检索与导航的步骤，根据用户设定的兴趣点在园区范围内检索行动路线。实现路线结果的数据的获取与本地管理；平面模式导航交互的步骤，在2Dwebgis的基础上，实现园区空间地理信息的可视化展示，实现各类对象、设施的基本位置与状态标注；实景模式导航交互的步骤，在实景模式的基础上，以多通道信息实景融合的方式实时展示各类对象、行走路线以及导航形象；移动定位跟踪与数据更新的步骤，在导航交互过程中，实时采集用户终端位置与姿态变化信息，根据规则通过云端不断更新本地导航导览对象信息，并实现可视化更新。

具体实施时，根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示包括了

(1)基本设施检索与查询：根据用户设定的条件检索景区内的餐饮、卫生间、休息等个服务类设施，景观\景点等游览设施，场馆\会展活动等体验设施。实现对象的基本检索以及相关推介信息结果的获取；

(2)路线检索与导航：根据用户设定的兴趣点在园区范围内检索行动路线。实现路线结果的数据的获取与本地管理。

(3)平面模式导航交互：在2Dwebgis的基础上，实现园区空间地理信息的可视化展示。实现各类对象、设施的基本位置与状态标注。在这一基础上，标注展示用户检索的各类设施、路线结果数据。同时，提供用户选取、查看等交互操作服务；实景模式导航交互：在实景模式的基础上，以多通道信息实景融合的方式实时展示各类对象、行走路线以及导航形象。在这一基础上，提供用户选取、查看对象详情等交互操作服务。

(4)移动定位跟踪与数据更新：在导航交互过程中，实时采集用户终端位置与姿态变化信息，根据规则通过云端不断更新本地导航导览对象信息，并实现可视化更新，保证终端显示内容的实时性与正确性。

作为本实施例中的优选，还包括：在移动终端操作系统原生功能支撑的基础上，提供统一的接口服务，通过所述接口服务，用于为各类交互操作、数据采集与交换过程提供功能支撑，其中所述功能支撑至少包括如下之一：移动终端姿态即时获取、视频影像采集与现场处理、本地元数据管理、本地数据存储管理、本地数据存储管理。

具体实施时，在移动终端操作系统原生功能支撑的基础上，提供统一的接口服务。为各类交互操作、数据采集与交换过程提供功能支撑。其主要包括移动终端姿态即时获取、视频影像采集与现场处理、本地元数据管理、本地数据存储管理、本地数据存储管理等基本功能组成部分。

优选地，根据Unity 3D引擎脚本数据库引用相关元数据，针对云端接口返回相关参数设置本地元数据。

作为本实施例中的优选，所述通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息，包括：所述导游虚拟数字3D人物包括：人物形象、语音生成、动画生成、音视频合成显示、交互。

具体实施时，为满足用户的使用习惯与设备的通用性，客户端呈现基于Unity 3D引擎渲染，实现跨平台分发，无论针对安卓或苹果用户，均可直接通过微信直接登录。人物形象、口型、动作、语音内容呈现通过Unity引擎进行渲染预处理。

优选地，作为本实施例中的优选，基于Unity引擎渲染，应用于安卓应用程序、苹果应用程序、Windows程序和H5页面应用程序。

所述人物形象包括：形象生成的过程即为建立数字资产的过程，由原画师负责虚拟人的外观设计，绘制出平面形象，再由3D建模师将原画转换为立体的模型，在建模的过程中，建模设计师，通过合理的叠加贴图方式和精度取舍，可以让虚拟人达到系统可以承载范围内的最佳效果。接下来再通过骨骼绑定和移动渲染让虚拟人可以像真人一样“活”起来，营造有血有肉的饱满视觉效果。

所述语音生成包括：语音生成模块分为获取语音及语音输出两个方面，获取语音即通过移动设备麦克风获取用户语音数据，此处需针对不同机型或浏览器进行区分处理。因Unity引擎WebGL无法使用麦克风，须通过H5页面调取原生麦克。将语音数据通过接口反馈至服务层进行业务处理。服务层将用户语音内容与后台情感分析进行处理后，返回至客户端，客户端调用对应语音执行播放。

所述动画生成包括：动画包括嘴型动画、模型动画和表情动画等多种虚拟人多种，3D数字人嘴型动作智能合成流程是建立输入文本到输出音频与输出视觉信息的关联映射，主要是对已采集到的文本到语音和嘴型动画(3D)的数据进行模型训练，得到一个输入任意文本都可以驱动嘴型的模型，再通过模型智能合成。除了嘴型之外的动作，包含眨眼、微点头、挑眉等动画通过采用一种随机策略或某个脚本策略，将预录好的视频/3D动作进行循环播放来实现。例如3D肢体动作目前就是通过在某个位置触发这个预录好的肢体动作数据得到。触发策略是通过人手动配置得到的，未来希望通过智能分析文本，学习人类的表达，实现自动配置。

所述音视频合成显示包括：音视频主要为显示虚拟人之外的特定导游实景，在虚拟人周围生成图片引导、视频讲解等内容。此处业务根据后台知识库返回的回答信息，判断是否需要对应景点或周边详情信息进行对应显示。显示内容通过云端数字人维护工具上传的资源数据实时更新至移动客户端虚拟人界面。

所述交互模块包括：主要是为了让虚拟人可以根据人的指令进行不同的动作和反应，完成与用户之间的交互过程。课题采用语音驱动+导航点驱动+AI驱动三种方式。语音驱动即基于音频特征控制面部(口型)驱动动画；该过程主要包含音频特征提取、音素口型同步以及情绪表情对齐。导航驱动通过导航过程中GPS结合蓝牙定位，确定达到指定点位，自动触发虚拟人进行交互。同时，虚拟人也可以自动读取并解析识别外界输入信息，智能驱动虚拟人生成相应的语音与动作。

作为本实施例中的优选，通过导游虚拟数字3D人物，在景区内进行地理信息查询和景区导游讲解服务，为游客提供景点、卫生间和周边服务设施信息，并支持以AR方式推送给游客；以及通过所述导游虚拟数字3D人物基于通过语音、导航定位和用户点击事件触发交互反馈，并实现一次唤醒，多次交互。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述方法的装置，如图2所示，该装置包括：

请求模块201，用于根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示，其中在路线可视化展示过程中随着用户在园区中位置变化不断更新相关信息；

交互模块202，用于通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息。

本申请实施例的请求模块201中根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示。

具体实施时，根据用户设定的条件向云端提交路线检索与设施检索请求。根据返回的结果数据进行可视化展示以及用户交互操作。在路线展示过程中随着用户位置变化不断更新相关信息。同时，根据用户选择的展示模式将相关对象信息、路线信息、用户位置信息在终端实时展示与交互。同时，根据用户选择的展示模式将相关对象信息、路线信息、用户位置信息在终端实时展示与更新。

在一些实施例中，所述相关对象信息包括对象基本信息、可交互方式。

在一些实施例中，所述用户位置信息包括路线距离、路线依据、路线可游览景观。

优选地，在路线可视化展示过程中随着用户在园区中位置变化不断更新相关信息，参观者可从中获取导航路线中相关信息以及附近虚拟点位。

本申请实施例的交互模块202中通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息。

具体实施时，导游虚拟数字人呈现由人物形象、语音生成、动画生成、音视频合成显示、交互5个模块构成。人物形象拟使用3D模型呈现；语音生成模块和动画生成模块可分别基于文本生成对应的人物语音以及与之相匹配的人物动画，音视频合成显示模块将语音和动画合成视频，再显示给用户。交互模块使数字3D人物具备交互功能，即通过语音语义识别等智能技术识别用户的意图，并根据用户当前意图决定数字3D人物后续的语音和动作，驱动人物开启下一轮交互。

如图3所示，依据上述框架结构图设计详细的系统结构图，如图3所示功能结构整体由景区地理检索与查询、本地可视化融合执行引擎、终端交互与支撑工具、导游虚拟数字人四个部分构成。

(1)园区地理检索与查询

根据用户设定的条件向云端提交路线检索与设施检索请求。根据返回的结果数据进行可视化展示以及用户交互操作。在路线展示过程中随着用户位置变化不断更新相关信息。同时，根据用户选择的展示模式将相关对象信息、路线信息、用户位置信息在终端实时展示与交互。同时，根据用户选择的展示模式将相关对象信息(对象基本信息、可交互方式)、路线信息(路线距离、路线依据、路线可游览景观)、用户位置信息在终端实时展示与更新。根据这一功能，参观者可从中获取导航路线中相关信息以及附近虚拟点位，其主要包括以下子功能构成：

(2)本地可视化融合执行引擎

在终端实现各类信息的融合与显示输出。在这一过程中，一方面根据用户姿态、位置的变化实时变更显示输出对象的组织关系。另一方面实现各种对象在屏幕中的显示参数以及显示图层配置。保证各类标注对象、3D模型对象的显示正确性与实时性。其主要包括以下功能：

(3)终端交互与支撑工具

在移动终端操作系统原生功能支撑的基础上，提供统一的接口服务。为各类交互操作、数据采集与交换过程提供功能支撑。其主要包括移动终端姿态即时获取、视频影像采集与现场处理、本地元数据管理、本地数据存储管理、本地数据存储管理等基本功能组成部分。

此部分依据Unity 3D引擎脚本数据库引用相关元数据，针对云端接口返回相关参数设置本地元数据，本发明不详细描述此处元数据开发过程。

(4)导游虚拟数字人呈现

如图4所示，导游虚拟数字人呈现由人物形象、语音生成、动画生成、音视频合成显示、交互5个模块构成。人物形象拟使用3D模型呈现，；语音生成模块和动画生成模块可分别基于文本生成对应的人物语音以及与之相匹配的人物动画，音视频合成显示模块将语音和动画合成视频，再显示给用户。交互模块使数字人具备交互功能，即通过语音语义识别等智能技术识别用户的意图，并根据用户当前意图决定数字人后续的语音和动作，驱动人物开启下一轮交互。

为满足用户的使用习惯与设备的通用性，客户端呈现基于Unity 3D引擎渲染，实现跨平台分发，无论针对安卓或苹果用户，均可直接通过微信直接登录。人物形象、口型、动作、语音内容呈现通过Unity引擎进行渲染预处理。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于3D引擎的跨平台增强现实导游虚拟人客户端实现方法，其特征在于，所述方法包括：

根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示，其中在路线可视化展示过程中随着用户在园区中位置变化不断更新相关信息；

通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息。

2.根据权利要求1所述的方法，其特征在于，还包括：通过本地可视化融合执行引擎，在终端实现各类信息的融合与显示输出，

其中，所述终端实现各类信息的融合与显示输出的过程中根据用户姿态、位置的变化实时变更显示输出对象的组织关系；所述终端实现各类信息的融合与显示输出的过程中对象在屏幕中的显示参数以及显示图层配置；

其中所述本地可视化融合执行引擎还用于3D对象可视化控制、H5对象可视化控制、系统显示输出控制、终端显示缓存队列管理、可视化注册与识别、对象渲染引擎。

3.根据权利要求1所述的方法，其特征在于，所述根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示，包括：

基本设施检索与查询的步骤，用于根据用户设定的条件检索景区内的餐饮、卫生间、休息等个服务类设施，景观\景点等游览设施，场馆\会展活动体验设施，实现对象的基本检索以及相关推介信息结果的获取；

路线检索与导航的步骤，根据用户设定的兴趣点在园区范围内检索行动路线，实现路线结果的数据的获取与本地管理；

平面模式导航交互的步骤，在2Dwebgis的基础上，实现园区空间地理信息的可视化展示，实现各类对象、设施的基本位置与状态标注；

实景模式导航交互的步骤，在实景模式的基础上，以多通道信息实景融合的方式实时展示各类对象、行走路线以及导航形象；

移动定位跟踪与数据更新的步骤，在导航交互过程中，实时采集用户终端位置与姿态变化信息，根据规则通过云端不断更新本地导航导览对象信息，并实现可视化更新。

4.根据权利要求1所述的方法，其特征在于，还包括：在移动终端操作系统原生功能支撑的基础上，提供统一的接口服务，

通过所述接口服务，用于为各类交互操作、数据采集与交换过程提供功能支撑，其中所述功能支撑至少包括如下之一：移动终端姿态即时获取、视频影像采集与现场处理、本地元数据管理、本地数据存储管理、本地数据存储管理。

5.根据权利要求1所述的方法，其特征在于，所述通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息，包括：

所述导游虚拟数字3D人物包括：人物形象、语音生成、动画生成、音视频合成显示、交互。

6.根据权利要求5所述的方法，其特征在于，通过导游虚拟数字3D人物，在景区内进行地理信息查询和景区导游讲解服务，为游客提供景点、卫生间和周边服务设施信息，并支持以AR方式推送给游客；以及

通过所述导游虚拟数字3D人物基于通过语音、导航定位和用户点击事件触发交互反馈，并实现一次唤醒，多次交互。

7.根据权利要求1至6任一项所述的方法，其特征在于，基于Unity引擎渲染，应用于安卓应用程序、苹果应用程序、Windows程序和H5页面应用程序。

8.一种基于3D引擎的跨平台增强现实导游虚拟人客户端实现装置，其特征在于，所述装置包括：

请求模块，用于根据用户设定条件向云端服务器提交园区路线检索、园区设施检索请求，并根据返回的结果数据进行路线、设施可视化展示，其中在路线可视化展示过程中随着用户在园区中位置变化不断更新相关信息；

交互模块，用于通过调用云端导览接口服务，在与用户交互的过程中，通过导游虚拟数字3D人物进行交互，并以增强现实方式呈现所述导游虚拟数字3D人物动作、人物口型、人物表情的3D渲染内容以及实景导游信息。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项所述的方法。

Images