CN111212128B - 基于边缘辅助的协作式Web AR多人服务系统及方法 - Google Patents

Abstract

本发明实施例提供一种基于边缘辅助的协作式Web AR多人服务系统及方法，所述系统包括：移动用户端、边缘服务器端、云服务器端，其中，所述移动用户端与所述边缘服务器端连接，用于请求与Web AR中的其它用户建立连接，并获取所述移动用户端和所述边缘服务器端的性能数据上传至所述边缘服务器端，以及对预设目标进行拍摄；所述边缘服务器与所述移动用户端和所述云服务器端连接，用于根据所述性能数据生成通信方案，并将所述通信方案发送至所述Web AR的所有用户；所述云服务器端与所述边缘服务器连接，用于针对所述Web AR在所述边缘服务器上进行资源分配。采用本系统能够准确高效的同步AR通信中所有用户的操作。

Description

基于边缘辅助的协作式Web AR多人服务系统及方法

技术领域

本发明涉及增强现实技术领域，尤其涉及一种基于边缘辅助的协作式Web AR多人服务系统及方法。

背景技术

增强现实(Augmented Reality，简称AR)作为一种新型的视觉交互技术，能够将真实世界与虚拟信息“无缝”融合，带来了一种全新的感官体验。特别是当把所有移动AR用户聚集到同一个“增强”世界中时，将使得更多有趣、高效的应用成为可能。

目前，当前主流的多人AR解决方案依然面临较为严重的问题：比如多人通信存在低效的问题，并且所有用户的交互依赖于云端服务器对交互信息进行广播，无疑造成了巨大的通信延迟和带宽资源的占用，从而导致通信成本的增加。同时，不稳定的无线链接也无法保持持续的多人交互通信，因此，因为云端服务器而导致的通信低效、成本增加等问题是目前亟待解决的问题。

发明内容

针对现有技术中存在的问题，本发明实施例提供一种基于边缘辅助的协作式WebAR多人服务系统。

本发明实施例提供一种基于边缘辅助的协作式Web AR多人服务系统，包括：移动用户端、边缘服务器端、云服务器端，其中，

所述移动用户端与所述边缘服务器端连接，用于请求与Web AR中的其它用户建立连接，并获取所述移动用户端和所述边缘服务器端的性能数据上传至所述边缘服务器端，以及对预设目标进行拍摄；

所述边缘服务器与所述移动用户端和所述云服务器端连接，用于根据所述性能数据生成通信方案，并将所述通信方案发送至所述Web AR的所有用户；

所述云服务器端与所述边缘服务器连接，用于针对所述Web AR在所述边缘服务器上进行资源分配。

本发明实施例提供一种基于上述系统的协作式Web AR多人服务方法，包括：

当所述移动用户端访问Web AR时，向所述Web AR中的其它用户发送连接请求，并获取所述移动用户端和所述边缘服务器端的性能数据，将所述性能数据上传到所述边缘服务器端，所述连接请求用于使所述移动用户端与其它用户对应的终端建立连接；

所述边缘服务器端根据所述性能数据生成通信方案，并将所述通信方案发送至所述Web AR的所有用户；

所述移动用户端接收到所述通信方案后，开启所述移动用户端的摄像模块，通过所述摄像模块对预设目标进行拍摄；

所述移动用户端通过所述通信方案将拍摄数据发送至所述其它用户对应的用户终端。

在其中一个实施例中，所述方法还包括：

所述移动用户端将所述拍摄数据进行预处理，并将预处理后的拍摄数据上传到所述边缘服务器，供所述边缘服务器对所述拍摄数据进行检索。

在其中一个实施例中，所述方法还包括：

所述边缘服务器在对所述拍摄数据进行检索时，获取所述边缘服务器对应的边缘辅助设备，通过所述边缘辅助设备执行所述检索对应的特征提取算法。

在其中一个实施例中，所述方法还包括：

当所述边缘服务器检索到所述拍摄数据中存在跟踪目标时，将所述跟踪目标的图像特征点反馈至所述移动用户端，供所述移动用户端对所述跟踪目标进行跟踪。

在其中一个实施例中，所述方法还包括：

所述边缘服务器将所述拍摄数据上传至所述云服务器端。

在其中一个实施例中，所述方法还包括：

所述边缘服务器获取所述拍摄数据中的图像特征点，并根据所述图像特征点的变化趋势来判断移动用户的运动状态，进而调整所述拍摄数据的上传频率。

在其中一个实施例中，所述方法还包括：

所述云服务器端针对所述Web AR在所述边缘服务器上进行资源分配。

本发明实施例提供的基于边缘辅助的协作式Web AR多人服务系统及方法，通过借助边缘服务器所天然具备的通信与计算优势，通过对AR用户间通信路径的选择与规划，从而准确高效的同步AR“世界”中所有用户的操作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中基于边缘辅助的协作式Web AR多人服务系统的结构图；

图2为本发明实施例中基于边缘辅助的协作式Web AR多人服务方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的基于边缘辅助的协作式Web AR多人服务系统的结构示意图，如图1所示，本发明实施例提供了一种基于边缘辅助的协作式Web AR多人服务系统，包括：移动用户端101、边缘服务器端102、云服务器端103。

其中，移动用户端101与边缘服务器102端连接，用于请求与Web AR中的其它用户建立连接，并获取移动用户端和边缘服务器端的性能数据上传至边缘服务器端，以及对预设目标进行拍摄。移动用户端可以是用户的手机、计算机，移动用户端在通信过程中，可以由其中的通信请求模块、移动用户端性能监测模块、交互信息收发模块实现上述功能，即在通信过程中，移动用户端通信请求模块，用于在新用户加入AR“世界”时请求与其他用户建立通信链接；移动用户端性能监测模块，移动用户端监测用户终端Web平台计算力，及其与边缘设备的网络性能(包括通信时延和网络带宽)；移动用户端交互信息收发模块，用户接受与发送用户对虚拟信息的交互信息。

另外，在对AR视频通信的过程中，还可以通过移动用户端的其他模块实现其他功能，比如：计算请求模块，用于在移动用户端打开摄像头启动AR应用时，请求与边缘设备进行协作计算；视频帧预处理模块，用于将移动用户端摄像头捕获到的视屏帧进行预处理(如灰度化等)；计算卸载模块，用于将预处理过的视频帧传输到边缘设备进行后续的特征提取操作；目标跟踪模块，用于对AR中的目标物进行跟踪；模型渲染模块，用于在用户终端Web平台上对虚拟模型进行渲染与展示。

边缘服务器102与移动用户端101和云服务器端连接103，用于根据性能数据生成通信方案，并将通信方案发送至所述Web AR的用户。其中，边缘服务器在通信过程中，可以由其中的上下文监测模块、多人通信方案生成模块、下发模块实现上述功能，即在通信过程中，边缘服务器端上下文监测模块，用于周期性的将移动用户端采集到的性能信息存储到边缘服务器的数据库中；边缘服务器端多人通信方案生成模块，用于依据边缘服务器采集到的上下文信息生成多用户通信路线/方案；边缘服务器端通信方案下发模块，用于将生成的多用户通信方案转发到所有的移动Web AR的用户。

另外，在对AR视频通信的过程中，还可以通过边缘服务器的其他模块实现其他功能，比如：特征提取模块，用于对接收到的预处理过的视频帧进行特征提取；图像检索模块，用于依据特征提取模块提取到的图像特征点进行检索，查找匹配的模板图；关键帧选择模块，用于依据用户在目标跟踪过程中的跟踪性能动态选择关键帧；边缘辅助移动设备选择模块，用于依据用户设备的计算力来选择相应的边缘移动终端设备进行辅助计算，从而缓解AR业务初始化响应时间长的问题。

云服务器端103与边缘服务器102连接，用于针对Web AR在边缘服务器上进行资源分配。其中，云服务器端在通信过程中，可以由其中的边缘节点管理模块、交互信息存储模块实现上述功能，即在通信过程中，云服务器端边缘节点管理模块，用户云端服务器对边缘节点业务部署及资源分配的管理；云服务器端交互信息存储模块，用于云端服务器对用户交互信息的临时存储，用于异地用户的加入与访问。

另外，在对AR视频通信的过程中，还可以通过云服务器端的其他模块实现其他功能，比如：分布式数据库管理模块，用于依据边缘服务器部署的地理位置信息，来动态的管理边缘服务器的图像检索数据库；数据分析模块，用于对检索结果进行分析并反馈，从而优化图像检索数据库。

采用本实施方式中所提供的基于边缘辅助的协作式Web AR多人服务系统，通过借助边缘服务器所天然具备的通信与计算优势，通过对AR用户间通信路径的选择与规划，从而准确高效的同步AR“世界”中所有用户的操作。

基于图1所示的基于边缘辅助的协作式Web AR多人服务系统，本实施方式还提供了一种协作式Web AR多人服务方法，如图2所示，该方法主要包括以下几个步骤：

步骤S201，当所述移动用户端访问Web AR时，向所述Web AR中的其它用户发送连接请求，并获取所述移动用户端和所述边缘服务器端的性能数据，将所述性能数据上传到所述边缘服务器端，所述连接请求用于使所述移动用户端与其它用户对应的终端建立连接。

具体地，当移动用户端通过预设的URL链接访问多人移动Web AR服务时，此时可以在移动用户端激活移动用户端中的通信请求模块，生成连接请求，发送至Web AR中的其他用户，其他用户在接收到连接请求后，可以通过连接请求与移动用户端建立连接的关系，并且同时还可以激活移动用户端中的性能检测模块，移动用户端获取性能数据，将性能数据上传到边缘服务器端，其中，性能数据可以包括移动Web平台的计算力信息、客户端与边缘服务器和边缘移动终端智能设备间的时延与带宽信息等。

步骤S202，所述边缘服务器端根据所述性能数据生成通信方案，并将所述通信方案发送至所述Web AR的所有用户。

具体地，边缘服务器端根据接收的性能数据，生成通信方案，并将通信方案发送至Web AR的所有用户(包含移动用户端对应用户和Web AR中的其他用户)，其中，通信方案为边缘服务器端根据性能数据得到的两种方案的性能计算结果，即移动用户端与其他用户进行通信时，选择通过边缘服务器进行通信的方案还是直接基于D2D技术进行通信的方案(因为上述的连接请求，移动用户端可以与其他用户进行通信)，选择其中性能较好的方案。所有用户在接收到方案后，在后续通信时可以根据方案进行通信。

步骤S203，所述移动用户端接收到所述通信方案后，开启所述移动用户端的摄像模块，通过所述摄像模块对预设目标进行拍摄。

具体地，移动用户端在接收到通信方案后，启动移动用户端中的摄像模块，比如摄像头，对预设的目标进行拍摄，用于后续的AR目标识别与跟踪。

步骤S204，所述移动用户端通过所述通信方案将拍摄数据发送至所述其它用户对应的用户终端。

具体地，移动用户端根据通信方案发送对虚拟内容的交互数据，其他用户也可以根据通信方案选择接收移动用户端发送的交互数据数据。

本发明实施例提供的一种协作式Web AR多人服务方法，通过借助边缘服务器所天然具备的通信与计算优势，通过对AR用户间通信路径的选择与规划，从而准确高效的同步AR“世界”中所有用户的操作。

在上述实施例的基础上，所述协作式Web AR多人服务方法，还包括：

所述移动用户端将所述拍摄数据进行预处理，并将预处理后的拍摄数据上传到所述边缘服务器，供所述边缘服务器对所述拍摄数据进行检索。

在本发明实施例中，移动用户端在对预设的目标进行拍摄得到拍摄数据后，可以激活移动用户端中的视频预处理模块，预处理可以包括对视频数据进行灰度化及尺寸裁剪等处理，并将处理后的拍摄数据上传到边缘服务器中，边缘服务器可以根据上传的拍摄数据执行检索。

另外，在边缘服务器在对拍摄数据进行检索时，借助边缘辅助设备同时执行检索对应的算法，具体地，边缘服务器借助边缘辅助设备的检索过程可以包括：边缘服务器对于所有接收到的视频帧执行基于SIFT(scale-invariant feature transform)算法的特征提取操作。同时，为了能进一步降低服务的响应时间，边缘服务器将同时对接收到的第一帧图片执行轻量级的ORB(Oriented FAST and rotated BRIEF)特征提取算法。为了缓解边缘服务器的计算压力，边缘服务器将依据边缘移动终端设备的计算能力，分配特定的设备作为边缘辅助设备，在该设备上同时执行轻量级的ORB特征提取算法。

另外，当边缘服务器检索到拍摄数据中存在跟踪目标时，将跟踪目标的图像特征点反馈至移动用户端，移动用户端可以根据反馈激活其中的目标跟踪模块，依据提取到的跟踪目标进行目标跟踪，其中，跟踪目标的图像特征点可以为图像中预设的人物、正在运动的物体等，并且，移动用户端也会将跟踪拍摄的结果上传至边缘服务器，并通过边缘服务器上传至云服务器端。

本发明实施例对移动用户端拍摄的拍摄数据进行处理并提取其中的跟踪目标，提高了AR通信过程中视频的质量。

在上述实施例的基础上，所述协作式Web AR多人服务方法，还包括：

所述边缘服务器将所述拍摄数据上传至所述云服务器端。

本发明实施例中，在移动用户端进行拍摄的所有拍摄数据会上传到边缘服务器，并且会通过边缘服务器将拍摄数据上传到云服务器端，因为在云服务器端保存用户交互信息，能够便于异地用户加入与访问Web AR。

另外，在边缘服务器获取拍摄数据中的图像特征点，并根据图像特征点的变化规律得到移动用户的运动状态，进而调整拍摄数据的上传频率，即在移动用户端执行目标跟踪过程中，边缘服务器将对跟踪效果(即移动用户终端可以跟踪到的有效的特征点)进行收集并分析，通过判断移动用户的运动状态，从而自适应的调节视频帧上传的频率(即自适应的关键帧选择)，进而减少冗余的图像处理操作，降低边缘服务器的计算成本与压力，其中，调整频率可以比如在拍摄人睡觉时，频率可以相对调低，在拍摄人运动时，频率可以相对调高。

本发明实施例将所有交互信息，即拍摄数据上传到云服务器端，便于异地用户加入与访问Web AR。

在上述实施例的基础上，所述协作式Web AR多人服务方法，还包括：

所述云服务器端针对所述Web AR在所述边缘服务器上进行资源分配。

本发明实施例中，在建立通信关系前，云服务器端针对Web AR在边缘服务器上进行资源分配，即云端服务器对移动Web AR业务在网络边缘服务器的部署具备全局统一管理的能力。同时，边缘服务器上资源的分配也由云端服务器统一管理配置。

本发明实施例通过云端服务器对边缘服务器进行资源分配并同一管理。

在另一个实施例中，协作式Web AR多人服务方法的具体流程可以包括：

步骤1：云端服务器对移动Web AR业务在网络边缘服务器的部署具备全局统一管理的能力。同时，边缘服务器上资源的分配也由云端服务器统一管理配置。

步骤2：移动用户通过在用户终端访问预先定义的URL链接来接入多人移动Web AR应用。此时在移动用户端将激活通信请求模块，此时，移动用户终端已与边缘服务器建立了通信链接。同时，移动用户端的性能监测模块也将被激活，移动Web平台的实时计算力信息、移动用户终端与边缘服务器及边缘移动终端智能设备间的网络通信时延与带宽信息将被周期性的监测并上传到边缘服务器端进行收集、分析。

步骤3：边缘服务器依据接收到的上下文信息，将动态生成多人Web AR交互通信方案。在通信方案生成过程中，需要满足生成的链路数目为所有的通信节点数目-1，且至少有一条通信链路连接用户终端设备与边缘服务器，所有用户对Web AR应用中虚拟内容的交互信息都将存储在边缘服务器，并进一步同步到云端服务器数据库，便于后续及异地移动终端用户接入并访问服务。在边缘服务器端生成的通信方案将借助通信方案下发模块，分发到所有的移动Web AR用户。

步骤4：至此，所有的节点(所有用户与边缘服务器)均已建立通信链接。当用户启动移动终端设备摄像头时，其将以视频帧的形式实时的捕获用户周围的真实环境，视频帧将依次经由预处理模块在本地预先进行灰度化及尺寸裁剪等操作。随后移动终端将其处理结果上传到边缘服务器进行特征提取与图像检索。边缘服务器对于所有接收到的视频帧执行基于SIFT(scale-invariant feature transform)算法的特征提取操作。同时，为了能进一步降低服务的响应时间，边缘服务器将同时对接收到的第一帧图片执行轻量级的ORB(Oriented FAST and rotated BRIEF)特征提取算法。识别到的ORB特征点将首先传回用户终端激活目标跟踪模块。

步骤5：由于基于ORB特征点的目标跟踪算法稳定性较差，需要频繁的激活特征提取操作，为了缓解边缘服务器的计算压力，边缘服务器将依据边缘移动终端设备的计算能力，分配特定的设备作为边缘辅助设备，在该设备上同时执行轻量级的ORB特征提取算法，从而进一步优化目标跟踪效果。

步骤6：在步骤四中检索到标记物后，则边缘服务器提取到的图像特征点，连同对应的虚拟信息将传回到移动用户端，终端设备通过得到的特征点执行目标跟踪及模型渲染的操作。

步骤7：在用户执行目标跟踪过程中，边缘服务器将对跟踪效果(即移动用户终端可以跟踪到的有效的特征点)进行收集并分析，通过判断移动用户的运动状态，从而自适应的调节视频帧上传的频率(即自适应的关键帧选择)，进而减少冗余的图像处理操作，降低边缘服务器的计算成本与压力。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于边缘辅助的协作式Web AR多人服务系统，其特征在于，包括：移动用户端、边缘服务器端、云服务器端，其中，

所述移动用户端与所述边缘服务器端连接，用于请求与Web AR中的其他 用户建立连接，并获取所述移动用户端和所述边缘服务器端的性能数据上传至所述边缘服务器端，以及对预设目标进行拍摄；

所述边缘服务器与所述移动用户端和所述云服务器端连接，用于根据所述性能数据生成通信方案，并将所述通信方案发送至所述Web AR的所有用户；所述通信方案为所述移动用户端与所述其他用户进行通信的方案；

所述云服务器端与所述边缘服务器连接，用于针对所述Web AR在所述边缘服务器上进行资源分配。

2.一种基于权利要求1所述系统的协作式Web AR多人服务方法，其特征在于，包括：

当所述移动用户端访问Web AR时，向所述Web AR中的其他 用户发送连接请求，并获取所述移动用户端和所述边缘服务器端的性能数据，将所述性能数据上传到所述边缘服务器端，所述连接请求用于使所述移动用户端与其它用户对应的终端建立连接；

所述边缘服务器端根据所述性能数据生成通信方案，并将所述通信方案发送至所述Web AR的所有用户；所述通信方案为所述移动用户端与所述其他用户进行通信的方案；

所述移动用户端接收到所述通信方案后，开启所述移动用户端的摄像模块，通过所述摄像模块对预设目标进行拍摄；

所述移动用户端通过所述通信方案将拍摄数据发送至所述其它用户对应的用户终端。

3.根据权利要求2所述的协作式Web AR多人服务方法，其特征在于，所述方法还包括：

所述移动用户端将所述拍摄数据进行预处理，并将预处理后的拍摄数据上传到所述边缘服务器，供所述边缘服务器对所述拍摄数据进行检索。

4.根据权利要求3所述的协作式Web AR多人服务方法，其特征在于，所述边缘服务器对所述拍摄数据进行检索之后，还包括：

所述边缘服务器在对所述拍摄数据进行检索时，获取所述边缘服务器对应的边缘辅助设备，通过所述边缘辅助设备执行所述检索对应的特征提取算法。

5.根据权利要求3所述的协作式Web AR多人服务方法，其特征在于，所述边缘服务器对所述拍摄数据进行检索之后，还包括：

当所述边缘服务器检索到所述拍摄数据中存在跟踪目标时，将所述跟踪目标的图像特征点反馈至所述移动用户端，供所述移动用户端对所述跟踪目标进行跟踪拍摄。

6.根据权利要求3所述的协作式Web AR多人服务方法，其特征在于，所述方法还包括：

所述边缘服务器将所述拍摄数据上传至所述云服务器端。

7.根据权利要求6所述的协作式Web AR多人服务方法，其特征在于，所述方法还包括：

所述边缘服务器获取所述拍摄数据中的图像特征点，并根据所述图像特征点的变化趋势判断移动用户的运动状态，进而调整所述拍摄数据的上传频率。

8.根据权利要求2所述的协作式Web AR多人服务方法，其特征在于，所述移动用户端访问Web AR之前，还包括：

所述云服务器端针对所述Web AR在所述边缘服务器上进行资源分配。

Images