CN112989251A - 一种基于协同计算的移动Web增强现实3D模型数据服务方法 - Google Patents

一种基于协同计算的移动Web增强现实3D模型数据服务方法 Download PDF

Info

Publication number
CN112989251A
CN112989251A CN202110297383.3A CN202110297383A CN112989251A CN 112989251 A CN112989251 A CN 112989251A CN 202110297383 A CN202110297383 A CN 202110297383A CN 112989251 A CN112989251 A CN 112989251A
Authority
CN
China
Prior art keywords
computing
model data
data service
model
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110297383.3A
Other languages
English (en)
Other versions
CN112989251B (zh
Inventor
宓佳艺
赵煜勇
李亮
娄鑫浩
叶周
钟天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Media and Communications
Original Assignee
Zhejiang University of Media and Communications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Media and Communications filed Critical Zhejiang University of Media and Communications
Priority to CN202110297383.3A priority Critical patent/CN112989251B/zh
Publication of CN112989251A publication Critical patent/CN112989251A/zh
Application granted granted Critical
Publication of CN112989251B publication Critical patent/CN112989251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9536Search customisation based on social or collaborative filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及增强现实数据服务方法技术领域,具体提供了一种基于协同计算的移动Web增强现实3D模型数据服务方法,包括以下步骤:步骤1:在务器和移动边缘服务器之间建立基于协同计算的模型数据服务框架,由移动边缘服务器和云服务器共同执行3D模型数据计算服务;步骤2:判断基于协同计算的3D模型数据服务的有效性;步骤3:进行协同数据服务计算的预处理;步骤4:在基于协同计算的3D模型数据服务有效性的条件下,确定协同数据服务计算任务分配策略。本发明灵活化满足业务需求的多样性;业务模型计算响应时间总体最优化;有效优化模型传输、加载时延;实现模型数据服务的最优策略。

Description

一种基于协同计算的移动Web增强现实3D模型数据服务方法
技术领域
本发明涉及增强现实数据服务方法技术领域,具体涉及一种基于协同计算的移动Web增强现实3D模型数据服务方法。
背景技术
在MWAR应用程序中,从服务器下载3D模型并在屏幕上进行渲染是移动设备的主要服务过程。因此,3D模型是主要的交互对象,3D模型数据的传输、加载和渲染过程是构建MWAR服务的关键支撑技术[4]。目前,随着WebGL技术的发展和JavaScript类库的普及,WebGL的第三方渲染引擎对于3D模型的加载和绘制已经成为MWAR的主要工具。在JavaScript类库中,3D模型数据的传输、加载和渲染具有以下特点:(1)第三方JavaScript3D库采用云服务器上集中的基于文件的数据服务进行3D模型的加载和渲染;第三方JavaScript 3D库使用文件机制来满足用户对MWAR中的3D模型对象的不同需求,例如3D模型的大小适应移动设备的屏幕大小和网络带宽。
根据这些特点,在大规模和复杂的MWAR应用中,用户数量的增加和交互的复杂性将导致用户对3D模型的需求量激增。这将对当前大规模和复杂MWAR应用的服务架构提出以下挑战:
1、大规模和复杂MWAR中的多样化用户需求必然需要各种3D模型来适应它们。但不同的3D模型将给数据服务设备带来更大的存储和查询成本。在具有低存储和计算配置的设备(例如,移动边缘服务器)上,过多的存储和计算压力将降低3D模型数据服务的响应效率。对于存储和计算资源丰富的远程服务器来说,核心网会造成大容量3D模型数据传输的大延迟。例如,带宽为10mbps的核心网络上的10mb 3D模型的传输延迟将超过1秒。多样化3D模型的存储和传输成本。
2、在基于计算的模型数据服务方法下,单个节点不能满足MWAR应用的低延迟要求。云服务器具有很高的计算能力,但是基于计算模型的数据服务的输出数据在核心网下行传输过程中会造成很大的延迟。边缘服务器与客户端之间的传输时延较小,但由于边缘服务器计算能力有限,计算时延较大。没有一个计算设备能够满足延迟要求。
3、大规模和复杂的MWAR应用程序承载大量用户和复杂的交互过程。复杂交互过程中的每个节点都会生成用户需求。随着用户数量和交互过程复杂度的增加,用户对3D模型的形态要求将逐渐趋于连续性。基于离散化文件的3D模型数据只能根据用户需求进行聚类。聚类粒度的选择会导致文件存储和查询开销以及与用户需求的匹配程度发生冲突。用户的持续需求。
综上所述,使用集中的基于文件的3D模型数据服务在交互和响应延迟方面不能满足大规模和复杂MWAR应用的敏感需求。
发明内容
本发明针对上述存在的技术问题提供了一种设计合理、使用方便的基于协同计算的移动web增强现实3D模型数据服务方法,灵活化满足业务需求的多样性;业务模型计算响应时间总体最优化;有效优化模型传输、加载时延;实现模型数据服务的最优策略。
本发明采用的技术方案是:
一种基于协同计算的移动Web增强现实3D模型数据服务方法,该方法包括以下步骤:
步骤1:在务器和移动边缘服务器之间建立基于协同计算的模型数据服务框架,由移动边缘服务器和云服务器共同执行3D模型数据计算服务;
步骤2:判断基于协同计算的3D模型数据服务的有效性;
步骤3:在基于协同计算的3D模型数据服务有效性的条件下,进行协同数据服务计算的预处理;
步骤4:确定协同数据服务计算任务分配策略。
优选的,在步骤1中,基于协同计算的模型数据服务框架包括
协同控制模块,交互处理后,用户的参数以接口的形式传送至移动边缘服务器的协同控制模块,所述移动边缘服务器的协同控制模块根据预先设定的算法计算客户端的用户参数,得到计算任务分配策略参数,移动边缘服务器和云服务器通过策略参数控制3D模型计算服务模块进行计算;
3D模型计算服务模块,用于根据预先部署的算法进行模型数据服务计算,在计算过程中,每个参数向量通过独立的、解耦的子模块按顺序进行计算;同时,将计算结果传输至模型数据接口模块,为移动设备提供数据服务;
模型数据接口模块,作为移动设备与移动边缘服务器、移动边缘服务器与云服务器之间的通信链路;在模型数据请求阶段,移动边缘服务器接口获取处理后的用户环境参数变量;在协同计算阶段,移动边缘服务器和云服务器之间的接口进行数据通信,以传输控制指令和控制计算状态;协同计算完成后,通过模型数据接口建立的通道传输加载和渲染3D模型数据;同时,移动边缘服务器的模型数据接口实现向移动设备提供数据服务;
协同计算缓存模块,在协同计算阶段,3D模型计算服务模块的计算结果以多粒度文件的队列数据结构存储在协同计算缓存模块中;当协同计算恢复结果数据时,CMCSF通过协同控制模块建立索引标记,以快速匹配计算需求。
优选的,在步骤2中,在基于协同计算的3D模型数据服务的情况下,移动边缘服务器、云服务器共同执行3D模型数据计算服务,相应的计算延迟为:
移动边缘服务器延迟:
Figure BDA0002984853680000041
云服务器延迟:
Figure BDA0002984853680000042
3D模型数据服务计算总延迟:
Figure BDA0002984853680000043
在基于协同计算的3D模型数据服务中,当
Figure BDA0002984853680000044
时,
Figure BDA0002984853680000045
是最优,由此可以得到:
Figure BDA0002984853680000046
为了便于分析,引入三个变量μ,v,n,其中,μ=fcloud/fedge是云服务器计算资源与移动边缘服务器计算资源的比值,v=fcloud/WC-E是云服务器计算资源与下行信道带宽的比值,n=t/k是比值在t和k之间,k表示模型计算服务中的3D模型展开系数,即k=L′model/Lmodel,引入μ,v,n产生:
Figure BDA0002984853680000047
因此,在基于协同计算的3D模型数据服务的情况下,渲染计算延迟是
Figure BDA0002984853680000051
上式中下标eccol表示移动边缘服务器和云服务器协同计算;
采用云服务器作为3D模型数据服务器,忽略了多交互服务匹配的3D模型所占用的物理存储空间所带来的延迟成本,渲染计算延迟是
Figure BDA0002984853680000052
则优化后的3D模型数据服务计算总延迟:
T′render=min{T′render(eccol),T′render(cloud)}
当3D模型数据服务协同计算有效时,由此导出以下方程式:
Figure BDA0002984853680000053
建立μ,v,n三者之间的数学关系:
Figure BDA0002984853680000054
优选的,在步骤3中,若基于协同计算的3D模型数据服务有效时,则在云服务器和移动边缘服务器之间建立相应的计算控制模块来控制协同计算。
优选的,在步骤4中,在基于协同计算的3D模型数据服务中,λ作为计算任务分配率,根据以下公式进行定量分析,
Figure BDA0002984853680000055
以λB作为分配条件,其中0<λB<1;当,λ>λB,云服务器完全负责计算;当1-λB≤λ≤λB,计算是在云服务器和边缘服务器之间协作完成的;λ<1-λB,移动边缘服务器完全负责计算。
本发明的有益效果:本发明提出的基于协同计算的3D模型数据服务框架将MWAR中基于文件的集中式3D模型数据服务方法转化为分布式计算服务,通过接口数据服务为客户端提供3D模型数据服务,使MWAR服务需求与服务器多样性的灵活计算能力相协调。其次,提出了协同3D模型数据服务的有效策略和部署策略等关键技术条件。这为MWAR提供了一种高效灵活的3D模型数据服务;再次,基于协同计算的3D模型数据服务框架优化了WebGL引擎的加载方法,将基于同步文件的模型数据加载方式改为基于http协议JSON接口数据的异步连续加载方式。这使得MWAR能够提供连续和灵活的数据服务。通过构建基于协同计算的3D模型数据服务,为移动设备加载和渲染提供了高效、灵活、连续的数据服务。实验结果表明,协同计算服务显著降低了MWAR在3D模型加载时的响应延迟。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为基于计算的模型服务序列;
图2为本发明中基于协同计算的3D模型数据服务框架图;
图3为μ、v和n之间的关系;(a)v,μ对于n产生的影响;(b)n,μ对v产生的影响;(c)n,v对μ于产生的影响;(d)n的等高线;(e)v的等高线;(f)μ的等高线;
图4为不同n下μ、v和λ之间的关系;(a)n=1;(b)n=5;(c)n=10;
图5为效率评估的服务结构;
图6为于文件和基于计算的数据服务之间的比较;(a)延迟性能;(b)模型精度性能。
图7为数据服务响应延迟评估;
图8为移动边缘服务器缓存和任务池的评估;(a)缓存优先级机制的响应延迟;(b)边缘服务器任务池状态的响应延迟;
图9为t和k的效果评估;(a)不同t下的响应时延(b)不同t和fedge下的响应时延。
具体实施方式
下面结合附图对本发明做进一步的说明。
MWAR应用的服务过程主要包括两个核心计算部分:交互计算(如识别、注册和跟踪)和渲染计算(如3D模型传输和渲染)。在这一部分中,我们主要研究模型数据服务的延迟优化方法。符号的含义如表1所示。
Figure BDA0002984853680000071
Figure BDA0002984853680000081
延迟分析
在MWAR应用中,移动设备通过交互式传感器对外部信息对象和用户行为做出响应。在执行服务的过程中,计算由客户机和服务器共同执行。服务器在接收到交互请求后执行服务逻辑计算,并获得与交互服务相关的3D模型描述表示。通过3D模型的描述特征,服务器在数据库中查询3D模型。然后通过核心网、蜂窝网等链路将3D模型数据返回给移动设备。移动设备调用本地计算资源,通过计算在交互屏幕上加载和渲染3D模型。
MWAR应用程序服务过程中的总延迟为
Figure BDA0002984853680000082
MWAR交互响应的延迟包括以下几个方面:
(1)交互计算的延迟在MWAR应用中,交互计算主要包括交互响应和交互控制传输两个过程。因此,MWAR交互计算的延迟分为两部分。
响应计算延迟
Figure BDA0002984853680000083
–当MWAR应用程序通过移动设备的图像采集设备捕获自然交互对象,并返回响应信息对象时,就会产生这种情况。
信息传输延迟
Figure BDA0002984853680000084
–当交互式计算的响应数据由MWAR应用程序获得并传输到客户机或服务器时,生成该响应数据。
(2)渲染计算的延迟在MWAR应用的加载和渲染过程中,该服务经历了三维模型数据响应、三维模型数据传输和三维模型渲染三个核心过程。
模型数据响应延迟
Figure BDA0002984853680000091
-3D模型数据响应的延迟是在服务器接收到交互指令后,在模型数据库中过滤模型数据并传输到服务器的通信模块的延迟。同时,3D模型数据响应延迟还包括在计算卸载策略下模型数据卸载到本地服务器。
模型数据传输延迟
Figure BDA0002984853680000092
-3D模型传输延迟是模型数据从服务器传输到移动设备的延迟。它取决于下行信道的带宽和传输所携带的模型数据量。
模型渲染计算延迟
Figure BDA0002984853680000093
-渲染计算延迟是指移动设备在加载和重新订购三维模型数据的过程中发生的延迟。它与移动设备的计算资源以及三维模型的加载和渲染量有关。
在MWAR应用程序中,交互计算和渲染是相对独立的,并且是顺序关系。这两部分通过一个开放的数据接口相互通信并控制彼此的服务。因此,MWAR应用程序的交互计算过程和渲染过程可以解耦。对于大规模、复杂的MWAR应用,渲染计算延迟占MWAR响应延迟的很大比例。本发明从时延的角度进行了研究,并提出了优化策略。MWAR应用程序的总渲染延迟可以表示为
Figure BDA0002984853680000094
在上式中,
Figure BDA0002984853680000095
主要受服务器的服务范围、服务响应机制和计算能力的影响。这里的渲染计算延迟
Figure BDA0002984853680000096
和传输延迟
Figure BDA0002984853680000097
当服务结束后,客户端等效的渲染计算周期frender和从云服务器到移动设备WC-M的带宽是固定的。因此,
Figure BDA0002984853680000098
由L′model决定。这导致了高质量三维模型交互的要求和低延迟响应的要求之间的矛盾。用户需要L′model来构建适合当前移动设备和网络带宽的服务。将会有很多不同用户的3D模型被加载。大量的模型会影响服务范围和服务响应机制,进一步增加
Figure BDA0002984853680000101
MWAR应用需要与计算环境之外的信息对象进行交互,因此MWAR应用在计算和通信过程中会受到应用场景、网络环境等方面的影响。同时,在大规模、复杂的MWAR应用中,用户的需求,如三维模型的形状和动画的准确性,将影响到应用的服务。在这些外部条件的影响下,用户在考虑交互体验和服务质量感知的基础上,对MWAR应用中的同一模型对象会有不同的需求。特定用户需求的三维模型对象可以表示为
Figure BDA0002984853680000102
在上式中,
Figure BDA0002984853680000104
是对应于第i个用户的理想需求3D模型集合,Modelin是MWAR应用程序的3D模型的原始形式,Di是对应于第i个用户的服务参数矩阵,Cj是由第i个用户的第j个环境因子生成的模型转换一维向量,Q是与第i个用户相对应的环境因子集。
在基于文件的模型数据服务中,需要对用户需求进行聚类,建立离散三维模型文件数据库。使用该服务的MWAR模型与第i个用户需求的偏差为
Figure BDA0002984853680000103
Figure BDA0002984853680000105
表示在计算集群之后匹配用户需求的模型文件。从上式中可以看出,聚类计算的粒度越细,服务偏离用户需求的程度就越小。然而,聚类粒度越细,三维模型文件数据库中对应的模型文件就越多。随着用户对服务质量要求的不断提高,客户匹配对模型文件的要求也逐渐增加,模型文件的数量也会随之增加。模型文件数量的增加在查询、存储和其他方面给服务器带来了巨大的压力。特别是对于单个设备的网络边缘服务器,例如移动边缘服务器,它可能更接近客户端,但由于存储容量的价格差异,它不能有效地承受大量数据模型文件的存储和管理。因此,在大规模MWAR应用中,离散的三维模型数据文件只能在云服务器上提供数据服务。
基于计算的MWAR三维模型数据服务旨在更好地满足用户的需求。它以更连续、更平滑的方式为客户提供三维模型数据,以满足客户多样化的需求。模型数据服务的基于计算的处理如图1所示。
具体来说,应用程序中不同用户需求所需的模型数据可以通过计算一些列来生成,通过数据接口向客户端提供数据服务。然而,由于3D模型数据量大,与其他类型的应用相比,下行传输带宽对MWAR的响应时延影响更大。同时,MWAR在一定的环境下是时间和空间密集型的,在一定的时间内会导致特定服务器上的高并发计算。因此,需要一些优化方法来解决基于计算的模型数据业务的并发计算和下行链路传输的压力。
通过初步分析,本发明提出了一种基于协同计算的移动Web增强现实3D模型数据服务方法,为MWAR应用提供低延迟、多样化的模型数据服务,其包括以下步骤:
步骤1:在务器和移动边缘服务器之间建立基于协同计算的模型数据服务框架,由移动边缘服务器和云服务器共同执行3D模型数据计算服务;
步骤2:判断基于协同计算的3D模型数据服务的有效性;
步骤3:在基于协同计算的3D模型数据服务有效性的条件下,进行协同数据服务计算的预处理;
步骤4:确定协同数据服务计算任务分配策略。
在步骤1中,基于协同计算的模型数据服务框架(CMCSF)如图2所示。
每个模块执行的功能如下:
协同控制模块,主要决定云服务器与移动边缘服务器之间的协同计算策略。交互处理后,用户的参数以接口的形式传送至移动边缘服务器的协同控制模块,所述移动边缘服务器的协同控制模块根据预先设定的算法计算客户端的用户参数,得到计算任务分配策略参数,移动边缘服务器和云服务器通过策略参数控制3D模型计算服务模块进行计算;
3D模型计算服务模块,用于根据预先部署的算法进行模型数据服务计算,在计算过程中,每个参数向量通过独立的、解耦的子模块按顺序进行计算;同时,将计算结果传输至模型数据接口模块,为移动设备提供数据服务;
模型数据接口模块,主要建立移动设备与移动边缘服务器之间、移动边缘服务器与云服务器之间的通信链路。在模型数据请求阶段,移动边缘服务器接口获取处理后的用户环境参数变量;在协同计算阶段,移动边缘服务器和云服务器之间的接口进行数据通信,以传输控制指令和控制计算状态;协同计算完成后,通过模型数据接口建立的通道传输加载和渲染3D模型数据;同时,移动边缘服务器的模型数据接口实现向移动设备提供数据服务;
协同计算缓存模块,主要存储部分计算结果数据,以优化响应延迟。在协同计算阶段,3D模型计算服务模块的计算结果以多粒度文件的队列数据结构存储在协同计算缓存模块中;当协同计算恢复结果数据时,CMCSF通过协同控制模块建立索引标记,以快速匹配计算需求。
在CMCSF中,假设协同计算中的MWAR应用由一些用户关联策略决定,协同计算中,CMCSF使用一个计算节点作为计算的核心来识别、注册或跟踪进程。在不影响我们研究的前提下,CMCSF做出以下假设。移动设备由于计算能力有限,不参与模型数据服务计算,只对用户的交互请求进行模型加载和渲染。由于实际应用中交互控制指令传输时延的数据容量较小,因此移动边缘服务器、云服务器和移动设备之间的传输时延可以忽略不计。为了研究其有效性,我们假设云服务器和边缘服务器在应用请求过程中不断地向客户端提供数据服务。移动设备接入的基站对应的边缘服务器参与计算服务。而对于原始的云计算模型,我们假设在分解和部署过程中所消耗的数据是短时间的,而在分解过程中所消耗的数据是短时间的。在随后的分析中,忽略了服务任务分配延迟。
在基于协同计算的3D模型数据服务的情况下,移动边缘服务器、云服务器共同执行3D模型数据计算服务,相应的计算延迟为:
移动边缘服务器延迟:
Figure BDA0002984853680000131
云服务器延迟:
Figure BDA0002984853680000132
3D模型数据服务计算总延迟:
Figure BDA0002984853680000133
在基于协同计算的3D模型数据服务中,当
Figure BDA0002984853680000134
时,
Figure BDA0002984853680000135
是最优,由此可以得到:
Figure BDA0002984853680000136
为了便于分析,引入三个变量μ,v,n,其中,μ=fcloud/fedge是云服务器计算资源与移动边缘服务器计算资源的比值,v=fcloud/WC-E是云服务器计算资源与下行信道带宽的比值,n=t/k是比值在t和k之间,k表示模型计算服务中的3D模型展开系数,即k=L′model/Lmodel,引入μ,v,n产生:
Figure BDA0002984853680000141
因此,在基于协同计算的3D模型数据服务的情况下,渲染计算延迟是
Figure BDA0002984853680000142
上式中下标eccol表示移动边缘服务器和云服务器协同计算;
采用云服务器作为3D模型数据服务器,忽略了多交互服务匹配的3D模型所占用的物理存储空间所带来的延迟成本,渲染计算延迟是
Figure BDA0002984853680000143
则优化后的3D模型数据服务计算总延迟:
T′render=min{T′render(eccol),T′render(cloud)}。
在步骤2中,当3D模型数据服务协同计算有效时,由此导出以下方程式:
Figure BDA0002984853680000144
建立μ,v,n三者之间的数学关系:
Figure BDA0002984853680000145
基于上述讨论,如图3所示获得μ、v和n之间的关系。具体而言,曲面下的区域是基于协同计算的三维模型数据服务可以计算的区域。然后可以指出以下特征。首先,当n较大时,CMCSF只有在μ较大和μ较小时才能应用基于协同计算的三维模型数据服务,当下行带宽较小和移动边缘计算容量较大时,CMCSF基于协同计算的三维模型数据服务是有效的。其次,当下行带宽较大时,应用基于协同计算的三维模型数据业务必须有n个小的和μ个大的带宽。也就是说,当计算相对简单或云服务器计算能力较大或移动边缘服务器计算能力较弱时,CMCSF可以采用基于协同计算的策略。第三,在移动边缘服务器计算能力较弱的情况下,当n较小,v较大时,可以采用基于协同计算的服务。也就是说,当计算相对简单或下行链路信道的带宽较小时,CMCSF可以应用基于协作计算的策略。
可以从上述特征得出以下结论。
(1)从图3e和图3f可以看出,当μ<100时,v和n对μ的影响很小。因此,
Figure BDA0002984853680000151
时,v和n在大多数情况下都能很好地满足协同三维模型计算服务。也就是说,一般来说,如果移动边缘服务器的缓存包含计算输出的3D模型数据,那么移动边缘服务器可以优先处理大多数计算服务情况。另外,当移动边缘服务器发生计算拥塞时,云服务器的计算效率更高。
(2)根据图3d和图3e,在大多数区域,v相对于n的等值线更加密集。也就是说,当其他变量改变时,v的影响小于n。可以进一步解释,与从云服务器到基站的下行带宽相比,n对满足基于协同计算的3D模型数据业务的条件的影响更大。
(3)从以上两点的进一步推论得出了基于协同计算的三维模型数据服务有效性的条件判断。首先需要确定移动边缘服务器计算的有效性。其次,CMCSF根据计算复杂度和模型计算展开系数确定计算调度策略。最后,CMCSF根据云服务器和基站之间的带宽来确定计算调度策略。
在步骤3中,为了实现模型数据服务的优化策略,需要在云服务器和移动边缘服务器之间建立相应的计算控制模块来控制协同计算。要在CMCSF上构建最优协同计算策略,执行以下步骤:
(1)当三维模型数据已经存在于移动边缘服务器的缓存中时,可以推断fedge→+∞。然后可以从
Figure BDA0002984853680000161
进一步推断λ→0,这意味着移动边缘服务器执行所有三维模型数据计算任务。当数据被过滤和清理时,移动边缘服务器的协同控制模块根据模型响应控制数据类型、参数和其他服务指标快速匹配缓存中的三维模型数据块。移动边缘服务器缓存的第一优先级分配。
(2)与云服务器相比,移动边缘服务器的并发计算能力较差。因此,当移动边缘服务器的任务池中排队的任务数超过设置的阈值时,可以推断fedge→0,然后λ→1。也就是说,云服务器负责相应的基于计算的三维模型数据服务。因此,CMCSF在协同控制模块中启动对移动边缘服务器任务池状态的监控过程,以保证移动边缘服务器计算的有效性。当移动边缘服务器的任务池中排队的任务数超过设置的阈值时,计算任务将由移动边缘服务器的控制模块自动转发到云服务器。
为移动边缘服务器的任务池状态分配第二优先级。
(3)考虑到实际计算中额外的计算延迟,协同控制模块通过设置边界值λhigh和λlow来快速确定计算策略。CMCSF根据边界值设置计算控制,如表2所示。第三优先权转让给n。
注意λB需要同时满足
Figure BDA0002984853680000162
和λ<1-λB,进一步的推导可以作为
Figure BDA0002984853680000163
因此,基于n的计算策略如下,首先,当
Figure BDA0002984853680000164
时,所有的3d模型数据计算服务都被缓存到移动边缘服务器上。其次,当
Figure BDA0002984853680000165
时CMCSF执行协同计算在移动边缘服务器和云服务器之间。再次,在其他情况下,模型计算服务是在云服务器端完成的。然后,CMCSF预设协同三维模型计算服务的上行和下行阈值。根据n值,CMCSF初步确定。
表2:按λ计算调度
Figure BDA0002984853680000171
通过预处理过程,CMCSF可以在协同数据服务计算之前为移动设备提供快速的数据服务响应。在基于协同计算的三维模型数据服务响应机制的驱动下,云服务器和移动边缘服务器为移动设备提供模型加载和渲染的数据服务。
在步骤4中,在基于协同计算的三维模型数据服务中,λ作为计算任务分配率。
根据以下公式进行定量分析,
Figure BDA0002984853680000172
不同n下μ、v和λ之间的数学关系如图4所示,我们得到
(1)图4中的等值线显示,随着n的增加,小λ覆盖的面积越小,大λ覆盖的面积越大。相反,较小的λ轮廓所包含的面积越大,较大的λ轮廓所包含的面积就越小。对此的进一步解释是,当n较小时,移动边缘服务器执行更高比率的计算任务;并且当t较大时,云服务器执行更多计算任务。计算复杂性的影响。
在基于协同计算的三维模型数据服务下,对于特定的三维模型计算服务,当t较大时,分配给云服务器的计算任务比例较高,反之亦然。换句话说,当客户端所要求的模型的质量更高时,即t更大时,让移动边缘执行计算更有效。当客户机所要求的模型质量较低时,让云服务器执行计算的效率更高。
(2)图4中的等值线表示λ随着μ的增加而逐渐增加。另一种解释是,当fcloud更大,或fedge更小时,分配给云服务器的计算任务的比例更大。移动计算的任务与移动计算的任务之比越大。这与常识观点基本一致。计算能力的影响。
(3)图4中的等值线表明,当v较大时,λ逐渐减小。也就是说,随着云服务器到基站(骨干网)的通信容量的增加,分配给云服务器的计算任务增加。否则,将更大比例的计算任务分配给移动边缘服务器。通信带宽的影响。
实验结果
将提供数值结果来验证CMCSF的效率,并验证了该方法的性能。我们使用GoogleChrome DevTools和VMware工作站作为效率评估的模拟工具。协同三维模型数据计算服务环境中的计算节点如图5所示。
对于服务构建,采用多粒度模型自适应方法验证了CMCSF框架的有效性。三维模型数据计算服务的计算时间复杂度可以描述为f(V,c)=2×V+2×F+V×V.n2×2+c×(V+6×V.n);其中,V是服务器上三维模型的顶点数,V.n是计数顶点.邻居对于服务器上的三维模型,c是客户端三维模型的顶点数,F是三维模型的面数。服务器上的三维模型大小为1726944字节。
基于数据的计算服务可用性模型
CMCSF用于大规模MWAR应用场景。因此,有必要验证CMCSF在什么条件下针对3D模型文件数据服务在响应延迟方面进行了优化。以多粒度模型自适应方法为效率评价对象,测试了不同聚类粒度下客户端不同参数向量的响应延迟。在移动设备的多粒度模型适配中。
影响三维模型质量的主要因素有移动设备屏幕分辨率Csr、网络带宽Cnb和移动设备计算能力Ccc。云服务器根据客户端发送的参数向量,依次遍历集群向量队列。在获取每个参数向量的匹配值时,云服务器查询数据库中的匹配数据条目。之后,通过数据条目中的模型地址字段在本地或云存储中获取模型数据文件。云服务器通过核心网和接入网向移动设备传输三维模型文件。
当三维模型的面数为9976时,不同聚类粒度C下模型文件的计算延迟τcom和精度如表3所示。
表3:云服务器上基于文件的三维模型数据服务的计算延迟
Figure BDA0002984853680000191
使用云服务器上基于计算的3D模型数据服务,移动设备在不同压缩比c-ratio下的3D模型数据响应延迟(τsum=τcomtran和τtran是3D模型数据从云服务器传输到移动设备的延迟)如表4所示。
表4:云服务器上基于计算的三维模型数据服务的延迟
Figure BDA0002984853680000201
表3和表4中计算延迟和模型精度之间的关系如图6所示。具体地,图6示出在低聚类粒度的情况下,基于文件的3D模型数据服务的响应延迟显著地优于基于计算的模型数据服务的响应延迟。然而,在聚类粒度C<30的情况下,模型的精度与理论要求存在偏差。在聚类精度较高的情况下,基于计算的模型数据服务的响应延迟优于基于文件的模型数据服务。两种方法的精度与理论值有相同的偏差。同时,随着参数向量计数的增加,基于文件的模型数据服务方法的响应延迟显著增加。
因此,在MWAR中,随着应用规模和用户需求的增加,基于计算的模型数据服务可以给用户更好的交互体验。
协同计算服务
在响应延迟方面,将单独使用云服务器与单独使用移动边缘服务器以及使用基于协作计算的三维模型数据服务进行比较。在效率评估中,通过VMware Workstation构建云服务器和移动边缘服务器,如图5所示。我们在云服务器和移动边缘服务器上部署了用于基于协作计算的框架资源的三维模型数据。移动设备向云服务器、移动边缘服务器和CMCSF发送模型数据请求。响应延迟τ和如图7所示。
协同计算优化算法可用性
首先,在协同计算优化算法的验证中,验证了缓存优先级机制对数据响应的影响。在评估中,CMCSF为不同的参数向量计算模块分配缓冲区。CMCSF在评估前通过预计算将模型数据服务的计算结果写入相应的缓存中。当客户端提交请求时,CMCSF遍历缓存空间并优先将缓存中的计算结果数据发送给移动设备。为了验证算法的有效性,将三维模型数据服务计算划分为若干个百分比。在服务验证中,将不同数量的计算输出数据预先写入缓存,以测试客户端的数据响应延迟。在图8a中示出了高速缓存优先级机制的响应延迟与协作计算服务之间的关系。
图8a示出了高速缓存优先级机制的响应延迟显著优于协作计算模型数据服务。因此,缓存优先级机制在协同计算优化算法中是有效的。
其次,验证了移动边缘服务器任务池状态对计算响应的影响以及优化方法的效果。在评估中,我们使用CPUkiller来模拟移动边缘服务器上任务池执行的任务数的增加。当由移动边缘服务器执行的任务的数量(通过CPU拥堵模拟)增加时,图8b示出了协作计算和云计算的响应延迟的比较。具体地说,协作计算的响应延迟在某些情况下大于云计算的响应延迟(例如CPU拥堵率高于95%)。因此,监控移动边缘服务器任务池状态的方法可以有效缓解移动边缘服务器出现计算阻塞时计算响应延迟的问题。
最后,验证了λ所确定的协同计算调度策略的优化效果。在评估中,我们改变t和fedge来确定λ对3D模型数据服务响应延迟的影响。任务的t和fedge设置如图5所示,云计算、移动计算和协同计算的响应延迟如图9a所示。
图9a示出当λ小于7%时,协作计算的响应延迟大于移动边缘服务器的响应延迟。图9b示出当λ大于94.44%时,协作计算的响应延迟大于移动边缘服务器的响应延迟。这要是因为在协同计算中,在计算任务调度和计算结果集成的过程中会产生额外的延迟。因此,在实验环境中,λB被设置为95%。利用边界条件,CMCSF的最优控制在大多数情况下对系统的响应延迟有更好的控制效果。
以上所述,仅用以说明本发明的技术方案而非限制,本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换,只要不脱离本发明技术方案的精神和范围,均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于协同计算的移动Web增强现实3D模型数据服务方法,其特征在于,该方法包括以下步骤:
步骤1:在务器和移动边缘服务器之间建立基于协同计算的模型数据服务框架,由移动边缘服务器和云服务器共同执行3D模型数据计算服务;
步骤2:判断基于协同计算的3D模型数据服务的有效性;
步骤3:在基于协同计算的3D模型数据服务有效性的条件下,进行协同数据服务计算的预处理;
步骤4:确定协同数据服务计算任务分配策略。
2.根据权利要求1所述的一种基于协同计算的移动Web增强现实3D模型数据服务方法,其特征在于,在步骤1中,基于协同计算的模型数据服务框架包括
协同控制模块,交互处理后,用户的参数以接口的形式传送至移动边缘服务器的协同控制模块,所述移动边缘服务器的协同控制模块根据预先设定的算法计算客户端的用户参数,得到计算任务分配策略参数,移动边缘服务器和云服务器通过策略参数控制3D模型计算服务模块进行计算;
3D模型计算服务模块,用于根据预先部署的算法进行模型数据服务计算,在计算过程中,每个参数向量通过独立的、解耦的子模块按顺序进行计算;同时,将计算结果传输至模型数据接口模块,为移动设备提供数据服务;
模型数据接口模块,作为移动设备与移动边缘服务器、移动边缘服务器与云服务器之间的通信链路;在模型数据请求阶段,移动边缘服务器接口获取处理后的用户环境参数变量;在协同计算阶段,移动边缘服务器和云服务器之间的接口进行数据通信,以传输控制指令和控制计算状态;协同计算完成后,通过模型数据接口建立的通道传输加载和渲染3D模型数据;同时,移动边缘服务器的模型数据接口实现向移动设备提供数据服务;
协同计算缓存模块,在协同计算阶段,3D模型计算服务模块的计算结果以多粒度文件的队列数据结构存储在协同计算缓存模块中;当协同计算恢复结果数据时,CMCSF通过协同控制模块建立索引标记,以快速匹配计算需求。
3.根据权利要求1所述的一种基于协同计算的移动Web增强现实3D模型数据服务方法,其特征在于,在步骤2中,在基于协同计算的3D模型数据服务的情况下,移动边缘服务器、云服务器共同执行3D模型数据计算服务,相应的计算延迟为:
移动边缘服务器延迟:
Figure FDA0002984853670000021
云服务器延迟:
Figure FDA0002984853670000022
3D模型数据服务计算总延迟:
Figure FDA0002984853670000023
在基于协同计算的3D模型数据服务中,当
Figure FDA0002984853670000031
时,
Figure FDA0002984853670000032
是最优,由此可以得到:
Figure FDA0002984853670000033
为了便于分析,引入三个变量μ,ν,n,其中,μ=fcloud/fedge是云服务器计算资源与移动边缘服务器计算资源的比值,ν=fcloud/WC-E是云服务器计算资源与下行信道带宽的比值,n=t/k是比值在t和k之间,k表示模型计算服务中的3D模型展开系数,即k=L′model/Lmodel,引入μ,ν,n产生:
Figure FDA0002984853670000034
因此,在基于协同计算的3D模型数据服务的情况下,渲染计算延迟是
Figure FDA0002984853670000035
上式中下标eccol表示移动边缘服务器和云服务器协同计算;
采用云服务器作为3D模型数据服务器,忽略了多交互服务匹配的3D模型所占用的物理存储空间所带来的延迟成本,渲染计算延迟是
Figure FDA0002984853670000036
则优化后的3D模型数据服务计算总延迟:
T′render=min{T′render(eccol),T′render(cloud)}
当3D模型数据服务协同计算有效时,由此导出以下方程式:
Figure FDA0002984853670000041
建立μ,ν,n三者之间的数学关系:
Figure FDA0002984853670000042
4.根据权利要求3所述的一种基于协同计算的移动Web增强现实3D模型数据服务方法,其特征在于,在步骤3中,若基于协同计算的3D模型数据服务有效时,则在云服务器和移动边缘服务器之间建立相应的计算控制模块来控制协同计算。
5.根据权利要求3所述的一种基于协同计算的移动Web增强现实3D模型数据服务方法,其特征在于,在步骤4中,在基于协同计算的3D模型数据服务中,λ作为计算任务分配率,根据以下公式进行定量分析,
Figure FDA0002984853670000043
以λB作为分配条件,其中0<λB<1;当λ>λB,云服务器完全负责计算;当1-λB≤λ≤λB,计算是在云服务器和边缘服务器之间协作完成的;λ<1-λB,移动边缘服务器完全负责计算。
CN202110297383.3A 2021-03-19 2021-03-19 一种基于协同计算的移动Web增强现实3D模型数据服务方法 Active CN112989251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110297383.3A CN112989251B (zh) 2021-03-19 2021-03-19 一种基于协同计算的移动Web增强现实3D模型数据服务方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110297383.3A CN112989251B (zh) 2021-03-19 2021-03-19 一种基于协同计算的移动Web增强现实3D模型数据服务方法

Publications (2)

Publication Number Publication Date
CN112989251A true CN112989251A (zh) 2021-06-18
CN112989251B CN112989251B (zh) 2023-07-14

Family

ID=76334158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110297383.3A Active CN112989251B (zh) 2021-03-19 2021-03-19 一种基于协同计算的移动Web增强现实3D模型数据服务方法

Country Status (1)

Country Link
CN (1) CN112989251B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706718A (zh) * 2021-07-21 2021-11-26 广州中智达信科技有限公司 一种增强现实的协同方法、系统及应用
CN114042311A (zh) * 2021-11-15 2022-02-15 中国联合网络通信集团有限公司 信息处理方法、边缘服务器、电子设备、计算机介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110219419A1 (en) * 2002-05-10 2011-09-08 Richard Reisman Method and apparatus for browsing using alternative linkbases
CN106507415A (zh) * 2016-10-20 2017-03-15 北京工业大学 一种面向移动网络的内容缓存及网络协同方法
US10699488B1 (en) * 2018-09-07 2020-06-30 Facebook Technologies, Llc System and method for generating realistic augmented reality content
CN111585916A (zh) * 2019-12-26 2020-08-25 国网辽宁省电力有限公司电力科学研究院 基于云边协同的lte电力无线专网任务卸载和资源分配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110219419A1 (en) * 2002-05-10 2011-09-08 Richard Reisman Method and apparatus for browsing using alternative linkbases
CN106507415A (zh) * 2016-10-20 2017-03-15 北京工业大学 一种面向移动网络的内容缓存及网络协同方法
US10699488B1 (en) * 2018-09-07 2020-06-30 Facebook Technologies, Llc System and method for generating realistic augmented reality content
CN111585916A (zh) * 2019-12-26 2020-08-25 国网辽宁省电力有限公司电力科学研究院 基于云边协同的lte电力无线专网任务卸载和资源分配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIANG LI.ET.: "Rendering Optimization for Mobile Web 3D Based on Animation Data Separation and On-demand Loading", 《IEEE ACCESS》 *
闫浩然: "面向Web AR的云与边缘协同计算系统的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706718A (zh) * 2021-07-21 2021-11-26 广州中智达信科技有限公司 一种增强现实的协同方法、系统及应用
CN114042311A (zh) * 2021-11-15 2022-02-15 中国联合网络通信集团有限公司 信息处理方法、边缘服务器、电子设备、计算机介质

Also Published As

Publication number Publication date
CN112989251B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
Guo et al. Energy-efficient and delay-guaranteed workload allocation in IoT-edge-cloud computing systems
CN111242282B (zh) 基于端边云协同的深度学习模型训练加速方法
CN111835827A (zh) 物联网边缘计算任务卸载方法及系统
CN108418718B (zh) 一种基于边缘计算的数据处理延迟优化方法及系统
Kim et al. Multi-agent reinforcement learning-based resource management for end-to-end network slicing
CN112118312B (zh) 一种面向边缘服务器的网络突发负载疏散方法
CN109656703A (zh) 一种移动边缘计算辅助车辆任务卸载方法
CN110069341B (zh) 边缘计算中结合功能按需配置的有依赖关系任务的调度方法
Huang et al. DeePar: A hybrid device-edge-cloud execution framework for mobile deep learning applications
CN112416554A (zh) 一种任务迁移方法、装置、电子设备及存储介质
CN112989251B (zh) 一种基于协同计算的移动Web增强现实3D模型数据服务方法
CN109474681A (zh) 移动边缘计算服务器的资源分配方法、系统及服务器系统
CN111988787B (zh) 一种任务的网络接入和服务放置位置选择方法及系统
CN102684817A (zh) 一种基于数字喷泉码的云存储体系结构及服务提供方法
CN116489708B (zh) 面向元宇宙的云边端协同的移动边缘计算任务卸载方法
CN112862083B (zh) 一种边缘环境下的深度神经网络推断方法及装置
CN110519370A (zh) 一种基于设施选址问题的边缘计算资源分配方法
CN112162789A (zh) 一种基于软件定义的边缘计算随机卸载决策方法及系统
Wu et al. A mobile edge computing-based applications execution framework for Internet of Vehicles
Aloqaily et al. Blockchain and FL-based network resource management for interactive immersive services
Ghasemi et al. Energy-efficient mapping for a network of dnn models at the edge
Benchikh et al. Task scheduling approaches for fog computing
CN116954866A (zh) 基于深度强化学习的边缘云下任务调度方法及系统
CN115186210A (zh) 一种基于多粒度的Web 3D渲染和加载优化方法
CN111538583B (zh) 一种移动环境下车联网的低延迟协同任务处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant