CN110794965A - 一种移动虚拟现实语言交际模拟学习计算系统和方法 - Google Patents

一种移动虚拟现实语言交际模拟学习计算系统和方法 Download PDF

Info

Publication number
CN110794965A
CN110794965A CN201911012978.9A CN201911012978A CN110794965A CN 110794965 A CN110794965 A CN 110794965A CN 201911012978 A CN201911012978 A CN 201911012978A CN 110794965 A CN110794965 A CN 110794965A
Authority
CN
China
Prior art keywords
mobile
virtual reality
formula
mobile edge
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911012978.9A
Other languages
English (en)
Other versions
CN110794965B (zh
Inventor
江沸菠
代建华
刘帅
蒋莉华
董莉
柳隽琰
李睿恬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Normal University
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN201911012978.9A priority Critical patent/CN110794965B/zh
Publication of CN110794965A publication Critical patent/CN110794965A/zh
Application granted granted Critical
Publication of CN110794965B publication Critical patent/CN110794965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种移动虚拟现实语言交际模拟学习计算系统和方法，本发明通过构造一个具有能量收集功能的移动边缘计算系统，然后通过一个深度强化学习方法来生成边缘计算的任务卸载决策，该算法不需要任何手动标记的训练数据，并从过去的任务卸载经验中学习，通过强化学习来改进DNN产生的任务卸载动作；通过收缩本地搜索法来提高算法的收敛速度，训练后的DNN网络能够实现在线实时的任务卸载决策；该方法在考虑任务卸载计算的同时，兼顾了能量收集，能够解决移动终端的能量受限问题；该方法利用移动边缘计算和云计算协同解决了虚拟现实、增强现实这些新兴领域中大规模计算的时延和能耗问题，能够让用户在移动环境下实现虚拟现实语言交际的模拟学习。

Description

一种移动虚拟现实语言交际模拟学习计算系统和方法
技术领域
本发明属于移动虚拟现实技术领域，具体涉及一种移动虚拟现实语言交际模拟学习计算系统和方法。
背景技术
随着人工智能计算的快速发展，自然语言处理在计算机人机交互的研究中已取得突破性进展，但是语言的学习基于场景和环境，而新兴的虚拟现实技术能够为语言的学习提供沉浸式的学习和交互环境，是未来语言交际模拟学习的新热点。
然而，虚拟现实技术需要大量的图像计算资源和极低的通信延时，往往需要专门的虚拟现实设备和专用的通信线路。因此目前的虚拟现实设备均为虚拟现实专用设备且大多基于有线通信或超短距离无线通信。此外，移动环境下移动终端往往能耗受限，虚拟现实系统的计算需要大量的能耗，因此目前移动端的虚拟现实大多是一些很短时间的应用，难以实现长时间的语言交际模拟练习。基于移动环境下虚拟现实系统的设计是一个巨大的技术挑战。
随着物联网技术的发展，使得能量收集和移动边缘计算技术日趋成熟，因此结合了能量收集及移动边缘计算的虚拟现实系统能够有效地解决以上问题。因此，本发明设计了一种具有能量收集功能的移动边缘计算系统，并应用于移动环境下的虚拟现实语言交际模拟学习，使得移动终端能够在满足时延和能耗的前提下，快速地进行沉浸式的语言交际模拟学习。
发明内容
本发明的目的在于提供一种移动虚拟现实语言交际模拟学习计算系统和方法，将所述系统应用于虚拟现实语言交际训练，通过能量收集技术，移动终端的电池可以通过无线接口连续充电而无需更换电池；利用移动边缘计算层，移动终端可以将密集的虚拟现实计算任务和语言交际模拟学习计算任务卸载到附近的MEC(移动边缘计算)服务器，以减少计算延迟和能耗。
为了达到上述目的，本发明提供以下技术方案：
一种移动虚拟现实语言交际模拟学习计算系统，该系统由云计算层、移动边缘计算层和用户层组成，所述的云计算层包含一个云服务器(虚拟现实教学资源中心)；
该系统由云计算层、移动边缘计算层和用户层组成，所述的云计算层包含一个云服务器；
所述的移动边缘计算层包括若干个安装在无人机及无人汽车上的移动边缘计算(MEC)设备，形成异构的移动边缘网络，其中每个移动边缘计算设备包含能量发射模块、通信模块和MEC服务器；
所述的用户层包括若干个移动虚拟现实设备，其中每个移动虚拟现实设备包含能量收集模块、通信模块和处理器以及电池；云服务器通过无线信道向移动边缘计算层的通信模块、用户层的通信模块传输虚拟现实数据，并激活对应的语言交际模拟学习计算任务；
所述的移动边缘计算设备中通信模块与MEC服务器相连，能量发射模块与移动虚拟现实设备中的能量收集模块以无线链路的方式连接；所述的移动虚拟现实设备中的通信模块与处理器相连，电池对通信模块与处理器供能，并从能量收集模块接收能量。
本发明还提供一种基于深度强化学习的任务卸载方法，该方法包括以下步骤：
步骤一、根据当前用户的位置进行聚类分析，得到用户的分类，并根据分类用户的移动特性分配对应的无人机或无人汽车作为移动边缘计算设备；
步骤二、初始化一个深度神经网络DNN，网络参数θ随机产生；
步骤三、随机选择N个用户的信道增益h＝{hi,i＝1,...,N}作为DNN的输入，并基于当前的DNN网络函数fθ(·)输出任务卸载策略
Figure BDA0002244750820000021
为二进制的任务卸载策略集合，表示如下：
Figure BDA0002244750820000022
式中N为用户数目；
步骤四、针对当前的任务卸载策略
Figure BDA0002244750820000023
进行本地搜索，生成K个二进制的任务卸载策略x＝{xk，i|xk，i∈[0，1]，i＝1，...，N.k＝1，2，...K.}；
步骤五、根据下式计算每个任务卸载策略xk＝{xk，i|xk，i∈[0，1]，i＝1，...，N}的奖励值：
Figure BDA0002244750820000031
式(1)中xk,i为第i个用户的任务卸载策略(0代表本地执行，1代表卸载到MEC服务器执行)，τi为第i个用户的数据传输时间(如果xi＝0，则τi＝0)，a为移动边缘端给用户设备进行充电的能量传输时间，wi表示第i个用户的权重；
Figure BDA0002244750820000032
为本地计算的速率，公式为：
Figure BDA0002244750820000033
式(2)中∈为本地计算常数，ki为计算能耗效率系数，hi为移动边缘端与第i个用户之间的信道增益；
Figure BDA0002244750820000034
为数据传输速率，公式为：
Figure BDA0002244750820000035
式(3)中μ为能量收集效率，P为传输功率，N为接收机噪声功率，B是通信带宽，u为通信开销；
步骤六、根据下式选择最佳的任务卸载动作
Figure BDA0002244750820000036
Figure BDA0002244750820000037
并将{h,
Figure BDA0002244750820000038
}作为样本添加到DNN的样本库中；其中样本库采用有限的存储器，当存储空间已满，则采用先入先出的淘汰方法将早期样本淘汰；
步骤七、针对新的样本库，采用梯度下降法对DNN进行训练，训练的目标函数为：
Figure BDA0002244750820000039
式(5)中，S为本次训练被选出的样本集合，|S|表示集合的势；
步骤八、检查算法是否收敛，如果为是，则输出当前的DNN用于实时的任务卸载决策，如果为否，则转至步骤三，通过不断更新存储器中的样本来促使算法收敛。
利用上述算法，结合移动边缘计算层，移动终端可以将密集的虚拟现实计算卸载到附近的MEC服务器，以减少计算延迟和能耗。
进一步，所述步骤四中，式中xk,i通过收缩本地搜索法获取，具体为：
Figure BDA0002244750820000041
式(6)中，Rand为随机位置矢量；t为矢量长度，t为一个递减的整数，表示本地搜索范围逐渐减小。
进一步，所述步骤五中，由于公式中，τi和α取决于xi，所以一旦求解出xi后，可以根据下式求解最佳的τi*和α*：
Figure BDA0002244750820000042
Figure BDA0002244750820000043
式(7)～(8)中，
Figure BDA0002244750820000044
M1是卸载动作中选择卸载到MEC上任务的个数，
Figure BDA0002244750820000045
UB和LB分别是卸载矩阵的上下限，
Figure BDA0002244750820000046
为ν*的函数，公式为：
Figure BDA0002244750820000047
式(9)中，W(x)表示Lambert-W函数，exp表示e为底的指数函数，
Figure BDA0002244750820000048
本发明方法首先通过构造一个具有能量收集功能的移动边缘计算系统，然后通过一个深度强化学习方法来生成边缘计算的任务卸载决策，不需要任何手动标记的训练数据作为输入，因此解决了DNN的样本标记问题。同时训练后的DNN能够根据信道增益实时进行任务卸载决策，适合无线通信过程中信道快速变化的情况。
与现有技术相比，本发明具有以下优点：
1)本发明不需要任何手动标记的训练数据，并从过去的任务卸载经验中学习，通过强化学习来改进DNN产生的任务卸载动作。
2)本发明通过收缩本地搜索法来提高算法的收敛速度，训练后的DNN网络能够实现在线实时的任务卸载决策。
3)本发明在考虑任务卸载计算的同时，兼顾了能量收集，能够解决移动终端的能量受限问题。
4)本发明利用移动边缘计算和云计算协同解决了虚拟现实、增强现实这些新兴领域中大规模计算的时延和能耗问题，能够让用户在移动环境下实现虚拟现实语言交际的模拟学习。
5)本发明采用了无人机及无人汽车相结合的异构移动边缘计算网络，可以根据用户的移动状态动态分配无人机或无人汽车提供移动边缘计算的服务，增强的系统的灵活性，同时降低了成本。
附图说明
图1是本发明虚拟现实语言交际训练系统的系统模型图。
具体实施方式
下面结合具体实施例和附图对本发明进行进一步说明：
如图1所示，一种基于深度强化学习和移动边缘计算的移动虚拟现实语言交际模拟学习计算系统，该系统由云计算层、移动边缘计算层和用户层组成，云计算层包含一个云服务器；移动边缘计算层包括若干个安装在无人机及无人汽车上的移动边缘计算(MEC)设备，形成异构的移动边缘网络，其中每个移动边缘计算设备包含能量发射模块、通信模块和MEC服务器；
用户层包括若干个移动虚拟现实设备，其中每个移动虚拟现实设备包含能量收集模块、通信模块和处理器以及电池；云服务器通过无线信道向移动边缘计算层的通信模块、用户层的通信模块传输虚拟现实数据，并激活对应的语言交际模拟学习计算任务；移动边缘计算设备中通信模块与MEC服务器相连，能量发射模块与移动虚拟现实设备中的能量收集模块以无线链路的方式连接；移动虚拟现实设备中的通信模块与处理器相连，电池对通信模块与处理器供能，并从能量收集模块接收能量。
本发明还提供一种基于深度强化学习的任务卸载方法(MEC服务器)，该方法包括以下步骤：
步骤一、根据当前用户的位置进行聚类分析，得到用户的分类，并根据分类用户的移动特性分配对应的无人机或无人汽车作为移动边缘计算设备；
步骤二、初始化一个深度神经网络DNN，网络参数θ随机产生；
步骤三、随机选择N个用户的信道增益h＝{hi,i＝1,...,N}作为DNN的输入，并基于当前的DNN网络函数fθ(·)输出任务卸载策略
Figure BDA0002244750820000061
为二进制的任务卸载策略集合，表示如下：
Figure BDA0002244750820000062
式中N为用户数目；
步骤四、针对当前的任务卸载策略
Figure BDA0002244750820000063
进行本地搜索，生成K个二进制的任务卸载策略x＝{xk，i|xk，i∈[0，1]，i＝1，...，N.k＝1，2，...K.}；式中xk,i的通过收缩本地搜索法获取，具体为：
式(6)中，Rand为随机位置矢量；t为矢量长度，t为一个递减的整数，表示本地搜索范围逐渐减小；
步骤五、根据下式计算每个任务卸载策略xk＝{xk，i|xk，i∈[0，1]，i＝1，...，N}的奖励值：
Figure BDA0002244750820000065
式(1)中xk,i为第i个用户的任务卸载策略(0代表本地执行，1代表卸载到MEC服务器执行)，τi为第i个用户的数据传输时间(如果xi＝0，则τi＝0)，a为移动边缘端给用户设备进行充电的能量传输时间，wi表示第i个用户的权重；
为本地计算的速率，公式为：
Figure BDA0002244750820000067
式(2)中∈为本地计算常数，ki为计算能耗效率系数，hi为移动边缘端与第i个用户之间的信道增益；
为数据传输速率，公式为：
式(3)中μ为能量收集效率，P为传输功率，N为接收机噪声功率，B是通信带宽，u为通信开销；
由于公式中，τi和α取决于xi，所以一旦求解出xi后，可以根据下式求解最佳的τi*和α*：
Figure BDA0002244750820000071
Figure BDA0002244750820000072
式(7)～(8)中，
Figure BDA0002244750820000073
M1是卸载动作中选择卸载到MEC上任务的个数，
Figure BDA0002244750820000074
UB和LB分别是卸载矩阵的上下限，
Figure BDA0002244750820000075
为ν*的函数，公式为：
Figure BDA0002244750820000076
式(9)中，W(x)表示Lambert-W函数，exp表示e为底的指数函数，
Figure BDA0002244750820000077
步骤六、根据下式选择最佳的卸载动作
Figure BDA0002244750820000079
并将{h,
Figure BDA00022447508200000710
}作为样本添加到DNN的样本库中；其中样本库采用有限的存储器，当存储空间已满，则采用先入先出的淘汰方法将早期样本淘汰；
步骤七、针对新的样本库，采用梯度下降法对DNN进行训练，训练的目标函数为：
Figure BDA00022447508200000711
式(5)中，S为本次训练被选出的样本集合，|S|表示集合的势；
步骤八、检查算法是否收敛，如果为是，则输出当前的DNN用于实时的任务卸载决策，如果为否，则转至步骤三，通过不断更新存储器中的样本来促使算法收敛；
利用上述算法，结合移动边缘计算层，移动终端可以将密集的虚拟现实计算卸载到附近的MEC服务器，以减少计算延迟和能耗。
本发明的方法显著提高了虚拟现实数据在移动虚拟现实设备处理时的计算效率，降低了时延，同时无需考虑移动端的能耗，极大地提高了用户在交际模拟学习时的学习体验。

Claims (4)

1.一种移动虚拟现实语言交际模拟学习计算系统，其特征在于，该系统由云计算层、移动边缘计算层和用户层组成，所述的云计算层包含一个云服务器；
所述的移动边缘计算层包括若干个安装在无人机及无人汽车上的移动边缘计算(MEC)设备，形成异构的移动边缘网络，其中每个移动边缘计算设备包含能量发射模块、通信模块和MEC服务器；
所述的用户层包括若干个移动虚拟现实设备，其中每个移动虚拟现实设备包含能量收集模块、通信模块和处理器以及电池；云服务器通过无线信道向移动边缘计算层的通信模块、用户层的通信模块传输虚拟现实数据，并激活对应的语言交际模拟学习计算任务；
所述的移动边缘计算设备中通信模块与MEC服务器相连，能量发射模块与移动虚拟现实设备中的能量收集模块以无线链路的方式连接；所述的移动虚拟现实设备中的通信模块与处理器相连，电池对通信模块与处理器供能，并从能量收集模块接收能量。
2.一种基于深度强化学习的任务卸载方法，其特征在于，包括以下步骤：
步骤一、根据当前用户的位置进行聚类分析，得到用户的分类，并根据分类用户的移动特性分配对应的无人机或无人汽车作为移动边缘计算设备；
步骤二、在各移动边缘计算设备分别初始化一个深度神经网络DNN，网络参数θ随机产生；
步骤三、选择分配至该移动边缘计算设备上N个用户的信道增益h＝{hi,i＝1,...,N}作为DNN的输入，并基于当前的DNN网络函数fθ(·)输出任务卸载策略
Figure FDA0002244750810000011
Figure FDA0002244750810000012
为二进制的任务卸载策略集合，表示如下：
Figure FDA0002244750810000013
式中N为用户数目；
步骤四、针对当前的任务卸载策略
Figure FDA0002244750810000014
进行本地搜索，生成K个二进制的任务卸载策略x＝{xk，i|xk，i∈[0，1]，i＝1，...，N.k＝1，2，...K.}；
步骤五、根据下式计算每个任务卸载策略xk＝{xk，i|xk，i∈[0，1]，i＝1，...，N}的奖励值：
Figure FDA0002244750810000015
式(1)中xk,i为第i个用户的任务卸载策略(0代表本地执行，1代表卸载到MEC服务器执行)，τi为第i个用户的数据传输时间(如果xi＝0，则τi＝0)，a为移动边缘端给用户设备进行充电的能量传输时间，wi表示第i个用户的权重；
为本地计算的速率，公式为：
Figure FDA0002244750810000022
式(2)中∈为本地计算常数，ki为计算能耗效率系数，hi为移动边缘端与第i个用户之间的信道增益；
Figure FDA0002244750810000023
为数据传输速率，公式为：
Figure FDA0002244750810000024
式(3)中μ为能量收集效率，P为传输功率，N为接收机噪声功率，B是通信带宽，u为通信开销；
步骤六、根据下式选择最佳的任务卸载动作
Figure FDA0002244750810000025
并将
Figure FDA0002244750810000027
作为样本添加到DNN的样本库中；其中样本库采用有限的存储器，当存储空间已满，则采用先入先出的淘汰方法将早期样本淘汰；
步骤七、针对新的样本库，采用梯度下降法对DNN进行训练，训练的目标函数为：
Figure FDA0002244750810000028
式(5)中，S为本次训练被选出的样本集合，|S|表示集合的势；
步骤八、检查算法是否收敛，如果为是，则输出当前的DNN用于实时的任务卸载决策，如果为否，则转至步骤三，通过不断更新存储器中的样本来促使算法收敛。
3.根据权利要求2所述的基于深度强化学习的任务卸载方法，其特征在于，所述步骤四中，式中xk,i通过收缩本地搜索法获取，具体为：
Figure FDA0002244750810000029
式(6)中，Rand为随机位置矢量；t为矢量长度，t为一个递减的整数，表示本地搜索范围逐渐减小。
4.根据权利要求2所述的基于深度强化学习的任务卸载方法，其特征在于，所述步骤五中，由于公式中，τi和α取决于xi，所以一旦求解出xi后，可以根据下式求解最佳的τi*和α*：
Figure FDA0002244750810000031
Figure FDA0002244750810000032
式(7)～(8)中，
Figure FDA0002244750810000033
M1是卸载动作中选择卸载到MEC上任务的个数，
Figure FDA0002244750810000034
UB和LB分别是卸载矩阵的上下限，
Figure FDA0002244750810000035
为ν*的函数，公式为：
Figure FDA0002244750810000036
式(9)中，W(x)表示Lambert-W函数，exp表示e为底的指数函数，
CN201911012978.9A 2019-10-23 2019-10-23 一种基于深度强化学习的虚拟现实语言任务卸载方法 Active CN110794965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911012978.9A CN110794965B (zh) 2019-10-23 2019-10-23 一种基于深度强化学习的虚拟现实语言任务卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911012978.9A CN110794965B (zh) 2019-10-23 2019-10-23 一种基于深度强化学习的虚拟现实语言任务卸载方法

Publications (2)

Publication Number Publication Date
CN110794965A true CN110794965A (zh) 2020-02-14
CN110794965B CN110794965B (zh) 2021-06-04

Family

ID=69441045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911012978.9A Active CN110794965B (zh) 2019-10-23 2019-10-23 一种基于深度强化学习的虚拟现实语言任务卸载方法

Country Status (1)

Country Link
CN (1) CN110794965B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464983A (zh) * 2020-03-10 2020-07-28 深圳大学 一种无源边缘计算网络中的计算与通信协作方法及系统
CN111585637A (zh) * 2020-04-17 2020-08-25 长沙理工大学 一种基于边缘计算系统的无人机任务卸载和资源分配方法
CN111835827A (zh) * 2020-06-11 2020-10-27 北京邮电大学 物联网边缘计算任务卸载方法及系统
CN113010282A (zh) * 2021-03-03 2021-06-22 电子科技大学 一种基于深度强化学习的边云协同串行任务卸载方法
CN113032904A (zh) * 2021-03-22 2021-06-25 北京航空航天大学杭州创新研究院 模型构建方法、任务分配方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766135A (zh) * 2017-09-29 2018-03-06 东南大学 移动朵云中基于粒子群和模拟退火优化的任务分配方法
CN108809723A (zh) * 2018-06-14 2018-11-13 重庆邮电大学 一种边缘服务器联合任务卸载及卷积神经网络层调度方法
CN109257429A (zh) * 2018-09-25 2019-01-22 南京大学 一种基于深度强化学习的计算卸载调度方法
CN109302463A (zh) * 2018-09-17 2019-02-01 上海交通大学 一种面向边缘计算的自组云架构与优化方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766135A (zh) * 2017-09-29 2018-03-06 东南大学 移动朵云中基于粒子群和模拟退火优化的任务分配方法
CN108809723A (zh) * 2018-06-14 2018-11-13 重庆邮电大学 一种边缘服务器联合任务卸载及卷积神经网络层调度方法
CN109302463A (zh) * 2018-09-17 2019-02-01 上海交通大学 一种面向边缘计算的自组云架构与优化方法及系统
CN109257429A (zh) * 2018-09-25 2019-01-22 南京大学 一种基于深度强化学习的计算卸载调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TEA GYOON KANG 等: "DNN-Based Voice Activity Detection with Multi-Task Leannig", 《IEICE TRANSACTIONS ON INFORMATION AND SYSTERMS》 *
高昂 等: "基于神经网络的无人机云服务质量控制方法研究", 《兵工学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464983A (zh) * 2020-03-10 2020-07-28 深圳大学 一种无源边缘计算网络中的计算与通信协作方法及系统
CN111585637A (zh) * 2020-04-17 2020-08-25 长沙理工大学 一种基于边缘计算系统的无人机任务卸载和资源分配方法
CN111835827A (zh) * 2020-06-11 2020-10-27 北京邮电大学 物联网边缘计算任务卸载方法及系统
CN111835827B (zh) * 2020-06-11 2021-07-27 北京邮电大学 物联网边缘计算任务卸载方法及系统
CN113010282A (zh) * 2021-03-03 2021-06-22 电子科技大学 一种基于深度强化学习的边云协同串行任务卸载方法
CN113032904A (zh) * 2021-03-22 2021-06-25 北京航空航天大学杭州创新研究院 模型构建方法、任务分配方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110794965B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN110794965B (zh) 一种基于深度强化学习的虚拟现实语言任务卸载方法
Chen et al. DNNOff: offloading DNN-based intelligent IoT applications in mobile edge computing
Chen et al. An intelligent task offloading algorithm (iTOA) for UAV edge computing network
CN112351503B (zh) 基于任务预测的多无人机辅助边缘计算资源分配方法
Wu et al. Optimal UAV caching and trajectory in aerial-assisted vehicular networks: A learning-based approach
Ali et al. A deep learning approach for energy efficient computational offloading in mobile edge computing
Li et al. Edge AI: On-demand accelerating deep neural network inference via edge computing
Xu et al. Uav-assisted task offloading for iot in smart buildings and environment via deep reinforcement learning
Zhang et al. Deep reinforcement learning based IRS-assisted mobile edge computing under physical-layer security
Wu et al. Deep reinforcement learning-based computation offloading for 5G vehicle-aware multi-access edge computing network
CN113435472A (zh) 车载算力网络用户需求预测方法、系统、设备、介质
CN110958625B (zh) 一种基于移动边缘智能的实时多模态语言分析系统和方法
CN110428115A (zh) 基于深度强化学习的动态环境下的最大化系统效益方法
Xia et al. Intelligent task offloading and collaborative computation in multi-UAV-enabled mobile edge computing
Yan et al. Joint user access mode selection and content popularity prediction in non-orthogonal multiple access-based F-RANs
WO2022242468A1 (zh) 任务卸载方法、调度优化方法和装置、电子设备及存储介质
Ebrahim et al. A deep learning approach for task offloading in multi-UAV aided mobile edge computing
Ren et al. Computation offloading game in multiple unmanned aerial vehicle‐enabled mobile edge computing networks
Lv et al. Edge computing task offloading for environmental perception of autonomous vehicles in 6G networks
CN111930435A (zh) 一种基于pd-bpso技术的任务卸载决策方法
Sun et al. Joint ddpg and unsupervised learning for channel allocation and power control in centralized wireless cellular networks
CN115965078A (zh) 分类预测模型训练方法、分类预测方法、设备及存储介质
CN114980127A (zh) 雾无线接入网中基于联邦强化学习的计算卸载方法
Zhang et al. Guest editorial introduction to the special section on vehicular networks in the era of 6G: End-edge-cloud orchestrated intelligence
Dong et al. Deep Progressive Reinforcement Learning-Based Flexible Resource Scheduling Framework for IRS and UAV-Assisted MEC System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant