CN110958625A - 一种基于移动边缘智能的实时多模态语言分析系统和方法 - Google Patents

一种基于移动边缘智能的实时多模态语言分析系统和方法 Download PDF

Info

Publication number
CN110958625A
CN110958625A CN201911235877.8A CN201911235877A CN110958625A CN 110958625 A CN110958625 A CN 110958625A CN 201911235877 A CN201911235877 A CN 201911235877A CN 110958625 A CN110958625 A CN 110958625A
Authority
CN
China
Prior art keywords
task
mei
ith
server
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911235877.8A
Other languages
English (en)
Other versions
CN110958625B (zh
Inventor
江沸菠
董莉
王敏捷
代建华
王可之
刘帅
陈大卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Normal University
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN201911235877.8A priority Critical patent/CN110958625B/zh
Publication of CN110958625A publication Critical patent/CN110958625A/zh
Application granted granted Critical
Publication of CN110958625B publication Critical patent/CN110958625B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于移动边缘智能的实时多模态语言分析系统和方法，包括三类移动边缘智能服务器：移动基站(MGS)、无人车(UGV)和无人机(UAV)，三者的计算资源依次减小，移动的灵活性依次增加；所述的实时多模态语言分析系统，将用户的语言数据分成三种模态：文字、语音和图像，根据计算分析的难度和所需计算资源的大小，将计算任务分配至合适的MEI服务器上执行。本发明方法构造了一个动态环境下的实时多模态语言分析计算问题，然后通过一个深度学习在线优化方法来生成任务卸载矩阵和资源分配矩阵，同时根据通信时的信道条件和干扰，自动的实施MEI服务器的移动路径规划；训练后的DNN能够适用于多模态计算任务数目变化的动态场景，具有很强的实用性。

Description

一种基于移动边缘智能的实时多模态语言分析系统和方法
技术领域
本发明属于移动边缘计算技术领域，尤其涉及一种基于移动边缘智能的实时多模态语言分析系统和方法。
背景技术
随着人工智能技术的快速发展，语音识别、图像识别、文字识别等技术在计算机人机交互领域中已有突破性的进展，但是单一模态(单独的文字、语音或图像)的语言处理技术难以满足现实复杂的场景和环境，而多模态语言(综合了文字、语音和图像等多种表达方式)分析技术能让计算机听清、看清，更能深入理解语言交际场景背后的含义，减少交际中的误读误解，是未来语言交际分析的热点。
然而，多模态语言分析技术是一项前沿的多模态人工智能技术，需要复杂的人工智能模型作为支撑，实时多模态语言分析技术需要大量的计算资源和极低的通信延时，在目前的计算环境下难以实现。同时，如果进一步考虑移动环境，目前的移动终端往往能耗受限，而实时多模态语言分析系统中多模态人工智能模型的计算需要大量的能耗，因此目前移动端的语言分析大多采用单模态形式，难以实现实时多模态语言分析。所以基于移动环境下实时多模态语言分析系统和方法的设计是一个巨大的技术挑战。
随着物联网技术和人工智能技术的发展，移动边缘智能(MEI)技术日趋成熟。该技术利用无线接入网络就近提供用户服务和边缘计算功能，创造了一个具有低延迟，高性能的服务环境，同时降低了用户端的计算负荷和能耗。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于移动边缘智能的实时多模态语言分析系统和方法，结合移动边缘智能的多模态语言分析系统，应用于实时环境下的多模态语言分析，使得移动终端能够在满足时延和能耗的前提下，快速地分析做出判断。
本发明提供一种基于移动边缘智能的实时多模态语言分析系统，包括三类移动边缘智能(MEI)服务器：移动基站(MGS)、无人车(UGV)和无人机(UAV)，三者的计算资源依次减小，移动的灵活性依次增加；
所述的实时多模态语言分析系统，将用户的语言数据分成三种模态：文字、语音和图像，根据计算分析的难度和所需计算资源的大小，将计算任务分配至合适的MEI服务器上执行。
为了解决实时多模态语言分析计算问题，本发明还提供一种基于移动边缘智能的实时多模态语言分析系统的在线卸载方法，包括以下步骤：
步骤1、基于用户分布和信号衰落，通过聚类神经网络实时确定MEI服务器的最佳位置，并输出所有任务与MEI之间的隶属关系矩阵U；
步骤2、根据隶属关系矩阵
Figure BDA0002304867320000021
求解该问题输出卸载矩阵
Figure BDA0002304867320000022
和资源分配矩阵
Figure BDA0002304867320000023
ui表示第i个计算任务到 MEI的隶属关系，ai表示第i个计算任务的卸载决策，fi表示第i个计算任务分配的计算资源，根据不同的输入，反复执行启发式算法产生多个样本，形成样本库；
步骤3、初始化一个深度神经网络DNN，网络参数θ随机产生；
步骤4、利用样本库训练神经网络；
步骤5、根据实际输出与期望输出，计算网络的损失函数，然后更新网络参数，判断迭代次数是否超过TCNN，TCNN表示深度神经网络预定义的迭代次数，若超过TCNN，则进入DNN决策阶段，否则返回步骤4；
步骤6、DNN决策阶段：将第i个计算任务的隶属度ui作为DNN网络的输入，输出为第i个计算任务对应的卸载矩阵ai和资源分配矩阵fi。
优选的方案，步骤1中，具体为：
假设每个用户有一个多模态语言分析任务需要执行，包含文字、语音和图像三个子任务，根据当前任务的位置坐标提出一种基于用户分布和信号衰落的聚类神经网络确定MEI服务器的最佳位置，聚类神经网络包括计算任务位置层和竞争神经层2部分，计算任务zi与竞争神经元j的匹配程度通过信道质量信息h 进行计算：
H(zi，Wj)＝σh (1)
式(1)中zi＝(xi，yi)与Wj＝(Wj1，Wj2)分别为计算任务zi与竞争神经元权值 Wj的二维坐标，
Figure BDA0002304867320000031
为信道质量信息，
Figure BDA0002304867320000032
σ为神经元系数；H(zi，Wj)为任务zi与竞争神经元j的匹配程度；
将与计算任务zi距离最大的竞争神经元c作为最佳匹配输出神经元，并找到距离竞争神经元c距离最小的n个节点集合
Figure BDA0002304867320000033
然后根据下式训练输出竞争神经元j权值的更新量ΔWj；
Figure BDA0002304867320000034
式(2)中，η是聚类神经网络的学习率，t为迭代次数；
当神经网络迭代收敛后，竞争神经元权值Wj即为第j个MEI服务器的最佳位置；
根据MEI服务器的最佳位置即可求解第i个计算任务与第j个MEI服务器之间的隶属关系uij：
Figure BDA0002304867320000035
式(3)中d′ij表示信道的衰落信息，计算公式如下：
Figure BDA0002304867320000036
式(4)中，dij表示第i个计算任务位置与第j个MEI服务器之间的距离，即大尺度衰落分量，
Figure BDA0002304867320000037
是第i个计算任务到第j个MEI服务器的发射功率，τj是第j个 MEI服务器的小尺度衰落分量，γ是权重系数；
U＝[uij]是所有任务与MEI服务器之间的隶属关系矩阵，根据聚类后每个类别所持任务的数量由大到小依次将Wj分配给MGS，UGV和UAV。
优选的方案，步骤2中，具体为：
使用启发式算法计算多模态语言分析的任务优化卸载问题，所述的启发式算法包括但不限于粒子群优化算法、遗传算法和差分进化算法。
进一步，步骤2中，具体为：
首先将优化问题的目标函数表示为多模态任务和无人机共同的最小能耗目标：
Figure BDA0002304867320000041
式(5)中，A是卸载矩阵，F是资源分配矩阵；
Figure BDA0002304867320000042
当
Figure BDA0002304867320000043
时，表示第i个计算任务卸载到第j个MEI服务器执行，否则在本地执行第i个计算任务，
Figure BDA0002304867320000044
当
Figure BDA0002304867320000045
时，表示本地执行第i个计算任务，否则在某个MEI服务器执行；
Figure BDA0002304867320000046
表示第i个计算任务到第j个MEI服务器的发射功率；
Figure BDA0002304867320000047
是第i个计算任务本地执行所消耗的功率；Di表示第i个计算任务卸载时数据传输的大小；Fi表示第i个计算任务所需要的CPU总周期；
Figure BDA0002304867320000048
表示第i个计算任务的本地计算能力； rij表示第i个计算任务到第j个MEI服务器的传输速率；Pj表示第j个UAV的悬停功率；Tj表示第j个UAV的悬停时间；ρ为无人机功率系数；
Figure BDA0002304867320000049
表示任务的集合，
Figure BDA00023048673200000410
分别表示UAV，UGV和MGS的集合，该问题的约束条件如下：
Figure BDA00023048673200000411
Figure BDA00023048673200000412
Figure BDA00023048673200000413
Figure BDA00023048673200000414
Figure BDA00023048673200000415
Figure BDA00023048673200000416
Figure BDA0002304867320000051
其中，C1表示所有任务在MEI服务器或者本地执行；
C2表示如果任务选择卸载，则每个计算任务只能选择一个MEI服务器卸载；
C3是时延约束，Treq是满足计算需求的最长时间；
C4表示MEI服务器或者本地设备分配给任务的计算资源不得超过自身总计算资源，其中
Figure BDA0002304867320000052
表示第i个计算任务所能分配的最大本地计算资源，
Figure BDA0002304867320000053
表示第j个MEI服务器上的最大计算资源，fij表示第j个MEI服务器分配给第i 个计算任务的计算资源；
C5表示UAV的覆盖范围约束，其中
Figure BDA0002304867320000054
是第j个UAV的飞行高度，
Figure BDA0002304867320000055
是第j个UAV的通信角度，
Figure BDA0002304867320000056
是第i个计算任务到第j个UAV的通信半径；
根据隶属关系矩阵
Figure BDA0002304867320000057
求解该问题输出卸载矩阵
Figure BDA0002304867320000058
和资源分配矩阵
Figure BDA0002304867320000059
ui表示第i个计算任务到 MEI的隶属关系，ai表示第i个计算任务的卸载决策，fi表示第i个计算任务分配的计算资源，
Figure BDA00023048673200000510
表示所有任务的集合；根据环境中用户位置和信道信息的变化，改变公式(5)的输入条件，反复执行粒子群优化算法求解公式(5)产生多个样本，形成样本库。
优选的方案，可以使用其他启发式算法计算多模态语言分析的任务优化卸载问题。
优选的方案，步骤4中，具体为：
当网络迭代次数小于TCNN时，根据下式计算含L层结构DNN的前馈网络输出；TCNN表示深度神经网络预定义的迭代次数；
rι＝fι(rι-1；θι),ι＝1，...，L (6)
式(6)中，ri是第i层网络的输出，θι是第i层的网络参数，如果第i层是全连接层，则第i层的计算公式为：
fι(rι-1；θι)＝σ(Wιrι-1+bι) (7)
式(7)中，Wι是第ι层的权重，bι是第ι层的阈值，σ(·)是激活函数。
优选的方案，步骤5中，具体为：
根据实际输出
Figure BDA0002304867320000061
与期望输出p(n)，计算网络的损失函数，公式如下：
Figure BDA0002304867320000062
式(8)中，L(θ)为网络的损失函数，Nt为样本数量，
Figure BDA0002304867320000063
为误差评估指标，可以是均方差或者交叉熵，p(n)是样本标签，
Figure BDA0002304867320000064
是神经网络的预测输出；
然后更新网络参数，公式如下：
Figure BDA0002304867320000065
式(9)中，β是学习率，t为迭代次数，
Figure BDA0002304867320000067
为损失函数的梯度，θ(t)为迭代次数t时的神经网络参数；
然后判断迭代次数是否超过TCNN，若超过TCNN，则进入决策阶段，否则返回步骤4。
优选的方案，步骤6中，具体为：
DNN决策阶段：将第i个计算任务的隶属度ui作为DNN网络的输入，输出为第i个计算任务对应的卸载矩阵ai和资源分配矩阵fi；
同时在DNN网络的基础上增加约束层L+1和决策层L+2；
首先按下式由约束层检查DNN的输出；
rL+1，j＝gj(aι，fι) (10)
式(10)中，gj是第j个约束函数，如果DNN输出层满足约束，则函数将“1”输出到下一层，否则将“0”输出到下一层，DNN的最终输出决策层表示如下：
Figure BDA0002304867320000066
式(11)中，Nc是约束条件的数量；Nc起简单乘法器的作用；若DNN的输出层不满足所有约束条件，则最终输出rL+2＝0，即用户在本地执行任务，否则， DNN最终输出为rL+2＝rL。
利用上述算法，MEI服务器将自动移动到任务密集的用户区域，同时用户可以将密集的多模态语言分析计算任务卸载到附近的MEI服务器，以减少计算延迟和能耗。
本发明的方法显著提高了多模态语言分析系统的计算效率，降低了时延，同时无需考虑多模态任务数目的变化，极大地提高了多模态语言分析任务计算的实时性和准确性。
与现有技术相比，本发明具有以下优点：
1)将实时多模态语言分析的计算问题建模为一个优化目标函数，该优化问题同时考虑了计算时任务的能耗，时延，计算卸载和资源分配，也考虑了无人机的能耗资源，能够有效的满足实时多模态语言分析的各种需求。
2)提出了一个具有移动性的MEI网络，该网络包含移动基站(MGS)、无人车(UGV)和无人机(UAV)三种MEI服务器，这三种服务器的计算资源依次减小，但是移动的灵活性依次增加，可以灵活地为不同模态的语言分析提供计算服务。
3)提出了一种基于用户分布和信道衰落的移动MEI服务器运动轨迹优化方法，该方法采用聚类神经网络，以信道质量信息作为优化指标，可以根据用户和任务的数量及计算需求，动态地调整UAV，UGV和MGS的位置，实现实时优化的资源配置。
4)采用启发式算法求解定义好的优化问题，并为DNN离线训练提供了高质量的标记样本。
5)提出了一种新型的DNN实时计算卸载和任务决策方法，通过增加额外的约束层和决策层来满足优化过程中的约束条件。
6)该方法不需要同时输入所有任务的信息，而是将单个计算任务的隶属度作为输入，降低了DNN网络结构的复杂度，适合于用户或任务数量变化的连续动态的场景。
附图说明
图1是本发明多模态语言分析系统的系统模型图。
图2是本发明在线卸载方法的流程图。
具体实施方式
下面结合具体实施例和附图对本发明进行进一步说明：
如图1所示，本发明多模态语言分析系统的系统包括UAV，UGV和MGS 三种MEI服务器，每手机和笔记本等移动终端上有各种单模态或多模态任务，根据我们的方法将各种任务卸载到UAV，UGV和MGS上执行，三者的计算资源依次减小，移动的灵活性依次增加，实现实时、高效的多模态语言分析；
本方案将用户的语言数据分成三种模态：文字、语音和图像，根据计算分析的难度和所需计算资源的大小，将计算任务分配至合适的MEI服务器上执行。
本发明还提供一种基于移动边缘智能的实时多模态语言分析系统的在线卸载方法，如图2所示，包括以下步骤：
步骤1、基于用户分布和信号衰落，通过聚类神经网络实时确定MEI服务器的最佳位置，并输出所有任务与MEI之间的隶属关系矩阵U；
假设每个用户有一个多模态语言分析任务需要执行，包含文字、语音和图像三个子任务，根据当前任务的位置坐标提出一种基于用户分布和信号衰落的聚类神经网络确定MEI服务器的最佳位置，聚类神经网络包括计算任务位置层和竞争神经层2部分，计算任务zi与竞争神经元j的匹配程度通过信道质量信息h 进行计算：
Figure BDA0002304867320000081
式(1)中zi＝(xi，yi)与Wj＝(Wj1，Wj2)分别为计算任务zi与竞争神经元权值 Wj的二维坐标，
Figure BDA0002304867320000082
为信道质量信息，
Figure BDA0002304867320000083
σ为神经元系数；H(zi，Wj)为任务zi与竞争神经元j的匹配程度；
将与计算任务zi距离最大的竞争神经元c作为最佳匹配输出神经元，并找到距离竞争神经元c距离最小的n个节点集合
Figure BDA0002304867320000084
然后根据下式训练输出竞争神经元j权值的更新量ΔWj；
Figure BDA0002304867320000085
式(2)中，η是聚类神经网络的学习率，t为迭代次数；
当神经网络迭代收敛后，竞争神经元权值Wj即为第j个MEI服务器的最佳位置；
根据MEI服务器的最佳位置即可求解第i个计算任务与第j个MEI服务器之间的隶属关系uij：
Figure BDA0002304867320000091
式(3)中d′ij表示信道的衰落信息，计算公式如下：
Figure BDA0002304867320000092
式(4)中，dij表示第i个计算任务位置与第j个MEI服务器之间的距离，即大尺度衰落分量，
Figure BDA0002304867320000093
是第i个计算任务到第j个MEI服务器的发射功率，τj是第j个 MEI服务器的小尺度衰落分量，γ是权重系数；
U＝[uij]是所有任务与MEI服务器之间的隶属关系矩阵，根据聚类后每个类别所持任务的数量由大到小依次将Wj分配给MGS，UGV和UAV。
步骤2、首先将优化问题的目标函数表示为多模态任务和无人机共同的最小能耗目标：
Figure BDA0002304867320000094
式(5)中，A是卸载矩阵，F是资源分配矩阵；
Figure BDA0002304867320000095
当
Figure BDA0002304867320000096
时，表示第i个计算任务卸载到第j个MEI服务器执行，否则在本地执行第i个计算任务，
Figure BDA0002304867320000097
当
Figure BDA0002304867320000098
时，表示本地执行第i个计算任务，否则在某个MEI服务器执行；
Figure BDA0002304867320000099
表示第i个计算任务到第j个MEI服务器的发射功率；
Figure BDA00023048673200000910
是第i个计算任务本地执行所消耗的功率；Di表示第i个计算任务卸载时数据传输的大小；Fi表示第i个计算任务所需要的CPU总周期；fi L表示第i个计算任务的本地计算能力； rij表示第i个计算任务到第j个MEI服务器的传输速率；Pj表示第j个UAV的悬停功率；Tj表示第j个UAV的悬停时间；ρ为无人机功率系数；
Figure BDA00023048673200000911
表示任务的集合，
Figure BDA00023048673200000912
分别表示UAV，UGV和MGS的集合，该问题的约束条件如下：
Figure BDA0002304867320000101
Figure BDA0002304867320000102
Figure BDA0002304867320000103
Figure BDA0002304867320000104
Figure BDA0002304867320000105
Figure BDA0002304867320000106
Figure BDA0002304867320000107
其中，C1表示所有任务在MEI服务器或者本地执行；
C2表示如果任务选择卸载，则每个计算任务只能选择一个MEI服务器卸载；
C3是时延约束，Treq是满足计算需求的最长时间；
C4表示MEI服务器或者本地设备分配给任务的计算资源不得超过自身总计算资源，其中
Figure BDA0002304867320000108
表示第i个计算任务所能分配的最大本地计算资源，
Figure BDA0002304867320000109
表示第j个MEI服务器上的最大计算资源，fij表示第j个MEI服务器分配给第i 个计算任务的计算资源；
C5表示UAV的覆盖范围约束，其中
Figure BDA00023048673200001010
是第j个UAV的飞行高度，
Figure BDA00023048673200001011
是第j个UAV的通信角度，
Figure BDA00023048673200001012
是第i个计算任务到第j个UAV的通信半径；
根据隶属关系矩阵
Figure BDA00023048673200001013
求解该问题输出卸载矩阵
Figure BDA00023048673200001014
和资源分配矩阵
Figure BDA00023048673200001015
ui表示第i个计算任务到 MEI的隶属关系，ai表示第i个计算任务的卸载决策，fi表示第i个计算任务分配的计算资源，
Figure BDA00023048673200001016
表示所有任务的集合；根据环境中用户位置和信道信息的变化，改变公式(5)的输入条件，反复执行粒子群优化算法求解公式(5)产生多个样本，形成样本库；
所述的粒子群优化算法，具体过程可参见：
(Kennedy J,Eberhart R.Particle swarm optimization(PSO)[C]//Proc.IEEEInternat ional Conference on Neural Networks,Perth,Australia.1995:1942-1948.)
步骤3、初始化一个深度神经网络DNN，网络参数θ随机产生；
步骤4、利用样本库训练神经网络：
当网络迭代次数小于TCNN时，TCNN表示深度神经网络预定义的迭代次数，根据下式计算含L层结构DNN的前馈网络输出；
rι＝fι(rι-1；θι)，ι＝1，...，L (6)
式(6)中，rι是第ι层网络的输出，θι是第ι层的网络参数，如果第ι层是全连接层，则第ι层的计算公式为：
fι(rι-1；θι)＝σ(Wιrι-1+bι) (7)
式(7)中，Wι是第ι层的权重，bι是第ι层的阈值，σ(·)是激活函数。
步骤5、根据实际输出
Figure BDA0002304867320000111
与期望输出p(n)，计算网络的损失函数，公式如下：
Figure BDA0002304867320000112
式(8)中，L(θ)为网络的损失函数，Nt为样本数量，
Figure BDA0002304867320000113
为误差评估指标，可以是均方差或者交叉熵，p(n)是样本标签，
Figure BDA0002304867320000114
是神经网络的预测输出；
然后更新网络参数，公式如下：
Figure BDA0002304867320000115
式(9)中，β是学习率，t为迭代次数，
Figure BDA0002304867320000116
为损失函数的梯度，θ(t)为迭代次数t时的神经网络参数；
然后判断迭代次数是否超过TCNN，若超过TCNN，则进入决策阶段，否则返回步骤4；
步骤6、DNN决策阶段：将第i个计算任务的隶属度ui作为DNN网络的输入，输出为第i个计算任务对应的卸载矩阵ai和资源分配矩阵fi：
同时在DNN网络的基础上增加约束层L+1和决策层L+2；
首先按下式由约束层检查DNN的输出；
rL+1，j＝gj(aι，fι) (10)
式(10)中，gj是第j个约束函数，如果DNN输出层满足约束，则函数将“1”输出到下一层，否则将“0”输出到下一层，DNN的最终输出决策层表示如下：
Figure BDA0002304867320000121
式(11)中，Nc是约束条件的数量；Nc起简单乘法器的作用；若DNN的输出层不满足所有约束条件，则最终输出rL+2＝0，即用户在本地执行任务，否则， DNN最终输出为rL+2＝rL。
本发明方法构造了一个动态环境下的实时多模态语言分析计算问题，然后通过一个深度学习在线优化方法来生成任务卸载矩阵和资源分配矩阵，同时根据通信时的用户分布和信道干扰，采用聚类神经网络自动地实施MEI服务器的移动路径规划；训练后的DNN能够适用于多模态计算任务数目变化的动态场景，具有很强的实用性。

Claims (8)

1.一种基于移动边缘智能的实时多模态语言分析系统，其特征在于，包括三类MEI服务器：移动基站(MGS)、无人车(UGV)和无人机(UAV)，三者的计算资源依次减小，移动的灵活性依次增加；
所述的实时多模态语言分析系统，将用户的语言数据分成三种模态：文字、语音和图像，根据计算分析的难度和所需计算资源的大小，将计算任务分配至合适的MEI服务器上执行。
2.一种根据权利要求1所述基于移动边缘智能的实时多模态语言分析系统的在线卸载方法，其特征在于，包括以下步骤：
步骤1、基于用户分布和信号衰落，通过聚类神经网络实时确定MEI服务器的最佳位置，并输出所有任务与MEI之间的隶属关系矩阵U；
步骤2、根据隶属关系矩阵
Figure FDA0002304867310000011
求解该问题输出卸载矩阵
Figure FDA0002304867310000012
和资源分配矩阵
Figure FDA0002304867310000013
ui表示第i个计算任务到MEI的隶属关系，ai表示第i个计算任务的卸载决策，fi表示第i个计算任务分配的计算资源，
Figure FDA0002304867310000014
表示所有任务的集合，根据不同的输入，反复执行启发式算法产生多个样本，形成样本库；
步骤3、初始化一个深度神经网络DNN，网络参数θ随机产生；
步骤4、利用样本库训练神经网络；
步骤5、根据实际输出与期望输出，计算网络的损失函数，然后更新网络参数，判断迭代次数是否超过TCNN，TCNN表示深度神经网络预定义的迭代次数，若超过TCNN，则进入DNN决策阶段，否则返回步骤4；
步骤6、DNN决策阶段：将第i个计算任务的隶属度ui作为DNN网络的输入，输出为第i个计算任务对应的卸载矩阵ai和资源分配矩阵fi。
3.根据权利要求2所述的在线卸载方法，其特征在于，步骤1中，具体为：
假设每个用户有一个多模态语言分析任务需要执行，包含文字、语音和图像三个子任务，根据当前任务的位置坐标提出一种基于用户分布和信号衰落的聚类神经网络确定MEI服务器的最佳位置，聚类神经网络包括计算任务位置层和竞争神经层2部分，计算任务zi与竞争神经元j的匹配程度通过信道质量信息h进行计算：
H(zi，Wj)＝σh (1)
式(1)中zi＝(xi，yi)与Wj＝(Wj1，Wj2)分别为计算任务zi与竞争神经元权值Wj的二维坐标，
Figure FDA0002304867310000021
为信道质量信息，
Figure FDA0002304867310000022
σ为神经元系数；H(zi，Wj)为任务zi与竞争神经元j的匹配程度；
将与计算任务zi距离最大的竞争神经元c作为最佳匹配输出神经元，并找到距离竞争神经元c距离最小的n个节点集合
Figure FDA0002304867310000023
然后根据下式训练输出竞争神经元j权值的更新量ΔWj；
Figure FDA0002304867310000024
式(2)中，η是聚类神经网络的学习率，t为迭代次数；
当神经网络迭代收敛后，竞争神经元权值Wj即为第j个MEI服务器的最佳位置；
根据MEI服务器的最佳位置即可求解第i个计算任务与第j个MEI服务器之间的隶属关系uij：
Figure FDA0002304867310000025
式(3)中d′ij表示信道的衰落信息，计算公式如下：
Figure FDA0002304867310000026
式(4)中，dij表示第i个计算任务位置与第j个MEI服务器之间的距离，即大尺度衰落分量，
Figure FDA0002304867310000027
是第i个计算任务到第j个MEI服务器的发射功率，τj是第j个MEI服务器的小尺度衰落分量，γ是权重系数；
U＝[uij]是所有任务与MEI服务器之间的隶属关系矩阵，根据聚类后每个类别所持任务的数量由大到小依次将Wj分配给MGS，UGV和UAV。
4.根据权利要求2所述的在线卸载方法，其特征在于，步骤2中，具体为：
使用启发式算法计算多模态语言分析的任务优化卸载问题，所述的启发式算法包括但不限于粒子群优化算法、遗传算法和差分进化算法。
5.根据权利要求4所述的在线卸载方法，其特征在于，具体为：
首先将优化问题的目标函数表示为多模态任务和无人机共同的最小能耗目标：
Figure FDA0002304867310000031
式(5)中，A是卸载矩阵，F是资源分配矩阵；
Figure FDA0002304867310000032
当
Figure FDA0002304867310000033
时，表示第i个计算任务卸载到第j个MEI服务器执行，否则在本地执行第i个计算任务，
Figure FDA0002304867310000034
当
Figure FDA0002304867310000035
时，表示本地执行第i个计算任务，否则在某个MEI服务器执行；
Figure FDA0002304867310000036
表示第i个计算任务到第j个MEI服务器的发射功率；
Figure FDA0002304867310000037
是第i个计算任务本地执行所消耗的功率；Di表示第i个计算任务卸载时数据传输的大小；Fi表示第i个计算任务所需要的CPU总周期；fi L表示第i个计算任务的本地计算能力；rij表示第i个计算任务到第j个MEI服务器的传输速率；Pj表示第j个UAV的悬停功率；Tj表示第j个UAV的悬停时间；ρ为无人机功率系数；
Figure FDA0002304867310000038
表示任务的集合，
Figure FDA0002304867310000039
分别表示UAV，UGV和MGS的集合，该问题的约束条件如下：
Figure FDA00023048673100000310
Figure FDA00023048673100000311
Figure FDA00023048673100000312
Figure FDA00023048673100000313
Figure FDA0002304867310000041
Figure FDA0002304867310000042
Figure FDA0002304867310000043
其中，C1表示所有任务在MEI服务器或者本地执行；
C2表示如果任务选择卸载，则每个计算任务只能选择一个MEI服务器卸载；
C3是时延约束，Treq是满足计算需求的最长时间；
C4表示MEI服务器或者本地设备分配给任务的计算资源不得超过自身总计算资源，其中
Figure FDA0002304867310000044
表示第i个计算任务所能分配的最大本地计算资源，
Figure FDA0002304867310000045
表示第j个MEI服务器上的最大计算资源，fij表示第j个MEI服务器分配给第i个计算任务的计算资源；
C5表示UAV的覆盖范围约束，其中
Figure FDA0002304867310000046
是第j个UAV的飞行高度，
Figure FDA0002304867310000047
是第j个UAV的通信角度，
Figure FDA0002304867310000048
是第i个计算任务到第j个UAV的通信半径；
根据隶属关系矩阵
Figure FDA0002304867310000049
求解该问题输出卸载矩阵
Figure FDA00023048673100000410
和资源分配矩阵
Figure FDA00023048673100000411
ui表示第i个计算任务到MEI的隶属关系，ai表示第i个计算任务的卸载决策，fi表示第i个计算任务分配的计算资源，
Figure FDA00023048673100000412
表示所有任务的集合；根据环境中用户位置和信道信息的变化，改变公式(5)的输入条件，反复执行粒子群优化算法求解公式(5)产生多个样本，形成样本库。
6.根据权利要求2所述的在线卸载方法，其特征在于，步骤4中，具体为：
当网络迭代次数小于TCNN时，根据下式计算含L层结构DNN的前馈网络输出；
rι＝fι(rι-1；θι)，ι＝1，...，L (6)
式(6)中，rι是第ι层网络的输出，θι是第ι层的网络参数，如果第ι层是全连接层，则第ι层的计算公式为：
fl(rl-1；θl)＝σ(Wlrl-1+bl) (7)
式(7)中，Wι是第ι层的权重，bl是第ι层的阈值，σ(·)是激活函数。
7.根据权利要求2所述的在线卸载方法，其特征在于，步骤5中，具体为：
根据实际输出
Figure FDA0002304867310000051
与期望输出p(n)，计算网络的损失函数，公式如下：
Figure FDA0002304867310000052
式(8)中，L(θ)为网络的损失函数，Nt为样本数量，
Figure FDA0002304867310000053
为误差评估指标，可以是均方差或者交叉熵，p(n)是样本标签，
Figure FDA0002304867310000054
是神经网络的预测输出；
然后更新网络参数，公式如下：
Figure FDA0002304867310000055
式(9)中，β是学习率，t为迭代次数，
Figure FDA0002304867310000056
为损失函数的梯度，θ(t)为迭代次数t时的神经网络参数；
然后判断迭代次数是否超过TCNN，若超过TCNN，则进入决策阶段，否则返回步骤4。
8.根据权利要求2所述的在线卸载方法，其特征在于，步骤6中，具体为：
DNN决策阶段：将第i个计算任务的隶属度ui作为DNN网络的输入，输出为第i个计算任务对应的卸载矩阵ai和资源分配矩阵fi；
同时在DNN网络的基础上增加约束层L+1和决策层L+2；
首先按下式由约束层检查DNN的输出；
rL+1，j＝gi(al，fl) (10)
式(10)中，gj是第j个约束函数，如果DNN输出层满足约束，则函数将“1”输出到下一层，否则将“0”输出到下一层，DNN的最终输出决策层表示如下：
Figure FDA0002304867310000057
式(11)中，Nc是约束条件的数量；Nc起简单乘法器的作用；若DNN的输出层不满足所有约束条件，则最终输出rL+2＝0，即用户在本地执行任务，否则，DNN最终输出为rL+2＝rL。
CN201911235877.8A 2019-12-05 2019-12-05 一种基于移动边缘智能的实时多模态语言分析系统和方法 Expired - Fee Related CN110958625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911235877.8A CN110958625B (zh) 2019-12-05 2019-12-05 一种基于移动边缘智能的实时多模态语言分析系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911235877.8A CN110958625B (zh) 2019-12-05 2019-12-05 一种基于移动边缘智能的实时多模态语言分析系统和方法

Publications (2)

Publication Number Publication Date
CN110958625A true CN110958625A (zh) 2020-04-03
CN110958625B CN110958625B (zh) 2021-06-04

Family

ID=69980122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911235877.8A Expired - Fee Related CN110958625B (zh) 2019-12-05 2019-12-05 一种基于移动边缘智能的实时多模态语言分析系统和方法

Country Status (1)

Country Link
CN (1) CN110958625B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918311A (zh) * 2020-08-12 2020-11-10 重庆邮电大学 基于5g移动边缘计算的车联网任务卸载和资源分配方法
CN112422644A (zh) * 2020-11-02 2021-02-26 北京邮电大学 计算任务卸载方法及系统、电子设备和存储介质
CN112666948A (zh) * 2020-12-21 2021-04-16 燕山大学 一种基于信道建模的自主水下航行器路径规划方法
CN114973673A (zh) * 2022-05-24 2022-08-30 华南理工大学 车路协同系统中结合noma和内容缓存的任务卸载方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240818A (zh) * 2018-09-04 2019-01-18 中南大学 一种边缘计算网络中基于用户体验的任务卸载方法
CN109302463A (zh) * 2018-09-17 2019-02-01 上海交通大学 一种面向边缘计算的自组云架构与优化方法及系统
CN109743099A (zh) * 2019-01-10 2019-05-10 深圳市简智联信息科技有限公司 移动边缘计算系统及其资源分配方法
CN110099384A (zh) * 2019-04-25 2019-08-06 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
WO2019162835A1 (en) * 2018-02-23 2019-08-29 Nokia Technologies Oy Control service for controlling devices with body-action input devices
CN110458283A (zh) * 2019-08-13 2019-11-15 南京理工大学 基于深度强化学习的静态环境下的最大化全局吞吐量方法
CN110519776A (zh) * 2019-08-07 2019-11-29 东南大学 一种雾计算系统中的均衡聚类和联合资源分配方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019162835A1 (en) * 2018-02-23 2019-08-29 Nokia Technologies Oy Control service for controlling devices with body-action input devices
CN109240818A (zh) * 2018-09-04 2019-01-18 中南大学 一种边缘计算网络中基于用户体验的任务卸载方法
CN109302463A (zh) * 2018-09-17 2019-02-01 上海交通大学 一种面向边缘计算的自组云架构与优化方法及系统
CN109743099A (zh) * 2019-01-10 2019-05-10 深圳市简智联信息科技有限公司 移动边缘计算系统及其资源分配方法
CN110099384A (zh) * 2019-04-25 2019-08-06 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
CN110519776A (zh) * 2019-08-07 2019-11-29 东南大学 一种雾计算系统中的均衡聚类和联合资源分配方法
CN110458283A (zh) * 2019-08-13 2019-11-15 南京理工大学 基于深度强化学习的静态环境下的最大化全局吞吐量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任杰，高岭，于佳龙，袁璐: "面向边缘设备的高能效深度学习任务调度策略", 《计算机学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918311A (zh) * 2020-08-12 2020-11-10 重庆邮电大学 基于5g移动边缘计算的车联网任务卸载和资源分配方法
CN111918311B (zh) * 2020-08-12 2022-04-12 重庆邮电大学 基于5g移动边缘计算的车联网任务卸载和资源分配方法
CN112422644A (zh) * 2020-11-02 2021-02-26 北京邮电大学 计算任务卸载方法及系统、电子设备和存储介质
CN112422644B (zh) * 2020-11-02 2021-08-31 北京邮电大学 计算任务卸载方法及系统、电子设备和存储介质
CN112666948A (zh) * 2020-12-21 2021-04-16 燕山大学 一种基于信道建模的自主水下航行器路径规划方法
CN112666948B (zh) * 2020-12-21 2022-07-01 燕山大学 一种基于信道建模的自主水下航行器路径规划方法
CN114973673A (zh) * 2022-05-24 2022-08-30 华南理工大学 车路协同系统中结合noma和内容缓存的任务卸载方法
CN114973673B (zh) * 2022-05-24 2023-07-18 华南理工大学 车路协同系统中结合noma和内容缓存的任务卸载方法

Also Published As

Publication number Publication date
CN110958625B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN110958625B (zh) 一种基于移动边缘智能的实时多模态语言分析系统和方法
Chen et al. DNNOff: offloading DNN-based intelligent IoT applications in mobile edge computing
CN112351503B (zh) 基于任务预测的多无人机辅助边缘计算资源分配方法
CN113950066B (zh) 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN110794965B (zh) 一种基于深度强化学习的虚拟现实语言任务卸载方法
CN110968426B (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN110428115A (zh) 基于深度强化学习的动态环境下的最大化系统效益方法
CN110531996B (zh) 一种多微云环境下基于粒子群优化的计算任务卸载方法
CN112784362A (zh) 一种用于无人机辅助边缘计算的混合优化方法及系统
CN114169234A (zh) 一种无人机辅助移动边缘计算的调度优化方法及系统
CN114585006B (zh) 基于深度学习的边缘计算任务卸载和资源分配方法
CN112788605A (zh) 基于双延迟深度确定性策略边缘计算资源调度方法和系统
WO2022242468A1 (zh) 任务卸载方法、调度优化方法和装置、电子设备及存储介质
CN111104831B (zh) 一种视觉追踪方法、装置、计算机设备以及介质
Bai et al. Learning-based resilience guarantee for multi-UAV collaborative QoS management
Ebrahim et al. A deep learning approach for task offloading in multi-UAV aided mobile edge computing
CN113283186A (zh) 一种用于cfd的通用网格自适应方法
Xu et al. Research on computing offloading strategy based on Genetic Ant Colony fusion algorithm
Wei et al. Joint UAV trajectory planning, DAG task scheduling, and service function deployment based on DRL in UAV-empowered edge computing
CN111343602B (zh) 基于进化算法的联合布局与任务调度优化方法
Lv et al. Edge computing task offloading for environmental perception of autonomous vehicles in 6G networks
CN111930435B (zh) 一种基于pd-bpso技术的任务卸载决策方法
CN114844886A (zh) 云边结合环境下基于海鸥优化算法的移动服务选择方法
Sadatdiynov et al. An intelligent hybrid method: Multi-objective optimization for MEC-enabled devices of IoE
CN114650321A (zh) 用于边缘计算的任务调度方法及边缘计算终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210604

Termination date: 20211205