CN115913987B - 一种边缘计算环境下的智能公交服务卸载方法 - Google Patents

Abstract

本发明属于边缘计算领域，公开了一种边缘计算环境下的智能公交服务卸载方法，包括步骤A：建立三层系统模型；步骤B：建立网络通信模型，步骤C：建立任务时延计算模型，步骤D：问题建模，通过计算单个车机的总时延可以求出整个系统的综合时延；步骤E：通过深度强化学习算法DQN结合长短期记忆网络选择最优卸载决策。本发明通过将边缘服务器部署在靠近车辆的位置，大大降低了传输延迟。同时，对于车辆行驶过程中所遇到的各种问题，利用深度学习的感知能力和强化学习的决策能力，再加入LSTM网络对环境状态的整合能力，逐渐收敛到我们想要的最优决策，从而生成服务卸载决策。

Description

一种边缘计算环境下的智能公交服务卸载方法

技术领域

本发明属于边缘计算领域，尤其涉及一种边缘计算环境下的智能公交服务卸载方法。

背景技术

现在的汽车基本都具有无线通信技术，车联网将车辆、路边服务节点和云服务提供商连接成了一个整体，以此来实现各自之间的连接。随着技术的发展，公交车也将逐渐具备自动驾驶以及各种车载娱乐功能，节省人力的同时也能够提升乘客的体验。公交车将通过与车联网结合，加大公交车的投入，能够有效缓解城市中由于私家车增加所带来的交通问题，乘客体验也会因此增加。

然而，目前车载的计算设备的计算能力有限，目前已知的车载智能化是将车辆产生的用户需求发送到云服务中心处理，云服务器处理完成后再发送回车辆。然而，由于云端与车辆距离过远，因此，这个过程中可能会存在一些时延，当交通环境比较复杂时，一定的时延就很可能会引起交通问题。

发明内容

本发明目的在于提供一种边缘计算环境下的智能公交服务卸载方法，以解决云端与车辆距离过远，任务处理存在延时的技术问题。

为解决上述技术问题，本发明的一种边缘计算环境下的智能公交服务卸载方法的具体技术方案如下：

一种边缘计算环境下的智能公交服务卸载方法，包括如下步骤：

步骤A：建立云端、边缘计算服务器和车机系统三层系统模型；

步骤B：建立网络通信模型，

步骤C：建立任务时延计算模型，第一种车机本地执行，第二种卸载到边缘服务器执行，第三种经由边缘服务器转发到云端执行；

步骤D：问题建模，通过计算单个车机的总时延可以求出整个系统的综合时延；

步骤E：通过深度强化学习算法DQN结合长短期记忆网络选择最优卸载决策。

进一步地，所述步骤A包括如下具体步骤：

车机系统的每个车机都具有计算能力，用于计算车载任务，车机带有5G模块，通过5G无线信道进行通信，当本地计算性能无法满足任务的计算需求时，将任务卸载到边缘服务器上，或者通过边缘服务器转发到云端完成，云端的计算性能强于边缘服务器，云端与边缘服务器通过有线信道连接。

进一步地，所述步骤B包括如下具体步骤：

定义每一个车机系统都是一个三元组a_i＝{x_i,p_i,e_i}，其中i代表车机系统的编号，x_i代表车机系统和边缘服务器之间的最大数据传输速率，p_i代表该车机系统的信号发射功率，e_i代表该车机系统和边缘服务器之间的信道增益。

进一步地，所述步骤C包括如下具体步骤：

定义任务需求s_i包含所需的输入数据量大小d_i和完成该需求需要的计算量c_i，

当任务本地执行时，所需时延为：其中f_i表示车机的计算速率；当任务需要卸载到边缘服务器上执行时，此时需要的时延包括三部分，任务上传时延/>边缘服务器计算时延/>和任务结果回传时延/>故此时的时延为：/>当任务需要卸载到云端执行时，此时由于云端具有很强的计算能力，所以这部分的计算时间忽略不计，并且认为数据在边缘服务器和云端之间的传输时延与数据大小无关，因此时延包括数据在车机与边缘服务器之间的往返时延和数据在边缘服务器与云端之间的往返时延t_cloud，即：

由上述三种情况得到系统总时延：

其中ω∈(0,1)，当取0时表示任务在本地执行，取1时表示任务不在本地执行，同样地，μ∈(0,1)，当取0时表示任务卸载在边缘服务器上执行，取1时表示任务卸载到云端执行。

进一步地，所述步骤D包括如下具体步骤：

规定在一段时间内所有车机的总时延计算公式为：/>其中/>代表时间内总的车机数量，那么，在长期时间内为使系统平均时延最少，将问题建模如下：

通过此目标函数来最小化各个车机的服务完成时延，其中，ω，μ为决策变量。

进一步地，所述步骤E包括如下具体步骤：

步骤E1:首先在第个时间帧向DQN网络中输入环境状态量；

步骤E2:环境状态量s_i经由神将网络，先经过一层LSTM网络，LSTM网络通过整合先前的环境状态来获取最接近真实的环境状态步骤E3:得到的真实环境状态/>将会输入到神经网络中的全连接层，经由全连接层生成当前卸载决策/>

步骤E4:得到卸载决策后，即可得到平均时延，将此平均时延作为奖励值/>与环境状态/>和卸载决策/>以此为反馈，同时进入到下一环境状态

步骤E5:同时，在DQN算法中含有一个target网络，此网络会定期获取数据，以此来使DQN网络的值更加稳定，从而有更好的优化效果；

步骤E6:每经过一段时间，系统会从经验回放记忆中随机抽取一些

对，将这些数据输入到DQN主网络中以此来训练主网络参数，

步骤E7:经过重复的迭代，奖励函数梯度逐渐收敛，获得最优策略π^*。

本发明的一种边缘计算环境下的智能公交服务卸载方法具有以下优点：本发明通过将边缘服务器部署在靠近车辆的位置，可以大大降低传输延迟。同时，对于车辆行驶过程中所遇到的各种问题，充分利用深度学习的感知能力和强化学习的决策能力，通过两者结合，再加入LSTM网络对环境状态的整合能力，系统函数可以逐渐收敛到我们想要的最优决策，从而生成服务卸载决策。基于该方法智能公交将可以实现自动驾驶，并且将会根据乘坐的乘客目的地规划路线、提供车载娱乐等功能。

附图说明

图1为本发明的边缘计算环境下的智能公交服务卸载系统模型框架图；

图2为本发明的最优策略算法流程图；

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种边缘计算环境下的智能公交服务卸载方法做进一步详细的描述。

本发明通过将边缘服务器部署在靠近车辆的位置，可以大大降低传输延迟。同时，对于车辆行驶过程中所遇到的各种问题，引入深度强化学习来生成服务卸载决策。

本发明的一种边缘计算环境下的智能公交服务卸载方法，包括如下步骤：

步骤A：首先建立三层系统模型，如图1所示，包括云端、边缘计算服务器和车机系统的三层架构。每个车机都具有一定的计算能力，可以计算一定的车载任务。同时，车机带有5G模块，可以通过5G无线信道进行通信。当本地计算性能无法满足任务的计算需求时，可以将任务卸载到边缘服务器上，或者通过边缘服务器转发到云端完成，云端的计算性能强于边缘服务器，云端与边缘服务器通过有线信道连接。

步骤B：建立网络通信模型，定义每一个车机系统都是一个三元组a_i＝{x_i,p_i,e_i}，其中i代表车机系统的编号，x_i代表车机系统和边缘服务器之间的最大数据传输速率，p_i代表该车机系统的信号发射功率，e_i代表该车机系统和边缘服务器之间的信道增益。

步骤C：建立任务时延计算模型，本发明的任务需求分为三种情况，第一种车机本地执行，第二种卸载到边缘服务器执行，第三种经由边缘服务器转发到云端执行。我们定义任务需求s_i包含所需的输入数据量大小d_i和完成该需求需要的计算量c_i。

当任务本地执行时，所需时延为：其中f_i表示车机的计算速率。

当任务需要卸载到边缘服务器上执行时，此时需要的时延包括三部分，任务上传时延边缘服务器计算时延/>和任务结果回传时延/>故此时的时延为：

当任务需要卸载到云端执行时，此时由于云端具有很强的计算能力，所以这部分的计算时间我们就可以忽略不计，并且我们可以认为数据在边缘服务器和云端之间的传输时延与数据大小无关，因此时延包括数据在车机与边缘服务器之间的往返时延和数据在边缘服务器与云端之间的往返时延t_cloud，即：

由上述三种情况我们可以得到系统总时延：

其中ω∈(0,1)，当取0时表示任务在本地执行，取1时表示任务不在本地执行，同样地，μ∈(0,1)，当取0时表示任务卸载在边缘服务器上执行，取1时表示任务卸载到云端执行。

步骤D：问题建模，通过计算单个车机的总时延可以求出整个系统的综合时延。规定在一段时间内所有车机的总时延计算公式为：/>其中/>代表/>时间内总的车机数量。

那么，在长期时间内为使系统平均时延最少，可将问题建模如下：

通过此目标函数来最小化各个车机的服务完成时延，其中，ω，μ为决策变量。

步骤E：上述问题的最优卸载决策{ω^*,μ^*}可通过深度强化学习算法DQN结合长短期记忆网络(LSTM)去解决。DQN算法由Q-learning改写而来，传统Q-learning算法由Q表记录环境与卸载决策，然而当环境状态空间与动作状态空间过多时，Q表就过于繁琐了。DQN就是在Q-learning的基础上加上了一层深度神经网络，通过神经网络来生成卸载决策。然后再将DQN网络中加入一层LSTM网络，LSTM网络具有长短期记忆能力，可通过之前时间帧的环境状态来以此来整合出当前环境的真实状态，来生成最优卸载决策。同时，DQN网络中包含target网络和experience reply memory(经验回放记忆)，target网络以每一段时间的数据来训练，以此来稳定主网络的优化能力，经验回放记忆通过定期收集之前的数据，并采用先进后出和随机抽取的方式来选择一些数据训练主网络。如图2所示，算法包括如下步骤：

步骤E1:在此方法中，首先在第个时间帧向DQN网络中输入环境状态量。

步骤E2:环境状态量s_i经由神将网络，先经过一层LSTM网络，LSTM网络通过整合先前的环境状态来获取最接近真实的环境状态

步骤E3:得到的真实环境状态将会输入到神经网络中的全连接层，经由全连接层会生成当前卸载决策/>

步骤E4:得到卸载决策后，即可得到平均时延，将此平均时延作为奖励值/>与环境状态/>和卸载决策/>以此为反馈，同时进入到下一环境状态

步骤E5:同时，在DQN算法中含有一个target网络，此网络会定期获取数据，以此来使DQN网络的值更加稳定，从而有更好的优化效果。

步骤E6:每经过一段时间，系统会从经验回放记忆中随机抽取一些对，将这些数据输入到DQN主网络中以此来训练主网络参数。

步骤E7:经过重复的迭代，奖励函数梯度逐渐收敛，就可以获得我们的最优策略π^*。

该发明充分利用了深度学习的感知能力和强化学习的决策能力，通过两者结合，再加入LSTM网络对环境状态的整合能力，系统函数可以逐渐收敛到我们想要的最优决策。

可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (4)

1.一种边缘计算环境下的智能公交服务卸载方法，其特征在于，包括如下步骤：

步骤A：建立云端、边缘计算服务器和车机系统三层系统模型；步骤B：建立网络通信模型，

步骤C：建立任务时延计算模型，第一种车机本地执行，第二种卸载到边缘服务器执行，第三种经由边缘服务器转发到云端执行；步骤D：问题建模，通过计算单个车机的总时延可以求出整个系统的综合时延；

规定在一段时间内所有车机的总时延计算公式为：/>

其中代表/>时间内总的车机数量，

那么，在长期时间内为使系统平均时延最少，将问题建模如下：

通过此目标函数来最小化各个车机的服务完成时延，其中，ω，μ为决策变量；

步骤E：通过深度强化学习算法DQN结合长短期记忆网络选择最优卸载决策；

步骤E1:首先在第个时间帧向DQN网络中输入环境状态量；

步骤E2:环境状态量s_i经由神将网络，先经过一层LSTM网络，LSTM网络通过整合先前的环境状态来获取最接近真实的环境状态

步骤E3:得到的真实环境状态将会输入到神经网络中的全连接层，经由全连接层生成当前卸载决策/>

步骤E4:得到卸载决策后，即可得到平均时延，将此平均时延作为奖励值/>与环境状态/>和卸载决策/>以此为反馈，同时进入到下一环境状态/>

步骤E5:同时，在DQN算法中含有一个target网络，此网络会定期获取数据，以此来使DQN网络的值更加稳定，从而有更好的优化效果；

步骤E6:每经过一段时间，系统会从经验回放记忆中随机抽取一些对，将这些数据输入到DQN主网络中以此来训练主网络参数，

步骤E7:经过重复的迭代，奖励函数梯度逐渐收敛，获得最优策略π^*。

2.根据权利要求1所述的边缘计算环境下的智能公交服务卸载方法，其特征在于，所述步骤A包括如下具体步骤：

车机系统的每个车机都具有计算能力，用于计算车载任务，车机带有5G模块，通过5G无线信道进行通信，当本地计算性能无法满足任务的计算需求时，将任务卸载到边缘服务器上，或者通过边缘服务器转发到云端完成，云端的计算性能强于边缘服务器，云端与边缘服务器通过有线信道连接。

3.根据权利要求1所述的边缘计算环境下的智能公交服务卸载方法，其特征在于，所述步骤B包括如下具体步骤：

定义每一个车机系统都是一个三元组a_i＝{x_i,p_i,e_i}，其中i代表车机系统的编号，x_i代表车机系统和边缘服务器之间的最大数据传输速率，p_i代表该车机系统的信号发射功率，e_i代表该车机系统和边缘服务器之间的信道增益。

4.根据权利要求1所述的边缘计算环境下的智能公交服务卸载方法，其特征在于，所述步骤C包括如下具体步骤：

定义任务需求s_i包含所需的输入数据量大小d_i和完成该需求需要的计算量c_i，

当任务本地执行时，所需时延为：其中f_i表示车机的计算速率；当任务需要卸载到边缘服务器上执行时，此时需要的时延包括三部分，任务上传时延/>边缘服务器计算时延/>和任务结果回传时延/>故此时的时延为：/>

当任务需要卸载到云端执行时，此时由于云端具有很强的计算能力，所以这部分的计算时间忽略不计，并且认为数据在边缘服务器和云端之间的传输时延与数据大小无关，因此时延包括数据在车机与边缘服务器之间的往返时延和数据在边缘服务器与云端之间的往返时延t_cloud，即：

由上述三种情况得到系统总时延：

其中ω∈(0,1)，当取0时表示任务在本地执行，取1时表示任务不在本地执行，同样地，μ∈(0,1)，当取0时表示任务卸载在边缘服务器上执行，取1时表示任务卸载到云端执行。