CN116437341A - 一种移动区块链网络的计算卸载与隐私保护联合优化方法 - Google Patents

Abstract

本发明公开了一种移动区块链网络的计算卸载与隐私保护联合优化方法，具体为：将任务卸载、用户隐私保护和挖掘利润形式化作为联合优化问题，建模为马尔科夫决策过程，使用D3QN算法在最小化长期系统卸载效用的同时最大化所有区块链用户的隐私级别；构建基于移动边缘计算MEC的区块链网络模型，包括MEC服务器、无线接入点AP、一组多个物联网设备和多组MUs，其中多个移动用户MUs充当挖掘者，使用D3QN算法将状态信息作为输入获得卸载决策x_nm，决定是在本地计算还是边缘计算。本发明有效增强了用户隐私，并减少了能源消耗和计算延迟，在不事先了解系统动态的情况下有效地解决大量状态空间问题，降低了卸载成本。

Description

一种移动区块链网络的计算卸载与隐私保护联合优化方法

技术领域

本发明属于移动区块链网络，尤其涉及一种移动区块链网络的计算卸载与隐私保护联合优化方法。

背景技术

MEC中计算卸载的研究引起了国内外学术界的广泛关注。MEC通过在基站部署服务器，为移动开发者和内容提供商提供移动网络边缘的云计算能力。虽然基站服务器的计算能力比终端设备好很多，但是所有的任务都卸载到基站去执行，会导致延迟消耗过大。这是因为基站的网络资源和计算资源是有限的，卸载任务需要竞争这些有限的资源。因此，如何确定卸载任务并分配相应的计算和网络资源是MEC卸载系统中的一个重要问题。

计算卸载决策和资源分配问题已得到广泛研究。计算卸载决策主要解决移动终端设备任务是否需要卸载、卸载多少的问题；资源分配是确定如何分配有限的资源，以及卸载任务的卸载任务。影响计算卸载决策结果的主要因素是任务执行延迟和能量消耗，而卸载决策的目标包括减少延迟、降低能量消耗以及延迟和能量之间的折衷。

除了计算卸载之外，在设计卸载系统时必须仔细考虑的另一个重要问题是隐私。它将数据任务和验算任务卸载到区块链网络下的MEC服务器上，以减少移动设备的计算负载，同时确保移动用户的高度隐私。这对于网络管理和确保基于区块链的系统的稳健性非常重要。然而，研究表明，移动区块链仍然缺乏对提高隐私意识和卸载验算任务的最佳策略的研究。许多开创性的区块链方案只关注卸载验算任务而没有考虑用户隐私保护，这是基于移动边缘计算的区块链网络的主要挑战之一。

发明内容

针对上述问题，本发明提供一种移动区块链网络的计算卸载与隐私保护联合优化方法。

本发明的一种移动区块链网络的计算卸载与隐私保护联合优化方法，将任务卸载、用户隐私保护和验算利润形式化作为联合优化问题，建模为马尔科夫决策过程，使用D3QN算法在最小化长期系统卸载效用的同时最大化所有区块链用户的隐私级别。

构建基于移动边缘计算MEC的区块链网络模型，包括MEC服务器、无线接入点AP、一组多个物联网设备和多组MUs，其中多个移动用户MUs充当验算者。使用D3QN算法将状态信息作为输入获得卸载决策x_nm，决定是在本地计算还是边缘计算。

边缘计算：

x_nm＝1表示移动用户n选择将其数据处理任务卸载到MEC服务器的情况，对于验算者

在时隙t将数据处理任务m卸载到MEC服务器的整个计算延迟分解为三个部分，即上传、排队和处理延迟，其表达式如下：

其中，

分别为MEC服务器上的上传延迟、任务处理延迟和排队延迟。

上传延迟：

其中，r_n来表示用户在无线信道中的上传传输速率，

表示卸载到边缘服务器的数据量。

任务处理延迟：

验算者在MEC服务器上执行数据处理任务所花费的时间公式化为：

式中，

表示验算者本地缓存区队列中的数据量、/>

表示验算者在时隙t内从物联网设备新接收的物联网数据的数据大小。

排队延迟：

f_nm是指MEC服务器分配给完成任务的计算资源，Q表示数据处理任务缓冲区中CPU周期的总数。

下载时间延迟：

其中，G_nm表示执行数据的大小，S_nm表示移动用户n的数据传输速率。

能量消耗：任务卸载的整体能量消耗表示为任务上传、任务处理和MEC操作能量成本的总和，因此，将在时隙t中，MU n的数据处理任务m的计算卸载所消耗的总能量表示为：

其中，γ是MEC服务器的能耗效率系数，P^M是验算者的发射功率，P^C表示基线电路功率。

本地计算：

x_nm＝0表示MU n决定在本地执行其任务m，将每个数据位的本地执行时间表示为

那么验算者n在时隙t完成任务m所消耗的总时间成本用/>

来表示：

使用

来表示MU n每个数据位的能量消耗，MU n在时隙t执行数据处理任务所需的能量成本为：

隐私保护：

使用模式隐私和位置隐私。

使用模式隐私水平通过下面公式来估计：

其中，I表示指示函数，如果语句为真或假，则等于1或0；ζ表示预定义的良好信道功率增益状态。

当无线信道具有良好的传输状态即

时，移动用户将其数据处理任务卸载到MEC服务器；否则，当信道状态不好即/>

时，数据处理任务将在本地执行或存储在缓冲区中以供将来处理，位置隐私通过下面公式来估计：

其中，

表示指示函数，如果语句为真或假，则等于1或0。

综合使用模式隐私和位置隐私的结果，将时隙t处的总任务卸载隐私级别设为：

其中，λ表示位置隐私关系相对于使用模式隐私的重要性，0<λ<1。

验算奖励：

将第一个获得感知的验算者的奖励表示为

然后将MU n可能获得的预期验算奖励计算为/>

表示挖出区块的概率；此外，解决验算难题的过程会产生相关成本，即验算者向边缘云提供商支付的费用，表示为Y_n；最后，基于上述验算公式，该验算的数据处理任务的总验算奖励表示为：

建立系统隐私，系统成本和验算奖励的目标函数，其表达式为：

式中，N表示验算者数，M表示任务总数；

表示成本函数，是时间延迟和能量消耗的加权和，即：

式中，α₁,α₂∈(0,1)表示能量消耗和任务处理延迟的权重。

约束为：

提出了一种使用深度强化学习DRL的动态离线方案，我们算法的优点有两个方面，首先，它使验算者能够在不需要先前了解系统动态的情况下，在每个系统状态下基于当前的区块链交易数据和信道状态获得最优离线行动，其次，由于基于DRL的方法在解决具有大状态空间的复杂问题方面非常有效，因此它可以实现更好的离线性能，从而提高大规模区块链应用的质量。

基于D3QN算法的任务卸载具体为：

初始化：设置经验回放区D的大小为N；

用输入对(s,a)初始化Q网络，用随机权重θ估计动作值函数Q；

初始化探索概率∈∈(0,1)；

for t＝1,2,...do；

观察DSS d_k产生的数据段o_k；

估计信道增益状态g^t；

设置状态空间

根据探索概率∈选择一个随机动作a^t得到a^t＝argmaxQ(s^t,a,θ)；

将数据段处理任务o_k卸载到MEC服务器或者在本地执行；

通过目标函数

计算奖励r^t和下一状态s^t+1；

评估实现的隐私水平P(s,a)^t和系统代价函数C(s,a)^t；

更新过程；

保存经验(s^t,a^t,r^t,s^t+1)到经验回放区D；

从经验回放区D中随机抽取小样本数据集s^t,a^t,r^t,s^t+1；

通过公式y^k＝r^k+γ*maxQ(s^k+1,a^′,θ)计算Q值；

用(y^k-Q(s^k,a^k,θ))²作为损失函数执行梯度下降步骤；

用更新后的参数θ^t训练Q网络；

end for。

本发明的有益技术效果为：

本发明有效增强了用户隐私，并减少了能源消耗和计算延迟，在不事先了解系统动态的情况下有效地解决大量状态空间问题，降低了卸载成本。

附图说明

图1为本发明整体流程图。

图2为本发明区块链网络模型图。

图3为本发明TO-D3QN算法的平均奖励回报曲线。

图4为本发明与不同算法下的平均奖励对比。

具体实施方式

下面结合附图和具体实施方法对本发明做进一步详细说明。

本发明的一种移动区块链网络的计算卸载与隐私保护联合优化方法如图1所示，将任务卸载、用户隐私保护和验算利润形式化作为联合优化问题，建模为马尔科夫决策过程，使用D3QN算法在最小化长期系统卸载效用的同时最大化所有区块链用户的隐私级别。

构建基于移动边缘计算MEC的区块链网络模型如图2所示，包括MEC服务器、无线接入点AP、一组多个物联网设备和多组MUs，其中多个移动用户MUs充当验算者。区块链被用作分散的数据库，用于记录IoT交易并安全地管理IoT设备、MUs和MEC服务器之间的数据交换。在我们的区块链场景中，每个IoT设备被视为轻量级节点，负责从外部感知环境(例如，用于感知健康数据的可穿戴传感器)收集数据，并将这些数据无线传输到MUs进行必要的数据处理。假定IoT设备被分组并由某个MU在本地私有网络中进行管理。特别地，MUs代表它们的IoT设备与MEC区块链网络进行交易并执行感知数据。在这里，每个MU执行两个计算功能：IoT数据处理任务和验算任务。对于IoT数据处理任务，MUs可以决定本地执行或将任务卸载到MEC服务器以进行高效计算。同时，对于验算任务，MUs可以作为验算者并从边缘云提供商购买哈希功率以进行验算并获得额外的利润。这样，验算者可以收集区块链网络的交易，并将它们分组成数据块，然后在共识验证后将其验证并附加到区块链中。第一个解决共识难题的验算者将获得验算贡献的奖励，并以安全且不可变的方式向其他区块链节点广播已验证的交易。使用D3QN算法将状态信息作为输入获得卸载决策x_nm，决定是在本地计算还是边缘计算。

边缘计算：

任务卸载成本：x_nm＝1表示移动用户n选择将其数据处理任务卸载到MEC服务器的情况。

卸载延迟：计算延迟是评估数据处理任务卸载质量的关键性能指标。对于验算者

在时隙t将数据处理任务m卸载到MEC服务器的整个计算延迟分解为三个部分，即上传、排队和处理延迟，其表达式如下：

其中，

分别为MEC服务器上的上传延迟、任务处理延迟和排队延迟。

上传延迟：为了简单起见，我们假设所有用户的传输速率都相同。因此，我们可以将数据处理任务上传到MEC服务器所需的时间表示为：

其中，r_n来表示用户在无线信道中的上传传输速率，

表示卸载到边缘服务器的数据量。

任务处理延迟：

验算者在MEC服务器上执行数据处理任务所花费的时间公式化为：

式中，

表示验算者本地缓存区队列中的数据量、/>

表示验算者在时隙t内从物联网设备新接收的物联网数据的数据大小

排队延迟：排队等待时间可由下式给出：

f_nm是指MEC服务器分配给完成任务的计算资源(以每秒CPU周期为单位)，Q表示数据处理任务缓冲区中CPU周期的总数。

下载时间延迟：一旦MEC服务器上的数据处理任务执行完成，处理后的结果将被下载到验算者设备。因此，下载时间延迟可以表示为：

其中，G_nm表示执行数据的大小，S_nm表示移动用户n的数据传输速率。然而，通常来说，MEC服务器上处理的数据非常小，下载速率非常高，因此忽略下载过程的延迟(和能量成本)。

能量消耗：任务卸载的整体能量消耗表示为任务上传、任务处理和MEC操作能量成本的总和，因此，将在时隙t中，MU n的数据处理任务m的计算卸载所消耗的总能量表示为：

其中，γ是MEC服务器的能耗效率系数，P^M是验算者的发射功率，P^C表示基线电路功率。

本地计算：

x_nm＝0表示MU n决定在本地执行其任务m，将每个数据位的本地执行时间表示为

(以秒/位)，那么验算者n在时隙t完成任务m所消耗的总时间成本用/>

来表示：

使用

(以J/bit表示)来表示MU n每个数据位的能量消耗，MU n在时隙t执行数据处理任务所需的能量成本为：

隐私保护：

其中卸载隐私指对用户信息(包括使用模式和用户位置)的保护，以防止其被意外使用或威胁。由于用户的无线传输活动，攻击者可以监视MEC和用户之间的服务迁移，并跟踪用户的物理移动，因此需要采取措施保护用户隐私。例如，如果用户在良好的无线信道状态下将所有感测数据卸载到边缘设备，攻击者可以估计新生成的感测数据的大小，从而推断用户的使用模式。此外，用户还需要保护自己不被窃听者或恶意MEC服务器跟踪，并采用卸载策略误导攻击者，避免对用户造成隐私伤害。

基于以上讨论，我们将卸载隐私问题分为两个关键方面：使用模式隐私和位置隐私。保护使用模式隐私需要防止攻击者通过监视用户的感测数据和无线传输行为推断用户的行为模式。同时，位置隐私保护需要采取措施防止攻击者通过跟踪用户的物理移动和服务迁移来确定用户的位置和个人信息。因此，在设计MEC移动区块链网络时，必须重视用户隐私保护，采取适当的安全措施，以确保用户信息得到安全维护，提高用户的隐私保护水平。

为了在任务卸载期间保护验算者的隐私，我们需要考虑两个关键问题：使用模式隐私和位置隐私。首先，使用模式隐私可以通过监控数据处理任务

来获得验算者的数据使用模式。当无线信道状态良好时，验算者倾向于将所有区块链交易数据

的数据处理任务卸载到MEC服务器，以减少移动设备上的处理时间和能量消耗。特别是，如果移动用户n靠近接入点，则/>

(由于/>

)的可能性更大。

使用模式隐私水平通过下面公式来估计：

其中，I表示指示函数，如果语句为真或假，则等于1或0；ζ表示预定义的良好信道功率增益状态。

意味着验算者n在良好的信道状态下故意地改变本地设备处理的交易数据量，目的是在实际交易数据大小

和卸载数据大小/>

之间产生差异，以保护使用模式隐私。

其次，除了使用模式隐私之外，位置隐私也是提高区块链数据处理任务卸载性能的另一个关键问题。当无线信道具有良好的传输状态即

时，移动用户将其数据处理任务卸载到MEC服务器；否则，当信道状态不好即/>

时，数据处理任务将在本地执行或存储在缓冲区中以供将来处理，然而，由于无线信道功率增益与验算者和MEC服务器之间的距离高度相关，这种卸载策略可能暴露验算者的位置信息。为了保护验算者的位置隐私，位置隐私通过下面公式来估计：

其中，

表示指示函数，如果语句为真或假，则等于1或0。这意味着验算者应该在传输信道质量较差的情况下继续将其数据处理任务卸载到MEC服务器，以保护其位置隐私。

综合使用模式隐私和位置隐私的结果，将时隙t处的总任务卸载隐私级别设为：

其中，λ表示位置隐私关系相对于使用模式隐私的重要性，0<λ<1。因此，在任务卸载过程中，验算者应该根据信道质量来平衡使用模式隐私和位置隐私的权衡，以保护其隐私。

验算奖励：

将第一个获得感知的验算者的奖励表示为

(代币)，然后将MU n可能获得的预期采矿奖励计算为/>

表示挖出区块的概率；此外，解决验算难题的过程会产生相关成本，即验算者向边缘云提供商支付的费用，表示为Y_n(代币)；最后，基于上述验算公式，该矿的数据处理任务的总验算奖励表示为：

建立系统隐私，系统成本和验算奖励的目标函数，其表达式为：

式中，N表示验算者数，M表示任务总数；

表示成本函数，是时间延迟和能量消耗的加权和，即：

式中，α₁,α₂∈(0,1)表示能量消耗和任务处理延迟的权重。

约束为：

这里，x＝[x₁₁,x₁₂,…,x_1M,…,x_N1,x_N2,…,x_NM]是任务卸载决策向量。约束条件表示验算者n对于任务m的二进制卸载决策策略，即是卸载到MEC服务器还是在移动设备本地处理。此外，完成数据处理任务的执行时间不应超过最大时间延迟值，该值在约束条件中表示。值得注意的是，优化问题(P1)是一个混合整数非凸问题，是NP难问题，难以得出最优解。这是因为变量x_nm是二进制变量，使得问题(P1)成为混合整数规划问题，一般而言是非凸的，也是NP难的。此外，问题(P1)的可行解集也不是凸的。同时，由于卸载决策、能耗因子和卸载延迟因子之间存在乘积关系，目标函数也是非凸的。为解决所提出的任务卸载中的问题，存在一些需要解决的挑战：

1.系统的状态和奖励不能通过逐步控制提前获得。因此，仅考虑当前状态的传统优化方法可能不可行。

2.离线决策、离线成本和验算利润的联合优化问题具有高维度和高复杂性，因为它涉及离线数据大小的动态性、无线信道状态和哈希功率状态。传统方法很难做出联合高效的决策。

3.用户偏好和网络特征存在一些规律性。利用这些规律，可以提前制定离线策略和验算策略。因此，使用深度强化学习方法是解决上述挑战的可行解决方案。

为了克服这些挑战，我们提出了一种使用深度强化学习(DRL)的动态离线方案。我们算法的优点有两个方面。首先，它使验算者能够在不需要先前了解系统动态的情况下，在每个系统状态下基于当前的区块链交易数据和信道状态获得最优离线行动。其次，由于基于DRL的方法在解决具有大状态空间的复杂问题方面非常有效，因此它可以实现更好的离线性能，从而提高大规模区块链应用的质量。

基于D3QN算法的任务卸载具体为：

初始化：设置经验回放区D的大小为N；

用输入对(s,a)初始化Q网络，用随机权重θ估计动作值函数Q；

初始化探索概率∈∈(0,1)；

for t＝1,2,...do；

观察DSSd_k产生的数据段o_k；

估计信道增益状态g^t；

设置状态空间

根据探索概率∈选择一个随机动作a^t得到a^t＝argmaxQ(s^t,a,θ)；

将数据段处理任务o_k卸载到MEC服务器或者在本地执行；

通过目标函数

计算奖励r^t和下一状态s^t+1；

评估实现的隐私水平P(s,a)^t和系统代价函数C(s,a)^t；

更新过程；

保存经验(s^t,a^t,r^t,s^t+1)到经验回放区D；

从经验回放区D中随机抽取小样本数据集s^t,a^t,r^t,s^t+1；

通过公式y^k＝r^k+γ*maxQ(s^k+1,a^′,θ)计算Q值；

用(y^k-Q(s^k,a^k,θ))²作为损失函数执行梯度下降步骤；

用更新后的参数θ^t训练Q网络；

end for。

为了突出本发明在延迟和能量指标方面的优势，将我们的TO-D3QN算法与两个基线方案和两个贪心方案进行了比较，即：

(1)全部本地计算(Full Local，FL)：任务都采用本地计算决策，任务采用非抢占式调度，任务的优先级是由任务到达的时间决定的，任务到达越早，优先级越高。

(2)全部卸载计算(Full Offload，FO)：任务都采用边缘服务器计算决策，任务采用非抢占式调度，任务的优先级是由任务到达的时间决定的，任务到达越早，优先级越高。

(3)基于时延的贪心策略(GD)：当任务到达时，分别计算本地计算下的时延和边缘服务器计算所需要的时延，选取其中的更小值作为卸载决策，随后计算相应决策下的时延能耗和奖励值。

(4)基于能耗的贪心策略(GC)：当任务到达时，分别计算本地计算下的能耗和边缘服务器计算所需要的能耗，选取其中的更小值作为卸载决策，随后计算相应决策下的时延能耗和奖励值。

图3显示了TO-D3QN算法的平均奖励回报曲线，在学习过程开始时，所提出方案的平均回报非常低。随着训练时间步数的增加，平均报酬会增加，直到达到一个相对稳定的值，约为3左右，因此验证了TO-D3QN具有良好的收敛能力。

图4展示了拟议方案和比较基线方案以及贪心方案的平均奖励表现。从结果可以看出，随着每个任务数据量的增加，所有方案的平均奖励都在增加，这是因为随着数据量的增加，每个任务获得的收益是在持续增加的。其中全本地计算方案的平均奖励最低，随着数据量的增加，全卸载方案和基于能耗的贪心方案所消耗的平均能耗更加趋近，这是因为随着数据量的增加，本地计算能耗相对于卸载计算所消耗的能量更多，所以在边缘服务器等待队列不是很大时，倾向与将数据卸载到边缘服务器计算会获得更大的收益回报。在数据量小于12MB的情况下，GC和D3QN的平均奖励回报相差不多，但是随着数据量的进一步增加，本发明提出的D3QN在平均奖励回报上则拥有更好的性能。

Claims (2)

1.一种移动区块链网络的计算卸载与隐私保护联合优化方法，其特征在于，将任务卸载、用户隐私保护和验算利润形式化作为联合优化问题，建模为马尔科夫决策过程，使用D3QN算法在最小化长期系统卸载效用的同时最大化所有区块链用户的隐私级别；

构建基于移动边缘计算MEC的区块链网络模型，包括MEC服务器、无线接入点AP、一组多个物联网设备和多组MUs，其中多个移动用户MUs充当验算者；使用D3QN算法将状态信息作为输入获得卸载决策x_nm，决定是在本地计算还是边缘计算；

边缘计算：

x_nm＝1表示移动用户n选择将其数据处理任务卸载到MEC服务器的情况，对于验算者n，

在时隙t将数据处理任务m卸载到MEC服务器的整个计算延迟分解为三个部分，即上传、排队和处理延迟，其表达式如下：

其中，

分别为MEC服务器上的上传延迟、任务处理延迟和排队延迟；

上传延迟：

其中，r_n来表示用户在无线信道中的上传传输速率，

表示卸载到边缘服务器的数据量；

任务处理延迟：

验算者在MEC服务器上执行数据处理任务所花费的时间公式化为：

式中，

表示验算者本地缓存区队列中的数据量、/>

表示验算者在时隙t内从物联网设备新接收的物联网数据的数据大小；

排队延迟：

f_nm是指MEC服务器分配给完成任务的计算资源，Q表示数据处理任务缓冲区中CPU周期的总数；

下载时间延迟：

其中，G_nm表示执行数据的大小，S_nm表示移动用户n的数据传输速率；

能量消耗：任务卸载的整体能量消耗表示为任务上传、任务处理和MEC操作能量成本的总和，因此，将在时隙t中，MU n的数据处理任务m的计算卸载所消耗的总能量表示为：

其中，γ是MEC服务器的能耗效率系数，P^M是验算者的发射功率，P^C表示基线电路功率；

本地计算：

x_nm＝0表示MU n决定在本地执行其任务m，将每个数据位的本地执行时间表示为

那么验算者n在时隙t完成任务m所消耗的总时间成本用/>

来表示：

使用

来表示MU n每个数据位的能量消耗，MU n在时隙t执行数据处理任务所需的能量成本为：

隐私保护：

使用模式隐私和位置隐私；

使用模式隐私水平通过下面公式来估计：

其中，I表示指示函数，如果语句为真或假，则等于1或0；ζ表示预定义的良好信道功率增益状态；

当无线信道具有良好的传输状态即

时，移动用户将其数据处理任务卸载到MEC服务器；否则，当信道状态不好即/>

时，数据处理任务将在本地执行或存储在缓冲区中以供将来处理，位置隐私通过下面公式来估计：

其中，

表示指示函数，如果语句为真或假，则等于1或0；

综合使用模式隐私和位置隐私的结果，将时隙t处的总任务卸载隐私级别设为：

其中，λ表示位置隐私关系相对于使用模式隐私的重要性，0<λ<1；

验算奖励：

将第一个获得感知的验算者的奖励表示为

然后将MU n可能获得的预期验算奖励计算为/>

表示挖出区块的概率；此外，解决验算难题的过程会产生相关成本，即验算者向边缘云提供商支付的费用，表示为Y_n；最后，基于上述验算公式，该验算的数据处理任务的总验算奖励表示为：

建立系统隐私，系统成本和验算奖励的目标函数，其表达式为：

式中，N表示验算者数，M表示任务总数；

表示成本函数，是时间延迟和能量消耗的加权和，即：

式中，α₁,α₂∈(0,1)表示能量消耗和任务处理延迟的权重；

约束为：

设计基于深度强化学习DRL的TO-D3QN算法，算法的优点有两个方面，首先，它使验算者能够在不需要先前了解系统动态的情况下，在每个系统状态下基于当前的区块链交易数据和信道状态获得最优离线行动，其次，由于基于DRL的方法在解决具有大状态空间的复杂问题方面非常有效，因此它可以实现更好的离线性能，从而提高大规模区块链应用的质量。

2.根据权利要求1所述的一种移动区块链网络的计算卸载与隐私保护联合优化方法，其特征在于，所述基于TO-D3QN算法的任务卸载具体为：

初始化：设置经验回放区D的大小为N；

用输入对(s,a)初始化Q网络，用随机权重θ估计动作值函数Q；

初始化探索概率∈∈(0,1)；

for t＝1,2,...do；

观察DSSd_k产生的数据段o_k；

估计信道增益状态g^t；

设置状态空间

根据探索概率∈选择一个随机动作a^t得到a^t＝argmaxQ(s^t,a,θ)；

将数据段处理任务o_k卸载到MEC服务器或者在本地执行；

通过目标函数

计算奖励r^t和下一状态s^t+1；

评估实现的隐私水平P(s,a)^t和系统代价函数C(s,a)^t；

更新过程；

保存经验(s^t,a^t,r^t,s^t+1)到经验回放区D；

从经验回放区D中随机抽取小样本数据集s^t,a^t,r^t,s^t+1；

通过公式y^k＝r^k+γ*maxQ(s^k+1,a′,θ)计算Q值；

用(y^k-Q(s^k,a^k,θ))²作为损失函数执行梯度下降步骤；

用更新后的参数θ^t训练Q网络；

end for。

Images