CN115209426A - 一种边缘车联网内数字孪生服务器动态部署方法 - Google Patents

Abstract

本发明公开了一种边缘车联网内数字孪生服务器动态部署方法，涉及智能交通系统和车联网领域，包括以下步骤：设置数字孪生服务器的定义，获取边缘服务器的状态：信道状态、通信资源、计算资源；构建数字孪生的通信模型和计算模型，计算构建数字孪生模型的延迟，并计算用户与服务器进行数据交互的同步延迟；计算系统总的延迟；将用户选择、数字孪生服务器的计算资源容量、数字孪生服务器的存储容量约束、交互时间构建约束函数；基于actor‑critic的深度强化学习模型寻找数字孪生模型的布局策略。本发明通过优化用户与路侧数字孪生服务器的关联关系，从而通过改善移动用户与数字孪生服务器之间的交互效率，帮助用户优化决策。

Description

一种边缘车联网内数字孪生服务器动态部署方法

技术领域

本发明涉及智能交通系统和车联网领域领域，更具体地，涉及一种边缘车联网内数字孪生服务器动态部署方法。

背景技术

随着5G通信网络技术和车联网技术的快速发展，车辆和车内乘客各种丰富的车载应用的出现，使得车联网内用户产生了海量的数据，导致移动用户对本身的计算资源需求也越来越多。由车辆自身直接提供服务可以极大提升用户的驾驶体验，然而，当车辆自身有限的计算资源难以满足计算服务的时延要求，直接车辆本地化计算对用户的服务质量会造成一定的影响。随着移动边缘计算技术的发展，用户可以把自身无法处理的任务卸载到部署在路边单元或者基站的边缘服务器，以减少任务处理完成时间，得到理想的服务体验和服务质量。

数字孪生是一种对现实物理实体的虚拟映射，数字孪生诞生于航天航空领域，最近开始在智能交通领域出现了数字孪生相关的研究。用户与边缘服务器连接，在边缘服务器就近构建数字孪生服务。在动态变化的智能交通领域数字孪生服务可以在孪生域通过服务器之间进行数据交互、预测获取用户的信息，有效物理系统内的车辆用户做出。目前已经有一些工作探索如何利用数字孪生提高无线通信系统的性能，以用于计算卸载、内容缓存以及资源分配等方面。

在数字孪生辅助的边缘车联网中，用户与已构建数字孪生的边缘服务器需要进行实时交互，更新数字孪生服务的数据，对于数字孪生的数据处理、分析、预测，因此对于数字孪生中数据的准确度有很高要求。然而，车联网是一个典型的异构网络。由于车辆的快速移动，在大规模数据密集通信情况下，将出现与延迟和连接相关的挑战。这将导致数字孪生中的运行状态与真实世界的运行状态的巨大鸿沟，而这个偏差将会影响后续的预测，难以为用户提供优质的服务。在边缘车联网中，如何对数字孪生系统进行有效构建成为关键。

此外边缘服务器有限的存储空间难以满足大量移动用户的数字孪生模型构建，同时数据分析、人工智能处理也将消耗大量的计算资源，如果部署在基站或者路边单元的边缘服务器没有充足的存储资源和计算资源为用户提供数字孪生服务，也必定影响后续相关的决策。目前有很多研究考虑如何通过数字孪生提升边缘计算网络系统的性能，却很少分析数字孪生的构建，特别是数字孪生服务器的部署和数据服务的放置问题，目前暂未发现有效的解决方案。

现有技术公开了一种基于联邦学习与数字孪生的智能交通路径规划方法，包括以下步骤：S1：在车辆系统进行车辆注册，并验证车辆身份信息；S2：根据验证通过车辆cr的本地历史数据Di，参与联邦学习，训练本地模型mi；S3：利用路旁单元Rk的边缘服务器聚合所有车辆cr的本地模型mi，得到聚合模型Mk；S4：重复步骤S2-S3，判断聚合模型Mk是否收敛至预定精度θth或超过时间限制Tth，若是进入步骤S5，否则返回步骤S2；S5：更新车辆cr的实时本地状态S′i至路旁单元Rk，并利用多个路旁单元Rk建立车联网全局数字孪生模型G(t)；S6：利用路旁单元Rk，周期性更新车联网全局数字孪生模型G(t)；S7：根据更新后的车联网全局数字孪生模型G(t)，利用车辆cr向路旁单元Rk发起寻路请求reqr,i，并实时更新最佳路径及本地预测模型，完成智能交通的最佳路径规划。该现有技术的不足之处在于没有考虑数字孪生边缘服务器的选址问题和数字孪生服务的放置问题，也没有基于车流量的大小进行服务器的划分。

发明内容

本发明为克服上述现有技术中没有考虑到边缘车联网内数字孪生边缘服务器的选址和数字孪生服务的放置问题，提供一种边缘车联网内数字孪生服务器动态部署方法。

为解决上述技术问题，本发明采用的技术方案是：一种边缘车联网内数字孪生服务器动态部署方法，包括以下步骤；

设用户的集合为I，其中车辆i∈Ι，部署在路边单元的边缘服务器集合为J,设置在路边单元的数字孪生服务器j∈J,部署在基站的边缘服务器的集合为K,设置在基站的数字孪生服务器k∈K；

根据获取边缘服务器的状态：信道状态、通信资源、计算资源；构建数字孪生的通信模型和计算模型；

在路边单元、基站上构建数字孪生模型，根据通信模型、计算模型计算在路边单元、基站构建数字孪生模型的延迟，并计算在路边单元、基站构建数字孪生模型后用户与数字孪生服务器进行数据交互的同步延迟；

根据延迟和同步延迟计算系统总的延迟；

根据用户的选择，数字孪生服务器的计算资源容量、存储容量约束，及用户与数字孪生服务器的交互时间构建约束函数；

结合系统总的延迟和约束函数，基于actor-critic的深度强化学习模型寻找数字孪生模型的布局策略。

本发明的工作原理：

由于维护数字孪生需要大量的资源消耗，在每个移动边缘计算服务器中构建数字孪生会导致传输负载、计算开销和能耗的大幅增加。为了解决这个问题，在边缘车联网的数字孪生网络中，不需要在每个基站中维护数字孪生，而是选择一个子集基站作为数字孪生服务器，以降低时间成本和能耗来维护数字孪生。因此考虑将基站分为两类基站，一类基站只处理用户卸载的服务，一类基站只负责维护用户的数字孪生。以此解决边缘车联网内数字孪生边缘服务器的选址问题。

本发明基于路面预测的车流量、基站与路面汽车实时动态变化的信道状态选择合适的部署在基站或者路边单元的边缘服务器作为数字孪生服务器，以提高用户与数字孪生服务的交互效率。

用户选择基站或路边单元的数字孪生服务器构建数字孪生模型，基于车流量选择基站或者路边单元，同时基于用户的地理位置、边缘服务器的信道状态、计算资源、存储空间考虑数字孪生服务的放置位置，以优化用户与数字孪生服务器的交互效率。以此解决数字孪生服务的放置问题。

优选地，基站和路边单位均装载边缘服务器；在基站、路边单位的边缘服务器构建数字孪生模型，则该数字孪生模型所在的边缘服务器称为数字孪生服务器；

所述的信道状态包括用户于服务器之间的信道增益、用户与服务器之间的物理距离、路径损耗；

所述的通信资源包括带宽、传输功率。

进一步地，所述的通信模型的构建方法如下：

根据香农定理，得到用户部署在路边单元的数字孪生服务器的数据传输速率：

式中，W为该数字孪生服务器j分为给用的带宽，h为用户i与数字孪生服务器j之间的信道增益，p为用户的传输功率，σ为高斯白噪声，d为用户i与数字孪生服务器j之间的物理距离，θ为路径损耗；

得到用户与部署在路边单元的数字孪生服务器的数据传输速率后，计算用户与部署在路边单元的数字孪生服务器的通信延迟：

式中，D_i,j(t)为在t时刻用户i传输给数字孪生服务器j的数据大小；

进一步地，用户与部署在基站的数字孪生服务器的数据传输速率：

式中，W为该数字孪生服务器k分为给用的带宽，h为用户i与数字孪生服务器k之间的信道增益，p为用户的传输功率，σ为高斯白噪声，d为用户i与数字孪生服务器k之间的物理距离，θ为路径损耗；

用户i与部署在基站的数字孪生服务器k的通信延迟：

式中，D_i,k(t)为在t时刻用户i传输给数字孪生服务器k的数据大小。

更进一步地，所述的计算模型的构建方法如下：

数字孪生服务器j处理用户i数据的时间为：

式中，λ_t为在t时刻对从用户i接收的数据进行一次训练的所需要的CPU周期数，f_ij为数字孪生服务器j分配给用户的CPU频率；

数字孪生服务器k处理用户i数据的时间为：

式中，λ_t为在t时刻对从用户i接收的数据进行一次训练的所需要的CPU周期数，f_ik为数字孪生服务器k分配给用户的CPU频率。

更进一步地，在路边单元、基站构建数字孪生模型的延迟的计算方法如下：

用户在部署在路边单元的数字孪生服务器的构建数字孪生的延迟：

用户在部署在基站的数字孪生服务器的构建数字孪生的延迟：

用户构建数字孪生模型的延迟包含无线通信延迟和边缘服务器的计算延迟。

更进一步地，在路边单元、基站构建数字孪生模型的同步延迟计算方法如下：

用户在部署在路边单元的数字孪生服务器的同步的延迟：

用户在部署在基站的数字孪生服务器的同步的延迟：

同步延迟包含无线通信延迟和边缘服务器的计算延迟。

更进一步地，总的系统延迟表达为：

需要在其延迟要求内为每个用户提供服务，如下所示：

需要满足的条件为在总的系统延迟取最小的情况下，为每个用户提供服务。更进一步地，所述的选择约束函数表示如下：

x_j(t)∈{0,1}，x_k(t)∈{0,1}

限制用户在t时刻对路边单元和基站的选择；使用二进制参数x_j和x_k表示用户的选择，若x_j为1，则选择路边单元放置数字孪生模型，否则为0；若x₂为1，则选择基站放置数字孪生模型，否则为0；

所述的计算资源约束函数表示如下：

分配给用户的计算资源须满足其数字孪生服务器的计算资源容量；式中x_i,j为用户i对部署在路边单元的数字孪生服务器的选择，f_i,j为部署在路边单元的数字孪生服务器j分配给用户i的计算资源，F_j为部署在路边单元的边数字孪生服务器j的总计算资源；x_i,k为用户i对部署在基站的数字孪生服务器的选择，f_i,j为部署在基站的数字孪生服务器j分配给用户i的计算资源，F_j为部署在基站的数字孪生服务器k的总计算资源；

所述的存储资源约束函数表示如下：

分配给用户的存储容量须满足其数字孪生服务器的存储容量；其中x_i,j为用户i对部署在路边单元的数字孪生服务器的选择，C_i,j为部署在路边单元的数字孪生服务器j分配给用户i的存储容量，F_j为部署在路边单元的数字孪生服务器j的总存储容量；x_i,k为用户i对部署在基站的数字孪生服务器的选择，f_i,j为部署在基站的数字孪生服务器j分配给用户i的存储容量，F_j为部署在基站的数字孪生服务器k的总存储容量；

所示的交互时间约束函数表示如下：

为了保证数字孪生及时为用户提供服务，对用户和数字孪生服务器的交互时间进行限制，τ为常数，设为交互时间的上限，每次用户与数字孪生服务器交互时间不超过τ。

更进一步地，结合系统总的延迟和约束函数，基于actor-critic的深度强化学习方法寻找数字孪生模型的布局策略，具体地：将数字孪生模型的构建优化问题表述为MDP问题：M＝{S(t),A(t),R,S(t+1)}；S(t)是当前系统状态，A(t)是在t时刻采取的动作，R是奖励函数，S(t+1)是下一个状态；

所述的当前系统状态包括用户的物理状态、数字孪生服务器的位置和关联关系；所述的用户的物理状态包括用户和服务器之间的距离、需要传输的用户数据、分配给用户的计算资源、存储容量；

所述的在t时刻采取的动作包括两个动作：第一个动作确定是否作为数字孪生服务器，第二个动作确定是否选择构建用户i的数字孪生模型；把每个基站和路边单元的边缘服务器作为智能体；上述的两个动作均为智能体的动作；

所述的的奖励函数表示如下：

R＝-T_sys

每个智能体的目标是在覆盖范围内将构建数字孪生模型的平均延迟降到最低。

更进一步地，所述的基于actor-critic的深度强化学习方法由两部分组成：参与者网络、评论家网络；每个智能通过参与者网络做出决策，每次训练的目标是最大化奖励的期望；

在算法训练过程中，首先，将所有参与者网络和评论家网络随机初始化训练参数；然后，对回放经验池进行初始化，在每一次训练中，智能体选择当前观察状态的动作，并获得当前动作的奖励；然后，获得新的系统状态，并将经验存储到经验池；最后，智能体通过从经验池中采样来训练其评论家网络和参与者网络。

与现有技术相比，本发明的有益效果是：

1.目前许多研究只探索了如何将数字孪生来提高移动边缘计算系统的性能，但是忽略了数字孪生中的运行状态与实际运行状态误差，同时很少考虑面对针对边缘网络中数字孪生的构建和维护机制。为了弥补这方面的空白，本发明提出了基于深度强化学习的方法寻找数字孪生的布局策略。

2.由于构建和维护数字孪生需要一定的计算资源以及存储容量，本发明考虑车流量对于通信资源和计算资源、存储资源的影响，因此基于车流量为用户提供基站和路边单元两种选择，基站具有丰富的计算资源和通信资源，而用户和路边单元的通信延迟更低。因此基于通信延迟和计算延迟优化分配数字孪生的放置。

附图说明

图1是本发明的流程图。

图2是本发明所述的数字孪生模型结构图。

图3是数字孪生辅助的边缘车联网系统模型图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：

实施例1

在本实施例中，如图1所示，一种边缘车联网内数字孪生服务器动态部署方法，包括以下步骤：

设用户的集合为I，其中车辆i∈Ι，部署在路边单元的边缘服务器集合为J,设置在路边单元的数字孪生服务器j∈J,部署在基站的边缘服务器的集合为K,设置在基站的数字孪生服务器k∈K；

根据获取边缘服务器的状态：信道状态、通信资源、计算资源；构建数字孪生的通信模型和计算模型；

在路边单元、基站上构建数字孪生模型，计算在路边单元、基站构建数字孪生模型的延迟，并计算在路边单元、基站构建数字孪生模型后用户与数字孪生服务器进行数据交互的同步延迟；

根据延迟和同步延迟计算系统总的延迟；

将用户选择、数字孪生服务器的计算资源容量、数字孪生服务器的存储容量约束、交互时间构建约束函数；

结合系统总的延迟和约束函数，基于actor-critic的深度强化学习模型寻找数字孪生模型的布局策略。

本发明的工作原理：

由于维护数字孪生需要大量的资源消耗，在每个移动边缘计算服务器中构建数字孪生会导致传输负载、计算开销和能耗的大幅增加。为了解决这个问题，在边缘车联网的数字孪生网络中，不需要在每个基站中维护数字孪生，而是选择一个子集基站作为数字孪生服务器，以降低时间成本和能耗来维护数字孪生。因此考虑将基站分为两类基站，一类基站只处理用户卸载的服务，一类基站只负责维护用户的数字孪生。以此解决边缘车联网内数字孪生边缘服务器的选址问题。

本发明基于路面预测的车流量、基站与路面汽车实时动态变化的信道状态选择合适的部署在基站或者路边单元的边缘服务器作为数字孪生服务器，以提高用户与数字孪生服务的交互效率。

用户选择基站或路边单元的数字孪生服务器构建数字孪生模型，基于车流量选择基站或者路边单元，同时基于用户的地理位置、边缘服务器的信道状态、计算资源、存储空间考虑数字孪生服务的放置位置，以优化用户与数字孪生服务器的交互效率。以此解决数字孪生服务的放置问题。

在本实施例中，如图2、图3所示，数字孪生辅助的边缘车联网系统模型，包括用户、路边单元、基站、云层；ITS控制中心通过路边单元、基站和用户构建通信连接，所述的路边单元和基站都设有边缘服务器；在云层，云服务器配备了大量的计算资源和存储资源，可以全局分析或者处理计算时延敏感的任务。

更具体的，所述的信道状态包括用户于服务器之间的信道增益、用户与服务器之间的物理距离、路径损耗；

所述的通信资源包括带宽、传输功率。

更具体的，所述的通信模型的构建方法如下：

根据香农定理，得到用户部署在路边单元的数字孪生服务器的数据传输速率：

式中，W为该数字孪生服务器j分为给用的带宽，h为用户i与数字孪生服务器j之间的信道增益，p为用户的传输功率，σ为高斯白噪声，d为用户i与数字孪生服务器j之间的物理距离，θ为路径损耗；

得到用户与部署在路边单元的数字孪生服务器的数据传输速率后，计算用户与部署在路边单元的数字孪生服务器的通信延迟：

式中，D_i,j(t)为在t时刻用户i传输给数字孪生服务器j的数据大小。

更具体的，用户与部署在基站的数字孪生服务器的数据传输速率：

式中，W为该数字孪生服务器k分为给用的带宽，h为用户i与数字孪生服务器k之间的信道增益，p为用户的传输功率，σ为高斯白噪声，d为用户i与数字孪生服务器k之间的物理距离，θ为路径损耗；

用户i与部署在基站的数字孪生服务器k的通信延迟：

式中，D_i,k(t)为在t时刻用户i传输给数字孪生服务器k的数据大小。

更具体的，所述的计算模型的构建方法如下：

数字孪生服务器j处理用户i数据的时间为：

式中，λ_t为在t时刻对从用户i接收的数据进行一次训练的所需要的CPU周期数，f_ij为数字孪生服务器j分配给用户的CPU频率；

数字孪生服务器k处理用户i数据的时间为：

式中，λ_t为在t时刻对从用户i接收的数据进行一次训练的所需要的CPU周期数，f_ik为数字孪生服务器k分配给用户的CPU频率。

在本实施例中，当车流量小时，由于基站的通信距离远远大于路边单元的通信距离，因此用户与路边单元的通信延迟小于基站的通信延迟；当车流量大时，由于路边单元的存储资源和计算资源小于基站的存储资源和计算资源，路边单元的容量满足不了用户的数字孪生模型和历史数据的存放，而且计算资源有限，大大增加了计算延迟。

实施例2

在本实施例中，用户确定目标数字孪生服务器后，用户的历史数据需要通过无线通信传输到目标数字孪生服务器，数字孪生服务器运行计算来处理和分析接收到的数据，并为用户界面构建数字孪生模型，在数字孪生计算过程中，采用人工智能相关算法提取数据特征，训练数字孪生模型。最后，数字孪生模型的结果通过无线通信传输回用户界面。反馈结果会为用户提供改善服务或者驾驶体验的建议；

在路边单元、基站构建数字孪生模型的延迟的计算方法如下：

用户在部署在路边单元的数字孪生服务器的构建数字孪生的延迟：

用户在部署在基站的数字孪生服务器的构建数字孪生的延迟：

用户构建数字孪生模型的延迟包含无线通信延迟和边缘服务器的计算延迟。

更具体的，在完成数字孪生的构建之后，用户需要不断与数字孪生服务器交互，使数字孪生的运行状态与用户的真实状态保持一致。用户需要发送实时数据给数字孪生服务器，然后数字孪生服务器接收数据进行计算；

在路边单元、基站构建数字孪生模型的同步延迟计算方法如下：

用户在部署在路边单元的数字孪生服务器的同步的延迟：

用户在部署在基站的数字孪生服务器的同步的延迟：

同步延迟包含无线通信延迟和边缘服务器的计算延迟。

更具体地，数字孪生模型的放置应考虑系统的延迟性能和能耗，在系统模型中，边缘关联是一个自适应过程，它随着动态网络状态的变化而变化，例如信道状态和网络状态的变化拓扑；总的系统延迟表达为：

边缘关联问题需要在其延迟要求内为每个用户提供服务，如下所示：

需要满足的条件为在总的系统延迟取最小的情况下，为每个用户提供服务。

更具体的，所述的选择约束函数表示如下：

x_j(t)∈{0,1}，x_k(t)∈{0,1}

限制用户在t时刻对路边单元和基站的选择；使用二进制参数x_j和x_k表示用户的选择，若x_j为1，则选择路边单元放置数字孪生模型，否则为0；若x₂为1，则选择基站放置数字孪生模型，否则为0；

所述的计算资源约束函数表示如下：

分配给用户的计算资源须满足其数字孪生服务器的计算资源容量；式中x_i,j为用户i对部署在路边单元的数字孪生服务器的选择，f_i,j为部署在路边单元的数字孪生服务器j分配给用户i的计算资源，F_j为部署在路边单元的边数字孪生服务器j的总计算资源；x_i,k为用户i对部署在基站的数字孪生服务器的选择，f_i,j为部署在基站的数字孪生服务器j分配给用户i的计算资源，F_j为部署在基站的数字孪生服务器k的总计算资源；

所述的存储资源约束函数表示如下：

分配给用户的存储容量须满足其数字孪生服务器的存储容量；其中x_i,j为用户i对部署在路边单元的数字孪生服务器的选择，C_i,j为部署在路边单元的数字孪生服务器j分配给用户i的存储容量，F_j为部署在路边单元的数字孪生服务器j的总存储容量；x_i,k为用户i对部署在基站的数字孪生服务器的选择，f_i,j为部署在基站的数字孪生服务器j分配给用户i的存储容量，F_j为部署在基站的数字孪生服务器k的总存储容量；

所示的交互时间约束函数表示如下：

为了保证数字孪生及时为用户提供服务，对用户和数字孪生服务器的交互时间进行限制，τ为常数，设为交互时间的上限，每次用户与数字孪生服务器交互时间不超过τ。

实施例3

在本实施例中，可用计算和通信资源在内的网络状态遵循马尔可夫性质；结合系统总的延迟和约束函数，基于actor-critic的深度强化学习方法寻找数字孪生模型的布局策略，具体地：将数字孪生模型的构建优化问题表述为MDP问题：M＝{S(t),A(t),R,S(t+1)}；S(t)是当前系统状态，A(t)是在t时刻采取的动作，R是奖励函数，S(t+1)是下一个状态；

所述的当前系统状态包括用户的物理状态、数字孪生服务器的位置和关联关系；所述的用户的物理状态包括用户和服务器之间的距离、需要传输的用户数据、分配给用户的计算资源、存储容量；

所述的在t时刻采取的动作包括两个动作：第一个动作确定是否作为数字孪生服务器，第二个动作确定是否选择构建用户i的数字孪生模型；把每个基站和路边单元的边缘服务器作为智能体；上述的两个动作均为智能体的动作；

所述的的奖励函数表示如下：

R＝-T_sys

每个智能体的目标是在覆盖范围内将构建数字孪生模型的平均延迟降到最低。

更具体的，所述的基于actor-critic的深度强化学习方法由两部分组成：参与者网络、评论家网络；每个智能通过参与者网络做出决策，每次训练的目标是最大化奖励的期望；

在算法训练过程中，首先，将所有参与者网络和评论家网络随机初始化训练参数；然后，对回放经验池进行初始化，在每一次训练中，智能体选择当前观察状态的动作，并获得当前动作的奖励；然后，获得新的系统状态，并将经验存储到经验池；最后，智能体通过从经验池中采样来训练其评论家网络和参与者网络。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种边缘车联网内数字孪生服务器动态部署方法，其特征在于，包括以下步骤：

设用户的集合为I，其中车辆i∈Ι，部署在路边单元的边缘服务器集合为J,设置在路边单元的数字孪生服务器j∈J,部署在基站的边缘服务器的集合为K,设置在基站的数字孪生服务器k∈K；

根据获取边缘服务器的状态：信道状态、通信资源、计算资源；构建数字孪生的通信模型和计算模型；

在路边单元、基站上构建数字孪生模型，根据通信模型、计算模型计算在路边单元、基站构建数字孪生模型的延迟，并计算在路边单元、基站构建数字孪生模型后用户与数字孪生服务器进行数据交互的同步延迟；

根据延迟和同步延迟计算系统总的延迟；

根据用户的选择，数字孪生服务器的计算资源容量、存储容量约束，及用户与数字孪生服务器的交互时间构建约束函数；

结合系统总的延迟和约束函数，基于actor-critic的深度强化学习模型寻找数字孪生模型的布局策略。

2.根据权利要求1中所述的一种边缘车联网内数字孪生服务器动态部署方法，其特征在于，所述的信道状态包括用户于服务器之间的信道增益、用户与服务器之间的物理距离、路径损耗；

所述的通信资源包括带宽、传输功率。

3.根据权利要求2中所述的一种边缘车联网内数字孪生服务器动态部署方法，其特征在于，所述的通信模型的构建方法如下：

根据香农定理，得到用户部署在路边单元的数字孪生服务器的数据传输速率：

式中，W为该数字孪生服务器j分为给用的带宽，h为用户i与数字孪生服务器j之间的信道增益，p为用户的传输功率，σ为高斯白噪声，d为用户i与数字孪生服务器j之间的物理距离，θ为路径损耗；

得到用户与部署在路边单元的数字孪生服务器的数据传输速率后，计算用户与部署在路边单元的数字孪生服务器的通信延迟：

式中，D_i,j(t)为在t时刻用户i传输给数字孪生服务器j的数据大小；

用户与部署在基站的数字孪生服务器的数据传输速率：

式中，W为该数字孪生服务器k分为给用的带宽，h为用户i与数字孪生服务器k之间的信道增益，p为用户的传输功率，σ为高斯白噪声，d为用户i与数字孪生服务器k之间的物理距离，θ为路径损耗；

用户i与部署在基站的数字孪生服务器k的通信延迟：

式中，D_i,k(t)为在t时刻用户i传输给数字孪生服务器k的数据大小。

4.根据权利要求3所述的一种边缘车联网内数字孪生服务器动态部署方法，其特征在于，所述的计算模型的构建方法如下：

数字孪生服务器j处理用户i数据的时间为：

式中，λ_t为在t时刻对从用户i接收的数据进行一次训练的所需要的CPU周期数，f_ij为数字孪生服务器j分配给用户的CPU频率；

数字孪生服务器k处理用户i数据的时间为：

式中，λ_t为在t时刻对从用户i接收的数据进行一次训练的所需要的CPU周期数，f_ik为数字孪生服务器k分配给用户的CPU频率。

5.根据权利要求4所述的一种边缘车联网内数字孪生服务器动态部署方法，其特征在于，在路边单元、基站构建数字孪生模型的延迟的计算方法如下：

用户在部署在路边单元的数字孪生服务器的构建数字孪生的延迟：

用户在部署在基站的数字孪生服务器的构建数字孪生的延迟：

用户构建数字孪生模型的延迟包含无线通信延迟和边缘服务器的计算延迟。

6.根据权利要求5所述的一种边缘车联网内数字孪生服务器动态部署方法，其特征在于，在路边单元、基站构建数字孪生模型的同步延迟计算方法如下：

用户在部署在路边单元的数字孪生服务器的同步的延迟：

用户在部署在基站的数字孪生服务器的同步的延迟：

同步延迟包含无线通信延迟和边缘服务器的计算延迟。

7.根据权利要求6所述的一种边缘车联网内数字孪生服务器动态部署方法，其特征在于，总的系统延迟表达为：

需要在其延迟要求内为每个用户提供服务，如下所示：

需要满足的条件为在总的系统延迟取最小的情况下，为每个用户提供服务。

8.根据权利要求7所述的一种边缘车联网内数字孪生服务器动态部署方法，其特征在于，所述的选择约束函数表示如下：

x_j(t)∈{0,1}，x_k(t)∈{0,1}

限制用户在t时刻对路边单元和基站的选择；使用二进制参数x_j和x_k表示用户的选择，若x_j为1，则选择路边单元放置数字孪生模型，否则为0；若x₂为1，则选择基站放置数字孪生模型，否则为0；

所述的计算资源约束函数表示如下：

分配给用户的计算资源须满足其数字孪生服务器的计算资源容量；式中x_i,j为用户i对部署在路边单元的数字孪生服务器的选择，f_i,j为部署在路边单元的数字孪生服务器j分配给用户i的计算资源，F_j为部署在路边单元的边数字孪生服务器j的总计算资源；x_i,k为用户i对部署在基站的数字孪生服务器的选择，f_i,j为部署在基站的数字孪生服务器j分配给用户i的计算资源，F_j为部署在基站的数字孪生服务器k的总计算资源；

所述的存储资源约束函数表示如下：

分配给用户的存储容量须满足其数字孪生服务器的存储容量；其中x_i,j为用户i对部署在路边单元的数字孪生服务器的选择，C_i,j为部署在路边单元的数字孪生服务器j分配给用户i的存储容量，F_j为部署在路边单元的数字孪生服务器j的总存储容量；x_i,k为用户i对部署在基站的数字孪生服务器的选择，f_i,j为部署在基站的数字孪生服务器j分配给用户i的存储容量，F_j为部署在基站的数字孪生服务器k的总存储容量；

所示的交互时间约束函数表示如下：

T_i ^syn(t)≤τ

为了保证数字孪生及时为用户提供服务，对用户和数字孪生服务器的交互时间进行限制，τ为常数，设为交互时间的上限，每次用户与数字孪生服务器交互时间不超过τ。

9.根据权利要求8中所述的一种边缘车联网内数字孪生服务器动态部署方法，其特征在于，结合系统总的延迟和约束函数，基于actor-critic的深度强化学习方法寻找数字孪生模型的布局策略，具体地：将数字孪生模型的构建优化问题表述为MDP问题：M＝{S(t),A(t),R,S(t+1)}；S(t)是当前系统状态，A(t)是在t时刻采取的动作，R是奖励函数，S(t+1)是下一个状态；

所述的当前系统状态包括用户的物理状态、数字孪生服务器的位置和关联关系；所述的用户的物理状态包括用户和服务器之间的距离、需要传输的用户数据、分配给用户的计算资源、存储容量；

所述的在t时刻采取的动作包括两个动作：第一个动作确定是否作为数字孪生服务器，第二个动作确定是否选择构建用户i的数字孪生模型；把每个基站和路边单元的边缘服务器作为智能体；上述的两个动作均为智能体的动作；

所述的的奖励函数表示如下：

R＝-T_sys

每个智能体的目标是在覆盖范围内将构建数字孪生模型的平均延迟降到最低。

10.根据权利要求9中所述的一种边缘车联网内数字孪生服务器动态部署方法，其特征在于，所述的基于actor-critic的深度强化学习方法由两部分组成：参与者网络、评论家网络；每个智能通过参与者网络做出决策，每次训练的目标是最大化奖励的期望；

在算法训练过程中，首先，将所有参与者网络和评论家网络随机初始化训练参数；然后，对回放经验池进行初始化，在每一次训练中，智能体选择当前观察状态的动作，并获得当前动作的奖励；然后，获得新的系统状态，并将经验存储到经验池；最后，智能体通过从经验池中采样来训练其评论家网络和参与者网络。

Images