CN117858198A - 一种基于深度强化学习的车辆接入选择优化方法及系统 - Google Patents
一种基于深度强化学习的车辆接入选择优化方法及系统 Download PDFInfo
- Publication number
- CN117858198A CN117858198A CN202311702801.8A CN202311702801A CN117858198A CN 117858198 A CN117858198 A CN 117858198A CN 202311702801 A CN202311702801 A CN 202311702801A CN 117858198 A CN117858198 A CN 117858198A
- Authority
- CN
- China
- Prior art keywords
- network
- access
- access selection
- vehicle
- reinforcement learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 title claims abstract description 36
- 230000002787 reinforcement Effects 0.000 title claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 230000001174 ascending effect Effects 0.000 claims abstract description 4
- 238000011156 evaluation Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000005265 energy consumption Methods 0.000 claims description 11
- 229910044991 metal oxide Inorganic materials 0.000 claims description 8
- 150000004706 metal oxides Chemical class 0.000 claims description 8
- 239000004065 semiconductor Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 230000006855 networking Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W48/00—Access restriction; Network selection; Access point selection
- H04W48/16—Discovering, processing access restriction or access information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W48/00—Access restriction; Network selection; Access point selection
- H04W48/20—Selecting an access point
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及车联网平台接入管理的技术领域，公开了一种基于深度强化学习的车辆接入选择优化方法及系统，该方法包括以下步骤：S1：建立IOV异构网络模型，初始化网络参数；S2：将网络状态输入到策略网络；S3：策略网络计算不同接入选择对应的概率，输出概率最大的接入选择的接入矩阵；S4：根据所述接入矩阵执行接入选择，记录奖励值并更新网络状态；S5：采用梯度上升法更新策略网络的参数；S6：重复步骤S2～S5，直至达到最大迭代次数；S7：获取车联网的环境信息，根据训练好的策略网络进行接入选择。本发明实现了车联网中用户车辆接入选择的优化，从而提升了用户服务体验。
Description
技术领域
本发明涉及车联网平台接入管理的技术领域，具体涉及一种基于深度强化学习的车辆接入选择优化方法及系统。
背景技术
随着智能无线终端的快速发展和移动通信技术的广泛应用，设备与网络、设备之间的高速互联成为可能。同时，为了提高车辆的运输效率和安全性，迫切需要发展更可靠和高效的车辆互联系统，车联网(IoV)作为一种新的范式，以物联网无处不在的传感能力为支撑，将车辆连接到互联网。IoV可以通过网络快速交换车辆信息，提供高效、低延迟的交通服务。然而，高计算复杂度任务、大数据量、车辆间频繁的协作通信和有限的频谱带宽导致了IoV服务时延和能耗均有所增长，用户体验质量有所下降，因此如何保证IoV服务的用户体验质量成了当下的一大难题。
但在实际计算任务卸载过程中，首先需要在超密集IoV环境下从多个具备MEC功能的接入节点中选择一个最合适的接入节点，并将计算任务卸载至其上进行处理。当有多个车辆设备同时需要卸载计算任务至服务端时，即形成一个多用户与多个服务节点之间的接入选择问题。然而，IoV场景下接入节点数量与车辆数量极大，同时计算任务日益复杂和庞大，计算资源分配也变得复杂，因此，接入选择问题变的更为复杂。
如申请公开号为CN114866613A的专利公开了一种车联网请求处理方法、装置、电子设备及存储介质，该方法包括：接收第一终端设备发送的车联网请求，车联网请求包括第一终端标识；判断根据第一终端标识是否查找到符合预设条件的车机标识，预设条件包括：第一终端标识与车机标识是预先关联的，且第一终端设备的地理坐标与车机标识对应车辆的地理坐标之间的距离小于距离阈值；若是，则基于车机标识在缓存数据库中查找车联网请求对应的车联网响应，并在查找到车联网请求对应的车联网响应之后，向第一终端设备发送车联网响应。
以上专利都存在本背景技术提出的问题：没有充分考虑到车辆接入选择的连续性，而IoV服务中车辆接入切换频繁，若只考虑某时刻下接入容易陷入局部最优解。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域普通技术人员所公知的现有技术。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于深度强化学习的车辆接入选择优化方法及系统，根据环境的变化更新接入选择，避免陷入局部最优解，有利于在动态复杂车联网环境中进行应用。
为解决上述技术问题，本发明提供如下技术方案：
一方面，本发明提供一种基于深度强化学习的车辆接入选择优化方法，包括以下步骤：
S1：建立IOV异构网络模型，初始化网络参数；建立策略网络，初始化策略网络的参数；
S2：将网络状态输入到策略网络；
S3：策略网络计算不同接入选择对应的概率，输出概率最大的接入选择的接入矩阵；
S4：根据所述接入矩阵执行接入选择，记录奖励值并更新网络状态；
S5：采用梯度上升法更新策略网络的参数；
S6：重复步骤S2～S5，直至达到最大迭代次数；
S7：获取车联网的环境信息，采集实际的网络参数并为网络状态赋值，将网络状态输入训练好的策略网络，策略网络计算出的具有最大概率的接入选择为最终的车辆接入选择结果。
作为本发明所述基于深度强化学习的车辆接入选择优化方法的一种优选方案，其中：所述IOV异构网络模型的节点共有M个，包括一个移动基站和M-1个路边单元；所有节点均部署移动边缘计算功能，且完全复用频率资源；以资源块为最小资源单位，在单一时隙中，每个节点在一个资源块上仅接入一个车辆。
作为本发明所述基于深度强化学习的车辆接入选择优化方法的一种优选方案，其中：所述网络状态由所述网络参数组成，表示如下：
St＝{λt,μt,NRB,βnoise,ωnoise,BRB,Pt,G}；
其中，St表示t时刻的网络状态；λt表示任务达到率；μt表示任务服务率；
NRB表示资源块数量；βnoise表示噪声放大系数；ωnoise表示白噪声功率谱密度；BRB表示资源块的带宽；Pt表示车辆设备的平均发射功率；G表示IOV网络结构参数矩阵，包括网络拓扑结构和车辆请求信息。
作为本发明所述基于深度强化学习的车辆接入选择优化方法的一种优选方案，其中：所述接入矩阵的形式如下：
其中，At表示t时刻的接入矩阵，aij表示第j个车辆是否接入第i个节点；i的取值范围为1，2，……，M，M为节点的数量；j的取值范围为1，2，……，N，N为t时刻车辆的数量。
作为本发明所述基于深度强化学习的车辆接入选择优化方法的一种优选方案，其中：所述奖励值的计算公式如下：
其中，Rt表示t时刻的奖励值；τ表示任意时刻；Te表示回报步数，表示t时刻的奖励值中包含的历史奖励值的个数；β表示历史奖励的折扣因子；MOSτ(Sτ,Aτ)表示当t＝τ时，t时刻的评价函数。
作为本发明所述基于深度强化学习的车辆接入选择优化方法的一种优选方案，其中：所述评价函数的计算公式如下：
MOSt(St,At)＝ξ1MOSt,SNR(St,At)+ξ2MOSt,T(St,At)+(1-ξ1-ξ2)MOSt,E(St,At)；
其中，ξ1、ξ2、ξ3为权重；MOSt,SNR(St,At)表示当网络状态为St，接入矩阵为At时的信噪比评价；MOSt,T(St,At)表示当网络状态为St，接入矩阵为At时的时延评价；MOSt,E(St,At)表示当网络状态为St，接入矩阵为At时的能耗评价。
作为本发明所述基于深度强化学习的车辆接入选择优化方法的一种优选方案，其中：所述信噪比评价的计算公式如下：
MOSSNR＝p(γ-MinSNR)+q；
γ为车辆到节点的实际信噪比，MinSNR为定义的信噪比最低阈值，p权重参数，q为偏置参数。
作为本发明所述基于深度强化学习的车辆接入选择优化方法的一种优选方案，其中：所述时延评价的计算公式如下：
其中，MaxT为定义的时延最大阈值；T为车辆到节点的时延；a为权重参数，b为偏置参数。
作为本发明所述基于深度强化学习的车辆接入选择优化方法的一种优选方案，其中：所述能耗评价的计算公式如下：
其中，E为能耗，单位为焦耳；ω为权重参数，σ为偏置参数。
第二方面，本发明提供一种基于深度强化学习的车辆接入选择优化系统，包括IOV网络模型模块、输入输出模块、状态管理模块、策略网络模块、接入选择模块、策略更新模块、迭代控制模块，其中：
IOV网络模型模块用于模拟真实的车联网环境，提供随机的车联网网络参数；
输入输出模块用于接收车联网的环境信息作为输入，并将最终的车辆接入选择结果输出；
状态管理模块用于管理车联网的状态信息，包括网络状态、历史奖励值；
策略网络模块用于计算不同接入选择对应的概率，并输出概率最大的接入选择的接入矩阵；
接入选择模块用于根据策略网络输出的接入矩阵执行接入选择，记录奖励值，并更新网络状态；
策略更新模块用于更新策略网络的参数；
迭代控制模块用于控制系统的迭代过程。
与现有技术相比，本发明所达到的有益效果如下：
本申请提出的IoV网络架构充分考虑了密集环境下的频谱噪声干扰问题，设计了RSU和MBS频率完全复用场景，可以充分模拟真实世界中的超密集网络场景。在设计基于用户体验的评价函数时，考虑了时延、能耗、信噪比三项指标，相对于单一指标的优化，更为复杂也更贴近于实际。
本申请基于PG算法设计了一种接入选择优化方法，将IoV环境及车辆基本信息作为状态，设计的评价函数作为奖励值，输出接入选择动作，实现了IoV中用户接入选择优化，从而优化用户服务体验，且采用了基于策略的深度强化学习算法，相比传统优化方法更加适用于车辆频繁切换接入节点的动态场景。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明提供的基于深度强化学习的车辆接入选择优化方法流程图；
图2为本发明提供的IOV异构网络模型结构示意图；
图3为本发明提供的策略网络与环境交互的信息流向图。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细地说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
实施例1
本实施例介绍一种基于深度强化学习的车辆接入选择优化方法，参照图1，该方法包括以下步骤：
S1：建立IOV异构网络模型，初始化网络参数；建立策略网络，初始化策略网络的参数；
参照图2，所述IOV异构网络模型的节点共有M个，包括一个移动基站和M-1个路边单元；所有节点均部署移动边缘计算功能，且完全复用频率资源，可以充分模拟真实世界中的超密集网络场景。以资源块为最小资源单位，在单一时隙中，每个节点在一个资源块上仅接入一个车辆。
S2：将网络状态St输入到策略网络中；
网络状态由所述网络参数组成，表示如下：
St＝{λt,μt,NRB,βnoise,ωnoise,BRB,Pt,G}；
其中，St表示t时刻的网络状态；
λt表示任务达到率；
μt表示任务服务率；
NRB表示资源块数量；
βnoise表示噪声放大系数；
ωnoise表示白噪声功率谱密度；
BRB表示资源块的带宽；
Pt表示车辆设备的平均发射功率；
G表示IOV网络结构参数矩阵，包括网络拓扑结构和车辆请求信息。
S3：策略网络计算不同接入选择对应的概率，将概率最大的接入选择表示为接入矩阵；接入矩阵的形式如下：
其中，At表示t时刻的接入矩阵，aij表示第j个车辆是否接入第i个节点；i的取值范围为1，2，……，M，M为节点的数量；j的取值范围为1，2，……，N，N为t时刻车辆的数量；
S4：执行所述接入矩阵，记录奖励值并更新网络状态；
考虑到在优化时不能仅考虑当前时刻的奖励，需要考虑一段时间内的整体奖励，从而避免算法短视，陷入局部最优解，因此将奖励值的计算公式设计如下：
其中，Rt表示t时刻的奖励值；τ表示任意时刻；Te表示回报步数，表示t时刻的奖励值中包含的历史奖励值的个数；β表示历史奖励的折扣因子；MOSτ(Sτ,Aτ)表示当t＝τ时，t时刻的评价函数；
所述评价函数的计算公式如下：
MOSt(St,At)＝ξ1MOSt,SNR(St,At)+ξ2MOSt,T(St,At)+(1-ξ1-ξ2)MOSt,E(St,At)；
其中，ξ1、ξ2、ξ3为权重。在IoV服务中，人们对于服务的追求主要体现为更优质的服务质量上，各运营商也同样在更多的关注用户体验感受，而不仅仅是客观的网络性能指标，甚至致力于超越用户对于服务的期待值，在设计用户体验评价函数时，考虑了时延、能耗、信噪比三项指标，相对于单一指标的优化，更为复杂也更贴近于实际。
MOSt,SNR(St,At)表示当网络状态为St，接入矩阵为At时的信噪比评价，公式如下：
MOSSNR＝p(γ-MinSNR)+q；
γ为车辆到节点的实际信噪比，MinSNR为定义的信噪比最低阈值，p权重参数，q为偏置参数；
MOSt,T(St,At)表示当网络状态为St，接入矩阵为At时的时延评价，公式如下：
其中，MaxT为定义的时延最大阈值；T为车辆到节点的时延；a为权重参数，b为偏置参数。
MOSt,E(St,At)表示当网络状态为St，接入矩阵为At时的能耗评价，公式如下：
其中，E为能耗，单位为焦耳；ω为权重参数，σ为偏置参数；
策略网络与车联网环境进行信息交互的示意图如图3所示。
S5：采用梯度上升法更新策略网络的参数，公式如下：
其中，θ表示策略网络中任一参数，α表示学习率，πθ(St,At)表示网络状态为St的情况下，接入矩阵为At的概率，由策略网络计算得到；
S6：重复步骤S2～S5，直至达到最大迭代次数；
S7：获取车联网的环境信息，采集实际的网络参数并为网络状态赋值，将网络状态输入训练好的策略网络，策略网络计算出的具有最大概率的接入选择为最终的车辆接入选择结果。
实施例2
本实施例为本发明的第二个实施例；与实施例1基于相同的发明构思，本实施例介绍一种基于深度强化学习的车辆接入选择优化系统，包括：IOV网络模型模块、输入输出模块、状态管理模块、策略网络模块、接入选择模块、策略更新模块、迭代控制模块，其中：
IOV网络模型模块用于模拟真实的车联网环境，提供随机的车联网网络参数；
输入输出模块负责接收车联网的环境信息作为输入，并将最终的车辆接入选择结果作为输出。
状态管理模块负责管理车联网的状态信息，包括网络状态、历史奖励值等，以供后续的策略网络计算和更新。
策略网络模块负责计算不同接入选择对应的概率，并输出概率最大的接入选择的接入矩阵。该模块包括策略网络的初始化、策略网络的输入输出等功能。
接入选择模块根据策略网络输出的接入矩阵执行接入选择，并记录奖励值，并更新网络状态。该模块提供接入矩阵的解析、接入选择的执行、奖励值的记录和状态的更新等功能。
策略更新模块采用梯度上升法更新策略网络的参数，以提高策略网络的准确性和稳定性。该模块包括策略参数的更新方法、梯度计算和反向传播等功能。
迭代控制模块负责控制整个系统的迭代过程，包括迭代次数、收敛判断等功能。
上述各模块的具体功能实现参考实施例1基于深度强化学习的车辆接入选择优化方法中的相关内容，不予赘述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种基于深度强化学习的车辆接入选择优化方法，其特征在于：包括以下步骤：
S1：建立IOV异构网络模型，初始化网络参数；建立策略网络，初始化策略网络的参数；
S2：将网络状态输入到策略网络；
S3：策略网络计算不同接入选择对应的概率，输出概率最大的接入选择的接入矩阵；
S4：根据所述接入矩阵执行接入选择，记录奖励值并更新网络状态；
S5：采用梯度上升法更新策略网络的参数；
S6：重复步骤S2～S5，直至达到最大迭代次数；
S7：获取车联网的环境信息，采集实际的网络参数并为网络状态赋值，将网络状态输入训练好的策略网络，策略网络计算出的具有最大概率的接入选择为最终的车辆接入选择结果。
2.如权利要求1所述的一种基于深度强化学习的车辆接入选择优化方法，其特征在于：所述IOV异构网络模型的节点共有M个，包括一个移动基站和M-1个路边单元；所有节点均部署移动边缘计算功能，且完全复用频率资源；以资源块为最小资源单位，在单一时隙中，每个节点在一个资源块上仅接入一个车辆。
3.如权利要求2所述的一种基于深度强化学习的车辆接入选择优化方法，其特征在于：所述网络状态由所述网络参数组成，表示如下：
St＝{λt,μt,NRB,βnoise,ωnoise,BRB,Pt,G}；
其中，St表示t时刻的网络状态；λt表示任务达到率；μt表示任务服务率；NRB表示资源块数量；βnoise表示噪声放大系数；ωnoise表示白噪声功率谱密度；BRB表示资源块的带宽；Pt表示车辆设备的平均发射功率；G表示IOV网络结构参数矩阵，包括网络拓扑结构和车辆请求信息。
4.如权利要求3所述的一种基于深度强化学习的车辆接入选择优化方法，其特征在于：所述接入矩阵的形式如下：
其中，At表示t时刻的接入矩阵，aij表示第j个车辆是否接入第i个节点；i的取值范围为1，2，……，M，M为节点的数量；j的取值范围为1，2，……，N，N为t时刻车辆的数量。
5.如权利要求4所述的一种基于深度强化学习的车辆接入选择优化方法，其特征在于：所述奖励值的计算公式如下：
其中，Rt表示t时刻的奖励值；τ表示任意时刻；Te表示回报步数，表示t时刻的奖励值中包含的历史奖励值的个数；β表示历史奖励的折扣因子；MOSτ(Sτ,Aτ)表示当t＝τ时，t时刻的评价函数。
6.如权利要求5所述的一种基于深度强化学习的车辆接入选择优化方法，其特征在于：所述评价函数的计算公式如下：
MOSt(St,At)＝ξ1MOSt,SNR(St,At)+ξ2MOSt,T(St,At)+(1-ξ1-ξ2)MOSt,E(St,At)；
其中，ξ1、ξ2、ξ3为权重；MOSt,SNR(St,At)表示当网络状态为St，接入矩阵为At时的信噪比评价；MOSt,T(St,At)表示当网络状态为St，接入矩阵为At时的时延评价；MOSt,E(St,At)表示当网络状态为St，接入矩阵为At时的能耗评价。
7.如权利要求6所述的一种基于深度强化学习的车辆接入选择优化方法，其特征在于：所述信噪比评价的计算公式如下：
MOSSNR＝p(γ-MinSNR)+q；
γ为车辆到节点的实际信噪比，MinSNR为定义的信噪比最低阈值，p权重参数，q为偏置参数。
8.如权利要求7所述的一种基于深度强化学习的车辆接入选择优化方法，其特征在于：所述时延评价的计算公式如下：
其中，MaxT为定义的时延最大阈值；T为车辆到节点的时延；a为权重参数，b为偏置参数。
9.如权利要求8所述的一种基于深度强化学习的车辆接入选择优化方法，其特征在于：所述能耗评价的计算公式如下：
其中，E为能耗，单位为焦耳；ω为权重参数，σ为偏置参数。
10.一种基于深度强化学习的车辆接入选择优化系统，基于权利要求1-9中任一项所述的一种基于深度强化学习的车辆接入选择优化方法实现，其特征在于：包括IOV网络模型模块、输入输出模块、状态管理模块、策略网络模块、接入选择模块、策略更新模块、迭代控制模块，其中：
IOV网络模型模块用于模拟真实的车联网环境，提供随机的车联网网络参数；
输入输出模块用于接收车联网的环境信息作为输入，并将最终的车辆接入选择结果输出；
状态管理模块用于管理车联网的状态信息，包括网络状态、历史奖励值；
策略网络模块用于计算不同接入选择对应的概率，并输出概率最大的接入选择的接入矩阵；
接入选择模块用于根据策略网络输出的接入矩阵执行接入选择，记录奖励值，并更新网络状态；
策略更新模块用于更新策略网络的参数；
迭代控制模块用于控制系统的迭代过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311702801.8A CN117858198A (zh) | 2023-12-12 | 2023-12-12 | 一种基于深度强化学习的车辆接入选择优化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311702801.8A CN117858198A (zh) | 2023-12-12 | 2023-12-12 | 一种基于深度强化学习的车辆接入选择优化方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117858198A true CN117858198A (zh) | 2024-04-09 |
Family
ID=90538896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311702801.8A Pending CN117858198A (zh) | 2023-12-12 | 2023-12-12 | 一种基于深度强化学习的车辆接入选择优化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117858198A (zh) |
-
2023
- 2023-12-12 CN CN202311702801.8A patent/CN117858198A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11410046B2 (en) | Learning-based service migration in mobile edge computing | |
| CN112181666A (zh) | 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质 | |
| CN107690176B (zh) | 一种基于q学习算法的网络选择方法 | |
| CN111641681A (zh) | 基于边缘计算和深度强化学习的物联网服务卸载决策方法 | |
| CN113687875B (zh) | 一种车联网中车辆任务卸载方法及装置 | |
| CN116112981B (zh) | 一种基于边缘计算的无人机任务卸载方法 | |
| Xiao et al. | Collaborative cloud-edge service cognition framework for DNN configuration toward smart IIoT | |
| CN115913712A (zh) | 基于多用户多接入点的任务卸载隐私保护系统及方法 | |
| CN111935825A (zh) | 移动边缘计算系统中基于深度值网络的协作资源分配方法 | |
| Seyfollahi et al. | Enhancing mobile crowdsensing in Fog-based Internet of Things utilizing Harris hawks optimization | |
| CN118139116A (zh) | 一种基于粒子群优化策略的车联网计算任务卸载方法 | |
| CN117369964A (zh) | 边缘计算系统的任务处理方法及相关装置 | |
| CN117858198A (zh) | 一种基于深度强化学习的车辆接入选择优化方法及系统 | |
| CN114449536B (zh) | 一种基于深度强化学习的5g超密集网络多用户接入选择方法 | |
| CN112437460A (zh) | Ip地址黑灰名单分析方法、服务器、终端及存储介质 | |
| CN115696296B (zh) | 一种基于社区发现和加权联邦学习的主动边缘缓存方法 | |
| CN118316968B (zh) | 基于车路协同的微服务部署方法、系统、设备及存储介质 | |
| CN116341685B (zh) | 基于联合注意力的分布式计算卸载模型训练方法和系统 | |
| CN117857559B (zh) | 基于平均场博弈的城域光网络任务卸载方法及边缘服务器 | |
| CN112383965B (zh) | 基于drqn和多传感器模型的认知无线电功率分配方法 | |
| CN118784547A (zh) | 一种基于图神经网络和深度强化学习的路由优化方法 | |
| CN118282872A (zh) | 用于网络流量预测的模型训练方法、装置、设备和介质 | |
| CN118132980A (zh) | 基于机器学习的城域网流量预测方法 | |
| CN116522557A (zh) | 一种基于数字孪生的电力通信网自主规划方法及系统 | |
| CN118646655A (zh) | 基于社交网络的节点通信方法、装置、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |