CN116700984A - 一种基于云游戏服务的动态防入侵的资源调度系统 - Google Patents
一种基于云游戏服务的动态防入侵的资源调度系统 Download PDFInfo
- Publication number
- CN116700984A CN116700984A CN202310752013.3A CN202310752013A CN116700984A CN 116700984 A CN116700984 A CN 116700984A CN 202310752013 A CN202310752013 A CN 202310752013A CN 116700984 A CN116700984 A CN 116700984A
- Authority
- CN
- China
- Prior art keywords
- time
- user equipment
- resources
- resource
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 claims abstract description 34
- 238000013468 resource allocation Methods 0.000 claims abstract description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 238000010801 machine learning Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000005259 measurement Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 230000008901 benefit Effects 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000005684 electric field Effects 0.000 claims 1
- 238000013024 troubleshooting Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
一种基于云游戏服务的动态防入侵的资源调度系统,包括资源管理模块、负载均衡模块、调度算法模块和服务提供模块,资源管理模块负责收集服务器负载情况、用户游戏需求数据,实现对资源的监控、管理和控制,负载均衡模块负责实现对服务器节点的负载均衡,调度算法模块采用机器学习算法,根据用户需求和服务器负载情况,自动调整资源分配策略,实现最优的资源调度,服务提供模块负责将资源分配到最优的服务器节点上,并向用户提供云游戏服务,本发明的有益效果:根据用户需求和服务器负载情况,自动调整资源分配策略,从而达到最优的游戏体验,采用动态资源调度技术,实现对资源的实时监控和管理,确保资源的及时分配和利用。
Description
技术领域
本发明涉及边缘计算和机器学习领域,具体地说,涉及一种基于云游戏服务的动态防入侵的资源调度系统。
背景技术
随着云计算和网络技术的快速发展,云游戏逐渐成为游戏行业的新趋势,被广泛认为是未来游戏产业的发展方向,云游戏是一种基于云计算技术和高速网络技术的新型游戏服务,将游戏运行和渲染的计算任务放在云端服务器上,用户通过互联网随时随地进行游戏,无需下载和安装游戏客户端,只需要一台普通的电脑或手机和良好的网络连接即可,相较于传统游戏模式,云游戏具有无需下载和安装、跨平台、低成本、高安全性、易维护优点,能够满足用户对游戏服务的个性化需求,提高游戏的可玩性和可操作性。
但是,由于云游戏的特殊性质,即计算和渲染任务需要在云端服务器上完成,并通过网络传输到用户端进行显示,因此面临着很多技术和服务问题,如网络延迟、带宽限制、传输稳定性、游戏服务质量、成本问题,如何解决这些问题,提高云游戏的性能和稳定性,成为了云游戏行业和技术领域面临的重要挑战和研究方向。
在此背景下,本发明提出了一种基于云游戏服务的动态防入侵的资源调度系统,旨在通过综合运用云计算、网络技术和游戏技术,解决云游戏面临的技术和服务问题,提高云游戏的性能和稳定性,本发明提出的一种基于云游戏服务的动态防入侵的资源调度系统,包括资源管理模块、负载均衡模块、调度算法模块和服务提供模块,通过对资源的有效管理和调度,实现游戏服务的高效运行和优化,提高游戏服务的性能和质量,满足用户对游戏服务的需求。
发明内容
本发明的目的在于提供一种基于云游戏服务的动态防入侵的资源调度系统,以解决上述背景技术中提出的问题。
为实现上述目的,提供了一种基于云游戏服务的动态防入侵的资源调度系统,包括资源管理模块、负载均衡模块、调度算法模块和服务提供模块,其中,资源管理模块负责收集服务器负载情况、用户游戏需求数据,实现对资源的监控、管理和控制;负载均衡模块负责实现对服务器节点的负载均衡,确保每个节点的资源利用充分且负载均衡;调度算法模块采用机器学习算法,通过网络传输接收用户游戏需求数据和服务器负载情况数据,根据用户需求和服务器负载情况,自动调整资源分配策略;服务提供模块负责将资源分配到最优的服务器节点上,并向用户提供云游戏服务。
进一步的,资源管理模块收集和管理服务器资源,包括CPU、内存、存储的硬件资源,以及网络带宽的软件资源,资源管理模块实现以下功能:
(1)监控服务器资源状态:资源管理模块通过监控各种硬件和软件资源的使用情况,及时了解服务器资源的状态,包括CPU使用率、内存使用率、磁盘空间占用率、网络带宽使用情况;
(2)分析资源使用情况:资源管理模块通过算法分析服务器资源的使用情况和用户游戏需求数据,计算出当前服务器资源的负载情况和资源利用率;
(3)优化资源分配策略:根据资源使用情况和用户游戏需求数据,资源管理模块自动调整资源分配策略,包括动态分配资源、回收闲置资源、调整资源分配比例;
(4)实现资源的管理和控制:资源管理模块对服务器资源进行管理和控制,包括资源的分配、释放、回收、备份操作,确保服务器资源的高效利用和安全运行。
进一步的,负载均衡模块帮助系统实现对服务器资源的合理分配和调度,以达到负载均衡的效果通过监控服务器的负载情况,包括CPU使用率、内存使用率、磁盘空间占用率、网络带宽使用情况,及时了解服务器负载情况,负载均衡模块通过网络传输接收用户游戏需求数据,分析游戏类型、玩家数量、玩家位置信息,了解用户的游戏需求,并根据服务器的负载情况和用户游戏需求数据,负载均衡模块自动计算负载均衡策略,包括动态分配服务器资源、调整服务器之间的负载比例,并且对服务器进行负载均衡控制,包括服务器资源的分配、释放、回收、备份操作,确保系统资源的高效利用和稳定运行。
进一步的,调度算法模块通过应用一系列优化算法,能够实现对服务器资源的动态分配和调度,以满足不同用户的游戏需求,提高系统的可靠性和稳定性,调度算法模块实现多种调度算法,根据负载均衡模块提供的负载均衡策略,实现对服务器资源的动态分配和调度,采用动态调整调度算法,实现更加高效的资源分配和调度。
进一步的,本发明所提出的系统基于网络架构搭建,其网络架构包含微基站和宏基站,假设微基站是通过有线方式连接到宏基站的,由于宏基站之间的干扰很小,在一个宏基站的覆盖范围内存在n个微基站,其中n={1,2,…,N}表示微基站集合,N表示微基站的总数,在微基站集合n下有i个用户设备,i={1,2,…,I}表示用户设备的集合,I表示在微基站集合n下的用户设备总数,本发明所提出的系统考虑单天线用户设备和微基站,若每个用户设备都有单位时间内需要完成的计算密集型任务,每个用户设备将计算任务卸载到与其相连的微基站或宏基站的MEC服务器上,用户设备i上传的任务Ti表示为:其中,Di表示任务上传的数据量,Ci表示服务器处理任务所需的CPU周期数,/>表示任务完成的最大允许时间,在任务卸载过程中,本发明考虑到用户设备的移动性,接入的基站可能会切换,采用卡尔曼滤波算法,定义三个随机向量:系统状态的预测值/>测量值/>和估计值/>预测过程如下所示:
其中,是/>的均值,/>是/>的协方差矩阵,/>是/>的在t-1时刻的均值,/>是/>的在t-1时刻的协方差矩阵,Ft表示t-1时刻系统状态对t时刻系统状态的影响的转移矩阵,/>为Ft的转置,ut-1是t-1时刻控制输入矩阵,Bt表示转换矩阵,Qt-1表示预测噪声的协方差矩阵,预测噪声假设为均值为零的高斯分布,定义Zt为将系统状态映射到测量参数的矩阵,Zt与测量值/>的关系为:
其中,st表示测量噪声,服从均值为0、方差δ的高斯分布,Ht表示与Zt相互独立的系统状态映射到测量参数的矩阵,本发明考虑到了用户设备在t时刻的移动速度,用户设备vi的估计值的均值为/>其中,/>为:
其中,为t时刻用户设备vi位置的估计值,/>为t时刻用户设备vi移动速度的估计值,使用匀加速直线运动来预测,并将周期间隔设为Δt,用户设备vi的加速度为ai,t,预测过程表示为:
ut=ai,t
其中,ut是t时刻控制输入矩阵若直接测量位置和速度,有即:/> 系统状态是由位置和速度组成的二维高斯分布,定义/>是预测值,/>是测量值,/>部服从一维高斯分布,即:
其中,N()表示一维高斯分布函数,包含两项,第一项为均值,第二项为方差,是互相独立常数,在t时刻两个用户设备vi和vj之间的随机变量Di,j,t通过减去位置随机变量LOCi,t和LOCj,t,得到:
Di,j,t=LOCi,t-LOCj,t
通过上述公式得到两个用户设备之间距离的随机变量,Di,j,t服从一维高斯分布,如下所示:
Di,j,t=N(μi,t-μj,t,(σi,t)2+(σj,t)2)
其中,σi,t,σj,t均为标准差。
进一步的,定义从真实位置到用户设备干扰位置/>的干扰概率为/>对于用户设备的所有位置,得到干扰概率矩阵P,其中/>表示如下:
其中,真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,为/>即为真实位置/>对/>的干扰条件概率,本发明提出了概率扰动机制:如果概率扰动机制P满足以下不等式,则用户位置具有不可区分性:
其中,和/>属于位置集合lR,差分隐私预算e表示隐私保护的程度,e越小,隐私保护程度越高,/>和/>越难以区分;相反,e越大,隐私保护程度越低,两个真实位置的区分度越高,函数/>表示位置/>和位置/>之间的汉明距离,考虑攻击者若有先验知识,即攻击者可以获得干扰机制P和概率/>攻击者使用贝叶斯定理推断观察到的干扰位置以获取其真实位置,概率/>表示在干扰位置的前提下,用户设备的真实位置在/>的概率,通过贝叶斯定理和全概率公式,得到:
由于攻击者可以获取干扰机制P,并且可以获取真实位置的概率攻击者通过马尔可夫模型公共数据集得到后验概率/>是有界的,满足公式/>实现用户设备位置的不可区分性。
进一步的,为了防御具有先验知识的攻击者,并保护用户设备的位置隐私,本发明假设用户设备用户共有M*个不同的计算任务,对于每个计算任务m,都有一个固定的通信负载fm,一个固定的计算负载dm和一个固定的任务时间约束Tm,系统的调度决策是其中,/>表示在t时刻到达的计算任务被放置在相应的计算处理队列k中,b1,b2,...,bm,bm+1分别表示/>中第1个、第2个、第m个和第m+1个计算任务,计算任务分配到相应的计算任务队列k,使系统获得最大的收益,在计算任务调度模型的分析中,当基站接收到用户设备发送的计算卸载请求时,基站根据计算任务的队列状态、采用计算处理队列的用户设备信息以及马尔可夫决策模型来确定某个计算处理队列作为计算任务的卸载队列,系统在t时刻的状态定义如下:
其中,表示t时刻边缘节点上第1个、第2个、第m个、第m+1个计算处理队列的队列长度,dt表示t时刻用户生成的计算任务量,ft表示t时刻用户生成的通信任务大小,/>是t时刻生成紧急报警服务的用户设备及其相邻用户设备的空闲计算容量,在时间间隔τ内,每个计算处理队列的实际处理能力/>如下所示的公式所示:
其中,为决策概率,vk为计算容量,满足:
因此,t+1时刻的系统状态St+1表示为:
其中,表示在t时刻第1个计算任务队列的实际处理能力,/>表示在t时刻第m+1个计算任务队列的实际处理能力,/>为第1个计算任务队列的决策概率,/>为第m个计算任务队列的决策概率,/>为第m+1个计算任务队列的决策概率,/>是t+1时刻生成紧急报警服务的用户设备及其相邻用户设备的空闲计算容量,dt+1表示t+1时刻用户生成的计算任务量,ft+1表示t+1时刻用户生成的通信任务大小,此外,本发明还考虑通信资源分配对计算资源调度的影响,如果/>将用户设备的计算任务调度到用户设备节点上,那么任务将通过相邻用户设备的协作参与计算过程,处理延迟/>如下所示的公式:
其中,表示t时刻第m个计算任务队列用户生成的计算任务量,vm+1生成紧急报警服务的用户设备及其相邻用户设备的空闲计算容量,如果调度行为/>将用户设备安全应用的计算任务调度到基站上,那么由于调度而导致的任务m的处理延迟/>更新为:
其中C为用户设备集合。
进一步的,由引起的从状态St到St+1的状态转移的回报rt为:
其中,为调适因子,/>是在一段时间间隔内由每个服务队列提供的计算资源的总回报,Vk为计算容量集合,/>是对队列长度的平方进行惩罚,以避免服务队列长度严重不平衡,Tm为时延上限,/>是对任务是否在时延要求内完成的惩罚,以提高报警性能,为了在长期内获得更好的性能,α、β为惩罚系数,计算资源提供者必须考虑当前时刻的回报以及未来可以获得的回报,最终目标是最优的调度策略,以最大化累积折扣回报,如下所示的公式:
其中η(0≤η≤1)是折扣因子,ηt为t时刻的折扣因子,当t足够大时,ηt趋近于0,这意味着rt对总回报的影响较小,E为数学期望,最终目标是学习一个最优的调度策略π*,以最大化系统收益,引入值函数Rt来表示从t时刻到未来的整体折扣回报,具体表达式如下:
Rt=rt+1+ηrt+2+…
值函数Rt被定义为期望回报,rt+1为t+1时刻的回报,rt+2为t+2时刻的回报,通过贝尔曼方程V(s)来表示:
V(s)=E[Rt|St=s]=E[rt+1+ηv(st+1)|St=s]
其中,St表示t时刻状态的集合,v(st+1)表示t+1时刻状态值为st+1时候的回报价值,为了更好地描述包括未来的当前回报的最大值,使用动作值函数Qπ(s,b)来描述迭代过程:
Qπ(s,b)E=[rt+1+ηrt+2+η2rt+3+…|s,b]
其中,s和b分别表示状态值和行为策略,rt+3为t+3时刻的回报,本发明使用ε-贪心策略,选择的行为策略基于以下公式:
其中,st为t时刻的状态值,Q为深度Q网络中的Q函数,θ为Q函数的参数,在深度Q网络中,神经网络的近似表示,即非线性值函数,表示如下:
Q(s,b;ω)≈Q*(s,b)
其中,ω是神经网络的权重,参数ω需要被更新以使Q函数逼近最优值Q*。
进一步的,服务提供模块通过对游戏服务的实时监控和管理,实现对游戏服务的提供和管理,确保游戏服务的高可靠性和稳定性,对游戏服务的运行状态进行实时监控,自动部署游戏服务,根据负载均衡模块提供的负载均衡策略,实现对游戏服务的负载均衡,提高游戏服务的性能和可靠性,对游戏服务进行实时监控和管理,包括游戏服务器的状态、运行日志、错误日志,以及进行故障排除和问题处理,根据实时监控的数据,实现游戏服务的弹性扩容,即根据用户的游戏需求和服务器资源的使用情况,动态调整游戏服务的规模,以满足更多用户的需求。
本发明的有益效果:本发明提出的资源调度系统及方法对云游戏服务的资源进行有效管理和调度,实现对游戏服务的高效运行和优化,从而提高游戏服务的性能和稳定性,资源管理模块对云游戏服务的资源进行实时监控和管理,保证游戏服务的运行和维护,负载均衡模块均衡地分配用户请求到不同的游戏服务器上,提高游戏服务的性能和可靠性,调度算法模块根据用户请求的特征和服务器资源的状态,选择最优的服务器进行游戏服务的分配和调度,提高游戏服务的质量和稳定性,本发明所提出的系统基于网络架构搭建,创新之处在于:本发明考虑到用户设备的移动性,由于用户设备接入的基站可能会切换,适用于移动用户云游戏服务动态场景,考虑到了用户设备在t时刻的移动速度,构建了基于用户当前时刻位置与速度的二维模型,并服从于高斯分布,以此来增强用户移动时带来的不可预知性,移动过程中资源分配的转移为本发明带来更稳健的鲁棒性;为了增强本系统的防入侵功能,本发明还提出了概率扰动机制,使用户位置具有不可区分性,提出了差分隐私预算e来保护用户位置信息的隐私不被一般侵略者窃取,为了应对更复杂的云游戏服务场景,特别是为了防御具有先验知识的攻击者,并保护用户设备的位置隐私,本发明定义了系统的调度决策,充分结合本系统的队列长度、生成紧急报警服务的用户设备及其相邻用户设备的空闲计算容量、计算任务量和任务大小,来判断每个计算处理队列的实际处理能力,依照决策概率判断任务是否卸载,此外本发明还考虑通信资源分配对计算资源调度的影响,为用户带来更快捷、服务质量更好的体验。在动作值函数中,本发明使用ε-贪心策略,探索环境的变化,避免陷入局部优化,以此得到最优的网络参数。因此本发明提出的资源调度系统及方法具有技术创新和实用价值。
附图说明
利用附图对发明创造作进一步说明,但附图中的实施例不构成对本发明创造的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明结构示意图。
具体实施方式
结合以下实例对本发明作进一步描述。
参见图1,本发明旨在提供一种基于云游戏服务的动态防入侵的资源调度系统,包括资源管理模块、负载均衡模块、调度算法模块和服务提供模块,其中,资源管理模块负责收集服务器负载情况、用户游戏需求数据,实现对资源的监控、管理和控制;负载均衡模块负责实现对服务器节点的负载均衡,确保每个节点的资源利用充分且负载均衡;调度算法模块采用机器学习算法,通过网络传输接收用户游戏需求数据和服务器负载情况数据,根据用户需求和服务器负载情况,自动调整资源分配策略;服务提供模块负责将资源分配到最优的服务器节点上,并向用户提供云游戏服务。
具体的,资源管理模块收集和管理服务器资源,包括CPU、内存、存储的硬件资源,以及网络带宽的软件资源,资源管理模块实现以下功能:
(1)监控服务器资源状态:资源管理模块通过监控各种硬件和软件资源的使用情况,及时了解服务器资源的状态,包括CPU使用率、内存使用率、磁盘空间占用率、网络带宽使用情况;
(2)分析资源使用情况:资源管理模块通过算法分析服务器资源的使用情况和用户游戏需求数据,计算出当前服务器资源的负载情况和资源利用率;
(3)优化资源分配策略:根据资源使用情况和用户游戏需求数据,资源管理模块自动调整资源分配策略,包括动态分配资源、回收闲置资源、调整资源分配比例;
(4)实现资源的管理和控制:资源管理模块对服务器资源进行管理和控制,包括资源的分配、释放、回收、备份操作,确保服务器资源的高效利用和安全运行。
具体的,负载均衡模块帮助系统实现对服务器资源的合理分配和调度,以达到负载均衡的效果通过监控服务器的负载情况,包括CPU使用率、内存使用率、磁盘空间占用率、网络带宽使用情况,及时了解服务器负载情况,负载均衡模块通过网络传输接收用户游戏需求数据,分析游戏类型、玩家数量、玩家位置信息,了解用户的游戏需求,并根据服务器的负载情况和用户游戏需求数据,负载均衡模块自动计算负载均衡策略,包括动态分配服务器资源、调整服务器之间的负载比例,并且对服务器进行负载均衡控制,包括服务器资源的分配、释放、回收、备份操作,确保系统资源的高效利用和稳定运行。
具体的,调度算法模块通过应用一系列优化算法,能够实现对服务器资源的动态分配和调度,以满足不同用户的游戏需求,提高系统的可靠性和稳定性,调度算法模块实现多种调度算法,根据负载均衡模块提供的负载均衡策略,实现对服务器资源的动态分配和调度,采用动态调整调度算法,实现更加高效的资源分配和调度。
优选的,本发明所提出的系统基于网络架构搭建,其网络架构包含微基站和宏基站,假设微基站是通过有线方式连接到宏基站的,由于宏基站之间的干扰很小,在一个宏基站的覆盖范围内存在n个微基站,其中n={1,2,…,N}表示微基站集合,N表示微基站的总数,在微基站集合n下有i个用户设备,i={1,2,…,I}表示用户设备的集合,I表示在微基站集合n下的用户设备总数,本发明所提出的系统考虑单天线用户设备和微基站,若每个用户设备都有单位时间内需要完成的计算密集型任务,每个用户设备将计算任务卸载到与其相连的微基站或宏基站的MEC服务器上,用户设备i上传的任务Ti表示为:其中,Di表示任务上传的数据量,Ci表示服务器处理任务所需的CPU周期数,/>表示任务完成的最大允许时间,在任务卸载过程中,本发明考虑到用户设备的移动性,接入的基站可能会切换,采用卡尔曼滤波算法,定义三个随机向量:系统状态的预测值/>测量值/>和估计值/>预测过程如下所示:
其中,是/>的均值,/>是/>的协方差矩阵,/>是/>的在t-1时刻的均值,/>是/>的在t-1时刻的协方差矩阵,Ft表示t-1时刻系统状态对t时刻系统状态的影响的转移矩阵,/>为Ft的转置,ut-1是t-1时刻控制输入矩阵,Bt表示转换矩阵,Qt-1表示预测噪声的协方差矩阵,预测噪声假设为均值为零的高斯分布,因此它只会影响这个预测值的协方差矩阵,预测噪声表示了预测模型的准确性,如果预测模型更准确,预测噪声就会更小,在实际系统中,测量对象可能不是系统状态,而是与之相关的一些测量参数,通过这些测量参数可以间接获得系统状态的测量值,定义Zt为将系统状态映射到测量参数的矩阵,Zt与测量值的关系为:
其中,st表示测量噪声,服从均值为0、方差δ的高斯分布,Ht表示与Zt相互独立的系统状态映射到测量参数的矩阵,若用户设备的位置建模为一维坐标,为了使预测模型更准确,本发明考虑到了用户设备在t时刻的移动速度,用户设备vi的估计值的均值为/>其中,/>为:
其中,为t时刻用户设备vi位置的估计值,/>为t时刻用户设备vi移动速度的估计值,使用匀加速直线运动来预测,并将周期间隔设为Δt,用户设备vi的加速度为ai,t,预测过程表示为:
ut=ai,t
其中,ut是t时刻控制输入矩阵若直接测量位置和速度,有即:/> 系统状态是由位置和速度组成的二维高斯分布,定义/>是预测值,/>是测量值,/>都服从一维高斯分布,即:
其中,N()表示一维高斯分布函数,包含两项,第一项为均值,第二项为方差,是互相独立常数,在t时刻两个用户设备vi和vj之间的随机变量Di,j,t通过减去位置随机变量LOCi,t和LOCj,t,得到:
Di,j,t=LOCi,t-LOCj,t
通过上述公式得到两个用户设备之间距离的随机变量,Di,j,t服从一维高斯分布,如下所示:
Di,j,t=N(μi,t-μj,t,(σi,t)2+(σj,t)2)
其中,σi,t,σj,t均为标准差。
优选的,定义从真实位置到用户设备干扰位置/>的干扰概率为/>对于用户设备的所有位置,得到干扰概率矩阵P,其中/>表示如下:
其中,真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,真实位置/>对/>的干扰条件概率,为/>即为真实位置/>对/>的干扰条件概率,本发明提出了概率扰动机制:如果概率扰动机制P满足以下不等式,则用户位置具有不可区分性:
其中,和/>属于位置集合lR,差分隐私预算e表示隐私保护的程度,e越小,隐私保护程度越高,/>和/>越难以区分;相反,e越大,隐私保护程度越低,两个真实位置的区分度越高,函数/>表示位置/>和位置/>之间的汉明距离,从公式/>得出,当选择适当的差分隐私预算e时,如果选择两个位置,/>和/>距离越小,即两个位置越接近,从这两个位置生成干扰位置/>的概率越小,在这种情况下,攻击者无法准确区分用户设备的真实位置或接近用户设备的位置,由于用户设备仅广播了干扰后的位置,攻击者可以观察到用户设备的干扰位置,但无法直接获得其真实位置,考虑攻击者若有先验知识,即攻击者可以获得干扰机制P和概率/>攻击者使用贝叶斯定理推断观察到的干扰位置以获取其真实位置,概率/>表示在干扰位置的前提下,用户设备的真实位置在/>的概率,通过贝叶斯定理和全概率公式,得到:
由于攻击者可以获取干扰机制P,并且可以获取真实位置的概率攻击者通过马尔可夫模型公共数据集得到后验概率/>是有界的,满足公式/>实现用户设备位置的不可区分性。
优选的,为了防御具有先验知识的攻击者,并保护用户设备的位置隐私,本发明假设用户设备用户共有M*个不同的计算任务,对于每个计算任务m,都有一个固定的通信负载fm,一个固定的计算负载dm和一个固定的任务时间约束Tm,系统的调度决策是其中,/>表示在t时刻到达的计算任务被放置在相应的计算处理队列k中,b1,b2,...,bm,bm+1分别表示/>中第1个、第2个、第m个和第m+1个计算任务,计算任务分配到相应的计算任务队列k,使系统获得最大的收益,在计算任务调度模型的分析中,当基站接收到用户设备发送的计算卸载请求时,基站根据计算任务的队列状态、采用计算处理队列的用户设备信息以及马尔可夫决策模型来确定某个计算处理队列作为计算任务的卸载队列,系统在t时刻的状态定义如下:
其中,表示t时刻边缘节点上第1个、第2个、第m个、第m+1个计算处理队列的队列长度,dt表示t时刻用户生成的计算任务量,ft表示t时刻用户生成的通信任务大小,/>是t时刻生成紧急报警服务的用户设备及其相邻用户设备的空闲计算容量,在时间间隔τ内,每个计算处理队列的实际处理能力/>如下所示的公式所示:
其中,为决策概率,vk为计算容量,满足:
因此,t+1时刻的系统状态St+1表示为:
其中,表示在t时刻第1个计算任务队列的实际处理能力,/>表示在t时刻第m+1个计算任务队列的实际处理能力,/>为第1个计算任务队列的决策概率,/>为第m个计算任务队列的决策概率,/>为第m+1个计算任务队列的决策概率,/>是t+1时刻生成紧急报警服务的用户设备及其相邻用户设备的空闲计算容量,dt+1表示t+1时刻用户生成的计算任务量,ft+1表示t+1时刻用户生成的通信任务大小,此外,本发明还考虑通信资源分配对计算资源调度的影响,如果/>将用户设备的计算任务调度到用户设备节点上,那么任务将通过相邻用户设备的协作参与计算过程,处理延迟/>如下所示的公式:
其中,表示t时刻第m个计算任务队列用户生成的计算任务量,vm+1生成紧急报警服务的用户设备及其相邻用户设备的空闲计算容量,如果调度行为/>将用户设备安全应用的计算任务调度到基站上,那么由于调度而导致的任务m的处理延迟/>更新为:
/>
其中C为用户设备集合。
优选的,由引起的从状态St到St+1的状态转移的回报rt为:
其中,为调适因子,/>是在一段时间间隔内由每个服务队列提供的计算资源的总回报,Vk为计算容量集合,/>是对队列长度的平方进行惩罚,以避免服务队列长度严重不平衡,Tm为时延上限,/>是对任务是否在时延要求内完成的惩罚,以提高报警性能,为了在长期内获得更好的性能,α、β为惩罚系数,计算资源提供者必须考虑当前时刻的回报以及未来可以获得的回报,最终目标是最优的调度策略,以最大化累积折扣回报,如下所示的公式:
其中η(0≤η≤1)是折扣因子,ηt为t时刻的折扣因子,当t足够大时,ηt趋近于0,这意味着rt对总回报的影响较小,E为数学期望,最终目标是学习一个最优的调度策略π*,以最大化系统收益,引入值函数Rt来表示从t时刻到未来的整体折扣回报,具体表达式如下:
Rt=rt+1+ηrt+2+…
值函数Rt被定义为期望回报,rt+1为t+1时刻的回报,rt+2为t+2时刻的回报,通过贝尔曼方程V(s)来表示:
V(s)=E[Rt|St=s]=E[rt+1+ηv(st+1)|St=s]
其中,St表示t时刻状态的集合,v(st+1)表示t+1时刻状态值为st+1时候的回报价值,为了更好地描述包括未来的当前回报的最大值,使用动作值函数Qπ(s,b)来描述迭代过程:
Qπ(s,b)E=[rt+1+ηrt+2+η2rt+3+…|s,b]
其中,s和b分别表示状态值和行为策略,rt+3为t+3时刻的回报,本发明使用ε-贪心策略,探索环境的变化,避免陷入局部优化,选择的行为策略基于以下公式:
其中,st为t时刻的状态值,Q为深度Q网络中的Q函数,θ为Q函数的参数,在深度Q网络中,神经网络的近似表示,即非线性值函数,表示如下:
Q(s,b;ω)≈Q*(s,b)
其中,ω是神经网络的权重,参数ω需要被更新以使Q函数逼近最优值Q*。
具体的,服务提供模块通过对游戏服务的实时监控和管理,实现对游戏服务的提供和管理,确保游戏服务的高可靠性和稳定性,对游戏服务的运行状态进行实时监控,自动部署游戏服务,根据负载均衡模块提供的负载均衡策略,实现对游戏服务的负载均衡,提高游戏服务的性能和可靠性,对游戏服务进行实时监控和管理,包括游戏服务器的状态、运行日志、错误日志,以及进行故障排除和问题处理,根据实时监控的数据,实现游戏服务的弹性扩容,即根据用户的游戏需求和服务器资源的使用情况,动态调整游戏服务的规模,以满足更多用户的需求。
本发明的有益效果:本发明提出的资源调度系统及方法对云游戏服务的资源进行有效管理和调度,实现对游戏服务的高效运行和优化,从而提高游戏服务的性能和稳定性,资源管理模块对云游戏服务的资源进行实时监控和管理,保证游戏服务的运行和维护,负载均衡模块均衡地分配用户请求到不同的游戏服务器上,提高游戏服务的性能和可靠性,调度算法模块根据用户请求的特征和服务器资源的状态,选择最优的服务器进行游戏服务的分配和调度,提高游戏服务的质量和稳定性,本发明所提出的系统基于网络架构搭建,创新之处在于:本发明考虑到用户设备的移动性,由于用户设备接入的基站可能会切换,适用于移动用户云游戏服务动态场景,考虑到了用户设备在t时刻的移动速度,构建了基于用户当前时刻位置与速度的二维模型,并服从于高斯分布,以此来增强用户移动时带来的不可预知性,移动过程中资源分配的转移为本发明带来更稳健的鲁棒性;为了增强本系统的防入侵功能,本发明还提出了概率扰动机制,使用户位置具有不可区分性,提出了差分隐私预算e来保护用户位置信息的隐私不被一般侵略者窃取,为了应对更复杂的云游戏服务场景,特别是为了防御具有先验知识的攻击者,并保护用户设备的位置隐私,本发明定义了系统的调度决策,充分结合本系统的队列长度、生成紧急报警服务的用户设备及其相邻用户设备的空闲计算容量、计算任务量和任务大小,来判断每个计算处理队列的实际处理能力,依照决策概率判断任务是否卸载,此外本发明还考虑通信资源分配对计算资源调度的影响,为用户带来更快捷、服务质量更好的体验。在动作值函数中,本发明使用ε-贪心策略,探索环境的变化,避免陷入局部优化,以此得到最优的网络参数。因此本发明提出的资源调度系统及方法具有技术创新和实用价值。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者同替换,而不脱离本发明技术方案的实质和范围。
Claims (9)
1.一种基于云游戏服务的动态防入侵的资源调度系统,包括资源管理模块、负载均衡模块、调度算法模块和服务提供模块,其中,资源管理模块负责收集服务器负载情况、用户游戏需求数据,实现对资源的监控、管理和控制;负载均衡模块负责实现对服务器节点的负载均衡,确保每个节点的资源利用充分且负载均衡;调度算法模块采用机器学习算法,通过网络传输接收用户游戏需求数据和服务器负载情况数据,根据用户需求和服务器负载情况,自动调整资源分配策略;服务提供模块负责将资源分配到最优的服务器节点上,并向用户提供云游戏服务。
2.根据权利要求1所述一种基于云游戏服务的动态防入侵的资源调度系统,其特征在于,资源管理模块收集和管理服务器资源,包括CPU、内存、存储的硬件资源,以及网络带宽的软件资源,资源管理模块实现以下功能:
(1)监控服务器资源状态:资源管理模块通过监控各种硬件和软件资源的使用情况,及时了解服务器资源的状态,包括CPU使用率、内存使用率、磁盘空间占用率、网络带宽使用情况;
(2)分析资源使用情况:资源管理模块通过算法分析服务器资源的使用情况和用户游戏需求数据,计算出当前服务器资源的负载情况和资源利用率;
(3)优化资源分配策略:根据资源使用情况和用户游戏需求数据,资源管理模块自动调整资源分配策略,包括动态分配资源、回收闲置资源、调整资源分配比例;
(4)实现资源的管理和控制:资源管理模块对服务器资源进行管理和控制,包括资源的分配、释放、回收、备份操作,确保服务器资源的高效利用和安全运行。
3.根据权利要求1所述一种基于云游戏服务的动态防入侵的资源调度系统,其特征在于,负载均衡模块帮助系统实现对服务器资源的合理分配和调度,以达到负载均衡的效果通过监控服务器的负载情况,包括CPU使用率、内存使用率、磁盘空间占用率、网络带宽使用情况,及时了解服务器负载情况,负载均衡模块通过网络传输接收用户游戏需求数据,分析游戏类型、玩家数量、玩家位置信息,了解用户的游戏需求,并根据服务器的负载情况和用户游戏需求数据,负载均衡模块自动计算负载均衡策略,包括动态分配服务器资源、调整服务器之间的负载比例,并且对服务器进行负载均衡控制,包括服务器资源的分配、释放、回收、备份操作,确保系统资源的高效利用和稳定运行。
4.根据权利要求1所述一种基于云游戏服务的动态防入侵的资源调度系统,其特征在于,调度算法模块通过应用一系列优化算法,能够实现对服务器资源的动态分配和调度,以满足不同用户的游戏需求,提高系统的可靠性和稳定性,调度算法模块实现多种调度算法,根据负载均衡模块提供的负载均衡策略,实现对服务器资源的动态分配和调度,采用动态调整调度算法,实现更加高效的资源分配和调度。
5.根据权利要求1所述一种基于云游戏服务的动态防入侵的资源调度系统,其特征在于,本发明所提出的系统基于网络架构搭建,其网络架构包含微基站和宏基站,假设微基站是通过有线方式连接到宏基站的,由于宏基站之间的干扰很小,在一个宏基站的覆盖范围内存在n个微基站,其中n={1,2,…,N}表示微基站集合,N表示微基站的总数,在微基站集合n下有i个用户设备,i={1,2,…,I}表示用户设备的集合,I表示在微基站集合n下的用户设备总数,本发明所提出的系统考虑单天线用户设备和微基站,若每个用户设备都有单位时间内需要完成的计算密集型任务,每个用户设备将计算任务卸载到与其相连的微基站或宏基站的MEC服务器上,用户设备i上传的任务Ti表示为:其中,Di表示任务上传的数据量,Ci表示服务器处理任务所需的CPU周期数,/>表示任务完成的最大允许时间,在任务卸载过程中,本发明考虑到用户设备的移动性,接入的基站可能会切换,采用卡尔曼滤波算法,定义三个随机向量:系统状态的预测值/>测量值/>和估计值/>预测过程如下所示:
其中,是/>的均值,/>是/>的协方差矩阵,/>是/>的在t-1时刻的均值,/>是/>的在t-1时刻的协方差矩阵,Ft表示t-1时刻系统状态对t时刻系统状态的影响的转移矩阵,/>为Ft的转置,ut-1是t-1时刻控制输入矩阵,Bt表示转换矩阵,Qt-1表示预测噪声的协方差矩阵,预测噪声假设为均值为零的高斯分布,定义Zt为将系统状态映射到测量参数的矩阵,Zt与测量值/>的关系为:
其中,st表示测量噪声,服从均值为0、方差δ的高斯分布,Ht表示与Zt相互独立的系统状态映射到测量参数的矩阵,本发明考虑到了用户设备在t时刻的移动速度,用户设备vi的估计值的均值为/>其中,/>为:
其中,为t时刻用户设备vi位置的估计值,/>为t时刻用户设备vi移动速度的估计值,使用匀加速直线运动来预测,并将周期间隔设为Δt,用户设备vi的加速度为ai,t,预测过程表示为:
其中,ut是t时刻控制输入矩阵若直接测量位置和速度,有即:/> 系统状态是由位置和速度组成的二维高斯分布,定义/>是预测值,/>是测量值,都服从一维高斯分布,即:
其中,N()表示一维高斯分布函数,包含两项,第一项为均值,第二项为方差,是互相独立常数,在t时刻两个用户设备vi和vj之间的随机变量Di,j,t通过减去位置随机变量LOCi,t和LOCj,t,得到:
Di,j,t=LOCi,t-LOCj,t
通过上述公式得到两个用户设备之间距离的随机变量,Di,j,t服从一维高斯分布,如下所示:
其中,σi,t,σj,t均为标准差。
6.根据权利要求5所述一种基于云游戏服务的动态防入侵的资源调度系统,其特征在于,定义从真实位置到用户设备干扰位置/>的干扰概率为/>对于用户设备的所有位置,得到干扰概率矩阵P,其中/>表示如下:
其中,真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,/>真实位置/>对/>的干扰条件概率,为/>即为真实位置/>对/>的干扰条件概率,本发明提出了概率扰动机制:如果概率扰动机制P满足以下不等式,则用户位置具有不可区分性:
其中,和/>属于位置集合lR,差分隐私预算e表示隐私保护的程度,e越小,隐私保护程度越高,/>和/>越难以区分;相反,e越大,隐私保护程度越低,两个真实位置的区分度越高,函数/>表示位置/>和位置/>之间的汉明距离,考虑攻击者若有先验知识,即攻击者可以获得干扰机制P和概率/>攻击者使用贝叶斯定理推断观察到的干扰位置以获取其真实位置,概率/>表示在干扰位置的前提下,用户设备的真实位置在/>的概率,通过贝叶斯定理和全概率公式,得到:
由于攻击者可以获取干扰机制P,并且可以获取真实位置的概率攻击者通过马尔可夫模型公共数据集得到后验概率/>是有界的,满足公式/>实现用户设备位置的不可区分性。
7.根据权利要求6所述一种基于云游戏服务的动态防入侵的资源调度系统,其特征在于,为了防御具有先验知识的攻击者,并保护用户设备的位置隐私,本发明假设用户设备有M*个不同的计算任务,对于每个计算任务m,都有一个固定的通信负载fm,一个固定的计算负载dm和一个固定的任务时间约束Tm,系统的调度决策是其中,/>表示在t时刻到达的计算任务被放置在相应的计算处理队列k中,b1,b2,…,bm,bm+1分别表示中第1个、第2个、第m个和第m+1个计算任务,计算任务分配到相应的计算任务队列k,使系统获得最大的收益,在计算任务调度模型的分析中,当基站接收到用户设备发送的计算卸载请求时,基站根据计算任务的队列状态、采用计算处理队列的用户设备信息以及马尔可夫决策模型来确定某个计算处理队列作为计算任务的卸载队列,系统在t时刻的状态定义如下:
其中,表示t时刻边缘节点上第1个、第2个、第m个、第m+1个计算处理队列的队列长度,dt表示t时刻用户生成的计算任务量,ft表示t时刻用户生成的通信任务大小,/>是t时刻生成紧急报警服务的用户设备及其相邻用户设备的空闲计算容量,在时间间隔τ内,每个计算处理队列的实际处理能力/>如下式所示:
其中,为决策概率,vk为计算容量,满足:
因此,t+1时刻的系统状态St+1表示为:
其中,表示在t时刻第1个计算任务队列的实际处理能力,/>表示在t时刻第m+1个计算任务队列的实际处理能力,/>为第1个计算任务队列的决策概率,/>为第m个计算任务队列的决策概率,/>为第m+1个计算任务队列的决策概率,/>是t+1时刻生成紧急报警服务的用户设备及其相邻用户设备的空闲计算容量,dt+1表示t+1时刻用户生成的计算任务量,ft+1表示t+1时刻用户生成的通信任务大小,此外,本发明还考虑通信资源分配对计算资源调度的影响,如果/>将用户设备的计算任务调度到用户设备节点上,那么任务将通过相邻用户设备的协作参与计算过程,处理延迟/>如下所示的公式:
其中,表示t时刻第m个计算任务队列用户生成的计算任务量,vm+1生成紧急报警服务的用户设备及其相邻用户设备的空闲计算容量,如果调度行为/>将用户设备安全应用的计算任务调度到基站上,那么由于调度而导致的任务m的处理延迟/>更新为:
其中C为用户设备集合。
8.根据权利要求7所述一种基于云游戏服务的动态防入侵的资源调度系统,其特征在于,由引起的从状态St到St+1的状态转移的回报rt为:
其中,ζk为调适因子,是在一段时间间隔内由每个服务队列提供的计算资源的总回报,Vk为计算容量集合,/>是对队列长度的平方进行惩罚,以避免服务队列长度严重不平衡,Tm为时延上限,/>是对任务是否在时延要求内完成的惩罚,以提高报警性能,为了在长期内获得更好的性能,α、β为惩罚系数,计算资源提供者必须考虑当前时刻的回报以及未来可以获得的回报,最终目标是最优的调度策略,以最大化累积折扣回报,如下所示的公式:
其中η(0≤η≤1)是折扣因子,ηt为t时刻的折扣因子,当t足够大时,ηt趋近于0,这意味着rt对总回报的影响较小,E为数学期望,最终目标是学习一个最优的调度策略π*,以最大化系统收益,引入值函数Rt来表示从t时刻到未来的整体折扣回报,具体表达式如下:
Rt=rt+1+ηrt+2+…
值函数Rt被定义为期望回报,rt+1为t+1时刻的回报,rt+2为t+2时刻的回报,通过贝尔曼方程V(s)来表示:
V(s)=E[Rt|St=s]=E[rt+1+ηv(st+1)|St=s]
其中,St表示t时刻状态的集合,v(st+1)表示t+1时刻状态值为st+1时候的回报价值,为了更好地描述包括未来的当前回报的最大值,使用动作值函数Qπ(s,b)来描述迭代过程:
Qπ(s,b)E=[rt+1+ηrt+2+η2rt+3+…|s,b]
其中,s和b分别表示状态值和行为策略,rt+3为t+3时刻的回报,本发明使用ε-贪心策略,选择的行为策略基于以下公式:
其中,st为t时刻的状态值,Q为深度Q网络中的Q函数,θ为Q函数的参数,在深度Q网络中,神经网络的近似表示,即非线性值函数,表示如下:
Q(s,b;ω)≈Q*(s,b)
其中,ω是神经网络的权重,参数ω需要被更新以使Q函数逼近最优值Q*。
9.根据权利要求1所述一种基于云游戏服务的动态防入侵的资源调度系统,其特征在于,服务提供模块通过对游戏服务的实时监控和管理,实现对游戏服务的提供和管理,确保游戏服务的高可靠性和稳定性,对游戏服务的运行状态进行实时监控,自动部署游戏服务,根据负载均衡模块提供的负载均衡策略,实现对游戏服务的负载均衡,提高游戏服务的性能和可靠性,对游戏服务进行实时监控和管理,包括游戏服务器的状态、运行日志、错误日志,以及进行故障排除和问题处理,根据实时监控的数据,实现游戏服务的弹性扩容,即根据用户的游戏需求和服务器资源的使用情况,动态调整游戏服务的规模,以满足更多用户的需求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310752013.3A CN116700984A (zh) | 2023-06-25 | 2023-06-25 | 一种基于云游戏服务的动态防入侵的资源调度系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310752013.3A CN116700984A (zh) | 2023-06-25 | 2023-06-25 | 一种基于云游戏服务的动态防入侵的资源调度系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116700984A true CN116700984A (zh) | 2023-09-05 |
Family
ID=87830983
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310752013.3A Pending CN116700984A (zh) | 2023-06-25 | 2023-06-25 | 一种基于云游戏服务的动态防入侵的资源调度系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116700984A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117311984A (zh) * | 2023-11-03 | 2023-12-29 | 北京创璞科技有限公司 | 基于对比服务的服务器负载均衡方法及系统 |
-
2023
- 2023-06-25 CN CN202310752013.3A patent/CN116700984A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117311984A (zh) * | 2023-11-03 | 2023-12-29 | 北京创璞科技有限公司 | 基于对比服务的服务器负载均衡方法及系统 |
CN117311984B (zh) * | 2023-11-03 | 2024-03-29 | 北京创璞科技有限公司 | 基于对比服务的服务器负载均衡方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fadlullah et al. | HCP: Heterogeneous computing platform for federated learning based collaborative content caching towards 6G networks | |
He et al. | QoE-driven content-centric caching with deep reinforcement learning in edge-enabled IoT | |
CN111629380B (zh) | 面向高并发多业务工业5g网络的动态资源分配方法 | |
CN114340016B (zh) | 一种电网边缘计算卸载分配方法及系统 | |
CN113452956B (zh) | 一种输电线路巡检任务智能分配方法及系统 | |
CN109947574B (zh) | 一种基于雾网络的车辆大数据计算卸载方法 | |
CN109831522A (zh) | 一种基于smdp的车联云雾系统动态资源优化管理系统和方法 | |
CN113286329B (zh) | 基于移动边缘计算的通信和计算资源联合优化方法 | |
CN114138373A (zh) | 一种基于强化学习的边缘计算任务卸载方法 | |
CN116700984A (zh) | 一种基于云游戏服务的动态防入侵的资源调度系统 | |
CN113407249B (zh) | 一种面向位置隐私保护的任务卸载方法 | |
CN110580199A (zh) | 边缘计算环境下基于粒子群的服务迁移方法 | |
CN116390161A (zh) | 一种移动边缘计算中基于负载均衡的任务迁移方法 | |
Li et al. | DQN-enabled content caching and quantum ant colony-based computation offloading in MEC | |
Cui et al. | Multi-Agent Reinforcement Learning Based Cooperative Multitype Task Offloading Strategy for Internet of Vehicles in B5G/6G Network | |
CN113271221B (zh) | 网络能力开放方法、系统及电子设备 | |
Wu et al. | Intelligent and survivable resource slicing for 6G-oriented UAV-assisted edge computing networks | |
CN113821346A (zh) | 基于深度强化学习的边缘计算中计算卸载与资源管理方法 | |
Kang et al. | Task selection and route planning for mobile crowd sensing using multi-population mean-field games | |
CN116827515A (zh) | 一种基于区块链和强化学习的雾计算系统性能优化算法 | |
CN114980039A (zh) | D2d协作计算的mec系统中的随机任务调度和资源分配方法 | |
CN114928826A (zh) | 一种软件定义车载任务卸载与资源分配的二阶段优化方法、控制器及决策方法 | |
Damaševičius et al. | Short time prediction of cloud server round-trip time using a hybrid neuro-fuzzy network | |
Zhang et al. | Adaptive Frame Rate Optimization Based on Particle Swarm and Neural Network for Industrial Video Stream | |
Grasso et al. | Comparison of Deep Reinforcement Learning Approaches for FANET Optimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |