CN115002038B - 一种基于云端分布式协调服务的智能调峰方法和系统 - Google Patents
一种基于云端分布式协调服务的智能调峰方法和系统 Download PDFInfo
- Publication number
- CN115002038B CN115002038B CN202210929836.4A CN202210929836A CN115002038B CN 115002038 B CN115002038 B CN 115002038B CN 202210929836 A CN202210929836 A CN 202210929836A CN 115002038 B CN115002038 B CN 115002038B
- Authority
- CN
- China
- Prior art keywords
- data
- cloud
- node
- service
- data source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提出一种基于云端分布式协调服务的智能调峰方法和系统。其中,方法包括:在数据协议中增加数据重要性等级和紧急性等级;在试训任务准备阶段,由中间件依据试验规划文件拟定的资源节点数量和类型而生成数据态势;所述数据态势为数据源及其特征组成的集合;构建基于云端分布式协调服务的云网端架构,为智能调峰提供支撑服务、基础通信、统一接口和中间件代理;依据数据态势和约束条件,建立云端数据状态空间方程;根据所述状态空间方程和调峰目标,给出最优数据传输秩序。本发明具有网络环境全局感知和调节能力,避免单个节点环境的局限,最大限度适应任务需求,明显提升调节效果。
Description
技术领域
本发明属于分布式战役仿真领域,尤其涉及一种基于云端分布式协调服务的智能调峰方法和系统。
背景技术
以目前大规模分布式战役仿真系统为例,数据交互一般采用基于TENA/HLA/DDS等架构思想的发布/订阅方式。对于这些交互技术,通常都有静态资源绑定、通信带宽需求较高等特点。当前的一类典型研究将仿真实体的输出数据分类汇总形成“态势层”,每个“态势层”构成一个全局共享的分布式虚拟环境,实体与虚拟环境进行数据交互。与以实体为中心的数据交互思想相比,降低了基于实体间数据交互的耦合性和数据交互的逻辑复杂度,并且,显著削减了仿真系统交互数据总量。
对于这类交互处理技术,它涉及对业务的调整,减少了交互数据,虽然适应了带宽要求,但有可能改变数据的完备性、不利于业务及数据扩展。
在解决数据拥塞方面,较为典型的进展主要围绕软件定义网络(SDN)开展拥塞控制方法研究。针对数据中心网络存在的长短流竞争和TCP Incast引起的短流高延迟问题,借助SDN的集中控制优势,利用控制器侦测多对一的网络流通信行为,预测交换机的TCPIncast 发生瓶颈,并考虑时延敏感流的特性要求,结合底线感知数据中心TCP 的时限感知和显式拥塞通知机制,调整拥塞窗口,增强短流竞争力。该方法能够有效降低TCP Incast的发生概率,保证短流低延时。
对于这类拥塞控制方法,它虽然能取得好的TCP Incast发生概率,但主要从传输层考虑问题,不能满足业务层的实时需求。
为了解决分布式试训环境的高峰时段数据调峰问题,既要满足数据的完备性、扩展性,业务的实时性,又要有效调节随时可能出现的拥塞状态。重要的是,在带宽已经明确的前提下,针对数据并发需求随时可能集中爆发的情况,以业务需求为中心提出解决问题的方法和技术路径。
发明内容
为解决上述技术问题,本发明提出一种基于云端分布式协调服务的智能调峰方法的技术方案。
本发明第一方面公开了一种基于云端分布式协调服务的智能调峰方法;所述方法包括:
步骤S1、 数据设计:在数据协议中增加数据重要性等级和紧急性等级;
步骤S2、数据态势构建:在试训任务准备阶段,由中间件依据试验规划文件拟定的资源节点数量和类型而生成数据态势;所述数据态势为数据源及其特征组成的集合;
步骤S3、构建基于云端分布式协调服务的云网端架构,为智能调峰提供支撑服务、基础通信、统一接口和中间件代理;
步骤S4、依据所述数据态势和约束条件,建立云端数据状态空间方程;
步骤S5、根据所述状态空间方程和调峰目标,给出最优数据传输秩序。
根据本发明第一方面的方法,在所述步骤S1中,数据协议的格式分层描述,分别设计协议型号、协议项、协议帧头/帧尾/元素项和协议元素位四层数据结构。
根据本发明第一方面的方法,在所述步骤S1中,在所述协议项的数据结构中增加数据重要性等级和紧急性等级。
根据本发明第一方面的方法,在所述步骤S2中,所述数据态势的组成部分包括:节点类型、节点数据重要性、第一数据源的紧急性、第二数据源的紧急性、第三数据源的紧急性、节点吞吐量和节点发送频率;
所述第一数据源为数据分发类数据;
所述第二数据源为远程过程调用类数据;
所述第三数据源为消息队列类数据。
根据本发明第一方面的方法,在所述步骤S3中,所述云网端架构分为云、网和端三层;云侧面向服务集成,为试训中间件的运行提供服务支撑,即云端服务,所述试训中间件实现对各物理靶场、各节点的调峰服务;网侧面向数据传输,提供一系列通信传输技术;端侧面向试训节点和试训资源,提供资源接入和试训环境快速构建。
根据本发明第一方面的方法,在所述步骤S4中,所述约束条件包括:
第一约束条件:按照数据态势的全部节点目录,各资源节点有参考的排序,作为默认秩序,但能通过所述云端服务再调节;
第二约束条件:所述云端服务初始化秩序后,仅调节数据源紧急性的秩序,不调节初始化后的所述节点数据重要性的秩序;
第三约束条件:数据的调节范围为当前选定的一组数据对象,处理完后再开始新的一组数据,不支持后续数据的即时插入。
根据本发明第一方面的方法,在所述步骤S4中,所述状态空间方程为:
x(k+1)=A x(k)+ B u(k)+xk0
y(k+1)= C x(k)+ D u(k)
u(k)是输入变量,为第一数据源紧急性的权重、第二数据源紧急性的权重、第三数据源紧急性的权重、节点吞吐量的权重和节点发送频率的权重;
x(k)是状态变量,指待发数据源的排序状态,xk0是状态初始值,指重要性原始设置值;y(k+1)是输出变量,指测量到的各数据源发送效果评估值;
A、B、C和D为矩阵常量。
本发明第二方面公开了一种基于云端分布式协调服务的智能调峰系统;所述系统包括:
第一处理模块,被配置为,数据设计:在数据协议中增加数据重要性等级和紧急性等级;
第二处理模块,被配置为,数据态势构建:在试训任务准备阶段,由中间件依据试验规划文件拟定的资源节点数量和类型而生成数据态势;所述数据态势为数据源及其特征组成的集合;
第三处理模块,被配置为,构建基于云端分布式协调服务的云网端架构,为智能调峰提供支撑服务、基础通信、统一接口和中间件代理;
第四处理模块,被配置为,依据数据态势和约束条件,建立云端数据状态空间方程;
第五处理模块,被配置为,根据所述状态空间方程和调峰目标,给出最优数据传输秩序。
根据本发明第二方面的系统,所述第一处理模块,具体被配置为,数据协议的格式分层描述,分别设计协议型号、协议项、协议帧头/帧尾/元素项和协议元素位四层数据结构。
根据本发明第二方面的系统,所述第一处理模块,具体被配置为,在所述协议项的数据结构中增加数据重要性等级和紧急性等级。
根据本发明第二方面的系统,所述第二处理模块,具体被配置为,所述数据态势的组成部分包括:节点类型、节点数据重要性、第一数据源的紧急性、第二数据源的紧急性、第三数据源的紧急性、节点吞吐量和节点发送频率;
所述第一数据源为数据分发类数据;
所述第二数据源为远程过程调用类数据;
所述第三数据源为消息队列类数据。
根据本发明第二方面的系统,所述第三理模块,具体被配置为,所述云网端架构分为云、网和端三层;云侧面向服务集成,为试训中间件的运行提供服务支撑,即云端服务,所述试训中间件实现对各物理靶场、各节点的调峰服务;网侧面向数据传输,提供一系列通信传输技术;端侧面向试训节点和试训资源,提供资源接入和试训环境快速构建。
根据本发明第二方面的系统,所述第四处理模块,具体被配置为,所述约束条件包括:
第一约束条件:按照数据态势的全部节点目录,各资源节点有参考的排序,作为默认秩序,但能通过所述云端服务再调节;
第二约束条件:所述云端服务初始化秩序后,仅调节数据源紧急性的秩序,不调节初始化后的所述节点数据重要性的秩序;
第三约束条件:数据的调节范围为当前选定的一组数据对象,处理完后再开始新的一组数据,不支持后续数据的即时插入。
根据本发明第二方面的系统,所述第四处理模块,具体被配置为,所述状态空间方程为:
x(k+1)=A x(k)+ B u(k)+xk0
y(k+1)= C x(k)+ D u(k)
u(k)是输入变量,为第一数据源紧急性的权重、第二数据源紧急性的权重、第三数据源紧急性的权重、节点吞吐量的权重和节点发送频率的权重;
x(k)是状态变量,指待发数据源的排序状态,xk0是状态初始值,指重要性原始设置值;y(k+1)是输出变量,指测量到的各数据源发送效果评估值;
A、B、C和D为矩阵常量。
本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时,实现本发明第一方面中任一项的一种基于云端分布式协调服务的智能调峰方法中的步骤。
本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,实现本发明第一方面中任一项的一种基于云端分布式协调服务的智能调峰方法中的步骤。
本发明具有网络环境全局感知和调节能力,避免单个节点环境的局限,最大限度适应任务需求,明显提升调节效果。
附图说明
为了更清楚地说明本申请实施例或现有的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的一种基于云端分布式协调服务的智能调峰方法的流程图;
图2为根据本发明实施例的分布式环境下的数据交互需求图;
图3为根据本发明实施例的协议格式分层描述示意图;
图4为根据本发明实施例的云网端实现架构;
图5为根据本发明实施例的一种基于云端分布式协调服务的智能调峰系统的结构图;
图6为根据本发明实施例的一种电子设备的结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明第一方面公开了一种基于云端分布式协调服务的智能调峰方法。图1为根据本发明实施例的一种基于云端分布式协调服务的智能调峰方法的流程图,如图1所示,所述方法包括:
步骤S1、数据设计:在数据协议中增加数据重要性等级和紧急性等级;
步骤S2、数据态势构建:在试训任务准备阶段,由中间件依据试验规划文件拟定的资源节点数量和类型而生成数据态势;所述数据态势为数据源及其特征组成的集合;
步骤S3、构建基于云端分布式协调服务的云网端架构,为智能调峰提供支撑服务、基础通信、统一接口和中间件代理;
步骤S4、依据数据态势和约束条件,建立云端数据状态空间方程;
步骤S5、根据所述状态空间方程和调峰目标,给出最优数据传输秩序。
在步骤S1,数据设计:在数据协议中增加数据重要性等级和紧急性等级。
在一些实施例中,在所述步骤S1中,数据协议的格式分层描述,分别设计协议型号、协议项、协议帧头/帧尾/元素项和协议元素位四层数据结构。
在所述协议项的数据结构中增加数据重要性等级和紧急性等级。
具体地,交互需求:以跨域分布式LVC仿真环境为例,该环境把较多数量的分布式节点资源连接起来,构成地理上分布、逻辑上统一的试验训练逻辑靶场。当进行试训任务时,会产生大量的实时数据交互需求,并且,由于各资源节点的技术体制差异、在试训环境中的功能定位差异,以及试训管控需求差异,使得不同节点及细分数据的重要性和紧急性有所不同。从试训任务的角度,对试训环境中各资源节点的数据交互需求的及时性要求有差异。
数据交互需求的差异主要源于如下几个方面:分布式异构资源结构、分布式数据、通信方式多样、数据传输高峰。具体详见图2,图2中给出了数据交互需求示意图解。
在图2中,n个物理靶场组成逻辑靶场,图中以3个物理靶场为例;每个物理靶场包含n个资源节点,图中以3个资源节点为例。这些物理靶场及其节点连接起来构成一个跨域分布式试训逻辑靶场。每个物理靶场的各节点都存在异构性,如操作系统、控制器和通信接口等;每一个节点的通信方式需求都多样化,如请求应答、消息交互和对象交互等;每一个节点的数据类型都有差异,如对象属性类、数据分发类和接口回调类等数据。具体阐述如下:
分布式异构资源主要体现在:一个试训环境通常跨域多个物理靶场,这些靶场内部设施设备种类多、技术体制及性能各异,异构性极为复杂;而且,物理靶场隶属于不同的管理机构,给资源的灵活运用增加了困难。
分布式数据主要体现在:当依托组建的逻辑靶场开展试训任务时,数据源呈现地理上跨域分布、数据传输链路地域跨度大、链路通道长,以及分布式节点数量多,单个节点数据类型多,并发数量多等特点。
通信方式多样主要表现在:分布式试训环境的数据交互依托分布式对象模型(SDO)进行,依据业务的差异,通常把SDO数据分类处理,分别依托请求应答、消息交互和对象交互几类通信方式。这几类通信方式及相应数据,通过不同数据接口接入中间件,最后由中间件提供数据分发、远程过程调用、消息队列和文件传输等技术,并通过底层链路完成通信。
数据传输高峰主要表现在:在中间件管控层面,当不同节点数据交互需求的并发总量超过物理链路带宽时,即形成数据传输高峰。需要在中间件层面采取调峰措施,依据业务需求,有序发送到物理链路。
综上所述,针对分布式异构资源、分布式数据的环境特点,以及多种通信方式和数据高峰的运行状态,需要采取实现方式智能、体系架构时空跨度大的技术手段,解决试验训练数据交互高峰时段的调峰问题,实现试训任务周期内的通信支撑能力优化。
数据描述:
数据交互需求呈现多样化,不同节点、不同业务数据、不同通信方式,以及各节点吞吐量的空间分布差异、时间分布变化等,使得数据高峰随时可能发生在不同资源节点之间、不同主干试验网,以及不同时段。为实现这种跨域、动态、时变的数据调峰能力,满足试训环境及时响应运行的要求,提出从数据设计、数据态势到调峰控制的系统性解决思路,从而避免在单个节点聚焦调峰控制方法进行局部优化的不足,从整体上提高解决方法的覆盖范围,产生体系效能,提升技术途径的智能程度和调节效果。
数据设计:
在资源封装过程中,需要对交互信息提供统一的数据格式,便于试训环境各资源节点的中间件管控。同样,通过对数据进行设计,为中间件提供数据态势的生成与运行管控的基础条件。
数据设计的基本思路:采用分层设计思路,在协议项数据结构中新增两个元素,即一个数据重要性等级、一个紧急性等级,用于表征当前数据在整个业务中的重要程度和紧急程度,为数据调峰提供依据。给出了整个试训网络中的数据分层设计情况。关于重要性等级,可设定“1”代表非常重要、“2”代表比较重要、“3”代表一般重要。这个等级在试训准备阶段,依据各资源节点的功能分工,已经提前规划好,初始化后,该节点运行中每个数据不能在线调整重要性。关于紧急性等级,可设定“1”代表非常紧急、“2”代表比较紧急、“3”代表一般紧急。这个等级在初始化中,由节点系统推荐设置一个规划值,在运行中可以由云侧中间件管控服务对数据包进行紧急性等级调节,不调节则默认节点系统设置。
数据协议采用分层管理的思想,进行通讯协议描述模板的设计。分别设计协议型号、协议项、协议帧头/帧尾/元素项、协议元素位四层数据结构,以描述协议相关信息及协议的传输特性。协议格式分层描述如图3所示。
表1为协议型号的数据结构,协议型号用来描述某一协议型号下所有协议项信息。其中协议项信息采用映射表进行存储。
表1
表2为协议项数据结构,协议项信息是一条协议的完整描述,用来描述协议项的相关信息。其中重要性等级和紧急性等级为数据调峰的相关项。
表2
属性名称 | 协议项名称 | 协议源设备 | 协议目标设备 | 动态帧标识符 | 重要性等级 | 紧急性等级 | 协议长度位置 | 帧头起始位置 | 协议帧头数组 | 协议帧尾数组 | 协议元素数组 | 备注 |
数据类型 | string | string | string | bool | int | int | int | int | PtrArray | PtrArray | PtrArray | string |
在步骤S2,数据态势构建:在试训任务准备阶段,由中间件依据试验规划文件拟定的资源节点数量和类型而生成数据态势;所述数据态势为数据源及其特征组成的集合。
在一些实施例中,在所述步骤S2中,所述数据态势的组成部分包括:节点类型、节点数据重要性、第一数据源紧急性、第二数据源紧急性、第三数据源紧急性、节点吞吐量和节点发送频率;
第一数据源为数据分发类数据;
第二数据源为远程过程调用类数据;
第三数据源为消息队列类数据。
具体地,数据态势以XML文件的形式存储于云端中间件服务器和共享资源库服务器。
表3给出了一个数据态势示意图。其中,节点类型指实物、半实物和虚拟资源及编号,针对不同试训环境,n的取值一般在几十至几百之间,一个试训环境的数据态势大约有几百至几千个有效数据。数据源A、B、C指单节点内细分的请求应答类数据、消息交互类数据和对象交互类数据。吞吐量和发送频率主要涉及云端中间件管控策略。
表3
态势元素 | 节点类型 | 重要性等级 | 第一数据源紧急性 | 第二数据源紧急性 | 第三数据源紧急性 | 节点吞吐量 | 节点发送频率 |
资源节点1 | string | int | int | int | int | string | string |
… | string | int | int | int | int | string | string |
资源节点n | string | int | int | int | int | string | string |
在步骤S3,构建基于云端分布式协调服务的云网端架构,为智能调峰提供支撑服务、基础通信、统一接口和中间件代理。
在一些实施例中,在所述步骤S3中,所述云网端架构分为云、网和端三层;云侧面向服务集成,为试训中间件的运行提供服务支撑,即云端服务,所述试训中间件实现对各物理靶场、各节点的调峰服务;网侧面向数据传输,提供一系列通信传输技术;端侧面向试训节点和试训资源,提供资源接入和试训环境快速构建。
具体地,几类高峰情况:
在试训任务执行过程中,典型的数据高峰情形包括:①多节点集中并发交互需求,超过某一条跨域试验网路径的带宽;②单节点消息交互数据吞吐量超过某一条跨域试验网路径的带宽;多节点集中并发交互需求,多条跨域试验网路径均不能满足带宽需求。
对于第一种情形,这类情况发生占比最高。一个试训环境的节点数少则几十个,多则数百个,有大量常态性的数据交互需求,如位置更新、状态监测、回放采集等;除此之外,各节点基于任务需求,大量发出即时交互需求,极易出现传输总需求瞬间飙升的情况。
对于第二种情形,这类情况通常重复出现在一些确定的节点。吞吐量的激增与该节点处理的业务、数据种类相关。消息交互类数据通常采用Kalfka或MQ等通信方式,这也是适应大容量数据的传输方式。
对于第三种情形,这类情况一般发生在接入节点数量过多,多条跨域路径均带宽不足的时候。
调节目标包括业务目标和技术目标,具体如下:业务目标:针对上述3类数据高峰情形,需要从试训任务进度管控的角度,基于业务时序对数据传输顺序提出要求。主要从节点层面调控,关注节点时序,避免异常时延,最大限度保障试训任务进度。
技术目标:针对上述3类数据高峰情形,通过云平台以中间件服务的形式,运用数据态势和智能化调控方法,对节点、节点内数据类型进行差异性管控。第一、三类情形主要在节点层面优化调整;第二种情形主要在节点内进行细分调整。假设当前采样n个数据,需要进行排序,目标是时延最小。第一个数据的时延为τ 1 、τ 2 至τ n-1、τ n ,总时延为τ total 。有如下:
τ total =τ 1 +τ 2 …+τ n +τ error
其中,τ error 是由于数据传输秩序造成业务等待的时间,是一个不可预见项。设总时延最小值为τ 0 ,则调节的目标为:
其中,i是调节次数。
云网端实现框架:
采用服务化思想,使用云网端架构,面向试训网络整体,系统性解决数据交互需求的响应、高峰调节等问题,管控和优化试训任务的进程。图4给出了基于云端分布式协调服务的云网端架构示意图。
所述云网端架构分为云、网和端三层;云侧面向服务集成,为试训中间件的运行提供服务支撑,即云端服务,所述试训中间件实现对各物理靶场、各节点的调峰服务;网侧面向数据传输,提供一系列通信传输技术;端侧面向试训节点和试训资源,提供资源接入和试训环境快速构建。
图4中,中间件在云端提供一系列服务,支撑试训环境的网络化通信管控,数据调峰是其中一项功能;网端提供通信协议和通信方法,是实现数据传输的基础;在端侧,包括中间件代理和对象模型接口。中间件代理执行本节点的注册,包括数据格式和数据态势,以及执行云端服务提供的调峰管控指令。
在步骤S4,依据数据态势和约束条件,建立云端数据状态空间方程。
在一些实施例中,在所述步骤S4中,所述约束条件包括:
第一约束条件:按照数据态势的全部节点目录,各资源节点有参考的排序,作为默认秩序,但能通过所述云端服务再调节;
第二约束条件:所述云端服务初始化秩序后,仅调节数据源紧急性的秩序,不调节初始化后的节点数据重要性的秩序;
第三约束条件,调节范围为当前选定的一组数据对象,处理完后再开始新的一组数据,不支持后续数据的即时插入。
所述状态空间方程为:
x(k+1)=A x(k)+B u(k)+x k0
y(k+1)= C x(k)+D u(k)
u(k)是输入变量,为第一数据源紧急性的权重、第二数据源紧急性的权重、第三数据源紧急性的权重、节点吞吐量的权重和节点发送频率的权重;
x(k)是状态变量,指待发数据源的排序状态,x k0 是状态初始值,指重要性原始设置值;y(k+1)是输出变量,指测量到的各数据源发送效果评估值;
A、B、C和D为矩阵常量;
x(k+1)是x(k)的下一时刻即k+1时刻的状态变量。
具体地,数据调峰,依据数据态势和约束条件,建立云端数据状态空间方程。
所述约束条件包括:
第一约束条件:按照数据态势的全部节点目录,各资源节点有参考的排序,作为默认秩序,但能通过所述云端服务再调节;
第二约束条件:所述云端服务初始化秩序后,仅调节数据源紧急性的秩序,不调节初始化后的节点数据重要性的秩序;
第三,调节范围为当前选定的一组数据对象,处理完后再开始新的一组数据,不支持后续数据的即时插入。
所述状态空间方程为:
x(k+1)=A x(k)+B u(k)+x k0
y(k+1)= C x(k)+D u(k)
u(k)是输入变量,为第一数据源紧急性的权重、第二数据源紧急性的权重、第三数据源紧急性的权重、节点吞吐量的权重和节点发送频率的权重;
x(k)是状态变量,指待发数据源的排序状态,x k0 是状态初始值,指重要性原始设置值;y(k+1)是输出变量,指测量到的各数据源发送效果评估值;
A、B、C和D为矩阵常量。
状态方程应用:
上述状态空间描述方程可应用于数据调峰。主体上分为如下三类情况。
第一,对于单个输入u(k),生成一个排序状态即可。这是一种基本的情况,一般由试训人员在任务规划阶段规划好,给出一个初始排序。对于控制系统而言,即初始状态值。
对于这类情形,单个的输入,即产生单个的排序状态。它需要一个初始化的A、B、C和D的矩阵值,通常如下:
这类应用通常产生基本的排序,直接受重要性等级和初始状态影响。
第二,对于重复出现的数据源组合,依据状态方程进行优化控制,寻找最优排序。
对于这类情形,在单个输入之后,系统依然要对后续运行进行调节。由于输入的重复性,使得优化控制成为可能。依据测量到整体状态及评估结果,主要通过调节输入权重,即u(k),实现对重复数据源组合的最优控制。
对于这类情形,A,C不变,B,D的值,通常如下:
第三,对于各类复杂多样的数据源组合,离线优化辨识A、B、C和D的矩阵值。
由于分布式网络环境的接入节点多达数十甚至数百个,使得环境内广泛出现复杂多样的数据源组合。组合情形众多,使得离线优化辨识A、B、C和D的矩阵值成为必要,从而避免单一的对角矩阵不能适应众多情形的缺点。离线辨识也是一个分门别类、寻找次优的方法,尽可能覆盖全部的数据源组合情况。A、B、C和D的矩阵通常如下所示。
其中,a,b,c,d指需要辨识的未知参数。
寻优目标
对于5个数据,总时延为:
τ total =τ 1 +τ 2 +τ 3 +τ 4 +τ 5 +τ error
其中,τ error 可设定为一常值。寻优目标如下:
a是循环迭代次数。
综上,本发明具有网络环境全局感知和调节能力,避免单个节点环境的局限,最大限度适应任务需求,明显提升调节效果。
本发明第二方面公开了一种基于云端分布式协调服务的智能调峰系统。图5为根据本发明实施例的一种基于云端分布式协调服务的智能调峰系统的结构图。如图5所示,所述系统100包括:
第一处理模块101,被配置为,数据设计:在数据协议中增加数据重要性等级和紧急性等级;
第二处理模块102,被配置为,数据态势构建:在试训任务准备阶段,由中间件依据试验规划文件拟定的资源节点数量和类型而生成数据态势;所述数据态势为数据源及其特征组成的集合;
第三处理模块103,被配置为,构建基于云端分布式协调服务的云网端架构,为智能调峰提供支撑服务、基础通信、统一接口和中间件代理;
第四处理模块104,被配置为,依据数据态势和约束条件,建立云端数据状态空间方程;
第五处理模块105,被配置为,根据所述状态空间方程和调峰目标,给出最优数据传输秩序。
根据本发明第二方面的系统,所述第一处理模块101,具体被配置为,数据协议的格式分层描述,分别设计协议型号、协议项、协议帧头/帧尾/元素项和协议元素位四层数据结构。
根据本发明第二方面的系统,所述第一处理模块101,具体被配置为,在所述协议项的数据结构中增加数据重要性等级和紧急性等级。
根据本发明第二方面的系统,所述第二处理模块102,具体被配置为,所述数据态势的组成部分包括:节点类型、节点数据重要性、第一数据源的紧急性、第二数据源的紧急性、第三数据源的紧急性、节点吞吐量和节点发送频率;
所述第一数据源为数据分发类数据;
所述第二数据源为远程过程调用类数据;
所述第三数据源为消息队列类数据。
根据本发明第二方面的系统,所述第三理模块103,具体被配置为,所述云网端架构分为云、网和端三层;云侧面向服务集成,为试训中间件的运行提供服务支撑,即云端服务,所述试训中间件实现对各物理靶场、各节点的调峰服务;网侧面向数据传输,提供一系列通信传输技术;端侧面向试训节点和试训资源,提供资源接入和试训环境快速构建。
根据本发明第二方面的系统,所述第四处理模块104,具体被配置为,所述约束条件包括:
第一约束条件:按照数据态势的全部节点目录,各资源节点有参考的排序,作为默认秩序,但能通过所述云端服务再调节;
第二约束条件:所述云端服务初始化秩序后,仅调节数据源紧急性的秩序,不调节初始化后的所述节点数据重要性的秩序;
第三约束条件:数据的调节范围为当前选定的一组数据对象,处理完后再开始新的一组数据,不支持后续数据的即时插入。
根据本发明第二方面的系统,所述第四处理模块104,具体被配置为,所述状态空间方程为:
x(k+1)=A x(k)+B u(k)+x k0
y(k+1)= C x(k)+D u(k)
u(k)是输入变量,为第一数据源紧急性的权重、第二数据源紧急性的权重、第三数据源紧急性的权重、节点吞吐量的权重和节点发送频率的权重;
x(k)是状态变量,指待发数据源的排序状态,x k0 是状态初始值,指重要性原始设置值;y(k+1)是输出变量,指测量到的各数据源发送效果评估值;
A、B、C和D为矩阵常量。
本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时,实现本发明公开第一方面中任一项的一种基于云端分布式协调服务的智能调峰方法中的步骤。
图6为根据本发明实施例的一种电子设备的结构图,如图6所示,电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请的技术方案相关的部分的结构图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,实现本发明第一方面中任一项的一种基于云端分布式协调服务的智能调峰方法中的步骤中的步骤。
请注意,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种基于云端分布式协调服务的智能调峰方法,其特征在于,所述方法包括:
步骤S1、数据设计:在数据协议中增加数据重要性等级和紧急性等级;
步骤S2、数据态势构建:在试训任务准备阶段,由中间件依据试验规划文件拟定的资源节点数量和类型而生成数据态势;所述数据态势为数据源及其特征组成的集合;
所述数据态势的组成部分包括:节点类型、节点数据重要性、第一数据源的紧急性、第二数据源的紧急性、第三数据源的紧急性、节点吞吐量和节点发送频率;
所述第一数据源为数据分发类数据;
所述第二数据源为远程过程调用类数据;
所述第三数据源为消息队列类数据;
步骤S3、构建基于云端分布式协调服务的云网端架构,为智能调峰提供支撑服务、基础通信、统一接口和中间件代理;
所述云网端架构分为云、网和端三层;云侧面向服务集成,为试训中间件的运行提供服务支撑,即云端服务,所述试训中间件实现对各物理靶场、各节点的调峰服务;网侧面向数据传输,提供一系列通信传输技术;端侧面向试训节点和试训资源,提供资源接入和试训环境快速构建;
步骤S4、依据所述数据态势和约束条件,建立云端数据状态空间方程;
所述约束条件包括:
第一约束条件:按照数据态势的全部节点目录,各资源节点有参考的排序,作为默认秩序,但能通过所述云端服务再调节;
第二约束条件:所述云端服务初始化秩序后,仅调节数据源紧急性的秩序,不调节初始化后的所述节点数据重要性的秩序;
第三约束条件:数据的调节范围为当前选定的一组数据对象,处理完后再开始新的一组数据,不支持后续数据的即时插入;
所述状态空间方程为:
x(k+1)=A x(k)+ B u(k)+xk0
y(k+1)= C x(k)+ D u(k)
u(k)是输入变量,为第一数据源紧急性的权重、第二数据源紧急性的权重、第三数据源紧急性的权重、节点吞吐量的权重和节点发送频率的权重;
x(k)是状态变量,指待发数据源的排序状态,xk0是状态初始值,指重要性原始设置值;y(k+1)是输出变量,指测量到的各数据源发送效果评估值;
A、B、C和D为矩阵常量;
步骤S5、根据所述状态空间方程和调峰目标,给出最优数据传输秩序。
2.根据权利要求1所述的一种基于云端分布式协调服务的智能调峰方法,其特征在于,在所述步骤S1中,数据协议的格式分层描述,分别设计协议型号、协议项、协议帧头/帧尾/元素项和协议元素位四层数据结构。
3.根据权利要求2所述的一种基于云端分布式协调服务的智能调峰方法,其特征在于,在所述步骤S1中,在所述协议项的数据结构中增加数据重要性等级和紧急性等级。
4.一种用于基于云端分布式协调服务的智能调峰系统,其特征在于,所述系统包括:
第一处理模块,被配置为,数据设计:在数据协议中增加数据重要性等级和紧急性等级;
第二处理模块,被配置为,数据态势构建:在试训任务准备阶段,由中间件依据试验规划文件拟定的资源节点数量和类型而生成数据态势;所述数据态势为数据源及其特征组成的集合;
所述数据态势的组成部分包括:节点类型、节点数据重要性、第一数据源的紧急性、第二数据源的紧急性、第三数据源的紧急性、节点吞吐量和节点发送频率;
所述第一数据源为数据分发类数据;
所述第二数据源为远程过程调用类数据;
所述第三数据源为消息队列类数据;
第三处理模块,被配置为,构建基于云端分布式协调服务的云网端架构,为智能调峰提供支撑服务、基础通信、统一接口和中间件代理;
所述云网端架构分为云、网和端三层;云侧面向服务集成,为试训中间件的运行提供服务支撑,即云端服务,所述试训中间件实现对各物理靶场、各节点的调峰服务;网侧面向数据传输,提供一系列通信传输技术;端侧面向试训节点和试训资源,提供资源接入和试训环境快速构建;
第四处理模块,被配置为,依据数据态势和约束条件,建立云端数据状态空间方程;
所述约束条件包括:
第一约束条件:按照数据态势的全部节点目录,各资源节点有参考的排序,作为默认秩序,但能通过所述云端服务再调节;
第二约束条件:所述云端服务初始化秩序后,仅调节数据源紧急性的秩序,不调节初始化后的所述节点数据重要性的秩序;
第三约束条件:数据的调节范围为当前选定的一组数据对象,处理完后再开始新的一组数据,不支持后续数据的即时插入;
所述状态空间方程为:
x(k+1)=A x(k)+ B u(k)+xk0
y(k+1)= C x(k)+ D u(k)
u(k)是输入变量,为第一数据源紧急性的权重、第二数据源紧急性的权重、第三数据源紧急性的权重、节点吞吐量的权重和节点发送频率的权重;
x(k)是状态变量,指待发数据源的排序状态,xk0是状态初始值,指重要性原始设置值;y(k+1)是输出变量,指测量到的各数据源发送效果评估值;
A、B、C和D为矩阵常量;
第五处理模块,被配置为,根据所述状态空间方程和调峰目标,给出最优数据传输秩序。
5.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现权利要求1至3中任一项所述的一种基于云端分布式协调服务的智能调峰方法中的步骤。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1至3中任一项所述的一种基于云端分布式协调服务的智能调峰方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210929836.4A CN115002038B (zh) | 2022-08-04 | 2022-08-04 | 一种基于云端分布式协调服务的智能调峰方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210929836.4A CN115002038B (zh) | 2022-08-04 | 2022-08-04 | 一种基于云端分布式协调服务的智能调峰方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115002038A CN115002038A (zh) | 2022-09-02 |
CN115002038B true CN115002038B (zh) | 2022-10-25 |
Family
ID=83023047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210929836.4A Active CN115002038B (zh) | 2022-08-04 | 2022-08-04 | 一种基于云端分布式协调服务的智能调峰方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115002038B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015062399A1 (zh) * | 2013-10-31 | 2015-05-07 | 乐视网信息技术(北京)股份有限公司 | 一种云服务平台中间件及云上传方法 |
CN108039959A (zh) * | 2017-11-29 | 2018-05-15 | 深信服科技股份有限公司 | 一种数据的态势感知方法、系统及相关装置 |
CN108965404A (zh) * | 2018-06-26 | 2018-12-07 | 山东博界信息科技有限公司 | 云网健康服务系统及方法 |
CN112909992A (zh) * | 2021-01-19 | 2021-06-04 | 国家电网有限公司 | 一种基于云管边端的分布式电源集群并网调控系统及方法 |
CN114679454A (zh) * | 2022-03-22 | 2022-06-28 | 上海暗雾科技有限公司 | 一种分布式数据中心的构建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111984364B (zh) * | 2019-05-21 | 2023-05-26 | 江苏艾蒂娜互联网科技有限公司 | 一种面向5g时代的人工智能云平台 |
-
2022
- 2022-08-04 CN CN202210929836.4A patent/CN115002038B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015062399A1 (zh) * | 2013-10-31 | 2015-05-07 | 乐视网信息技术(北京)股份有限公司 | 一种云服务平台中间件及云上传方法 |
CN108039959A (zh) * | 2017-11-29 | 2018-05-15 | 深信服科技股份有限公司 | 一种数据的态势感知方法、系统及相关装置 |
CN108965404A (zh) * | 2018-06-26 | 2018-12-07 | 山东博界信息科技有限公司 | 云网健康服务系统及方法 |
CN112909992A (zh) * | 2021-01-19 | 2021-06-04 | 国家电网有限公司 | 一种基于云管边端的分布式电源集群并网调控系统及方法 |
CN114679454A (zh) * | 2022-03-22 | 2022-06-28 | 上海暗雾科技有限公司 | 一种分布式数据中心的构建方法 |
Non-Patent Citations (1)
Title |
---|
基于Spark Streaming的网络安全流式大数据态势感知研究及发展趋势分析;靳琳等;《网络安全技术与应用》;20200215(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115002038A (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
El Haber et al. | UAV-aided ultra-reliable low-latency computation offloading in future IoT networks | |
CN109347950B (zh) | 一种基于Kaa Project的物联网智慧服务系统 | |
CN109343942B (zh) | 基于边缘计算网络的任务调度方法 | |
CN109863724A (zh) | 用于转发元件的有状态控制的方法和装置 | |
Wang et al. | Microservice-oriented service placement for mobile edge computing in sustainable internet of vehicles | |
Zheng et al. | Optimizing NFV chain deployment in software-defined cellular core | |
Liu et al. | Research on the optimization of IIoT data processing latency | |
CN107924332A (zh) | Ict服务供应的方法和系统 | |
Zheng et al. | Task scheduling using edge computing system in smart city | |
CN116032767A (zh) | 一种面向智融标识网络的算力服务链管控系统架构 | |
Li et al. | Cost-minimizing bandwidth guarantee for inter-datacenter traffic | |
CN113490279A (zh) | 一种网络切片配置方法及装置 | |
Zhang et al. | Employ AI to improve AI services: Q-learning based holistic traffic control for distributed co-inference in deep learning | |
Huang | Quality of service optimization in wireless transmission of industrial Internet of Things for intelligent manufacturing | |
CN114691372A (zh) | 一种多媒体端边云系统的群体智能控制方法 | |
Gupta et al. | Toward intelligent resource management in dynamic Fog Computing‐based Internet of Things environment with Deep Reinforcement Learning: A survey | |
Aktas et al. | Scheduling and flexible control of bandwidth and in-transit services for end-to-end application workflows | |
CN111092779B (zh) | 网络资源配置方法、装置、计算机设备及可读存储介质 | |
CN115002038B (zh) | 一种基于云端分布式协调服务的智能调峰方法和系统 | |
Mobasheri et al. | Toward developing fog decision making on the transmission rate of various IoT devices based on reinforcement learning | |
Lin et al. | Joint Optimization of Offloading and Resource Allocation for SDN‐Enabled IoV | |
Bi et al. | Automatic scheduling technology of computing power network driven by knowledge graph | |
Pan et al. | Satellite network load balancing strategy for SDN/NFV collaborative deployment | |
CN116455817A (zh) | 一种软件定义云网融合架构及路由实现方法 | |
KR20230135785A (ko) | 지능형 자원 공유 시스템 및 방법, 이를 이용한 연합 학습 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |