CN116055400A - 基于优先级的电力数据中台数据统一服务不间断保障方法 - Google Patents

基于优先级的电力数据中台数据统一服务不间断保障方法 Download PDF

Info

Publication number
CN116055400A
CN116055400A CN202211614989.6A CN202211614989A CN116055400A CN 116055400 A CN116055400 A CN 116055400A CN 202211614989 A CN202211614989 A CN 202211614989A CN 116055400 A CN116055400 A CN 116055400A
Authority
CN
China
Prior art keywords
node
data
nodes
priority
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211614989.6A
Other languages
English (en)
Inventor
刘凯
汤铭
许梦晗
顾颖程
吴惜娟
程环宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202211614989.6A priority Critical patent/CN116055400A/zh
Publication of CN116055400A publication Critical patent/CN116055400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/24Traffic characterised by specific attributes, e.g. priority or QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种基于优先级的电力数据中台数据统一服务不间断保障方法,包括:通过图节点优先级划分识别数据中台关键服务节点和关键业务;对关键节点开展持续状态感知,通过缓存占用程度与拥塞状态判断是否遭受攻击;当发现异常情况时,根据优先级情况实现服务资源分配调整,以保证关键服务的不间断。通过本发明方法,在缓存、带宽等资源有限的网络中,节点可以通过预测相邻节点中饱和节点和非饱和节点的数量,感知自身及其所在网络的拥塞状态,根据数据扩散速率和数据生命周期来动态控制和调整数据的转发,以达到控制相关资源开销的目的。

Description

基于优先级的电力数据中台数据统一服务不间断保障方法
技术领域
本发明属于电力系统安全技术领域,具体涉及一种基于图节点优先级的电力数据中台数据统一服务不间断保障方法。
背景技术
国网电力数据中台对外服务终端的海量接入、网络层通信方式的多样化、平台层数据的跨应用共享、应用层业务访问入口的灵活化及业务互联互通等特征,导致国网电力数据中台对外服务呈现风险点多面广、威胁快速扩散、危害涉及电力服务中断的特点。如何在复杂的数据服务架构下满足多层面的关键服务不间断服务、有效及时缓解攻击者入侵数据中台后对整个国网数据服务造成的破坏是当前研究的关键点和难点。
现有国网大数据中心数据中台防护系统仅考虑如何保护系统以防止入侵发生,并未考虑一旦发生入侵后在部分系统功能已经被攻击者控制或破坏的情况下如何保障系统安全稳定运行的问题,因此需要考虑设计一种安全机制以保证在入侵发生后保障系统的数据安全和运行稳定,将攻击造成的危害缓解到系统可以容忍的状态。
本发明拟从侵后危害缓解角度出发,从关键服务层面提供入侵容忍机制,以保证国网电力数据中台关键服务不间断。
在当前的技术手段中,为了服务节点提供的资源和请求节点的需相匹配求,需要使用多源协同调度分配算法。早期的随机分配算法对每个请求资源随机分配给相邻节点,虽然该算法使得各个相邻节点间调度的资源相互均衡,但由于相邻节点性能上的差异,导致请求资源分配无法达到较高的带宽利用率。根据节点输出带宽的不同,OTSP2P请求量分配算法将节点划分为不同的类别。服务节点按照一定的策略分配带宽以最小化接收节点的缓冲延迟。但是,算法假设了每类节点提供的输出速率,缺乏通用性,并且不能根据网络环境的变化进行动态调整。
对于网络资源有限的容迟网络,网络拥塞控制尤为重要。对于节点间连接频繁的网络,高传输时延导致无法应用TCP中的拥塞控制。因此在相关研究中通常通过选择下一跳转发节点来进行拥塞控制。但是转发的数据都会因为下一节点拥塞状态的变化而被丢弃,降低网络性能。相关研究提出了一种多路径并行数据转发模式,但忽略了节点所在区域内的拥塞状态。
发明内容
为解决如何在复杂的数据服务架构下满足多层面的关键服务不间断服务、有效及时缓解攻击者入侵数据中台后对整个国网数据服务造成的破坏的问题,本发明提出一种基于优先级的电力数据中台数据统一服务不间断保障方法。本发明在电力数据中台被入侵后,为关键节点提供差异性的入侵容忍防护技术,以确保电力数据中台的关键服务不间断。数据中台被入侵后,丧失部分服务提供能力,要想关键服务不间断,就需要重新选择提供服务的对象,对服务提供方进行转移。其主要步骤如下:首先研究基于图节点优先级的不间断模型研究,其次研究模型中的两个关键技术点,首先是基于机器学习的关键服务的识别与分类技术;在此技术上提出基于优先级策略的服务资源分配技术。
为了达到上述目的,本发明提供如下技术方案:
基于优先级的电力数据中台数据统一服务不间断保障方法,包括如下步骤:
步骤1,通过图节点优先级划分识别数据中台关键服务节点和关键业务;
步骤2,对关键节点开展持续状态感知,通过缓存占用程度与拥塞状态判断是否遭受攻击;
步骤3,当发现异常情况时,根据优先级情况实现服务资源分配调整,以保证关键服务的不间断。
进一步的,所述步骤1包括如下过程:
设节点i在t0时刻加入系统,某次请求时刻为tc,j为i本次请求的源节点之一,节点优先级因子包括先前调度评价
Figure BDA0004000159880000021
和内容价值度Vi→j
调度请求节点前每次检查上一个调度周期内向其相邻节点分派的数据的返回率;根据分析数据返回次数,在分配给相邻节点的数据请求量稳定之后,尝试增加分配给该相邻节点的请求量;如果数据的返回率很低,则否则判定该节点请求量超过了相邻节点的可用服务容量,尝试减少分配给节点的请求量,以适应节点的带宽容量;
请求节点i对新加入源节点j的先前调度评价初值表示为:
Figure BDA0004000159880000022
式中:n为请求源节点数量;τ为调度周期;l为数据块字节数;r为媒体流码率,该式表示新源节点的先前调度评价初始化为一个调度周期内能够以码率1/n的速率向请求节点传输数据;
之后,请求节点按照初值向各源节点申请分配数据;设第m次调度请求节点i向j发送数据请求qm,其中qm表示为由请求数据块编号组成的量,|qm|表示数据块数量;请求节点会在下一调度周期前根据本次调度收到的请求数据块数目及收到这些数据消耗的时间,计算本次请求的服务评价:
Figure BDA0004000159880000031
式中:S(i,j)表示在数据超时时刻前i收到j返回的数据片段数量,显然S(i,j)≤|qm|,且越接近|qm|,数据块数目越接近本次调度请求的数据块数目;T(i,j)表示节点i与j本次数据交互消耗的时间;若累计多次
Figure BDA0004000159880000032
都较高,则请求节点会增大向对应源节点分配的请求量qm;反之则会减少向对应源节点分配的请求量qm;于是,i在tc时刻对j的先前调度评价为:
Figure BDA0004000159880000033
Figure BDA0004000159880000034
可以反映出源节点tc时刻可用带宽资源的相对大小,即评价值
Figure BDA0004000159880000035
越大,带宽资源充足的源节点可以在短时间内返回更多的数据块;增加分配给
Figure BDA0004000159880000036
高的节点的数据请求,以充分利用这些节点的数据传输能力;
设系统中共有m个业务请求队列,队列编号依次为1,2,…,m;每个队列划为n个等字节大小的块,按照发送时间依次编号为1,2,…,n;于是有数据分割矩阵F=[fij]m×n,其中fij表示编号i的业务队列中编号为j的数据块,其中,1≤i≤m,1≤j≤n;设N为系统节点总数,节点按照泊松过程到达,离开率为δ,到达率为λ;根据M/G/∞排队模型,t时刻有:
N=N(t)=λt-δt
每个节点p维护一系数矩阵
Figure BDA0004000159880000037
其中:
Figure BDA0004000159880000038
进而定义节点A,B,…,X之间片段融合度为:
Figure BDA0004000159880000039
其中‖表示逻辑或运算,定义节点A对节点B的内容价值度为:
Figure BDA00040001598800000310
上式表明:源节点价值度越高,其拥有所需数据越多;
节点优先级由请求节点根据优先级因子计算:设Q(i,j)表示tc时刻源节点j对于请求节点i的优先级:
Figure BDA0004000159880000041
由计算公式可以看到,同等条件下,节点先前调度评价占更大比重;请求节点将根据源节点优先级决定向每个源节点的请求量,可请求数据块数目可以用来区分源节点优先级。
进一步的,所述步骤2包括如下过程:
根据缓存占用情况,数据中台中的节点分为非饱和节点与饱和节点两种;当节点剩余缓存无法再加入一个完整数据块时,则称节点处于饱和状态;反之则为非饱和状态;节点状态信息能够及时地反应所处区域内的网络拥塞情况;非饱和节点转变为饱和节点的数量最多为其在[t,t+Δt]内相遇的非饱和节点数量,如下式所示:
Nmax(t)=Nv(t)
其中Nv(t)表示在t时刻,相遇节点为非饱和状态的数量,且Nv(t)=Nt(t)-Ns(t);Nt(t)表示在t时刻的相遇节点数量,若Nt(t)=0,则表示该节点未与任何节点建立连接;在最大连接持续时间为Δt的情况下,本次连接发送数据的最大流量为B×Δt,B为信道传输速率;若节点剩余缓存大于B×Δt,则节点状态转移的概率为0;反之,则需要接收数据数量的上限Mmax如下式所示,其中msize为数据大小:
Figure BDA0004000159880000042
任意节点nk与nq相遇之后,当节点nq中至少有Mmax个节点nk未保存的数据时,节点nk状态才会发生改变;因此,节点nk发生状态转移的概率如下式所示,其中q表示节点nq携带数据数量:
Figure BDA0004000159880000043
因此,非饱和节点出现状态转移的实际数量如下式所示:
Nact(t)=Pr(n,q)·Nmax(t)
下一时间段节点相遇的饱和节点数量如式下式所示:
Ns(t+Δt)=Nact(t)+(Ns(t)-Ns(t)·P(tmin<Δt))
其中Ns(t)表示t时刻相遇节点中饱和节点的数量,Ns(0)=0;P(tmin<Δt)=1-(1-Δt/TTL)k表示在Δt时间段内饱和节点丢弃数据的概率;k为饱和节点携带数据量;
在Δt内,与给定节点相遇的节点数量服从泊松分布,其相遇节点的数量服从广义平稳随机过程,因此可对下一时刻相遇节点的数量用数学方法进行估计;采用时间序列指数平滑方法预测相遇节点数量;以α为权重估计下一时刻的相遇节点数量,如下式所示:
Figure BDA0004000159880000051
其中α表示节点相遇概率,0<α<1,节点相遇时间间隔服从指数分布,节点在Δt时间内的相遇概率为α=1-e-Δt;St-1表示前一时刻预测的相遇节点数量,初始值为S(0)=0;
Figure BDA0004000159880000052
表示下一时刻相遇节点数量的预测值;Δt内可认为网络相对稳定,由此可得下一时刻非饱和状态节点数量如下:
Figure BDA0004000159880000053
进一步的,所述步骤3具体包括如下过程:
节点首先预测相邻节点中饱和节点和非饱和节点的数量,进而动态调整数据转发的数量,计算方法如下:
Figure BDA0004000159880000054
其中Ri_al表示本地缓存中的数据总量;Ri_se表示本次连接发送数据的上限;相遇节点若接收数据数量少于Ri_se时达到饱和状态,则中断本次连接。
进一步的,所述步骤3中,节点提高扩散速度相对缓慢的数据副本的转发优先级。
进一步的,所述扩散速度通过数据扩散率表达,计算公式如下:
Figure BDA0004000159880000055
其中,Tu为一段时间,Cd为本地缓存和与其相遇节点中拥有给定数据副本的数量;节点可以根据数据扩散率的升序顺序来转发数据。
进一步的,节点不会转发本地缓存中TTL超过一定比例的数据。
进一步的,节点在建立连接后只转发本地缓存中的新生成数据。
进一步的,饱和节点需要按照数据扩散速率降序丢弃本地缓存中的数据,以便接收新生成的数据。
与现有技术相比,本发明具有如下优点和有益效果:
通过本发明方法,在缓存、带宽等资源有限的网络中,节点可以通过预测相邻节点中饱和节点和非饱和节点的数量,感知自身及其所在网络的拥塞状态,根据数据扩散速率和数据生命周期来动态控制和调整数据的转发,以达到控制相关资源开销的目的。
附图说明
图1为本发明提供的基于优先级的电力数据中台数据统一服务不间断保障方法流程图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明,应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提出了一种基于优先级的电力数据中台数据统一服务不间断保障方法,其流程如图1所示,包括如下步骤:
(1)建立基于图节点优先级的不间断模型
数据中台服务器集群需要向各个源节点合理分配数据流量,达到关键服务不间断的目标,并使得源节点的带宽资源最大化以降低服务器负载,提高数据处理能力。这就需基于节点先前调度评价和拥有所需数据来分析源节点优先级,协调不同服务器节点之间负载能力,调度时根据优先级动态调整向各源节点的业务数据请求量。在此基础上对重点节点进行感知,一旦发现节点出现阻塞,则进行节点任务转移,以实现不间断服务。
设节点i在t0时刻加入系统,某次请求时刻为tc,j为i本次请求的源节点之一。节点优先级因子包括先前调度评价
Figure BDA0004000159880000061
和内容价值度Vi→j
调度请求节点前每次都会检查上一个调度周期内向其相邻节点分派的数据的返回率。根据分析数据返回次数,在分配给相邻节点的数据请求量稳定之后,可以尝试增加分配给该相邻节点的请求量。如果数据的返回率很低,则判定该节点请求量超过了相邻节点的可用服务容量,尝试减少分配给节点的请求量,以适应节点的带宽容量。
由于请求节点获取数据的速率之和不应该低于分配带宽,请求节点i对新加入源节点j的先前调度评价初值表示为:
Figure BDA0004000159880000062
式中:n为请求源节点数量;τ为调度周期(s);l为数据块字节数(B);r为媒体流码率(B/s)。该式子表示新源节点的先前调度评价初始化为一个调度周期内能够以码率1/n的速率向请求节点传输数据。
之后,请求节点就会按照初值向各源节点申请分配数据。设第m次调度请求节点i向j发送数据请求qm,其中qm表示为由请求数据块编号组成的量,|qm|表示数据块数量。请求节点会在下一调度周期前根据本次调度收到的请求数据块数目及收到这些数据消耗的时间,计算本次请求的服务评价:
Figure BDA0004000159880000071
式中:S(i,j)表示在数据超时时刻前i收到j返回的数据片段数量,显然S(i,j)≤|qm|,且越接近|qm|,数据块数目越接近本次调度请求的数据块数目;T(i,j)表示节点i与j本次数据交互消耗的时间。若累计多次
Figure BDA0004000159880000072
都较高(可设置一个阈值用于判定服务评价值是否较高),则请求节点会增大向对应源节点分配的请求量qm;反之则会减少向对应源节点分配的请求量qm。于是,i在tc时刻对j的先前调度评价为:
Figure BDA0004000159880000073
Figure BDA0004000159880000074
可以反映出源节点tc时刻可用带宽资源的相对大小,而不需要精确测量节点物理带宽。即评价值
Figure BDA0004000159880000075
越大,带宽资源充足的源节点可以在短时间内返回更多的数据块。增加分配给
Figure BDA0004000159880000076
高的节点的数据请求,以充分利用这些节点的数据传输能力,降低频繁的数据请求失败导致向服务器发出紧急请求的风险,有利于降低服务器负载。
设系统中共有m个业务请求队列,队列编号依次为1,2,…,m。每个队列划为n个等字节大小的块,按照发送时间依次编号为1,2,…,n。于是有数据分割矩阵F=[fij]m×n,其中fij表示编号i(1≤i≤m)的业务队列中编号为j(1≤j≤n)的数据块。设N为系统节点总数,节点按照泊松过程到达,离开率为δ,到达率为λ。根据M/G/∞排队模型,t时刻有:
N=N(t)=λt-δt
每个节点p维护一系数矩阵
Figure BDA0004000159880000077
其中:
Figure BDA0004000159880000078
进而定义节点A,B,…,X之间片段融合度为:
Figure BDA0004000159880000079
其中‖表示逻辑或运算。定义节点A对节点B的内容价值度为:
Figure BDA00040001598800000710
上式表明:源节点价值度越高,其拥有所需数据越多,优先向源节点价值度高的节点请求数据可以加速业务请求,降低服务器负载。
节点优先级由请求节点根据优先级因子计算:设Q(i,j)表示tc时刻源节点j对于请求节点i的优先级:
Figure BDA0004000159880000081
由计算公式可以看到,同等条件下,节点先前调度评价占更大比重。请求节点将根据源节点优先级决定向每个源节点的请求量,可请求数据块数目可以用来区分源节点优先级。优先级高的就视为关键业务。
(2)核心节点状态持续感知
节点缓存占用程度与拥塞状态直接相关,通过缓存占用程度与拥塞状态判断是否遭受攻击。然而,对于分布式运行的数据中台来说,在遭受攻击者攻击时各个节点可通过合理转发数据块来缓解拥塞,实现不间断服务。
根据缓存占用情况,数据中台中的节点可以为非饱和节点与饱和节点两种。当节点剩余缓存无法再加入一个完整数据块时,则称节点处于饱和状态;反之则为非饱和状态。节点状态信息能够及时地反应所处区域内的网络拥塞情况。非饱和节点转变为饱和节点的数量最多为其在[t,t+Δt]内相遇的非饱和节点数量,如下式所示:
Nmax(t)=Nv(t)
其中Nv(t)表示在t时刻,相遇节点为非饱和状态的数量,且Nv(t)=Nt(t)-Ns(t)。Nt(t)表示在t时刻的相遇节点数量,若Nt(t)=0,则表示该节点未与任何节点建立连接。在最大连接持续时间为Δt的情况下,本次连接发送数据的最大流量为B×Δt,B为信道传输速率。若节点剩余缓存大于B×Δt,则节点状态转移的概率为0;反之,则需要接收数据数量的上限Mmax如下式所示,其中msize为数据大小:
Figure BDA0004000159880000082
可见,根据数据中台数据转发原理可知,任意节点nk与nq相遇之后,当节点nq中至少有Mmax个节点nk未保存的数据时,节点nk状态才会发生改变。因此,节点nk发生状态转移的概率如下式所示,其中q表示节点nq携带数据数量:
Figure BDA0004000159880000083
式中,
Figure BDA0004000159880000084
为n个值中的最大值,
Figure BDA0004000159880000085
为q个值中的最大值;因此,非饱和节点出现状态转移的实际数量如下式所示:
Nact(t)=Pr(n,q)·Nmax(t)
考虑实际情况中,Δt时间内,由于受到数据块生存时间值(Time To Live,TTL)设定的限制,节点会按照约定丢弃达到TTL数据,因此部分饱和节点可能丢弃达到TTL的数据块从而转变成非饱和节点。因此,接下来饱和状态节点数量取决于:(1)丢弃TTL截止的数据后,饱和节点变成非饱和节点的数量;(2)非饱和节点接收数据转变成饱和节点的数量。因此,下一时间段节点相遇的饱和节点数量如式下式所示:
Ns(t+Δt)=Nact(t)+(Ns(t)-Ns(t)·P(tmin<Δt))
其中Ns(t)表示t时刻相遇节点中饱和节点的数量,Ns(0)=0;P(tmin<Δt)=1-(1-Δt/TTL)k表示在Δt时间段内饱和节点丢弃数据的概率;k为饱和节点携带数据量。
在Δt内,与给定节点相遇的节点数量服从泊松分布,其相遇节点的数量服从广义平稳随机过程,因此可对下一时刻相遇节点的数量用数学方法进行估计。本部分采用时间序列指数平滑方法预测相遇节点数量。以α(0<α<1)为权重估计下一时刻的相遇节点数量,如下式所示:
Figure BDA0004000159880000091
其中α表示节点相遇概率,节点相遇时间间隔服从指数分布,节点在Δt时间内的相遇概率为α=1-e-Δt;St-1表示前一时刻预测的相遇节点数量,初始值为S(0)=0;
Figure BDA0004000159880000092
表示下一时刻相遇节点数量的预测值。Δt内可认为网络相对稳定,由此可得下一时刻非饱和状态节点数量如下:
Figure BDA0004000159880000093
(3)基于优先级的服务资源分配策略
为了改进拥塞控制,节点需要首先预测相邻节点中饱和节点和非饱和节点的数量,进而动态调整数据转发的数量。计算方法如下:
Figure BDA0004000159880000094
其中Ri_al表示本地缓存中的数据总量;Ri_se表示本次连接发送数据的上限,
Figure BDA0004000159880000095
表示未饱和节点的数量,
Figure BDA0004000159880000096
表示饱和节点的数量。相遇节点若接收数据数量少于Ri_se时达到饱和状态,则中断本次连接。为了提高每个数据成功投递的概率,需要避免扩散迅速的数据因多次转发导致其他数据在本地缓存中滞留时间过长而被丢弃,节点需要提高扩散速度相对缓慢的数据副本的转发优先级。然而,分布式结构的数据中台中的各个节点无法获知其缓存中每个数据副本在全网中的扩散程度,扩散程度指的是在当前时刻每个数据副本在全网中的数量。本项目中节点根据在一段时间Tu内,本地缓存和与其相遇节点中拥有给定数据副本的数量Cd衡量其扩散速率Vmsg,如下式所示:
Figure BDA0004000159880000101
综上所述,数据副本在当前区域中的扩散程度可以由数据扩散率表达,因此为了达到有效均衡网络中各数据副本数量,节点可以根据数据扩散率的升序顺序来转发数据。
数据冗余副本的数量随着时间的推移而增加,成功传输的可能性也会增加。相关研究表明,生存时间达到其TTL的75%的数据会在网络产生较大数量的副本。因此,节点不会转发本地缓存中TTL超过75%的数据。此外,当节点范围内的所有节点都饱和时,新生成的数据成功传输的概率较低。为了环节网络拥塞,增加数据传输成功率,节点在建立连接后只转发本地缓存中的新生成数据。为了平衡网络中每个数据的冗余副本数量以控制网络拥塞,饱和节点需要按照数据扩散速率降序丢弃本地缓存中的数据,以便接收这些新生成的数据。
综上所述,在缓存、带宽等资源有限的网络中,节点可以通过预测相邻节点中饱和节点和非饱和节点的数量,感知自身及其所在网络的拥塞状态,根据数据扩散速率和数据生命周期来控制数据的转发,以达到控制相关资源开销的目的。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段,还包括由以上技术特征任意组合所组成的技术方案。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.基于优先级的电力数据中台数据统一服务不间断保障方法,其特征在于,包括如下步骤:
步骤1,通过图节点优先级划分识别数据中台关键服务节点和关键业务;
步骤2,对关键节点开展持续状态感知,通过缓存占用程度与拥塞状态判断是否遭受攻击;
步骤3,当发现异常情况时,根据优先级情况实现服务资源分配调整,以保证关键服务的不间断。
2.根据权利要求1所述的基于优先级的电力数据中台数据统一服务不间断保障方法,其特征在于,所述步骤1具体包括如下过程:
设节点i在t0时刻加入系统,某次请求时刻为tc,j为i本次请求的源节点之一,节点优先级因子包括先前调度评价
Figure FDA0004000159870000011
和内容价值度Vi→j
调度请求节点前每次检查上一个调度周期内向其相邻节点分派的数据的返回率;根据分析数据返回次数,在分配给相邻节点的数据请求量稳定之后,尝试增加分配给该相邻节点的请求量;如果数据的返回率很低,则判定该节点请求量超过了相邻节点的可用服务容量,尝试减少分配给节点的请求量,以适应节点的带宽容量;
请求节点i对新加入源节点j的先前调度评价初值表示为:
Figure FDA0004000159870000012
式中:n为请求源节点数量;τ为调度周期;l为数据块字节数;r为媒体流码率,该式表示新源节点的先前调度评价初始化为一个调度周期内能够以码率1/n的速率向请求节点传输数据;
之后,请求节点按照初值向各源节点申请分配数据;设第m次调度请求节点i向j发送数据请求qm,其中qm表示为由请求数据块编号组成的量,|qm|表示数据块数量;请求节点会在下一调度周期前根据本次调度收到的请求数据块数目及收到这些数据消耗的时间,计算本次请求的服务评价:
Figure FDA0004000159870000013
式中:S(i,j)表示在数据超时时刻前i收到j返回的数据片段数量,显然S(i,j)≤|qm|,且越接近|qm|,数据块数目越接近本次调度请求的数据块数目;T(i,j)表示节点i与j本次数据交互消耗的时间;若累计多次
Figure FDA0004000159870000014
都较高,则请求节点会增大向对应源节点分配的请求量qm;反之则会减少向对应源节点分配的请求量qm;于是,i在tc时刻对j的先前调度评价为:
Figure FDA0004000159870000021
Figure FDA0004000159870000022
可以反映出源节点tc时刻可用带宽资源的相对大小,即评价值
Figure FDA0004000159870000023
越大,带宽资源充足的源节点可以在短时间内返回更多的数据块;增加分配给
Figure FDA0004000159870000024
高的节点的数据请求,以充分利用这些节点的数据传输能力;
设系统中共有m个业务请求队列,队列编号依次为1,2,…,m;每个队列划为n个等字节大小的块,按照发送时间依次编号为1,2,…,n;于是有数据分割矩阵F=[fij]m×n,其中fij表示编号i的业务队列中编号为j的数据块,其中,1≤i≤m,1≤j≤n;设N为系统节点总数,节点按照泊松过程到达,离开率为δ,到达率为λ;根据M/G/∞排队模型,t时刻有:
N=N(t)=λt-δt
每个节点p维护一系数矩阵
Figure FDA0004000159870000025
其中:
Figure FDA0004000159870000026
进而定义节点A,B,…,X之间片段融合度为:
Figure FDA0004000159870000027
其中‖表示逻辑或运算,定义节点A对节点B的内容价值度为:
Figure FDA0004000159870000028
上式表明:源节点价值度越高,其拥有所需数据越多;
节点优先级由请求节点根据优先级因子计算:设Q(i,j)表示tc时刻源节点j对于请求节点i的优先级:
Figure FDA0004000159870000029
由计算公式可以看到,同等条件下,节点先前调度评价占更大比重;请求节点将根据源节点优先级决定向每个源节点的请求量,可请求数据块数目可以用来区分源节点优先级。
3.根据权利要求1所述的基于优先级的电力数据中台数据统一服务不间断保障方法,其特征在于,所述步骤2具体包括如下过程:
根据缓存占用情况,数据中台中的节点分为非饱和节点与饱和节点两种;当节点剩余缓存无法再加入一个完整数据块时,则称节点处于饱和状态;反之则为非饱和状态;节点状态信息能够及时地反应所处区域内的网络拥塞情况;非饱和节点转变为饱和节点的数量最多为其在[t,t+Δt]内相遇的非饱和节点数量,如下式所示:
Nmax(t)=Nv(t)
其中Nv(t)表示在t时刻,相遇节点为非饱和状态的数量,且Nv(t)=Nt(t)-Ns(t);Nt(t)表示在t时刻的相遇节点数量,若Nt(t)=0,则表示该节点未与任何节点建立连接;在最大连接持续时间为Δt的情况下,本次连接发送数据的最大流量为B×Δt,B为信道传输速率;若节点剩余缓存大于B×Δt,则节点状态转移的概率为0;反之,则需要接收数据数量的上限Mmax如下式所示,其中msize为数据大小:
Figure FDA0004000159870000031
任意节点nk与nq相遇之后,当节点nq中至少有Mmax个节点nk未保存的数据时,节点nk状态才会发生改变;因此,节点nk发生状态转移的概率如下式所示,其中q表示节点nq携带数据数量:
Figure FDA0004000159870000032
因此,非饱和节点出现状态转移的实际数量如下式所示:
Nact(t)=Pr(n,q)·Nmax(t)
下一时间段节点相遇的饱和节点数量如式下式所示:
Ns(t+Δt)=Nact(t)+(Ns(t)-Ns(t)·P(tmin<Δt))
其中Ns(t)表示t时刻相遇节点中饱和节点的数量,Ns(0)=0;P(tmin<Δt)=1-(1-Δt/TTL)k表示在Δt时间段内饱和节点丢弃数据的概率;k为饱和节点携带数据量;
在Δt内,与给定节点相遇的节点数量服从泊松分布,其相遇节点的数量服从广义平稳随机过程,因此可对下一时刻相遇节点的数量用数学方法进行估计;采用时间序列指数平滑方法预测相遇节点数量;以α为权重估计下一时刻的相遇节点数量,如下式所示:
Figure FDA0004000159870000041
其中α表示节点相遇概率,0<α<1,节点相遇时间间隔服从指数分布,节点在Δt时间内的相遇概率为α=1-e-Δt;St-1表示前一时刻预测的相遇节点数量,初始值为S(0)=0;
Figure FDA0004000159870000042
表示下一时刻相遇节点数量的预测值;Δt内可认为网络相对稳定,由此可得下一时刻非饱和状态节点数量如下:
Figure FDA0004000159870000043
4.根据权利要求1所述的基于优先级的电力数据中台数据统一服务不间断保障方法,其特征在于,所述步骤3具体包括如下过程:
节点首先预测相邻节点中饱和节点和非饱和节点的数量,进而动态调整数据转发的数量,计算方法如下:
Figure FDA0004000159870000044
其中Ri_al表示本地缓存中的数据总量;Ri_se表示本次连接发送数据的上限;相遇节点若接收数据数量少于Ri_se时达到饱和状态,则中断本次连接。
5.根据权利要求4所述的基于优先级的电力数据中台数据统一服务不间断保障方法,其特征在于,所述步骤3中,节点提高扩散速度相对缓慢的数据副本的转发优先级。
6.根据权利要求5所述的基于优先级的电力数据中台数据统一服务不间断保障方法,其特征在于,所述扩散速度通过数据扩散率表达,计算公式如下:
Figure FDA0004000159870000045
其中,Tu为一段时间,Cd为本地缓存和与其相遇节点中拥有给定数据副本的数量;节点可以根据数据扩散率的升序顺序来转发数据。
7.根据权利要求1或4所述的基于优先级的电力数据中台数据统一服务不间断保障方法,其特征在于,节点不会转发本地缓存中TTL超过一定比例的数据。
8.根据权利要求1或4所述的基于优先级的电力数据中台数据统一服务不间断保障方法,其特征在于,节点在建立连接后只转发本地缓存中的新生成数据。
9.根据权利要求1或4所述的基于优先级的电力数据中台数据统一服务不间断保障方法,其特征在于,饱和节点需要按照数据扩散速率降序丢弃本地缓存中的数据,以便接收新生成的数据。
CN202211614989.6A 2022-12-15 2022-12-15 基于优先级的电力数据中台数据统一服务不间断保障方法 Pending CN116055400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211614989.6A CN116055400A (zh) 2022-12-15 2022-12-15 基于优先级的电力数据中台数据统一服务不间断保障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211614989.6A CN116055400A (zh) 2022-12-15 2022-12-15 基于优先级的电力数据中台数据统一服务不间断保障方法

Publications (1)

Publication Number Publication Date
CN116055400A true CN116055400A (zh) 2023-05-02

Family

ID=86130598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211614989.6A Pending CN116055400A (zh) 2022-12-15 2022-12-15 基于优先级的电力数据中台数据统一服务不间断保障方法

Country Status (1)

Country Link
CN (1) CN116055400A (zh)

Similar Documents

Publication Publication Date Title
EP2615802B1 (en) Communication apparatus and method of content router to control traffic transmission rate in content-centric network (CCN), and content router
KR100234212B1 (ko) 패킷 네트워크에서의 적응 속도기반 혼잡제어
JP3321043B2 (ja) Tcpネットワーク内のデータ端末
US5668951A (en) Avoiding congestion system for reducing traffic load on selected end systems which utilizing above their allocated fair shares to optimize throughput at intermediate node
Anjum et al. Fair bandwidth sharing among adaptive and non-adaptive flows in the Internet
KR100656509B1 (ko) 비디오 서비스 대역폭 보장을 위한 패킷 체증제어 방법
CN103023806B (zh) 共享缓存式以太网交换机的缓存资源控制方法及装置
CN104270790A (zh) 基于信道公平分配的拥塞控制方法
Ramamurthy et al. A multidimensional framework for congestion control in B-ISDN
Qushtom et al. A scalable two-tier pbft consensus for blockchain-based iot data recording
CN110943927B (zh) 基于时延管理的命名数据网络传输控制方法、装置和设备
CN110891027B (zh) 基于队列调度的命名数据网络传输控制方法、装置和设备
CN116055400A (zh) 基于优先级的电力数据中台数据统一服务不间断保障方法
Aweya et al. Multi-level active queue management with dynamic thresholds
CN113141313A (zh) 拥塞控制方法、装置及系统、存储介质
Kathuria et al. Improvement of quality of service parameters in dynamic and heterogeneous WBAN
Zeeshan et al. Congestion Detection and Mitigation Protocols for Wireless Sensor Networks
CN1389799A (zh) 多优先级最佳动态域值缓存管理算法
CN112448895A (zh) 一种网联车流量的分配方法、装置及存储介质
RU2802911C1 (ru) Способ балансировки трафика в узле коммутации транспортной сети связи
Li PFECC: a precise feedback-based explicit congestion control algorithm in nameddata networking
Tseng et al. A cross-layer flow schedule with dynamical grouping for mitigating larger-scale TCP incast
Mohajerzadeh et al. An efficient and class based active Queue Management for next generation networks
Sumathi et al. An effective load balanced and congestion control protocol for wireless multimedia networks
Sivakumar et al. Convex Optimized Lagrange Multiplier Based Algebraic Congestion Likelihood for Improved TCP Performance in MANET

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination