CN117493067B - 基于数据服务保护的熔断控制方法及系统 - Google Patents

基于数据服务保护的熔断控制方法及系统 Download PDF

Info

Publication number
CN117493067B
CN117493067B CN202311846404.8A CN202311846404A CN117493067B CN 117493067 B CN117493067 B CN 117493067B CN 202311846404 A CN202311846404 A CN 202311846404A CN 117493067 B CN117493067 B CN 117493067B
Authority
CN
China
Prior art keywords
fusing
coefficient
data
target
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311846404.8A
Other languages
English (en)
Other versions
CN117493067A (zh
Inventor
刘晓兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Taoyoutianxia Technology Co ltd
Original Assignee
Beijing Taoyoutianxia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Taoyoutianxia Technology Co ltd filed Critical Beijing Taoyoutianxia Technology Co ltd
Priority to CN202311846404.8A priority Critical patent/CN117493067B/zh
Publication of CN117493067A publication Critical patent/CN117493067A/zh
Application granted granted Critical
Publication of CN117493067B publication Critical patent/CN117493067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • G06F11/0754Error or fault detection not based on redundancy by exceeding limits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793Remedial or corrective actions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于数据服务保护的熔断控制方法及系统,涉及数据通信处理技术领域,设置熔断系数及相应的熔断阈值,以熔断阈值与条件系数的大小呈正相关作为约束条件,使熔断阈值处于移动状态;由训练后的熔断预测模型结合线性回归分析,获取目标节点上的目标熔断系数,依据约束条件确定目标熔断阈值,若预测获取的目标熔断系数超过目标熔断阈值,发出熔断指令并确定出熔断节点;使用训练后的熔断预测模型,预测获取数据端在熔断节点上的熔断特征,依据熔断特征与熔断模式间的对应性,从熔断模式库内匹配出对应的熔断模式。通过自动匹配熔断模式,也能够有效地避免熔断模式选择错误,避免风险蔓延。

Description

基于数据服务保护的熔断控制方法及系统
技术领域
本发明涉及数据通信处理技术领域,具体为基于数据服务保护的熔断控制方法及系统。
背景技术
数据熔断是一种保护措施,主要用于防止系统故障。当软件系统中的某个服务(通常是下游服务)出现故障,有可能导致整个系统过载时,数据熔断机制就会启动。这个机制的目标是在系统出现故障时,防止故障扩散到整个系统,从而确保系统的稳定性和可用性。
具体来说,数据熔断通常有三种状态:关闭(Closed)、断开(Open)和半开(Half-Open)。在关闭状态,熔断器会监控服务调用的失败次数。一旦失败次数达到某个阈值,熔断器就会进入断开状态。在这个状态下,对下游服务的调用会被内部直接返回错误,而不会经过网络,这有助于减少故障扩散的风险。一段时间后(通常是设定的平均故障处理时间),熔断器会进入半开状态,允许定量的服务请求通过。如果这些请求成功,熔断器就会认为故障已经恢复,并返回到关闭状态;否则,熔断器会再次断开。
在授权公布号为CN108874531B中国发明专利中,公开一种用于熔断服务的方法、装置、系统及电子设备,该方法包括:熔断服务集群获取熔断服务对象数据;将所述熔断服务对象数据写入所述熔断服务集群的节点;以及将所述熔断服务对象数据由所述节点同步至所述熔断服务集群的全部节点。本申请的用于熔断服务的方法、装置、系统及电子设备,能够保证熔断服务的高可用性以及熔断服务的实时性。
结合以上申请及现有技术,在需要对数据端进行熔断,特别是当前数据端的数据访问量及请求量快速增加时,数据端面临的负载过大时,在熔断前,通常并不会提前发出预警或预留处理时间,而是使数据端突然进入熔断状态,在这种情形下,若数据端的运行突然被中断,当前处理的数据难免会存在一定的丢失或者泄露,虽然这能够在一定程度上降低数据端的运行风险,但是数据泄露风险也会增加,在结束熔断后,数据端也难以对数据做出恢复。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了基于数据服务保护的熔断控制系统,若预测获取的目标熔断系数超过目标熔断阈值,发出熔断指令并确定出熔断节点;使用训练后的熔断预测模型,预测获取数据端在熔断节点上的熔断特征,依据熔断特征与熔断模式间的对应性,从熔断模式库内匹配出对应的熔断模式。而通过自动匹配熔断模式,也能够有效地避免熔断模式选择错误,避免风险蔓延,从而解决了背景技术提出的技术问题。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
基于数据服务保护的熔断控制方法,包括如下步骤:
识别获取数据端当前访问状态,构建访问条件集合并生成条件系数,若是条件系数/>超过状态阈值,对数据端的使用状态进行识别并构建运行状态集合;
结合运行状态集合,设置熔断系数及相应的熔断阈值,以熔断阈值与条件系数/>的大小呈正相关作为约束条件,使熔断阈值处于移动状态;
由训练后的熔断预测模型结合线性回归分析,获取目标节点上的目标熔断系数,依据约束条件确定目标熔断阈值,若预测获取的目标熔断系数超过目标熔断阈值,发出熔断指令并确定出熔断节点;
使用训练后的熔断预测模型,预测获取数据端在熔断节点上的熔断特征,依据熔断特征与熔断模式间的对应性,从熔断模式库内匹配出对应的熔断模式。
进一步的,在检测周期内,检测获取数据端的访问请求量Fw,及在每次存在访问时产生的数据交换量Fs,将连续若干个检测周期内的检测数据汇总后,构建访问条件集合。
进一步的,使检测周期与识别周期等长,对数据端使用状态进行识别,包括,请求成功率Qs、响应延迟率Qv及响应错误率Qw;汇总后,构建数据端的运行状态集合。
进一步的,以预测周期结束节点作为预测节点,使用训练后的熔断预测模型,以访问状态集合内的数据作为输入,连续获取若干个预测节点处的运行状态集合,由各个预测节点上运行状态集合获取对应的熔断系数,作为第一熔断系数,其中,预测周期与识别周期等长。
进一步的,将各个预测节点沿着时间轴的延展方向做有序排列,结合由各个预测节点上的访问状态集合生成相应的条件系数,使用平滑指数模型对条件系数的进行预测,获取各个预测节点上的条件系数/>
进一步的,对条件系数与熔断系数/>做相关性分析,并获取相应的相关性系数/>,若相关性系数/>大于相关性阈值,以数据端的访问状态集合内的数据作为自变量,以熔断系数/>作为因变量,进行线性回归分析,获取各个预测节点上的熔断系数/>,作为第二熔断系数。
进一步的,将第一熔断系数与第二熔断系数以三比七加权平均,获取目标熔断系数;依据约束条件,由条件系数为目标熔断系数限定对应的熔断阈值,将确定目标熔断阈值;
若预测获取的目标熔断系数超过目标熔断阈值,向外部发出熔断指令,并将对应的预测节点确定为熔断节点。
进一步的,使用训练后的熔断预测模型,以访问状态集合内的数据作为输入,预测获取数据端在熔断节点上的运行状态数据;对运行状态数据进行识别,获取对应的熔断特征,汇总后构建对应的熔断特征库。
进一步的,预先准备若干种熔断模式,汇总后,构建熔断模式库;依据数据端的熔断特征与熔断模式间的对应性,从熔断模式库内匹配出对应的熔断模式,将其标记为目标熔断模式,在接收到熔断指令后,在熔断节点上,以目标熔断模式对数据端进行熔断。
基于数据服务保护的熔断控制系统,包括:
识别单元,识别获取数据端当前访问状态,构建访问条件集合并生成条件系数,若其超过状态阈值,对数据端的使用状态进行识别并构建运行状态集合;
约束单元,设置熔断系数及相应的熔断阈值,以熔断阈值与条件系数的大小呈正相关作为约束条件,使熔断阈值处于移动状态;
分析单元,使用训练后的熔断预测模型,以访问状态集合内的数据作为输入,预测获取预测节点上的第一熔断系数;
处理单元,依据约束条件确定目标熔断阈值,结合线性回归分析获取目标节点上的第二熔断系数,由第一熔断系数及第二熔断系数加权获取目标熔断系数,若预测获取的目标熔断系数超过目标熔断阈值,发出熔断指令并确定出熔断节点;
匹配单元,使用训练后的熔断预测模型,预测获取数据端在熔断节点上的熔断特征,依据熔断特征与熔断模式间的对应性,从熔断模式库内匹配出对应的熔断模式。
(三)有益效果
本发明提供了基于数据服务保护的熔断控制系统,具备以下有益效果:
1、依据熔断系数对数据端可能面临的熔断风险的大小进行描述,通过约束条件设置移动状态下的熔断阈值,通过判断是否需要对数据端进行熔断,而通过及时的熔断,能够使数据端进入休整状态,隔断数据端持续高负载运行的状态,降低数据端的运行风险,也能够有效地降低数据泄露风险。
2、在不需要立即对数据端进行熔断时,搭建训练后的熔断预测模型,对数据端的运行状态进行预测,从而预测获取相应的熔断系数,从而数据端的熔断风险起到预测作用,当距离对应熔断阈值的间距较短时,能够提前的发出预警并作出相应的处理,比如降低数据端的负载等,能够对数据端的熔断形成避免作用。
3、通过平滑指数模型预测分析确定多个预测节点上的条件系数,获取对应的熔断阈值,通过线性回归分析获取对应预测节点上的第二熔断系数,最后加权获取目标熔断系数;对单一方式预测的预测风险进行修正和平均,降低预测错误的概率,而通过提前发出熔断指令,在数据端可能要面临较大的熔断风险时,能够提前感知并大概确定其产生的时间节点,从而在对熔断风险作处理时,能够更为精准化,而提前处理则可以减少损失。
4、通过其与预先准备的熔断模式间的对应性,可以为数据端快速地匹配出相应的熔断模式,从而在达到熔断标准时,快速的做出准确处理,提高熔断的效率,而通过自动匹配熔断模式,也能够有效地避免熔断模式选择错误,避免风险进一步的蔓延。
附图说明
图1为本发明基于数据服务保护的熔断控制方法流程示意图;
图2为本发明基于数据服务保护的熔断控制系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供基于数据服务保护的熔断控制方法,包括如下步骤:
步骤一、识别获取数据端当前访问状态并构建访问条件集合,由访问状态集合生成条件系数,若是条件系数/>超过状态阈值,发出预警指令;
所述步骤一包括如下内容:
步骤101、在数据端处于使用状态下时,对其使用状态进行监测,包括如下内容:
设置检测周期,例如,以1分钟或者3分钟为一个检测周期,在检测周期内,检测获取数据端的访问请求量Fw,及在每次存在访问时产生的数据交换量Fs,将连续若干个检测周期内的检测数据汇总后,构建访问条件集合;
步骤102、由访问状态集合生成条件系数,方式如下:将访问请求量Fw及数据交换量Fs做线性归一化处理,将相应的数据值映射至区间/>内,再依照如下方式:
其中,m为大于1的正整数,为检测周期的个数;权重系数:,/>,且/>,其中,权重系数可以参考层次分析法确定,或者由用户设置;/>为请求量的均值,/>为数据交换量的均值;需要补充说明的是,/>为请求量在i位置上的值,/>为数据交换量在i位置上的值;
需要说明的是:层次分析法是一种定性和定量相结合的分析方法,它可以将复杂的问题分解为多个层次,通过比较各层次因素的重要性,可以帮助决策者对复杂问题进行决策,确定最终的决策方案,在这个过程中,层次分析法可以用来确定这些指标的权重系数;层次分析法的步骤如下:
明确问题:首先需要明确决策问题,确定决策的目标和备选方案;
建立层次结构模型:根据问题的性质和决策目标,将问题分解为不同的层次,通常包括目标层、准则层和方案层;目标层是决策问题的总目标,准则层是用于评估备选方案的准则,方案层是备选方案;
构造判断矩阵:通过两两比较同一层次中的元素相对于上一层中某一元素的重要性,构造判断矩阵。判断矩阵中的元素表示两个元素相对重要性的比值;
层次单排序:根据判断矩阵,计算同一层次中元素相对于上一层中某一元素的相对重要性排序权重。这一过程称为层次单排序;
一致性检验:检验判断矩阵的一致性,即检验判断矩阵是否满足一致性条件。如果满足一致性条件,则认为层次单排序结果是合理的;
层次总排序:计算各层元素对系统目标的合成权重,进行总排序,以确定递阶结构图中最底层各个元素的总排序权重;
通过层次分析法,决策者可以将复杂的决策问题分解为不同的层次,并基于定性和定量的分析进行决策;这种方法能够提高决策的准确性和有效性,特别适用于那些难以用定量方法解决的复杂问题。
结合历史数据及对数据端熔断处理的预期,预先设置状态阈值,若是条件系数超过状态阈值,则说明数据端存在大量的访问和数据交换时,其运行时存在较大的潜在风险,若不能及时处理,该潜在风险可能会逐步扩大,此时,向外部发出预警指令,以便于可以及时的进行调整和处理;
使用时,结合步骤101及102中的内容:
在数据端处于使用状态下时,由所述访问状态集合生成条件系数,以条件系数/>对数据端运行的潜在风险进行判断,若数据端当前访问量及数据交换量都大规模地增加,则说明其当前存在一定的运行风险,比如,数据端难以处理过大的任务量,导致其负载过大而产生宕机,或者不断产生运行错误,导致数据丢失等,因此需要及时地处理。
在现有技术中,在需要对数据端进行熔断,特别是当前数据端的数据访问量及请求量快速增加时,数据端面临的负载过大时,在熔断前,通常并不会提前发出预警或预留处理时间,而是使数据端突然进入熔断状态,在这种情形下,若数据端的运行突然被中断,当前处理的数据难免会存在一定的丢失或者泄露,虽然这能够在一定程度上降低数据端的运行风险,但是数据泄露风险也会增加,在结束熔断后,数据端也难以对数据做出恢复。
步骤二、接收到预警指令后,对数据端的使用状态进行识别并构建运行状态集合,结合运行状态集合,设置熔断系数及相应的熔断阈值,依据约束条件使熔断阈值处于移动状态;
所述步骤二包括如下内容:
步骤201、接收到预警指令后,为了对数据端当前运行状态做进一步的评估,对其使用状态进行识别,由识别结果构建数据端的运行状态集合,其具体方式包括如下内容:
设置识别周期,例如,使检测周期与识别周期等长,在识别周期内,若数据端接收到请求,获取相应的请求成功率Qs;在对所述请求做出响应时,预先设置可接受的可延迟时长,获取响应时与可延迟时长的比值,以其作为响应延迟率Qv;在数据端做出响应后,判断错误响应的比例,获取响应错误率Qw;将请求成功率Qs、响应延迟率Qv及响应错误率Qw汇总后,构建数据端的运行状态集合;
步骤202、为了对数据端当前的熔断风险做具体判断,预先设置熔断系数,所述熔断系数/>的设置方式如下:
其中,为请求成功率的均值,/>为请求成功率的合格标准值;/>为响应延迟率的均值,/>为响应延迟率的合格标准值;/>为响应错误率的均值,/>为响应错误率的合格标准值;权重系数:/>,/>,/>,且,/> n为识别周期的个数,是大于1的正整数,
需要补充说明的是,为请求成功率在i位置上的值,/>为响应延迟率在i位置上的值,/>为响应错误率在i位置上的值;其中,所述权重系数可以参考层次分析法确定;
结合历史数据,以及对数据端管理的预期,预先设置熔断阈值,所述熔断阈值处于移动状态,且与条件系数的大小呈正相关,以此作为限定两者的约束条件;
使用时,结合步骤201及202中的内容:
在接收到预警指令后,数据端可能已处于高负载运行状态下,此时,对其当前的使用状态进行识别并构建熔断系数,依据熔断系数/>的大小,对数据端可能面临的熔断风险的大小进行描述;通过约束条件设置移动状态下的熔断阈值,在需要时,可以依据熔断系数/>与对应熔断阈值间的关系,判断是否需要对数据端进行熔断,而通过及时的熔断,能够使数据端进入休整状态,隔断数据端持续高负载运行的状态,降低数据端的运行风险,也能够有效地降低数据泄露风险。
步骤三、使用训练后的熔断预测模型,以访问状态集合内的数据作为输入,预测获取预测节点上的第一熔断系数;
所述步骤三包括如下内容:
步骤301、采集数据端运行时的状态数据,包括:数据端的规格性能数据、访问状态数据、网络状态数据及其内部数据存储状态数据等,对所采集的数据进行特征识别,获取相应的特征数据;
将特征数据汇总后,生成建模特征集合,从建模特征集合内抽取部分数据,分别作为训练集;使用卷积神经网络搭建初始模型,对初始模型进行训练和测试后,获取训练后的熔断预测模型;
步骤302、预先设置预测周期,可以使预测周期与识别周期等长,以预测周期结束节点作为预测节点,使用训练后的熔断预测模型,以数据端的访问状态集合内的数据作为输入,经过分析处理后,连续获取若干个预测节点处的运行状态集合,由各个预测节点上运行状态集合获取对应的熔断系数,作为第一熔断系数;
使用时,结合步骤301及302中的内容:
在不需要立即对数据端进行熔断时,搭建训练后的熔断预测模型,对数据端的运行状态进行预测,从而预测获取相应的熔断系数,从而数据端的熔断风险起到预测作用,进一步的,在获取到第一熔断系数且其超过对应的熔断阈值时,确定其对应的预测节点,若预测节点与当前节点的间隔小于预期,则发出预处理指令,此时,当距离对应熔断阈值的间距较短时,能够提前的发出预警并作出相应的处理,比如降低数据端的负载等,能够对数据端的熔断形成避免作用。
步骤四、依据约束条件确定目标熔断阈值,结合线性回归分析,获取目标节点上的第二熔断系数,由第一熔断系数及第二熔断系数加权获取目标熔断系数,若预测获取的目标熔断系数超过目标熔断阈值,发出熔断指令并确定出熔断节点;
所述步骤四包括如下内容:
步骤401、将各个预测节点沿着时间轴的延展方向做有序排列,结合由各个预测节点上的访问状态集合生成相应的条件系数,使用平滑指数模型对条件系数的进行预测,获取各个预测节点上的条件系数/>
步骤402、结合历史数据,对条件系数与熔断系数/>做相关性分析,并获取相应的相关性系数/>,预先设置相关性阈值,若相关性系数/>大于相关性阈值,以数据端的访问状态集合内的数据作为自变量,以熔断系数/>作为因变量,进行线性回归分析,预测获取各个预测节点上的熔断系数/>,作为第二熔断系数;
步骤403、将第一熔断系数与第二熔断系数以三比七加权平均,获取目标熔断系数;依据约束条件,由条件系数为目标熔断系数限定对应的熔断阈值,将确定目标熔断阈值;
若预测获取的目标熔断系数超过目标熔断阈值,则说明数据端对应预测节点上的熔断风险较高,此时,向外部发出熔断指令,并将对应的预测节点确定为熔断节点;
使用时,结合步骤401至403中的内容:
在结合历史数据的基础上,通过平滑指数模型预测分析确定多个预测节点上的条件系数,进而获取对应的熔断阈值,通过线性回归分析获取对应预测节点上的第二熔断系数,最后加权获取目标熔断系数;此时,以此能够对单一方式预测的预测风险进行修正和平均,降低预测错误的概率,而通过提前发出熔断指令,在数据端可能要面临较大的熔断风险时,能够提前感知并大概确定其产生的时间节点,从而在对熔断风险作处理时,能够更为精准化,而提前处理则可以减少损失。
步骤五、使用训练后的熔断预测模型,预测获取数据端在熔断节点上的熔断特征,依据熔断特征与熔断模式间的对应性,从熔断模式库内匹配出对应的熔断模式;
所述步骤五包括如下内容:
步骤501、使用训练后的熔断预测模型,以访问状态集合内的数据作为输入,预测获取数据端在熔断节点上的运行状态数据;在设置异常标准或者熔断标准后,对运行状态数据进行识别,获取对应的熔断特征,将熔断特征汇总后构建对应的熔断特征库;
步骤502、通过检索和收集,预先准备若干种熔断模式,例如:当监测到服务性能下降或错误率升高时,熔断系统可以采取多种行动,例如停止向服务发送请求、缓慢回退请求量,或者切换到备用服务器;将若干种熔断模式汇总后,构建熔断模式库;
依据数据端的熔断特征与熔断模式间的对应性,从熔断模式库内匹配出对应的熔断模式,将其标记为目标熔断模式,在接收到熔断指令后,在熔断节点上,以目标熔断模式对数据端进行熔断。
使用时,结合步骤501至502中的内容:
在需要对数据端采取熔断措施时,确定相应的熔断节点,并使用训练后的熔断预测模型对数据端在熔断节点上的运行状态数据进行预测,进而识别获取相应的熔断特征,而通过其与预先准备的熔断模式间的对应性,可以为数据端快速地匹配出相应的熔断模式,从而在达到熔断标准时,快速的做出准确处理,提高熔断的效率,避免风险进一步的蔓延,而通过自动匹配熔断模式,也能够有效地避免熔断模式选择错误,避免风险进一步的蔓延。
请参阅图2,本发明提供基于数据服务保护的熔断控制系统,包括:
识别单元,识别获取数据端当前访问状态,构建访问条件集合并生成条件系数,若其超过状态阈值,对数据端的使用状态进行识别并构建运行状态集合;
约束单元,设置熔断系数及相应的熔断阈值,以熔断阈值与条件系数的大小呈正相关作为约束条件,使熔断阈值处于移动状态;
分析单元,使用训练后的熔断预测模型,以访问状态集合内的数据作为输入,预测获取预测节点上的第一熔断系数;
处理单元,依据约束条件确定目标熔断阈值,结合线性回归分析获取目标节点上的第二熔断系数,由第一熔断系数及第二熔断系数加权获取目标熔断系数,若预测获取的目标熔断系数超过目标熔断阈值,发出熔断指令并确定出熔断节点;
匹配单元,使用训练后的熔断预测模型,预测获取数据端在熔断节点上的熔断特征,依据熔断特征与熔断模式间的对应性,从熔断模式库内匹配出对应的熔断模式。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一些逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemoryROM)、随机存取存储器(randomaccessmemoryRAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。

Claims (10)

1.基于数据服务保护的熔断控制方法,其特征在于:包括如下步骤:
识别获取数据端当前访问状态,构建访问条件集合并生成条件系数,若是条件系数/>超过状态阈值,对数据端的使用状态进行识别并构建运行状态集合;
结合运行状态集合,设置熔断系数及相应的熔断阈值,以熔断阈值与条件系数/>的大小呈正相关作为约束条件,使熔断阈值处于移动状态;
由训练后的熔断预测模型结合线性回归分析,获取目标节点上的目标熔断系数,依据约束条件确定目标熔断阈值,若预测获取的目标熔断系数超过目标熔断阈值,发出熔断指令并确定出熔断节点;
使用训练后的熔断预测模型,预测获取数据端在熔断节点上的熔断特征,依据熔断特征与熔断模式间的对应性,从熔断模式库内匹配出对应的熔断模式。
2.根据权利要求1所述的基于数据服务保护的熔断控制方法,其特征在于:
在检测周期内,检测获取数据端的访问请求量Fw,及在每次存在访问时产生的数据交换量Fs,将连续若干个检测周期内的检测数据汇总后,构建访问条件集合。
3.根据权利要求1所述的基于数据服务保护的熔断控制方法,其特征在于:
使检测周期与识别周期等长,对数据端使用状态进行识别,包括,请求成功率Qs、响应延迟率Qv及响应错误率Qw;汇总后,构建数据端的运行状态集合。
4.根据权利要求1所述的基于数据服务保护的熔断控制方法,其特征在于:
以预测周期结束节点作为预测节点,使用训练后的熔断预测模型,以访问状态集合内的数据作为输入,连续获取若干个预测节点处的运行状态集合,由各个预测节点上运行状态集合获取对应的熔断系数,作为第一熔断系数,其中,预测周期与识别周期等长。
5.根据权利要求4所述的基于数据服务保护的熔断控制方法,其特征在于:
将各个预测节点沿着时间轴的延展方向做有序排列,结合由各个预测节点上的访问状态集合生成相应的条件系数,使用平滑指数模型对条件系数/>的进行预测,获取各个预测节点上的条件系数/>
6.根据权利要求1所述的基于数据服务保护的熔断控制方法,其特征在于:
对条件系数与熔断系数/>做相关性分析,并获取相应的相关性系数/>,若相关性系数/>大于相关性阈值,以数据端的访问状态集合内的数据作为自变量,以熔断系数/>作为因变量,进行线性回归分析,获取各个预测节点上的熔断系数/>,作为第二熔断系数。
7.根据权利要求6所述的基于数据服务保护的熔断控制方法,其特征在于:
将第一熔断系数与第二熔断系数以三比七加权平均,获取目标熔断系数;依据约束条件,由条件系数为目标熔断系数限定对应的熔断阈值,将确定目标熔断阈值。
8.根据权利要求7所述的基于数据服务保护的熔断控制方法,其特征在于:
使用训练后的熔断预测模型,以访问状态集合内的数据作为输入,预测获取数据端在熔断节点上的运行状态数据;对运行状态数据进行识别,获取对应的熔断特征,汇总后构建对应的熔断特征库。
9.根据权利要求8所述的基于数据服务保护的熔断控制方法,其特征在于:
预先准备若干种熔断模式,汇总后构建熔断模式库;依据数据端的熔断特征与熔断模式间的对应性,从熔断模式库内匹配出对应的熔断模式,将其标记为目标熔断模式,在接收到熔断指令后,在熔断节点上,以目标熔断模式对数据端进行熔断。
10.基于数据服务保护的熔断控制系统,其特征在于:包括:
识别单元,识别获取数据端当前访问状态,构建访问条件集合并生成条件系数,若其超过状态阈值,对数据端的使用状态进行识别并构建运行状态集合;
约束单元,设置熔断系数及相应的熔断阈值,以熔断阈值与条件系数的大小呈正相关作为约束条件,使熔断阈值处于移动状态;
分析单元,使用训练后的熔断预测模型,以访问状态集合内的数据作为输入,预测获取预测节点上的第一熔断系数;
处理单元,依据约束条件确定目标熔断阈值,结合线性回归分析获取目标节点上的第二熔断系数,由第一熔断系数及第二熔断系数加权获取目标熔断系数,若预测获取的目标熔断系数超过目标熔断阈值,发出熔断指令并确定出熔断节点;
匹配单元,使用训练后的熔断预测模型,预测获取数据端在熔断节点上的熔断特征,依据熔断特征与熔断模式间的对应性,从熔断模式库内匹配出对应的熔断模式。
CN202311846404.8A 2023-12-29 2023-12-29 基于数据服务保护的熔断控制方法及系统 Active CN117493067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311846404.8A CN117493067B (zh) 2023-12-29 2023-12-29 基于数据服务保护的熔断控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311846404.8A CN117493067B (zh) 2023-12-29 2023-12-29 基于数据服务保护的熔断控制方法及系统

Publications (2)

Publication Number Publication Date
CN117493067A CN117493067A (zh) 2024-02-02
CN117493067B true CN117493067B (zh) 2024-04-23

Family

ID=89681431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311846404.8A Active CN117493067B (zh) 2023-12-29 2023-12-29 基于数据服务保护的熔断控制方法及系统

Country Status (1)

Country Link
CN (1) CN117493067B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110187995A (zh) * 2019-05-30 2019-08-30 北京奇艺世纪科技有限公司 一种熔断对端节点的方法及熔断装置
CN110309016A (zh) * 2019-06-13 2019-10-08 北京奇艺世纪科技有限公司 一种熔断恢复方法、装置及服务器
CN210222760U (zh) * 2019-06-19 2020-03-31 苏州科技大学 一种熔断器故障报警系统
CN113326061A (zh) * 2021-06-23 2021-08-31 深圳前海微众银行股份有限公司 熔断配置修改方法、装置、设备及可读存储介质
CN115145756A (zh) * 2022-06-15 2022-10-04 平安科技(深圳)有限公司 熔断方法、装置、设备及存储介质
WO2022267179A1 (zh) * 2021-06-21 2022-12-29 深圳壹账通智能科技有限公司 动态限流熔断配置方法、装置、设备及存储介质
CN116149908A (zh) * 2023-02-01 2023-05-23 北京新唐思创教育科技有限公司 一种数据链路熔断方法及装置和电子设备
CN116248483A (zh) * 2022-12-15 2023-06-09 中国电信股份有限公司 一种节点异常熔断方法、装置、电子设备及存储介质
CN116777518A (zh) * 2023-05-18 2023-09-19 支付宝(杭州)信息技术有限公司 事务管理方法、装置、存储介质及设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110187995A (zh) * 2019-05-30 2019-08-30 北京奇艺世纪科技有限公司 一种熔断对端节点的方法及熔断装置
CN110309016A (zh) * 2019-06-13 2019-10-08 北京奇艺世纪科技有限公司 一种熔断恢复方法、装置及服务器
CN210222760U (zh) * 2019-06-19 2020-03-31 苏州科技大学 一种熔断器故障报警系统
WO2022267179A1 (zh) * 2021-06-21 2022-12-29 深圳壹账通智能科技有限公司 动态限流熔断配置方法、装置、设备及存储介质
CN113326061A (zh) * 2021-06-23 2021-08-31 深圳前海微众银行股份有限公司 熔断配置修改方法、装置、设备及可读存储介质
CN115145756A (zh) * 2022-06-15 2022-10-04 平安科技(深圳)有限公司 熔断方法、装置、设备及存储介质
CN116248483A (zh) * 2022-12-15 2023-06-09 中国电信股份有限公司 一种节点异常熔断方法、装置、电子设备及存储介质
CN116149908A (zh) * 2023-02-01 2023-05-23 北京新唐思创教育科技有限公司 一种数据链路熔断方法及装置和电子设备
CN116777518A (zh) * 2023-05-18 2023-09-19 支付宝(杭州)信息技术有限公司 事务管理方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN117493067A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
KR101984730B1 (ko) 서버 장애 자동 예측 시스템 및 자동 예측 방법
WO2022105266A1 (zh) 电梯故障预测方法、系统、装置、计算机设备和存储介质
CN111427753B (zh) 基于arima模型的容量预测装置及其控制方法
CN110601900B (zh) 一种网络故障预警方法及装置
CN111262750B (zh) 一种用于评估基线模型的方法及系统
CN110955586A (zh) 一种基于日志的系统故障预测方法、装置和设备
WO2022001125A1 (zh) 一种存储系统的存储故障预测方法、系统及装置
CN106845820B (zh) 一种基于性能裕量的nfv系统可靠性测评方法
CN115038088B (zh) 一种智能网络安全检测预警系统和方法
CN113590429A (zh) 一种服务器故障诊断方法、装置及电子设备
CN115550195A (zh) 流量抑制预测方法、电子设备、存储介质
CN112398700A (zh) 一种服务降级方法及装置、存储介质、计算机设备
CN108268351B (zh) 一种进程运行状态精确监控方法及系统
CN117493067B (zh) 基于数据服务保护的熔断控制方法及系统
CN112128950A (zh) 一种基于多种模型对比的机房温湿度预测方法及系统
CN114341835A (zh) 气体监测系统
CN115964214A (zh) 一种多终端零代码智能软件开发平台
CN115793990A (zh) 存储器健康状态确定方法、装置、电子设备及存储介质
KR102392627B1 (ko) 배터리 상태 평가 및 분석을 위한 bms 데이터 처리 장치 및 방법
CN113703974A (zh) 一种预测服务器容量的方法及装置
CN114021302A (zh) 输电线路的寿命评估方法、装置、系统及存储介质
CN112685390A (zh) 数据库实例管理方法及装置、计算设备
CN116704448B (zh) 多摄像头的行人识别方法及识别系统
CN115001854B (zh) 基于大数据的防止溯源的服务器集群管控系统及方法
CN115208903B (zh) 一种基于分布式服务的智能电缆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant