CN111901188A - 数据流量控制方法、装置、设备和存储介质 - Google Patents

数据流量控制方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111901188A
CN111901188A CN202010568719.0A CN202010568719A CN111901188A CN 111901188 A CN111901188 A CN 111901188A CN 202010568719 A CN202010568719 A CN 202010568719A CN 111901188 A CN111901188 A CN 111901188A
Authority
CN
China
Prior art keywords
abnormal
service cluster
rate
threshold
anomaly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010568719.0A
Other languages
English (en)
Inventor
丁书瑾
刘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weiyiyun Hangzhou Holding Co ltd
Original Assignee
Weiyiyun Hangzhou Holding Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weiyiyun Hangzhou Holding Co ltd filed Critical Weiyiyun Hangzhou Holding Co ltd
Priority to CN202010568719.0A priority Critical patent/CN111901188A/zh
Publication of CN111901188A publication Critical patent/CN111901188A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种数据流量控制方法、装置、设备和存储介质,方法包括如下的步骤:获取服务集群的数据流的第一异常率;判断所述第一异常率是否小于第一异常阈值;当所述第一异常率大于或等于所述第一异常阈值时,根据所述服务集群的运行状态参数,调整所述服务集群的数据流量参数。本申请实现了通过实时获取服务集群请求数据流的第一异常率,并实时判断第一异常率是否大于或等于第一异常阈值,如果达到了,就根据服务集群的运行状态实时对服务集群的数据流量参数进行调整,以使服务集群可以在调整状态下运行,从而降低整个服务集群全面崩溃的风险。

Description

数据流量控制方法、装置、设备和存储介质
技术领域
本申请涉及信息处理技术领域,具体而言,涉及一种数据流量控制方法、装置、设备和存储介质。
背景技术
在现代的企业级应用中,单体应用逐渐被SOA(Service-Oriented Architecture,面向服务的架构)、微服务等面向服务的系统架构所取代,随着服务的增多,服务之间的调用关系也变的越来越复杂,各个服务之间互相调用和依赖,同时又会依赖各种存储服务或者消息服务(例如:mysql、HBase、Hive、elasticsearch等数据库),在这调用和依赖链条中,各方服务的稳定性和质量参差不齐,任意一个服务的故障或者不可用可能会导致所有依赖服务的故障和不可用,甚至会导致整个服务集群的崩溃。
发明内容
本申请实施例的目的在于提供一种数据流量控制方法、装置、设备和存储介质,用以实现根据服务集群的数据流的实时异常率,调整服务集群的数据流量参数。
本申请实施例第一方面提供了一种数据流量控制方法,包括如下的步骤:获取服务集群的数据流的第一异常率;判断所述第一异常率是否小于第一异常阈值;当所述第一异常率大于或等于所述第一异常阈值时,根据所述服务集群的运行状态参数,调整所述服务集群的数据流量参数。
于一实施例中,所述当所述第一异常率大于或等于所述第一异常阈值时,根据所述服务集群的运行状态参数,调整所述服务集群的数据流量参数,包括如下的步骤:当所述第一异常率大于或等于所述第一异常阈值时,限制所述服务集群的所述数据流量参数在第一流量范围内,并记录限制时长;判断所述限制时长是否达到第一预设时长;当所述限制时长达到所述第一预设时长时,获取所述服务集群的当前数据流量和当前的第二异常率;根据所述当前数据流量和所述第二异常率,调整所述服务集群的所述数据流量参数。
于一实施例中,所述根据所述当前数据流量和所述第二异常率,调整所述服务集群的所述数据流量参数,包括如下的步骤:判断所述当前数据流量是否达到预设阈值;当所述当前数据流量达到所述预设阈值时,判断所述第二异常率是否小于第二异常阈值,所述第二异常阈值小于所述第一异常阈值;当所述第二异常率小于所述第二异常阈值时,解除对所述服务集群的数据流的限制。
于一实施例中,还包括如下的步骤:当所述当前数据流量未达到所述预设阈值时,或者当所述第二异常率大于或等于所述第二异常阈值时,继续限制所述服务集群的所述数据流量参数在所述第一流量范围内,并发出警报信息。
于一实施例中,所述获取服务集群的数据流的第一异常率,包括如下的步骤:检测所述服务集群的每个数据业务的执行时长是否超过第二预设时长;当所述执行时长超过所述第二预设时长时,记录本次数据业务为执行异常;根据所述执行异常的数量和每个数据流状态异常的数量,确定所述第一异常率。
于一实施例中,还包括如下的步骤:当所述第一异常率小于所述第一异常阈值时,判断所述第一异常率是否小于第二异常阈值,所述第二异常阈值小于所述第一异常阈值;当所述第一异常率大于或等于所述第二异常阈值时,限制所述服务集群的所述数据流量参数在第二流量范围内。
本申请实施例第二方面提供了一种数据流量控制装置,包括:获取模块,用于获取服务集群的数据流的第一异常率;第一判断模块,用于判断所述第一异常率是否小于第一异常阈值;调整模块,用于当所述第一异常率大于或等于所述第一异常阈值时,根据所述服务集群的运行状态参数,调整所述服务集群的数据流量参数。
于一实施例中,所述调整模块包括:限制单元,用于当所述第一异常率大于或等于所述第一异常阈值时,限制所述服务集群的所述数据流量参数在第一流量范围内,并记录限制时长;判断单元,用于判断所述限制时长是否达到第一预设时长;获取单元,用于当所述限制时长达到所述第一预设时长时,获取所述服务集群的当前数据流量和当前的第二异常率;调整单元,用于根据所述当前数据流量和所述第二异常率,调整所述服务集群的所述数据流量参数。
于一实施例中,所述调整单元用于:判断所述当前数据流量是否达到预设阈值;当所述当前数据流量达到所述预设阈值时,判断所述第二异常率是否小于第二异常阈值,所述第二异常阈值小于所述第一异常阈值;当所述第二异常率小于所述第二异常阈值时,解除对所述服务集群的数据流的限制。
于一实施例中,所述限制单元还用于,当所述当前数据流量未达到所述预设阈值时,或者当所述第二异常率大于或等于所述第二异常阈值时,继续限制所述服务集群的所述数据流量参数在所述第一流量范围内,并发出警报信息。
于一实施例中,所述获取模块,用于:检测所述服务集群的每个数据业务的执行时长是否超过第二预设时长;当所述执行时长超过所述第二预设时长时,记录本次数据业务为执行异常;根据所述执行异常的数量和每个数据流状态异常的数量,确定所述第一异常率。
于一实施例中,还包括:第二判断模块,用于当所述第一异常率小于所述第一异常阈值时,判断所述第一异常率是否小于第二异常阈值,所述第二异常阈值小于所述第一异常阈值;限制模块,还用于当所述第一异常率大于或等于所述第二异常阈值时,限制所述服务集群的所述数据流量参数在第二流量范围内。
本申请实施例第三方面提供了一种电子设备,包括:存储器,用以存储计算机程序;处理器,用以执行本申请实施例第一方面及其任一实施例的方法,以调整服务集群的数据流量参数。
本申请实施例第四方面提供了一种非暂态电子设备可读存储介质,包括:程序,当其藉由电子设备运行时,使得所述电子设备执行本申请实施例第一方面及其任一实施例的方法。
本申请提供的数据流量控制方法、装置、设备和存储介质,通过实时获取服务集群请求数据流的第一异常率,并实时判断第一异常率是否大于或等于第一异常阈值,如果达到了,就根据服务集群的运行状态实时对服务集群的数据流量参数进行调整,以使服务集群可以在调整状态下运行,从而降低整个服务集群全面崩溃的风险。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例的电子设备的结构示意图;
图2为本申请一实施例的数据流量控制方法的流程示意图;
图3为本申请一实施例的数据流量控制方法的流程示意图;
图4为本申请一实施例的数据流量控制装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
如图1所示,本实施例提供一种电子设备1,包括:至少一个处理器11和存储器12,图1中以一个处理器为例。处理器11和存储器12通过总线10连接,存储器12存储有可被处理器11执行的指令,指令被处理器11执行,以使电子设备1可执行下述的实施例中方法的全部或部分流程,以实时调整服务集群的数据流量参数。
于一实施例中,电子设备1可以是手机、笔记本电脑、台式计算机等设备。
请参看图2,其为本申请一实施例的数据流量控制方法,该方法可由图1所示的电子设备1来执行,并可应用于服务集群的数据流调控场景中,以实现根据服务集群的运行状态参数,调整服务集群的数据流量参数。该方法包括如下步骤:
步骤201:获取服务集群的数据流的第一异常率。
在本步骤中,服务集群中包括至少一个服务器,服务集群也可以是将很多服务器集中起来,一起进行同一种或多种服务。服务集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行。服务集群可以处理来自客户端的数据请求,并与客户端进行数据交互,这些数据请求和数据交互构成了服务集群的数据流,在服务集群处理每条数据流时,往往由于各种不确定的因素出现异常,而这些异常可以体现整个服务集群的运行质量,因此实时统计服务集群的数据流的第一异常率,并基于第一异常率检测服务集群的运行状态。
于一实施例中,服务集群可以基于Python(一种跨平台的计算机程序设计语言)语言实现。Python应用由于Python全局解释器锁的原因,在多线程的处理上无法有效的利用现代计算机的多核优势,多个线程的运行依然是在一个CPU核心上运行,当并发数据请求较大时,相对其他编程语言的应用更容易造成阻塞和整个应用不可用,因此需要实时对服务集群的数据流进行安全调控。
步骤202:判断第一异常率是否小于第一异常阈值。
在本步骤中,第一异常阈值表征了服务集群是否处于非正常状态,可以基于服务集群的历史运行记录统计得到,比如,第一异常阈值可以为80%,如果第一异常率小于80%,则进入步骤204,否则,进入步骤203。
步骤203:根据服务集群的运行状态参数,调整服务集群的数据流量参数。
在本步骤中,当第一异常率大于或等于第一异常阈值时,比如第一异常率大于或等于80%,通常认为服务集群处于非正常状态,无法基于当前的数据流量参数,正常完成现有的数据请求处理。为了保护服务集群,可以根据服务集群的运行状态参数,实时调整服务集群的数据流量参数,以降低服务集群崩溃的风险。
于一实施例中,数据流量参数可以是服务集群处理数据请求的数据流速率或者数据量。
步骤204:判断第一异常率是否小于第二异常阈值,第二异常阈值小于第一异常阈值。
在本步骤中,第二异常阈值也表征了服务集群是否处于非正常状态,同样可以基于服务集群的历史运行记录统计得到,第二异常阈值小于第一异常阈值,比如,第二异常阈值可以为60%。当第一异常率小于第一异常阈值80%时,进一步判断第一异常率是否小于第二异常阈值60%,如果是,说明服务集群当前的运行状态是正常的,可以返回步骤201。否则,进入步骤205。
步骤205:限制服务集群的数据流量参数在第二流量范围内。
在本步骤中,当第一异常率大于或等于第二异常阈值时,也就是说当第一异常率小于80%并且大于或等于60%时,说明服务集群此刻虽然不是严格的非正常状态,但是此刻的状态很有可能对服务集群未来的运行造成不良影响,则可以采用限流的方式,限制服务集群的数据流量参数在第二流量范围内。此处,第二流量范围可以用来限制服务集群的数据流速率和/或数据量,可以基于服务集群的历史记录进行统计得到,原则是在第二流量范围内,可以保证服务集群正常处理部分数据请求等业务,避免其崩溃的风险。
于一实施例中,可以基于令牌桶或者漏桶对请求流量的速率或者数量进行限制,具体使用哪种限制策略,可以根据实际需求确定。
上述数据流量控制方法,通过实时获取服务集群请求数据流的第一异常率,并实时判断第一异常率是否大于或等于第一异常阈值,如果达到了,就根据服务集群的运行状态实时对服务集群的数据流量参数进行调整,如果未达到,则进一步确定是否需要进行降级限流,以使服务集群可以在调整或者限流的状态下运行,从而降低整个服务集群全面崩溃的风险。
请参看图3,其为本申请一实施例的数据流量控制方法,该方法可由图1所示的电子设备1来执行,并可应用于服务集群的数据流调控场景中,以实现根据服务集群的运行状态参数,调整服务集群的数据流量参数。该方法包括如下步骤:
步骤301:检测服务集群的每个数据业务的执行时长是否超过第二预设时长。
在本步骤中,可以对服务集群的每个数据业务的执行进行超时检测:检测业务线程执行时间是否超过第二预设时长,如果超过,进入步骤302,否则继续进行超时检测。该第二预设时长可以基于类似业务线程执行时长的数据库统计得出,比如可以是大多数业务线程执行的平均时长范围。可以藉由异步执行业务函数,增加对业务线程执行的超时监控。
步骤302:当执行时长超过第二预设时长时,记录本次数据业务为执行异常。
在本步骤中,当执行时长超过第二预设时长时,则记录本次超时的数据业务,并将其标记为执行异常的业务。可以通过构造一个滑动时间窗口的队列,用于记录和统计上述信息。
于一实施例中,可以定时检测业务线程执行是否超时,如果超时则主动杀死该业务线程,释放资源。如果业务函数执行异常,则可以上报信息到统计模块进行统计记录。
步骤303:根据执行异常的数量和每个数据流状态异常的数量,确定第一异常率。
在本步骤中,数据流状态也可能存在异常的状况,对于一个数据请求,如果其本身的数据流存在异常,或者其在业务执行的过程中出现执行异常,均表征服务集群的数据处理的异常率,因此可以将执行异常的数量和每个数据流状态异常的数量相加得到的总量作为总的异常量,进而求得总的异常率作为第一异常率。
步骤304:判断第一异常率是否小于第一异常阈值。如果是,进入步骤312,否则进入步骤305。详细参见上述实施例中对步骤202的描述。
于一实施例中,上述步骤301至步骤303可以与步骤304实时异步执行。其执行顺序不受上述实施例的限制。
步骤305:限制服务集群的数据流量参数在第一流量范围内,并记录限制时长。
在本步骤中,当一个数据请求到达服务集群时,假设第一异常阈值为80%,当第一异常率大于或等于80%时,通常认为服务集群处于非正常状态,无法基于当前的数据流量参数正常完成该数据请求处理。为了保护服务集群,可以开启降级保护状态,对服务集群进行限流,即限制服务集群的数据流量参数在第一流量范围内,并记录限制时长。其中,第一流量范围可以用来限制服务集群的数据流速率和/或数据量,可以基于服务集群的历史记录进行统计得到,原则是当第一异常率大于或等于80%时,在第一流量范围内,可以保证服务集群正常处理部分数据请求等业务,避免其崩溃的风险。
于一实施例中,可以通过设置保护器的形式对服务集群进行流量控制,如果保护器处于关闭状态,需要判断此时单位时间窗口内的数据请求异常率是否达到第一异常阈值,如果达到,则设置保护器状态为开启,同时发送报警信息。
步骤306:判断限制时长是否达到第一预设时长。
在本步骤中,第一预设时长表征开启保护状态的时长,可以基于服务集群大数据进行统计得到,原则是,大部分的服务可以在第一预设时长内恢复数据服务能力。如果限制时长达未到第一预设时长,继续检测限制时长是否达到第一预设时长,直至限制时长达到第一预设时长,则进入步骤307。
步骤307:获取服务集群的当前数据流量和当前的第二异常率。
在本步骤中,当限制时长达到第一预设时长时,则再次对服务群集进行异常检测,确定其是否完全恢复。则需要实时获取服务集群的当前数据流量和当前的第二异常率,其中当前数据流量为服务集群的当前数据处理速率和/或者数据处理量,第二异常率也可以采用类似于步骤301至步骤303中确定第一异常率的方式来确定。然后采用下述步骤,根据当前数据流量和第二异常率,调整服务集群的数据流量参数。
步骤308:判断当前数据流量是否达到预设阈值,若是,进入步骤309,否则,进入步骤311。
在本步骤中,预设阈值可以表征服务集群恢复程度,可以基于历史恢复记录统计得到,原则达到预设阈值的被认为是完全恢复。
步骤309:判断第二异常率是否小于第二异常阈值,第二异常阈值小于第一异常阈值。
在本步骤中,在当前数据流量达到预设阈值时,说明服务集群的数据处理速率或者处理量已经达到恢复的标准,需要进一步判断第二异常率是否小于第二异常阈值,其中,第二异常阈值表征了服务集群是否处于非正常状态,同样可以基于服务集群的历史运行记录统计得到,第二异常阈值小于第一异常阈值,比如,第二异常阈值可以为60%。当当前数据流量达到预设阈值时,进一步判断第二异常率是否小于第二异常阈值60%,如果是,说明服务集群当前的运行状态已经完全恢复,则进入步骤310,否则,进入步骤311。
步骤310:解除对服务集群的数据流的限制。
在本步骤中,当第二异常率小于第二异常阈值时,说明服务集群的数据处理能力已经完全恢复,则不再需要对其数据流进行限制,可以解除对服务集群的数据流的限制,以使服务集群可以正常的处理所有数据流。
步骤311:继续限制服务集群的数据流量参数在第一流量范围内,并发出警报信息。
在本步骤中,在当前数据流量未达到预设阈值时,或者第二异常率大于或等于第二异常阈值时,都说明服务集群在经过第一预设时长的恢复过程后,并未真正实现完全恢复,则继续对其进行服务保护,继续限制服务集群的数据流量参数在第一流量范围内,并发出警报信息。同时也可以返回步骤305,重新进行限制计时,并重新对服务集群进行降级保护状态下的恢复情况监测,直至服务集群完全恢复时,解除限流保护。在监测工程中,可以实时将监控到的具体信息进行提示,以供参考。
步骤312:当第一异常率小于第一异常阈值时,判断第一异常率是否小于第二异常阈值,第二异常阈值小于第一异常阈值,若是,说明服务集群运行状态正常,无需进行安全限流保护,可以结束保护流程。否则进入步骤313。详细参见上述实施例中对步骤204的描述。
步骤313:当第一异常率大于或等于第二异常阈值时,限制服务集群的数据流量参数在第二流量范围内。详细参见上述实施例中对步骤205的描述。
于一实施例中,每次对服务集群进行业务检测和限流保护后,可以实时将检测结果和限流结果信息汇总,以供后续参考。
上述数据流量控制方法,在服务刚刚启动或恢复过程中,对数据流量加以控制,允许服务集群提供部分请求正常访问,不仅可以避免再次将刚刚恢复或者恢复过程中的服务冲跨,而且合理利用资源。
请参看图4,其为本申请一实施例的数据流量控制装置400,该装置可应用于图1所示的电子设备1,并可应用于服务集群的数据流调控场景中,以实现根据服务集群的运行状态参数,调整服务集群的数据流量参数。该装置包括:获取模块41、第一判断模块42和调整模块43,各个模块的原理关系如下:
获取模块41,用于获取服务集群的数据流的第一异常率。详细参见上述实施例中对步骤201的描述。
第一判断模块42,用于判断第一异常率是否小于第一异常阈值。详细参见上述实施例中对步骤202的描述。
调整模块43,用于当第一异常率大于或等于第一异常阈值时,根据服务集群的运行状态参数,调整服务集群的数据流量参数。详细参见上述实施例中对步骤203的描述。
于一实施例中,调整模块43包括:限制单元431,用于当第一异常率大于或等于第一异常阈值时,限制服务集群的数据流量参数在第一流量范围内,并记录限制时长。判断单元432,用于判断限制时长是否达到第一预设时长。获取单元433,用于当限制时长达到第一预设时长时,获取服务集群的当前数据流量和当前的第二异常率。调整单元434,用于根据当前数据流量和第二异常率,调整服务集群的数据流量参数。详细参见上述实施例中对步骤305至步骤307的描述。
于一实施例中,调整单元434用于:判断当前数据流量是否达到预设阈值。当当前数据流量达到预设阈值时,判断第二异常率是否小于第二异常阈值,第二异常阈值小于第一异常阈值。当第二异常率小于第二异常阈值时,解除对服务集群的数据流的限制。详细参见上述实施例中对步骤308至步骤310的描述。
于一实施例中,限制单元431还用于:当当前数据流量未达到预设阈值时,或者当第二异常率大于或等于第二异常阈值时,继续限制服务集群的数据流量参数在第一流量范围内,并发出警报信息。详细参见上述实施例中对步骤311的描述。
于一实施例中,获取模块41,用于检测服务集群的每个数据业务的执行时长是否超过第二预设时长。当执行时长超过第二预设时长时,记录本次数据业务为执行异常。根据执行异常的数量和每个数据流状态异常的数量,确定第一异常率。详细参见上述实施例中对步骤301至步骤303的描述。
于一实施例中,还包括:第二判断模块44,用于当第一异常率小于第一异常阈值时,判断第一异常率是否小于第二异常阈值,第二异常阈值小于第一异常阈值。限制模块45,还用于当第一异常率大于或等于第二异常阈值时,限制服务集群的数据流量参数在第二流量范围内。详细参见上述实施例中对步骤204至步骤205的描述。
上述数据流量控制装置400的详细描述,请参见上述实施例中相关方法步骤的描述。
本发明实施例还提供了一种非暂态电子设备可读存储介质,包括:程序,当其在电子设备上运行时,使得电子设备可执行上述实施例中方法的全部或部分流程。其中,存储介质可为磁盘、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(RandomAccess Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等。存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (14)

1.一种数据流量控制方法,其特征在于,包括如下的步骤:
获取服务集群的数据流的第一异常率;
判断所述第一异常率是否小于第一异常阈值;
当所述第一异常率大于或等于所述第一异常阈值时,根据所述服务集群的运行状态参数,调整所述服务集群的数据流量参数。
2.根据权利要求1所述的方法,其特征在于,所述当所述第一异常率大于或等于所述第一异常阈值时,根据所述服务集群的运行状态参数,调整所述服务集群的数据流量参数,包括如下的步骤:
当所述第一异常率大于或等于所述第一异常阈值时,限制所述服务集群的所述数据流量参数在第一流量范围内,并记录限制时长;
判断所述限制时长是否达到第一预设时长;
当所述限制时长达到所述第一预设时长时,获取所述服务集群的当前数据流量和当前的第二异常率;
根据所述当前数据流量和所述第二异常率,调整所述服务集群的所述数据流量参数。
3.根据权利要求2所述的方法,其特征在于,所述根据所述当前数据流量和所述第二异常率,调整所述服务集群的所述数据流量参数,包括如下的步骤:
判断所述当前数据流量是否达到预设阈值;
当所述当前数据流量达到所述预设阈值时,判断所述第二异常率是否小于第二异常阈值,所述第二异常阈值小于所述第一异常阈值;
当所述第二异常率小于所述第二异常阈值时,解除对所述服务集群的数据流的限制。
4.根据权利要求3所述的方法,其特征在于,还包括如下的步骤:
当所述当前数据流量未达到所述预设阈值时,或者当所述第二异常率大于或等于所述第二异常阈值时,继续限制所述服务集群的所述数据流量参数在所述第一流量范围内,并发出警报信息。
5.根据权利要求1所述的方法,其特征在于,所述获取服务集群的数据流的第一异常率,包括如下的步骤:
检测所述服务集群的每个数据业务的执行时长是否超过第二预设时长;
当所述执行时长超过所述第二预设时长时,记录本次数据业务为执行异常;
根据所述执行异常的数量和每个数据流状态异常的数量,确定所述第一异常率。
6.根据权利要求1所述的方法,其特征在于,还包括如下的步骤:
当所述第一异常率小于所述第一异常阈值时,判断所述第一异常率是否小于第二异常阈值,所述第二异常阈值小于所述第一异常阈值;
当所述第一异常率大于或等于所述第二异常阈值时,限制所述服务集群的所述数据流量参数在第二流量范围内。
7.一种数据流量控制装置,其特征在于,包括:
获取模块,用于获取服务集群的数据流的第一异常率;
第一判断模块,用于判断所述第一异常率是否小于第一异常阈值;
调整模块,用于当所述第一异常率大于或等于所述第一异常阈值时,根据所述服务集群的运行状态参数,调整所述服务集群的数据流量参数。
8.根据权利要求7所述的装置,其特征在于,所述调整模块包括:
限制单元,用于当所述第一异常率大于或等于所述第一异常阈值时,限制所述服务集群的所述数据流量参数在第一流量范围内,并记录限制时长;
判断单元,用于判断所述限制时长是否达到第一预设时长;
获取单元,用于当所述限制时长达到所述第一预设时长时,获取所述服务集群的当前数据流量和当前的第二异常率;
调整单元,用于根据所述当前数据流量和所述第二异常率,调整所述服务集群的所述数据流量参数。
9.根据权利要求8所述的装置,其特征在于,所述调整单元用于:
判断所述当前数据流量是否达到预设阈值;
当所述当前数据流量达到所述预设阈值时,判断所述第二异常率是否小于第二异常阈值,所述第二异常阈值小于所述第一异常阈值;
当所述第二异常率小于所述第二异常阈值时,解除对所述服务集群的数据流的限制。
10.根据权利要求9所述的装置,其特征在于,所述限制单元还用于:
当所述当前数据流量未达到所述预设阈值时,或者当所述第二异常率大于或等于所述第二异常阈值时,继续限制所述服务集群的所述数据流量参数在所述第一流量范围内,并发出警报信息。
11.根据权利要求7所述的装置,其特征在于,所述获取模块,用于:
检测所述服务集群的每个数据业务的执行时长是否超过第二预设时长;
当所述执行时长超过所述第二预设时长时,记录本次数据业务为执行异常;
根据所述执行异常的数量和每个数据流状态异常的数量,确定所述第一异常率。
12.根据权利要求7所述的装置,其特征在于,还包括:
第二判断模块,用于当所述第一异常率小于所述第一异常阈值时,判断所述第一异常率是否小于第二异常阈值,所述第二异常阈值小于所述第一异常阈值;
限制模块,还用于当所述第一异常率大于或等于所述第二异常阈值时,限制所述服务集群的所述数据流量参数在第二流量范围内。
13.一种电子设备,其特征在于,包括:
存储器,用以存储计算机程序;
处理器,用以执行如权利要求1至6中任一项所述的方法,以调整服务集群的数据流量参数。
14.一种非暂态电子设备可读存储介质,其特征在于,包括:程序,当其藉由电子设备运行时,使得所述电子设备执行权利要求1至6中任一项所述的方法。
CN202010568719.0A 2020-06-19 2020-06-19 数据流量控制方法、装置、设备和存储介质 Pending CN111901188A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010568719.0A CN111901188A (zh) 2020-06-19 2020-06-19 数据流量控制方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010568719.0A CN111901188A (zh) 2020-06-19 2020-06-19 数据流量控制方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN111901188A true CN111901188A (zh) 2020-11-06

Family

ID=73206335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010568719.0A Pending CN111901188A (zh) 2020-06-19 2020-06-19 数据流量控制方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111901188A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112491735A (zh) * 2020-11-10 2021-03-12 京东数字科技控股股份有限公司 一种流量控制方法、装置、设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140173058A1 (en) * 2007-10-17 2014-06-19 Dispersive Networks, Inc. Apparatus, systems and methods utilizing dispersive networking
CN104753805A (zh) * 2013-12-31 2015-07-01 腾讯科技(深圳)有限公司 分布式流量控制方法、服务器和系统
CN110460639A (zh) * 2019-07-12 2019-11-15 口碑(上海)信息技术有限公司 服务器集群的熔断处理方法、装置及系统
CN110730136A (zh) * 2019-10-10 2020-01-24 腾讯科技(深圳)有限公司 一种实现流量控制的方法、装置、服务器及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140173058A1 (en) * 2007-10-17 2014-06-19 Dispersive Networks, Inc. Apparatus, systems and methods utilizing dispersive networking
CN104753805A (zh) * 2013-12-31 2015-07-01 腾讯科技(深圳)有限公司 分布式流量控制方法、服务器和系统
CN110460639A (zh) * 2019-07-12 2019-11-15 口碑(上海)信息技术有限公司 服务器集群的熔断处理方法、装置及系统
CN110730136A (zh) * 2019-10-10 2020-01-24 腾讯科技(深圳)有限公司 一种实现流量控制的方法、装置、服务器及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112491735A (zh) * 2020-11-10 2021-03-12 京东数字科技控股股份有限公司 一种流量控制方法、装置、设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106776099B (zh) 一种服务熔断隔离系统和方法
US10558544B2 (en) Multiple modeling paradigm for predictive analytics
US7661032B2 (en) Adjusting sliding window parameters in intelligent event archiving and failure analysis
US10432734B2 (en) Cloud service tuning
EP2678783B1 (en) Network event management
WO2016053823A1 (en) Semi-automatic failover
US10558810B2 (en) Device monitoring policy
CN111901188A (zh) 数据流量控制方法、装置、设备和存储介质
CN114090297A (zh) 一种业务消息的处理方法及相关装置
CN113704018A (zh) 应用运维数据处理方法、装置、计算机设备及存储介质
US10896085B2 (en) Mitigating actions
CN111930719B (zh) 一种数据库访问方法、装置及系统
US11269706B2 (en) System and method for alarm correlation and aggregation in IT monitoring
CN113590285A (zh) 一种用于线程池参数动态设置的方法、系统及设备
CN116861364B (zh) 基于erp系统的数据处理方法与系统
CN111400087B (zh) 一种操作系统的控制方法、终端以及存储介质
CN112667467A (zh) 集群的自适应限流方法、装置、计算机设备及存储介质
CN113485917B (zh) 一种接口管理方法、装置、电子设备及存储介质
CN112910728A (zh) 一种数据安全监控方法及装置
CN116483663A (zh) 用于平台的异常告警方法和装置
CN116010199A (zh) 应用服务自调节方法、装置、计算机设备及存储介质
CN116194856A (zh) 监视装置、监视方法以及程序
CN116244113B (zh) 系统宕机避障及恢复方法及装置
US11113122B1 (en) Event loop diagnostics
CN114741694B (zh) 一种检测shellcode执行的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201106