CN114079635A - 基于多项式拟合的业务流量限流方法及装置 - Google Patents

基于多项式拟合的业务流量限流方法及装置 Download PDF

Info

Publication number
CN114079635A
CN114079635A CN202111359802.8A CN202111359802A CN114079635A CN 114079635 A CN114079635 A CN 114079635A CN 202111359802 A CN202111359802 A CN 202111359802A CN 114079635 A CN114079635 A CN 114079635A
Authority
CN
China
Prior art keywords
current limiting
server cluster
limiting
index
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111359802.8A
Other languages
English (en)
Inventor
施经纬
沈力
白佳乐
程鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202111359802.8A priority Critical patent/CN114079635A/zh
Publication of CN114079635A publication Critical patent/CN114079635A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种基于多项式拟合的业务流量限流方法及装置，可用于人工智能技术领域，所述方法包括：接收运维人员终端的限流请求；获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据，根据所述指标数据通过多项式拟合得到限流评估标准；根据所述限流评估标准对业务的流量进行限流，本发明通过多项式拟合对业务处理的服务器集群的业务流量上限进行评估得到限流指标进行限流管控，降低了性能测试的成本，提高了系统性能评估的准确性和服务器集群业务处理的稳定性。

Description

基于多项式拟合的业务流量限流方法及装置
技术领域
本发明涉及信息系统运维技术领域，特别涉及人工智能技术领域，尤其涉及一种基于多项式拟合的业务流量限流方法及装置。
背景技术
业务流量的大小和业务处理的服务器集群的运行状态息息相关，如果业务流量太大，超过服务器集群业务运行环境所能承载的负荷，容易出现业务故障，导致业务失败。目前生产上主要是通过设置业务流量阈值来限制业务流量，阈值通过交易压测从而能获取交易环境所能承载的最大交易量，然后在该最大交易量的基础上设置90％的比例作为限流触发条件，或者通过通用大数据、人工智能算法，根据历史监控数据动态设置当前限流阈值。这种通过生产压测的方式来预估限流值，需要靠人为的方式去操作，而且为了防止交易环境的变化，或者交易本身的需求优化导致限流值变化，往往需要经常性的压测，因此该方式费时费力，效率相对比较低下。而通常的大数据、人工智能算法无法做到随着交易环境的变化(服务器老化、性能变低及交易优化)自动进行限流值调整，也无法预测非周期性的突发交易并发变化，限流调整方式和策略相对单一。
发明内容
本发明的一个目的在于提供一种基于多项式拟合的业务流量限流方法，通过多项式拟合对业务处理的服务器集群的业务流量上限进行评估得到限流指标进行限流管控，降低了性能测试的成本，提高了系统性能评估的准确性和服务器集群业务处理的稳定性。本发明的另一个目的在于提供一种基于多项式拟合的业务流量限流装置。本发明的再一个目的在于提供一种计算机设备。本发明的还一个目的在于提供一种可读介质。
为了达到以上目的，本发明一方面公开了一种基于多项式拟合的业务流量限流方法，包括：
接收运维人员终端的限流请求；
获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据，根据所述指标数据通过多项式拟合得到限流评估标准；
根据所述限流评估标准对业务的流量进行限流。
优选的，进一步包括在获取处理业务的服务器集群信息，之前：
根据所述限流请求确定是否存在对应的限流评估标准，若存在，根据所述限流评估标准对业务的流量进行限流；
若否，执行获取处理业务的服务器集群信息。
优选的，所述限流请求包括指定服务器集群；
所述获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据具体包括：
根据所述限流请求确定所述指定服务器集群；
获取所述指定服务器集群的服务器集群信息，所述服务器集群信息包括集群节点和交易信息；
根据所述服务器集群信息获取所述限流指标对应的指标数据。
优选的，所述限流请求包括指定服务器集群；
所述方法进一步包括在根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据，之前：
根据所述限流请求确定所述指定服务器集群；
根据所述指定服务器集群获取对应的限流配置文件；
解析所述限流配置文件得到所述限流指标。
优选的，所述根据所述指标数据通过多项式拟合得到限流评估标准具体包括：
对所述指标数据进行预处理；
对预处理后的指标数据进行多项式拟合得到所述限流评估标准。
优选的，所述对预处理后的指标数据进行多项式拟合得到所述限流评估标准具体包括：
根据多项式拟合算法对预处理后的指标数据进行拟合得到业务流量与各所述限流指标对应的拟合曲线；
确定所述拟合曲线的最大值对应的指标数据为所述限流评估标准。
优选的，根据所述限流评估标准对业务流量进行限流具体包括：
若所述服务器集群的限流指标的指标数据大于所述限流评估标准，对业务流量进行限流。
优选的，根据所述限流评估标准对业务流量进行限流具体包括：
根据所述限流评估标准确定对应的业务流量标准；
若所述服务器集群的业务流量大于所述业务流量标准，对业务流量进行限流。
优选的，进一步包括：
接收所述服务器集群的监控报文；
解析所述监控报文得到各预设的监控指标的指标数据。
本发明还公开了一种基于多项式拟合的业务流量限流装置，包括限流评估模块、大数据平台、监控平台以及限流控制服务器；
其中，限流评估模块用于接收运维人员终端的限流请求，获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息从大数据平台及监控平台获取所述服务器集群中所述限流指标对应的指标数据，根据所述指标数据通过多项式拟合得到限流评估标准；
限流控制服务器用于根据所述限流评估标准对业务的流量进行限流。
本发明还公开了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，
所述处理器执行所述程序时实现如上所述方法。
本发明还公开了一种计算机可读介质，其上存储有计算机程序，
该程序被处理器执行时实现如上所述方法。
本发明基于多项式拟合的业务流量限流方法接收运维人员终端的限流请求，获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据，根据所述指标数据通过多项式拟合得到限流指标，根据所述限流指标对业务的流量进行限流。由此可知，本发明通过服务器集群中限流指标的指标数据对服务器集群性能进行评估，确定限流指标中的限流评估标准，根据限流评估标准对服务器集群进行限流控制。从而，本发明无需对服务器集群进行压测，根据限流指标的指标数据即可预测服务器集群的交易流量上限，进而实现业务流量的限流管控，节省了大量的性能测试工作量，降低了服务器集群业务流量限流评估标准确定的性能测试成本，提升了服务器集群性能评估的准确性确定限流评估标准，进而通过业务流量限流保证服务器集群业务处理的运行稳定性，提升运维的便利性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本发明基于多项式拟合的业务流量限流系统具体实施例的结构图；
图2示出本发明基于多项式拟合的业务流量限流方法具体实施例的流程图；
图3示出本发明用于执行基于多项式拟合的业务流量限流方法的业务流量限流装置具体实施例的结构图；
图4示出图3业务流量限流装置中限流评估模块的结构图；
图5示出图3业务流量限流装置中大数据平台的结构图；
图6示出图3业务流量限流装置中监控平台的结构图；
图7示出图3业务流量限流装置中限流控制服务器的结构图；
图8示出本发明基于多项式拟合的业务流量限流方法一个具体例子的流程图；
图9示出适于用来实现本发明实施例的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请公开的一种基于多项式拟合的业务流量限流方法及装置可用于人工智能技术领域，也可用于除人工智能技术领域之外的任意领域，本申请公开的一种基于多项式拟合的业务流量限流方法及装置的应用领域不做限定。
需要说明的是，在本发明的一个或多个实施例中，多项式拟合是指用一个多项式展开去拟合各个指标的观测点，得到观测数据的非线性关系，展开系数用最小二乘拟合确定。
目前业务处理的服务器集群的限流主要靠人为压测获取限流值，根据限流值进行限流管控，这种方式费时费力，效率比较低，且无法做到随着交易环境的变化自动进行限流值调整，限流值的计算可能不准确。为解决交易业务限流靠人为压测获取效率低下以及限流值计算不准确的问题，本发明通过服务器集群中限流指标的指标数据对服务器集群性能进行评估，确定限流指标中的限流评估标准，根据限流评估标准对服务器集群进行限流控制。从而，本发明无需对服务器集群进行压测，根据限流指标的指标数据即可预测服务器集群的交易流量上限，进而实现业务流量的限流管控，节省了大量的性能测试工作量，降低了服务器集群业务流量限流评估标准确定的性能测试成本，提升了服务器集群性能评估的准确性确定限流评估标准，进而通过业务流量限流保证服务器集群业务处理的运行稳定性，提升运维的便利性。
图1是本发明实施例提供的基于多项式拟合的业务流量限流系统的结构示意图，如图1所示，本发明实施例提供的基于多项式拟合的业务流量限流系统包括运维人员终端100、至少一个服务器集群200以及基于多项式拟合的业务流量限流装置300。
其中，运维人员终端向业务流量限流装置发出限流请求。
业务流量限流装置接收运维人员终端的限流请求；获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据，根据所述指标数据通过多项式拟合得到限流评估标准；根据所述限流评估标准对业务的流量进行限流。
需要说明的是，本发明基于多项式拟合的业务流量限流系统中的运维人员终端可与业务流量限流装置集成在一起，即运维人员直接在业务流量限流装置提供的交互设备上操作形成限流请求。
下面以基于多项式拟合的业务流量限流装置作为执行主体为例，说明本发明实施例提供的基于多项式拟合的业务流量限流方法的实现过程。可理解的是，本发明实施例提供的基于多项式拟合的业务流量限流方法的执行主体包括但不限于该基于多项式拟合的业务流量限流装置。
根据本发明的一个方面，本实施例公开了一种基于多项式拟合的业务流量限流方法。如图2所示，本实施例中，所述方法包括：
S100：接收运维人员终端的限流请求。
S200：获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据，根据所述指标数据通过多项式拟合得到限流评估标准。
S300：根据所述限流评估标准对业务的流量进行限流。
本发明基于多项式拟合的业务流量限流方法接收运维人员终端的限流请求，获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据，根据所述指标数据通过多项式拟合得到限流指标，根据所述限流指标对业务的流量进行限流。由此可知，本发明通过服务器集群中限流指标的指标数据对服务器集群性能进行评估，确定限流指标中的限流评估标准，根据限流评估标准对服务器集群进行限流控制。从而，本发明无需对服务器集群进行压测，根据限流指标的指标数据即可预测服务器集群的交易流量上限，进而实现业务流量的限流管控，节省了大量的性能测试工作量，降低了服务器集群业务流量限流评估标准确定的性能测试成本，提升了服务器集群性能评估的准确性确定限流评估标准，进而通过业务流量限流保证服务器集群业务处理的运行稳定性，提升运维的便利性。
具体的，如图3所示，在一个优选的实施方式中，用于执行基于多项式拟合的业务流量限流方法的业务流量限流装置可包括限流评估模块1、大数据平台2、监控平台3以及限流控制服务器4。
其中，限流评估模块1通过网络与大数据平台2、限流控制服务器4、流量控制平台5连接；大数据平台2与监控平台3、限流评估模块1连接；监控平台3与大数据平台2以及生产实际业务系统连接；限流控制服务器4部署在各个服务器集群，与限流评估模块1连接。
限流评估模块1用于触发整个服务器集群的限流指标评估，并发起限流配置推送流程，实现限流控制。通过组装相关报文指令进行限流评估。
大数据平台2用于查询服务器集群的监控数据中的指标数据，并进行加工，按照多项式拟合评估服务器集群的性能容量上限，形成限流评估标准，并按照要求返回限流评估标准给限流评估模块1。
监控平台3用于解析服务器集群报送的监控报文，收集各项监控指标数据，并将指标存储，提供其他模块、平台和服务器进行访问。
限流控制服务器4用于接收限流指令，解析得到限流评估标准，并按照限流评估标准启用限流机制，实现限流功能。
需要说明的是，本发明的大数据平台2、监控平台3以及限流控制服务器4可以是一台服务器，也可以是服务器集群，本领域技术人员可根据实际需求设置大数据平台2、监控平台3以及限流控制服务器4的架构，在此不再赘述。
更优选的，如图4所示，限流评估模块1可包括限流评估单元11、报文发送/接收单元12、限流控制单元13以及限流配置单元14。
其中，限流评估单元11基于运维人员终端的限流请求触发限流评估指令，获取对应服务器集群的名称后，组装限流评估指令报文，并调用报文发送/接收单元12将指令发往大数据平台2。
报文发送/接收单元12负责将各个模块组装的报文发送至大数据平台、限流评估模块1等。
限流控制单元13负责将对应服务器集群的限流指标组装为限流指令，并调用报文发送/接收单元12发送至限流控制服务器4。
限流配置单元14负责存储限流的相关配置信息、服务器集群信息、报文模板等。
如图5所示，大数据平台2可包括指令接收单元21、数据查询单元22、数据预处理单元23、多项式拟合单元24和指标发送单元25。
其中，指令接收单元21负责接收限流评估模块1发送的评估指令，并解析执行指令。
数据查询单元22负责按照评估指令要求，查询监控平台3的监控指标数据中限流指标的指标数据，并加载。
数据预处理单元23负责按照多项式拟合要求，对查询到的指标数据进行预处理，形成可以通过相关算法处理的数据集。具体的，所述预处理可包括数据清洗以及数据标准化等处理步骤，使预处理后的指标数据更符合多项式拟合的要求，提高拟合得到的拟合曲线的准确性。其中，预处理可采用现有的数据处理方法，在此不再赘述。
多项式拟合单元24负责按照多项式拟合算法，就预处理后的指标数据进行拟合，形成如y＝aX1 n1+bX2 n2+cX3 n3+dX4 n4+eX5 n5+fX6 n6+gX7 n7+h的拟合曲线，其中，y表示业务流量，X1、X2、X3、X4、X5、X6和X7为限流指标，a、b、c、d、e、f、g、h、n1、n2、n3、n4、n5、n6和n7为经过多项式拟合得到的限流指标的参数。根据得到的拟合曲线可预估性能最高上限得到限流评估标准，相关指标包括CPU使用量、内存使用量、CPU使用率、内存使用率、磁盘使用率、网络超时数、I/O吞吐量。
指标发送单元25负责将多项式拟合单元24得出的限流评估标准发送至限流评估模块1。
如图6所示，监控平台3包括监控报文接收单元31、监控报文解析单元32、监控指标存储单元33和监控指标访问单元34。
其中，监控报文接收单元31负责接收服务器集群发送的监控报文。
监控报文解析单元32负责解析监控报文接收单元31收到的报文，将相关集群的CPU使用量、内存使用量、CPU使用率、内存使用率、磁盘使用率、网络超时数、I/O吞吐量等监控指标存储在监控指标存储单元33中。
监控指标存储单元33负责存储CPU使用量、内存使用量、CPU使用率、内存使用率、磁盘使用率、网络超时数、I/O吞吐量等监控指标。
监控指标访问单元34负责提供监控指标访问接口，提供某服务器集群下各IP的CPU使用量、内存使用量、CPU使用率、内存使用率、磁盘使用率、网络超时数、I/O吞吐量等指标。
如图7所示，限流控制服务器4包括限流指令接收单元41、限流配置单元42和限流单元43。
其中，限流指令接收单元41负责接收限流评估模块1发送的限流指令，并解析出限流评估标准。
限流配置单元42负责存储指令接收单元41接收解析出来的限流评估标准。
限流单元43负责按照限流配置单元42中的限流评估标准，在对应服务器集群进行业务限流。
为了提高业务限流的执行效率，在优选的实施方式中，所述方法进一步包括在S200获取处理业务的服务器集群信息，之前：
S110：根据所述限流请求确定是否存在对应的限流评估标准，若存在，根据所述限流评估标准对业务的流量进行限流。
S120：若否，执行获取处理业务的服务器集群信息。
具体的，限流评估模块在接收到运维人员传输的限流请求后，查询是否有指定服务器集群限流评估标准。如有指标，直接触发限流配置推送流程，根据限流评估标准对业务的流量进行限流。如无指标继续执行获取处理业务的服务器集群信息，实时确定限流评估标准后对业务的流量进行限流。
在优选的实施方式中，所述限流请求包括指定服务器集群；
所述S200获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据具体包括：
S211：根据所述限流请求确定所述指定服务器集群。
S212：获取所述指定服务器集群的服务器集群信息，所述服务器集群信息包括集群节点和交易信息。
S213：根据所述服务器集群信息获取所述限流指标对应的指标数据。
可以理解的是，可以利用系统中常规配置的大数据平台和监控平台，获取服务器集群的指标数据，降低限流评估标准生成的难度和成本。具体的，可组装限流评估指令的报文并将报文发送至大数据平台。大数据平台判断指令类型是否限流评估指令。如是限流评估指令，继续执行下一步。大数据平台对限流评估指令进行解析，并向查询监控平台的监控指标数据(指定服务器集群的若干监控指标，如CPU使用率等)。监控平台可向大数据平台返回一定时间范围内的监控指标的指标数据。
在优选的实施方式中，所述限流请求包括指定服务器集群；
所述方法进一步包括在S200根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据，之前：
S130：根据所述限流请求确定所述指定服务器集群。
S140：根据所述指定服务器集群获取对应的限流配置文件。
S150：解析所述限流配置文件得到所述限流指标。
具体的，配置文件可包括不同配置类型的配置文件，配置类型包括集群配置、限流配置、报文配置。集群配置文件包括ID、集群名称、对应集群IP地址集合、对应集群交易名称，即包括具体服务器集群的名称以及对应集群中各节点IP地址。
限流配置文件包括ID、集群名称，限流指标，即包括对应服务器集群的限流指标。限流指标存储可包括ID、集群名称、IP、指标名称、指标值组成，指标名称指CPU使用量、内存使用量、CPU使用率、内存使用率、磁盘使用率、网络超时数、I/O吞吐量等指标，指标值指具体的CPU使用率等指标数值。
报文配置明细包括ID、报文类型、集群列表、指标或策略，即包括评估类型报文，指定集群的名称的集合，以及评估的指标。指令类型报文，指定集群的名称集合，以及集群列表、限流的策略。
在优选的实施方式中，所述S200根据所述指标数据通过多项式拟合得到限流评估标准具体包括：
S221：对所述指标数据进行预处理。
S222：对预处理后的指标数据进行多项式拟合得到所述限流评估标准。
可以理解的是，为了提高拟合曲线拟合的准确性，可预先按照多项式拟合要求，对查询到的指标数据进行预处理，形成可以通过相关算法处理的数据集。具体的，所述预处理可包括数据清洗以及数据标准化等处理步骤，使预处理后的指标数据更符合多项式拟合的要求，提高拟合得到的拟合曲线的准确性。其中，预处理可采用现有的数据处理方法，在此不再赘述。
在优选的实施方式中，所述S222对预处理后的指标数据进行多项式拟合得到所述限流评估标准具体包括：
S2221：根据多项式拟合算法对预处理后的指标数据进行拟合得到业务流量与各所述限流指标对应的拟合曲线。
S2222：确定所述拟合曲线的最大值对应的指标数据为所述限流评估标准。
具体的，按照多项式拟合算法，就预处理后的指标数据进行拟合，形成拟合曲线，例如，可形成y＝aX1 n1+bX2 n2+cX3 n3+dX4 n4+eX5 n5+fX6 n6+gX7 n7+h的拟合曲线，其中，y表示业务流量，X1、X2、X3、X4、X5、X6和X7为限流指标，a、b、c、d、e、f、g、h、n1、n2、n3、n4、n5、n6和n7为经过多项式拟合得到的限流指标的参数。根据得到的拟合曲线可预估性能最高上限得到限流评估标准，相关指标包括CPU使用量、内存使用量、CPU使用率、内存使用率、磁盘使用率、网络超时数、I/O吞吐量。
在一个可选的实施方式中，S300根据所述限流评估标准对业务流量进行限流具体包括：
S310：若所述服务器集群的限流指标的指标数据大于所述限流评估标准，对业务流量进行限流。
具体的，在一个可选的实施方式中，拟合曲线的最大值为服务器集群可承受的最大业务流量，拟合曲线的最大值对应的限流指标的指标数据即为处理可承受的业务流量时服务器集群的限流指标的指标数据，作为限流评估标准。从而，在该可选的实施方式中，当服务器集群限流指标的指标数据大于限流评估标准时，系统可承受的业务流量会下降，需要对业务流量进行限流处理。
在另一个可选的实施方式中，S300根据所述限流评估标准对业务流量进行限流具体包括：
S321：根据所述限流评估标准确定对应的业务流量标准。
S322：若所述服务器集群的业务流量大于所述业务流量标准，对业务流量进行限流。
可以理解的是，拟合曲线的最大值为服务器集群可承受的最大业务流量，拟合曲线的最大值对应的限流指标的指标数据即为处理可承受的业务流量时服务器集群的限流指标的指标数据，作为限流评估标准。从而，在业务流量限流管控时，可直接根据限流指标的指标数据和限流评估标准确定是否需要对业务流量进行限流，也可根据限流评估标准对应的业务流量确定是否对当前业务流量进行限流。即根据限流评估标准和拟合曲线可得到最大业务流量，若所述服务器集群的业务流量大于所述业务流量标准，对业务流量进行限流。
在优选的实施方式中，所述获取所述服务器集群中所述限流指标对应的指标数据具体包括：
S160：接收所述服务器集群的监控报文。
S170：解析所述监控报文得到各预设的监控指标的指标数据。
可以理解的是，现有系统中通常设置有监控平台，对服务器集群的各项运行数据进行监控，从而，可通过监控平台接收服务器集群的监控报文，从监控报文中解析得到各监控指标的指标数据。
在一个具体实施方式中，基于多项式拟合的业务流量限流方法包括性能容量拟合评估流程。首先运维人员发送限流请求触发限流评估单元11，检查指定服务器集群是否已经有限流评估标准，如有指标，则直接进行限流配置推送流程，如无指标，则查询限流配置单元14获取集群信息，并组装限流评估报文，通过报文发送/接收单元将报文发送至大数据平台2，大数据平台2根据指令类型向监控平台3查询监控指标数据，监控平台3通过监控指标访问单元34从监控指标存储单元33获取相关指标数据后，返回指标数据至大数据平台2，由数据预处理单元23进行预处理后，再通过多项式拟合单元24生成限流指标，并返回限流评估模块1，存储至限流配置单元14中。
具体的，如图8所示，性能容量拟合评估流程可包括以下步骤：
步骤S101：运维人员指定服务器集群触发限流评估单元11，发起限流评估。
步骤S102：查询限流配置单元14是否有指定服务器集群限流评估标准。如有指标，直接触发限流配置推送流程。如无指标继续执行下一步。
步骤S103：限流评估单元11向限流配置单元14获取对应服务器集群信息，包括集群节点、交易信息等。
步骤S104：限流评估单元11就选择的服务器集群、以及限流配置单元中相关配置信息，组装限流评估报文。
步骤S105：报文发送/接受单元12将限流评估单元组装好的报文发送至大数据平台2。
步骤S106：大数据平台2的指令接收单元21，判断指令类型是，否限流评估指令。如是限流评估指令，继续执行下一步。
步骤S107：大数据平台2的指令接收单元21对限流评估指令进行解析，并向数据查询单元22发送数据请求。
步骤S108：数据查询单元22按照数据查询请求，查询监控平台3的监控指标数据(指定服务器集群的若干监控指标，如CPU使用率等)。
步骤S109：监控平台3的监控指标访问单元34，按照服务器集群范围、监控指标组成访问请求。
步骤S110：监控平台3的监控指标存储单元33按照访问请求，返回一定时间范围内的监控指标数据。
步骤S111：监控平台3的监控指标访问单元34，向大数据平台2返回限流指标的指标数据。
步骤S112：监控平台3提供的指标数据进入大数据平台2的数据预处理单元23，并按照评估指令要求，以多项式拟合预处理要求对数据进行预处理。
步骤S113：多项式拟合单元24读取的数据预处理单元23处理后的数据，进行拟合验算，生成限流评估标准。
步骤S114：指标发送单元25将多项式拟合单元24生成的限流评估标准发送至限流评估模块。
步骤S115：将大数据平台2生成的对应服务器集群限流评估标准，存储至限流配置单元。
进一步的，基于多项式拟合的业务流量限流方法还包括限流配置推送流程：首先运维人员触发限流配置推送，通过限流控制单元13指定服务器集群设置限流指标，检查限流配置单元14是否有限流评估标准，有指标则继续读取限流配置单元14中的限流指令报文模板，组织限流指令。通过报文发送/接收单元12将限流指令推送至限流控制服务器4，限流控制服务器4解析限流指令的限流指标后，通过限流单元43进行限流。
如图8所示，限流配置推送流程：
步骤S201：运维人员触发限流配置推送，限流控制单元13，就指定服务器集群设置限流指标。
步骤S202：查询限流配置单元14是否有指定服务器集群限流评估标准。
步骤S203：限流控制单元13读取限流配置单元14中限流报文模板配置信息、服务器集群信息。
步骤S204：限流控制单元13根据指定服务器集群设置限流评估标准、限流报文模板，组装限流报文。
步骤S205：报文发送/接受单元12，将组装好的报文，发往指定服务器集群。
步骤S206：服务器集群各节点的限流评估模块14的限流指令接收单元41接收限流报文指令，并解析。
步骤S207：限流指令接收单元41将解析出的限流配置，存储至限流配置单元42中。
步骤S208：限流单元43以令牌桶等方式，按照限流配置进行限流。
本发明基于监控平台积累的监控数据，通过多项式拟合对整个服务器集群的交易处理上限进行评估，实现通用的限流管控流程及策略。具体的，本发明根据生产实际监控指标数据，合理评估生产集群交易处理上限，并分发限流配置，限流评估更加合理，节省大量性能测试工作量，有助于运维效能和生产稳定运行。降低了性能测试成本，提升了系统性能评估的准确性和业务系统的稳定性，可以充分利用现有监控平台、大数据平台既有能力，实现运维便利性的提升。
基于相同原理，本实施例还公开了一种基于多项式拟合的业务流量限流装置。所述装置包括限流评估模块、大数据平台、监控平台以及限流控制服务器。
其中，限流评估模块用于接收运维人员终端的限流请求，获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息从大数据平台及监控平台获取所述服务器集群中所述限流指标对应的指标数据，根据所述指标数据通过多项式拟合得到限流评估标准；
限流控制服务器用于根据所述限流评估标准对业务的流量进行限流。
由于该装置解决问题的原理与以上方法类似，因此本装置的实施可以参见方法的实施，在此不再赘述。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备，具体的，计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在一个典型的实例中计算机设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的由客户端执行的方法，或者，所述处理器执行所述程序时实现如上所述的由服务器执行的方法。
下面参考图9，其示出了适于用来实现本申请实施例的计算机设备600的结构示意图。
如图9所示，计算机设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶反馈器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口606。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种基于多项式拟合的业务流量限流方法，其特征在于，包括：
接收运维人员终端的限流请求；
获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据，根据所述指标数据通过多项式拟合得到限流评估标准；
根据所述限流评估标准对业务的流量进行限流。
2.根据权利要求1所述的基于多项式拟合的业务流量限流方法，其特征在于，进一步包括在获取处理业务的服务器集群信息，之前：
根据所述限流请求确定是否存在对应的限流评估标准，若存在，根据所述限流评估标准对业务的流量进行限流；
若否，执行获取处理业务的服务器集群信息。
3.根据权利要求1所述的基于多项式拟合的业务流量限流方法，其特征在于，所述限流请求包括指定服务器集群；
所述获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据具体包括：
根据所述限流请求确定所述指定服务器集群；
获取所述指定服务器集群的服务器集群信息，所述服务器集群信息包括集群节点和交易信息；
根据所述服务器集群信息获取所述限流指标对应的指标数据。
4.根据权利要求3所述的基于多项式拟合的业务流量限流方法，其特征在于，所述限流请求包括指定服务器集群；
所述方法进一步包括在根据预设的限流指标通过所述服务器集群信息获取所述服务器集群中所述限流指标对应的指标数据，之前：
根据所述限流请求确定所述指定服务器集群；
根据所述指定服务器集群获取对应的限流配置文件；
解析所述限流配置文件得到所述限流指标。
5.根据权利要求1所述的基于多项式拟合的业务流量限流方法，其特征在于，所述根据所述指标数据通过多项式拟合得到限流评估标准具体包括：
对所述指标数据进行预处理；
对预处理后的指标数据进行多项式拟合得到所述限流评估标准。
6.根据权利要求5所述的基于多项式拟合的业务流量限流方法，其特征在于，所述对预处理后的指标数据进行多项式拟合得到所述限流评估标准具体包括：
根据多项式拟合算法对预处理后的指标数据进行拟合得到业务流量与各所述限流指标对应的拟合曲线；
确定所述拟合曲线的最大值对应的指标数据为所述限流评估标准。
7.根据权利要求1所述的基于多项式拟合的业务流量限流方法，其特征在于，根据所述限流评估标准对业务流量进行限流具体包括：
若所述服务器集群的限流指标的指标数据大于所述限流评估标准，对业务流量进行限流。
8.根据权利要求1所述的基于多项式拟合的业务流量限流方法，其特征在于，根据所述限流评估标准对业务流量进行限流具体包括：
根据所述限流评估标准确定对应的业务流量标准；
若所述服务器集群的业务流量大于所述业务流量标准，对业务流量进行限流。
9.根据权利要求1所述的基于多项式拟合的业务流量限流方法，其特征在于，所述获取所述服务器集群中所述限流指标对应的指标数据具体包括：
接收所述服务器集群的监控报文；
解析所述监控报文得到各预设的监控指标的指标数据。
10.一种基于多项式拟合的业务流量限流装置，其特征在于，包括限流评估模块、大数据平台、监控平台以及限流控制服务器；
其中，限流评估模块用于接收运维人员终端的限流请求，获取处理业务的服务器集群信息，根据预设的限流指标通过所述服务器集群信息从大数据平台及监控平台获取所述服务器集群中所述限流指标对应的指标数据，根据所述指标数据通过多项式拟合得到限流评估标准；
限流控制服务器用于根据所述限流评估标准对业务的流量进行限流。
11.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，
所述处理器执行所述程序时实现如权利要求1-9任一项所述方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，
该程序被处理器执行时实现如权利要求1-9任一项所述方法。
CN202111359802.8A 2021-11-17 2021-11-17 基于多项式拟合的业务流量限流方法及装置 Pending CN114079635A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111359802.8A CN114079635A (zh) 2021-11-17 2021-11-17 基于多项式拟合的业务流量限流方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111359802.8A CN114079635A (zh) 2021-11-17 2021-11-17 基于多项式拟合的业务流量限流方法及装置

Publications (1)

Publication Number Publication Date
CN114079635A true CN114079635A (zh) 2022-02-22

Family

ID=80284020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111359802.8A Pending CN114079635A (zh) 2021-11-17 2021-11-17 基于多项式拟合的业务流量限流方法及装置

Country Status (1)

Country Link
CN (1) CN114079635A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020948A (zh) * 2016-05-10 2016-10-12 中国银联股份有限公司 一种流程调度方法及装置
CN110198275A (zh) * 2018-03-28 2019-09-03 腾讯科技（深圳）有限公司 一种流量控制方法、系统、服务器及存储介质
CN111726303A (zh) * 2019-03-22 2020-09-29 阿里巴巴集团控股有限公司 一种流量控制方法、装置以及计算设备
CN112769657A (zh) * 2020-12-26 2021-05-07 上海优扬新媒信息技术有限公司 一种流量控制方法及装置
CN113469661A (zh) * 2021-07-21 2021-10-01 上海浦东发展银行股份有限公司 一种业务限流方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020948A (zh) * 2016-05-10 2016-10-12 中国银联股份有限公司 一种流程调度方法及装置
CN110198275A (zh) * 2018-03-28 2019-09-03 腾讯科技（深圳）有限公司 一种流量控制方法、系统、服务器及存储介质
CN111726303A (zh) * 2019-03-22 2020-09-29 阿里巴巴集团控股有限公司 一种流量控制方法、装置以及计算设备
CN112769657A (zh) * 2020-12-26 2021-05-07 上海优扬新媒信息技术有限公司 一种流量控制方法及装置
CN113469661A (zh) * 2021-07-21 2021-10-01 上海浦东发展银行股份有限公司 一种业务限流方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111782692B (zh) 一种频率控制方法及装置
US11102289B2 (en) Method for managing resource state information and system for downloading resource
CN1941776B (zh) Web服务聚合中的基于服务质量(QoS)的规划的方法和系统
US9270617B2 (en) Load controller framework
CN115335821B (zh) 卸载统计收集
CN111324533A (zh) A/b测试方法、装置及电子设备
CN114490078A (zh) 一种微服务的动态缩扩容方法、装置及设备
CN114079635A (zh) 基于多项式拟合的业务流量限流方法及装置
US20220283990A1 (en) Method for configuring priority level, cloud platform, system, computing device, and medium
CN112214303A (zh) Kubernetes集群自动缩放系统
CN114051000A (zh) 基于时间序列模型的业务流量切流方法及装置
CN112860292A (zh) 一种基于应用的配置管理方法及装置
US20230267060A1 (en) Performance testing method and apparatus, and storage medium
CN113138772A (zh) 数据处理平台的构建方法、装置、电子设备和存储介质
CN113778504B (zh) 一种发布方法、发布系统及路由装置
CN113965535B (zh) 消息推送优化方法、装置、设备及可读存储介质
JP2006120036A (ja) トランザクション転送システム
CN116756609A (zh) 一种应用分类方法、装置、设备及存储介质
CN115525614A (zh) 一种数据接入方法、装置、设备、系统及存储介质
JP2011107862A (ja) 最大スループット評価システム、評価装置、評価方法、及び評価プログラム
CN116089753A (zh) 一种业务数据获取方法、装置、服务器及存储介质
CN116418751A (zh) 流量控制方法、装置、电子设备、介质及程序产品
CN110727472A (zh) 应用服务器性能优化方法、装置、存储介质及电子设备
CN116233128A (zh) 分布式系统的业务处理方法、节点和系统
CN117061497A (zh) 一种数据提供方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination