CN108923996B - 一种容量分析方法及装置 - Google Patents

一种容量分析方法及装置 Download PDF

Info

Publication number
CN108923996B
CN108923996B CN201810448010.XA CN201810448010A CN108923996B CN 108923996 B CN108923996 B CN 108923996B CN 201810448010 A CN201810448010 A CN 201810448010A CN 108923996 B CN108923996 B CN 108923996B
Authority
CN
China
Prior art keywords
capacity
index
service
analysis model
apache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810448010.XA
Other languages
English (en)
Other versions
CN108923996A (zh
Inventor
张文举
纪祥
郑瑾
鲁逸丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201810448010.XA priority Critical patent/CN108923996B/zh
Publication of CN108923996A publication Critical patent/CN108923996A/zh
Application granted granted Critical
Publication of CN108923996B publication Critical patent/CN108923996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0681—Configuration of triggering conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种容量分析方法及装置，包括：监控业务系统的多个容量指标，获取所述多个容量指标和业务指标的当前值，针对每个容量指标，根据业务指标的当前值和容量指标对应的容量分析模型，确定容量指标的预测值；根据各个容量指标的当前值和预测值，判断业务系统是否出现异常。由于多个容量指标为按照所述业务系统的业务数据的各处理环节确定的容量指标，而每一容量指标的容量分析模型均为根据历史数据建立的该容量指标与业务指标之间的关联关系，因此多个容量指标可通过业务指标关联在一起，从而在业务系统的发生异常或波动时，可通过监控相互关联的容量指标的，精确地定位异常发生的特定领域，提升问题的解决时效。

Description

一种容量分析方法及装置
技术领域
本发明涉及计算机数据处理技术领域，尤其涉及一种容量分析方法及装置。
背景技术
随着支付市场的不断发展，移动互联网等新业务形态所产生的数据结构特征发生了显著变化。快速发展的业务需求直接导致了产业各方的业务数据的显著增长，尤其是互联网模式的营销、代收付批量业务等产生的TPS、CPU、网卡流量、文件空间、F5连接数等数据瞬间突增的场景。
然而，当前金融IT生产系统的容量管理在应用、系统、网络、安全等各领域的容量监控依然较为孤立，而且监控指标、监控规则、规则阈值的设计及配置主要依赖业内、各厂商推介及各企业自身的经验判断，并在日常运维中不断试错中增补规则、调整阈值。现有技术中的容量管理方法，一方面在业务发生异常时，需从各领域分别去查,且难以快速定位问题，另一方面，由于监控指标、监控规则及其阈值靠人工维护，成本极高，且易产生误报、漏报的问题。
随着业务上的快速发展、技术上如云计算的资源动态管理需要等，均要求对于容量管理亟待智能化。尤其是产业各方营销常态化，更需要提高容量的预测能力，以便及早精准进行资源统筹。
发明内容
本发明提供一种容量分析方法及装置，用以解决现有技术中各领域的容量监控较为孤立，在业务发生异常时难以快速定位问题，监控指标、监控规则及其阈值靠人工维护，成本极高，容量管理的准确性较差的技术问题。
本发明实施例提供的一种容量分析方法，包括：
监控业务系统的多个容量指标，获取所述多个容量指标的当前值；所述多个容量指标是按照所述业务系统的业务数据的各处理环节确定的；
获取所述业务系统的业务指标的当前值；所述业务指标为单位时间内所述业务系统的访问量；
针对每个容量指标，根据所述业务指标的当前值和所述容量指标对应的容量分析模型，确定所述容量指标的预测值；所述容量分析模型为根据历史数据建立的所述容量指标与所述业务指标之间的关联关系；
根据各个容量指标的当前值和预测值，判断所述业务系统是否出现异常。
可选地，通过以下方式建立各容量指标对应的容量分析模型，包括：
根据所述容量指标和所述业务指标的各个数据样本，计算所述容量指标与所述业务指标之间的相关系数；
若确定所述相关系数大于第一设定阈值，则以所述业务指标为自变量，所述容量指标为因变量，根据所述容量指标和所述业务指标的各个数据样本，建立所述容量指标对应的容量分析模型。
可选地，所述容量指标包括单位时间内的阿帕奇apache连接数；
所述根据业务指标的当前值和所述容量指标对应的容量分析模型，确定所述容量指标的预测值，包括：
若确定所述业务指标的当前值小于等于第二设定阈值，则根据所述业务指标的当前值、所述apache连接数对应的容量分析模型，确定所述apache连接数的预测值；
否则，根据所述业务指标的当前值相比设定时长前的数值的增量、所述apache连接数对应的容量增量分析模型，确定所述apache连接数的增量的预测值。
可选地，所述apache连接数对应的容量增量分析模型是通过如下方式建立的：
根据所述业务指标大于等于所述第二设定阈值的各个数据样本，以所述业务指标的增量为自变量，所述apache连接数的增量为因变量，建立所述apache连接数对应的容量增量分析模型。
可选地，所述根据所述容量指标和所述业务指标的各个数据样本，建立所述容量指标对应的容量分析模型，包括：
根据所述各个数据样本，以所述业务系统的业务指标为自变量，所述业务系统的容量指标为因变量，建立第一容量分析模型；和/或，
以所述业务系统中与任一网关相关的业务指标为自变量，所述业务系统的容量指标为因变量，建立第二容量分析模型；和/或，
以所述业务系统中与所述任一网关相关的业务指标为自变量，所述业务系统中与所述任一网关相关的容量指标为因变量，建立第三容量分析模型。
可选地，所述容量指标包括单位时间内的交易笔数、网卡流量、文件系统变化率、CPU使用率、内存使用率中的任一项或多项。
基于同样的发明构思，本发明还提供一种容量分析装置，包括：
监控模块，用于监控业务系统的多个容量指标；
获取模块，用于获取所述多个容量指标的当前值；所述多个容量指标是按照所述业务系统的业务数据的各处理环节确定的；以及，获取所述业务系统的业务指标的当前值；所述业务指标为单位时间内所述业务系统的访问量；
确定模块，用于针对每个容量指标，根据所述业务指标的当前值和所述容量指标对应的容量分析模型，确定所述容量指标的预测值；所述容量分析模型为根据历史数据建立的所述容量指标与所述业务指标之间的关联关系；
处理模块，用于根据各个容量指标的当前值和预测值，判断所述业务系统是否出现异常。
可选地，所述确定模块还用于：
根据所述容量指标和所述业务指标的各个数据样本，计算所述容量指标与所述业务指标之间的相关系数；
若确定所述相关系数大于第一设定阈值，则以所述业务指标为自变量，所述容量指标为因变量，根据所述容量指标和所述业务指标的各个数据样本，建立所述容量指标对应的容量分析模型。
可选地，所述容量指标包括单位时间内的阿帕奇apache连接数；
所述确定模块具体用于：
若确定所述业务指标的当前值小于等于第二设定阈值，则根据所述业务指标的当前值、所述apache连接数对应的容量分析模型，确定所述apache连接数的预测值；
否则，根据所述业务指标的当前值相比设定时长前的数值的增量、所述apache连接数对应的容量增量分析模型，确定所述apache连接数的增量的预测值。
可选地，所述确定模块还用于：
根据所述业务指标大于等于所述第二设定阈值的各个数据样本，以所述业务指标的增量为自变量，所述apache连接数的增量为因变量，建立所述apache连接数对应的容量增量分析模型。
可选地，所述确定模块具体用于：
根据所述各个数据样本，以所述业务系统的业务指标为自变量，所述业务系统的容量指标为因变量，建立第一容量分析模型；和/或，
以所述业务系统中与任一网关相关的业务指标为自变量，所述业务系统的容量指标为因变量，建立第二容量分析模型；和/或，
以所述业务系统中与所述任一网关相关的业务指标为自变量，所述业务系统中与所述任一网关相关的容量指标为因变量，建立第三容量分析模型。
可选地，所述容量指标包括单位时间内的交易笔数、网卡流量、文件系统变化率、CPU使用率、内存使用率中的任一项或多项。
本发明另一实施例提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
本发明另一实施例提供了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
本发明实施例中，可监控业务系统的多个容量指标，获取所述多个容量指标和业务指标的当前值，针对每个容量指标，根据业务指标的当前值和容量指标对应的容量分析模型，确定容量指标的预测值；根据各个容量指标的当前值和预测值，判断业务系统是否出现异常。
由于多个容量指标为按照所述业务系统的业务数据的各处理环节确定的容量指标，而每一容量指标的容量分析模型均为根据历史数据建立的该容量指标与业务指标之间的关联关系，因此多个容量指标可通过业务指标关联在一起，从而在业务系统的发生异常或波动时，可通过监控相互关联的容量指标，精确地定位异常发生的特定领域，提升问题的解决时效。与此同时，由于每个容量指标均可通过根据历史数据建立的容量分析模型进行容量的定量分析，因而也解决了容量指标的监控规则机器阈值依靠人工维护的问题，有效降低业务系统的维护成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的业务系统的业务流程示意图；
图2为本发明实施例提供的一种容量分析方法所对应的流程示意图；
图3为本发明实施例提供的低并发时apache连接数对应的容量分析模型的散点图；
图4为本发明实施例提供的一种容量分析装置的结构示意图；
图5为本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例，仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合说明书附图对本发明实施例做进一步详细描述。
本发明实施例中所涉及到的业务系统可以为与金融相关的IT生产系统、交易系统等等，例如银行或各类互联网公司的交易系统。
图1示例性示出了本发明实施例中的业务系统的业务流程示意图，如图1所示，用户可通过多种类型的运营商通道(也称链路)访问该业务系统，例如移动CNC、电信TEL等。
考虑到业务系统的访问量可能较大，业务系统接收到用户发送的用户访问请求后，首先会经由F5负载均衡设备将接收到的用户访问请求平均分配到各台服务器上。随后，经由阿帕奇apache Web服务器将各个用户访问请求进行预处理和压缩后建立apache连接。进而，根据用户访问请求的来源或途径，将用户访问请求所请求的任务路由到匹配的网关下，并在该网关下部署的服务器主机中由应用具体进行业务处理。
由图1可知，apache Web服务器位于F5负载均衡设备与服务器应用之间。apacheWeb服务器一方面与上游的F5负载均衡设备连接，另一方面与多个网关连接。在任一网关下部署有多台服务器主机，服务器主机中运行有用来进行业务处理的应用。
本发明实施例中，通过不同途径(例如通过移动客户端或网页客户端)访问业务系统的用户访问请求，会被路由到不同的网关下的服务器主机中进行业务处理。一般来说，部署在同一网关下各台服务器主机中运行的应用相同，而部署在不同网关下的各台服务器主机中运行的应用可能相同，也可能不相同，本发明实施例对此不做具体限制。
具体的，该业务系统涉及多种类型的容量指标，如单位时间内的F5请求数、apache连接数、交易笔数、网卡流量、文件系统使用率、CPU使用率、内存使用率、文件空间等等。
其中，F5请求数为进行F5负载均衡前的用户访问请求的数量，该指标反映了互联网客户端连接应用的TCP连接的数量。互联网客户端通过CDN(Content Delivery Network，即内容分发网络)访问应用，因此，可统计CDN连接应用的连接数得到该F5请求数。apache连接数为每台服务器主机接收到请求的连接数。
网卡流量为各台服务器主机进行业务处理时流入、流出的业务数据流量。它可由服务网卡流量和管理网卡流量两部分组成。一般来说，服务网卡用来承载业务，管理网卡用来管理应用、处理服务之间的调用，与业务无关，因而服务网卡流量可占据网卡流量的大部分。
图2示例性示出了本发明实施例中的容量分析方法对应的流程示意图，如图2所示，该方法包括：
步骤S201：监控业务系统的多个容量指标，获取所述多个容量指标的当前值；所述多个容量指标是按照所述业务系统的业务数据的各处理环节确定的；
步骤S202：获取所述业务系统的业务指标的当前值；所述业务指标为单位时间内所述业务系统的访问量；
步骤S203：针对每个容量指标，根据所述业务指标的当前值和所述容量指标对应的容量分析模型，确定所述容量指标的预测值；所述容量分析模型为根据历史数据建立的所述容量指标与所述业务指标之间的关联关系；
步骤S204：根据各个容量指标的当前值和预测值，判断所述业务系统是否出现异常。
具体的，在步骤S201的具体实施中，可监控多个容量指标，并获取该多个容量指标的当前值。其中，所述多个容量指标是按照该业务系统的业务数据的各处理环节确定的。也就是说，基于业务系统的业务数据处理流向确定待监控的各个容量指标，这多个业务指标可包括apache连接数、交易笔数、网卡流量、文件系统使用率、CPU使用率、内存使用率、文件空间中的任意多个。
在步骤S202的具体实施中，可获取该业务系统的业务指标的当前值，其中，该业务指标为所述业务系统单位时间内的访问量，例如，该业务指标可以为单位时间内的F5请求数或接收到的用户访问请求数或该业务系统的TPS(Transaction Per Second，每分钟处理的事务数)。
在步骤S203的具体实施中，针对每个容量指标，可根据该业务指标的当前值和该容量指标对应的容量分析模型，确定该容量指标的预测值。
本发明实施例中，容量分析模型为根据历史数据建立的该容量指标与业务指标之间的关联关系。可选地，该关联关系可为容量指标与业务指标之间的函数关系，其中业务指标为自变量，容量指标为因变量。当获取到业务指标的当前值后，以该当前值作为自变量输入函数关系中，即可得到容量指标的预测值。
需要说明的是，当容量指标为apache连接数时，还会进一步区分当前业务系统所处的业务场景，即为低并发还是高并发。一般来说，apache连接数对应的容量分析模型仅适用在低并发的业务场景下。具体的，首先判断当前是否为低并发的业务场景，若为低并发的业务场景，即业务指标的当前值小于等于第二设定阈值，则可根据业务指标的当前值、apache连接数对应的容量分析模型，确定apache连接数的预测值。否则，若确定当前为高并发的业务场景，即业务指标的当前值大于等于第二设定阈值，表示当前业务系统的访问量剧增，则根据业务指标的当前值相比设定时长前的数值的增量、apache连接数对应的容量增量分析模型，确定apache连接数的增量的预测值。
在步骤S204的具体实施中，若某一容量指标的当前值与预测值相差较大，则认为该容量指标表现异常，否则若某一容量指标的当前值位于对应预测值的合理浮动范围内，则认为该容量指标表现正常。
由于各个容量指标均通过同一个业务指标实现了关联，因而可根据各个容量指标的当前值和预测值，若确定存在表现异常的容量指标，则可确定该业务系统出现异常，并在系统出现异常时，根据表现异常的容量指标，以及该容量指标所属的领域，定位异常在业务系统中所处的位置。
下面将对本发明实施例中所涉及的各个容量指标对应的容量分析模型进行详细介绍。
第一，在建立模型之前，需确定针对哪些容量指标建立容量分析模型，这些容量指标即为在步骤S201中确定的待监控的多个容量指标。
第二，采集业务指标和这些容量指标的同期历史数据，形成容量分析样本。每一容量分析样本中均包括业务指标，以及该业务指标同期对应的各个容量指标的数据。为了保证所建模型的准确性，应至少采集4周数据作为容量分析样本。
如前所述，所述业务指标可以为单位时间内的单位时间内的F5请求数或接收到的用户访问请求数或该业务系统的TPS。所述各个容量指标可包括单位时间内的F5请求数、apache连接数、交易笔数、网卡流量、文件系统使用率、CPU使用率、内存使用率、文件空间等。
需要说明的是，本发明实施例中，本领域技术人员可对业务指标和各个容量指标的采集粒度进行具体设置，即该单位时间可以为一秒、一分钟或五分钟等。
第三，数据预处理。容量分析样本的数据预处理具体可包括缺失值处理、异常值处理、网卡流量数据平滑、文件系统使用率衍生等多个方面。
以容量分析样本的采集粒度为1分钟为例，缺失值处理为，若确定容量分析样本中存在某一分钟的数据缺失，则将该分钟数据舍弃；异常值处理为，将某一分钟的数据与容量分析样本中同一星期内相同时刻的数据进行比较，例如若该时刻数据大于同一星期内相同时刻的数据均值加3倍标准差，或小于同一星期内相同时刻的数据均值减3倍标准差，则认为该分钟数据为异常值，将该分钟数据舍弃。
网卡流量数据平滑是指，每天的固定时间点存在日志归集任务，导致这个固定时间点的网卡流量数据异常冲高，因而，可将每日存在固定任务的时间段内的数据舍弃。
文件系统使用率衍生是指，更直观由文件系统使用率衍生得到文件系统增加率。该文件系统增加率等于当前这一分钟的文件系统使用率减去前一分钟的文件系统使用率。需要说明的是，由于可能存在文件系统清理策略，因此可将文件系统增加率为负值的数据视为异常值舍弃。
第四，相关性检验。当容量分析样本的数据预处理过程结束后，针对每个容量指标，可根据容量分析样本中的各个数据样本，计算该容量指标与业务指标之间的相关系数，进行相关性检验，以判断得到的容量分析样本是否符合容量分析模型的拟合要求。本发明实施例中，所述相关系数可以为皮尔逊相关系数。
若确定相关系数大于第一设定阈值，则认为该容量指标与业务指标之间存在相关关系，可以建立模型，因而可在下一步骤中以业务指标为自变量，容量指标为因变量，采用统计回归分析方法，建立该容量指标对应的容量分析模型。
以每分钟内的交易笔数这一容量指标为例，在计算相关系数这一步骤中，可以F5请求数为自变量，F5请求数为因变量，计算它们之间的皮尔逊相关系数。如皮尔逊相关系数大于0.6，则认为交易笔数与F5请求数相关，可以建立模型，否则认为F5请求数与F5请求数之间不存在相关关系，无法建立模型。
本发明实施例中，所述第一设定阈值的大小可由本领域技术人员根据实际需要自行设定，本发明对此不做具体限制。
第五，建立模型。一般来说，在确定某一容量指标与业务指标相关后，可根据容量分析样本中的各个数据样本，以业务指标为自变量、该容量指标为因变量作出各数据样本的散点图，进而采用线性回归分析进行你可，即可得到该容量指标的容量分析模型。
具体的，依据容量指标的不同，容量分析模型的建立方法也存在着略微差别：
1、apache连接数：
由于apache连接数在低并发和高并发的业务场景下数据的量级存在着显著区别，因而apache连接数的变化规律也不相同，需针对低并发和高并发分别建立两个模型。
本发明实施例中，按照业务指标是否大于等于第二设定阈值来划分低并发和高并发两个业务场景，若业务指标大于第二设定阈值，则为高并发，若业务指标小于等于第二设定阈值，则为低并发。本领域技术人员可根据实际情况自行设置第二设定阈值的大小，本发明对此不做具体限制。
以业务指标为F5请求数为例，可将高并发业务场景设置为F5请求数大于6000，将低并发业务场景设置为F5请求数小于等于6000。
图3示例性示出了低并发业务场景下，根据容量分析模型中F5请求数小于等于6000的各个数据样本，以F5请求数为自变量(即横轴)，apache连接数为因变量(即纵轴)，作出的散点图。如图3所示，即使是在低并发业务场景下，apache连接数的变化规律仍然呈现为一个分段函数，该分段函数的转折点位于F5请求数为400左右的位置处，如图3中的竖线所示。
因而，本发明实施例中，可根据容量分析模型中F5请求数小于转折点处的F5请求数(即400)的各个数据样本，将这部分数据样本中F5请求数取对数后的数值为自变量，apache连接数为因变量，作对数线性回归分析，进而得到低并发下apache连接数对应的容量分析模型的第一部分。
对于分段函数的第二部分，可根据容量分析模型中F5请求数大于等于转折点处的F5请求数(即400)的各个数据样本，将这部分数据样本中F5请求数为自变量，apache连接数为因变量，作一元线性回归分析，进而得到低并发下apache连接数对应的容量分析模型的第二部分。
随后，将低并发下分段函数的两部分容量分析模型合并，得到apache连接数的容量分析模型。
通常，高并发的业务场景一般出现在业务系统的营销活动期间，在特定的营销时点，业务指标和相关的容量指标瞬间暴增。为了准确地预测特定营销时点到来时系统的容量，合理分配系统的处理资源，可建立容量指标的容量增量分析模型，也可称为容量指标增量的容量分析模型，即容量指标增量与业务指标增量之间的关联关系。
具体的，针对apache连接数来说，可根据容量分析样本中位于营销时点附近的各个数据样本，将位于营销时点的业务指标的数值减去设定时长前的业务指标的数值，得到业务指标增量的样本，将位于营销时点的apache连接数的数值减去设定时长前的apache连接数的数值得到apache连接数增量的样本。
本发明实施例中，所述设定时长可由本领域技术人员根据实际情况自行设置，可选地，可将该设定时长设置为一分钟。
进而，以业务指标增量为自变量，以apache连接数增量为因变量，进行一元线性回归分析，进而得到高并发业务场景下apache连接数对应的容量增量分析模型。
需要说明的是，由于apache连接数为在高并发和低并发的两个业务场景下变化规律存在显著区别的典型容量指标，因此，本发明实施例仅以apache连接数这一容量指标为例进行说明。而对于与apache连接数具有相同或相似变化规律的其他容量指标，或者在高并发和低并发两个业务场景下变化规律存在显著区别的其他容量指标，也可以依据与apache连接数类似的方式建立模型并进行容量预测。
2、其它容量指标
对于apache连接数以外的其它容量指标来说，如单位时间内的交易笔数、网卡流量、文件系统增加率、CPU使用率、内存使用率等，它们在高并发和低并发的业务场景下，变化规律不存在显著区别，仅建立一个容量分析模型即可。
由于业务处理过程与网关相关，用户发送的用户访问请求会经网关分流到各台服务器主机中，再由服务器主机中运行的应用来具体执行，从业务数据流向上看，这些容量指标均位于网关之后。因此，每个容量指标可具有对应整个业务系统一个总数，并且该总数在每个网关下也分别具有一个对应该网关的分量，即该容量指标与该网关相关的数值。
以业务指标为F5请求数为例，容量指标为交易笔数为例，交易笔数对应的容量分析模型，可包括如表1所示的3类：
自变量 因变量
第一容量分析模型 F5请求总数 交易总笔数
第二容量分析模型 各网关对应的F5请求数 交易总笔数
第三容量分析模型 第一网关对应的F5请求数 第一网关完成的交易笔数
表1
对于第一容量分析模型，由于自变量为单位时间内业务系统完成的交易总笔数，因变量为同期单位时间为业务系统接收到的F5请求总数，因此，在根据容量分析样本进行建模时，进行一元线性回归分析，即可得到该第一容量分析模型。
第三容量分析模型也是如此，只是仅将自变量替换为第一网关对应的F5请求数，将因变量替换为第一网关完成的交易笔数即可。其中，第一网关可为业务系统中的任一网关。
需要说明的是，本发明实施例中所述的第三容量分析模型是指一种类型的容量分析模型，一个第三容量分析模型与一个网关相关联，针对一个业务系统，其可以建立一个或多个该第三容量分析模型，第三容量分析模型的数量最多等于该业务系统中网关的数量。
对于第二容量分析模型，自变量为单位时间内业务系统中分别经各个网关完成的交易笔数，因变量为该业务系统的交易总笔数，在根据容量分析样本进行建模时，可进行多元线性回归分析，得到该第二容量分析模型。
需要说明的是，上述实施例仅以交易笔数这一容量指标为例进行说明，其他容量指标也可按照上述方法建立模型进行容量预测，尤其是较为典型的网卡流量和文件系统增加率。对于任一容量指标来说，由于均可建立上述三类容量分析模型，在具体应用中，本领域技术人员可根据容量管理需求自行选择需要建立的容量分析模型。
基于同样的发明构思，本发明实施例还提供一种容量分析装置，图4为本发明实施例中提供的一种容量分析装置的结构示意图，如图4所示，该容量分析装置400包括：
监控模块401，用于监控业务系统的多个容量指标；
获取模块402，用于获取所述多个容量指标的当前值；所述多个容量指标是按照所述业务系统的业务数据的各处理环节确定的；以及，获取所述业务系统的业务指标的当前值；所述业务指标为单位时间内所述业务系统的访问量；
确定模块403，用于针对每个容量指标，根据所述业务指标的当前值和所述容量指标对应的容量分析模型，确定所述容量指标的预测值；所述容量分析模型为根据历史数据建立的所述容量指标与所述业务指标之间的关联关系；
处理模块404，用于根据各个容量指标的当前值和预测值，判断所述业务系统是否出现异常。
可选地，所述确定模块403还用于：
根据所述容量指标和所述业务指标的各个数据样本，计算所述容量指标与所述业务指标之间的相关系数；
若确定所述相关系数大于第一设定阈值，则以所述业务指标为自变量，所述容量指标为因变量，根据所述容量指标和所述业务指标的各个数据样本，建立所述容量指标对应的容量分析模型。
可选地，所述容量指标包括单位时间内的阿帕奇apache连接数；
所述确定模块403具体用于：
若确定所述业务指标的当前值小于等于第二设定阈值，则根据所述业务指标的当前值、所述apache连接数对应的容量分析模型，确定所述apache连接数的预测值；
否则，根据所述业务指标的当前值相比设定时长前的数值的增量、所述apache连接数对应的容量增量分析模型，确定所述apache连接数的增量的预测值。
可选地，所述确定模块403还用于：
根据所述业务指标大于等于所述第二设定阈值的各个数据样本，以所述业务指标的增量为自变量，所述apache连接数的增量为因变量，建立所述apache连接数对应的容量增量分析模型。
可选地，所述确定模块403具体用于：
根据所述各个数据样本，以所述业务系统的业务指标为自变量，所述业务系统的容量指标为因变量，建立第一容量分析模型；和/或，
以所述业务系统中与任一网关相关的业务指标为自变量，所述业务系统的容量指标为因变量，建立第二容量分析模型；和/或，
以所述业务系统中与所述任一网关相关的业务指标为自变量，所述业务系统中与所述任一网关相关的容量指标为因变量，建立第三容量分析模型。
可选地，所述容量指标包括单位时间内的交易笔数、网卡流量、文件系统变化率、CPU使用率、内存使用率中的任一项或多项。
本发明另一实施例提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
本发明另一实施例提供了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
基于同样的发明构思，本发明实施例还提供另一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal DigitalAssistant，PDA)等。如图5所示，该计算设备500可以包括中央处理器(Center ProcessingUnit，CPU)501、存储器502、输入/输出设备503及总线系统504等。其中，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid CrystalDisplay，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本发明实施例中，存储器可以用于存储上述容量分析方法的程序。
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行上述设备控制方法。
基于同样的发明构思，本发明实施例提供了一种计算机存储介质，用于储存为上述计算设备所用的计算机程序指令，其包含用于执行上述容量分析方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
由上述内容可以看出：
本发明实施例中，可监控业务系统的多个容量指标，获取所述多个容量指标和业务指标的当前值，针对每个容量指标，根据业务指标的当前值和容量指标对应的容量分析模型，确定容量指标的预测值；根据各个容量指标的当前值和预测值，判断业务系统是否出现异常。
由于多个容量指标为按照所述业务系统的业务数据的各处理环节确定的容量指标，而每一容量指标的容量分析模型均为根据历史数据建立的该容量指标与业务指标之间的关联关系，因此多个容量指标可通过业务指标关联在一起，从而在业务系统的发生异常或波动时，可通过监控相互关联的容量指标的，精确地定位异常发生的特定领域，提升问题的解决时效。与此同时，由于每个容量指标均可通过根据历史数据建立的容量分析模型进行容量的定量分析，因而也解决了容量指标的监控规则机器阈值依靠人工维护的问题，有效降低业务系统的维护成本。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或两个以上其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或两个以上流程和/或方框图一个方框或两个以上方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或两个以上流程和/或方框图一个方框或两个以上方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或两个以上流程和/或方框图一个方框或两个以上方框中指定的功能的步骤。
尽管已描述了本发明的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种容量分析方法，其特征在于，包括：
监控业务系统的多个容量指标，获取所述多个容量指标的当前值；所述多个容量指标是按照所述业务系统的业务数据的各处理环节确定的；所述多个容量指标与所述业务系统的业务指标之间的相关系数大于第一设定阈值；
获取所述业务系统的业务指标的当前值；所述业务指标为所述业务系统单位时间内的访问量；
针对每个容量指标，根据所述业务指标的当前值和所述容量指标对应的容量分析模型，确定所述容量指标的预测值；所述容量分析模型为根据历史数据建立的所述容量指标与所述业务指标之间的关联关系；
根据各个容量指标的当前值和预测值，判断所述业务系统是否出现异常；
所述多个容量指标包括单位时间内的阿帕奇apache连接数；
所述根据业务指标的当前值和所述容量指标对应的容量分析模型，确定所述容量指标的预测值，包括：
若确定所述业务指标的当前值小于等于第二设定阈值，则根据所述业务指标的当前值、所述apache连接数对应的容量分析模型，确定所述apache连接数的预测值；
否则，根据所述业务指标的当前值相比设定时长前的数值的增量、所述apache连接数对应的容量增量分析模型，确定所述apache连接数的增量的预测值。
2.根据权利要求1所述的方法，其特征在于，通过以下方式建立各容量指标对应的容量分析模型，包括：
根据所述容量指标和所述业务指标的各个数据样本，计算所述容量指标与所述业务指标之间的相关系数；
若确定所述相关系数大于第一设定阈值，则以所述业务指标为自变量，所述容量指标为因变量，根据所述容量指标和所述业务指标的各个数据样本，建立所述容量指标对应的容量分析模型。
3.根据权利要求1或2所述的方法，其特征在于，所述apache连接数对应的容量增量分析模型是通过如下方式建立的：
根据所述业务指标大于等于所述第二设定阈值的各个数据样本，以所述业务指标的增量为自变量，所述apache连接数的增量为因变量，建立所述apache连接数对应的容量增量分析模型。
4.根据权利要求2所述的方法，其特征在于，所述根据所述容量指标和所述业务指标的各个数据样本，建立所述容量指标对应的容量分析模型，包括：
根据所述各个数据样本，以所述业务系统的业务指标为自变量，所述业务系统的容量指标为因变量，建立第一容量分析模型；和/或，
以所述业务系统中与任一网关相关的业务指标为自变量，所述业务系统的容量指标为因变量，建立第二容量分析模型；和/或，
以所述业务系统中与所述任一网关相关的业务指标为自变量，所述业务系统中与所述任一网关相关的容量指标为因变量，建立第三容量分析模型。
5.根据权利要求4所述的方法，其特征在于，所述容量指标包括单位时间内的交易笔数、网卡流量、文件系统增加率、CPU使用率、内存使用率中的任一项或多项。
6.一种容量分析装置，其特征在于，包括：
监控模块，用于监控业务系统的多个容量指标；
获取模块，用于获取所述多个容量指标的当前值；所述多个容量指标是按照所述业务系统的业务数据的各处理环节确定的；其中，所述多个容量指标与所述业务系统的业务指标之间的相关系数大于第一设定阈值；以及，获取所述业务系统的业务指标的当前值；所述业务指标为单位时间内所述业务系统的访问量；
确定模块，用于针对每个容量指标，根据所述业务指标的当前值和所述容量指标对应的容量分析模型，确定所述容量指标的预测值；所述容量分析模型为根据历史数据建立的所述容量指标与所述业务指标之间的关联关系；
处理模块，用于根据各个容量指标的当前值和预测值，判断所述业务系统是否出现异常；
所述多个容量指标包括单位时间内的阿帕奇apache连接数；
所述确定模块具体用于：
若确定所述业务指标的当前值小于等于第二设定阈值，则根据所述业务指标的当前值、所述apache连接数对应的容量分析模型，确定所述apache连接数的预测值；
否则，根据所述业务指标的当前值相比设定时长前的数值的增量、所述apache连接数对应的容量增量分析模型，确定所述apache连接数的增量的预测值。
7.根据权利要求6所述的装置，其特征在于，所述确定模块还用于：
根据所述容量指标和所述业务指标的各个数据样本，计算所述容量指标与所述业务指标之间的相关系数；
若确定所述相关系数大于第一设定阈值，则以所述业务指标为自变量，所述容量指标为因变量，根据所述容量指标和所述业务指标的各个数据样本，建立所述容量指标对应的容量分析模型。
8.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如权利要求1至5中任一项所述的方法。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如权利要求1至5中任一项所述的方法。
CN201810448010.XA 2018-05-11 2018-05-11 一种容量分析方法及装置 Active CN108923996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810448010.XA CN108923996B (zh) 2018-05-11 2018-05-11 一种容量分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810448010.XA CN108923996B (zh) 2018-05-11 2018-05-11 一种容量分析方法及装置

Publications (2)

Publication Number Publication Date
CN108923996A CN108923996A (zh) 2018-11-30
CN108923996B true CN108923996B (zh) 2021-01-05

Family

ID=64402435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810448010.XA Active CN108923996B (zh) 2018-05-11 2018-05-11 一种容量分析方法及装置

Country Status (1)

Country Link
CN (1) CN108923996B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766244A (zh) * 2019-01-04 2019-05-17 中国银行股份有限公司 一种分布式系统cpu异常检测方法、装置和存储介质
CN110971444B (zh) * 2019-10-09 2023-04-07 中移（杭州）信息技术有限公司 告警管理方法、装置、服务器及存储介质
CN111209163A (zh) * 2020-01-03 2020-05-29 中国工商银行股份有限公司 应用系统异常检测方法及系统
CN111311086B (zh) * 2020-02-11 2024-02-09 中国银联股份有限公司 一种容量监控方法、装置及计算机可读存储介质
CN111447113B (zh) * 2020-03-25 2021-08-27 中国建设银行股份有限公司 一种系统监控方法和装置
CN112269811A (zh) * 2020-10-13 2021-01-26 北京同创永益科技发展有限公司 一种基于业务量的it容量预测方法和系统
CN112348666A (zh) * 2020-10-28 2021-02-09 深圳前海微众银行股份有限公司 一种确定系统容量的方法及装置
CN114726791A (zh) * 2022-03-18 2022-07-08 中国建设银行股份有限公司 流控阈值的确定方法、装置、电子设备及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102082703A (zh) * 2009-11-26 2011-06-01 中国移动通信集团贵州有限公司 业务支撑系统设备性能监控的方法及装置
CN104678868A (zh) * 2015-01-23 2015-06-03 贾新勇 一种业务及设备运维监控系统
CN106302015A (zh) * 2016-08-16 2017-01-04 华青融天（北京）技术股份有限公司 一种业务状态监控方法、装置以及系统
CN106991145A (zh) * 2017-03-23 2017-07-28 中国银联股份有限公司 一种监测数据的方法及装置
CN107943579A (zh) * 2017-11-08 2018-04-20 深圳前海微众银行股份有限公司 资源瓶颈预测方法、设备、系统及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2875083B1 (fr) * 2004-09-03 2006-12-15 Cit Alcatel Dispositif de diagnostic modulaire a base de connaissances evolutive, pour un reseau de communications
CN106209426B (zh) * 2016-06-28 2019-05-21 北京北信源软件股份有限公司 一种基于d-s证据理论的服务器负载状态评估分析方法和系统
CN107705149A (zh) * 2017-09-22 2018-02-16 平安科技（深圳）有限公司 数据实时监控方法、装置、终端设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102082703A (zh) * 2009-11-26 2011-06-01 中国移动通信集团贵州有限公司 业务支撑系统设备性能监控的方法及装置
CN104678868A (zh) * 2015-01-23 2015-06-03 贾新勇 一种业务及设备运维监控系统
CN106302015A (zh) * 2016-08-16 2017-01-04 华青融天（北京）技术股份有限公司 一种业务状态监控方法、装置以及系统
CN106991145A (zh) * 2017-03-23 2017-07-28 中国银联股份有限公司 一种监测数据的方法及装置
CN107943579A (zh) * 2017-11-08 2018-04-20 深圳前海微众银行股份有限公司 资源瓶颈预测方法、设备、系统及可读存储介质

Also Published As

Publication number Publication date
CN108923996A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108923996B (zh) 一种容量分析方法及装置
US11144342B2 (en) Workload execution in a distributed computing infrastructure on candidate nodes identified through plural test deployments
CN111177222B (zh) 模型测试方法、装置及计算设备、存储介质
CN110471821B (zh) 异常变更检测方法、服务器及计算机可读存储介质
CN110163457B (zh) 一种业务指标的异常定位方法和装置
CN102082703A (zh) 业务支撑系统设备性能监控的方法及装置
CN110647447B (zh) 用于分布式系统的异常实例检测方法、装置、设备和介质
CN108416665B (zh) 数据交互方法、装置、计算机设备和存储介质
CN111400155B (zh) 一种数据检测方法及装置
CN110751549A (zh) 逾期金融贷款的催收管控方法、装置及电子设备
CN114500339A (zh) 一种节点带宽监测方法、装置、电子设备及存储介质
CN107291835B (zh) 一种搜索词的推荐方法和装置
CN114282998A (zh) 一种外币账户余额处理方法和装置
US20240273492A1 (en) Procuring and presenting deposit transaction details
CN117573477A (zh) 异常数据监控方法、装置、设备、介质和程序产品
CN109213965A (zh) 一种系统容量预测方法、计算机可读存储介质及终端设备
CN117093627A (zh) 信息挖掘的方法、装置、电子设备和存储介质
CN113129127A (zh) 预警方法和装置
CN111951011A (zh) 监控系统阈值确定方法及装置
CN112884497A (zh) 确定用户类型的方法、装置、电子设备和存储介质
CN118691311A (zh) 云资源成本预测方法、装置、存储介质及电子设备
CN117056663B (zh) 一种数据处理方法、装置、电子设备及存储介质
US20230394069A1 (en) Method and apparatus for measuring material risk in a data set
CN111277445B (zh) 一种评估在线节点服务器性能的方法及装置
CN109710884B (zh) 一种支持多种复杂计算方式的实时指标配置方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant