CN113703974B - 一种预测服务器容量的方法及装置 - Google Patents

一种预测服务器容量的方法及装置 Download PDF

Info

Publication number
CN113703974B
CN113703974B CN202110992903.2A CN202110992903A CN113703974B CN 113703974 B CN113703974 B CN 113703974B CN 202110992903 A CN202110992903 A CN 202110992903A CN 113703974 B CN113703974 B CN 113703974B
Authority
CN
China
Prior art keywords
tps
historical
prediction
period
statistical dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110992903.2A
Other languages
English (en)
Other versions
CN113703974A (zh
Inventor
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202110992903.2A priority Critical patent/CN113703974B/zh
Publication of CN113703974A publication Critical patent/CN113703974A/zh
Priority to PCT/CN2022/100509 priority patent/WO2023024679A1/zh
Application granted granted Critical
Publication of CN113703974B publication Critical patent/CN113703974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种预测服务器容量的方法及装置。该方法包括:针对业务系统中的任一统计维度,对统计维度在各历史时段的历史活跃度进行分析,确定符合统计维度在各历史时段的历史活跃度的规律特征;通过各统计维度的规律特征,得到业务系统在各预测时段的叠加预测TPS;将业务系统在各预测时段的叠加预测TPS,按照转换关系转换为业务系统在各预测时段的可信预测TPS;通过业务系统在各预测时段的可信预测TPS,确定业务系统在各预测时段的服务器容量。如此得到的可信预测TPS能更加准确地反映不同的统计维度在各预测时段的变化规律,从而准确地对业务系统在各预测时段的服务器容量进行预测。

Description

一种预测服务器容量的方法及装置
技术领域
本发明实施例涉及金融科技技术领域,尤其涉及一种预测服务器容量的方法、装置、计算设备及计算机可读存储介质。
背景技术
随着计算机技术的发展,越来越多的技术应用在金融领域,传统金融业正在逐步向金融科技(Fintech)转变,但由于金融行业的安全性、实时性要求,也对技术提出的更高的要求。
随着互联网技术的迅速发展与进步,网民数量剧增,因而,一个系统往往需要部署多个服务器以满足网民的请求交易量。若部署的服务器容量(即服务器数量)过少,则容易出现请求交易量超出服务器的额定负载上限,从而服务器拥挤甚至崩溃的情况;若部署的服务器容量过多,不仅造成计算资源的浪费,同时也增加了企业的不必要的成本。
目前,一般是通过人为的观察服务器的负载变化情况或者是通过监控系统告警(服务器发生网络拥挤或崩溃)之后,手动对服务器容量进行调整,容易导致误操作,智能化程度较低。
因此,如何提前对服务器的容量进行预测,利用预测的结果指导未来的资源部署,对于信息系统的业务发展至关重要。
综上,本发明实施例提供一种预测服务器容量的方法,用以提高对服务器容量预测的准确度,从而灵活地调整服务器容量。
发明内容
本发明实施例提供一种预测服务器容量的方法,用以提高对服务器容量预测的准确度,从而灵活地调整服务器容量。
第一方面,本发明实施例提供一种预测服务器容量的方法,包括:
针对业务系统中的任一统计维度,对所述统计维度在各历史时段的历史活跃度进行分析,确定符合所述统计维度在各历史时段的历史活跃度的规律特征;
通过各统计维度的规律特征,预测各统计维度在各预测时段的预测每秒交易量TPS,将各统计维度中相同预测时段的预测TPS进行叠加,得到所述业务系统在各预测时段的叠加预测TPS;
将所述业务系统在各预测时段的叠加预测TPS,按照转换关系转换为所述业务系统在各预测时段的可信预测TPS;其中,所述转换关系为对所述业务系统在各历史时段的叠加历史TPS和可信历史TPS的关系进行分析得到的;所述叠加历史TPS为将各统计维度中相同历史时段的历史TPS进行叠加得到的;所述可信历史TPS为对所述业务系统在各历史时段的TPS进行分析得到的;
通过所述业务系统在各预测时段的可信预测TPS,确定所述业务系统在各预测时段的服务器容量。
由于用户活跃度在不同的历史时期是会发生变化的,且在不同的统计维度中,变化规律不同,因而通过对业务系统中不同的统计维度中各历史时段的历史活跃度分别进行分析,得到各统计维度在各历史时段的历史活跃度的规律特征,从而能够更准确地预测各统计维度在各预测时段的预测TPS。再通过对不同统计维度的预测TPS进行叠加,从而进一步确定整个业务系统的叠加预测TPS,如此得到的叠加预测TPS能更加准确地反映不同的统计维度在各预测时段的变化规律。为了进一步提高预测的准确性,通过对业务系统在各历史时段的可信历史TPS和叠加历史TPS的分析,确定二者的转换关系,根据转换关系和叠加预测TPS得到可信预测TPS,如此得到的可信预测TPS的准确性更高。从而能准确地对业务系统在各预测时段的服务器容量进行预测。
可选地,任一统计维度在各历史时段的历史活跃度通过如下方法得到,包括:
将所述统计维度在各历史时段的历史TPS和在各历史时段的第一账户数的商,确定为所述统计维度在各历史时段的历史活跃度。
可选地,确定符合所述统计维度在各历史时段的历史活跃度的规律特征,包括:
对所述统计维度在各历史时段的历史活跃度进行拟合,得到各预设函数对应的拟合曲线;
将各预设函数对应的拟合曲线符合预设条件的拟合曲线,确定为规律特征。可选地,确定符合所述统计维度在各历史时段的历史活跃度的规律特征,包括:
若确定不存在符合预设条件的拟合曲线,则对所述统计维度在各历史时段的历史活跃度进行区间分段;
针对任一区间分段,将所述区间分段中各历史活跃度的浮动系数确定为所述区间分段的规律特征;所述浮动系数是根据所述各历史活跃度的浮动比例确定的;所述浮动比例为所述区间分段中历史活跃度的最高值与历史活跃度的最低值的差占所述历史活跃度的最低值的比例。
可选地,通过各统计维度的规律特征,预测各统计维度在各预测时段的预测TPS,包括:
通过各统计维度的规律特征,确定各统计维度在各预测时段的预测活跃度;
将所述各统计维度在各预测时段的预测活跃度与相同预测时段的第二账户数的积,确定为各统计维度在各预测时段的预测TPS。
可选地,通过所述业务系统在各预测时段的可信预测TPS,确定所述业务系统在各预测时段的服务器容量,包括:
采集所述业务系统在各历史时段的服务器性能指标,将服务器性能指标符合设定条件时所述服务器承载的TPS确定为所述服务器的单机TPS;
通过所述可信预测TPS和所述单机TPS确定所述业务系统在各预测时段的服务器容量。
可选地,通过所述可信预测TPS和所述单机TPS确定所述业务系统在各预测时段的服务器容量,包括:
根据如下公式确定服务器容量的第一范围:
其中,Tmax为所述可信预测TPS,N为所述服务器容量,s为单物理机的最大故障时间,n为单物理机上部署的服务器的台数,B单次为交易损失阈值;
在所述服务器容量的第一范围内确定所述服务器容量。
可选地,通过所述可信预测TPS和所述单机TPS确定所述业务系统在各预测时段的服务器容量,包括:
根据如下公式确定服务器容量的第二范围:
其中,L机房为所述业务系统的机房数,T单机为所述单机TPS;
在所述服务器容量的第一范围和所述服务器容量的第二范围内确定所述服务器容量。
可选地,通过所述可信预测TPS和所述单机TPS确定所述业务系统在各预测时段的服务器容量,包括:
根据如下公式确定服务器容量的第三范围:
其中,∈为所述最高负载率;
在所述服务器容量的第一范围和所述服务器容量的第三范围内确定所述服务器容量。
第二方面,本发明实施例还提供一种预测服务器容量的装置,包括:
确定单元,用于:
针对业务系统中的任一统计维度,对所述统计维度在各历史时段的历史活跃度进行分析,确定符合所述统计维度在各历史时段的历史活跃度的规律特征;
通过各统计维度的规律特征,预测各统计维度在各预测时段的预测每秒交易量TPS,将各统计维度中相同预测时段的预测TPS进行叠加,得到所述业务系统在各预测时段的叠加预测TPS;
将所述业务系统在各预测时段的叠加预测TPS,按照转换关系转换为所述业务系统在各预测时段的可信预测TPS;其中,所述转换关系为对所述业务系统在各历史时段的叠加历史TPS和可信历史TPS的关系进行分析得到的;所述叠加历史TPS为将各统计维度中相同历史时段的历史TPS进行叠加得到的;所述可信历史TPS为对所述业务系统在各历史时段的TPS进行分析得到的;
通过所述业务系统在各预测时段的可信预测TPS,确定所述业务系统在各预测时段的服务器容量。
可选地,所述确定单元具体用于:
将所述统计维度在各历史时段的历史TPS和在各历史时段的第一账户数的商,确定为所述统计维度在各历史时段的历史活跃度。
可选地,所述确定单元具体用于:
对所述统计维度在各历史时段的历史活跃度进行拟合,得到各预设函数对应的拟合曲线;
将各预设函数对应的拟合曲线符合预设条件的拟合曲线,确定为规律特征。
可选地,所述确定单元具体用于:
若确定不存在符合预设条件的拟合曲线,则对所述统计维度在各历史时段的历史活跃度进行区间分段;
针对任一区间分段,将所述区间分段中各历史活跃度的浮动系数确定为所述区间分段的规律特征;所述浮动系数是根据所述各历史活跃度的浮动比例确定的;所述浮动比例为所述区间分段中历史活跃度的最高值与历史活跃度的最低值的差占所述历史活跃度的最低值的比例。
可选地,所述确定单元具体用于:
通过各统计维度的规律特征,确定各统计维度在各预测时段的预测活跃度;
将所述各统计维度在各预测时段的预测活跃度与相同预测时段的第二账户数的积,确定为各统计维度在各预测时段的预测TPS。
可选地,所述确定单元具体用于:
采集所述业务系统在各历史时段的服务器性能指标,将服务器性能指标符合设定条件时所述服务器承载的TPS确定为所述服务器的单机TPS;
通过所述可信预测TPS和所述单机TPS确定所述业务系统在各预测时段的服务器容量。
可选地,所述确定单元具体用于:
根据如下公式确定服务器容量的第一范围:
其中,Tmax为所述可信预测TPS,N为所述服务器容量,s为单物理机的最大故障时间,n为单物理机上部署的服务器的台数,B单次为交易损失阈值;
在所述服务器容量的第一范围内确定所述服务器容量。
可选地,所述确定单元具体用于:
根据如下公式确定服务器容量的第二范围:
其中,L机房为所述业务系统的机房数,T单机为所述单机TPS;
在所述服务器容量的第一范围和所述服务器容量的第二范围内确定所述服务器容量。
可选地,所述确定单元具体用于:
根据如下公式确定服务器容量的第三范围:
其中,∈为所述最高负载率;
在所述服务器容量的第一范围和所述服务器容量的第三范围内确定所述服务器容量。
第三方面,本发明实施例还提供一种计算设备,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行上述任一方式所列的预测服务器容量的方法。
第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行程序,所述计算机可执行程序用于使计算机执行上述任一方式所列的预测服务器容量的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种预测服务器容量的方法;
图2A为本发明实施例提供的一种可能的淘宝账户有关出金的各个月的历史活跃度的示意图;
图2B为本发明实施例提供的一种可能的淘宝账户有关出金的各个月的历史活跃度的示意图;
图3A为本发明实施例提供的一种淘宝账户关于出金的各个历史时段的日常消费日历史活跃度的示意图;
图3B为本发明实施例提供的一种淘宝账户关于出金的各个预测时段的日常消费日的预测活跃度的示意图;
图3C为本发明实施例提供的一种淘宝账户关于出金的各个历史时段的特殊节假日的历史活跃度的示意图;
图3D为本发明实施例提供的一种淘宝账户关于出金的各个预测时段的特殊节假日的预测活跃度的示意图;
图3E为本发明实施例提供的一种淘宝账户关于出金的各个预测时段的预测活跃度的示意图;
图4为本发明实施例提供的一种可能的得到的转换关系K的示意图;
图5为本发明实施例提供的一种各预测时段的可信预测TPS的示意图;
图6为本发明实施例提供的一种可能的该业务系统在明年每个月的服务器容量示意图;
图7示出了一种可能的该业务系统的机房环境示意图;
图8为本发明实施例提供的一种预测服务器容量装置的结构示意图;
图9为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
图1示例性示出了本发明实施例提供的一种预测服务器容量的方法,包括如下步骤:
步骤101,针对业务系统中的任一统计维度,对统计维度在各历史时段的历史活跃度进行分析,确定符合统计维度在各历史时段的历史活跃度的规律特征。
步骤102,通过各统计维度的规律特征,预测各统计维度在各预测时段的预测TPS(Transaction Per Second,每秒交易量),将各统计维度中相同预测时段的预测TPS进行叠加,得到业务系统在各预测时段的叠加预测TPS。
步骤103,将业务系统在各预测时段的叠加预测TPS,按照转换关系转换为业务系统在各预测时段的可信预测TPS;其中,转换关系为对业务系统在各历史时段的叠加历史TPS和可信历史TPS的关系进行分析得到的;叠加历史TPS为将各统计维度中相同历史时段的历史TPS进行叠加得到的;可信历史TPS为对业务系统在各历史时段的TPS进行分析得到的。
步骤104,通过业务系统在各预测时段的可信预测TPS,确定业务系统在各预测时段的服务器容量。
采用本发明实施例的方法可以根据历史的TPS变化趋势预测未来的TPS变化趋势,例如对本月的TPS变化趋势进行分析,预测下个月的TPS变化趋势;也可以对本年的TPS变化趋势进行分析,预测明年的TPS变化趋势;还可以对近几年的TPS变化趋势进行分析,预测明年的或者未来几年的TPS变化趋势。本发明实施例对此不作限制。本发明实施例以根据今年的TPS变化趋势预测明年的TPS变化趋势为例进行介绍。
在步骤101中,首先对业务系统中的任一统计维度进行分析,确定该统计维度在各历史时段的历史活跃度。
实际上,历史活跃度是会随着时间发生变化的,比如对于连接电商平台和银行核心系统的支付系统,每到特殊的节假日电商平台都会进行商业促销,导历史活跃度发生突增,这就导致在相同的有效账户数条件下,支付系统所需要承载的TPS更高,所以我们需要对一整年的数据进行历史活跃度的细化分析,分段找到其中的规律。
可选地,可以对一年中每一天的历史活跃度进行分析,确定在明年中每一天的预测活跃度;也可以对在一年中每一个月的历史活跃度进行分析,确定在明年中每一个月的预测活跃度;也可以对在一年中每一个季度的历史活跃度进行分析,确定在明年中每一个季度的预测活跃度。本领域技术人员可以根据需要作出各种选择,在此不做限制。本发明实施例以根据一年中的每一个月的历史活跃度进行分析,获取明年每一个月的预测活跃度为例,进行介绍。
同时,由于业务系统的统计维度会有很多种,不同的统计维度中,各历史时段的历史活跃度的变化规律是不同的。统计维度可以为账户类型、交易类型等,本发明实施例对此不作限制。若统计维度为账户类型,可以发现,不同的账户类型,用户的使用习惯不同,则历史活跃度的变化规律不同,例如对于电商平台而言,日常的历史活跃度与节假日的历史活跃度会有很大的差别,因为特殊的节假日期间电商会进行优惠营销推广,使得存量用户的活跃度急剧增长;而另外的像是水电缴费等模式固定的业务,历史活跃度基本不会因为节假日的变化而变化。若统计维度为交易类型,交易类型可以为出金、入金、查询等等,对于这些不同的交易类型,用户的使用习惯也不同,相应的,历史活跃度的变化规律也会有较大的差别。
为了能够兼顾不同的统计维度中,各历史时段的历史活跃度的变化规律,本发明实施例针对业务系统中的任一统计维度,确定该统计维度在各历史时段的历史活跃度,例如针对账户类型为淘宝账户时,确定在今年一年的每个月的历史活跃度,或者针对交易类型为出金时,确定在今年一年的每个月的历史活跃度,或者针对账户类型为淘宝账户,分别确定在交易类型为出金和入金时的今年一年的每个月的历史活跃度。以上仅为示例,本发明实施例对此不作限制。
采集业务系统中全年的TPS,TPS主要采用日志采集的方法,通过日志分析得出该业务系统中的TPS,有效账户数采用数据库采集的方法,以每日日终有效账户数量为当日的有效账户数。
可选地,采集业务系统中全年的TPS时可以对数据进行筛选。一个业务系统全年当中可能会因为内部系统机器故障、系统内部生产压测、关联方故障等原因,导致整体交易量突增或者突降,从而影响历史活跃度。我们的模型计算必须是在账户自然活跃的情况下进行,否则会影响整体的可靠性,这就需要剔除这些毛刺点,剔除之后才能得到全年整体的自然活跃情况下的历史活跃度。例如可以根据服务器性能指标进行筛选,通过对服务器性能指标如CPU使用率、内存使用率等的监控,确定服务器性能指标异常的时刻为机器故障时刻,那么将故障时刻的TPS进行剔除;还可以由人工录入故障时刻,例如系统内部生产压测、关联方故障等非常规时间段可以由人工录入时间点进行剔除。
针对账户类型为淘宝账户,交易类型为出金的统计维度,获取淘宝账户今年一年中各月的有关出金的历史TPS,例如,1月份有31天,每天有24个小时,每小时有60分钟,每分钟有60s,则对于每一天,可以得到24*60*60个TPS,在这些TPS中确定一个最高TPS作为当日最高TPS,再在31个当日最高TPS中确定一个当月最高TPS作为1月份的历史TPS;同理,可得2月份、3月份……12月份的历史TPS。获取当月的有效账户数,例如可以为最后一天的有效账户数,也可以为当月的最高账户数。将当月的有效账户数作为第一账户数。根据每个月的历史TPS和每个月的第一账户数,确定淘宝账户在今年一年中各月的有关出金的历史活跃度,具体为,每个月的历史TPS除以每个月的第一账户数,得到各月的历史活跃度。图2A示出了一种可能的淘宝账户有关出金的各个月的历史活跃度的示意图。
针对账户类型为淘宝账户,交易类型为入金的统计维度,获取淘宝账户今年一年中各月的有关入金的历史TPS,结合各月的第一账户数,可以得到淘宝账户在今年一年中各月的有关入金的历史活跃度,具体的实施方式同淘宝账户的各月的有关出金的历史活跃度的确定方式,在此不做赘述。
针对账户类型为美团账户,交易类型为出金的统计维度,获取美团账户今年一年中各月的有关出金的历史TPS,结合各月的第一账户数,可以得到美团账户在今年一年中各月的有关出金的历史活跃度,具体的实施方式同淘宝账户的各月的有关出金的历史活跃度的确定方式,在此不做赘述。
针对账户类型为美团账户,交易类型为入金的统计维度,获取美团账户今年一年中各月的有关入金的历史TPS,结合各月的第一账户数,可以得到美团账户在今年一年中各月的有关入金的历史活跃度,具体的实施方式同淘宝账户的各月的有关出金的历史活跃度的确定方式,在此不做赘述。
至此,得到了业务系统中,4个统计维度在各历史时段的历史活跃度。每个统计维度在各历史时段的历史活跃度的变化趋势是不同的,因此需要分别进行分析。
针对账户类型为淘宝账户,交易类型为出金的统计维度,图2A示出了一种可能的淘宝账户有关出金的各个月的历史活跃度的示意图,12个月的历史活跃度数据是一组散点数据,根据该组散点数据,确定该统计维度中,各历史时段的历史活跃度的规律特征。然后根据规律特征,确定各预测时段的预测活跃度,即,实现了通过对今年12个月的历史活跃度进行分析,确定了明年12个月的预测活跃度。
具体地,本发明实施例提供两种确定各预测时段的预测活跃度的方法。
方式一
通过一系列的曲线模型来对各历史时段的历史活跃度进行拟合,例如可以为线性模型、对数模型、幂函数模型或指数模型等曲线模型。
(1)通过线性模型进行拟合
例如可以通过最小二乘法的方式进行拟合。
线性方程的公式为:
y=a+bx (1)
在这个公式中,a、b都是任意实数,x为时间线,y为我们想要得到的历史活跃度,想要求得这个一元一次方程,就必须确定实数a、b的值。将实际的历史活跃度值设定为yi,利用公式得到的近似值为Yi,我们希望得到的公式计算出来的历史活跃度和实际的历史活跃度之间的差值越小越好,也就是说我们求直线回归方程式的过程其实就是求离差yi-Yi最小值的过程,但是离差的值求出来有正有负,直接相加会抵消导致无法反应数据的真实贴近度,所以这个离差不能直接用相减的值再求和得到,如下公式2:
而是应该得到离差的平方和最小为优化依据,如下公式3:
把公式1带入公式3中得公式4:
当离差的平方和Q2达到最小时,回归得到的直线就是离我们实际数据整体偏移度最小的直线。
接下来需要设定x的平均值为公式5:
y的平均值为公式6:
根据公式4得公式7:
接下来对上面的公式进行分解简化
求解过程:
求解过程:
所以根据①②两个公式可以简化公式7
至此可以得到最后两项与a、b无关,属于常数项,想要让R2最小,那么就必须让前面与a、b相关的多项式尽量小,最好是等于0,即
/>
由③得
由④得
由此则可以根据已知的所有散点(xi,yi)的值得出线性方程式a、b的值,从而得出线性回归方程式y=a+bx。
(2)对数模型
对数函数定义如下
y=a+b ln x
其中ln x表示对x取自然数的对数,是非线性的。为了简化计算,我们可以对对数这种非线性的模型进行线性化处理
令x*=ln x
那么对于对于变量y和x*,即y和ln x已经转换为线性的关系,其中a、b为需要求得的系数。
转化为线性关系后,则可以通过线性回归的算法求得a、b的值。
(3)幂函数模型
幂函数的定义如下
y=axb
同样的其中a、b为我们需要求得的常数,x和y的关系也是非线性的,为了简化计算,对公式两边同时取自然数对数得
ln y=ln a+b ln x
令y*=ln y,a*=ln a,x*=ln x
公式可转换为y*=a*+bx*,其中a*、b为待估参数,x*、y*程线性关系,可根据线性回归得出a、b的值和计算公式。
(4)指数函数模型
指数函数定义如下
y=aebx
其中a、b两个为常数,x、y的关系也是非线性的,对公式两边取自然数对数得
ln y=ln a+bx
令y*=ln y,a*=ln a,则
y*=a*+bx
其中a*、b为待估参数,x、y*程线性关系,可根据线性回归得出结果值。
通过上述一系列的曲线模型来对各历史时段的历史活跃度进行拟合,不同的曲线模型得到不同的a、b结果值,这里需要进一步分析得到的结果来判定我们得到的曲线是否趋近于给出的散点数据,yi为第i个散点数据的实际值,Yi为根据得到的公式计算出第i个值,为所有实际散点yi的平均值。那么,/>
总平方和
解释平方和
判定系数
当判定系数R2=1时,成为完美拟合,表示由公式计算得到的数据与我们实际给到的散点数据完全重合,但这个很难实现,因为自然界的事物都存在一定的误差,当判定系数R2→1时,则表示我们计算模型得到的公式越准确。所以根据以上的几种曲线模型得出模型公式后,可以计算出每种模型的R2值,R2的值越趋近于1,则越是我们想要得到的拟合曲线。符合设定条件的拟合曲线即为明年淘宝账户有关出金的各个月的预测活跃度。
通过上述方法得到的明年各个月的预测活跃度和今年各个月的历史活跃度并不会是完全相同,而是根据历史活跃度的变化趋势得到的,能够更加科学地反映预测活跃度地变化规律。
方式二
在实践中,大部分的历史活跃度的变化趋势可能不会是如方式一中所说的标准的拟合曲线,也就是说我们计算的出来的R2值跟1的差距都很远,那么可以对该统计维度在各历史时段的历史活跃度进行区间分段,分别进行分析。
例如,将历史活跃度按照时间划分为不同的时间段,例如将12个月划分为4个区间,每个区间通过方式一进行曲线拟合。
例如,还可以按照日常消费日和特殊节假日进行区间分段。图2B示出了一种可能的针对淘宝账户关于出金的全年历史活跃度的变化趋势,可以看出,除了春节、中秋节、元旦节、214情人节、520情人节等几个特殊的节假日之外,该账户类型的出金账户数据趋势基本一致,也就是说日常时间段内历史活跃度基本保持在一个稳定的区间内;节假日时间段内历史活跃度基本保持在一个稳定的区间内。这就需要把日常消费日、特殊节假目的历史活跃度分开来进行模型计算。
将图2B中的日常消费日及对应的历史活跃度提取出来,得到图3A,可以看出,针对淘宝账户,有关出金的历史活跃度在0.5835-0.7886之间浮动,则确定浮动比例=(最高历史活跃度-最低历史活跃度)/最低历史活跃度,那么在本例中,浮动比例为35.15%。然后根据浮动比例确定浮动系数作为预测模式,将浮动系数a1确定为(浮动范围+1),在本例中,浮动系数为1.3515。
然后将图3A中的今年的历史活跃度乘以浮动系数a1,可得淘宝账户的、有关出金的日常消费日的明年的预测活跃度,如图3B。
将图2B中的特殊节假日及对应的历史活跃度提取出来,得到图3C,可以看出,针对淘宝账户,有关出金的历史活跃度在0.9-3.48之间浮动,则通过相同的方式确定浮动系数b1=2.87。
然后将图3C中的今年各个月的历史活跃度乘以浮动系数b1,可得淘宝账户的、有关出金的特殊节假日的明年的预测活跃度,如图3D。
将图3B和图3D进行合并,可得淘宝账户的、有关出金的明年的预测活跃度,如图3E。
通过上述方法充分考虑到了在日常消费日和特殊节假日时用户的消费习惯,通过对用户的消费习惯进行针对性地分析,可以更加准确地确定明年的预测活跃度。
以上为本发明实施例给出的两种确定预测活跃度的方法,根据上述方法,可以分别确定其他统计维度,如账户类型为淘宝+交易类型为入金、账户类型为美团+交易类型为出金、账户类型为美团+交易类型为入金的明年的预测活跃度。
在确定了各个统计维度的明年的预测活跃度后,再根据各统计维度在各预测时段的第二账户数,确定各统计维度在各预测时段的预测TPS。
第二账户数为业务人员根据明年的业务推广需求输入的,业务人员将明年各预测时段的第二账户数输入模型,例如对于淘宝账户,各预测时段的第二账户数为1万、2万、2万……,对于美团账户,各预测时段的第二账户数为3万、1万、2万……。那么,针对前面确定的4种不同的统计维度,可结合第二账户数分别确定预测TPS。
例如,对于淘宝账户的有关出金的预测活跃度,将得到的各预测时段的预测活跃度分别与对应的各预测时段的第二账户数(1万、2万、2万…)相乘,可得淘宝账户的有关出金的各预测时段的预测TPS。同理,对于淘宝账户的有关入金的预测活跃度,将得到的各预测时段的预测活跃度分别与对应的各预测时段的第二账户数(1万、2万、2万…)相乘,可得淘宝账户的有关入金的各预测时段的预测TPS。对于美团账户的有关出金的预测活跃度,将得到的各预测时段的预测活跃度分别与对应的各预测时段的第二账户数(3万、1万、2万…)相乘,可得美团账户的有关出金的各预测时段的预测TPS。对于美团账户的有关入金的预测活跃度,将得到的各预测时段的预测活跃度分别与对应的各预测时段的第二账户数(3万、1万、2万…)相乘,可得美团账户的有关入金的各预测时段的预测TPS。
至此,得到了4个统计维度在各预测时段的预测TPS。然后将各个统计维度在各预测时段的预测TPS按照相同的预测时段进行叠加,可得该业务系统在各个预测时段的叠加预测TPS。通过该叠加预测TPS除以单服务器的可承载TPS即单机TPS可以直接确定服务器的容量。
但是,回溯该叠加预测TPS的确定过程,我们可以发现,该叠加预测TPS是偏大的。因为我们区分了不同的统计维度,而在每个统计维度中,都选取了当月的最高TPS作为该统计维度的历史TPS,而在该业务系统正常运行时,这4个统计维度的当月最高TPS往往不是同时产生的,这就会导致叠加预测TPS的值偏大。例如,美团账户可能是17点达到的最高TPS为5,淘宝账户在2点得到最高TPS为6,但是整个业务系统是在18点达到最高TPS为10,那么简单地将美团账户的最高TPS与淘宝账户的最高TPS进行叠加得到的11,相对于业务系统的最高TPS为10而言,是偏大的。因此我们需要进一步对叠加预测TPS的值进行修正,得到可信预测TPS。
我们知道,叠加预测TPS和可信预测TPS之间一定存在某种转换关系,该转换关系可以通过对历史数据进行分析得到。
具体为,首先将各统计维度在各历史时段的历史TPS进行叠加,得到各历史时段的叠加历史TPS。然后确定该业务系统(即不区分统计维度)在各历史时段的可信历史TPS,根据各历史时段的叠加历史TPS和可信历史TPS确定转换关系K。
举个例子,首先确定淘宝账户有关出金的统计维度在今年的各历史时段的历史TPS1,淘宝账户有关入金的统计维度在今年的各历史时段的历史TPS2,美团账户有关出金的统计维度在今年的各历史时段的历史TPS3,美团账户有关入金的统计维度在今年的各历史时段的历史TPS4,将4个统计维度的各历史时段的历史TPS按照相同的历史时段进行叠加,得到叠加历史TPS。然后不区分统计维度,确定该业务系统在今年的各历史时段的可信历史TPS。针对每一个历史时段,用可信历史TPS除以叠加历史TPS,可得转换关系K,图4示出了一种可能的得到的转换关系K的示意图,如图所示,每一个历史时段都会有一个相应的叠加历史TPS和可信历史TPS的转换关系K,即图4中的纵坐标。
我们认为针对历史数据进行分析得到的转换关系依然可以适用于针对未来的数据进行分析得到的结果,即,叠加预测TPS和可信预测TPS之间依然满足这个转换关系。
可知,K越大,则得到的可信预测TPS的值越大,为了保证在预测时段部署的服务器的数量足够多不至于系统崩溃,因此在上述多个转换关系中,确定一个最大值为最终的转换关系,如图4中的0.9976。
那么将在前文中得到叠加预测TPS乘以转换关系K,可得该业务系统在各预测时段的可信预测TPS。例如可以得到该业务系统明年每个月的可信预测TPS,或明年每一天的可信预测TPS。图5示出了一种可能的各预测时段的可信预测TPS的示意图。
将各预测时段的可信预测TPS除以单机TPS,即可确定该业务系统在各预测时段的服务器容量。
具体的,单机TPS可以通过如下方式确定:
方式一
根据业务系统在各历史时段采集的服务器性能指标,确定服务器的单机TPS,服务器性能指标是衡量一个业务系统提供服务稳定性的重要指标。包括服务器的CPU使用率、内存使用率、IO使用率和磁盘使用率等等,采集的时间段为全年,时间单位为秒级,采集方法为系统守护进程采集的方式。可以设置一定的阈值条件用于判断服务器的单机TPS。例如当CPU使用率达到了80%时,将对应时刻的TPS作为单个服务器的可承载的TPS,即单机TPS。
方式二
借助压测系统对业务系统服务器进行容量压测,同样可以得出在交易成功率、时延都正常的情况下,服务器的单机TPS。
一般的业务系统都有日志冷备功能,产生的日志文件都可以上传到云端保存,本地服务器磁盘使用率都不是很高,所以磁盘这一项性能是可以通过代码和业务逻辑优化的,不需要考虑在内。
至此,得到了该业务系统在各预测时段的服务器容量,图6示出了一种可能的该业务系统在明年每个月的服务器容量的示意图,运维人员可以根据得出的服务器容量的结果进行采购准备,还可以以月份为单位进行一键动态扩缩容,在保证系统服务器性能可以承载所有业务需求的前提下,节省资源和运维成本。
可选地,在得到各预测时段的可信预测TPS后,还可将该可信预测TPS与业务发展需求进行比较,并根据比较结果及时调整推广节奏。例如,若1月份的可信预测TPS为40000,但是公司对该业务系统的业务发展需求为1月份的最高TPS达到50000,则为了达到该业务发展需求,可以加大推广力度,通过增加第二账户数来提高可信预测TPS。如果可信预测TPS超出业务推广预期,则可以减小推广力度,减小新增的第二账户数。
但是,上述方案并没有考虑到一个业务系统可能存在的各种软硬件故障,因此得到的服务器容量不足以应对业务系统可能出现的各种环境变化。因此可以进一步优化。
图7示出了一种可能的该业务系统的机房环境示意图,包括3个机房,每个机房中设置了2台物理机,每台物理机上均会部署若干台服务器。假设,每台物理机上均部署了最多的服务器(n台)。可以从如下3种角度对服务器容量进行优化。
(1)考虑单物理机单次故障交易损失阈值
一般情况下物理机都存在一定的故障率,衡量一个业务系统服务是否达标,通常会设定一个单次故障交易损失阈值(B单次),也就是单物理机的故障能影响的最多交易量。
其中,Tmax为可信预测TPS,N为服务器容量,s为单物理机最大故障时间,n为每台物理机上部署的服务器的台数。那么在上式中,可信预测TPS除以该业务系统的服务器容量,可得该业务系统中每台服务器应该承载的TPS,再乘以n可得该业务系统中每台单物理机应该处理的TPS,因为我们认为一般来说在故障s秒后,运维人员即会发现该故障的物理机并进行维修或更换,那么在这故障的s秒里该单物理机损失的交易量即可用来表示,那么单物理机损失的交易量应该小于单次故障交易损失阈值(B单次)。
对上述公式进行变形,即得到服务器容量的第一范围:
(2)考虑单机房故障容灾
考虑到容灾的情况,业务系统会部署在几个不同的机房,以避免单机房故障导致整个系统瘫痪。也就是说,任意一个机房故障,剩余的机器都要能够支撑交易高峰,这样就需要冗余一个机房的机器数,每个机房部署的机器越平均,冗余的机器数越少,故此最好是所有机房平均分配,即
其中,L机房为该业务系统的机房数,当一个机房发生故障时,剩余的服务器容量即也应能够满足该业务系统的可信预测TPS的需求,即/>其中,T单机为单机TPS。
对上述公式进行变形,即得到服务器容量的第二范围:
(3)考虑服务器性能稳定性
考虑到服务器性能的稳定性,不会让服务器满负荷来提供服务,也就是不会让单机长时间承载T单机的量,这样很容易引起交易超时,所以需要设定一个服务器能稳定提供服务的最高负载率∈,目前本发明的业务系统生产上的机器规划的最高负载率为80%,那么也就是说在任何故障情况下,服务器的负载率都要低于ε,
对上述公式进行变形,即得到服务器容量的第三范围:
可选地,在实际使用中,可以在第一范围内、第二范围内或第三范围内分别确定服务器容量;还可以在第一范围和第二范围内确定服务器容量,还可在第一范围和第三范围内确定服务器容量,本发明实施例对此不做限制。下面示出了根据第一范围和第三范围确定服务器容量的公式:
那么在得到各预测时段的可信预测TPS(Tmax)后,将Tmax带入上述关系式,可得到一个应该在本业务系统中部署的服务器容量的范围,根据该范围可以确定优化后的服务器容量。
本发明实施例提供的预测服务器容量的方法,由于考虑到了用户活跃度在不同时段的不同的变化规律,通过对不同历史时段的历史活跃度的变化规律进行分析确定了各个预测时段的预测活跃度,从而可以在业务系统提供服务的过程中进行动态扩缩容,在保证业务系统最优容量的基础下,配备较少的资源池,在保证业务系统正常有效运行的前提下,可以减少因为不确定系统负载引起的资源过度配备和浪费。
由于对不同的统计维度进行划分,根据不同的统计维度对用户的交易习惯进行分析,对不同的统计维度确定了不同的规律,进一步通过转换关系进行修正,得出的可信预测TPS值会更加准确,更贴近真实的用户行为。
将单物理机故障、单机房故障、单服务器最高负载率等各种异常情况考虑进去,使得整个业务系统在出现日常故障时能迅速隔离恢复,提供更稳定的服务。
基于相同的技术构思,图8示例性的示出了本发明实施例提供的一种预测服务器容量的装置的结构,该结构可以执行预测服务器容量的流程。
如图8所示,该装置具体包括:
确定单元801,用于:
针对业务系统中的任一统计维度,对所述统计维度在各历史时段的历史活跃度进行分析,确定符合所述统计维度在各历史时段的历史活跃度的规律特征;
通过各统计维度的规律特征,预测各统计维度在各预测时段的预测每秒交易量TPS,将各统计维度中相同预测时段的预测TPS进行叠加,得到所述业务系统在各预测时段的叠加预测TPS;
将所述业务系统在各预测时段的叠加预测TPS,按照转换关系转换为所述业务系统在各预测时段的可信预测TPS;其中,所述转换关系为对所述业务系统在各历史时段的叠加历史TPS和可信历史TPS的关系进行分析得到的;所述叠加历史TPS为将各统计维度中相同历史时段的历史TPS进行叠加得到的;所述可信历史TPS为对所述业务系统在各历史时段的TPS进行分析得到的;
通过所述业务系统在各预测时段的可信预测TPS,确定所述业务系统在各预测时段的服务器容量。
由于用户活跃度在不同的历史时期是会发生变化的,且在不同的统计维度中,变化规律不同,因而通过对业务系统中不同的统计维度中各历史时段的历史活跃度分别进行分析,得到各统计维度在各历史时段的历史活跃度的规律特征,从而能够更准确地预测各统计维度在各预测时段的预测TPS。再通过对不同统计维度的预测TPS进行叠加,从而进一步确定整个业务系统的叠加预测TPS,如此得到的叠加预测TPS能更加准确地反映不同的统计维度在各预测时段的变化规律。为了进一步提高预测的准确性,通过对业务系统在各历史时段的可信历史TPS和叠加历史TPS的分析,确定二者的转换关系,根据转换关系和叠加预测TPS得到可信预测TPS,如此得到的可信预测TPS的准确性更高。从而能准确地对业务系统在各预测时段的服务器容量进行预测。
可选地,所述确定单元具体用于:
将所述统计维度在各历史时段的历史TPS和在各历史时段的第一账户数的商,确定为所述统计维度在各历史时段的历史活跃度。
可选地,所述确定单元具体用于:
对所述统计维度在各历史时段的历史活跃度进行拟合,得到各预设函数对应的拟合曲线;
将各预设函数对应的拟合曲线符合预设条件的拟合曲线,确定为规律特征。
可选地,所述确定单元具体用于:
若确定不存在符合预设条件的拟合曲线,则对所述统计维度在各历史时段的历史活跃度进行区间分段;
针对任一区间分段,将所述区间分段中各历史活跃度的浮动系数确定为所述区间分段的规律特征;所述浮动系数是根据所述各历史活跃度的浮动比例确定的;所述浮动比例为所述区间分段中历史活跃度的最高值与历史活跃度的最低值的差占所述历史活跃度的最低值的比例。
可选地,所述确定单元具体用于:
通过各统计维度的规律特征,确定各统计维度在各预测时段的预测活跃度;
将所述各统计维度在各预测时段的预测活跃度与相同预测时段的第二账户数的积,确定为各统计维度在各预测时段的预测TPS。
可选地,所述确定单元具体用于:
采集所述业务系统在各历史时段的服务器性能指标,将服务器性能指标符合设定条件时所述服务器承载的TPS确定为所述服务器的单机TPS;
通过所述可信预测TPS和所述单机TPS确定所述业务系统在各预测时段的服务器容量。
可选地,所述确定单元具体用于:
根据如下公式确定服务器容量的第一范围:
其中,Tmax为所述可信预测TPS,N为所述服务器容量,s为单物理机的最大故障时间,n为单物理机上部署的服务器的台数,B单次为交易损失阈值;
在所述服务器容量的第一范围内确定所述服务器容量。
可选地,所述确定单元具体用于:
根据如下公式确定服务器容量的第二范围:
其中,L机房为所述业务系统的机房数,T单机为所述单机TPS;
在所述服务器容量的第一范围和所述服务器容量的第二范围内确定所述服务器容量。
可选地,所述确定单元具体用于:
根据如下公式确定服务器容量的第三范围:
其中,ε为所述最高负载率;
在所述服务器容量的第一范围和所述服务器容量的第三范围内确定所述服务器容量。
基于相同的技术构思,本申请实施例提供了一种计算机设备,如图9所示,包括至少一个处理器901,以及与至少一个处理器连接的存储器902,本申请实施例中不限定处理器901与存储器902之间的具体连接介质,图9中处理器901和存储器902之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中,存储器902存储有可被至少一个处理器901执行的指令,至少一个处理器901通过执行存储器902存储的指令,可以执行上述预测服务器容量的方法的步骤。
其中,处理器901是计算机设备的控制中心,可以利用各种接口和线路连接计算机设备的各个部分,通过运行或执行存储在存储器902内的指令以及调用存储在存储器902内的数据,从而进行预测服务器容量。可选的,处理器901可包括一个或多个处理单元,处理器901可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器901中。在一些实施例中,处理器901和存储器902可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器901可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器902作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器902可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器902是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器902还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
基于相同的技术构思,本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行程序,计算机可执行程序用于使计算机执行上述任一方式所列的预测服务器容量的方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种预测服务器容量的方法,其特征在于,包括:
针对业务系统中的任一统计维度,对所述统计维度在各历史时段的历史活跃度进行分析,确定符合所述统计维度在各历史时段的历史活跃度的规律特征;
通过各统计维度的规律特征,预测各统计维度在各预测时段的预测每秒交易量TPS,将各统计维度中相同预测时段的预测TPS进行叠加,得到所述业务系统在各预测时段的叠加预测TPS;由于在各统计维度中,都选取了相同预测时段的最高TPS作为该统计维度的历史TPS,而在所述业务系统正常运行时,各统计维度中相同预测时段的最高TPS往往不是同时产生的,这就会导致叠加预测TPS的值偏大;
将所述业务系统在各预测时段的叠加预测TPS,按照转换关系转换为所述业务系统在各预测时段的可信预测TPS,以对叠加预测TPS的值进行修正,得到所述可信预测TPS;其中,所述转换关系为对所述业务系统在各历史时段的叠加历史TPS和可信历史TPS的关系进行分析得到的;所述叠加历史TPS为将各统计维度中相同历史时段的历史TPS进行叠加得到的;所述可信历史TPS为对所述业务系统在各历史时段的TPS进行分析得到的;
通过所述业务系统在各预测时段的可信预测TPS,确定所述业务系统在各预测时段的服务器容量。
2.如权利要求1所述的方法,其特征在于,任一统计维度在各历史时段的历史活跃度通过如下方法得到,包括:
将所述统计维度在各历史时段的历史TPS和在各历史时段的第一账户数的商,确定为所述统计维度在各历史时段的历史活跃度。
3.如权利要求1所述的方法,其特征在于,确定符合所述统计维度在各历史时段的历史活跃度的规律特征,包括:
对所述统计维度在各历史时段的历史活跃度进行拟合,得到各预设函数对应的拟合曲线;
将各预设函数对应的拟合曲线符合预设条件的拟合曲线,确定为规律特征。
4.如权利要求3所述的方法,其特征在于,确定符合所述统计维度在各历史时段的历史活跃度的规律特征,包括:
若确定不存在符合预设条件的拟合曲线,则对所述统计维度在各历史时段的历史活跃度进行区间分段;
针对任一区间分段,将所述区间分段中各历史活跃度的浮动系数确定为所述区间分段的规律特征;所述浮动系数是根据所述各历史活跃度的浮动比例确定的;所述浮动比例为所述区间分段中历史活跃度的最高值与历史活跃度的最低值的差占所述历史活跃度的最低值的比例。
5.如权利要求1所述的方法,其特征在于,通过各统计维度的规律特征,预测各统计维度在各预测时段的预测TPS,包括:
通过各统计维度的规律特征,确定各统计维度在各预测时段的预测活跃度;
将所述各统计维度在各预测时段的预测活跃度与相同预测时段的第二账户数的积,确定为各统计维度在各预测时段的预测TPS。
6.如权利要求1-5中任一项所述的方法,其特征在于,通过所述业务系统在各预测时段的可信预测TPS,确定所述业务系统在各预测时段的服务器容量,包括:
采集所述业务系统在各历史时段的服务器性能指标,将服务器性能指标符合设定条件时所述服务器承载的TPS确定为所述服务器的单机TPS;
通过所述可信预测TPS和所述单机TPS确定所述业务系统在各预测时段的服务器容量。
7.如权利要求6所述的方法,其特征在于,通过所述可信预测TPS和所述单机TPS确定所述业务系统在各预测时段的服务器容量,包括:
根据如下公式确定服务器容量的第一范围:
其中,Tmax为所述可信预测TPS,N为所述服务器容量,s为单物理机的最大故障时间,n为单物理机上部署的服务器的台数,B单次为交易损失阈值;
在所述服务器容量的第一范围内确定所述服务器容量。
8.如权利要求7所述的方法,其特征在于,通过所述可信预测TPS和所述单机TPS确定所述业务系统在各预测时段的服务器容量,包括:
根据如下公式确定服务器容量的第二范围:
其中,L机房为所述业务系统的机房数,T单机为所述单机TPS;
在所述服务器容量的第一范围和所述服务器容量的第二范围内确定所述服务器容量。
9.如权利要求8所述的方法,其特征在于,通过所述可信预测TPS和所述单机TPS确定所述业务系统在各预测时段的服务器容量,包括:
根据如下公式确定服务器容量的第三范围:
其中,∈为最高负载率;
在所述服务器容量的第一范围和所述服务器容量的第三范围内确定所述服务器容量。
10.一种预测服务器容量的装置,其特征在于,包括:
确定单元,用于:
针对业务系统中的任一统计维度,对所述统计维度在各历史时段的历史活跃度进行分析,确定符合所述统计维度在各历史时段的历史活跃度的规律特征;
通过各统计维度的规律特征,预测各统计维度在各预测时段的预测每秒交易量TPS,将各统计维度中相同预测时段的预测TPS进行叠加,得到所述业务系统在各预测时段的叠加预测TPS;由于在各统计维度中,都选取了相同预测时段的最高TPS作为该统计维度的历史TPS,而在所述业务系统正常运行时,各统计维度中相同预测时段的最高TPS往往不是同时产生的,这就会导致叠加预测TPS的值偏大;
将所述业务系统在各预测时段的叠加预测TPS,按照转换关系转换为所述业务系统在各预测时段的可信预测TPS,以对叠加预测TPS的值进行修正,得到所述可信预测TPS;其中,所述转换关系为对所述业务系统在各历史时段的叠加历史TPS和可信历史TPS的关系进行分析得到的;所述叠加历史TPS为将各统计维度中相同历史时段的历史TPS进行叠加得到的;所述可信历史TPS为对所述业务系统在各历史时段的TPS进行分析得到的;
通过所述业务系统在各预测时段的可信预测TPS,确定所述业务系统在各预测时段的服务器容量。
11.一种计算设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行程序,所述计算机可执行程序用于使计算机执行权利要求1至9任一项所述的方法。
CN202110992903.2A 2021-08-27 2021-08-27 一种预测服务器容量的方法及装置 Active CN113703974B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110992903.2A CN113703974B (zh) 2021-08-27 2021-08-27 一种预测服务器容量的方法及装置
PCT/CN2022/100509 WO2023024679A1 (zh) 2021-08-27 2022-06-22 一种预测服务器容量的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110992903.2A CN113703974B (zh) 2021-08-27 2021-08-27 一种预测服务器容量的方法及装置

Publications (2)

Publication Number Publication Date
CN113703974A CN113703974A (zh) 2021-11-26
CN113703974B true CN113703974B (zh) 2024-06-25

Family

ID=78655669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110992903.2A Active CN113703974B (zh) 2021-08-27 2021-08-27 一种预测服务器容量的方法及装置

Country Status (2)

Country Link
CN (1) CN113703974B (zh)
WO (1) WO2023024679A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113703974B (zh) * 2021-08-27 2024-06-25 深圳前海微众银行股份有限公司 一种预测服务器容量的方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7222082B1 (en) * 2000-06-28 2007-05-22 Kronos Technology Systems Limited Partnership Business volume and workforce requirements forecaster
CN103490956A (zh) * 2013-09-22 2014-01-01 杭州华为数字技术有限公司 基于业务量预测的自适应节能控制方法及设备、系统
CN104123592B (zh) * 2014-07-15 2017-10-24 清华大学 银行后台tps交易事件趋势预测方法及系统
CN104778622A (zh) * 2015-04-29 2015-07-15 清华大学 Tps交易事件阈值的预测方法及预测系统
CN104820871B (zh) * 2015-04-30 2018-02-09 清华大学 Tps交易量预测与阈值范围预测的可视化方法与系统
CN106549772B (zh) * 2015-09-16 2019-11-19 华为技术有限公司 资源预测方法、系统和容量管理装置
CN107093096B (zh) * 2016-12-15 2022-03-25 口碑(上海)信息技术有限公司 一种业务量预测方法及装置
CN108874748A (zh) * 2018-06-01 2018-11-23 交通运输部路网监测与应急处置中心 一种etc运营指标预测方法
CN109002925A (zh) * 2018-07-26 2018-12-14 北京京东金融科技控股有限公司 业务量预测方法和装置
CN109359758A (zh) * 2018-08-03 2019-02-19 阿里巴巴集团控股有限公司 外汇交易量预测方法和装置
CN109446041B (zh) * 2018-09-25 2022-10-28 平安普惠企业管理有限公司 一种服务器压力预警方法、系统及终端设备
CN109766244A (zh) * 2019-01-04 2019-05-17 中国银行股份有限公司 一种分布式系统cpu异常检测方法、装置和存储介质
CN112633542A (zh) * 2019-09-24 2021-04-09 顺丰科技有限公司 系统性能指标预测方法、装置、服务器及存储介质
CN112583610B (zh) * 2019-09-27 2023-04-11 顺丰科技有限公司 系统状态的预测方法、装置、服务器及存储介质
CN111045907B (zh) * 2019-12-12 2020-10-09 苏州博纳讯动软件有限公司 一种基于业务量的系统容量预测方法
CN111475772B (zh) * 2020-03-27 2023-12-15 微梦创科网络科技(中国)有限公司 一种容量评估方法及装置
CN112269811A (zh) * 2020-10-13 2021-01-26 北京同创永益科技发展有限公司 一种基于业务量的it容量预测方法和系统
CN113703974B (zh) * 2021-08-27 2024-06-25 深圳前海微众银行股份有限公司 一种预测服务器容量的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
电信企业云计算数据中心容量管理;常润梅;孟利青;刘万军;;辽宁工程技术大学学报(自然科学版);20130815(第08期);全文 *
面向银行业务的交易量预测与告警研究;谭荻;段桂华;王建新;任立男;;计算机工程与应用;20180831(第12期);全文 *

Also Published As

Publication number Publication date
CN113703974A (zh) 2021-11-26
WO2023024679A1 (zh) 2023-03-02

Similar Documents

Publication Publication Date Title
CN110070461B (zh) 一种电力信息系统健康度评估方法及其评估系统
CN104811344A (zh) 网络动态业务监控方法及装置
US8396789B1 (en) Credit-approval decision models
CN112200659A (zh) 建立风控模型的方法、装置及存储介质
CN113703974B (zh) 一种预测服务器容量的方法及装置
CN116091118A (zh) 电价预测方法、装置、设备、介质及产品
CN116205355A (zh) 电力负荷的预测方法、装置以及存储介质
CN112148561A (zh) 业务系统的运行状态预测方法、装置及服务器
CN111242430A (zh) 电力设备供应商评价方法和装置
Srivastava et al. Benchmarking Indian general insurance firms
CN116185797A (zh) 预测服务器资源饱和度的方法、装置及存储介质
CN110647724A (zh) 一种加清钞模型构建方法、模型构建设备及存储介质
CN114997879B (zh) 一种支付路由方法、装置、设备和存储介质
CN113723710B (zh) 一种客户流失预测方法、系统、存储介质及电子设备
CN116011698B (zh) 机组组合确定方法、装置、计算机设备和存储介质
WO2020192866A1 (en) Structured liability risks parametrizing and forecasting system providing composite measures based on a reduced-to-the-max optimization approach and quantitative yield pattern linkage and corresponding method
US20240013188A1 (en) Computer-implemented systems and methods for payment routing
US20240013215A1 (en) Computer-implemented systems and methods for payment routing
US20240013293A1 (en) Computer-implemented systems and methods for payment routing
US20240013176A1 (en) Computer-implemented systems and methods for payment routing
KR102633684B1 (ko) 경기 상황을 자동으로 반영하는 신용 평가 모형 조정 방법 및 그 방법을 실행하는 프로그램을 저장한 기록 매체
KR102590232B1 (ko) 빅데이터 기반 인공지능을 이용한 단타매매 종목 추천 서비스 제공 시스템
CN112750022B (zh) 一种消费金融的信用压缩方法
Tufail et al. Quantifying indicators of supply risk in power generation system using risk impact matrix (PICOST)
Dhankar et al. Forecasting exchange rate

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant