CN103927232B - 系统处理方法 - Google Patents
系统处理方法 Download PDFInfo
- Publication number
- CN103927232B CN103927232B CN201410152528.0A CN201410152528A CN103927232B CN 103927232 B CN103927232 B CN 103927232B CN 201410152528 A CN201410152528 A CN 201410152528A CN 103927232 B CN103927232 B CN 103927232B
- Authority
- CN
- China
- Prior art keywords
- equipment
- subsystem
- response time
- handling capacity
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种系统处理方法，包括以下步骤：S1、获取系统的基本信息；S2、根据系统的基本信息选取设备并组合为待选系统；S3、建立设备求解模型以求得各设备的吞吐量；S4、建立子系统求解模型以求得位于同一架构层次中的各设备组合成的子系统的吞吐量；S5、建立系统求解模型以求得待选系统的响应时间；S6、根据所述响应时间确定所述待选系统是否符合条件；S7、输出符合条件的所述待选系统。通过采用本发明所公开的系统处理方法能够准确得到系统的资源信息，避免了资源冗余造成的浪费或者资源不足时导致系统无法正常工作的情况。
Description
技术领域
本发明涉及IT系统的容量规划领域，特别涉及一种基于流守恒规律的系统处理方法。
背景技术
近年来，云计算的发展使得资源共享和动态分配成为可能，越来越多的应用被部署到云计算环境中，它们共享基础设施中的计算资源，根据各自的需求，进一步请求和竞争计算资源。一方面，应用系统的服务质量会很大程度地引起用户满意度的变化，需要给其分配足够的计算资源以实现合适的系统性能；另一方面，应用系统不应占有过多的计算资源，以免资源浪费。因此，应用系统管理员需要能够根据业务的服务等级协议、服务请求量等，来给系统分配恰当的资源，最终实现资源的按需分配。这一过程中，管理员需要对应用系统的负载进行估计，并根据负载和系统的具体情况，对给定资源配置下的系统性能进行预测，即合理规划IT系统的容量。
Daniel A.Menase(美国计算机协会院士)提出的容量规划方法论受到了国际国内广泛的认可。其提出容量规划主要由三部分组成：负载、性能和容量。容量规划本质上就是要根据IT系统的负载和给定的性能指标(SLA)，得到系统所需要的软硬件资源量。
容量规划在描述和刻画应用系统的负载及根据系统负载和性能指标需求以得出系统需要的软硬件资源等方面存在诸多难点。且现阶段容量规划的方法与企业实际应用的相结合应用缺少实用、成熟的技术方案。因此，IT系统的软硬件资源的合理安排就成为了容量规划的关键。
发明内容
本发明所要解决的技术问题是由于缺少合理的规划等处理导致IT系统资源的浪费。
为此目的，本发明提出了一种系统处理方法，包括以下步骤：
S1、获取系统的基本信息，所述系统的基本信息包括架构层次以及系统响应时间要求；
S2、根据所述系统的基本信息选取设备并组合为待选系统；
S3、建立设备求解模型以求得各所述设备的吞吐量；
S4、建立子系统求解模型以求得位于同一架构层次中的各设备组合成的子系统的吞吐量；
S5、建立系统求解模型以求得所述待选系统的响应时间；
S6、根据所述响应时间确定所述待选系统是否符合条件，
如果所述待选系统的响应时间小于等于所述系统响应时间要求则所述待选系统符合条件，
否则，所述待选系统不符合条件；
S7、输出符合条件的所述待选系统。
优选的，所述系统的基本信息还包括：系统最大并发数、任务到达率以及各所述架构层次中的设备的数量上限需求。
优选的，所述设备求解模型为：
其中，t为各设备的响应时间，l为各设备任务等待队列长度，为各个设备在web/app/db层的吞吐量，M为当前的并发量，α为设备相应的折损率，β为设备的空转利用率，γ为业务的复杂系数，μ为理论处理速率，Ζ为计算系统的内部延时，K为设备总数，P为概率流向，下标ν为设备ν、下标j为设备j；迭代起点为
其中，α作为设备相应的折损率，即指设备在实验室理想环境下测试的性能值和真实环境下性能的折损比值，具体数据为硬件设备厂家对外公布值或经验值；β作为设备的空转利用率，即指硬件设备在仅装有操作系统情况下CPU的利用率，具体数据为硬件设备厂家对外公布值或经验值；γ为业务的复杂系数，即数据库表大小对性能的影响因子系数，取值范围建议1-3，无超大表情况下默认值为1；Ζ为计算系统的内部延时，即磁盘IO等待时间，具体数据由业务系统软件厂家工程师根据系统功能测试及性能测试给出。
优选的，所述子系统求解模型为：
其中，TIME为各子系统的响应时间；LENGTH为各子系统任务等待队列长度；ω为各子系统的吞吐量；M为当前的并发量；为各设备的吞吐量；H为子系统总数；P为概率流向，下标c为子系统c、下标s为子系统s；迭代起点为
优选的，所述待选系统求解模型为：
其中，Response time为整个系统的响应时间，Queue l ength为整个系统的等待队列长度，Throughput为整个系统的吞吐量，ω为各子系统的吞吐量，ρn为系统的处理速率，Qn为系统处在1个任务以ρn的速度正在被处理、n-1个任务正在等待的状态的概率，λ为任务到达速率，M为当前的并发量，X为网络延时，λ、n、X为步骤S1中手工输入，ω为各所述子系统的吞吐量，且因此可以计算出整个系统的响应时间Response time。
优选的，所述架构层次包括APP层以及DB层。
优选的，所述架构层次包括APP层、DB层以及WEB层。
优选的，所述待选系统的响应时间还包括网络延时。
通过采用本发明所公开的系统处理方法通过处于同一架构层次的各设备的吞吐量得出该架构层次中的子系统的吞吐量最终得到各设备组合得到的系统的响应时间，并据此输出符合要求的设备组合，从而能够准确得到系统的资源信息，避免了资源冗余造成的浪费或者资源不足时导致系统无法正常工作的情况。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本发明所公开的系统事务处理方法的流程图。
图2示出了系统逻辑架构。
具体实施方式
下面将结合附图对本发明的实施例进行详细描述。
具体的，现举例如下，结合1所示，进行以下步骤：
S1、获取系统的基本信息，所述系统的基本信息包括架构层次以及系统响应时间要求、系统最大并发数、任务到达率以及各所述架构层次中的设备的数量上限需求；
设定本实施例中系统响应时间要求为小于等于5S，系统抽象模型、系统任务类型、系统最大并发数也均由系统真实情况可知，其中，在本实施例中，最大并发量M值为192，高峰期系统任务到达速率为91个/S；系统任务到达率取月末负载最大的一天的任务到达率；系统性能取“满负荷能力-谷值能力”(其中，谷值能力代表了系统空载下的性能消耗)。
作为一种优选，本实施例中该待选系统的架构层次包括APP层和DB层。
S2、根据所述系统的基本信息选取设备并组合为待选系统；
在本实施例中即为选择APP服务器以及DB服务器，
App server用以承担在满足一定性能指标(主要是响应时间)的前提下，为系统提供最大的并发量的能力，也承担系统业务处理能力；而DB server为系统提供数据处理能力。
S3、建立设备求解模型以求得各设备的吞吐量；
具体的，设备求解模型为：
其中，t为各设备的响应时间，l为各设备任务等待队列长度，为各个设备在web/app/db层的吞吐量，M为当前的并发量，α为设备相应的折损率，β为设备的空转利用率，γ为业务的复杂系数，μ为理论处理速率，Ζ为计算系统的内部延时，K为设备总数，P为概率流向，下标ν为设备ν、下标j为设备j；迭代起点为
如下表所示，为系统收到的部分任务以及相应的占比发生率以及对应的APP服务器以及DB服务器各自对应的交易复杂系数及标准事务处理数。
由此，按照各个事务的权重进行加权，具体的，
S3.1、统计所有负载任务的发生的占比情况，量化各负载任务对应的“http请求数”、“交易复杂系数”以及“标准事务处理数”；
S3.2、加权平均各个对应“任务占比”和“http请求数”算出web层所需的吞吐量；
S3.3、加权平均各个对应“任务占比”和“交易复杂系数”算出app层所需的吞吐量；
S3.4、加权平均各个对应“任务占比”和“标准事务处理数”算出db层所需的吞吐量。
根据所选择的设备从硬件指标库中获取系统设备性能参数，上述的“硬件指标库”是针对当前主流硬件厂商的小型机、PC、刀片产品，结合TPC(事务处理性能委员会)公布的TPC-C基准值、SPEC(标准性能评估机构)公布得SPECjbb2005与SPECweb2005基准值，以及当年硬件厂商公布的产品报价整理的一份具有指导性依据的指标库；其具体内容至少包括：设备品牌、设备型号、CPU类型、CPU主频、物理CPU个数、每CPU内核数、最小内存、最大内存、SPECjbb2005基准值、SPECweb2005基准值、TPC-C基准值、折损率、价格、机器类型(小型机、PC、刀片)等。在本实施例中所选取的设备的具体的参数为：
APP服务器在SPECjbb2005基准测试条件下，处理事务的速率为：477957.564(tps)，
DB服务器在TPC-C基准测试条件下，处理事务的速率为：1330670.896(tps)，
进一步得出APP服务器和DB服务器在本实施例系统中的处理速率：
APP server：477957.564/34.69487＝13776.03/s
DB server：689298.801/0.546460614＝2435071.91/s。
S4、建立子系统求解模型以求得位于同一架构层次中的各设备组合成的子系统的吞吐量；具体的，子系统求解模型为：
其中，TIME为各子系统的响应时间；LENGTH为各子系统任务等待队列长度；ω为各子系统的吞吐量；M为当前的并发量；为各设备的吞吐量；H为子系统总数；P为概率流向，下标c为子系统c、下标s为子系统s；迭代起点为
并且，因为给出的设备是串联连接，所以最后这个子系统的吞吐量应该就是这个在M的情况下，各设备对事物的处理速率。如果各设备是并联，则该子系统的吞吐量为各设备的吞吐量之和。
由上述已知可以得到，APP层的子系统的吞吐量为：μapp＝2744，而对于DB层的子系统来说，其吞吐量为μdb＝1261388。
S5、建立系统求解模型以求得所述待选系统的响应时间；具体的，待选系统求解模型为：
其中，Response time为整个系统的响应时间，Queue length为整个系统的等待队列长度，Throughput为整个系统的吞吐量，ω为各子系统的吞吐量，ρn为系统的处理速率，Qn为系统处在1个任务以ρn的速度正在被处理、n-1个任务正在等待的状态的概率，λ为任务到达速率，M为当前的并发量，X为网络延时，λ、n、X为步骤S1中手工输入，ω为各所述子系统的吞吐量，且 因此可以计算出整个系统的响应时间Response time。
当思考时间Z＝0.5时，计算出系统响应时间＝0.5000738653387151。
S6、根据所述响应时间确定所述待选系统是否符合条件，
如果所述待选系统的响应时间小于或等于所述系统响应时间要求则所述待选系统符合条件，
否则，所述待选系统不符合条件；
结合本实施例中，将步骤S5中求得响应时间与网络延时相加后作为该待选系统的响应时间，由于该待选系统的整体响应时间远远小于最大响应时间要求，故该方案所选择的设备完全满足要求。
S7、输出符合条件的所述待选系统。
上述的步骤S3、S4均是基于MVA分析方法进行，而步骤S5主要基于流守恒规律得出。
本发明的架构层次还可以为包括APP层、DB层以及WEB层的结构，如图2所示，为该种架构层次的系统逻辑架构。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (6)
1.一种系统处理方法，其特征在于，包括以下步骤：
S1、获取系统的基本信息，所述系统的基本信息包括架构层次以及系统响应时间要求；
S2、根据所述系统的基本信息选取设备并组合为待选系统；
S3、建立设备求解模型以求得各所述设备的吞吐量；
所述设备求解模型为：
其中，t为各设备的响应时间，l为各设备任务等待队列长度，为各个设备在web/app/db层的吞吐量，M为当前的并发量，α为设备相应的折损率，β为设备的空转利用率，γ为业务的复杂系数，μ为理论处理速率，Z为计算系统的内部延时，K为设备总数，P为概率流向，下标ν为设备ν、下标j为设备j；迭代起点为
S4、建立子系统求解模型以求得位于同一架构层次中的各设备组合成的子系统的吞吐量；
S5、建立系统求解模型以求得所述待选系统的响应时间；
S6、根据所述响应时间确定所述待选系统是否符合条件，
如果所述待选系统的响应时间小于等于所述系统响应时间要求则所述待选系统符合条件，
否则，所述待选系统不符合条件；
S7、输出符合条件的所述待选系统。
2.根据权利要求1所述的系统处理方法，其特征在于，所述系统的基本信息还包括：系统最大并发数、任务到达率以及各所述架构层次中的设备的数量上限需求。
3.根据权利要求1所述的系统处理方法，其特征在于，所述子系统求解模型为：
其中，TIME为各子系统的响应时间；LENGTH为各子系统任务等待队列长度；ω为各子系统的吞吐量；M为当前的并发量；为各设备的吞吐量；H为子系统总数；P为概率流向，下标c为子系统c、下标s为子系统s；迭代起点为
4.根据权利要求3所述的系统处理方法，其特征在于，所述待选系统求解模型为：
其中，Response time为整个系统的响应时间，Queue length为整个系统的等待队列长度，Throughput为整个系统的吞吐量，ω为各子系统的吞吐量，ρn为系统的处理速率，Qn为系统处在1个任务以ρn的速度正在被处理、n-1个任务正在等待的状态的概率，λ为任务到达速率，M为当前的并发量，X为网络延时，ω为各所述子系统的吞吐量，且 因此可以计算出整个系统的响应时间Response time。
5.根据权利要求2所述的系统处理方法，其特征在于，所述架构层次包括APP层以及DB层。
6.根据权利要求2所述的系统处理方法，其特征在于，所述架构层次包括APP层、DB层以及WEB层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410152528.0A CN103927232B (zh) | 2014-04-15 | 2014-04-15 | 系统处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410152528.0A CN103927232B (zh) | 2014-04-15 | 2014-04-15 | 系统处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103927232A CN103927232A (zh) | 2014-07-16 |
| CN103927232B true CN103927232B (zh) | 2017-08-04 |
Family
ID=51145460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410152528.0A Active CN103927232B (zh) | 2014-04-15 | 2014-04-15 | 系统处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103927232B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719931A (zh) * | 2009-11-27 | 2010-06-02 | 南京邮电大学 | 一种基于多智能主体的层次式云端计算模型构建方法 |
| CN102123053A (zh) * | 2011-03-31 | 2011-07-13 | 浙江大学 | 水平分解的多类闭合分叉-汇集排队网络性能分析方法 |
| CN102681836A (zh) * | 2010-12-22 | 2012-09-19 | Sap股份公司 | 针对大量并发用户进行扩展的系统和方法 |
| CN102681899A (zh) * | 2011-03-14 | 2012-09-19 | 金剑 | 云计算服务平台的虚拟计算资源动态管理系统 |
| CN103581333A (zh) * | 2013-11-13 | 2014-02-12 | 复旦大学 | 基于前馈和反馈控制的运行时虚拟资源动态分配方法和系统 |
-
2014
- 2014-04-15 CN CN201410152528.0A patent/CN103927232B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719931A (zh) * | 2009-11-27 | 2010-06-02 | 南京邮电大学 | 一种基于多智能主体的层次式云端计算模型构建方法 |
| CN102681836A (zh) * | 2010-12-22 | 2012-09-19 | Sap股份公司 | 针对大量并发用户进行扩展的系统和方法 |
| CN102681899A (zh) * | 2011-03-14 | 2012-09-19 | 金剑 | 云计算服务平台的虚拟计算资源动态管理系统 |
| CN102123053A (zh) * | 2011-03-31 | 2011-07-13 | 浙江大学 | 水平分解的多类闭合分叉-汇集排队网络性能分析方法 |
| CN103581333A (zh) * | 2013-11-13 | 2014-02-12 | 复旦大学 | 基于前馈和反馈控制的运行时虚拟资源动态分配方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103927232A (zh) | 2014-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cheng et al. | Heterogeneity-aware workload placement and migration in distributed sustainable datacenters | |
| CN105718364B (zh) | 一种云计算平台中计算资源能力动态评估方法 | |
| CN104580306B (zh) | 一种多终端备份服务系统及其任务调度方法 | |
| CN109669774B (zh) | 硬件资源的量化方法、编排方法、装置及网络设备 | |
| CN104902001B (zh) | 基于操作系统虚拟化的Web请求负载均衡方法 | |
| CN107003887A (zh) | Cpu超载设置和云计算工作负荷调度机构 | |
| CN103401939A (zh) | 一种采用混合调度策略的负载均衡方法 | |
| CN102307133A (zh) | 一种公有云平台虚拟机调度方法 | |
| US11055139B2 (en) | Smart accelerator allocation and reclamation for deep learning jobs in a computing cluster | |
| US20120315966A1 (en) | Scheduling method and system, computing grid, and corresponding computer-program product | |
| CN104778076B (zh) | 一种云服务工作流调度方法 | |
| Zhang et al. | A statistical based resource allocation scheme in cloud | |
| AU2021291706B2 (en) | Power-performance based system management | |
| CN103425536A (zh) | 一种面向分布式系统性能测试的测试资源管理方法 | |
| Cheng et al. | Heterogeneity aware workload management in distributed sustainable datacenters | |
| CN104053179B (zh) | 一种c‑ran系统级仿真平台 | |
| CN109240795A (zh) | 一种适用于超融合it基础设施的云计算资源池模型的资源调度方法 | |
| CN103997515B (zh) | 一种分布式云中计算中心选择方法及其应用 | |
| CN112506619A (zh) | 作业处理方法、装置、电子设备、存储介质和程序产品 | |
| CN107807854A (zh) | 一种自动调度节点机的方法及渲染任务处理方法 | |
| Ataie et al. | Modeling and evaluation of dispatching policies in IaaS cloud data centers using SANs | |
| CN104598311A (zh) | 一种面向Hadoop的实时作业公平调度的方法和装置 | |
| CN105426247A (zh) | 一种hla联邦成员规划调度方法 | |
| CN103927232B (zh) | 系统处理方法 | |
| CN108270833A (zh) | 渲染云资源的自动调度方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent for invention or patent application | ||
| CB02 | Change of applicant information |
Address after: 510080 Yuexiu District, Guangzhou Dongfeng East Road, water, Kong, Kong, No. 8, No. 6, building eighteen Applicant after: GUANGDONG POWER GRID CO., LTD. INFORMATION CENTER Applicant after: BN Company Address before: 510080 Yuexiu District, Guangzhou Dongfeng East Road, water, Kong, Kong, No. 8, No. 6, building eighteen Applicant before: Information Center of Guangdong Power Grid Corporation Applicant before: BN Company |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: INFORMATION CENTER OF GUANGDONG POWER GRID CORP.? TO: INFORMATION CENTER OF GUANGDONG POWER GRID CO., LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |