CN110888792A - 一种节约政务服务器资源和并发性能提升的有效评估方法 - Google Patents

一种节约政务服务器资源和并发性能提升的有效评估方法 Download PDF

Info

Publication number
CN110888792A
CN110888792A CN202010001120.9A CN202010001120A CN110888792A CN 110888792 A CN110888792 A CN 110888792A CN 202010001120 A CN202010001120 A CN 202010001120A CN 110888792 A CN110888792 A CN 110888792A
Authority
CN
China
Prior art keywords
server
performance
resources
project
test data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010001120.9A
Other languages
English (en)
Inventor
王知明
曹华伟
殷丽梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dahan Software Co Ltd
Original Assignee
Dahan Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dahan Software Co Ltd filed Critical Dahan Software Co Ltd
Priority to CN202010001120.9A priority Critical patent/CN110888792A/zh
Publication of CN110888792A publication Critical patent/CN110888792A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3442—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for planning or managing the needed capacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种节约政务服务器资源和并发性能提升的有效评估方法，属于评估方法技术领域，为了解决现有技术中服务器选型困难且缺乏依据，准确率不高，预留服务器过多导致资源闲置浪费，对于突然的用户大并发场景预估不足，出现性能不足，导致业务中断的问题。本发明通过收集各项性能测试数据，进行预处理，得到性能测试数据集，区分服务器类型，构建不同的估算模型，输入项目的性能需求，使得项目上服务器选型较易且有据可依，更符合系统的实际情况，更具针对性，提升了服务器配置估算的准确率，也避免出现项目上线后因服务器资源不足导致性能瓶颈或者资源过多导致闲置浪费的问题，经检验复用，该方法可减少重复劳动和节约人力成本。

Description

一种节约政务服务器资源和并发性能提升的有效评估方法
技术领域
本发明涉及一种评估方法，特别是涉及一种节约政务服务器资源和并发性能提升的有效评估方法，属于评估方法技术领域。
背景技术
随着信息化程度的不断提高，项目上目前对于性能的要求越来越高，服务器的部署也越来越复杂。集群、分布式等技术也被广泛应用于实际。在项目前期，需要对服务器资源进行快速准确的规划和选型，以适应项目的性能要求以及项目上线之后的并发场景。
现有技术的缺陷和不足：
目前项目上服务器资源的规划，服务器选型困难且缺乏依据，导致准确率不高，项目上线后因服务器资源不足导致性能瓶颈，预留服务器过多导致资源闲置浪费，对于突然的用户大并发场景预估不足，出现性能不足问题，导致业务中断。
发明内容
本发明的主要目的是解决现有技术中服务器选型困难且缺乏依据，准确率不高，预留服务器过多导致资源闲置浪费，对于突然的用户大并发场景预估不足，出现性能不足，导致业务中断的问题，而提供一种节约政务服务器资源和并发性能提升的有效评估方法。
本发明的目的可以通过采用如下技术方案达到：
一种节约政务服务器资源和并发性能提升的有效评估方法，包括如下步骤：
收集各种情况下的测试数据、对原始数据进行预处理、输入项目性能需求。
进一步的，所述收集的测试数据包含：并发用户数、在线用户数、TPS、缓存使用情况、数据库连接数占用情况、数据库容量情况、服务器CPU占用情况、内存占用情况、带宽占用情况、磁盘占用情况等。
进一步的，所述对原始数据进行预处理后得到性能测试数据集，然后构建估算模型。
进一步的，所述输入项目性能需求后，即可使用此模型快速估算出支撑所需的服务器的台数、CPU、内存、存储空间、带宽、负载均衡等配置。
本发明的有益技术效果：
本发明提供的一种节约政务服务器资源和并发性能提升的有效评估方法，本发明通过收集各种情况下的测试数据、对原始数据进行预处理、输入项目性能需求，使得服务器选型较易且有据可依，准确率提高，有效利用资源，可以预估用户突然大并发的场景，不会出现业务中断的场景。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案，下面对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
步骤1：收集各应用系统开发过程中和以往实际项目上的性能测试数据(包含并发用户数、在线用户数、TPS、服务器资源占用情况等等)，进行预处理，得到性能测试数据集，根据不同的业务，记录每个并发用户平均每分钟发起http请求数。
步骤2：区分服务器类型，分为WEB服务器、应用服务器、数据库服务器、缓存服务器、文件服务器，构建五种不同的估算模型。
WEB服务器估算模型：
输入项为：并发用户数/在线用户数/每日PV数(全部转化为并发用户数)、冗余系数、服务器每核的TPM(服务器厂商提供，如无则使用我们的经验值)、页面大小、页面http请求数、网站预估信息条数(基于用户历史数据，如无则使用我们的经验值)、预估每条信息大小(基于用户历史数据，如无则使用我们的经验值)。
得到的数据项：CPU的每分钟在线事务处理量、并发连接占用内存、外网带宽占用、磁盘存储空间占用大小、磁盘读取速率。
根据得到的数据项换算出：服务器所需CPU核数、服务器所需内存大小、所需外网带宽大小、所需磁盘空间大小、所需磁盘IO。
应用服务器估算模型：
输入项为：并发用户数/在线用户数/每日PV数(全部转化为并发用户数)、冗余系数、服务器每核的TPM(服务器厂商提供，如无则使用我们的经验值)、业务占用带宽、业务http请求数、预估数据条数(基于用户历史数据，如无则使用我们的经验值)、预估每条数据大小(基于用户历史数据，如无则使用我们的经验值)。
得到的数据项：CPU的每分钟在线事务处理量、并发连接占用内存、外网带宽占用、磁盘存储空间占用大小、磁盘读取速率。
根据得到的数据项换算出：服务器所需CPU核数、服务器所需内存大小、所需外网带宽大小、所需磁盘空间大小、所需磁盘IO。
数据库服务器估算模型：
输入项为：数据库并发连接数、冗余系数、服务器每核的TPM(服务器厂商提供，如无则使用我们的经验值)、业务数据库请求数、预估数据条数(基于用户历史数据，如无则使用我们的经验值)、预估每条数据大小(基于用户历史数据，如无则使用我们的经验值)、数据库备份系数。
得到的数据项：CPU的每分钟在线事务处理量、数据库连接占用内存、磁盘存储空间占用大小、磁盘读取速率。
根据得到的数据项换算出：服务器所需CPU核数、服务器所需内存大小、所需磁盘空间大小、所需磁盘IO。
缓存服务器估算模型：
输入项为：缓存并发连接数、冗余系数、服务器每核的TPM(服务器厂商提供，如无则使用我们的经验值)、业务缓存请求数(读、写)、预估缓存条数(基于用户历史数据，如无则使用我们的经验值)、预估每条缓存大小(基于用户历史数据，如无则使用我们的经验值)。
得到的数据项：CPU的每分钟在线事务处理量、缓存连接占用内存、磁盘存储空间占用大小、磁盘读取速率。
根据得到的数据项换算出：服务器所需CPU核数、服务器所需内存大小、所需磁盘空间大小、所需磁盘IO。
文件服务器估算模型：
输入项为：冗余系数、服务器每核的TPM(服务器厂商提供，如无则使用我们的经验值)、业务文件读写速率、预估文件个数(基于用户历史数据，如无则使用我们的经验值)、预估每个文件大小(基于用户历史数据，如无则使用我们的经验值)。
得到的数据项：CPU的每分钟在线事务处理量、占用内存、磁盘存储空间占用大小、磁盘读取速率。
根据得到的数据项换算出：服务器所需CPU核数、服务器所需内存大小、所需磁盘空间大小、所需磁盘IO。
步骤3：输入项目的性能需求，使用此模型估算出支撑所需的服务器的台数、CPU、内存、存储空间、带宽、负载均衡等配置。
在本实施例中，通过收集各应用系统开发过程中和以往实际项目上的性能测试数据，进行预处理，得到性能测试数据集，区分服务器类型，构建不同的估算模型，输入项目的性能需求，使用此模型估算出支撑所需的服务器的台数、CPU、内存、存储空间、带宽、负载均衡等配置。为服务器规划提供了具体的量化依据，避免简单的“拍脑袋”式规划，解决了项目上服务器选型困难且缺乏依据的问题，更符合系统的实际情况，更具针对性，提升了服务器配置估算的准确率，也避免出现项目上线后因服务器资源不足导致性能瓶颈或者资源过多导致闲置浪费的问题，经检验复用，可减少重复劳动和节约人力成本。
以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。

Claims (4)

1.一种节约政务服务器资源和并发性能提升的有效评估方法，其特征在于，包括如下步骤：
收集各种情况下的测试数据、对原始数据进行预处理、输入项目性能需求。
2.根据权利要求1所述的一种节约政务服务器资源和并发性能提升的有效评估方法，其特征在于，所述收集的测试数据包含：并发用户数、在线用户数、TPS、缓存使用情况、数据库连接数占用情况、数据库容量情况、服务器CPU占用情况、内存占用情况、带宽占用情况、磁盘占用情况等。
3.根据权利要求1所述的一种节约政务服务器资源和并发性能提升的有效评估方法，其特征在于，所述对原始数据进行预处理后得到性能测试数据集，然后构建估算模型。
4.根据权利要求1所述的一种节约政务服务器资源和并发性能提升的有效评估方法，其特征在于，所述输入项目性能需求后，即可使用此模型快速估算出支撑所需的服务器的台数、CPU、内存、存储空间、带宽、负载均衡等配置。
CN202010001120.9A 2020-01-02 2020-01-02 一种节约政务服务器资源和并发性能提升的有效评估方法 Pending CN110888792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010001120.9A CN110888792A (zh) 2020-01-02 2020-01-02 一种节约政务服务器资源和并发性能提升的有效评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010001120.9A CN110888792A (zh) 2020-01-02 2020-01-02 一种节约政务服务器资源和并发性能提升的有效评估方法

Publications (1)

Publication Number Publication Date
CN110888792A true CN110888792A (zh) 2020-03-17

Family

ID=69753510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010001120.9A Pending CN110888792A (zh) 2020-01-02 2020-01-02 一种节约政务服务器资源和并发性能提升的有效评估方法

Country Status (1)

Country Link
CN (1) CN110888792A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374076A (zh) * 2008-10-06 2009-02-25 中国移动通信集团设计院有限公司 一种电信业务支撑系统服务器处理能力预测与规划方法
CN106250206A (zh) * 2016-07-27 2016-12-21 云南电网有限责任公司信息中心 一种基于虚拟机的资源池化自动测算方法
CN106293931A (zh) * 2015-06-23 2017-01-04 北京神州泰岳软件股份有限公司 一种分配服务器资源的方法和装置
CN109412829A (zh) * 2018-08-30 2019-03-01 华为技术有限公司 一种资源配置的预测方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374076A (zh) * 2008-10-06 2009-02-25 中国移动通信集团设计院有限公司 一种电信业务支撑系统服务器处理能力预测与规划方法
CN106293931A (zh) * 2015-06-23 2017-01-04 北京神州泰岳软件股份有限公司 一种分配服务器资源的方法和装置
CN106250206A (zh) * 2016-07-27 2016-12-21 云南电网有限责任公司信息中心 一种基于虚拟机的资源池化自动测算方法
CN109412829A (zh) * 2018-08-30 2019-03-01 华为技术有限公司 一种资源配置的预测方法及设备

Similar Documents

Publication Publication Date Title
CN106327055B (zh) 一种基于大数据技术的电力费控方法及系统
CN104391737B (zh) 云平台中负载平衡的优化方法
CN109240946A (zh) 数据的多级缓存方法及终端设备
CN111198918B (zh) 基于大数据平台的数据处理系统及链路优化方法
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
CN104462432A (zh) 自适应的分布式计算方法
TW201737113A (zh) 任務調度方法和裝置
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN104407926A (zh) 一种云计算资源的调度方法
CN111737325A (zh) 一种基于大数据技术的电力数据分析方法和装置
CN113238714A (zh) 基于历史监测数据的磁盘容量预测方法及系统、存储介质
CN112905677B (zh) 数据处理方法及装置、业务处理系统和计算机设备
CN110096339B (zh) 一种基于系统负载实现的扩缩容配置推荐系统及方法
CN103685544A (zh) 一种基于性能预估的客户端缓存分配方法和系统
CN109165207B (zh) 基于Hadoop的饮用水海量数据存储管理方法和系统
CN117519608A (zh) 一种以Hadoop为核心的大数据服务器
CN106230944A (zh) 一种基于云计算机系统的高峰访问的运行装置
JP3844933B2 (ja) データベースサーバ処理方法
CN107194712B (zh) 共享账户变动信息记录方法及装置、内部账户补账方法及系统
CN110888792A (zh) 一种节约政务服务器资源和并发性能提升的有效评估方法
CN108183870B (zh) 一种基于云成熟度的云数据中心资源调度共享方法及系统
CN115993932A (zh) 数据处理方法、装置、存储介质以及电子设备
CN111858070B (zh) 计算资源配置方法、装置、设备以及存储介质
CN113626383A (zh) 一种数据处理方法、装置及设备
CN115147183A (zh) 基于云平台的芯片资源管理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200317