CN117370135A - 基于电力应用弹性测试的超算平台性能评测方法及系统 - Google Patents
基于电力应用弹性测试的超算平台性能评测方法及系统 Download PDFInfo
- Publication number
- CN117370135A CN117370135A CN202311352512.XA CN202311352512A CN117370135A CN 117370135 A CN117370135 A CN 117370135A CN 202311352512 A CN202311352512 A CN 202311352512A CN 117370135 A CN117370135 A CN 117370135A
- Authority
- CN
- China
- Prior art keywords
- resources
- power application
- virtual container
- dock
- computing platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 58
- 238000012360 testing method Methods 0.000 title claims abstract description 52
- 230000015654 memory Effects 0.000 claims description 50
- 238000007667 floating Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 description 9
- 238000013468 resource allocation Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011234 economic evaluation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013102 re-test Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3457—Performance evaluation by simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种基于电力应用弹性测试的超算平台性能评测方法及系统，通过在超算平台上创建docker虚拟容器；初始化配置docker虚拟容器的物理硬件资源，并运行docker虚拟容器；在docker虚拟容器中安装电力应用软件和性能评测软件；运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的使用情况，找出其中的瓶颈资源和过剩资源；判断各类资源的使用情况是否趋于均衡；如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求。本发明增加了超算平台性能评测方法的灵活性。
Description
技术领域
本发明涉及电力技术领域，尤其公开了一种基于电力应用弹性测试的超算平台性能评测方法及系统。
背景技术
随着数字电网技术的不断发展，电力大数据以及大规模电力应用对计算平台提出了越来越高的要求。许多电力系统信息中心正在筹建自己的超级计算中心，或将其升级为自主可控的新型超级计算平台。
电力超算系统的建设升级过程中，不仅要关注技术先进性，也要综合考虑经济效益，形成电力业务应用在超算平台上部署运行的经济性评价体系。在基于超算平台对电力业务应用的移植部署经济性和计算运维经济性进行量化之前，需要首先能够确定超算平台自身的计算、存储和网络等性能，一方面为经济性评价提供基础参数，另一方面也为提高电力应用移植部署和计算运维的经济效益指明方向。对超算平台的性能评测可分为基准评测和实际应用评测两类。基准评测主要偏向于测试超算系统的各个部件，着重于硬件组件的性能测试，涵盖了系统的处理器、内存、磁盘和网络等主要组件性能测试。实际应用评测则是采用实际电力应用来对超算系统进行真实应用算例的性能评测。实际应用评测是衡量一个超算平台的整体性能或优化方法的重要方法，测试人员可以选取具有代表性的电力应用程序来进行测试，通过应用程序的执行时间、资源占用率等指标来衡量超算平台的性能，该评测方法基于真实的电力应用，所以其测试结果最直接，也最有效，具有普适性。
在进行实际应用评测时，一般的方法都是将电力应用直接运行在超算系统上，并且超算系统的基础算力(包括CPU核心数、缓存大小、磁盘大小等)是固定的。这些方法一定程度上反应超算系统在具体的电力应用运行过程中存在的资源短板和性能瓶颈，为优化超算平台的硬件资源结构提供了一定的指导意义。但是，它们不能快速地动态调整超算系统的硬件资源，更不能将电力应用在调整后的计算平台上进行再测试，因此无法快速地测试电力应用在资源短板被补充后的性能改进。
发明内容
本发明提供了一种基于电力应用弹性测试的超算平台性能评测方法及系统，旨在解决针对超算平台在性能评测过程中不能动态调整系统硬件资源进行弹性测试的技术问题。
本发明的一方面涉及一种基于电力应用弹性测试的超算平台性能评测方法，包括以下步骤：
在超算平台上创建docker虚拟容器；
初始化配置docker虚拟容器的物理硬件资源，并运行docker虚拟容器；
在docker虚拟容器中安装电力应用软件和性能评测软件；
运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的使用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间；
判断各类资源的使用情况是否趋于均衡；
如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对超算平台的物理硬件资源进行优化。
进一步地，判断各类资源的使用情况是否趋于均衡的步骤之后还包括：
如果各类资源的使用情况趋于不平衡时，则改变docker虚拟容器的资源配置；
如果瓶颈资源还有增大的空间时，则将瓶颈资源的资源增大N倍，重启docker虚拟容器。
进一步地，如果各类资源的使用情况不趋于平衡时，则改变docker虚拟容器的资源配置的步骤之后还包括：
如果瓶颈资源没有增大的空间时，则将过剩资源的资源减少为原来的M倍；
运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的利用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间，直至对超算平台的物理硬件资源进行优化。
进一步地，如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对超算平台的物理硬件资源进行优化的步骤中，硬件资源预估算法的一种形式是直接将超算平台的物理各类硬件资源设置为docker虚拟容器中各类硬件资源的K倍。
进一步地，如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对超算平台的物理硬件资源进行优化的步骤中，硬件资源预估算法的另一种形式是利用记录的数据进行多元多项式拟合，得出电力应用软件的运行时间与浮点运算能力、内存大小、网络IO带宽之间的函数关系式。
本发明的另一方面涉及一种基于电力应用弹性测试的超算平台性能评测系统，包括：
创建模块，用于在超算平台上创建docker虚拟容器；
第一运行模块，用于初始化配置docker虚拟容器的物理硬件资源，并运行docker虚拟容器；
安装模块，用于在docker虚拟容器中安装电力应用软件和性能评测软件；
第二运行模块，用于运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的使用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间；
判断模块，用于判断各类资源的使用情况是否趋于均衡；
计算模块，用于如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对超算平台的物理硬件资源进行优化。
进一步地，基于电力应用弹性测试的超算平台性能评测系统还包括：
改变模块，用于如果各类资源的使用情况趋于不平衡时，则改变docker虚拟容器的资源配置；
增大模块，用于如果瓶颈资源还有增大的空间时，则将瓶颈资源的资源增大N倍，重启docker虚拟容器。
进一步地，基于电力应用弹性测试的超算平台性能评测系统还包括：
减少模块，用于如果瓶颈资源没有增大的空间时，则将过剩资源的资源减少为原来的M倍；
优化模块，用于运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的利用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间，直至通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对超算平台的物理硬件资源进行优化。
进一步地，计算模块中，硬件资源预估算法的一种形式是直接将超算平台的物理各类硬件资源设置为docker虚拟容器中各类硬件资源的K倍。
进一步地，计算模块中，硬件资源预估算法的另一种形式是利用记录的数据进行多元多项式拟合，得出电力应用软件的运行时间与浮点运算能力、内存大小、网络IO带宽之间的函数关系式。
本发明所取得的有益效果为：
本发明提供一种基于电力应用弹性测试的超算平台性能评测方法及系统，通过在超算平台上创建docker虚拟容器；初始化配置docker虚拟容器的物理硬件资源，并运行docker虚拟容器；在docker虚拟容器中安装电力应用软件和性能评测软件；运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的使用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间；判断各类资源的使用情况是否趋于均衡；如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对超算平台的物理硬件资源进行优化。本发明提供的基于电力应用弹性测试的超算平台性能评测方法及系统，可根据测试情况动态调整docker虚拟容器的计算资源，从而进行弹性的再测试，所取得的有益效果为：
(1)根据电力应用的资源消耗情况动态调配虚拟容器的资源限制，增加了超算平台性能评测方法的灵活性。
(2)对超算系统根据电力应用进行硬件资源配置和优化设计提供了明确的指示。
附图说明
图1为本发明提供的基于电力应用弹性测试的超算平台性能评测方法的流程示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
如图1所示，本发明第一实施例提出一种基于电力应用弹性测试的超算平台性能评测方法，包括以下步骤：
步骤S100、在超算平台上创建docker虚拟容器。
在超算平台上创建一个docker虚拟容器R。创建的docker虚拟容器R可以是基于windows或者linux操作系统。
步骤S200、初始化配置docker虚拟容器的物理硬件资源，并运行docker虚拟容器。
初始化配置docker虚拟容器R的硬件资源，并运行docker虚拟容器R。
步骤S300、在docker虚拟容器中安装电力应用软件和性能评测软件。
在docker虚拟容器R中安装电力应用软件S和性能评测软件P。电力应用软件S在不同的操作系统中需要采用相应的软件版本，或者用源代码进行重新编译后才可安装。
步骤S400、运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的使用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间。
运行docker虚拟容器R中的电力应用软件S，并通过性能评测软件P获取docker虚拟容器R中各类硬件资源的利用情况，找出其中的瓶颈资源B(即使用率最高的硬件资源，例如CPU)和过剩资源G(即使用率最低的硬件资源，例如内存)；并记录此时CPU的浮点运算能力x(以flops每秒浮点运算次数为单位)、内存大小y(以GB十亿字节为单位)、网络IO带宽z(以bps比特/秒为单位)以及电力应用软件S的运行时间a(以秒为单位)。各类硬件资源的利用情况包括CPU利用率、内存利用率和网络IO利用率等。
步骤S500、判断各类资源的使用情况是否趋于均衡。
判断各类资源的使用情况趋于均衡(即最高使用率与最低使用率的差距不超过10％)。
步骤S600、如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对超算平台的物理硬件资源进行优化。
若识别到各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，可通过硬件资源预估算法求出电力应用S对各类硬件资源的需求，据此可以对超算平台的物理硬件资源进行优化。
本实施例提供的基于电力应用弹性测试的超算平台性能评测方法，同现有技术相比，通过在超算平台上创建docker虚拟容器；初始化配置docker虚拟容器的物理硬件资源，并运行docker虚拟容器；在docker虚拟容器中安装电力应用软件和性能评测软件；运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的使用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间；判断各类资源的使用情况是否趋于均衡；如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对超算平台的物理硬件资源进行优化。本实施例提供的基于电力应用弹性测试的超算平台性能评测方法，增加了超算平台性能评测方法的灵活性，对超算系统根据电力应用进行硬件资源配置和优化设计提供了明确的指示。
进一步地，本实施例提的基于电力应用弹性测试的超算平台性能评测方法，在第一实施例的基础上，步骤S500之后还包括：
步骤S500A、如果各类资源的使用情况趋于不平衡时，则改变docker虚拟容器的资源配置。
若各类资源的使用情况趋于不平衡时(即最高使用率与最低使用率的差距超过10％)，则改变docker虚拟容器R的资源配置。
步骤S500B、如果瓶颈资源还有增大的空间时，则将瓶颈资源的资源增大N倍，重启docker虚拟容器。
若识别到瓶颈资源B还有增大的空间时，则将瓶颈资源B的资源增大N倍(N可以是非整数，N大于1)，重启docker虚拟容器。
本实施例提供的基于电力应用弹性测试的超算平台性能评测方法，同现有技术相比，如果各类资源的使用情况趋于不平衡时，则改变docker虚拟容器的资源配置；如果瓶颈资源还有增大的空间时，则将瓶颈资源的资源增大N倍，重启docker虚拟容器。本实施例提供的基于电力应用弹性测试的超算平台性能评测方法，增加了超算平台性能评测方法的灵活性，对超算系统根据电力应用进行硬件资源配置和优化设计提供了明确的指示。
优选地，本实施例提的基于电力应用弹性测试的超算平台性能评测方法，在第一实施例的基础上，步骤S500A之后还包括：
步骤S500C、如果瓶颈资源没有增大的空间时，则将过剩资源的资源减少为原来的M倍。
若识别到瓶颈资源B没有增大的空间时，则将过剩资源G的资源减少为原来的M(M可以是非整数，M小于1)倍。
步骤S500D、运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的利用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间，直至对超算平台的物理硬件资源进行优化。
改变docker虚拟容器R的资源配置后跳转到步骤S400，运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的利用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间，直至对超算平台的物理硬件资源进行优化。
本实施例提供的基于电力应用弹性测试的超算平台性能评测方法，同现有技术相比，如果瓶颈资源没有增大的空间时，则将过剩资源的资源减少为原来的M倍；运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的利用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间，直至对超算平台的物理硬件资源进行优化。本实施例提供的基于电力应用弹性测试的超算平台性能评测方法，增加了超算平台性能评测方法的灵活性，对超算系统根据电力应用进行硬件资源配置和优化设计提供了明确的指示。
进一步地，步骤S600中，硬件资源预估算法的一种形式是直接将超算平台的物理各类硬件资源设置为docker虚拟容器中各类硬件资源的K倍(K可以是非整数，N大于1)。硬件资源预估算法的另一种形式是利用记录的数据进行多元多项式拟合，得出电力应用软件的运行时间与浮点运算能力、内存大小、网络IO带宽之间的函数关系式。
电力应用软件的运行时间与浮点运算能力、内存大小、网络IO带宽之间的函数关系式如下所示：
首先，构建如下方程，记为f：
T＝(ax+by+cz+d)3 (1)
公式(1)中，T为软件的运行时间，x为浮点运算能力，y为内存大小，z为网络IO带宽；a为x的系数，b为y的系数，c为z的系数，d为常数。
然后，将记录的数据进行整理，使之成为矩阵形式。具体方法为：第一个记录结果为x1(浮点运算能力)、y1(内存大小)、z1(网络IO带宽)和t1(软件运行时间)；第二个记录结果为x2(浮点运算能力)、y2(内存大小)、z2(网络IO带宽)和t2(软件运行时间)，以此类推，第n个记录结果为xn(浮点运算能力)、yn(内存大小)、zn(网络IO带宽)和tn(软件运行时间)。利用这些数据，构建出二维矩阵：
yinb＝[x1,y1,z1；x2,y2,z2；...xn,yn,zn] (2)
公式(2)中，yinb为二维矩阵，x1为第一次记录的浮点运算能力，y1为第一次记录的内存大小，z1为第一次记录的网络IO带宽；x2为第二次记录的浮点运算能力，y2为第二次记录的内存大小，z2为第二次记录的网络IO带宽，xn为第n次记录的浮点运算能力；yn为第n次记录的内存大小；zn为第n次记录的网络IO带宽。
并构建出一维向量：
zib＝[t1,t2,...tn] (3)
公式(3)中，zib为一维向量，t1为第一次记录的软件运行时间；t2为第二次记录的软件运行时间；tn为第n次记录的软件运行时间。
由于多元多次函数的拟合是非常复杂的，本实施例采用SciPy[1,2]进行求解，从而解出系数a、b、c的值。
SciPy中，curve_fit函数可调用非线性最小二乘法进行函数拟合。用python编程语言实现的具体代码如下：
def func1(xyz,a,b,c,d)：
r＝(a*xyz[0]+b*xyz[1]+c*xyz[2]+d)**3
return r.ravel()
abcd,para＝curve_fit(func1,yinb,zib)
其中，curve_fit的参数yinb和zib为利用记录数据构建出来的二维矩阵yinb和一维向量zib。而curve_fit返回的结果abcd是长度为4的一维向量，该向量的第一个元素就是待求解的系数a，第二个元素就是待求解的系数b，第三个元素就是待求解的系数c，第四个元素就是待求解的常数d。
本实施例提供的基于电力应用弹性测试的超算平台性能评测方法，同现有技术相比，硬件资源预估算法的一种形式是直接将超算平台的物理各类硬件资源设置为docker虚拟容器中各类硬件资源的K倍，硬件资源预估算法的另一种形式是利用记录的数据进行多元多项式拟合，得出电力应用软件的运行时间与浮点运算能力、内存大小、网络IO带宽之间的函数关系式。本实施例提供的基于电力应用弹性测试的超算平台性能评测方法，增加了超算平台性能评测方法的灵活性，对超算系统根据电力应用进行硬件资源配置和优化设计提供了明确的指示。
本发明还涉及一种基于电力应用弹性测试的超算平台性能评测系统，包括创建模块、第一运行模块、安装模块、第二运行模块、判断模块和计算模块，其中，创建模块，用于在超算平台上创建docker虚拟容器；第一运行模块，用于初始化配置docker虚拟容器的物理硬件资源，并运行docker虚拟容器；安装模块，用于在docker虚拟容器中安装电力应用软件和性能评测软件；第二运行模块，用于运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的使用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间；判断模块，用于判断各类资源的使用情况是否趋于均衡；计算模块，用于如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对超算平台的物理硬件资源进行优化。
创建模块在超算平台上创建一个docker虚拟容器R。创建的docker虚拟容器R可以是基于windows或者linux操作系统。
第一运行模块初始化配置docker虚拟容器R的硬件资源，并运行docker虚拟容器R。
安装模块在docker虚拟容器R中安装电力应用软件S和性能评测软件P。电力应用软件S在不同的操作系统中需要采用相应的软件版本，或者用源代码进行重新编译后才可安装。
第二运行模块运行docker虚拟容器R中的电力应用软件S，并通过性能评测软件P获取docker虚拟容器R中各类硬件资源的利用情况，找出其中的瓶颈资源B(即使用率最高的硬件资源，例如CPU)和过剩资源G(即使用率最低的硬件资源，例如内存)；并记录此时CPU的浮点运算能力x(以flops每秒浮点运算次数为单位)、内存大小y(以GB十亿字节为单位)、网络IO带宽z(以bps比特/秒为单位)以及电力应用软件S的运行时间a(以秒为单位)。各类硬件资源的利用情况包括CPU利用率、内存利用率和网络IO利用率等。
判断模块判断各类资源的使用情况趋于均衡(即最高使用率与最低使用率的差距不超过10％)。
计算模块用于若识别到各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，可通过硬件资源预估算法求出电力应用S对各类硬件资源的需求，据此可以对超算平台的物理硬件资源进行优化。
本实施例提供的基于电力应用弹性测试的超算平台性能评测系统，同现有技术相比，采用创建模块、第一运行模块、安装模块、第二运行模块、判断模块和计算模块，通过在超算平台上创建docker虚拟容器；初始化配置docker虚拟容器的物理硬件资源，并运行docker虚拟容器；在docker虚拟容器中安装电力应用软件和性能评测软件；运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的使用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间；判断各类资源的使用情况是否趋于均衡；如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对超算平台的物理硬件资源进行优化。本实施例提供的基于电力应用弹性测试的超算平台性能评测系统，增加了超算平台性能评测方法的灵活性，对超算系统根据电力应用进行硬件资源配置和优化设计提供了明确的指示。
进一步地，本实施例提供的基于电力应用弹性测试的超算平台性能评测方法，还包括改变模块和增大模块，其中，改变模块，用于如果各类资源的使用情况趋于不平衡时，则改变docker虚拟容器的资源配置；增大模块，用于如果瓶颈资源还有增大的空间时，则将瓶颈资源的资源增大N倍，重启docker虚拟容器。
改变模块用于若各类资源的使用情况趋于不平衡时(即最高使用率与最低使用率的差距超过10％)，则改变docker虚拟容器R的资源配置。
增大模块用于若识别到瓶颈资源B还有增大的空间时，则将瓶颈资源B的资源增大N倍(N可以是非整数，N大于1)，重启docker虚拟容器。
本实施例提供的基于电力应用弹性测试的超算平台性能评测系统，同现有技术相比，如果各类资源的使用情况趋于不平衡时，则改变docker虚拟容器的资源配置；如果瓶颈资源还有增大的空间时，则将瓶颈资源的资源增大N倍，重启docker虚拟容器。本实施例提供的基于电力应用弹性测试的超算平台性能评测系统，增加了超算平台性能评测方法的灵活性，对超算系统根据电力应用进行硬件资源配置和优化设计提供了明确的指示。
进一步地，基于电力应用弹性测试的超算平台性能评测系统还包括减少模块和优化模块，其中，减少模块，用于如果瓶颈资源没有增大的空间时，则将过剩资源的资源减少为原来的M倍；优化模块，用于运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的利用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间，直至通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对超算平台的物理硬件资源进行优化。
减少模块用于若识别到瓶颈资源B没有增大的空间时，则将过剩资源G的资源减少为原来的M(M可以是非整数，M小于1)倍。
优化模块改变docker虚拟容器R的资源配置后，运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的利用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间，直至对超算平台的物理硬件资源进行优化。
本实施例提供的基于电力应用弹性测试的超算平台性能评测系统，同现有技术相比，采用减少模块和优化模块，如果瓶颈资源没有增大的空间时，则将过剩资源的资源减少为原来的M倍；运行docker虚拟容器中的电力应用软件，并通过性能评测软件获取docker虚拟容器中各类硬件资源的利用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及电力应用软件的运行时间，直至对超算平台的物理硬件资源进行优化。本实施例提供的基于电力应用弹性测试的超算平台性能评测系统，增加了超算平台性能评测方法的灵活性，对超算系统根据电力应用进行硬件资源配置和优化设计提供了明确的指示。
进一步地，计算模块中，硬件资源预估算法的一种形式是直接将超算平台的物理各类硬件资源设置为docker虚拟容器中各类硬件资源的K倍；硬件资源预估算法的另一种形式是利用记录的数据进行多元多项式拟合，得出电力应用软件的运行时间与浮点运算能力、内存大小、网络IO带宽之间的函数关系式。
电力应用软件的运行时间与浮点运算能力、内存大小、网络IO带宽之间的函数关系式如下所示：
首先，构建如下方程，记为f：
T＝(ax+by+cz+d)3 (4)
公式(4)中，T为软件的运行时间，x为浮点运算能力，y为内存大小，z为网络IO带宽；a为x的系数，b为y的系数，c为z的系数，d为常数。
然后，将记录的数据进行整理，使之成为矩阵形式。具体方法为：第一个记录结果为x1(浮点运算能力)、y1(内存大小)、z1(网络IO带宽)和t1(软件运行时间)；第二个记录结果为x2(浮点运算能力)、y2(内存大小)、z2(网络IO带宽)和t2(软件运行时间)，以此类推，第n个记录结果为xn(浮点运算能力)、yn(内存大小)、zn(网络IO带宽)和tn(软件运行时间)。利用这些数据，构建出二维矩阵：
yinb＝[x1,y1,z1；x2,y2,z2；...xn,yn,zn] (5)
公式(5)中，yinb为二维矩阵，x1为第一次记录的浮点运算能力，y1为第一次记录的内存大小，z1为第一次记录的网络IO带宽；x2为第二次记录的浮点运算能力，y2为第二次记录的内存大小，z2为第二次记录的网络IO带宽，xn为第n次记录的浮点运算能力；yn为第n次记录的内存大小；zn为第n次记录的网络IO带宽。
并构建出一维向量：
zib＝[t1,t2,...tn] (6)
公式(6)中，zib为一维向量，t1为第一次记录的软件运行时间；t2为第二次记录的软件运行时间；tn为第n次记录的软件运行时间。
由于多元多次函数的拟合是非常复杂的，本实施例采用SciPy[1,2]进行求解，从而解出系数a、b、c的值。
SciPy中，curve_fit函数可调用非线性最小二乘法进行函数拟合。用python编程语言实现的具体代码如下：
def func1(xyz,a,b,c,d)：
r＝(a*xyz[0]+b*xyz[1]+c*xyz[2]+d)**3
return r.ravel()
abcd,para＝curve_fit(func1,yinb,zib)
其中，curve_fit的参数yinb和zib为利用记录数据构建出来的二维矩阵yinb和一维向量zib。而curve_fit返回的结果abcd是长度为4的一维向量，该向量的第一个元素就是待求解的系数a，第二个元素就是待求解的系数b，第三个元素就是待求解的系数c，第四个元素就是待求解的常数d。
本实施例提供的基于电力应用弹性测试的超算平台性能评测系统，同现有技术相比，在计算模块中，硬件资源预估算法的一种形式是直接将超算平台的物理各类硬件资源设置为docker虚拟容器中各类硬件资源的K倍，硬件资源预估算法的另一种形式是利用记录的数据进行多元多项式拟合，得出电力应用软件的运行时间与浮点运算能力、内存大小、网络IO带宽之间的函数关系式。本实施例提供的基于电力应用弹性测试的超算平台性能评测系统，增加了超算平台性能评测方法的灵活性，对超算系统根据电力应用进行硬件资源配置和优化设计提供了明确的指示。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于电力应用弹性测试的超算平台性能评测方法，其特征在于，包括以下步骤：
在超算平台上创建docker虚拟容器；
初始化配置所述docker虚拟容器的物理硬件资源，并运行所述docker虚拟容器；
在所述docker虚拟容器中安装电力应用软件和性能评测软件；
运行所述docker虚拟容器中的所述电力应用软件，并通过所述性能评测软件获取所述docker虚拟容器中各类硬件资源的使用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及所述电力应用软件的运行时间；
判断各类资源的使用情况是否趋于均衡；
如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对所述超算平台的物理硬件资源进行优化。
2.如权利要求1所述的基于电力应用弹性测试的超算平台性能评测方法，其特征在于，所述判断各类资源的使用情况是否趋于均衡的步骤之后还包括：
如果各类资源的使用情况趋于不平衡时，则改变所述docker虚拟容器的资源配置；
如果瓶颈资源还有增大的空间时，则将所述瓶颈资源的资源增大N倍，重启所述docker虚拟容器。
3.如权利要求2所述的基于电力应用弹性测试的超算平台性能评测方法，其特征在于，所述如果各类资源的使用情况不趋于平衡时，则改变所述docker虚拟容器的资源配置的步骤之后还包括：
如果瓶颈资源没有增大的空间时，则将过剩资源的资源减少为原来的M倍；
运行所述docker虚拟容器中的所述电力应用软件，并通过所述性能评测软件获取所述docker虚拟容器中各类硬件资源的利用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及所述电力应用软件的运行时间，直至对所述超算平台的物理硬件资源进行优化。
4.如权利要求3所述的基于电力应用弹性测试的超算平台性能评测方法，其特征在于，所述如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对所述超算平台的物理硬件资源进行优化的步骤中，所述硬件资源预估算法的一种形式是直接将超算平台的物理各类硬件资源设置为所述docker虚拟容器中各类硬件资源的K倍。
5.如权利要求4所述的基于电力应用弹性测试的超算平台性能评测方法，其特征在于，所述如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对所述超算平台的物理硬件资源进行优化的步骤中，所述硬件资源预估算法的另一种形式是利用记录的数据进行多元多项式拟合，得出所述电力应用软件的运行时间与浮点运算能力、内存大小、网络IO带宽之间的函数关系式。
6.一种基于电力应用弹性测试的超算平台性能评测系统，其特征在于，包括：
创建模块，用于在超算平台上创建docker虚拟容器；
第一运行模块，用于初始化配置所述docker虚拟容器的物理硬件资源，并运行所述docker虚拟容器；
安装模块，用于在所述docker虚拟容器中安装电力应用软件和性能评测软件；
第二运行模块，用于运行所述docker虚拟容器中的所述电力应用软件，并通过所述性能评测软件获取所述docker虚拟容器中各类硬件资源的使用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及所述电力应用软件的运行时间；
判断模块，用于判断各类资源的使用情况是否趋于均衡；
计算模块，用于如果各类资源的使用情况趋于平衡时，则根据均衡时各类硬件资源的配置，通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对所述超算平台的物理硬件资源进行优化。
7.如权利要求6所述的基于电力应用弹性测试的超算平台性能评测系统，其特征在于，还包括：
改变模块，用于如果各类资源的使用情况趋于不平衡时，则改变所述docker虚拟容器的资源配置；
增大模块，用于如果瓶颈资源还有增大的空间时，则将所述瓶颈资源的资源增大N倍，重启所述docker虚拟容器。
8.如权利要求7所述的基于电力应用弹性测试的超算平台性能评测系统，其特征在于，还包括：
减少模块，用于如果瓶颈资源没有增大的空间时，则将过剩资源的资源减少为原来的M倍；
优化模块，用于运行所述docker虚拟容器中的所述电力应用软件，并通过所述性能评测软件获取所述docker虚拟容器中各类硬件资源的利用情况，找出其中的瓶颈资源和过剩资源，并记录此时CPU的浮点运算能力、内存大小、网络IO带宽、以及所述电力应用软件的运行时间，直至通过硬件资源预估算法求出电力应用对各类硬件资源的需求，据此对所述超算平台的物理硬件资源进行优化。
9.如权利要求8所述的基于电力应用弹性测试的超算平台性能评测系统，其特征在于，所述计算模块中，所述硬件资源预估算法的一种形式是直接将超算平台的物理各类硬件资源设置为所述docker虚拟容器中各类硬件资源的K倍。
10.如权利要求9所述的基于电力应用弹性测试的超算平台性能评测系统，其特征在于，所述计算模块中，所述硬件资源预估算法的另一种形式是利用记录的数据进行多元多项式拟合，得出所述电力应用软件的运行时间与浮点运算能力、内存大小、网络IO带宽之间的函数关系式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311352512.XA CN117370135B (zh) | 2023-10-18 | 2023-10-18 | 基于电力应用弹性测试的超算平台性能评测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311352512.XA CN117370135B (zh) | 2023-10-18 | 2023-10-18 | 基于电力应用弹性测试的超算平台性能评测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117370135A true CN117370135A (zh) | 2024-01-09 |
| CN117370135B CN117370135B (zh) | 2024-04-02 |
Family
ID=89390604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311352512.XA Active CN117370135B (zh) | 2023-10-18 | 2023-10-18 | 基于电力应用弹性测试的超算平台性能评测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117370135B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063265A (zh) * | 2014-07-04 | 2014-09-24 | 云南电网公司 | 一种虚拟资源的综合评估方法 |
| CN105245617A (zh) * | 2015-10-27 | 2016-01-13 | 江苏电力信息技术有限公司 | 一种基于容器的服务器资源供给方法 |
| CN108388472A (zh) * | 2018-03-01 | 2018-08-10 | 吉林大学 | 一种基于Docker集群的弹性任务调度系统及方法 |
| CN113032231A (zh) * | 2021-03-09 | 2021-06-25 | 中国人民解放军63660部队 | 一种虚拟化平台综合性能评估方法 |
| CN114329920A (zh) * | 2021-12-10 | 2022-04-12 | 西安电子科技大学 | 一种虚实系统联合的大规模卫星网络仿真评估及测试系统 |
| CN115408101A (zh) * | 2022-08-16 | 2022-11-29 | 浪潮卓数大数据产业发展有限公司 | 一种基于容器的软件实训系统 |
| WO2023066304A1 (zh) * | 2021-10-21 | 2023-04-27 | 中国科学技术大学 | 应用于超算集群调度的作业运行参数优化方法 |
| CN116028223A (zh) * | 2023-01-09 | 2023-04-28 | 广东电网有限责任公司 | 一种基于资源弹性的电力边缘计算专用容器引擎 |
| CN116360972A (zh) * | 2021-12-27 | 2023-06-30 | 华为技术有限公司 | 资源管理方法、装置及资源管理平台 |
-
2023
- 2023-10-18 CN CN202311352512.XA patent/CN117370135B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063265A (zh) * | 2014-07-04 | 2014-09-24 | 云南电网公司 | 一种虚拟资源的综合评估方法 |
| CN105245617A (zh) * | 2015-10-27 | 2016-01-13 | 江苏电力信息技术有限公司 | 一种基于容器的服务器资源供给方法 |
| CN108388472A (zh) * | 2018-03-01 | 2018-08-10 | 吉林大学 | 一种基于Docker集群的弹性任务调度系统及方法 |
| CN113032231A (zh) * | 2021-03-09 | 2021-06-25 | 中国人民解放军63660部队 | 一种虚拟化平台综合性能评估方法 |
| WO2023066304A1 (zh) * | 2021-10-21 | 2023-04-27 | 中国科学技术大学 | 应用于超算集群调度的作业运行参数优化方法 |
| CN114329920A (zh) * | 2021-12-10 | 2022-04-12 | 西安电子科技大学 | 一种虚实系统联合的大规模卫星网络仿真评估及测试系统 |
| CN116360972A (zh) * | 2021-12-27 | 2023-06-30 | 华为技术有限公司 | 资源管理方法、装置及资源管理平台 |
| CN115408101A (zh) * | 2022-08-16 | 2022-11-29 | 浪潮卓数大数据产业发展有限公司 | 一种基于容器的软件实训系统 |
| CN116028223A (zh) * | 2023-01-09 | 2023-04-28 | 广东电网有限责任公司 | 一种基于资源弹性的电力边缘计算专用容器引擎 |
Non-Patent Citations (3)
| Title |
|---|
| 任为;: "对基于Docker的虚拟化技术的几点探讨", 电子制作, no. 14, 15 July 2018 (2018-07-15), pages 42 - 43 * |
| 彭博;杨鹏;马志程;姚建国;: "基于Docker的ARM嵌入式平台性能评测与分析", 计算机应用, vol. 37, no. 1, 15 June 2017 (2017-06-15), pages 325 - 330 * |
| 王晓冉;王伟;陈铁南;袁鑫晨;支孟轩;: "基于容器技术的性能测试服务资源管理", 计算机应用与软件, vol. 33, no. 07, 15 July 2016 (2016-07-15), pages 5 - 9 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117370135B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8131519B2 (en) | Accuracy in a prediction of resource usage of an application in a virtual environment | |
| CN108089921B (zh) | 用于云端大数据运算架构的服务器及其运算资源最佳化方法 | |
| US8180604B2 (en) | Optimizing a prediction of resource usage of multiple applications in a virtual environment | |
| Gmach et al. | Capacity management and demand prediction for next generation data centers | |
| US8055493B2 (en) | Sizing an infrastructure configuration optimized for a workload mix using a predictive model | |
| US8793381B2 (en) | Workload adaptive cloud computing resource allocation | |
| CA3090095C (en) | Methods and systems to determine and optimize reservoir simulator performance in a cloud computing environment | |
| US8260603B2 (en) | Scaling a prediction model of resource usage of an application in a virtual environment | |
| US11748230B2 (en) | Exponential decay real-time capacity planning | |
| US10452665B2 (en) | Methods and systems to reduce time series data and detect outliers | |
| US20140019961A1 (en) | System and Method for Automated Assignment of Virtual Machines and Physical Machines to Hosts | |
| US20100082322A1 (en) | Optimizing a prediction of resource usage of an application in a virtual environment | |
| US20050102398A1 (en) | System and method for allocating server resources | |
| US8756307B1 (en) | Translating service level objectives to system metrics | |
| CN103778474A (zh) | 资源负载量预测方法、分析预测系统及业务运营监控系统 | |
| CN108205469B (zh) | 一种基于MapReduce的资源分配方法及服务器 | |
| US20200125411A1 (en) | Detection, modeling and application of memory bandwith patterns | |
| US20160124773A1 (en) | Method and system that measures and reports computational-resource usage in a data center | |
| CN115269108A (zh) | 一种数据处理方法、装置及设备 | |
| CN112181664A (zh) | 负载均衡方法及装置、计算机可读存储介质及电子设备 | |
| US20110191094A1 (en) | System and method to evaluate and size relative system performance | |
| CN111897706A (zh) | 服务器性能预测方法、装置、计算机系统和介质 | |
| Chiu-We et al. | A performance model of MVS | |
| Bader et al. | Reshi: Recommending resources for scientific workflow tasks on heterogeneous infrastructures | |
| CN109992408B (zh) | 一种资源分配方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |