CN110008099B - 一种数据中心性能测试的方法及装置 - Google Patents

一种数据中心性能测试的方法及装置 Download PDF

Info

Publication number
CN110008099B
CN110008099B CN201910175930.3A CN201910175930A CN110008099B CN 110008099 B CN110008099 B CN 110008099B CN 201910175930 A CN201910175930 A CN 201910175930A CN 110008099 B CN110008099 B CN 110008099B
Authority
CN
China
Prior art keywords
overhead
platform
parallel
matrix multiplication
multiplication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910175930.3A
Other languages
English (en)
Other versions
CN110008099A (zh
Inventor
李辉
陈小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Star Net Ruijie Networks Co Ltd
Original Assignee
Beijing Star Net Ruijie Networks Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Star Net Ruijie Networks Co Ltd filed Critical Beijing Star Net Ruijie Networks Co Ltd
Priority to CN201910175930.3A priority Critical patent/CN110008099B/zh
Publication of CN110008099A publication Critical patent/CN110008099A/zh
Application granted granted Critical
Publication of CN110008099B publication Critical patent/CN110008099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供一种数据中心性能测试的方法及装置。所述方法包括：在所述数据中心的计算集群中部署并行矩阵乘法平台；获取所述并行矩阵乘法平台的时间开销参数，根据所述并行矩阵乘法平台对应的并行乘法作业开销、所述时间开销参数和测试矩阵，确定所述计算集群的理论计算时长；在所述计算集群中输入所述测试矩阵，运行所述并行矩阵乘法平台，获取所述计算集群的实际计算时长；比较所述理论计算时长和所述实际计算时长，确定所述数据中心的性能测试结果。本发明实施例实现了对数据中心CPU、网络基础设施性能的测试，解决了数据中心性能分析作业执行时间问题，进一步保证了数据中心数据传输中性能的稳定性。

Description

一种数据中心性能测试的方法及装置
技术领域
本发明实施例涉及互联网技术领域，具体涉及一种数据中心性能测试的方法及装置。
背景技术
随着信息技术的发展，对于数据中心的处理能力、数据安全等的需求快速增长。目前对于数据中心的性能测试主要包括：服务器稳定性测试，测试服务器稳定性一般是通过外接测试设备与待测服务器相连，例如通过该外接测试设备监测在服务器连续多次开/关机的测试中是否出现异常，并以此来确定该服务器是否稳定。
然而，数据中心CPU、网络基础设施等的性能评估也是不可忽略的重要指标，因此如何对数据中心进行性能测试成为亟待解决的重要课题。
发明内容
针对现有技术中的缺陷，本发明实施例提供了一种数据中心性能测试的方法及装置。
第一方面，本发明实施例提供一种数据中心性能测试的方法，包括：
在所述数据中心的计算集群中部署并行矩阵乘法平台；
获取所述并行矩阵乘法平台的时间开销参数，根据所述并行矩阵乘法平台对应的并行乘法作业开销、所述时间开销参数和测试矩阵，确定所述计算集群的理论计算时长；
在所述计算集群中输入所述测试矩阵，运行所述并行矩阵乘法平台，获取所述计算集群的实际计算时长；
比较所述理论计算时长和所述实际计算时长，确定所述数据中心的性能测试结果。
如上述方法，可选地，所述获取并行矩阵乘法平台的时间开销参数，包括：
获取所述并行矩阵乘法平台的平均调度开销、通信调度开销和浮点计算开销。
如上述方法，可选地，根据下述步骤确定所述并行矩阵乘法平台对应的并行乘法作业开销：
根据所述并行矩阵乘法平台的平均调度开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的作业调度开销；根据所述并行矩阵乘法平台的通信调度开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的广播开销和回滚开销；根据所述并行矩阵乘法平台的浮点计算开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的计算开销；；
根据所述作业调度开销、广播开销、回滚开销和计算开销，确定所述并行矩阵乘法平台对应的并行乘法作业开销。
如上述方法，可选地，所述并行矩阵乘法平台为：微软并行软件平台Dryad平台；
相应地，所述方法还包括：获取所述Dryad平台的磁盘调度开销；
相应地，根据下述公式(1)确定所述Dryad平台对应的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述平均调度开销，Tio为所述磁盘调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，m为每个计算节点处理的子矩阵边长，且/>其中，M为所述测试矩阵的边长。
如上述方法，可选地，所述并行矩阵乘法平台为：信息传递接口MPI平台；
相应地，根据下述公式(2)确定所述MPI平台对应的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述平均调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，M为所述测试矩阵的边长。
第二方面，本发明实施例提供一种数据中心性能测试的装置，包括：
初始化模块，用于在所述数据中心的计算集群中部署并行矩阵乘法平台；
计算模块，用于获取所述并行矩阵乘法平台的时间开销参数，根据所述并行矩阵乘法平台对应的并行乘法作业开销、所述时间开销参数和测试矩阵，确定所述计算集群的理论计算时长；
测试模块，用于在所述计算集群中输入所述测试矩阵，运行所述并行矩阵乘法平台，获取所述计算集群的实际计算时长；
判断模块，用于比较所述理论计算时长和所述实际计算时长，确定所述数据中心的性能测试结果。
如上述装置，可选地，所述计算模块用于获取并行矩阵乘法平台的时间开销参数时，包括：
获取所述并行矩阵乘法平台的平均调度开销、磁盘调度开销、通信调度开销和浮点计算开销。
如上述装置，可选地，所述计算模块还用于根据下述步骤确定所述并行矩阵乘法平台对应的作业开销：
根据所述并行矩阵乘法平台的平均调度开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的作业调度开销；根据所述并行矩阵乘法平台的通信调度开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的广播开销和回滚开销；根据所述并行矩阵乘法平台的浮点计算开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的计算开销；；
根据所述作业调度开销、广播开销、回滚开销和计算开销，确定所述并行矩阵乘法平台对应的并行乘法作业开销。
如上述装置，可选地，所述并行矩阵乘法平台为：微软并行软件平台Dryad平台；
相应地，所述计算模块还用于：获取所述Dryad平台的磁盘调度开销；
相应地，所述计算模块具体用于：根据下述公式(1)确定所述Dryad平台对应的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述平均调度开销，Tio为所述磁盘调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，m为每个计算节点处理的子矩阵边长，且/>其中，M为所述测试矩阵的边长。
如上述装置，可选地，所述并行矩阵乘法平台为：信息传递接口MPI平台；
相应地，所述计算模块具体用于：根据下述公式(2)确定所述MPI平台对应的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述平均调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，M为所述测试矩阵的边长。
本发明实施例提供的数据中心性能测试的方法，通过部署并行矩阵乘法平台，根据并行矩阵乘法平台的数学模型的理论计算时长与采集到的实际计算时长的结果，确定数据中心的性能测试结果，实现了对数据中心CPU、网络基础设施性能的测试，解决了数据中心性能分析作业执行时间问题，进一步保证了数据中心数据传输中性能的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据中心性能测试的方法流程示意图；
图2为本发明实施例提供的数据中心性能测试的装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的数据中心性能测试的方法流程示意图，如图1所示，该方法包括：
步骤S11、在所述数据中心的计算集群中部署并行矩阵乘法平台；
具体地，考虑到并行矩阵乘法是数据中心的一种重要的计算应用，因此可以通过并行矩阵乘法进行性能建模，通过并行矩阵乘法的数学模型来判断数据中心CPU、网络基础设施的性能。
目前正处在数据爆炸时代，信息的高速增长要求专门领域技术的软件处理大量的数据。为了满足大数据挑战，许多分布式架构模型被提出来：例如：MapReduce(映射-归约)、迭代MapReduce、图处理和数据流图处理等模型。应用程序的性能建模不仅可以被用来预测某一应用的作业执行时间，还可以被用来测量平台计算软件的性能指标。
首先，选择需要使用的并行矩阵乘法平台，然后在数据中心搭建数学模型，将数据中心的网络环境设置为集群模式，以便进行并行矩阵乘法运算，在计算集群中部署并行矩阵乘法平台，具体地，在计算集群的每个计算节点安装并行矩阵乘法平台。
步骤S12、获取所述并行矩阵乘法平台的时间开销参数，根据所述并行矩阵乘法平台对应的并行乘法作业开销、所述时间开销参数和测试矩阵，确定所述计算集群的理论计算时长；
具体地，部署完并行矩阵乘法平台之后，获取并行矩阵乘法平台的时间开销参数，这些时间开销参数用于计算并行矩阵乘法的理论计算时长。由于矩阵乘法的计算开销是矩阵边长的立方，而内存开销是矩阵边长的平方，并行矩阵乘法的任务可以被平均分割为任务量相等的小矩阵乘法。因此并行矩阵乘法的计算时长还与测试矩阵相关，将获取到的时间开销参数、测试矩阵的边长信息，代入到并行矩阵乘法平台对应的并行乘法作业开销，计算出计算集群的理论计算时长T1。其中，并行矩阵乘法平台对应的并行乘法作业开销是预先通过分析后确定的数学模型。
步骤S13、在所述计算集群中输入所述测试矩阵，运行所述并行矩阵乘法平台，获取所述计算集群的实际计算时长；
具体地，在计算集群中输入该测试矩阵，运行并行矩阵乘法平台，将测试矩阵均分成多个小矩阵，在每个计算节点对小矩阵进行并行乘法计算，计算结束后，获取计算集群计算该矩阵乘法的实际计算时长T2。
步骤S14、比较所述理论计算时长和所述实际计算时长，确定所述数据中心的性能测试结果。
具体地，比较理论计算时长T1和实际计算时长T2，如果程序运行结果符合数学模型给出预测结果，即T1-T2的绝对值小于预设阈值，则数据中心CPU、网络基础设施性能良好；如果程序运行结果不符合数学模型给出预测结果，则数据中心CPU、网络基础设施性能可能出现问题，需要进一步检查，排除问题。
本发明实施例提供的数据中心性能测试的方法，通过部署并行矩阵乘法平台，根据并行矩阵乘法平台的数学模型的理论计算时长与采集到的实际计算时长的结果，确定数据中心的性能测试结果，实现了对数据中心CPU、网络基础设施性能的测试，解决了数据中心性能分析作业执行时间问题，进一步保证了数据中心数据传输中性能的稳定性。
在上述实施例的基础上，进一步地，所述获取并行矩阵乘法平台的时间开销参数，包括：
获取所述并行矩阵乘法平台的作业调度开销、通信调度开销和浮点计算开销。
根据下述步骤确定所述并行矩阵乘法平台对应的并行乘法作业开销：
根据所述并行矩阵乘法平台的平均调度开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的作业调度开销；根据所述并行矩阵乘法平台的通信调度开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的广播开销和回滚开销；根据所述并行矩阵乘法平台的浮点计算开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的计算开销；；
根据所述作业调度开销、广播开销、回滚开销和计算开销，确定所述并行矩阵乘法平台对应的并行乘法作业开销。
具体地，并行矩阵乘法的任务可以被平均分割为任务量相等的小矩阵乘法，假设计算集群中包括N个计算节点，则采用Select操作符来启动N个并行矩阵乘法计算任务，每个任务是并行乘法程序的“broadcast-multiply-rollup(广播-计算-回滚)”的一个步骤。其中，启动计算任务的时间中包括并行矩阵乘法平台调度一个任务的平均调度开销，这一时间包含了并行矩阵乘法平作业调度器和HPC高性能计算集群任务调度器的互相访问的开销，还有并行矩阵乘法平台通过文件管道进行消息通信的开销。当N个并行矩阵乘法任务开始运行后，计算程序就开始运行“broadcast-multiply-rollup”并行程序算法步骤。因此，并行矩阵乘法平台的并行乘法作业开销应当为作业调度开销、广播开销、回滚开销与计算开销之和。其中作业调度开销为平均调度开销的N倍，平均调度开销、通信调度开销可以通过编写相应的函数进行获取，例如，通过Send,Recv函数获取并行矩阵乘法平台发送和接收1byte数据所用时长，将该时长作为并行矩阵乘法平台的通信调度开销。浮点计算开销可以根据计算集群的计算频率进行确定，此处不再赘述。其中确定并行矩阵乘法平台对应的计算并行矩阵乘法的作业调度开销、广播开销、回滚开销和计算开销与各个并行矩阵乘法平台密切相关，后续实施例将详细分析。通过分析并行矩阵乘法的过程，进一步提高了数据中心性能测试的正确率。
在上述各实施例的基础上，进一步地，所述并行矩阵乘法平台为：微软并行软件平台Dryad平台；
相应地，所述方法还包括：获取所述Dryad平台的磁盘调度开销；
相应地，根据下述公式(1)确定所述Dryad平台对应的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述作业调度开销，Tio为所述磁盘调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，m为每个计算节点处理的子矩阵边长，且/>其中，M为所述测试矩阵的边长。
具体地，编程模型被提出来运用到很多应用程序，并且吸引了很多来自分布式系统社区的研究热情，这是因为其易用性和处理大数据时的高效率。然而，MapReduce也有它的限制，例如，它不能高效的处理多组异构的数据，也不能高效的处理迭代的数据。微软并行软件平台Dryad平台的提出解决了上述的问题，Dryad是一个数据流处理软件，它将程序建模为数据在进程之间的流动。实际上，关于数据流图软件计算平台的性能建模分析工作的正变得越来越重要。
具体地，为了简化Dryad分析模型，假设数据中心计算集群的计算节点数量N是自然数的平方，即为正整数，测试矩阵为M*M的矩阵，将测试矩阵分割运行在/>个计算节点组成的矩阵网络里面，每个子矩阵的大小为m*m,/>
在Dryad并行乘法程序中，采用Select操作符来启动个Dryad计算任务，每个任务是并行乘法程序的“broadcast-multiply-rollup(广播-计算-回滚)”的一个步骤，并行矩阵乘法的作业平均调度开销Cost1为：
Tscheduling是Dryad软件调度一个任务的平均调度开销，这一时间包含了Dryad作业调度器和HPC集群任务调度器的互相访问的开销，还有Dryad通过文件管道进行消息通信的开销。
当个Dryad任务开始运行后，计算程序就开始运行“broadcast-multiply-rollup”并行程序算法步骤。在broadcast步骤，/>个任务被分割为/>个行广播组，每个组包含/>个任务。为Dryad使用胖树算法来广播，用/>个串行步骤来广播m*m数据，这些数据属于同一行组，数据被从一个任务广播到另外的/>任务上去。基于以上分析，广播一个m*m子矩阵到/>个Dryad任务的开销为：
其中Cost2为广播单个任务开销，Tstartup是消息的启动时间开销。Tio+Tcomm是在两个Dryad节点间传输一个矩阵元素所花的时间开销，Tio为磁盘调度开销，Tcomm为所述通信调度开销，因此，安装Dryad平台后，还需要获取磁盘调度开销，可以通过实验测量得到。将Tio包含进开销中，因为Dryad通常通过网络文件来传递消息，实验数据显示，IO占到Dryad点到点通信开销的40％左右。
为了建立更精确的分析模型，需要进一步分析并行矩阵乘法的计算开销和通信开销重叠的部分。在矩阵乘法进行的阶段，当输入数据接收完毕，用户定义的矩阵乘函数会被立即调用，而不用等到整个消息广播函数运行完毕。因此部分线程的计算步骤会和其它线程的通信步骤有重叠。在理想的执行环境下，单一线程的个迭代步骤所花的通信开销分别为0,m2*(Tio+Tcomm),/>综合考虑上述因素，定义单一线程的广播子矩阵的平均开销为Cost3：
操作“rollup”可以在Dryad任务中并行完成，只要网络带宽能够满足数据传输要求，因此，在部署Dryad平台时，需要确保网络带宽能够满足数据传输需求，单一任务的回滚开销Cost4为：
Cost4＝Tstartup+m2*(Tio+Tcomm)公式(6)
操作“multiply”计算两个子矩阵乘法的开销(包括乘法开销和加法开销)，记为单一任务的计算开销Cost5：
Cost5＝2*m3*Tflops公式(7)
其中，Tflops为浮点计算开销，可通过计算集群的频率计算得到。
在将上述所有开销相加得到矩阵乘法作业总开销之前，发现作业平均调度开销Cost1远远大于消息的启动开销所以将消息启动开销从最后的总开销中删除。由此，将上述Cost1、Cost3、Cost4和Cost5相加并乘以/>得到并行矩阵乘法作业使用Dryad平台的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述作业调度开销，Tio为所述磁盘调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，m为每个计算节点处理的子矩阵边长，且/>其中，M为所述测试矩阵的边长。
确定了Dryad平台的并行乘法作业开销之后，就可在安装Dryad平台之后，获取对应的开销参数，根据公式(1)计算出数据中心计算集群的理论计算时长，然后通过测试得到实际计算时长，通过比较两者的结果，确定数据中心的性能测试结果。由于对数学模型进行了科学合理的分析，进一步提高了数据中心性能测试的正确率。
在上述各实施例的基础上，进一步地，所述并行矩阵乘法平台为：信息传递接口MPI平台；
相应地，根据下述公式(2)确定所述MPI平台对应的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述作业调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，M为所述测试矩阵的边长。
具体地，在实际应用中，还可以为计算集群部署信息传递接口MPI平台。MPI和Dryad两种软件实现并行矩阵乘法区别主要在于广播子矩阵到个子任务中。MPI采用的是二叉树算法来实现广播操作，root进程发送的消息次数为/>N是参与计算的进程数，即计算节点数。相应的，MPI的广播操作开销为/>MPI矩阵乘法的广播子矩阵的平均开销Cost3′为：
将Cost3′替换掉公式(1)中Cost3，得到采用MPI进行并行矩阵乘法作业的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述平均调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，M为所述测试矩阵的边长。
确定了MPI平台的并行乘法作业开销之后，就可在安装MPI平台之后，获取对应的开销参数，根据公式(2)计算出数据中心计算集群的理论计算时长，然后通过测试得到实际计算时长，通过比较两者的结果，确定数据中心的性能测试结果。由于对数学模型进行了科学合理的分析，进一步提高了数据中心性能测试的正确率。
基于同样的发明构思，本发明实施例还提供一种数据中心性能测试的装置，图2为本发明实施例提供的数据中心性能测试的装置的结构示意图，如图2所示，该装置包括：初始化模块21、计算模块22、测试模块23和判断模块24，其中：
初始化模块21用于在所述数据中心的计算集群中部署并行矩阵乘法平台；计算模块22用于获取所述并行矩阵乘法平台的时间开销参数，根据所述并行矩阵乘法平台对应的并行乘法作业开销、所述时间开销参数和测试矩阵，确定所述计算集群的理论计算时长；测试模块23用于在所述计算集群中输入所述测试矩阵，运行所述并行矩阵乘法平台，获取所述计算集群的实际计算时长；判断模块24用于比较所述理论计算时长和所述实际计算时长，确定所述数据中心的性能测试结果。
进一步地，所述计算模块用于获取并行矩阵乘法平台的时间开销参数时，包括：
获取所述并行矩阵乘法平台的平均调度开销、磁盘调度开销、通信调度开销和浮点计算开销。
进一步地，所述计算模块还用于根据下述步骤确定所述并行矩阵乘法平台对应的作业开销：
根据所述并行矩阵乘法平台的平均调度开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的作业调度开销；根据所述并行矩阵乘法平台的通信调度开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的广播开销和回滚开销；根据所述并行矩阵乘法平台的浮点计算开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的计算开销；；
根据所述作业调度开销、广播开销、回滚开销和计算开销，确定所述并行矩阵乘法平台对应的并行乘法作业开销。
进一步地，所述并行矩阵乘法平台为：微软并行软件平台Dryad平台；
相应地，所述计算模块还用于：获取所述Dryad平台的磁盘调度开销；
相应地，所述计算模块具体用于：根据下述公式(1)确定所述Dryad平台对应的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述平均调度开销，Tio为所述磁盘调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，m为每个计算节点处理的子矩阵边长，且/>其中，M为所述测试矩阵的边长。
进一步地，所述并行矩阵乘法平台为：信息传递接口MPI平台；
相应地，所述计算模块具体用于：根据下述公式(2)确定所述MPI平台对应的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述平均调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，M为所述测试矩阵的边长。
本发明实施例提供的装置，用于实现上述方法，其功能具体参照上述方法实施例，此处不再赘述。
本发明实施例提供的数据中心性能测试的装置，通过部署并行矩阵乘法平台，根据并行矩阵乘法平台的数学模型的理论计算时长与采集到的实际计算时长的结果，确定数据中心的性能测试结果，实现了对数据中心CPU、网络基础设施性能的测试，解决了数据中心性能分析作业执行时间问题，进一步保证了数据中心数据传输中性能的稳定性。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的各实施例技术方案的范围。

Claims (6)

1.一种数据中心性能测试的方法，其特征在于，包括：
在所述数据中心的计算集群中部署并行矩阵乘法平台；
获取所述并行矩阵乘法平台的时间开销参数，根据所述并行矩阵乘法平台对应的并行乘法作业开销、所述时间开销参数和测试矩阵，确定所述计算集群的理论计算时长；
在所述计算集群中输入所述测试矩阵，运行所述并行矩阵乘法平台，获取所述计算集群的实际计算时长；
比较所述理论计算时长和所述实际计算时长，确定所述数据中心的性能测试结果；
所述获取并行矩阵乘法平台的时间开销参数，包括：
获取所述并行矩阵乘法平台的平均调度开销、通信调度开销和浮点计算开销；
根据下述步骤确定所述并行矩阵乘法平台对应的并行乘法作业开销：
根据所述并行矩阵乘法平台的平均调度开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的作业调度开销；根据所述并行矩阵乘法平台的通信调度开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的广播开销和回滚开销；根据所述并行矩阵乘法平台的浮点计算开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的计算开销；根据所述作业调度开销、广播开销、回滚开销和计算开销，确定所述并行矩阵乘法平台对应的并行乘法作业开销。
2.根据权利要求1所述的方法，其特征在于，所述并行矩阵乘法平台为：微软并行软件平台Dryad平台；
相应地，所述方法还包括：获取所述Dryad平台的磁盘调度开销；
相应地，根据下述公式(1)确定所述Dryad平台对应的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述平均调度开销，Tio为所述磁盘调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，m为每个计算节点处理的子矩阵边长，且/>其中，M为所述测试矩阵的边长。
3.根据权利要求1所述的方法，其特征在于，所述并行矩阵乘法平台为：信息传递接口MPI平台；
相应地，根据下述公式(2)确定所述MPI平台对应的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述平均调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，M为所述测试矩阵的边长。
4.一种数据中心性能测试的装置，其特征在于，包括：
初始化模块，用于在所述数据中心的计算集群中部署并行矩阵乘法平台；
计算模块，用于获取所述并行矩阵乘法平台的时间开销参数，根据所述并行矩阵乘法平台对应的并行乘法作业开销、所述时间开销参数和测试矩阵，确定所述计算集群的理论计算时长；
测试模块，用于在所述计算集群中输入所述测试矩阵，运行所述并行矩阵乘法平台，获取所述计算集群的实际计算时长；
判断模块，用于比较所述理论计算时长和所述实际计算时长，确定所述数据中心的性能测试结果；
所述计算模块用于获取并行矩阵乘法平台的时间开销参数时，包括：
获取所述并行矩阵乘法平台的平均调度开销、磁盘调度开销、通信调度开销和浮点计算开销；所述计算模块还用于根据下述步骤确定所述并行矩阵乘法平台对应的作业开销：
根据所述并行矩阵乘法平台的平均调度开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的作业调度开销；根据所述并行矩阵乘法平台的通信调度开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的广播开销和回滚开销；根据所述并行矩阵乘法平台的浮点计算开销确定所述并行矩阵乘法平台对应的计算并行矩阵乘法的计算开销；
根据所述作业调度开销、广播开销、回滚开销和计算开销，确定所述并行矩阵乘法平台对应的并行乘法作业开销。
5.根据权利要求4所述的装置，其特征在于，所述并行矩阵乘法平台为：微软并行软件平台Dryad平台；
相应地，所述计算模块还用于：获取所述Dryad平台的磁盘调度开销；
相应地，所述计算模块具体用于：根据下述公式(1)确定所述Dryad平台对应的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述平均调度开销，Tio为所述磁盘调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，m为每个计算节点处理的子矩阵边长，且/>其中，M为所述测试矩阵的边长。
6.根据权利要求4所述的装置，其特征在于，所述并行矩阵乘法平台为：信息传递接口MPI平台；
相应地，所述计算模块具体用于：根据下述公式(2)确定所述MPI平台对应的并行乘法作业开销：
其中，T(N)为所述并行乘法作业开销，N为所述计算集群中的计算节点数，且为正整数，Tscheduling为所述平均调度开销，Tcomm为所述通信调度开销，Tflops为所述浮点计算开销，M为所述测试矩阵的边长。
CN201910175930.3A 2019-03-08 2019-03-08 一种数据中心性能测试的方法及装置 Active CN110008099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910175930.3A CN110008099B (zh) 2019-03-08 2019-03-08 一种数据中心性能测试的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910175930.3A CN110008099B (zh) 2019-03-08 2019-03-08 一种数据中心性能测试的方法及装置

Publications (2)

Publication Number Publication Date
CN110008099A CN110008099A (zh) 2019-07-12
CN110008099B true CN110008099B (zh) 2023-09-26

Family

ID=67166661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910175930.3A Active CN110008099B (zh) 2019-03-08 2019-03-08 一种数据中心性能测试的方法及装置

Country Status (1)

Country Link
CN (1) CN110008099B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2657842A1 (en) * 2012-04-23 2013-10-30 Fujitsu Limited Workload optimization in a multi-processor system executing sparse-matrix vector multiplication
CN106470242A (zh) * 2016-09-07 2017-03-01 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
CN108958999A (zh) * 2018-06-13 2018-12-07 郑州云海信息技术有限公司 一种测试gpu浮点运算性能的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2657842A1 (en) * 2012-04-23 2013-10-30 Fujitsu Limited Workload optimization in a multi-processor system executing sparse-matrix vector multiplication
CN106470242A (zh) * 2016-09-07 2017-03-01 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
CN108958999A (zh) * 2018-06-13 2018-12-07 郑州云海信息技术有限公司 一种测试gpu浮点运算性能的方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
云计算环境中任务调度策略;王海涛等;《信息通信技术》;20151215(第06期);全文 *
基于基准测试的高性能计算云研究;李春艳等;《计算机科学》;20131215(第12期);全文 *
高性能计算集群的Linpack测试及其在大数据中的应用;韩菲等;《计算机与现代化》;20150515(第05期);全文 *

Also Published As

Publication number Publication date
CN110008099A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
Shi et al. Performance modeling and evaluation of distributed deep learning frameworks on gpus
EP2879055B1 (en) System and method facilitating performance prediction of multi-threaded application in presence of resource bottlenecks
US11055139B2 (en) Smart accelerator allocation and reclamation for deep learning jobs in a computing cluster
US20180248934A1 (en) Method and System for a Scheduled Map Executor
EP2335151A1 (en) Method and system for sharing performance data between different information technology product/solution deployments
CN112106023B (zh) 卸载服务器和卸载程序
US9400731B1 (en) Forecasting server behavior
US9471383B2 (en) Task allocation in a computing environment
CN109614227A (zh) 任务资源调配方法、装置、电子设备及计算机可读介质
CN112379935B (zh) Spark性能优化控制方法、装置、设备及存储介质
CN109558248B (zh) 一种用于确定面向海洋模式计算的资源分配参数的方法及系统
CN113342500B (zh) 任务执行方法、装置、设备及存储介质
CN117909044A (zh) 面向异构计算资源的深度强化学习协同调度方法及装置
Liu et al. Optimizing scientific data transfer on globus with error-bounded lossy compression
Bosque et al. A parallel computational model for heterogeneous clusters
Martyshkin et al. Queueing Theory to Describe Adaptive Mathematical Models of Computational Systems with Resource Virtualization and Model Verification by Similarly Configured Virtual Server
Sato et al. Access-pattern and bandwidth aware file replication algorithm in a grid environment
CN110008099B (zh) 一种数据中心性能测试的方法及装置
CN110928659B (zh) 一种具有自适应功能的数值水池系统远程多平台接入方法
CN110362387B (zh) 分布式任务的处理方法、装置、系统和存储介质
CN113296907B (zh) 一种基于集群的任务调度处理方法、系统和计算机设备
KR101694307B1 (ko) 디스크 캐쉬 효과를 극대화하는 워크플로우 작업 스케줄링 장치 및 방법
CN113609168A (zh) 数据导出方法、装置、终端以及可读存储介质
Hu et al. Reloca: Optimize resource allocation for data-parallel jobs using deep learning
Kecskemeti et al. Towards efficient virtual appliance delivery with minimal manageable virtual appliances

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant