CN117234859A - 一种性能事件监控方法、装置、设备和存储介质 - Google Patents
一种性能事件监控方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN117234859A CN117234859A CN202311511068.1A CN202311511068A CN117234859A CN 117234859 A CN117234859 A CN 117234859A CN 202311511068 A CN202311511068 A CN 202311511068A CN 117234859 A CN117234859 A CN 117234859A
- Authority
- CN
- China
- Prior art keywords
- performance
- event
- performance event
- monitoring
- events
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 194
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- IZQMRNMMPSNPJM-UHFFFAOYSA-N 2-[(3-hydroxypyridine-2-carbonyl)amino]acetic acid Chemical compound OC(=O)CNC(=O)C1=NC=CC=C1O IZQMRNMMPSNPJM-UHFFFAOYSA-N 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052594 sapphire Inorganic materials 0.000 description 1
- 239000010980 sapphire Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种性能事件监控方法、装置、设备和存储介质。主要技术方案包括:通过获取硬件平台支持运行的性能事件列表,根据性能事件列表,获取性能事件列表中性能事件的监控信息,根据监控信息,对性能事件进行分类,得到性能事件分组,根据性能事件分组,自动监控硬件平台支持运行的性能事件,能够全面、准确地判断应用程序在硬件平台运行的性能瓶颈。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种性能事件监控方法、装置、设备和存储介质。
背景技术
现代处理器都集成了性能计数器(Performance Monitor Unit,PMU),其能够收集应用程序、操作系统以及处理器性能信息,这些信息可以帮助确认应用程序或操作系统内热点,分析软件运行瓶颈。PMU具有监控过程中额外开销较低,对目标应用干扰较小等优点,并且能够同时记录多个微架构性能事件特征。
目前Linux系统内通过性能监控工具perf等可以对PMU监控事件进行读写,从而实现对用户运行程序性能进行监控。在Linux系统内常用的性能监控工具perf中,将性能监控指标分为了软件指标和硬件指标。对于一些常用的性能分析工具,如Intel Vtune、PAPI、TAU等,在新硬件平台运行时需要用户指定性能事件,无法对平台支持的性能监控事件进行判断与分类。对于使用者来说,在不同厂商的不同型号处理器上对软件进行性能分析时,需要参考硬件厂商提供的软件手册了解当前硬件平台支持的性能事件,用户无法确认在程序执行过程中需要监控的性能指标,导致无法准确判断程序在新平台运行过程中的性能瓶颈。
发明内容
基于此,本申请提供了一种性能事件监控方法、装置、设备和存储介质,以全面、准确地判断应用程序在硬件平台运行的性能瓶颈。
第一方面,提供一种性能事件监控方法,该方法包括:
获取硬件平台支持运行的性能事件列表;
根据性能事件列表,获取性能事件列表中性能事件的监控信息;
根据监控信息,对性能事件进行分类,得到性能事件分组;
根据性能事件分组,自动监控硬件平台支持运行的性能事件。
根据本申请实施例中一种可实现的方式,根据性能事件列表,获取性能事件列表中性能事件的监控信息,包括:
响应于用户发送的测试请求信息,启动中央处理器的运行;
在中央处理器处于运行状态下,监控性能事件列表中的每个性能事件,得到每个性能事件的监控信息。
根据本申请实施例中一种可实现的方式,每次监控性能事件的个数与硬件平台部署的性能计数器的个数相同,性能事件列表中性能事件的个数与每次监控性能事件的个数的比值为循环监控的次数。
根据本申请实施例中一种可实现的方式,根据监控信息,对性能事件进行分类,得到性能事件分组,包括:
根据监控信息,计算性能事件列表中性能事件之间的相关系数;
根据相关系数构造事件相关矩阵;
根据事件相关矩阵,对性能事件进行分类,得到性能事件分组。
根据本申请实施例中一种可实现的方式,监控信息包括每个性能事件在监控周期内的监控值;根据监控信息,计算性能事件列表中性能事件之间的相关系数,包括:
对每个性能事件在监控周期内的监控值进行归一化处理,得到每个性能事件的归一化序列值;
根据归一化序列值,计算每个性能事件的频域序列值;
根据频域序列值,计算性能事件列表中性能事件之间的相关系数。
根据本申请实施例中一种可实现的方式,根据事件相关矩阵,对性能事件进行分类,得到性能事件分组,包括:
确定事件相关矩阵中的最大相关系数对应的第一性能事件和第二性能事件为第一事件组和第二事件组的一级事件;
分别计算剩余性能事件与第一性能事件和第二性能事件的相似系数,剩余性能事件为性能事件列表中除第一性能事件和第二性能事件之外的性能事件;
将与第一性能事件的相似系数最大的第一剩余性能事件确定为第一事件组的二级事件,将与第二性能事件的相似系数最大的第二剩余性能事件确定为第二事件组的二级事件;
依次类推,直至计算剩余性能事件中的性能事件与事件组中性能事件的最大相关系数超过预设阈值,停止分类,得到性能事件分组。
根据本申请实施例中一种可实现的方式,根据性能事件分组,自动监控硬件平台支持运行的性能事件,包括:
监控性能事件分组中多个事件组的预设级别事件,得到监控结果代表值;
根据监控结果代表值,搜索热点性能事件;
根据热点性能事件,判断应用程序的性能瓶颈。
根据本申请实施例中一种可实现的方式,根据热点性能事件,判断性能瓶颈,包括:
根据热点性能事件,确定目标事件组;
监控目标事件组中的预设级别事件,判断应用程序的性能瓶颈。
根据本申请实施例中一种可实现的方式,根据性能事件分组,自动监控硬件平台支持运行的性能事件,包括:
监控性能事件分组中满足预设条件的事件组中所有性能事件,判断应用程序的性能瓶颈。
根据本申请实施例中一种可实现的方式,该方法还包括:
通过预设命令获取中央处理器的型号,在性能事件数据库中查找中央处理器的型号对应的性能事件列表。
根据本申请实施例中一种可实现的方式,该方法还包括:
当在性能事件数据库中未查找到中央处理器的型号时,向用户终端发送反馈信息,反馈信息用于表示不支持在当前平台进行自动监控性能操作。
根据本申请实施例中一种可实现的方式,该方法还包括:
将监控信息按照csv格式保存在结果文件中,将每组性能事件保存在单个json文件中。
第二方面,提供了一种性能事件监控装置,该装置应用于硬件平台,该装置包括:性能事件分类模块和自动性能监控模块,性能事件分类模块包括性能事件获取单元、事件监控结果获取单元和性能事件分类单元;
性能事件获取单元,用于获取硬件平台支持运行的性能事件列表;
事件监控信息获取单元,用于根据性能事件列表,获取性能事件列表中性能事件的监控信息;
性能事件分类单元,用于根据监控信息,对性能事件进行分类,得到性能事件分组;
自动性能监控模块,用于根据性能事件分组,自动监控硬件平台支持运行的性能事件。
第三方面,提供了一种计算机设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机指令,所述计算机指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述第一方面中涉及的方法。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述计算机指令用于使计算机执行上述第一方面中涉及的方法。
根据本申请实施例所提供的技术内容,通过获取硬件平台支持运行的性能事件列表,根据性能事件列表,获取性能事件列表中性能事件的监控信息,根据监控信息,对性能事件进行分类,得到性能事件分组,根据性能事件分组,自动监控硬件平台支持运行的性能事件,能够全面、准确地判断应用程序在硬件平台运行的性能瓶颈。
附图说明
图1为一个实施例中性能事件监控方法的应用环境图;
图2为一个实施例中性能事件监控方法的流程示意图;
图3为一个实施例中性能事件监控装置的结构框图;
图4为一个实施例中计算机设备的示意性结构图。
具体实施方式
以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
由于不同厂家制造处理器部件与流水线不同,PMU单元个数与支持监控性能事件也有较大差别。即使是同一厂家,在不同型号设备上支持的性能监控事件也有较大差异。随着处理器集成度越来越高,指令流水线越复杂,PMU支持的性能事件个数也越来越多。在目前Intel、AMD等主流处理器中,其发布软件手册内支持的性能事件多达200多种,而PMU支持的性能事件个数多达数万种,但是每个核心包含的PMU单元个数仅有个位数,远少于其所支持性能事件个数。对于硬件支持的所有性能监控事件,Linux系统内并没有对应的监控说明文档,用户在使用时无法了解当前硬件所支持的所有性能事件或是每个事件所支持性能指标具体含义。
在使用Linux系统内的Perf工具对性能事件监控时,也可以通过多重复用方法,在有限的PMU单元中运行过程中多次编程性能事件从而获得更多性能指标结果。这种监控方法获得性能监控结果并不准确,由于不同指标并非在同一时刻时间获得结果,可能会有性能瓶颈分析错误情况。
为了解决现有技术问题,本申请实施例提供了一种性能事件监控方法、装置、设备及计算机存储介质。
为了方便理解,首先对本申请所适用的系统进行描述。本申请提供的性能事件监控方法,可以应用于如图1所示的系统架构中。其中,终端110通过网络与服务器120通过网络进行通信。服务器120获取硬件平台支持运行的性能事件列表,根据所述性能事件列表,获取所述性能事件列表中性能事件的监控信息,根据所述监控信息,对所述性能事件进行分类,得到性能事件分组,根据所述性能事件分组,自动监控所述硬件平台支持运行的性能事件。其中,终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑,服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
下面对本申请实施例所提供的性能事件监控方法进行介绍。图2示出了本申请一个实施例提供的性能事件监控方法的流程示意图。如图2所示,该方法可以包括以下步骤:
S210,获取硬件平台支持运行的性能事件列表。
性能事件为影响中央处理器运行的性能指标,例如指令数、浮点计算速度。同一硬件平台的多个性能事件可以组成一个性能事件列表或者多个性能事件列表。每个硬件平台支持运行的性能事件列表可以预先保存在性能事件数据库中。
当监控新硬件平台上的应用程序或操作系统时,从性能事件数据库中获取当前硬件平台支持运行的所有性能事件列表,该性能事件列表包括硬件平台支持运行的所有性能事件。
S220,根据性能事件列表,获取性能事件列表中性能事件的监控信息。
根据性能事件列表确定需要监控的性能事件,通过性能监控工具perf获取性能事件列表中性能事件的监控信息。监控信息包括性能事件的监控值、监控结果和性能事件相关参数,其中,监控结果包括满足监控条件和不满足监控条件,性能事件相关参数包括事件编号、掩码编号和性能事件名称等。在perf运行过程中,需要输入同时待监控性能事件的性能事件相关参数。
S230,根据监控信息,对性能事件进行分类,得到性能事件分组。
根据监控信息对性能事件按照自顶向下方法进行分类。首先,对性能事件的监控值进行归一化处理,接着,根据归一化后的监控值计算性能事件之间的相关系数,基于相关系数构造事件相关矩阵。根据性能事件之间的相关系数在事件相关矩阵中的位置划分性能事件的类别,得到性能事件分组。性能事件分组包括至少一个事件组,每个事件组中的性能事件也有其对应的事件类别。
根据性能事件的相关性进行分组可以有效辅助用户分析当前硬件平台需要监控的典型性能事件,并判断主要性能瓶颈。
S240,根据性能事件分组,自动监控硬件平台支持运行的性能事件。
在获得性能事件分组之后,可以同时对多个事件组中的部分性能事件进行监控,判断出热点性能事件,也可以对单个性能事件组中的所有性能事件进行监控,确认具体性能热点,或者先对多个事件组中的部分性能事件进行监控,判断出大致的性能瓶颈,根据该性能瓶颈有针对性地监控单个性能事件组中的所有性能事件,确定该性能瓶颈中的具体性能热点。
可以看出,本申请实施例通过获取硬件平台支持运行的性能事件列表,根据性能事件列表,获取性能事件列表中性能事件的监控信息,根据监控信息,对性能事件进行分类,得到性能事件分组,根据性能事件分组,自动监控硬件平台支持运行的性能事件,能够全面、准确地判断应用程序在硬件平台运行的性能瓶颈。
下面对上述方法流程中的各步骤进行详细描述。首先结合实施例对上述S220“根据性能事件列表,获取性能事件列表中性能事件的监控信息”进行详细描述。
作为一种可实现的方式,响应于用户发送的测试请求信息,启动中央处理器的运行;
在中央处理器处于运行状态下,监控性能事件列表中的每个性能事件,得到每个性能事件的监控信息。
硬件平台预先安装有基准测试软件HPCG和性能监控工具perf,当接收到用户通过终端设备发送的测试请求信息时,HPCG自动开始执行测试。其中,测试请求信息可以包括中央处理器的型号、请求事项、预设条件等信息。HPCG的软件部署和测试采用如下脚本自动执行:
#!/bin/bash
# unzip file
unzip hpcg-master.zip
# step into hpcg folder
cd hpcg-master
# build target
cp Make.MPI_ICPC Make.Linux
./configure Linux
make
# run target
mpirun –n $(nproc) ./xhpcg
响应于用户发送的测试请求信息,HPCG启动中央处理器的运行,性能计数器PMU开始监控中央处理器,判断中央处理器在每个周期的运行状态是否符合监控条件,如果符合每隔一段时间读取下PMU值,得到监控信息。
在中央处理器处于运行状态下,使用perf监控应用程序运行过程中各个性能事件的监控信息。通过perf可以获取性能事件列表中的每个性能事件由PMU监控生成的监控信息。
perf运行过程中,需要输入同时监控的性能事件相关参数,包括事件编号eventX、掩码编号umaskX和性能事件名称nameX等,其运行脚本如下所示:
$ perf stat -e cpu/event=<event1>,umask=<umask1>,name=<name1>/ \
-e cpu/event=<event2>,umask=<umask2>,name=<name2>/ \
……
-e cpu/event=<eventX>,umask=<umaskX>,name=<nameX>/ -C0 -I1000
需要说明的是,每次监控性能事件的个数与硬件平台部署的性能计数器的个数相同,性能事件列表中性能事件的个数与每次监控性能事件的个数的比值为循环监控的次数。
在监控过程中,同时监控性能事件的个数Nu按照当前硬件平台PMU个数相同,可以确保监控性能事件的准确性。性能事件列表中性能事件的个数Np与每次监控性能事件的个数Nu的比值Np/Nu为循环监控的次数,也就是HPCG运行次数。
结合实施例对上述S230 “根据监控信息,对性能事件进行分类,得到性能事件分组”进行详细描述。
作为一种可实现的方式,根据监控信息,计算性能事件列表中性能事件之间的相关系数;
根据相关系数构造事件相关矩阵;
根据事件相关矩阵,对性能事件进行分类,得到性能事件分组。
其中,监控信息包括每个性能事件在监控周期内的监控值,监控值表示性能事件在监控周期内发生的次数,监控周期可以为设置为1s,每个监控周期对应一个监控值,在一个时间段内监控性能事件列表中的每个性能事件,可以得到每个性能事件的监控值序列,可以表示为、/>,其中,x t 表示一个性能事件在第t个周期内的监控值,y t 表示另一个性能事件在第t个周期内的监控值,T表示监控周期的总个数。
具体地,根据监控信息,计算性能事件列表中性能事件之间的相关系数的过程包括:
对每个性能事件在监控周期内的监控值进行归一化处理,得到每个性能事件的归一化序列值;
根据归一化序列值,计算每个性能事件的频域序列值;
根据频域序列值,计算性能事件列表中性能事件之间的相关系数。
通过以下公式对每个性能事件在监控周期内的监控值进行归一化处:x’ t= (x t -min(x t ) )/(max(x t )-min(x t ) )(1)
其中,x’ t 表示性能事件在第t个周期内的归一化值,x t 表示性能事件在第t个周期内的监控值,min(x t )表示性能事件的监控值序列中最小监控值,max(x t )表示性能事件的监控值序列中最大监控值。
在得到归一化序列值后,通过以下公式计算每个性能事件的频域序列值: (2)
其中, 表示性能事件的频域序列值,x’ t 表示性能事件在第t个周期内的归一化值,T表示监控周期的总个数,λ k 表示对应频域编号。
根据每两个性能事件对应的频域序列值,通过以下公式计算性能事件列表中性能事件之间的相关系数:(3)
其中,(X T ,Y T )表示两个性能事件之间的相关系数,X T 表示一个性能事件的监控值序列,Y T 表示另一个性能事件的监控值序列,T表示监控周期的总个数,表示一个性能事件的频域序列值,/>表示另一个性能事件的频域序列值,k表示循环变量。
在得到性能事件列表中每两个性能事件之间的相关系数之后,构造事件相关矩阵D p (i,j)=d p (X T ,Y T ),i表示第i个性能事件,j表示第j个性能事件。
在得到事件相关矩阵之后,根据事件相关矩阵对性能事件进行分组的步骤包括:
确定事件相关矩阵中的最大相关系数对应的第一性能事件和第二性能事件为第一事件组和第二事件组的一级事件;
分别计算剩余性能事件与第一性能事件和第二性能事件的相似系数,剩余性能事件为性能事件列表中除第一性能事件和第二性能事件之外的性能事件;
将与第一性能事件的相似系数最大的第一剩余性能事件确定为第一事件组的二级事件,将与第二性能事件的相似系数最大的第二剩余性能事件确定为第二事件组的二级事件;
依次类推,直至计算剩余性能事件中的性能事件与事件组中性能事件的最大相关系数超过预设阈值,停止分类,得到性能事件分组。
在事件相关矩阵中找到数值最大的相关系数,确定该相关系数对应的两个性能事件,其中一个性能事件定义为第一性能事件,另一个性能事件定义为第二性能事件,将第一性能事件和第二性能事件作为两个性能事件组的一级事件,其中一个性能事件组定义为第一事件组,另一个性能事件组定义为第二事件组。
分别计算剩余性能事件与第一性能事件和第二性能事件的相似系数,也就是性能事件列表中除第一性能事件和第二性能事件之外的性能事件与第一性能事件和第二性能事件的相似系数。
将与第一性能事件的相似系数最大的剩余性能事件定义为第一剩余性能事件,将与第二性能事件的相似系数最大的剩余性能事件定义为第二剩余性能事件。第一剩余性能事件划分为第一事件组,作为第一事件组的二级事件,第二剩余性能事件划分为第二事件组,作为第二事件组的二级事件。
确定二级事件之后,继续计算除一级事件和二级事件之外的剩余性能事件与第一剩余性能事件和第二剩余性能事件的相关系数,将与第一剩余性能事件的相似系数最大的剩余性能事件划分至第一事件组,作为第一事件组的三级事件,将与第二剩余性能事件的相似系数最大的剩余性能事件划分至第二事件组,作为第二事件组的三级事件。依次类推,直至计算剩余性能事件中的性能事件与事件组中性能事件的最大相关系数超过预设阈值,即,当前剩余性能事件与上一级事件的最大相关系数超过预设阈值,则停止分类,得到性能事件分组,其中,预设阈值可以根据实际需求设置,比如,0.2。重复上述步骤,直到获得不同时期内的所有性能事件分组。
结合实施例对上述S240 “根据性能事件分组,自动监控硬件平台支持运行的性能事件”进行详细描述。
作为一种可实现的方式,监控性能事件分组中多个事件组的预设级别事件,得到监控结果代表值;
根据监控结果代表值,搜索热点性能事件;
根据热点性能事件,判断应用程序的性能瓶颈。
预设级别事件为用户根据对性能事件的搜索范围确定监控的性能事件,预设级别最好设置为最高级别。
热点性能事件为对影响应用程序的性能具有决定性作用的主要性能指标。可以使用./auto_perf_scan –o<result_file>命令运行,此时会调用perf对性能事件分组中多个事件组的预设级别事件进行监控,统计监控信息中一级事件的性能指标值作为监控结果代表值。基于监控结果代表值中结合运行环境和执行的具体性能选取一些影响较大的目标代表值,搜索包含这些目标代表值的性能事件,将这些性能事件确定为热点性能事件。通过热点性能事件可以判断应用程序大致的性能瓶颈。
热点性能事件是对所有性能事件进行大范围搜索得到的,为了进一步判断具体的性能瓶颈,可以将包含热点性能事件的事件组确定为目标事件组,使用./auto_perf_analysis –n<group_id> –o<result_file>命令运行,调用perf监控目标事件组<group_id>中的预设级别事件,此处的预设级别越多越好,可以是全部级别,也可以是部分级别,以更加准确地分析应用程序的性能瓶颈。
作为另一种可实现的方式,监控性能事件分组中满足预设条件的事件组中所有性能事件,判断应用程序的性能瓶颈。
预设条件为用户根据自身经验或者需求而设置的特定条件。满足预设条件的事件组可能不是热点性能事件所在的事件组,但是用户需要分析的性能事件。调用perf搜索到满足预设条件的事件组,获取该事件组中所有性能事件的监控信息,以判断应用程序的性能瓶颈。
作为一种可实现的方式,该方法还包括:
将监控信息按照csv格式保存在结果文件中,将每组性能事件保存在单个json文件中,以便于后续监控过程分析应用程序的性能瓶颈。
作为一种可实现的方式,该方法还包括:
通过预设命令获取中央处理器的型号,在性能事件数据库中查找中央处理器的型号对应的性能事件列表;
当在性能事件数据库中未查找到中央处理器的型号时,向用户终端发送反馈信息,反馈信息用于表示不支持在当前平台进行自动监控性能操作。
预设命令为一种读取命令,可以采用lscpu命令。通过lscpu命令获取中央处理器的型号,并在性能事件数据库中查找中央处理器的型号对应的性能事件列表,得到当前硬件平台支持运行的性能事件列表。
当在性能事件数据库中未查找到中央处理器的型号时,表明不支持在当前硬件平台进行自动监控性能事件的操作,向用户终端发送反馈信息,以告知用户。
以硬件平台为英特尔第六代微处理器架构Intel SkyLake CPU为例,获取IntelSkyLake CPU支持运行的性能事件列表,性能事件列表中包括至少一个性能事件,可以包括非停机状态的机器周期数、指令有效执行次数、计数过程中消耗的指令数、一个指令消耗的时钟周期等。
根据性能事件列表,获取性能事件列表中性能事件的监控信息,根据监控信息,计算性能事件列表中性能事件之间的相关系数,并根据相关系数构造事件相关矩阵,按照自顶向下方法进行分组,得到性能事件分组。
运行./auto_perf_scan -o skylake_event.csv命令调用perf对性能事件分组进行监控,可以得到性能事件组的具体情况。命令运行后生成性能事件的监控结果,在输出文件中列举出每组性能事件及其基本信息,如下所示:
$ cat skylake_event.csv
event_grp, event_name, event_code, event_umask
1, INST_RETIRED.ANY, 00H, 01H
1, CPU_CLK_UNHALTED.THREAD, 00H, 02H
1, CPU_CLK_UNHALTED.REF_TSC, 00H, 03H
1, CPU_CLK_THREAD_UNHALTED.REF_XCLK, 3CH, 01H
1, CPU_CLK_UNHALTED.RING0_TRANS, 3CH, 00H
1, LONGEST_LAT_CACHE.MISS, 2EH, 41H
1, ARITH.DIVIDER_ACTIVE, 14H, 01H
2, BR_INST_RETIRED.ALL_BRANCHES, C4H, 00H
2, BR_MISP_RETIRED.ALL_BRANCHES, C5H, 00H
......
其中,第一列为event_grp,表示性能事件分组编号,例如,1表示第一事件组,2表示第二事件组,第二列为event_name,表示性能事件名称,第三列为event_code, event_umask第四列为event_umask,是十六进制数,表示性能事件的编号。
不同的应用程序影响其性能的指标值不同,同一应用程序不同性能的标准指标值也不同,在确定热点性能事件时需结合运行环境和执行的具体性能进行判断。可以将包含热点性能事件的事件组确定为目标事件组,根据目标事件组判断具体的性能瓶颈。
例如,第一事件组为目标事件组,在得到性能事件分组的监控结果后,运行./auto_perf_analysis skylake_event.csv -n 1 -o skylake_perf.csv命令,对第一事件组中的性能事件进行详细分析。监控结果文件内容如下所示:
$ cat skylake_perf.csv
time, events, counts
1, INST_RETIRED.ANY,380456573
1, CPU_CLK_UNHALTED.THREAD, 255838305
1, CPU_CLK_UNHALTED.REF_TSC, 380456573
1, CPU_CLK_THREAD_UNHALTED.REF_XCLK, 254798270
1, CPU_CLK_UNHALTED.RING0_TRANS, 400967658
1, LONGEST_LAT_CACHE.MISS,313243093
1, ARITH.DIVIDER_ACTIVE, 333879988
其中,第一列为time,表示性能事件的监控周期,第二列为events,表示性能事件名称,第二列为counts,表示性能事件的性能指标值。根据第一事件组中每个性能事件的性能指标值判断应用程序性能瓶颈。上述性能事件监控方法除了应用在Intel SkyLake CPU硬件平台上,还可以应用在其他型号的处理器上,例如Intel平台CascadeLake、IceLake、Sapphire Rapids,以及AMD平台Rome,Milan,Genoa等处理器型号。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本申请中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图3为本申请实施例提供的一种性能事件监控装置的结构示意图,该装置可以设置于图1所示系统中的服务器120,用以执行如图2中所示的方法流程。如图3所示,该装置可以包括:性能事件分类模块310和自动性能监控模块320,其中,性能事件分类模块310包括性能事件获取单元311、事件监控结果获取单元312和性能事件分类单元313,还可以进一步包括:查找模块、储存模块。其中各组成模块的主要功能如下:
性能事件获取单元311,用于获取硬件平台支持运行的性能事件列表;
事件监控信息获取单元312,用于根据性能事件列表,获取性能事件列表中性能事件的监控信息;
性能事件分类单元313,用于根据监控信息,对性能事件进行分类,得到性能事件分组;
自动性能监控模块320,用于根据性能事件分组,自动监控硬件平台支持运行的性能事件。
作为一种可实现的方式,事件监控信息获取单元312包括安装于硬件平台的基准测试软件和性能监控工具;
基准测试软件,用于响应于用户发送的测试请求信息,启动中央处理器的运行;
性能监控工具,用于在中央处理器处于运行状态下,监控性能事件列表中的每个性能事件,得到每个性能事件的监控信息。
作为一种可实现的方式,性能监控工具每次监控性能事件的个数与硬件平台部署的性能计数器的个数相同,性能事件列表中的每个性能事件中性能事件的个数与性能监控工具每次监控性能事件的个数的比值为性能监控工具循环监控的次数。
作为一种可实现的方式,性能事件分类单元313包括矩阵构造子单元和分类子单元;矩阵构造子单元,用于根据监控信息,计算性能事件列表中性能事件之间的相关系数,并根据相关系数构造事件相关矩阵;
分类子单元,用于根据事件相关矩阵,对性能事件进行分类,得到性能事件分组。
作为一种可实现的方式,监控信息包括每个性能事件在性能监控工具的监控周期内的监控值;矩阵构造子单元,具体用于:
对每个性能事件在监控周期内的监控值进行归一化处理,得到每个性能事件的归一化序列值;
根据归一化序列值,计算每个性能事件的频域序列值;
根据频域序列值,计算性能事件列表中性能事件之间的相关系数。
作为一种可实现的方式,分类子单元,具体用于:
确定事件相关矩阵中的最大相关系数对应的第一性能事件和第二性能事件为第一事件组和第二事件组的一级事件;
分别计算剩余性能事件与第一性能事件和第二性能事件的相似系数,剩余性能事件为性能事件列表中除第一性能事件和第二性能事件之外的性能事件;
将与第一性能事件的相似系数最大的第一剩余性能事件确定为第一事件组的二级事件,将与第二性能事件的相似系数最大的第二剩余性能事件确定为第二事件组的二级事件;
依次类推,直至计算剩余性能事件中的性能事件与事件组中性能事件的最大相关系数超过预设阈值,停止分类,得到性能事件分组。
作为一种可实现的方式,自动性能监控模块320包括性能热点搜索单元和性能热点分析单元;
性能热点搜索单元,用于监控性能事件分组中多个事件组的预设级别事件,得到监控结果代表值,并根据监控结果代表值,搜索热点性能事件。
性能热点分析单元,用于根据热点性能事件,判断应用程序的性能瓶颈。
作为一种可实现的方式,性能热点分析单元,具体用于根据热点性能事件,确定目标事件组;
监控目标事件组中的预设级别事件,判断应用程序的性能瓶颈。
作为一种可实现的方式,性能热点分析单元,还用于监控性能事件分组中满足预设条件的事件组中所有性能事件,判断应用程序的性能瓶颈。
作为一种可实现的方式,该装置还包括查找模块,用于通过预设命令获取中央处理器的型号,在性能事件数据库中查找中央处理器的型号对应的性能事件列表。
作为一种可实现的方式,查找模块,还用于当在性能事件数据库中未查找到中央处理器的型号时,向用户终端发送反馈信息,反馈信息用于表示不支持在当前平台进行自动监控性能操作。
作为一种可实现的方式,该装置还包括储存模块,用于将监控信息按照csv格式保存在结果文件中,将每组性能事件保存在单个json文件中。
根据本申请的实施例,本申请还提供了一种计算机设备、一种计算机可读存储介质。
如图4所示,是根据本申请实施例的计算机设备的框图。计算机设备旨在表示各种形式的数字计算机或移动装置。其中数字计算机可以包括台式计算机、便携式计算机、工作台、个人数字助理、服务器、大型计算机和其它适合的计算机。移动装置可以包括平板电脑、智能电话、可穿戴式设备等。
如图4所示,设备400包括计算单元401、ROM 402、 RAM 403 、总线404以及输入/输出(I/O)接口405 ,计算单元 401、ROM 402 以及 RAM 403 通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
计算单元401可以根据存储在只读存储器(ROM)402 中的计算机指令或者从存储单元408加载到随机访问存储器(RAM)403 中的计算机指令,来执行本申请方法实施例中的各种处理。计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401可以包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。在一些实施例中,本申请实施例提供的方法可被实现为计算机软件程序,其被有形地包含于计算机可读存储介质,例如存储单元408。
RAM 403还可存储设备400操作所需的各种程序和数据。计算机程序的部分或者全部可以经由ROM 802和/或通信单元409而被载入和/或安装到设备400上。
设备400中的输入单元406、输出单元407、存储单元408和通信单元409可以连接至I/O接口405。其中,输入单元406可以是诸如键盘、鼠标、触摸屏、麦克风等;输出单元407可以是诸如显示器、扬声器、指示灯等。设备400能够通过通信单元409与其他设备进行信息、数据等的交换。
需要说明的是,该设备还可以包括实现正常运行所必需的其他组件。也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件和/或它们的组合中实现。
用于实施本申请的方法的计算机指令可以采用一个或多个编程语言的任何组合来编写。这些计算机指令可以提供给计算单元401,使得计算机指令当由诸如处理器等计算单元401执行时使执行本申请方法实施例中涉及的各步骤。
本申请提供的计算机可读存储介质可以是有形的介质,其可以包含或存储计算机指令,用以执行本申请方法实施例中涉及的各步骤。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的等形式的存储介质。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (15)
1.一种性能事件监控方法,其特征在于,所述方法包括:
获取硬件平台支持运行的性能事件列表;
根据所述性能事件列表,获取所述性能事件列表中性能事件的监控信息;
根据所述监控信息,对所述性能事件进行分类,得到性能事件分组;
根据所述性能事件分组,自动监控所述硬件平台支持运行的性能事件。
2.根据权利要求1所述的方法,其特征在于,所述根据所述性能事件列表,获取所述性能事件列表中性能事件的监控信息,包括:
响应于用户发送的测试请求信息,启动中央处理器的运行;
在中央处理器处于运行状态下,监控所述性能事件列表中的每个性能事件,得到所述每个性能事件的监控信息。
3.根据权利要求2所述的方法,其特征在于,每次监控性能事件的个数与所述硬件平台部署的性能计数器的个数相同,所述性能事件列表中性能事件的个数与每次监控性能事件的个数的比值为循环监控的次数。
4.根据权利要求1所述的方法,其特征在于,所述根据所述监控信息,对所述性能事件进行分类,得到性能事件分组,包括:
根据所述监控信息,计算所述性能事件列表中性能事件之间的相关系数;
根据所述相关系数构造事件相关矩阵;
根据所述事件相关矩阵,对所述性能事件进行分类,得到性能事件分组。
5.根据权利要求4所述的方法,其特征在于,所述监控信息包括每个性能事件在监控周期内的监控值;所述根据所述监控信息,计算所述性能事件列表中性能事件之间的相关系数,包括:
对所述每个性能事件在监控周期内的监控值进行归一化处理,得到每个性能事件的归一化序列值;
根据所述归一化序列值,计算每个性能事件的频域序列值;
根据所述频域序列值,计算所述性能事件列表中性能事件之间的相关系数。
6.根据权利要求4所述的方法,其特征在于,所述根据所述事件相关矩阵,对所述性能事件进行分类,得到性能事件分组,包括:
确定所述事件相关矩阵中的最大相关系数对应的第一性能事件和第二性能事件为第一事件组和第二事件组的一级事件;
分别计算剩余性能事件与所述第一性能事件和所述第二性能事件的相似系数,所述剩余性能事件为所述性能事件列表中除第一性能事件和第二性能事件之外的性能事件;
将与所述第一性能事件的相似系数最大的第一剩余性能事件确定为所述第一事件组的二级事件,将与所述第二性能事件的相似系数最大的第二剩余性能事件确定为所述第二事件组的二级事件;
依次类推,直至计算剩余性能事件中的性能事件与事件组中性能事件的最大相关系数超过预设阈值,停止分类,得到性能事件分组。
7.根据权利要求1所述的方法,其特征在于,所述根据所述性能事件分组,自动监控所述硬件平台支持运行的性能事件,包括:
监控所述性能事件分组中多个事件组的预设级别事件,得到监控结果代表值;
根据所述监控结果代表值,搜索热点性能事件;
根据所述热点性能事件,判断应用程序的性能瓶颈。
8.根据权利要求7所述的方法,其特征在于,所述根据所述热点性能事件,判断性能瓶颈,包括:
根据所述热点性能事件,确定目标事件组;
监控所述目标事件组中的预设级别事件,判断应用程序的性能瓶颈。
9.根据权利要求1所述的方法,其特征在于,所述根据所述性能事件分组,自动监控所述硬件平台支持运行的性能事件,包括:
监控所述性能事件分组中满足预设条件的事件组中所有性能事件,判断应用程序的性能瓶颈。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过预设命令获取中央处理器的型号,在性能事件数据库中查找所述中央处理器的型号对应的性能事件列表。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
当在所述性能事件数据库中未查找到所述中央处理器的型号时,向用户终端发送反馈信息,所述反馈信息用于表示不支持在当前平台进行自动监控性能操作。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将监控信息按照csv格式保存在结果文件中,将每组性能事件保存在单个json文件中。
13.一种性能事件监控装置,其特征在于,所述装置应用于硬件平台,所述装置包括:性能事件分类模块和自动性能监控模块,所述性能事件分类模块包括性能事件获取单元、事件监控结果获取单元和性能事件分类单元;
所述性能事件获取单元,用于获取所述硬件平台支持运行的性能事件列表;
所述事件监控信息获取单元,用于根据所述性能事件列表,获取所述性能事件列表中性能事件的监控信息;
所述性能事件分类单元,用于根据所述监控信息,对所述性能事件进行分类,得到性能事件分组;
所述自动性能监控模块,用于根据所述性能事件分组,自动监控所述硬件平台支持运行的性能事件。
14.一种计算机设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机指令,所述计算机指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至12中任一项所述的方法。
15.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述计算机指令用于使计算机执行权利要求1至12中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311511068.1A CN117234859B (zh) | 2023-11-14 | 2023-11-14 | 一种性能事件监控方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311511068.1A CN117234859B (zh) | 2023-11-14 | 2023-11-14 | 一种性能事件监控方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117234859A true CN117234859A (zh) | 2023-12-15 |
CN117234859B CN117234859B (zh) | 2024-03-12 |
Family
ID=89093331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311511068.1A Active CN117234859B (zh) | 2023-11-14 | 2023-11-14 | 一种性能事件监控方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117234859B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117472697A (zh) * | 2023-12-26 | 2024-01-30 | 苏州元脑智能科技有限公司 | 一种集群监控方法、装置及电子设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180024904A1 (en) * | 2016-07-21 | 2018-01-25 | Fujitsu Limited | Test support device and test support method |
CN110445637A (zh) * | 2019-07-05 | 2019-11-12 | 深圳壹账通智能科技有限公司 | 事件监控方法、系统、计算机设备和存储介质 |
CN111368290A (zh) * | 2018-12-26 | 2020-07-03 | 中兴通讯股份有限公司 | 一种数据异常检测方法、装置及终端设备 |
CN114417733A (zh) * | 2022-01-29 | 2022-04-29 | 龙芯中科技术股份有限公司 | 构建功耗预测模型的方法、装置、电子设备及存储介质 |
CN115248764A (zh) * | 2021-04-27 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 一种性能指标确定方法、装置、设备及存储介质 |
CN116974861A (zh) * | 2022-04-22 | 2023-10-31 | 华为技术有限公司 | 处理器的性能监测方法及装置、处理器 |
-
2023
- 2023-11-14 CN CN202311511068.1A patent/CN117234859B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180024904A1 (en) * | 2016-07-21 | 2018-01-25 | Fujitsu Limited | Test support device and test support method |
CN111368290A (zh) * | 2018-12-26 | 2020-07-03 | 中兴通讯股份有限公司 | 一种数据异常检测方法、装置及终端设备 |
CN110445637A (zh) * | 2019-07-05 | 2019-11-12 | 深圳壹账通智能科技有限公司 | 事件监控方法、系统、计算机设备和存储介质 |
CN115248764A (zh) * | 2021-04-27 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 一种性能指标确定方法、装置、设备及存储介质 |
CN114417733A (zh) * | 2022-01-29 | 2022-04-29 | 龙芯中科技术股份有限公司 | 构建功耗预测模型的方法、装置、电子设备及存储介质 |
CN116974861A (zh) * | 2022-04-22 | 2023-10-31 | 华为技术有限公司 | 处理器的性能监测方法及装置、处理器 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117472697A (zh) * | 2023-12-26 | 2024-01-30 | 苏州元脑智能科技有限公司 | 一种集群监控方法、装置及电子设备和存储介质 |
CN117472697B (zh) * | 2023-12-26 | 2024-03-15 | 苏州元脑智能科技有限公司 | 一种集群监控方法、装置及电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117234859B (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10748083B2 (en) | Automated tuning of a service configuration | |
US11347629B2 (en) | Forecasting a quality of a software release using machine learning | |
US8327325B2 (en) | Programmable framework for automatic tuning of software applications | |
US9026998B2 (en) | Selecting relevant tests to quickly assess code stability | |
US10819603B2 (en) | Performance evaluation method, apparatus for performance evaluation, and non-transitory computer-readable storage medium for storing program | |
CN117234859B (zh) | 一种性能事件监控方法、装置、设备和存储介质 | |
US8978009B2 (en) | Discovering whether new code is covered by tests | |
US20090019046A1 (en) | Multiple configuration item status value analysis | |
CN111240876B (zh) | 微服务的故障定位方法、装置、存储介质及终端 | |
CN113918438A (zh) | 服务器异常的检测方法、装置、服务器及存储介质 | |
CN116974874A (zh) | 数据库的测试方法、装置、电子设备及可读存储介质 | |
CN112766470A (zh) | 特征数据处理方法、指令序列生成方法、装置及设备 | |
WO2021147382A1 (zh) | 一种检测任务执行方法及设备 | |
CN116225690A (zh) | 基于docker的内存多维数据库计算负载均衡方法及系统 | |
JP2011181034A (ja) | ソフトウェア実効性能評価システム、ソフトウェア実効性能評価方法、及びプログラム | |
CN115080412A (zh) | 软件更新质量评估方法、装置、设备及计算机存储介质 | |
CN115190010A (zh) | 基于软件服务依赖关系的分布推荐方法和装置 | |
CN114355171A (zh) | 一种可重构芯片性能瓶颈检测平台、检测方法及电子设备 | |
CN117472697B (zh) | 一种集群监控方法、装置及电子设备和存储介质 | |
CN116401113B (zh) | 一种异构众核架构加速卡的环境验证方法、装置及介质 | |
CN116974915A (zh) | 基于cmdb的ci模型评测方法、装置、设备及介质 | |
CN117632734A (zh) | 一种数据库的性能测试方法、电子设备和存储介质 | |
CN115687129A (zh) | 一种覆盖率报告生成方法、装置、存储介质和计算机设备 | |
CN115904839A (zh) | 一种内存带宽的检测方法、装置、设备及存储介质 | |
CN112905653A (zh) | 数据比对方法、计算设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |