CN112416729A - 数据处理方法、装置、电子设备及存储介质 - Google Patents
数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112416729A CN112416729A CN202011327329.0A CN202011327329A CN112416729A CN 112416729 A CN112416729 A CN 112416729A CN 202011327329 A CN202011327329 A CN 202011327329A CN 112416729 A CN112416729 A CN 112416729A
- Authority
- CN
- China
- Prior art keywords
- data
- monitored
- server
- resource
- analysis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012216 screening Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 abstract description 23
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及数据处理技术，尤其涉及一种数据处理方法、装置、电子设备及存储介质，该方法包括：获取待监控服务器资源；通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档；对所述表格文档中的数据进行筛选，得到第一数据；对所述第一数据进行分析，得到分析结果，所述分析结果用于表述所述服务器的工作状态。采用本申请实施例通过Nmon模块对待监控服务器资源进行分析，并对分析结果进行筛选，基于筛选后的分析结果确定服务器的工作状态，能够实现对服务器进行精准监控，有助于提升监控效率。
Description
技术领域
本申请涉及数据处理技术领域，具体涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
目前来看，服务器资源监控尤其重要，尤其是在性能测试过程中，更是有利于发现及定位问题，详细的资源监控让系统或硬件上的短板更直观的暴露出来，现在业内多数使用操作系统命令进行实施监控，但会耗费工程师较长的工作时长，而且在长时间的查看下，更容易错过问题点。如何提升监控效率的问题亟待解决。
发明内容
本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质，能够提升监控效率。
第一方面，本申请实施例提供一种数据处理方法，所述方法包括：
获取待监控服务器资源；
通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档；
对所述表格文档中的数据进行筛选，得到第一数据；
对所述第一数据进行分析，得到分析结果，所述分析结果用于表述所述服务器的工作状态。
第二方面，本申请实施例提供一种数据处理装置，所述装置包括：获取单元、第一分析单元、筛选单元和第二分析单元，其中，
所述获取单元，用于获取待监控服务器资源；
所述第一分析单元，用于通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档；
所述筛选单元，用于对所述表格文档中的数据进行筛选，得到第一数据；
所述第二分析单元，用于对所述第一数据进行分析，得到分析结果，所述分析结果用于表述所述服务器的工作状态。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例，具备如下有益效果：
可以看出，本申请实施例中所描述的数据处理方法、装置、电子设备及存储介质，获取待监控服务器资源，通过Nmon模块对待监控服务器资源进行分析，得到表格文档，对表格文档中的数据进行筛选，得到第一数据，对第一数据进行分析，得到分析结果，分析结果用于表述所述服务器的工作状态，如此，可以通过Nmon模块对待监控服务器资源进行分析，并对分析结果进行筛选，基于筛选后的分析结果确定服务器的工作状态，能够实现对服务器进行精准监控，有助于提升监控效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理方法的流程示意图；
图2是本申请实施例提供的另一种数据处理方法的流程示意图；
图3是本申请实施例提供的一种电子设备的结构示意图；
图4是本申请实施例提供的一种数据处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(如手机、平板电脑、POS机等等)、台式机、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、AI机器人、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobilestation，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备，电子设备还可以为服务器。
下面对本申请实施例进行详细介绍。
请参阅图1，图1是本申请实施例提供的一种数据处理方法的流程示意图，如图所示，应用于电子设备，本数据处理方法包括：
101、获取待监控服务器资源。
其中，待监控服务器资源可以为预设时间段内的资源数据，或者，可以为预设功能或者预设存储位置的资源数据，预设时间段可以由用户自行设置或者系统默认，预设时间段可以为最近一个月；预设功能可以由用户自行设置或者系统默认，例如，预设功能可以为指定业务、指定应用；预设存储位置可以由用户自行设置或者系统默认。
可选地，上述步骤101，获取待监控服务器资源，可以包括如下步骤：
A11、获取目标功能的资源索引标识；
A12、依据所述资源索引标识获取所述待监控服务器资源。
其中，本申请实施例中，每一功能则需要占用不同的资源，即不同的资源，其可以对应不同的资源索引标识，资源索引标识可以用于标记资源类型，基于该资源索引标识可以寻找相应的服务器资源。具体实现中，电子设备可以获取目标功能的资源索引标识，依据资源索引标识获取服务器资源，如此，可以实现快速寻找某一功能对应的服务器资源。
可选地，上述步骤101，获取待监控服务器资源，可以包括如下步骤：
B11、获取目标业务的目标业务类型；
B12、按照预设的业务类型与存储区域之间的映射关系，确定所述目标业务类型对应的目标存储区域；
B13、获取所述目标存储区域对应的资源数据；
B14、从所述资源数据中筛选出预设类型的资源数据，并将其作为所述待监控服务器资源。
其中，本申请实施例中，不同的业务类型可以对应不同的存储区域，电子设备中可以预先存储预设的业务类型与存储区域之间的映射关系。预设类型可以由用户自行设置或者系统默认，预设类型可以涵盖容易出错的资源或者重要性较高的资源，预设类型可以依据具体业务经验确定。
具体实现中，电子设备可以获取目标业务的目标业务类型，按照预设的业务类型与存储区域之间的映射关系，确定目标业务类型对应的目标存储区域，进而获取目标存储区域对应的资源数据，从资源数据中筛选出预设类型的资源数据，如此，可以针对业务特性，对相应的资源进行监控，有助于提升资源监控效率。
102、通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档。
其中，Nmon模块为IBM的Nmon监控，该Nmon模块用于对服务器进行自定义时间采样而保留，以生成监控文件的形式实现采样数据的保留，Nmon模块其自带一个分析工具，能够对资源进行解析，以生成excel表格。具体实现中，电子设备可以通过Nmon模块对待监控服务器资源进行分析，得到表格文档，该表格文档记录了服务器资源的采样数据。
可选地，上述步骤102，通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档，可以包括如下步骤：
21、对所述待监控服务器资源进行划分，得到多个资源集；
22、通过Nmon模块调用多个线程或者进程对所述多个资源集分析，得到分析结果；
23、将所述分析结果进行拼接，得到所述表格文档。
其中，服务器资源中每一资源可以对应一个时间戳，依据时间戳可以对待监控服务器资源进行划分，得到多个资源集，每一资源集的资源的时间戳均属于一个时间段。
进而，电子设备可以通过Nmon模块调用多个线程或者进程对多个资源集分析，得到分析结果，再将分析结果进行拼接，得到表格文档，如此，可以提升Nmon模块的分析效率，实现快速得到分析结果。
103、对所述表格文档中的数据进行筛选，得到第一数据。
其中，具体实现中，表格文档中的数据有些是正常数据，有些是异常数据，则可以过滤到正常数据，仅对异常数据进行分析。电子设备可以对表格文档中的数据进行筛选，得到第一数据。
可选地，上述步骤103，对所述表格文档中的数据进行筛选，得到第一数据，可以包括如下步骤：
31、将所述表格文档划分为多个区域；
32、确定所述多个区域中每一区域对应的均方差，得到多个均方差；
33、从所述多个均方差中选取大于预设阈值的均方差，并获取其对应的区域，得到至少一个目标区域；
33、对所述表格文档中所述至少一个目标区域进行数据过滤，得到所述第一数据。
其中，预设阈值可以由用户自行设置或者系统默认。具体实现中，电子设备可以将表格文档划分为多个区域，每一区域的大小可以相同或者不同。进而，电子设备可以确定多个区域中每一区域对应的均方差，得到多个均方差，从多个均方差中选取大于预设阈值的均方差，并获取其对应的区域，得到至少一个目标区域，均方差较大，则说明该区域的相邻数据之间波动越大，则极有可能存在异常数据，进而，对表格文档中至少一个目标区域进行数据过滤，得到第一数据，如此，可以快速定位到异常区域，提升数据筛选效率。
104、对所述第一数据进行分析，得到分析结果，所述分析结果用于表述所述服务器的工作状态。
具体实现中，分析结果可以为一个具体数值，电子设备可以对第一数据计算，然后统计，电子设备可以对第一数据进行筛选，得到筛选后数据，对筛选后数据进行特征提取，得到多个特征，可以将该多个特征输入到神经网络模型，得到分析结果，分析结果用于表示服务器的工作状态。或者，电子设备可以对第一数据进行多维度评价，得到多个评价值，获取每一维度的权值，依据多个评价值以及对应的每一维度的权值进行加权运算，得到相应的运算结果，可以将该运算结果作为分析结果。分析结果也可以对应状态值，该状态值用于表示服务器的工作状态。工作状态可以为以下至少一种：优秀、良好、合理、差、极差等等，在此不做限定。
举例说明下，为了实现服务器监控，则可以通过语言C#，嵌入IBM的nmon_analyser解析工具，并且针对Nmon文件传入后解析生成excl格式的文档，对excl文档进行数据流读写操作，对固定单元格中的数据进行汇总及取值等逻辑处理计算出部分关键计数的数值，以图形化完成批量解析及统计操作，设置关键指标的警示值，与关键出参比较，超出指标则进行警告标志处理，进而，实现对服务器进行监控。
针对原始Nmon_analyser工具具备如下功能：
1、仅支持单个监控文件(.nmon文件)解析生成Excel文件，测试人员需找到对应sheet，进行公式化统计；
2、优化后现工具功能；
3、支持批量导入监控文件；
4、支持批量解析文件；
5、自定义展示需求计数项；
6、直接界面展示计数项统计数值；
7、支持自定义指标报警设置；
8、输入命令回车后，将自动在当前目录生成一个表格文档。
具体实现中，本申请实施例中，监控使用的是IBM的Nmon监控，进行对服务器进行自定义时间采样保留，以生成监控文件的形式实现采样数据的保留，Nmon自带一个分析工具，但进行解析成excel，然后，也可以人工去通过公式进行统计想要的数据，这样对失效及准确率会造成一定的影响，同时只能一个一个的监控文件进行解析，计算然后统计，这个过程冗余而且无技术含量，通过该工具可以批量进行拖拉监控文件进行解析，解析数据一键生成，想要的指标内容引入眼帘，相当轻松，进而，能够借助Nmon模块完成对服务器进行监控，以及提升服务器监控效率。
可选地，上述步骤104，对所述第一数据进行分析，得到分析结果，可以包括如下步骤：
41、将所述第一数据进行分类，得到多类数据；
42、对所述多类数据中的每一类数据进行评价，得到多个评价值，每一类数据对应一个评价值；
43、获取多个权值；
44、依据所述多个权值、所述多个评价值进行加权运算，得到分析结果。
其中，电子设备可以依据数据的通道、类型等因素将第一数据进行分类，得到多类数据，对多类数据中的每一类数据进行评价，得到多个评价值，每一类数据对应一个评价值，获取多个权值，每一类数据对应一个权值，可以依据多个权值、多个评价值进行加权运算，得到分析结果。
可选地，上述步骤43，获取多个权值，可以包括如下步骤：
431、获取所述多类数据中每一类数据的数据标识，得到多个数据标识；
432、按照预设的数据标识与权值之间的映射关关系，确定所述多个数据标识中每一数据标识对应的权值，得到多个权值。
其中，每一类数据对应一个数据标识，电子设备中可以预先存储预设的数据标识与权值之间的映射关关系，进而，电子设备可以获取多类数据中每一类数据的数据标识，得到多个数据标识，按照预设的数据标识与权值之间的映射关关系，确定多个数据标识中每一数据标识对应的权值，得到多个权值，如此，可以依据不同的数据标识分配不同的权值，不同的数据其重要性不一样，如此，可以依据数据重要性实现后续数据评价。
可选地，步骤101，获取待监控服务器资源之后，以及，步骤102，通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档之前，还可以包括如下步骤：
C1、获取所述待监控服务器资源的目标来源标识；
C2、在所述目标来源标识存在于预设来源标识集时，执行所述通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档的步骤。
其中，预设来源标识集可以预先保存在电子设备中，该预设来源标识集可以包括至少一个来源标识，具体实现中，电子设备可以获取待监控服务器资源的目标来源标识，在目标来源标识存在于预设来源标识集时，执行步骤102，否则，可以不执行后续步骤。
可以看出，本申请实施例中所描述的数据处理方法，获取待监控服务器资源，通过Nmon模块对待监控服务器资源进行分析，得到表格文档，对表格文档中的数据进行筛选，得到第一数据，对第一数据进行分析，得到分析结果，分析结果用于表述所述服务器的工作状态，如此，可以通过Nmon模块对待监控服务器资源进行分析，并对分析结果进行筛选，基于筛选后的分析结果确定服务器的工作状态，能够实现对服务器进行精准监控，有助于提升监控效率。
请参阅图2，图2是本申请实施例提供的一种数据处理方法的流程示意图，应用于电子设备，如图所示，本数据处理方法包括：
201、获取目标用户权限。
其中，不同的用户对应不同的权限，电子设备可以获取用户身份信息，按照预设的身份信息与用户权限之间的映射关系，确定用户身份信息对应的目标用户权限，身份信息可以为以下至少一种：用户名、岗位、级别、等级、入职年限、身份证号、手机号等等，在此不做限定。
202、按照预设的用户权限与服务器资源之间的映射关系，确定所述目标用户权限对应的待监控服务器资源。
其中，电子设备中可以预先存储预设的用户权限与服务器资源之间的映射关系，进而，可以按照预设的用户权限与服务器资源之间的映射关系，确定目标用户权限对应的待监控服务器资源。
其中，待监控服务器资源可以为预设时间段内的资源数据，或者，可以为预设功能或者预设存储位置的资源数据，预设时间段可以由用户自行设置或者系统默认，预设时间段可以为最近一个月；预设功能可以由用户自行设置或者系统默认，例如，预设功能可以为指定业务、指定应用；预设存储位置可以由用户自行设置或者系统默认。
203、获取所述待监控服务器资源的目标来源标识。
其中，预设来源标识集可以预先保存在电子设备中，该预设来源标识集可以包括至少一个来源标识，
204、在所述目标来源标识存在于预设来源标识集时，通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档。
其中，具体实现中，电子设备可以获取待监控服务器资源的目标来源标识，在目标来源标识存在于预设来源标识集时，执行步骤204，否则，可以不执行后续步骤。
另外，Nmon模块为IBM的Nmon监控，该Nmon模块用于对服务器进行自定义时间采样而保留，以生成监控文件的形式实现采样数据的保留，Nmon模块其自带一个分析工具，能够对资源进行解析，以生成excel表格。具体实现中，电子设备可以通过Nmon模块对待监控服务器资源进行分析，得到表格文档，该表格文档记录了服务器资源的采样数据。
205、对所述表格文档中的数据进行筛选，得到第一数据。
其中，具体实现中，表格文档中的数据有些是正常数据，有些是异常数据，则可以过滤到正常数据，仅对异常数据进行分析。电子设备可以对表格文档中的数据进行筛选，得到第一数据。
206、对所述第一数据进行分析，得到分析结果，所述分析结果用于表述所述服务器的工作状态。
具体实现中，分析结果可以为一个具体数值，电子设备可以对第一数据计算，然后统计，电子设备可以对第一数据进行筛选，得到筛选后数据，对筛选后数据进行特征提取，得到多个特征，可以将该多个特征输入到神经网络模型，得到分析结果，分析结果用于表示服务器的工作状态。或者，电子设备可以对第一数据进行多维度评价，得到多个评价值，获取每一维度的权值，依据多个评价值以及对应的每一维度的权值进行加权运算，得到相应的运算结果，可以将该运算结果作为分析结果。分析结果也可以对应状态值，该状态值用于表示服务器的工作状态。工作状态可以为以下至少一种：优秀、良好、合理、差、极差等等，在此不做限定。
当然，上述步骤203-步骤206的具体描述可以参照上述图1所描述的相应步骤，在此不再赘述。
可以看出，本申请实施例中所描述的数据处理方法，获取目标用户权限，按照预设的用户权限与服务器资源之间的映射关系，确定目标用户权限对应的待监控服务器资源，获取待监控服务器资源的目标来源标识，在目标来源标识存在于预设来源标识集时，通过Nmon模块对待监控服务器资源进行分析，得到表格文档，对表格文档中的数据进行筛选，得到第一数据，对第一数据进行分析，得到分析结果，分析结果用于表述服务器的工作状态，如此，可以通过Nmon模块对待监控服务器资源进行分析，并对分析结果进行筛选，基于筛选后的分析结果确定服务器的工作状态，能够实现对服务器进行精准监控，有助于提升监控效率。
与上述实施例一致地，请参阅图3，图3是本申请实施例提供的一种电子设备的结构示意图，如图所示，该电子设备包括处理器、存储器、通信接口以及一个或多个程序，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，本申请实施例中，上述程序包括用于执行以下步骤的指令：
获取待监控服务器资源；
通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档；
对所述表格文档中的数据进行筛选，得到第一数据；
对所述第一数据进行分析，得到分析结果，所述分析结果用于表述所述服务器的工作状态。
可以看出，本申请实施例中所描述的电子设备，获取待监控服务器资源，通过Nmon模块对待监控服务器资源进行分析，得到表格文档，对表格文档中的数据进行筛选，得到第一数据，对第一数据进行分析，得到分析结果，分析结果用于表述所述服务器的工作状态，如此，可以通过Nmon模块对待监控服务器资源进行分析，并对分析结果进行筛选，基于筛选后的分析结果确定服务器的工作状态，能够实现对服务器进行精准监控，有助于提升监控效率。
可选地，在所述获取待监控服务器资源方面，上述程序包括用于执行以下步骤的指令：
获取目标功能的资源索引标识；
依据所述资源索引标识获取所述待监控服务器资源。
可选地，在所述获取待监控服务器资源方面，上述程序包括用于执行以下步骤的指令：
获取目标业务的目标业务类型；
按照预设的业务类型与存储区域之间的映射关系，确定所述目标业务类型对应的目标存储区域；
获取所述目标存储区域对应的资源数据；
从所述资源数据中筛选出预设类型的资源数据，并将其作为所述待监控服务器资源。
可选地，在所述通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档方面，上述程序包括用于执行以下步骤的指令：
对所述待监控服务器资源进行划分，得到多个资源集；
通过Nmon模块调用多个线程或者进程对所述多个资源集分析，得到分析结果；
将所述分析结果进行拼接，得到所述表格文档。
可选地，在所述对所述表格文档中的数据进行筛选，得到第一数据方面，上述程序包括用于执行以下步骤的指令：
将所述表格文档划分为多个区域；
确定所述多个区域中每一区域对应的均方差，得到多个均方差；
从所述多个均方差中选取大于预设阈值的均方差，并获取其对应的区域，得到至少一个目标区域；
对所述表格文档中所述至少一个目标区域进行数据过滤，得到所述第一数据。
可选地，在所述对所述第一数据进行分析，得到分析结果方面，上述程序包括用于执行以下步骤的指令：
将所述第一数据进行分类，得到多类数据；
对所述多类数据中的每一类数据进行评价，得到多个评价值，每一类数据对应一个评价值；
获取多个权值；
依据所述多个权值、所述多个评价值进行加权运算，得到分析结果。
可选地，在所述获取待监控服务器资源之后，以及所述通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档之前，上述程序还包括用于执行以下步骤的指令：
获取所述待监控服务器资源的目标来源标识；
在所述目标来源标识存在于预设来源标识集时，执行所述通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档的步骤。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图4是本申请实施例中所涉及的数据处理装置400的功能单元组成框图。该数据处理装置400，所述装置400包括：获取单元401、第一分析单元402、筛选单元403和第二分析单元404，其中，
所述获取单元401，用于获取待监控服务器资源；
所述第一分析单元402，用于通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档；
所述筛选单元403，用于对所述表格文档中的数据进行筛选，得到第一数据；
所述第二分析单元404，用于对所述第一数据进行分析，得到分析结果，所述分析结果用于表述所述服务器的工作状态。
可以看出，本申请实施例中所描述的数据处理装置，获取待监控服务器资源，通过Nmon模块对待监控服务器资源进行分析，得到表格文档，对表格文档中的数据进行筛选，得到第一数据，对第一数据进行分析，得到分析结果，分析结果用于表述所述服务器的工作状态，如此，可以通过Nmon模块对待监控服务器资源进行分析，并对分析结果进行筛选，基于筛选后的分析结果确定服务器的工作状态，能够实现对服务器进行精准监控，有助于提升监控效率。
可选地，在所述获取待监控服务器资源方面，所述获取单元401具体用于：
获取目标功能的资源索引标识；
依据所述资源索引标识获取所述待监控服务器资源。
可选地，在所述获取待监控服务器资源方面，所述获取单元401具体用于：
获取目标业务的目标业务类型；
按照预设的业务类型与存储区域之间的映射关系，确定所述目标业务类型对应的目标存储区域；
获取所述目标存储区域对应的资源数据；
从所述资源数据中筛选出预设类型的资源数据，并将其作为所述待监控服务器资源。
可选地，在所述通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档方面，所述第一分析单元402具体用于：
对所述待监控服务器资源进行划分，得到多个资源集；
通过Nmon模块调用多个线程或者进程对所述多个资源集分析，得到分析结果；
将所述分析结果进行拼接，得到所述表格文档。
可选地，在所述对所述表格文档中的数据进行筛选，得到第一数据方面，所述筛选单元403具体用于：
将所述表格文档划分为多个区域；
确定所述多个区域中每一区域对应的均方差，得到多个均方差；
从所述多个均方差中选取大于预设阈值的均方差，并获取其对应的区域，得到至少一个目标区域；
对所述表格文档中所述至少一个目标区域进行数据过滤，得到所述第一数据。
可选地，在所述对所述第一数据进行分析，得到分析结果方面，所述第二分析单元404具体用于：
将所述第一数据进行分类，得到多类数据；
对所述多类数据中的每一类数据进行评价，得到多个评价值，每一类数据对应一个评价值；
获取多个权值；
依据所述多个权值、所述多个评价值进行加权运算，得到分析结果。
可选地，在所述获取待监控服务器资源之后，以及所述通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档之前，所述装置400还具体用于：
获取所述待监控服务器资源的目标来源标识；
在所述目标来源标识存在于预设来源标识集时，由所述第一分析单元402执行所述通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档的步骤。
可以理解的是，本实施例的数据处理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
获取待监控服务器资源；
通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档；
对所述表格文档中的数据进行筛选，得到第一数据；
对所述第一数据进行分析，得到分析结果，所述分析结果用于表述所述服务器的工作状态。
2.根据权利要求1所述的方法，其特征在于，所述获取待监控服务器资源，包括：
获取目标功能的资源索引标识；
依据所述资源索引标识获取所述待监控服务器资源。
3.根据权利要求1或2所述的方法，其特征在于，所述获取待监控服务器资源，包括：
获取目标业务的目标业务类型；
按照预设的业务类型与存储区域之间的映射关系，确定所述目标业务类型对应的目标存储区域；
获取所述目标存储区域对应的资源数据；
从所述资源数据中筛选出预设类型的资源数据，并将其作为所述待监控服务器资源。
4.根据权利要求1或2所述的方法，其特征在于，所述通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档，包括：
对所述待监控服务器资源进行划分，得到多个资源集；
通过Nmon模块调用多个线程或者进程对所述多个资源集分析，得到分析结果；
将所述分析结果进行拼接，得到所述表格文档。
5.根据权利要求1或2所述的方法，其特征在于，所述对所述表格文档中的数据进行筛选，得到第一数据，包括：
将所述表格文档划分为多个区域；
确定所述多个区域中每一区域对应的均方差，得到多个均方差；
从所述多个均方差中选取大于预设阈值的均方差，并获取其对应的区域，得到至少一个目标区域；
对所述表格文档中所述至少一个目标区域进行数据过滤，得到所述第一数据。
6.根据权利要求5所述的方法，其特征在于，所述对所述第一数据进行分析，得到分析结果，包括：
将所述第一数据进行分类，得到多类数据；
对所述多类数据中的每一类数据进行评价，得到多个评价值，每一类数据对应一个评价值；
获取多个权值；
依据所述多个权值、所述多个评价值进行加权运算，得到分析结果。
7.根据权利要求1或2所述的方法，其特征在于，在所述获取待监控服务器资源之后，以及所述通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档之前，所述方法还包括：
获取所述待监控服务器资源的目标来源标识；
在所述目标来源标识存在于预设来源标识集时，执行所述通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档的步骤。
8.一种数据处理装置，其特征在于，所述装置包括：获取单元、第一分析单元、筛选单元和第二分析单元，其中，
所述获取单元，用于获取待监控服务器资源；
所述第一分析单元，用于通过Nmon模块对所述待监控服务器资源进行分析，得到表格文档；
所述筛选单元，用于对所述表格文档中的数据进行筛选，得到第一数据；
所述第二分析单元，用于对所述第一数据进行分析，得到分析结果，所述分析结果用于表述所述服务器的工作状态。
9.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011327329.0A CN112416729A (zh) | 2020-11-24 | 2020-11-24 | 数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011327329.0A CN112416729A (zh) | 2020-11-24 | 2020-11-24 | 数据处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112416729A true CN112416729A (zh) | 2021-02-26 |
Family
ID=74778477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011327329.0A Pending CN112416729A (zh) | 2020-11-24 | 2020-11-24 | 数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112416729A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905420A (zh) * | 2021-03-04 | 2021-06-04 | 广东电网有限责任公司 | 数据监控系统、方法、电子设备及存储介质 |
| CN115408246A (zh) * | 2022-08-26 | 2022-11-29 | 北京掌趣科技股份有限公司 | 一种资源使用率分析方法以及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107544897A (zh) * | 2017-08-25 | 2018-01-05 | 重庆扬讯软件技术股份有限公司 | 基于一体化实时监控的性能测试方法与系统 |
| CN109032904A (zh) * | 2018-07-19 | 2018-12-18 | 郑州云海信息技术有限公司 | 被监控、管理服务器及数据获取、分析方法和管理系统 |
| CN109933506A (zh) * | 2019-03-20 | 2019-06-25 | 浪潮商用机器有限公司 | 服务器大数据性能评价方法、系统及电子设备和存储介质 |
| CN110413498A (zh) * | 2019-07-30 | 2019-11-05 | 四川虹魔方网络科技有限公司 | 一种服务器运维大屏监控的方法及系统 |
| CN111176879A (zh) * | 2019-12-31 | 2020-05-19 | 中国建设银行股份有限公司 | 设备的故障修复方法及装置 |
| CN111210147A (zh) * | 2020-01-06 | 2020-05-29 | 中国地质大学（武汉） | 基于时序特征提取的烧结过程运行性能评价方法及系统 |
-
2020
- 2020-11-24 CN CN202011327329.0A patent/CN112416729A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107544897A (zh) * | 2017-08-25 | 2018-01-05 | 重庆扬讯软件技术股份有限公司 | 基于一体化实时监控的性能测试方法与系统 |
| CN109032904A (zh) * | 2018-07-19 | 2018-12-18 | 郑州云海信息技术有限公司 | 被监控、管理服务器及数据获取、分析方法和管理系统 |
| CN109933506A (zh) * | 2019-03-20 | 2019-06-25 | 浪潮商用机器有限公司 | 服务器大数据性能评价方法、系统及电子设备和存储介质 |
| CN110413498A (zh) * | 2019-07-30 | 2019-11-05 | 四川虹魔方网络科技有限公司 | 一种服务器运维大屏监控的方法及系统 |
| CN111176879A (zh) * | 2019-12-31 | 2020-05-19 | 中国建设银行股份有限公司 | 设备的故障修复方法及装置 |
| CN111210147A (zh) * | 2020-01-06 | 2020-05-29 | 中国地质大学（武汉） | 基于时序特征提取的烧结过程运行性能评价方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905420A (zh) * | 2021-03-04 | 2021-06-04 | 广东电网有限责任公司 | 数据监控系统、方法、电子设备及存储介质 |
| CN115408246A (zh) * | 2022-08-26 | 2022-11-29 | 北京掌趣科技股份有限公司 | 一种资源使用率分析方法以及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110381151B (zh) | 一种异常设备检测方法及装置 | |
| CN112311617A (zh) | 一种配置化数据监控告警方法及系统 | |
| CN105721187A (zh) | 一种业务故障诊断方法及装置 | |
| CN109495291B (zh) | 调用异常的定位方法、装置和服务器 | |
| CN112416729A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| WO2014040633A1 (en) | Identifying fault category patterns in a communication network | |
| JPWO2017094262A1 (ja) | ログ分析システム、方法およびプログラム | |
| CN112751835B (zh) | 一种流量预警方法、系统、设备和存储介质 | |
| CN104899016A (zh) | 调用堆栈关系获取方法及装置 | |
| WO2017104119A1 (ja) | ログ分析システム、方法およびプログラム | |
| CN112817866A (zh) | 录制回放方法、装置、系统、计算机设备以及存储介质 | |
| CN112799953A (zh) | 一种接口测试方法及装置、计算机设备及存储介质 | |
| CN110647472A (zh) | 崩溃信息统计方法、装置、计算机设备及存储介质 | |
| CN111045879B (zh) | 压力测试报告的生成方法、装置及存储介质 | |
| CN109523236A (zh) | 邮件生成方法、装置、计算机设备及存储介质 | |
| CN111475494A (zh) | 一种海量数据处理方法、系统、终端及存储介质 | |
| CN112241362A (zh) | 一种测试方法、装置、服务器及存储介质 | |
| CN112346962A (zh) | 一种应用于对照测试系统中的对照数据测试方法及装置 | |
| CN112650614A (zh) | 调用链监控方法、装置、电子设备及存储介质 | |
| CN106878965A (zh) | 一种评估移动终端性能的方法和装置 | |
| CN105578395A (zh) | 一种更新终端信息库中终端属性的方法及装置 | |
| CN111224859A (zh) | 删除聊天记录的方法、计算机设备以及存储介质 | |
| CN105429792A (zh) | 用户行为流量获取方法及装置、用户行为分析方法及系统 | |
| CN110908858B (zh) | 基于双漏斗结构的日志类样本抽样方法及相关装置 | |
| CN111176950A (zh) | 一种监控服务器集群的网卡的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |