CN113032237A - 数据处理方法及装置、电子设备和计算机可读存储介质 - Google Patents

数据处理方法及装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113032237A
CN113032237A CN202110478665.3A CN202110478665A CN113032237A CN 113032237 A CN113032237 A CN 113032237A CN 202110478665 A CN202110478665 A CN 202110478665A CN 113032237 A CN113032237 A CN 113032237A
Authority
CN
China
Prior art keywords
performance data
target
performance
server
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110478665.3A
Other languages
English (en)
Other versions
CN113032237B (zh
Inventor
类铭辰
胡继强
邹萌萍
房志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110478665.3A priority Critical patent/CN113032237B/zh
Publication of CN113032237A publication Critical patent/CN113032237A/zh
Application granted granted Critical
Publication of CN113032237B publication Critical patent/CN113032237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提供了一种数据处理方法及装置、电子设备和计算机可读存储介质，本公开的数据处理方法和装置可应用于大数据技术领域。该数据处理方法包括：通过njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据；将原始性能数据发送至多台解析服务器，以便通过多台解析服务器解析原始性能数据，以获得每台业务服务器的第一目标性能数据，其中第一目标性能数据为与目标指标相关的性能数据；将第一目标性能数据发送至中间件服务器，以便通过中间件服务器将第一目标性能数据写入时序数据库；以及根据第一目标性能数据生成每台业务服务器的性能报表，其中性能报表用于表征目标指标在每个预设时刻的性能值。

Description

数据处理方法及装置、电子设备和计算机可读存储介质
技术领域
本公开涉及大数据技术领域，更具体地，涉及一种数据处理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
随着信息化进程的加快，数据中心服务器规模呈现爆发性增长，尤其是在X86开放平台系统中数据量增长较快。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题，由于数据中心服务器规模增长带来的数据量的大幅度增长，数据中心性能监控系统出现严重性能瓶颈，系统组件已无法处理较大规模数据。
发明内容
有鉴于此，本公开提供了一种数据处理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
本公开的一个方面提供了一种数据处理方法，包括：
通过njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据，其中原始性能数据包括与预设指标相关的性能数据；
将原始性能数据发送至多台解析服务器，以便通过多台解析服务器解析原始性能数据，以获得每台业务服务器的第一目标性能数据，其中第一目标性能数据为与目标指标相关的性能数据；
将第一目标性能数据发送至中间件服务器，以便通过中间件服务器将第一目标性能数据写入时序数据库；
根据第一目标性能数据生成每台业务服务器的性能报表，其中性能报表用于表征目标指标在每个预设时刻的性能值。
根据本公开的实施例，其中，目标指标包括以下至少之一：cpu总使用率、各运行进程的cpu使用率、内存使用率、网络传输速度、磁盘读写速度、各文件系统使用率。
根据本公开的实施例，将原始性能数据发送至多台解析服务器包括：将原始性能数据发送至负载均衡服务器，以便通过负载均衡服务器将原始性能数据转发至多台解析服务器。
根据本公开的实施例，上述方法还包括：利用第一目标性能数据计算第一健康度，其中第一健康度用于表征与目标服务器相关的所有目标指标的综合健康程度。
根据本公开的实施例，其中，利用第一目标性能数据计算第一健康度包括：确定第一健康度计算模型；以及将第一目标性能数据输入第一健康度计算模型，输出第一健康度。
根据本公开的实施例，还包括：利用第一目标性能数据计算第二健康度，其中第二健康度用于表征与目标应用相关的多个服务器的所有目标指标的综合健康程度。
根据本公开的实施例，其中，利用第一目标性能数据计算第二健康度包括：利用时序数据库，从第一目标性能数据中筛选出第二目标性能数据，其中第二目标性能数据为与目标应用相关的多个服务器的第一目标性能数据；确定第二健康度计算模型；以及将第二目标性能数据输入第二健康度计算模型，输出第二健康度。
根据本公开的实施例，上述方法还包括：将每台服务器的性能报表发送至运维监控系统；以及在目标指标的性能值超过预设阈值的情况下，通过运维监控系统发出针对目标指标的预警。
根据本公开的实施例，上述方法还包括：根据每台服务器的性能报表，对每台服务器进行应急管理，其中，应急管理包含重启、停止、升级、退库、安装中的至少之一。
本公开的另一个方面提供了一种数据处理装置，包括：采集装置、第一发送装置、第二发送装置和生成装置。
其中，采集装置，用于通过njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据，其中原始性能数据包括与预设指标相关的性能数据。
第一发送装置，用于将原始性能数据发送至多台解析服务器，以便通过多台解析服务器解析原始性能数据，以获得每台业务服务器的第一目标性能数据，其中第一目标性能数据为与目标指标相关的性能数据。
第二发送装置，用于将第一目标性能数据发送至中间件服务器，以便通过中间件服务器将第一目标性能数据写入时序数据库。
生成装置，用于根据第一目标性能数据生成每台业务服务器的性能报表，其中性能报表用于表征目标指标在每个预设时刻的性能值。
根据本公开的实施例，上述第一发送装置中，目标指标包括以下至少之一：cpu总使用率、各运行进程的cpu使用率、内存使用率、网络传输速度、磁盘读写速度、各文件系统使用率。
根据本公开的实施例，上述第一发送装置中，将原始性能数据发送至多台解析服务器包括：将原始性能数据发送至负载均衡服务器，以便通过负载均衡服务器将原始性能数据转发至多台解析服务器。
根据本公开的实施例，上述数据处理装置还包括：第一计算装置，该第一计算装置用于利用第一目标性能数据计算第一健康度，其中第一健康度用于表征与目标服务器相关的所有目标指标的综合健康程度。
根据本公开的实施例，上述第一计算装置包括：第一确定单元和第一计算单元。
其中，第一确定单元，用于确定第一健康度计算模型。其中，第一计算单元，用于将第一目标性能数据输入第一健康度计算模型，输出第一健康度。
根据本公开的实施例，上述数据处理装置还包括：第二计算装置，该第二计算装置用于利用第一目标性能数据计算第二健康度，其中第二健康度用于表征与目标应用相关的多个服务器的所有目标指标的综合健康程度。
根据本公开的实施例，上述第二计算装置包括：筛选单元、第二确定单元和第二计算单元。
其中，筛选单元，用于利用时序数据库，从第一目标性能数据中筛选出第二目标性能数据，其中第二目标性能数据为与目标应用相关的多个服务器的第一目标性能数据。其中，第二确定单元，用于确定第二健康度计算模型；其中，第二计算单元，用于将第二目标性能数据输入第二健康度计算模型，输出第二健康度。
根据本公开的实施例，上述数据处理装置还包括：第三发送装置和预警装置。
其中，第三发送装置，用于将每台服务器的性能报表发送至运维监控系统。预警装置，用于在目标指标的性能值超过预设阈值的情况下，通过运维监控系统发出针对目标指标的预警。
根据本公开的实施例，上述数据处理装置还包括：管理装置，该管理装置用于根据每台服务器的性能报表，对每台服务器进行应急管理，其中，应急管理包含重启、停止、升级、退库、安装中的至少之一。
本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器、以及存储器；其中该存储器用于存储一个或多个程序；其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上的数据处理方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，指令在被执行时用于实现如上的数据处理方法。
本公开的另一方面提供了一种计算机程序产品，计算机程序产品包括计算机可执行指令，指令在被执行时用于实现如上的数据处理方法。
根据本公开的实施例，因为采用了通过njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据，njmon采集到的性能数据为json格式数据，由于该格式数据体积小且重量轻、易于解析，可以更快的方式执行响应，并且在数据处理系统中，配合使用多台解析服务器解析原始性能数据、并通过中间件服务器将第一目标性能数据写入时序数据库，实现了数据处理系统的高可用，并可以处理高并发数据，并且根据性能数据生成每台业务服务器的性能报表，便于后续进行性能监控和维护。因此，使用该方法的系统能够适用较大规模的数据处理，所以至少部分地克服了由于数据量的大幅度增长，数据中心性能监控系统出现严重性能瓶颈，系统组件已无法处理较大规模数据的技术问题，进而实现了数据采集和处理系统更加轻量级的部署，达到了提升数据处理能力的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了可以应用本公开的数据处理方法和装置的示例性系统架构；
图2示意性示出了根据本公开实施例的数据处理方法的流程图；
图3示意性示出了根据本公开实施例的数据处理方法的流程示意图；
图4示例性示出了根据本公开实施例的性能趋势图中cpu总使用率的变化趋势图；
图5示例性示出了根据本公开实施例的性能趋势图中内存使用率的变化趋势图；
图6示例性示出了根据本公开实施例的性能趋势图中磁盘读写速度的变化趋势图；
图7示例性示出了根据本公开实施例的性能趋势图中文件系统使用率的变化趋势图；
图8示例性示出了根据本公开实施例的性能趋势图中网络传输速度的变化趋势图；
图9示例性示出了根据本公开实施例的性能趋势图中运行进程的cpu使用率的变化趋势图；
图10示意性示出了可以应用本公开实施例的数据处理方法的系统功能示意图；
图11示意性示出了根据本公开实施例的数据处理装置的框图；以及
图12示意性示出了根据本公开实施例的用于实现数据处理方法的电子设备的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在对本公开的实施例进行详细阐述之前，先对本公开实施例提供的方法所涉及的系统结构以及应用场景进行如下介绍。
图1示意性示出了可以应用本公开的数据处理方法和装置的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、业务服务集群102、负载均衡服务器103、解析服务器104、中间件服务器105、数据库106。
终端设备101可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
业务服务集群102可以被配置为处理业务，集群中的服务器可以是提供各种服务的服务器，例如对用户所浏览的网站提供支持的后台管理服务器。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给用户。随着业务的增长，业务服务集群102中业务服务器的数量也随之大幅度增长，需要对业务服务集群102的性能进行监控。
对业务服务集群102的性能进行监控的过程中，可在终端设备101上利用性能监控工具(例如nmon、njmon等性能数据采集工具)部署性能数据采集脚本，并将采集脚本上传至业务服务集群102，并通过执行对应脚本对业务服务集群102中每台业务服务器进行性能数据的采集。
负载均衡服务器103主要用于实现负载均衡，具体地，主要用于将采集到的性能数据转发至不同的解析服务器104，以便通过多台解析服务器104对性能数据进行解析，得到所需要的目标性能数据。
在该系统架构下，通过中间件服务器105将目标性能数据转发并写入数据库106中，实现该功能可采用例如kafka、MQ等中间件，数据库106可采用时序数据库，例如ClickHouse。可通过终端设备101对数据库106中的数据进行管理和操作，例如可从数据库106中获取所需要的性能数据，依据获取到的性能数据分析业务服务集群102中服务器的性能和工作状态，以便在服务器的性能指标超过预设阈值的情况发出预警通知，以及对每台所述服务器进行应急管理，例如重启、停止、升级、退库、安装等。
需要说明的是，本公开实施例所提供的数据处理方法一般可以由终端设备101执行。相应地，本公开实施例所提供的数据处理装置一般可以设置于终端设备101中。
本公开实施例所提供的数据处理方法也可以由不同于终端设备101且能够与终端设备101通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据处理装置也可以设置于不同于终端设备101且能够与终端设备101通信的服务器或服务器集群中。
应该理解，图1中的终端设备、服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备和服务器。
需要说明的是，本公开本公开的数据处理方法和装置可用于大数据技术领域，也可用于除大数据技术领域之外的任意领域，本公开对该数据处理方法和装置的应用领域不做限定。
随着信息化时代的到来，各公司企业的业务也出现大规模增长，数据中心服务器规模也随之呈现爆发性增长，由于数据中心服务器规模增长带来的数据量的大幅度增长，数据中心的服务器性能监控系统出现严重性能瓶颈，系统组件已无法处理较大规模数据，亟需一套性能较佳的性能数据采集及处理系统解决相关技术中性能数据处理能力不满足需求的问题。
有鉴于此，本公开的实施例提供了一种数据处理方法，以部分或全部解决相关技术中的问题。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示，该方法包括操作S201～S204。
在操作S201，通过njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据，其中原始性能数据包括与预设指标相关的性能数据。
在操作S202，将原始性能数据发送至多台解析服务器，以便通过多台解析服务器解析原始性能数据，以获得每台业务服务器的第一目标性能数据，其中第一目标性能数据为与目标指标相关的性能数据。
在操作S203，将第一目标性能数据发送至中间件服务器，以便通过中间件服务器将第一目标性能数据写入时序数据库。
在操作S204，根据第一目标性能数据生成每台业务服务器的性能报表，其中性能报表用于表征目标指标在每个预设时刻的性能值。
根据本公开的实施例，在上述操作S201中，通过njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据，例如可以是在终端设备上利用性能监控工具njmon部署性能数据采集脚本，并将性能数据采集脚本上传至业务服务集群，并通过执行对应脚本对业务服务集群中每台业务服务器进行原始性能数据的采集。
根据本公开的实施例，，通过njmon采集到的原始性能数据为json格式数据，json可以将JavaScript对象中表示的一组数据转换为字符串，然后可以在函数之间轻松地传递这个字符串，或者在异步应用程序中将字符串从Web客户机传递给服务器端程序。由于json语法易于使用，可以仅使用语法提供简单的数据解析以便更快地执行响应相应。
根据本公开的实施例，其中原始性能数据包括与预设指标相关的性能数据，其中，预设指标为与服务器性能相关的指标，例如cpu性能指标、内存性能指标、磁盘性能指标等，用户可根据需求自定义预设指标的类型。
根据本公开的实施例，在上述操作S202中，将原始性能数据发送至多台解析服务器，目的是可以通过多台解析服务器解析原始性能数据，以便更快地执行数据解析的任务。在执行数据解析的过程中，将json格式的原始性能数据解析为所需要的数据格式，同时，对原始性能数据进行筛选过滤，滤除无关数据，获取系统运维人员所关注的第一目标性能数据，其中第一目标性能数据为与目标指标相关的性能数据。例如，系统运维人员当前想要重点关注业务服务器的内存使用率，则可通过数据解析获得与目标指标(内存使用率)相关的性能数据。
根据本公开的实施例，在上述操作S203中，通过中间件服务器将第一目标性能数据写入时序数据库，实现该功能可采用例如kafka、MQ等中间件，通过采用中间件，实现了数据处理系统的高可用，并可以处理高并发数据，采用时序数据库，例如可采用ClickHouse，可保证所关注数据的时效性，便于能够及时快速地获得所要关注的数据。
根据本公开的实施例，在上述操作S204，根据第一目标性能数据生成每台业务服务器的性能报表，例如可从数据库中获取所需要的第一目标性能数据，依据获取到的数据分析业务服务集群中服务器的性能和工作状态，以便后续在服务器的性能指标超过预设阈值的情况发出预警通知，以及对每台所述服务器进行应急管理，例如重启、停止、升级、退库、安装等。
根据本公开的实施例，因为采用了通过njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据，njmon采集到的性能数据为json格式数据，由于该格式数据体积小且重量轻、易于解析，可以更快的方式执行响应，并且在数据处理系统中，配合使用多台解析服务器解析原始性能数据、并通过中间件服务器将第一目标性能数据写入时序数据库，实现了数据处理系统的高可用，并可以处理高并发数据，并且根据性能数据生成每台业务服务器的性能报表，便于后续进行性能监控和维护。因此，使用该方法的系统能够适用较大规模的数据处理，所以至少部分地克服了由于数据量的大幅度增长，数据中心性能监控系统出现严重性能瓶颈，系统组件已无法处理较大规模数据的技术问题，进而实现了数据采集和处理系统更加轻量级的部署，达到了提升数据处理能力的技术效果。
根据本公开的实施例，其中，上述目标指标包括以下至少之一：cpu总使用率、各运行进程的cpu使用率、内存使用率、网络传输速度、磁盘读写速度、各文件系统使用率。
目标指标是指系统运维人员当前想要重点关注的服务器性能指标，系统运维人员可根据当前需求自定义所要重点关注的指标，以获取与目标指标相关的性能数据。例如，系统运维人员当前想要重点关注服务器上各运行进程的cpu使用率，那么各运行进程的cpu使用率即为目标指标。
根据本公开的实施例，将原始性能数据发送至多台解析服务器包括：将原始性能数据发送至负载均衡服务器，以便通过负载均衡服务器将原始性能数据转发至多台解析服务器。其中，负载均衡例如可通过采用Nginx实现，通过使用负载均衡，可以将原始性能数据自动转发至空闲服务器，实现负载均衡、以及数据处理系统的高可用，并可以处理高并发数据，可更快地执行数据解析的任务。
图3示意性示出了根据本公开实施例的数据处理方法的流程示意图。如图3所示，该方法具体为：
在终端设备上利用性能监控工具njmon部署性能数据采集脚本，并将性能数据采集脚本上传至业务服务集群，在业务服务集群的每台服务器中执行对应的脚本，采集获取到每台业务服务器的原始性能数据。
之后将将原始性能数据发送至Nginx服务器，通过Nginx服务器将原始性能数据转发至多台解析服务器并实现多台解析服务器之间的负载均衡。在解析服务器中，将json格式的原始性能数据解析为所需要的数据格式，同时，对原始性能数据进行筛选过滤，滤除无关数据，获取系统运维人员所关注的第一目标性能数据。
然后通过kafka集群将第一目标性能数据写入ClickHouse数据库，其中，数据库设有主库和备用库，防止数据丢失。
最后，可通过管理数据库，从数据库中获取所需要的第一目标性能数据，依据获取到的数据分析业务服务集群中服务器的性能和工作状态，并生成用于表征目标指标在每个预设时刻的性能值的性能报表。
根据本公开的实施例，可根据上述性能数据生成相关目标指标随时间变化的性能趋势图，并对相关性能趋势图进行可视化展示，例如可通过Echarts软件实现该功能。图4、图5、图6、图7、图8、图9所示为相关相关性能趋势图进行可视化展示的结果。
如图4示例性示出了根据本公开实施例的性能趋势图中cpu总使用率的变化趋势图；图5示例性示出了根据本公开实施例的性能趋势图中内存使用率的变化趋势图；图6示例性示出了根据本公开实施例的性能趋势图中磁盘读写速度的变化趋势图；图7示例性示出了根据本公开实施例的性能趋势图中文件系统使用率的变化趋势图；图8示例性示出了根据本公开实施例的性能趋势图中网络传输速度的变化趋势图；图9示例性示出了根据本公开实施例的性能趋势图中运行进程(Java)的cpu使用率的变化趋势图。
根据本公开的实施例，上述方法还包括：利用第一目标性能数据计算第一健康度或第二健康度，其中第一健康度用于表征与目标服务器相关的所有目标指标的综合健康程度，第二健康度用于表征与目标应用相关的多个服务器的所有目标指标的综合健康程度。
其中，利用第一目标性能数据计算第一健康度包括：确定第一健康度计算模型；以及将第一目标性能数据输入第一健康度计算模型，输出第一健康度。
其中，利用第一目标性能数据计算第二健康度包括：利用时序数据库，从第一目标性能数据中筛选出第二目标性能数据，其中第二目标性能数据为与目标应用相关的多个服务器的第一目标性能数据；确定第二健康度计算模型；以及将第二目标性能数据输入第二健康度计算模型，输出第二健康度。
根据本公开的实施例，第一健康度计算模型和第二健康度计算模型为预设的计算模型。利用第一健康度计算模型计算第一健康度，例如可以是：将每台所述业务服务器的第一目标性能数据(可以为多个目标指标相关的性能数据，如cpu总使用率、各运行进程的cpu使用率、内存使用率、网络传输速度、磁盘读写速度、各文件系统使用率等)输入第一健康度计算模型，在第一健康度计算模型中，可实现对每个目标指标的性能进行评价打分，得到多个评价值，并依据多个评价值以及各自的权重，对上述多个评价值进行加权运算，得到综合评价值，即第一健康度的值。
根据本公开的实施例，利用第二健康度计算模型计算第二健康度的方法可参考上述计算第一健康度的方法，在此不再赘述。
根据本公开的实施例，通过利用第一目标性能数据计算第一健康度或第二健康度，可在获取到相关服务器指标性能的基础上，分别获取到服务器维度或应用维度的综合性能评价结果，实现对服务器的性能或者重要应用程序的性能的整体把控，方便系统运维人员对服务集群的管理。
根据本公开的实施例，上述方法还包括：将每台服务器的性能报表发送至运维监控系统；以及在目标指标的性能值超过预设阈值的情况下，通过运维监控系统发出针对目标指标的预警。
根据本公开的实施例，上述方法还包括：根据每台服务器的性能报表，对每台服务器进行应急管理，其中，应急管理包含重启、停止、升级、退库、安装中的至少之一。
图10示意性示出了可以应用本公开实施例的数据处理方法的系统功能示意图。以下结合图10对可以应用本公开实施例的数据处理方法的实施例进行说明。
该实施例中，在终端设备上利用性能监控工具njmon采集获取到每台业务服务器的原始性能数据、并将将json格式的原始性能数据解析进行解析获得系统运维人员所关注的第一目标性能数据后，将第一目标性能数据写入ClickHouse数据库。第一目标性能数据包括每台业务服务器的与目标指标相关的性能数据，如cpu总使用率、各运行进程的cpu使用率、内存使用率、网络传输速度、磁盘读写速度、各文件系统使用率等等。
根据本公开的实施例，可通过数据库管理工具对数据库进行管理操作，从数据库中获取所需要的第一目标性能数据，依据获取到的数据分析业务服务集群中服务器的性能和工作状态，并生成用于表征各目标指标(如cpu总使用率、各运行进程的cpu使用率、内存使用率、网络传输速度、磁盘读写速度、各文件系统使用率等等)在每个预设时刻的性能值的性能报表。
根据本公开的实施例，还可在获取到相关服务器指标性能的基础上，利用第一目标性能数据计算第一健康度或第二健康度，分别获取到服务器维度或应用维度的综合性能评价结果，实现对服务器的性能或者重要应用程序的性能的整体把控。
根据本公开的实施例，可将实现该方法的系统通过配置服务功能模块实现与运维监控系统如CMDB(Configuration Management Database)、OSCM(Operation SystemConfigure Management)的对接，例如，可将每台服务器的性能报表发送至运维监控系统；以及在目标指标的性能值超过预设阈值的情况下，通过运维监控系统发出针对目标指标的预警，以及根据每台服务器的性能报表，通过运维监控系统实现对每台服务器进行应急管理，如重启、停止、升级、退库、安装中等。
图11示意性示出了根据本公开实施例的数据处理装置1100的框图。
该数据处理装置1100可以用来实现参考图2所示的方法。
如图11所示，数据处理装置1100包括：采集装置1101、第一发送装置1102、第二发送装置1103和生成装置1104。
其中，采集装置1101，用于通过njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据，其中原始性能数据包括与预设指标相关的性能数据。
第一发送装置1102，用于将原始性能数据发送至多台解析服务器，以便通过多台解析服务器解析原始性能数据，以获得每台业务服务器的第一目标性能数据，其中第一目标性能数据为与目标指标相关的性能数据。
第二发送装置1103，用于将第一目标性能数据发送至中间件服务器，以便通过中间件服务器将第一目标性能数据写入时序数据库。
生成装置1104，用于根据第一目标性能数据生成每台业务服务器的性能报表，其中性能报表用于表征目标指标在每个预设时刻的性能值。
根据本公开的实施例，通过采集装置1101使用njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据，njmon采集到的性能数据为json格式数据，由于该格式数据体积小且重量轻、易于解析，可以更快的方式执行响应，并且通过第一发送装置1102将原始性能数据发送至多台解析服务器，通过第二发送装置1103将第一目标性能数据发送至中间件服务器，并通过中间件服务器将第一目标性能数据写入时序数据库，实现了数据处理的高可用，并可以处理高并发数据，并且通过生成装置1104根据性能数据生成每台业务服务器的性能报表，便于后续进行性能监控和维护。因此，使用该装置的系统能够适用较大规模的数据处理，所以至少部分地克服了由于数据量的大幅度增长，数据中心性能监控系统出现严重性能瓶颈，系统组件已无法处理较大规模数据的技术问题，进而实现了数据采集和处理系统更加轻量级的部署，达到了提升数据处理能力的技术效果。
根据本公开的实施例，上述第一发送装置1102中，目标指标包括以下至少之一：cpu总使用率、各运行进程的cpu使用率、内存使用率、网络传输速度、磁盘读写速度、各文件系统使用率。
根据本公开的实施例，上述第一发送装置1102中，将原始性能数据发送至多台解析服务器包括：将原始性能数据发送至负载均衡服务器，以便通过负载均衡服务器将原始性能数据转发至多台解析服务器。
根据本公开的实施例，上述数据处理装置1100还包括：第一计算装置，该第一计算装置用于利用第一目标性能数据计算第一健康度，其中第一健康度用于表征与目标服务器相关的所有目标指标的综合健康程度。
根据本公开的实施例，上述第一计算装置包括：第一确定单元和第一计算单元。
其中，第一确定单元，用于确定第一健康度计算模型。其中，第一计算单元，用于将第一目标性能数据输入第一健康度计算模型，输出第一健康度。
根据本公开的实施例，上述数据处理装置1100还包括：第二计算装置，该第二计算装置用于利用第一目标性能数据计算第二健康度，其中第二健康度用于表征与目标应用相关的多个服务器的所有目标指标的综合健康程度。
根据本公开的实施例，上述第二计算装置包括：筛选单元、第二确定单元和第二计算单元。
其中，筛选单元，用于利用时序数据库，从第一目标性能数据中筛选出第二目标性能数据，其中第二目标性能数据为与目标应用相关的多个服务器的第一目标性能数据。其中，第二确定单元，用于确定第二健康度计算模型；其中，第二计算单元，用于将第二目标性能数据输入第二健康度计算模型，输出第二健康度。
根据本公开的实施例，上述数据处理装置1100还包括：第三发送装置和预警装置。
其中，第三发送装置，用于将每台服务器的性能报表发送至监控系统。预警装置，用于在目标指标的性能值超过预设阈值的情况下，通过监控系统发出针对目标指标的预警。
根据本公开的实施例，上述数据处理装置1100还包括：管理装置，该管理装置用于根据每台服务器的性能报表，对每台服务器进行应急管理，其中，应急管理包含重启、停止、升级、退库、安装中的至少之一。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，采集装置1101、第一发送装置1102、第二发送装置1103和生成装置1104中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，采集装置1101、第一发送装置1102、第二发送装置1103和生成装置1104中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，采集装置1101、第一发送装置1102、第二发送装置1103和生成装置1104中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器、以及存储器；其中该存储器用于存储一个或多个程序；其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上的数据处理方法。
图12示意性示出了根据本公开实施例的用于实现数据处理方法的电子设备的框图。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，根据本公开实施例的电子设备1200包括处理器1201，其可以根据存储在只读存储器(ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM)1203中的程序而执行各种适当的动作和处理。处理器1201例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1201还可以包括用于缓存用途的板载存储器。处理器1201可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1203中，存储有电子设备1200操作所需的各种程序和数据。处理器1201、ROM 1202以及RAM 1203通过总线1204彼此相连。处理器1201通过执行ROM 1202和/或RAM1203中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1202和RAM 1203以外的一个或多个存储器中。处理器1201也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，电子设备1200还可以包括输入/输出(I/O)接口1205，输入/输出(I/O)接口1205也连接至总线1204。系统1200还可以包括连接至I/O接口1205的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被处理器1201执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1202和/或RAM 1203和/或ROM 1202和RAM 1203以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的数据处理方法。
在该计算机程序被处理器1201执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1209被下载和安装，和/或从可拆卸介质1211被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (13)

1.一种数据处理方法，包括：
通过njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据，其中所述原始性能数据包括与预设指标相关的性能数据；
将所述原始性能数据发送至多台解析服务器，以便通过多台所述解析服务器解析所述原始性能数据，以获得每台所述业务服务器的第一目标性能数据，其中所述第一目标性能数据为与目标指标相关的性能数据；
将所述第一目标性能数据发送至中间件服务器，以便通过所述中间件服务器将所述第一目标性能数据写入时序数据库；
根据所述第一目标性能数据生成每台所述业务服务器的性能报表，其中所述性能报表用于表征所述目标指标在每个预设时刻的性能值。
2.根据权利要求1所述的方法，其中，所述目标指标包括以下至少之一：
cpu总使用率、各运行进程的cpu使用率、内存使用率、网络传输速度、磁盘读写速度、各文件系统使用率。
3.根据权利要求1所述的方法，将所述原始性能数据发送至多台解析服务器包括：
将所述原始性能数据发送至负载均衡服务器，以便通过所述负载均衡服务器将所述原始性能数据转发至多台所述解析服务器。
4.根据权利要求1所述的方法，还包括：
利用所述第一目标性能数据计算第一健康度，其中所述第一健康度用于表征与目标服务器相关的所有所述目标指标的综合健康程度。
5.根据权利要求4所述的方法，其中，利用所述第一目标性能数据计算第一健康度包括：
确定第一健康度计算模型；
将所述第一目标性能数据输入所述第一健康度计算模型，输出所述第一健康度。
6.根据权利要求1所述的方法，还包括：
利用所述第一目标性能数据计算第二健康度，其中所述第二健康度用于表征与目标应用相关的多个服务器的所有所述目标指标的综合健康程度。
7.根据权利要求6所述的方法，其中，利用所述第一目标性能数据计算第二健康度包括：
利用所述时序数据库，从所述第一目标性能数据中筛选出第二目标性能数据，其中所述第二目标性能数据为与所述目标应用相关的多个服务器的所述第一目标性能数据；
确定第二健康度计算模型；
将所述第二目标性能数据输入所述第二健康度计算模型，输出所述第二健康度。
8.根据权利要求1所述的方法，还包括：
将每台所述服务器的性能报表发送至运维监控系统；
在所述目标指标的性能值超过预设阈值的情况下，通过所述运维监控系统发出针对所述目标指标的预警。
9.根据权利要求8所述的方法，还包括：
根据每台所述服务器的性能报表，对每台所述服务器进行应急管理，其中，所述应急管理包含重启、停止、升级、退库、安装中的至少之一。
10.一种数据处理装置，包括：
采集装置，用于通过njmon性能监控工具采集业务服务集群中的每台业务服务器的原始性能数据，其中所述原始性能数据包括与预设指标相关的性能数据；
第一发送装置，用于将所述原始性能数据发送至多台解析服务器，以便通过多台所述解析服务器解析所述原始性能数据，以获得每台所述业务服务器的第一目标性能数据，其中所述第一目标性能数据为与目标指标相关的性能数据；
第二发送装置，用于将所述第一目标性能数据发送至中间件服务器，以便通过所述中间件服务器将所述第一目标性能数据写入时序数据库；
生成装置，用于根据所述第一目标性能数据生成每台所述业务服务器的性能报表，其中所述性能报表用于表征所述目标指标在每个预设时刻的性能值。
11.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至9中任一项所述的方法。
13.一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现权利要求1至9中任一项所述的方法。
CN202110478665.3A 2021-04-30 2021-04-30 数据处理方法及装置、电子设备和计算机可读存储介质 Active CN113032237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110478665.3A CN113032237B (zh) 2021-04-30 2021-04-30 数据处理方法及装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110478665.3A CN113032237B (zh) 2021-04-30 2021-04-30 数据处理方法及装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113032237A true CN113032237A (zh) 2021-06-25
CN113032237B CN113032237B (zh) 2024-06-25

Family

ID=76455453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110478665.3A Active CN113032237B (zh) 2021-04-30 2021-04-30 数据处理方法及装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113032237B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138765A (zh) * 2021-12-07 2022-03-04 北京知道未来信息技术有限公司 一种前端页面性能预警方法、装置、服务器及存储介质
CN115706697A (zh) * 2021-07-20 2023-02-17 中国联合网络通信集团有限公司 数据采集方法与系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714930A (zh) * 2009-12-30 2010-05-26 北京世纪互联宽带数据中心有限公司 一种实现网络监控的方法及系统
CN110928732A (zh) * 2019-11-05 2020-03-27 北京字节跳动网络技术有限公司 服务器集群性能采样分析方法、装置及电子设备
CN111526049A (zh) * 2020-04-16 2020-08-11 中国工商银行股份有限公司 运维系统、运维方法、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714930A (zh) * 2009-12-30 2010-05-26 北京世纪互联宽带数据中心有限公司 一种实现网络监控的方法及系统
CN110928732A (zh) * 2019-11-05 2020-03-27 北京字节跳动网络技术有限公司 服务器集群性能采样分析方法、装置及电子设备
CN111526049A (zh) * 2020-04-16 2020-08-11 中国工商银行股份有限公司 运维系统、运维方法、电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115706697A (zh) * 2021-07-20 2023-02-17 中国联合网络通信集团有限公司 数据采集方法与系统
CN115706697B (zh) * 2021-07-20 2024-09-24 中国联合网络通信集团有限公司 数据采集方法与系统
CN114138765A (zh) * 2021-12-07 2022-03-04 北京知道未来信息技术有限公司 一种前端页面性能预警方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN113032237B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
US11755452B2 (en) Log data collection method based on log data generated by container in application container environment, log data collection device, storage medium, and log data collection system
US10230600B2 (en) Performance analysis and bottleneck detection in service-oriented applications
US9804830B2 (en) Anomaly detection using a data stream processing language for analyzing instrumented software
EP3220270B1 (en) System and method to configure distributed measuring devices and treat measurement data
US11307957B2 (en) Systems and methods for determining optimal cost-to-serve for cloud applications in the public cloud
US9928163B2 (en) Dynamic test topology visualization
US9996446B2 (en) User experience diagnostics with actionable insights
US9948524B2 (en) Network element diagnostic evaluation
CN113032237B (zh) 数据处理方法及装置、电子设备和计算机可读存储介质
CN112817831A (zh) 应用性能监测方法、装置、计算机系统和可读存储介质
CN113505302A (zh) 支持动态获取埋点数据的方法、装置、系统及电子设备
CN113076224A (zh) 数据备份方法、数据备份系统、电子设备及可读存储介质
CN110717992B (zh) 调度模型的方法、装置、计算机系统和可读存储介质
US10346176B2 (en) Mainframe system structuring
CN115202973A (zh) 应用运行状态的确定方法、装置、电子设备和介质
CN114201508A (zh) 数据处理方法、数据处理装置、电子设备和存储介质
CN114218283A (zh) 异常检测方法、装置、设备、介质
CN113672472A (zh) 磁盘监控方法及装置
CN113656314A (zh) 压力测试处理方法及装置
CN116450465B (zh) 数据处理方法、装置、设备及介质
CN117131018A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN114840424A (zh) 测试案例处理方法、装置、计算机系统和可读存储介质
CN113722217A (zh) 日志打点处理方法
CN114237856A (zh) 运算类型识别方法、装置、电子设备及存储介质
CN117056191A (zh) 断言程序处理方法、装置、设备、介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant