CN116225680A - 数据处理方法、装置、设备及存储介质 - Google Patents

数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116225680A
CN116225680A CN202211548491.4A CN202211548491A CN116225680A CN 116225680 A CN116225680 A CN 116225680A CN 202211548491 A CN202211548491 A CN 202211548491A CN 116225680 A CN116225680 A CN 116225680A
Authority
CN
China
Prior art keywords
server
information
monitored
equipment
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211548491.4A
Other languages
English (en)
Inventor
张建荣
庞玉峰
姜辉
乔新亚
郑子初
滕海燕
石权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Unicom Digital Technology Co Ltd
Unicom Cloud Data Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Unicom Digital Technology Co Ltd
Unicom Cloud Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd, Unicom Digital Technology Co Ltd, Unicom Cloud Data Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202211548491.4A priority Critical patent/CN116225680A/zh
Publication of CN116225680A publication Critical patent/CN116225680A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请提供一种数据处理方法、装置、设备及存储介质，涉及通信领域，用于降低服务器的负载。该方法应用于第一服务器，第一服务器为监控目标资源池的服务器，目标资源池包括至少一个待监控设备，该方法包括：对于至少一个待监控设备中每个待监控设备，获取待监控设备的第一设备信息。接收来自第二服务器的第一指令，第一指令用于指示对第一设备信息进行处理，第二服务器为管理全部资源池的服务器，全部资源池中每个资源池对应一个第一服务器，目标资源池为全部资源池中任一资源池。基于第一指令对第一设备信息进行处理，确定状态信息，状态信息用于指示待监控设备的运行状态。向第二服务器发送状态信息。

Description

数据处理方法、装置、设备及存储介质
技术领域
本申请涉及通信领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
近年来，随着通信技术的发展，终端的应用越来越广泛，服务器对终端的管理需求也越来越多。
目前，在服务器管理终端的过程中，服务器需要先获取终端的性能数据。之后，服务器对性能数据进行处理，确定终端的运行状态，并对终端进行故障预测，进而实现对终端的管理。但是，在上述技术方案中，在服务器管理多个终端时，服务器需要接收多个终端中每个终端的性能数据，增加了服务器处理的信息量，增加了服务器的负载。
发明内容
本申请提供一种数据处理方法、装置、设备及存储介质，用于降低服务器的负载。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请提供一种数据处理方法。该方法中，第一服务器为监控目标资源池的服务器，目标资源池包括至少一个待监控设备，对于至少一个待监控设备中每个待监控设备，第一服务器获取待监控设备的第一设备信息。第一服务器接收来自第二服务器的第一指令，第一指令用于指示对第一设备信息进行处理，第二服务器为管理全部资源池的服务器，全部资源池中每个资源池对应一个第一服务器，目标资源池为全部资源池中任一资源池。第一服务器基于第一指令对第一设备信息进行处理，确定状态信息，状态信息用于指示待监控设备的运行状态。第一服务器向第二服务器发送状态信息。
可选的，第一服务器存储有预设信息格式，该数据处理方法还包括：第一服务器获取第二设备信息，第二设备信息为第一服务器采集的待监控设备的设备信息。上述“第一服务器获取待监控设备的第一设备信息”的方法包括：第一服务器根据预设信息格式配置第二设备信息，确定第一设备信息，第一设备信息的信息格式为预设信息格式。
可选的，待监控设备包括以下至少一项：物理机、虚拟机和容器，容器用于运行应用实例。
可选的，该数据处理方法还包括：第一服务器存储状态信息。第一服务器接收来自管理终端的第二指令，第二指令用于指示获取待监控设备的运行状态。响应于第二指令，第一服务器向管理终端发送状态信息。
第二方面，本申请提供一种数据处理装置，应用于第一服务器，第一服务器为监控目标资源池的服务器，目标资源池包括至少一个待监控设备，该装置包括：获取模块、处理模块和发送模块。
获取模块，用于对于至少一个待监控设备中每个待监控设备，获取待监控设备的第一设备信息。获取模块，还用于接收来自第二服务器的第一指令，第一指令用于指示对第一设备信息进行处理，第二服务器为管理全部资源池的服务器，全部资源池中每个资源池对应一个第一服务器，目标资源池为全部资源池中任一资源池。处理模块，用于基于第一指令对第一设备信息进行处理，确定状态信息，状态信息用于指示待监控设备的运行状态。发送模块，用于向第二服务器发送状态信息。
可选的，第一服务器存储有预设信息格式。获取模块，还用于获取第二设备信息，第二设备信息为第一服务器采集的待监控设备的设备信息。处理模块，还用于根据预设信息格式配置第二设备信息，确定第一设备信息，第一设备信息的信息格式为预设信息格式。
可选的，待监控设备包括以下至少一项：物理机、虚拟机和容器，容器用于运行应用实例。
可选的，该数据处理装置还包括：存储模块。存储模块，用于存储状态信息。获取模块，还用于接收来自管理终端的第二指令，第二指令用于指示获取待监控设备的运行状态。发送模块，还用于响应于第二指令，向管理终端发送状态信息。
第三方面，本申请提供了一种数据处理设备，该设备包括：处理器和存储器。处理器和存储器耦合。存储器用于存储一个或多个程序，该一个或多个程序包括计算机执行指令，当该数据处理设备运行时，处理器执行该存储器存储的该计算机执行指令，以实现如第一方面和第一方面的任一种可能的实现方式中所描述的数据处理方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述第一方面和第一方面的任一种可能的实现方式中所描述的数据处理方法。
第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机指令，当该计算机指令在电子设备上运行时，该电子设备实现如第一方面和第一方面的任一种可能的实现方式中所描述的数据处理方法。
上述方案中，数据处理装置、设备、计算机存储介质或者计算机程序产品所能解决的技术问题以及实现的技术效果可以参见上述第一方面所解决的技术问题以及技术效果，在此不再赘述。
本申请提供的技术方案至少带来以下有益效果：对于至少一个待监控设备中每个待监控设备，第一服务器可以获取待监控设备的第一设备信息。之后，第一服务器可以接收来自第二服务器的第一指令，第一指令用于指示对第一设备信息进行处理，第二服务器为管理全部资源池的服务器，全部资源池中每个资源池对应一个第一服务器，目标资源池为全部资源池中任一资源池，目标资源池包括至少一个待监控设备。之后，第一服务器基于第一指令对第一设备信息进行处理，确定状态信息，状态信息用于指示待监控设备的运行状态。之后，第一服务器可以向第二服务器发送状态信息。也就是说，第一服务器可以替代第二服务器对信息进行处理。如此，可以减少第二服务器处理的信息量，降低第二服务器的负载。
附图说明
图1为本申请实施例提供的一种通信系统示意图；
图2为本申请实施例提供的一种数据处理方法的流程示意图；
图3为本申请实施例提供的一种资源架构的实例示意图；
图4为本申请实施例提供的另一种数据处理方法的流程示意图；
图5为本申请实施例提供的一种采集器与适配器之间的关系实例示意图；
图6为本申请实施例提供的另一种数据处理方法的流程示意图
图7为本申请实施例提供的一种数据处理装置的结构示意图；
图8为本申请实施例提供的一种数据处理设备的结构示意图；
图9为本申请实施例提供的一种计算机程序产品的概念性局部视图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本文中字符“/”，一般表示前后关联对象是一种“或者”的关系。例如，A/B可以理解为A或者B。
本申请的说明书和权利要求书中的术语“第一”和“第二”是用于区别不同的对象，而不是用于描述对象的特定顺序。
此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括其他没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
另外，在本申请实施例中，“示例性的”、或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、或者“例如”等词旨在以具体方式呈现概念。
在对本申请实施例提供的数据处理方法进行详细介绍之前，先对本申请实施例的实施环境和应用场景进行介绍。
首先，对本申请实施例的应用场景进行介绍。
近年来，随着通信技术的发展，终端的应用越来越广泛，服务器对终端的管理需求也越来越多。在相关技术中，在服务器管理终端的过程中，服务器需要先获取终端的性能数据。之后，服务器对性能数据进行处理，确定终端的运行状态，并对终端进行故障预测，进而实现对终端的管理。
示例性的，服务器获取终端的中央处理器(central processing unit，CPU)占用率0.12、内存占用率0.49和磁盘占用率0.52，则服务器过滤CPU占用率0.12，并将内存占用率0.49与磁盘占用率0.52相加，确定空间占用率为1.01，同时确定终端为负载状态。并且，服务器根据历史空间占用率0.94，预测终端出现空间不足的故障，确定告警信息。
综上，目前的技术方案中，在服务器管理多个终端时，服务器需要接收多个终端中每个终端的性能数据，增加了服务器处理的信息量，增加了服务器的负载。
为了解决上述问题，本申请实施例提供一种数据处理方法，在中心服务器管理多个资源池的场景中，为每个资源池部署一个子服务器，子服务器用于监控对应的资源池。子服务器可以采集对应的资源池中每个设备的信息，并根据来自中心服务器的计算指令，对采集到的信息进行处理，并向中心服务器发送处理后的信息。也就是说，每个资源池的子服务器均可以替代中心服务器对信息进行处理。如此，可以减少中心服务器处理的信息量，降低中心服务器的负载。
下面对本申请实施例的实施环境进行介绍。
如图1所示，为本申请实施例提供的一种通信系统，该通信系统包括：至少一个资源池(如资源池101、资源池102)、至少两个服务器(如服务器103、服务器104和服务器105)。其中，资源池101包括：至少一个待监控设备(如待监控设备106、待监控设备107)，资源池102包括：至少一个待监控设备(如待监控设备108、待监控设备109)。待监控设备106和待监控设备107(或待监控设备108和待监控设备109)均可以与服务器103(或服务器104)进行有线/无线通信，服务器103和服务器104均可以与服务器105进行有线/无线通信。
其中，服务器103可以采集资源池101中待监控设备106和待监控设备107的性能数据。并且，服务器103可以对采集到的性能数据进行处理，确定待监控设备106和待监控设备107的状态信息。并且，服务器103可以向服务器105发送待监控设备106和待监控设备107的状态信息。对于服务器104的介绍，可以参考上述对于服务器103的介绍，此处不予赘述。
服务器105可以根据待监控设备(如待监控设备106、待监控设备107、待监控设备108或待监控设备109)的状态信息，对待监控设备进行故障预测，并生成告警信息。
其中，服务器(如服务器103、服务器104、服务器105)可以为物理服务器，也可以为云端服务器。
需要说明的是，在本申请实施例中，待监控设备(如待监控设备106、待监控设备107、待监控设备108、待监控设备109)可以为终端，还可以为物理服务器。
其中，终端可以是一种具有收发功能的设备。终端可以被部署在陆地上，包括室内或室外、手持或车载；也可以被部署在水面上(如轮船等)；还可以被部署在空中(例如飞机、气球和卫星上等)。终端包括具有无线通信功能的手持式设备、车载设备、可穿戴设备或计算设备。示例性地，终端可以是手机(mobile phone)、平板电脑或带无线收发功能的电脑。终端设备还可以是虚拟现实(virtual reality，VR)终端设备、增强现实(augmentedreality，AR)终端设备、工业控制中的无线终端、无人驾驶中的无线终端、远程医疗中的无线终端、智能电网中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smarthome)中的无线终端等。
在介绍了本申请实施例的应用场景和实施环境之后，下面结合上述实施环境，对本申请实施例提供的数据处理方法进行详细介绍。
以下实施例中的方法均可以在上述应用场景和实施环境中实现。下面结合说明书附图对本申请实施例进行具体说明。
图2为本申请实施例提供的一种数据处理方法的流程示意图。如图2所示，该方法可以包括：S201-S204。
S201、第一服务器获取待监控设备的第一设备信息。
其中，第一服务器为监控目标资源池的服务器，目标资源池包括至少一个待监控设备。
示例性的，服务器A可以监控资源池A，资源池A包括：待监控设备A和待监控设备B。则服务器A可以监控待监控设备A和待监控设备B。
需要说明的是，在本申请实施例中，待监控设备可以包括以下至少一项：物理机、虚拟机(Virtual Machine，VM)和容器(Container)。其中，容器用于运行应用实例。
在一种可能的设计中，物理机包括虚拟化对象和容器类对象。其中，虚拟化对象可以包括：虚拟机，基于内核的虚拟机(Kernel-based Virtual Machine，KVM)，云服务器(Elastic Compute Service，ECS)，弹性互联网协议(Elastic Internet Protocol，EIP)网络和虚拟私有云(Virtual Private Cloud，VPC)网络等，容器类对象包括：容器，裸金属服务器(Bare Metal Service，BMS)，运行容器(Run Container，Runc)和安全容器(如Kata容器)等。也就是说，虚拟化对象和容器类对象可以部署在同一物理机上，便于对虚拟化对象、容器类对象和物理机进行统一管理。
示例性的，如图3所示，其示出了虚拟化对象、容器类对象和物理机共享同一个基础设施即服务(Infrastructure as a Service，IaaS)资源的架构图。其中，物理机包括：计算资源、存储资源和网络资源，虚拟化对象包括：虚拟机和基于内核的虚拟机，容器类对象包括：容器，裸金属服务器，运行容器和安全容器。其中，物理机通过管理应用k8s(Kubernetes，一个开源的用于管理云平台中多个主机上的容器化的应用)管理计算资源、存储资源和网络资源，容器类对象可以通过管理应用k8s获取物理机的计算资源、存储资源和网络资源。并且，管理应用k8s中部署有云计算管理平台(如Openstack)，虚拟化对象可以通过Openstack和管理应用k8s，获取物理机的计算资源、存储资源和网络资源。实现虚拟化对象、容器类对象统一共享物理机的计算资源、存储资源和网络资源。
在一种可能的实现方式中，对于至少一个待监控设备中每个待监控设备，第一服务器可以获取每个待监控设备的第一设备信息。
需要说明的是，本申请实施例对第一设备信息不作限定。例如，第一设备信息可以包括：容器的内存占用率、CPU利用率等。又例如，第一设备信息可以包括：ECS的运行时长、中断数量等。又例如，第一设备信息可以包括：物理机的磁盘坏道数量、磁盘占用率等。
示例性的，至少一个待监控设备包括：设备A和设备B。其中，设备A包括：物理机A和虚拟机A，设备B包括：物理机B和容器A。第一服务器获取的设备A的第一设备信息包括：物理机A的磁盘坏道数量2和虚拟机A的运行时长15分钟，第一服务器获取的设备B的第一设备信息包括：物理机B的磁盘占用率0.22和容器A的CPU利用率0.17。
S202、第一服务器接收来自第二服务器的第一指令。
其中，第二服务器为管理全部资源池的服务器，全部资源池中每个资源池对应一个第一服务器，目标资源池为全部资源池中任一资源池。
也就是说，第二服务器可以管理全部资源池中每个资源池的待监控设备，第一服务器仅可以监控对应的资源池的待监控设备。
示例性的，全部资源池包括：资源池A和资源池B，服务器A管理资源池A，服务器B管理资源池B，服务器C管理资源池A和资源池B。则服务器A为资源池A对应的第一服务器，服务器B为资源池B对应的第一服务器，服务器C为第二服务器。
在一种可能的实现方式中，第二服务器可以向第一服务器发送第一指令。其中，第一指令用于指示对第一设备信息进行处理。之后，第一服务器可以接收来自第二服务器的第一指令。
示例性的，第一指令A用于指示过滤第一设备信息A中虚拟机的运行时长和物理机的磁盘占用率，第一指令B用于指示筛选第一设备信息B中容器的CPU利用率和物理机的磁盘坏道数量，第一指令C用于指示计算容器的内存占用率、虚拟机的内存占用率和物理机的内存占用率的方差。
需要说明的是，本申请实施例对执行S201和S202的顺序不作限定。例如，第一服务器可以先执行S201，再执行S202。又例如，第一服务器可以先执行S202，再执行S201。又例如，第一服务器可以同时执行S201和S202。
S203、第一服务器基于第一指令对第一设备信息进行处理，确定状态信息。
其中，状态信息用于指示待监控设备的运行状态。
示例性的，待监控设备A的状态信息包括：物理机的磁盘坏道数量0、虚拟机的CPU利用率0.03和容器的内存占用率0.37，待监控设备B的状态信息包括：物理机的磁盘坏道数量7、虚拟机的中断数量33和容器的CPU利用率0.88。则确定待监控设备A为正常运行状态，待监控设备B为异常运行状态。
下面对第一服务器基于第一指令对第一设备信息进行处理，确定状态信息的过程进行介绍。
示例性的，第一设备信息包括：容器的内存占用率0.12、虚拟机的内存占用率0.33和物理机的内存占用率0.47，第一指令用于指示计算容器的内存占用率、虚拟机的内存占用率和物理机的内存占用率之和。则第一服务器确定状态信息为0.92。
S204、第一服务器向第二服务器发送状态信息。
在一些实施例中，第一服务器还可以向第二服务器发送第一设备信息。
也就是说，第一服务器不仅可以向第二服务器发送处理后的第一设备信息，还可以向第二服务器发送未处理的第一设备信息，使得第二服务器可以灵活选择需要的信息，提高了第二服务器的操作性和灵活性。
上述实施例提供的技术方案至少带来以下有益效果：对于至少一个待监控设备中每个待监控设备，第一服务器可以获取待监控设备的第一设备信息。之后，第一服务器可以接收来自第二服务器的第一指令，第一指令用于指示对第一设备信息进行处理，第二服务器为管理全部资源池的服务器，全部资源池中每个资源池对应一个第一服务器，目标资源池为全部资源池中任一资源池，目标资源池包括至少一个待监控设备。之后，第一服务器基于第一指令对第一设备信息进行处理，确定状态信息，状态信息用于指示待监控设备的运行状态。之后，第一服务器可以向第二服务器发送状态信息。也就是说，第一服务器可以替代第二服务器对信息进行处理。如此，可以减少第二服务器处理的信息量，降低第二服务器的负载。
在一些实施例中，如图4所示，在S201之前，该数据处理方法还包括：S401。
S401、第一服务器获取第二设备信息。
其中，第二设备信息为第一服务器采集的待监控设备的设备信息。
在一种可能的实现方式中，第一服务器可以包括至少一个预设采集器。第一服务器可以通过至少一个预设采集器中每个预设采集器对待监控设备进行信息采集，获取第二设备信息。
需要说明的是，本申请实施例对预设采集器不作限定。例如，预设采集器可以为Prometheus中的采集器。又例如，预设采集器可以为Zabbix中的采集器。又例如，预设采集器可以为Openstack中的Neutron组件。又例如，预设采集器可以为Telegraf采集器。
示例性的，第一服务器通过Prometheus中的采集器采集容器的内存占用率为0.22、CPU利用率为0.17，通过Zabbix中的采集器采集物理机的磁盘坏道数量为2，通过Openstack中的Neutron组件采集VPC的丢包数量为7，通过Telegraf采集器采集物理机的运行时长为13分钟、虚拟机的中断数量为1，确定第二设备信息包括：容器的内存占用率为0.22、CPU利用率为0.17，VPC的丢包数量为7，虚拟机的中断数量为1，物理机的磁盘坏道数量为2、运行时长为13分钟。
在本申请实施例中，S201可以包括：S402。
S402、第一服务器根据预设信息格式配置第二设备信息，确定第一设备信息。
示例性的，预设信息格式如下代码一。
{//代码一
metric_name["{"label_name1"＝"`"`label_value1`"`"{"label_name2"＝"`"`label_value2`"`"}[","]}"]value[timestamp]}。
其中，指标名称(metric_name)可以反映采集的设备信息的含义。标签名称(label_name)反映了采集到的设备信息的特征，通过这些特征可以对设备信息进行过滤，聚合等。标签值(label_value)反映了对应label_name的值。标签值可以是任何UTF-8序列。值(value)反映了指标(metric)的值，遵循编程语言Go(Golang)的全局函数parseFloat的定义。时间戳(timestamp)可以反映采集设备信息的时间，timestamp的数据类型为有符号64位整数数据类型(int64)。并且，指标名称和标签名称均由ASCII字符、数字、下划线以及冒号组成，并符合正则表达式[a-zA-Z_][a-zA-Z0-9_:]*。
在一种可能的实现方式中，第一服务器还可以包括：预设适配器(Adaptor)，预设适配器存储有预设信息格式。第一服务器可以根据预设信息格式，对采集到的第二设备信息进行配置，确定第一设备信息。其中，第一设备信息的信息格式为预设信息格式。
示例性的，如图5所示，第一服务器500包括：预设采集器501、预设采集器502、预设采集器503、预设采集器504和预设适配器505，预设采集器501、预设采集器502、预设采集器503和预设采集器504均与预设适配器505连接。其中，预设采集器501为Prometheus中的采集器，预设采集器502为Zabbix中的采集器，预设采集器503为Openstack中的Neutron组件，预设采集器504为Telegraf采集器。结合上述示例中预设信息格式的代码一，若预设采集器503采集到待监控设备的第二设备信息为如下JS对象简谱(JavaScript Object Notation,JSON)格式的代码二，则第一服务器确定第一设备信息为如下代码三。
{//代码二
“metric_name”:“http_requests_total”,“method”:“post”,“code”:“200”,“value”:“1027”,“timestamp”:“1395066363000”}。
{//代码二
http_requests_total[{method＝"post",code＝"200"}]1027[1395066363000]
}。
其中，http_request_total表示当前待监控设备接收到的超文本传输协议(HyperText Transfer Protocol，HTTP)请求(request)总量(total)，method(方法)和code(代码)均表示第二设备信息中HTTP请求总量的特征，post(发布)表示HTTP请求总量中发布的请求，200表示HTTP请求总量中标识为200的请求，1027表示HTTP请求总量为1027，1395066363000表示采集待监控设备的第二设备信息的时间。
可以理解的是，通过统一采集到的设备信息的信息格式，可以实现对不同的待监控设备进行统一管理，提高了服务器对资源池中设备的监控效率。
在一些实施例中，第一服务器还可以包括：卡夫卡集群(Kafka Cluster)。在第一服务器根据预设信息格式配置第二设备信息，确定第一设备信息之后，第一服务器可以将第一设备信息存入Kafka Cluster中。之后，第一服务器可以采用Flink框架从KafkaCluster中获取第一设备信息，并执行S203。
在一些实施例中，在第一服务器基于第一指令对第一设备信息进行处理，确定状态信息之后，第一服务器还可以存储状态信息。
在一种可能的实现方式中，第一服务器还可以包括：预设数据库。第一服务去可以将确定的状态信息存储在预设数据库中。
示例性的，第一服务器包括：时间序列数据库(Time Series Database，TSDB)，第一服务器将状态信息A存入TSDB中。
在本申请实施例中，第一服务器可以接收来自管理终端的第二指令，其中，第二指令用于指示获取待监控设备的运行状态。
示例性的，值班人员通过手机A向服务器A发送获取计算机主机A的运行状态的指令，手机A为管理终端，服务器A为第一服务器，计算机主机A为待监控设备，第二指令为获取计算机主机A的运行状态。
在一种可能的实现方式中，第一服务器响应于第二指令，向管理终端发送状态信息。
可以理解的是，在第一服务器确定状态信息之后，第一服务器可以存储状态信息，并允许监控设备获取第一服务器存储的状态信息。也就是说，监控设备可以从第一服务器获取目标资源池中待监控设备的运行状态。如此，可以增加监控设备获取待监控设备的运行状态的途径，提高了监控设备获取运行状态的操作性和灵活性。
在一些实施例中，若第一服务器未接收到来自第二服务器的第一指令，则在第一服务器确定第一设备信息之后，第一服务器向第二服务器发送第一设备信息。
下面结合具体实例，对本申请提供的数据处理方法进行介绍。如图6所示，中心服务器(即第二服务器)601管理的全部资源池包括：资源池602、资源池603和资源池604。其中，子服务器(即第一服务器)605监控资源池602，子服务器606监控资源池603，子服务器607监控资源池604。子服务器605、子服务器606和子服务器607均与数据转发节点(如交换机608)连接，交换机608与中心服务器601连接，子服务器605、子服务器606和子服务器607均包括：采集器(即预设采集器)、字段适配器(即预设适配器)、卡夫卡集群和时间序列数据库，中心服务器包括：卡夫卡集群、时间序列数据库、远程字典服务(Remote DictionaryServer，Redis)数据库和关系数据库管理系统(如MySQL)。
需要说明的是，子服务器中的采集器可以为多个。例如，子服务器可以包括：Prometheus中的采集器、Zabbix中的采集器、Openstack中的Neutron组件和Telegraf采集器。
子服务器605通过采集器采集资源池602中设备(即待监控设备)的数据(即第二设备信息)。之后，资源服务器605通过字段适配器配置采集到的数据的格式，并将配置后的数据(即第一设备信息)存入卡夫卡集群。之后，子服务器605根据接收到的来自中心服务器601的计算指令(即第一指令)，启动计算功能，从卡夫卡集群中获取数据，并对数据进行处理。之后，子服务器605将处理后的数据(即状态信息)存入时间序列数据库，并通过交换机608向中心服务器601发送处理后的数据。对于子服务器606和子服务器607的介绍，可以参考上述对于子服务器605的介绍，此处不予赘述。
中心服务器601接收到来自交换机608的数据之后，将接收到的数据存入卡夫卡集群中。之后，中心服务器601从卡夫卡集群中获取数据，对数据进一步处理，并将处理后的数据存入时间序列数据库，通过监控展示或开放式应用程序编程接口(Open ApplicationProgramming Interface，openAPI)呈现资源池602中设备的运行状态。并且，中心服务器601根据处理后的数据、Redis数据库和MySQL，确定告警信息，进行故障预测，并通过短信或邮件等方式发出告警。
上述主要从计算机设备的角度对本申请实施例提供的方案进行了介绍。可以理解的是，计算机设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请所公开的实施例描述的各示例的数据处理方法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例还提供一种数据处理装置。该数据处理装置可以为计算机设备，也可以是上述计算机设备中的CPU，还可以是上述计算机设备中用于处理数据的处理模块，还可以是上述计算机设备中用于处理数据的客户端。
本申请实施例可以根据上述方法示例对数据处理装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
如图7所示，为本申请实施例提供的一种数据处理装置的结构示意图。数据处理装置用于执行图2或图4所示的数据处理方法。数据处理装置700可以包括：获取模块701、处理模块702和发送模块703。
获取模块701，用于对于至少一个待监控设备中每个待监控设备，获取待监控设备的第一设备信息。获取模块701，还用于接收来自第二服务器的第一指令，第一指令用于指示对第一设备信息进行处理，第二服务器为管理全部资源池的服务器，全部资源池中每个资源池对应一个第一服务器，目标资源池为全部资源池中任一资源池。处理模块702，用于基于第一指令对第一设备信息进行处理，确定状态信息，状态信息用于指示待监控设备的运行状态。发送模块703，用于向第二服务器发送状态信息。
可选的，第一服务器存储有预设信息格式。获取模块701，还用于获取第二设备信息，第二设备信息为第一服务器采集的待监控设备的设备信息。处理模块702，还用于根据预设信息格式配置第二设备信息，确定第一设备信息，第一设备信息的信息格式为预设信息格式。
可选的，待监控设备包括以下至少一项：物理机、虚拟机和容器，容器用于运行应用实例。
可选的，该数据处理装置还包括：存储模块704。存储模块704，用于存储状态信息。获取模块701，还用于接收来自管理终端的第二指令，第二指令用于指示获取待监控设备的运行状态。发送模块703，还用于响应于第二指令，向管理终端发送状态信息。
图8是根据一示例性实施例示出的一种数据处理设备的硬件结构示意图。该数据处理设备可以包括处理器802，处理器802用于执行应用程序代码，从而实现本申请中的数据处理方法。
处理器802可以是一个CPU，微处理器，特定应用集成电路(application-specificintegrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。
如图8所示，数据处理设备还可以包括存储器803。其中，存储器803用于存储执行本申请方案的应用程序代码，并由处理器802来控制执行。
存储器803可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器803可以是独立存在，通过总线804与处理器802相连接。存储器803也可以和处理器802集成在一起。
如图8所示，数据处理设备还可以包括通信接口801，其中，通信接口801、处理器802、存储器803可以相互耦合，例如，通过总线804相互耦合。通信接口801用于与其他设备进行信息交互，例如支持数据处理设备与其他设备的信息交互。
需要指出的是，图8中示出的设备结构并不构成对该数据处理设备的限定，除图8所示部件之外，该数据处理设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不相同的部件布置。
在实际实现时，处理模块702所实现的功能可以由图8所示的处理器802调用存储器803中的程序代码来实现。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有指令，当计算机可读存储介质中的指令由计算机设备的处理器执行时，使得计算机能够执行上述所示实施例提供的数据处理方法。例如，计算机可读存储介质可以为包括指令的存储器803，上述指令可由计算机设备的处理器802执行以完成上述方法。可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
图9示例性地示出本申请实施例提供的计算机程序产品的概念性局部视图，计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。
在一个实施例中，计算机程序产品是使用信号承载介质900来提供的。信号承载介质900可以包括一个或多个程序指令，其当被一个或多个处理器运行时可以提供以上针对图2和图4描述的功能或者部分功能。因此，例如，参考图2中所示的实施例，S201～S204的一个或多个特征可以由与信号承载介质900相关联的一个或多个指令来承担。此外，图9中的程序指令也描述示例指令。
在一些示例中，信号承载介质900可以包含计算机可读介质901，诸如但不限于，硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等等。
在一些实施方式中，信号承载介质900可以包含计算机可记录介质902，诸如但不限于，存储器、读/写(R/W)CD、R/W DVD、等等。
在一些实施方式中，信号承载介质900可以包含通信介质903，诸如但不限于，数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等)。
信号承载介质900可以由无线形式的通信介质903来传达。一个或多个程序指令可以是，例如，计算机可执行指令或者逻辑实施指令。
在一些示例中，诸如针对图7描述的数据处理装置可以被配置为响应于通过计算机可读介质901、计算机可记录介质902、和/或通信介质903中的一个或多个程序指令，提供各种操作、功能、或者动作。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不相同的功能模块完成，即将装置的内部结构划分成不相同的功能模块，以完成以上描述的全分类部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不相同地方。可以根据实际的需要选择其中的部分或者全分类部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全分类部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全分类部或部分步骤。而前述的存储介质包括-U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种数据处理方法，其特征在于，应用于第一服务器，所述第一服务器为监控目标资源池的服务器，所述目标资源池包括至少一个待监控设备，所述方法包括：
对于所述至少一个待监控设备中每个待监控设备，获取所述待监控设备的第一设备信息；
接收来自第二服务器的第一指令，所述第一指令用于指示对所述第一设备信息进行处理，所述第二服务器为管理全部资源池的服务器，所述全部资源池中每个资源池对应一个第一服务器，所述目标资源池为所述全部资源池中任一资源池；
基于所述第一指令对所述第一设备信息进行处理，确定状态信息，所述状态信息用于指示所述待监控设备的运行状态；
向所述第二服务器发送所述状态信息。
2.根据权利要求1所述的方法，其特征在于，所述第一服务器存储有预设信息格式，在所述获取所述待监控设备的第一设备信息之前，所述方法还包括：
获取第二设备信息，所述第二设备信息为所述第一服务器采集的所述待监控设备的设备信息；
所述获取所述待监控设备的第一设备信息，包括：
根据所述预设信息格式配置所述第二设备信息，确定所述第一设备信息，所述第一设备信息的信息格式为所述预设信息格式。
3.根据权利要求2所述的方法，其特征在于，所述待监控设备包括以下至少一项：物理机、虚拟机和容器，所述容器用于运行应用实例。
4.根据权利要求1-3中任一项所述的方法，其特征在于，在所述基于所述第一指令对所述第一设备信息进行处理，确定状态信息之后，所述方法还包括：
存储所述状态信息；
接收来自管理终端的第二指令，所述第二指令用于指示获取所述待监控设备的运行状态；
响应于所述第二指令，向管理终端发送所述状态信息。
5.一种数据处理装置，其特征在于，应用于第一服务器，所述第一服务器为监控目标资源池的服务器，所述目标资源池包括至少一个待监控设备，所述装置包括：
获取模块，用于对于所述至少一个待监控设备中每个待监控设备，获取所述待监控设备的第一设备信息；
所述获取模块，还用于接收来自第二服务器的第一指令，所述第一指令用于指示对所述第一设备信息进行处理，所述第二服务器为管理全部资源池的服务器，所述全部资源池中每个资源池对应一个第一服务器，所述目标资源池为所述全部资源池中任一资源池；
处理模块，用于基于所述第一指令对所述第一设备信息进行处理，确定状态信息，所述状态信息用于指示所述待监控设备的运行状态；
发送模块，用于向所述第二服务器发送所述状态信息。
6.根据权利要求5所述的装置，其特征在于，所述第一服务器存储有预设信息格式；
所述获取模块，还用于获取第二设备信息，所述第二设备信息为所述第一服务器采集的所述待监控设备的设备信息；
所述处理模块，还用于根据所述预设信息格式配置所述第二设备信息，确定所述第一设备信息，所述第一设备信息的信息格式为所述预设信息格式。
7.根据权利要求6所述的装置，其特征在于，所述待监控设备包括以下至少一项：物理机、虚拟机和容器，所述容器用于运行应用实例。
8.根据权利要求5-7中任一项所述的装置，其特征在于，所述装置还包括：存储模块；
所述存储模块，用于存储所述状态信息；
所述获取模块，还用于接收来自管理终端的第二指令，所述第二指令用于指示获取所述待监控设备的运行状态；
所述发送模块，还用于响应于所述第二指令，向管理终端发送所述状态信息。
9.一种数据处理设备，其特征在于，包括：处理器和存储器；所述处理器和所述存储器耦合；所述存储器用于存储一个或多个程序，所述一个或多个程序包括计算机执行指令，当所述数据处理设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述数据处理设备执行如权利要求1-4中任一项所述的数据处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当计算机执行该指令时，该计算机执行如权利要求1-4中任一项所述的数据处理方法。
11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，当所述计算机指令在电子设备上运行时，所述电子设备执行如权利要求1至4中任一项所述的数据处理方法。
CN202211548491.4A 2022-12-05 2022-12-05 数据处理方法、装置、设备及存储介质 Pending CN116225680A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211548491.4A CN116225680A (zh) 2022-12-05 2022-12-05 数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211548491.4A CN116225680A (zh) 2022-12-05 2022-12-05 数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116225680A true CN116225680A (zh) 2023-06-06

Family

ID=86588064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211548491.4A Pending CN116225680A (zh) 2022-12-05 2022-12-05 数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116225680A (zh)

Similar Documents

Publication Publication Date Title
US8589543B2 (en) Virtual data center monitoring
US11888927B2 (en) System and method for fast application auto-scaling
CN111913818B (zh) 一种确定服务间依赖关系的方法及相关装置
CN111538558B (zh) 用于自动选择安全虚拟机的系统和方法
CN111694646A (zh) 资源调度方法、装置、电子设备及计算机可读存储介质
US9979662B2 (en) Storage area network workload balancing
CN102112940A (zh) 用于对电力输送控制系统的性能进行监控的方法和装置
CN109672722B (zh) 数据部署方法及装置、计算机存储介质和电子设备
US11722371B2 (en) Utilizing unstructured data in self-organized networks
CN112306802A (zh) 系统的数据获取方法、装置、介质和电子设备
CN111258851A (zh) 一种集群的告警方法、装置、设置及存储介质
US9979616B2 (en) Event-driven framework for filtering and processing network flows
CN110806960A (zh) 信息处理方法、装置及终端设备
US20210224121A1 (en) Virtual machine-initiated workload management
CN113032237B (zh) 数据处理方法及装置、电子设备和计算机可读存储介质
CN117149665B (zh) 持续集成方法、控制设备、持续集成系统及存储介质
US11599404B2 (en) Correlation-based multi-source problem diagnosis
CN111831503A (zh) 一种基于监控代理的监控方法和监控代理装置
CN111274104B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN116225680A (zh) 数据处理方法、装置、设备及存储介质
CN109286532B (zh) 云计算系统中告警信息的管理方法和装置
CN111444074A (zh) 一种数据监控方法、装置、电子设备及可读存储介质
CN114116128B (zh) 容器实例的故障诊断方法、装置、设备和存储介质
CN113821336B (zh) 资源分配方法和装置、存储介质、电子设备
US20190155673A1 (en) Notification of network connection errors between connected software systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination