CN112860506B - 监控数据的处理方法、装置、系统和存储介质 - Google Patents

监控数据的处理方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN112860506B
CN112860506B CN201911190503.9A CN201911190503A CN112860506B CN 112860506 B CN112860506 B CN 112860506B CN 201911190503 A CN201911190503 A CN 201911190503A CN 112860506 B CN112860506 B CN 112860506B
Authority
CN
China
Prior art keywords
monitoring data
event information
memory
virtual machine
file system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911190503.9A
Other languages
English (en)
Other versions
CN112860506A (zh
Inventor
徐云
沈益斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201911190503.9A priority Critical patent/CN112860506B/zh
Publication of CN112860506A publication Critical patent/CN112860506A/zh
Application granted granted Critical
Publication of CN112860506B publication Critical patent/CN112860506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3096Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents wherein the means or processing minimize the use of computing system or of computing system component resources, e.g. non-intrusive monitoring which minimizes the probe effect: sniffing, intercepting, indirectly deriving the monitored data from other directly available data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/301Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本说明书实施例公开了一种监控数据的处理方法、装置、系统和存储介质。该方法包括:管控节点通过直接存储器存取接口,从计算节点的内存共享区域中读取事件信息和事件信息对应的监控数据的物理地址;基于事件信息和物理地址,构建与监控数据对应的模拟文件系统,以基于模拟文件系统访问监控数据。根据本发明实施例提供的方法,可以节约CPU资源,提高系统性能。

Description

监控数据的处理方法、装置、系统和存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种监控数据的处理方法、装置、系统和存储介质。
背景技术
云计算是通过互联网把网络上的所有资源集成为一个命名为“云”的可配置的计算资源共享池,计算资源共享池中的资源可以包括网络、服务器、存储、应用软件等,对计算资源共享池进行统一管理和调度,向用户提供基于计算资源、网络资源、存储资源等综合性技术服务。
云计算中的计算单元通常可以包括传统的服务器和后端处理器,其中,网络资源、存储资源可以运行在后端的处理器,并通过传统的服务器向用户提供前端的计算资源等服务。
将传统的服务器作为面向用户的计算节点,通过采集计算节点的性能数据,可以对计算节点进行性能监控和问题排查。通过文件访问的方式采集计算节点的性能数据时,需要占用并消耗该计算节点上的CPU资源,影响计算节点的性能。
发明内容
本发明实施例提供一种监控数据的处理方法、装置、系统和存储介质,可以节约CPU资源,提高系统性能。
第一方面,本发明实施例提供一种监控数据的处理方法,包括:
管控节点通过直接存储器存取接口,从计算节点的内存共享区域中读取事件信息和事件信息对应的监控数据的物理地址;基于事件信息和物理地址,构建与监控数据对应的模拟文件系统,以基于模拟文件系统访问监控数据。
第二方面,本发明实施例提供一种监控数据的处理装置,包括:
共享内存读取模块,用于管控节点通过直接存储器存取接口,从计算节点的内存共享区域中读取事件信息和事件信息对应的监控数据的物理地址;文件系统构建模块,用于基于事件信息和物理地址,构建与监控数据对应的模拟文件系统,以基于模拟文件系统访问监控数据。
第三方面,本发明实施例提供一种监控数据的处理系统,包括:存储器和处理器;该存储器用于存储程序;该处理器用于读取存储器中存储的可执行程序代码以执行上述第一方面描述的监控数据的处理方法。
第四方面,本发明实施例提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当指令在计算机上运行时,使得计算机执行上述各方面第一方面描述的监控数据的处理方法。
第五方面,本发明实施例提供一种监控数据的处理方法,包括:
计算节点获取指定的事件信息以及事件信息对应的监控数据的物理地址;将事件信息以及监控数据的物理地址写入内存共享区域。
第六方面,本发明实施例提供一种监控数据的处理装置,包括:
数据获取模块,用于计算节点获取指定的事件信息以及事件信息对应的监控数据的物理地址;数据写入模块,用于将事件信息以及监控数据的物理地址写入内存共享区域。
第七方面,本发明实施例提供一种监控数据的处理系统,包括:存储器和处理器;该存储器用于存储程序;该处理器用于读取存储器中存储的可执行程序代码以执行上述的监控数据的处理方法。
第八方面,本发明实施例提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当指令在计算机上运行时,使得计算机执行上述各方面的监控数据的处理方法。
根据本发明实施例中的监控数据的处理方法、装置、系统和存储介质,监控节点可以通过直接内存存取的方式,从计算节点的内存共享区域中直接读取事件信息和事件信息对应的监控数据的物理地址;并基于事件信息和该监控数据的物理地址,构建模拟文件系统,以基于模拟文件系统访问监控数据。直接内存存取的方式可以不占用CPU资源,从而节约CPU资源,提高监控节点的数据读取效率以及提供计算节点的系统性能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是示出根据本发明实施例的监控数据的处理系统的架构示意图;
图2示出了根据本发明一实施例的监控数据的处理方法的流程图;
图3示出了根据本发明另一实施例的监控数据的处理方法的流程图;
图4示出了本发明示例性实施例的监控数据的处理系统的架构示意图;
图5示出了根据本发明一实施例提供的监控数据的处理装置的结构示意图;
图6示出了本发明另一实施例提供的监控数据的处理装置的结构示意图
图7是示出了可以实现根据本发明实施例的方法和装置的计算设备的示例性硬件架构的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
图1是示出根据本发明实施例的监控数据的处理系统的架构示意图。如图1所示,本说明书实施例的监控数据的处理方法可以应用于云计算系统架构中,云计算可以理解为是一种服务交付模式,用于对共享的可配置计算资源池进行按需的网络访问。
如图1所示,在一个实施例中,该云计算系统架构可以包括管控节点、一个或多个计算节点例如第一计算节点和第二计算节点,管控节点与每个计算节点,以及多个计算节点之间可以利用通讯网络进行联接。其中,多个可以表示大于1个。
在一个实施例中,计算节点可以包括中央处理器CPU和物理内存(PhysicalDRAM),并可以提供本地磁盘存储或分布式磁盘存储等形式的存储资源。计算节点上可以运行一个或多个虚拟机,每个虚拟机可以提供虚拟处理器VCPU、虚拟内存文件VMEM以及软件相关组件COMMON。
作为一个示例,计算节点上的虚拟机可以是基于内核的虚拟机(Kernel-basedVirtual Machine,KVM),并可以用于实现计算节点上的CPU虚拟化和内存虚拟化。
继续参考图1,在一个实施例中,管控节点可以包含物理硬件系统、虚拟机软件系统以及主操作控制器(Master Operational Controller,MOC)。
其中,物理硬件系统例如包括物理处理器CPU、物理内存、物理磁盘以及输入/输出设备等物理设备;虚拟机软件系统是可以运行在管控节点的硬件系统和虚拟机上所运行的操作系统之间的软件系统,可允许一个或多个操作系统或者应用共享一套物理硬件系统,实现虚拟环境的操作系统对物理硬件系统中的硬件设备例如对物理磁盘以及物理内存的访问;主操作控制器可以提供多种数据接口,用于实现虚拟机与物理硬件系统之间的兼容。
作为一个示例,主操作控制器提供的数据接口可以包括虚拟化设备接口,通过虚拟化设备接口实现虚拟机对真实物理硬件设备的模拟,例如虚拟网卡、虚拟存储、虚拟输入输出设备等,实现虚拟机与物理机之间的兼容。
本发明实施例中操作系统可以支持内核模式的操作系统,例如Unix操作系统、Linux操作系统、安卓Android操作系统等。内核模式的操作系统可以访问操作系统的内核空间,内核空间Kernel Space是操作系统内核的运行空间。Linux操作系统以外的提供了内核模式的操作系统中,本发明实施例的监控数据的处理方法同样适用。
本发明实施例中,内核模式的操作系统可以提供用户态文件系统的接口,通过该用户态文件系统的接口可以实现与操作系统内核空间的通信,接收来自用户态文件系统的接口的请求,从而通过具体的文件操作实现用户态文件系统。其中,用户态文件系统可以理解为是一个在用户空间的文件系统框架,用户空间User Space是用户程序的运行空间,用于存放用户应用的代码和数据。
在一个实施例中,通过文件访问的方式读取计算节点的性能数据时,需要使用CPU将性能数据复制到寄存器,在将性能数据从寄存器中取出,传输到指定的存储位置,整个数据传输过程需要消耗计算节点的CPU资源,对计算节点的性能造成干扰。
本发明实施例提供一种监控数据的处理方法,通过直接内存存取(Direct MemoryAccess,DMA)的方式对计算节点进行数据访问。
在一个实施例中,直接内存存取是一种内存访问技术,可以通过直接存储器存取接口直接读写系统内存,将系统内存中的数据从计算节点的内存地址空间,传输到管控节点的内存地址空间或外部存储空间。由于数据传输过程不需要CPU的参与,而是直接从内存读取数据,节约CPU资源,提高系统性能。
图2示出了根据本发明一实施例的监控数据的处理方法的流程图。如图2所示,在一个实施例中,监控数据的处理方法可以包括:
步骤S210,管控节点通过直接存储器存取接口,从计算节点的内存共享区域中读取事件信息和事件信息对应的监控数据的物理地址。
步骤S220,基于事件信息和物理地址,构建与监控数据对应的模拟文件系统,以基于模拟文件系统访问监控数据。
在一个实施例中,共享内存区域是在计算节点预先申请的一块连续的内存地址空间。连续的内存地址空间可以提高存取速度。
在一个实施例中,事件信息包括事件类型和事件类型对应的进程标识。
在一个实施例中,事件类型包括计算节点的如下信息项中的至少一项:物理机中央处理器CPU性能指标项、物理机内存性能指标项、虚拟机CPU性能指标项、虚拟机内存性能指标项、虚拟机网络性能指标项、虚拟机磁盘性能值指标项、虚拟机操作系统信息和虚拟机进程信息。
作为示例,物理机CPU性能指标项为计算节点上运行的物理机的CPU性能指标项,例如可以包括:物理机CPU利用率、物理机CPU分配量、物理机CPU争抢(即物理机CPU资源处于争抢状态的时长)。
作为示例,虚拟机CPU性能指标项为计算节点上运行的虚拟机的CPU性能指标项,例如可以包括:虚拟机CPU利用率、虚拟机CPU分配量、虚拟机CPU争抢(即虚拟机CPU资源处于争抢状态的时长)。
在一个实施例中,步骤S220,具体可以包括:
步骤S221,根据事件信息确定文件系统结构,文件系统结构包括与事件信息对应的目录结构和目录名称。
步骤S223,确定文件系统结构中的文件内容,文件内容用于标识监控数据的物理地址。
步骤S225,根据文件系统结构以及文件系统结构中的文件内容,得到与监控数据对应的模拟文件系统。
在该实施例中,管控节点解析事件信息和事件信息对应的监控数据的物理地址信息,根据解析结果确定文件系统结构和文件内容,构建监控数据对应的模拟文件系统。
在一个实施例中,模拟文件系统与监控数据在计算节点中所属的文件系统具有相同的文件系统结构和相同的文件内容。
在该实施例中,通过管控节点展示监控数据在计算节点中所属文件系统,以便通过管控节点对监控数据进行后续处理。
在一个实施例中,监控数据的处理方法,还可以包括:
步骤S230,获取事件信息的数目作为第一数目。
步骤S232,通过直接存储器存取接口再次访问内存共享区域,确定事件信息的新的数目。
步骤S234,如果新的数目与第一数目不同,根据再次访问内存共享区域读取的事件信息、以及再次访问读取的事件信息对应的监控数据的物理地址,更新模拟文件系统。
在该步骤中,新的数目与第一数目不同,表示事件信息的新的数目发生变化,例如事件类型增加和/或事件类型减少。
在该实施例中,管控节点可以通过直接内存存取的方式定期检查内存共享区域,确定事件信息的数目是否发生变化,若事件信息的数目发生变化,管控节点解析再次访问内存共享区域读取的事件信息、以及再次访问读取的事件信息对应的监控数据的物理地址,以对模拟文件系统进行更新。
在一个实施例中,计算节点上可以注册一个或多个虚拟机,为了监控不同虚拟机的性能数据,本发明实施例的监控数据的处理方法,还可以包括:
步骤S240,利用内存共享区域的配置信息,确定注册在计算节点的新的虚拟机信息。
步骤S242,在模拟文件系统中,增加与新的虚拟机信息对应的文件系统结构。
在该实施例中,如果计算节点上有新注册的虚拟机,通过直接内存存取的方式定期检查共享内存的配置信息时,可以得到计算节点的新的虚拟机信息,根据新的虚拟机信息,增加与新的虚拟机信息对应的文件系统结构,以对模拟文件系统进行更新。
在一个实施例中,监控数据的处理方法,还可以包括:
步骤S250,对模拟文件系统中的监控数据执行日志采集操作。
步骤S252,根据日志采集操作访问的监控数据的文件内容,确定监控数据的物理地址。
步骤S254,通过直接存储器存取接口,从计算节点的物理内存中读取监控数据的物理地址所存储的数据。
在该实施例中,在管控节点运行日志采集程序,通过日志采集程序执行日志采集操作,日志采集操作可以访问的监控数据的文件内容,确定该文件内容所标识的监控数据的物理地址,从而通过直接内存存取的方式,读取计算节点的物理内存地址空间中与该物理地址相同的地址空间的数据,以对该读取的数据进行后续分析处理。
根据本发明实施例的监控数据的处理方法,管控节点可以通过直接内存存取的方式,在不占用CPU资源的情况下,访问位于计算节点的共享内存区域中的事件信息和事件信息对应的监控数据的物理地址信息,并可以根据对读取到的上述信息进行解析,以构建出监控数据对应的文件系统结构和文件内容,从而在管控节点对计算节点中的监控数据进行采集、分析和数据展示。
图3示出了根据本发明另一实施例的监控数据的处理方法的流程图。如图3所示,在一个实施例中,监控数据的处理方法可以包括:
步骤S310,计算节点获取指定的事件信息以及事件信息对应的监控数据的物理地址。
步骤S320,将事件信息以及监控数据的物理地址写入内存共享区域。
在一个实施例中,内存共享区域为计算节点的物理内存中的预先设置的地址连续的内存区域。
在一个实施例中,步骤S310具体可以包括:
步骤S311,获取计算节点的定时任务。
步骤S313,根据定时任务所限定的时长,获取事件信息以及事件信息对应的监控数据的物理地址。
在一个实施例中,事件信息包括事件类型和事件类型对应的进程标识;事件类型包括计算节点的如下信息项中的至少一项:物理机中央处理器CPU性能指标项、物理机内存性能指标项、虚拟机CPU性能指标项、虚拟机内存性能指标项、虚拟机网络性能指标项、虚拟机磁盘性能值指标项、虚拟机操作系统信息和虚拟机进程信息。
根据本发明实施例的监控数据的处理方法,计算节点可以初始化创建一个定时任务以及在物理内存中申请一块连续的内存地址空间,管控节点可以共享访问该连续的内存地址空间,定时任务可以定期将预先注册在定时任务中的事件信息和事件信息对应的监控数据的物理地址信息填写到该连续内存地址空间,以便管控节点在不占用CPU资源的情况下,通过直接内存存取的方式直接读取,提高数据访问效率和系统性能。
图4示出了本发明示例性实施例的监控数据的处理系统的架构示意图。如图4所示,在一个实施例中,计算节点和管控节点分别可以是物理机,具有独立的CPU资源、存储资源和网络资源。计算节点上可以运行一个或多个虚拟机,每个虚拟机具有独立的操作系统,在虚拟机的操作系统中可以运行虚拟软件系统以及使用虚拟内存。
在一个实施例中,计算节点和管控节点分别可以是虚拟机或其他具有独立的CPU资源、存储资源和网络资源的机器设备。
在一个实施例中,定时任务定期访问计算节点的内核空间,通过保存缓存信息的方式,将预设的事件信息和时间信息对应的数据(即监控数据),将监控数据通保存在物理内存中,为了方便管理和加快存取速度,在计算节点的物理内存中申请一块连续的内存区域,用于保存定时任务。
作为示例,计算节点的定时任务可以对应物理机中的一个进程,将事件信息和事件信息对应的监控数据的物理地址注册在定时任务上,即定时任务被触发时,将获取的事件信息和事件信息对应的监控数据的物理地址写入计算节点的物理内存中的共享内存区域。
作为一个示例,如在定时任务中注册进程2的cpu利用率时,可以获取如下信息:事件类型为CPU利用率;事件类型对应的进程标识为2;事件类型和该进程标识形成事件信息,与该事件信息对应的监控数据的物理地址例如为0xfffxxxxx。
在一个实施例中,写入连续内存区域的事件信息和时间信息对应的监控数据的物理地址,具有指定的数据结构。
作为示例,通过下述指令信息定义的数据结构连续内存区域写入数据:structevent{int type;int info;unsigned long addr;}。也就是说,定义事件类型为整型数据,进程标识为整型数据,监控数据的物理地址为无符号长地址型数据。作为一个具体示例,预设事件类型为CPU利用率时,可以用整型数据1来表示,进程标识例如为进程号2,对应的监控数据的物理地址可以表示为0x1 0x2 0xffffxxxx。
继续参考图4,通过监听代理程序,将共享区域中的事件信息和事件信息对应的监控数据的地址信息定期读取到管控节点的存储区域例如管控节点的内存空间或磁盘空间,在管控节点通过用户态文件系统接口例如/dev/fuse实现管控节点用户空间的文件系统的构建。
作为一个示例,根据事件类型和进程标识可以确定文件系统结构中事目录结构和目录名称。例如事件类型为“进程信息”时,文件系统结构例如/cn/proc/”中,cn表示计算节点根目录名称,proc表示计算节点根目录下与注册类型对应的目录,目录名称为proc;proc目录下的文件内容可以用于标识“进程信息”对应的具体数据的物理地址。
作为一个示例,文件系统结构例如为“/cn/proc/2”,可以表示计算节点根目录下与注册类型“进程信息”对应的目录中,还包含目录名称用于进程号“2”表示的文件目录。
继续参考图4,通过日志采集程序,在模拟系统的根目录下执行日志采集。作为示例通过“choot/cn/”在构建的模拟系统的根目录“cn”节点下执行日志采集操作,得到采集的监控数据的物理地址信息。从而通过直接内存存取的方式,在不占用CPU资源的情况下,直接从计算节点的物理内存中读取与该物理地址相同的地址空间的数据,以对该读取的数据进行后续分析处理。
下面结合附图,详细介绍根据本发明实施例的监控数据的处理装置。图5示出了根据本发明一实施例提供的监控数据的处理装置的结构示意图。如图5所示,在一个实施例中,监控数据的处理装置500包括:
共享内存读取模块510,用于管控节点通过直接存储器存取接口,从计算节点的内存共享区域中读取事件信息和事件信息对应的监控数据的物理地址。
文件系统构建模块520,用于基于事件信息和物理地址,构建与监控数据对应的模拟文件系统,以基于模拟文件系统访问监控数据。
在一个实施例中,模拟文件系统与监控数据在计算节点中所属的文件系统具有相同的文件系统结构和相同的文件内容。
在一个实施例中,监控数据的处理装置500,还可以包括:
第一数目获取模块,用于获取事件信息的数目作为第一数目。
第二数据获取模块,用于通过直接存储器存取接口再次访问内存共享区域,确定事件信息的新的数目。
文件系统构建模块520,具体还可以用于如果新的数目与第一数目不同,根据再次访问内存共享区域读取的事件信息、以及再次访问读取的事件信息对应的监控数据的物理地址,更新模拟文件系统。
在一个实施例中,文件系统构建模块520,具体可以包括:
文件结构确定单元,用于根据事件信息确定文件系统结构,文件系统结构包括与事件信息对应的目录结构和目录名称。
文件内容确定单元,用于确定文件系统结构中的文件内容,文件内容用于标识监控数据的物理地址。
文件系统构建模块520,具体还可以用于根据文件系统结构以及文件系统结构中的文件内容,得到与监控数据对应的模拟文件系统。
在一个实施例中,事件信息包括事件类型和事件类型对应的进程标识;事件类型包括计算节点的如下信息项中的至少一项:物理机中央处理器CPU性能指标项、物理机内存性能指标项、虚拟机CPU性能指标项、虚拟机内存性能指标项、虚拟机网络性能指标项、虚拟机磁盘性能值指标项、虚拟机操作系统信息和虚拟机进程信息。
在一个实施例中,监控数据的处理装置500,还可以包括:
虚拟机信息确定模块,用于利用内存共享区域的配置信息,确定注册在计算节点的新的虚拟机信息。
文件系统构建模块520,具体还可以用于在模拟文件系统中,增加与新的虚拟机信息对应的文件系统结构。
在一个实施例中,监控数据的处理装置500,还可以包括:
日志采集模块,用于对模拟文件系统中的监控数据执行日志采集操作。
文件内容读取模块,用于根据日志采集操作访问的监控数据的文件内容,确定监控数据的物理地址。
共享内存读取模块510,还用于通过直接存储器存取接口,从计算节点的物理内存中读取监控数据的物理地址所存储的数据。
图6示出了本发明另一实施例提供的监控数据的处理装置的结构示意图。如图6所示,在一个实施例中,监控数据的处理装置600包括:
数据获取模块610,用于计算节点获取指定的事件信息以及事件信息对应的监控数据的物理地址;
数据写入模块620,用于将事件信息以及监控数据的物理地址写入内存共享区域。
在一个实施例中,内存共享区域为计算节点的物理内存中的预先设置的地址连续的内存区域。
在一个实施例中,数据获取模块610,具体可以包括:
定时任务单元,用于获取计算节点的定时任务。
数据获取模块610,具体还可以用于根据定时任务所限定的时长,获取事件信息以及事件信息对应的监控数据的物理地址。
在一个实施例中,事件信息包括事件类型和事件类型对应的进程标识;事件类型包括计算节点的如下信息项中的至少一项:物理机中央处理器CPU性能指标项、物理机内存性能指标项、虚拟机CPU性能指标项、虚拟机内存性能指标项、虚拟机网络性能指标项、虚拟机磁盘性能值指标项、虚拟机操作系统信息和虚拟机进程信息。
需要明确的是,本发明并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁,这里省略了对已知方法的详细描述,并且上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图7是示出能够实现根据本发明实施例的监控数据的处理方法和装置的计算设备的示例性硬件架构的结构图。
如图7所示,计算设备700包括输入设备701、输入接口702、中央处理器703、存储器704、输出接口705、以及输出设备706。其中,输入接口702、中央处理器703、存储器704、以及输出接口705通过总线810相互连接,输入设备701和输出设备706分别通过输入接口702和输出接口705与总线810连接,进而与计算设备700的其他组件连接。具体地,输入设备701接收来自外部的输入信息,并通过输入接口702将输入信息传送到中央处理器703;中央处理器703基于存储器704中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器704中,然后通过输出接口705将输出信息传送到输出设备706;输出设备706将输出信息输出到计算设备700的外部供用户使用。
在一个实施例中,图7所示的计算设备700可以被实现为一种监控数据的处理系统,该监控数据的处理系统可以包括:存储器,被配置为存储程序;处理器,被配置为运行存储器中存储的程序,以执行上述实施例描述的监控数据的处理方法。
根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以从网络上被下载和安装,和/或从可拆卸存储介质被安装。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令,当其在计算机上运行时,使得计算机执行上述各个实施例中描述的方法。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘)等。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使对应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种监控数据的处理方法,包括:
管控节点通过直接存储器存取接口,从计算节点的内存共享区域中读取事件信息和所述事件信息对应的监控数据的物理地址;其中,所述事件信息包括事件类型和所述事件类型对应的进程标识;所述事件类型包括所述计算节点的如下信息项中的至少一项:物理机中央处理器CPU性能指标项、物理机内存性能指标项、虚拟机CPU性能指标项、虚拟机内存性能指标项、虚拟机网络性能指标项、虚拟机磁盘性能值指标项、虚拟机操作系统信息和虚拟机进程信息;基于所述事件信息和所述物理地址,构建与所述监控数据对应的模拟文件系统;
对所述模拟文件系统中的监控数据执行日志采集操作;
根据所述日志采集操作访问的监控数据的文件内容,确定所述监控数据的物理地址;
通过直接存储器存取接口,从所述计算节点的物理内存中读取所述监控数据的物理地址所存储的数据。
2.根据权利要求1所述的监控数据处理方法,其中,
所述模拟文件系统与所述监控数据在所述计算节点中所属的文件系统具有相同的文件系统结构和相同的文件内容。
3.根据权利要求1所述的监控数据的处理方法,还包括:
获取所述事件信息的数目作为第一数目;
通过直接存储器存取接口再次访问所述内存共享区域,确定所述事件信息的新的数目;
如果所述新的数目与所述第一数目不同,根据所述再次访问所述内存共享区域读取的事件信息、以及所述再次访问读取的事件信息对应的监控数据的物理地址,更新所述模拟文件系统。
4.根据权利要求1所述的监控数据的处理方法,其中,所述基于所述事件信息和所述物理地址,构建与所述监控数据对应的模拟文件系统,包括:
根据所述事件信息确定文件系统结构,所述文件系统结构包括与所述事件信息对应的目录结构和目录名称;
确定所述文件系统结构中的文件内容,所述文件内容用于标识所述监控数据的物理地址;
根据所述文件系统结构以及所述文件系统结构中的文件内容,得到与所述监控数据对应的模拟文件系统。
5.根据权利要求1所述的监控数据的处理方法,还包括:
利用所述内存共享区域的配置信息,确定注册在所述计算节点的新的虚拟机信息;
在所述模拟文件系统中,增加与所述新的虚拟机信息对应的文件系统结构。
6.一种监控数据的处理方法,包括:
计算节点获取指定的事件信息以及所述事件信息对应的监控数据的物理地址;其中,所述事件信息包括事件类型和所述事件类型对应的进程标识;所述事件类型包括所述计算节点的如下信息项中的至少一项:物理机中央处理器CPU性能指标项、物理机内存性能指标项、虚拟机CPU性能指标项、虚拟机内存性能指标项、虚拟机网络性能指标项、虚拟机磁盘性能值指标项、虚拟机操作系统信息和虚拟机进程信息;
将所述事件信息以及所述监控数据的物理地址写入内存共享区域;
监控节点通过直接内存存取的方式,从所述计算节点的内存共享区域中直接读取事件信息和事件信息对应的监控数据的物理地址;并基于所述事件信息和所述监控数据的物理地址,构建模拟文件系统;
对所述模拟文件系统中的监控数据执行日志采集操作;
根据所述日志采集操作访问的监控数据的文件内容,确定所述监控数据的物理地址;
通过直接存储器存取接口,从所述计算节点的物理内存中读取所述监控数据的物理地址所存储的数据。
7.根据权利要求6中的监控数据的处理方法,其中,
所述内存共享区域为所述计算节点的物理内存中的预先设置的地址连续的内存区域。
8.根据权利要求6所述的监控数据的处理方法,其中,所述计算节点获取指定的事件信息以及所述事件信息对应的监控数据的物理地址,包括:
获取所述计算节点的定时任务;
根据所述定时任务所限定的时长,获取所述事件信息以及所述事件信息对应的监控数据的物理地址。
9.一种监控数据的处理装置,包括:
共享内存读取模块,用于管控节点通过直接存储器存取接口,从计算节点的内存共享区域中读取事件信息和所述事件信息对应的监控数据的物理地址;其中,所述事件信息包括事件类型和所述事件类型对应的进程标识;所述事件类型包括所述计算节点的如下信息项中的至少一项:物理机中央处理器CPU性能指标项、物理机内存性能指标项、虚拟机CPU性能指标项、虚拟机内存性能指标项、虚拟机网络性能指标项、虚拟机磁盘性能值指标项、虚拟机操作系统信息和虚拟机进程信息;
文件系统构建模块,用于基于所述事件信息和所述物理地址,构建与所述监控数据对应的模拟文件系统;
日志采集模块,用于对所述模拟文件系统中的监控数据执行日志采集操作;
文件内容读取模块,用于根据所述日志采集操作访问的监控数据的文件内容,确定所述监控数据的物理地址;
所述共享内存读取模块还用于,通过直接存储器存取接口,从所述计算节点的物理内存中读取所述监控数据的物理地址所存储的数据。
10.一种监控数据的处理装置,包括:
数据获取模块,用于计算节点获取指定的事件信息以及所述事件信息对应的监控数据的物理地址;其中,所述事件信息包括事件类型和所述事件类型对应的进程标识;所述事件类型包括所述计算节点的如下信息项中的至少一项:物理机中央处理器CPU性能指标项、物理机内存性能指标项、虚拟机CPU性能指标项、虚拟机内存性能指标项、虚拟机网络性能指标项、虚拟机磁盘性能值指标项、虚拟机操作系统信息和虚拟机进程信息;
数据写入模块,用于将所述事件信息以及所述监控数据的物理地址写入内存共享区域;
文件内容读取模块,用于监控节点通过直接内存存取的方式,从所述计算节点的内存共享区域中直接读取事件信息和事件信息对应的监控数据的物理地址;并基于所述事件信息和所述监控数据的物理地址,构建模拟文件系统;
日志采集模块,用于对所述模拟文件系统中的监控数据执行日志采集操作;
所述文件内容读取模块还用于,根据所述日志采集操作访问的监控数据的文件内容,确定所述监控数据的物理地址;
所述文件内容读取模块还用于,通过直接存储器存取接口,从所述计算节点的物理内存中读取所述监控数据的物理地址所存储的数据。
11.一种监控数据的处理系统,其特征在于,包括存储器和处理器;
所述存储器用于储存有可执行程序代码;
所述处理器用于读取所述存储器中存储的可执行程序代码以执行权利要求1至5中任一项或者权利要求6至8中任一项所述的监控数据的处理方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1至5中任一项或者权利要求6至8中任一项所述的监控数据的处理方法。
CN201911190503.9A 2019-11-28 2019-11-28 监控数据的处理方法、装置、系统和存储介质 Active CN112860506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911190503.9A CN112860506B (zh) 2019-11-28 2019-11-28 监控数据的处理方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911190503.9A CN112860506B (zh) 2019-11-28 2019-11-28 监控数据的处理方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN112860506A CN112860506A (zh) 2021-05-28
CN112860506B true CN112860506B (zh) 2024-05-17

Family

ID=75995475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911190503.9A Active CN112860506B (zh) 2019-11-28 2019-11-28 监控数据的处理方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN112860506B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553320B (zh) * 2021-07-29 2022-09-02 上海哔哩哔哩科技有限公司 数据质量监控方法及装置
CN114691051B (zh) * 2022-05-30 2022-10-04 恒生电子股份有限公司 数据处理方法以及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739380A (zh) * 2009-12-11 2010-06-16 中国航空无线电电子研究所 基于共享内存结构的多处理机通信装置及其方法
CN103152394A (zh) * 2013-02-06 2013-06-12 华为技术有限公司 数据存取系统、内存共享设备及数据读取方法
CN105867843A (zh) * 2016-03-25 2016-08-17 天津书生云科技有限公司 一种数据传输方法及装置
KR101701378B1 (ko) * 2015-07-31 2017-02-01 성균관대학교산학협력단 가상 머신과 파일을 공유하는 가상화 장치 및 그 방법
CN107678835A (zh) * 2017-09-30 2018-02-09 东软集团股份有限公司 一种数据传输方法及系统
WO2018119952A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 一种设备虚拟化方法、装置、系统及电子设备、计算机程序产品
CN109002359A (zh) * 2018-09-03 2018-12-14 郑州云海信息技术有限公司 一种计算节点服务器的调度方法及相关装置
CN109597677A (zh) * 2018-12-07 2019-04-09 北京百度网讯科技有限公司 用于处理信息的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739380A (zh) * 2009-12-11 2010-06-16 中国航空无线电电子研究所 基于共享内存结构的多处理机通信装置及其方法
CN103152394A (zh) * 2013-02-06 2013-06-12 华为技术有限公司 数据存取系统、内存共享设备及数据读取方法
KR101701378B1 (ko) * 2015-07-31 2017-02-01 성균관대학교산학협력단 가상 머신과 파일을 공유하는 가상화 장치 및 그 방법
CN105867843A (zh) * 2016-03-25 2016-08-17 天津书生云科技有限公司 一种数据传输方法及装置
WO2018119952A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 一种设备虚拟化方法、装置、系统及电子设备、计算机程序产品
CN107678835A (zh) * 2017-09-30 2018-02-09 东软集团股份有限公司 一种数据传输方法及系统
CN109002359A (zh) * 2018-09-03 2018-12-14 郑州云海信息技术有限公司 一种计算节点服务器的调度方法及相关装置
CN109597677A (zh) * 2018-12-07 2019-04-09 北京百度网讯科技有限公司 用于处理信息的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
云计算虚拟化技术的发展与趋势探讨;方玉林;海峡科技与产业;20190630;全文 *

Also Published As

Publication number Publication date
CN112860506A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
US20200028935A1 (en) Workload rebalancing in heterogeneous resource environments
US7363434B2 (en) Method, system, and computer-readable medium for updating memory devices in a multi-processor computer system
US8457943B2 (en) System and method for simulating a multiprocessor system
US11188348B2 (en) Hybrid computing device selection analysis
US10310986B1 (en) Memory management unit for shared memory allocation
CN112860506B (zh) 监控数据的处理方法、装置、系统和存储介质
KR20200135718A (ko) 액세스 요청을 관리하기 위한 방법, 장치, 기기 및 저장 매체
US20050183082A1 (en) Apparatus and method for a generic, extensible and efficient data manager for virtual peripheral component interconnect devices (VPCIDs)
EP3304294A1 (en) Method and system for allocating resources for virtual hosts
JP2014225263A (ja) プロセッシング装置及びプロセッシング方法
CN114385089B (zh) 一种基于交叉编址的动态bank存储方法、装置及电子设备
CN116028455A (zh) 一种数据处理方法、装置、存储介质及电子设备
KR20110095051A (ko) 가상화 환경에서의 데이터 처리 방법 및 드라이버
KR20210105036A (ko) 클라우드 플랫폼 환경에서의 초-저지연 리소스 메트릭 수집 방법 및 시스템
US11567884B2 (en) Efficient management of bus bandwidth for multiple drivers
EP3264254B1 (en) System and method for a simulation of a block storage system on an object storage system
US20180139149A1 (en) Multi-cloud resource reservations
CN116010029A (zh) 数据清除方法、装置、电子设备及计算机可读取存储介质
US20230185593A1 (en) Virtual device translation for nested virtual machines
US20130097357A1 (en) Method for identifying memory of virtual machine and computer system thereof
US20150149720A1 (en) Control method, control device, and recording medium
US8689230B2 (en) Determination of running status of logical processor
US20220358049A1 (en) Memory access handling for peripheral component interconnect devices
CN113296876B (zh) 虚拟机的设备直通方法、设备及存储介质
CN105659216B (zh) 多核处理器系统的缓存目录处理方法和目录控制器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant