CN115129556A - 一种数据存储方法及相关设备 - Google Patents
一种数据存储方法及相关设备 Download PDFInfo
- Publication number
- CN115129556A CN115129556A CN202210879793.3A CN202210879793A CN115129556A CN 115129556 A CN115129556 A CN 115129556A CN 202210879793 A CN202210879793 A CN 202210879793A CN 115129556 A CN115129556 A CN 115129556A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- performance data
- target
- incremental
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000007726 management method Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 4
- 238000013075 data extraction Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3017—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is implementing multitasking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/484—Precedence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种数据存储方法,包括:利用管理驱动从数据上报任务中异步加载得到性能数据,并将所述性能数据发送至分析器;利用所述分析器在预设调度任务集合中选择目标调度任务,并利用所述目标调度任务将所述性能数据发送至加载器;利用所述加载器从所述性能数据中解析得到增量数据,并将所述增量数据发送至监听器;利用所述监听器对所述增量数据进行存储。应用本申请所提供的技术方案,可以在不影响上报任务效率的前提下,实现上报任务中性能数据的获取与存储,同时避免上报任务对性能数据展示产生的时延问题。本申请还公开了一种数据存储装置、电子设备及计算机可读存储介质,同样具有上述有益效果。
Description
技术领域
本申请涉及存储技术领域,特别涉及一种数据存储方法,还涉及一种数据存储装置、电子设备及计算机可读存储介质。
背景技术
随着对服务器全量性能数据的监控要求日渐提高,目前,服务器管理软件可以对所纳管的服务器安装ISMD插件(一种服务器管理驱动),该插件可以高频率的将服务器全量性能数据上报至管理软件,例如CPU(Central Processing Unit,中央处理器)、TCP(Transmission Control Protocol,传输控制协议)/UDP(User Datagram Protocol,用户数据报协议)、文件句柄、硬盘IO(Input/Output,输入/输出)、逻辑分区、NFS(Network FileSystem,网络文件系统)、网络和微架构等这些数据都会在上报任务中进行数据入库,等待入库后才进行查询性能数据操作。然而,这样却影响了上报任务效率,导致高并发的上报任务流程复杂、冗余,或者因为上报流程长时间无法及时展示性能数据而存在数据展示延时的问题。
因此,如何在不影响上报任务效率的前提下,实现上报任务中性能数据的获取与存储,同时避免上报任务对性能数据展示产生的时延问题是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种数据存储方法,该数据存储方法可以在不影响上报任务效率的前提下,实现上报任务中性能数据的获取与存储,同时避免上报任务对性能数据展示产生的时延问题;本申请的另一目的是提供一种数据存储装置、电子设备及计算机可读存储介质,均具有上述有益效果。
第一方面,本申请提供了一种数据存储方法,包括:
利用管理驱动从数据上报任务中异步加载得到性能数据,并将所述性能数据发送至分析器;
利用所述分析器在预设调度任务集合中选择目标调度任务,并利用所述目标调度任务将所述性能数据发送至加载器;
利用所述加载器从所述性能数据中解析得到增量数据,并将所述增量数据发送至监听器;
利用所述监听器对所述增量数据进行存储。
可选地,所述利用管理驱动从数据上报任务中异步加载得到性能数据,包括:
利用所述管理驱动对目标设备进行实时监测,当监测到所述数据上报任务时,利用异步加载技术从所述数据上报任务中提取获得所述性能数据。
可选地,所述利用所述分析器在预设调度任务集合中选择目标调度任务,包括:
根据任务参数对所述预设调度任务集合中的各调度任务进行优先级计算,所述任务参数包括任务截止时间和/或任务权重,且所述任务参数实时更新;
将优先级最高的调度任务作为所述目标调度任务。
可选地,所述利用所述监听器对所述增量数据进行存储,包括:
确定各所述增量数据的数据类型;
按照所述数据类型对各所述增量数据以消息队列的方式进行存储。
可选地,所述利用所述分析器在预设调度任务集合中选择目标调度任务,并利用所述目标调度任务将所述性能数据发送至加载器之前,还包括:
利用所述分析器从所述性能数据中筛选获得指定数据类型的目标性能数据。
可选地,所述数据存储方法还包括:
当接收到数据检索指令时,根据所述数据检索指令确定检索指标;
根据所述检索指标对所有存储数据进行权重计算,获得各所述存储数据的权重;
按照所述权重由大到小的顺序对各所述存储数据进行排序,获得存储数据序列;
按照预设提取规则从所述存储数据序列中提取获得检索结果。
可选地,所述数据存储方法还包括:
根据所述数据检索指令确定指定时间段;
从所有所述检索结果中提取满足所述指定时间段的目标检索结果;
将所述目标检索结果输出至显示界面。
第二方面,本申请还公开了一种数据存储装置,包括:
加载模块,用于利用管理驱动从数据上报任务中异步加载得到性能数据,并将所述性能数据发送至分析器;
选择模块,用于利用所述分析器在预设调度任务集合中选择目标调度任务,并利用所述目标调度任务将所述性能数据发送至加载器;
解析模块,用于利用所述加载器从所述性能数据中解析得到增量数据,并将所述增量数据发送至监听器;
存储模块,用于利用所述监听器对所述增量数据进行存储。
第三方面,本申请还公开了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述的任一种数据存储方法的步骤。
第四方面,本申请还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的任一种数据存储方法的步骤。
本申请所提供的一种数据存储方法,包括利用管理驱动从数据上报任务中异步加载得到性能数据,并将所述性能数据发送至分析器;利用所述分析器在预设调度任务集合中选择目标调度任务,并利用所述目标调度任务将所述性能数据发送至加载器;利用所述加载器从所述性能数据中解析得到增量数据,并将所述增量数据发送至监听器;利用所述监听器对所述增量数据进行存储。
应用本申请所提供的技术方案,在数据上报任务的进行过程中,利用管理驱动从数据上报任务中异步加载获得性能数据,实现数据上报任务与性能数据获取之间的相互独立,可以在不影响上报任务效率的前提下,实现上报任务中性能数据的获取与存储,同时避免上报任务对性能数据展示产生的时延问题;此外,通过多个调度任务实现性能数据的传输,以及通过动态增量运算实现数据存储,可以进一步降低数据展示时延问题。
本申请所提供的一种数据存储装置、电子设备及计算机可读存储介质,均具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明现有技术和本申请实施例中的技术方案,下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然,下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图,所获得的其他附图也属于本申请的保护范围。
图1为本申请所提供的一种数据存储系统的结构示意图;
图2为本申请所提供的一种数据存储方法的流程示意图;
图3为本申请所提供的一种数据提取与存储的流程图;
图4为本申请所提供的一种数据存储装置的结构示意图;
图5为本申请所提供的一种电子设备的结构示意图。
具体实施方式
本申请的核心是提供一种数据存储方法,该数据存储方法可以在不影响上报任务效率的前提下,实现上报任务中性能数据的获取与存储,同时避免上报任务对性能数据展示产生的时延问题;本申请的另一核心是提供一种数据存储装置、电子设备及计算机可读存储介质,也具有上述有益效果。
为了对本申请实施例中的技术方案进行更加清楚、完整地描述,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行介绍。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请所提供的数据存储方法应用于数据存储系统,请参考图1,图1为本申请所提供的一种数据存储系统的结构示意图,该数据存储系统主要包括服务器和数据存储设备。其中,服务器中安装有管理驱动(ISMD),用于监听服务器中所发生的数据上报任务,并从中提取性能数据发送至数据存储设备;数据存储设备包括分析器、加载器以及监听器,用于实现性能数据的分析与存储。
本申请实施例提供了一种数据存储方法。
请参考图2,图2为本申请所提供的一种数据存储方法的流程示意图,该数据存储方法包括如下S101至S104。
S101:利用管理驱动从数据上报任务中异步加载得到性能数据,并将性能数据发送至分析器;
本步骤旨在实现性能数据的加载提取,以便于从数据上报任务中异步加载得到性能数据。具体而言,可以预先在服务器中安装管理驱动,用于在数据上报任务中异步加载获取性能数据,当然,该管理驱动的具体类型并不影响本技术方案的实施,在一种可能的实现方式中,可以采用如图1所示的ISMD;进一步,将性能数据发送至分析器进行后续处理,以便于实现性能数据存储。
其中,性能数据是指当前设备中各个设备部件的属性信息,包括但不限于CPU利用率、内存利用率、内存总量、一分钟负载、硬盘读写速率、响应时间、分区总量、网络收发速率等,其具体内容由技术人员根据实际需求进行设定即可,本申请对此不做限定。
可以理解的是,异步加载可以在数据上报任务的进行过程中,自动异步截取上报数据中的性能数据,此过程并不影响数据上报任务的继续执行和结果回调,因此,基于异步加载技术实现了数据上报任务与性能数据获取之间的相互独立,使得二者的实现流程互不影响。
S102:利用分析器在预设调度任务集合中选择目标调度任务,并利用目标调度任务将性能数据发送至加载器;
本步骤旨在利用分析器实现基于调度任务的性能数据传输,以便于将性能数据发送至加载器进行后续的分析处理。具体而言,可以预先创建调度任务集合,用于实现不同调度任务的存储,其中的调度任务则用于实现性能数据的传输。在管理驱动将异步加载得到的性能数据发送至分析器之后,分析器即可从预设调任务集合中选择目标调度任务,该目标调度任务即为用于实现当前性能数据传输的调度任务,其中,目标调度任务的选取可以基于预设的选取策略实现,而该目标调度任务则为最为符合实际需要的调度任务,例如,可以为当前负载最小或者为空的调度任务。进一步,在从预设调度任务集合中选定目标调度任务之后,即可利用该目标调度任务将性能数据发送至加载器,由加载器继续对其进行后续处理。
S103:利用加载器从性能数据中解析得到增量数据,并将增量数据发送至监听器;
本步骤旨在实现增量数据提取,以便于实现增量数据存储。在加载器接收到分析器利用目标调度任务发送的性能数据之后,即可对该性能数据进行解析,以从中提取获得增量数据,该增量数据即为发生变化的性能数据,进一步,将增量数据发送至监听器进行存储即可。
可以理解的是,通过提取增量数据实现数据存储,相较于全量数据存储,只需提取部分发生变化的性能数据进行存储,而无需对所有的性能数据进行存储,可以有效地提高数据存储效率。
S104:利用监听器对增量数据进行存储。
本步骤旨在实现数据存储功能,在加载器将增量数据发送至监听器之后,即可利用该监听器实现增量数据的存储。其中,增量数据的存储方式可以由技术人员根据实际需求进行选择,本申请对此不做限定。
可见,本申请实施例所提供的数据存储方法,在数据上报任务的进行过程中,利用管理驱动从数据上报任务中异步加载获得性能数据,实现数据上报任务与性能数据获取之间的相互独立,可以在不影响上报任务效率的前提下,实现上报任务中性能数据的获取与存储,同时避免上报任务对性能数据展示产生的时延问题;此外,通过多个调度任务实现性能数据的传输,以及通过动态增量运算实现数据存储,可以进一步降低数据展示时延问题。
在本申请的一个实施例中,上述利用管理驱动从数据上报任务中异步加载得到性能数据,可以包括:利用管理驱动对目标设备进行实时监测,当监测到数据上报任务时,利用异步加载技术从数据上报任务中提取获得性能数据。
本申请实施例提供了一种从数据上报任务中异步加载性能数据的实现方法,在实现过程中,可以利用管理驱动对目标设备进行实时监测,其中目标设备即为需要进行性能数据提取与存储的设备,也即管理驱动所属的服务器设备;进一步,管理驱动在监测到每一次的数据上报任务时,即可利用异步加载技术从数据上报任务中的上报数据中提取各项性能数据,由此,实现性能数据的提取。其中,对于目标设备中数据上报任务的监测,还可以为定时监测,由技术人员根据实际需求进行选择设置即可,本申请对此不做限定。
在本申请的一个实施例中,上述利用分析器在预设调度任务集合中选择目标调度任务,可以包括:根据任务参数对预设调度任务集合中的各调度任务进行优先级计算,任务参数包括任务截止时间和/或任务权重,且任务参数实时更新;将优先级最高的调度任务作为目标调度任务。
本申请实施例提供了一种从预设调度任务集合中选择目标调度任务的实现方法。在实现过程中,可以对预设调度任务集合中的各项调度任务进行优先级计算,以便于从中选择优先级最高的调度任务作为目标调度任务,其中,对于调度任务的优先级计算,可以结合预先设定的任务参数实现,该任务参数可以包括对应调度任务的任务截止时间和/或任务权重,当然,二者的取值均由调度任务自身特性所决定,并且,在实际运行过程中,二者的取值是实时变化的。
在本申请的一个实施例中,上述利用监听器对增量数据进行存储,可以包括:确定各增量数据的数据类型;按照数据类型对各增量数据以消息队列的方式进行存储。
本申请实施例提供了一种存储增量数据的实现方法,即可以按照增量数据的数量类型实现增量数据存储。在实现过程中,可以先确定各个增量数据的数据类型,然后按照数据类型对增量数据进行存储,并且,在存储各个增量数据时,可以选择以消息队列的形式进行存储。当然,消息队列的存储形式仅为本申请实施例所提供的一种实现方式,还可以根据实际需要选择其他类型的存储方式,本申请对此不做限定。
在本申请的一个实施例中,上述利用分析器在预设调度任务集合中选择目标调度任务,并利用目标调度任务将性能数据发送至加载器之前,还可以包括:利用分析器从性能数据中筛选获得指定数据类型的目标性能数据。
本申请实施例所提供的数据存储方法支持选择特定类型的性能数据进行提取和存储。在性能数据的提取过程中,可以默认为对当前设备中所有设备部件的属性信息进行提取,而在用户的实际使用过程中,则可以进一步根据自身实际需求从提取的所有性能数据中选择特定类型的性能数据进行存储。因此,在利用管理驱动将提取到所有性能数据发送至分析器之后,利用分析器将性能数据发送至加载器之前,可以先根据预先设定的筛选规则从所有性能数据中筛选获得指定数据类型的性能数据,即上述目标性能数据,然后再将该目标性能数据发送至分析器,从而实现特定类型的性能数据存储,以满足不同用户的特定需求。
在本申请的一个实施例中,该数据存储方法还可以包括:当接收到数据检索指令时,根据数据检索指令确定检索指标;根据检索指标对所有存储数据进行权重计算,获得各存储数据的权重;按照权重由大到小的顺序对各存储数据进行排序,获得存储数据序列;按照预设提取规则从存储数据序列中提取获得检索结果。
本申请实施例所提供的数据存储方法还可以进一步实现数据检索功能,且具有较高的数据检索效率。在本申请实施例中,当需要进行数据检索时,可以由用户发起包含有检索指标的检索指令,当然,该检索指标由用户需要所决定,其中,检索指标可以以关键字的形式附加于检索指令中,如“利用率”、“容量”、“时间”等,由此,即可通过对检索指令进行解析获得关键字,以便于基于该关键字实现数据检索。进一步,在解析获得检索指标之后,即可利用该检索指标对已经完成存储的各项数据(即各存储数据)进行权重计算,得到每一个存储数据的权重,并在存储空间中对所有的存储数据按照权重由大到小的顺序进行排序,从而获得排序后的存储数据序列。最后,按照预先设定的提取规则从存储数据序列中提取获得最终的检索结果即可,其中,预设提取规则由技术人员根据实际需求进行设定,例如,可以为选择权重取值超出预设阈值的存储数据作为检索结果,也可以选择存储数据序列中的前预设数量个存储数据作为检索结果等。当然,预设阈值、预设数量等的具体取值并不影响本技术方案的实施,由技术人员根据实际需要进行自定义设置即可,本申请对此不做限定。
在本申请的一个实施例中,该数据存储方法还可以包括:根据数据检索指令确定指定时间段;从所有检索结果中提取满足指定时间段的目标检索结果;将目标检索结果输出至显示界面。
本申请实施例所提供的数据存储方法还可以进一步实现自定义时间段的数据展示功能,也即可以对用户指定的时间段内的性能数据进行展示。在实现过程中,用户还可以将指定时间段附加于数据检索指令中,由此,通过对数据检索指令进行解析获得该指定时间段后,即可从所有的检索结果中提取处于该指定时间段内的检索结果作为最终的检索结果,即上述目标检索结果,最后,将该目标检索结果输入值显示界面进行可视化展示即可。
在上述各实施例的基础上,本申请实施例提供了另一种数据存储方法。
首先,请参考图3,图3为本申请所提供的一种数据提取与存储的流程图,其中,性能数据分为时间和指标两个模块,时间值代表一个时间点,指标包含设备部件及部件属性(部件如CPU、内存、负载、硬盘、分区、网络等,部件属性如CPU利用率、内存利用率、内存总量、一分钟负载、硬盘读写速率、响应时间、分区总量、网络收发速率等)。
进一步,在管理软件查询带内性能数据时,可以将时间戳等信息作为参数,根据起始时间戳、截至时间戳来判断页面所需要展示性能数据的时间范围;当查看当前性能数据时,可以通过异步加载的方式获取正在上报任务中的性能数据。
其中,在查询实时性能数据时,首先使用分析器异步加载并监听ISMD性能数据上报的方法,当检测到发生新一轮数据上报时,会自动异步截取性能数据并进行处理,框架在上报任务运行期间的加载可以通过代理的方式将最新的性能数据发送至分析器,此过程并不影响上报任务继续执行和结果回调。
在实现过程中,每个被监听的部件方法均可作为一个代理点,代理点负责与分析器连接,在连接分析器时,根据当前性能部件,创建加载器任务调度集合dispatch={1,2,3,4..d},d表示调度任务的数量,调度任务的截止时间为eT[t],1<eT[t]<d,要求任务t在时间eT[t]之前结束,同时任务t的权重为W[t],在此基础上,通过任务队列来记录每个任务的截至时间和任务权重,eT[]={t1,t2,t3...},W[]={integer1,integer2,integer3,...},最后通过集合保存每个任务的唯一标识id、截止时间和任务权重,在加载任务发起调度时,可以根据计算每个任务的截至时间和权重来判断该任务是否为最优加载器。进一步,分析器会将数据发送至加载器进行加载并解析,在加载器中会解析性能数据的增量变化,并将增量数据通过事件发布至监听器,在监听器接收到事件后则会根据不同的数据类型以消息队列的方式进行存储。
其中,在查询历史数据时,可以根据聚合的原理,将性能数据按照分钟、小时、天、月等聚合展示,展示的同时还可以过滤掉屏蔽过的指标。
在实现过程中,首先,使用包含检索指标的权重算法计算获得关于检索指标K的权重W:
其中,Doc为目录下所有记录个数,n为常量,l(k)表示包含关键字(检索指标)的记录数。
进一步,根据上述算法可看出指标值越集中,该记录的权重越大,则该记录排序越靠前。其中,所有记录权重相关性公式为:
其中,file为记录的长度,mon为目录下所有记录的平均长度,W为检索指标k在记录file中的权重值。
由此,根据上述权重相关性公式可以将目录下所有包含检索指标的记录按照权重大小进行排序,从而实现数据检索。
可见,本申请实施例所提供的数据存储方法,可以利用动态缓存增量、数据汇聚、可时间扩展性能查询等方法展示带内性能数据,同时在数据处理、存储流程阶段使用有效算法能够快速监听数据,框架使用动态加载、事件监听等方法检测、异步执行获取性能数据的方法,实现了物理基础设施管理平台的动态全量性能数据展示。
本申请实施例提供了一种数据存储装置。
请参考图4,图4为本申请所提供的一种数据存储装置的结构示意图,该数据存储装置可包括:
加载模块1,用于利用管理驱动从数据上报任务中异步加载得到性能数据,并将性能数据发送至分析器;
选择模块2,用于利用分析器在预设调度任务集合中选择目标调度任务,并利用目标调度任务将性能数据发送至加载器;
解析模块3,用于利用加载器从性能数据中解析得到增量数据,并将增量数据发送至监听器;
存储模块4,用于利用监听器对增量数据进行存储。
可见,本申请实施例所提供的数据存储装置,在数据上报任务的进行过程中,利用管理驱动从数据上报任务中异步加载获得性能数据,实现数据上报任务与性能数据获取之间的相互独立,可以在不影响上报任务效率的前提下,实现上报任务中性能数据的获取与存储,同时避免上报任务对性能数据展示产生的时延问题;此外,通过多个调度任务实现性能数据的传输,以及通过动态增量运算实现数据存储,可以进一步降低数据展示时延问题。
在本申请的一个实施例中,上述加载模块1可具体用于利用管理驱动对目标设备进行实时监测,当监测到数据上报任务时,利用异步加载技术从数据上报任务中提取获得性能数据。
在本申请的一个实施例中,上述选择模块2可具体用于根据任务参数对预设调度任务集合中的各调度任务进行优先级计算,任务参数包括任务截止时间和/或任务权重,且任务参数实时更新;将优先级最高的调度任务作为目标调度任务。
在本申请的一个实施例中,上述存储模块4可具体用于确定各增量数据的数据类型;按照数据类型对各增量数据以消息队列的方式进行存储。
在本申请的一个实施例中,该数据存储装置还可以包括筛选模块,用于在上述利用分析器在预设调度任务集合中选择目标调度任务,并利用目标调度任务将性能数据发送至加载器之前,利用分析器从性能数据中筛选获得指定数据类型的目标性能数据。
在本申请的一个实施例中,该数据存储装置还可以包括检索模块,用于当接收到数据检索指令时,根据数据检索指令确定检索指标;根据检索指标对所有存储数据进行权重计算,获得各存储数据的权重;按照权重由大到小的顺序对各存储数据进行排序,获得存储数据序列;按照预设提取规则从存储数据序列中提取获得检索结果。
在本申请的一个实施例中,该数据存储装置还可以包括展示模块,用于根据数据检索指令确定指定时间段;从所有检索结果中提取满足指定时间段的目标检索结果;将目标检索结果输出至显示界面。
对于本申请实施例提供的装置的介绍请参照上述方法实施例,本申请在此不做赘述。
本申请实施例提供了一种电子设备。
请参考图5,图5为本申请所提供的一种电子设备的结构示意图,该电子设备可包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时可实现如上述任意一种数据存储方法的步骤。
如图5所示,为电子设备的组成结构示意图,电子设备可以包括:处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
在本申请实施例中,处理器10可以为中央处理器(Central Processing Unit,CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器10可以调用存储器11中存储的程序,具体的,处理器10可以执行数据存储方法的实施例中的操作。
存储器11中用于存放一个或者一个以上程序,程序可以包括程序代码,程序代码包括计算机操作指令,在本申请实施例中,存储器11中至少存储有用于实现以下功能的程序:
利用管理驱动从数据上报任务中异步加载得到性能数据,并将性能数据发送至分析器;
利用分析器在预设调度任务集合中选择目标调度任务,并利用目标调度任务将性能数据发送至加载器;
利用加载器从性能数据中解析得到增量数据,并将增量数据发送至监听器;
利用监听器对增量数据进行存储。
在一种可能的实现方式中,存储器11可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统,以及至少一个功能所需的应用程序等;存储数据区可存储使用过程中所创建的数据。
此外,存储器11可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。
通信接口12可以为通信模块的接口,用于与其他设备或者系统连接。
当然,需要说明的是,图5所示的结构并不构成对本申请实施例中电子设备的限定,在实际应用中电子设备可以包括比图5所示的更多或更少的部件,或者组合某些部件。
本申请实施例提供了一种计算机可读存储介质。
本申请实施例所提供的计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现如上述任意一种数据存储方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请实施例提供的计算机可读存储介质的介绍请参照上述方法实施例,本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请的保护范围内。
Claims (10)
1.一种数据存储方法,其特征在于,包括:
利用管理驱动从数据上报任务中异步加载得到性能数据,并将所述性能数据发送至分析器;
利用所述分析器在预设调度任务集合中选择目标调度任务,并利用所述目标调度任务将所述性能数据发送至加载器;
利用所述加载器从所述性能数据中解析得到增量数据,并将所述增量数据发送至监听器;
利用所述监听器对所述增量数据进行存储。
2.根据权利要求1所述的数据存储方法,其特征在于,所述利用管理驱动从数据上报任务中异步加载得到性能数据,包括:
利用所述管理驱动对目标设备进行实时监测,当监测到所述数据上报任务时,利用异步加载技术从所述数据上报任务中提取获得所述性能数据。
3.根据权利要求1所述的数据存储方法,其特征在于,所述利用所述分析器在预设调度任务集合中选择目标调度任务,包括:
根据任务参数对所述预设调度任务集合中的各调度任务进行优先级计算,所述任务参数包括任务截止时间和/或任务权重,且所述任务参数实时更新;
将优先级最高的调度任务作为所述目标调度任务。
4.根据权利要求1所述的数据存储方法,其特征在于,所述利用所述监听器对所述增量数据进行存储,包括:
确定各所述增量数据的数据类型;
按照所述数据类型对各所述增量数据以消息队列的方式进行存储。
5.根据权利要求1所述的数据存储方法,其特征在于,所述利用所述分析器在预设调度任务集合中选择目标调度任务,并利用所述目标调度任务将所述性能数据发送至加载器之前,还包括:
利用所述分析器从所述性能数据中筛选获得指定数据类型的目标性能数据。
6.根据权利要求1至5任一项所述的数据存储方法,其特征在于,还包括:
当接收到数据检索指令时,根据所述数据检索指令确定检索指标;
根据所述检索指标对所有存储数据进行权重计算,获得各所述存储数据的权重;
按照所述权重由大到小的顺序对各所述存储数据进行排序,获得存储数据序列;
按照预设提取规则从所述存储数据序列中提取获得检索结果。
7.根据权利要求6所述的数据存储方法,其特征在于,还包括:
根据所述数据检索指令确定指定时间段;
从所有所述检索结果中提取满足所述指定时间段的目标检索结果;
将所述目标检索结果输出至显示界面。
8.一种数据存储装置,其特征在于,包括:
加载模块,用于利用管理驱动从数据上报任务中异步加载得到性能数据,并将所述性能数据发送至分析器;
选择模块,用于利用所述分析器在预设调度任务集合中选择目标调度任务,并利用所述目标调度任务将所述性能数据发送至加载器;
解析模块,用于利用所述加载器从所述性能数据中解析得到增量数据,并将所述增量数据发送至监听器;
存储模块,用于利用所述监听器对所述增量数据进行存储。
9.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的数据存储方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据存储方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210879793.3A CN115129556A (zh) | 2022-07-25 | 2022-07-25 | 一种数据存储方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210879793.3A CN115129556A (zh) | 2022-07-25 | 2022-07-25 | 一种数据存储方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115129556A true CN115129556A (zh) | 2022-09-30 |
Family
ID=83385739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210879793.3A Pending CN115129556A (zh) | 2022-07-25 | 2022-07-25 | 一种数据存储方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115129556A (zh) |
-
2022
- 2022-07-25 CN CN202210879793.3A patent/CN115129556A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107145489B (zh) | 一种基于云平台的客户端应用的信息统计方法和装置 | |
CN113360554B (zh) | 一种数据抽取、转换和加载etl的方法和设备 | |
US8983966B2 (en) | Method and system to monitor a diverse heterogeneous application environment | |
CN112035415B (zh) | 针对用户访问数据的处理系统、方法、设备及存储介质 | |
CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
CN111400288A (zh) | 数据质量检查方法及系统 | |
CN112069049A (zh) | 数据监控管理方法、装置、服务器及可读存储介质 | |
CN111367760A (zh) | 日志采集方法及装置、计算机设备、存储介质 | |
CN113868248A (zh) | 指标数据预聚合方法 | |
CN113485999A (zh) | 数据清理方法、装置和服务器 | |
CN108228432A (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
CN114090529A (zh) | 一种日志管理方法、装置、系统和存储介质 | |
CN113760640A (zh) | 监控日志处理方法、装置、设备及存储介质 | |
CN111522870A (zh) | 数据库访问方法、中间件和可读存储介质 | |
KR20240051094A (ko) | 룰셋 기반의 대용량 로그 데이터 분석 장치, 이의 제어 방법 및 프로그램 | |
CN113422808B (zh) | 物联网平台http信息推送方法、系统、装置及介质 | |
CN114253806A (zh) | 一种接入层日志收集分析预警系统 | |
CN114417200A (zh) | 网络数据的采集方法、装置及电子设备 | |
CN113641567A (zh) | 一种数据库巡检方法、装置、电子设备及存储介质 | |
CN106940710B (zh) | 信息推送方法及装置 | |
CN115129556A (zh) | 一种数据存储方法及相关设备 | |
EP1622309A2 (en) | Method and system for treating events and data uniformly | |
CN112667149B (zh) | 一种数据热度感知方法、装置、设备及介质 | |
CN111737097B (zh) | 一种流处理系统的性能测试方法及相关装置 | |
CN113918636A (zh) | 一种基于etl的数据处理量分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |