CN107844402A - 一种基于超融合存储系统的资源监控方法、装置及终端 - Google Patents
一种基于超融合存储系统的资源监控方法、装置及终端 Download PDFInfo
- Publication number
- CN107844402A CN107844402A CN201711145145.0A CN201711145145A CN107844402A CN 107844402 A CN107844402 A CN 107844402A CN 201711145145 A CN201711145145 A CN 201711145145A CN 107844402 A CN107844402 A CN 107844402A
- Authority
- CN
- China
- Prior art keywords
- merger
- monitoring data
- monitoring
- data
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于超融合存储系统的资源监控方法、装置及终端,涉及数据处理技术领域,主要目的在于利用超融合存储系统中的节点进行监控数据的整合管理,提高数据监控结果输出的稳定性及效率。本发明主要的技术方案为:由超融合存储系统中的至少一个第一节点服务器采集原始监控数据;将所述原始监控数据以及对应的归并信息存储至系统监控数据库中,其中,所述系统监控数据库用于存储监控数据及对应的归并信息;基于所述归并信息对所述系统监控数据库中的监控数据进行归并处理,将归并结果存储至对应的监控数据表中。本发明主要用于监控超融合存储系统的资源。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种基于超融合存储系统的资源监控方法、装置及终端。
背景技术
超融合存储系统是一种面向对象的分布式存储系统。超融合是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括云管理软件,数据重构,多副本,快照技术等元素。而多节点可以通过网络聚合起来,实现模块化的无缝横向扩展,形成统一的资源池,因此,使用分布式系统就可以将分布在各处的资源综合利用,而这种利用对用户而言是透明的,既可以将负载由单个节点转移到多个,从而提高工作效率,又可以避免由于单个节点失效而使整个系统崩溃的危险。
然而,分布式系统在为用户和开发者提供各方面的便利的同时,也带来了分布式系统中资源管理困难的问题。首先,采集集群级资源的相关监控指标通常是比较困难的。比如,一个存储集群总的存储量,它是该集群中所有卷的存储量的和。对于大多数现行的系统,都会有一个全局的资源管理服务器,通过不断采集集群中各部分的使用情况来汇总生成集群级资源的监控指标。这样,监控数据的采集系统本身也是一个分布式系统,维持该系统的稳定运行需要分配额外的资源。其次,在超融合系统中,监控数据的存储和管理也是一个比较难解的问题。随着时间的推移和系统的规模不断扩大,监控数据的存储规模会不断的变大,保存所有的数据会使得数据的存储量急剧的增大,占用系统的有效存储空间。并且,随着监控数据的量的不断增大,数据读取的耗时和合并计算得到用户所需时间粒度的数据的时间会不断的扩大。因此,基于以上现行的资源监控系统所存在的问题就需要一种针对超融合存储系统中的分布式资源进行大规模监控数据的存储和处理的方案。
发明内容
有鉴于此,本发明提供一种基于超融合存储系统的资源监控方法、装置及终端,主要目的在于利用超融合存储系统中的节点进行监控数据的整合管理,提高数据监控结果输出的稳定性及效率。
为达到上述目的,本发明主要提供如下技术方案:
一方面,本发明提供了一种基于超融合存储系统的资源监控方法,该方法包括:
由超融合存储系统中的至少一个第一节点服务器采集原始监控数据;
将所述原始监控数据以及对应的归并信息存储至系统监控数据库中,其中,所述系统监控数据库用于存储监控数据及对应的归并信息;
基于所述归并信息对所述系统监控数据库中的监控数据进行归并处理,将归并结果存储至对应的监控数据表中。
优选的,基于所述归并信息对所述系统监控数据库中的监控数据进行归并处理包括:
根据所述归并信息生成归并请求;
基于所述归并请求,利用预置规则获取待归并监控数据;
归并计算所述待归并监控数据,得到所述归并结果。
优选的,所述利用预置规则获取待归并监控数据包括:
获取本次归并处理对应的上一级的监控数据表中的待归并监控数据;
所述归并计算所述待归并监控数据,将归并结果存储至对应的监控数据表中包括:
根据所述归并信息,在所述系统监控数据库中设置多个连续级别的监控数据表,所述连续级别是以原始监控数据为基础逐级归并所设置的级别;
根据所述待归并监控数据的级别将所述归并结果存储至下一级的监控数据表中。
优选的,所述预置规则是根据预置的时间间隔确定多个时间粒度,基于所述时间粒度由小到大的排序对同一时间粒度的监控数据进行归并处理,所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。
优选的,所述预置规则是获取多个节点服务器所对应的监控数据,将所述多个节点服务器中对应于相同时间粒度的监控数据进行归并处理,所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。
优选的,在将归并结果存储至对应的监控数据表中之后,所述方法还包括:
当接收到监控数据查询请求时,确定第二节点服务器,由所述第二节点服务器根据所述监控数据查询请求提取所述系统监控数据库中的数据内容,得到响应所述监控数据查询请求的监控结果。
优选的,当接收到监控数据查询请求时,确定第二节点服务器,由所述第二节点服务器根据所述监控数据查询请求提取所述系统监控数据库中的数据内容,得到响应所述监控数据查询请求的监控结果包括:
根据所述监控数据查询请求的位置信息确定分布式系统中的所述第二节点服务器;
由第二节点服务器根据所述监控数据查询请求获取所述系统监控数据库中对应监控数据表内的监控数据;
将所述监控数据按照所述监控数据查询请求中的时间维度和/或资源维度进行数据整合,得到响应所述监控数据查询请求的监控结果。
优选的,在将所述原始监控数据以及归并信息存储至系统监控数据库中之后,所述方法还包括:
根据预置的时间阈值删除所述系统监控数据库中存储的数据内容。
另一方面,本发明还提供了一种基于超融合存储系统的资源监控装置,该装置包括:
采集单元,用于由超融合存储系统中的至少一个第一节点服务器采集原始监控数据;
存储单元,用于将所述采集单元采集的原始监控数据以及对应的归并信息存储至系统监控数据库中,其中,所述系统监控数据库用于存储监控数据及对应的归并信息;
计算单元,用于基于所述存储单元存储的归并信息对所述系统监控数据库中的监控数据进行归并处理,将归并结果由所述存储单元存储至对应的监控数据表中。
优选的,所述计算单元包括:
生成模块,用于根据所述归并信息生成归并请求;
获取模块,用于基于所述生成模块生成的归并请求,利用预置规则获取待归并监控数据;
计算模块,用于归并计算所述获取模块获取的待归并监控数据,得到所述归并结果。
优选的,所述获取模块还用于,获取本次归并处理对应的上一级的监控数据表中的待归并监控数据;
所述计算模块还包括:
设置子模块,用于根据所述归并信息,在所述系统监控数据库中设置多个连续级别的监控数据表,所述连续级别是以原始监控数据为基础逐级归并所设置的级别;
存储子模块,用于根据所述待归并监控数据的级别将所述归并结果存储至下一级的监控数据表中。
优选的,所述获取模块中依据的预置规则是根据预置的时间间隔确定多个时间粒度,基于所述时间粒度由小到大的排序对同一时间粒度的监控数据进行归并处理,所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。
优选的,所述获取模块中依据的预置规则是获取多个节点服务器所对应的监控数据,将所述多个节点服务器中对应于相同时间粒度的监控数据进行归并处理,所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。
优选的,所述装置还包括:
确定单元,用于当接收到监控数据查询请求时,确定第二节点服务器;
响应单元,用于由所述确定单元确定的第二节点服务器根据所述监控数据查询请求提取所述系统监控数据库中数据内容,得到响应所述监控数据查询请求的监控结果。
优选的,所述确定单元还用于,根据所述监控数据查询请求的位置信息确定分布式系统中的所述第二节点服务器;
所述响应单元具体包括:
提取模块,用于由第二节点服务器根据所述监控数据查询请求获取所述系统监控数据库中对应监控数据表内的监控数据;
响应模块,用于将所述监控数据按照所述监控数据查询请求中的时间维度和/或资源维度进行数据整合,得到响应所述监控数据查询请求的监控结果。
优选的,所述装置还包括:
删除单元,用于在存储单元将所述原始监控数据以及归并信息存储至系统监控数据库中之后,根据预置的时间阈值删除所述系统监控数据库中存储的数据内容。
此外,本发明还提供了一种基于超融合存储系统的资源监控终端,所述终端中包括处理器和存储介质,所述处理器和所述存储介质在进行资源监控时,能够执行如上所述的基于超融合存储系统的资源监控方法。
依据上述本发明所提出的一种基于超融合存储系统的资源监控方法、装置及终端,主要是在超融合存储系统的各个节点的物理设备上采集原始监控数据并将其汇总到系统的监控数据库中,由系统对监控数据库中的数据内容进行归并整合,使得监控数据能够随着时间的推移进行归并,节省了存储大量实时监控数据的存储空间。相对于现有的系统资源监控方式,本发明所进行的数据归并是按照时间推移的顺序将监控价值低的数据逐级进行合并,在不影响数据监控结果的同时,节省了大量用于存储监控数据的存储资源,同时,将合并的数据加以记录存储后,对于响应的监控查询请求时,也能够直接从对应的监控数据表中查找数据,提高了响应效率以及监控结果输出的稳定性。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提出的一种基于超融合存储系统的资源监控方法的流程图;
图2示出了本发明实施例提出的另一种基于超融合存储系统的资源监控方法的流程图;
图3示出了本发明实施例提出的一种基于超融合存储系统的资源监控装置的组成框图;
图4示出了本发明实施例提出的另一种基于超融合存储系统的资源监控装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种基于超融合存储系统的资源监控方法,如图1所示,该方法是针对超融合存储系统中的资源数据进行的监控优化方法,以使得系统能够对系统集群资源池中的所有资源数据进行有效的监控。本方法的具体步骤包括:
101、由超融合存储系统中的至少一个第一节点服务器采集原始监控数据。
其中,第一节点服务器是超融合存储系统中的各个节点的服务器设备,用于提供数据存储、计算等物理资源。而由这些服务器所提供的物理资源以及基于这些物理资源所构建的虚拟资源就是本发明实施例所要监控的数据内容,而对于采集于第一节点服务器中物理资源的监控数据被称为原始监控数据,是构建其他监控数据的基础。一般的,对原始监控数据的采集分为实时采集和预置时间间隔采集两种,具体需要根据不同的应用场景来确定采用何种采集方式。
针对本步骤中的数据采集过程,可通过在超融合存储系统的第一节点服务器中运行相应的数据采集服务进行数据采集操作,所采集的数据内容可以由系统自定义确定,并通过该数据采集服务对物理设备中的物理资源进行定向采集,比如可以设置对服务器中的存储资源、处理器占用、内存使用等参数进行定期或实时的监控。对于具体的数据采集方式,本发明实施例则不做限定。其中,数据采集服务是监控系统中的一个组成部分,其运行在分布式系统的各个节点的终端设备中,主要用于接收监控系统下发的数据采集指令以及采集规则并进行数据采集。
此外,针对超融合存储系统而言,所采集的原始监控数据同样是可以定制的,即可以根据需要获取一个或多个第一节点服务器所采集的原始监控数据。
102、将原始监控数据以及对应的归并信息存储至系统监控数据库中。
其中,归并信息是与存储在系统监控数据库中的监控数据相对应的信息,即系统监控数据库中的每一条监控数据都对应有相应的归并信息,而该归并信息是在监控数据被存储到系统监控数据库中时对应生成的。在该归并信息中记录有其对应的监控数据具体如何进行归并处理操作,比如,按照时间间隔规定进行归并,具体如5分钟、30分钟等,还可以按照资源划分进行归并,具体如该监控数据归属于哪个虚拟资源或集群资源,需要将其与其他监控数据进行归并处理。
具体的,在实际应用中,监控数据被存储到系统监控数据库中时,由系统识别该监控数据,并为其确定一个对应归并信息。其中,识别监控数据是要判断该监控数据是否为原始监控数据,进而,也可以判断监控数据是经过几次归并处理的监控数据,对应不同归并级别的数据,系统将为其确定对应的归并信息,比如,对于原始监控数据对应的归并间隔时间较短,而对于归并过的监控数据,其对应的归并时间间隔将随着归并次数的递增而增加。一般的,归并信息会以标识的方式标记在每条监控数据中。同时,第一服务器除了将采集的本地原始监控数据存储至系统监控数据库,还将对已存储的内容进行监控,根据归并信息监控哪些数据内容需要进行归并处理,并将需要归并处理的监控数据提取出来进行归并处理后再次保存至系统监控数据库中。
由此可见,第一服务器向系统监控数据库存储的监控数据并不只是原始监控数据,也包括本地生成的监控数据经归并处理后的数据内容,如此往复循环将使得系统监控数据库中的数据内容得到不断的归并、更新,而对于系统监控数据库也需要针对不同级别的归并处理数据进行区分处理及存储,一般的,可以通过在数据库中设置不同级别的监控数据表,用以存储不同归并级别的监控数据。需要说明的是,在系统监控数据库中所存储的监控数据还对应存储有该监控数据的归并信息。
103、基于归并信息对系统监控数据库中的监控数据进行归并处理,将归并结果存储至对应的监控数据表中。
本步骤的执行内容在上述步骤102中已进行说明,此处不再赘述。但需要指出的是,步骤102是针对第一节点服务器所进行的监控数据归并处理,而大多数的虚拟资源池或者集群资源所对应的监控数据往往是由多个第一节点服务器中的资源所构成的,因此,在本发明实施例中,还需要根据集群资源的构成,在系统监控数据库中存储对应于集群资源的监控数据。这就需要由系统将不同的第一节点服务器所存储的监控数据加以整合,从而得到集群级的监控数据,对于该监控数据,系统同样会对其分配对应的归并信息,以便于后期进一步的归并处理操作。
而对于监控数据的归并处理则需要按照一定的规则进行,即需要设置一定的归并处理的触发条件,该触发条件中需要确定对那些监控数据进行归并处理,以及采用何种的归并方式等。本发明实施例中,所进行的监控数据的归并处理是基于所设置的规则进行多层级的数据归并,并且在系统监控数据库中分别设置有对应不同层级的监控数据表,以存储对应层级的归并结果。
以上步骤101至103所介绍的是在超融合存储系统中如何构建资源监控体系,形成一个相对独立的监控子系统,在本发明后续的实施例描述中被称为监控系统,并将得到的具体监控数据保存在系统监控数据库中,以备后续的查询需求。而系统监控数据库中所保存的监控数据规模是随着超融合存储系统运行的时间而扩大的,也就是说,该系统监控数据库中的数据为增量数据,若不能对该数据库中的监控数据进行有效管理,其所占用的存储空间必然会越来越大,从而影响整个系统的运行效率。而本发明实施例就是基于上述步骤对监控数据进行归并处理,以节省有限的存储资源以及处理资源,提升系统的工作效率。
结合上述的实现方式可以看出,本发明实施例所采用的基于超融合存储系统的资源监控方法,主要是在超融合存储系统的各个节点的物理设备上采集原始监控数据并将其汇总到系统的监控数据库中,由系统对监控数据库中的数据内容进行归并整合,使得监控数据能够随着时间的推移进行归并,节省了存储大量实时监控数据的存储空间。相对于现有的系统资源监控方式,本发明实施例所进行的数据归并是按照时间推移的顺序将监控价值低的数据逐级进行合并,在不影响数据监控结果的同时,节省了大量用于存储监控数据的存储资源,同时,将合并的数据加以记录存储后,对于响应的监控查询请求时,也能够直接从对应的监控数据表中查找数据,提高了响应效率以及监控结果输出的稳定性。
基于上述实施例的内容,为了更加详细地说明本发明提出的一种基于超融合存储系统的资源监控方法,尤其是监控系统对监控数据进行归并处理以及在系统监控数据库中存储对应的监控数据,将结合图2所示流程图进行详细说明,具体步骤包括:
201、由超融合存储系统中的至少一个第一节点服务器采集监控数据。
本发明实施例中,第一节点服务器不限定为超融合存储系统中的某一台物理设备,或者是某一个节点内的服务器群组。
针对该第一节点服务器,其所要执行的操作,除了采集本地设备的原始监控数据,还需要对存储在系统监控数据库中的本地监控数据进行监控,以便将符合归并信息的监控数据进行归并操作,并将结果再次保存至系统监控数据库中。
此外,对于所采集的监控数据,特别是对原始监控数据,第一节点服务器还需要进一步的判断这些监控数据的格式类型,以确保存储至系统监控数据库中的监控数据具有统一的格式类型。为此,第一节点服务器需要对监控数据进行格式类型的校验,对于不符合格式要求的,进行转换操作,具体格式检验与转换的方式在此不做限定。
202、将监控数据以及对应的归并信息存储至系统监控数据库中。
本步骤执行的具体内容与上述步骤102相同,此处不再赘述。其中,在本发明实施例中,监控数据是存储至系统监控数据库中对应的监控数据表内,并且,同时将对应的归并信息也一同存储至该监控数据表中。
系统监控数据库中的监控数据表是根据具体的监控需求而设置的,其中监控需求则取决于具体监控参数的设置,也就是说,根据不同的应用场景可以设置不同的监控参数,比如,对于时间维度,可以设置5分钟的监控表、30分钟的监控表等等,而对于资源维度,可以设置不同地域的监控表,如北京、上海等,也可以设置存储资源、CPU资源、内存资源等不同类型资源的监控表,还可以是根据虚拟资源的构架设置对应的监控数据表。在监控数据进行保存操作时,系统将根据监控数据中的具体内容、来源信息、以及对应的归并信息综合确定该监控数据所要存储的监控数据表,并执行存储操作。
203、基于归并信息对系统监控数据库中的监控数据进行归并处理,将归并结果存储至对应的监控数据表中。
本步骤中所执行的归并处理主要包括第一节点服务器对系统监控数据库中存储的本地监控数据进行归并处理,以及由系统根据具体需求对多个节点服务器的监控数据进行归并处理。而后者在执行归并处理时,监控系统也需要指定分布式系统中的一个节点服务器来执行,其不限定是第一节点服务器或者是第二节点服务器。具体执行时主要包括以下步骤:
首先,根据归并信息生成归并请求。
由执行归并处理的节点服务器对系统监控数据库中的监控数据所对应的归并信息进行监控,本发明实施例中以时间维度的归并为例,在归并信息中记录有监控数据需要执行归并处理的时间间隔,以该监控数据存储至数据库中的时间为起始时间开始计时,当达到该时间间隔时,就对该监控数据执行归并处理。也就是在说,在归并信息中都存储有执行该操作触发条件,而节点服务器所监控的就是判断当前的条件是否符合触发条件,一旦符合,就申城对应的归并请求,执行对应的归并处理操作。
其次,基于该归并请求,利用预置规则获取待归并监控数据。
其中,预置规则可以是根据归并信息,在系统监控数据库中设置多个连续级别的监控数据表,而连续级别是指以原始监控数据为基础逐级进行归并所设置的级别,不同的级别对应于归并处理的次数。
本实施例中以时间为例进行具体说明单个节点服务器中的数据归并处理过程,由于在步骤202中已经描述了将监控数据保存在系统监控数据库中的多个监控数据表中,那么,进一步的可以将这些监控数据表以时间粒度进行区分,原始监控数据存储在一个数据表中,按照不同的时间粒度,每执行一次归并处理,将其归并结果存储在一个新的数据表中,同时,将相同时间粒度的归并处理结果也存储在该数据表中,以此类推,不同的时间粒度存在有对应的监控数据表,并且,在执行归并处理时,可以依据上一时间粒度对应的监控数据表中的监控数据来执行。而在该应用场景中,预置规则就可以看做是根据预置的时间间隔确定多个时间粒度,并按照所述时间粒度由小到大的排序对同一时间粒度的监控数据进行归并处理。
此外,该预置规则也可以是按照资源维度来设置的规则,即获取多个节点服务器所对应的监控数据,再将多个节点服务器中对应于相同时间粒度的监控数据进行归并处理,得到指定集群资源的监控数据。并且,随着时间的推移,还可以将该集群资源在不同时间间隔段内的监控数据按照上述时间维度的归并方式进行进一步的归并处理。再进一步的,还可以对不同集群资源在进行归并处理,而对于不同集群资源或不同节点服务器中的监控数据进行归并处理时就需要设置不同的处理规则,具体则需要根据场景设定和需求制定相应的处理规则,在此不再一一进行说明。
而基于上述时间粒度的预置规则,获取待归并监控数据的过程主要是获取本次归并处理对应的上一级的监控数据表中的待归并监控数据,也就是根据本次归并处理的时间粒度,从小一级时间粒度的监控数据表中提取对应的监控数据,比如,系统监控数据库中的监控数据表所对应的时间粒度为5分钟、10分钟、30分钟、1小时、1天、3天、1周等,那么当要归并计算1小时的监控数据时,就从30分钟的监控数据表中获取监控数据,而要计算1周的监控数据时,则从3天的监控数据表中获取监控数据。
基于上述实现方式,本发明实施例还提供另一种获取待归并监控数据的实现方式。由于节点服务器在接收到归并请求后,要在系统监控数据库中查找用于归并处理的监控数据。而对于数据库中存储的海量数据,即包括原始监控数据,也包括进行过归并处理的监控数据,要完整查找一遍将需要消耗大量的处理资源和时间,因此,为了加快处理速度,该实现方式是先对本次处理的监控数据是否为第一次执行归并处理进行判断,若为第一次,则说明用于归并处理的监控数据为原始监控数据,此时仅需要从原始监控数据中进行查找即可,而若不是第一次,则在非原始监控数据中进行查找。其中,判断的依据则存储于归并请求中,也就是需要根据具体的归并信息来判断。当判断本次归并操作不是第一次执行的归并处理时,可以从非原始监控数据中进行查找待归并监控数据,以此进一步的提高监控数据查找、提取的效率。
第三,归并计算待归并监控数据,得到归并结果。
其中,归并计算的基本处理方式包括:计数、累加、平均值、最大值、最小值、方差等,具体可通过选择至少一种方式来计算从上一级监控数据表中提取的监控数据,从而得到本次归并处理的计算结果,并且,将该计算结果存储至对应级别的监控数据表中。
204、根据预置的时间阈值删除系统监控数据库中存储的数据内容。
本步骤的主要目的在于对系统监控数据库中存储的数据内容进行过滤,将不具有监控意义的数据从数据库中删除。一般情况下,对超融合存储系统的监控大多是对当前系统或近期的资源使用情况的监控,因此,对于一定时间之前的监控数据将很少被用于查询,这些监控数据也就失去了监控意义,因此,在本发明实施例中,对于每一条监控数据,在存储至系统监控数据库中时,除了为其确定对应的归并信息外,同时也会设置一个时间阈值,该阈值用于确定该监控数据在系统监控数据库中的存储时间。
对于时间阈值的设置,本发明实施例中是根据不同的时间粒度来确定具体的时间阈值,也就是说,相同是时间粒度的监控数据在系统监控数据库中保存的时间是相同的。因此,在确定时间阈值时,也可以是针对不同的监控数据表来设置。
根据确定的时间阈值,以监控数据存储至系统监控数据库中的时间为起始时间计算,在达到该时间阈值时,执行删除操作,以此来释放更多个系统存储空间,确保超融合存储系统中的监控系统不会占用过多的存储空间。
205、当接收到监控数据查询请求时,确定第二节点服务器。
本步骤以及后续步骤是在上述步骤的基础上,提供的超融合存储系统的资源监控服务。
具体的,当监控系统接收到监控数据查询请求时,由于该超融合存储系统的分布式架构,监控系统需要在超融合存储系统中确定一个第二节点服务器,该服务器是具有处理该监控数据查询请求的服务器。由其解析该查询请求,确定其所要查询的数据内容,并从系统监控数据库中提取对应的数据内容,由于系统监控数据库中的监控数据是经过监控系统进行归并处理后的数据内容,因此,对于大多数查询请求,第二节点服务器都可以直接得到对应的监控数据作为监控结果进行响应。当然,对于一些特殊的查询请求,比如,所要查询的内容需要以图表的格式进行反馈的,第二节点服务器就需要利用所提取的监控数据进一步执行图表的生成操作,将得到的监控数据图表作为监控结果进行响应。
具体到本步骤中所确定的第二节点服务器,主要是根据监控数据查询请求发起的具体位置而确定的,具体的,通过解析该监控数据查询请求,确定其发起的地理位置,并根据该地理位置由监控系统为其选择一个处理该请求的第二节点服务器,其中,选取的规则可以是根据该地理位置选择距离最近的一个第二节点服务器,也可以是根据网络状态选择网络负载压力最小的一个第二节点服务器。对于该规则的具体设置在此不做具体限定。
206、由第二节点服务器根据监控数据查询请求提取系统监控数据库中的数据内容,得到响应该监控数据查询请求的监控结果。
具体的,由第二节点服务器根据监控数据查询请求获取系统监控数据库中对应监控数据表内的监控数据,并将该监控数据按照监控数据查询请求中的时间维度和/或资源维度进行数据整合,得到响应该监控数据查询请求的监控结果。
其中,对于时间维度与资源维度以在上述步骤中进行了说明,此处不再赘述。对于本发明实施例中的监控系统而言,第二节点服务器是非固定的节点服务器,由监控系统根据具体的请求进行分配,基于分布式系统的特征可知,本发明实施例可以同时处理多个监控数据查询请求。因此,本发明实施例对于高并发查询请求也具有较高的处理效率。
而本步骤中进行的时间维度和/或资源维度的数据整合则主要是针对集群级的资源监控,也就是对由多个节点的资源所构成的资源池进行的资源监控。因此,上述针对第一节点服务器对本地监控数据进行的时间维度和/或资源维度的数据整合可以将其扩展为对多个节点中的服务器进行的监控数据的整合操作,具体的操作过程与方式此处不再赘述。
进一步的,作为对上述方法的实现,本发明实施例提供了一种基于超融合存储系统的资源监控装置,该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置主要用于超融合存储系统中对系统资源的有效监控,具体如图3所示,该装置包括:
采集单元31,用于由超融合存储系统中的至少一个第一节点服务器采集原始监控数据;
存储单元32,用于将所述采集单元31采集的原始监控数据以及对应的归并信息存储至系统监控数据库中,其中,所述系统监控数据库用于存储监控数据及对应的归并信息;
计算单元33,用于基于所述存储单元32存储的归并信息对所述系统监控数据库中的监控数据进行归并处理,将归并结果由所述存储单元32存储至对应的监控数据表中。
进一步的,如图4所示,所述计算单元33包括:
生成模块331,用于根据所述归并信息生成归并请求;
获取模块332,用于基于所述生成模块331生成的归并请求,利用预置规则获取待归并监控数据;
计算模块333,用于归并计算所述获取模块332获取的待归并监控数据,得到所述归并结果。
进一步的,如图4所示,所述获取模块332还用于,获取本次归并处理对应的上一级的监控数据表中的待归并监控数据;
所述计算模块333还包括:
设置子模块3331,用于根据所述归并信息,在所述系统监控数据库中设置多个连续级别的监控数据表,所述连续级别是以原始监控数据为基础逐级归并所设置的级别;
存储子模块3332,用于根据所述待归并监控数据的级别将所述归并结果存储至所述设置子模块3331设置的下一级的监控数据表中。
进一步的,所述获取模块333中依据的预置规则是根据预置的时间间隔确定多个时间粒度,按照所述时间粒度由小到大的排序对同一时间粒度的监控数据进行归并处理,所述计算模块334执行归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。
进一步的,所述获取模块333中依据的预置规则是获取多个节点服务器所对应的监控数据,将所述多个节点服务器中对应于相同时间粒度的监控数据进行归并处理,所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。
进一步的,如图4所示,所述装置还包括:
确定单元34,用于当接收到监控数据查询请求时,确定第二节点服务器;
响应单元35,用于由所述确定单元34确定的第二节点服务器根据所述监控数据查询请求提取所述系统监控数据库中数据内容,得到响应所述监控数据查询请求的监控结果。
进一步的,如图4所示,所述确定单元34还用于,根据所述监控数据查询请求的位置信息确定分布式系统中的所述第二节点服务器;
所述响应单元35具体包括:
提取模块351,用于由第二节点服务器根据所述监控数据查询请求获取所述系统监控数据库中对应监控数据表内的监控数据;
响应模块352,用于将所述提取模块351提取的监控数据按照所述监控数据查询请求中的时间维度和/或资源维度进行数据整合,得到响应所述监控数据查询请求的监控结果。
进一步的,如图4所示,所述装置还包括:
删除单元36,用于在存储单元32将所述原始监控数据以及归并信息存储至系统监控数据库中之后,根据预置的时间阈值删除所述系统监控数据库中存储的数据内容。
进一步的,本发明实施例提供了一种基于超融合存储系统的资源监控终端,该终端中设置有上述的基于超融合存储系统的资源监控装置,该终端是超融合存储系统中各个节点中的物理终端设备,其可以是第一节点服务器,也可以是第二节点服务器,通过上述的资源监控方法,采集各物理终端设备的原始监控数据,并基于该原始监控数据进行归并处理,同时,还具有接收并响应监控数据查询请求,输出查询监控结果的功能。在具体实际应用中,该终端为智能计算设备,本发明实施例中该中的终端至少包括:处理器和存储介质,由所述处理器和存储介质进行系统资源的具体监控操作,执行上述实施例中所述的基于超融合存储系统的资源监控方法。
综上所述,本发明实施例所采用的基于超融合存储系统的资源监控方法、装置及终端,相对于现有的系统资源监控方式,本发明实施例通过借助超融合存储系统所具有的分布式系统结构,在该系统中设置新的监控子系统,由分布式节点中的各个物理设备进行监控数据的采集,并在该设备上进行监控数据的归并处理,再将数据存储至系统监控数据库中,从而完成对数据库的构建,同时,为了确保数据库中数据的有效性,本发明实施例会定期对其中的数据进行过滤删除。在此基础上,当存在监控数据查询请求时,再由监控子系统分配该请求至第二节点服务器中进行处理,以此来避免单点故障可能导致的系统瘫痪。并且,通过对第二节点服务器的有效选择,也使得对监控数据查询请求的响应能够更加及时、高效。
所述基于超融合存储系统的资源监控装置包括处理器和存储器,上述采集单元、存储单元、计算单元、确定单元和响应单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现利用超融合存储系统中的节点进行监控数据的整合管理,以提高数据监控结果输出的稳定性及效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:由超融合存储系统中的第一节点服务器采集原始监控数据;将所述原始监控数据以及对应的归并信息存储至系统监控数据库中;根据所述归并信息对所述系统监控数据库中的监控数据进行归并处理;当接收到监控数据查询请求时,确定第二节点服务器,由所述第二节点服务器根据所述监控数据查询请求提取所述系统监控数据库中数据内容,得到响应所述监控数据查询请求的监控结果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于超融合存储系统的资源监控方法,其特征在于,所述方法包括:
由超融合存储系统中的至少一个第一节点服务器采集原始监控数据;
将所述原始监控数据以及对应的归并信息存储至系统监控数据库中,其中,所述系统监控数据库用于存储监控数据及对应的归并信息;
基于所述归并信息对所述系统监控数据库中的监控数据进行归并处理,将归并结果存储至对应的监控数据表中。
2.根据权利要求1所述的方法,其特征在于,基于所述归并信息对所述系统监控数据库中的监控数据进行归并处理包括:
根据所述归并信息生成归并请求;
基于所述归并请求,利用预置规则获取待归并监控数据;
归并计算所述待归并监控数据,得到所述归并结果。
3.根据权利要求2所述的方法,其特征在于,所述利用预置规则获取待归并监控数据包括:
获取本次归并处理对应的上一级的监控数据表中的待归并监控数据;
所述归并计算所述待归并监控数据,将归并结果存储至对应的监控数据表中包括:
根据所述归并信息,在所述系统监控数据库中设置多个连续级别的监控数据表,所述连续级别是以原始监控数据为基础逐级归并所设置的级别;
根据所述待归并监控数据的级别将所述归并结果存储至下一级的监控数据表中。
4.根据权利要求2或3所述的方法,其特征在于,所述预置规则是根据预置的时间间隔确定多个时间粒度,基于所述时间粒度由小到大的排序对同一时间粒度的监控数据进行归并处理,所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。
5.根据权利要求2或3所述的方法,其特征在于,所述预置规则是获取多个节点服务器所对应的监控数据,将所述多个节点服务器中对应于相同时间粒度的监控数据进行归并处理,所述归并处理的具体方式包括累加、平均值、最大值、最小值、方差中的至少一种。
6.根据权利要求1所述的方法,其特征在于,在将归并结果存储至对应的监控数据表中之后,所述方法还包括:
当接收到监控数据查询请求时,确定第二节点服务器,由所述第二节点服务器根据所述监控数据查询请求提取所述系统监控数据库中的数据内容,得到响应所述监控数据查询请求的监控结果。
7.根据权利要求6所述的方法,其特征在于,当接收到监控数据查询请求时,确定第二节点服务器,由所述第二节点服务器根据所述监控数据查询请求提取所述系统监控数据库中的数据内容,得到响应所述监控数据查询请求的监控结果包括:
根据所述监控数据查询请求的位置信息确定分布式系统中的所述第二节点服务器;
由第二节点服务器根据所述监控数据查询请求获取所述系统监控数据库中对应监控数据表内的监控数据;
将所述监控数据按照所述监控数据查询请求中的时间维度和/或资源维度进行数据整合,得到响应所述监控数据查询请求的监控结果。
8.根据权利要求1-3中任一项所述的方法,其特征在于,在将所述原始监控数据以及归并信息存储至系统监控数据库中之后,所述方法还包括:
根据预置的时间阈值删除所述系统监控数据库中存储的数据内容。
9.一种基于超融合存储系统的资源监控终端,其特征在于,所述终端中包括处理器和存储介质,所述处理器和所述存储介质在进行资源监控时,能够执行如权利要求1至权利要求8中任一项所述的基于超融合存储系统的资源监控方法。
10.一种基于超融合存储系统的资源监控装置,其特征在于,所述装置包括:
采集单元,用于由超融合存储系统中的至少一个第一节点服务器采集原始监控数据;
存储单元,用于将所述采集单元采集的原始监控数据以及对应的归并信息存储至系统监控数据库中,其中,所述系统监控数据库用于存储监控数据及对应的归并信息;
计算单元,用于基于所述存储单元存储的归并信息对所述系统监控数据库中的监控数据进行归并处理,将归并结果由所述存储单元存储至对应的监控数据表中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711145145.0A CN107844402A (zh) | 2017-11-17 | 2017-11-17 | 一种基于超融合存储系统的资源监控方法、装置及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711145145.0A CN107844402A (zh) | 2017-11-17 | 2017-11-17 | 一种基于超融合存储系统的资源监控方法、装置及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107844402A true CN107844402A (zh) | 2018-03-27 |
Family
ID=61679581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711145145.0A Pending CN107844402A (zh) | 2017-11-17 | 2017-11-17 | 一种基于超融合存储系统的资源监控方法、装置及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107844402A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108881942A (zh) * | 2018-06-06 | 2018-11-23 | 西安交通大学 | 一种基于分布式对象存储的超融合常态录播系统 |
CN110519316A (zh) * | 2018-05-22 | 2019-11-29 | 山东数盾信息科技有限公司 | 一种实现基于arm平台的集群资源监控方法 |
CN111258981A (zh) * | 2020-01-13 | 2020-06-09 | 中国建设银行股份有限公司 | 一种数据处理方法、装置、设备和存储介质 |
CN112444678A (zh) * | 2019-09-02 | 2021-03-05 | 深南电路股份有限公司 | Pcb板插入损耗的监控方法、监控系统以及装置 |
CN113515508A (zh) * | 2021-04-01 | 2021-10-19 | 广州云硕科技发展有限公司 | 一种用于智能机器人的信息采集方法及系统 |
WO2022016845A1 (zh) * | 2020-07-21 | 2022-01-27 | 国云科技股份有限公司 | 一种多节点监控方法、装置、电子设备及存储介质 |
CN115499431A (zh) * | 2022-07-29 | 2022-12-20 | 天翼云科技有限公司 | 一种公有云多资源池运维监控系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110154339A1 (en) * | 2009-12-17 | 2011-06-23 | Electronics And Telecommunications Research Institute | Incremental mapreduce-based distributed parallel processing system and method for processing stream data |
CN102291269A (zh) * | 2011-09-29 | 2011-12-21 | 迈普通信技术股份有限公司 | 一种数据归并处理方法 |
CN102663005A (zh) * | 2012-03-19 | 2012-09-12 | 杭州海康威视系统技术有限公司 | 基于云计算的海量视频文件存储系统、分析方法及其系统 |
CN104113579A (zh) * | 2014-02-13 | 2014-10-22 | 西安未来国际信息股份有限公司 | 一种基于udp的业务系统数据采集与实现 |
US20150026122A1 (en) * | 2011-12-20 | 2015-01-22 | Klaus Otto Mueller | Merge monitor for table delta partitions |
CN105389352A (zh) * | 2015-10-30 | 2016-03-09 | 北京奇艺世纪科技有限公司 | 日志处理方法和装置 |
CN106250287A (zh) * | 2016-07-21 | 2016-12-21 | 柳州龙辉科技有限公司 | 一种日志信息处理装置 |
CN106656537A (zh) * | 2015-11-03 | 2017-05-10 | 中国移动通信集团公司 | 一种it集群系统监控方法、装置、终端及系统 |
CN106911783A (zh) * | 2017-03-01 | 2017-06-30 | 华南理工大学 | 一种面向超融合一体机的资源监控系统 |
-
2017
- 2017-11-17 CN CN201711145145.0A patent/CN107844402A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110154339A1 (en) * | 2009-12-17 | 2011-06-23 | Electronics And Telecommunications Research Institute | Incremental mapreduce-based distributed parallel processing system and method for processing stream data |
CN102291269A (zh) * | 2011-09-29 | 2011-12-21 | 迈普通信技术股份有限公司 | 一种数据归并处理方法 |
US20150026122A1 (en) * | 2011-12-20 | 2015-01-22 | Klaus Otto Mueller | Merge monitor for table delta partitions |
CN102663005A (zh) * | 2012-03-19 | 2012-09-12 | 杭州海康威视系统技术有限公司 | 基于云计算的海量视频文件存储系统、分析方法及其系统 |
CN104113579A (zh) * | 2014-02-13 | 2014-10-22 | 西安未来国际信息股份有限公司 | 一种基于udp的业务系统数据采集与实现 |
CN105389352A (zh) * | 2015-10-30 | 2016-03-09 | 北京奇艺世纪科技有限公司 | 日志处理方法和装置 |
CN106656537A (zh) * | 2015-11-03 | 2017-05-10 | 中国移动通信集团公司 | 一种it集群系统监控方法、装置、终端及系统 |
CN106250287A (zh) * | 2016-07-21 | 2016-12-21 | 柳州龙辉科技有限公司 | 一种日志信息处理装置 |
CN106911783A (zh) * | 2017-03-01 | 2017-06-30 | 华南理工大学 | 一种面向超融合一体机的资源监控系统 |
Non-Patent Citations (1)
Title |
---|
SYNGRESS MEDIA公司: "《MCSE学习指南》", 30 June 2001 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110519316A (zh) * | 2018-05-22 | 2019-11-29 | 山东数盾信息科技有限公司 | 一种实现基于arm平台的集群资源监控方法 |
CN108881942A (zh) * | 2018-06-06 | 2018-11-23 | 西安交通大学 | 一种基于分布式对象存储的超融合常态录播系统 |
CN108881942B (zh) * | 2018-06-06 | 2020-11-06 | 西安交通大学 | 一种基于分布式对象存储的超融合常态录播系统 |
CN112444678A (zh) * | 2019-09-02 | 2021-03-05 | 深南电路股份有限公司 | Pcb板插入损耗的监控方法、监控系统以及装置 |
CN111258981A (zh) * | 2020-01-13 | 2020-06-09 | 中国建设银行股份有限公司 | 一种数据处理方法、装置、设备和存储介质 |
WO2022016845A1 (zh) * | 2020-07-21 | 2022-01-27 | 国云科技股份有限公司 | 一种多节点监控方法、装置、电子设备及存储介质 |
CN113515508A (zh) * | 2021-04-01 | 2021-10-19 | 广州云硕科技发展有限公司 | 一种用于智能机器人的信息采集方法及系统 |
CN113515508B (zh) * | 2021-04-01 | 2022-08-02 | 广州云硕科技发展有限公司 | 一种用于智能机器人的信息采集方法及系统 |
CN115499431A (zh) * | 2022-07-29 | 2022-12-20 | 天翼云科技有限公司 | 一种公有云多资源池运维监控系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107844402A (zh) | 一种基于超融合存储系统的资源监控方法、装置及终端 | |
CN103761309B (zh) | 一种运营数据处理方法及系统 | |
CN103581332B (zh) | HDFS架构及HDFS架构中NameNode节点的压力分解方法 | |
CN103365929B (zh) | 一种数据库连接的管理方法及系统 | |
CN107807796A (zh) | 一种基于超融合存储系统的数据分层方法、终端及系统 | |
CN111327681A (zh) | 一种基于Kubernetes的云计算数据平台构建方法 | |
CN107330056A (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
CN106202569A (zh) | 一种基于大数据量的清洗方法 | |
CN106980678A (zh) | 基于zookeeper技术的数据分析方法及系统 | |
CN104966006A (zh) | 基于云变平台的智能人脸识别系统 | |
WO2016148963A1 (en) | Intelligent placement within a data center | |
CN104376365A (zh) | 一种基于关联规则挖掘的信息系统运行规则库的构造方法 | |
CN106547914A (zh) | 一种数据采集管理系统及其方法 | |
Jeong et al. | Anomaly teletraffic intrusion detection systems on hadoop-based platforms: A survey of some problems and solutions | |
CN107343021A (zh) | 国网云中应用的一种基于大数据的日志管理系统 | |
CN105956723A (zh) | 基于数据挖掘的物流信息管理方法 | |
CN103631894A (zh) | 一种基于hdfs的动态副本管理方法 | |
CN106228263A (zh) | 基于大数据的物流信息化方法 | |
CN108255628A (zh) | 一种数据处理方法及装置 | |
CN110233802A (zh) | 一种构建一主链多侧链的区块链架构的方法 | |
CN107346342A (zh) | 一种基于存储计算的文件调用方法与系统 | |
CN108337100A (zh) | 一种云平台监测的方法和装置 | |
CN108664322A (zh) | 数据处理方法及系统 | |
CN103136336A (zh) | 一种海量数据集成系统及方法 | |
CN107203545A (zh) | 一种数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180327 |
|
RJ01 | Rejection of invention patent application after publication |