CN107729219B - 基于超融合存储系统的资源监控方法、装置及终端 - Google Patents

基于超融合存储系统的资源监控方法、装置及终端 Download PDF

Info

Publication number
CN107729219B
CN107729219B CN201711146176.8A CN201711146176A CN107729219B CN 107729219 B CN107729219 B CN 107729219B CN 201711146176 A CN201711146176 A CN 201711146176A CN 107729219 B CN107729219 B CN 107729219B
Authority
CN
China
Prior art keywords
data
monitoring
super
storage system
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711146176.8A
Other languages
English (en)
Other versions
CN107729219A (zh
Inventor
马梦婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lenovo Super Fusion Technology Co Ltd
Original Assignee
Beijing Lenovo Super Fusion Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lenovo Super Fusion Technology Co Ltd filed Critical Beijing Lenovo Super Fusion Technology Co Ltd
Priority to CN201711146176.8A priority Critical patent/CN107729219B/zh
Publication of CN107729219A publication Critical patent/CN107729219A/zh
Application granted granted Critical
Publication of CN107729219B publication Critical patent/CN107729219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于超融合存储系统的资源监控方法、装置及终端,涉及数据处理技术领域,主要目的在于对超融合存储系统中的资源根据监控需求进行实时有效地监控。本发明主要的技术方案为:获取具有标识信息的采集数据,所述采集数据包括超融合存储系统中至少一个物理设备的待监控数据采样信息;基于所述采集数据,生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息,其中所述至少一个物理设备和所述虚拟资源存在对应关系。本发明主要用于监控系统资源。

Description

基于超融合存储系统的资源监控方法、装置及终端
技术领域
本发明涉及数据处理技术领域,尤其涉及一种基于超融合存储系统的资源监控方法、装置及终端。
背景技术
超融合存储系统是一种面向对象的分布式存储系统。超融合是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括云管理软件,数据重构,多副本,快照技术等元素,而多节点可以通过网络聚合起来,实现模块化的无缝横向扩展,形成统一的资源池。而在超融合存储系统中所包括的资源池中主要可以分为物理资源与虚拟资源,其中,虚拟资源是在物理资源的基础上进一步的整合或拆分所得到的。
目前,对于超融合存储系统中的资源进行监控,通过采集物理资源的采样数据是可以实时有效地进行监控与管理的,但对于其中的虚拟资源,还无法进行有效的监控,当前所采用的方式是通过引入外部的数据库对系统中的资源进行分析,得到所需的虚拟资源监控结果,例如,较为常用的是InfluxDB,InfluxDB是一款Go语言写的时序数据库,时序数据库主要用于存储基于时间序列的指标数据,比如一个Web页面的PV、UV等指标,将其定期采集,并打上时间戳,就是一份基于时间序列的指标,通过这些指标得到具体的监控结果。然而InfluxDB的连续查询的定位是通过降低采样率的方式,如此,对于监控结果的实时性与准确性都存在一定的影响,并且由于InfluxDB是外部引入的数据库,其监控的内容一般为定制的,无法根据用户的实时需求进行快速调整,同时也会对应用的具体场景存在限定,不利于用户系统监控功能的扩展,降低用户的应用体验。
发明内容
有鉴于此,本发明提供一种基于超融合存储系统的资源监控方法、装置及终端,主要目的在于对超融合存储系统中的资源根据监控需求进行实时有效地监控。
为达到上述目的,本发明主要提供如下技术方案:
一方面,本发明提供了一种基于超融合存储系统的资源监控方法,该方法包括:
获取具有标识信息的采集数据,所述采集数据包括超融合存储系统中至少一个物理设备的待监控数据采样信息;
基于所述采集数据,生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息,其中所述至少一个物理设备和所述虚拟资源存在对应关系。
优选的,在生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息之后,所述方法还包括:
将所述监控数据采样信息以及所述采集数据存储在预置数据表中;
当接收到虚拟资源的监控查询请求时,提取所述预置数据表中对应的监控数据采样信息,得到监控查询结果。
优选的,所述获取具有标识信息的采集数据包括:
根据待监控数据的内容采集所述超融合存储系统中至少一个物理设备的数据信息;
基于所述物理设备的设备标识信息以及采集时间信息生成所述采集数据的标识信息;
将所述标识信息标记在所述采集数据中。
优选的,根据所述采集数据生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息包括:
确定所述虚拟资源对应的物理资源,所述物理资源为所述超融合存储系统中物理设备所具有的资源;
根据所述采样信息计算所述物理资源对应的监控数据采样信息,得到所述虚拟资源的监控数据采样信息。
优选的,根据所述采样信息计算所述物理资源对应的监控数据采样信息包括:
根据确定的物理设备所对应的设备标识信息提取采样信息;
计算具有相同采集时间信息的所述采样信息,得到所述监控数据采样信息,其中,计算方式包括累加、平均值、最大值、最小值、方差中的至少一种。
优选的,在将所述监控数据采样信息以及所述采集数据存储在预置数据表中之后,所述方法还包括:
将所述预置数据表中的数据按照预置规则进行归并计算,得到粗粒度的监控数据,所述预置规则包括以时间维度和/或资源维度设置的计算规则;
将所述粗粒度的监控数据保存至所述预置数据表中。
优选的,所述方法还包括:
监控所述预置数据表中存储的数据内容的保存时间;
根据预置规则将所述保存时间超过预置时间的数据内容进行删除。
另一方面,本发明还提供了一种基于超融合存储系统的资源监控装置,该装置包括:
获取单元,用于获取具有标识信息的采集数据,所述采集数据包括超融合存储系统中至少一个物理设备的待监控数据采样信息;
生成单元,用于基于所述获取单元获取的采集数据,生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息,其中所述至少一个物理设备和所述虚拟资源存在对应关系。
优选的,所述装置还包括:
存储单元,用于将所述生成单元得到的监控数据采样信息以及所述获取单元得到的采集数据存储在预置数据表中;
提取单元,用于当接收到虚拟资源的监控查询请求时,提取所述预置数据表中对应的监控数据采样信息,得到监控查询结果。
优选的,所述获取单元包括:
采集模块,用于根据待监控数据的内容采集所述超融合存储系统中至少一个物理设备的数据信息;
生成模块,用于基于所述物理设备的设备标识信息以及采集时间信息生成所述采集模块采集的采集数据的标识信息;
标记模块,用于将所述生成模块得到的标识信息标记在所述采集数据中。
优选的,所述生成单元包括:
确定模块,用于确定所述虚拟资源对应的物理资源,所述物理资源为所述超融合存储系统中物理设备所具有的资源;
计算模块,用于根据所述采样信息计算所述确定模块确定的物理资源对应的监控数据采样信息,得到所述虚拟资源的监控数据采样信息。
优选的,所述计算模块包括:
提取子模块,用于根据确定的物理设备所对应的设备标识信息提取采样信息;
计算子模块,用于计算具有相同采集时间信息的所述提取子模块得到采样信息,得到所述监控数据采样信息,其中,计算方式包括累加、平均值、最大值、最小值、方差中的至少一种。
优选的,所述装置还包括:
归并计算单元,用于在存储单元将所述监控数据采样信息以及所述采集数据存储在预置数据表中之后,将所述预置数据表中的数据按照预置规则进行归并计算,得到粗粒度的监控数据,所述预置规则包括以时间维度和/或资源维度设置的计算规则;
所述存储单元还用于,将所述归并计算单元得到的粗粒度的监控数据保存至所述预置数据表中。
优选的,所述装置还包括:
监控单元,用于监控所述预置数据表中所述存储单元存储的数据内容的保存时间;
删除单元,用于根据预置规则将所述监控单元确定的保存时间超过预置时间的数据内容进行删除。
此外,第三方面,本发明还提供了一种基于超融合存储系统的资源监控终端,该终端中至少包括:处理器与存储介质;
所述处理器用于,获取具有标识信息的采集数据,所述采集数据包括超融合存储系统中至少一个物理设备的待监控数据采样信息,并基于所述采集数据,生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息,其中所述至少一个物理设备和所述虚拟资源存在对应关系;
所述存储介质用于存储所述处理器执行的程序,以及所述超融合存储系统的存储数据。
优选的,所述终端还包括收发器,用于收发所述处理器所执行的处理指令,以使得所述终端与所述超融合存储系统中的其他终端进行数据交互;
所述处理器还用于将所述监控数据采样信息以及所述采集数据存储在预置数据表中;
当所述收发器接收到虚拟资源的监控查询请求时,所述处理器提取所述预置数据表中对应的监控数据采样信息,得到监控查询结果,并通过所述收发器发送所述监控查询结果,以反馈所述监控查询请求。
依据上述本发明所提出的一种基于超融合存储系统的资源监控方法、装置及终端,主要是将超融合存储系统中带有物理设备标识信息的采集数据按照虚拟资源与物理资源的对应关系计算虚拟资源的监控数据采样信息,并将该监控数据采样信息加以保存,以供接收到对应的监控查询请求时,将其作为查询结果提供给查询用户。相对于现有的监控虚拟资源的方式,本发明无需引入新的数据库进行监控,并且能够更灵活地根据系统中自定义的虚拟资源进行实时监控,同时,通过将监控到的虚拟资源存储在系统本地的数据表中,有利于系统对所监控的数据进行进一步的统计操作,以提供自定义的监控功能,为用户提供更便利的应用体验。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提出的一种基于超融合存储系统的资源监控方法的流程图;
图2示出了本发明实施例提出的另一种基于超融合存储系统的资源监控方法的流程图;
图3示出了本发明实施例提出的一种基于超融合存储系统的资源监控装置的组成框图;
图4示出了本发明实施例提出的另一种基于超融合存储系统的资源监控装置的组成框图;
图5示出了本发明实施例提出的一种基于超融合存储系统的资源监控终端的组成框图;
图6示出了本发明实施例提出的另一种基于超融合存储系统的资源监控终端的组成框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种基于超融合存储系统的资源监控方法,如图1所示,该方法是针对超融合存储系统中的资源数据进行的监控优化方法,以使得系统能够对系统集群资源池中的所有资源数据进行有效的监控。本方法的具体步骤包括:
101、获取具有标识信息的采集数据。
其中,该采集数据来自于超融合存储系统中各个节点的至少一个物理设备,而采集数据的数据内容则是根据预置监控的指标对待监控数据进行实时采样得到的采样信息。
由于采集数据是对物理设备中的物理资源的采样数据,且在整个超融合存储系统中具有众多的物理设备,因此,对于这些采样数据在采集时就需要标记上对应的标识信息加以区分,一般的,都是将对应物理设备标识作为该采集数据的标识信息用于说明该采集数据的采集来源。
针对本步骤中的数据采集过程,可通过在超融合存储系统的各个物理设备节点中运行相应的数据采集服务进行数据采集操作,所采集的数据内容可以由系统自定义确定并通过该数据采集服务对物理设备中的物理资源进行定向采集,比如可以设置对物理设备中的存储资源、处理器占用、内存使用等参数进行定期或实时的监控。对于具体的数据采集方式,本发明实施例则不做限定。
102、基于采集数据,生成超融合存储系统中预置的虚拟资源的监控数据采样信息。
其中,预置的虚拟资源是指在超融合存储系统中由于分布式布置的多个物理节点所组成的,而将不同节点中的物理资源加以整合形成一个完整的虚拟资源向用户提供服务将大幅提高整个系统的服务质量与效率,而所整合的虚拟资源则是根据一定的合并或拆分规则执行的,例如,将距离较近的分布式节点的物理存储整合成一个虚拟存储池向周边用户提供大容量的数据存储服务。然而由于物理设备中的物理资源并非固定不变,特别是存储资源,物理设备可以实时地增加或移除相应的磁盘资源,因此,对于所组建的虚拟资源,其构成的稳定性将决定于物理硬件的稳定性,这就要求整个系统能够实时地监控整合后的虚拟资源,而这种实时变化的虚拟资源是现有监控方法,即采用外部监控软件,由于其是对所监控的虚拟资源的配置是预先设定好的,因此,其无法有效地对本发明实施例中的虚拟资源进行监控。
此外,对于虚拟资源的整合还存在系统内部的调整的需求,例如,物理设备中增加了磁盘后,对于原有的虚拟资源相应的也需要增加该磁盘资源,对此,系统将根据物理资源的实时变化对虚拟资源进行调整。而要对调整后的虚拟资源进行资源监控,首先,是要确定该虚拟资源当前所对应的物理资源,之后,再根据监控物理资源得到的采样数据计算对应的虚拟资源的监控数据采样信息。
本发明实施例是在获取物理设备中物理资源的采集数据的基础上,将这些采集数据按照物理设备的物理资源与虚拟资源的对应关系进行整合,从而得到虚拟资源监控数据的相关信息。需要指出的是,本发明实施例中对于物理设备与虚拟资源的对应关系不做具体限定,可以是单个物理设备中的物理资源对应于多个虚拟资源,也可以是多个物理设备的物理资源对应于单个虚拟资源,还可以是物理设备中的物理资源与虚拟资源的一一对应。
结合上述的实现方式可以看出,本发明实施例所采用的基于超融合存储系统的资源监控方法,主要是将超融合存储系统中带有物理设备标识信息的采集数据按照虚拟资源与物理资源的对应关系计算虚拟资源的监控数据采样信息,并将该监控数据采样信息加以保存,以供接收到对应的监控查询请求时,将其作为查询结果提供给查询用户。相对于现有的监控虚拟资源的方式,本发明实施例无需引入新的数据库进行监控,并且能够更灵活地根据系统中自定义的虚拟资源进行实时监控。
基于上述实施例的内容,为了更加详细地说明本发明提出的一种基于超融合存储系统的资源监控方法,尤其是对于虚拟资源的监控采样数据的整合与处理操作,将结合图2所示流程图进行详细说明,具体步骤包括:
201、获取具有标识信息的采集数据。
本步骤中的采集数据为超融合存储系统中物理设备的资源采样数据,而对于所采集的内容则是由系统指定的具体参数,比如磁盘使用率,处理器负载,内存占用率等。
具体的数据采样方式在步骤101中已做详细说明,本步骤不再赘述。而对于采集数据中对应的标识信息在本步骤中以标签的形式标记在采集数据中,该标签中所记载的内容主要包括物理设备的设备标识,以及采集的时间信息。需要指出的是,设备标识在超融合存储系统中具有唯一性,也就是说,该标签所标记的采样数据在该超融合存储系统中也具有唯一性。具体的,比如在系统集群中物理设备的磁盘标识为disk1,其在t1时刻磁盘用量的采样数据名称为disk_usage,那么在该时刻所采集的磁盘用量数据中标记的标识信息为标签{disk1,t1,disk_usage}。
202、根据采集数据生成超融合存储系统中预置的虚拟资源的监控数据采样信息。
执行本步骤时,本发明实施例通过预置的数据模型来处理步骤201中所采集得到的物理设备的采样数据信息。其中,预置的数据模型主要用于确定虚拟资源所对应的物理资源,也就是识别构成虚拟资源所对应的超融合存储系统中物理设备所具有的资源。在生成一个虚拟资源的监控数据采样信息时,该数据模型通过对所采集的物理资源的采样数据进行筛选,过滤出该虚拟资源所对应的物理资源,其中,该物理资源可能是多个物理设备所对应的资源,也可能是一个物理设备中的一部分资源,比如,一个磁盘中的磁盘存储分区。
数据模型通过标识信息获取到虚拟资源对应的物理资源的采样数据后,将根据虚拟资源的构建方式计算该虚拟资源的监控数据采样信息,具体的,是计算具有相同采集时间信息的采样数据,根据查询请求进行计算,比如,查询请求是要查看虚拟资源storagePool的磁盘用量storage_usage,根据数据模型解析该虚拟资源是由一个节点设备中的两个磁盘disk1,disk2构成的,并且根据磁盘的标识信息查询当前时间点的disk1,disk2的磁盘用量监控数据为disk1_usage和disk2_usage,其中,当前时间点没有监控数据时,查询到的数据也可能是与当前时间点最接近的一个数据,那么,storage_usage就是disk1_usage和disk2_usage之和,相似的,根据查询请求内容的不同,数据模型还可以对应的进行相关运算,比如,计数、求平均值、求最大值、求最小值、求方差等。
203、将虚拟资源的监控数据采样信息以及物理资源的采集数据存储在预置数据表中。
其中,预置数据表设置在超融合存储系统中,用于存储采集的物理资源的采样数据和整合后生成的虚拟资源的监控采样数据。
需要指出的是,物理资源的采样数据与虚拟资源的监控采样数据是分别保存的,可以是在预置数据表的不同的区域中记录,也可以是采用不同的数据表进行记录。通过该预置数据表的设置,就是构建超融合存储系统中资源监控子系统的数据库,基于对不同物理节点在不同时间点上的资源使用情况的监控,可以通过进一步的数据统计处理得到更多维度的监控数据,比如,可以计算不同时间段内的资源使用情况,或者是不同区域中的所有设备的资源使用情况。而基于对物理设备的监控还可以得到虚拟资源的监控采样数据,并形成同样的数据表,以计算更多维度的虚拟资源的监控数据。这就为系统的后台数据人员提供了更灵活的设置监控方案的选择,更能够基于所监控的数据进行提示、预警等功能,从而达到对系统资源管理的优化控制。
204、将预置数据表中的数据按照预置规则进行归并计算,得到粗粒度的监控数据并保存在该预置数据表中。
本步骤中对于归并计算的对象可以是预置数据表中的虚拟资源的监控数据采样信息,也可以是物理资源的采集数据。其中,预置规则是以时间维度、资源维度等不同的维度以及维度组合设置的计算规则。比如,时间维度就是根据设定的时间周期对该周期内的数据进行合并计算,该周期可以一天、一周、一年等,但需要指出的是,该周期需要大于数据采样的周期。在比如,资源维度可以是设定的一个资源池,其可以是多个虚拟资源所共同组成的集群级的监控指标,据此,需要先计算多个虚拟资源的监控数据采样信息,之后再合并该资源池的监控数据。对于不同的维度,也可以进行组合设置,以确定新的资源监控指标,如计算在一段时间内资源池的磁盘存储率。
通过归并计算可以计算得到更粗粒度的监控数据,将得到的粗粒度的监控数据再保存至预置数据表中,当同等粒度的监控数据再达到一定量值时,还可以进行归并计算以得到更粗粒度的监控数据,如此,在需要查询宏观数据监控信息时,就可以直接通过预先计算的粗粒度监控数据快速计算得到,而无需从基础数据开始计算,因此,通过归并计算后的监控数据对于响应宏观监控数据查询时就可以大幅提高响应速度。
205、删除预置数据表中的无效数据。
在本发明实施中,由于所采集以及计算得到的监控数据都存储在超融合存储系统中,随着时间的推移,这些监控数据的数据量也将大量增加,而根据应用的实际情况,许多时间比较久的数据大多不会被查询,因此,对于这些数据,本发明实施例中通过设置预置时间值的方式来确定数据存储在预置数据表中的时间,具体的,以监控数据被写入预置数据表的时间为启示时间进行计算,当该时间超过预置时间值时,将该数据内容进行删除。
对于设置的预置时间,本发明实施例则不限定具体个数,也就是说,针对不同物理设备或者是不同的虚拟资源,可以设置与其对应的不同预置时间。
206、当接收到虚拟资源的监控查询请求时,提取所述预置数据表中对应的监控数据采样信息,得到监控查询结果。
上述步骤201至205的执行是在超融合存储系统运行过程中如何对整个系统的物理资源以及虚拟资源进行监控以及对监控数据的记录。而本步骤是在上述步骤的基础上,当收到了监控查询请求时所做出的具体响应,其中,系统将对接收到的监控查询请求进行解析,判断其所要查询的内容是物理资源还是虚拟资源,若为物理资源,则在预置数据表中根据物理设备的标识信息直接查询对应的采样数据,将其作为查询结果,对于存在多个采样数据的情况,则根据具体的查询请求内容对采样数据进行处理,得到对应的查询结果作为请求的响应。而如果查询请求的内容为虚拟资源,则需要将所要查询的虚拟资源在预置数据表中进行查询,若存在对应记录,则提取对应的监控数据采样信息,将其作为监控查询结果,当若不存在对应的虚拟资源记录时,则需要对该虚拟资源进行进一步的解析,得到其对应的物理资源的标识信息,再根据得到的标识信息查询物理资源的采样数据,并根据查询请求对这些采样数据进行处理,该处理方式不限定时求和,求平均值,最大值,最小值等计算方式,将处理得到的计算结果作为响应该查询请求的查询结果。此外,在该情况下,若能够得到响应的查询结果,系统将提取本次查询操作中的查询对象,即虚拟资源,以及对应的查询结果,将其记载至系统的预置数据表中,并根据该虚拟资源的整合方式对查询结果进行定期更新,以供后续查询该虚拟资源时能够快速提供查询响应结果。
进一步的,作为对上述方法的实现,本发明实施例提供了一种基于超融合存储系统的资源监控装置,该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置主要用于超融合存储系统中对不同虚拟资源的有效监控,具体如图3所示,该装置包括:
获取单元31,用于获取具有标识信息的采集数据,所述采集数据包括超融合存储系统中至少一个物理设备的待监控数据采样信息;
生成单元32,用于基于所述获取单元31获取的采集数据,生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息,其中所述至少一个物理设备和所述虚拟资源存在对应关系。
进一步的,如图4所示,所述装置还包括:
存储单元33,用于将所述生成单元32得到的监控数据采样信息以及所述获取单元31得到的采集数据存储在预置数据表中;
提取单元34,用于当接收到虚拟资源的监控查询请求时,提取所述预置数据表中对应的监控数据采样信息,得到监控查询结果。
进一步的,如图4所示,所述获取单元31包括:
采集模块311,用于根据待监控数据的内容采集所述超融合存储系统中至少一个物理设备的数据信息;
生成模块312,用于基于所述物理设备的设备标识信息以及采集时间信息生成所述采集模块311采集的采集数据的标识信息;
标记模块313,用于将所述生成模块312得到的标识信息标记在所述采集数据中。
进一步的,如图4所示,所述生成单元32包括:
确定模块321,用于确定所述虚拟资源对应的物理资源,所述物理资源为所述超融合存储系统中物理设备所具有的资源;
计算模块322,用于根据所述采样信息计算所述确定模块321确定的物理资源对应的监控数据采样信息,得到所述虚拟资源的监控数据采样信息。
进一步的,如图4所示,所述计算模块322包括:
提取子模块3221,用于根据确定的物理设备所对应的设备标识信息提取采样信息;
计算子模块3222,用于计算具有相同采集时间信息的所述提取子模块3221得到采样信息,得到所述监控数据采样信息,其中,计算方式包括累加、平均值、最大值、最小值、方差中的至少一种。
进一步的,如图4所示,所述装置还包括:
归并计算单元35,用于在存储单元33将所述监控数据采样信息以及所述采集数据存储在预置数据表中之后,将所述预置数据表中的数据按照预置规则进行归并计算,得到粗粒度的监控数据,所述预置规则包括以时间维度和/或资源维度设置的计算规则;
所述存储单元33还用于,将所述归并计算单元35得到的粗粒度的监控数据保存至所述预置数据表中。
进一步的,如图4所示,所述装置还包括:
监控单元36,用于监控所述预置数据表中所述存储单元33存储的数据内容的保存时间;
删除单元37,用于根据预置规则将所述监控单元36确定的保存时间超过预置时间的数据内容进行删除。
进一步的,本发明实施例提供了一种基于超融合存储系统的资源监控终端,该终端中设置有上述的基于超融合存储系统的资源监控装置,该终端能够将超融合存储系统中的虚拟资源通过对物理资源的监控数据进行有效的整合从而得到对应的虚拟资源监控数据,实现在本地系统对需要监控的资源进行实时有效的跟踪监控。具体的,该基于超融合存储系统的资源监控终端如图5所示,该终端至少包括:处理器41与存储介质42。
其中,处理器41主要用于执行接收到的控制指令以及存储介质42中存储的可执行程序。所执行的主要程序为:获取具有标识信息的采集数据,所述采集数据包括超融合存储系统中至少一个物理设备的待监控数据采样信息,并基于所述采集数据,生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息,其中所述至少一个物理设备和所述虚拟资源存在对应关系。
存储介质42用于存储所述处理器41执行的程序,以及所述超融合存储系统的存储数据。
进一步的,如图6所示,所述终端还包括收发器43,用于收发所述处理器41所执行的处理指令,以使得所述终端与所述超融合存储系统中的其他终端进行数据交互;
所述处理器41还用于将所述监控数据采样信息以及所述采集数据存储在预置数据表中;
当所述收发器43接收到虚拟资源的监控查询请求时,所述处理器提取所述预置数据表中对应的监控数据采样信息,得到监控查询结果,并通过所述收发器发送所述监控查询结果,以反馈所述监控查询请求。
综上所述,本发明实施例所采用的基于超融合存储系统的资源监控方法、装置及终端,相对于现有的对监控虚拟资源的方式,本发明实施例无需引入新的数据库进行监控,并且能够更灵活地根据系统中自定义的虚拟资源进行实时监控,同时,通过将监控到的虚拟资源存储在系统本地的数据表中,有利于系统对所监控的数据进行进一步的统计操作,以提供自定义的监控功能,此外,对于采集以及计算得到的监控数据,还可以通过进一步的归并计算来得到更粗粒度的监控数据,使得用户在进行数据查询时可以大幅减低对查询结果的计算时间,提供查询的效应效率,为用户提供更便利快捷的查询体验。而对于系统长时间的运行所产生的大量监控数据,本发明实施例也通过设置有效时间的方式对其进行删减,以确保超融合存储系统具有更高的存储空间利用率。
所述基于超融合存储系统的资源监控装置包括处理器和存储器,上述获取单元、生成单元、存储单元和提取单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实现对超融合存储系统中的资源根据监控需求进行实时有效地监控。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:获取具有标识信息的采集数据,所述采集数据是超融合存储系统中物理设备的待监控数据采样信息;根据所述采集数据生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息;将所述监控数据采样信息以及所述采集数据存储在预置数据表中;当接收到虚拟资源的监控查询请求时,提取所述预置数据表中对应的监控数据采样信息,得到监控查询结果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种基于超融合存储系统的资源监控方法,其特征在于,所述方法包括:
获取具有标识信息的采集数据,所述采集数据包括超融合存储系统中至少一个物理设备的待监控数据采样信息,所述采集数据的内容由系统自定义确定并通过数据采集服务对物理设备中的物理资源进行定向采集;
基于所述采集数据,生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息,其中所述至少一个物理设备和所述虚拟资源存在对应关系;
将所述监控数据采样信息以及所述采集数据存储在预置数据表中,构建超融合存储系统中资源监控子系统的数据库;
其中,所述获取具有标识信息的采集数据包括:根据待监控数据的内容采集所述超融合存储系统中至少一个物理设备的数据信息;基于所述物理设备的设备标识信息以及采集时间信息生成所述采集数据的标识信息;将所述标识信息标记在所述采集数据中;
其中,所述生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息包括:确定所述虚拟资源对应的物理资源,所述物理资源为所述超融合存储系统中物理设备所具有的资源;根据所述采样信息计算所述物理资源对应的监控数据采样信息,得到所述虚拟资源的监控数据采样信息;
其中,所述根据所述采样信息计算所述物理资源对应的监控数据采样信息包括:根据确定的物理设备所对应的设备标识信息提取采样信息;计算具有相同采集时间信息的所述采样信息,得到所述监控数据采样信息,其中,计算方式包括累加、平均值、最大值、最小值、方差中的至少一种。
2.根据权利要求1所述的方法,其特征在于,在生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息之后,所述方法还包括:
当接收到虚拟资源的监控查询请求时,提取所述预置数据表中对应的监控数据采样信息,得到监控查询结果。
3.根据权利要求2所述的方法,其特征在于,在将所述监控数据采样信息以及所述采集数据存储在预置数据表中之后,所述方法还包括:
将所述预置数据表中的数据按照预置规则进行归并计算,得到粗粒度的监控数据,所述预置规则包括以时间维度和/或资源维度设置的计算规则;
将所述粗粒度的监控数据保存至所述预置数据表中。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
监控所述预置数据表中存储的数据内容的保存时间;
根据预置规则将所述保存时间超过预置时间的数据内容进行删除。
5.一种基于超融合存储系统的资源监控终端,其特征在于,所述终端中至少包括:处理器与存储介质;
所述处理器用于,获取具有标识信息的采集数据,所述采集数据包括超融合存储系统中至少一个物理设备的待监控数据采样信息,所述采集数据的内容由系统自定义确定并通过数据采集服务对物理设备中的物理资源进行定向采集,并基于所述采集数据,生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息,其中所述至少一个物理设备和所述虚拟资源存在对应关系,所述处理器还用于将所述监控数据采样信息以及所述采集数据存储在预置数据表中,构建超融合存储系统中资源监控子系统的数据库;
所述存储介质用于存储所述处理器执行的程序,以及所述超融合存储系统的存储数据;
其中,所述处理器用于,根据待监控数据的内容采集所述超融合存储系统中至少一个物理设备的数据信息;基于所述物理设备的设备标识信息以及采集时间信息生成所述采集数据的标识信息;将所述标识信息标记在所述采集数据中;
其中,所述处理器用于,确定所述虚拟资源对应的物理资源,所述物理资源为所述超融合存储系统中物理设备所具有的资源;根据所述采样信息计算所述物理资源对应的监控数据采样信息,得到所述虚拟资源的监控数据采样信息;
其中,所述处理器用于,根据确定的物理设备所对应的设备标识信息提取采样信息;计算具有相同采集时间信息的所述采样信息,得到所述监控数据采样信息,其中,计算方式包括累加、平均值、最大值、最小值、方差中的至少一种。
6.根据权利要求5所述的终端,其特征在于,所述终端还包括收发器,用于收发所述处理器所执行的处理指令,以使得所述终端与所述超融合存储系统中的其他终端进行数据交互;
当所述收发器接收到虚拟资源的监控查询请求时,所述处理器提取所述预置数据表中对应的监控数据采样信息,得到监控查询结果,并通过所述收发器发送所述监控查询结果,以反馈所述监控查询请求。
7.一种基于超融合存储系统的资源监控装置,其特征在于,所述装置包括:
获取单元,用于获取具有标识信息的采集数据,所述采集数据包括超融合存储系统中至少一个物理设备的待监控数据采样信息,所述采集数据的内容由系统自定义确定并通过数据采集服务对物理设备中的物理资源进行定向采集;
生成单元,用于基于所述获取单元获取的采集数据,生成所述超融合存储系统中预置的虚拟资源的监控数据采样信息,其中所述至少一个物理设备和所述虚拟资源存在对应关系;
存储单元,用于将所述生成单元得到的监控数据采样信息以及所述获取单元得到的采集数据存储在预置数据表中;
其中,所述获取单元包括:采集模块,用于根据待监控数据的内容采集所述超融合存储系统中至少一个物理设备的数据信息;生成模块,用于基于所述物理设备的设备标识信息以及采集时间信息生成所述采集模块采集的采集数据的标识信息;标记模块,用于将所述生成模块得到的标识信息标记在所述采集数据中;
其中,所述生成单元包括:确定模块,用于确定所述虚拟资源对应的物理资源,所述物理资源为所述超融合存储系统中物理设备所具有的资源;计算模块,用于根据所述采样信息计算所述确定模块确定的物理资源对应的监控数据采样信息,得到所述虚拟资源的监控数据采样信息;
其中,所述计算模块包括:提取子模块,用于根据确定的物理设备所对应的设备标识信息提取采样信息;计算子模块,用于计算具有相同采集时间信息的所述提取子模块得到采样信息,得到所述监控数据采样信息,其中,计算方式包括累加、平均值、最大值、最小值、方差中的至少一种。
CN201711146176.8A 2017-11-17 2017-11-17 基于超融合存储系统的资源监控方法、装置及终端 Active CN107729219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711146176.8A CN107729219B (zh) 2017-11-17 2017-11-17 基于超融合存储系统的资源监控方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711146176.8A CN107729219B (zh) 2017-11-17 2017-11-17 基于超融合存储系统的资源监控方法、装置及终端

Publications (2)

Publication Number Publication Date
CN107729219A CN107729219A (zh) 2018-02-23
CN107729219B true CN107729219B (zh) 2021-07-16

Family

ID=61217247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711146176.8A Active CN107729219B (zh) 2017-11-17 2017-11-17 基于超融合存储系统的资源监控方法、装置及终端

Country Status (1)

Country Link
CN (1) CN107729219B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897796B (zh) * 2018-06-12 2023-07-14 平安科技(深圳)有限公司 一种业务系统调用influxdb数据库的方法、存储介质和服务器
CN109450686B (zh) * 2018-11-12 2020-11-03 北京交通大学 一种基于普适网络的网络资源管理系统及方法
CN109408353B (zh) * 2018-11-13 2022-02-18 郑州云海信息技术有限公司 一种存储分区利用率和iops的分析方法,系统及终端设备
US11409552B2 (en) 2019-09-24 2022-08-09 International Business Machines Corporation Hardware expansion prediction for a hyperconverged system
CN110781175A (zh) * 2019-10-30 2020-02-11 浪潮云信息技术有限公司 基于Promethues实现监控数据整合的方法
CN111737082A (zh) * 2020-06-19 2020-10-02 中国建设银行股份有限公司 容器及容器应用的监控方法、装置、设备和介质
CN112162912A (zh) * 2020-10-23 2021-01-01 新华三大数据技术有限公司 一种云资源监控方法及系统
CN112947866A (zh) * 2021-04-06 2021-06-11 苏州菲瑞斯信息技术有限公司 全闪存超融合阵列高性能存储系统及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012044493A1 (en) * 2010-10-01 2012-04-05 Pure Storage, Inc. Distributed multi-level protection in a raid array based storage system
CN103403689A (zh) * 2012-07-30 2013-11-20 华为技术有限公司 一种资源故障管理方法、装置及系统
CN106407077A (zh) * 2016-09-21 2017-02-15 广州华多网络科技有限公司 一种实时告警方法及系统
CN107306234A (zh) * 2016-04-20 2017-10-31 北京亿阳信通科技有限公司 一种云平台资源分配系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012044493A1 (en) * 2010-10-01 2012-04-05 Pure Storage, Inc. Distributed multi-level protection in a raid array based storage system
CN103403689A (zh) * 2012-07-30 2013-11-20 华为技术有限公司 一种资源故障管理方法、装置及系统
CN107306234A (zh) * 2016-04-20 2017-10-31 北京亿阳信通科技有限公司 一种云平台资源分配系统和方法
CN106407077A (zh) * 2016-09-21 2017-02-15 广州华多网络科技有限公司 一种实时告警方法及系统

Also Published As

Publication number Publication date
CN107729219A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN107729219B (zh) 基于超融合存储系统的资源监控方法、装置及终端
CN107807796B (zh) 一种基于超融合存储系统的数据分层方法、终端及系统
US20180365085A1 (en) Method and apparatus for monitoring client applications
CN107844274B (zh) 基于超融合存储系统的硬件资源管理方法、装置及终端
CN112346829B (zh) 一种用于任务调度的方法及设备
US20150370587A1 (en) Computer-readable recording medium having stored therein outputting program, output apparatus and outputting method
CN107391532B (zh) 数据过滤的方法和装置
CN103702053A (zh) 录像存储和检索方法及系统、监控系统
CN110928851B (zh) 处理日志信息的方法、装置、设备及存储介质
CN111241122B (zh) 任务监测方法、装置、电子设备和可读存储介质
US11184269B1 (en) Collecting route-based traffic metrics in a service-oriented system
CN109190025A (zh) 信息监控方法、装置、系统和计算机可读存储介质
CN110557291A (zh) 一种网络服务监控系统
CN115114359B (zh) 用户数据处理方法及装置
CN112765150A (zh) 大数据异构融合提取方法及装置
CN110598051A (zh) 一种电力行业监控系统、方法及装置
CN107515807B (zh) 一种存储监控数据的方法及装置
CN113297245A (zh) 获取执行信息的方法及装置
CN109068286B (zh) 一种信息解析的方法、介质及设备
CN110019045B (zh) 日志落地方法及装置
CN115048186A (zh) 业务容器的扩缩容处理方法、装置、存储介质及电子设备
CN109902067B (zh) 文件处理方法、装置、存储介质及计算机设备
CN108810299B (zh) 一种信息解析的方法、介质及设备
CN110874268B (zh) 数据处理方法、装置和设备
JP6679445B2 (ja) 情報処理装置、情報処理システム、情報処理プログラムおよび情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant