CN113641301A - 一种数据管理方法及装置 - Google Patents

一种数据管理方法及装置 Download PDF

Info

Publication number
CN113641301A
CN113641301A CN202110188855.1A CN202110188855A CN113641301A CN 113641301 A CN113641301 A CN 113641301A CN 202110188855 A CN202110188855 A CN 202110188855A CN 113641301 A CN113641301 A CN 113641301A
Authority
CN
China
Prior art keywords
data
performance
performance data
index
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110188855.1A
Other languages
English (en)
Inventor
廖建军
王游
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202110188855.1A priority Critical patent/CN113641301A/zh
Publication of CN113641301A publication Critical patent/CN113641301A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明公开了一种数据管理方法及装置，方法包括：获取所述异构存储系统中各个存储设备的性能数据；对所述性能数据的进行数据处理，得到基础性能数据；基于所述基础性能数据建立不同维度支持的性能指标项；基于所述性能指标项定制化生成并输出性能展示数据，所述性能展示数据包括文字内容和图像内容中的至少一种。该数据管理方法及装置提供了一种统一的、能够灵活方便对异构存储系统中所有存储设备的性能数据进行统一管理和了解的实现，满足了存储设备管理员、应用系统管理员等对异构存储系统的使用需求，极大提高了用户体验和存储设备的运维质量。

Description

一种数据管理方法及装置
技术领域
本发明涉及云计算技术领域，更具体的说，是涉及一种数据管理方法及装置。
背景技术
随着社会和企业信息化的加速，应用系统越来越丰富，各类应用系统每天产生大量数据，这些数据都存放在作为云计算基础组件之一的存储系统里。一般而言，随着需求的不断提升，存储系统的扩容和升级时逐步进行的，这就导致存储设备的数量不断增加、设备厂商和型号多，形成异构存储系统。而不同厂商甚至相同厂商不同型号设备的架构不同，缺少方法或工具进行各存储设备性能数据统一管理。
当前的一种异构存储系统的性能数据的管理方法中，通过用户发送性能查询请求，该性能查询请求至少携带有设备标识信息以及查询时间信息，系统根据查询对象预设的性能数据分析方式进行数据分析并返回性能查询结果。该方法虽然实现了异构存储设备的性能数据统一管理，但是每次仅能查询人工指定标识信息和查询时间的性能数据，无法快速全局查看所有存储设备性能情况。
发明内容
有鉴于此，本发明提供如下技术方案：
一种数据管理方法，应用于包含至少两种不同类型的存储设备的异构存储系统，包括：
获取所述异构存储系统中各个存储设备的性能数据；
对所述性能数据进行数据处理，得到基础性能数据；
基于所述基础性能数据建立不同维度支持的性能指标项；
基于所述性能指标项定制化生成并输出性能展示数据，所述性能展示数据包括文字内容和图像内容中的至少一种。
可选的，所述获取所述异构存储系统中各个存储设备的性能数据，包括：
采集所述异构存储系统中各个存储设备的原始性能数据；
对所述原始性能数据添加数据标识和时间戳，得到性能数据，其中，数据标识用于唯一标识每个性能数据对应存储设备的指标项，所述指标项包括设备名称、品牌、型号、对象和指标名称，所述时间戳为采集所述原始性能数据的时间信息。
可选的，所述对所述性能数据进行数据处理，得到基础性能数据，包括：
对所述性能数据进行清洗和加工处理，提取各存储设备的各项性能指标并对其做单位统一和格式统一处理。
可选的，所述基于所述基础性能数据建立不同维度支持的性能指标项，包括：
基于所述基础性能数据建立不同维度支持的、可单独配置和互相组合的，且可指导配置视图定制的性能指标项。
可选的，所述基于所述性能指标项定制化生成并输出性能展示数据，包括：
基于用户自身需求和所述性能指标项定制化生成并输出性能展示数据。
可选的，在所述性能指标项定制化生成并输出性能展示数据后，还包括：
基于用户输入操作控制输出不同时段的性能展示数据，所述用户输入操作为选择不同时间段或时间点的输入操作。
一种数据管理装置，应用于包含至少两种不同类型的存储设备的异构存储系统，包括：
数据获取模块，用于获取所述异构存储系统中各个存储设备的性能数据；
数据处理模块，用于对所述性能数据的进行数据处理，得到基础性能数据；
指标项建立模块，用于基于所述基础性能数据建立不同维度支持的性能指标项；
数据展示模块，用于基于所述性能指标项定制化生成并输出性能展示数据，所述性能展示数据包括文字内容和图像内容中的至少一种。
可选的，所述数据获取模块包括：
数据采集模块，用于采集所述异构存储系统中各个存储设备的原始性能数据；
信息添加模块，用于对所述原始性能数据添加数据标识和时间戳，得到性能数据，其中，数据标识用于唯一标识每个性能数据对应存储设备的指标项，所述指标项包括设备名称、品牌、型号、对象和指标名称，所述时间戳为采集所述原始性能数据的时间信息。
可选的，所述数据处理模块具体用于：对所述性能数据进行清洗和加工处理，提取各存储设备的各项性能指标并对其做单位统一和格式统一处理。
可选的，所述指标项建立模块具体用于：基于所述基础性能数据建立不同维度支持的、可单独配置和互相组合的，且可指导配置视图定制的性能指标项。
经由上述的技术方案可知，与现有技术相比，本发明实施例公开了一种数据管理方法及装置，方法包括：获取所述异构存储系统中各个存储设备的性能数据；对所述性能数据的进行数据处理，得到基础性能数据；基于所述基础性能数据建立不同维度支持的性能指标项；基于所述性能指标项定制化生成并输出性能展示数据，所述性能展示数据包括文字内容和图像内容中的至少一种。该数据管理方法及装置提供了一种统一的、能够灵活方便对异构存储系统中所有存储设备的性能数据进行统一管理和了解的实现，满足了存储设备管理员、应用系统管理员等对异构存储系统的使用需求，极大提高了用户体验和存储设备的运维质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种数据管理方法的流程图；
图2为本发明实施例公开的另一种数据管理方法的流程图；
图3为本发明实施例公开的获取存储设备的性能数据的流程图；
图4为本发明实施例公开的性能视图定制方法流程图；
图5为本发明实施例公开的NAS存储整体性能视图示例图；
图6为本发明实施例公开的应用使用NAS资源性能视图示例图；
图7为本发明实施例公开的数据管理装置的结构示意图。
具体实施方式
为了引用和清楚起见，下文中使用的技术名词的说明、简写或缩写总结如下：
SAN：Storage Area Network，存储区域网络。
NAS：Network Attached Storage，网络附属存储。
异构存储：不同品牌、型号存储设备。
LUN：Logical Unit Number，逻辑单元号。
IOPS：Input/Output per second，每秒钟IO个数。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例公开的一种数据管理方法的流程图，图1所示方法可应用于包含至少两种不同类型的存储设备的异构存储系统，如图1所示，数据管理方法可以包括：
步骤101：获取所述异构存储系统中各个存储设备的性能数据。
所述异构存储系统可以但不限于包括SAN存储、NAS存储和光纤存储交换机中的至少两种。
其中的性能数据可以但不限于包括CPU利用率、读写带宽、IPOS(Input/Outputper second，每秒钟IO个数)、吞吐量、时延等性能数据。
一个示例中，步骤102具体可以包括：采集所述异构存储系统中各个存储设备的原始性能数据；对所述原始性能数据添加数据标识和时间戳，得到性能数据，其中，数据标识用于唯一标识每个性能数据对应存储设备的指标项，所述指标项包括设备名称、品牌、型号、对象和指标名称，所述时间戳为采集所述原始性能数据的时间信息。
步骤102：对所述性能数据进行数据处理，得到基础性能数据。
步骤102具体可以包括：对所述性能数据进行清洗和加工处理，提取各存储设备的各项性能指标并对其做单位统一和格式统一处理。
本申请实施例中，对性能数据进行的数据处理可以但不限制为包括数据单位转换、缺失值修复、按组增加合并值项等，并将处理后得到的基础性能数据存放在时序数据库中，如ElasticSearch(一种开源时序数据库)中，以便于后续其他应用组件可以直接从时序数据库中调用。
步骤103：基于所述基础性能数据建立不同维度支持的性能指标项。
建立各性能指标关联关系模型，为各类型视图快速定制提供参考和指导。具体的，可以基于所述基础性能数据建立不同维度支持的、可单独配置和互相组合的，且可指导配置视图定制的性能指标项。也即，建立各维度视图支持的性能指标项，为定义用户视图及用户自定义视图提供指导。
步骤104：基于所述性能指标项定制化生成并输出性能展示数据，所述性能展示数据包括文字内容和图像内容中的至少一种。
步骤104既是基于用户自身需求和所述性能指标项定制化生成并输出性能展示数据。具体的，通过该步骤，可实现性能视图的查看，根据查看人员的潜在需求，定制各种维度的视图，查看人员根据自己的需求，也可以自定义关心的性能数据，配置性能视图，可以在性能视图上调整需要看的性能时段来查询实时或历史性能视图。也即，通过专用图形展示工具，方便灵活的定制各类型视图。
该数据管理方法及装置提供了一种统一的、能够灵活方便对异构存储系统中所有存储设备的性能数据进行统一管理和了解的实现，管理员可以通过该方法实现快速全局查看所有存储设备性能情况，对于存储资源分布在多台存储设备和有多种类型存储设备的应用系统，能够应用快速统一视图的查看其所用的所有存储资源性能数据，从而满足了存储设备管理员、应用系统管理员等对异构存储系统的使用需求，极大提高了用户体验和存储设备的运维质量。
图2为本发明实施例公开的另一种数据管理方法的流程图，参见图2所示，另一个实现中，数据管理方法可以包括：
步骤201：获取所述异构存储系统中各个存储设备的性能数据。
步骤202：对所述性能数据进行数据处理，得到基础性能数据。
步骤203：基于所述基础性能数据建立不同维度支持的性能指标项。
步骤204：基于所述性能指标项定制化生成并输出性能展示数据，所述性能展示数据包括文字内容和图像内容中的至少一种。
步骤205：基于用户输入操作控制输出不同时段的性能展示数据，所述用户输入操作为选择不同时间段或时间点的输入操作。
通过步骤205的实现，相关管理人员可以实现多天或者选定日期相同时间点的性能数据进行叠加比较等操作。
本发明实施例提供的应用于异构存储系统的性能数据管理方法，通过对各类型异构存储设备性能数据采集；各类异构存储设备性能数据的加工处理；根据配置信息，建立各维度视图指标集；配置和查看性能视图，从而可以实现异构存储设备的性能数据管理，提高用户体验和服务质量。
其中，配置信息可以包括两部分：存储设备相关信息和存储资源分配信息。存储设备相关信息包括设备名，IP地址，序列号，设备型号，厂商，设备位置，起始维保时间，结束维保时间，设备资源总量(如SAN存储的裸容量和可用容量，总初始化LUN容量，各规格LUN容量，前端端口组数等)等；存储资源分配信息包括设备资源分配的服务器名，逻辑资源名(如映射组名，主机组名，卷名等)，服务器IP地址、操作系统信息、HBA卡信息、管理员信息等。
下面将结合一个具体的实施例介绍本申请的不同实现，以便于领域内技术人员能够更好的实施本申请。
一个实施例中，数据管理方法包括：
步骤1、实现各类型异构存储设备性能数据的采集。采集的性能数据会打上数据标识和时间戳。
异构存储设备为各品牌、型号的实体存储设备，包括SAN存储、NAS存储、光纤存储交换机等当中的一种或多种，应当理解的是此处对存储设备的举例仅为方便理解，不用于限定本发明。
在本实施例中，数据标识信息用于唯一标识每个性能数据对应异构设备的指标项，例如SAN存储的前端端口、LUN(Logical Unit Number，逻辑单元号)组等，都属于采集对象，对象下面有各自的指标。
本实施例中，实现异构存储设备性能数据采集，可以屏蔽品牌和型号差异，支持新异构存储设备的接入。
步骤2、实现采集的性能数据的加工处理。包括但不限于数据单位转换、缺失值修复、按组增加合并值项等，按组合并指增加配置的逻辑组性能指标，将配置中组成逻辑组的基本单元相关指标性能数据求和或求平均数，作为逻辑指标相应性能数据，例如SAN存储前端端口组是一个逻辑概念，由多个物理前端端口组成，它的IOPS和吞吐等性能数据为组成端口组的各物理端口相同时间点相应数据和，它的时延等性能数据为组成端口组的各物理端口相同时间点相应数据平均数。
步骤3、根据规则，实现各维度视图可查看的性能指标集，指导相应人员定制关心的视图。
例如：存储设备维度：提供采集了哪些村存储设备性能数据，各类型存储设备采集了哪些指标集，这样就可以制定相应存储设备，关心指标集的性能视图；应用管理员维度：某应用使用了哪些存储设备的哪些存储资源，对应存储设备采集了哪些指标集，对应存储资源采集了哪些指标集，从而指导开发应用管理员关心的视图。
本实施例中，基于配置信息和时序数据库中采集的性能指标集，按照相应规则，建立各维度人员可能关心的指标集信息，如存储管理员，可以看到存储设备和存储资源池等维度的性能指标集，应用管理员可以看到对应应用使用存储资源及存储资源所在设备的性能指标集，相应人员可以快速根据指标集定制其关系的性能视图。
步骤4、相应组件提供图形定制和展示功能，基于grafana等图形展示工具，定制各种管理员关注的性能视图，从而实现异构存储系统性能数据的随需方便共享，提高运维效率和用户满意度。
上述实施例中，关于步骤1的具体实现，可参见图3，为本发明实施例公开的获取存储设备的性能数据的流程图，参见图3所示，获取性能数据可以包括：
步骤301：针对各存储设备厂商提供的性能数据采集接口(如SNMP，CLI接口，RESTful接口等)，可每分钟采集一次各存储性能数据并带上时间戳。
即，对性能数据的采集可以周期性的进行，当然，除了1分钟，采集周期也可以是其他时长，如30秒或90秒。
步骤302：对采集的信息进行解析，提取性能数据，给性能数据打上标识(标识至少包括设备名，厂商，型号，性能数据所属对象，性能指标名等)和时间戳。
图4为本发明实施例公开的性能视图定制方法流程图，图4所示方法以使用grafana作为视图展示工具为例，结合图4所示，可以包括：
步骤401：登录Grafana页面。
步骤402：在Grafana页面设定性能视图数据源及配置性能数据库在时序数据库中的表名。
步骤403：选择展示面板类型。如折线图，表等。
步骤404：在展示面板中设置展示对象、展示指标和指标值的单位。
图5和图6为本发明实施例公开的定制视图展示的举例图，其中图5从时延、读带宽和写带宽3个维度展示了相应指标值最高的10个NAS存储控制器，其中图6展示了一个应用系统使用所有NAS卷的读带宽、写带宽、时延和OPS从高到底排序的性能视图。
通过本实施例公开的数据管理方法，将异构存储系统性能数据视图定制化，使用更灵活，可以满足相应人员自身关注需求，同时异构存储系统性能视图查看更高效，一次定制，随时查看和修改。实现中，可以实现存储整体性能视图展示，快速获取所有存储设备的实时和历史性能情况及各存储设备繁忙程度排序，也可以实现跨存储设备和不同类型设备的应用维度存储资源性能视图。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。
图7为本发明实施例公开的数据管理装置的结构示意图，图7所示数据管理装置应用于包含至少两种不同类型的存储设备的异构存储系统，结合图7所示，数据管理装置70可以包括：
数据获取模块701，用于获取所述异构存储系统中各个存储设备的性能数据。
数据处理模块702，用于对所述性能数据的进行数据处理，得到基础性能数据；
指标项建立模块703，用于基于所述基础性能数据建立不同维度支持的性能指标项。
数据展示模块704，用于基于所述性能指标项定制化生成并输出性能展示数据，所述性能展示数据包括文字内容和图像内容中的至少一种。
该数据管理装置及装置提供了一种统一的、能够灵活方便对异构存储系统中所有存储设备的性能数据进行统一管理和了解的实现，管理员可以通过该方法实现快速全局查看所有存储设备性能情况，满足了存储设备管理员、应用系统管理员等对异构存储系统的使用需求，极大提高了用户体验和存储设备的运维质量。
上述实施例中，所述数据获取模块701可以包括：数据采集模块，用于采集所述异构存储系统中各个存储设备的原始性能数据；信息添加模块，用于对所述原始性能数据添加数据标识和时间戳，得到性能数据，其中，数据标识用于唯一标识每个性能数据对应存储设备的指标项，所述指标项包括设备名称、品牌、型号、对象和指标名称，所述时间戳为采集所述原始性能数据的时间信息。
数据处理模块702可以用于：对所述性能数据进行清洗和加工处理，提取各存储设备的各项性能指标并对其做单位统一和格式统一处理。
指标项建立模块703可以用于：基于所述基础性能数据建立不同维度支持的、可单独配置和互相组合的，且可指导配置视图定制的性能指标项。
数据展示模块704可以用于：基于用户自身需求和所述性能指标项定制化生成并输出性能展示数据。
其他实现中，数据管理装置还可以包括数据操作模块，用于基于用户输入操作控制输出不同时段的性能展示数据，所述用户输入操作为选择不同时间段或时间点的输入操作。
上述数据管理装置及各个模块的具体实现可参见方法实施例中相关部分的内容介绍，再次不再重复赘述。
上述实施例中的所述的任意一种数据管理装置包括处理器和存储器，上述实施例中的数据获取模块、数据处理模块、指标项建立模块、数据展示模块、数据操作模块等均作为程序模块存储在存储器中，由处理器执行存储在所述存储器中的上述程序模块来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序模块。内核可以设置一个或多个，通过调整内核参数来实现回访数据的处理。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述实施例中所述的数据管理方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述实施例中所述的数据管理方法。
进一步，本实施例提供了一种电子设备，包括处理器以及存储器。其中存储器用于存储所述处理器的可执行指令，所述处理器配置为经由执行所述可执行指令来执行上述实施例中所述的数据管理方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据管理方法，应用于包含至少两种不同类型的存储设备的异构存储系统，其特征在于，包括：
获取所述异构存储系统中各个存储设备的性能数据；
对所述性能数据进行数据处理，得到基础性能数据；
基于所述基础性能数据建立不同维度支持的性能指标项；
基于所述性能指标项定制化生成并输出性能展示数据，所述性能展示数据包括文字内容和图像内容中的至少一种。
2.根据权利要求1所述的数据管理方法，其特征在于，所述获取所述异构存储系统中各个存储设备的性能数据，包括：
采集所述异构存储系统中各个存储设备的原始性能数据；
对所述原始性能数据添加数据标识和时间戳，得到性能数据，其中，数据标识用于唯一标识每个性能数据对应存储设备的指标项，所述指标项包括设备名称、品牌、型号、对象和指标名称，所述时间戳为采集所述原始性能数据的时间信息。
3.根据权利要求1所述的数据管理方法，所述对所述性能数据进行数据处理，得到基础性能数据，包括：
对所述性能数据进行清洗和加工处理，提取各存储设备的各项性能指标并对其做单位统一和格式统一处理。
4.根据权利要求1所述的数据管理方法，所述基于所述基础性能数据建立不同维度支持的性能指标项，包括：
基于所述基础性能数据建立不同维度支持的、可单独配置和互相组合的，且可指导配置视图定制的性能指标项。
5.根据权利要求1所述的数据管理方法，其特征在于，所述基于所述性能指标项定制化生成并输出性能展示数据，包括：
基于用户自身需求和所述性能指标项定制化生成并输出性能展示数据。
6.根据权利要求1所述的数据管理方法，其特征在于，在所述性能指标项定制化生成并输出性能展示数据后，还包括：
基于用户输入操作控制输出不同时段的性能展示数据，所述用户输入操作为选择不同时间段或时间点的输入操作。
7.一种数据管理装置，应用于包含至少两种不同类型的存储设备的异构存储系统，其特征在于，包括：
数据获取模块，用于获取所述异构存储系统中各个存储设备的性能数据；
数据处理模块，用于对所述性能数据的进行数据处理，得到基础性能数据；
指标项建立模块，用于基于所述基础性能数据建立不同维度支持的性能指标项；
数据展示模块，用于基于所述性能指标项定制化生成并输出性能展示数据，所述性能展示数据包括文字内容和图像内容中的至少一种。
8.根据权利要求7所述的数据管理装置，其特征在于，所述数据获取模块包括：
数据采集模块，用于采集所述异构存储系统中各个存储设备的原始性能数据；
信息添加模块，用于对所述原始性能数据添加数据标识和时间戳，得到性能数据，其中，数据标识用于唯一标识每个性能数据对应存储设备的指标项，所述指标项包括设备名称、品牌、型号、对象和指标名称，所述时间戳为采集所述原始性能数据的时间信息。
9.根据权利要求7所述的数据管理装置，其特征在于，所述数据处理模块具体用于：对所述性能数据进行清洗和加工处理，提取各存储设备的各项性能指标并对其做单位统一和格式统一处理。
10.根据权利要求7所述的数据管理装置，其特征在于，所述指标项建立模块具体用于：基于所述基础性能数据建立不同维度支持的、可单独配置和互相组合的，且可指导配置视图定制的性能指标项。
CN202110188855.1A 2021-02-19 2021-02-19 一种数据管理方法及装置 Pending CN113641301A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110188855.1A CN113641301A (zh) 2021-02-19 2021-02-19 一种数据管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110188855.1A CN113641301A (zh) 2021-02-19 2021-02-19 一种数据管理方法及装置

Publications (1)

Publication Number Publication Date
CN113641301A true CN113641301A (zh) 2021-11-12

Family

ID=78415679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110188855.1A Pending CN113641301A (zh) 2021-02-19 2021-02-19 一种数据管理方法及装置

Country Status (1)

Country Link
CN (1) CN113641301A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230403324A1 (en) * 2022-05-26 2023-12-14 Hitachi, Ltd. Data sharing system, data sharing method and non-transitory computer-readable recording medium for data sharing program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080140623A1 (en) * 2006-12-11 2008-06-12 Microsoft Corporation Recursive reporting via a spreadsheet
US20080184130A1 (en) * 2007-01-30 2008-07-31 Microsoft Corporation Service Architecture Based Metric Views
CN105024824A (zh) * 2014-11-05 2015-11-04 祝国龙 基于非对称加密算法的可信标签的生成与验证方法及系统
CN110245158A (zh) * 2019-06-10 2019-09-17 上海理想信息产业（集团）有限公司 一种基于Flink流计算技术的多源异构数据实时处理系统及方法
CN110618983A (zh) * 2019-08-15 2019-12-27 复旦大学 基于json文档结构的工业大数据多维分析与可视化方法
CN110990235A (zh) * 2019-09-06 2020-04-10 深圳平安通信科技有限公司 异构存储设备的性能数据管理方法、装置、设备及介质
CN111401014A (zh) * 2020-03-12 2020-07-10 山东浪潮通软信息科技有限公司 一种基于报表的多指标多维度分析方法、系统及构建方法
CN112306801A (zh) * 2020-10-28 2021-02-02 联通(广东)产业互联网有限公司 一种基于异构数据源的监控数据处理方法、系统及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080140623A1 (en) * 2006-12-11 2008-06-12 Microsoft Corporation Recursive reporting via a spreadsheet
US20080184130A1 (en) * 2007-01-30 2008-07-31 Microsoft Corporation Service Architecture Based Metric Views
CN105024824A (zh) * 2014-11-05 2015-11-04 祝国龙 基于非对称加密算法的可信标签的生成与验证方法及系统
CN110245158A (zh) * 2019-06-10 2019-09-17 上海理想信息产业（集团）有限公司 一种基于Flink流计算技术的多源异构数据实时处理系统及方法
CN110618983A (zh) * 2019-08-15 2019-12-27 复旦大学 基于json文档结构的工业大数据多维分析与可视化方法
CN110990235A (zh) * 2019-09-06 2020-04-10 深圳平安通信科技有限公司 异构存储设备的性能数据管理方法、装置、设备及介质
CN111401014A (zh) * 2020-03-12 2020-07-10 山东浪潮通软信息科技有限公司 一种基于报表的多指标多维度分析方法、系统及构建方法
CN112306801A (zh) * 2020-10-28 2021-02-02 联通(广东)产业互联网有限公司 一种基于异构数据源的监控数据处理方法、系统及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230403324A1 (en) * 2022-05-26 2023-12-14 Hitachi, Ltd. Data sharing system, data sharing method and non-transitory computer-readable recording medium for data sharing program
US11876860B2 (en) * 2022-05-26 2024-01-16 Hitachi, Ltd. Data sharing system, data sharing method and non-transitory computer-readable recording medium for data sharing program

Similar Documents

Publication Publication Date Title
US10515000B2 (en) Systems and methods for performance testing cloud applications from multiple different geographic locations
CN110245078B (zh) 一种软件的压力测试方法、装置、存储介质和服务器
US9438495B2 (en) Visualization of resources in a data center
US9811445B2 (en) Methods and systems for the use of synthetic users to performance test cloud applications
US10116534B2 (en) Systems and methods for WebSphere MQ performance metrics analysis
US9600389B2 (en) Generating performance and capacity statistics
CN109407984B (zh) 一种存储系统性能监测方法、装置和设备
JP2006048702A (ja) トランザクションベースの性能モデルの自動構成
JP6607963B2 (ja) 集計されたメトリクスの測定値のデータストア
CN108009010B (zh) 瘦客户端的管理装置、系统、方法、电子设备、存储介质
US20150317336A1 (en) Data reconstruction
CN112506969A (zh) 一种bmc地址查询方法、系统、设备及可读存储介质
US11599510B2 (en) Methods, systems, and computer readable mediums for performing metadata-driven data collection
CN113641301A (zh) 一种数据管理方法及装置
CN111400332A (zh) 项目进度的监控方法及装置
CN114153688A (zh) 基于云平台的分布式监控方法及装置
US20190097887A1 (en) Modifying distributed application based on cloud diagnostic data
CN112187509A (zh) 多架构云平台执行日志管理方法、系统、终端及存储介质
CN114168624B (zh) 数据分析方法、计算设备及存储介质
JP2018067241A (ja) 動作ログ生成装置、動作ログ生成システム、動作ログ生成方法、及び、動作ログ生成プログラム
EP4209933A1 (en) Data processing method and apparatus, and electronic device and storage medium
US11775910B2 (en) Applied computer technology for high efficiency value stream management and mapping and process tracking
US20040216131A1 (en) Management apparatus
US20140025788A1 (en) Metrics for network configuration items
CN113961610A (zh) 一种数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination