CN110990235A - 异构存储设备的性能数据管理方法、装置、设备及介质 - Google Patents

异构存储设备的性能数据管理方法、装置、设备及介质 Download PDF

Info

Publication number
CN110990235A
CN110990235A CN201910841128.3A CN201910841128A CN110990235A CN 110990235 A CN110990235 A CN 110990235A CN 201910841128 A CN201910841128 A CN 201910841128A CN 110990235 A CN110990235 A CN 110990235A
Authority
CN
China
Prior art keywords
performance
performance data
analysis
identification information
heterogeneous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910841128.3A
Other languages
English (en)
Inventor
丁振邦
叶珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ping An Communication Technology Co Ltd
Original Assignee
Shenzhen Ping An Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ping An Communication Technology Co Ltd filed Critical Shenzhen Ping An Communication Technology Co Ltd
Priority to CN201910841128.3A priority Critical patent/CN110990235A/zh
Publication of CN110990235A publication Critical patent/CN110990235A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment

Abstract

本申请实施例属于人工智能技术领域,涉及一种应用于异构存储设备的性能数据管理方法,包括:接收用户发送的性能查询请求,所述性能查询请求至少携带有设备标识信息以及查询时间信息;响应所述性能查询请求,在性能数据库中获取与所述设备标识信息以及查询时间信息相对应的对象性能数据;在预设的类型分析集合中获取与所述设备标识信息相对应的分析方式;根据所述分析方式对所述对象性能数据进行分析操作,获取分析结果;向所述用户输出所述分析结果。本申请还提供一种应用于异构存储设备的性能数据管理装置、计算机设备及存储介质。本申请可实现对异构存储产品的性能分析,具有良好的兼容性,有效提高用户的使用体验。

Description

异构存储设备的性能数据管理方法、装置、设备及介质
技术领域
本申请涉及人工智能技术领域,尤其涉及应用于异构存储设备的性能数据管理方法、装置、计算机设备及存储介质。
背景技术
随着大数据产业的快速发展,高性能的存储产品层出不穷,性能数据是分析该存储产品性能瓶颈的主要评价因数,根据性能数据提供性能优化的方案,合理设置配置,使系统资源使用达到最大的平衡。
现有一种性能分析的方案,通过长期监控和收集存储产品的使用状态,并管理收集到的性能数据,根据该性能数据分析该存储产品的性能。
然而,传统的性能分析方法普遍不智能,该性能分析方法所使用的性能分析和查询软件均为存储产品厂商提供,即一套性能分析和查询软件仅能分析与其对应的存储产品,无法实现对异构存储产品的性能分析,兼容性较低,极大影响用户的使用体验。
发明内容
本申请实施例的目的在于提出一种应用于异构存储设备的性能数据管理方法、装置、计算机设备及存储介质,旨在解决现有的性能分析方法无法实现对异构存储产品的性能分析,兼容性较低,极大影响用户使用体验的问题。
为了解决上述技术问题,本申请实施例提供一种应用于异构存储设备的性能数据管理方法,采用了如下所述的技术方案:
接收用户发送的性能查询请求,所述性能查询请求至少携带有设备标识信息以及查询时间信息;
响应所述性能查询请求,在性能数据库中获取与所述设备标识信息以及查询时间信息相对应的对象性能数据;
在预设的类型分析集合中获取与所述设备标识信息相对应的分析方式;
根据所述分析方式对所述对象性能数据进行分析操作,获取分析结果;
向所述用户输出所述分析结果
为了解决上述技术问题,本申请实施例还提供一种应用于异构存储设备的性能数据管理装置,采用了如下所述的技术方案:
请求接收模块,用于接收用户发送的性能查询请求,所述性能查询请求至少携带有设备标识信息以及查询时间信息;
性能获取模块,用于响应所述性能查询请求,在所述性能数据库中获取与所述设备标识信息以及查询时间信息相对应的对象性能数据;
方式获取模块,用于在预设的类型分析集合中获取与所述设备标识信息相对应的分析方式;
结果获取模块,用于根据所述分析方式对所述对象性能数据进行分析,获取分析结果;以及
结果输出模块,用于输出所述分析结果。
为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:
包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如上述应用于异构存储设备的性能数据管理方法的步骤。
为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述应用于异构存储设备的性能数据管理方法的步骤。
与现有技术相比,本申请实施例主要有以下有益效果:
本发明申请提供了一种应用于异构存储设备的性能数据管理方法,接收用户发送的性能查询请求,所述性能查询请求至少携带有设备标识信息以及查询时间信息;响应所述性能查询请求,在性能数据库中获取与所述设备标识信息以及查询时间信息相对应的对象性能数据;在预设的类型分析集合中获取与所述设备标识信息相对应的分析方式;根据所述分析方式对所述对象性能数据进行分析操作,获取分析结果;向所述用户输出所述分析结果。通过在类型分析集合中获取与用户所查询的存储设备相对应的分析方式对该存储设备进行性能分析,从而实现对异构存储产品的性能分析,具有良好的兼容性,有效提高用户的使用体验。
附图说明
为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的应用于异构存储设备的性能数据管理方法的实现流程图;
图2是本发明实施例一提供的采集性能数据的实现流程图;
图3是图2中步骤S201的实现流程图;
图4是图2中步骤S202的实现流程图;
图5是本发明实施例一提供的获取分析结果的实现流程图;
图6是图5中对I OPS和throughout的举例示意图;
图7是对图6中I OPS和throughout的拆分示意图;
图8是本发明实施例一提供的输出分析结果的实现流程图;
图9是本发明实施例二提供的应用于异构存储设备的性能数据管理装置的结构示意图;
图10是本发明实施例二提供的结果获取模块的结构示意图;
图11是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本发明实施例提供的应用于异构存储设备的性能数据管理方法,通过在类型分析集合中获取与用户所查询的存储设备相对应的分析方式对该存储设备进行性能分析,从而实现对异构存储产品的性能分析,具有良好的兼容性,有效提高用户的使用体验。
实施例一
图1示出了本发明实施例一提供的应用于异构存储设备的性能数据管理方法的实现流程图,为了便于说明,仅示出与本发明相关的部分。
在步骤S101中,接收用户发送的性能查询请求,所述性能查询请求至少携带有设备标识信息以及查询时间信息。
在本发明实施例中,异构存储设备指的是采用新型水平层叠模式,整合一个或者多个提供存储资源及服务的各种品牌、型号、接口的实体设备,该异构存储设备具体可以包括存储设备、NAS卷组、SAN卷组、数据库中的一种或多种,应当理解的是,此处对异构存储设备的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,设备标识信息用于唯一标识该异构存储设备中的实体设备,可以为是一个或者多个标识信息,该设备标识信息可以是实体设备的名称,作为示例,例如存储设备(CCSB)、NAS卷组(NAS)、SAN卷组(SAN)、数据库(SJK)等;也可以是编号信息,作为示例,例如存储设备(0001)、NAS卷组(0002)、SAN卷组(0003)、数据库(0004)等;还可以是实体设备名称和编号信息的结合,作为示例,例如存储设备(CCSB0001)、NAS卷组(NAS0002)、SAN卷组(SAN0003)、数据库(SJK0004)等,应当理解,此处对设备标识信息的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,查询时间信息指的是用户需要对该异构存储设备进行性能分析的具体时间段,作为示例,例如今天9:00至12:00,在例如6月10号至6月15号等等,应当理解的是,此处对查询时间信息的举例仅为方便理解,不用于限定本发明。
在步骤S102中,响应所述性能查询请求,在性能数据库中获取与所述设备标识信息以及查询时间信息相对应的对象性能数据。
在本发明实施例中,性能数据库用于存储性能监控器对异构存储设备中各个实体设备实时采集的配置信息和性能数据,该性能数据库建立有实体设备标识信息与配置信息、性能数据一一对应的关系,并根据实时采集的时间序列进行有序存储,数据库保存有所有时间段的数据,因此数据库中保存的应用性能数据较为全面,对该实体设备进行性能监视,以便对实体设备进行各个时间段的性能查询,分析产品的性能情况,实时跟踪产品的性能,有效提高分析结果的准确性以及全面性。
在本发明实施例中,性能数据库可以采用Opentsdb(开源时序数据库)等专门为存储时间序列而设计的可存储海量数据的数据库,来实现对大量所述性能数据的时间序列的存储。
在本发明实施例中,配置信息包括所述存储产品所在客户端的配置情况,如主机操作系统信息、硬件环境等,应当理解的是,此处对配置信息的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,性能数据包括存储产品的多种性能指标,如IO流量、吞吐量、CPU和内存的使用情况信息等等,应当理解的是,此处对性能数据的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,对象性能数据指的是异构存储设备中具体某一个实体设备的性能数据信息,作为示例,例如IO流量、吞吐量、CPU使用详情、内存使用情况等,应当理解,此处对对象性能数据的举例仅为方便理解,不用于限定本发明。
在步骤S103中,在预设的类型分析集合中获取与所述设备标识信息相对应的分析方式。
在本发明实施例中,类型分析集合用于存储不同类型的异构存储设备相对应的数据数据分析方式,以计算该异构存储设备的各种性能指标。
在本发明实施例中,分析方式指的是对异构存储设备中各个不同的实体设备性能数据所预先设置的数据处理方式,作为示例,例如叠加IOPS和throughput,通过IOPS和throughput计算blocks ize和queue等,应当理解,此处对分析方式的举例仅为方便理解,不用于限定本发明。
在步骤S104中,根据所述分析方式对所述对象性能数据进行分析操作,获取分析结果。
在本发明实施例中,分析结果具体包括存储产品的基本情况、配置信息和性能分析结果,作为示例,例如存储产品的型号、内存大小、内存使用率、CPU使用率以及具体的性能分析结果。
在步骤S105中,向所述用户输出所述分析结果。
在本发明实施例中,提供了一种应用于异构存储设备的性能数据管理方法,接收用户发送的性能查询请求,所述性能查询请求至少携带有设备标识信息以及查询时间信息;响应所述性能查询请求,在性能数据库中获取与所述设备标识信息以及查询时间信息相对应的对象性能数据;在预设的类型分析集合中获取与所述设备标识信息相对应的分析方式;根据所述分析方式对所述对象性能数据进行分析操作,获取分析结果;向所述用户输出所述分析结果。通过在类型分析集合中获取与用户所查询的存储设备相对应的分析方式对该存储设备进行性能分析,从而实现对异构存储产品的性能分析,具有良好的兼容性,有效提高用户的使用体验。
继续参考图2,示出了本发明实施例一提供的采集性能数据的实现流程图,为了便于说明,仅示出与本发明相关的部分。
作为实施例一的一些可选实现方式中,在上述步骤S101之前,还包括步骤S201以及步骤S202。
在步骤S201中,实时采集异构设备的原始性能数据,所述原始性能数据至少携带有所述设备标识信息以及采集时间信息。
在步骤S202中,将所述原始性能数据存储至与所述设备标识信息相对应的所述性能数据库。
在本发明实施例中,性能数据库会根据不同的实体存储设备分别设立存储区域,该性能数据库可以是采用HBase技术进行数据存储,HBase是一个分布式的、面向列的开源数据库,通过基于HBase技术的Hadoop HDFS作为批处理运算之后的性能数据的文件存储系统,其包括大规模的文件存储集群单元,可对海量数据进行分区或者分库存储。
在本发明实施例中,通过将原始性能数据存储在各自实体存储设备相对应的存储区域,从而减小数据库的存储压力,同时,提高数据库管理数据的效率。
图3是图2中步骤S201的实现流程图,为了便于说明,仅示出与本发明相关的部分。
作为本发明实施例一的一些可选实现方式中,上述步骤S201具体包括:步骤S301、步骤S302以及步骤S303。
在步骤S301中,获取当前采集对象的所述设备标识信息。
在本发明实施例中,当前采集对象指的是性能监控器当前监控的对象。
在步骤S302中,通过预设的采集规则采集与所述设备标识信息相对应的专项性能数据,并记录当前的采集时间信息。
在本发明实施例中,采集规则可以按照预先设定的数据采集方式,对采集对象进行专项性能数据采集,该采集规则可以但不包括:针对存储设备采集的性能数据为IO流量、吞吐量、CPU使用详情、内存使用情况等;针对SAN卷组和NAS卷组采集的性能数据为IOPS、throughout(吞吐量)、CPU使用率、内存使用情况、write pending等;针对数据库采集的性能数据为IO流量、throughout(吞吐量)、CPU使用率、端口数据等,应当理解的是,此处对采集规则的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,专项性能数据用于限定具体某一个实体设备的性能数据,使得异构存储设备中各个实体设备之间的性能数据可以有效区分,避免数据混淆,提高数据的准确性。
在步骤S303中,将所述设备标识信息、专项性能数据以及所述采集时间信息作为所述原始性能数据。
在本发明实施例中,当性能监控器采集到与设备标识信息相对应的实体存储设备的性能数据后,建立该设备标识信息、专项性能数据以及采集时间信息的对应关系,并存储于该性能数据库中。
在本发明实施例中,通过限定同种实体存储设备的采集类型,从而实现对异构存储产品的性能数据集中统一存放,便于管理以及数据处理,提高系统的处理效率。
图4是图2中步骤S202的实现流程图,为了便于说明,仅示出与本发明相关的部分。
作为本发明实施例一的一些可选实现方式中,上述步骤S202具体包括:步骤S401以及步骤S402。
在步骤S401中,获取与所述设备标识信息相对应的所述数据处理模型,对所述性能数据进行批处理运算。
在本发明实施例中,性能数据库分别设置有与设备标识信息相对应的数据处理模型、存储格式、所述分析方式以及性能分析模型。
在本发明实施例中,数据处理模型是基于HBase技术的Hadoop MapReduce,该数据处理模型用于对海量的大数据进行批处理运算,数据处理模型可以按照预先设定的数据处理方式,将获取到的原始性能数据进行初步处理。该初步处理可以是将原始性能数据转换为更接近于用户呈现要求的中间数据的数据处理操作,例如,将原始性能数据转换为粒度更大的数据、对原始性能数据作单位换算等操作,应当理解的是,此处对数据处理操作的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,存储格式用于限定异构存储设备中同类型实体存储设备的性能数据格式。
在本发明实施例中,系统预设有性能分析模型,用于对存储产品的性能数据和配置信息进行处理,计算性能分析的各种指标。具体地,针对每种存储产品,预设多种数据处理方式,用于处理对所述存储产品的各种性能数据分析。例如,对于数据库采集的IO流量数据,通过数据的输入量(写次数)、输出量(读次数)计算数据库的IOPS、read-IOPS、write-IOPS和total-IOPS。通过CPU使用详情、内存使用情况等统计CPU的使用率、内存使用率等。
在步骤S402中,通过所述存储格式对进行批处理运算之后的性能数据进行分布式存储。
在本发明实施例中,通过将异构存储设备中各厂商的存储设备性能数据按照统一格式进行存储,从而有效消除产品之间的壁垒,有效提高系统的兼容性,提高用户的使用体验。
图5示出了本发明实施例一提供的获取分析结果的实现流程图,为了便于说明,仅示出与本发明相关的部分。
作为本发明实施例一的一些可选实现方式中,上述步骤S103以及步骤S104中具体包括:步骤S501以及步骤S502。
在步骤S501中,当所述异构设备为存储设备时,将所述对象性能数据作为所述分析结果。
在步骤S502中,当所述异构设备为NAS卷组、SAN卷组或者数据库中的一种时,叠加所述对象性能数据并通过所述性能分析模型计算块大小以及队列信息,将所述块大小以及队列信息作为所述分析结果。
在实际应用中,如图6及图7所示,对于IOPS指标,可统计存储产品的读写情况,将其拆分转换成read-IOPS、write-IOPS和total-IOPS等指标。其中,total-IOPS为read-IOPS和write-IOPS之和。对于throughout指标,对应拆分成read-throughout、write-throughout和total-throughout等指标。
在实际应用中,对于read hit、write hit、read response、write response、readIO Block、write IO Block、read queue、write queue等指标可分析每一个时间序列的最大值、最小值以及平均值等产分成min-X、max-X、avg-X,其中,X为具体指标名称,如min-read hit、max-read hit和avg-read hit。
在本发明实施例中,通过将检测到的性能数据拆分具体的基础数据,从而可以将该基础数据通过同一个波形图进行展示,以便用户直观地观察在目标时间段内存储产品的性能情况。
图8示出了本发明实施例一提供的输出分析结果的实现流程图,为了便于说明,仅示出与本发明相关的部分。
作为本发明实施例一的一些可选实现方式中,上述步骤S105具体包括:步骤S601以及步骤S602。
在步骤S601中,获取与所述设备标识信息相对应的显示方式。
在本发明实施例中,显示方式可以是将多个实体存储设备的同一个时间段的性能数据通过同一个波形图进行展示;也可以是将一个实体存储设备的不同性能数据通过同一个波形图进行展示。
在步骤S602中,根据所述显示方式将所述分析结果按照同一时间轴显示在一个或者多个波形图中。
在本发明实施例中,通过绘制波形图,直观的展现目标时间段的性能数据的变化。
综上所述,本发明申请提供了一种应用于异构存储设备的性能数据管理方法,接收用户发送的性能查询请求,所述性能查询请求至少携带有设备标识信息以及查询时间信息;响应所述性能查询请求,在性能数据库中获取与所述设备标识信息以及查询时间信息相对应的对象性能数据;在预设的类型分析集合中获取与所述设备标识信息相对应的分析方式;根据所述分析方式对所述对象性能数据进行分析操作,获取分析结果;向所述用户输出所述分析结果。通过在类型分析集合中获取与用户所查询的存储设备相对应的分析方式对该存储设备进行性能分析,从而实现对异构存储产品的性能分析,具有良好的兼容性,有效提高用户的使用体验。同时,通过将原始性能数据存储在各自实体存储设备相对应的存储区域,从而减小数据库的存储压力,提高数据库管理数据的效率;通过限定同种实体存储设备的采集类型,从而实现对异构存储产品的性能数据集中统一存放,便于管理以及数据处理,提高系统的处理效率;通过将异构存储设备中各厂商的存储设备性能数据按照统一格式进行存储,从而有效消除产品之间的壁垒,有效提高系统的兼容性,提高用户的使用体验;通过将检测到的性能数据拆分具体的基础数据,从而可以将该基础数据通过同一个波形图进行展示,以便用户直观地观察在目标时间段内存储产品的性能情况;通过绘制波形图,直观的展现目标时间段的性能数据的变化。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
进一步参考图9,作为对上述图1所示方法的实现,本申请提供了一种应用于异构存储设备的性能数据管理装置的一个实施例,该装置实施例与图1所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图9所示,本实施例所述的应用于异构存储设备的性能数据管理装置100包括:请求接收模块101、性能获取模块102、方式获取模块103、结果获取模块104以及结果输出模块105。其中:
请求接收模块101,用于接收用户发送的性能查询请求,所述性能查询请求至少携带有设备标识信息以及查询时间信息。
性能获取模块102,用于响应所述性能查询请求,在所述性能数据库中获取与所述设备标识信息以及查询时间信息相对应的对象性能数据。
方式获取模块103,用于在预设的类型分析集合中获取与所述设备标识信息相对应的分析方式。
结果获取模块104,用于根据所述分析方式对所述对象性能数据进行分析,获取分析结果。
结果输出模块105,用于输出所述分析结果。
在本发明实施例中,异构存储设备指的是采用新型水平层叠模式,整合一个或者多个提供存储资源及服务的各种品牌、型号、接口的实体设备,该异构存储设备具体可以包括存储设备、NAS卷组、SAN卷组、数据库中的一种或多种,应当理解的是,此处对异构存储设备的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,设备标识信息用于唯一标识该异构存储设备中的实体设备,可以为是一个或者多个标识信息,该设备标识信息可以是实体设备的名称,作为示例,例如存储设备(CCSB)、NAS卷组(NAS)、SAN卷组(SAN)、数据库(SJK)等;也可以是编号信息,作为示例,例如存储设备(0001)、NAS卷组(0002)、SAN卷组(0003)、数据库(0004)等;还可以是实体设备名称和编号信息的结合,作为示例,例如存储设备(CCSB0001)、NAS卷组(NAS0002)、SAN卷组(SAN0003)、数据库(SJK0004)等,应当理解,此处对设备标识信息的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,查询时间信息指的是用户需要对该异构存储设备进行性能分析的具体时间段,作为示例,例如今天9:00至12:00,在例如6月10号至6月15号等等,应当理解的是,此处对查询时间信息的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,性能数据库用于存储性能监控器对异构存储设备中各个实体设备实时采集的配置信息和性能数据,该性能数据库建立有实体设备标识信息与配置信息、性能数据一一对应的关系,并根据实时采集的时间序列进行有序存储,数据库保存有所有时间段的数据,因此数据库中保存的应用性能数据较为全面,对该实体设备进行性能监视,以便对实体设备进行各个时间段的性能查询,分析产品的性能情况,实时跟踪产品的性能,有效提高分析结果的准确性以及全面性。
在本发明实施例中,性能数据库可以采用Opentsdb(开源时序数据库)等专门为存储时间序列而设计的可存储海量数据的数据库,来实现对大量所述性能数据的时间序列的存储。
在本发明实施例中,配置信息包括所述存储产品所在客户端的配置情况,如主机操作系统信息、硬件环境等,应当理解的是,此处对配置信息的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,性能数据包括存储产品的多种性能指标,如IO流量、吞吐量、CPU和内存的使用情况信息等等,应当理解的是,此处对性能数据的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,对象性能数据指的是异构存储设备中具体某一个实体设备的性能数据信息,作为示例,例如IO流量、吞吐量、CPU使用详情、内存使用情况等,应当理解,此处对对象性能数据的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,类型分析集合用于存储不同类型的异构存储设备相对应的数据数据分析方式,以计算该异构存储设备的各种性能指标。
在本发明实施例中,分析方式指的是对异构存储设备中各个不同的实体设备性能数据所预先设置的数据处理方式,作为示例,例如叠加IOPS和throughput,通过IOPS和throughput计算blocksize和queue等,应当理解,此处对分析方式的举例仅为方便理解,不用于限定本发明。
在本发明实施例中,分析结果具体包括存储产品的基本情况、配置信息和性能分析结果,作为示例,例如存储产品的型号、内存大小、内存使用率、CPU使用率以及具体的性能分析结果。
在本发明实施例中,提供了一种应用于异构存储设备的性能数据管理装置,接收用户发送的性能查询请求,所述性能查询请求至少携带有设备标识信息以及查询时间信息;响应所述性能查询请求,在性能数据库中获取与所述设备标识信息以及查询时间信息相对应的对象性能数据;在预设的类型分析集合中获取与所述设备标识信息相对应的分析方式;根据所述分析方式对所述对象性能数据进行分析操作,获取分析结果;向所述用户输出所述分析结果。通过在类型分析集合中获取与用户所查询的存储设备相对应的分析方式对该存储设备进行性能分析,从而实现对异构存储产品的性能分析,具有良好的兼容性,有效提高用户的使用体验。
继续参考图10,示出了本发明实施例二提供的结果获取模块的结构示意图,为了便于说明,仅示出与本发明相关的部分。
上述结果获取模块104包括:第一结果获取子模块1041以及第二结果获取子模块1042。其中:
第一结果获取子模块1041,用于当所述异构设备为存储设备时,将所述对象性能数据作为所述分析结果。
第二结果获取子模块1042,用于当所述异构设备为NAS卷组、SAN卷组或者数据库中的一种时,叠加所述对象性能数据并通过所述性能分析模型计算块大小以及队列信息,将所述块大小以及队列信息作为所述分析结果。
在实际应用中,如图6及图7所示,对于IOPS指标,可统计存储产品的读写情况,将其拆分转换成read-IOPS、write-IOPS和total-IOPS等指标。其中,total-IOPS为read-IOPS和write-IOPS之和。对于throughout指标,对应拆分成read-throughout、write-throughout和total-throughout等指标。
在实际应用中,对于read hit、write hit、read response、write response、readIO Block、write IO Block、read queue、write queue等指标可分析每一个时间序列的最大值、最小值以及平均值等产分成min-X、max-X、avg-X,其中,X为具体指标名称,如min-read hit、max-read hit和avg-read hit。
在本发明实施例中,通过将检测到的性能数据拆分具体的基础数据,从而可以将该基础数据通过同一个波形图进行展示,以便用户直观地观察在目标时间段内存储产品的性能情况。
在本发明实施例二的一些可选的实现方式中,在上述应用于异构存储设备的性能数据管理装置100中还包括:原始数据采集模块以及原始数据存储模块。其中:
原始数据采集模块,用于实时采集异构设备的原始性能数据,所述原始性能数据至少携带有所述设备标识信息以及采集时间信息。
原始数据存储模块,用于将所述原始性能数据存储至与所述设备标识信息相对应的所述性能数据库。
在本发明实施例中,通过将原始性能数据存储在各自实体存储设备相对应的存储区域,从而减小数据库的存储压力,同时,提高数据库管理数据的效率。
在本发明实施例二的一些可选的实现方式中,上述原始数据采集模块具体包括:标识获取子模块以及专项数据采集子模块。其中:
标识获取子模块,用于获取当前采集对象的所述设备标识信息。
专项数据采集子模块,用于通过预设的采集规则采集与所述设备标识信息相对应的专项性能数据,并记录当前的采集时间信息。
在本发明实施例中,通过限定同种实体存储设备的采集类型,从而实现对异构存储产品的性能数据集中统一存放,便于管理以及数据处理,提高系统的处理效率。
在本发明实施例二的一些可选的实现方式中,上述原始数据存储模块具体包括:处理模型获取子模块以及分布式存储子模块。其中:
处理模型获取子模块,用于获取与所述设备标识信息相对应的所述数据处理模型,对所述性能数据进行批处理运算。
分布式存储子模块,用于通过所述存储格式对进行批处理运算之后的性能数据进行分布式存储。
在本发明实施例中,通过将异构存储设备中各厂商的存储设备性能数据按照统一格式进行存储,从而有效消除产品之间的壁垒,有效提高系统的兼容性,提高用户的使用体验。
在本发明实施例二的一些可选的实现方式中,上述结果输出模块105具体包括:显示方式获取子模块以及结果显示子模块。其中:
显示方式获取子模块,用于获取与所述设备标识信息相对应的显示方式。
结果显示子模块,用于根据所述显示方式将所述分析结果按照同一时间轴显示在一个或者多个波形图中。
在本发明实施例中,通过绘制波形图,直观的展现目标时间段的性能数据的变化。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图11,图11为本实施例计算机设备基本结构框图。
所述计算机设备9包括通过系统总线相互通信连接存储器91、处理器92、网络接口93。需要指出的是,图中仅示出了具有组件91-93的计算机设备9,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器91至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器91可以是所述计算机设备9的内部存储单元,例如该计算机设备9的硬盘或内存。在另一些实施例中,所述存储器91也可以是所述计算机设备9的外部存储设备,例如该计算机设备9上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。当然,所述存储器91还可以既包括所述计算机设备9的内部存储单元也包括其外部存储设备。本实施例中,所述存储器91通常用于存储安装于所述计算机设备9的操作系统和各类应用软件,例如应用于异构存储设备的性能数据管理方法的程序代码等。此外,所述存储器91还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器92在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器92通常用于控制所述计算机设备9的总体操作。本实施例中,所述处理器92用于运行所述存储器91中存储的程序代码或者处理数据,例如运行所述应用于异构存储设备的性能数据管理方法的程序代码。
所述网络接口93可包括无线网络接口或有线网络接口,该网络接口93通常用于在所述计算机设备9与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有应用于异构存储设备的性能数据管理程序,所述应用于异构存储设备的性能数据管理程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的应用于异构存储设备的性能数据管理方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

Claims (10)

1.一种应用于异构存储设备的性能数据管理方法,其特征在于,所述方法包括如下步骤:
接收用户发送的性能查询请求,所述性能查询请求至少携带有设备标识信息以及查询时间信息;
响应所述性能查询请求,在性能数据库中获取与所述设备标识信息以及查询时间信息相对应的对象性能数据;
在预设的类型分析集合中获取与所述设备标识信息相对应的分析方式;
根据所述分析方式对所述对象性能数据进行分析操作,获取分析结果;
向所述用户输出所述分析结果。
2.如权利要求1所述的应用于异构存储设备的性能数据管理方法,其特征在于,在所述接收用户发送的性能查询请求的步骤之前,还包括如下步骤:
实时采集异构设备的原始性能数据,所述原始性能数据至少携带有所述设备标识信息以及采集时间信息;
将所述原始性能数据存储至与所述设备标识信息相对应的所述性能数据库。
3.如权利要求2所述的应用于异构存储设备的性能数据管理方法,其特征在于,所述实时采集异构设备的原始性能数据的步骤,具体包括如下步骤:
获取当前采集对象的所述设备标识信息;
通过预设的采集规则采集与所述设备标识信息相对应的专项性能数据,并记录当前的采集时间信息;
将所述设备标识信息、专项性能数据以及所述采集时间信息作为所述原始性能数据。
4.如权利要求2所述的应用于异构存储设备的性能数据管理方法,其特征在于,所述性能数据库分别设置有与所述设备标识信息相对应的数据处理模型、存储格式、所述分析方式以及性能分析模型;所述将所述原始性能数据存储至与所述设备标识信息相对应的所述性能数据库的步骤,具体包括如下步骤:
获取与所述设备标识信息相对应的所述数据处理模型,对所述性能数据进行批处理运算;
通过所述存储格式对进行批处理运算之后的性能数据进行分布式存储。
5.如权利要求4所述的应用于异构存储设备的性能数据管理方法,其特征在于,所述在预设的类型分析集合中获取与所述设备标识信息相对应的分析方式,根据所述分析方式对所述对象性能数据进行分析操作,获取分析结果的步骤,具体包括如下步骤:
当所述异构设备为存储设备时,将所述对象性能数据作为所述分析结果;
当所述异构设备为NAS卷组、SAN卷组或者数据库中的一种时,叠加所述对象性能数据并通过性能分析模型计算块大小以及队列信息,将所述块大小以及队列信息作为所述分析结果。
6.如权利要求1所述的应用于异构存储设备的性能数据管理方法,其特征在于,所述输出所述分析结果的步骤,具体包括如下步骤:
获取与所述设备标识信息相对应的显示方式;
根据所述显示方式将所述分析结果按照同一时间轴显示在一个或者多个波形图中。
7.一种应用于异构存储设备的性能数据管理装置,其特征在于,所述装置包括:
请求接收模块,用于接收用户发送的性能查询请求,所述性能查询请求至少携带有设备标识信息以及查询时间信息;
性能获取模块,用于响应所述性能查询请求,在所述性能数据库中获取与所述设备标识信息以及查询时间信息相对应的对象性能数据;
方式获取模块,用于在预设的类型分析集合中获取与所述设备标识信息相对应的分析方式;
结果获取模块,用于根据所述分析方式对所述对象性能数据进行分析,获取分析结果;以及
结果输出模块,用于输出所述分析结果。
8.如权利要求7所述的应用于异构存储设备的性能数据管理装置,其特征在于,所述结果获取模块具体包括:
第一结果获取子模块,用于当所述异构设备为存储设备时,将所述对象性能数据作为所述分析结果;
第二结果获取子模块,用于当所述异构设备为NAS卷组、SAN卷组或者数据库中的一种时,叠加所述对象性能数据并通过性能分析模型计算块大小以及队列信息,将所述块大小以及队列信息作为所述分析结果。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的应用于异构存储设备的性能数据管理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的应用于异构存储设备的性能数据管理方法的步骤。
CN201910841128.3A 2019-09-06 2019-09-06 异构存储设备的性能数据管理方法、装置、设备及介质 Pending CN110990235A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910841128.3A CN110990235A (zh) 2019-09-06 2019-09-06 异构存储设备的性能数据管理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910841128.3A CN110990235A (zh) 2019-09-06 2019-09-06 异构存储设备的性能数据管理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN110990235A true CN110990235A (zh) 2020-04-10

Family

ID=70081789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910841128.3A Pending CN110990235A (zh) 2019-09-06 2019-09-06 异构存储设备的性能数据管理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN110990235A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515576A (zh) * 2021-07-13 2021-10-19 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备和计算机可读介质
CN113641301A (zh) * 2021-02-19 2021-11-12 中国建设银行股份有限公司 一种数据管理方法及装置
US20240070043A1 (en) * 2022-08-24 2024-02-29 Fulian Precision Electronics (Tianjin) Co., Ltd. Method and storage medium for detecting performance of hard disks

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108400A (ja) * 1991-10-17 1993-04-30 Omron Corp 機器の性能診断装置
CN104933175A (zh) * 2015-06-30 2015-09-23 深圳市金证科技股份有限公司 一种性能数据相关性的分析方法及性能监控系统
CN107908513A (zh) * 2017-11-14 2018-04-13 郑州云海信息技术有限公司 一种存储介质和存储设备性能的测试方法、装置及设备
CN108563462A (zh) * 2018-04-25 2018-09-21 珠海全志科技股份有限公司 数据处理方法、装置、计算机设备和计算机存储介质
CN109189656A (zh) * 2018-08-08 2019-01-11 浪潮电子信息产业股份有限公司 一种基于标准差算法分析存储设备iops性能数据的方法
CN109308305A (zh) * 2018-09-30 2019-02-05 广州圣亚科技有限公司 监测数据的查询方法、装置和计算机设备
CN109408508A (zh) * 2018-09-30 2019-03-01 广州恩业电子科技有限公司 监测数据的存储和查询方法、装置和计算机设备
CN109656792A (zh) * 2018-11-02 2019-04-19 深圳市快付通金融网络科技服务有限公司 基于网络调用日志的应用性能分析方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108400A (ja) * 1991-10-17 1993-04-30 Omron Corp 機器の性能診断装置
CN104933175A (zh) * 2015-06-30 2015-09-23 深圳市金证科技股份有限公司 一种性能数据相关性的分析方法及性能监控系统
CN107908513A (zh) * 2017-11-14 2018-04-13 郑州云海信息技术有限公司 一种存储介质和存储设备性能的测试方法、装置及设备
CN108563462A (zh) * 2018-04-25 2018-09-21 珠海全志科技股份有限公司 数据处理方法、装置、计算机设备和计算机存储介质
CN109189656A (zh) * 2018-08-08 2019-01-11 浪潮电子信息产业股份有限公司 一种基于标准差算法分析存储设备iops性能数据的方法
CN109308305A (zh) * 2018-09-30 2019-02-05 广州圣亚科技有限公司 监测数据的查询方法、装置和计算机设备
CN109408508A (zh) * 2018-09-30 2019-03-01 广州恩业电子科技有限公司 监测数据的存储和查询方法、装置和计算机设备
CN109656792A (zh) * 2018-11-02 2019-04-19 深圳市快付通金融网络科技服务有限公司 基于网络调用日志的应用性能分析方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113641301A (zh) * 2021-02-19 2021-11-12 中国建设银行股份有限公司 一种数据管理方法及装置
CN113515576A (zh) * 2021-07-13 2021-10-19 北京字节跳动网络技术有限公司 数据处理方法、装置、电子设备和计算机可读介质
US20240070043A1 (en) * 2022-08-24 2024-02-29 Fulian Precision Electronics (Tianjin) Co., Ltd. Method and storage medium for detecting performance of hard disks

Similar Documents

Publication Publication Date Title
CN110990235A (zh) 异构存储设备的性能数据管理方法、装置、设备及介质
CN110874324A (zh) 一种测试结果数据保存方法、装置、终端设备及存储介质
CN113326991B (zh) 自动授权方法、装置、计算机设备及存储介质
CN110442519B (zh) 一种崩溃文件处理方法、装置、电子设备及存储介质
CN110798445B (zh) 公共网关接口测试方法、装置、计算机设备及存储介质
CN111198859B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
US10574765B2 (en) Method, device, and non-transitory computer-readable recording medium
CN112256682A (zh) 一种多维异构数据的数据质量检测方法及装置
CN112486985A (zh) 一种锅炉数据的查询方法、装置、设备及存储介质
CN113010542A (zh) 业务数据处理方法、装置、计算机设备及存储介质
CN112882833A (zh) 一种数据采集方法、装置、计算机设备及存储介质
WO2021051568A1 (zh) 路网拓扑结构的构建方法、装置、计算机设备及存储介质
CN111488386A (zh) 数据查询方法和装置
CN110955709B (zh) 一种数据的处理方法、装置及电子设备
EP4209933A1 (en) Data processing method and apparatus, and electronic device and storage medium
CN110020166A (zh) 一种数据分析方法及相关设备
CN110888733A (zh) 集群资源使用情况处理方法、装置及电子设备
CN111222739B (zh) 核电站的任务分配方法及核电站的任务分配系统
CN110222070B (zh) 报表归档方法、装置、介质、电子设备
CN109783745B (zh) 对页面进行个性化排版的方法、装置和计算机设备
CN111143328A (zh) 一种敏捷商业智能数据构建方法、系统、设备、存储介质
CN111062004A (zh) 一种预测模型调整方法、装置、预测模拟器以及存储介质
CN105224998A (zh) 一种针对于预估模型的数据处理方法及装置
WO2019218677A1 (zh) 电网仿真分析数据存储方法、装置及电子设备
CN111143398A (zh) 基于扩展sql函数的超大集合查询方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410