CN111124851A - 存储设备历史性能数据处理方法、系统、终端及存储介质 - Google Patents

存储设备历史性能数据处理方法、系统、终端及存储介质 Download PDF

Info

Publication number
CN111124851A
CN111124851A CN201911120942.2A CN201911120942A CN111124851A CN 111124851 A CN111124851 A CN 111124851A CN 201911120942 A CN201911120942 A CN 201911120942A CN 111124851 A CN111124851 A CN 111124851A
Authority
CN
China
Prior art keywords
performance data
historical performance
character
code
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911120942.2A
Other languages
English (en)
Inventor
李闯
李玲侠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201911120942.2A priority Critical patent/CN111124851A/zh
Publication of CN111124851A publication Critical patent/CN111124851A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种存储设备历史性能数据处理方法、系统、终端及存储介质,包括:将历史性能数据中的常见词替换为字符;统计所述字符在所述历史性能数据中的出现次数;根据所述出现次数设置相应字符权值;根据所述字符权值构建历史性能数据的哈夫曼结构树编码,存储转换为编码的历史性能数据。本发明通过将历时性能数据中的各种名词转换为二进制编码,可以使得数据量压缩减小数倍,从而达到节约存储历史性能数据占用空间的目的,解决了大多数存储设备在统计历史性能数据后因长时间累计数据量巨大造成的数据分配空间不足问题。

Description

存储设备历史性能数据处理方法、系统、终端及存储介质
技术领域
本发明存储设备技术领域,具体涉及一种存储设备历史性能数据处理方法、系统、终端及存储介质。
背景技术
随着科学计算和各种网络应用的快速发展,人类产生的信息量越来越多,这使的数据的存储越来越被人们所关注,从而使得存储部件在整个计算机体系中所处的地位越来越重要,存储已经由单一的磁盘、磁带转向磁盘阵列,进而发展到当前流行的存储网络。大规模的数据应用需求不断涌现,海量数据及其应用也成为一个新的发展方向,数据存储已经对人们的工作和生活产生了巨大的影响,而其中对于存储设备的各项性能数据分析也自然越来越重要。
存储设备的历史性能数据为存储设备各项性能数据保存下来的历史记录,通过分析历史性能数据,可以有效的监控存储设备运行的情况、分析存储设备的优劣、进行存储设备未来运行状况的预测,因此实际使用存储设备时尽可能详细的统计历史性能数据并存档记录用于分析,显得尤为重要。
通常情况,存储设备留存记录数据包含三大性能数据指标:1、IOPS(I/O persecond),每秒最大I/O数。2、MBPS(MB per second),每秒的存储所能提供的最大带宽。3、延时,从接收到数据包到开始向目的端口发送数据包之间的时间间隔。统计的历史性能数据要对应存储设备中每秒各类参数,包括每个存储节点、每个创建的LUN、每块磁盘、每个存储阵列、每个存储池、每条存储输出链路等。单台标配存储设备1天数据累计采用常规方法记录需要数据存储空间约200MB,对于多数应用场景下记录365天数台存储设备性能数据,需要TB级存储空间才能满足。这些历史性能数据由于数据量太大基本不具备应用可能。
发明内容
针对现有技术的上述不足,本发明提供一种存储设备历史性能数据处理方法、系统、终端及存储介质,以解决上述技术问题。
第一方面,本发明提供一种存储设备历史性能数据处理方法,包括:
将历史性能数据中的常见词替换为字符;
统计所述字符在所述历史性能数据中的出现次数;
根据所述出现次数设置相应字符权值;
根据所述字符权值构建历史性能数据的哈夫曼结构树编码,存储转换为编码的历史性能数据。
进一步的,所述方法还包括:
记录历史性能数据的存储时间;
若所述存储时间达到预设时间则清除所述历史性能数据。
进一步的,所述根据所述字符权值构建历史性能数据的哈夫曼结构树编码,存储转换为编码的历史性能数据,包括:
按照字符权值从小到大从底层开始构造哈夫曼编码二叉树;
设定每层二叉树的左侧字符组合为编码0,右侧字符组合为编码1;
根据哈夫曼编码二叉树结构和设定的编码得到字符的编码位;
通过将历史性能数据中的常用词转换为相应的编码位实现对历史性能数据的压缩,存储压缩历史性能数据。
第二方面,本发明提供一种存储设备历史性能数据处理系统,包括:
字符替换单元,配置用于将历史性能数据中的常见词替换为字符;
字符统计单元,配置用于统计所述字符在所述历史性能数据中的出现次数;
权值设置单元,配置用于根据所述出现次数设置相应字符权值;
数据存储单元,配置用于根据所述字符权值构建历史性能数据的哈夫曼结构树编码,存储转换为编码的历史性能数据。
进一步的,所述系统还包括:
时间记录模块,配置有用于记录历史性能数据的存储时间;
数据清除模块,配置用于若所述存储时间达到预设时间则清除所述历史性能数据。
进一步的,所述数据存储单元包括:
结构构造模块,配置用于按照字符权值从小到大从底层开始构造哈夫曼编码二叉树;
编码设置模块,配置用于设定每层二叉树的左侧字符组合为编码0,右侧字符组合为编码1;
编码生成模块,配置用于根据哈夫曼编码二叉树结构和设定的编码得到字符的编码位;
数据压缩模块,配置用于通过将历史性能数据中的常用词转换为相应的编码位实现对历史性能数据的压缩,存储压缩历史性能数据。
第三方面,提供一种终端,包括:
处理器、存储器,其中,
该存储器用于存储计算机程序,
该处理器用于从存储器中调用并运行该计算机程序,使得终端执行上述的终端的方法。
第四方面,提供了一种计算机存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
本发明的有益效果在于,
本发明提供的存储设备历史性能数据处理方法、系统、终端及存储介质,采用的哈夫曼编码来压缩所统计存储设备的相关历史性能数据,通过将历时性能数据中的各种名词转换为二进制编码,可以使得数据量压缩减小数倍,从而达到节约存储历史性能数据占用空间的目的,解决了大多数存储设备在统计历史性能数据后因长时间累计数据量巨大造成的数据分配空间不足问题。
此外,本发明设计原理可靠,结构简单,具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的方法的二叉树结构图。
图3是本发明一个实施例的方法的二叉树编码图。
图4是本发明一个实施例的系统的示意性框图。
图5为本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
下面对本发明中出现的关键术语进行解释。
哈夫曼编码(Huffman Coding),又称霍夫曼编码,是一种编码方式,哈夫曼编码是可变字长编码(VLC)的一种。
图1是本发明一个实施例的方法的示意性流程图。其中,图1执行主体可以为一种存储设备历史性能数据处理系统。
如图1所示,该方法100包括:
步骤110,将历史性能数据中的常见词替换为字符;
步骤120,统计所述字符在所述历史性能数据中的出现次数;
步骤130,根据所述出现次数设置相应字符权值;
步骤140,根据所述字符权值构建历史性能数据的哈夫曼结构树编码,存储转换为编码的历史性能数据。
为了便于对本发明的理解,下面以本发明存储设备历史性能数据处理方法的原理,结合实施例中对存储设备历史性能数据进行处理的过程,对本发明提供的存储设备历史性能数据处理方法做进一步的描述。
具体的,所述存储设备历史性能数据处理方法包括:
S1、将历史性能数据中的常见词替换为字符。
将历史性能数据中的常见词替换为常见字符种类。例如,单个LUN的信息lun/test/Pool/Raid/admin/2019,用字符种类a/b/c/d/e/f代替。
S2、统计所述字符在所述历史性能数据中的出现次数。
统计字符在历史性能数据中的出现次数,如下表所示:
表1字符出现次数表
字符种类 出现频度(千字)
a 45
b 13
c 12
d 16
e 9
f 5
S3、根据所述出现次数设置相应字符权值。
本实施例中将出现次数取千字单位,将简化后的出现频度作为字符权值。在其他实施例中也可以不对出现次数值进行处理,直接将出现次数作为字符权值。
S4、根据所述字符权值构建历史性能数据的哈夫曼结构树编码,存储转换为编码的历史性能数据。
对所有字符权值进行排序,从权值最小的字符开始由底层向上层构建二叉树结构,如图2所示。同时,参考图3,根据编码的规则左0右1,对二叉树结构进行编码,每对树杈包括两个叉,这两个叉左边的表为0,右边的分叉标为1。根据带有编码的二叉树结构即可生成每个字符的编码位,每个字符的编码位为二叉树上从最上层到该字符分叉的编码组合。例如,本实施例中的字符编码位为:
表2字符与编码位对应表
字符种类 编码位
a 0
b 111
c 101
d 100
e 1101
f 1100
将历史性能数据中的常见词替换为上述字符对应的编码位,比如代表最常见的字符lun,编码位仅为二进制0,占用字节明显减少,对于大量的数据中每条信息会重复出现的字符进行替代,得到压缩后结果,数据占用空间会明显减小。存储压缩后的历史性能数据即可实现存储设备历史性能数据的存储管理。
在对数据进行存储后,设置一个数据存储极限时间,对存储的数据进行存储时间监控,一旦监控到某些数据的存储时间达到设置的时间,则删除这部分数据,实现无用数据的定期清理。
如图4示,该系统400包括:
字符替换单元,配置用于将历史性能数据中的常见词替换为字符;
字符统计单元,配置用于统计所述字符在所述历史性能数据中的出现次数;
权值设置单元,配置用于根据所述出现次数设置相应字符权值;
数据存储单元,配置用于根据所述字符权值构建历史性能数据的哈夫曼结构树编码,存储转换为编码的历史性能数据。
可选地,作为本发明一个实施例,所述系统还包括:
时间记录模块,配置有用于记录历史性能数据的存储时间;
数据清除模块,配置用于若所述存储时间达到预设时间则清除所述历史性能数据。
可选地,作为本发明一个实施例,所述数据存储单元包括:
结构构造模块,配置用于按照字符权值从小到大从底层开始构造哈夫曼编码二叉树;
编码设置模块,配置用于设定每层二叉树的左侧字符组合为编码0,右侧字符组合为编码1;
编码生成模块,配置用于根据哈夫曼编码二叉树结构和设定的编码得到字符的编码位;
数据压缩模块,配置用于通过将历史性能数据中的常用词转换为相应的编码位实现对历史性能数据的压缩,存储压缩历史性能数据。
图3为本发明实施例提供的一种终端系统500的结构示意图,该终端系统500可以用于执行本发明实施例提供的存储设备历史性能数据处理方法。
其中,该终端系统500可以包括:处理器510、存储器520及通信单元530。这些组件通过一条或多条总线进行通信,本领域技术人员可以理解,图中示出的服务器的结构并不构成对本发明的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,该存储器520可以用于存储处理器510的执行指令,存储器520可以由任何类型的易失性或非易失性存储终端或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。当存储器520中的执行指令由处理器510执行时,使得终端500能够执行以下上述方法实施例中的部分或全部步骤。
处理器510为存储终端的控制中心,利用各种接口和线路连接整个电子终端的各个部分,通过运行或执行存储在存储器520内的软件程序和/或模块,以及调用存储在存储器内的数据,以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit,简称IC)组成,例如可以由单颗封装的IC所组成,也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说,处理器510可以仅包括中央处理器(Central Processing Unit,简称CPU)。在本发明实施方式中,CPU可以是单运算核心,也可以包括多运算核心。
通信单元530,用于建立通信信道,从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
因此,本发明采用的哈夫曼编码来压缩所统计存储设备的相关历史性能数据,通过将历时性能数据中的各种名词转换为二进制编码,可以使得数据量压缩减小数倍,从而达到节约存储历史性能数据占用空间的目的,解决了大多数存储设备在统计历史性能数据后因长时间累计数据量巨大造成的数据分配空间不足问题,本实施例所能达到的技术效果可以参见上文中的描述,此处不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,包括若干指令用以使得一台计算机终端(可以是个人计算机,服务器,或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于终端实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述,但本发明并不限于此。在不脱离本发明的精神和实质的前提下,本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换,而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种存储设备历史性能数据处理方法,其特征在于,包括:
将历史性能数据中的常见词替换为字符;
统计所述字符在所述历史性能数据中的出现次数;
根据所述出现次数设置相应字符权值;
根据所述字符权值构建历史性能数据的哈夫曼结构树编码,存储转换为编码的历史性能数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
记录历史性能数据的存储时间;
若所述存储时间达到预设时间则清除所述历史性能数据。
3.根据权利要求1所述的方法,其特征在于,所述根据所述字符权值构建历史性能数据的哈夫曼结构树编码,存储转换为编码的历史性能数据,包括:
按照字符权值从小到大从底层开始构造哈夫曼编码二叉树;
设定每层二叉树的左侧字符组合为编码0,右侧字符组合为编码1;
根据哈夫曼编码二叉树结构和设定的编码得到字符的编码位;
通过将历史性能数据中的常用词转换为相应的编码位实现对历史性能数据的压缩,存储压缩历史性能数据。
4.一种存储设备历史性能数据处理系统,其特征在于,包括:
字符替换单元,配置用于将历史性能数据中的常见词替换为字符;
字符统计单元,配置用于统计所述字符在所述历史性能数据中的出现次数;
权值设置单元,配置用于根据所述出现次数设置相应字符权值;
数据存储单元,配置用于根据所述字符权值构建历史性能数据的哈夫曼结构树编码,存储转换为编码的历史性能数据。
5.根据权利要求4所述的系统,其特征在于,所述系统还包括:
时间记录模块,配置有用于记录历史性能数据的存储时间;
数据清除模块,配置用于若所述存储时间达到预设时间则清除所述历史性能数据。
6.根据权利要求4所述的系统,其特征在于,所述数据存储单元包括:
结构构造模块,配置用于按照字符权值从小到大从底层开始构造哈夫曼编码二叉树;
编码设置模块,配置用于设定每层二叉树的左侧字符组合为编码0,右侧字符组合为编码1;
编码生成模块,配置用于根据哈夫曼编码二叉树结构和设定的编码得到字符的编码位;
数据压缩模块,配置用于通过将历史性能数据中的常用词转换为相应的编码位实现对历史性能数据的压缩,存储压缩历史性能数据。
7.一种终端,其特征在于,包括:
处理器;
用于存储处理器的执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-3任一项所述的方法。
8.一种存储有计算机程序的计算机可读存储介质,其特征在于,该程序被处理器执行时实现如权利要求1-3中任一项所述的方法。
CN201911120942.2A 2019-11-15 2019-11-15 存储设备历史性能数据处理方法、系统、终端及存储介质 Withdrawn CN111124851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911120942.2A CN111124851A (zh) 2019-11-15 2019-11-15 存储设备历史性能数据处理方法、系统、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911120942.2A CN111124851A (zh) 2019-11-15 2019-11-15 存储设备历史性能数据处理方法、系统、终端及存储介质

Publications (1)

Publication Number Publication Date
CN111124851A true CN111124851A (zh) 2020-05-08

Family

ID=70495970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911120942.2A Withdrawn CN111124851A (zh) 2019-11-15 2019-11-15 存储设备历史性能数据处理方法、系统、终端及存储介质

Country Status (1)

Country Link
CN (1) CN111124851A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111913957A (zh) * 2020-07-07 2020-11-10 普华云创科技(北京)有限公司 数据序列化后特征提取方法、系统及计算机可读存储介质
CN114979707A (zh) * 2022-05-13 2022-08-30 深圳智慧林网络科技有限公司 一种数据发送方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111913957A (zh) * 2020-07-07 2020-11-10 普华云创科技(北京)有限公司 数据序列化后特征提取方法、系统及计算机可读存储介质
CN114979707A (zh) * 2022-05-13 2022-08-30 深圳智慧林网络科技有限公司 一种数据发送方法及装置
CN114979707B (zh) * 2022-05-13 2023-12-19 深圳智慧林网络科技有限公司 一种数据发送方法及装置

Similar Documents

Publication Publication Date Title
US10116325B2 (en) Data compression/decompression device
CN105322969B (zh) 数据压缩及解压的方法及装置
CN111124851A (zh) 存储设备历史性能数据处理方法、系统、终端及存储介质
CN109684290B (zh) 日志存储方法、装置、设备及计算机可读存储介质
CN107665093A (zh) 数据存储方法及装置
CN110198171B (zh) 数据压缩方法、装置、计算机可读介质及电子设备
US10211851B2 (en) Method and system for compressing data from smart meter
CN109753227B (zh) 存储方法、装置、移动终端、服务器和可读存储介质
CN104219102B (zh) 一种网络数据压缩统计的方法、装置和系统
CN110389875A (zh) 用于监控计算机系统运行状态的方法、装置和存储介质
CN105306065A (zh) 时间戳的处理方法及装置、压缩字符串的解压方法及装置
CN113297154B (zh) 一种网站日志压缩方法及装置
CN111026677B (zh) 一种基于ema算法的缓存分配方法、系统、终端及存储介质
CN113885803A (zh) 数据存储方法、装置、电子设备及存储介质
CN111552689B (zh) 一种基金审计的去重指标计算方法、装置及设备
US10841405B1 (en) Data compression of table rows
CN113779056A (zh) 批量审计日志处理方法、装置和计算机设备
CN112506876A (zh) 一种支持sql查询的无损压缩查询方法
CN108737392B (zh) 一种终端上报数据的压缩方法及发送端和接收端
Pearl Entropy, information and rational decisions
CN113659992B (zh) 数据压缩方法及装置、存储介质
CN108989813A (zh) 一种高效率压缩/解压缩方法、计算机装置和存储介质
CN112800146B (zh) 风控数据的回溯方法及装置、存储介质和处理器
CN100579252C (zh) 一种上报业务音编码的方法及系统
CN115878347A (zh) 日志数据的统计方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200508

WW01 Invention patent application withdrawn after publication