CN113391764A - 一种信息处理方法及装置、存储介质 - Google Patents
一种信息处理方法及装置、存储介质 Download PDFInfo
- Publication number
- CN113391764A CN113391764A CN202110642322.6A CN202110642322A CN113391764A CN 113391764 A CN113391764 A CN 113391764A CN 202110642322 A CN202110642322 A CN 202110642322A CN 113391764 A CN113391764 A CN 113391764A
- Authority
- CN
- China
- Prior art keywords
- data
- access frequency
- storage
- access
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/068—Hybrid storage device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种信息处理方法及装置、存储介质,信息处理方法包括:在检测到内存中的剩余存储容量小于或者等于预设容量下限阈值的情况下,检测内存中的存储数据对应的数据访问频率;基于数据访问频率,将存储数据划分成至少一类数据;至少一类数据中的每一类数据对应一个存储类别;基于至少一类数据对应的至少一个存储类别,确定至少一类数据对应的至少一个存储系统,并将至少一类数据分别转存至至少一个存储系统;其中,每一类数据对应一个存储系统。
Description
技术领域
本发明涉及信息处理技术领域,尤其涉及一种信息处理方法及装置、存储介质。
背景技术
随着互联网技术的发展,网络上的数据越来越多,需要存储的数据的数据量也逐渐增加,随着也产生了许多在数据存储方面上的问题。
现有技术中,是使用两套集群:存储性能较高的主集群(如:固态硬盘(SolidState Disk,SSD))和存储性能较低的备集群(如:硬盘驱动器(Hard Disk Drive,HDD))。先将数据存储至主集群中,在人工确定出数据的热度降低了的情况下,人工再将该数据从主集群拷贝至备集群进行存储,由于需要人工确定数据的热度,以及人工转移数据的存储位置,如此,降低了存储数据时的智能性。
发明内容
为解决上述技术问题,本发明实施例期望提供一种信息处理方法及装置、存储介质,能够提高对存储数据进行存储时的智能性。
本发明的技术方案是这样实现的:
本申请实施例提供一种信息处理方法,所述信息处理方法包括:
在检测到内存中的剩余存储容量小于或者等于预设容量下限阈值的情况下,检测所述内存中的存储数据对应的数据访问频率;
基于所述数据访问频率,将所述存储数据划分成至少一类数据;所述至少一类数据中的每一类数据对应一个存储类别;
基于所述至少一类数据对应的至少一个存储类别,确定所述至少一类数据对应的至少一个存储系统,并将所述至少一类数据分别转存至所述至少一个存储系统;其中,每一类数据对应一个存储系统。。
本申请实施例提供了一种信息处理装置,所述装置包括:
检测单元,用于在检测到内存中的剩余存储容量小于或者等于预设容量下限阈值的情况下,检测所述内存中的存储数据对应的数据访问频率;
划分单元,用于基于所述数据访问频率,将所述存储数据划分成至少一类数据;所述至少一类数据中的每一类数据对应一个存储类别;
确定单元,用于基于所述至少一类数据对应的至少一个存储类别,确定所述至少一类数据对应的至少一个存储系统;
转存单元,用于将所述至少一类数据分别转存至所述至少一个存储系统;其中,每一类数据对应一个存储系统。
本申请实施例提供了一种信息处理装置,所述装置包括:
存储器、处理器和通信总线,所述存储器通过所述通信总线与所述处理器进行通信,所述存储器存储所述处理器可执行的信息处理的程序,当所述信息处理的程序被执行时,通过所述处理器执行上述所述的信息处理方法。
本申请实施例提供了一种存储介质,其上存储有计算机程序,应用于信息处理装置,其特征在于,该计算机程序被处理器执行时实现上述所述的信息处理方法。
本发明实施例提供了一种信息处理方法及装置、存储介质,信息处理方法包括:在检测到内存中的剩余存储容量小于或者等于预设容量下限阈值的情况下,检测内存中的存储数据对应的数据访问频率;基于数据访问频率,将存储数据划分成至少一类数据;至少一类数据中的每一类数据对应一个存储类别;基于至少一类数据对应的至少一个存储类别,确定至少一类数据对应的至少一个存储系统,并将至少一类数据分别转存至至少一个存储系统;其中,每一类数据对应一个存储系统。采用上述方法实现方案,信息处理装置通过检测内存中的存储数据对应的数据访问频率,使得信息处理装置可以基于数据访问频率,将存储数据划分成至少一类数据,基于至少一类数据对应的至少一个存储类别,确定至少一类数据对应的至少一个存储系统,从而将至少一类数据分别转存至至少一个存储系统;其中,每一类数据对应一个存储系统,不需要再人工确定该存储数据的数据热度和对应的存储位置,也不需要人工来对存储数据进行转存,提高了对存储数据进行存储时的智能性。
附图说明
图1为本申请实施例提供的一种信息处理方法流程图;
图2为本申请实施例提供的一种示例性的信息处理装置架构图一;
图3为本申请实施例提供的一种示例性的信息处理装置架构图二;
图4为本申请实施例提供的一种示例性的信息处理装置架构图三;
图5为本申请实施例提供的一种示例性的信息处理装置架构图四;
图6为本申请实施例提供的一种信息处理装置的组成结构示意图一;
图7为本申请实施例提供的一种信息处理装置的组成结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例一
本申请实施例提供了一种信息处理方法,图1为本申请实施例提供的一种信息处理方法流程图,如图1所示,信息处理方法可以包括:
S101、在检测到内存中的剩余存储容量小于或者等于预设容量下限阈值的情况下,检测内存中的存储数据对应的数据访问频率。
本申请实施例提供的一种信息处理方法适用于对存储数据进行转存的场景下。
在本申请实施例中,信息处理装置可以以各种形式来实施。例如,本申请中描述的信息处理装置可以包括诸如手机、照相机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等装置,以及诸如数字TV、台式计算机、服务器等装置。
在本申请实施例中,存储数据可以为日志数据、商品的订单数据或者是商品的其他数据信息,具体的可根据实际情况进行确定,本申请实施例对此不作限定。
在本申请实施例中,存储数据的数量可以为一个,存储数据的数量也可以为两个,存储数据的数量还可以为多个,具体的存储数据的数量可根据实际情况进行确定,本申请实施例对此不作限定。
在本申请实施例中,存储数据的数量和数据访问频率的数量一一对应,即一个存储数据对应一个数据访问频率。数据访问频率的数量可以为一个,数据访问频率的数量也可以为两个,数据访问频率的数量还可以为多个,具体的数据访问频率的数量可根据实际情况进行确定,本申请实施例对此不作限定。
在本申请实施例中,信息处理装置在接收到存储数据的情况下,信息处理装置先将该存储数据存储至内存中,之后,信息处理装置就会在内存的剩余存储容量小于预设容量下限阈值的情况下,检测内存中的存储数据对应的数据访问频率。
需要说明的是,信息处理装置可以在内存的剩余存储容量小于预设容量下限阈值的情况下,检测内存中的存储数据对应的数据访问频率;信息处理装置也可以间隔预设时间段,信息处理装置就检测内存中的存储数据对应的数据访问频率;具体的信息处理装置检测内存中的存储数据对应的数据访问频率的条件可根据实际情况进行确定,本申请实施例对此不作限定。
还需要说明的是,预设容量下限阈值可以为信息处理装置中配置的阈值;预设容量下限阈值也可以为信息处理装置接收到存储数据之前,信息处理装置获取到的阈值;还可以为信息处理装置以其他的方式获取到的阈值;具体的可根据实际情况进行确定,本申请实施例对此不作限定。
示例性地,预设容量下限阈值可以为0,即内存已满。
还需要说明的是,预设时间段可以为信息处理装置中配置的时间段;预设时间段也可以为信息处理装置接收到存储数据之前,信息处理装置获取到的时间段;还可以为信息处理装置以其他的方式获取到的时间段;具体的可根据实际情况进行确定,本申请实施例对此不作限定。
在本申请实施例中,数据访问频率可以为标识存储数据类别的访问频率范围,示例性的,若存储数据的数据类别为热数据类别,则数据访问频率可以为大于或者等于预设访问频率阈值的频率段;若存储数据的数据类别为冷数据类别,则数据访问频率可以为小于预设访问频率阈值的频率段。
需要说明的是,预设访问频率阈值可以为信息处理装置中配置的频率阈值,也可以为信息处理装置以其他的方式获取到的频率阈值,具体的可根据实际情况进行确定,本申请实施例对此不作限定。
在本申请实施例中,信息处理装置在检测到内存中的剩余存储容量小于或者等于预设容量下限阈值的情况下,检测内存中的存储数据对应的数据访问频率之前,信息处理装置还会接收存储数据对应的数据标识;相应的,至少一类数据包括第一数据和/或第二数据;信息处理装置检测内存中的存储数据对应的数据访问频率的过程,包括:信息处理装置从数据标识中筛选出热数据标识,并利用热数据标识标识第一数据对应的第一访问频率;和/或,信息处理装置从数据标识中筛选出冷数据标识,并利用冷数据标识标识第二数据对应的第二访问频率;信息处理装置将第一访问频率和/或第二访问频率作为数据访问频率。
在本申请实施例中,数据标识包括热数据标识和冷数据标识。热数据标识用于标识第一数据为热数据类别,冷数据标识用于标识第二数据为冷数据类别。
在本申请实施例中,第一访问频率可以为数据访问频率中的部分访问频率,第一访问频率也可以为数据访问频率。第二访问频率可以为数据访问频率中的部分访问频率,第二访问频率也可以为数据访问频率。其中,若第一访问频率为数据访问频率中的部分访问频率,且第二访问频率也为数据访问频率中的部分访问频率,则第一访问频率和第二访问频率组成了数据访问频率。
需要说明的是,第一访问频率可以为大于或者等于预设访问频率阈值的频率段;第二访问频率可以为小于预设访问频率阈值的频率段。
需要说明的是,信息处理装置在确定出存储数据中的第一数据的数据标识为热数据标识的情况下,信息处理装置就将该热数据标识作为第一数据的数据标识;信息处理装置在确定出存储数据中的第二数据的数据标识为冷数据标识的情况下,信息处理装置就将该冷数据标识作为第二数据的数据标识。
在本申请实施例中,第一访问频率可以为第一数据在一段时间内的总访问次数,第一访问频率也可以为第一数据每秒的访问次数。第二访问频率可以为第二数据在一段时间内的总访问次数,第二访问频率也可以为第二数据每秒的访问次数。
需要说明的是,一段时间内可以为3个月、6个月、1年等,具体的一段时间可根据实际情况进行确定,本申请实施例对此不作限定。
示例性的,若第一访问频率可以为第一数据在一段时间内的总访问次数,则第一访问频率可以为第一数据6个月内的总访问次数(如1000qps)。若第一访问频率为第一数据每秒的访问次数,则第一访问频率可以为1000qps/sec(每秒一千请求);或者第一访问频率可以为1000qps/sec、且可以持续5分钟。若第二访问频率可以为第二数据在一段时间内的总访问次数,则第二访问频率可以为第二数据6个月内的总访问次数(如1000qps)。若第二访问频率为第二数据每秒的访问次数,则第二访问频率可以为1000qps/sec(每秒一千请求);或者第二访问频率可以为1000qps/sec、且可以持续5分钟。
在本申请实施例中,信息处理装置可以直接接收用户传输的数据标识;信息处理装置也可以根据用户传输的指令创建冷热表,从冷热表中确定出存储数据对应的数据标识。
需要说明的是,若信息处理装置根据用户传输的指令创建冷热表,则信息处理装置创建冷热表的方式可以为:
create‘cold_table’,{NAME=>‘f1’,DATA_STORAGE=>’CFS’};
create‘hot_table’,{NAME=>‘f1’}或是create‘hot_table’,{NAME=>‘f1’,DATA_STORAGE=>’HDFS’}。
S102、基于数据访问频率,将存储数据划分成至少一类数据;至少一类数据中的每一类数据对应一个存储类别。
在本申请实施例中,信息处理装置检测内存中的存储数据对应的数据访问频率之后,信息处理装置就可以基于数据访问频率,将存储数据划分成至少一类数据。
在本申请实施例中,至少一类数据包括热数据类别的第一数据和/或冷数据类别的第二数据。
在本申请实施例中,信息处理装置可以为分布式非关系型(NoSQL)系统,分布式NoSQL系统中存储有分布式文件系统(Hadoop Distribution FileSystem,HDFS)的HDFS地址和云文件系统(Cloud File Service,CFS)的CFS地址,分布式NoSQL系统可以通过HDFS地址将HDFS系统加载至分布式NoSQL系统中,通过CFS地址将CFS系统加载至分布式NoSQL系统中,即分布式NoSQL系统中设置有HDFS系统和CFS系统。分布式NoSQL系统在启动时,自动加载HDFS系统和CFS系统。
在本申请实施例中,分布式NoSQL系统中设置有管理节点(HMaster),用于负责表管理(增删改查)、区域(region)管理、初始化文件系统、等。分布式NoSQL系统中还设置有整理模块(Compact),用于监控文件的访问频率和规则的制定,数据的生命周期满足业务设定的规则就可实现数据的流转(周期检查分析文件、统计文件访问频率、检查是否满足规则、自动化数据迁移)。
需要说明的是,HDFS系统和CFS刺痛分别用于存储不同类别的存储数据。其中,HDFS系统使用全SSD盘,CFS系统使用云盘。
需要说明的是,信息处理装置中设置有文件系统接口(FileSystemInterface),用于路由转发,信息处理装置可以利用文件系统接口,选择与存储数据标识匹配的存储系统(HDFS系统或者CFS系统),从而将存储数据转存至HDFS系统或者CFS系统。
在本申请实施例中,存储类别包括热数据存储类别和冷数据存储类别,其中,热数据存储类别对应的存储系统为高频访问存储系统,冷数据存储类别对应的存储系统可以为低频访问存储系统。需要说明的是,高频访问存储系统可以为HDFS系统,低频访问存储系统可以为CFS系统。
在本申请实施例中,至少一类数据中的每一类数据对应一个存储类别包括:热数据类别的第一数据对应热数据存储类别,冷数据类别的第二数据对应冷数据存储类别。
在本申请实施例中,若信息处理装置接收了存储数据对应的数据标识,且信息处理装置从数据标识中筛选出热数据标识,并利用热数据标识标识第一数据对应的第一访问频率;和/或,信息处理装置从数据标识中筛选出冷数据标识,并利用冷数据标识标识第二数据对应的第二访问频率;将第一访问频率和/或第二访问频率作为数据访问频率,则信息处理装置基于数据访问频率,将存储数据划分成至少一类数据的过程,可以为信息处理装置从数据访问频率中筛选出热数据标识对应的第一访问频率,并从存储数据中确定出第一访问频率对应的第一数据;和/或,信息处理装置从数据访问频率中筛选出冷数据标识对应的第二访问频率,并从存储数据中确定出第二访问频率对应的第二数据。
在本申请实施例中,冷热表中标识了数据的存储标签,信息处理装置也可以从存储标签中确定出数据的存储系统。
示例性的,存储标签可以为:DATA_STORAGE=>’CFS’或是DATA_STORAGE=>’HDFS’。
在本申请实施例中,信息处理装置基于数据访问频率,将存储数据划分成至少一类数据的过程,也可以为信息处理装置在数据访问频率中筛选出访问频率大于或者等于预设访问频率阈值的第一访问频率,并在存储数据中确定与第一访问频率对应的第一数据;和/或,信息处理装置在数据访问频率中筛选出访问频率小于预设访问频率阈值的第二访问频率,并在存储数据中确定与第二访问频率对应的第二数据。
S103、基于至少一类数据对应的至少一个存储类别,确定至少一类数据对应的至少一个存储系统,并将至少一类数据分别转存至至少一个存储系统;其中,每一类数据对应一个存储系统。
在本申请实施例中,信息处理装置基于数据访问频率,将存储数据划分成至少一类数据之后,信息处理装置就可以基于至少一类数据对应的至少一个存储类别,确定至少一类数据对应的至少一个存储系统,并将至少一类数据分别转存至至少一个存储系统。
在本申请实施例中,至少一类数据与至少一个存储类别一一对应,即一类数据对应一个存储类别。如:热数据类别的第一数据对应热数据存储类别,冷数据类别的第二数据对应冷数据存储类别。
示例性的,至少一类数据对应的至少一个存储类别之间的对应关系可以为:DATA_STORAGE=>’CFS’或是DATA_STORAGE=>’HDFS’。
在本申请实施例中,至少一个存储系统包括高频访问存储系统和/或低频访问存储系统。
需要说明的是,HDFS系统用于存储热数据标识的第一数据;CFS用于存储冷数据标识的第二数据。
在本申请实施例中,信息处理装置将至少一类数据分别转存至至少一个存储系统之后,在信息处理装置将第一数据存储至高频访问存储系统、且第一数据的存储时长满足预设存储时长的情况下,信息处理装置就检测第一数据的第三访问频率;在第三访问频率小于预设访问频率阈值的情况下,信息处理装置就确定第一数据的标识为冷数据标识;信息处理装置就将第一数据从高频访问存储系统转存至与冷数据标识对应的低频访问存储系统。
在本申请实施例中,第三访问频率可以为存储数据预设存储时长内的总访问次数,第三访问频率也可以为存储数据每秒的访问次数。
示例性的,若第三访问频率可以为存储数据在预设存储时长内的总访问次数,则第三访问频率可以为存储数据6个月内的总访问次数(如1000qps)。若第三访问频率为存储数据每秒的访问次数,则第三访问频率可以为1000qps/sec(每秒一千请求);或者第三访问频率可以为1000qps/sec、且可以持续5分钟。
在本申请实施例中,预设存储时长可以为信息处理装置中配置的时长;预设存储时长也可以为信息处理装置将第一数据的存储时长与预设存储时长对比之前,信息处理装置获取到的时长;预设存储时长还可以为信息处理装置以其他的方式获取到的时长,具体的可根据实际情况进行确定,本申请实施例对此不作限定。
在本申请实施例中,信息处理装置信息处理装置将第一数据从高频访问存储系统转存至与冷数据标识对应的低频访问存储系统的过程,包括信息处理装置先对第一数据进行压缩,得到压缩后的第一数据;信息处理装置将压缩后的第一数据转存至与低频访问存储系统。
在本申请实施例中,信息处理装置可以利用无损压缩算法(LZ4)压缩格式对存储数据进行压缩,得到压缩后的第一数据;信息处理装置也可以利用其他的数据压缩方式对存储数据进行压缩,得到压缩后的第一数据,具体的可根据实际情况进行确定,本申请实施例对此不作限定。
在本申请实施例中,信息处理装置还包括数据流转(compact)组件,数据流转组件,用于整理模块负责监控存储数据的访问频率和规则的制定,存储数据的生命周期满足业务设定的规则就可实现数据的流转(周期检查分析文件、统计文件访问频率、检查是否满足规则、自动化数据迁移)。
可以理解的是,在信息处理装置确定出存储至HDFS系统中的第一数据的访问频率小于预设访问频率阈值(或者第一数据的标识变为冷数据标识)的情况下,信息处理装置就可以利用数据流转组件将该第一数据转存至CFS系统中,不再需要人工对第一数据进行转存,实现了第一数据的自动化流转过程,提高了第一数据转存时的智能性。
在本申请实施例中,信息处理装置将将至少一类数据分别转存至至少一个存储系统之后,在信息处理装置将第二数据存储至低频访问存储系统、且第二数据的存储时长满足预设存储时长的情况下,信息处理装置检测第二数据的第四访问频率;在第四访问频率大于或者等于预设访问频率阈值的情况下,信息处理装置确定第二数据的标识为热数据标识;信息处理装置将第二数据从低频访问存储系统中转存至与热数据标识对应的高频访问存储系统。
在本申请实施例中,第四访问频率可以为第二数据在预设存储时长内的总访问次数,第四访问频率也可以为第二数据每秒的访问次数。
示例性的,若第四访问频率可以为第二数据在预设存储时长内的总访问次数,则第四访问频率可以为第二数据6个月内的总访问次数(如1000qps)。若第四访问频率为第二数据每秒的访问次数,则第四访问频率可以为1000qps/sec(每秒一千请求);或者第四访问频率可以为1000qps/sec、且可以持续5分钟。
在本申请实施例中,信息处理装置将第二数据从低频访问存储系统中转存至与热数据标识对应的高频访问存储系统的过程,包括信息处理装置先对第二数据进行压缩,得到压缩后的第二数据;信息处理装置将压缩后的第二数据转存至与热数据标识对应的高频访问存储系统。
在本申请实施例中,信息处理装置可以利用数据压缩组件(Zstandard,ZSTD)压缩格式对第二数据进行压缩,得到压缩后的第二数据;信息处理装置也可以利用其他的数据压缩方式对第二数据进行压缩,得到压缩后的第二数据,具体的可根据实际情况进行确定,本申请实施例对此不作限定。
可以理解的是,在信息处理装置确定出存储至CFS系统中的第二数据的访问频率大于或者等于预设访问频率阈值(或者第二数据的标识变为热数据标识)的情况下,信息处理装置就可以利用数据流转组件将该第二数据转存至HDFS系统中,不再需要人工对第二数据进行转存,实现了第二数据的自动化流转过程,提高了第二数据转存时的智能性。
示例性的,如图2所示:信息处理装置可以为NoSQL,NoSQL中包括Regionserver。具体的Regionserver包括内存、文件系统接口和数据流转组件(数据流转);NoSQL还包括管理节点。信息处理装置可以先利用管理节点接收存储数据对应的数据标识(创建表),之后,信息处理装置在接收到客户端写入的存储数据的情况下,信息处理装置就直接将该存储数据写入内存,在信息处理装置检测到内存中的剩余存储容量小于预设容量下限阈值的情况下,信息处理装置就检测内存中的存储数据对应的数据访问频率,信息处理装置从数据访问频率中筛选出热数据标识对应的第一访问频率,并从存储数据中确定出第一访问频率对应的第一数据;信息处理装置基于至少一类数据对应的至少一个存储类别选择存储介质,确定出第一数据对应的存储系统(类型为HDFS)为高频访问存储系统(HDFS客户端);信息处理装置通过文件系统接口将第一数据转存至高频访问存储系统。信息处理装置从数据访问频率中筛选出冷数据标识对应的第二访问频率,并从存储数据中确定出第二访问频率对应的第二数据;信息处理装置基于至少一类数据对应的至少一个存储类别选择存储介质,确定出第二数据对应的存储系统(类型为CFS)为低频访问存储系统(CFS客户端);信息处理装置通过文件系统接口将第二数据转存至低频访问存储系统。之后,信息处理装置在将第一数据存储至高频访问存储系统、且第一数据的存储时长满足预设存储时长的情况下,信息处理装置就周期性的检测第一数据的第三访问频率(周期检查分析文件检查文件访问频率检查是否满足规则自动化数据迁移);在第三访问频率小于预设访问频率阈值的情况下,信息处理装置确定第一数据的标识为冷数据标识;信息处理装置通过数据流转组件将第一数据从高频访问存储系统转存至与冷数据标识对应的低频访问存储系统。信息处理装置在将第二数据存储至低频访问存储系统、且第二数据的存储时长满足预设存储时长的情况下,信息处理装置就周期性的检测第二数据的第四访问频率(周期检查分析文件检查文件访问频率检查是否满足规则自动化数据迁移);在第四访问频率大于或者等于预设访问频率阈值的情况下,信息处理装置确定第二数据的标识为热数据标识;信息处理装置通过数据流转组件将第二数据从低频访问存储系统中转存至与热数据标识对应的高频访问存储系统。其中,HDFS系统为根据多个(可以为3个)SSD得到的系统。
示例性的,信息处理装置创建冷热表的方式可以为:
create'cold:table',{NAME=>'f1',METADATA=>{'DATA_STORAGE'=>'cfs'}}
create'chsTable',{NAME=>'f',COLD_BOUNDARY=>'86400'}。
示例性的,如图3所示:集群管理节点(管理节点)包括元数据管理、区域管理和初始化文件系统(初始化HDFS系统和CFS系统),在信息处理装置启动的情况下,集群管理节点就初始化HDFS系统和CFS系统,在Regionserver接收到客户端写入的存储数据的情况下,Regionserver就将该存储数据写入内存,在Regionserver检测到内存中的剩余存储容量小于预设容量下限阈值、且Regionserver确定出第一数据的标识为热数据标识的情况下,Regionserver就将该第一数据转存至HDFS系统;在Regionserver检测到内存中的剩余存储容量小于预设容量下限阈值、且Regionserver确定出第二数据的标识为冷数据标识的情况下,Regionserver就将该第二数据转存至CFS系统。
示例性的,如图4所示:信息处理装置在通过集群管理节点接收到客户端写入的存储数据的情况下,信息处理装置就直接将该存储数据写入内存,在信息处理装置检测到内存中的剩余存储容量小于预设容量下限阈值的情况下,信息处理装置就检测内存中的存储数据对应的数据访问频率,信息处理装置从数据访问频率中筛选出热数据标识对应的第一访问频率,并从存储数据中确定出第一访问频率对应的第一数据;信息处理装置基于至少一类数据对应的至少一个存储类别(类型为HDFS),确定出第一数据对应的存储系统为高频访问存储系统(CFS系统);信息处理装置通过文件系统接口将第一数据转存至高频访问存储系统。信息处理装置从数据访问频率中筛选出冷数据标识对应的第二访问频率,并从存储数据中确定出第二访问频率对应的第二数据;信息处理装置基于至少一类数据对应的至少一个存储类别(类型为CFS),确定出第二数据对应的存储系统为低频访问存储系统(CFS系统);信息处理装置通过文件系统接口将第二数据转存至低频访问存储系统。之后,信息处理装置在将第一数据存储至高频访问存储系统、且第一数据的存储时长满足预设存储时长的情况下,信息处理装置就检测第一数据的第三访问频率;在第三访问频率小于预设访问频率阈值的情况下,信息处理装置确定第一数据的标识为冷数据标识;信息处理装置就利用数据流转组件(数据流转)将第一数据从高频访问存储系统转存至与冷数据标识对应的低频访问存储系统。信息处理装置在将第二数据存储至低频访问存储系统、且第二数据的存储时长满足预设存储时长的情况下,信息处理装置就检测第二数据的第四访问频率;在第四访问频率大于或者等于预设访问频率阈值的情况下,信息处理装置确定第二数据的标识为热数据标识;信息处理装置就利用数据流转组件将第二数据从低频访问存储系统中转存至与热数据标识对应的高频访问存储系统。
示例性的,如图5所示:信息处理装置将客户端实时写入的存储数据存入内存,在信息处理装置确定出该存储数据中的第一数据的标识为热数据标识的情况下,信息处理装置就将第一数据转存(刷新)至HDFS系统(热烟层),在信息处理装置确定出热烟层的第一数据的标识变为冷数据标识的情况下,信息处理装置就确定与冷数据标识对应的存储位置为CFS系统(冷层);并利用LZ4压缩方式对第一数据进行压缩(数据压缩),将压缩后的第一数据转存至冷层;之后,在信息处理装置确定出冷层中的第一数据的标识变为热数据标识的情况下,信息处理装置确定与热数据标识对应的存储位置为热烟层;并利用ZSTD压缩方式对压缩后的第一数据进行压缩(数据压缩),得到第一压缩数据并将第一压缩数据转存至热烟层。其中,热烟层为文件系统层中的本地文件系统,包括(HDD、SSD、NVM、AEP存储级内存);冷层为文件系统层中的存储,具体包括云存储或者其他云存储。
可以理解的是,信息处理装置通过检测内存中的存储数据对应的数据访问频率,使得信息处理装置可以基于数据访问频率,将存储数据划分成至少一类数据,基于至少一类数据对应的至少一个存储类别,确定至少一类数据对应的至少一个存储系统,从而将至少一类数据分别转存至至少一个存储系统;其中,每一类数据对应一个存储系统,不需要再人工确定该存储数据的数据热度和对应的存储位置,也不需要人工来对存储数据进行转存,提高了对存储数据进行存储时的智能性。
实施例二
基于实施例一同一发明构思,本申请实施例提供了一种信息处理装置1,对应于一种信息处理方法;图6为本申请实施例提供的一种信息处理装置的组成结构示意图一,该信息处理装置1可以包括:
检测单元11,用于在检测到内存中的剩余存储容量小于或者等于预设容量下限阈值的情况下,检测所述内存中的存储数据对应的数据访问频率;
划分单元12,用于基于所述数据访问频率,将所述存储数据划分成至少一类数据;所述至少一类数据中的每一类数据对应一个存储类别;
确定单元13,用于基于所述至少一类数据对应的至少一个存储类别,确定所述至少一类数据对应的至少一个存储系统;
转存单元14,用于将所述至少一类数据分别转存至所述至少一个存储系统;其中,每一类数据对应一个存储系统。
在本申请的一些实施例中,所述装置还包括接收单元;
所述接收单元,用于接收所述存储数据对应的数据标识;所述数据标识包括热数据标识和冷数据标识;
相应的,所述至少一类数据包括第一数据和/或第二数据;所述装置还包括筛选单元和标识单元;
所述筛选单元,用于从所述数据标识中筛选出所述热数据标识;和/或,从所述数据标识中筛选出所述冷数据标识;
所述标识单元,用于利用所述热数据标识标识所述第一数据对应的第一访问频率;和/或,利用所述冷数据标识标识所述第二数据对应的第二访问频率;将所述第一访问频率和/或所述第二访问频率作为所述数据访问频率。。
在本申请的一些实施例中,所述筛选单元,用于从所述数据访问频率中筛选出所述热数据标识对应的所述第一访问频率,和/或,从所述数据访问频率中筛选出所述冷数据标识对应的所述第二访问频率;
所述确定单元13,用于从所述存储数据中确定出所述第一访问频率对应的所述第一数据;和/或,并从所述存储数据中确定出所述第二访问频率对应的所述第二数据。
在本申请的一些实施例中,所述确定单元13,用于在所述数据访问频率中筛选出访问频率大于或者等于预设访问频率阈值的第一访问频率,并在所述存储数据中确定与所述第一访问频率对应的第一数据;和/或,在所述数据访问频率中筛选出访问频率小于所述预设访问频率阈值的第二访问频率,并在所述存储数据中确定与所述第二访问频率对应的第二数据。。
在本申请的一些实施例中,所述至少一个存储系统包括高频访问存储系统和/或低频访问存储系统;
所述检测单元11,用于在将第一数据存储至所述高频访问存储系统、且所述第一数据的存储时长满足预设存储时长的情况下,检测所述第一数据的第三访问频率;
所述确定单元13,用于在所述第三访问频率小于预设访问频率阈值的情况下,确定所述第一数据的标识为冷数据标识;
所述转存单元14,用于将所述第一数据从所述高频访问存储系统转存至与所述所述冷数据标识对应的所述低频访问存储系统。
在本申请的一些实施例中,所述检测单元11,用于在将第二数据存储至低频访问存储系统、且所述第二数据的存储时长满足预设存储时长的情况下,检测所述第二数据的第四访问频率;
所述确定单元13,用于在所述第四访问频率大于或者等于预设访问频率阈值的情况下,确定所述第二数据的标识为热数据标识;
所述转存单元14,用于将所述第二数据从所述低频访问存储系统中转存至与所述热数据标识对应的高频访问存储系统。
需要说明的是,在实际应用中,上述检测单元11、划分单元12、确定单元13和转存单元14可由信息处理装置1上的处理器15实现,具体为CPU(Central Processing Unit,中央处理器)、MPU(Microprocessor Unit,微处理器)、DSP(Digital Signal Processing,数字信号处理器)或现场可编程门阵列(FPGA,Field Programmable Gate Array)等实现;上述数据存储可由信息处理装置1上的存储器16实现。
本发明实施例还提供了一种信息处理装置1,如图7所示,所述信息处理装置1包括:处理器15、存储器16和通信总线17,所述存储器16通过所述通信总线17与所述处理器15进行通信,所述存储器16存储所述处理器15可执行的程序,当所述程序被执行时,通过所述处理器15执行如上述所述的信息处理方法。
在实际应用中,上述存储器16可以是易失性存储器(volatile memory),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(non-volatile memory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(flash memory),硬盘(Hard DiskDrive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器15提供指令和数据。
本发明实施例提供了一种计算机可读存储介质,其上有计算机程序,所述程序被处理器15执行时实现如上述所述的信息处理方法。
可以理解的是,信息处理装置通过检测内存中的存储数据对应的数据访问频率,使得信息处理装置可以基于数据访问频率,将存储数据划分成至少一类数据,基于至少一类数据对应的至少一个存储类别,确定至少一类数据对应的至少一个存储系统,从而将至少一类数据分别转存至至少一个存储系统;其中,每一类数据对应一个存储系统,不需要再人工确定该存储数据的数据热度和对应的存储位置,也不需要人工来对存储数据进行转存,提高了对存储数据进行存储时的智能性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (10)
1.一种信息处理方法,其特征在于,所述方法包括:
在检测到内存中的剩余存储容量小于或者等于预设容量下限阈值的情况下,检测所述内存中的存储数据对应的数据访问频率;
基于所述数据访问频率,将所述存储数据划分成至少一类数据;所述至少一类数据中的每一类数据对应一个存储类别;
基于所述至少一类数据对应的至少一个存储类别,确定所述至少一类数据对应的至少一个存储系统,并将所述至少一类数据分别转存至所述至少一个存储系统;其中,每一类数据对应一个存储系统。
2.根据权利要求1所述的方法,其特征在于,所述在检测到内存中的剩余存储容量小于或者等于预设容量下限阈值的情况下,检测所述内存中的存储数据对应的数据访问频率之前,所述方法还包括:
接收所述存储数据对应的数据标识;所述数据标识包括热数据标识和冷数据标识;
相应的,所述至少一类数据包括第一数据和/或第二数据;所述检测所述内存中的存储数据对应的数据访问频率,包括:
从所述数据标识中筛选出所述热数据标识,并利用所述热数据标识标识所述第一数据对应的第一访问频率;
和/或,从所述数据标识中筛选出所述冷数据标识,并利用所述冷数据标识标识所述第二数据对应的第二访问频率;
将所述第一访问频率和/或所述第二访问频率作为所述数据访问频率。
3.根据权利要求2所述的方法,其特征在于,所述基于所述数据访问频率,将所述存储数据划分成至少一类数据,包括:
从所述数据访问频率中筛选出所述热数据标识对应的所述第一访问频率,并从所述存储数据中确定出所述第一访问频率对应的所述第一数据;
和/或,从所述数据访问频率中筛选出所述冷数据标识对应的所述第二访问频率,并从所述存储数据中确定出所述第二访问频率对应的所述第二数据。
4.根据权利要求1所述的方法,其特征在于,所述基于所述数据访问频率,将所述存储数据划分成至少一类数据,包括:
在所述数据访问频率中筛选出访问频率大于或者等于预设访问频率阈值的第一访问频率,并在所述存储数据中确定与所述第一访问频率对应的第一数据;
和/或,在所述数据访问频率中筛选出访问频率小于所述预设访问频率阈值的第二访问频率,并在所述存储数据中确定与所述第二访问频率对应的第二数据。
5.根据权利要求1所述的方法,其特征在于,所述至少一个存储系统包括高频访问存储系统和/或低频访问存储系统;所述将所述至少一类数据分别转存至所述至少一个存储系统之后,所述方法还包括:
在将第一数据存储至所述高频访问存储系统、且所述第一数据的存储时长满足预设存储时长的情况下,检测所述第一数据的第三访问频率;
在所述第三访问频率小于预设访问频率阈值的情况下,确定所述第一数据的标识为冷数据标识;
将所述第一数据从所述高频访问存储系统转存至与所述冷数据标识对应的所述低频访问存储系统。
6.根据权利要求1所述的方法,其特征在于,所述将所述至少一类数据分别转存至所述至少一个存储系统之后,所述方法还包括:
在将第二数据存储至低频访问存储系统、且所述第二数据的存储时长满足预设存储时长的情况下,检测所述第二数据的第四访问频率;
在所述第四访问频率大于或者等于预设访问频率阈值的情况下,确定所述第二数据的标识为热数据标识;
将所述第二数据从所述低频访问存储系统中转存至与所述热数据标识对应的高频访问存储系统。
7.一种信息处理装置,其特征在于,所述装置包括:
检测单元,用于在检测到内存中的剩余存储容量小于或者等于预设容量下限阈值的情况下,检测所述内存中的存储数据对应的数据访问频率;
划分单元,用于基于所述数据访问频率,将所述存储数据划分成至少一类数据;所述至少一类数据中的每一类数据对应一个存储类别;
确定单元,用于基于所述至少一类数据对应的至少一个存储类别,确定所述至少一类数据对应的至少一个存储系统;
转存单元,用于将所述至少一类数据分别转存至所述至少一个存储系统;其中,每一类数据对应一个存储系统。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括接收单元;
所述接收单元,用于接收所述存储数据对应的数据标识;所述数据标识包括热数据标识和冷数据标识;
相应的,所述至少一类数据包括第一数据和/或第二数据;所述装置还包括筛选单元和标识单元;
所述筛选单元,用于从所述数据标识中筛选出所述热数据标识;和/或,从所述数据标识中筛选出所述冷数据标识;
所述标识单元,用于利用所述热数据标识标识所述第一数据对应的第一访问频率;和/或,利用所述冷数据标识标识所述第二数据对应的第二访问频率;将所述第一访问频率和/或所述第二访问频率作为所述数据访问频率。
9.一种信息处理装置,其特征在于,所述装置包括:
存储器、处理器和通信总线,所述存储器通过所述通信总线与所述处理器进行通信,所述存储器存储所述处理器可执行的信息处理的程序,当所述信息处理的程序被执行时,通过所述处理器执行如权利要求1至6任一项所述的方法。
10.一种存储介质,其上存储有计算机程序,应用于信息处理装置,其特征在于,该计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110642322.6A CN113391764A (zh) | 2021-06-09 | 2021-06-09 | 一种信息处理方法及装置、存储介质 |
PCT/CN2022/088113 WO2022257615A1 (zh) | 2021-06-09 | 2022-04-21 | 一种信息处理方法及装置、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110642322.6A CN113391764A (zh) | 2021-06-09 | 2021-06-09 | 一种信息处理方法及装置、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113391764A true CN113391764A (zh) | 2021-09-14 |
Family
ID=77620025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110642322.6A Pending CN113391764A (zh) | 2021-06-09 | 2021-06-09 | 一种信息处理方法及装置、存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113391764A (zh) |
WO (1) | WO2022257615A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022257615A1 (zh) * | 2021-06-09 | 2022-12-15 | 北京沃东天骏信息技术有限公司 | 一种信息处理方法及装置、存储介质 |
CN115686382A (zh) * | 2022-12-30 | 2023-02-03 | 南京鲸鲨数据科技有限公司 | 一种数据存储及读取方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116303233A (zh) * | 2022-12-19 | 2023-06-23 | 广州市玄武无线科技股份有限公司 | 一种数据存储的管理方法、装置、设备和计算机存储介质 |
CN115794045B (zh) * | 2023-02-07 | 2023-05-12 | 山东信息职业技术学院 | 基于大数据的软件开发应用数据处理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216460A (ja) * | 2002-01-21 | 2003-07-31 | Hitachi Ltd | 階層ストレージ装置及びその制御装置 |
CN103631538B (zh) * | 2013-12-05 | 2017-04-05 | 华为技术有限公司 | 冷热数据识别门限值计算方法、装置和系统 |
CN110019081B (zh) * | 2017-07-20 | 2023-04-07 | 中兴通讯股份有限公司 | 数据持久化处理方法、装置、系统及可读存储介质 |
US10353596B2 (en) * | 2017-09-28 | 2019-07-16 | International Business Machines Corporation | Data storage system performance management |
CN107908791A (zh) * | 2017-12-12 | 2018-04-13 | 郑州云海信息技术有限公司 | 分布式存储系统中数据缓存方法、装置、设备及存储介质 |
CN109491618A (zh) * | 2018-11-20 | 2019-03-19 | 上海科技大学 | 基于混合存储的数据管理系统、方法、终端及介质 |
CN112905113A (zh) * | 2021-02-08 | 2021-06-04 | 中国工商银行股份有限公司 | 数据访问处理方法和装置 |
CN113391764A (zh) * | 2021-06-09 | 2021-09-14 | 北京沃东天骏信息技术有限公司 | 一种信息处理方法及装置、存储介质 |
-
2021
- 2021-06-09 CN CN202110642322.6A patent/CN113391764A/zh active Pending
-
2022
- 2022-04-21 WO PCT/CN2022/088113 patent/WO2022257615A1/zh unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022257615A1 (zh) * | 2021-06-09 | 2022-12-15 | 北京沃东天骏信息技术有限公司 | 一种信息处理方法及装置、存储介质 |
CN115686382A (zh) * | 2022-12-30 | 2023-02-03 | 南京鲸鲨数据科技有限公司 | 一种数据存储及读取方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022257615A1 (zh) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113391764A (zh) | 一种信息处理方法及装置、存储介质 | |
US11886704B2 (en) | System and method for granular deduplication | |
US10228851B2 (en) | Cluster storage using subsegmenting for efficient storage | |
AU2014218837B2 (en) | Deduplication storage system with efficient reference updating and space reclamation | |
US10078583B1 (en) | Method and system for reducing memory used in embedded DDRs by using spare drives for OOC GC | |
US8473462B1 (en) | Change tracking for shared disks | |
US11586359B1 (en) | Tracking storage consumption in a storage array | |
KR20170054299A (ko) | 메모리 관리 시의 중복 제거를 위해서 기준 세트로 기준 블록을 취합하는 기법 | |
US11151030B1 (en) | Method for prediction of the duration of garbage collection for backup storage systems | |
US10228858B1 (en) | System and method for granular deduplication | |
US9690501B1 (en) | Method and system for determining data profiles using block-based methodology | |
US10515009B1 (en) | Method and system for reducing memory requirements during distributed garbage collection of deduplicated datasets | |
US9679007B1 (en) | Techniques for managing references to containers | |
US20170109376A1 (en) | Method for managing data using in-memory database and apparatus thereof | |
CN108363727B (zh) | 一种基于zfs文件系统的数据存储方法及装置 | |
US20210216657A1 (en) | Distributing data amongst storage components using data sensitivity classifications | |
CN116578410A (zh) | 资源管理方法、装置、计算机设备和存储介质 | |
CN116204311A (zh) | Pod集群扩缩容方法、装置、计算机设备和存储介质 | |
CN107846429B (zh) | 一种文件备份方法、装置和系统 | |
US11409604B1 (en) | Storage optimization of pre-allocated units of storage | |
US11003504B2 (en) | Scaling virtualization resource units of applications | |
US10929342B2 (en) | Techniques for limiting the maximum storage consumed by a file system without shrinking an underlying volume | |
CN111625502A (zh) | 数据读取方法及装置、存储介质、电子装置 | |
CN111399763B (zh) | 数据存储的方法、装置、系统、设备及存储介质 | |
CN112860694B (zh) | 业务数据的处理方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |