CN107329700A - 一种分布式集群数据存储方法及系统 - Google Patents

一种分布式集群数据存储方法及系统 Download PDF

Info

Publication number
CN107329700A
CN107329700A CN201710517679.5A CN201710517679A CN107329700A CN 107329700 A CN107329700 A CN 107329700A CN 201710517679 A CN201710517679 A CN 201710517679A CN 107329700 A CN107329700 A CN 107329700A
Authority
CN
China
Prior art keywords
data
storage system
priority
storage
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710517679.5A
Other languages
English (en)
Inventor
陈莹昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710517679.5A priority Critical patent/CN107329700A/zh
Publication of CN107329700A publication Critical patent/CN107329700A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0637Permissions

Abstract

本申请公开了一种分布式集群数据存储方法,包括:确定第一存储系统中每个数据的优先级;判断第一存储系统中目标数据的优先级是否大于预设优先级阈值;其中,目标数据为第一存储系统中的任意数据;若目标数据的优先级大于所述预设优先级阈值,则将所述目标数据拷贝至第二存储系统,以通过所述第二存储系统为针对所述目标数据的数据访问请求提供相应的数据访问服务;其中,所述第二存储系统为存储性能优于所述第一存储系统的存储系统。本申请解决了调用第一存储系统中优先级高的目标数据响应慢的问题。

Description

一种分布式集群数据存储方法及系统
技术领域
本发明涉及软件开发领域,特别涉及一种分布式集群数据存储方法及系统。
背景技术
随着社会的高速发展,信息的流通量也越来越大,人们所要存储的数据也越来越多,传统的数据存储方式,是将数据存储在单个的计算机当中,但是随着存储数据的不断增多,传统的数据存储方式已经很难对这些大批量的数据进行管理,并且维持数据的高效运行。此种情况下,分布式集群存储系统的应用越来越广泛,分布式集群存储系统是每台计算机各自提供自己的存储空间,并相互协调共同管理所有计算机节点中的文件。在分布式集群数据存储当中,数据的存储量通常会很大,而且经常会出现一些用户把使用频率较高的数据存储在了存储系统中性能较低的磁盘当中,这时就会出现用户在调用这些数据时,响应过慢的情况,严重影响了用户的体验,这也是该技术领域所面临到的一个技术难题。
发明内容
有鉴于此,本发明的目的在于提供一种分布式集群数据存储方法及系统,其目的在于提高用户在读取数据时的用户体验。其具体方案如下:
一种分布式集群数据存储方法,包括:
确定第一存储系统中每个数据的优先级;
判断所述第一存储系统中目标数据的优先级是否大于预设优先级阈值;其中,所述目标数据为所述第一存储系统中的任意数据;
若所述目标数据的优先级大于所述预设优先级阈值,则将所述目标数据拷贝至第二存储系统,以通过所述第二存储系统为针对所述目标数据的数据访问请求提供相应的数据访问服务;
其中,所述第二存储系统为存储性能优于所述第一存储系统的存储系统。
优选的,所述确定第一存储系统中每个数据的优先级的过程,包括:
获取用户终端发送的优先级设定指令;
根据所述优先级设定指令,对所述第一存储系统中每个数据的优先级进行相应地设定,得到所述第一存储系统中每个数据的优先级。
优选的,所述确定第一存储系统中每个数据的优先级的过程,包括:
统计所述第一存储系统中每个数据的被访问频率;
根据所述第一存储系统中每个数据的被访问频率,对所述第一存储系统中的每个数据的优先级进行相应地设定,得到所述第一存储系统中每个数据的优先级;
其中,数据的被访问频率与数据的优先级之间呈正相关关系。
优选的,还包括:
按照预设的数据备份周期,将所述第二存储系统中的数据定期备份至所述第一存储系统。
优选的,还包括:
确定当前所述第二存储系统中每个数据的优先级;
判断位于所述第一存储系统中的第一数据的优先级是否大于位于所述第二存储系统中的优先级;其中,所述第一存储数据为所述第一存储系统中的任一数据,所述第二数据为所述第二存储系统中的任一数据;
若所述第一数据的优先级大于所述第二系统的优先级,则将所述第二数据备份至所述第一存储系统,并利用所述第一数据对位于所述第二存储系统中的所述第二数据进行替换处理。
优选的,所述确定当前所述第二存储系统中每个数据的优先级的过程,包括:
确定所述第二存储系统中每个数据的初始优先级,其中,所述第二存储系统中任一数据的初始优先级为该数据从所述第一存储系统拷贝至所述第二存储系统时所对应的优先级;
统计所述第二存储系统中每个数据的被访问频率;
利用所述第二存储系统中每个数据的被访问频率,对所述第二存储系统中每个数据的初始优先级进行相应地调整,得到当前所述第二存储系统中每个数据的优先级。
本发明还公开了一种分布式集群数据存储系统,包括:
第一优先级确定模块,用于确定第一存储系统中每个数据的优先级;
第一优先级判断模块,用于判断所述第一存储系统中目标数据的优先级是否大于预设优先级阈值;其中,所述目标数据为所述第一存储系统中的任意数据;
数据拷贝模块,用于当所述目标数据的优先级大于所述预设优先级阈值,则将所述目标数据拷贝至第二存储系统,以通过所述第二存储系统为针对所述目标数据的数据访问请求提供相应的数据访问服务;
其中,所述第二存储系统为存储性能优于所述第一存储系统的存储系统。
优选的,所述第一优先级确定模块,包括:
指令获取单元,用于获取用户终端发送的优先级设定指令;
第一优先级设定单元,用于根据所述优先级设定指令,对所述第一存储系统中每个数据的优先级进行相应地设定,得到所述第一存储系统中每个数据的优先级。
优选的,所述第一优先级确定模块,包括:
第一频率统计单元,用于统计所述第一存储系统中每个数据的被访问频率;
第二优先级设定单元,用于根据所述第一存储系统中每个数据的被访问频率,对所述第一存储系统中的每个数据的优先级进行相应地设定,得到所述第一存储系统中每个数据的优先级;
其中,数据的被访问频率与数据的优先级之间呈正相关关系。
优选的,还包括:
数据定期备份模块,用于按照预设的数据备份周期,将所述第二存储系统中的数据定期备份至所述第一存储系统。
优选的,还包括:
第二优先级确定模块,用于确定当前所述第二存储系统中每个数据的优先级;
第二优先级判断模块,用于判断位于所述第一存储系统的第一数据的优先级是否大于位于所述第二存储系统中的优先级;其中,所述第一数据为所述第一存储系统中的任一数据,所述第二数据为所述第二存储系统中的任一数据;
数据处理模块,用于当所述第一数据的优先级大于所述第二数据的优先级,则将所述第二数据备份至所述第一存储系统,并利用所述第一数据对位于所述第二存储系统中的所述第二数据进行替换处理。
优选的,所述第二优先级确定模块,包括:
优先级确定单元,用于确定所述第二存储系统中每个数据的初始优先级;其中,所述第二存储系统中任一数据的初始优先级为该数据从所述第一存储系统拷贝至所述第二存储系统时所对应的优先级;
第二频率统计单元,用于统计所述第二存储系统中每个数据的被访问频率;
优先级调整单元,利用所述第二存储系统中每个数据的被访问频率,对所述第二存储系统中每个数据的初始优先级进行相应地调整,得到当前所述第二存储系统中每个数据的优先级。
本发明中,分布式集群数据存储方法,包括:确定第一存储系统中每个数据的优先级;判断所述第一存储系统中目标数据的优先级是否大于预设优先级阈值;其中,所述目标数据为所述第一存储系统中的任意数据;若所述目标数据的优先级大于所述预设优先级阈值,则将所述目标数据拷贝至第二存储系统,以通过所述第二存储系统为针对所述目标数据的数据访问请求提供相应的数据访问服务;其中,所述第二存储系统为存储性能优于所述第一存储系统的存储系统。通过本发明提供的这种方法,将第一存储系统中的任意数据的优先级通过和预设优先级阈值作比较,将第一存储系统中大于预设优先级阈值的目标数据存储在比第一存储系统性能优先级高的第二存储系统当中。这样当之前存储在第一存储系统当中,随后复制拷贝到第二存储系统当中的优先级高的目标数据收到数据访问请求时,就会比在第一存储系统中,更快地响应数据访问请求,通过这样的方式加快了数据的调用过程,提升了用户的使用体验。
而且,本发明通过对第二存储系统中的数据定期备份到第一存储系统当中,解决了现有技术当中因某些原因导致系统异常而引发高频率数据大量丢失的现象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例1公开的一种分布式集群数据存储方法流程图;
图2为本发明实施例2公开的一种分布式集群数据存储方法流程图;
图3为本发明实施例3公开的一种分布式集群数据存储方法流程图;
图4为本发明实施例4公开的一种分布式集群数据存储方法流程图;
图5为本发明实施例公开的一种分布式集群数据存储系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例1公开了一种分布式集群数据存储方法,参见图1所示,该方法包括:
步骤S11:确定第一存储系统中每个数据的优先级;
可以理解的是,第一存储系统为存储所有用户数据的存储系统,确定第一存储系统中每个数据的优先级的方法,包括但不限于,是由用户根据自己的数据使用习惯进行设置,也可以是系统根据数据的被访问频率,来调整第一存储系统中每个数据的优先级。
步骤S12:判断上述第一存储系统中目标数据的优先级是否大于预设优先级阈值;其中,上述目标数据为上述第一存储系统中的任意数据;
可以理解的是,预设优先级阈值可以是用户自己设定的一个阈值,也可以是系统根据用户对数据的被访问频率,通过相关的数据计算方法来获取到的一个预设优先级阈值;
步骤S13:若上述目标数据的优先级大于上述预设优先级阈值,则将上述目标数据拷贝至第二存储系统,以通过上述第二存储系统为针对上述目标数据的数据访问请求提供相应的数据访问服务;其中,上述第二存储系统为存储性能优于上述第一存储系统的存储系统。
可以理解的是,通过上述的两个步骤得到了第一存储系统中任意数据的优先级,并且跟预设优先级阈值作比较,得到第一存储系统中的两类数据,一类是数据优先级比预设优先级阈值高的数据,一类是比预设优先级阈值低的数据。此时,系统把数据优先级比预设优先级阈值高的数据存储到第二存储系统当中。
可见,在本发明中对数据进行存储时,将第一存储系统中的任意数据的优先级通过和预设优先级阈值进行比较,将第一存储系统中大于预设优先级阈值的目标数据存储在比第一存储系统性能优先级高的第二存储系统中,通过这样的方式,这样当之前存储在第一存储系统当中,随后复制拷贝到第二存储系统当中的优先级高的目标数据收到数据访问请求时,就会比在第一存储系统中,更快地响应数据访问请求,通过这样的方式加快了数据的调用过程,提升了用户的使用体验。
本发明实施例2公开了一种具体的分布式集群数据存储方法,相对于上一实施例,本实施例对技术方案作了进一步的说明和优化。具体的:
步骤S21:获取用户终端发送的优先级设定指令;根据上述优先级设定指令,对上述第一存储系统中每个数据的优先级进行相应的设定,得到上述第一存储系统中每个数据的优先级。
可以理解的是,每个用户在操作存储在系统中的数据时,都会拥有自己存储数据的个人习惯,此时系统获取用户终端发送的相关指令来对第一存储系统中每个数据的优先级进行设定,从而得到第一存储系统中每个数据的优先级。显然通过这样的方法,会更加符合用户对数据的调用习惯。
步骤S22:判断上述第一存储系统中目标数据的优先级是否大于预设优先级阈值;其中,上述目标数据为上述第一存储系统中的任意数据;
在本实施例中,预设优先级阈值的设定方法包括但不限于用户自己进行设定,或者是系统根据用户对数据的访问频率来进行设定。
步骤S23:若上述目标数据的优先级大于上述预设优先级阈值,则将上述目标数据拷贝至第二存储系统,以通过上述第二存储系统为针对上述目标数据的数据访问请求提供相应的数据访问服务;其中,上述第二存储系统为存储性能优于上述第一存储系统的存储系统。
可以理解的是,通过上述的两个步骤得到了第一存储系统中任意数据的优先级,并且跟预设优先级阈值作比较,得到第一存储系统中的两类数据,一类是数据优先级比预设优先级阈值高的数据,一类是比预设优先级阈值低的数据。此时,系统把数据优先级比预设优先级阈值高的数据存储到第二存储系统当中;这样当之前存储在第一存储系统当中,随后复制拷贝到第二存储系统当中优先级高的目标数据收到数据访问请求时,就会比在第一存储系统中,更快地响应数据访问请求,通过这样的方式加快了数据的调用过程,提升了用户的使用体验。
步骤S24:按照预设的数据备份周期,将上述第二存储系统中的数据定期备份至上述第一存储系统。
可以理解的是,在用户使用存储系统存储数据的过程中,不可避免的会遇到一些异常情况,而引起存储系统中的数据大量丢失,严重影响了用户的用户体验,所以为了避免这种情况的发生,可以把数据进行定期的备份。需要说明的是,在用户操作系统的过程中,第二存储系统中的数据要比第一存储系统中的数据被访问频率高,所以定期的把第二存储系统中的数据备份至第一存储系统中,可以避免高频率数据大量丢失,而给用户带来的损失。
需要说明的是,本实施例中的数据备份周期的设定,可以包括但不限于用户对数据备份周期进行设定,或者是通过其他的方法对数据备份周期进行设定。当然,在本实施例中对数据备份周期的时长也不作限定。
本发明实施例3公开了一种具体的分布式集群数据存储方法,相对于上一实施例,本实施例对技术方案作了进一步的说明和优化。具体的:
步骤S31:统计第一存储系统中每个数据的被访问频率;根据上述第一存储系统中每个数据的被访问频率,对上述第一存储系统中的每个数据的优先级进行相应地设定,得到上述第一存储系统中每个数据的优先级;其中,数据的被访问频率与数据的优先级之间呈正相关关系。
可以理解的是,通过统计第一存储系统中每个数据的被访问频率来对第一存储系统中的每个数据的优先级进行相应地设定,通过这样的方法,使得第一存储系统中每个数据的优先级更加精确,可避免一些不客观因素带来的设定误差。
步骤S32:判断上述第一存储系统中目标数据的优先级是否大于预设优先级阈值;其中,上述目标数据为所述第一存储系统中的任意数据;
可以理解的是,预设优先级阈值的设定方法包括但不限于用户自己进行设定,或者是系统根据用户对数据的访问频率来进行设定。
步骤S33:若上述目标数据的优先级大于上述预设优先级阈值,则将上述目标数据拷贝至第二存储系统,以通过上述第二存储系统为针对上述目标数据的数据访问请求提供相应的数据访问服务;其中,上述第二存储系统为存储性能优于所述第一存储系统的存储系统。
可以理解的是,这样当之前存储在第一存储系统当中,随后复制拷贝到第二存储系统当中优先级高的目标数据收到数据访问请求时,就会比在第一存储系统中,更快地响应数据访问请求,通过这样的方式加快了数据的调用过程,提升了用户的使用体验。
步骤S34:按照预设的数据备份周期,将上述第二存储系统中的数据定期备份至上述第一存储系统。
可以理解的是,在用户使用存储系统存储数据的过程中,不可避免的会遇到一些异常情况,而引起存储系统中的数据大量丢失,严重影响了用户的用户体验,所以为了避免这种情况的发生,可以把数据进行定期的备份。需要说明的是,在用户操作系统的过程中,第二存储系统中的数据要比第一存储系统中的数据被访问频率高,所以定期的把第二存储系统中的数据备份至第一存储系统中,可以避免高频率数据大量丢失,而给用户带来的损失。
需要说明的是,本实施例中的数据备份周期的设定,可以包括但不限于用户对数据备份周期进行设定,或者是通过其他的方法对数据备份周期进行设定。当然,在本实施例中对数据备份周期的时长也不作限定。
更进一步的,在本申请公开的实施例2和实施3的基础上,本申请实施例4公开了一种优化后的分布式集群数据存储方法,参见图4所示,具体的:
步骤S41:确定第一存储系统中每个数据的优先级;
可以理解的是,第一存储系统为存储所有用户数据的存储系统,确定第一存储系统中每个数据的优先级的方法,包括但不限于,是由用户根据自己的数据使用习惯进行设置,也可以是系统根据数据的被访问频率,来进行相应的调整。
步骤S42:判断上述第一存储系统中目标数据的优先级是否大于预设优先级阈值;其中,上述目标数据为所述第一存储系统中的任意数据;
可以理解的是,预设优先级阈值可以是用户自己设定的一个阈值,也可以是系统根据用户对数据的被访问频率,通关相关的数据计算方法来获取到的一个预设优先级阈值;
步骤S43:若上述目标数据的优先级大于上述预设优先级阈值,则将上述目标数据拷贝至第二存储系统,以通过上述第二存储系统为针对上述目标数据的数据访问请求提供相应的数据访问服务;其中,上述第二存储系统为存储性能优于上述第一存储系统的存储系统。
可以理解的是,这样当之前存储在第一存储系统当中,随后复制拷贝到第二存储系统当中优先级高的目标数据收到数据访问请求时,就会比在第一存储系统中,更快地响应数据访问请求,通过这样的方式加快了数据的调用过程,提升了用户的使用体验。
步骤S44:确定当前第二存储系统中每个数据的优先级;
其中,上述确定当前上述第二存储系统中每个数据的优先级的过程,具体包括下面步骤S441、步骤S442和步骤S443:
步骤S441:确定上述第二存储系统中每个数据的初始优先级;其中,上述第二存储系统中任一数据的初始优先级为该数据从上述第一存储系统拷贝至上述第二存储系统时所对应的优先级;
步骤S442:统计上述第二存储系统中每个数据的被访问频率;
步骤S443:利用上述第二存储系统中每个数据的被访问频率,对上述第二存储系统中每个数据的初始优先级进行相应地调整,得到当前上述第二存储系统中每个数据的优先级。
可以理解的是,在第二存储系统当中,数据也存在着优先级高低的问题,通过本申请实施例中这一方法步骤,可以对第二存储系统中的数据进行排序和调整,使得系统调用相关的数据时,更加快速、精确。
步骤S45:判断位于上述第一存储系统中的第一数据的优先级是否大于位于上述第二存储系统中的优先级;其中,上述第一数据为上述第一存储系统中的任一数据,上述第二数据为上述第二存储系统中的任一数据;
步骤S46:若上述第一数据的优先级大于上述第二数据的优先级,则将上述第二数据备份至上述第一存储系统,并利用上述第一数据对位于上述第二存储系统中的上述第二数据进行替换处理。
可以理解的是,在对第一存储系统和第二存储系统当中的数据进行调整的过程中,第二存储系统当中存在着比第一存储系统当中数据优先级低的数据,通过本申请实施例提供的这种方法,可以让存储系统中的数据优先级自动调整、更新,便于系统的调用。
步骤S47:按照预设的数据备份周期,将上述第二存储系统中的数据定期备份至所述第一存储系统。
可以理解的是,在用户使用存储系统存储数据的过程中,不可避免的会遇到一些异常情况,而引起存储系统中的数据大量丢失,严重影响了用户的用户体验,所以为了避免这种情况的发生,可以把数据进行定期的备份。需要说明的是,在用户操作系统的过程中,第二存储系统中的数据要比第一存储系统中的数据被访问频率高,所以定期的把第二存储系统中的数据备份至第一存储系统中,可以避免高频率数据大量丢失,而给用户带来的损失。
需要说明的是,本实施例中的数据备份周期的设定,可以包括但不限于用户对数据备份周期进行设定,或者是通过其他的方法对数据备份周期进行设定。当然,在本实施例中对数据备份周期的时长也不作限定。
相应的,本发明还公开了一种分布式集群数据存储系统,参见图5所示,该系统包括:
第一优先级确定模块51,用于确定第一存储系统中每个数据的优先级;
第一优先级判断模块52,用于判断上述第一存储系统中目标数据的优先级是否大于预设优先级阈值;其中,上述目标数据为上述第一存储系统中的任意数据;
数据拷贝模块53,用于当上述目标数据的优先级大于上述预设优先级阈值,则将上述目标数据拷贝至第二存储系统,以通过上述第二存储系统为针对上述目标数据的数据访问请求提供相应的数据访问服务;其中,上述第二存储系统为存储性能优于上述第一存储系统的存储系统。
具体的,上述第一优先级确定模块51,包括指令获取单元和第一优先级设定单元,其中:
指令获取单元,用于获取用户终端发送的优先级设定指令;
第一优先级设定单元,用于根据上述优先级设定指令,对上述第一存储系统中每个数据的优先级进行相应地设定,得到上述第一存储系统中每个数据的优先级。
具体的,上述第一优先级确定模块51,包括第一频率统计单元和第二优先级设定单元,其中:
第一频率统计单元,用于统计上述第一存储系统中每个数据的被访问频率;
第二优先级设定单元,用于根据上述第一存储系统中每个数据的被访问频率,对上述第一存储系统中的每个数据的优先级进行相应地设定,得到上述第一存储系统中每个数据的优先级;
其中,数据的被访问频率与数据的优先级之间呈正相关关系。
优选的,本申请实施例公开的分布式集群数据存储系统,还包括:
数据定期备份模块54,用于按照预设的数据备份周期,将上述第二存储系统中的数据定期备份至上述第一存储系统。
优选的,本申请实施例公开的分布式集群数据存储系统,还包括:
第二优先级确定模块55,用于确定当前上述第二存储系统中每个数据的优先级;
第二优先级判断模块56,用于判断位于上述第一存储系统的第一数据的优先级是否大于位于上述第二存储系统中的优先级;其中,上述第一数据为上述第一存储系统中的任一数据,上述第二数据为上述第二存储系统中的任一数据;
数据处理模块57,用于当上述第一数据的优先级大于上述第二数据的优先级,则将上述第二数据备份至上述第一存储系统,并利用上述第一数据对位于上述第二存储系统中的上述第二数据进行替换处理。
具体的,所述第二优先级确定模块55,包括优先级确定单元、第二频率统计单元和优先级调整单元,其中:
优先级确定单元,用于确定上述第二存储系统中每个数据的初始优先级;其中,上述第二存储系统中任一数据的初始优先级为该数据从上述第一存储系统拷贝至上述第二存储系统时所对应的优先级;
第二频率统计单元,用于统计上述第二存储系统中每个数据的被访问频率;
优先级调整单元,用于利用上述第二存储系统中每个数据的被访问频率,对上述第二存储系统中每个数据的初始优先级进行相应地调整,得到当前上述第二存储系统中每个数据的优先级。
关于上述各个模块和各个单元更加详细的工作过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种分布式集群数据存储方法及系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种分布式集群数据存储方法,其特征在于,包括:
确定第一存储系统中每个数据的优先级;
判断所述第一存储系统中目标数据的优先级是否大于预设优先级阈值;其中,所述目标数据为所述第一存储系统中的任意数据;
若所述目标数据的优先级大于所述预设优先级阈值,则将所述目标数据拷贝至第二存储系统,以通过所述第二存储系统为针对所述目标数据的数据访问请求提供相应的数据访问服务;
其中,所述第二存储系统为存储性能优于所述第一存储系统的存储系统。
2.根据权利要求1所述的方法,其特征在于,所述确定第一存储系统中每个数据的优先级的过程,包括:
获取用户终端发送的优先级设定指令;
根据所述优先级设定指令,对所述第一存储系统中每个数据的优先级进行相应地设定,得到所述第一存储系统中每个数据的优先级。
3.根据权利要求1所述的方法,其特征在于,所述确定第一存储系统中每个数据的优先级的过程,包括:
统计所述第一存储系统中每个数据的被访问频率;
根据所述第一存储系统中每个数据的被访问频率,对所述第一存储系统中的每个数据的优先级进行相应地设定,得到所述第一存储系统中每个数据的优先级;
其中,数据的被访问频率与数据的优先级之间呈正相关关系。
4.根据权利要求1所述的方法,其特征在于,还包括:
按照预设的数据备份周期,将所述第二存储系统中的数据定期备份至所述第一存储系统。
5.根据权利要求1至4任一项所述的方法,其特征在于,还包括:
确定当前所述第二存储系统中每个数据的优先级;
判断位于所述第一存储系统中的第一数据的优先级是否大于位于所述第二存储系统中的优先级;其中,所述第一存储数据为所述第一存储系统中的任一数据,所述第二数据为所述第二存储系统中的任一数据;
若所述第一数据的优先级大于所述第二系统的优先级,则将所述第二数据备份至所述第一存储系统,并利用所述第一数据对位于所述第二存储系统中的所述第二数据进行替换处理。
6.根据权利要求5所述的方法,其特征在于,所述确定当前所述第二存储系统中每个数据的优先级的过程,包括:
确定所述第二存储系统中每个数据的初始优先级,其中,所述第二存储系统中任一数据的初始优先级为该数据从所述第一存储系统拷贝至所述第二存储系统时所对应的优先级;
统计所述第二存储系统中每个数据的被访问频率;
利用所述第二存储系统中每个数据的被访问频率,对所述第二存储系统中每个数据的初始优先级进行相应地调整,得到当前所述第二存储系统中每个数据的优先级。
7.一种分布式集群数据存储系统,其特征在于,包括:
第一优先级确定模块,用于确定第一存储系统中每个数据的优先级;
第一优先级判断模块,用于判断所述第一存储系统中目标数据的优先级是否大于预设优先级阈值;其中,所述目标数据为所述第一存储系统中的任意数据;
数据拷贝模块,用于当所述目标数据的优先级大于所述预设优先级阈值,则将所述目标数据拷贝至第二存储系统,以通过所述第二存储系统为针对所述目标数据的数据访问请求提供相应的数据访问服务;
其中,所述第二存储系统为存储性能优于所述第一存储系统的存储系统。
8.根据权利要求7所述的数据存储系统,其特征在于,所述第一优先级确定模块,包括:
指令获取单元,用于获取用户终端发送的优先级设定指令;
第一优先级设定单元,用于根据所述优先级设定指令,对所述第一存储系统中每个数据的优先级进行相应地设定,得到所述第一存储系统中每个数据的优先级。
9.根据权利要求7所述的数据存储系统,其特征在于,所述第一优先级确定模块,包括:
第一频率统计单元,用于统计所述第一存储系统中每个数据的被访问频率;
第二优先级设定单元,用于根据所述第一存储系统中每个数据的被访问频率,对所述第一存储系统中的每个数据的优先级进行相应地设定,得到所述第一存储系统中每个数据的优先级;
其中,数据的被访问频率与数据的优先级之间呈正相关关系。
10.根据权利要求7所述的数据存储系统,其特征在于,还包括:
数据定期备份模块,用于按照预设的数据备份周期,将所述第二存储系统中的数据定期备份至所述第一存储系统。
11.根据权利要求7至10任一项所述的数据存储系统,其特征在于,还包括:
第二优先级确定模块,用于确定当前所述第二存储系统中每个数据的优先级;
第二优先级判断模块,用于判断位于所述第一存储系统的第一数据的优先级是否大于位于所述第二存储系统中的优先级;其中,所述第一数据为所述第一存储系统中的任一数据,所述第二数据为所述第二存储系统中的任一数据;
数据处理模块,用于当所述第一数据的优先级大于所述第二数据的优先级,则将所述第二数据备份至所述第一存储系统,并利用所述第一数据对位于所述第二存储系统中的所述第二数据进行替换处理。
12.根据权利要求11所述的数据存储系统,其特征在于,所述第二优先级确定模块,包括:
优先级确定单元,用于确定所述第二存储系统中每个数据的初始优先级;其中,所述第二存储系统中任一数据的初始优先级为该数据从所述第一存储系统拷贝至所述第二存储系统时所对应的优先级;
第二频率统计单元,用于统计所述第二存储系统中每个数据的被访问频率;
优先级调整单元,利用所述第二存储系统中每个数据的被访问频率,对所述第二存储系统中每个数据的初始优先级进行相应地调整,得到当前所述第二存储系统中每个数据的优先级。
CN201710517679.5A 2017-06-29 2017-06-29 一种分布式集群数据存储方法及系统 Pending CN107329700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710517679.5A CN107329700A (zh) 2017-06-29 2017-06-29 一种分布式集群数据存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710517679.5A CN107329700A (zh) 2017-06-29 2017-06-29 一种分布式集群数据存储方法及系统

Publications (1)

Publication Number Publication Date
CN107329700A true CN107329700A (zh) 2017-11-07

Family

ID=60197443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710517679.5A Pending CN107329700A (zh) 2017-06-29 2017-06-29 一种分布式集群数据存储方法及系统

Country Status (1)

Country Link
CN (1) CN107329700A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144791A (zh) * 2018-09-30 2019-01-04 北京金山云网络技术有限公司 数据转存方法、装置和数据管理服务器
CN110032473A (zh) * 2019-04-12 2019-07-19 惠州Tcl移动通信有限公司 数据保护方法、装置、电子设备和系统
CN114647386A (zh) * 2022-04-02 2022-06-21 南京大昌智能科技有限公司 基于人工智能的大数据分布式存储方法
CN117555250A (zh) * 2024-01-02 2024-02-13 珠海格力电器股份有限公司 控制方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102713827A (zh) * 2010-01-07 2012-10-03 国际商业机器公司 用于分层存储架构的区间迁移
CN104978362A (zh) * 2014-04-11 2015-10-14 中兴通讯股份有限公司 分布式文件系统的数据迁移方法、装置及元数据服务器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102713827A (zh) * 2010-01-07 2012-10-03 国际商业机器公司 用于分层存储架构的区间迁移
CN104978362A (zh) * 2014-04-11 2015-10-14 中兴通讯股份有限公司 分布式文件系统的数据迁移方法、装置及元数据服务器

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144791A (zh) * 2018-09-30 2019-01-04 北京金山云网络技术有限公司 数据转存方法、装置和数据管理服务器
CN110032473A (zh) * 2019-04-12 2019-07-19 惠州Tcl移动通信有限公司 数据保护方法、装置、电子设备和系统
CN114647386A (zh) * 2022-04-02 2022-06-21 南京大昌智能科技有限公司 基于人工智能的大数据分布式存储方法
CN114647386B (zh) * 2022-04-02 2023-12-26 水发科技信息(山东)有限公司 基于人工智能的大数据分布式存储方法
CN117555250A (zh) * 2024-01-02 2024-02-13 珠海格力电器股份有限公司 控制方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107329700A (zh) 一种分布式集群数据存储方法及系统
CN110134513B (zh) 负载均衡方法、装置、计算机设备及存储介质
EP3221795A1 (en) Service addressing in distributed environment
CN108509157A (zh) 一种应用于分布式文件系统的数据均衡方法及装置
CN111767142B (zh) 服务节点的限流阈值设置方法和服务端设备
CN110933178B (zh) 调整集群系统内的节点配置的方法及服务器
CN110471749A (zh) 任务处理方法、装置、计算机可读存储介质和计算机设备
CN111988422A (zh) 应用服务的订阅方法、装置、服务器及存储介质
CN114356557B (zh) 一种集群扩容方法及装置
CN106789901A (zh) 一种防止恶意提交网页请求的方法及装置
EP3401862A1 (en) Data storage and service processing method and device
CN111562884B (zh) 一种数据存储方法、装置及电子设备
CN111371841B (zh) 一种数据监控的方法及装置
CN105468699B (zh) 去重数据统计方法及设备
CN108270753B (zh) 注销用户账号的方法及装置
CN108512768B (zh) 一种访问量的控制方法及装置
CN111767270A (zh) 数据迁移方法、装置、服务器及存储介质
WO2020094064A1 (zh) 性能优化方法、装置、设备及计算机可读存储介质
CN108255703B (zh) 一种sql脚本的故障修复方法及其终端
CN108073408A (zh) 自助终端的系统更新方法和装置
CN110149352A (zh) 一种业务请求处理方法、装置、计算机设备和存储介质
WO2021093079A1 (zh) 一种业务数据的处理方法及系统
CN108563504A (zh) 一种资源管控方法和装置
CN112286930A (zh) redis业务方资源共享的方法、装置、存储介质及电子设备
CN106482742A (zh) 计步数据的获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171107

RJ01 Rejection of invention patent application after publication