CN103020255B - 分级存储方法和装置 - Google Patents

分级存储方法和装置 Download PDF

Info

Publication number
CN103020255B
CN103020255B CN201210560683.7A CN201210560683A CN103020255B CN 103020255 B CN103020255 B CN 103020255B CN 201210560683 A CN201210560683 A CN 201210560683A CN 103020255 B CN103020255 B CN 103020255B
Authority
CN
China
Prior art keywords
data
data block
hierarchical storage
migrated
attribute information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210560683.7A
Other languages
English (en)
Other versions
CN103020255A (zh
Inventor
胡波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huawei Technology Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201210560683.7A priority Critical patent/CN103020255B/zh
Publication of CN103020255A publication Critical patent/CN103020255A/zh
Application granted granted Critical
Publication of CN103020255B publication Critical patent/CN103020255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种分级存储方法和装置,分级存储方法包括采用预设合并规则,将重复的数据块的属性信息进行合并处理;在对重复数据块的属性信息进行合并处理后,将属性信息满足分级存储条件的数据块作为待迁移数据,并将待迁移数据迁移到所述分级存储条件对应的设备。本发明实施例的分级存储方法和装置,能够保证分级存储之后设备上数据块总量不增加,从而保证数据块分级存储以后不造成重删率下降。

Description

分级存储方法和装置
技术领域
本发明实施例涉及计算机技术,尤其涉及分级存储方法和装置。
背景技术
分级存储是根据数据的重要性、访问频率等属性,将一些重要性较高、访问频率较高的数据存储到性能较高存储设备中,而将另一些重要性较低、访问频率较低的数据存储到性能较低的存储设备中,从而,一方面减少非重要数据在性能较高存储设备上所占用的空间,另一方面加快系统的存储性能,降低系统成本。
通常,在支持重复数据删除的重删系统中,数据以基于散列划分的数据块或基于内容划分的数据块为单位进行存储,为了减少非重要数据在性能较高存储设备上所占用的空间,降低系统成本,重删系统根据该系统存储设备的空间使用情况或周期性地对系统中的数据进行分级存储。
图1为重删系统中文件的存储状态示意图;图2为采用现有多级存储方法对重删系统中的文件进行分级存储以后的文件的存储状态示意图,如图1所示,A文件11和B文件22以数据块为单位存储在支持重复数据删除的存储设备12,其中,A文件11包括5个数据块,分别为数据块101、数据块102、数据块103、数据块104、和数据块105,B文件22包括5个数据块,分别为数据块102、数据块103、数据块203、数据块204、和数据块101,存储设备12将A文件11和B文件22中相同的数据块存储在同一个实体中,通过分类,存储设备12确定A文件11为价值较高的文件,B文件22为价值较低的文件,将A文件11分级存储到性能较高的高速存储设备33中存储,将B文件22分级存储到性能较低的慢速存储设备44中存储,因此将A文件11包括的所有数据块迁移到性能较高的存储设备33中,将B文件22包括的所有数据块迁移到性能较低的慢速存储设备44中,迁移后A文件11和B文件22的存储状态如图2所示,可见,进行多级存储之前,文件在重删系统中的重删率即数据的实际大小/重删后存储的数据大小为10/7,多级存储之后文件在存储系统中的重删率为10/10,相当于恢复到未对文件重删的情况,因此,现有的分级存储方法,导致已经进行了重删的文件分级存储以后又恢复到重删以前的状态,即分级存储后重删率下降。
发明内容
本发明实施例的目的在于提供一种分级存储方法和装置,旨在解决现有分级存储方法的分级存储后重删率下降的问题。
第一方面,本发明实施例提供一种分级存储方法,包括:
采用预设合并规则,将重复的数据块的属性信息进行合并处理;
在对所述重复数据块的属性信息进行合并处理后,将属性信息满足分级存储条件的数据块作为待迁移数据,并将所述待迁移数据迁移到所述分级存储条件对应的第二设备。
结合第一方面,在第一方面的第一种可能的实现方式中,所述分级存储条件包括如下一种或者几种的组合:特定用户信息、特定创建时间、特定访问时间、特定修改时间、特定访问频度和特定数据块所属的文件的类型;或者,
所述分级存储条件包括如下一种或者几种的组合:特定用户信息范围、特定创建时间范围、特定访问时间范围、特定修改时间范围、特定访问频度范围和特定数据块所属的文件的类型范围;
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,
所述数据块的属性信息包括如下一种或者几种组合:所述数据块的用户信息、创建时间、访问时间、修改时间、访问频度和所述数据块所属的文件的类型。
结合第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,还包括:
获取所述待迁移数据在所述分级存储条件对应的设备上的地址;
根据所述分级存储条件对应的设备上的地址,修改所述待迁移数据所对应的元数据中指向所述待迁移数据的地址。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,还包括:
接收数据访问请求,所述数据访问请求包括数据块标识;
根据所述数据访问请求,查询获取所述数据块标识对应的元数据中指向所述数据块标识的地址,根据所述数据块标识对应的元数据中指向所述数据块标识的地址,访问所述数据块标识对应的数据块中的数据。
结合第一方面,在第一方面的第五种可能的实现方式中,包括:
接收数据访问请求,所述数据访问请求包括数据块标识;
根据所述数据访问请求,获取与所述数据块标识对应的数据块,并对所述数据块中的数据进行访问。
第二方面,本发明提供一种分级存储装置,包括:
合并处理模块,用于采用预设合并规则,将重复的数据块的属性信息进行合并处理;
迁移模块,用于在所述合并处理模块对所述重复数据块的属性信息进行合并处理后,将属性信息满足分级存储条件的数据块作为待迁移数据,并将所述待迁移数据迁移到所述分级存储条件对应的设备。
结合第二方面,在第二方面的第一种可能的实现方式中,还包括:
地址获取模块,用于获取所述待迁移数据在所述分级存储条件对应的设备上的地址;
地址修改模块,用于根据所述分级存储条件对应的设备上的地址,修改所述待迁移数据所对应的元数据中指向所述待迁移数据的地址。
结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,还包括:
接收模块,用于接收数据访问请求,所述数据访问请求包括数据块标识;
访问模块,用于根据所述数据访问请求,查询所述数据块标识对应的元数据中指向所述数据块标识的地址,根据所述数据块标识对应的元数据中指向所述数据块标识的地址,访问所述数据块标识对应的数据块中的数据。
结合第二方面,在第二方面的第三种可能的实现方式中,还包括:
接收模块,用于接收数据访问请求,所述数据访问请求包括数据块标识;
访问模块,用于根据所述数据访问请求,获取与所述数据块标识对应的数据块,并对所述数据块中的数据进行访问。
本发明实施例的分级存储方法和装置,分级存储装置采用预设合并规则,将重复的数据块的属性信息进行合并处理,合并处理以后通过分级存储条件,将属性信息满足分级存储条件的数据块迁移到分级存储条件对应的设备上,能够当待迁移数据块从分级存储装置迁移到分级存储条件对应的设备之后,分级存储装置中将不存在该迁移数据块,相较于现有技术中是以文件为迁移单位而使得在文件迁移后分级存储装置和分级存储条件对应的设备中都可能存在相同的数据块来说,本发明的分级存储过程不会造成重删率下降。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为重删系统中文件的存储状态示意图;
图2为采用现有多级存储方法对重删系统中的文件进行分级存储以后的文件的存储状态示意图;
图3为本发明分级存储方法实施例一的方法流程图;
图4a为本发明分级存储之前数据的存储状态示意图;
图4b为本发明分级存储之后数据的存储状态示意图;
图5为本发明分级存储方法实施例二的方法流程图;
图6为本发明分级存储装置实施例一的装置示意图;
图7为本发明分级存储装置实施例二的装置示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图3为本发明分级存储方法实施例一的方法流程图,如图3所示,本实施例的执行主体为分级存储装置,该方法包括:
301、采用预设合并规则,将重复的数据块的属性信息进行合并处理。
具体地,分级存储装置可以为支持重复数据删除的快速存储设备、支持重复数据删除的慢速存储设备或者支持重复数据删除的中速存储设备等。其中,快速存储设备的性能高于中速存储设备的性能、中速存储设备的性能高于慢速存储设备的性能,例如,对快速存储设备和慢速存储设备执行相同操作时,快速存储设备的响应时间往往小于慢速存储设备的响应时间。
另外,分级存储装置可以采用安全散列算法、信息摘要算法等将向该分级存储装置上存储的数据流划分成数据块,并在每个数据块中记录该数据块的属性信息,数据块的属性信息具体可以为反应该数据块特征的特征值,该属性信息可以为一个特征值也可以为几个特征值的组合,例如:数据块的属性信息包括该数据块的用户信息、创建时间、访问时间、修改时间、访问频度以及该数据块所属的文件的文件类型,或者,数据块的属性信息包括该数据块的用户信息和创建时间,在其它实施例中,数据块的属性信息还可以包括上述特征值的其它组合,此处不一一列举。
当分级存储装置的重复数据删除系统(以下简称重删系统)对该分级存储装置执行重复数据删除操作时,重删系统将该分级存储装置中数据块的内容相同且数据块属性信息可以相同也可以不相同的数据块即重复的数据块进行合并,保留该重复的数据块中的一个数据块,并采用预设合并规则将其它重复的数据块中的属性信息合并到该保留的数据块的属性信息中。
例如:数据块A中包含用户信息、创建时间、访问频度、访问时间和数据块所属的文件的类型,共5种属性信息,该5种属性信息的值例如为:用户信息为m、创建时间为2012-10-1、访问频度为10次、访问时间为2012-12-1、数据块所属的文件的类型为world;数据块B中包含用户信息、创建时间、访问频度和访问时间,共4种属性信息,该4种属性信息的值例如为:用户信息为n、创建时间为2011-10-1、访问频度为5次、访问时间为2011-12-1,数据块A与数据块B中的数据内容相同,第一设备将该重复的数据块A与数据块B进行合并,合并后的数据块为数据块C,数据块C中的数据内容与数据块A及数据块B中的数据内容相同,数据块C的属性信息为根据预设合并规则将数据块A的属性信息与数据块B的属性信息进行合并后的属性信息,合并后数据块C中记录的属性信息为:
若待合并的数据块的用户信息都相同,合并后数据块的用户信息为任意一个待合并的数据块的用户信息,若待合并的数据块的用户信息不都相同,合并后数据块的用户信息为待合并的数据块的所有用户信息中互不相同的用户信息的组合。因此,数据块C的用户信息为m、n;
数据块C的创建时间为数据块A的创建时间和数据块B的创建时间中较早的时间,即数据块C的创建时间为2011-10-1;
数据块C的访问频度为数据块A的访问频度和数据块B的访问频度之和,即数据块C的访问频度为15;
数据块C的访问时间为数据块A的访问时间与数据块B的访问时间中较晚的时间,即数据块C的访问时间为2012-12-1;
数据块C的数据块所属的文件的类型为具有该属性值的数据块A的数据块所属的文件的类型,即数据块C的数据块所属的文件的类型为world。
302、在对重复数据块的属性信息进行合并处理后,将属性信息满足分级存储条件的数据块作为待迁移数据,并将待迁移数据迁移到分级存储条件对应的设备。
优选的,分级存储条件可以包括如下一种或者几种的组合:特定用户信息、特定创建时间、特定访问时间、特定修改时间、特定访问频度和特定数据块所属的文件的类型;或者,
分级存储条件可以包括如下一种或者几种的组合:特定用户信息范围、特定创建时间范围、特定访问时间范围、特定修改时间范围、特定访问频度范围和特定数据块所属的文件的类型范围;
还需要说的是,分级存储装置的类型不同时,其存储的分级存储条件也不相同。同时,分级存储装置可以包括多个分级存储条件。
另外,以分级存储装置的类型为快速存储设备,且分级存储装置包括多个分级存储条件为例,其中,第一分级存储条件为属性信息小于第一特定访问频度,且大于第二特定访问频度的分级存储条件;第二分级存储条件为属性信息小于第二特定访问频度的分级存储条件。具体的,分级存储装置在对设备中重复数据块的属性信息进行合并处理后,当分级存储装置第一设备中的数据块的属性信息小于该第一特定访问频度,且大于第二特定访问频度时,说明不适于将该数据块存储在该分级存储装置中,且该数据块适于存储在中速存储设备中,则将该数据块作为待迁移数据块,并将该待迁移数据块迁移到中速存储设备上;当分级存储装置中的数据块的属性信息小于该第二特定访问频度时,说明不适于将数据块存储在该分级存储装置中,且该数据块适于存储在慢速存储设备中,则将该数据块作为待迁移数据块,并将该待迁移数据块迁移到慢速存储设备上。
该待迁移数据块迁移到分级存储条件对应的设备能够释放分级存储装置的存储空间,使分级存储装置能够存储更多访问频度较高的数据块,以提高该分级存储装置的存储效率。
其中,该分级存储条件可以根据需要人为设定。另外,可见,由于是以数据块作为迁移单位,因此,当待迁移数据块从分级存储装置迁移到分级存储条件对应的设备之后,分级存储装置中将不存在该迁移数据块,相较于现有技术中是以文件为迁移单位而使得在文件迁移后分级存储装置和分级存储条件对应的设备中都可能存在相同的数据块来说,本发明的分级存储过程不会造成重删率下降。
本实施例中,分级存储装置采用预设合并规则,将重复的数据块的属性信息进行合并处理,合并处理以后通过分级存储条件,将属性信息满足分级存储条件的数据块迁移到分级存储条件对应的设备上,能够当待迁移数据块从分级存储装置迁移到分级存储条件对应的设备之后,分级存储装置中将不存在该迁移数据块,相较于现有技术中是以文件为迁移单位而使得在文件迁移后分级存储装置和分级存储条件对应的设备中都可能存在相同的数据块来说,本发明的分级存储过程不会造成重删率下降。
进一步地,在上述实施例的基础上,所述数据块的属性信息包括如下一种或者几种组合:数据块的用户信息、创建时间、访问时间、修改时间、访问频度和数据块所属的文件的类型;
具体地,举例来说,图4a为本发明分级存储之前数据的存储状态示意图,图4b为本发明分级存储之后数据的存储状态示意图,如图4a所示,文件4a和文件4b存储在分级存储装置41中,其中,文件4a包括数据块4a101、4a102、4a103、4a104和4a105,文件4b包括数据块4b101、4b102、4b103、4b104和4b105,文件4a与文件4b有三个相同的数据块分别为:数据块4a101的内容与数据块4b105的内容相同、数据块4a102的内容与数据块4b101的内容相同以及数据块4a103的内容与数据块4b102的内容相同,数据块4a101中包含的访问频度属性信息为10次、数据块4b105中包含的访问频度属性信息为2次,数据块4a102中包含的访问频度属性信息为3次、数据块4b101中包含的访问频度属性信息为2次、数据块4a103中包含的访问频度属性信息为4次、数据块4b102中包含的访问频度属性信息为4次。
分级存储装置41将数据块的内容相同的数据块4a101与数据块4b105进行合并、合并后保留数据块4a101中的内容,并将数据块4a101中的访问频度修改为数据块4a101与数据块4b105的原访问频度值之和,即合并后数据块4a101的访问频度为10加2等于12;将内容相同的数据块4a102与数据块4b101进行合并,合并后保留数据块4a102中的内容,并将数据块4a102中的访问频度修改为数据块4a102与数据块4b101的原访问频度值之和,即合并后数据块4a102的访问频度为3加2等于5;将内容相同的数据块4a103与数据块4b102进行合并,合并后保留数据块4a103中的内容,并将数据块4a103中的访问频度修改为数据块4a103与数据块4b102的原访问频度值之和,即合并后数据块4a103的访问频度为4加4等于8。
分级存储装置41可以预设一分级存储条件,该预设的分级存储条件为:数据块属性信息中的访问频度大于7,分级存储装置41根据该预设的分级存储条件将分级存储装置41中数据块的访问频度大于7的数据块4a101和数据块4a103迁移到与该分级存储条件对应的设备42,迁移后的数据存储状态如图4b所示,可见,数据块4a101和数据块4a103从分级存储装置41迁移到与该分级存储条件对应的设备42之后,分级存储装置41上不再存储该数据块4a101和数据块4a103,因此,保证了数据块分级存储以后不造成重删率下降。
图5为本发明分级存储方法实施例二的方法流程图,在上述图3所示实施例的基础上,依据上述实施例的分级存储方法完成数据块迁移之后,被迁移数据块从一个分级存储装置迁移到分级存储条件对应的设备,因此,该被迁移数据块的地址发生了变化,依据该被迁移数据块所属的文件的元数据,可能无法正常访问该被迁移数据块,为解决无法正常访问该被迁移数据块的问题,如图5所示,步骤302之后,该方法还包括:
501、获取待迁移数据在分级存储条件对应的设备上的地址。
具体地,在上述实施例的基础上,待迁移数据块迁移到另一分级存储条件对应的设备上以后,依据该待迁移数据块中记录的该待迁移数据块所属文件的元数据的地址,数据块迁移后所在的设备将数据块的在该设备上的新地址发送数据块迁移之前所在的分级存储装置。
502、根据分级存储条件对应的设备上的地址,修改待迁移数据所对应的元数据中指向待迁移数据的地址。
具体地,数据块迁移之前所在的分级存储装置根据数据块迁移后所在的设备发送的该数据块的新地址,修改该待迁移数据块所属的所有文件的元数据中指向该待迁移数据块的地址,以使该元数据中指向该待迁移数据块的地址指向该待迁移数据块的新地址。
在上述实施例的基础上,进一步地,还可以接收数据访问请求,数据访问请求包括数据块标识;根据数据访问请求,查询获取数据块标识对应的元数据中指向数据块标识的地址,根据数据块标识对应的元数据中指向数据块标识的地址,访问数据块标识对应的数据块中的数据。
更进一步地,还可以接收数据访问请求,数据访问请求包括数据块标识;根据数据访问请求,获取与据块标识对应的数据块,并对数据块中的数据进行访问。
具体地,分级存储装置接收用户向发送的数据访问请求,该数据访问请求中包含用户请求访问的数据块的数据块标识,分级存储装置根据数据块标识,首先在预先设定的设备中查询是否存在与数据块标识相对应的数据块,该预先设定的设备可以是接收数据访问请求的本地分级存储装置;或者,还可以是分级存储装置中分级存储条件对应的设备中的一个设备,若预先设定的设备中存在数据块标识,则访问与该数据块标识相对应的数据块中的数据;若预先设定的分级设备中不存在数据块标识,则依次在其它设备中查询与数据块标识相对应的数据块直至访问到该数据块。举例来说,当预先设定的设备为接收数据访问请求的本地分级存储装置,若该分级存储装置不存在该数据块标识,则依次在分级存储装置中分级存储条件对应的设备中查找。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本发明分级存储装置实施例一的装置示意图,如图6所示,本实施例的分级存储装置600包括:合并处理模块601和迁移模块602,其中,处理模块601用于采用预设合并规则,将重复的数据块的属性信息进行合并处理;迁移模块602用于在合并处理模块601对所述重复数据块的属性信息进行合并处理后,将属性信息满足分级存储条件的数据块作为待迁移数据,并将所述待迁移数据迁移到所述分级存储条件对应的设备。
本实施例的分级存储装置可以用于执行图3所示的分级存储方法,执行方法可以参照分级存储方法实施例一,此处不再赘述。
本实施例中,合并处理模块采用预设合并规则,将重复的数据块的属性信息进行合并处理,迁移模块在合并处理模块对重复数据块的属性信息进行合并处理后,将属性信息满足分级存储条件的数据块迁移到分级存储条件对应的设备上,能够当迁移模块将待迁移数据块从一个分级存储装置迁移到分级存储条件对应的另一设备之后,迁移之前的分级存储装置中将不存在该迁移数据块,相较于现有技术中是以文件为迁移单位而使得在文件迁移后分级存储装置和分级存储条件对应的设备中都可能存在相同的数据块来说,本发明的分级存储装置不会造成重删率下降。
图7为本发明分级存储装置实施例二的装置示意图,如图7所示,在上述图6所示的分级存储装置600的基础上,分级存储装置600还可以包括地址获取模块701和地址修改模块702,其中,地址获取模块701用于获取所述待迁移数据在所述分级存储条件对应的设备上的地址;地址修改模块702用于根据所述分级存储条件对应的设备上的地址,修改所述待迁移数据所对应的元数据中指向所述待迁移数据的地址。
本实施例的分级存储装置可以用于执行图5所示的分级存储方法,执行方法和有益效果类似可以参照分级存储方法实施例二,此处不再赘述。
在上述实施例的基础上,进一步地,分级存储装置600还可以包括:接收模块和访问模块,其中,接收模块用于接收数据访问请求,数据访问请求包括数据块标识;访问模块,用于根据数据访问请求,查询数据块标识对应的元数据中指向数据块标识的地址,根据数据块标识对应的元数据中指向所述数据块标识的地址,访问数据块标识对应的数据块中的数据。
在如图6所示的分级存储装置实施例二的基础上,进一步地,分级存储装置600还可以包括:接收模块和访问模块,其中,接收模块,用于接收数据访问请求,数据访问请求包括数据块标识;访问模块,用于根据数据访问请求,获取与数据块标识对应的数据块,并对数据块中的数据进行访问。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种分级存储方法,其特征在于,包括:
采用预设合并规则,保留重复的数据块中的一个数据块,将其它重复的数据块中的属性信息合并到保留的数据块的属性信息中;
在将其它重复的数据块中的属性信息合并到保留的数据块的属性信息中后,将属性信息满足分级存储条件的数据块作为待迁移数据,并将所述待迁移数据迁移到所述分级存储条件对应的设备。
2.根据权利要求1所述的方法,其特征在于,所述分级存储条件包括如下一种或者几种的组合:特定用户信息、特定创建时间、特定访问时间、特定修改时间、特定访问频度和特定数据块所属的文件的类型;或者,
所述分级存储条件包括如下一种或者几种的组合:特定用户信息范围、特定创建时间范围、特定访问时间范围、特定修改时间范围、特定访问频度范围和特定数据块所属的文件的类型范围。
3.根据权利要求2所述的方法,其特征在于,所述数据块的属性信息包括如下一种或者几种组合:所述数据块的用户信息、创建时间、访问时间、修改时间、访问频度和所述数据块所属的文件的类型。
4.根据权利要求2或3所述的方法,其特征在于,还包括:
获取所述待迁移数据在所述分级存储条件对应的设备上的地址;
根据所述分级存储条件对应的设备上的地址,修改所述待迁移数据所对应的元数据中指向所述待迁移数据的地址。
5.根据权利要求4所述的方法,其特征在于,还包括:
接收数据访问请求,所述数据访问请求包括数据块标识;
根据所述数据访问请求,查询获取所述数据块标识对应的元数据中指向所述数据块标识的地址,根据所述数据块标识对应的元数据中指向所述数据块标识的地址,访问所述数据块标识对应的数据块中的数据。
6.根据权利要求1所述的方法,其特征在于,包括:
接收数据访问请求,所述数据访问请求包括数据块标识;
根据所述数据访问请求,获取与所述数据块标识对应的数据块,并对所述数据块中的数据进行访问。
7.一种分级存储装置,其特征在于,包括:
合并处理模块,用于采用预设合并规则,保留重复的数据块中的一个数据块,将其它重复的数据块中的属性信息合并到保留的数据块的属性信息中;
迁移模块,用于在将其它重复的数据块中的属性信息合并到保留的数据块的属性信息中后,将属性信息满足分级存储条件的数据块作为待迁移数据,并将所述待迁移数据迁移到所述分级存储条件对应的设备。
8.根据权利要求7所述的装置,其特征在于,还包括:
地址获取模块,用于获取所述待迁移数据在所述分级存储条件对应的设备上的地址;
地址修改模块,用于根据所述分级存储条件对应的设备上的地址,修改所述待迁移数据所对应的元数据中指向所述待迁移数据的地址。
9.根据权利要求8所述的装置,其特征在于,还包括:
接收模块,用于接收数据访问请求,所述数据访问请求包括数据块标识;
访问模块,用于根据所述数据访问请求,查询所述数据块标识对应的元数据中指向所述数据块标识的地址,根据所述数据块标识对应的元数据中指向所述数据块标识的地址,访问所述数据块标识对应的数据块中的数据。
10.根据权利要求7所述的装置,其特征在于,还包括:
接收模块,用于接收数据访问请求,所述数据访问请求包括数据块标识;
访问模块,用于根据所述数据访问请求,获取与所述数据块标识对应的数据块,并对所述数据块中的数据进行访问。
CN201210560683.7A 2012-12-21 2012-12-21 分级存储方法和装置 Active CN103020255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210560683.7A CN103020255B (zh) 2012-12-21 2012-12-21 分级存储方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210560683.7A CN103020255B (zh) 2012-12-21 2012-12-21 分级存储方法和装置

Publications (2)

Publication Number Publication Date
CN103020255A CN103020255A (zh) 2013-04-03
CN103020255B true CN103020255B (zh) 2016-03-02

Family

ID=47968858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210560683.7A Active CN103020255B (zh) 2012-12-21 2012-12-21 分级存储方法和装置

Country Status (1)

Country Link
CN (1) CN103020255B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166650B (zh) * 2013-05-16 2018-03-06 方正宽带网络服务股份有限公司 数据存储装置和数据存储方法
CN103491152A (zh) * 2013-09-17 2014-01-01 华为数字技术(苏州)有限公司 分布式文件系统中元数据获取方法、装置及系统
CN103645860B (zh) * 2013-11-27 2017-01-25 华为技术有限公司 存储空间的管理方法和存储管理装置
CN105607965A (zh) * 2015-11-09 2016-05-25 深圳前海达闼科技有限公司 一种应用数据备份及备份下发的方法、装置及系统
CN106599292B (zh) * 2016-12-26 2020-05-15 东方网力科技股份有限公司 针对实时视频数据和图像数据进行存储的方法及系统
CN107784108A (zh) * 2017-10-31 2018-03-09 郑州云海信息技术有限公司 一种数据存储管理方法、装置及设备
CN109101197A (zh) * 2018-08-15 2018-12-28 郑州云海信息技术有限公司 一种文件存储和访问方法、装置、文件存储器及系统
CN109522332A (zh) * 2018-11-22 2019-03-26 泰康保险集团股份有限公司 客户信息数据合并方法、装置、设备及可读存储介质
CN110209666B (zh) * 2019-04-04 2020-01-31 特斯联(北京)科技有限公司 一种数据存储方法及终端设备
KR102693834B1 (ko) * 2019-09-02 2024-08-12 에스케이하이닉스 주식회사 저장 장치 및 그 동작 방법
CN110674086A (zh) * 2019-09-29 2020-01-10 广州华多网络科技有限公司 数据合并方法、装置、电子设备及存储介质
CN111176894A (zh) * 2019-12-27 2020-05-19 柏科数据技术(深圳)股份有限公司 一种用于数据存储及数据灾备的存储分层技术
CN111447275B (zh) * 2020-03-26 2021-01-01 深圳市中盛瑞达科技有限公司 存储系统和存储装置
CN112783661B (zh) * 2021-02-08 2022-08-12 上海交通大学 一种适用于容器环境下的内存重删方法及装置
CN116450887B (zh) * 2023-03-03 2024-05-17 山东博鹏信息科技有限公司 一种医院信息化设备管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7315979B1 (en) * 1998-11-09 2008-01-01 Tesseron Ltd. Method and system for dynamic flowing data to an arbitrary path defined by a page description language
WO2009132144A2 (en) * 2008-04-25 2009-10-29 Netapp, Inc. Network storage server with integrated encryption, compression and deduplication capability
CN102200936A (zh) * 2011-05-11 2011-09-28 杨钧 适用于云存储的智能配置存储备份方法
CN102323958A (zh) * 2011-10-27 2012-01-18 上海文广互动电视有限公司 重复数据删除方法
CN102521138A (zh) * 2011-11-28 2012-06-27 成都市华为赛门铁克科技有限公司 数据迁移触发方法和装置
CN102521152A (zh) * 2011-11-29 2012-06-27 成都市华为赛门铁克科技有限公司 一种分级存储方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7913163B1 (en) * 2004-09-22 2011-03-22 Google Inc. Determining semantically distinct regions of a document
US20120221546A1 (en) * 2011-02-24 2012-08-30 Rafsky Lawrence C Method and system for facilitating web content aggregation initiated by a client or server

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7315979B1 (en) * 1998-11-09 2008-01-01 Tesseron Ltd. Method and system for dynamic flowing data to an arbitrary path defined by a page description language
WO2009132144A2 (en) * 2008-04-25 2009-10-29 Netapp, Inc. Network storage server with integrated encryption, compression and deduplication capability
CN102200936A (zh) * 2011-05-11 2011-09-28 杨钧 适用于云存储的智能配置存储备份方法
CN102323958A (zh) * 2011-10-27 2012-01-18 上海文广互动电视有限公司 重复数据删除方法
CN102521138A (zh) * 2011-11-28 2012-06-27 成都市华为赛门铁克科技有限公司 数据迁移触发方法和装置
CN102521152A (zh) * 2011-11-29 2012-06-27 成都市华为赛门铁克科技有限公司 一种分级存储方法及系统

Also Published As

Publication number Publication date
CN103020255A (zh) 2013-04-03

Similar Documents

Publication Publication Date Title
CN103020255B (zh) 分级存储方法和装置
CN109254733B (zh) 用于存储数据的方法、装置和系统
JP5732536B2 (ja) 重複排除に基づくストレージシステムにおけるスケーラブル参照管理のためのシステム、方法及び非一時的なコンピュータ可読ストレージ媒体
CN107169083B (zh) 公安卡口海量车辆数据存储与检索方法及装置、电子设备
US20130018855A1 (en) Data deduplication
US8719237B2 (en) Method and apparatus for deleting duplicate data
US10509701B2 (en) Performing data backups using snapshots
CN107038206B (zh) Lsm树的建立方法、lsm树的数据读取方法和服务器
EP2863310B1 (en) Data processing method and apparatus, and shared storage device
KR20160003682A (ko) 플레이스홀더에 의한 하이드레이션 및 디하이드레이션 기법
CN108614837B (zh) 文件存储和检索的方法及装置
US10515055B2 (en) Mapping logical identifiers using multiple identifier spaces
KR20170123336A (ko) 파일 조작 방법 및 장치
CN110888837B (zh) 对象存储小文件归并方法及装置
CN113064859B (zh) 一种元数据处理方法、装置及电子设备和存储介质
CN104881466A (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN110908589A (zh) 数据文件的处理方法、装置、系统和存储介质
CN104965835B (zh) 一种分布式文件系统的文件读写方法及装置
CN112965939A (zh) 一种文件合并方法、装置和设备
CN112597348A (zh) 一种大数据存储优化的方法及装置
US10558636B2 (en) Index page with latch-free access
CN117369731B (zh) 一种数据的缩减处理方法、装置、设备及介质
CN114297196A (zh) 元数据存储方法、装置、电子设备及存储介质
KR20120016747A (ko) 분산파일 시스템에서의 중복 제거 장치 및 방법
CN106354793B (zh) 监控热点对象的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220530

Address after: No. 1899 Xiyuan Avenue, high tech Zone (West District), Chengdu, Sichuan 610041

Patentee after: Chengdu Huawei Technologies Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.