CN114416677A - 一种冷存储数据的更新方法、装置、设备及存储介质 - Google Patents
一种冷存储数据的更新方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114416677A CN114416677A CN202111665727.8A CN202111665727A CN114416677A CN 114416677 A CN114416677 A CN 114416677A CN 202111665727 A CN202111665727 A CN 202111665727A CN 114416677 A CN114416677 A CN 114416677A
- Authority
- CN
- China
- Prior art keywords
- data
- change
- request
- cold
- updating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
- G06F16/125—File system administration, e.g. details of archiving or snapshots using management policies characterised by the use of retention policies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例涉及数据处理技术领域,具体涉及一种冷存储数据的更新方法、装置、设备及存储介质,旨在减少更新冷数据所需的休眠状态存储设备的启动次数,节省存储设备的存储空间。所述方法包括:通过数据变更接口接收数据变更请求,根据所述数据变更请求,确定所述数据变更请求对应的变更信息,所述数据变更请求是针对处于休眠状态的存储设备中的冷数据发出的变更请求;将所述数据变更请求对应的变更信息记录在更新日志中;记录所述数据变更请求对应的数据更新量;当数据更新的总量大于预设数据变更阈值时,激活所述存储设备,根据所述更新日志中的变更信息,对所述存储设备中的冷数据进行数据变更。
Description
技术领域
本申请实施例涉及数据处理技术领域,具体而言,涉及一种冷存储数据的更新方法、装置、设备及存储介质。
背景技术
冷数据是指存储在休眠状态的存储设备中,处于未激活状态的数据,冷数据是无法直接进行读写的。对冷数据进行变更(更新或删除)时,需要对休眠状态的冷存储设备进行启动激活,再进行变更操作。现有的冷数据存储设备,无法已经存储的冷数据直接进行更改,需要将完整的更新后的冷数据文件存储至存储设备中,一个存储设备会存储多份同一个冷数据文件的拷贝。
现有技术中,在一个存储设备中存储了多份同一个冷数据文件的拷贝,浪费了大量的物理存储资源,并且需要对冷数据完全更新后再进行存储,数据的准备时间较长。
发明内容
本申请实施例提供一种冷存储数据的更新方法、装置、设备及存储介质,旨在减少更新冷数据所需的休眠状态存储设备的启动次数,节省存储设备的存储空间。
本申请实施例第一方面提供一种冷存储数据的更新方法,所述方法包括:
通过数据变更接口接收数据变更请求,根据所述数据变更请求,确定所述数据变更请求对应的变更信息,所述数据变更请求是针对处于休眠状态的存储设备中的冷数据发出的变更请求;
将所述数据变更请求对应的变更信息记录在更新日志中;
记录所述数据变更请求对应的数据更新量;
当数据更新的总量大于预设数据变更阈值时,激活所述存储设备,根据所述更新日志中的变更信息,对所述存储设备中的冷数据进行数据变更。
可选地,根据所述数据变更请求,确定所述数据变更请求对应的变更信息,包括:
根据所述数据变更请求,确定所述数据变更请求对应的冷数据文件;
查询所述冷数据文件的相关信息,得到所述数据变更请求对应的变更信息。
可选地,当所述数据变更请求为数据更新请求时,所述方法包括:
接收所述数据更新请求对应的数据片段,将所述数据片段存储在增量缓存中;
当数据更新的总量大于所述预设变更阈值时,激活所述存储设备,根据所述更新日志中的变更信息,将所述增量缓存中的数据片段更新至所述存储设备中。
可选地,当所述数据变更请求为数据删除请求时,所述方法包括:
将所述数据删除请求对应的冷数据的文件标记为待删除文件;
当数据更新的总量大于所述预设变更阈值时,激活所述存储设备,根据所述更新日志中的变更信息,将所述待删除文件进行删除。
可选地,对所述存储设备中的冷数据进行数据变更之后,所述方法还包括:
查询所述更新日志,获得所述更新日志中未执行的变更信息;
根据所述未执行的变更信息,对所述存储设备中的冷数据进行数据变更。
可选地,所述方法还包括:
实时监测所述休眠状态的存储设备的容量利用率;
当所述存储设备的容量利用率超过预设容量阈值时,根据变更日志中的变更信息,将所述待删除文件进行删除。
可选地,所述方法还包括:
通过数据读取接口接收数据读取请求,所述数据读取请求是针对所述休眠状态的存储设备中的冷数据的读取请求;
查询所述更新日志中是否存在所述数据读取请求对应的待执行的更新信息;
当所述更新日志中存在所述数据读取请求对应的待执行的更新信息时,根据所述待执行的更新信息,从所述增量缓存中调取对应的数据片段;
激活所述存储设备,调取所述数据读取请求对应的冷数据的文件,将所述冷数据的文件与所述数据片段合并,得到更新后的文件;
将所述更新后的文件发送至所述数据读取接口。
本申请实施例第二方面提供一种冷存储数据的更新装置,所述装置包括:
第一请求接收模块,用于通过数据变更接口接收数据变更请求,根据所述数据变更请求,确定所述数据变更请求对应的变更信息,所述数据变更请求是针对处于休眠状态的存储设备中的冷数据发出的变更请求;
变更信息记录模块,用于将所述数据变更请求对应的变更信息记录在更新日志中;
数据更新量记录模块,用于记录所述数据变更请求对应的数据更新量;
第一数据变更模块,用于当数据更新的总量大于预设数据变更阈值时,根据所述更新日志中的变更信息,对所述存储设备中的冷数据进行数据变更。
可选地,所述第一请求接收模块包括:
冷数据文件确定子模块,用于根据所述数据变更请求,确定所述数据变更请求对应的冷数据文件;
变更信息确定子模块,用于查询所述冷数据文件的相关信息,得到所述数据变更请求对应的变更信息。
可选地,所述装置还包括:
数据片段存储模块,用于接收所述数据更新请求对应的数据片段,将所述数据片段存储在增量缓存中;
可选地,所述第一数据变更模块包括:
第一数据更新子模块,用于当数据更新的总量大于所述预设变更阈值时,激活所述存储设备,根据所述更新日志中的变更信息,将所述增量缓存中的数据片段更新至所述存储设备中。
可选地,所述装置还包括:
待删除文件标记模块,用于将所述数据删除请求对应的冷数据的文件标记为待删除文件;
可选地,所述第一数据变更模块还包括:
数据删除子模块,用于当数据更新的总量大于所述预设变更阈值时,激活所述存储设备,根据所述更新日志中的变更信息,将所述待删除文件进行删除。
可选地,所述装置还包括:
未执行记录查询模块,用于查询所述更新日志,获得所述更新日志中未执行的变更信息;
第二数据变更模块,用于根据所述未执行的变更信息,对所述存储设备中的冷数据进行数据变更。
可选地,所述装置还包括:
容量监测模块,用于实时监测所述休眠状态的存储设备的容量利用率;
数据删除模块,用于当所述存储设备的容量利用率超过预设容量阈值时,根据变更日志中的变更信息,将所述待删除文件进行删除。
可选地,所述装置还包括:
第二请求接收模块,用于通过数据读取接口接收数据读取请求,所述数据读取请求是针对所述休眠状态的存储设备中的冷数据的读取请求;
待执行更新信息查询模块,用于查询所述更新日志中是否存在所述数据读取请求对应的待执行的更新信息;
数据片段调取模块,用于当所述更新日志中存在所述数据读取请求对应的待执行的更新信息时,根据所述待执行的更新信息,从所述增量缓存中调取对应的数据片段;
数据合并模块,用于激活所述存储设备,调取所述数据读取请求对应的冷数据的文件,将所述冷数据的文件与所述数据片段合并,得到更新后的文件;
数据发送模块,用于将所述更新后的文件发送至所述数据读取接口。
本申请实施例第三方面提供一种可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如本申请第一方面所述的方法中的步骤。
本申请实施例第四方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现本申请第一方面所述的方法的步骤。
采用本申请提供的冷存储数据的更新方法,通过数据变更接口接收数据变更请求,根据所述数据变更请求,确定所述数据变更请求对应的变更信息,所述数据变更请求是针对处于休眠状态的存储设备中的冷数据发出的变更请求;将所述数据变更请求对应的变更信息记录在更新日志中;记录所述数据变更请求对应的数据更新量;当数据更新的总量大于预设数据变更阈值时,根据所述更新日志中的变更信息,对所述存储设备中的冷数据进行数据变更。本申请中,在接收到数据变更请求时,会将数据变更请求对应的变更信息记录在更新日志中,同时记录数据变更量,当数据变更量超过预设变更阈值时,根据更新日志中的更新信息,对存储设备中的冷数据进行数据变更,在接收到数据变更信息时,不需要直接启动休眠状态的存储设备,从而避免了频繁启动后台设备导致的电力资源消耗,并且追加的数据不直接存储至休眠设备中,不需要数据的准备时间,当冷数据文件变更时,不需要多余的拷贝文件,直接在冷数据上进行变更,节约了存储设备的空间,根据预先设置的数据变更阈值触发数据的变更操作,极大限度节省了了缓存以及后台存储的资源。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的冷存储系统结构示意图;
图2是本申请一实施例提出的冷存储数据的更新方法的流程图;
图3是本申请一实施例提出的冷存储数据的更新装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提出了一种冷存储系统,如图1所示,图1是本申请一实施例提出的冷存储系统结构示意图,图1中,数据变更接口是冷存储系统为外部客户提供的数据变更专用接口,接收数据变更请求以及相应的数据,并且保证这些更新能够被完整的实施到后台存储系统中。数据读取接口是用于接收客户对冷存储系统中存储的文件的调阅请求,并向用户返回完整的最新数据。更新日志用于记录每一次的数据更新信息以及后台冷数据更新流程的进度。增量缓存用于为更新的数据片段提供缓存。休眠磁盘即休眠存储设备,是保存了大量冷数据的硬盘或者硬盘阵列,通常处于休眠节能状态。
通过本申请实施例提出的冷存储系统,可以在尽量减少启动休眠存储设备的情况下实现冷数据的更新,极大地节省了冷存储和设备的存储空间,减少了冷数据的更新时间。
参考图2,图2是本申请一实施例提出的冷存储数据的更新方法的流程图。如图2所示,该方法包括以下步骤:
S11:通过数据变更接口接收数据变更请求,根据所述数据变更请求,确定所述数据变更请求对应的变更信息,所述数据变更请求是针对处于休眠状态的存储设备中的冷数据发出的变更请求。
本实施例中,数据变更请求为用户发送的对休眠的存储设备中的冷数据进行变更的请求,该请求中包含了需要变更的冷数据的信息或需要更新的冷数据片段,当数据变更请求为数据更新请求时,请求中包括了需要更新的冷数据片段,冷数据的文件名称等,当数据变更请求为数据删除请求时,请求中包含了需要删除的冷数据文件名称。变更信息包括了需要变更的冷数据文件信息、变更类型以及执行流程环节等。冷数据文件信息包括了冷数据文件的文件名称、在存储设备中的存储路径、文件编号等,变更类型为更新或删除,执行流程环节为当前数据变更信息执行的环节,休眠存储设备是处于休眠状态且具备物理存储空间的存储设备,例如物理硬盘、物理硬盘阵列等。
本实施例中,在用户需要对休眠存储设备中的冷数据进行变更时,会发出数据变更请求,冷存储系统中的数据变更接口接收用户发送的数据变更请求,根据该数据变更请求,得到对应的冷数据文件的名称等信息,进而得到相应的变更信息。
示例地,变更信息为对文件名为“word01”的冷数据文件进行数据更新,流程环节为未执行。也可以是对文件名为“word02”的冷数据文件进行删除,流程环节为未执行。
S12:将所述数据变更请求对应的变更信息记录在更新日志中。
本实施例中,得到数据变更请求对应的变更信息后,冷存储系统将变更信息记录在更新日志中,更新日志中按照接收到数据变更请求的时间将变更信息顺次排列。
示例地,更新日志中记录的信息为“记录1:文件名:“word01”,变更类型:数据更新,文件存储路径:F盘,执行流程:未执行。
S13:记录所述数据变更请求对应的数据更新量。
本实施例中,数据更新量是指,每次数据变更请求对应的数据变更的数量,即变更的数据片段的大小。
本实施例中,数据变更接口接收到数据变更请求以及变更的数据片段时,后台会记录接收到的数据片段的大小,只要该数据片段未更新至休眠存储设备中,该数据片段的大小会一直包含在数据变更总量中,直至该数据片段更新至休眠存储设备中,该数据片段会被释放,不占用数据变更重量。
本实施例中,当冷数据存储设备为多个时,冷存储系统会分别计算每一个存储设备的数据更新总量。
示例地,数据变更接口接收到了3次数据变更请求,都是数据更新请求,第一次更新的数据片段大小为100M,待更新冷存储文件存储在1号硬盘中,第二次更新的数据片段大小为500M,待更新的冷存储文件存储在2号硬盘中,第三次更新的数据片段大小为300M,待更新的冷存储文件存储在1号硬盘中,则此时后台记录为:1号硬盘的待更新数据总量为400M,2号硬盘的待更新数据总量为500M。
S14:当数据更新的总量大于预设数据变更阈值时,根据所述更新日志中的变更信息,对所述存储设备中的冷数据进行数据变更。
本实施例中,预设数据变更阈值是预先设置的数据更新总量的阈值。
本实施例中,对于冷存储系统中的每一个休眠状态的存储设备,当数据更新的总量大于预设数据变更阈值时,冷存储系统自动查询更新日志中的变更信息,根据该变更信息,对该休眠存储设备中的冷数据进行数据变更。对冷数据变更完成之后,控制该存储设备进行休眠。
示例地,预设数据变更阈值可以根据休眠存储设备的容量自行设置,当冷存储系统监测到1号硬盘的数据更新量大于预设数据变更阈值时,即查询更新日志,激活1号硬盘,对1号硬盘中的冷数据进行更新。
本实施例中,使用了一个冷存储系统,设置了一个数据变更接口,接收到用户对冷数据的变更请求时,不直接激活休眠状态的存储设备,而是先用更新日志记录该变更请求,当数据更新量超过了预设的数据变更阈值时,再查询更新日志,激活休眠存储设备,进行冷数据更新,极大限度的减少了冷数据更新的次数,节省了冷数据存储设备的物理存储空间。
在本申请另一个实施例中,根据所述数据变更请求,确定所述数据变更请求对应的变更信息,包括:
S21:根据所述数据变更请求,确定所述数据变更请求对应的冷数据文件。
S22:查询所述冷数据文件的相关信息,得到所述数据变更请求对应的变更信息。
本实施例中,冷数据文件的相关信息包括冷数据文件在休眠存储设备中的存储路径、编号信息、文件的大小、文件的创建日期等相关信息。
本实施例中,变更请求中包含的变更类型是在接收时直接确定的,文件信息需要通过变更请求中包含的文件名称进行查询,冷存储系统通过变更请求确定待变更的冷数据文件名称或者文件编号,在冷存储系统中的多个存储设备中查询对应的冷数据文件,确定冷数据文件的存储路径、文件大小、文件的创建日期等相关信息。
在本申请的另一个实施例中,当所述数据变更请求为数据更新请求时,所述方法包括:
S31:接收所述数据更新请求对应的数据片段,将所述数据片段存储在增量缓存中。
本实施例中,数据更新请求是对冷存储设备中存储的冷数据进行数据更新的请求,更新的方式是为冷数据追加数据片段。
本实施例中,当冷存储系统通过数据更新接口接收到数据更新请求时,同时接收到数据更新请求对应的数据片段,将该数据片段存储至增量缓存中。增量缓存在该数据片段对应的冷数据文件更新之前,会一直保存该数据片段,直至该数据片段被更新至对应的冷数据文件中。
示例地,增量缓存可以根据待更新的数据片段对应的冷数据文件的存储位置进行分开存储,例如1号存储设备中的冷数据文件对应的数据片段存储在同一个分区中,2号存储设备中的冷数据文件对应的数据片段存储在另一个分区中,在进行冷数据更新时,这种分区便于系统进行更新片段的查找,提升了更新的效率。
S32:当所述数据变更量大于所述预设变更阈值时,激活所述存储设备。
本实施例中,激活存储设备,就是将休眠状态的存储设备进行启动,激活后的存储设备可以自由进行读取和存储。
本实施例中,冷存储系统的后台会实时监测每一个存储设备的更新数据量,当任意一个存储设备的数据更新量超过预设变更阈值时,冷存储系统控制该存储设备进行启动。
S33:根据所述更新日志中的变更信息,将所述增量缓存中的数据片段更新至所述存储设备中。
本实施例中,激活存储设备之后,冷存储系统查询更新日志,根据更新日志中的更新信息,确定需要更新的冷数据,进而从增量缓存中提取对应的数据片段,加入对应的冷数据片段中,完成所述冷数据的更新。在冷数据更新完成后,删除增量缓存中对应的数据片段,释放增量缓存的存储空间。
示例地,后台监测到1号存储设备中得数据更新量超过预设变更阈值,则激活1号存储设备,查询更新日志,查询到更新日志中的变更请求中关于1号存储设备的变更信息,根据查询到的变更信息,得到需要将数据片段“word01.1”,“word01.2”更新至1号存储设备中的“word01”文件中,则从增量缓存中提取上述数据片段,对文件“word01”进行更新。
本实施例中,当接收到数据更新信息时,不需要直接启休眠状态的存储设备,而是将需要更新的数据片段存储在增量缓存中,数据的变更在缓存中执行,当数据更新总量超过预设变更阈值时,再将增量缓存中的数据片段更新至存储设备中,数据的准备时间为0,减少了休眠状态存储设备的启动次数,避免了电力资源的消耗。
在本申请的另一个实施例中,当所述数据变更请求为数据删除请求时,所述方法包括:
S41:将所述数据删除请求对应的冷数据的文件标记为待删除文件。
本实施例中,当数据变更接口接收到数据删除请求时,根据变更信息中的冷数据文件路径,将对应的冷数据的文件标记为待删除文件。
S42:当所述数据变更量大于所述预设变更阈值时,激活所述存储设备。
S43:根据所述更新日志中的变更信息,将所述待删除文件进行删除。
本实施例中,当激活存储设备之后,冷存储系统查询更新日志中的变更信息,从变更信息中得到待删除文件的存储路径,根据查询到的存储路径,将待删除文件进行删除。
示例地,当系统监测到1号存储设备的数据更新总量超过预设更新阈值时,激活1号存储设备,查询更新日志中1号存储设备的待执行删除记录,根据相应的变更信息,找到待删除的冷数据的文件,对该文件进行删除。
本实施例中,在数据变更接口接收到数据删除请求时,不直接进行数据删除,而是先将待删除的文件进行标记,并将该删除请求记录在更新日志中,在激活对应的存储设备时,进行统一删除,进一步减少了休眠状态的存储设备的激活次数,节省了电力资源。
在本申请的另一个实施例中,对所述存储设备中的冷数据进行数据变更之后,所述方法还包括:
S51:查询所述更新日志,获得所述更新日志中未执行的变更信息。
本实施例中,有些情况下需要激活休眠状态的存储设备,此时即使被激活的存储设备的数据更新量未达到预设变更阈值,为了减少休眠存储设备的启动次数,也会自动查询更新日志中是否有未执行的变更信息。
另一种情况下,在激活存储设备进行冷数据变更时,接收到了新的冷数据变更请求,此时就需要再次查询更新日志,得到更新日志中未执行的变更信息。
S52:根据所述未执行的变更信息,对所述存储设备中的冷数据进行数据变更。
本实施例中,在查询到未执行的变更信息后,对存储设备中的冷数据及进行数据变更,数据变更的方法与之前实施例中提出的方法相同,在此不再做叙述。当更新日志中没有该存储设备对应的变更信息时,冷存储系统控制该存储设备进行休眠状态。
本实施例中,当某一个存储设备从激活状态进入休眠状态之前,会查询更新日志,执行其中待执行的更新信息,进一步减少了休眠状态的存储设备的激活次数。
在本申请的另一个实施例中,所述方法还包括:
S61:实时监测所述休眠状态的存储设备的容量利用率。
本实施例中,容量利用率指存储设备中已使用的容量与总容量之比,当容量利用率过大时,需要及时释放存储设备的空间,否则可能会造成存储设备中的数据的丢失。
S62:当所述存储设备的容量利用率超过预设容量阈值时,根据变更日志中的变更信息,将所述待删除文件进行删除。
本实施例中,预设容量阈值是根据存储设备的具体容量和性能设置的值。
本实施例中,当存储设备的容量利用率超过预设容量阈值时,激活该存储设备,查询变更日志,根据日志中的变更信息,对该存储设备中的待删除信息进行删除。
在进行删除的同时,若更新日志中有未执行的数据更新请求,在数据删除完毕后,将对应的数据片段更新至该存储设备中。执行完毕后,控制该存储设备进行休眠
示例地,预设容量阈值为90%,当后台监测到1号存储设备的容量超过90%时,激活1号存储设备,查询更新日志中的待执行的数据删除请求,根据该请求对应的信息,删除待删除的冷数据文件,再将更新日志中的待执行的数据更新请求对应的数据片段更新至1号存储设备中。
本实施例中,根据预设的容量阈值,自动触发数据的更新以及文件删除的操作,能够最大限度的减小缓存以及存储设备存储的资源,节省了存储设备的存储空间。
在本申请另一个实施例中,所述方法还包括:
S71:通过数据读取接口接收数据读取请求,所述数据读取请求是针对所述休眠状态的存储设备中的冷数据的读取请求。
本实施例中,数据读取请求是由用户发出的,对休眠状态的存储设备中的冷数据进行读取的请求。数据读取请求中包含的为文件名称,也可以为文件的编号。
示例地,数据读取请求为读取文件“word01”。
S72:查询所述更新日志中是否存在所述数据读取请求对应的待执行的更新信息。
本实施例中,在数据读取接口接收到数据读取请求之后,冷存储系统查询更新日志中是否存在该数据读取请求对应的待执行的更新信息,这是为了保证用户读取到的文件是更新后的数据。
S73:当所述更新日志中存在所述数据读取请求对应的待执行的更新信息时,根据所述待执行的更新信息,从所述增量缓存中调取对应的数据片段。
本实施例中,待执行的更新信息指还未执行的数据更新信息,当查询到更新日志中存在数据读取请求对应的待执行的更新信息时,从增量缓存中调取对应的数据片段。
S74:激活所述存储设备,调取所述数据读取请求对应的冷数据的文件,将所述冷数据的文件与所述数据片段合并,得到更新后的文件。
本实施中,为了保证用户读取的文件是更新后的文件,在调取了对应的数据片段之后,激活存储设备,调取需要读取的冷数据文件,将冷数据文件与该数据片段合并,即将数据片段更新至对应的冷数据文件中,得到更新后的文件。
S75:将所述更新后的文件发送至所述数据读取接口。
本实施例中,更新后的文件即为用户真正想要读取的文件,将该文件发送至数据读取接口,即完成了对数据读取请求的响应。
示例地,数据读取接口接收到的数据读取请求为:读取文件“word01”,冷存储系统查询更新日志中是否有针对该文件的未执行的更新信息,发现有两个更新请求未执行,1、向“word01中追加数据片段word01.1”2、向“word01中追加数据片段word01.2”,则从增量缓存中提取上述数据片段,激活存储设备,提取文件“word01”,将数据片段“word01.1”和“word01.2”更新至“word01”中,将更新后的“word01”发送至数据读取接口。
本实施例中,在用户读取数据完毕之后,再将更新后的冷数据文件发送至存储设备中进行存储。
本实施例中,在数据读取接口接收到数据读取请求时,首先查询更新日志,根据更新日志,对数据读取请求对应的冷数据文件进行更新,将更新后的文件发送至数据读取接口,保证用户读取到的是更新后的冷数据,不会出现数据更新不及时的现象。
本申请另一个实施例中,当冷存储系统应用于档案管理时,档案属于重要数据,一般不轻易进行修改,将档案统一存储在休眠存储设备中,易于档案的统一保存和管理,当需要对某一份档案进行修改或删除时,向数据变更接口发出数据变更请求,并将相应的修改内容存储至增量缓存中,或将相应的档案文件标记为待删除,将接收到的数据变更请求的变更信息记录在更新日志中,当系统监测到某一个存储设备的数据更新量达到了预设的更新阈值时,激活该存储设备,查询更新日志,按顺序执行更新日志中与该存储设备相关的待执行记录,将增量缓存中的内容加载至对应的档案中,删除待删除档案,这样既保证了档案的私密性和安全性,也很好的对档案进行了更新,同时保证了启动休眠存储设备的次数最大限度的降低,节省了存储设备的存储空间以及节省了电力资源。同理,在监控视频保存与医疗影像管理方面,本申请也可以起到很好保存以及管理作用。
基于同一发明构思,本申请一实施例提供一种冷存储数据的更新装置。参考图3,图3是本申请一实施例提出的冷存储数据的更新装置300的示意图。如图3所示,该装置包括:
第一请求接收模块301,用于通过数据变更接口接收数据变更请求,根据所述数据变更请求,确定所述数据变更请求对应的变更信息,所述数据变更请求是针对处于休眠状态的存储设备中的冷数据发出的变更请求;
变更信息记录模块302,用于将所述数据变更请求对应的变更信息记录在更新日志中;
数据更新量记录模块303,用于记录所述数据变更请求对应的数据更新量;
第一数据变更模块304,用于当数据更新的总量大于预设数据变更阈值时,根据所述更新日志中的变更信息,对所述存储设备中的冷数据进行数据变更。
可选地,所述第一请求接收模块包括:
冷数据文件确定子模块,用于根据所述数据变更请求,确定所述数据变更请求对应的冷数据文件;
变更信息确定子模块,用于查询所述冷数据文件的相关信息,得到所述数据变更请求对应的变更信息。
可选地,所述装置还包括:
数据片段存储模块,用于接收所述数据更新请求对应的数据片段,将所述数据片段存储在增量缓存中;
可选地,所述第一数据变更模块包括:
第一数据更新子模块,用于当数据更新的总量大于所述预设变更阈值时,激活所述存储设备,根据所述更新日志中的变更信息,将所述增量缓存中的数据片段更新至所述存储设备中。
可选地,所述装置还包括:
待删除文件标记模块,用于将所述数据删除请求对应的冷数据的文件标记为待删除文件;
可选地,所述第一数据变更模块还包括:
数据删除子模块,用于当数据更新的总量大于所述预设变更阈值时,激活所述存储设备,根据所述更新日志中的变更信息,将所述待删除文件进行删除。
可选地,所述装置还包括:
未执行记录查询模块,用于查询所述更新日志,获得所述更新日志中未执行的变更信息;
第二数据变更模块,用于根据所述未执行的变更信息,对所述存储设备中的冷数据进行数据变更。
可选地,所述装置还包括:
容量监测模块,用于实时监测所述休眠状态的存储设备的容量利用率;
数据删除模块,用于当所述存储设备的容量利用率超过预设容量阈值时,根据变更日志中的变更信息,将所述待删除文件进行删除。
可选地,所述装置还包括:
第二请求接收模块,用于通过数据读取接口接收数据读取请求,所述数据读取请求是针对所述休眠状态的存储设备中的冷数据的读取请求;
待执行更新信息查询模块,用于查询所述更新日志中是否存在所述数据读取请求对应的待执行的更新信息;
数据片段调取模块,用于当所述更新日志中存在所述数据读取请求对应的待执行的更新信息时,根据所述待执行的更新信息,从所述增量缓存中调取对应的数据片段;
数据合并模块,用于激活所述存储设备,调取所述数据读取请求对应的冷数据的文件,将所述冷数据的文件与所述数据片段合并,得到更新后的文件;
数据发模块,用于将所述更新后的文件发送至所述数据读取接口。
基于同一发明构思,本申请另一实施例提供一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请上述任一实施例所述的冷存储数据的更新方法中的步骤。
基于同一发明构思,本申请另一实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现本申请上述任一实施例所述的冷存储数据的更新方法中的步骤。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的冷存储数据的更新方法、装置、设备及存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种冷存储数据的更新方法,其特征在于,所述方法包括:
通过数据变更接口接收数据变更请求,根据所述数据变更请求,确定所述数据变更请求对应的变更信息,所述数据变更请求是针对处于休眠状态的存储设备中的冷数据发出的变更请求;
将所述数据变更请求对应的变更信息记录在更新日志中;
记录所述数据变更请求对应的数据更新量;
当数据更新的总量大于预设数据变更阈值时,激活所述存储设备,根据所述更新日志中的变更信息,对所述存储设备中的冷数据进行数据变更。
2.根据权利要求1所述的方法,其特征在于,根据所述数据变更请求,确定所述数据变更请求对应的变更信息,包括:
根据所述数据变更请求,确定所述数据变更请求对应的冷数据文件;
查询所述冷数据文件的相关信息,得到所述数据变更请求对应的变更信息。
3.根据权利要求1所述的方法,其特征在于,当所述数据变更请求为数据更新请求时,所述方法包括:
接收所述数据更新请求对应的数据片段,将所述数据片段存储在增量缓存中;
当数据更新的总量大于所述预设变更阈值时,激活所述存储设备,根据所述更新日志中的变更信息,将所述增量缓存中的数据片段更新至所述存储设备中。
4.根据权利要求1所述的方法,其特征在于,当所述数据变更请求为数据删除请求时,所述方法包括:
将所述数据删除请求对应的冷数据的文件标记为待删除文件;
当数据更新的总量大于所述预设变更阈值时,激活所述存储设备,根据所述更新日志中的变更信息,将所述待删除文件进行删除。
5.根据权利要求1所述的方法,对所述存储设备中的冷数据进行数据变更之后,所述方法还包括:
查询所述更新日志,获得所述更新日志中未执行的变更信息;
根据所述未执行的变更信息,对所述存储设备中的冷数据进行数据变更。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
实时监测所述休眠状态的存储设备的容量利用率;
当所述存储设备的容量利用率超过预设容量阈值时,根据变更日志中的变更信息,将所述待删除文件进行删除。
7.根据权利要求3所述的方法,其特征在于,所述方法还包括:
通过数据读取接口接收数据读取请求,所述数据读取请求是针对所述休眠状态的存储设备中的冷数据的读取请求;
查询所述更新日志中是否存在所述数据读取请求对应的待执行的更新信息;
当所述更新日志中存在所述数据读取请求对应的待执行的更新信息时,根据所述待执行的更新信息,从所述增量缓存中调取对应的数据片段;
激活所述存储设备,调取所述数据读取请求对应的冷数据的文件,将所述冷数据的文件与所述数据片段合并,得到更新后的文件;
将所述更新后的文件发送至所述数据读取接口。
8.一种冷存储数据的更新装置,其特征在于,所述装置包括:
第一请求接收模块,用于通过数据变更接口接收数据变更请求,根据所述数据变更请求,确定所述数据变更请求对应的变更信息,所述数据变更请求是针对处于休眠状态的存储设备中的冷数据发出的变更请求;
变更信息记录模块,用于将所述数据变更请求对应的变更信息记录在更新日志中;
数据更新量记录模块,用于记录所述数据变更请求对应的数据更新量;
数据变更模块,用于当数据更新的总量大于预设数据变更阈值时,根据所述更新日志中的变更信息,对所述存储设备中的冷数据进行数据变更。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现如权利要求1至7任一所述的方法中的步骤。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如权利要求1至7任一所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111665727.8A CN114416677A (zh) | 2021-12-30 | 2021-12-30 | 一种冷存储数据的更新方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111665727.8A CN114416677A (zh) | 2021-12-30 | 2021-12-30 | 一种冷存储数据的更新方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114416677A true CN114416677A (zh) | 2022-04-29 |
Family
ID=81270491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111665727.8A Pending CN114416677A (zh) | 2021-12-30 | 2021-12-30 | 一种冷存储数据的更新方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114416677A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115510081A (zh) * | 2022-10-31 | 2022-12-23 | 广东美赛尔细胞生物科技有限公司 | 基于人工智能的数据冷储存处理方法及系统 |
CN115827653A (zh) * | 2022-11-25 | 2023-03-21 | 深圳计算科学研究院 | 一种用于htap和海量数据的纯列式更新方法及装置 |
WO2024187922A1 (zh) * | 2023-03-16 | 2024-09-19 | 华为云计算技术有限公司 | 数据存储的方法、装置以及计算设备 |
-
2021
- 2021-12-30 CN CN202111665727.8A patent/CN114416677A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115510081A (zh) * | 2022-10-31 | 2022-12-23 | 广东美赛尔细胞生物科技有限公司 | 基于人工智能的数据冷储存处理方法及系统 |
CN115827653A (zh) * | 2022-11-25 | 2023-03-21 | 深圳计算科学研究院 | 一种用于htap和海量数据的纯列式更新方法及装置 |
CN115827653B (zh) * | 2022-11-25 | 2023-09-05 | 深圳计算科学研究院 | 一种用于htap和海量数据的纯列式更新方法及装置 |
WO2024187922A1 (zh) * | 2023-03-16 | 2024-09-19 | 华为云计算技术有限公司 | 数据存储的方法、装置以及计算设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114416677A (zh) | 一种冷存储数据的更新方法、装置、设备及存储介质 | |
EP3229142B1 (en) | Read cache management method and device based on solid state drive | |
WO2019085769A1 (zh) | 一种数据分层存储、分层查询方法及装置 | |
US7529892B2 (en) | File readahead method with the use of access pattern information attached to metadata | |
US8548948B2 (en) | Methods and apparatus for a fine grained file data storage system | |
US7890716B2 (en) | Method of managing time-based differential snapshot | |
CN106951375B (zh) | 在存储系统中删除快照卷的方法及装置 | |
US20090307329A1 (en) | Adaptive file placement in a distributed file system | |
JP5161119B2 (ja) | ファイルシステムの冪等ジャーナルメカニズム | |
WO2020098654A1 (zh) | 基于云存储的数据存储方法、装置和存储介质 | |
US8850148B2 (en) | Data copy management for faster reads | |
WO2009092254A1 (zh) | 一种高速缓存数据恢复的方法、装置和系统 | |
US11223528B2 (en) | Management of cloud-based shared content using predictive cost modeling | |
JP5241298B2 (ja) | 履歴上のファイル名およびロケーションをインデックス付きにすることによりファイル・サーチおよびファイル操作を支援するためのシステムおよび方法 | |
CN113239012A (zh) | 一种数据库迁移方法、装置、电子设备和存储介质 | |
CN111399753B (zh) | 写入图片的方法和装置 | |
CN114153395B (zh) | 一种对象存储数据生命周期管理方法、装置及设备 | |
KR20080098104A (ko) | 메타 데이터 저장 방법 및 메타 데이터 저장 시스템 | |
CN112000971B (zh) | 一种文件权限记录方法、系统及相关装置 | |
JP5956064B2 (ja) | 計算機システム、データ管理方法、及び計算機 | |
US20060015680A1 (en) | Apparatus and method for data storage, and computer product | |
CN107450859B (zh) | 一种读取文件数据的方法和装置 | |
KR101884726B1 (ko) | 데이터베이스 시스템에서 블록을 판독하기 위한 방법, 장치 및 컴퓨터 판독가능 매채에 저장된 컴퓨터-프로그램 | |
JP2022125253A5 (zh) | ||
CN108376104B (zh) | 节点调度方法及装置、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |