CN112540733A - 一种数据管理方法、装置、电子设备及存储介质 - Google Patents

一种数据管理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112540733A
CN112540733A CN202011546054.XA CN202011546054A CN112540733A CN 112540733 A CN112540733 A CN 112540733A CN 202011546054 A CN202011546054 A CN 202011546054A CN 112540733 A CN112540733 A CN 112540733A
Authority
CN
China
Prior art keywords
data
cleaned
storage
nas
archived
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011546054.XA
Other languages
English (en)
Inventor
刘超
郭建立
潘家铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hualu Optical Storage Research Institute Dalian Co ltd
Original Assignee
Hualu Optical Storage Research Institute Dalian Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hualu Optical Storage Research Institute Dalian Co ltd filed Critical Hualu Optical Storage Research Institute Dalian Co ltd
Priority to CN202011546054.XA priority Critical patent/CN112540733A/zh
Publication of CN112540733A publication Critical patent/CN112540733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据管理方法、装置、电子设备及存储介质，该方法包括：按照预设的数据归档周期，在NAS存储器中获取待归档数据，将待归档数据归档至蓝光存储器；按照预设的数据清理规则，在已归档至蓝光存储器的已归档数据中确定待清理数据；对NAS存储器中的待清理数据进行数据清理，以使NAS存储器中仅保留各已清理数据的数据头信息。上述方案提供的方法，通过对NAS存储器中存储的数据先进行归档，再进行清理，在保证数据不丢失的情况下，缓解了NAS存储器的存储压力，从而提高了NAS存储器的存储效率，为提高数据存储的安全性奠定了基础。

Description

一种数据管理方法、装置、电子设备及存储介质
技术领域
本申请涉及数据存储技术领域，尤其涉及一种数据管理方法、装置、电子设备及存储介质。
背景技术
目前，大数据已经成为新时代重要的生产要素，数据作为无形资产受到了各行业的高度重视，如何对数据进行管理和存储已成为重点研究内容。
在现有技术中，通常是利用NAS存储系统，对各终端设备所产生的数据进行存储。
但是，当NAS存储系统中存储的数据过多时，会导致NAS存储系统的存储性能下降，出现数据存储异常的问题。因此，急需一种可靠的数据管理管理方法，对提高数据存储的安全性有重要意义。
发明内容
本申请提供一种数据管理方法、装置、电子设备及存储介质，以解决现有技术中NAS存储系统的存储性能难以保障等缺陷。
本申请第一个方面提供一种数据管理方法，包括：应用于数据存储系统，所述数据存储系统包括NAS存储器和蓝光存储器，所述方法包括：
按照预设的数据归档周期，在所述NAS存储器中获取待归档数据，将所述待归档数据归档至所述蓝光存储器；
按照预设的数据清理规则，在已归档至所述蓝光存储器的已归档数据中确定待清理数据；
对所述NAS存储器中的待清理数据进行数据清理，以使所述NAS存储器中仅保留各已清理数据的数据头信息。
可选的，还包括：
获取数据读取需求信息；所述数据读取需求信息包括目标数据的数据头信息；
根据所述目标数据的数据头信息和所述各已清理数据的数据头信息，判断所述目标数据是否为已清理数据；
当确定所述目标数据为已清理数据时，根据所述目标数据的数据头信息，在所述蓝光存储器中提取对应的目标数据，并将所提取的目标数据回迁至所述NAS存储器。
可选的，在对所述NAS存储器中的待清理数据进行数据清理之后，所述方法还包括：
生成各已清理数据对应的已清理标识，并将所生成的已清理标识关联至各已清理数据的数据头信息。
可选的，所述根据所述目标数据的数据头信息和所述各已清理数据的数据头信息，判断所述目标数据是否为已清理数据，包括：
判断所述目标数据的数据头信息在所述NAS存储器中是否关联有已清理标识；
若有，则确定所述目标数据为已清理数据。
可选的，在按照预设的数据归档周期，在所述NAS存储器中获取待归档数据，将所述待归档数据归档至所述蓝光存储器之前，所述方法还包括：
监控所述NAS存储器中各数据的存储时长；
当任一数据的存储时长达到预设存储时长阈值时，将所述数据确定为待归档数据。
可选的，所述按照预设的数据清理规则，在已归档至所述蓝光存储器的已归档数据中确定待清理数据，包括：
获取所述NAS存储器的当前空间占有率；
当所述NAS存储器的当前空间占有率达到预设的空间占有率阈值时，按照所述已归档数据的归档时间，确定预设数量的待清理数据。
可选的，所述按照预设的数据清理规则，在已归档至所述蓝光存储器的已归档数据中确定待清理数据，包括：
监控所述NAS存储器中各已归档数据的归档时长；
当任一已归档数据的归档时长达到预设的归档时长阈值时，将所述已归档数据确定为待清理数据。
本申请第二个方面提供一种数据管理装置，应用于数据存储系统，所述数据存储系统包括NAS存储器和蓝光存储器，所述装置包括：
归档模块，用于按照预设的数据归档周期，在所述NAS存储器中获取待归档数据，将所述待归档数据归档至所述蓝光存储器；
确定模块，用于按照预设的数据清理规则，在已归档至所述蓝光存储器的已归档数据中确定待清理数据；
清理模块，用于对所述NAS存储器中的待清理数据进行数据清理，以使所述NAS存储器中仅保留各已清理数据的数据头信息。
可选的，还包括回迁模块，用于：
获取数据读取需求信息；所述数据读取需求信息包括目标数据的数据头信息；
根据所述目标数据的数据头信息和所述各已清理数据的数据头信息，判断所述目标数据是否为已清理数据；
当确定所述目标数据为已清理数据时，根据所述目标数据的数据头信息，在所述蓝光存储器中提取对应的目标数据，并将所提取的目标数据回迁至所述NAS存储器。
可选的，所述清理模块，还用于：
生成各已清理数据对应的已清理标识，并将所生成的已清理标识关联至各已清理数据的数据头信息。
可选的，所述确定模块，具体用于：
判断所述目标数据的数据头信息在所述NAS存储器中是否关联有已清理标识；
若有，则确定所述目标数据为已清理数据。
可选的，所述归档模块，还用于：
监控所述NAS存储器中各数据的存储时长；
当任一数据的存储时长达到预设存储时长阈值时，将所述数据确定为待归档数据。
可选的，所述确定模块，具体用于：
获取所述NAS存储器的当前空间占有率；
当所述NAS存储器的当前空间占有率达到预设的空间占有率阈值时，按照所述已归档数据的归档时间，确定预设数量的待清理数据。
可选的，所述确定模块，具体用于：
监控所述NAS存储器中各已归档数据的归档时长；
当任一已归档数据的归档时长达到预设的归档时长阈值时，将所述已归档数据确定为待清理数据。
本申请第三个方面提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请技术方案，具有如下优点：
本申请提供的数据管理方法、装置、电子设备及存储介质，通过按照预设的数据归档周期，在NAS存储器中获取待归档数据，将待归档数据归档至蓝光存储器；按照预设的数据清理规则，在已归档至蓝光存储器的已归档数据中确定待清理数据；对NAS存储器中的待清理数据进行数据清理，以使NAS存储器中仅保留各已清理数据的数据头信息。上述方案提供的方法，通过对NAS存储器中存储的数据先进行归档，再进行清理，在保证数据不丢失的情况下，缓解了NAS存储器的存储压力，从而提高了NAS存储器的存储效率，为提高数据存储的安全性奠定了基础。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例基于的数据存储系统的结构示意图；
图2为本申请实施例提供的数据管理方法的流程示意图；
图3为本申请实施例提供的数据管理装置的结构示意图；
图4为本申请实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
在现有技术中，通常是是利用NAS存储系统，对各终端设备所产生的数据进行存储。但是，当NAS存储系统中存储的数据过多时，会导致NAS存储系统的存储性能下降，出现数据存储异常的问题。
针对上述问题，本申请实施例提供的数据管理方法、装置、电子设备及存储介质，通过按照预设的数据归档周期，在NAS存储器中获取待归档数据，将待归档数据归档至蓝光存储器；按照预设的数据清理规则，在已归档至蓝光存储器的已归档数据中确定待清理数据；对NAS存储器中的待清理数据进行数据清理，以使NAS存储器中仅保留各已清理数据的数据头信息。上述方案提供的方法，通过对NAS存储器中存储的数据先进行归档，再进行清理，在保证数据不丢失的情况下，缓解了NAS存储器的存储压力，从而提高了NAS存储器的存储效率，为提高数据存储的安全性奠定了基础。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明实施例进行描述。
首先，对本申请所基于的数据存储系统的结构进行说明：
本申请实施例提供的数据管理方法、装置、电子设备及存储介质，适用于对数据存储系统中所存储的数据进行管理。如图1所示，为本申请实施例基于的数据存储系统的结构示意图，主要包括客户端、NAS存储器、蓝光存储器和用于进行对所存储的数据进行管理的数据管理装置。具体地，客户端将其生成的待存储数据传输至NAS存储器进行存储，数据管理装置用于对NAS存储器进行监控，并按照数据归档周期，将NAS存储器中所存储的数据归档至蓝光存储器。
本申请实施例提供了一种数据管理方法，应用于数据存储系统，数据存储系统包括NAS存储器和蓝光存储器，该方法用于对数据存储系统中所存储的数据进行管理。本申请实施例的执行主体为电子设备，比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于进行数据管理的电子设备。
如图2所示，为本申请实施例提供的数据管理方法的流程示意图，该方法包括：
步骤201，按照预设的数据归档周期，在NAS存储器中获取待归档数据，将待归档数据归档至蓝光存储器。
需要解释的是，数据归档周期可以根据实际情况进行设定，本申请实施例不做限定。
具体地，在一实施例中，为了保障数据归档效率，在按照预设的数据归档周期，在NAS存储器中获取待归档数据，将待归档数据归档至蓝光存储器之前，可以监控NAS存储器中各数据的存储时长；当任一数据的存储时长达到预设存储时长阈值时，将数据确定为待归档数据。
具体地，当某一数据在NAS存储器中所存储的时长达到预设存储时长阈值时，可以确定客户端已经长时间未对该数据进行修改、移动或更改文件名等操作，则可以将该数据确定为待归档数据，在达到数据归档周期后，可以基于预设的数据归档规则，将待归档数据归档至蓝光存储器。
步骤202，按照预设的数据清理规则，在已归档至蓝光存储器的已归档数据中确定待清理数据。
需要解释的是，数据清理规则可以根据实际情况进行设定，本申请实施例不做限定。
具体地，在一实施例中，可以获取NAS存储器的当前空间占有率；当NAS存储器的当前空间占有率达到预设的空间占有率阈值时，按照已归档数据的归档时间，确定预设数量的待清理数据。
示例性的，若NAS存储器的空间占有率阈值设置为85％，则当NAS存储器的当前空间占有率达到80％时，触发相应的待清理数据筛选进程。具体可以根据当前NAS存储器中各已归档数据的归档时间，在已归档数据中选取归档时间靠前的预设数量的待清理数据。
类似的，在一实施例中，也可以根据NAS存储器的当前空间占有率，判断是否需要对当前所存储的数据进行归档。例如，当NAS存储器的当前空间占有率达到60％时，按照预设的数据归档规则，在当前NAS存储器中提取预设数量的待归档数据。
类似的，在一实施例中，也可以监控NAS存储器中各已归档数据的归档时长；当任一已归档数据的归档时长达到预设的归档时长阈值时，将已归档数据确定为待清理数据。
示例性的，若归档时长阈值设置为72小时，则当NAS存储器中的已归档数据的归档时长达到72小时时，将该归档数据确定为待清理数据。步骤203，对NAS存储器中的待清理数据进行数据清理，以使NAS存储器中仅保留各已清理数据的数据头信息。
需要解释的是，数据头信息包括该数据的数据名称和数据大小等记录信息。具体地，可以按照预设的数据清理周期，定时对NAS存储器中的待清理数据进行数据清理，以释放NAS存储器的存储空间。但是，为了提供数据回迁基础，在NAS存储器中保留已清理数据的数据头信息。
具体地，NAS存储器包括文件系统，用于存储客户端所生成的待存储数据，供客户端进行读写。在文件系统中，各数据均以数据头信息和数据内容相匹配的形式进行存储，在对该数据进行数据清理后，该数据的数据内容被清理，数据头信息继续保留。其中，数据头信息也称文件存根。
在上述实施例的基础上，当用户需要对NAS存储器中的数据进行读取时，为了保障数据读取效率，作为一种可实施的方式，在上述实施例的基础上，在一实施例中，该方法还包括：
步骤301，获取数据读取需求信息；数据读取需求信息包括目标数据的数据头信息；
步骤302，根据目标数据的数据头信息和各已清理数据的数据头信息，判断目标数据是否为已清理数据；
步骤303，当确定目标数据为已清理数据时，根据目标数据的数据头信息，在蓝光存储器中提取对应的目标数据，并将所提取的目标数据回迁至NAS存储器。
具体地，在收到用户输入的数据读取需求信息后，首先判断其目标数据是否为已清理数据。若确定为已清理数据，则对蓝光存储器中所归档的各数据的数据头信息进行遍历，将数据头信息与目标数据的数据头信息相同的数据提取出来，并将其回迁至NAS存储器，以供用户对其进行读取。相反的，若确定目标数据不是已清理数据时，则直接对NAS存储器进行遍历，以在NAS存储器中找到该目标数据。
相应的，在一实施例中，为了便于判断上述目标数据是否为已清理数据，可以在对NAS存储器中的待清理数据进行数据清理之后，可以生成各已清理数据对应的已清理标识，并将所生成的已清理标识关联至各已清理数据的数据头信息。
其中，已清理标识的具体生成方式，可以参考现有技术，本申请实施例不做限定。
进一步的，在一实施例中，判断目标数据的数据头信息在NAS存储器中是否关联有已清理标识；若有，则确定目标数据为已清理数据。
相反的，若没有，则确定该目标数据不是已清理数据。
本申请实施例提供的数据管理方法，通过按照预设的数据归档周期，在NAS存储器中获取待归档数据，将待归档数据归档至蓝光存储器；按照预设的数据清理规则，在已归档至蓝光存储器的已归档数据中确定待清理数据；对NAS存储器中的待清理数据进行数据清理，以使NAS存储器中仅保留各已清理数据的数据头信息。上述方案提供的方法，通过对NAS存储器中存储的数据先进行归档，再进行清理，在保证数据不丢失的情况下，缓解了NAS存储器的存储压力，从而提高了NAS存储器的存储效率，为提高数据存储的安全性奠定了基础。并且，在用户需要对已清理数据进行读取时，可以将该已清理回迁至NAS存储器，使用户可以直接基于原存储地址进行读取，保障了数据读取效率。
本申请实施例提供了一种数据管理装置，应用于数据存储系统，数据存储系统包括NAS存储器和蓝光存储器，用于执行上述实施例提供的数据管理方法。
如图3所示，为本申请实施例提供的数据管理装置的结构示意图。该数据管理装置30包括归档模块301、确定模块302和清理模块303。
其中，归档模块，用于按照预设的数据归档周期，在NAS存储器中获取待归档数据，将待归档数据归档至蓝光存储器；确定模块，用于按照预设的数据清理规则，在已归档至蓝光存储器的已归档数据中确定待清理数据；清理模块，用于对NAS存储器中的待清理数据进行数据清理，以使NAS存储器中仅保留各已清理数据的数据头信息。
具体地，在一实施例中，还包括回迁模块，用于：
获取数据读取需求信息；数据读取需求信息包括目标数据的数据头信息；
根据目标数据的数据头信息和各已清理数据的数据头信息，判断目标数据是否为已清理数据；
当确定目标数据为已清理数据时，根据目标数据的数据头信息，在蓝光存储器中提取对应的目标数据，并将所提取的目标数据回迁至NAS存储器。
具体地，在一实施例中，清理模块，还用于：
生成各已清理数据对应的已清理标识，并将所生成的已清理标识关联至各已清理数据的数据头信息。
具体地，在一实施例中，确定模块，具体用于：
判断目标数据的数据头信息在NAS存储器中是否关联有已清理标识；
若有，则确定目标数据为已清理数据。
具体地，在一实施例中，归档模块，还用于：
监控NAS存储器中各数据的存储时长；
当任一数据的存储时长达到预设存储时长阈值时，将数据确定为待归档数据。
具体地，在一实施例中，确定模块，具体用于：
获取NAS存储器的当前空间占有率；
当NAS存储器的当前空间占有率达到预设的空间占有率阈值时，按照已归档数据的归档时间，确定预设数量的待清理数据。
具体地，在一实施例中，确定模块，具体用于：
监控NAS存储器中各已归档数据的归档时长；
当任一已归档数据的归档时长达到预设的归档时长阈值时，将已归档数据确定为待清理数据。
关于本实施例中的数据管理装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例提供的数据管理装置，用于执行上述实施例提供的数据管理方法，其实现方式与原理相同，不再赘述。
本申请实施例提供了一种电子设备，用于执行上述实施例提供的数据管理方法。
如图4所示，为本申请实施例提供的电子设备的结构示意图。该电子设备40包括：至少一个处理器41和存储器42；
存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上实施例提供的数据管理方法。
本申请实施例提供的一种电子设备，用于执行上述实施例提供的数据管理方法，其实现方式与原理相同，不再赘述。
本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上任一实施例提供的数据管理方法。
本申请实施例的包含计算机可执行指令的存储介质，可用于存储前述实施例中提供的数据管理方法的计算机执行指令，其实现方式与原理相同，不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种数据管理方法，应用于数据存储系统，所述数据存储系统包括NAS存储器和蓝光存储器，其特征在于，所述方法包括：
按照预设的数据归档周期，在所述NAS存储器中获取待归档数据，将所述待归档数据归档至所述蓝光存储器；
按照预设的数据清理规则，在已归档至所述蓝光存储器的已归档数据中确定待清理数据；
对所述NAS存储器中的待清理数据进行数据清理，以使所述NAS存储器中仅保留各已清理数据的数据头信息。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取数据读取需求信息；所述数据读取需求信息包括目标数据的数据头信息；
根据所述目标数据的数据头信息和所述各已清理数据的数据头信息，判断所述目标数据是否为已清理数据；
当确定所述目标数据为已清理数据时，根据所述目标数据的数据头信息，在所述蓝光存储器中提取对应的目标数据，并将所提取的目标数据回迁至所述NAS存储器。
3.根据权利要求2所述的方法，其特征在于，在对所述NAS存储器中的待清理数据进行数据清理之后，所述方法还包括：
生成各已清理数据对应的已清理标识，并将所生成的已清理标识关联至各已清理数据的数据头信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标数据的数据头信息和所述各已清理数据的数据头信息，判断所述目标数据是否为已清理数据，包括：
判断所述目标数据的数据头信息在所述NAS存储器中是否关联有已清理标识；
若有，则确定所述目标数据为已清理数据。
5.根据权利要求1所述的方法，其特征在于，在按照预设的数据归档周期，在所述NAS存储器中获取待归档数据，将所述待归档数据归档至所述蓝光存储器之前，所述方法还包括：
监控所述NAS存储器中各数据的存储时长；
当任一数据的存储时长达到预设存储时长阈值时，将所述数据确定为待归档数据。
6.根据权利要求1所述的方法，其特征在于，所述按照预设的数据清理规则，在已归档至所述蓝光存储器的已归档数据中确定待清理数据，包括：
获取所述NAS存储器的当前空间占有率；
当所述NAS存储器的当前空间占有率达到预设的空间占有率阈值时，按照所述已归档数据的归档时间，确定预设数量的待清理数据。
7.根据权利要求1所述的方法，其特征在于，所述按照预设的数据清理规则，在已归档至所述蓝光存储器的已归档数据中确定待清理数据，包括：
监控所述NAS存储器中各已归档数据的归档时长；
当任一已归档数据的归档时长达到预设的归档时长阈值时，将所述已归档数据确定为待清理数据。
8.一种数据管理装置，应用于数据存储系统，所述数据存储系统包括NAS存储器和蓝光存储器，其特征在于，所述装置包括：
归档模块，用于按照预设的数据归档周期，在所述NAS存储器中获取待归档数据，将所述待归档数据归档至所述蓝光存储器；
确定模块，用于按照预设的数据清理规则，在已归档至所述蓝光存储器的已归档数据中确定待清理数据；
清理模块，用于对所述NAS存储器中的待清理数据进行数据清理，以使所述NAS存储器中仅保留各已清理数据的数据头信息。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的方法。
CN202011546054.XA 2020-12-23 2020-12-23 一种数据管理方法、装置、电子设备及存储介质 Pending CN112540733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011546054.XA CN112540733A (zh) 2020-12-23 2020-12-23 一种数据管理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011546054.XA CN112540733A (zh) 2020-12-23 2020-12-23 一种数据管理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112540733A true CN112540733A (zh) 2021-03-23

Family

ID=75017903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011546054.XA Pending CN112540733A (zh) 2020-12-23 2020-12-23 一种数据管理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112540733A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117270793A (zh) * 2023-11-20 2023-12-22 苏州元脑智能科技有限公司 一种数据归档的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043828A1 (en) * 2007-08-09 2009-02-12 Hitachi, Ltd. Method and apparatus for nas/cas integrated storage system
CN106662981A (zh) * 2014-06-27 2017-05-10 日本电气株式会社 存储设备、程序和信息处理方法
CN109783018A (zh) * 2018-12-26 2019-05-21 深圳市金微蓝技术有限公司 一种数据存储的方法及装置
CN109947373A (zh) * 2019-03-28 2019-06-28 北京大道云行科技有限公司 一种数据处理方法和装置
CN110716895A (zh) * 2019-09-17 2020-01-21 平安科技（深圳）有限公司 目标数据归档方法、装置、计算机设备及介质
CN110837592A (zh) * 2019-11-08 2020-02-25 京东数字科技控股有限公司 数据归档的方法、装置和计算机可读存储介质
CN111159102A (zh) * 2019-12-20 2020-05-15 中国建设银行股份有限公司 非结构化数据归档方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043828A1 (en) * 2007-08-09 2009-02-12 Hitachi, Ltd. Method and apparatus for nas/cas integrated storage system
CN106662981A (zh) * 2014-06-27 2017-05-10 日本电气株式会社 存储设备、程序和信息处理方法
CN109783018A (zh) * 2018-12-26 2019-05-21 深圳市金微蓝技术有限公司 一种数据存储的方法及装置
CN109947373A (zh) * 2019-03-28 2019-06-28 北京大道云行科技有限公司 一种数据处理方法和装置
CN110716895A (zh) * 2019-09-17 2020-01-21 平安科技（深圳）有限公司 目标数据归档方法、装置、计算机设备及介质
CN110837592A (zh) * 2019-11-08 2020-02-25 京东数字科技控股有限公司 数据归档的方法、装置和计算机可读存储介质
CN111159102A (zh) * 2019-12-20 2020-05-15 中国建设银行股份有限公司 非结构化数据归档方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117270793A (zh) * 2023-11-20 2023-12-22 苏州元脑智能科技有限公司 一种数据归档的方法和装置

Similar Documents

Publication Publication Date Title
CN109582213B (zh) 数据重构方法及装置、数据存储系统
CN105824846B (zh) 数据迁移方法及装置
CN104735107A (zh) 分布式存储系统中数据副本恢复方法及装置
CN103473343A (zh) 一种文件管理方法、装置以及终端
CN108255620A (zh) 一种业务逻辑处理方法、装置、业务服务器及系统
CN106446159A (zh) 一种存储文件的方法、第一虚拟机及名称节点
CN109684271B (zh) 快照数据管理方法、装置、电子设备及机器可读存储介质
CN111930716A (zh) 一种数据库扩容方法、装置及系统
CN110597655A (zh) 一种迁移与基于纠删码的重构相耦合的快速预知修复方法和实现
CN110147203A (zh) 一种文件管理方法、装置、电子设备及存储介质
CN109165175B (zh) 设备标识生成方法和装置
CN112631953A (zh) 固态硬盘数据trim方法、装置、电子设备及存储介质
CN108984102B (zh) 管理存储系统的方法、系统和计算机程序产品
US10228885B2 (en) Deallocating portions of data storage based on notifications of invalid data
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN112540733A (zh) 一种数据管理方法、装置、电子设备及存储介质
CN111291018B (zh) 数据管理方法、装置、设备及存储介质
CN115291806A (zh) 一种处理方法、装置、电子设备及存储介质
CN113448946B (zh) 数据迁移方法及装置、电子设备
CN109189724B (zh) 提高视频监控系统音视频数据存储效率的方法及装置
CN109542841B (zh) 集群中创建数据快照的方法及终端设备
CN109947842B (zh) 分布式存储系统中的数据存储方法、装置及系统
CN111654671B (zh) 视频数据的存储方法、装置、设备及存储介质
CN113468274A (zh) 数据存储方法和装置、存储介质及电子设备
CN109508140B (zh) 存储资源管理方法、装置、电子设备及电子设备、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination