CN110989937A - 一种数据存储方法、装置、设备及计算机可读存储介质 - Google Patents
一种数据存储方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110989937A CN110989937A CN201911244733.9A CN201911244733A CN110989937A CN 110989937 A CN110989937 A CN 110989937A CN 201911244733 A CN201911244733 A CN 201911244733A CN 110989937 A CN110989937 A CN 110989937A
- Authority
- CN
- China
- Prior art keywords
- data
- storage system
- unified
- storage
- nas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000005012 migration Effects 0.000 claims description 13
- 238000013508 migration Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 230000007704 transition Effects 0.000 abstract description 5
- 238000007726 management method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0617—Improving the reliability of storage systems in relation to availability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
- G06F3/0649—Lifecycle management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据存储方法、装置、设备及计算机可读存储介质；该方案包括：将存储在统一NAS存储系统的数据分为热数据和待冷数据，在待冷数据的存储时长大于预定阈值后，便将对应的待冷数据作为冷数据迁移至分布式对象存储系统，通过这种方式，可在不影响在线业务的前提下，实现统一NAS存储系统和分布式对象存储系统的数据过渡，实现了统一NAS存储系统与分布式对象存储系统的混合使用；并且，本申请将统一NAS存储系统中已迁移数据删除，可减少统一NAS存储系统的存储空间，保证统一NAS存储系统具有有效的存储空间，提高数据存储的可用性，避免出现数据存储异常的问题。
Description
技术领域
本发明涉及数据存储技术领域，更具体地说，涉及一种数据存储方法、装置、设备及计算机可读存储介质。
背景技术
统一NAS(Network Attached Storage，网络附属存储)存储系统是在一个单一存储平台上整合基于文件的访问，其扩展性受到局限；分布式存储是近些年非常受欢迎的存储体系，其更高的安全性和可扩展性也是未来存储发展的趋势。但在已有的存储市场中，统一NAS存储依然还占据着大半江山。然而统一NAS存储系统中存储数据过多时，会导致统一NAS存储系统的存储性能下降，出现数据存储异常的问题。
发明内容
本发明的目的在于提供一种数据存储方法、装置、设备及计算机可读存储介质，以实现提高统一NAS存储系统的存储性能，避免数据存储异常。
为实现上述目的，本发明提供一种数据存储方法，包括：
接收客户端发送的存储请求；所述存储请求用于存储目标数据；
判断所述目标数据的待存储系统是否为统一NAS存储系统；
若否，则将所述目标数据存储至分布式对象存储系统；
若是，则确定所述目标数据的类型信息，并将所述目标数据存储至所述统一NAS存储系统；所述类型信息包括热数据和待冷数据；
将所述统一NAS存储系统中存储时长大于预定阈值的待冷数据作为冷数据，迁移至分布式对象存储系统，并将所述统一NAS存储系统中已迁移数据删除。
其中，所述将所述目标数据存储至所述统一NAS存储系统，包括：
若所述目标数据的类型信息为热数据，则直接将所述目标数据存储至所述统一NAS存储系统；
若所述目标数据的类型信息为待冷数据，则设置所述目标数据的时间标签，并将所述目标数据存储至所述统一NAS存储系统。
其中，所述将所述统一NAS存储系统中存储时长大于预定阈值的待冷数据作为冷数据，迁移至分布式对象存储系统，包括：
利用与各个待冷数据对应的时间标签，从所述统一NAS存储系统中查找存储时长大于预定阈值的冷数据；
将所述冷数据迁移至分布式对象存储系统。
其中，本方案还包括：
接收客户端发送的数据查询请求；
判断待查询数据的存储系统是否为所述统一NAS存储系统；
若否，则直接从所述分布式对象存储系统中查询数据，并将查询结果返回至所述客户端；
若是，则判断待查询数据是否已迁移至所述分布式对象存储系统；
若已迁移，则从所述分布式对象存储系统中查询数据，并将查询结果返回至所述客户端；若未迁移，则从所述统一NAS存储系统中查询数据，并将查询结果返回至所述客户端。
为实现上述目的，本发明进一步提供一种数据存储装置，包括：
第一接收模块，用于接收客户端发送的存储请求；所述存储请求用于存储目标数据；
第一判断模块，用于判断所述目标数据的待存储系统是否为统一NAS存储系统；
第一存储模块，用于在所述目标数据的待存储系统不为统一NAS存储系统时，将所述目标数据存储至分布式对象存储系统；
类型确定模块，用于在所述目标数据的待存储系统为统一NAS存储系统时，确定所述目标数据的类型信息；所述类型信息包括热数据和待冷数据；
第二存储模块，用于将所述目标数据存储至所述统一NAS存储系统；
数据迁移模块，用于将所述统一NAS存储系统中存储时长大于预定阈值的待冷数据作为冷数据，迁移至分布式对象存储系统；
数据删除模块，用于将所述统一NAS存储系统中已迁移数据删除。
其中，所述第二存储模块包括：
第一存储单元，用于在所述目标数据的类型信息为热数据时，直接将所述目标数据存储至所述统一NAS存储系统；
第二存储单元，用于在所述目标数据的类型信息为待冷数据时，设置所述目标数据的时间标签，并将所述目标数据存储至所述统一NAS存储系统。
其中，所述数据迁移模块包括：
待迁移数据确定单元，用于利用与各个待冷数据对应的时间标签，从所述统一NAS存储系统中查找存储时长大于预定阈值的冷数据；
数据迁移单元，用于将所述冷数据迁移至分布式对象存储系统。
其中，本方案还包括：
第二接收模块，用于接收客户端发送的数据查询请求；
第二判断模块，用于判断待查询数据的存储系统是否为所述统一NAS存储系统；
第一查询结果发送模块，用于在待查询数据的存储系统不为所述统一NAS存储系统时，直接从所述分布式对象存储系统中查询数据，并将查询结果返回至所述客户端；
第三判断模块，用于在待查询数据的存储系统为所述统一NAS存储系统时，判断待查询数据是否已迁移至所述分布式对象存储系统；
所述第一查询结果发送模块，用于在待查询数据已迁移至所述分布式对象存储系统时，从所述分布式对象存储系统中查询数据，并将查询结果返回至所述客户端；
第二查询结果发送模块，用于在待查询数据未迁移至所述分布式对象存储系统时，从所述统一NAS存储系统中查询数据，并将查询结果返回至所述客户端。
为实现上述目的，本发明进一步提供一种数据存储设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述的数据存储方法的步骤。
为实现上述目的，本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的数据存储方法的步骤。
通过以上方案可知，本发明实施例提供的一种数据存储方法，包括：接收客户端发送的存储请求；存储请求用于存储目标数据；判断目标数据的待存储系统是否为统一NAS存储系统；若否，则将目标数据存储至分布式对象存储系统；若是，则确定目标数据的类型信息，并将目标数据存储至统一NAS存储系统，类型信息包括热数据和待冷数据；将统一NAS存储系统中存储时长大于预定阈值的待冷数据作为冷数据，迁移至分布式对象存储系统，并将统一NAS存储系统中已迁移数据删除。
可见，在本申请中，存储在统一NAS存储系统的数据分为热数据和待冷数据，在待冷数据的存储时长大于预定阈值后，便将对应的待冷数据作为冷数据迁移至分布式对象存储系统，通过这种方式，可在不影响在线业务的前提下，实现统一NAS存储系统和分布式对象存储系统的数据过渡，实现了统一NAS存储系统与分布式对象存储系统的混合使用；并且，本申请将统一NAS存储系统中已迁移数据删除，可减少统一NAS存储系统的存储空间，保证统一NAS存储系统具有有效的存储空间，提高数据存储的可用性，避免出现数据存储异常的问题。
本发明还公开了一种数据存储装置、设备及计算机可读存储介质，同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种数据存储方法流程示意图；
图2为本发明实施例公开的一种数据存储系统结构示意图；
图3为本发明实施例公开的一种具体的数据存储方法流程示意图；
图4为本发明实施例公开的一种数据存储装置结构示意图；
图5为本发明实施例公开的一种数据存储设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种数据存储方法、装置、设备及计算机可读存储介质，以实现提高统一NAS存储系统的存储性能，避免数据存储异常。
参见图1，本发明实施例提供的一种数据存储方法流程示意图；该方法可以包括：
S101、接收客户端发送的存储请求；所述存储请求用于存储目标数据；
参见图2，为本发明实施例提供的一种数据存储系统结构示意图；通过该图可以看出，该系统包括客户端、内容管理平台、分布式对象存储系统、统一NAS存储系统，该内容管理平台包括业务管理模块、对象存储API、数据生命周期管理模块、NAS存储API。客户端存储数据时，会向内容管理平台的业务管理模块发送存储请求，该存储请求中携带了待存储的目标数据，并且，该存储请求还会指定该目标数据的待存储系统，该待存储系统可以为统一NAS存储系统或者分布式对象存储系统。也即：在本申请中，用户通过客户端存储数据时，可以根据实际需求自主选择不同的存储系统。
S102、判断目标数据的待存储系统是否为统一NAS存储系统；
若否，则执行S103；若是，则执行S104；
S103、将目标数据存储至分布式对象存储系统；
S104、确定目标数据的类型信息，并将目标数据存储至统一NAS存储系统；所述类型信息包括热数据和待冷数据；
在本申请中，内容管理平台的业务管理模块接收到该存储请求后，需要根据该请求中指定的待存储系统，判断目标数据是否需要存储至统一NAS存储系统；如果不需要存储至统一NAS存储系统，而需要存储至分布式对象存储系统，则直接执行S103，通过对象存储API将目标数据存储至分布式对象存储系统；若需要存储至分布式对象存储系统，则继续执行S104，确定目标数据的类型信息后，再通过NAS存储API存储至统一NAS存储系统。
需要说明的是，本申请中的数据的类型信息共分为三类：热数据、待冷数据和冷数据，但是待冷数据和冷数据的数据类型其实是相同的，只不过在本实施例中将存储时间未超过预定时长的数据称之为待冷数据，将存储时间超过预定时长的数据称之为冷数据。该热数据和冷数据的具体定义可通过用户自行设定，可将预计访问频率较高的数据设定为热数据，将预计访问频率较低的数据设定为冷数据，在设定时，还可具体到某一具体数据。
S105、将统一NAS存储系统中存储时长大于预定阈值的待冷数据作为冷数据，迁移至分布式对象存储系统，并将统一NAS存储系统中已迁移数据删除。
在本实施例中，需要将统一NAS存储系统中存储时长大于预定阈值的待冷数据作为冷数据迁移至分布式对象存储系统，并删除统一NAS存储系统中已迁移数据，从而减少统一NAS存储系统的存储空间；需要说明的是，本申请可记录不同数据的存储时刻，以该存储时刻为基准查找存储时长大于预定阈值的待冷数据时，并且在查找待冷数据时，可以实时检测是否存在待冷数据，也可以以预定时长为间隔进行查找，在此并不具体限定。
综上可以看出，在本申请中，存储在统一NAS存储系统的数据分为热数据和待冷数据，在待冷数据的存储时长大于预定阈值后，便将对应的待冷数据作为冷数据迁移至分布式对象存储系统，通过这种方式，可在不影响在线业务的前提下，实现统一NAS存储系统和分布式对象存储系统的数据过渡，实现了统一NAS存储系统与分布式对象存储系统的混合使用；并且，本申请将统一NAS存储系统中已迁移数据删除，可减少统一NAS存储系统的存储空间，保证统一NAS存储系统具有有效的存储空间，提高数据存储的可用性，避免出现数据存储异常的问题，为统一NAS存储系统到分布式对象存储系统的过渡提供了一种很好的解决方案。
参见图3，本发明实施例提供的一种具体的数据存储方法流程示意图；该方法可以包括：
S201、接收客户端发送的存储请求；所述存储请求用于存储目标数据；
S202、判断所述目标数据的待存储系统是否为统一NAS存储系统；
若否，则执行S203；若是，则执行S204；
S203、将所述目标数据存储至分布式对象存储系统；
S204、确定目标数据的类型信息，若目标数据的类型信息为热数据，则直接将目标数据存储至统一NAS存储系统；若目标数据的类型信息为待冷数据，则设置目标数据的时间标签，并将目标数据存储至统一NAS存储系统；其中，类型信息包括热数据和待冷数据；
S205、利用与各个待冷数据对应的时间标签，从统一NAS存储系统中查找存储时长大于预定阈值的冷数据；将冷数据迁移至分布式对象存储系统，并将统一NAS存储系统中已迁移数据删除。
需要说明的是，参见图2，在本实施例中，业务管理模块判定目标数据需要存储至统一NAS存储系统后，会传输至数据生命周期管理模块，通过该数据生命周期管理模块对目标数据打时间标签；需要说明的是，打上时间标签的数据为待冷数据，不打时间标签的数据为热数据。该时间标签可以理解为存储至统一NAS存储系统的存储时刻，是一个时间点，用来计算该目标数据已存储在统一NAS存储系统的存储时长。当通过时间标签计算某一待冷数据的已存储时长超过预定时长后，就会将该待冷数据作为冷数据，然后该模块会调用对象存储的数据传输功能，将冷数据迁移至分布式对象存储系统；如果待冷数据的已存储时长未超过预定阈值，则由统一NAS存储系统管理数据，维持现有业务数据存储模型。
进一步，若接收到客户端发送的数据查询请求，原有的数据查询流程为根据原存储位置进行查询，例如：若待查询数据原存储至统一NAS存储系统，则发送的数据查询请求中，设定的待查询数据的存储系统便为统一NAS存储系统；若待查询数据原存储至分布式对象存储系统，则发送的数据查询请求中，设定的待查询数据的存储系统便为分布式对象存储系统；但是在本方案中，由于需要将统一NAS存储系统中的冷数据迁移至分布式对象存储系统，因此如果还按照原查询逻辑，则会出现向统一NAS存储系统发送查询请求后，未查询到数据，然后再将查询请求发送至分布式对象存储系统的现象，可以看出，这种查询方式会造成存储延时，造成系统资源浪费。
因此在本实施例中，接收客户端发送的数据查询请求后，需要执行以下查询操作：
判断待查询数据的存储系统是否为统一NAS存储系统；若否，则直接从分布式对象存储系统中查询数据，并将查询结果返回至所述客户端；
若是，则判断待查询数据是否已迁移至分布式对象存储系统；若已迁移，则从分布式对象存储系统中查询数据，并将查询结果返回至客户端；若未迁移，则从统一NAS存储系统中查询数据，并将查询结果返回至客户端。
也就是说，本申请在查询数据时，对于已经迁移至分布式对象存储系统的数据，可直接向分布式对象存储系统发送查询请求，而不需要查询统一NAS存储系统后，再查询分布式对象存储系统，简化了查询流程，提高查询效率，减少数据查询延时。需要说明的是，本申请中的查询请求具体可以为客户端做列举或元数据检索操作时生成的查询请求，其中，列举为在业务端进行数据的查询；元数据的检索功能操作为关键字形式的检索，如：银行系统中的归档文件，如果对抵押贷款人的档案做下标签标记，例如抵押物：xx小区120平米房子，将该数据存储后，以后想查该归档文件，即使忘了归档文件的名字，可以直接进行元数据检索，检索关键字：抵押物：120平，如此便可检索出之前存储的归档文件。
综上可以看出，本申请实现数据存储主要包括如下步骤：
1、客户端数据进入内容管理平台，业务管理模块将接收到的数据存储分为两种方式：一种直接对应于分布式对象存储系统，另一种是对应于统一NAS存储系统。
2、对应于统一NAS存储系统的数据经过数据生命周期管理模块，将存入统一NAS存储系统的数据分为热数据和待冷数据。
3、统一NAS存储系统里的待冷数据经过一定周期变为冷数据后，数据生命周期管理模块从统一NAS存储系统读取这些冷数据，并将其写入分布式对象存储系统中，然后并将其从统一NAS存储系统中删除。
4、客户端对统一NAS存储系统中已变冷的数据(已迁移至分布式对象存储系统)做列举或元数据检索操作时，将直接从分布式对象存储系统中获取该数据。
需要说明的是，在本实施例中，可将统一NAS存储系统作为第一级存储系统，将分布式对象存储系统作为第二存储系统；通过本申请所述的这种混合分级存储数据迁移的方案，通过分级存储把很少使用的冷迁移到第二级存储系统中，可减少第一级存储系统的存储空间，同时提高了在线数据的可用性，使磁盘的可用空间维持在系统要求的水平上，此外，分级存储可使不同性价比的存储设备发挥最大的综合效益。此外，本方案打破了统一NAS存储与分布式存储的数据隔离壁垒，还提高了热数据的访问效率，改善数据的可用性；同时，此方案实现的意义极大的保障了统一存储向分布式存储的顺利在线过渡，实现未来分布式存储应用的无缝切换。
下面对本发明实施例提供的数据存储装置进行介绍，下文描述的数据存储装置与上文描述的数据存储方法可以相互参照。
参见图4，本发明实施例提供的一种数据存储装置，包括：
第一接收模块100，用于接收客户端发送的存储请求；所述存储请求用于存储目标数据；
第一判断模块200，用于判断所述目标数据的待存储系统是否为统一NAS存储系统；
第一存储模块300，用于在所述目标数据的待存储系统不为统一NAS存储系统时，将所述目标数据存储至分布式对象存储系统；
类型确定模块400，用于在所述目标数据的待存储系统为统一NAS存储系统时，确定所述目标数据的类型信息；所述类型信息包括热数据和待冷数据；
第二存储模块500，用于将所述目标数据存储至所述统一NAS存储系统；
数据迁移模块600，用于将所述统一NAS存储系统中存储时长大于预定阈值的待冷数据作为冷数据，迁移至分布式对象存储系统；
数据删除模块700，用于将所述统一NAS存储系统中已迁移数据删除。
其中，所述第二存储模块包括：
第一存储单元，用于在所述目标数据的类型信息为热数据时，直接将所述目标数据存储至所述统一NAS存储系统；
第二存储单元，用于在所述目标数据的类型信息为待冷数据时，设置所述目标数据的时间标签，并将所述目标数据存储至所述统一NAS存储系统。
其中，所述数据迁移模块包括：
待迁移数据确定单元，用于利用与各个待冷数据对应的时间标签，从所述统一NAS存储系统中查找存储时长大于预定阈值的冷数据；
数据迁移单元，用于将所述冷数据迁移至分布式对象存储系统。
其中，本方案还包括：
第二接收模块，用于接收客户端发送的数据查询请求；
第二判断模块，用于判断待查询数据的存储系统是否为所述统一NAS存储系统；
第一查询结果发送模块，用于在待查询数据的存储系统不为所述统一NAS存储系统时，直接从所述分布式对象存储系统中查询数据，并将查询结果返回至所述客户端；
第三判断模块，用于在待查询数据的存储系统为所述统一NAS存储系统时，判断待查询数据是否已迁移至所述分布式对象存储系统；
所述第一查询结果发送模块，用于在待查询数据已迁移至所述分布式对象存储系统时，从所述分布式对象存储系统中查询数据，并将查询结果返回至所述客户端；
第二查询结果发送模块，用于在待查询数据未迁移至所述分布式对象存储系统时，从所述统一NAS存储系统中查询数据，并将查询结果返回至所述客户端。
本发明实施例还公开了一种数据存储设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述任意方法实施例所述的数据存储方法的步骤。
在本实施例中，设备可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。
参见图5，为本发明实施例公开的一种数据存储设备结构示意图；该设备可以包括存储器11、处理器12和总线13。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是设备的内部存储单元，例如该设备的硬盘。存储器11在另一些实施例中也可以是设备的外部存储设备，例如设备上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于设备的应用软件及各类数据，例如执行数据存储的程序代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行数据存储的程序代码等。
该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
进一步地，设备还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该设备与其他电子设备之间建立通信连接。
可选地，该设备还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有组件11-14的设备，本领域技术人员可以理解的是，图5示出的结构并不构成对设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意方法实施例所述的数据存储方法的步骤。
其中，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
综上可以看出，本申请提供的这种分级存储方案，可实现统一NAS存储和分布式存储的混合使用，且分级功能是根据具体数据的时效性进行分级，而不是根据存储池整体数据的时效性进行分级；此外，在本申请中统一NAS存储和分布式存储混合架构中还引入了列举及元数据检索功能，可以保证冷数据在第二级存储中时可以直接被业务访问到，而不是先回到第一级存储后再被业务访问，这种混合架构的意义并不是单纯的数据分级备份，而是在不影响原有数据存储架构(统一NAS存储)的同时，增加对象存储的分级，两种存储系统协同管理数据，这样对客户业务架构没有丝毫改动。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据存储方法，其特征在于，包括：
接收客户端发送的存储请求；所述存储请求用于存储目标数据；
判断所述目标数据的待存储系统是否为统一NAS存储系统；
若否，则将所述目标数据存储至分布式对象存储系统；
若是，则确定所述目标数据的类型信息，并将所述目标数据存储至所述统一NAS存储系统；所述类型信息包括热数据和待冷数据；
将所述统一NAS存储系统中存储时长大于预定阈值的待冷数据作为冷数据，迁移至分布式对象存储系统，并将所述统一NAS存储系统中已迁移数据删除。
2.根据权利要求1所述的数据存储方法，其特征在于，所述将所述目标数据存储至所述统一NAS存储系统，包括：
若所述目标数据的类型信息为热数据，则直接将所述目标数据存储至所述统一NAS存储系统；
若所述目标数据的类型信息为待冷数据，则设置所述目标数据的时间标签，并将所述目标数据存储至所述统一NAS存储系统。
3.根据权利要求2所述的数据存储方法，其特征在于，所述将所述统一NAS存储系统中存储时长大于预定阈值的待冷数据作为冷数据，迁移至分布式对象存储系统，包括：
利用与各个待冷数据对应的时间标签，从所述统一NAS存储系统中查找存储时长大于预定阈值的冷数据；
将所述冷数据迁移至分布式对象存储系统。
4.根据权利要求1至3任意一项所述的数据存储方法，其特征在于，还包括：
接收客户端发送的数据查询请求；
判断待查询数据的存储系统是否为所述统一NAS存储系统；
若否，则直接从所述分布式对象存储系统中查询数据，并将查询结果返回至所述客户端；
若是，则判断待查询数据是否已迁移至所述分布式对象存储系统；
若已迁移，则从所述分布式对象存储系统中查询数据，并将查询结果返回至所述客户端；若未迁移，则从所述统一NAS存储系统中查询数据，并将查询结果返回至所述客户端。
5.一种数据存储装置，其特征在于，包括：
第一接收模块，用于接收客户端发送的存储请求；所述存储请求用于存储目标数据；
第一判断模块，用于判断所述目标数据的待存储系统是否为统一NAS存储系统；
第一存储模块，用于在所述目标数据的待存储系统不为统一NAS存储系统时，将所述目标数据存储至分布式对象存储系统；
类型确定模块，用于在所述目标数据的待存储系统为统一NAS存储系统时，确定所述目标数据的类型信息；所述类型信息包括热数据和待冷数据；
第二存储模块，用于将所述目标数据存储至所述统一NAS存储系统；
数据迁移模块，用于将所述统一NAS存储系统中存储时长大于预定阈值的待冷数据作为冷数据，迁移至分布式对象存储系统；
数据删除模块，用于将所述统一NAS存储系统中已迁移数据删除。
6.根据权利要求5所述的数据存储装置，其特征在于，所述第二存储模块包括：
第一存储单元，用于在所述目标数据的类型信息为热数据时，直接将所述目标数据存储至所述统一NAS存储系统；
第二存储单元，用于在所述目标数据的类型信息为待冷数据时，设置所述目标数据的时间标签，并将所述目标数据存储至所述统一NAS存储系统。
7.根据权利要求6所述的数据存储装置，其特征在于，所述数据迁移模块包括：
待迁移数据确定单元，用于利用与各个待冷数据对应的时间标签，从所述统一NAS存储系统中查找存储时长大于预定阈值的冷数据；
数据迁移单元，用于将所述冷数据迁移至分布式对象存储系统。
8.根据权利要求5至7任意一项所述的数据存储装置，其特征在于，还包括：
第二接收模块，用于接收客户端发送的数据查询请求；
第二判断模块，用于判断待查询数据的存储系统是否为所述统一NAS存储系统；
第一查询结果发送模块，用于在待查询数据的存储系统不为所述统一NAS存储系统时，直接从所述分布式对象存储系统中查询数据，并将查询结果返回至所述客户端；
第三判断模块，用于在待查询数据的存储系统为所述统一NAS存储系统时，判断待查询数据是否已迁移至所述分布式对象存储系统；
所述第一查询结果发送模块，用于在待查询数据已迁移至所述分布式对象存储系统时，从所述分布式对象存储系统中查询数据，并将查询结果返回至所述客户端；
第二查询结果发送模块，用于在待查询数据未迁移至所述分布式对象存储系统时，从所述统一NAS存储系统中查询数据，并将查询结果返回至所述客户端。
9.一种数据存储设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的数据存储方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的数据存储方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911244733.9A CN110989937B (zh) | 2019-12-06 | 2019-12-06 | 一种数据存储方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911244733.9A CN110989937B (zh) | 2019-12-06 | 2019-12-06 | 一种数据存储方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110989937A true CN110989937A (zh) | 2020-04-10 |
| CN110989937B CN110989937B (zh) | 2022-07-08 |
Family
ID=70091173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911244733.9A Active CN110989937B (zh) | 2019-12-06 | 2019-12-06 | 一种数据存储方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110989937B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111459900A (zh) * | 2020-04-22 | 2020-07-28 | 广州虎牙科技有限公司 | 大数据生命周期设置方法、装置、存储介质及服务器 |
| CN112860185A (zh) * | 2021-01-29 | 2021-05-28 | 西藏宁算科技集团有限公司 | 基于lru算法的高可用缓存方法、存储装置以及电子设备 |
| CN113760176A (zh) * | 2020-12-02 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 数据存储方法和装置 |
| CN114527935A (zh) * | 2022-01-12 | 2022-05-24 | 阿里巴巴（中国）有限公司 | 数据存储方法、装置、电子设备、介质及程序产品 |
| CN114924696A (zh) * | 2022-07-18 | 2022-08-19 | 上海有孚数迅科技有限公司 | 用于存储管理的方法、设备、介质及程序产品 |
| CN117009292A (zh) * | 2023-08-08 | 2023-11-07 | 海尔消费金融有限公司 | 文件数据迁移系统、方法、计算机设备和可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106047A (zh) * | 2013-01-29 | 2013-05-15 | 浪潮(北京)电子信息产业有限公司 | 一种基于对象的存储系统及其存储方法 |
| US20160092119A1 (en) * | 2014-09-29 | 2016-03-31 | International Business Machines Corporation | Data migration between different types of storage systems |
| CN107632784A (zh) * | 2017-09-14 | 2018-01-26 | 郑州云海信息技术有限公司 | 一种存储介质和分布式存储系统的缓存方法、装置及设备 |
| CN107688443A (zh) * | 2017-09-18 | 2018-02-13 | 郑州云海信息技术有限公司 | 一种数据存储的方法、系统及相关装置 |
| CN110007862A (zh) * | 2019-04-01 | 2019-07-12 | 北京猫盘技术有限公司 | 基于网络存储设备的混合云存储系统及其数据处理方法 |
-
2019
- 2019-12-06 CN CN201911244733.9A patent/CN110989937B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106047A (zh) * | 2013-01-29 | 2013-05-15 | 浪潮(北京)电子信息产业有限公司 | 一种基于对象的存储系统及其存储方法 |
| US20160092119A1 (en) * | 2014-09-29 | 2016-03-31 | International Business Machines Corporation | Data migration between different types of storage systems |
| CN107632784A (zh) * | 2017-09-14 | 2018-01-26 | 郑州云海信息技术有限公司 | 一种存储介质和分布式存储系统的缓存方法、装置及设备 |
| CN107688443A (zh) * | 2017-09-18 | 2018-02-13 | 郑州云海信息技术有限公司 | 一种数据存储的方法、系统及相关装置 |
| CN110007862A (zh) * | 2019-04-01 | 2019-07-12 | 北京猫盘技术有限公司 | 基于网络存储设备的混合云存储系统及其数据处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| ADNAN; AMIL AHMAD ILHAM; SYAHRUL USMAN: ""Performance analysis of extract, transform, load (ETL) in apache Hadoop atop NAS storage using ISCSI"", 《2017 4TH INTERNATIONAL CONFERENCE ON COMPUTER APPLICATIONS AND INFORMATION PROCESSING TECHNOLOGY (CAIPT)》 * |
| 魏学才等: "适应冷热数据存储的多编码架构的设计与实证", 《计算机应用与软件》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111459900A (zh) * | 2020-04-22 | 2020-07-28 | 广州虎牙科技有限公司 | 大数据生命周期设置方法、装置、存储介质及服务器 |
| CN113760176A (zh) * | 2020-12-02 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 数据存储方法和装置 |
| CN112860185A (zh) * | 2021-01-29 | 2021-05-28 | 西藏宁算科技集团有限公司 | 基于lru算法的高可用缓存方法、存储装置以及电子设备 |
| CN114527935A (zh) * | 2022-01-12 | 2022-05-24 | 阿里巴巴（中国）有限公司 | 数据存储方法、装置、电子设备、介质及程序产品 |
| CN114924696A (zh) * | 2022-07-18 | 2022-08-19 | 上海有孚数迅科技有限公司 | 用于存储管理的方法、设备、介质及程序产品 |
| CN117009292A (zh) * | 2023-08-08 | 2023-11-07 | 海尔消费金融有限公司 | 文件数据迁移系统、方法、计算机设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110989937B (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110989937B (zh) | 一种数据存储方法、装置、设备及计算机可读存储介质 | |
| US11741057B2 (en) | Unified data object management system and the method | |
| CN110018998B (zh) | 一种文件管理方法、系统及电子设备和存储介质 | |
| US8600970B2 (en) | Server-side search of email attachments | |
| CN102307234A (zh) | 基于移动终端的资源检索方法 | |
| CN104331428A (zh) | 一种小文件和大文件的存储及访问方法 | |
| CN114021089B (zh) | 一种目录访问控制方法、装置、设备及可读存储介质 | |
| CN111222153B (zh) | 应用程序权限管理方法、装置和存储介质 | |
| CN109472540B (zh) | 业务处理方法和装置 | |
| CN109597707B (zh) | 克隆卷数据拷贝方法、装置及计算机可读存储介质 | |
| CN103019891A (zh) | 一种还原被删除文件的方法及系统 | |
| CN115455058A (zh) | 缓存数据的处理方法、装置、计算机设备及存储介质 | |
| CN112925783A (zh) | 业务数据处理方法和装置、电子设备和存储介质 | |
| EP3343395B1 (en) | Data storage method and apparatus for mobile terminal | |
| CN111831691A (zh) | 一种数据读写方法及装置、电子设备、存储介质 | |
| CN113485642A (zh) | 数据缓存方法及装置 | |
| CN108205559B (zh) | 一种数据管理方法及其设备 | |
| CN109189728B (zh) | 智能硬件设备、磁盘数据处理方法和存储介质 | |
| CN116303267A (zh) | 数据访问方法、装置、设备以及存储介质 | |
| CN114942908B (zh) | 索引系统、数据处理方法、电子设备及介质 | |
| CN111143293A (zh) | 一种元数据获取方法、装置、设备及计算机可读存储介质 | |
| CN104285221A (zh) | 对跨各内容源的内容的高效原地保留 | |
| CN110851133A (zh) | 前端组件库、基于前端组件库的网页响应方法及装置 | |
| CN103745004A (zh) | 一种基于云计算的桌面搜索方法、云服务器及终端 | |
| CA2620453A1 (en) | System and method for managing databases associated with respective personal information manager service accounts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |