CN106502576B - 迁移策略调整方法及装置 - Google Patents
迁移策略调整方法及装置 Download PDFInfo
- Publication number
- CN106502576B CN106502576B CN201510560752.8A CN201510560752A CN106502576B CN 106502576 B CN106502576 B CN 106502576B CN 201510560752 A CN201510560752 A CN 201510560752A CN 106502576 B CN106502576 B CN 106502576B
- Authority
- CN
- China
- Prior art keywords
- resource pool
- storage resource
- data
- storage
- access heat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
Abstract
本发明提供了一种迁移策略调整方法、容量变更建议方法及装置。其中，迁移策略调整方法包括：统计在预设时间段内数据存储服务器集群上的第一存储资源池的容量信息，其中，第一存储资源池用于存储访问热度值超过预设访问热度阈值的数据分片；根据容量信息，判断第一存储资源池的存储容量是否发生变化；在判断到存储容量发生变化的情况下，调整数据存储服务器集群的数据分片的迁移策略。通过本发明，解决了迁移策略由人工进行静态设置导致的高性能存储介质浪费或者业务的访问性能降低的问题，可以提高高性能存储介质的利用率，提升业务的访问性能。
Description
技术领域
本发明涉及存储领域，具体而言，涉及一种迁移策略调整方法及装置。
背景技术
传统分级存储依据存储访问的局部性突出的应用场景，通过在原有的海量低性能存储介质基础上引入一定空间比例的高性能(读性能)存储介质，将应用对存储系统的一定时长的内容访问历史统计信息和手动预设的存储分级策略进行比对，对存储在低层(低性能)介质上且读访问热度超过设定的上升热度阈值的内容向高层(高性能)存储介质上进行上升式迁移；同时对存储在高层(高性能)介质上且读访问热度低于设定的热度下降阈值的内容向低层(低性能)存储介质上进行下降式迁移。使得热数据尽可能驻留在高性能层介质上，而冷数据尽可能驻留在低性能层存储介质上，内容的热度随应用访问的变化而变化，在设定统计周期时长变热或变冷或不变，变热和变冷的数据对应的迁移对应用透明。
然而，传统方式最大的问题是数据分片的迁移策略是手工预设的，不同层级的资源池分级架构是静态的，无法对不同层级资源池的动态扩/缩容进行实时感知并同步调整，无法对上层应用存储访问模型中热度阈值的范围变化无法做到动态适应，从而会产生高层(高性能)存储介质无法充分利用的浪费现象或频繁的内容升降迁移造成对实际业务的访问性能降低。
针对相关技术中迁移策略由人工进行静态设置导致的高性能存储介质浪费和业务的访问性能降低的问题，目前尚未提出有效的解决方案。
发明内容
本发明提供了一种迁移策略调整方法及装置，以至少解决迁移策略由人工进行静态设置导致的高性能存储介质浪费和业务的访问性能降低的问题。
根据本发明的一个方面，提供了一种迁移策略调整方法，包括：统计在预设时间段内数据存储服务器集群上的第一存储资源池的容量信息，其中，所述第一存储资源池用于存储访问热度值超过预设访问热度阈值的数据分片；根据所述容量信息，判断所述第一存储资源池的存储容量是否发生变化；在判断到所述存储容量发生变化的情况下，调整所述数据存储服务器集群的数据分片的迁移策略。
优选地，统计在所述预设时间段内所述数据存储服务器集群上的所述第一存储资源池的所述容量信息还包括：统计在所述预设时间段内元数据服务器集群上的数据分片的访问信息；在统计所述访问信息之后，所述方法还包括：根据所述访问信息，统计所述预设时间段内的所述数据分片的访问热度值；根据所述访问热度值确定所述数据分片中需进行迁移的数据分片，迁移需进行迁移的数据分片。
优选地，根据所述访问热度值确定所述数据分片中需进行迁移的数据分片，迁移需进行迁移的数据分片，包括：在所述第一存储资源池被占用比例未达到预设满阈值的情况下，根据所述访问热度值确定需要由第二存储资源池迁移至所述第一存储资源池的第一数据分片的第一数据量；判断所述第一存储资源池的剩余存储空间是否满足所述第一数据分片的存储需求；在判断到所述第一存储资源池的剩余存储空间满足所述第一数据分片的存储需求的情况下，将所述第一数据分片迁移至所述第一存储资源池。
优选地，在判断到所述第一存储资源池的剩余存储空间不能满足所述第一数据分片的存储需求的情况下，根据所述访问热度值确定所述数据分片中需进行迁移的数据分片，迁移需进行迁移的数据分片，还包括：根据所述第一存储资源池的剩余存储空间和所述第一数据量，确定需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的第二数据量，其中，所述第二数据量大于或等于所述第一数据量与所述剩余存储空间的差值；将所述第二数据分片迁移至所述第二存储资源池；将所述第一数据分片迁移至所述第一存储资源池。
优选地，在判断到所述存储容量发生变化的情况下，调整所述数据存储服务器集群的所述数据分片的所述迁移策略，包括：统计在所述预设时间段内所述数据分片的迁移信息；根据所述迁移信息，确定在所述预设时间段内在所述第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；和/或，确定在所述预设时间段内在所述第一存储资源池和所述第二存储资源池之间双向迁移的次数低于所述预设迁移数的第四数据分片；在判断到所述存储容量增加的情况下，在当前访问热度值统计周期之后的预设多个访问热度值统计周期内将所述第三数据分片驻留在所述第一存储资源池；和/或在判断到所述第一存储资源池容量减少的情况下，在当前访问热度值统计周期之后的预设多个访问热度值统计周期内将所述第四数据分片驻留在所述第二存储资源池。
优选地，在判断到所述第一存储资源池的容量发生变化的情况下，调整所述数据存储服务器集群的所述数据分片的所述迁移策略，还包括以下至少之一：在判断到所述第一存储资源池容量增加的情况下，降低第一访问热度阈值；在判断到所述第一存储资源池容量增加的情况下，降低第二访问热度阈值；在判断到所述第一存储资源池容量减少的情况下，提升所述第一访问热度阈值；在判断到所述第一存储资源池容量减少的情况下，提升所述第二访问热度阈值；其中，所述第一访问热度阈值为需要由所述第二存储资源池迁移至所述第一存储资源池的第一数据分片的最小访问热度值，所述第二访问热度阈值为需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的最大访问热度值。
优选地，在统计所述数据存储服务集群上的所述第一存储资源池的所述容量信息之后，所述方法还包括：判断在连续的多个访问热度值统计周期内所述第一存储资源池的利用率是否低于预设利用率；在判断到在连续的所述多个访问热度值统计周期内所述第一存储资源池的利用率低于所述预设利用率的情况下，增大访问热度值统计周期，和/或，降低第二访问热度阈值，其中，所述第二访问热度阈值为需要由所述第一存储资源池迁移至第二存储资源池的第二数据分片的最大访问热度值。
优选地，统计在所述预设时间段内所述数据存储服务器集群上的所述第一存储资源池的所述容量信息还包括：统计在所述预设时间段内在所述第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；在统计所述第三数据分片之后，所述方法还包括：上报针对所述第三数据分片的告警信息，其中，所述告警信息包括：用于指示当前迁移策略性能收益低的告警，和/或用于指示所述第三数据分片频繁迁移的告警。
优选地，在统计在所述预设时间段内在所述第一存储资源池和所述第二存储资源池之间双向迁移的次数超过所述预设迁移数的所述第三数据分片之后，所述方法还包括：根据所述第三数据分片的数据量，上报对所述第一存储资源池的容量变更建议。
优选地，在上报对所述第一存储资源池的所述容量变更建议之后，所述方法还包括：启动计时器；在所述计时器超时且未收到所述容量变更建议的响应消息的情况下，提升第一访问热度阈值，和/或，提升第二访问热度阈值，其中，所述第一访问热度阈值为需要由所述第二存储资源池迁移至所述第一存储资源池的第一数据分片的最小访问热度值，所述第二访问热度阈值为需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的最大访问热度值。
根据本发明的另一个方面，还提供了一种容量变更建议方法，包括：统计在预设时间段内在数据存储服务器集群上第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；根据所述第三数据分片的数据量，上报对所述第一存储资源池的容量变更建议。
优选地，在统计在所述预设时间段内在所述数据存储服务器集群上所述第一存储资源池和所述第二存储资源池之间双向迁移的次数超过所述预设迁移数的所述第三数据分片之后，所述方法还包括：上报针对所述第三数据分片的告警信息，其中，所述告警信息包括：用于指示当前迁移策略性能收益低的告警，和/或用于指示所述第三数据分片频繁迁移的告警。
优选地，在上报对所述第一存储资源池的所述容量变更建议之后，所述方法还包括：启动计时器；在所述计时器超时且未收到所述容量变更建议的响应消息的情况下，提升第一访问热度阈值，和/或，提升第二访问热度阈值，其中，所述第一访问热度阈值为需要由所述第二存储资源池迁移至所述第一存储资源池的第一数据分片的最小访问热度值，所述第二访问热度阈值为需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的最大访问热度值。
根据本发明的另一个方面，还提供了一种迁移策略调整装置，包括：容量信息统计模块，用于统计在预设时间段内数据存储服务器集群上的第一存储资源池的容量信息，其中，所述第一存储资源池用于存储访问热度值超过预设访问热度阈值的数据分片；容量信息判断模块，用于根据所述容量信息，判断所述第一存储资源池的存储容量是否发生变化；迁移策略调整模块，用于在判断到所述存储容量发生变化的情况下，调整所述数据存储服务器集群的数据分片的迁移策略。
优选地，所述容量信息统计模块还用于：统计在所述预设时间段内元数据服务器集群上的数据分片的访问信息；所述装置还包括：访问热度值统计模块，用于根据所述访问信息，统计所述预设时间段内的所述数据分片的访问热度值；数据分片迁移模块，用于根据所述访问热度值确定所述数据分片中需进行迁移的数据分片，迁移需进行迁移的数据分片。
优选地，所述数据分片迁移模块包括：第一数据量确定单元，用于在所述第一存储资源池被占用比例未达到预设满阈值的情况下，根据所述访问热度值确定需要由第二存储资源池迁移至所述第一存储资源池的第一数据分片的第一数据量；存储需求判断单元，用于判断所述第一存储资源池的剩余存储空间是否满足所述第一数据分片的存储需求；第一数据分片迁移单元，用于在判断到所述第一存储资源池的剩余存储空间满足所述第一数据分片的存储需求的情况下，将所述第一数据分片迁移至所述第一存储资源池。
优选地，所述数据分片迁移模块还包括：第二数据量确定单元，用于在判断到所述第一存储资源池的剩余存储空间不能满足所述第一数据分片的存储需求的情况下，根据所述第一存储资源池的剩余存储空间和所述第一数据量，确定需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的第二数据量，其中，所述第二数据量大于或等于所述第一数据量与所述剩余存储空间的差值；第二数据分片迁移单元，用于将所述第二数据分片迁移至所述第二存储资源池；其中，所述第一数据分片迁移单元，还用于在将所述第二数据分片迁移至所述第二存储资源池之后，将所述第一数据分片迁移至所述第一存储资源池。
优选地，所述迁移策略调整模块包括：迁移信息统计单元，用于统计在所述预设时间段内所述数据分片的迁移信息；第三数据分片确定单元，用于根据所述迁移信息，确定在所述预设时间段内在所述第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；和/或，第四数据分片确定单元，用于确定在所述预设时间段内在所述第一存储资源池和所述第二存储资源池之间双向迁移的次数低于所述预设迁移数的第四数据分片；第三数据分片驻留单元，用于在判断到所述存储容量增加的情况下，在当前访问热度值统计周期之后的预设多个访问热度值统计周期内将所述第三数据分片驻留在所述第一存储资源池；和/或第四数据分片驻留单元，用于在判断到所述第一存储资源池容量减少的情况下，在当前访问热度值统计周期之后的预设多个访问热度值统计周期内将所述第四数据分片驻留在所述第二存储资源池。
优选地，迁移策略调整模块还包括以下至少之一：第一访问热度阈值降低单元，用于在判断到所述第一存储资源池容量增加的情况下，降低第一访问热度阈值；第二访问热度阈值降低单元，用于在判断到所述第一存储资源池容量增加的情况下，降低第二访问热度阈值；第一访问热度阈值提升单元，用于在判断到所述第一存储资源池容量减少的情况下，提升所述第一访问热度阈值；第二访问热度阈值提升单元，用于在判断到所述第一存储资源池容量减少的情况下，提升所述第二访问热度阈值；其中，所述第一访问热度阈值为需要由所述第二存储资源池迁移至所述第一存储资源池的第一数据分片的最小访问热度值，所述第二访问热度阈值为需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的最大访问热度值。
优选地，所述装置还包括：利用率判断模块，用于判断在连续的多个访问热度值统计周期内所述第一存储资源池的利用率是否低于预设利用率；访问热度值统计周期和/或第二访问热度阈值调整模块，用于在判断到在连续的所述多个访问热度值统计周期内所述第一存储资源池的利用率低于所述预设利用率的情况下，增大访问热度值统计周期，和/或，降低第二访问热度阈值，其中，所述第二访问热度阈值为需要由所述第一存储资源池迁移至第二存储资源池的第二数据分片的最大访问热度值。
优选地，所述容量信息统计模块还用于：统计在所述预设时间段内在所述第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；所述装置还包括：告警信息上报模块，用于上报针对所述第三数据分片的告警信息，其中，所述告警信息包括：用于指示当前迁移策略性能收益低的告警，和/或用于指示所述第三数据分片频繁迁移的告警。
优选地，所述装置还包括：容量变更建议上报模块，用于根据所述第三数据分片的数据量，上报对所述第一存储资源池的容量变更建议。
优选地，所述装置还包括：计时器启动模块，用于启动计时器；第一访问热度阈值和/或第二访问热度阈值提升模块，用于在所述计时器超时且未收到所述容量变更建议的响应消息的情况下，提升第一访问热度阈值，和/或，提升第二访问热度阈值，其中，所述第一访问热度阈值为需要由所述第二存储资源池迁移至所述第一存储资源池的第一数据分片的最小访问热度值，所述第二访问热度阈值为需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的最大访问热度值。
根据本发明的另一个方面，还提供了一种容量变更建议装置，包括：第三数据分片统计模块，用于统计在预设时间段内在数据存储服务器集群上第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；容量变更建议上报模块，用于根据所述第三数据分片的数据量，上报对所述第一存储资源池的容量变更建议。
优选地，所述装置还包括：告警信息上报模块，用于上报针对所述第三数据分片的告警信息，其中，所述告警信息包括：用于指示当前迁移策略性能收益低的告警，和/或用于指示所述第三数据分片频繁迁移的告警。
优选地，所述装置还包括：计时器启动模块，用于启动计时器；第一访问热度阈值和/或第二访问热度阈值提升模块，用于在所述计时器超时且未收到所述容量变更建议的响应消息的情况下，提升第一访问热度阈值，和/或，提升第二访问热度阈值，其中，所述第一访问热度阈值为需要由所述第二存储资源池迁移至所述第一存储资源池的第一数据分片的最小访问热度值，所述第二访问热度阈值为需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的最大访问热度值。
通过本发明，采用统计在预设时间段内数据存储服务器集群上的第一存储资源池的容量信息，其中，第一存储资源池用于存储访问热度值超过预设访问热度阈值的数据分片；根据容量信息，判断第一存储资源池的存储容量是否发生变化；在判断到存储容量发生变化的情况下，调整数据存储服务器集群的数据分片的迁移策略的方式，解决了迁移策略由人工进行静态设置导致的高性能存储介质浪费和业务的访问性能降低的问题，可以提高高性能存储介质的利用率，提升业务的访问性能。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的迁移策略调整方法的流程图；
图2是根据本发明实施例的容量变更建议方法的流程图；
图3是根据本发明实施例的迁移策略调整装置的结构示意图；
图4是根据本发明实施例的迁移策略调整装置的优选结构示意图一；
图5是根据本发明实施例的迁移策略调整装置的优选结构示意图二；
图6是根据本发明实施例的迁移策略调整装置的优选结构示意图三；
图7是根据本发明实施例的迁移策略调整装置的优选结构示意图四；
图8是根据本发明实施例的迁移策略调整装置的优选结构示意图五；
图9是根据本发明实施例的容量变更建议装置的结构示意图；
图10是根据本发明实施例的容量变更建议装置的优选结构示意图一；
图11是根据本发明实施例的容量变更建议装置的优选结构示意图二；
图12是根据本发明优选实施例的智能分级存储系统的结构示意图；
图13是根据本发明优选实施例的智能分级存储方法的流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在本实施例中提供了一种迁移策略调整方法，图1是根据本发明实施例的迁移策略调整方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，统计在预设时间段内数据存储服务器集群上的第一存储资源池的容量信息，其中，第一存储资源池用于存储访问热度值超过预设访问热度阈值的数据分片；
步骤S104，根据容量信息，判断第一存储资源池的存储容量是否发生变化；
步骤S106，在判断到存储容量发生变化的情况下，调整数据存储服务器集群的数据分片的迁移策略。
通过上述步骤，根据第一存储资源池的存储容量变化情况，对数据分片的迁移策略进行调整；例如，在第一存储资源池为高性能存储资源池的情况下，通过上述步骤可以动态根据高性能存储资源池的存储容量的变化对迁移策略进行调整，相对于相关技术中手工静态设置迁移策略的方式，解决了迁移策略由人工进行静态设置导致的高性能存储介质浪费和业务的访问性能降低的问题，可以提高高性能存储介质的利用率，提升业务的访问性能。
优选地，上述方法还包括：统计在预设时间段内元数据服务器集群上的数据分片的访问信息；根据访问信息，统计预设时间段内的数据分片的访问热度值；根据访问热度值确定数据分片中需进行迁移的数据分片，迁移需进行迁移的数据分片。上述的访问热度值是指数据分片被访问的频度，被访问频度越高，则访问热度值越高。具体的访问热度值统计方式可以根据实际需要进行设计，在本发明实施例中并不限制其统计方式。数据分片一般存储在多个存储资源池中，例如，按照存储性能分类，可以分为高性能存储资源池(例如SSD介质的存储资源池)和低性能存储资源池(例如，串行高级技术附件接口(Serial AdvancedTechnology Attachment，简称为SATA))。高性能存储资源池中存储的数据分片是访问热度值较大的数据分片，由于这些数据分片被访问的频度高，因此对于读性能要求高；反之，低性能存储资源池中存储的数据分片是访问热度值较低的数据分片。
优选地，在根据访问热度值确定数据分片中需进行迁移的数据分片，迁移需进行迁移的数据分片时，可以根据第一存储资源池(例如高性能存储资源池)的剩余存储空间和待迁移至第一存储资源池的数据量进行处理。
例如，在第一存储资源池被占用比例未达到预设满阈值的情况下，根据访问热度值确定需要由第二存储资源池(例如低性能存储资源池)迁移至第一存储资源池的第一数据分片的第一数据量；判断第一存储资源池的剩余存储空间是否满足第一数据分片的存储需求；在判断到第一存储资源池的剩余存储空间满足第一数据分片的存储需求的情况下，将第一数据分片迁移至第一存储资源池。
优选地，在判断到第一存储资源池的剩余存储空间不能满足第一数据分片的存储需求的情况下，根据第一存储资源池的剩余存储空间和第一数据量，确定需要由第一存储资源池迁移至第二存储资源池的第二数据分片的第二数据量，其中，第二数据量大于或等于第一数据量与剩余存储空间的差值；将第二数据量的第二数据分片迁移至第二存储资源池；将第一数据量的第一数据分片迁移至第一存储资源池。通过上述方式，在第二数据量等于第一数据量与剩余存储空间的差值的情况下，实现了在高性能存储资源池和低性能存储资源池之间的最小数据量迁移，从而可以避免数据分片的大量迁移；同时，由于将尽可能多的数据分片存储在高性能存储资源池中，因此，也提高了高性能存储资源池的利用率，提升了数据分片的访问性能。
优选地，在步骤S106中，调整迁移策略时，可以统计在预设时间段内数据分片的迁移信息；根据迁移信息，确定在预设时间段内在第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；在判断到存储容量增加的情况下，在当前访问热度值统计周期之后的预设多个访问热度值统计周期内将第三数据分片驻留在第一存储资源池；或者，确定在预设时间段内在第一存储资源池和第二存储资源池之间双向迁移的次数低于预设迁移数的第四数据分片；在判断到第一存储资源池容量减少的情况下，在当前访问热度值统计周期之后的预设多个访问热度值统计周期内将第四数据分片驻留在第二存储资源池。通过上述方式，可以统计出频繁迁移的数据分片，并且将频繁迁移的数据分片在一定周期内保持驻留在低层级存储资源池或者高层级存储资源池，避免了数据分片的频繁迁移，从而可以提升系统稳定性，降低数据分片迁移占用的资源。
优选地，在判断到第一存储资源池的容量发生变化的情况下，在步骤S106中，调整数据存储服务器集群的数据分片的迁移策略还可以包括以下至少之一：在判断到第一存储资源池容量增加的情况下，降低第一访问热度阈值；在判断到第一存储资源池容量增加的情况下，降低第二访问热度阈值；在判断到第一存储资源池容量减少的情况下，提升第一访问热度阈值；在判断到第一存储资源池容量减少的情况下，提升第二访问热度阈值；其中，第一访问热度阈值为需要由第二存储资源池迁移至第一存储资源池的第一数据分片的最小访问热度值，第二访问热度阈值为需要由第一存储资源池迁移至第二存储资源池的第二数据分片的最大访问热度值。通过上述方式，可以根据高性能存储资源池的容量变化，对上迁/下迁的访问热度阈值进行调整，从而可以使得热点数据分片的数据量根据高性能存储资源池的容量变化而扩大或者收缩。
优选地，在统计数据存储服务集群上的第一存储资源池的容量信息之后，可以根据容量信息判断在连续的多个访问热度值统计周期内第一存储资源池的利用率是否低于预设利用率；在判断到在连续的多个访问热度值统计周期内第一存储资源池的利用率低于预设利用率的情况下，增大访问热度值统计周期，和/或，降低第二访问热度阈值，其中，第二访问热度阈值为需要由第一存储资源池迁移至第二存储资源池的第二数据分片的最大访问热度值。通过上述方式，可以根据高性能存储资源池的利用率对上迁/下迁的访问热度阈值进行调整，从而提升了高性能存储资源池的利用率。
优选地，上述方法还包括：统计在预设时间段内在第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；上报针对第三数据分片的告警信息，其中，告警信息包括：用于指示当前迁移策略性能收益低的告警，和/或用于指示第三数据分片频繁迁移的告警。
优选地，在上报告警信息时，还可以根据第三数据分片的数据量，上报对第一存储资源池的容量变更建议。采用上述方式，在将容量变更建议上报之后，高层后续可以根据容量变更建议对高性能存储资源池的容量进行调整。
优选地，在上报对第一存储资源池的容量变更建议之后，还可以启动计时器；在计时器超时且未收到容量变更建议的响应消息的情况下，提升第一访问热度阈值，和/或，提升第二访问热度阈值，其中，第一访问热度阈值为需要由第二存储资源池迁移至第一存储资源池的第一数据分片的最小访问热度值，第二访问热度阈值为需要由第一存储资源池迁移至第二存储资源池的第二数据分片的最大访问热度值。通过上述方式，在高层在预定时间内没有指示对高性能存储资源池的存储容量进行变更的情况下，可以通过对访问热度阈值的调整，避免第三数据分片的频繁迁移。
需要说明的是，在本发明实施例中所指的“第一数据分片”、“第二数据分片”、“第三数据分片”或者“第四数据分片”的数量可以是一个或者多个，并且，在通常情况下，由于存储系统中数据量大，则迁移的数据一般也是由多个数据分片构成的数据分片集。
在本实施例中还提供了一种容量变更建议方法，图2是根据本发明实施例的容量变更建议方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，统计在预设时间段内在数据存储服务器集群上第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；
步骤S204，根据第三数据分片的数据量，上报对第一存储资源池的容量变更建议。
通过上述步骤，可以根据数据分片的迁移情况，上报对第一存储资源池(例如高性能存储资源池)的容量变更建议，从而使得高层可以自动根据容量变更建议对第一存储资源池的容量进行调整，解决了迁移策略由人工进行静态设置导致的高性能存储介质浪费或者业务的访问性能降低的问题，可以提高高性能存储介质的利用率，提升业务的访问性能。
优选地，在统计在预设时间段内在数据存储服务器集群上第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片之后，还可以上报针对第三数据分片的告警信息，其中，告警信息包括：用于指示当前迁移策略性能收益低的告警，和/或用于指示第三数据分片频繁迁移的告警。
优选地，在上报对第一存储资源池的容量变更建议之后，可以启动计时器；在计时器超时且未收到容量变更建议的响应消息的情况下，提升第一访问热度阈值，和/或，提升第二访问热度阈值，其中，第一访问热度阈值为需要由第二存储资源池迁移至第一存储资源池的第一数据分片的最小访问热度值，第二访问热度阈值为需要由第一存储资源池迁移至第二存储资源池的第二数据分片的最大访问热度值。通过上述方式，在高层在预定时间内没有指示对高性能存储资源池的存储容量进行变更的情况下，可以通过对访问热度阈值的调整，避免第三数据分片的频繁迁移。
需要说明的是，在本发明实施例中所指的“第一数据分片”、“第二数据分片”、“第三数据分片”或者“第四数据分片”的数量可以是一个或者多个，并且，在通常情况下，由于存储系统中数据量大，则迁移的数据一般也是由多个数据分片构成的数据分片集。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种迁移策略调整装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的迁移策略调整装置的结构示意图，如图3所示，该装置包括：容量信息统计模块32、容量信息判断模块34和迁移策略调整模块36，其中，容量信息统计模块32，用于统计在预设时间段内数据存储服务器集群上的第一存储资源池的容量信息，其中，第一存储资源池用于存储访问热度值超过预设访问热度阈值的数据分片；容量信息判断模块34，用于根据容量信息，判断第一存储资源池的存储容量是否发生变化；迁移策略调整模块36，用于在判断到存储容量发生变化的情况下，调整数据存储服务器集群的数据分片的迁移策略。
图4是根据本发明实施例的迁移策略调整装置的优选结构示意图一，如图4所示，优选地，容量信息统计模块32还用于：统计在预设时间段内元数据服务器集群上的数据分片的访问信息；装置还包括：访问热度值统计模块42，耦合至容量信息统计模块32，用于根据访问信息，统计预设时间段内的数据分片的访问热度值；数据分片迁移模块44，耦合至访问热度值统计模块42，用于根据访问热度值确定数据分片中需进行迁移的数据分片，迁移需进行迁移的数据分片。
优选地，数据分片迁移模块44包括：第一数据量确定单元442，用于在第一存储资源池被占用比例未达到预设满阈值的情况下，根据访问热度值确定需要由第二存储资源池迁移至第一存储资源池的第一数据分片的第一数据量；存储需求判断单元444，耦合至第一数据量确定单元442，用于判断第一存储资源池的剩余存储空间是否满足第一数据分片的存储需求；第一数据分片迁移单元446，耦合至存储需求判断单元444，用于在判断到第一存储资源池的剩余存储空间满足第一数据分片的存储需求的情况下，将第一数据分片迁移至第一存储资源池。
优选地，数据分片迁移模块44还包括：第二数据量确定单元448，耦合至存储需求判断单元444，用于在判断到第一存储资源池的剩余存储空间不能满足第一数据分片的存储需求的情况下，根据第一存储资源池的剩余存储空间和第一数据量，确定需要由第一存储资源池迁移至第二存储资源池的第二数据分片的第二数据量，其中，第二数据量大于或等于第一数据量与剩余存储空间的差值；第二数据分片迁移单元449，耦合至第二数据量确定单元448，用于将第二数据量的第二数据分片迁移至第二存储资源池；其中，第一数据分片迁移单元446，还用于在将第二数据量的第二数据分片迁移至第二存储资源池之后，将第一数据量的第一数据分片迁移至第一存储资源池。
优选地，迁移策略调整模块36包括：迁移信息统计单元362，用于统计在预设时间段内数据分片的迁移信息；第三数据分片确定单元364，耦合至迁移信息统计单元362，用于根据迁移信息，确定在预设时间段内在第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；和/或，第四数据分片确定单元366，耦合至迁移信息统计单元362，用于根据迁移信息，确定在预设时间段内在第一存储资源池和第二存储资源池之间双向迁移的次数低于预设迁移数的第四数据分片；第三数据分片驻留单元365，耦合至第三数据分片确定单元364，用于在判断到存储容量增加的情况下，在当前访问热度值统计周期之后的预设多个访问热度值统计周期内将第三数据分片驻留在第一存储资源池；和/或第四数据分片驻留单元367，耦合至第四数据分片确定单元366，用于在判断到第一存储资源池容量减少的情况下，在当前访问热度值统计周期之后的预设多个访问热度值统计周期内将第四数据分片驻留在第二存储资源池。
优选地，迁移策略调整模块36还包括以下至少之一：第一访问热度阈值降低单元，用于在判断到第一存储资源池容量增加的情况下，降低第一访问热度阈值；第二访问热度阈值降低单元，用于在判断到第一存储资源池容量增加的情况下，降低第二访问热度阈值；第一访问热度阈值提升单元，用于在判断到第一存储资源池容量减少的情况下，提升第一访问热度阈值；第二访问热度阈值提升单元，用于在判断到第一存储资源池容量减少的情况下，提升第二访问热度阈值；其中，第一访问热度阈值为需要由第二存储资源池迁移至第一存储资源池的第一数据分片的最小访问热度值，第二访问热度阈值为需要由第一存储资源池迁移至第二存储资源池的第二数据分片的最大访问热度值。
图5是根据本发明实施例的迁移策略调整装置的优选结构示意图二，如图5所示，优选地，装置还包括：利用率判断模块52，耦合至容量信息统计模块32，用于判断在连续的多个访问热度值统计周期内第一存储资源池的利用率是否低于预设利用率；访问热度值统计周期和/或第二访问热度阈值调整模块54，耦合至利用率判断模块52，用于在判断到在连续的多个访问热度值统计周期内第一存储资源池的利用率低于预设利用率的情况下，增大访问热度值统计周期，和/或，降低第二访问热度阈值，其中，第二访问热度阈值为需要由第一存储资源池迁移至第二存储资源池的第二数据分片的最大访问热度值。
图6是根据本发明实施例的迁移策略调整装置的优选结构示意图三，如图6所示，优选地，容量信息统计模块32还用于：统计在预设时间段内在第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；装置还包括：告警信息上报模块62，耦合至容量信息统计模块32，用于上报针对第三数据分片的告警信息，其中，告警信息包括：用于指示当前迁移策略性能收益低的告警，和/或用于指示第三数据分片频繁迁移的告警。
图7是根据本发明实施例的迁移策略调整装置的优选结构示意图四，如图7所示，优选地，装置还包括：容量变更建议上报模块72，耦合至容量信息统计模块32，用于根据第三数据分片的数据量，上报对第一存储资源池的容量变更建议。
图8是根据本发明实施例的迁移策略调整装置的优选结构示意图五，如图8所示，优选地，装置还包括：计时器启动模块82，耦合至容量变更建议上报模块72，用于启动计时器；第一访问热度阈值和/或第二访问热度阈值提升模块84，耦合至计时器启动模块82，用于在计时器超时且未收到容量变更建议的响应消息的情况下，提升第一访问热度阈值，和/或，提升第二访问热度阈值，其中，第一访问热度阈值为需要由第二存储资源池迁移至第一存储资源池的第一数据分片的最小访问热度值，第二访问热度阈值为需要由第一存储资源池迁移至第二存储资源池的第二数据分片的最大访问热度值。
本实施例还提供了一种容量变更建议装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。
图9是根据本发明实施例的容量变更建议装置的结构示意图，如图9所示，该装置包括：第三数据分片统计模块92和容量变更建议上报模块94，其中，第三数据分片统计模块92，用于统计在预设时间段内在数据存储服务器集群上第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；容量变更建议上报模块94，耦合至第三数据分片统计模块92，用于根据第三数据分片的数据量，上报对第一存储资源池的容量变更建议。
图10是根据本发明实施例的容量变更建议装置的优选结构示意图一，如图10所示，优选地，装置还包括：告警信息上报模块102，耦合至第三数据分片统计模块92，用于上报针对第三数据分片的告警信息，其中，告警信息包括：用于指示当前迁移策略性能收益低的告警，和/或用于指示第三数据分片频繁迁移的告警。
图11是根据本发明实施例的容量变更建议装置的优选结构示意图二，如图11所示，优选地，装置还包括：计时器启动模块112，耦合至容量变更建议上报模块94，用于启动计时器；第一访问热度阈值和/或第二访问热度阈值提升模块114，耦合至计时器启动模块112，用于在计时器超时且未收到容量变更建议的响应消息的情况下，提升第一访问热度阈值，和/或，提升第二访问热度阈值，其中，第一访问热度阈值为需要由第二存储资源池迁移至第一存储资源池的第一数据分片的最小访问热度值，第二访问热度阈值为需要由第一存储资源池迁移至第二存储资源池的第二数据分片的最大访问热度值。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述模块分别位于多个处理器中。
本发明的实施例还提供了一种软件，该软件用于执行上述实施例及优选实施方式中描述的技术方案。
本发明的实施例还提供了一种存储介质。在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
步骤S102，统计在预设时间段内数据存储服务器集群上的第一存储资源池的容量信息，其中，第一存储资源池用于存储访问热度值超过预设访问热度阈值的数据分片；
步骤S104，根据容量信息，判断第一存储资源池的存储容量是否发生变化；
步骤S106，在判断到存储容量发生变化的情况下，调整数据存储服务器集群的数据分片的迁移策略。
本发明的实施例还提供了一种存储介质。在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
步骤S202，统计在预设时间段内在数据存储服务器集群上第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；
步骤S204，根据第三数据分片的数据量，上报对第一存储资源池的容量变更建议。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
为了使本发明实施例的描述更加清楚，下面结合优选实施例进行描述和说明。
本发明优选实施例提供了一种基于分布式架构的智能分级存储系统，以至少实现下列三个功能：
1、实时感知资源池硬件变化/调整，根据资源池的扩/缩容进行智能动态分级策略调整，减少/消除内部迁移抖动，优化系统访问性能；
2、实时感知业务热点模型变化，包括热点内容范围的扩展和收缩；
3、根据实时业务热点模型变化给出智能资源池硬件调整建议，优化硬件配置适配业务应用性能需要；或进行智能动态分级策略调整，减少/消除内部迁移抖动，优化系统访问性能。
本发明优选实施例将以云存储领域中基于分布式文件系统且具有明显读访问热点一次写多次读(Write Once&Read Mostly，简称为WORM)模型的海量文件存储应用场景为例进行描述和说明。在本发明优选实施例中，高层级存储资源池(或者高性能存储资源池)相当于上述的第一存储资源池；低层级存储资源池(或者低性能存储资源池)相当于上述的第二存储资源池。
在本发明优选实施例中，可以通过内嵌于分布式文件存储系统中的智能分级引擎实现，智能分级引擎可实时感知当前业务热点模型的动态变化(热点内容范围出现扩散和收缩)以及不同层级资源池扩/缩容动态变化，实时统计分析当前一段时间(包含多个周期内所有数据分片热度统计周期和迁移周期)的数据迁移方向和数据量，业务的访问分布和分级性能提升收益统计与记录，而实现分级存储中内容上升/下降热度阈值以及对应的迁移内容等分级策略的智能自适应调整，以及针对当前业务热点访问模型对系统管理员提供智能硬件配置调整建议；以获得存储系统对当前业务模型性能匹配的最优化和存储系统性能利用的最优化。
为了实现上述功能，本发明优选实施例的方案包括如下三个部分：
第一部分，系统当前分级配置下数据迁移代价和性能提升收益实时计算：
实时记录系统中数据迁移(双向)量，数据迁移以在存储服务器集群中的单节点间不同层级存储介质组为优先，记录可以包括：迁移方向，迁移开始时间，迁移结束时间，迁移占用的不同层级存储介质间的通道(存储控制器)带宽，数据迁移前的访问量和访问频率，数据迁移后的访问量和访问频率，迁移前后各层级存储介质的空间占用情况。
第二部分，业务访问热点模型感知与分级策略智能自适应调整：
在元数据服务器集群中，对存储服务器集群中以数据分片为单位，按数据分片归属元数据服务器上实时记录存储数据分片的访问类型、访问量、访问频率，计算并记录当前系统中所有数据分片访问的热度值，并以此为基础进行定时汇总和排序。
结合不同层级存储资源池的空间占用情况，对于高层级存储资源池整体占用比例未达到满阈值(假设满阈值对应的容量为T1)的情形，对低层级存储资源池中的访问热度高于等于高层级存储资源池中的数据分片内容进行迁移量计算(假设需要上升迁移的总量为A1)，当上升迁移量加上当前无需迁移的数据容量(假设为C1)超过高层级存储池满阈值时(即：C1+A1>T1)，首先对高层级存储资源池中的访问热度低于等于低层级存储资源池中的数据分片内容按超出量(假设为D1，则D1＝C1+A1-T1)进行下降迁移，下降迁移完成后，对上升迁移总量(A1)进行上升迁移操作。当上升迁移量加上高层级存储当前无需迁移的数据容量(已占容量假设为C1)不超过高层级存储池满阈值时(即：C1+A1<＝T1)，无需先对高层级内的任何内容先进行降级而直接对低存储层级中需要上升迁移的总量数据分片(A1)进行上升迁移操作。
对于每次迁移完成后的连续多个数据分片热度统计周期内，同时增加对不同层级存储资源池(特别是高层级存储资源池)在每个周期内的空间占用情况统计，当出现热点范围收缩而导致在连续一段时间(例如，多个热度统计周期)内高层级存储资源池利用率低于满阈值的设定最大值，则：1)自动调整热度统计周期，例如，视热点内容收缩程度可将统计周期调整为原来的1.5或2倍以上，降低不同层级存储资源池内不必要的迁移消耗；2)在不超过高层级存储资源池满阈值的前提下，自动下调数据分片上升迁移的热度阈值，保证高层级存储资源池的适度充满和高利用率；
对于不同层级存储资源池，特别是高层级存储资源池动态扩/缩容做出适时反应，反应分为两个优先级，1)降低迁移特别是相同数据分片内容的双向迁移。使那些在连续几个周期内被频繁双向迁移的数据分片内容在一定时间内能一直驻留在高层级(在高层级存储资源池扩容的情况下)/低层级(在高层级存储资源池缩容的情况下)存储资源池中。2)降低低层级存储资源池中新热点数据上迁的热度阈值或降低高层级存储资源池中已有热点数据下迁的热度阈值(在高层级存储资源池扩容的情况下)，或者，提升低层级存储资源池中新热点数据上迁的热度阈值或提升高层级存储资源池中已有热点数据下迁的热度阈值(在高层级存储资源池缩容的情况下)；使高层级存储资源池内容随扩容而动态扩展。
第三部分，业务访问热点模型下的智能硬件配置调整建议与分级策略自适应调整：
当应用系统的存储内容访问出现热点范围扩散(或高层级存储资源池被缩容)时，高层级存储资源池在容量占用达到满阈值(假设满阈值对应的容量为T1)时也无法完全以最小模式承载系统中所有热点分片数据时，高层级中的前一个统计周期中热度排在后面的热点数据会不断被低层级中新统计周期中热度排在前面的热点数据置换，从而发生两个层级存储资源池之间双向的频繁的数据迁移。该迁移会导致系统对外的服务能力降低。
其中，最小模式承载是指在系统当前的存储冗余模式，例如多副本或者纠删码(Erasure Coding，简称为EC)模式，存储服务集群对满足上升迁移的数据量(A1)在高层级存储资源池驻留的最小规模。如n(n>＝1)完全副本模式下只有一个热点副本驻留在高层级存储资源池中，其余n-1份副本依然驻留在低层级存储资源池中；EC模式下(假设冗余比为n：m)只有n份副本数据驻留在高层级存储资源池中，其余m份副本数据驻留在低层级存储资源池中。
在该情况下，智能分级引擎根据记录的连续多个热度统计和数据迁移周期内数据分片迁移信息、访问热度统计信息，对频繁双向迁移的数据分片给出性能收益低告警和频繁迁移告警。此外，还可以按频繁迁移的数据分片数，给出高层级存储资源池扩容建议，例如，最小(最小承载模式下)容量和最佳容量两个数量值建议。当系统给出的高层级存储资源池扩容建议在一定时长内未被正常响应时，则自动提升低层级存储资源池数据分片内容上升迁移热度阈值，或者提升高层级存储资源池数据分片内容下降迁移热度阈值。
优选地，低层级存储资源池数据分片内容上升迁移热度阈值与高层级存储资源池数据分片内容下降迁移热度阈值可以为相同的值。
通过上述方案，可以实现存储介质资源变化实时感知与自动调整；系统访问热点模型变化实时感知与自适应调整；以及基于系统业务和环境变化感知的智能决策建议；使传统的分级存储的具有自适应性和智能性，为最大化发挥系统资源的利用率，提升存储系统的在WORM应用模型下对热点模型扩散和收缩、存储硬件介质变化的动态适应性，最大化分布式存储系统对应用的性能响应。
下面将结合附图对本发明优选实施例进行描述和说明。
下面分别以高层级存储资源池扩容和应用热点模型变化(热点范围扩展)为例说明智能分级存储的内部自适应与调整过程。
图12是根据本发明优选实施例的智能分级存储系统的结构示意图，如图12所示，该系统包括元数据服务器集群、文件访问接入服务器集群、数据存储服务器集群以及智能分级存储引擎。其中，本发明优选实施例的方案通过智能分级存储引擎与其他服务集群的协作共同实现。
图13是根据本发明优选实施例的智能分级存储方法的流程图，下面结合图13对高层级存储资源池扩容的智能调整、高层级存储资源池缩容的智能调整、系统热点范围扩展的智能硬件调整建议/自适应调整进行说明。
针对高层级存储资源池扩容的智能调整包括下列步骤：
(1)数据存储服务器集群中的部分/全部服务器新增/插入固态盘(Solid StateDrives，简称为SSD)介质；
(2)新增/插入SSD的存储服务器识别并将新SSD盘正常加入系统的高层级资源池中；
(3)部署于存储服务器上的存储资源池信息监控和上报模块将正常加入的SSD设备后的资源池信息上报给智能分级存储引擎，其中包括不同层级存储资源池的设备新组成信息，包括高层级存储资源池当前使用容量、新总容量等；
(4)智能分级存储引擎在新的数据分片访问统计周期内，收集由元数据服务器集群上的实时数据分片访问收集与上报模块上报的数据分片访问信息，其中包含数据分片所在资源池的位置，被访问次数等；
(5)智能分级存储引擎在新的数据分片访问统计周期内，收集并记录由数据存储服务器集群上的数据分片迁移与上报模块上报的基于数据分片详细迁移信息，包括迁移方向；
(6)根据步骤(5)方式记录的所有的前面连续2个统计周期内存在双向迁移的所有数据分片信息列表LT，包括当前位置信息和访问热度信息；
(7)智能分级存储引擎在新的数据分片访问统计周期内，收集并统计系统内所有的数据分片访问热度信息，对比当前迁移热度阈值，形成新的待上升迁移数据分片列表LA和新的待下降迁移数据分片列表LD；
(8)对步骤(7)中的LD，与步骤(6)中的当前位置在低层级存储资源池LT数据分片列表进行选择性合并，合并后按热度统计信息形成新的LD1，计算高层级存储资源池下一周期空间使用比率：r＝LD1+LA+C1/C，其中C1表示高层级存储资源池中当前不需迁移数据分片；
(9)当r小于等于高层级存储资源池满阈值时，直接置空本次统计所得的LD列表。当r大于高层级存储资源池满阈值时，修正LD列表，修正后的LD列表中数据分片列表为：LD1+LA+C1-r·C；
通过上述步骤，扩容后的高层级资源池被充分利用，特别是对未扩容前频繁被双向迁移的数据分片，其抖动式迁移得以有效遏制，降低数据在不同层级资源池之间的内部迁移消耗，提升性能收益值，同时，高层级存储资源池包含的热点数据分片数量自动扩展为更多、更广。系统对上层应用整体访问性能大幅提升。
针对高层级存储资源池缩容的智能调整包括下列步骤：
(1)数据存储服务器集群中的部分/全部服务器由于硬件设备异常/损坏导致部分SSD介质不可用，或由于人为原因拔出部分SSD介质；
(2)系统存储服务器集群内由于正常可用的SSD盘减少导致系统的高层级资源池容量变小；
(3)部署于存储服务器上的存储资源池信息监控和上报模块将SSD设备异常或SSD设备被拔出后的新资源池信息上报给智能分级存储引擎，其中包括不同层级存储资源池的设备新组成信息，包括高层级存储资源池当前使用容量、新总容量等。同时通过自身的操作维护管理(Operation&Maintenance Management，简称为OMM)模块对发生异常的SSD盘/被拔出的SSD盘对外(系统管理员)给出相应的系统告警机制；
(4)智能分级存储引擎在新的数据分片访问统计周期内，收集并记录由数据存储服务器集群上的数据分片迁移与上报模块上报的基于数据分片详细迁移信息，包括迁移方向；
(5)通常情况下，SSD盘发生异常(或SSD盘被拔出)时系统的热点内容数并未改变，但由于SSD盘的异常(或SSD盘被拔出)导致高层级存储资源池总容量变小，导致在改变发生后的每个周期内高层级存储资源池空间使用比率r上升；
(6)统计高层级存储存储资源池使用比率上升后的至少两个统计周期内的平均新空间使用率r1、数据分片访问热度记录、数据分片迁移记录；
(7)如果r1小于等于高层级存储资源池满阈值，则系统可以什么也不做，表示当前的SSD盘异常(或SSD盘拔出)未对当前存储于高层存储资源池的热点内容访问造成影响(下降迁移)，亦即当前热点内容性能收益值保持不变；
(8)如果r1大于系统当前高层级资源池满阈值，为保证高层级资源池的正常运行，系统必须根据新的至少两个统计周期内数据分片访问热度记录，将高层级资源池中占用超出资源池满阈值的空间的热度最低的数据分片内容强行下降迁移到低层级存储资源池中，导致系统性能提升收益下降；
(9)性能提升收益下降，由于热点内容范围未出现变动，进一步将导致高层级存储资源池和低层级存储资源池中热度接近临界值的数据分片内容出现双向的迁移抖动；
(10)步骤(9)中双向迁移抖动的内容将被智能分级存储引擎中的数据分片访问热度统计记录模块、数据分片迁移统计记录模块准确识别；
(11)系统识别出双向迁移抖动之后，连续统计两个或以上周期内被双向迁移的数据分片的在每个周期内的被访问热度平均值Ha和热度最大值Max_a，同时统计连续两个或以上周期内驻留在高层级存储中无需下降迁移的数据分片被访问平均热度值Hb和热度最小值Min_b；
(12)对于步骤(11)中的Ha和Hb，Hb可能不存在，此时表明系统每个周期内需要上升迁移的数据分片容量超过整个高层级资源池的最大容量r·C，则此时，将系统数据分片上升迁移的阈值调整为：Ha*LA/(r·C)，智能完成热度阈值调整，动态消除/降低了高层级资源池容量缩减造成的系统双向迁移抖动。
针对系统热点范围扩展的智能硬件调整建议/自适应调整包括如下步骤：
(1)通常情况下，应用于WORM模型中热点明显的业务场景，智能分级存储开启后，高层级存储资源池的利用率都是接近或达到满阈值的；
(2)某一时间点开始，系统内热点范围出现扩展，包含该时间点内的热度统计周期以及后续连续的几个热度统计周期发现热点内容出现扩展，随之由于高层级存储资源池有限而导致出现大量访问热度接近临界值的数据分片发生迁移抖动，同时伴随每个统计周期内性能提升收益下降；
(3)智能分级存储引擎根据连续两个或以上周期的数据分片双向迁移的统计与记录、以及相比热点未扩展前下降的性能提升收益，确定连续两个或以上周期内被频繁换出和换入的数据分片集，对该分片集所需的容量按分布式存储系统当前存储冗余模式设置，结合满阈值计算出高层级存储资源池需要扩展的最小容量和最佳容量；
(4)智能分级存储引擎给出的高层级存储资源池需要扩展的最小容量和最佳容量通过分布式存储系统已有的OMM模块告警渠道反馈给系统管理员，其中还包含系统具体的最近两个或以上周期内的分级性能收益下降和数据分片迁移统计记录信息；
(5)智能分级引擎在反馈由于热点范围扩展而引起的高层级存储资源池扩展建议的同时，设定一个超时定时器，在超时定时器未到之前，系统管理员按建议进行了扩容，则系统自动按前面所述“高层级存储资源池扩容的智能调整”描述步骤进行；
(6)在超时定时器已到但系统的高层级存储资源池仍未被有效扩容，则开始统计连续两个或以上周期内被双向迁移的数据分片的在每个周期内的被访问热度平均值Ha和热度最大值Max_a，同时统计连续两个或以上周期内驻留在高层级存储中无需下降迁移的数据分片被访问平均热度值Hb和热度最小值Min_b；
(7)对于步骤(6)中的Ha和Hb，Hb可能不存在，此时表明系统每个周期内需要上升迁移的数据分片容量超过整个高层级资源池的最大容量r·C，则此时，将系统数据分片上升迁移的阈值调整为：Ha*LA/(r·C)；
(8)对于步骤(6)中的Ha和Hb，如果Hb存在，则一定有(Hb>Ha)∩(Max_a≤Min_b)，此时将系统数据上升迁移的阈值直接调整为Min_b；
(9)通过步骤(7)和步骤(8)的智能自动阈值调整，降低热点内容范围扩张导致的数据分片双向抖动迁移。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (18)
1.一种迁移策略调整方法，其特征在于包括：
统计在预设时间段内数据存储服务器集群上的第一存储资源池的容量信息，其中，所述第一存储资源池用于存储访问热度值超过预设访问热度阈值的数据分片；
根据所述容量信息，判断所述第一存储资源池的存储容量是否发生变化；
在判断到所述存储容量发生变化的情况下，调整所述数据存储服务器集群的数据分片的迁移策略；
在判断到所述存储容量发生变化的情况下，调整所述数据存储服务器集群的所述数据分片的所述迁移策略，包括：
统计在所述预设时间段内所述数据分片的迁移信息；
根据所述迁移信息，确定在所述预设时间段内在所述第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；和/或，确定在所述预设时间段内在所述第一存储资源池和所述第二存储资源池之间双向迁移的次数低于所述预设迁移数的第四数据分片；
在判断到所述存储容量增加的情况下，在当前访问热度值统计周期之后的预设多个访问热度值统计周期内将所述第三数据分片驻留在所述第一存储资源池；和/或在判断到所述第一存储资源池容量减少的情况下，在当前访问热度值统计周期之后的预设多个访问热度值统计周期内将所述第四数据分片驻留在所述第二存储资源池。
2.根据权利要求1所述的方法，其特征在于，
统计在所述预设时间段内所述数据存储服务器集群上的所述第一存储资源池的所述容量信息还包括：统计在所述预设时间段内元数据服务器集群上的数据分片的访问信息；
在统计所述访问信息之后，所述方法还包括：
根据所述访问信息，统计所述预设时间段内的所述数据分片的访问热度值；
根据所述访问热度值确定所述数据分片中需进行迁移的数据分片，迁移需进行迁移的数据分片。
3.根据权利要求2所述的方法，其特征在于，根据所述访问热度值确定所述数据分片中需进行迁移的数据分片，迁移需进行迁移的数据分片，包括：
在所述第一存储资源池被占用比例未达到预设满阈值的情况下，根据所述访问热度值确定需要由第二存储资源池迁移至所述第一存储资源池的第一数据分片的第一数据量；
判断所述第一存储资源池的剩余存储空间是否满足所述第一数据分片的存储需求；
在判断到所述第一存储资源池的剩余存储空间满足所述第一数据分片的存储需求的情况下，将所述第一数据分片迁移至所述第一存储资源池。
4.根据权利要求3所述的方法，其特征在于，在判断到所述第一存储资源池的剩余存储空间不能满足所述第一数据分片的存储需求的情况下，根据所述访问热度值确定所述数据分片中需进行迁移的数据分片，迁移需进行迁移的数据分片，还包括：
根据所述第一存储资源池的剩余存储空间和所述第一数据量，确定需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的第二数据量，其中，所述第二数据量大于或等于所述第一数据量与所述剩余存储空间的差值；
将所述第二数据分片迁移至所述第二存储资源池；
将所述第一数据分片迁移至所述第一存储资源池。
5.根据权利要求1至4中任一项所述的方法，其特征在于，在判断到所述第一存储资源池的容量发生变化的情况下，调整所述数据存储服务器集群的所述数据分片的所述迁移策略，还包括以下至少之一：
在判断到所述第一存储资源池容量增加的情况下，降低第一访问热度阈值；
在判断到所述第一存储资源池容量增加的情况下，降低第二访问热度阈值；
在判断到所述第一存储资源池容量减少的情况下，提升所述第一访问热度阈值；
在判断到所述第一存储资源池容量减少的情况下，提升所述第二访问热度阈值；
其中，所述第一访问热度阈值为需要由第二存储资源池迁移至所述第一存储资源池的第一数据分片的最小访问热度值，所述第二访问热度阈值为需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的最大访问热度值。
6.根据权利要求1至4中任一项所述的方法，其特征在于，在统计所述数据存储服务集群上的所述第一存储资源池的所述容量信息之后，所述方法还包括：
判断在连续的多个访问热度值统计周期内所述第一存储资源池的利用率是否低于预设利用率；
在判断到在连续的所述多个访问热度值统计周期内所述第一存储资源池的利用率低于所述预设利用率的情况下，增大访问热度值统计周期，和/或，降低第二访问热度阈值，其中，所述第二访问热度阈值为需要由所述第一存储资源池迁移至第二存储资源池的第二数据分片的最大访问热度值。
7.根据权利要求1至4中任一项所述的方法，其特征在于，
统计在所述预设时间段内所述数据存储服务器集群上的所述第一存储资源池的所述容量信息还包括：统计在所述预设时间段内在所述第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；
在统计所述第三数据分片之后，所述方法还包括：上报针对所述第三数据分片的告警信息，其中，所述告警信息包括：用于指示当前迁移策略性能收益低的告警，和/或用于指示所述第三数据分片频繁迁移的告警。
8.根据权利要求7所述的方法，其特征在于，在统计在所述预设时间段内在所述第一存储资源池和所述第二存储资源池之间双向迁移的次数超过所述预设迁移数的所述第三数据分片之后，所述方法还包括：
根据所述第三数据分片的数据量，上报对所述第一存储资源池的容量变更建议。
9.根据权利要求8所述的方法，其特征在于，在上报对所述第一存储资源池的所述容量变更建议之后，所述方法还包括：
启动计时器；
在计时器超时且未收到所述容量变更建议的响应消息的情况下，提升第一访问热度阈值，和/或，提升第二访问热度阈值，其中，所述第一访问热度阈值为需要由所述第二存储资源池迁移至所述第一存储资源池的第一数据分片的最小访问热度值，所述第二访问热度阈值为需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的最大访问热度值。
10.一种迁移策略调整装置，其特征在于包括：
容量信息统计模块，用于统计在预设时间段内数据存储服务器集群上的第一存储资源池的容量信息，其中，所述第一存储资源池用于存储访问热度值超过预设访问热度阈值的数据分片；
容量信息判断模块，用于根据所述容量信息，判断所述第一存储资源池的存储容量是否发生变化；
迁移策略调整模块，用于在判断到所述存储容量发生变化的情况下，调整所述数据存储服务器集群的数据分片的迁移策略；
所述迁移策略调整模块包括：
迁移信息统计单元，用于统计在所述预设时间段内所述数据分片的迁移信息；
第三数据分片确定单元，用于根据所述迁移信息，确定在所述预设时间段内在所述第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；和/或，第四数据分片确定单元，用于确定在所述预设时间段内在所述第一存储资源池和所述第二存储资源池之间双向迁移的次数低于所述预设迁移数的第四数据分片；
第三数据分片驻留单元，用于在判断到所述存储容量增加的情况下，在当前访问热度值统计周期之后的预设多个访问热度值统计周期内将所述第三数据分片驻留在所述第一存储资源池；和/或第四数据分片驻留单元，用于在判断到所述第一存储资源池容量减少的情况下，在当前访问热度值统计周期之后的预设多个访问热度值统计周期内将所述第四数据分片驻留在所述第二存储资源池。
11.根据权利要求10所述的装置，其特征在于，
所述容量信息统计模块还用于：统计在所述预设时间段内元数据服务器集群上的数据分片的访问信息；
所述装置还包括：
访问热度值统计模块，用于根据所述访问信息，统计所述预设时间段内的所述数据分片的访问热度值；
数据分片迁移模块，用于根据所述访问热度值确定所述数据分片中需进行迁移的数据分片，迁移需进行迁移的数据分片。
12.根据权利要求11所述的装置，其特征在于，所述数据分片迁移模块包括：
第一数据量确定单元，用于在所述第一存储资源池被占用比例未达到预设满阈值的情况下，根据所述访问热度值确定需要由第二存储资源池迁移至所述第一存储资源池的第一数据分片的第一数据量；
存储需求判断单元，用于判断所述第一存储资源池的剩余存储空间是否满足所述第一数据分片的存储需求；
第一数据分片迁移单元，用于在判断到所述第一存储资源池的剩余存储空间满足所述第一数据分片的存储需求的情况下，将所述第一数据分片迁移至所述第一存储资源池。
13.根据权利要求12所述的装置，其特征在于，所述数据分片迁移模块还包括：
第二数据量确定单元，用于在判断到所述第一存储资源池的剩余存储空间不能满足所述第一数据分片的存储需求的情况下，根据所述第一存储资源池的剩余存储空间和所述第一数据量，确定需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的第二数据量，其中，所述第二数据量大于或等于所述第一数据量与所述剩余存储空间的差值；
第二数据分片迁移单元，用于将所述第二数据分片迁移至所述第二存储资源池；
其中，所述第一数据分片迁移单元，还用于在将所述第二数据分片迁移至所述第二存储资源池之后，将所述第一数据分片迁移至所述第一存储资源池。
14.根据权利要求10至13中任一项所述的装置，其特征在于，迁移策略调整模块还包括以下至少之一：
第一访问热度阈值降低单元，用于在判断到所述第一存储资源池容量增加的情况下，降低第一访问热度阈值；
第二访问热度阈值降低单元，用于在判断到所述第一存储资源池容量增加的情况下，降低第二访问热度阈值；
第一访问热度阈值提升单元，用于在判断到所述第一存储资源池容量减少的情况下，提升所述第一访问热度阈值；
第二访问热度阈值提升单元，用于在判断到所述第一存储资源池容量减少的情况下，提升所述第二访问热度阈值；
其中，所述第一访问热度阈值为需要由第二存储资源池迁移至所述第一存储资源池的第一数据分片的最小访问热度值，所述第二访问热度阈值为需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的最大访问热度值。
15.根据权利要求10至13中任一项所述的装置，其特征在于，所述装置还包括：
利用率判断模块，用于判断在连续的多个访问热度值统计周期内所述第一存储资源池的利用率是否低于预设利用率；
访问热度值统计周期和/或第二访问热度阈值调整模块，用于在判断到在连续的所述多个访问热度值统计周期内所述第一存储资源池的利用率低于所述预设利用率的情况下，增大访问热度值统计周期，和/或，降低第二访问热度阈值，其中，所述第二访问热度阈值为需要由所述第一存储资源池迁移至第二存储资源池的第二数据分片的最大访问热度值。
16.根据权利要求10至13中任一项所述的装置，其特征在于，
所述容量信息统计模块还用于：统计在所述预设时间段内在所述第一存储资源池和第二存储资源池之间双向迁移的次数超过预设迁移数的第三数据分片；
所述装置还包括：告警信息上报模块，用于上报针对所述第三数据分片的告警信息，其中，所述告警信息包括：用于指示当前迁移策略性能收益低的告警，和/或用于指示所述第三数据分片频繁迁移的告警。
17.根据权利要求16所述的装置，其特征在于，所述装置还包括：
容量变更建议上报模块，用于根据所述第三数据分片的数据量，上报对所述第一存储资源池的容量变更建议。
18.根据权利要求17所述的装置，其特征在于，所述装置还包括：
计时器启动模块，用于启动计时器；
第一访问热度阈值和/或第二访问热度阈值提升模块，用于在计时器超时且未收到所述容量变更建议的响应消息的情况下，提升第一访问热度阈值，和/或，提升第二访问热度阈值，其中，所述第一访问热度阈值为需要由所述第二存储资源池迁移至所述第一存储资源池的第一数据分片的最小访问热度值，所述第二访问热度阈值为需要由所述第一存储资源池迁移至所述第二存储资源池的第二数据分片的最大访问热度值。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510560752.8A CN106502576B (zh) | 2015-09-06 | 2015-09-06 | 迁移策略调整方法及装置 |
| CN201510698063.3A CN106502578B (zh) | 2015-09-06 | 2015-09-06 | 容量变更建议方法及装置 |
| PCT/CN2016/071631 WO2016165441A1 (zh) | 2015-09-06 | 2016-01-21 | 迁移策略调整方法、容量变更建议方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510560752.8A CN106502576B (zh) | 2015-09-06 | 2015-09-06 | 迁移策略调整方法及装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510698063.3A Division CN106502578B (zh) | 2015-09-06 | 2015-09-06 | 容量变更建议方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106502576A CN106502576A (zh) | 2017-03-15 |
| CN106502576B true CN106502576B (zh) | 2020-06-23 |
Family
ID=57125654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510560752.8A Active CN106502576B (zh) | 2015-09-06 | 2015-09-06 | 迁移策略调整方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN106502576B (zh) |
| WO (1) | WO2016165441A1 (zh) |
Families Citing this family (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107092442B (zh) * | 2017-04-24 | 2020-08-18 | 杭州宏杉科技股份有限公司 | 存储系统资源分配方法及装置 |
| CN108932104B (zh) * | 2017-05-25 | 2021-06-25 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及处理服务器 |
| CN107391031B (zh) * | 2017-06-27 | 2020-05-08 | 北京邮电大学 | 一种基于混合存储的计算系统中的数据迁移方法及装置 |
| CN110754125B (zh) * | 2017-07-13 | 2022-04-29 | 华为技术有限公司 | 资源池配置方法和装置 |
| CN107357932B (zh) * | 2017-07-31 | 2020-03-20 | 云城（北京）数据科技有限公司 | 一种文件存储方法及装置 |
| CN107608631A (zh) * | 2017-09-12 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种数据文件存储方法、装置、设备以及存储介质 |
| CN107742261A (zh) * | 2017-11-01 | 2018-02-27 | 赛尔网络有限公司 | 获取集团用户接入覆盖率提升权重的方法 |
| CN107908367A (zh) * | 2017-11-16 | 2018-04-13 | 郑州云海信息技术有限公司 | 存储系统中数据存储的方法、装置、设备及存储介质 |
| CN108647248B (zh) * | 2018-04-16 | 2021-03-09 | 新华三技术有限公司成都分公司 | Worm状态监控转移方法及装置 |
| CN108804038A (zh) * | 2018-05-29 | 2018-11-13 | 新华三技术有限公司 | 日志数据迁移的方法、装置、服务器和计算机可读介质 |
| CN108810140B (zh) * | 2018-06-12 | 2021-09-28 | 湘潭大学 | 云存储系统中基于动态阈值调整的高性能分级存储优化方法 |
| CN108924202B (zh) * | 2018-06-25 | 2021-12-03 | 郑州云海信息技术有限公司 | 一种分布式集群的数据容灾方法以及相关装置 |
| CN109005056B (zh) * | 2018-07-16 | 2020-06-23 | 网宿科技股份有限公司 | 基于cdn应用的存储容量评估方法和装置 |
| CN109246198B (zh) * | 2018-08-16 | 2022-01-07 | 杭州数梦工场科技有限公司 | 一种基于分布式存储集群的云主机启动控制方法和系统 |
| CN113961145A (zh) * | 2018-09-11 | 2022-01-21 | 创新先进技术有限公司 | 数据迁移方法及装置 |
| CN111225267B (zh) * | 2018-11-26 | 2022-05-06 | 中国电信股份有限公司 | 内容缓存调度方法、装置和系统、内容分发网络节点 |
| CN111372095B (zh) * | 2018-12-25 | 2023-06-23 | 深圳市茁壮网络股份有限公司 | 一种计算热度的方法及装置 |
| CN109885256B (zh) * | 2019-01-23 | 2022-07-08 | 平安科技（深圳）有限公司 | 一种基于数据分片的数据存储方法、设备及介质 |
| CN109815048B (zh) * | 2019-01-31 | 2022-11-08 | 新华三技术有限公司成都分公司 | 数据读取方法、装置及设备 |
| CN110045924B (zh) * | 2019-03-01 | 2022-02-11 | 平安科技（深圳）有限公司 | 分级存储方法、装置、电子设备及计算机可读存储介质 |
| CN110008199B (zh) * | 2019-03-25 | 2023-02-14 | 华南理工大学 | 一种基于访问热度的数据迁移部署方法 |
| CN111813740A (zh) * | 2019-04-11 | 2020-10-23 | 中国移动通信集团四川有限公司 | 一种文件分层存储方法及服务器 |
| CN111857544A (zh) * | 2019-04-26 | 2020-10-30 | 鸿富锦精密电子(天津)有限公司 | 存储资源管理装置及管理方法 |
| CN111966399A (zh) * | 2019-05-20 | 2020-11-20 | 上海寒武纪信息科技有限公司 | 指令处理方法、装置及相关产品 |
| CN110162273A (zh) * | 2019-05-28 | 2019-08-23 | 北京计算机技术及应用研究所 | 一种基于分布式存储系统的衰减式分层存储系统及方法 |
| CN110321348B (zh) * | 2019-06-04 | 2024-01-09 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置及计算机设备 |
| CN110442309A (zh) * | 2019-07-24 | 2019-11-12 | 广东紫晶信息存储技术股份有限公司 | 一种基于光存储的冷热数据交换方法及系统 |
| CN111008188B (zh) * | 2019-10-29 | 2023-08-15 | 平安科技（深圳）有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
| CN110825908B (zh) * | 2019-11-04 | 2023-04-25 | 安超云软件有限公司 | 一种对象的迁移方法、装置、电子设备及存储介质 |
| CN111225023B (zh) * | 2019-11-19 | 2022-02-25 | 中国联合网络通信集团有限公司 | 一种缓存方法及装置 |
| CN111600799B (zh) * | 2020-05-20 | 2022-05-20 | 金蝶蝶金云计算有限公司 | 分片路由方法、服务器及计算机存储介质 |
| CN111930299B (zh) * | 2020-06-22 | 2024-01-26 | 中国建设银行股份有限公司 | 分配存储单元的方法及相关设备 |
| CN111782144A (zh) * | 2020-06-23 | 2020-10-16 | 上海传英信息技术有限公司 | 智能终端、数据存储方法及计算机可读存储介质 |
| CN111831229B (zh) * | 2020-07-15 | 2022-03-15 | 中国电子技术标准化研究院 | 一种车联网数据存储管理方法 |
| CN111984549B (zh) * | 2020-07-25 | 2022-07-19 | 苏州浪潮智能科技有限公司 | 一种数据按照对象拆分的分级存储方法及系统 |
| CN112269758B (zh) * | 2020-10-10 | 2022-07-22 | 苏州浪潮智能科技有限公司 | 一种基于文件分级的文件迁移方法及相关装置 |
| CN114422522B (zh) * | 2020-10-13 | 2024-02-13 | 贵州白山云科技股份有限公司 | 一种缓存分发方法、装置、介质及设备 |
| CN114640485B (zh) * | 2020-12-01 | 2024-04-09 | 中移(苏州)软件技术有限公司 | 一种服务数据的集中访问方法、装置、设备和存储介质 |
| CN114760313B (zh) * | 2020-12-29 | 2023-11-24 | 中国联合网络通信集团有限公司 | 业务调度方法和业务调度装置 |
| CN112783831B (zh) * | 2021-01-28 | 2022-05-27 | 新华三大数据技术有限公司 | 一种文件迁移方法及装置 |
| CN112883124B (zh) * | 2021-03-17 | 2022-12-02 | 重庆紫光华山智安科技有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN112948398B (zh) * | 2021-04-29 | 2023-02-24 | 电子科技大学 | 一种面向冷热数据的分级存储系统及方法 |
| CN113342780A (zh) * | 2021-06-28 | 2021-09-03 | 深圳壹账通智能科技有限公司 | Dsu数据的迁移方法、装置和计算机设备 |
| CN113448950B (zh) * | 2021-07-26 | 2024-03-15 | 北京清博智能科技有限公司 | 一种基于数据量的本地化硬件部署方法 |
| CN113741819A (zh) * | 2021-09-15 | 2021-12-03 | 第四范式（北京）技术有限公司 | 数据分级存储的方法和装置 |
| CN114676141A (zh) * | 2022-03-31 | 2022-06-28 | 北京泰迪熊移动科技有限公司 | 一种数据处理方法、装置及电子设备 |
| CN114936003B (zh) * | 2022-05-06 | 2023-03-21 | 北京新科安云信息技术有限公司 | 资源池的数据分层迁移方法、装置、设备及可读存储介质 |
| CN115344505B (zh) * | 2022-08-01 | 2023-05-09 | 江苏华存电子科技有限公司 | 一种基于感知分类的内存访问方法 |
| CN115827788B (zh) * | 2023-02-16 | 2023-06-23 | 天翼云科技有限公司 | 一种数据迁移方法、装置、电子设备及可读存储介质 |
| CN116069263B (zh) * | 2023-03-07 | 2023-07-14 | 苏州浪潮智能科技有限公司 | 文件系统的优化方法、装置、服务器、设备及存储介质 |
| CN117369720A (zh) * | 2023-09-11 | 2024-01-09 | 广州德久信息科技有限公司 | 一种数据存储管理方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102043732A (zh) * | 2010-12-30 | 2011-05-04 | 成都市华为赛门铁克科技有限公司 | 一种缓存分配方法及装置 |
| CN102841931A (zh) * | 2012-08-03 | 2012-12-26 | 中兴通讯股份有限公司 | 分布式文件系统的存储方法及装置 |
| CN103078933A (zh) * | 2012-12-29 | 2013-05-01 | 深圳先进技术研究院 | 一种确定数据迁移时机的方法和装置 |
| CN104360961A (zh) * | 2014-12-10 | 2015-02-18 | 浪潮(北京)电子信息产业有限公司 | 一种基于对象存储的自适应分级处理方法及系统 |
| CN106502578A (zh) * | 2015-09-06 | 2017-03-15 | 中兴通讯股份有限公司 | 容量变更建议方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101493821A (zh) * | 2008-01-25 | 2009-07-29 | 中兴通讯股份有限公司 | 数据缓存方法和装置 |
| CN103593347B (zh) * | 2012-08-14 | 2017-06-13 | 中兴通讯股份有限公司 | 一种均衡负载的方法及分布式数据库系统 |
| US9116630B2 (en) * | 2013-08-30 | 2015-08-25 | Nimble Storage, Inc. | Method and system for migrating data between storage devices of a storage array |
-
2015
- 2015-09-06 CN CN201510560752.8A patent/CN106502576B/zh active Active
-
2016
- 2016-01-21 WO PCT/CN2016/071631 patent/WO2016165441A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102043732A (zh) * | 2010-12-30 | 2011-05-04 | 成都市华为赛门铁克科技有限公司 | 一种缓存分配方法及装置 |
| CN102841931A (zh) * | 2012-08-03 | 2012-12-26 | 中兴通讯股份有限公司 | 分布式文件系统的存储方法及装置 |
| CN103078933A (zh) * | 2012-12-29 | 2013-05-01 | 深圳先进技术研究院 | 一种确定数据迁移时机的方法和装置 |
| CN104360961A (zh) * | 2014-12-10 | 2015-02-18 | 浪潮(北京)电子信息产业有限公司 | 一种基于对象存储的自适应分级处理方法及系统 |
| CN106502578A (zh) * | 2015-09-06 | 2017-03-15 | 中兴通讯股份有限公司 | 容量变更建议方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106502576A (zh) | 2017-03-15 |
| WO2016165441A1 (zh) | 2016-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106502576B (zh) | 迁移策略调整方法及装置 | |
| WO2017036428A2 (zh) | 容量变更建议方法及装置 | |
| EP2504979B1 (en) | Method and system for synchronizing user content in a social network | |
| US8346758B2 (en) | Method and system for transmitting a query in a wireless network | |
| US8775549B1 (en) | Methods, systems, and computer program products for automatically adjusting a data replication rate based on a specified quality of service (QoS) level | |
| US20100138677A1 (en) | Optimization of data distribution and power consumption in a data center | |
| US20130290658A1 (en) | Storage Control Device, Data Archive Storage System, and Data Access Method | |
| US9524245B2 (en) | Cache management method and apparatus for non-volatile storage device | |
| CN103078933B (zh) | 一种确定数据迁移时机的方法和装置 | |
| CN104978362A (zh) | 分布式文件系统的数据迁移方法、装置及元数据服务器 | |
| US9910750B2 (en) | Storage controlling device, storage controlling method, and non-transitory computer-readable recording medium | |
| CN102122303A (zh) | 一种进行数据迁移的方法及服务系统及服务器设备 | |
| CN111414070A (zh) | 一种机箱功耗管理方法、系统及电子设备和存储介质 | |
| US20190129750A1 (en) | Method, apparatus and computer storage medium for controlling a storage system | |
| CN112671570A (zh) | 自动扩缩容的方法及系统 | |
| CN110677854A (zh) | 载频容量调整的方法、装置、设备和介质 | |
| WO2022017290A1 (zh) | 终端网速控制方法、装置、终端及存储介质 | |
| CN109977074B (zh) | 一种基于hdfs的lob数据处理方法及装置 | |
| CN114579050B (zh) | 处理压缩数据的方法以及装置 | |
| CN104679589A (zh) | 系统资源均衡调整方法及装置 | |
| CN111143279A (zh) | 一种数据迁移方法、装置、设备及可读存储介质 | |
| CN104239230A (zh) | 一种数据块迁移方法及装置 | |
| US20140359176A1 (en) | Universal serial bus device and method for controlling an idle-delay time thereof | |
| US11593019B2 (en) | Method and system for information storage | |
| CN106162218B (zh) | 一种节目录制控制方法、系统以及管理、热度统计服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |