CN107807796A - 一种基于超融合存储系统的数据分层方法、终端及系统 - Google Patents

Abstract

本发明公开了一种基于超融合存储系统的数据分层方法、终端及系统，涉及数据处理技术领域，主要目的在于基于用户的访问操作对超融合存储系统中各个节点的数据进行分层存储，以提高用户的数据访问效率。本发明主要的技术方案为：从超融合存储系统中的多个第一类型节点分别获取日志统计信息，所述日志统计信息中记录有数据的访问频率；根据所述日志统计信息确定所述数据的存储类型，所述存储类型包括冷数据和热数据；根据所述数据的存储类型调整所述数据的存储位置。本发明主要用于对存储数据的迁移存储。

Description

一种基于超融合存储系统的数据分层方法、终端及系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于超融合存储系统的数据分层方法、终端及系统。

背景技术

超融合存储系统是一种面向对象的分布式存储系统。超融合是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括云管理软件，数据重构，多副本，快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展，形成统一的资源池。而在超融合场景下，数据的访问性能显得尤为重要，能快速响应用户的数据请求是衡量超融合存储的一个重要指标，在这样的指标面前，存储设备的性能就是决定用户数据请求速度的重要因素，相较于传统的机械硬盘(Hard Disk Drive，HDD)，固态硬盘(Solid State Drives，SSD)具有很好的弹性，并提供对数据的快速访问，但其拥有写入次数限制。而超融合存储系统结合两者的优缺点，采取SSD+HDD的混合存储方式，将所有物理服务器上的硬盘组成一个存储资源池。其中所有机械硬盘组成存储容量层，SSD闪存盘组成存储性能层，两者一起构建了分层持久存储。针对这种分层环境，就需要将SSD和HDD区分对待，将热数据，即访问频度高的数据，提升到SSD存储设备上，将冷数据，即访问频度低的数据，沉至HDD存储设备上，从而有效的提高用户的数据访问效率，提高超融合产品的性能。

在现有计算机或存储系统中常对数据根据访问频率进行分类，以区分冷数据和热数据，以便用户对数据进行处理。其中，热数据需要在高性能、高度可用、高要求的环境下即时存取；而冷数据需要归档并长期保存的数据。对于计算数据的访问频率往往需要在用户对数据进行访问操作时进行记录处理，以便后续的统计分析，而对于超融合存储系统，存在有大量的并发数据访问操作，要对这些数据访问操作进行实时的记录处理将会严重影响用户的数据访问效率，同时，对于超融合存储系统中的冷热数据分层，还需要根据用户所在的节点位置，将用户需要的热数据进行高效的迁移，即将热数据迁移至用户所在节点或相近节点中，以提高用户的数据访问效率。然而目前尚无针对超融合存储系统所需的冷热数据分层的解决方案。

发明内容

有鉴于此，本发明提供一种基于超融合存储系统的数据分层方法、终端及系统，主要目的在于基于用户的访问操作对超融合存储系统中各个节点的数据进行分层存储，以提高用户的数据访问效率。

为达到上述目的，本发明主要提供如下技术方案：

第一方面，本发明提供了一种基于超融合存储系统的数据分层方法，该方法包括：

从超融合存储系统中的多个第一类型节点分别获取日志统计信息，所述日志统计信息中记录有数据的访问频率；

根据所述日志统计信息确定所述数据的存储类型，所述存储类型包括冷数据和热数据；

根据所述数据的存储类型调整所述数据的存储位置。

优选的，所述方法还包括：

监控所述第一类型节点中的第一节点是否存在数据访问操作；

若存在，则将所述数据访问操作对应的数据访问日志异步记录在所述第一节点中，所述数据访问日志中记录有所述第一节点的节点信息、访问类型以及数据存储位置信息。

优选的，所述从超融合存储系统中的多个第一类型节点分别获取日志统计信息包括：

由所述第一节点获取预置时间间隔内的本地记录的数据访问日志；

根据所述数据访问日志统计对应数据的访问频率，生成所述第一节点对应的日志统计信息；

由所述第一节点上报所述日志统计信息。

优选的，根据所述数据访问日志统计对应数据的访问频率包括：

根据所述数据访问日志中记录的访问类型确定数据访问操作对应的权重值；

利用所述权重值统计同一数据在预置时间间隔内的访问频率。

优选的，根据所述日志统计信息确定所述数据的存储类型包括：

提取所述日志统计信息中记录的数据的访问频率；

判断所述访问频率是否达到阈值；

若达到，则确定所述数据的存储类型为热数据，否则，确定所述数据的存储类型为冷数据。

优选的，根据所述数据的存储类型调整所述数据的存储位置包括：

当所述数据的存储类型为热数据时，获取访问所述数据的各个节点的位置信息；

根据所述位置信息确定存储所述数据的第二节点；

判断当前存储所述数据的节点是否为所述第二节点；

若不是，则将所述数据迁移至所述第二节点的热数据存储层中；

若是，则确定所述数据当前的存储位置为所述第二节点的热数据存储层。

优选的，根据所述数据的存储类型调整所述数据的存储位置包括：

当所述数据的存储类型为冷数据时，判断所述数据当前的存储位置是否为当前节点的冷数据存储层；

若不是，则将所述数据迁移至当前节点的冷数据存储层中。

优选的，由所述第一节点获取预置时间间隔内的本地记录的数据访问日志包括：

根据所述预置时间间隔生成获取次数标识；

将所述获取次数标识标记在本次获取的所有数据访问日志中。

第二方面，本发明还提供了一种基于超融合存储系统的数据分层装置，该装置包括：

获取单元，用于从超融合存储系统中的多个第一类型节点分别获取日志统计信息，所述日志统计信息中记录有数据的访问频率；

确定单元，用于根据所述获取单元获取的日志统计信息确定所述数据的存储类型，所述存储类型包括冷数据和热数据；

存储单元，用于根据所述确定单元确定数据的存储类型调整所述数据的存储位置。

优选的，所述装置还包括：

监控单元，用于监控所述第一类型节点中的第一节点是否存在数据访问操作；

记录单元，用于当监控单元确定存在所述数据访问操作时，将所述数据访问操作对应的数据访问日志异步记录在所述第一节点中，所述数据访问日志中记录有所述第一节点的节点信息、访问类型以及数据存储位置信息。

优选的，所述获取单元包括：

获取模块，用于由所述第一节点获取预置时间间隔内的本地记录的数据访问日志；

统计模块，用于根据所述获取模块获取的数据访问日志统计对应数据的访问频率；

生成模块，用于根据所述统计模块统计数据的访问频率生成所述第一节点对应的日志统计信息；

发送模块，用于由所述第一节点上报所述生成模块生成的日志统计信息。

优选的，所述统计模块包括：

确定子模块，用于根据所述数据访问日志中记录的访问类型确定数据访问操作对应的权重值；

统计子模块，用于利用所述确定子模块确定的权重值统计同一数据在预置时间间隔内的访问频率。

优选的，所述确定单元包括：

提取模块，用于提取所述日志统计信息中记录的数据的访问频率；

判断模块，用于判断所述提取模块提取的访问频率是否达到阈值；

确定模块，用于当判断模块判断达到阈值时，确定所述数据的存储类型为热数据，否则，确定所述数据的存储类型为冷数据。

优选的，所述存储单元包括：

获取模块，用于当所述数据的存储类型为热数据时，获取访问所述数据的各个节点的位置信息；

确定模块，用于根据所述获取模块获取的位置信息确定存储所述数据的第二节点；

第一判断模块，用于判断当前存储所述数据的节点是否为所述确定模块确定的第二节点；

迁移模块，用于当所述第一判断模块判断为否时，将所述数据迁移至所述新节点的热数据存储层中；

所述迁移模块还用于，当所述第一判断模块判断为是时，确定所述数据当前的存储位置为所述第二节点的热数据存储层。

优选的，所述存储单元包括：

第二判断模块，用于当所述数据的存储类型为冷数据时，判断所述数据当前的存储位置是否为当前节点的冷数据存储层；

所述迁移模块还用于，当所述第二判断模块判断为否时，将所述数据迁移至当前节点的冷数据存储层中。

优选的，所述获取单元的获取模块还包括：

生成子模块，用于根据所述预置时间间隔生成获取次数标识；

标记子模块，用于将所述生成子模块生成的获取次数标识标记在本次获取的所有数据访问日志中。

第三方面，本发明还提供了一种基于超融合存储系统的数据分层终端，该终端中设置有上述第二方面所述的基于超融合存储系统的数据分层装置；

所述数据分层终端包括有处理器和存储介质；

所述处理器用于运行程序，其中，所述程序运行时执行第一方面所述的基于超融合存储系统的数据分层方法；

所述存储介质用于存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面所述的基于超融合存储系统的数据分层方法。

第四方面，本发明还提供了一种数据分层系统，该数据分层系统是基于超融合存储系统的子系统，该系统中包括第一类型节点和第二类型节点；

所述第一类型节点中设置有上述第三方面所述的基于超融合存储系统的数据分层终端，用于统计本地的数据访问日志，得到日志统计信息，并将所述日志统计信息发送至所述第二类型节点；

所述第二类型节点中设置有上述第三方面所述的基于超融合存储系统的数据分层终端，用于统计所述超融合存储系统中所有第一类型节点发送的日志统计信息，并根据所述日志统计信息确定对应数据的存储类型，并调整所述数据的存储位置。

依据上述本发明所提出的一种基于超融合存储系统的数据分层方法、终端及系统，主要是针对超融合存储系统中的数据进行冷数据与热数据的分层，通过获取系统中多个第一类型节点所统计的日志统计信息，综合确定系统中所存储数据的存储类型，以此确定数据为冷数据或热数据，基于所确定的数据的存储类型进一步调整该数据当前的存储位置。通过对存储位置的调整确保用户对数据的访问效率，同时，本发明通过对数据进行实时的冷热数据分层，使得在超融合存储系统中数据的存储位置是根据用户的访问操作而实时改变的。此外，针对超融合存储系统中设置的分布式节点，本发明还能够依据热数据对应的访问日志来源将该热数据就近存储，从而进一步地确保了用户在访问该热数据时能够从更近的节点中进行访问操作，从而有效提升数据的访问响应速率，提升用户的整体使用体验。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提出的一种基于超融合存储系统的数据分层方法的流程图；

图2示出了本发明实施例提出的另一种基于超融合存储系统的数据分层方法的流程图；

图3示出了本发明实施例提出的一种基于超融合存储系统的数据分层装置的组成框图；

图4示出了本发明实施例提出的另一种基于超融合存储系统的数据分层装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种基于超融合存储系统的数据分层方法，如图1所示，该方法是针对超融合存储系统中的数据进行的存储优化方法，以使得优化后的数据更加便于用户的访问，提升用户的使用体验。本方法的具体步骤包括：

101、从超融合存储系统中的多个第一类型节点分别获取日志统计信息。

超融合存储系统是基于分布式系统构建的具有多个节点的数据系统，其中的每个节点都能够为系统提供相应的存储资源。在本发明实施例中，根据超融合存储系统中不同节点的用途或功能又可以将节点分为不同的类型，例如，按照功能划分，可以分为提供存储资源的节点和提供计算资源的节点，按照用途划分，可以分为用于执行系统任务的节点和用于管理生成系统任务的节点。其中，第一类型节点是指根据不同场景需要按照不同的定义划分从超融合存储系统中所有节点中所划分出来的具有同一用途或功能的一类节点。

根据确定的第一类型节点，本步骤将分别获取多个第一类型节点中所记载的日志统计信息，其中，该日志统计信息是将记录在该节点中执行的数据访问操作的日志信息按照预定的统计方式进行统计得到的数据信息，该日志统计信息中至少包括根据日志信息统计得到的数据的访问频率。因此，本步骤是将多个第一类型节点所统计得到的日志统计信息进行汇总，以得到针对于系统所存储数据的统计信息。

需要说明的是，在本发明实施例中，超融合存储系统获取日志统计信息的操作可以由系统指定多个第一类型节点中的一个节点执行，也可以由非第一类型节点的第二类型节点执行，具体可根据不同的应用场景由超融合存储系统自定义执行该操作的终端设备，其中，该终端设备不限定是物理设备或者是虚拟设备。

102、根据日志统计信息确定数据的存储类型。

由于日志统计信息是由各个节点单独统计，将各自节点中的日志信息进行统计，其中，日志信息主要包括对存储于本地节点中数据的访问操作以及通过本节点发起的访问其他节点中存储的数据的相关操作的日志，而日志统计信息则主要是由各个节点通过本地的日志信息所统计的针对于数据的相关信息，例如，节点中某数据的访问频率、访问的具体类型、访问用户等信息。因此，本步骤是由超融合存储系统通过汇总多个第一类型节点的日志统计信息，针对于系统中存储的数据分析各个数据当前的存储类型是否存在变化，其中，本步骤中所确定的存储类型主要包括冷数据和热数据，冷数据是指对数据访问操作数量较少的数据，对应的，热数据就是指被频繁访问的数据。

在本发明实施例中，数据的存储类型并非是一成不变的，而是通过超融合存储系统对日志统计信息的分析来确定的，比如根据日志统计信息中的数据的访问频率的高低就可以判断该数据当前的存储类型属于冷数据或者是热数据，而访问频率是根据一定时间段内计算数据被访问的次数而得到的，所以，访问越频繁则该数据被确定为热数据的几率越大。而随着数据的存储类型的确定，就会存在两种情况，一种是与该数据的原存储类型不同，即存储类型改变，此时就需要对该数据的存储位置进行调整，具体调整方式将在后续步骤中进行说明，另一种是该数据的原存储类型相同，即存储类型未改变，此时则可以不改变该数据的存储位置。

一般的，在超融合存储系统中，用于存储数据的节点中所具有的存储资源的类型包括热数据存储资源与冷数据存储资源，当一个节点中同时具有以上两种存储资源时，就定义该节点中具有不同的存储资源层，即热数据存储层和冷数据存储层，其中，热数据存储层采用具有快速访问功能的存储介质，比如SSD硬盘，而冷数据存储层则采用具有高容量的存储介质，比如HDD硬盘。本步骤就是将数据的存储类型与节点中存储介质的类型相关联，以此来确定数据的存储位置，改变数据自身的访问性能，以此来提高整个系统对访问请求的响应速率。

103、根据数据的存储类型调整该数据的存储位置。

其中，对数据存储位置的调整分为对热数据的调整和对冷数据的调整。

第一，对于热数据存储位置的优化调整，是将其存储位置调整到指定节点的热数据存储层中，以便于用户进行访问操作时，能够从较近的节点或当前节点中获取所需的数据，从而提高用户访问操作的响应效率。

其中，本步骤中将热数据存储至对应节点的具体实现方式可以是将热数据存储至某一个对应节点中，也可以是将其存储至多个对应的节点中。由于在数据访问日志中记载有访问操作的节点信息，而同一个热数据一般会对应于多条的数据访问日志，并且，这些日志很有可能是来自不同节点的。所以，针对于来自不同节点的数据访问需求，本发明实施例可以通过计算，得到一个节点，使得该节点距离大多数的有数据访问需求的节点的距离较近，再将热数据存储在该节点中，除此之外，也可以在有数据访问需求的节点中选择多个节点，使其能够满足大多数用户的数据访问需求，并将热数据存储在这些节点中。

此外，由于超融合存储系统采用的是混合存储方式，即分层存储数据的方式，其存储资源池可以主要分为用于即时存取的热数据存储层和用于长期保存数据的冷数据存储层，对应于实际应用场景，其热数据存储层所对应的硬件多为SSD硬盘，而冷数据存储层所对应的硬件多为HDD硬盘。在本步骤中，由于热数据需要高频度的访问，因此，需要将热数据存储至热数据存储层中。在一般情况下，超融合存储系统中的每一个节点往往都会同时具备热数据存储层和冷数据存储层。而对于所确定的节点中不含有热数据存储层的情况时，本发明实施例将会选择一个与所确定的节点距离最近，且具有热数据存储层的节点，将该节点重新确定为存储该热数据的目标节点。

第二，对于冷数据存储位置的优化调整则相对简单，只需要将该冷数据存储至按照预置规则所确定节点的冷数据存储层中即可。其中，预置规则主要用于确定含有冷数据存储层的节点，同时，还需要确定该节点中所具有的存储空间足以保存该冷数据。一般地，在超融合存储系统的各个节点所采用的存储设备都会含有冷数据存储层对应的存储设备，但是在对于不含有冷数据存储层节点，通过预置规则也会将该节点直接排除在存储冷数据可用的节点之外。

此外，该预置规则还可以用于先判断该冷数据的当前的存储位置，若当前的存储位置已经在冷数据存储层中，则不需对该冷数据进行位置调整，只有当该冷数据是位于热数据存储层中时，才将该冷数据存储至指定节点的冷数据存储层中。以此，减少系统中对数据存储位置调整的数据量，减少对应的系统资源消耗。

结合上述的实现方式可以看出，本发明实施例所采用的基于超融合存储系统的数据分层方法，主要是针对超融合存储系统中的数据进行冷数据与热数据的分层，通过获取系统中多个第一类型节点所统计的日志统计信息，综合确定系统中所存储数据的存储类型，以此确定数据为冷数据或热数据，基于所确定的数据的存储类型进一步调整该数据当前的存储位置。通过对存储位置的调整确保用户对数据的访问效率，同时，本发明实施例通过对数据进行实时的冷热数据分层，使得在超融合存储系统中数据的存储位置是根据用户的访问操作而实时改变的，实现了数据存储位置的动态调整。

为了更加详细地说明本发明提出的一种基于超融合存储系统的数据分层方法，尤其是对于数据访问日志的记录、统计以及调整数据存储位置的具体过程，将通过图2所示流程图进行详细说明，具体步骤包括：

201、监控第一类型节点中的第一节点是否存在数据访问操作。

在本发明实施例中，记录数据访问日志是基于超融合存储系统中的各个节点单独统计的，因此，在用户访问系统中存储的数据时，首先要判断该用户执行访问操作的入口是哪一个节点。而对于超融合存储系统而言，要记录数据访问日志，需要针对不同的系统节点来分别记录。这样做的优势在于所记录的数据访问日志均对应于用户的数据访问操作，而不是出于本系统内部的数据冗余操作(即用户的一次访问操作在经过系统的冗余设置后会形成多个该访问操作的冗余操作)，如此可以避免出现对同一用户的数据访问操作记录多个数据访问日志情况的出现，确保日志与操作的一一对应关系，增加后续统计的准确性。

相对于超融合存储系统中的第一节点而言，系统将监控该第一节点中是否存储数据访问操作，其中，该数据访问操作可以用户直接通过该第一节点发起的，也可以是用户通过其他节点发起，再有其他节点转发到第一节点中的访问操作。当第一节点中存在数据访问操作时，则执行步骤202。

202、将数据访问操作对应的数据访问日志异步记录在第一节点中。

其中，本步骤在记录数据访问日志时所采用的方式为异步记录，具体实现是在用户对数据发起访问操作时，由对应的处理节点在其后台中生成一个记录日志的任务，同时，响应该用户的访问操作，返回给用户对应的数据内容。该第一节点的后台可根据该记录日志的任务结合后台中的处理资源的当前状态适时执行该任务，即生成对应的数据访问日志。如此，可以使得超融合存储系统中的各个节点在处理用户的访问操作时，无需对其进行同步的日志记录，从而提高响应的效率。

此外，本地后台所记录的数据访问日志中所记录的内容主要有当前节点的节点信息、访问类型以及数据存储位置信息。其中，节点信息为第一节点的节点信息，具体可以是节点的名称、地址等信息；访问类型所记录的主要是用户的具体操作，针对本发明实施例所对应的操作主要是读数据或写数据，具体的可以是顺序读、顺序写、随机读、随机写等不同的访问类型；数据存储位置信息为数据存储的位置路径，包括存储节点的位置信息以及在该节点中的具体路径信息。

203、从超融合存储系统中的多个第一类型节点分别获取日志统计信息。

本步骤的具体实施过程同上述实施例中的步骤101，此处不再赘述。但需要说明的是，超融合存储系统在执行本步骤时，需要指定一个执行的主体，该主体对应的设备可以为一个节点，也可以是由多个节点中的处理资源所构建的虚拟设备，而在本发明实施例中，为区别第一节点，定义执行本步骤的主体为第二类型节点，该第二类型节点主要用于统计第一类型节点中的所有第一节点所上报的日志统计信息，而该第二类型节点在实际的系统架构中也可以是第一类型节点中的某个第一节点。

此外，对于上报日志统计信息的第一节点而言，其在本地记录与统计日志统计信息的具体过程如下：

首先，由第一节点获取预置时间间隔内的本地记录的数据访问日志。其中，通过记录在一定的时间间隔内的数据访问日志，以此来保证所统计的数据具有实时性，也就是说，本发明实施例中所涉及的冷数据与热数据均为相对概念，是相对预置时间间隔所形成的状态，所以，同一个数据在不同的时间间隔内所处的数据状态可能是不同的。对于预置的时间间隔在本实施例中需要根据实际应用场景的需要进行区别设置，比如，对于实时性要求较高的场景，该时间间隔可以设置的短一些，如1小时或10分钟，相反对于实时性要求不高的场景则可以将该是时间间隔设置为1天或1周等不同数值。

进一步的，在根据预置时间间隔提取超融合存储系统中各节点记录的数据访问日志时，系统会根据该时间间隔自动生成获取次数标识，并将该获取次数标识标记在所提取的每一条数据访问日志中。如此，对于根据预置时间间隔进行连续统计时，在生成数据访问日志时，就无需对每一条日志标记时间信息，因为在每一个时间周期内生成的日志都标记有对应的获取次数标识，而对于一个新的时间周期，只需要提取日志中没有标记获取次数标识的日志即可，将这些日志提取出来后标记上本周期所对应的获取次数标识。

其次，根据数据访问日志统计对应数据的访问频率，生成第一节点对应的日志统计信息。在本发明实施例中，日志统计信息是用于区分数据冷热状态的主要依据，而数据的冷热状态主要依据用户对数据在预置时间间隔内的访问次数，即根据数据的访问频率确定数据为冷数据或热数据。

其中，统计对应数据的访问频率的方式为：先根据数据访问日志中的访问类型信息确定该日志所对应的权重，即不同的类型具有不同的权重值，而具体权重值的设置则需要根据实际情况进行设定。再通过权重值的设置，将同一数据对应的访问日志按照权重值进行统计，计算出每个数据的访问频率。在计算时，考虑到超融合系统中数据量的大小，要计算每个数据的访问频率难度较大，因此，可以只计算在本周期内存在用户访问操作者的数据所对应的访问频率，其他数据由于没有用户访问，可以均记为冷数据处理。最后，根据计算得到的访问频率对系统中的数据进行区分并标记，根据数据访问日志中对应的数据内容生成对应的日志统计信息，即该第一节点在该时间周期内对应的日志统计信息。

最后，由第一节点上报日志统计信息给第二类型节点中指定的节点中。

204、根据日志统计信息确定数据的存储类型。

本步骤的具体实施过程同上述实施例中的步骤102，通过确定数据的存储类型来区分对应数据是冷数据或者是热数据。对于具体的区分方式，本实施例则不进行具体限定，可以是预先设定一个阈值，并提取日志统计信息中记录的数据的访问频率，再判断该访问频率是否达到该阈值，当访问频度达到或超出该阈值时，则确定该数据的存储类型为热数据，反之则存储类型为冷数据；也可以是预先设定一个热数据的数量值，然后将数据按照访问频率由高到低的顺序进行排序，根据该排序提取与设定的数量值相等的数据，并定义这些数据为热数据，其余数据为冷数据。

205、当数据的存储类型为热数据时，调整该数据的存储位置。

根据上述步骤204所确定出的热数据，首先获取热数据以及该热数据对应的数据访问日志，然后，解析数据访问日志中所记载的节点信息以及数据存储位置信息，即确定访问该热数据的节点的位置信息，根据其中的节点信息确定第一类型节点中的第二节点，该第二节点为存储该热数据的目标节点。其中，目标节点可以是一个，也可以为多个，其具体说明可参见步骤103中的内容，此处不再赘述。在确定出目标节点后，再根据数据存储的位置信息判断该热数据是否需要优化调整位置，也就是判断热数据当前所存储的位置与目标节点的位置不同时，则将该热数据迁移至目标节点的热数据存储层中；而当存储的位置与目标节点的位置相同时，还需要进一步判断热数据当前存储的位置是否为热数据存储层，若热数据的位置位于该目标节点的冷数据存储层时，还需要将该热数据迁移至热数据存储层中。

需要说明的是，本步骤中对于热数据的迁移是指将热数据存储在第二节点，即目标节点的热数据存储层中的同时，删除原存储位置中的数据内容。

206、当数据的存储类型为冷数据时，调整该数据的存储位置。

根据上述步骤204所确定的冷数据，本步骤将根据预置规则迁移该冷数据，其中，该预置规则的一种实现方式为：判断该冷数据当前的存储位置是否为当前节点的冷数据存储层，若是，则不需调整该冷数据的存储位置，若不是，则将所述数据迁移至当前节点的冷数据存储层中。

进一步的，预置规则的另一种实现方式还可以为：先判断超融合存储系统中各个节点中冷数据存储层的存储空间使用状态是否能够存储所述冷数据，将能够存储该冷数据的节点筛选出来，在这些节点中再判断每个节点当前的处理能力，即该节点的处理资源是否能够处理移动该冷数据，将符合的节点作为目标节点，当目标节点为多个时，则可以随机选择其中的一个节点，将冷数据迁移至目标节点的冷数据存储层中。

进一步的，作为对上述方法的实现，本发明实施例提供了一种基于超融合存储系统的数据分层装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置主要用于超融合存储系统中优化所存储的数据存储位置，为用户访问操作提高更高效的操作响应，具体如图3所示，该装置包括：

获取单元31，用于从超融合存储系统中的多个第一类型节点分别获取日志统计信息，所述日志统计信息中记录有数据的访问频率；

确定单元32，用于根据所述获取单元31获取的日志统计信息确定所述数据的存储类型，所述存储类型包括冷数据和热数据；

存储单元33，用于根据所述确定单元32确定数据的存储类型调整所述数据的存储位置。

进一步的，如图4所示，所述装置还包括：

监控单元34，用于监控所述第一类型节点中的第一节点是否存在数据访问操作；

记录单元35，用于当监控单元34确定存在所述数据访问操作时，将所述数据访问操作对应的数据访问日志异步记录在所述第一节点中，所述数据访问日志中记录有所述第一节点的节点信息、访问类型以及数据存储位置信息。

进一步的，如图4所示，所述获取单元31包括：

获取模块311，用于由所述第一节点获取预置时间间隔内的本地记录的数据访问日志；

统计模块312，用于根据所述获取模块311获取的数据访问日志统计对应数据的访问频率；

生成模块313，用于根据所述统计模块312统计数据的访问频率生成所述第一节点对应的日志统计信息；

发送模块314，用于由所述第一节点上报所述生成模块313生成的日志统计信息。

进一步的，如图4所示，所述统计模块312包括：

确定子模块3121，用于根据所述数据访问日志中记录的访问类型确定数据访问操作对应的权重值；

统计子模块3122，用于利用所述确定子模块3121确定的权重值统计同一数据在预置时间间隔内的访问频率。

进一步的，如图4所示，所述确定单元32包括：

提取模块321，用于提取所述日志统计信息中记录的数据的访问频率；

判断模块322，用于判断所述提取模块321提取的访问频率是否达到阈值；

确定模块323，用于当判断模块322判断达到阈值时，确定所述数据的存储类型为热数据，否则，确定所述数据的存储类型为冷数据。

进一步的，如图4所示，所述存储单元33包括：

获取模块331，用于当所述数据的存储类型为热数据时，获取访问所述数据的各个节点的位置信息；

确定模块332，用于根据所述获取模块331获取的位置信息确定存储所述数据的第二节点；

第一判断模块333，用于判断当前存储所述数据的节点是否为所述确定模块332确定的第二节点；

迁移模块334，用于当所述第一判断模块333判断为否时，将所述数据迁移至所述新节点的热数据存储层中；

所述迁移模块334还用于，当所述第一判断模块333判断为是时，确定所述数据当前的存储位置为所述第二节点的热数据存储层。

进一步的，如图4所示，所述存储单元33还包括：

第二判断模块335，用于当所述数据的存储类型为冷数据时，判断所述数据当前的存储位置是否为当前节点的冷数据存储层；

所述迁移模块334还用于，当所述第二判断模块335判断为否时，将所述数据迁移至当前节点的冷数据存储层中。

进一步的，如图4所示，所述获取单元31的获取模块311还包括：

生成子模块3111，用于根据所述预置时间间隔生成获取次数标识；

标记子模块3112，用于将所述生成子模块3111生成的获取次数标识标记在本次获取的所有数据访问日志中。

进一步的，本发明实施例提供了一种基于超融合存储系统的数据分层终端，该终端中设置有上述的基于超融合存储系统的数据分层装置，该终端能够将超融合存储系统中存储的数据按照周期统计的访问频率设置数据对应的存储类型，进而调整数据对应的存储位置，使得用户能够更高效的执行数据访问操作。

进一步的，本发明实施例提供了一种基于超融合存储系统的数据分层系统，在该数据分层系统中至少包含第一类型节点和第二类型节点的两种类型的节点，其中，所述第一类型节点中设置有所述基于超融合存储系统的数据分层终端，用于统计本地的数据访问日志，得到日志统计信息，并将所述日志统计信息发送至所述第二类型节点；所述第二类型节点中设置有所述基于超融合存储系统的数据分层终端，用于统计所述超融合存储系统中所有第一类型节点发送的日志统计信息，并根据所述日志统计信息确定对应数据的存储类型，并调整所述数据的存储位置。

可见，该数据分层系统中的第一类型节点主要是用于存储数据的节点，而第二类型节点则主要是用于统计管理第一类型节点所统计的日志统计信息，并进行分析确定系统中所存储的数据是否需要调整存储位置。

综上所述，本发明实施例所采用的基于超融合存储系统的数据分层方法、终端及系统，主要是通过对用户的数据访问日志分析超融合存储系统中数据的访问频度，并以此确定数据的存储类型，将热数据迁移至更便于用户访问的热数据存储层，将存储在热数据存储层的冷数据迁移至冷数据存储层中，以空出更多的存储空间给热数据，优化系统的数据存储位置，提升用户访问操作的响应效率，在此基础上，本发明实施例还对数据访问日志的记录方式进行了优化，采用异步记录的方式使得用户在执行访问操作时，系统能够更快速地给予响应和反馈，同时，通过以系统中的节点为单位进行数据访问日志的记录还有效解决了由于系统冗余度所带来的相同数据访问日志重复记录的问题，不仅减少了由此所占用的系统处理资源，更提高的对数据访问频率计算的准确性，进而提升了对数据迁移处理的准确性。

进一步的，所述基于超融合存储系统的数据分层终端中设置有处理器和存储器，上述于超融合存储系统的数据分层装置中的获取单元、确定单元和存储单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现基于用户的访问操作对超融合存储系统中各个节点的数据进行分层存储，以提高用户的数据访问效率。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：从超融合存储系统中的多个第一类型节点分别获取日志统计信息，所述日志统计信息中记录有数据的访问频率；根据所述日志统计信息确定所述数据的存储类型，所述存储类型包括冷数据和热数据；根据所述数据的存储类型调整所述数据的存储位置。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于超融合存储系统的数据分层方法，其特征在于，所述方法包括：

从超融合存储系统中的多个第一类型节点分别获取日志统计信息，所述日志统计信息中记录有数据的访问频率；

根据所述日志统计信息确定所述数据的存储类型，所述存储类型包括冷数据和热数据；

根据所述数据的存储类型调整所述数据的存储位置。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

监控所述第一类型节点中的第一节点是否存在数据访问操作；

若存在，则将所述数据访问操作对应的数据访问日志异步记录在所述第一节点中，所述数据访问日志中记录有所述第一节点的节点信息、访问类型以及数据存储位置信息。

3.根据权利要求2所述的方法，其特征在于，所述从超融合存储系统中的多个第一类型节点分别获取日志统计信息包括：

由所述第一节点获取预置时间间隔内的本地记录的数据访问日志；

根据所述数据访问日志统计对应数据的访问频率，生成所述第一节点对应的日志统计信息；

由所述第一节点上报所述日志统计信息。

4.根据权利要求3所述的方法，其特征在于，根据所述数据访问日志统计对应数据的访问频率包括：

根据所述数据访问日志中记录的访问类型确定数据访问操作对应的权重值；

利用所述权重值统计同一数据在预置时间间隔内的访问频率。

5.根据权利要求1-4中任一项所述的方法，其特征在于，根据所述日志统计信息确定所述数据的存储类型包括：

提取所述日志统计信息中记录的数据的访问频率；

判断所述访问频率是否达到阈值；

若达到，则确定所述数据的存储类型为热数据，否则，确定所述数据的存储类型为冷数据。

6.根据权利要求5所述的方法，其特征在于，根据所述数据的存储类型调整所述数据的存储位置包括：

当所述数据的存储类型为热数据时，获取访问所述数据的各个节点的位置信息；

根据所述位置信息确定存储所述数据的第二节点；

判断当前存储所述数据的节点是否为所述第二节点；

若不是，则将所述数据迁移至所述第二节点的热数据存储层中；

若是，则确定所述数据当前的存储位置为所述第二节点的热数据存储层。

7.根据权利要求5所述的方法，其特征在于，根据所述数据的存储类型调整所述数据的存储位置包括：

当所述数据的存储类型为冷数据时，判断所述数据当前的存储位置是否为当前节点的冷数据存储层；

若不是，则将所述数据迁移至当前节点的冷数据存储层中。

8.根据权利要求3所述的方法，其特征在于，由所述第一节点获取预置时间间隔内的本地记录的数据访问日志包括：

根据所述预置时间间隔生成获取次数标识；

将所述获取次数标识标记在本次获取的所有数据访问日志中。

9.一种基于超融合存储系统的数据分层终端，其特征在于，所述终端包括处理器和存储介质；

所述处理器用于运行程序，其中，所述程序运行时执行如权利要求1-8中任一项述的基于超融合存储系统的数据分层方法；

所述存储介质用于存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-8中任一项所述的基于超融合存储系统的数据分层方法。

10.一种数据分层系统，所述系统应用于超融合存储系统中，其特征在于，所述系统中包括第一类型节点和第二类型节点；

所述第一类型节点中设置有所述基于超融合存储系统的数据分层终端，用于统计本地的数据访问日志，得到日志统计信息，并将所述日志统计信息发送至所述第二类型节点；

所述第二类型节点中设置有所述基于超融合存储系统的数据分层终端，用于统计所述超融合存储系统中所有第一类型节点发送的日志统计信息，并根据所述日志统计信息确定对应数据的存储类型，并调整所述数据的存储位置。