CN108646981A - 一种数据缓存节点管理方法、数据缓存方法和缓存管理节点 - Google Patents

Abstract

本发明提供了一种数据缓存节点管理方法、数据缓存方法和缓存管理节点，所述数据缓存节点管理方法应用于缓存管理节点，缓存管理节点和至少一个数据缓存节点通信连接，任一数据缓存节点中均包括至少一个硬盘，一种数据缓存节点管理方法包括：获得各数据缓存节点中的硬盘的容量信息；根据容量信息将各硬盘的至少部分存储空间划分为多个数据存储块并为各数据存储块设置块标记；对每个数据缓存节点：根据块标记将该数据缓存节点中的各数据存储块划分到多个块组中，每个块组中均包括多个数据存储块，同一块组中的各数据存储块所在的硬盘不完全相同；将每个块组确定为一个用于进行数据缓存的数据缓存单元。本发明能实现低成本的大量数据的缓存。

Description

一种数据缓存节点管理方法、数据缓存方法和缓存管理节点

技术领域

本发明涉及数据缓存领域，特别涉及一种数据缓存节点管理方法、数据缓存方法和缓存管理节点。

背景技术

在数据处理中，为方便数据请求方对频繁访问的数据进行快速访问，提高数据的输出效率，会将硬盘中下载的数据先存放在离数据请求方较近、访问速度更快的系统中，即进行数据缓存。

现有技术中对于数据的缓存基于内存来实现，即将数据先保存于内存空间中，以提高硬盘的输入/输出的效率。

由于内存的容量很小，如果要使用内存实现大量数据的缓存，其成本很高，因此实现低成本的大量数据的缓存成为难题。

发明内容

有鉴于此，本发明提供一种数据缓存节点管理方法、数据缓存方法和缓存管理节点。本发明可以通过使用硬盘实现在低成本下对大量数据的缓存。

为了实现上述发明目的，本发明提供以下技术方案：

一种数据缓存节点管理方法，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，所述方法包括：

获得各数据缓存节点中的硬盘的容量信息；

根据所述容量信息将各硬盘的至少部分存储空间划分为多个数据存储块并为各数据存储块设置块标记；

对每个数据缓存节点：根据所述块标记将该数据缓存节点中的各数据存储块划分到多个块组中，每个所述块组中均包括多个数据存储块，同一块组中的各数据存储块所在的硬盘不完全相同；

将每个块组确定为一个用于进行数据缓存的数据缓存单元。

可选的，同一数据缓存节点中的各数据存储块大小相同；

和/或，同一数据缓存节点中的各硬盘中的数据存储块数量相同；

和/或，同一数据缓存节点中的各硬盘对应的标记组相同，每个标记组由其对应的硬盘中的数据存储块的块标记构成；

和/或，同一数据缓存单元中各数据存储块的块标记相同。

可选的，在所述将每个块组确定为一个用于进行数据缓存的数据缓存单元之后，所述方法还包括：

将全部数据缓存单元的数据索引信息保存在所述缓存管理节点本地，并将每一个数据缓存单元的数据索引信息发送至该数据缓存单元所在的数据缓存节点。

可选的，所述方法还包括：

在确定第一数据缓存节点中断数据缓存服务后，将本地保存的所述第一数据缓存节点中各数据缓存单元的数据索引信息删除；

和/或，在获得第二数据缓存节点发送的缓存服务提供请求后，确定所述第二数据缓存节点是否已划分得到数据缓存单元，如果是，则从所述第二数据缓存节点中获取所述第二数据缓存节点中各数据缓存单元的数据索引信息并保存在所述缓存管理节点本地，否则，对所述第二数据缓存节点进行划分以得到数据缓存单元。

可选的，所述数据缓存节点中还包括备用硬盘，所述方法还包括：

接收所述数据缓存节点中的硬盘发送的在线确认消息；

确定没有发送所述在线确认消息的第一硬盘；

按照所述第一硬盘中各数据存储块的划分方式对所述备用硬盘进行划分，得到多个数据存储块，并将所述第一硬盘对应的数据索引信息中所述第一硬盘的各数据存储块的标识替换为所述备用硬盘中相对应的数据存储块的标识。

一种数据缓存方法，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一数据缓存节点中均包括多个数据缓存单元，所述方法包括：

确定需要缓存的第一数据的数据量，根据所述数据量为所述第一数据分配所述数据缓存节点中的至少一个数据缓存单元；

根据分配的所述数据缓存单元中各数据存储块的大小将所述第一数据拆分为多个数据块，并将所述数据块存储到分配的所述数据缓存单元中的多个数据存储块中。

可选的，所述缓存管理节点保存有各数据缓存单元的数据索引信息，所述将所述数据块存储到分配的所述数据缓存单元中的多个数据存储块后，所述方法还包括：

建立并保存所述数据块的数据索引信息，将建立的所述数据索引信息发送至分配的数据缓存单元所在的数据缓存节点。

可选的，在确定需要缓存的第一数据的数据量之前，所述方法还包括：

根据缓存淘汰算法确定所述第一数据的缓存权值，在所述第一数据的缓存权值满足预设要求时，将所述第一数据确定为需要缓存的数据；

所述根据所述数据量为所述第一数据分配所述数据缓存节点中的至少一个数据缓存单元，包括：

根据所述数据量确定需要为所述第一数据分配的数据缓存单元的个数N；

根据所述数据缓存节点中各数据缓存单元内缓存的数据的缓存权值为所述第一数据分配N个数据缓存单元，其中，所述N个数据缓存单元中的任一个数据缓存单元内缓存的数据的缓存权值均小于除所述N个数据缓存单元外的其他数据缓存单元内缓存的数据的缓存权值。

一种缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，所述缓存管理节点包括：容量信息获得模块、数据存储块划分模块、块标记设置模块、块组划分模块和数据缓存单元确定模块；

所述容量信息获得模块用于获得各数据缓存节点中的硬盘的容量信息；

所述数据存储块划分模块用于根据所述容量信息将各硬盘的至少部分存储空间划分为多个数据存储块；

所述块标记设置模块用于为各数据存储块设置块标记；

所述块组划分模块用于对每个数据缓存节点：根据所述块标记将该数据缓存节点中的各数据存储块划分到多个块组中，每个所述块组中均包括多个数据存储块，同一块组中的各数据存储块所在的硬盘不完全相同；

所述数据缓存单元确定模块用于将每个块组确定为一个用于进行数据缓存的数据缓存单元。

一种缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一数据缓存节点中均包括多个数据缓存单元，所述缓存管理节点包括：数据量确定模块、数据缓存单元分配模块、数据块划分模块和数据块分配模块；

所述数据量确定模块用于确定需要缓存的第一数据的数据量；

所述数据缓存单元分配模块用于根据所述数据量为所述第一数据分配所述数据缓存节点中的至少一个数据缓存单元；

所述数据块拆分模块用于根据分配的所述数据缓存单元中各数据存储块的大小将所述第一数据拆分为多个数据块；

所述数据块分配模块用于将所述数据块存储到分配的所述数据缓存单元中的多个数据存储块中。

本发明实施例通过将硬盘进行划分得到数据缓存单元，并将要缓存的数据进行划分得到数据块，从而将得到的数据块分别缓存到得到的数据缓存单元中，大大提高了缓存的容量及效率，将硬盘作为缓存的介质，实现了低成本的大量数据的缓存。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的一种数据缓存节点管理方法的流程图；

图1A为本发明实施例中对各硬盘的划分示意图；

图1B为本发明实施例中确定数据缓存单元的方法示意图；

图2为本发明实施例提供的另一种数据缓存节点管理方法的流程图；

图3为本发明实施例提供的另一种数据缓存节点管理方法的流程图；

图4为本发明实施例提供的另一种数据缓存节点管理方法的流程图；

图5为本发明实施例提供的一种数据缓存方法的流程图；

图6为本发明实施例提供的另一种数据缓存方法的流程图；

图7为本发明实施例提供的一种数据缓存方法的具体实施方式流程图；

图8为本发明实施例提供的一种缓存管理节点的结构示意图；

图9为本发明实施例提供的另一种缓存管理节点的结构示意图；

图10为本发明实施例提供的另一种缓存管理节点的结构示意图；

图11为本发明实施例提供的另一种缓存管理节点的结构示意图；

图12为本发明实施例提供的另一种缓存管理节点的结构示意图。

具体实施方式

本发明公开了一种数据缓存节点管理方法、数据缓存方法和缓存管理节点，本领域技术人员可以借鉴本文内容，适当改进工艺参数实现。特别需要指出的是，所有类似的替换和改动对本领域技术人员来说是显而易见的，它们都被视为包括在本发明。本发明的方法及应用已经通过较佳实施例进行了描述，相关人员明显能在不脱离本发明内容、精神和范围内对本文所述的方法和应用进行改动或适当变更与组合，来实现和应用本发明技术。

下面将结合实施例对本发明所提供的一种数据缓存节点管理方法、数据缓存方法和缓存管理节点进行详细说明。

如图1所示，本发明实施例提供了一种数据缓存节点管理方法，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，该方法可以包括：

S100、获得各数据缓存节点中的硬盘的容量信息；

在各所述数据缓存节点与所述缓存管理节点建立通信连接后，如果要进行缓存任务，则向所述缓存管理节点发送缓存服务提供请求，并向所述缓存管理节点发送硬盘的容量信息以供所述缓存管理节点进行保存，所述容量信息可以为所述硬盘的可以使用的存储容量或者提供缓存任务的容量。

在实际应用中，所述各数据缓存节点中的硬盘数量可以一致，每个硬盘的用于缓存的容量可以相同。

S110、根据所述容量信息将各硬盘的至少部分存储空间划分为多个数据存储块并为各数据存储块设置块标记；

优选的，同一数据缓存节点中的各数据存储块大小相同；

和/或，同一数据缓存节点中的各硬盘中的数据存储块数量相同；

和/或，同一数据缓存节点中的各硬盘对应的标记组相同，每个标记组由其对应的硬盘中的数据存储块的块标记构成；

和/或，同一数据缓存单元中各数据存储块的块标记相同。

具体的，本发明实施例可以将各硬盘的至少部分存储空间按照一定的标准进行划分，例如可以以1M或2M为标准进行划分得到数据存储块。

如图1A所示，本发明实施例可以优选以1M为划分标准，如果划分得到的各所述数据存储块的容量太大，则可能会影响数据的输出效率，如果划分得到的各所述数据存储块的容量太小，则划分的数据存储块的数量过多，不易于对各所述数据存储块进行管理。

假设有0号硬盘、1号硬盘、2号硬盘……n号硬盘，对每个硬盘中划分得到的数据存储块进行块标记，例如，0、1……n，将各硬盘的块标记分别确定为一个标记组，得到n个0、1……n的标记组。

S120、对每个数据缓存节点：根据所述块标记将该数据缓存节点中的各数据存储块划分到多个块组中，每个所述块组中均包括多个数据存储块，同一块组中的各数据存储块所在的硬盘不完全相同；

S130、将每个块组确定为一个用于进行数据缓存的数据缓存单元。

如图1B所示，本发明实施例可以将各标记组中相同的块标记对应的数据存储块划分到一个块组中，进而得到多个块组，并将每个块组确定为一个数据缓存单元。

优选的，每个数据缓存单元的容量可以一致，以便后期的管理和维护。如果各数据缓存单元的容量不同，在数据输出时可能会产生输出瓶颈，影响数据输出的效率。

本发明实施例通过将硬盘进行划分得到数据缓存单元，并将要缓存的数据进行划分得到数据块，从而将得到的数据块分别缓存到得到的数据缓存单元中，大大提高了缓存的容量及效率，将硬盘作为缓存的介质，实现了低成本的大量数据的缓存。

如图2所示，本发明实施例所提供的一种数据缓存节点管理方法，在步骤S130之后，还可以包括：

S140、将全部数据缓存单元的数据索引信息保存在所述缓存管理节点本地，并将每一个数据缓存单元的数据索引信息发送至该数据缓存单元所在的数据缓存节点。

其中，所述数据索引信息为各所述数据缓存单元中的数据与存储地址之间的对应关系，本发明实施例可以通过所述数据索引信息找到需要的数据缓存的位置进而对数据进行读取。

可以理解的是，所述缓存管理节点可以与数据请求方通信连接，数据请求方通过所述数据请求方向所述缓存管理节点请求数据。

具体的，在所述将每个块组确定为一个用于进行数据缓存的数据缓存单元之后，各数据缓存单元对应的数据缓存节点可以将各所述数据缓存单元中缓存的数据的数据索引信息发送给所述缓存管理节点以保存，以便数据请求方根据所述数据索引信息对数据进行读取。

如图3所示，本发明实施例提供的一种数据缓存节点管理方法还可以包括：

S150、确定第一数据缓存节点中断数据缓存服务，将本地保存的所述第一数据缓存节点中各数据缓存单元的数据索引信息删除；

具体的，所述第一数据缓存节点掉线后或者向所述缓存管理节点发送中断数据缓存服务消息后，本发明可以确定第一数据缓存节点中断数据缓存服务。

在所述第一数据缓存节点中断数据缓存服务后，所述缓存管理节点可以将各所述数据缓存单元中各数据的数据索引信息进行清除。

其中，步骤S150的执行顺序与图1和图2所示实施例中各步骤的执行顺序本发明不做限定。

如图4所示，本发明实施例提供的一种数据缓存节点管理方法还可以包括：

S160、在获得第二数据缓存节点发送的缓存服务提供请求后，

确定所述第二数据缓存节点是否已划分得到数据缓存单元，如果是，则执行步骤S170，否则，使用步骤S100至步骤S130的技术方案对所述第二数据缓存节点进行划分以得到数据缓存单元；

S170、从所述第二数据缓存节点中获取所述第二数据缓存节点中各数据缓存单元的数据索引信息并保存在所述缓存管理节点本地。

具体的，在所述第二数据缓存节点上线后，所述第二数据缓存节点可以将各硬盘的容量信息发送给所述缓存管理节点，若所述第二数据缓存节点已划分得到数据缓存单元，所述容量信息中还可以包括各数据存储块对应的块标记以及各数据缓存单元中数据的数据索引信息。

所述缓存管理节点重新将所述第二数据缓存节点的数据索引信息保存到本地，以便后期对数据读取。

如果所述第二数据缓存节点是第一次提供数据缓存服务，则所述缓存管理节点对所述第二数据缓存节点中的各硬盘进行划分以得到数据缓存单元，即对所述第二数据缓存节点执行以下步骤：

获得所述第二数据缓存节点中的硬盘的容量信息；

根据所述第二数据缓存节点中的硬盘的容量信息将各硬盘的至少部分存储空间划分为多个数据存储块并为各数据存储块设置块标记；

对所述第二数据缓存节点：根据所述块标记将该数据缓存节点中的各数据存储块划分到多个块组中，每个所述块组中均包括多个数据存储块，同一块组中的各数据存储块所在的硬盘不完全相同；

将每个块组确定为一个用于进行数据缓存的数据缓存单元。

本发明实施例通过判断新上线的所述数据缓存节点是否为已划分得到数据缓存单元的数据缓存节点，可以避免对一个所述数据缓存节点中的硬盘进行多次划分，减少计算量。

在实际应用中，所述数据缓存节点中还包括至少一个备用硬盘，如图4所示，本发明实施例所提供的数据缓存节点管理方法还可以包括：

S180、接收所述数据缓存节点中的硬盘发送的在线确认消息；

S181、确定没有发送所述在线确认消息的第一硬盘；

S190、按照所述第一硬盘中各数据存储块的划分方式对所述备用硬盘进行划分，得到多个数据存储块；

S191、将所述第一硬盘对应的数据索引信息中所述第一硬盘的各数据存储块的标识替换为所述备用硬盘中相对应的数据存储块的标识。

其中，每个所述硬盘分别对应一个所述在线确认消息，即每个所述在线确认消息中包括有对应的硬盘的硬盘标识。

具体的，所述硬盘可能会发生掉线、损坏或者被人为拔出等情况，从而不会向所述缓存管理节点发送所述在线确认消息，则本发明将没有发送在线确认消息的硬盘确定为第一硬盘，将所述第一硬盘的各数据存储块的信息映射到所述备用硬盘，并将本地中保存的所述第一硬盘的各数据存储块的信息替换为所述备用硬盘的容量信息，从而将所述第一硬盘替换为所述备用硬盘。

由于所述备用硬盘在替换所述第一硬盘后并没有保存数据，因此可以将将数据索引信息中备用硬盘内各数据存储块对应的数据标识设置为空。

具体的，在数据请求方重新读取所述第一硬盘中缓存的数据时，所述缓存管理节点可以从本地保存的数据索引信息确认所述第一硬盘中缓存的数据，进而重新将所述第一硬盘中丢失的数据缓存到所述备用硬盘中。

其中，步骤180至步骤S191与图1至图3所示实施例中的各步骤执行顺序本发明不做限定。

本发明实施例通过接收各所述硬盘的在线确认消息，并对没有发送在线确认消息的硬盘进行替换，提高了可靠性。

本发明实施例还提供了一种数据缓存方法，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一数据缓存节点中均包括多个数据缓存单元，如图5所示，该方法可以包括：

S200、确定需要缓存的第一数据的数据量；

S210、根据所述数据量为所述第一数据分配所述数据缓存节点中的至少一个数据缓存单元；

S220、根据分配的所述数据缓存单元中各数据存储块的大小将所述第一数据拆分为多个数据块；

S230、将所述数据块存储到分配的所述数据缓存单元中的多个数据存储块中。

优选的，本发明实施例可以将所述第一数据进行划分得到多个数据块，在进行第一数据的划分时，可以根据所述数据存储块的大小进行划分，即所述数据块的大小可以与所述数据存储块的大小相同。

其中，所述第一数据为需要进行缓存的数据，本发明实施例需要根据所述第一数据的大小确定所述第一数据需要使用的所述数据缓存单元的个数。

具体的，在所述缓存管理节点为所述第一数据分配数据缓存单元时，还可以根据所述数据缓存节点所在位置以及空闲的存储空间的大小进行选择，例如，可以优选与请求所述第一数据的数据请求方距离最近的数据缓存单元，还可以优选空间的存储空间较大的数据缓存节点缓存所述第一数据。

在实际应用中，本发明实施例采用向上取整的方法为所述第一数据分配数据缓存单元，例如，假设所述第一数据的数据量为25M，每个所述数据缓存单元的大小为20M，则需要为所述第一数据分配两个数据缓存单元，并且已经缓存所述第一数据的数据缓存单元的剩余的存储空间不再存储其他数据。

下面对数据的缓存进行举例说明。

假设数据缓存节点中的每个数据缓存单元的大小为20M，数据缓存单元可以从0开始进行编号，若数据请求方请求的数据偏移位置是32M，需要缓存的第一数据为4M，则计算32/20并取整来计算第一数据缓存的数据缓存单元的起始位置，得到1，即第1个数据缓存单元的开始进行缓存，缓存的数据缓存单元的个数按向上取整进行计算，由于所述第一数据的大小4M，不足一个数据缓存单元的大小，因此，为所述第一数据分配一个数据缓存单元进行缓存。

优选的，本发明实施例提供的一种数据缓存方法中，所述缓存管理节点保存有各数据缓存单元的数据索引信息，所述将所述数据块存储到分配的所述数据缓存单元中的多个数据存储块后，如图6所示，该方法还可以包括：

S240、建立并保存所述数据块的数据索引信息；

S250、将建立的所述数据索引信息发送至分配的数据缓存单元所在的数据缓存节点。

在实际应用中，在所述数据请求方对所述第一数据进行读取时，所述缓存管理节点可以将所述第一数据的数据索引信息保存到索引信息列表中，并发送给所述数据请求方，所述数据请求方根据所述索引信息列表读取所述第一数据，同时，所述硬盘在读出所述第一数据时，缓存有所述第一数据的硬盘同时进行输出，提高了第一数据输出的速率。

本发明实施例通过将所述第一数据进行划分并为划分得到的数据块分配数据缓存单元，可以提高数据处理的速度，同时也可以提高后期进行数据读取的速度。

如图7所示，本发明实施例所提供的另一种数据缓存方法可以包括：

S260、根据缓存淘汰算法确定第一数据的缓存权值；

其中，第一数据可以为数据请求方刚刚读/写的数据。

S261、判断所述第一数据的缓存权值是否满足预设要求，如果是，则执行步骤S262；否则，执行步骤S263；

S262、将所述第一数据确定为需要缓存的数据；

S263、确定第一数据在当前时刻为不需要缓存的数据。

S200、确定需要缓存的第一数据的数据量；

S211、根据所述数据量确定需要为所述第一数据分配的数据缓存单元的个数N；

S212、根据所述数据缓存节点中各数据缓存单元内缓存的数据的缓存权值为所述第一数据分配N个数据缓存单元，其中，所述N个数据缓存单元中的任一个数据缓存单元内缓存的数据的缓存权值均小于除所述N个数据缓存单元外的其他数据缓存单元内缓存的数据的缓存权值。

其中，步骤S211和步骤S212为图5所示方法中步骤S210的一种具体执行方式。

S220、根据分配的所述数据缓存单元中各数据存储块的大小将所述第一数据拆分为多个数据块；

S230、将所述数据块存储到分配的所述数据缓存单元中的多个数据存储块中。

其中，所述缓存权值可以设置为最低权值，例如，可以设置为0，所述N为不小于1的整数。

可选的，所述预设要求可以有多种：例如，在预设时间内，所述缓存权值达到预设权值；还可以为：在预设时间内，有M个第一数据的缓存权值均大于M个第一数据之外的任一个第一数据的缓存权值，则将这M个缓存权值对应的第一数据进行缓存。

优选的，所述第一数据在每次被请求之后，其对应的缓存权值均增加，同时本发明实施例按照淘汰算法对各所述第一数据进行重新排序；其中，所述淘汰算法可以为多种，本发明实施例可以优选LRU淘汰算法。

优选的，本发明实施例可以设置预设权值，例如，可以将所述设置为5，即在预设时间内所述第二数据对应的数据缓存单元对应的权值达到5时，可以认为该第二数据为需要经常访问的数据，则将该第二数据确定为第一数据并进行划分得到数据块以进行缓存，例如，所述预设时间可以为5分钟。

优选的，在有新的第一数据需要进行缓存时，则将所述数据缓存单元尾部的中的第一数据信息替换为最新的第一数据信息并放置到该数据缓存节点中各所述数据缓存单元的头部，即将最冷数据淘汰。

本发明实施例通过淘汰算法，可以对达到预设条件的第一数据进行缓存，不需要将所有的第一数据进行缓存。

与上述图1所示的数据缓存节点管理方法对应，本发明实施例还提供了一种缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，如图8所示，所述缓存管理节点可以包括：容量信息获得模块01、数据存储块划分模块02、块标记设置模块03、块组划分模块04和数据缓存单元确定模块05；

所述容量信息获得模块01用于获得各数据缓存节点中的硬盘的容量信息；

所述数据存储块划分模块02用于根据所述容量信息将各硬盘的至少部分存储空间划分为多个数据存储块；

所述块标记设置模块03用于为各数据存储块设置块标记；

所述块组划分模块04用于对每个数据缓存节点：根据所述块标记将该数据缓存节点中的各数据存储块划分到多个块组中，每个所述块组中均包括多个数据存储块，同一块组中的各数据存储块所在的硬盘不完全相同；

所述数据缓存单元确定模块05用于将每个块组确定为一个用于进行数据缓存的数据缓存单元。

具体的，各所述数据缓存节点可以在与所述缓存管理节点建立通信连接后，向所述缓存管理节点发送缓存服务提供请求，以提供缓存服务，并向所述缓存管理节点发送硬盘的容量信息以供所述缓存管理节点进行保存，所述容量信息可以为所述硬盘的可以使用的存储容量或者提供缓存任务的容量。

同一数据缓存节点中的各数据存储块大小相同；

和/或，同一数据缓存节点中的各硬盘中的数据存储块数量相同；

和/或，同一数据缓存节点中的各硬盘对应的标记组相同，每个标记组由其对应的硬盘中的数据存储块的块标记构成。

在实际应用中，所述数据存储块划分模块02可以将各硬盘的至少部分存储空间按照一定的标准进行划分，例如可以以1M或2M为标准进行划分得到数据存储块。

在实际应用中，所述数据存储块划分模块02可以优选以1M为划分标准，如果划分得到的各所述数据存储块的容量太大，则可能会影响数据的输出效率，如果划分得到的各所述数据存储块的容量太小，则划分的数据存储块的数量过多，不易于对各所述数据存储块进行管理。

具体的，所述块标记设置模块03可以对每个硬盘中划分得到的数据存储块进行块标记，例如，0号、1号……n号，每个硬盘中的0号至n号为一个标记组。

本发明实施例通过使用硬盘作为缓存介质，大大提高了缓存的容量，可以对大数据的文件进行缓存。

如图8所示，本发明实施例所提供的一种缓存管理节点还可以包括：数据索引信息保存模块06和信息发送模块07；

所述数据索引信息保存模块06用于将将全部数据缓存单元的数据索引信息保存在所述缓存管理节点本地；

所述信息发送模块07用于将每一个数据缓存单元的数据索引信息发送至该数据缓存单元所在的数据缓存节点。

具体的，所述数据索引信息为各所述数据缓存单元中的数据与存储地址之间的对应关系，所述数据索引信息保存模块06可以通过所述数据索引信息找到需要的数据缓存的位置进而对数据进行读取。

具体的，在所述将每个块组确定为一个用于进行数据缓存的数据缓存单元之后，所述信息发送模块07可以将各所述数据缓存单元中缓存的数据的数据索引信息发送给所述缓存管理节点以保存，以便数据请求方根据所述数据索引信息对数据进行读取。

如图9所示，本发明实施例所提供的一种缓存管理节点还可以包括：节点状态确定模块08、请求获得模块09、划分确定模块10和信息获取模块11；

所述节点状态确定模块08用于确定第一数据缓存节点是否中断数据缓存服务，如果是，则将所述数据索引信息保存模块06中保存的所述第一数据缓存节点中各数据缓存单元的数据索引信息删除；

所述请求获得模块09用于获得第二数据缓存节点发送的缓存服务提供请求，并在接收到所述缓存服务请求后触发所述划分确定模块10确定所述第二数据缓存节点是否已划分得到数据缓存单元，如果是，则触发所述信息获取模块11从所述第二数据缓存节点中获取所述第二数据缓存节点中各数据缓存单元的数据索引信息以及所述数据索引信息保存模块06将所述数据索引信息保存在所述缓存管理节点本地；否则，触发所述容量信息获得模块01、数据存储块划分模块02、块标记设置模块03、块组划分模块04和数据缓存单元确定模块05对所述第二数据缓存节点进行划分以得到数据缓存单元。

具体的，所述第一数据缓存节点可以掉线或者向所述缓存管理节点发送中断数据缓存服务消息，进而不再进行数据缓存任务，所述节点状态确定模块08在所述数据缓存节点已经上线后的下线时。

在所述第一数据缓存节点不提供数据缓存服务后，所述缓存管理节点可以将所述数据索引信息保存模块06保存的各所述数据缓存单元中各数据的数据索引信息进行清除。

具体的，在所述请求获得模块09获得第二数据缓存节点发送的缓存服务提供请求后，所述节点状态确定模块08确定所述第二数据缓存节点上线，在所述划分确定模块10确定所述第二数据缓存节点已划分得到数据缓存单元，触发所述信息获取模块11获取所述第二数据缓存节点发送的各硬盘的容量信息，若所述第二数据缓存节点已划分得到数据缓存单元，所述容量信息中还可以包括各数据存储块对应的块标记以及各数据缓存单元中数据的数据索引信息；否则，本发明认为所述第二数据缓存节点第一次上线，则对所述第二数据缓存节点中的各硬盘进行划分以得到数据缓存单元。

所述缓存管理节点重新将所述第二数据缓存节点的数据索引信息保存到本地，以便后期对数据读取。

如图10所示，本发明实施例所提供的一种缓存管理节点还可以包括在线确认消息接收模块12、第一硬盘确定模块13和标识替换模块14；

所述在线确认消息接收模块12用于接收所述硬盘发送的在线确认消息；

所述第一硬盘确定模块13用于确定没有发送所述在线确认消息的第一硬盘并触发所述数据存储块划分模块02按照所述第一硬盘中各数据存储块的划分方式对所述备用硬盘进行划分，得到多个数据存储块；

所述标识替换模块14用于将将所述第一硬盘对应的数据索引信息中所述第一硬盘的各数据存储块的标识替换为所述备用硬盘中相对应的数据存储块的标识；

优选的，本发明实施例还可以设置有数据存储块标记模块15，所述数据存储块标记模块15用于将数据索引信息中备用硬盘内各数据存储块对应的数据标识设置为空。

优选的，各所述数据缓存节点中还可以包括至少一个备用硬盘。

其中，每个所述硬盘分别对应一个所述在线确认消息，即每个所述在线确认消息中包括有对应硬盘的硬盘标识。

具体的，所述硬盘可能会发生掉线、损坏或者被人为拔出等情况，从而不会向所述缓存管理节点发送所述在线确认消息，则所述第一硬盘确定模块13将没有发送在线确认消息的硬盘确定为第一硬盘，所述标识替换模块14将所述第一硬盘的各数据存储块的信息映射到所述备用硬盘，并将本地中保存的数据索引信息中所述第一硬盘的各数据存储块对应的数据标识替换为所述备用硬盘对应的数据标识，从而将所述第一硬盘替换为所述备用硬盘。

由于所述备用硬盘在替换所述第一硬盘后并没有保存数据，因此可以将所述备用硬盘的各数据存储块对应的数据标识为空，在数据请求方重新读取所述第一硬盘中缓存的数据时，所述缓存管理节点可以从本地保存的数据索引信息确认所述第一硬盘中缓存的数据，进而重新将所述第一硬盘中丢失的数据缓存到所述备用硬盘中。

本发明实施例通过接收各所述硬盘的在线确认消息，并对没有发送在线确认消息的硬盘进行替换，提高了可靠性。

与图5所示的一种数据缓存方法对应，本发明实施例还提供了一种缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一数据缓存节点中均包括多个数据缓存单元，如图11所示，所述缓存管理节点可以包括：数据量确定模块16、数据缓存单元分配模块17、数据拆分模块18和数据块存储模块19；

所述数据量确定模块16用于确定需要缓存的第一数据的数据量；

所述数据缓存单元分配模块17用于根据所述数据量为所述第一数据分配所述数据缓存节点中的至少一个数据缓存单元；

所述数据拆分模块18用于根据分配的所述数据缓存单元中各数据存储块的大小将所述第一数据拆分为多个数据块；

所述数据块存储模块19用于将所述数据块存储到分配的所述数据缓存单元中的多个数据存储块中。

在实际应用中，所述缓存管理节点中不保存任何第一数据，只保存有数据索引信息。

具体的，在所述数据缓存单元分配模块17为所述第一数据分配数据缓存单元时，还可以根据所述数据缓存节点所在位置以及空闲的存储空间的大小进行选择，例如，可以优选与请求所述第一数据的数据请求方距离最近的数据缓存单元，还可以优选空间的存储空间较大的数据缓存节点缓存所述第一数据。

在实际应用中，本发明实施例采用向上取整的方法为所述第一数据分配数据缓存单元，例如，假设所述第一数据的数据量为25M，每个所述数据缓存单元的大小为20M，则需要为所述第一数据分配两个数据缓存单元，并且已经缓存所述第一数据的数据缓存单元的剩余的存储空间不再存储其他数据。

本发明实施例通过将所述第一数据进行划分并为划分得到的数据块分配数据缓存单元，所述硬盘在读出所述第一数据时，缓存有所述第一数据的硬盘同时进行输出，可以提高数据处理的速度，同时也可以提高后期进行数据读取的速度。

优选的，如图11所示本发明实施例中所述缓存管理节点保存有各数据缓存单元的数据索引信息，所述缓存管理节点中还可以包括：数据索引信息建立模块20、数据索引信息保存模块21和数据索引信息发送模块22；

在所述数据块存储模块19将所述数据块存储到分配的所述数据缓存单元中的多个数据存储块后触发所述数据索引信息建立模块20；

所述数据索引信息建立模块20用于建立所述数据块的数据索引信息；

所述数据索引信息保存模块21用于保存所述数据块的数据索引信息；

所述数据索引信息发送模块22用于将建立的所述数据索引信息发送至分配的数据缓存单元所在的数据缓存节点。

具体的，在所述缓存管理节点将所述数据块的数据索引信息保存到本地后，也可以将所述数据索引信息发送给该数据块对应的数据缓存单元所在的数据缓存节点中，以便对所述数据块进行读取。

如图12所示，所述缓存管理节点还可以包括：缓存权值确定模块23；数据缓存确定模块24；

所述缓存权值确定模块23用于根据缓存淘汰算法确定所述第一数据的缓存权值，在所述第一数据的缓存权值满足预设要求时触发所述数据缓存确定模块24；

所述数据缓存确定模块24用于将所述第一数据确定为需要缓存的数据；

在所述数据缓存确定模块24将所述第一数据确定为需要缓存的数据后触发所述数据缓存单元分配模块17根据所述数据量确定需要为所述第一数据分配的数据缓存单元的个数N。

优选的，所述数据缓存单元分配模块17可以根据所述数据缓存节点中各数据缓存单元内缓存的数据的缓存权值为所述第一数据分配N个数据缓存单元，其中，所述N个数据缓存单元中的任一个数据缓存单元内缓存的数据的缓存权值均小于除所述N个数据缓存单元外的其他数据缓存单元内缓存的数据的缓存权值。

可以理解的是，所述第一数据为所述数据请求方请求的数据，并非一定是已经缓存的数据。

优选的，所述缓存管理节点可以将所述数据请求方请求的第一数据按淘汰算法进行排序，在所述数据请求方每请求一次所述第一数据后，则触发所述缓存权值确定模块23将所述第二数据对应的数据缓存单元的权值增加。

其中，所述数据缓存单元的头部的第一数据可以认为是最热数据，向后依次递减，最末端的第一数据为最冷数据，如果一个数据缓存节点中的各数据缓存单元均已缓存数据，当有新的第一数据需要进行缓存时，可以将新的第一数据缓存到该数据缓存节点中尾部的数据缓存单元并将放置新的第一数据的数据缓存单元放置到各数据缓存单元的头部，新的第一数据覆盖原有的第一数据，进而可以将最冷数据进行淘汰。

本发明实施例通过采用淘汰算法，可以对达到预设要求的第一数据进行缓存，不需要将所有的第一数据进行缓存，还可以将最冷数据进行淘汰，提高所述数据缓存单元的利用率。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于系统实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据缓存节点管理方法，其特征在于，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，所述方法包括：

获得各数据缓存节点中的硬盘的容量信息；

根据所述容量信息将各硬盘的至少部分存储空间划分为多个数据存储块并为各数据存储块设置块标记；

对每个数据缓存节点：根据所述块标记将该数据缓存节点中的各数据存储块划分到多个块组中，每个所述块组中均包括多个数据存储块，同一块组中的各数据存储块所在的硬盘不完全相同；

将每个块组确定为一个用于进行数据缓存的数据缓存单元。

2.根据权利要求1所述的方法，其特征在于，

同一数据缓存节点中的各数据存储块大小相同；

和/或，同一数据缓存节点中的各硬盘中的数据存储块数量相同；

和/或，同一数据缓存节点中的各硬盘对应的标记组相同，每个标记组由其对应的硬盘中的数据存储块的块标记构成；

和/或，同一数据缓存单元中各数据存储块的块标记相同。

3.根据权利要求1所述的方法，其特征在于，在所述将每个块组确定为一个用于进行数据缓存的数据缓存单元之后，所述方法还包括：

将全部数据缓存单元的数据索引信息保存在所述缓存管理节点本地，并将每一个数据缓存单元的数据索引信息发送至该数据缓存单元所在的数据缓存节点。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在确定第一数据缓存节点中断数据缓存服务后，将本地保存的所述第一数据缓存节点中各数据缓存单元的数据索引信息删除；

和/或，在获得第二数据缓存节点发送的缓存服务提供请求后，确定所述第二数据缓存节点是否已划分得到数据缓存单元，如果是，则从所述第二数据缓存节点中获取所述第二数据缓存节点中各数据缓存单元的数据索引信息并保存在所述缓存管理节点本地，否则，对所述第二数据缓存节点进行划分以得到数据缓存单元。

5.根据权利要求3所述的方法，其特征在于，所述数据缓存节点中还包括备用硬盘，所述方法还包括：

接收所述数据缓存节点中的硬盘发送的在线确认消息；

确定没有发送所述在线确认消息的第一硬盘；

按照所述第一硬盘中各数据存储块的划分方式对所述备用硬盘进行划分，得到多个数据存储块，并将所述第一硬盘对应的数据索引信息中所述第一硬盘的各数据存储块的标识替换为所述备用硬盘中相对应的数据存储块的标识。

6.一种数据缓存方法，其特征在于，应用于缓存管理节点，所述缓存管理节点和至少一个数据缓存节点通信连接，任一数据缓存节点中均包括多个数据缓存单元，所述方法包括：

确定需要缓存的第一数据的数据量，根据所述数据量为所述第一数据分配所述数据缓存节点中的至少一个数据缓存单元；

根据分配的所述数据缓存单元中各数据存储块的大小将所述第一数据拆分为多个数据块，并将所述数据块存储到分配的所述数据缓存单元中的多个数据存储块中。

7.根据权利要求6所述的方法，其特征在于，所述缓存管理节点保存有各数据缓存单元的数据索引信息，所述将所述数据块存储到分配的所述数据缓存单元中的多个数据存储块后，所述方法还包括：

建立并保存所述数据块的数据索引信息，将建立的所述数据索引信息发送至分配的数据缓存单元所在的数据缓存节点。

8.根据权利要求6所述的方法，其特征在于，在确定需要缓存的第一数据的数据量之前，所述方法还包括：

根据缓存淘汰算法确定所述第一数据的缓存权值，在所述第一数据的缓存权值满足预设要求时，将所述第一数据确定为需要缓存的数据；

所述根据所述数据量为所述第一数据分配所述数据缓存节点中的至少一个数据缓存单元，包括：

根据所述数据量确定需要为所述第一数据分配的数据缓存单元的个数N；

根据所述数据缓存节点中各数据缓存单元内缓存的数据的缓存权值为所述第一数据分配N个数据缓存单元，其中，所述N个数据缓存单元中的任一个数据缓存单元内缓存的数据的缓存权值均小于除所述N个数据缓存单元外的其他数据缓存单元内缓存的数据的缓存权值。

9.一种缓存管理节点，其特征在于，所述缓存管理节点和至少一个数据缓存节点通信连接，任一所述数据缓存节点中均包括至少一个硬盘，所述缓存管理节点包括：容量信息获得模块、数据存储块划分模块、块标记设置模块、块组划分模块和数据缓存单元确定模块；

所述容量信息获得模块用于获得各数据缓存节点中的硬盘的容量信息；

所述数据存储块划分模块用于根据所述容量信息将各硬盘的至少部分存储空间划分为多个数据存储块；

所述块标记设置模块用于为各数据存储块设置块标记；

所述块组划分模块用于对每个数据缓存节点：根据所述块标记将该数据缓存节点中的各数据存储块划分到多个块组中，每个所述块组中均包括多个数据存储块，同一块组中的各数据存储块所在的硬盘不完全相同；

所述数据缓存单元确定模块用于将每个块组确定为一个用于进行数据缓存的数据缓存单元。

10.一种缓存管理节点，其特征在于，所述缓存管理节点和至少一个数据缓存节点通信连接，任一数据缓存节点中均包括多个数据缓存单元，所述缓存管理节点包括：数据量确定模块、数据缓存单元分配模块、数据块划分模块和数据块分配模块；

所述数据量确定模块用于确定需要缓存的第一数据的数据量；

所述数据缓存单元分配模块用于根据所述数据量为所述第一数据分配所述数据缓存节点中的至少一个数据缓存单元；

所述数据块拆分模块用于根据分配的所述数据缓存单元中各数据存储块的大小将所述第一数据拆分为多个数据块；

所述数据块分配模块用于将所述数据块存储到分配的所述数据缓存单元中的多个数据存储块中。