CN105808451B - 一种数据缓存方法以及相关装置 - Google Patents

Abstract

本发明实施例公开了一种数据缓存方法，适用于分布式文件系统，用于提升分布式文件系统的并发性能，保证分布式文件系统能够正常运行大数据应用。其中，所述分布式文件系统包括按列存储的第一文件，所述第一文件包括不少于一个列数据，所述方法包括：确定第一文件的列数据中的热点列数据；将所述热点列数据拼接为第二文件；将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。本发明实施例还公开了相关的数据缓存装置。

Description

一种数据缓存方法以及相关装置

技术领域

本发明涉及数据处理领域，尤其涉及一种数据缓存方法以及相关装置。

背景技术

Hadoop分布式文件系统(HDFS，Hadoop Distributed File System)，是一种运行在商用服务器上的分布式文件系统，具有高可扩展性、高可用性、高吞吐量等特点，可以存放海量数据，因此现阶段的技术中，很多大数据应用都以HDFS作为底层的文件系统。HDFS中的数据存储于数据节点(Data Node)主机的本地磁盘上，但磁盘的输入/输出(I/O)的效率较低，直接影响了HDFS的服务性能。

为了提升HDFS的服务性能，现阶段的技术中采用“集中式缓存”技术，将磁盘中的文件预先缓存到数据节点的内存之中，使得应用可以直接从内存中访问需要的文件。由于内存的I/O效率要远高于磁盘的I/O效率，因此集中式缓存技术可以大幅度的提升HDFS的服务性能。

但是，由于HDFS中存储的文件通常较大，因此集中式缓存技术会占用系统中各数据节点的大量内存，造成内存资源不足问题。更进一步的，由于HDFS中存储的文件通常较大，因此集中式缓存技术为了节约内存，即便一份文件在多个数据节点的磁盘中有备份，缓存到内存中的文件副本数通常也为1，这样就导致了所有使用该文件的应用都会被调度到该文件副本的本地数据节点上，造成该本地数据节点超负荷，引发数据热点问题，导致分布式文件系统不能正常运行大数据应用。

发明内容

本发明实施例提供了一种数据缓存方法，用于节约分布式文件系统的内存空间，提升分布式文件系统的并发性能，保证分布式文件系统能够正常运行大数据应用。

本发明实施例的第一方面提供了一种数据缓存方法，适用于分布式文件系统，所述分布式文件系统包括按列存储的第一文件，所述第一文件包括不少于一个列数据，所述方法包括：

确定第一文件的列数据中的热点列数据；

将所述热点列数据拼接为第二文件；

将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。

结合本发明实施例的第一方面，本发明实施例的第一方面的第一种实现方式中，所述确定第一文件的列数据中的热点列数据包括：

确定预置时间段内所述第一文件的每个列数据的被访问次数；

将被访问次数不小于M的列数据确定为热点列数据，所述M为预置正整数。

结合本发明实施例的第一方面或第一方面的第一种实现方式，本发明实施例的第一方面的第二种实现方式中，所述第一文件包括N个热点列数据，所述N为预置正整数，所述将所述热点列数据拼接为第二文件包括：

根据所述第一文件的元数据信息，确定每个热点列数据的数据长度，所述元数据信息用于描述所述分布式文件系统中的文件，所述第一文件的元数据信息中记录有所述第一文件的列数据的第一保存路径、数据长度与第一偏移位置，所述第一偏移位置用于表示所述第一文件的列数据在所述第一文件中的偏移位置；

根据所述每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置，所述第二偏移位置用于表示所述热点列数据在所述第二文件中的偏移位置，其中，第n个热点列数据的第二偏移位置为前(n-1)个热点列数据的数据长度的和，其中，2≤n≤N；

根据每个热点列数据的第二偏移位置，将所述N个热点列数据依次拼接起来，得到第二文件。

结合本发明实施例的第一方面的第二种实现方式，本发明实施例的第一方面的第三种实现方式中，所述将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问包括：

将所述第二文件写入到所述第一文件的本地节点的内存中；

更新所述第一文件的元数据信息，使得所述第一文件的元数据信息中记录的热点列数据的第一保存路径被替换为所述热点列数据在第二文件中的第二保存路径，且所述热点列数据的第一偏移位置被替换为所述第二偏移位置。

结合本发明实施例的第一方面、或第一方面的第一种至第三种实现方式中的任一项，本发明实施例的第一方面的第四种实现方式还包括：

将所述第二文件锁定在所述第一文件的本地节点的内存中。

本发明实施例的第二方面提供了一种数据缓存装置，适用于分布式文件系统，所述分布式文件系统包括按列存储的第一文件，所述第一文件包括不少于一个列数据，所述装置包括：

确定模块，用于确定第一文件的列数据中的热点列数据；

拼接模块，用于将所述热点列数据拼接为第二文件；

缓存模块，用于将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。

结合本发明实施例的第二方面，本发明实施例的第二方面的第一种实现方式中，所述确定模块包括：

次数确定单元，用于确定预置时间段内所述第一文件的每个列数据的被访问次数；

热点确定单元，用于将被访问次数不小于M的列数据确定为热点列数据，所述M为预置正整数。

结合本发明实施例的第二方面或第二方面的第一种实现方式，本发明实施例的第二方面的第二种实现方式中，所述第一文件包括N个热点列数据，所述N为预置正整数，所述拼接模块包括：

长度确定单元，用于根据所述第一文件的元数据信息，确定每个热点列数据的数据长度，所述元数据信息用于描述所述分布式文件系统中的文件，所述第一文件的元数据信息中记录有所述第一文件的列数据的第一保存路径、数据长度与第一偏移位置，所述第一偏移位置用于表示所述第一文件的列数据在所述第一文件中的偏移位置；

偏移确定单元，用于根据所述每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置，所述第二偏移位置用于表示所述热点列数据在所述第二文件中的偏移位置，其中，第n个热点列数据的第二偏移位置为前(n-1)个热点列数据的数据长度的和，其中，2≤n≤N；

数据拼接单元，用于根据每个热点列数据的第二偏移位置，将所述N个热点列数据依次拼接起来，得到第二文件。

结合本发明实施例的第二方面的第二种实现方式，本发明实施例的第二方面的第三种实现方式中，所述缓存模块包括：

文件写入单元，用于将所述第二文件写入到所述第一文件的本地节点的内存中；

信息更新单元，用于更新所述第一文件的元数据信息，使得所述第一文件的元数据信息中记录的热点列数据的第一保存路径被替换为所述热点列数据在第二文件中的第二保存路径，且所述热点列数据的第一偏移位置被替换为所述第二偏移位置。

结合本发明实施例的第二方面、或第二方面的第一种至第三种实现方式中的任一项，本发明实施例的第二方面的第四种实现方式还包括：

锁定模块，用于将所述第二文件锁定在所述第一文件的本地节点的内存中。

本发明实施例提供了一种数据缓存方法，应用在分布式文件系统的集中式缓存技术中，包括：确定第一文件的列数据中的热点列数据；将所述热点列数据拼接为第二文件；将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。通过这样的方法，使得第一文件不需要被全部缓存到内存中，只需要将其中较为热点的列数据缓存到内存中即可。节约了数据节点的内存空间，保证了分布式文件系统内存资源充足。更进一步的，由于本申请提供的方法可以减少缓存到内存中的数据量，因此系统具有足够的内存来缓存多个副本，若一份文件在多个数据节点的磁盘中有备份，则分布式文件系统可以分别在该多个数据节点上缓存文件副本，使得需要使用该文件的应用可以被分散到多个数据节点上，降低了数据节点的负荷，改善了数据热点问题，提升了分布式文件系统的并发性能，使得系统能够正常的运行大数据应用。

附图说明

图1为本发明实施例中数据缓存方法一个实施例流程图；

图2为本发明实施例中数据缓存方法另一个实施例流程图；

图3为本发明实施例中数据缓存方法另一个实施例流程图；

图4为本发明实施例中数据缓存方法一个应用场景示意图；

图5为本发明实施例中数据缓存装置一个实施例流程图；

图6为本发明实施例中数据缓存装置另一个实施例流程图；

图7为本发明实施例中数据缓存装置另一个实施例流程图；

图8为本发明实施例中数据缓存装置另一个实施例流程图；

图9为本发明实施例中数据缓存装置另一个实施例流程图。

具体实施方式

本发明实施例提供了一种数据缓存方法，用于节约分布式文件系统的内存空间，提升分布式文件系统的并发性能，保证分布式文件系统能够正常运行大数据应用。

本发明实施例提供的数据缓存方法的基本流程请参阅图1，主要包括：

101、确定第一文件的列数据中的热点列数据；

在分布式文件系统中，某一个节点的磁盘中存储有第一文件，该第一文件中的数据为按列存储的形式。按列存储的文件由于一列的数据在类型上相同，可以显著提升数据压缩后的压缩率，从而减少了读取磁盘的数据量，并有利于应用读取指定列的数据内容。该第一文件中包括不少于一个的列数据，数据缓存装置确定第一文件的列数据中的热点列数据。其中，热点列数据用于表示预置时间段内被访问次数较多的列数据。

数据缓存装置确定第一文件的列数据中的热点列数据的方法有很多，将在后面的实施例中详述，此处不做限定。

102、将热点列数据拼接为第二文件；

数据缓存装置确定了热点列数据后，将热点列数据拼接为第二文件。其拼接方法有很多，具体将在后面的实施例中详述，此处不做限定。

103、将第二文件缓存到第一文件的本地节点的内存中。

数据缓存装置得到了第二文件后，将第二文件缓存到第一文件的本地节点的内存中，使得第二文件中的热点列数据可以在第一文件的本地节点的内存中被访问。具体的缓存方法将在后面的实施例中详述，此处不做限定。

本实施例提供了一种数据缓存方法，应用在分布式文件系统的集中式缓存技术中，包括：确定第一文件的列数据中的热点列数据；将所述热点列数据拼接为第二文件；将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。通过这样的方法，使得第一文件不需要被全部缓存到内存中，只需要将其中较为热点的列数据缓存到内存中即可。节约了数据节点的内存空间，保证了分布式文件系统内存资源充足。更进一步的，由于本实施例提供的方法可以减少缓存到内存中的数据量，因此系统具有足够的内存来缓存多个副本，若一份文件在多个数据节点的磁盘中有备份，则分布式文件系统可以分别在该多个数据节点上缓存文件副本，使得需要使用该文件的应用可以被分散到多个数据节点上，降低了数据节点的负荷，改善了数据热点问题，提升了分布式文件系统的并发性能，使得系统能够正常的运行大数据应用。

优选的，作为本发明的又一个实施例，步骤101可以通过如下方法确定第一文件的列数据中的热点列数据：数据缓存装置确定预置时间段内第一文件的每个列数据的被访问次数，并将被访问次数不小于M的列数据确定为热点列数据，其中M为预置正整数。可以理解的，数据缓存装置也可以确定预置时间段内第一文件的每个列数据的被访问次数，并将被访问次数最高的前P个列数据确定为热点列数据，其中P为预置正整数。步骤101也可以通过如下方法确定第一文件的列数据中的热点列数据，此处不做限定。

图1所示的实施例给出了本发明实施例提供的数据缓存方法的基本流程，通过将第一文件的热点列数据拼接为第二文件，减少了对系统内存资源的占用。下面的实施例将进一步解释如何将热点列数据拼接为第二文件，请参阅图2，包括：

201、确定第一文件的列数据中的热点列数据；

步骤201与步骤101基本相同，此处不做限定。

数据缓存装置确定了热点列数据后，将热点列数据拼接为第二文件。本实施例中，第一文件包括N个热点列数据，所述N为预置正整数，数据缓存装置通过步骤202至204来将热点列数据拼接为第二文件：

202、根据第一文件的元数据信息，确定每个热点列数据的数据长度；

分布式文件系统中，磁盘中的文件均有对应的元数据信息(MetaData)，元数据信息用于描述对应的文件。其中，第一文件的元数据信息包括第一文件的列数据的第一保存路径、数据长度与第一偏移位置，第一偏移位置用于表示第一文件的列数据在第一文件中的偏移位置。数据缓存装置根据第一文件的元数据信息，确定每个热点列数据的数据长度。

203、根据每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置；

数据缓存装置根据每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置，该第二偏移位置用于表示热点列数据在第二文件中的偏移位置，其中，第n个热点列数据的第二偏移位置为前(n-1)个热点列数据的数据长度的和，其中，2≤n≤N；

204、根据每个热点列数据的第二偏移位置，将N个热点列数据依次拼接起来，得到第二文件。

数据缓存装置根据每个热点列数据的第二偏移位置，将N个热点列数据依次拼接起来，得到第二文件。例如，若共有3个热点列数据，第1个热点列数据的第二偏移位置为0，数据长度为100，第2个热点列数据的第二偏移位置为100，数据长度为50，第3个热点列数据的第二偏移位置为150，数据长度为100，则将第1个热点列数据置于第二文件的1-100的位置，将第2个热点列数据置于第二文件的101-150的位置，将第3个热点列数据置于第二文件的151-250的位置，得到第二文件。

205、将第二文件缓存到第一文件的本地节点的内存中。

步骤205与步骤103基本相同，此处不做赘述。

本实施例提供了一种数据缓存方法，应用在分布式文件系统的集中式缓存技术中，包括：确定第一文件的列数据中的热点列数据；根据第一文件的元数据信息，确定每个热点列数据的数据长度；根据每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置；根据每个热点列数据的第二偏移位置，将N个热点列数据依次拼接起来，得到第二文件；将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。通过这样的方法，将第一文件中的热点列数据被拼接为第二文件后缓存到内存中，使得第一文件不需要被全部缓存到内存中，只需要将其中较为热点的列数据缓存到内存中即可。节约了数据节点的内存空间，保证了分布式文件系统内存资源充足。更进一步的，由于本实施例提供的方法可以减少缓存到内存中的数据量，因此系统具有足够的内存来缓存多个副本，若一份文件在多个数据节点的磁盘中有备份，则分布式文件系统可以分别在该多个数据节点上缓存文件副本，使得需要使用该文件的应用可以被分散到多个数据节点上，降低了数据节点的负荷，改善了数据热点问题，提升了分布式文件系统的并发性能，使得系统能够正常的运行大数据应用。

优选的，在图1或图2所示的实施例中，数据缓存装置在将第二文件缓存到第一文件的本地节点的内存中后，还可以将第二文件锁定在第一文件的本地节点的内存中，避免第二文件被操作系统自发的移出内存，使得第二文件能够常驻内存中。

上面的实施例详细的解释了本发明提供的数据缓存方法的基本流程，其中，数据缓存装置将热点列数据拼接为第二文件后，将第二文件缓存到内存中。下面将解释数据缓存装置如何将第二文件缓存到内存中，具体方法请参阅图3，包括：

301、确定第一文件的列数据中的热点列数据；

302、根据第一文件的元数据信息，确定每个热点列数据的数据长度；

303、根据每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置；

304、根据每个热点列数据的第二偏移位置，将N个热点列数据依次拼接起来，得到第二文件。

步骤301至304与步骤201至204基本相同，此处不做赘述。

305、将第二文件写入到第一文件的本地节点的内存中；

数据缓存装置得到第二文件后，将第二文件写入到内存中。其中，由于大数据应用需要通过第一文件的元数据信息来访问第二文件，而第一文件的元数据信息保存在第一文件的本地节点上，因此数据缓存装置将第二文件写入到第一文件的本地节点的内存中。

306、更新第一文件的元数据信息。

元数据信息用于描述分布式系统中的文件，大数据应用可以通过元数据信息，直接访问文件的列数据，而无需取读整个文件。数据缓存装置得到第二文件后，为了使得大数据应用可以直接访问第二文件中的热点列数据，需要更新第一文件的元数据信息，具体的，需要将第一文件的元数据信息中，热点列数据在第一文件中的第一保存路径被替换为该热点列数据在第二文件中的第二保存路径，且热点列数据的第一偏移位置被替换为第二偏移位置。这样，大数据应用就可以通过元数据信息直接访问第二文件中的热点列数据。

优选的，在图3所示的实施例中，数据缓存装置更新了第一文件的元数据信息后，还可以将第二文件锁定在第一文件的本地节点的内存中，避免第二文件被操作系统自发的移出内存，使得第二文件能够常驻内存中。

本实施例提供了一种数据缓存方法，应用在分布式文件系统的集中式缓存技术中，包括：确定第一文件的列数据中的热点列数据；根据第一文件的元数据信息，确定每个热点列数据的数据长度；根据每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置；根据每个热点列数据的第二偏移位置，将N个热点列数据依次拼接起来，得到第二文件；将第二文件写入到第一文件的本地节点的内存中；更新第一文件的元数据信息，使得大数据应用就可以通过元数据信息直接访问第二文件中的热点列数据。通过这样的方法，将第一文件中的热点列数据被拼接为第二文件后缓存到内存中，使得第一文件不需要被全部缓存到内存中，只需要将其中较为热点的列数据缓存到内存中即可。节约了数据节点的内存空间，保证了分布式文件系统内存资源充足。更进一步的，由于本实施例提供的方法可以减少缓存到内存中的数据量，因此系统具有足够的内存来缓存多个副本，若一份文件在多个数据节点的磁盘中有备份，则分布式文件系统可以分别在该多个数据节点上缓存文件副本，使得需要使用该文件的应用可以被分散到多个数据节点上，降低了数据节点的负荷，改善了数据热点问题，提升了分布式文件系统的并发性能，使得系统能够正常的运行大数据应用。

上面的实施例提供了本发明提供的数据缓存方法的基本流程，下面将以一个具体应用场景为例进行描述。

请参阅图4。分布式系统中的节点A的磁盘中存储有第一文件File_1，File_1中的数据为按列存储的形式，且File_1包括5个列数据，分别为Column_1、Column_2、Column_3、Column_4、和Column_5。数据缓存装置确定预置时间段30min内File_1的每个列数据的被访问次数，得到Column_1的被访问次数为200次，Column_2的被访问次数为350次，Column_3的被访问次数为140次，Column_4的被访问次数为320次，Column_5的被访问次数为430次。数据缓存装置将被访问次数不小于300的列数据确定为热点列数据，即将Column_2、Column_4与Column_5确定为热点列数据。

节点A中保存有File_1的元数据信息File_1_MetaData，File_1_MetaData中具体记录了该5个列数据的信息，包括：在File_1中的第一保存路径、数据长度和第一偏移位置，该5个列数据的信息分别记录在Column_1_Metadata、Column_2_Metadata、Column_3_Metadata、Column_4_Metadata和Column_5_Metadata中。数据缓存装置根据Column_2_Metadata、Column_4_Metadata与Column_5_Metadata，确定Column_2、Column_4与Column_5的数据长度，得到Column_2的数据长度为100，Column_4的数据长度为150，Column_5的数据长度为50。

数据缓存装置根据每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置，得到Column_2的第二偏移位置为0、Column_4的第二偏移位置为Column_2的数据长度100，Column_5的第二偏移位置为Column_2与Column_4的数据长度的和，即100+150＝250。

数据缓存装置根据每个热点列数据的第二偏移位置，将该3个热点列数据依次拼接起来，得到第二文件File_2。

数据缓存装置得到File_2后，将File_2写入到节点A的内存中，并更新File_1_MetaData，具体的，将Column_2_Metadata中记录的Column_2的第一保存路径替换为Column_2在File_2中的第二保存路径，将Column_2_Metadata中记录的Column_2的第一偏移位置替换为Column_2的第二偏移位置；将Column_2_Metadata中记录的Column_2的第一保存路径替换为Column_2在File_2中的第二保存路径，将Column_2_Metadata中记录的Column_2的第一偏移位置替换为Column_2的第二偏移位置；将Column_5_Metadata中记录的Column_5的第一保存路径替换为Column_5在File_2中的第二保存路径，将Column_5_Metadata中记录的Column_5的第一偏移位置替换为Column_5的第二偏移位置。

数据缓存装置更新了File_1_MetaData后，将File_2锁定在节点A的内存中。

本发明实施例还提供了相关的数据缓存装置，用于实现上述数据缓存方法。其中，该数据缓存装置适用于分布式文件系统，，该分布式文件系统包括按列存储的第一文件，该第一文件包括不少于一个列数据，其中，该数据缓存装置的基本结构包括：

确定模块501，用于确定第一文件的列数据中的热点列数据；

拼接模块502，用于将热点列数据拼接为第二文件；

缓存模块503，用于将第二文件缓存到第一文件的本地节点的内存中，使得热点列数据可以在第一文件的本地节点的内存中被访问。

本实施例提供了一种数据缓存装置，应用在分布式文件系统的集中式缓存技术中，具体的：确定模块501确定第一文件的列数据中的热点列数据；拼接模块502将所述热点列数据拼接为第二文件；缓存模块503将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。通过这样的方法，本实施例提供的数据缓存装置可以使第一文件不需要被全部缓存到内存中，只需要将其中较为热点的列数据缓存到内存中即可。节约了数据节点的内存空间，保证了分布式文件系统内存资源充足。更进一步的，由于本实施例提供的装置可以减少缓存到内存中的数据量，因此系统具有足够的内存来缓存多个副本，若一份文件在多个数据节点的磁盘中有备份，则分布式文件系统可以分别在该多个数据节点上缓存文件副本，使得需要使用该文件的应用可以被分散到多个数据节点上，降低了数据节点的负荷，改善了数据热点问题，提升了分布式文件系统的并发性能，使得系统能够正常的运行大数据应用。

图5所示的实施例给出了本发明提供的数据缓存装置的基本结构，下面将对其中的确定模块进行细化，请参阅图6，本发明实施例提供的又一种数据缓存装置包括：

确定模块601，用于确定第一文件的列数据中的热点列数据。本实施例中，确定模块601具体包括：

次数确定单元6011，用于确定预置时间段内第一文件的每个列数据的被访问次数；

热点确定单元6012，用于将被访问次数不小于M的列数据确定为热点列数据，所述M为预置正整数。

拼接模块602，用于将热点列数据拼接为第二文件；

缓存模块603，用于将第二文件缓存到第一文件的本地节点的内存中，使得热点列数据可以在第一文件的本地节点的内存中被访问。

本实施例提供了一种数据缓存装置，应用在分布式文件系统的集中式缓存技术中，具体的：次数确定单元6011确定预置时间段内第一文件的每个列数据的被访问次数；热点确定单元6012将被访问次数不小于M的列数据确定为热点列数据；拼接模块602将所述热点列数据拼接为第二文件；缓存模块603将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。通过这样的方法，本实施例提供的数据缓存装置可以使第一文件不需要被全部缓存到内存中，只需要将其中较为热点的列数据缓存到内存中即可。节约了数据节点的内存空间，保证了分布式文件系统内存资源充足。更进一步的，由于本实施例提供的装置可以减少缓存到内存中的数据量，因此系统具有足够的内存来缓存多个副本，若一份文件在多个数据节点的磁盘中有备份，则分布式文件系统可以分别在该多个数据节点上缓存文件副本，使得需要使用该文件的应用可以被分散到多个数据节点上，降低了数据节点的负荷，改善了数据热点问题，提升了分布式文件系统的并发性能，使得系统能够正常的运行大数据应用。

图6所示的实施例对本发明实施例提供的数据缓存装置的确定模块进行了细化，下面将对拼接模块进行细化，请参阅图7，本发明实施例提供的又一种数据缓存装置包括：

确定模块701，用于确定第一文件的列数据中的热点列数据。本实施例中，确定模块701具体包括：

次数确定单元7011，用于确定预置时间段内第一文件的每个列数据的被访问次数；

热点确定单元7012，用于将被访问次数不小于M的列数据确定为热点列数据，所述M为预置正整数。

拼接模块702，用于将热点列数据拼接为第二文件。本实施例中，拼接模块702具体包括：

长度确定单元7021，用于根据第一文件的元数据信息，确定每个热点列数据的数据长度。其中，第一文件包括N个热点列数据，所述N为预置正整数。该元数据信息用于描述分布式文件系统中的文件，第一文件的元数据信息中记录有第一文件的列数据的第一保存路径、数据长度与第一偏移位置，第一偏移位置用于表示第一文件的列数据在第一文件中的偏移位置；

偏移确定单元7022，用于根据每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置，该第二偏移位置用于表示热点列数据在第二文件中的偏移位置，其中，第n个热点列数据的第二偏移位置为前(n-1)个热点列数据的数据长度的和，其中，2≤n≤N；

数据拼接单元7023，用于根据每个热点列数据的第二偏移位置，将N个热点列数据依次拼接起来，得到第二文件。

缓存模块703，用于将第二文件缓存到第一文件的本地节点的内存中，使得热点列数据可以在第一文件的本地节点的内存中被访问。

本实施例提供了一种数据缓存方法，应用在分布式文件系统的集中式缓存技术中，具体的，次数确定单元7011确定预置时间段内第一文件的每个列数据的被访问次数；热点确定单元7012将被访问次数不小于M的列数据确定为热点列数据；长度确定单元7021根据第一文件的元数据信息，确定每个热点列数据的数据长度；偏移确定单元7022根据每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置；数据拼接单元7023根据每个热点列数据的第二偏移位置，将N个热点列数据依次拼接起来，得到第二文件；缓存模块703将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。通过这样的方法，本实施例提供的数据缓存装置可以将第一文件中的热点列数据被拼接为第二文件后缓存到内存中，使得第一文件不需要被全部缓存到内存中，只需要将其中较为热点的列数据缓存到内存中即可。节约了数据节点的内存空间，保证了分布式文件系统内存资源充足。更进一步的，由于本实施例提供的装置可以减少缓存到内存中的数据量，因此系统具有足够的内存来缓存多个副本，若一份文件在多个数据节点的磁盘中有备份，则分布式文件系统可以分别在该多个数据节点上缓存文件副本，使得需要使用该文件的应用可以被分散到多个数据节点上，降低了数据节点的负荷，改善了数据热点问题，提升了分布式文件系统的并发性能，使得系统能够正常的运行大数据应用。

图7所示的实施例对本发明实施例提供的数据缓存装置的拼接模块进行了细化，下面将对缓存模块进行细化，请参阅图8，本发明实施例提供的又一种数据缓存装置包括：

确定模块801，用于确定第一文件的列数据中的热点列数据。本实施例中，确定模块801具体包括：

次数确定单元8011，用于确定预置时间段内第一文件的每个列数据的被访问次数；

热点确定单元8012，用于将被访问次数不小于M的列数据确定为热点列数据，所述M为预置正整数。

拼接模块802，用于将热点列数据拼接为第二文件。本实施例中，拼接模块802具体包括：

长度确定单元8021，用于根据第一文件的元数据信息，确定每个热点列数据的数据长度，其中，第一文件包括N个热点列数据，所述N为预置正整数，该元数据信息用于描述分布式文件系统中的文件，第一文件的元数据信息中记录有第一文件的列数据的第一保存路径、数据长度与第一偏移位置，第一偏移位置用于表示第一文件的列数据在第一文件中的偏移位置；

偏移确定单元8022，用于根据每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置，该第二偏移位置用于表示热点列数据在第二文件中的偏移位置，其中，第n个热点列数据的第二偏移位置为前(n-1)个热点列数据的数据长度的和，其中，2≤n≤N；

数据拼接单元8023，用于根据每个热点列数据的第二偏移位置，将N个热点列数据依次拼接起来，得到第二文件。

缓存模块803，用于将第二文件缓存到第一文件的本地节点的内存中，使得热点列数据可以在第一文件的本地节点的内存中被访问。本实施例中，缓存模块803具体包括：

文件写入单元8031，用于将第二文件写入到第一文件的本地节点的内存中；

信息更新单元8032，用于更新第一文件的元数据信息，使得第一文件的元数据信息中记录的热点列数据的第一保存路径被替换为热点列数据在第二文件中的第二保存路径，且热点列数据的第一偏移位置被替换为第二偏移位置。

本实施例提供了一种数据缓存方法，应用在分布式文件系统的集中式缓存技术中，具体的，次数确定单元8011确定预置时间段内第一文件的每个列数据的被访问次数；热点确定单元8012将被访问次数不小于M的列数据确定为热点列数据；长度确定单元8021根据第一文件的元数据信息，确定每个热点列数据的数据长度；偏移确定单元8022根据每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置；数据拼接单元8023根据每个热点列数据的第二偏移位置，将N个热点列数据依次拼接起来，得到第二文件；文件写入单元8031将第二文件写入到第一文件的本地节点的内存中；信息更新单元8032更新第一文件的元数据信息，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。通过这样的方法，本实施例提供的数据缓存装置可以将第一文件中的热点列数据被拼接为第二文件后缓存到内存中，使得第一文件不需要被全部缓存到内存中，只需要将其中较为热点的列数据缓存到内存中即可。节约了数据节点的内存空间，保证了分布式文件系统内存资源充足。更进一步的，由于本实施例提供的装置可以减少缓存到内存中的数据量，因此系统具有足够的内存来缓存多个副本，若一份文件在多个数据节点的磁盘中有备份，则分布式文件系统可以分别在该多个数据节点上缓存文件副本，使得需要使用该文件的应用可以被分散到多个数据节点上，降低了数据节点的负荷，改善了数据热点问题，提升了分布式文件系统的并发性能，使得系统能够正常的运行大数据应用。

可选的，作为本发明的又一个实施例，图8所示的数据缓存装置还可以包括锁定模块804，用于将第二文件锁定在第一文件的本地节点的内存中。

上面的实施例提供了本发明提供的数据缓存方法的基本结构，下面将以一个具体应用场景为例进行描述。

请参阅图4。分布式系统中的节点A的磁盘中存储有第一文件File_1，File_1中的数据为按列存储的形式，且File_1包括5个列数据，分别为Column_1、Column_2、Column_3、Column_4、和Column_5。次数确定单元8011确定预置时间段30min内File_1的每个列数据的被访问次数，得到Column_1的被访问次数为200次，Column_2的被访问次数为350次，Column_3的被访问次数为140次，Column_4的被访问次数为320次，Column_5的被访问次数为430次。热点确定单元8012将被访问次数不小于300的列数据确定为热点列数据，即将Column_2、Column_4与Column_5确定为热点列数据。

节点A中保存有File_1的元数据信息File_1_MetaData，File_1_MetaData中具体记录了该5个列数据的信息，包括：在File_1中的第一保存路径、数据长度和第一偏移位置，该5个列数据的信息分别记录在Column_1_Metadata、Column_2_Metadata、Column_3_Metadata、Column_4_Metadata和Column_5_Metadata中。长度确定单元8021根据Column_2_Metadata、Column_4_Metadata与Column_5_Metadata，确定Column_2、Column_4与Column_5的数据长度，得到Column_2的数据长度为100，Column_4的数据长度为150，Column_5的数据长度为50。

偏移确定单元8022根据每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置，得到Column_2的第二偏移位置为0、Column_4的第二偏移位置为Column_2的数据长度100，Column_5的第二偏移位置为Column_2与Column_4的数据长度的和，即100+150＝250。

数据拼接单元8023根据每个热点列数据的第二偏移位置，将该3个热点列数据依次拼接起来，得到第二文件File_2。

数据拼接单元8023得到File_2后，文件写入单元8031将File_2写入到节点A的内存中，信息更新单元8032更新File_1_MetaData，具体的，将Column_2_Metadata中记录的Column_2的第一保存路径替换为Column_2在File_2中的第二保存路径，将Column_2_Metadata中记录的Column_2的第一偏移位置替换为Column_2的第二偏移位置；将Column_2_Metadata中记录的Column_2的第一保存路径替换为Column_2在File_2中的第二保存路径，将Column_2_Metadata中记录的Column_2的第一偏移位置替换为Column_2的第二偏移位置；将Column_5_Metadata中记录的Column_5的第一保存路径替换为Column_5在File_2中的第二保存路径，将Column_5_Metadata中记录的Column_5的第一偏移位置替换为Column_5的第二偏移位置。

信息更新单元8032更新了File_1_MetaData后，锁定模块804将File_2锁定在节点A的内存中。

上面从单元化功能实体的角度对本发明实施例中的数据缓存装置进行了描述，下面从硬件处理的角度对本发明实施例中的数据缓存装置进行描述，请参阅图9，本发明实施例中的数据缓存装置900另一实施例包括：

输入装置901、输出装置902、处理器903和存储器904(其中数据缓存装置900中的处理器903的数量可以一个或多个，图9中以一个处理器903为例)。在本发明的一些实施例中，输入装置901、输出装置902、处理器903和存储器904可通过总线或其它方式连接，其中，图9中以通过总线连接为例。

其中，数据缓存装置900适用于分布式文件系统，所述分布式文件系统包括按列存储的第一文件，该第一文件包括不少于一个列数据，通过调用存储器904存储的操作指令，处理器903用于执行如下步骤：

确定第一文件的列数据中的热点列数据；

将所述热点列数据拼接为第二文件；

将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。

本发明的一些实施例中，处理器903还执行如下步骤：

确定预置时间段内所述第一文件的每个列数据的被访问次数；

将被访问次数不小于M的列数据确定为热点列数据，所述M为预置正整数。

本发明的一些实施例中，第一文件包括N个热点列数据，所述N为预置正整数。处理器903还执行如下步骤：

根据所述第一文件的元数据信息，确定每个热点列数据的数据长度，所述元数据信息用于描述所述分布式文件系统中的文件，所述第一文件的元数据信息中记录有所述第一文件的列数据的第一保存路径、数据长度与第一偏移位置，所述第一偏移位置用于表示所述第一文件的列数据在所述第一文件中的偏移位置；

根据所述每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置，所述第二偏移位置用于表示所述热点列数据在所述第二文件中的偏移位置，其中，第n个热点列数据的第二偏移位置为前(n-1)个热点列数据的数据长度的和，其中，2≤n≤N；

根据每个热点列数据的第二偏移位置，将所述N个热点列数据依次拼接起来，得到第二文件。

本发明的一些实施例中，处理器903还执行如下步骤：

将所述第二文件写入到所述第一文件的本地节点的内存中；

更新所述第一文件的元数据信息，使得所述第一文件的元数据信息中记录的热点列数据的第一保存路径被替换为所述热点列数据在第二文件中的第二保存路径，且所述热点列数据的第一偏移位置被替换为所述第二偏移位置。

本发明的一些实施例中，处理器903还执行如下步骤：

将所述第二文件锁定在所述第一文件的本地节点的内存中。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据缓存方法，适用于分布式文件系统，其特征在于，所述分布式文件系统包括按列存储的第一文件，所述第一文件包括不少于一个列数据，所述方法包括：

确定第一文件的列数据中的N个热点列数据；

根据所述第一文件的元数据信息，确定每个热点列数据的数据长度；所述第一文件的元数据信息中记录有所述第一文件的列数据的第一保存路径、数据长度与第一偏移位置，所述第一偏移位置用于表示所述第一文件的列数据在所述第一文件中的偏移位置；

根据所述每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置，所述第二偏移位置用于表示所述热点列数据在第二文件中的偏移位置，其中，第n个热点列数据的第二偏移位置为前(n-1)个热点列数据的数据长度的和，其中，2≤n≤N；

根据每个热点列数据的第二偏移位置，将所述N个热点列数据依次拼接起来，得到第二文件；

将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。

2.根据权利要求1所述的数据缓存方法，其特征在于，所述确定第一文件的列数据中的N个热点列数据包括：

确定预置时间段内所述第一文件的每个列数据的被访问次数；

将被访问次数不小于M的列数据确定为热点列数据，所述M为预置正整数。

3.根据权利要求1所述的数据缓存方法，其特征在于，所述将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问包括：

将所述第二文件写入到所述第一文件的本地节点的内存中；

更新所述第一文件的元数据信息，使得所述第一文件的元数据信息中记录的热点列数据的第一保存路径被替换为所述热点列数据在第二文件中的第二保存路径，且所述热点列数据的第一偏移位置被替换为所述第二偏移位置。

4.根据权利要求1或2所述的数据缓存方法，其特征在于，所述方法还包括：

将所述第二文件锁定在所述第一文件的本地节点的内存中。

5.一种数据缓存装置，适用于分布式文件系统，其特征在于，所述分布式文件系统包括按列存储的第一文件，所述第一文件包括不少于一个列数据，所述装置包括：

确定模块，用于确定第一文件的列数据中的N个热点列数据；

拼接模块，用于将所述热点列数据拼接为第二文件；所述拼接模块包括：长度确定单元，用于根据所述第一文件的元数据信息，确定每个热点列数据的数据长度，所述第一文件的元数据信息中记录有所述第一文件的列数据的第一保存路径、数据长度与第一偏移位置，所述第一偏移位置用于表示所述第一文件的列数据在所述第一文件中的偏移位置；偏移确定单元，用于根据所述每个热点列数据的数据长度，确定每个热点列数据的第二偏移位置，所述第二偏移位置用于表示所述热点列数据在第二文件中的偏移位置，其中，第n个热点列数据的第二偏移位置为前(n-1)个热点列数据的数据长度的和，其中，2≤n≤N；数据拼接单元，用于根据每个热点列数据的第二偏移位置，将所述N个热点列数据依次拼接起来，得到第二文件；

缓存模块，用于将所述第二文件缓存到所述第一文件的本地节点的内存中，使得所述热点列数据可以在所述第一文件的本地节点的内存中被访问。

6.根据权利要求5所述的数据缓存装置，其特征在于，所述确定模块包括：

次数确定单元，用于确定预置时间段内所述第一文件的每个列数据的被访问次数；

热点确定单元，用于将被访问次数不小于M的列数据确定为热点列数据，所述M为预置正整数。

7.根据权利要求5所述的数据缓存装置，其特征在于，所述缓存模块包括：

文件写入单元，用于将所述第二文件写入到所述第一文件的本地节点的内存中；

信息更新单元，用于更新所述第一文件的元数据信息，使得所述第一文件的元数据信息中记录的热点列数据的第一保存路径被替换为所述热点列数据在第二文件中的第二保存路径，且所述热点列数据的第一偏移位置被替换为所述第二偏移位置。

8.根据权利要求5或6所述的数据缓存装置，其特征在于，所述装置还包括：

锁定模块，用于将所述第二文件锁定在所述第一文件的本地节点的内存中。