CN104572845B

CN104572845B - 文件分发方法、装置、设备及系统

Info

Publication number: CN104572845B
Application number: CN201410771023.2A
Authority: CN
Inventors: 胡斌
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2014-12-12
Filing date: 2014-12-12
Publication date: 2019-03-26
Anticipated expiration: 2034-12-12
Also published as: CN104572845A

Abstract

本发明提供了文件分发方法、装置、设备及系统，其中，文件分发方法包括：确定待获取文件的文件标识；以所述文件标识为索引在分布式内存缓存系统中获取文件版本信息；以及以所述文件标识以及所述文件版本信息为索引在本地文件保存系统中获取文件内容；若本地文件保存系统中没有所述文件内容，则从数据库存储系统中获取文件内容。本发明在保证文件一致性同时提高了文件访问性能。

Description

文件分发方法、装置、设备及系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种文件分发方法、装置、设备及系统。

背景技术

在目前的分布式集群中，文件一般存储在网络存储系统中，集群中各设备在需要请求文件时，直接到该网络存储系统中获取，其访问效率较低，尤其在集群中设备数量较大的情况下，该网络存储系统作为集群中的中心存储系统会存在访问性能瓶颈问题。

发明内容

本发明解决的技术问题之一是提供一种文件分发方法、装置、设备及系统，提高系统访问性能的同时保存存储的一致性。

根据本发明一方面的一个实施例，提供了一种文件分发方法，包括：

确定待获取文件的文件标识；

以所述文件标识为索引在分布式内存缓存系统中获取文件版本信息；以及

以所述文件标识以及所述文件版本信息为索引在本地文件保存系统中获取文件内容；

若本地文件保存系统中没有所述文件内容，则从数据库存储系统中获取文件内容。

可选地，所述文件版本信息包括以下任一项：

文件更新时间信息、文件签名信息。

可选地，还包括：

若所述分布式内存缓存系统中没有所述文件版本信息，则从数据库存储系统中获取文件版本信息。

可选地，从数据库存储系统中获取所述文件版本信息后，所述方法还包括：

将从数据库存储系统中获取的所述文件版本信息以所述文件标识为索引保存到所述分布式内存缓存系统中。

可选地，从数据库存储系统中获取所述文件内容后，所述方法还包括：

将从数据库存储系统中获取的所述文件内容以所述文件标识为索引保存到所述本地文件保存系统中。

根据本发明另一方面的一个实施例，提供了一种文件分发装置，包括：

用于确定待获取文件的文件标识的单元；

用于以所述文件标识为索引在分布式内存缓存系统中获取文件版本信息的单元；以及

用于以所述文件标识以及所述文件版本信息为索引在本地文件保存系统中获取文件内容的单元；

用于若本地文件保存系统中没有所述文件内容，则从数据库存储系统中获取文件内容的单元。

可选地，所述文件版本信息包括以下任一项：

文件更新时间信息、文件签名信息。

可选地，用于以所述文件标识在分布式内存缓存系统中获取文件版本信息的单元还用于：

可选地，还包括：

用于将从数据库存储系统中获取的所述文件版本信息以所述文件标识为索引保存到所述分布式内存缓存系统中的单元。

可选地，还包括：

用于将从数据库存储系统中获取的所述文件内容以所述文件标识为索引保存到所述本地文件保存系统中的单元。

根据本发明的另一方面的一个实施例，还提供了一种计算机设备，包括前述文件分发装置。

根据本发明另一方面的一个实施例，提供了一种分布式内存缓存系统，包括：

用于接收文件标识的装置；

用于存储文件版本信息的装置；

用于以所接收的文件标识为索引在所述用于存储文件版本信息的装置中检索并提供对应所接收文件标识的文件版本信息的装置；

用于将所存储的文件版本信息与用来存储文件内容的数据库存储系统中的对应文件版本信息进行比较的装置；以及

用于当所存储的文件版本信息与所述数据库存储系统中的文件版本信息不一致时更新所述存储的文件版本信息的装置。

可选地，所述文件版本信息包括以下任一项：

文件更新时间信息、文件签名信息。

本实施例在分布式内存缓存系统中获取文件版本信息，以及在本地文件保存系统中获取文件内容，并在本地文件保存系统中没有所述文件内容情况下，可以从数据库存储系统中获取文件内容，该文件分发方法利用本地文件保存系统、分布式内存缓存系统以及数据库存储系统各自的性能优势，既提高了分布式集群中文件的访问性能，又保证了文件的同步性。

本领域普通技术人员将了解，虽然下面的详细说明将参考图示实施例、附图进行，但本发明并不仅限于这些实施例。而是，本发明的范围是广泛的，且意在仅通过后附的权利要求限定本发明的范围。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是根据本发明一个实施例的文件分发方法的流程图。

图2是根据本发明一个实施例的文件分发装置结构示意图。

图3是根据本发明另一个实施例文件分发装置结构示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

由于现有技术中将文件存储于网络存储系统中，其存在访问性能瓶颈问题。因此，本实施例在将文件存储于数据库存储系统的同时，将集群中各设备的文件内容存储于各自的本地文件保存系统中，并且本地文件保存系统(例如用户终端)计算各自本地所存储文件的版本信息，然后将文件版本信息保存到分布式内存缓存系统中。所述版本信息可以包括该版本文件在本地文件保存系统的存储位置。各设备在需要请求文件时，可直接到分布式内存缓存系统中获取文件版本信息，基于所获取的文件版本信息确定本地文件保存系统保存的该文件的位置，以及到本地文件保存系统中获取文件内容，以有效提高访问性能。下面先介绍一下本申请实施例的文件创建以及修改方法。

本申请在创建一个文件时，以文件标识为索引将文件内容以及文件版本信息保存到数据库存储系统中。

在修改(即更新)一个文件时，以文件标识为索引查找到数据库存储系统中对应的文件内容以及文件版本信息，并对该文件内容和文件版本信息进行修改，同时，删除分布式内存缓存系统中该文件标识对应的文件版本信息；或者同时更新分布式内存缓存系统中该文件标识对应的文件版本信息。

本申请实施例中所述的数据库存储系统、分布式内存缓存系统以及本地文件保存系统分别具有如下特性。

数据库存储系统：其可以为MySQL(关系型数据库管理系统)，特点为能分布式部署和访问，保证存储的一致性，该数据库存储系统用于存储分布式集群中所有设备的文件内容以及文件版本信息，具体的，以文件标识为索引保存各文件内容以及文件版本信息。

分布式内存缓存系统，其可以为Memcached(一种分布式内存对象缓存系统)，特点是能分布式部署和访问，并提供极高的访问性能。该分布式内存缓存系统用于存储分布式集群各设备的文件版本信息，具体的以文件标识为索引保存各文件版本信息，该分布式内存缓存系统中保存的文件版本信息与数据库存储系统中保存的对应文件(对应同一文件标识)的版本信息一致。

本地文件保存系统，即本地磁盘，特点是只能本机访问，访问性能较高，对一个设备来说，访问本地文件保存系统没有性能瓶颈，即使存在瓶颈也可以通过简单扩容来解决。该本地文件保存系统用于保存本设备的文件内容以及文件版本信息。

下面结合附图对本发明的文件分发操作进一步详细描述。

图1是根据本发明一个实施例的文件分发方法的流程图。本发明中的方法主要通过计算机设备中的操作系统或处理控制器来完成。将操作系统或处理控制器称为文件分发装置。该计算机设备包括但不限于以下中的至少一个：用户设备、网络设备。用户设备包括但不限于计算机、智能手机、PDA等。网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。

如图1中所示，本实施例的文件分发方法主要包括如下步骤：

S100、确定待获取文件的文件标识；

当集群中一台设备需要请求一个文件时，该设备会首先确定待获取文件的文件标识，本实施例对该文件标识的形式不做具体限定，其可以为文字形式的文件名称，也可以为数字或字母形式的文件编码等等。

S110、以所述文件标识为索引在分布式内存缓存系统中获取文件版本信息；

本实施例中，在请求文件版本信息时，直接以文件标识为索引到分布式内存缓存系统中获取，该分布式内存缓存系统具有较高的访问性能，可用于保存内容较小的文件版本信息。

其中，该文件版本信息可以为文件的使用版本，也可以为以下信息中的任一种：

文件更新时间信息、文件签名信息。

所述文件更新时间信息，即，更新文件的时间；

所述文件签名信息，即，根据文件内容确定的文件签名，例如，根据文件内容计算的MD5(Message Digest Algorithm，消息摘要算法第五版)值。

若分布式内存缓存系统中保存有与该文件标识对应的文件版本信息，则直接从该分布式内存缓存系统中获取该文件版本信息。

若分布式内存缓存系统中没有保存与该文件标识对应的文件版本信息，则到数据库存储系统中获取与该文件标识对应的文件版本信息，具体的，以该文件标识为索引在数据库存储系统中获取对应的文件版本信息。

例如，对于新创建的文件，在分布式内存缓存系统中不会保存对应的文件版本信息，则需要到数据库存储系统中获取；又例如，在该文件标识对应的文件内容以及文件版本信息在数据库存储系统中被修改情况下，分布式内存缓存系统中与该文件标识对应的文件版本信息有可能被删除，因此，此种情况下分布式内存缓存系统中也不会保存与该文件标识对应的文件版本信息，同样需要到数据库存储系统中获取。

在从数据库存储系统中获取的文件版本信息后，将从数据库存储系统中获取的文件版本信息保存到该分布式内存缓存系统中，具体的，以该文件标识为索引保存该文件版本信息，通过该操作可实现将数据库存储系统中的文件版本信息同步到分布式内存缓存系统中来，且保证数据库存储系统与分布式内存缓存系统中保存的同一文件标识对应的文件版本信息完全一致。后续可以在该分布式内存缓存系统中请求到该文件标识对应的文件版本信息，而不需到数据库存储系统中获取该文件版本信息。

S120、以所述文件标识以及所述文件版本信息为索引在本地文件保存系统中获取文件内容；

在获取到文件标识对应的文件版本信息后，进一步在本地文件保存系统中获取该文件标识以及文件版本信息对应的文件内容，具体的，以所述文件标识以及所述文件版本信息为索引在本地文件保存系统中获取文件内容，该本地文件保存系统具有较高的访问性能。

若本地文件保存系统中保存有与该文件标识对应的文件内容，则直接从该本地文件保存系统中获取该文件内容，并结束操作，否则进入步骤S130。

S130、若本地文件保存系统中没有所述文件内容，则从数据库存储系统中获取文件内容。

本实施例中，对于新创建的文件，其只存储于数据库存储系统中，本地文件保存系统中不会存在该文件内容，此时，需要以该文件标识和文件版本信息为索引到数据库存储系统中获取对应的文件内容。

同样，在该文件标识对应的文件内容以及文件版本信息在数据库存储系统中被修改情况下，该本地文件保存系统中保存的文件版本信息会与数据库存储系统中保存的文件版本信息不一致，此时，以文件标识以及文件版本信息为所以在本地文件保存系统中获取文件内容时，会查找不到对应的内容，因此，此时也需要到数据库存储系统中获取文件内容。

另外，本实施例在从数据库存储系统中获取所述文件内容后，将从数据库存储系统中获取的所述文件内容保存到本地文件保存系统中，后续在获取该文件标识以及文件版本信息对应的文件内容时，可直接从本地文件保存系统中获取到，不需要到数据库存储系统中获取，保证了后续文件访问性能，同时实现了将数据库存储系统中保存的文件内容同步到本地文件保存系统中来。

本实施例从高访问性能的分布式内存缓存系统来获取内容较小的“文件版本信息”，在小概率没有命中的情况下，从能保证一致性的数据库存储系统中获取文件版本信息，并将获取的文件版本信息更新的分布式内存缓存系统，以保证下次命中。以及

从本地文件保存系统获取内容较大的文件内容，在小概率没有命中的情况下，从能保证一致性的数据库存储系统中获取，并将获取后的文件内容同步到本地文件保存系统，以保证下次命中。

本实施例所述的文件分发方法利用本地文件保存系统、分布式内存缓存系统以及数据库存储系统各自的性能优势，既提高了分布式集群中文件的访问性能，又保证了文件的同步性。

上面所述为本实施例的文件分发方法，基于上述方法同样的思路，本实施例还提供一种文件分发装置，如图2中所示为所述装置结构示意图，该装置主要包括：

用于确定待获取文件的文件标识的单元200，以下简称文件标识确定单元200；

当集群中一台设备需要请求一个文件时，该设备的文件标识确定单元200会首先确定待获取文件的文件标识，本实施例对该文件标识的形式不做具体限定，其可以为文字形式的文件名称，也可以为数字或字母形式的文件编码等等。

用于以所述文件标识为索引在分布式内存缓存系统中获取文件版本信息的单元210，以下简称文件版本信息获取单元210；

本实施例中，在请求文件版本信息时，文件版本信息获取单元210直接以文件标识为索引到分布式内存缓存系统中获取，该分布式内存缓存系统具有较高的访问性能，可用于保存内容较小的文件版本信息。

文件更新时间信息、文件签名信息。

所述文件更新时间信息，即，更新文件的时间；

若分布式内存缓存系统中保存有与该文件标识对应的文件版本信息，则文件版本信息获取单元210直接从该分布式内存缓存系统中获取该文件版本信息。

若分布式内存缓存系统中没有保存与该文件标识对应的文件版本信息，则文件版本信息获取单元210还用于到数据库存储系统中获取与该文件标识对应的文件版本信息，具体的，以该文件标识为索引在数据库存储系统中获取对应的文件版本信息。

例如，对于新创建的文件，在分布式内存缓存系统中不会保存对应的文件版本信息，则文件版本信息获取单元210需要到数据库存储系统中获取；又例如，在该文件标识对应的文件内容以及文件版本信息在数据库存储系统中被修改情况下，分布式内存缓存系统中与该文件标识对应的文件版本信息有可能被删除，因此，此种情况下分布式内存缓存系统中也不会保存与该文件标识对应的文件版本信息，文件版本信息获取单元210同样需要到数据库存储系统中获取。

用于以所述文件标识以及所述文件版本信息为索引在本地文件保存系统中获取文件内容的单元220，以下简称第一文件内容获取单元220；以及

用于若本地文件保存系统中没有所述文件内容，则从数据库存储系统中获取文件内容的单元230，以下简称第二文件内容获取单元230。

在文件版本信息获取单元210获取到文件标识对应的文件版本信息后，进一步由第一文件内容获取单元220在本地文件保存系统中获取该文件标识以及文件版本信息对应的文件内容，具体的，以所述文件标识以及所述文件版本信息为索引在本地文件保存系统中获取文件内容，该本地文件保存系统具有较高的访问性能。

若本地文件保存系统中保存有与该文件标识对应的文件内容，则第一文件内容获取单元220直接从该本地文件保存系统中获取该文件内容，并结束操作，否则由第二文件内容获取单元230从数据库存储系统中获取文件内容。例如，在第一文件内容获取单元220在本地文件保存系统获取所述文件标识以及文件版本信息对应的文件内容失败情况下，通知第二文件内容获取单元230，触发该第二文件内容获取单元230从数据库存储系统中获取对应的文件内容。

本实施例中，对于新创建的文件，其只存储于数据库存储系统中，本地文件保存系统中不会存在该文件内容，此时，第二文件内容获取单元230需要以该文件标识和文件版本信息为索引到数据库存储系统中获取对应的文件内容。

同样，在该文件标识对应的文件内容以及文件版本信息在数据库存储系统中被修改情况下，该本地文件保存系统中保存的文件版本信息会与数据库存储系统中保存的文件版本信息不一致，此时，以文件标识以及文件版本信息为所以在本地文件保存系统中获取文件内容时，会查找不到对应的内容，因此，此时也需要第二文件内容获取单元230到数据库存储系统中获取文件内容。

如图3中所示，为本申请文件分发装置另一实施例结构示意图，该装置还可包括：

用于将从数据库存储系统中获取的所述文件版本信息以所述文件标识为索引保存到所述分布式内存缓存系统中的单元240，以下简称文件版本信息更新单元240；以及

用于将从数据库存储系统中获取的所述文件内容以所述文件标识为索引保存到所述本地文件保存系统中的单元250，以下简称文件内容更新单元250。

本实施例在文件版本信息获取单元210从数据库存储系统中获取的文件版本信息后，由文件版本信息更新单元240将从数据库存储系统中获取的文件版本信息保存到该分布式内存缓存系统中，具体的，以该文件标识为索引保存该文件版本信息，通过该操作可实现将数据库存储系统中的文件版本信息同步到分布式内存缓存系统中来，且保证数据库存储系统与分布式内存缓存系统中保存的同一文件标识对应的文件版本信息完全一致。后续可以在该分布式内存缓存系统中请求到该文件标识对应的文件版本信息，而不需到数据库存储系统中获取该文件版本信息。

同样，在第二文件内容获取单元230从数据库存储系统中获取所述文件内容后，由文件内容更新单元250将从数据库存储系统中获取的所述文件内容保存到本地文件保存系统中，后续在获取该文件标识以及文件版本信息对应的文件内容时，可直接从本地文件保存系统中获取到，不需要到数据库存储系统中获取，保证了后续文件访问性能，同时实现了将数据库存储系统中保存的文件内容同步到本地文件保存系统中来。

本实施例所述的文件分发装置利用本地文件保存系统、分布式内存缓存系统以及数据库存储系统各自的性能优势，既提高了分布式集群中文件的访问性能，又保证了文件的同步性。

本申请实施例还提供一种分布式内存缓存系统，包括：

用于接收文件标识的装置，以下简称文件标识接收装置；

当集群中一台设备需要请求一个文件时，该设备会首先确定待获取文件的文件标识并向分布式内存缓存系统发送文件标识，即，向分布式内存缓存系统发送携带文件标识的文件版本信息请求，由分布式内存缓存系统中的文件标识接收装置接收该文件标识。本实施例对该文件标识的形式不做具体限定，其可以为文字形式的文件名称，也可以为数字或字母形式的文件编码等等。

用于存储文件版本信息的装置，以下简称文件版本信息存储装置。所述文件版本信息包括以下任一项：文件更新时间信息、文件签名信息。

用于以所接收的文件标识为索引在所述用于存储文件版本信息的装置中检索并提供对应所接收文件标识的文件版本信息的装置。

用于将所存储的文件版本信息与用来存储文件内容的数据库存储系统中的对应文件版本信息进行比较的装置，以下简称文件版本信息比较装置；为保证该分布式内存缓存系统中保存的文件版本信息与数据库存储系统中保存的同一文件标识对应的文件版本信息一致，该文件版本信息比较装置会定时或实时向数据库存储系统请求同一文件标识对应的文件版本信息，并与文件版本信息存储装置中保存的文件版本信息行比较。

以及

用于当所存储的文件版本信息与所述数据库存储系统中的文件版本信息不一致时更新所述存储的文件版本信息的装置，以下简称文件版本信息更新装置，该装置可以在文件版本信息比较装置比较结果为同一文件标识对应的文件版本信息不一致情况下，更新文件版本信息存储装置中存储的文件版本信息，由于数据库存储系统中保存的文件版本信息一定是最新的文件版本信息，因此该文件版本信息更新装置的更新操作，具体的是将从数据库存储系统中获取的文件版本信息替换掉文件版本信息存储装置中存储的对应文件标识的文件版本信息。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims

1.一种文件分发方法，其中，包括：

确定待获取文件的文件标识；

以所述文件标识为索引在分布式内存缓存系统中获取文件版本信息，所述版本信息包括所述文件标识对应的文件在本地文件保存系统的存储位置；以及

2.根据权利要求1所述的方法，其中所述文件版本信息还包括以下任一项：

文件更新时间信息、文件签名信息。

3.根据权利要求1所述的方法，其中还包括：

4.根据权利要求3所述的方法，其中从数据库存储系统中获取所述文件版本信息后，所述方法还包括：

5.根据权利要求1所述的方法，其中从数据库存储系统中获取所述文件内容后，所述方法还包括：

6.一种文件分发装置，包括：

用于确定待获取文件的文件标识的单元；

用于以所述文件标识为索引在分布式内存缓存系统中获取文件版本信息，所述版本信息包括所述文件标识对应的文件在本地文件保存系统的存储位置的单元；以及

7.根据权利要求6所述的装置，其中所述文件版本信息包括以下任一项：

文件更新时间信息、文件签名信息。

8.根据权利要求6所述的装置，其中，用于以所述文件标识在分布式内存缓存系统中获取文件版本信息的单元还用于：

9.根据权利要求8所述的装置，其中还包括：

10.根据权利要求6所述的装置，其中还包括：

11.一种计算机设备，包括根据权利要求6-10中任一个的文件分发装置。

12.一种分布式内存缓存系统，其中，包括：

用于接收文件标识的装置；

用于存储文件版本信息，所述版本信息包括所述文件标识对应的文件在本地文件保存系统的存储位置的装置；

13.根据权利要求12所述的系统，其中所述文件版本信息包括以下任一项：

文件更新时间信息、文件签名信息。