CN104731827A - 快速分布式文件系统文件元数据的生成方法及装置 - Google Patents

Abstract

本发明公开了一种快速分布式文件系统文件元数据的生成方法及装置，包括：在快速分布式文件系统中同一组下任意存储节点配置用于文件同步的rsync命令；执行所述rsync命令，将所述存储节点存储的变更日志文件同步至Oracle数据库；利用所述Oracle数据库中的外部表特性将所述变更日志文件创建为外部表对象，生成所述快速分布式文件系统文件元数据，采用本发明，可以准确的生成FastDFS（快速分布式文件系统）的文件元数据，并且通过Oracle的外部表特性，实现对FastDFS分布式存储系统元数据的分析，其具有部署简单，操作方便，适用场景广泛，对业务层完全透明等特性。

Description

快速分布式文件系统文件元数据的生成方法及装置

技术领域

本发明涉及数据处理技术，尤其涉及一种快速分布式文件系统文件元数据的生成方法及装置。

背景技术

FastDFS（Fast Distributed File System，快速分布式文件系统）是一款轻量级的分布式文件存储系统，其为了实现轻量和高效，规定对文件的操作必须通过其提供的专用API（Application Programming Interface,应用程序编程接口）实现，目前其仅支持文件的存储、访问、节点间同步等少量必备的功能，而未提供文件元数据的管理。因此，若想获取当前FastDFS中已保存哪些文件，官方并未提供相应的方法，而本领域技术人员容易想到的方式是直接登录到存储节点，借助操作系统层的命令获取，但是这种方式必须要登录到FastDFS存储节点，现实场景中基本不存在这种设定，通常都是由应用层通过指定API获取相关信息。若希望在应用层获取FastDFS中保存的文件系统，根据目前可检索到的信息，暂无公开的解决方案。若要实现类似需求，最传统的方案，即由业务层应用端记录所有向FastDFS存储层的写入和删除操作，相当于由业务应用程序记录自己的写入日志等行为，以此来维护FastDFS存储系统的元数据。这种方式的缺点主要表现在下列几个方面：业务层应用需要额外逻辑记录操作行为，增加开发工作量；业务层应用只能收集他自己产生的信息，一方面资源利用率低，另一方面准确性难以保证；若同时有多个应用连接读写FastDFS存储层，则操作行为需要设计的较为复杂，即便如此，一旦出现漏记情况，则应用端的元数据就失去了参照性；需要对使用FastDFS的每一套应用进行针对性开发，适用场景较窄。

发明内容

有鉴于此，本发明提供了一种快速分布式文件系统（即FastDFS）文件元数据的生成方法及装置，可以准确的获取FastDFS中保存的文件列表。

本发明提供了一种快速分布式文件系统文件元数据的生成方法，包括：

在快速分布式文件系统中同一组下任意存储节点配置用于文件同步的rsync命令；

执行所述rsync命令，将所述存储节点存储的变更日志文件同步至Oracle数据库；

利用所述Oracle数据库中的外部表特性将所述变更日志文件创建为外部表对象，生成所述快速分布式文件系统文件元数据。

优选的，所述在快速分布式文件系统中同一组下任意存储节点配置用于文件同步的rsync命令包括：

在快速分布式文件系统中同一组下任意存储节点，使用rsync命令创建用于将变更日志文件同步至Oracle数据库的同步命令，并将所述同步命令直接设置在crontab命令中以执行，并在所述crontab命令中设置执行时间间隔。

优选的，所述在快速分布式文件系统中同一组下任意存储节点配置用于文件同步的rsync命令包括：

在快速分布式文件系统中同一组下任意存储节点，使用rsync命令创建用于将变更日志文件同步至Oracle数据库的同步命令，将所述创建的同步命令保存至脚本文件中，将所述脚本文件在crontab命令中执行，并在所述crontab命令中设置执行时间间隔。

优选的，所述利用Oracle数据库中的外部表特性将所述变更日志文件创建为外部表对象包括：

创建指向同步至的变更日志文件所在目录的目录对象，并为用户授予对目录对象的读写权限；

根据所述创建的目录对象加载变更日志文件，并根据Oracle数据库中的外部表特性的创建规则将所述变更日志文件创建为外部表对象。

优选的，所述生成所述快速分布式文件系统文件元数据之后，还包括：接收并响应基于结构化查询语句SQL的外部表查询请求，所述外部表查询请求用于请求查询外部表中文件列表和/或文件的创建时间。

本发明提供了一种快速分布式文件系统文件元数据的生成装置，包括：

配置模块，用于在快速分布式文件系统中同一组下任意存储节点配置用于文件同步的rsync命令；

同步模块，用于执行所述rsync命令，将所述存储节点存储的变更日志文件同步至Oracle数据库；

外部表创建模块，用于利用所述Oracle数据库中的外部表特性将所述变更日志文件创建为外部表对象，生成所述快速分布式文件系统的文件元数据。

优选的，所述配置模块，具体用于在快速分布式文件系统中同一组下任意存储节点，使用rsync命令创建用于将变更日志文件同步至Oracle数据库的同步命令，并将所述同步命令直接设置在crontab命令中以执行，并在所述crontab命令中设置执行时间间隔。

优选的，所述配置模块，具体用于在快速分布式文件系统中同一组下任意存储节点，使用rsync命令创建用于将变更日志文件同步至Oracle数据库的同步命令，将所述创建的同步命令保存至脚本文件中，将所述脚本文件在crontab命令中执行，并在所述crontab命令中设置执行时间间隔。

优选的，所述外部表创建模块包括：

创建目录和授权单元，用于创建指向同步至的变更日志文件所在目录的目录对象，将创建的目录对象的读写权限授予指定的用户；

处理单元，用于根据所述创建的目录对象加载变更日志文件，并根据Oracle数据库中的外部表特性的创建规则将所述变更日志文件创建为外部表对象。

优选的，还包括：

接收和响应模块，用于接收并响应基于结构化查询语句SQL的外部表查询请求，所述外部表查询请求用于请求查询外部表中文件列表和/或文件的创建时间。

本发明的有益效果：

本发明实施例首先意识到FastDFS在操作文件时会将对文件的修改操作的相关信息记录在变更日志文件中，而其修改方式只有创建和删除，因此从变更日志文件中排除已删除的文件记录及其对应的创建记录，就可以得到FastDFS中实际保存的文件列表，就可以准确的获取FastDFS中保存的文件列表；鉴于此，本发明实施例选择采用Oracle数据库中的外部表特性将变更日志文件创建为外部表对象，从而准确的生成FastDFS文件元数据，由于在创建外部表时需要获取变更日志文件，因此本发明实施例选择采用rsync命令将变更日志文件同步至Oracle数据库；另外，由于FastDFS中同一组下各存储节点的变更日志文件均相同，因此本发明实施例在FastDFS中同一组下任意存储节点配置rsync命令即可。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1是本发明提供的FastDFS文件元数据的生成方法的实施例的流程示意图。

图2是利用Oracle外部表分析FastDFS日志生成文件元数据的处理流程图。

图3是本发明提供的FastDFS文件元数据的生成装置的实施例的结构示意图。

具体实施方式

FastDFS是一种轻量级的分布式存储系统，客户端连接时只需要连接任意一个存储节点，由存储节点负责将读写的文件，同步到集群中其它节点中，为了实现这一点，FastDFS在操作文件时将相关信息记录到日志中，该日志文件命名规则为binlog.[num]，这里面就记录了所有的文件修改操作，通过分析FastDFS的原理，其文件修改行为只有两种：即C(对应创建)和D(对应删除)。因此，分析FastDFS日志中记录的信息，排除已删除的文件记录及其对应的创建记录，就可以得到FastDFS中实际保存的文件列表。

但是，业务层应用直接处理FastDFS日志，还面临几个实际困难：第一、分析日志需要单独编码，需要一定的开发工作量；第二、分析的日志需要从FastDFS存储节点传输到业务层应用本地，但通常业务层应用都有多套，这可能涉及到FastDFS日志多次复制的成本开销；第三、传输日志采用什么样的策略也很重要，最好能够自动进行；第四、考虑到文件读写频繁的话，FastDFS日志文件体积不小，对其分析时的性能指标也很重要。

鉴于此，为了解决以上技术问题，本发明提供了如下的技术方案。

请参考图1，是本发明提供的FastDFS文件元数据的生成方法的实施例的流程示意图，其包括如下步骤：

步骤S11、在FastDFS中同一组下任意存储节点配置用于文件同步的rsync命令；

步骤S12、执行rsync命令，将存储节点存储的变更日志文件同步至Oracle数据库。

步骤S13、利用Oracle数据库中的外部表特性将变更日志文件创建为外部表对象，从而生成FastDFS的文件元数据。

其中，由于FastDFS的变更日志文件保存在各存储节点，尽管存储节点会有多个，但相同Group（组）下每个存储节点中的变更日志内容是完全相同的，因此在步骤S11中对于一个组只需要从任意一个存储节点中获取该变更日志文件；当然若同时涉及多个组，也只需要分别从每个组中选择一个存储节点，从中获取变更日志文件。

其中，步骤S11选择采用linux（本领域技术人员熟知的一种开源和自由的类Unix操作系统）下的rsync（remote sync，一种数据镜象备份工具命令，其使用方法为本领域技术人员熟知）命令实现存储节点存储的变更日志文件自动至Oracle（甲骨文）数据库的同步；另外，为了实现定时自动同步，还通过crontab（常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令）命令触发同步操作按照设置的时间间隔执行。

具体的，步骤S11一种实现方式是：在FastDFS中同一组下任意存储节点，使用rsync命令创建用于将变更日志文件同步至Oracle数据库的同步命令，并将同步命令直接设置在crontab命令中以执行，并在crontab命令中设置执行时间间隔，例如执行时间间隔为8分钟、10分钟或15分钟。

具体的，步骤S11另一种实现方式是：在快速分布式文件系统中同一组下任意存储节点，使用rsync命令创建用于将变更日志文件同步至Oracle数据库的同步命令，将创建的同步命令保存至脚本文件中，将脚本文件在crontab命令中执行，并在crontab命令中设置执行时间间隔，例如执行时间间隔为8分钟、10分钟或15分钟。

下面再举一例对步骤S11进行说明。

1、使用rsync命令，将变更日志文件推送到Oracle服务器，其代码如下：

#/usr/bin/rsync-vzrtopg--progress/data/fastdfs/data/sync/binlog.*

junsansi@192.168.1.32::fastdfs_binlog--password-file=/etc/rsync.jss

2、创建自动任务，使同步脚本能够自动执行，执行crontab-e命令，将上述执行的命令保存在crontab中，设置每10分钟同步一次，其代码如下：

#crontab-e

*/10****/usr/bin/rsync-vzrtopg--progress/data/fastdfs/data/sync/binlog.*

junsansi@192.168.1.32::fastdfs_binlog--password-file=/etc/rsync.jss

或者，也可以将rsync命令保存在脚本文件中，而后在crontab中执行脚本文件。

其中，步骤S13创建的外部表的过程主要包括：创建指向同步至的变更日志文件所在目录的目录对象，并为用户授予对目录对象的读写权限；根据创建的目录对象加载变更日志文件，并根据Oracle数据库中的外部表特性的创建规则将变更日志文件创建为外部表对象。以上是典型的创建Oracle外部表的过程，其为本领域技术人员所熟知，尤其是外部表特性的创建规则和具体语法等。下面结合本发明的具体内容介绍该部分内容。

Oracle的外部表有两个部分，一部分是表定义，这部分与常规的表对象几乎完全相同，例如：

另一部分是指定读取的数据源相关参数，即指定“外部”的信息，这又包括三个需定义的子项,即外部文件所在路径；外部文件的文件名，如果有多个，相互之间以逗号分隔；和外部文件中的记录，对应到表对象的结构定义。基于这三个因素，与“外部”信息相关的语句示例如下：

#固定语法，指定要创建的表对象类型为external，即外部表

外部表所在路径在Oracle中也是做为对象存在，即DIRECTORY对象，需要预先创建好，创建语句如下：

#固定语法，创建DIRECTORY对象

CREATE DIRECTORY FDFS_EXTTABLE1AS'/data/oracle/camer/group1';

#将刚刚创建的DIRECTORY对象的读写权限，授予指定用户

grant read,write on directory FDFS_EXTTABLE1to user;

创建好DRIECTORY对象后，就可以按照上面说明的两个部分，组合创建外部表对象：

以上创建外部表后，应用层可以采用SQL（Structured Query Language，结构化查询语句）获取数据。具体的，对于查询操作来说，外部表在使用时，与普通表完全相同，因此对于应用层来说，要获取这部分数据就很简单了，传统的SQL技巧均可应用，比如：

若需要获取FastDFS中当前存储的文件列表及创建时间，则执行下列SQL语句即可：

而后应用层基于这个对象，根据实际应用需求来设计相应的模块功能。

请参考图2，是利用Oracle外部表分析FastDFS日志生成文件元数据的处理流程图，其主要包括：

在FastDFS存储节点：配置FastDFS GROUP，然后利用rsync同步binlog.xxx至Oracle，并配置crontab自动同步，设置时间间隔为10分钟。

在Oracle数据库：在Oracle中创建DIRECTORY对象指向同步文件的目录，然后创建外部表对象。

在业务层：查询外部表对象。

本实施例，将该变更日志文件同步至Oracle数据库中，然后利用Oracle数据库的外部表特性将其创建为外部表对象，从而准确的生成FastDFS的文件元数据，并且通过Oracle的外部表特性，实现对FastDFS分布式存储系统元数据的分析，部署简单，操作方便，适用场景广泛，对业务层完全透明。

请参考图3，是本发明提供的FastDFS文件元数据的生成装置的实施例的结构示意图，其对应于前述的方法流程，具体包括：

配置模块1，用于在FastDFS中同一组下任意存储节点配置用于文件同步的rsync命令。

同步模块2，用于将FastDFS中的存储节点存储的变更日志文件同步至Oracle数据库。

外部表创建模块3，用于利用Oracle数据库中的外部表特性将所述同步至的变更日志文件创建为外部表对象，从而生成FastDFS的文件元数据。

其中，由于FastDFS的变更日志文件保存在各存储节点，尽管存储节点会有多个，但相同Group（组）下每个存储节点中的变更日志内容是完全相同的，因此在配置模块1对于一个组只需要在任意一个存储节点配置rsync命令以获取变更日志文件；当然若同时涉及多个组，也只需要分别从每个组中选择一个存储节点，配置rsync命令。

其中，配置模块1选择采用linux（本领域技术人员熟知的一种开源和自由的类Unix操作系统）下的rsync（remote sync，一种数据镜象备份工具命令，其使用依法为本领域技术人员熟知）命令实现存储节点位置的变更日志文件自动至Oracle（甲骨文）数据库的同步的命令配置；另外，为了实现定时自动同步，还通过crontab（常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令）命令触发同步操作按照设置的时间间隔执行。

具体的，配置模块1在一种实现方式是具体用于在FastDFS中同一组下任意存储节点，使用rsync命令创建用于将变更日志文件同步至Oracle数据库的同步命令，并将同步命令直接设置在crontab命令中以执行，并在crontab命令中设置执行时间间隔，例如执行时间间隔为8分钟、10分钟或15分钟。

具体的，配置模块1在一种实现方式是具体用于在快速分布式文件系统中同一组下任意存储节点，使用rsync命令创建用于将变更日志文件同步至Oracle数据库的同步命令，将创建的同步命令保存至脚本文件中，将脚本文件在crontab命令中执行，并在crontab命令中设置执行时间间隔，例如执行时间间隔为8分钟、10分钟或15分钟。

其中，外部表创建模块3包括：创建目录和授权单元31，用于创建指向同步至的变更日志文件所在目录的目录对象，并为用户授予对目录对象的读写权限；和处理单元32，用于根据所述创建的目录对象加载变更日志文件，并根据Oracle数据库中的外部表特性的创建规则将所述变更日志文件创建为外部表对象。外部表创建模块3创建外部的过程对于本领域技术人员而言已十分熟悉，在此不赘述。

除此之外，FastDFS文件元数据的生成装置还包括：接收和响应模块，用于接收并响应基于结构化查询语句SQL的外部表查询请求，所述外部表查询请求用于请求查询外部表中文件列表和/或文件的创建时间。应用层可以采用SQL（Structured Query Language，结构化查询语句）获取数据。具体的，对于查询操作来说，外部表在使用时，与普通表完全相同，因此对于应用层来说，要获取这部分数据就很简单了，传统的SQL技巧均可应用，比如：

若需要获取FastDFS中当前存储的文件列表及创建时间，则执行下列SQL语句即可：

而后应用层基于这个对象，根据实际应用需求来设计相应的模块功能。

本实施例，采用rsync命令将变更日志文件同步至Oracle数据库，然后利用Oracle数据库的外部表特性将其创建为外部表对象，从而准确的生成FastDFS的文件元数据，并且通过Oracle的外部表特性，实现对FastDFS分布式存储系统元数据的分析，其具有部署简单，操作方便，适用场景广泛，对业务层完全透明等特性。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种快速分布式文件系统文件元数据的生成方法，其特征在于：包括：

在快速分布式文件系统中同一组下任意存储节点配置用于文件同步的rsync命令；

执行所述rsync命令，将所述存储节点存储的变更日志文件同步至Oracle数据库；

利用所述Oracle数据库中的外部表特性将所述变更日志文件创建为外部表对象，生成所述快速分布式文件系统文件元数据。

2.如权利要求1所述的快速分布式文件系统文件元数据的生成方法，其特征在于：所述在快速分布式文件系统中同一组下任意存储节点配置用于文件同步的rsync命令包括：

在快速分布式文件系统中同一组下任意存储节点，使用rsync命令创建用于将变更日志文件同步至Oracle数据库的同步命令，并将所述同步命令直接设置在crontab命令中以执行，并在所述crontab命令中设置执行时间间隔。

3.如权利要求1所述的快速分布式文件系统文件元数据的生成方法，其特征在于：所述在快速分布式文件系统中同一组下任意存储节点配置用于文件同步的rsync命令包括：

在快速分布式文件系统中同一组下任意存储节点，使用rsync命令创建用于将变更日志文件同步至Oracle数据库的同步命令，将所述创建的同步命令保存至脚本文件中，将所述脚本文件在crontab命令中执行，并在所述crontab命令中设置执行时间间隔。

4.如权利要求1所述的快速分布式文件系统文件元数据的生成方法，其特征在于：所述利用Oracle数据库中的外部表特性将所述变更日志文件创建为外部表对象包括：

创建指向同步至的变更日志文件所在目录的目录对象，并为用户授予对目录对象的读写权限；

根据所述创建的目录对象加载变更日志文件，并根据Oracle数据库中的外部表特性的创建规则将所述变更日志文件创建为外部表对象。

5.如权利要求1-4中任一项所述的快速分布式文件系统文件元数据的生成方法，其特征在于：所述生成所述快速分布式文件系统文件元数据之后，还包括：接收并响应基于结构化查询语句SQL的外部表查询请求，所述外部表查询请求用于请求查询外部表中文件列表和/或文件的创建时间。

6.一种快速分布式文件系统文件元数据的生成装置，其特征在于：包括：

配置模块，用于在快速分布式文件系统中同一组下任意存储节点配置用于文件同步的rsync命令；

同步模块，用于执行所述rsync命令，将所述存储节点存储的变更日志文件同步至Oracle数据库；

外部表创建模块，用于利用所述Oracle数据库中的外部表特性将所述变更日志文件创建为外部表对象，生成所述快速分布式文件系统的文件元数据。

7.如权利要求6所述的快速分布式文件系统文件元数据的生成装置，其特征在于：所述配置模块，具体用于在快速分布式文件系统中同一组下任意存储节点，使用rsync命令创建用于将变更日志文件同步至Oracle数据库的同步命令，并将所述同步命令直接设置在crontab命令中以执行，并在所述crontab命令中设置执行时间间隔。

8.如权利要求6所述的快速分布式文件系统文件元数据的生成装置，其特征在于：所述配置模块，具体用于在快速分布式文件系统中同一组下任意存储节点，使用rsync命令创建用于将变更日志文件同步至Oracle数据库的同步命令，将所述创建的同步命令保存至脚本文件中，将所述脚本文件在crontab命令中执行，并在所述crontab命令中设置执行时间间隔。

9.如权利要求6所述的快速分布式文件系统文件元数据的生成装置，其特征在于：所述外部表创建模块包括：

创建目录和授权单元，用于创建指向同步至的变更日志文件所在目录的目录对象，并为用户授予对目录对象的读写权限；

处理单元，用于根据所述创建的目录对象加载变更日志文件，并根据Oracle数据库中的外部表特性的创建规则将所述变更日志文件创建为外部表对象。

10.如权利要求6-9中任一项所述的快速分布式文件系统文件元数据的生成装置，其特征在于：还包括：

接收和响应模块，用于接收并响应基于结构化查询语句SQL的外部表查询请求，所述外部表查询请求用于请求查询外部表中文件列表和/或文件的创建时间。