CN107480281B - 一种异构文件系统之间的统一视图的构建方法 - Google Patents

Abstract

本发明公开了一种异构文件系统之间的统一视图的构建方法，包括：在操作系统和文件系统之间分别创建IO信息获取模块和数据访问重定向模块；所述IO信息获取模块通过操作系统获取对文件系统的访问操作；所述数据访问重定向模块根据所述访问操作获取对应的访问路径，并将所述访问路径返回至IO信息获取模块；操作系统通过所述IO信息获取模块获取所述访问路径，并根据所述访问路径获取文件系统中相应的数据文件。可以解决不同的文件系统的不兼容的问题，向用户展示统一的文件系统视图，并且不用进行数据迁移，还可以保证数据读取的完整性、时效性和准确性。

Description

一种异构文件系统之间的统一视图的构建方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种异构文件系统之间的统一视图的构建方法。

背景技术

计算机通过文件系统管理存储数据，而在信息爆炸时代，人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意，分布式文件系统可以有效解决数据的存储和管理难题。随着大数据时代的来临，越来越多的分布式文件存储系统应运而生。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点中获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据就可以，使用灵活，效率高。

由于技术的不断发展，企业为了适应不同的应用、或不同的阶段建设的分布式文件存储系统有时会有不同，但是企业应用需要多种类的分布式文件系统之间的数据可以共享。现有的异构文件系统数据存在不兼容，呈现多个文件系统视图，读取数据难以统一的问题。目前不同分布式文件系统之间的数据共享，采用的手段主要是异构分布式文件存储系统的数据迁移，但如果数据格式不能兼容，异构分布式文件系统的数据迁移，还是存在数据不完整性的问题。

专利号为CN105404474A的中国专利公开了一种异构分布式存储系统的数据迁移方法，该方法采用MVC模式，具体包括以下步骤：1)View模块发起迁移任务；2)Controller模块接收迁移命令；3)Controller模块开始数据迁移；4)View模块每隔设定时间自动向Controller模块查询迁移进度。该专利实现了迁移可视化，迁移过程可管理，不中断服务的在线迁移，而且使用简单，无须专业人员即可完成迁移过程，保证数据不丢失等优点。但是，如果要完整读取异构分布式存储系统的数据，需要将异构数据迁移到选定的一个文件系统中，以响应上层读取数据的需求。这样既浪费时间，也增加了读取异构数据的复杂性。

发明内容

本发明所要解决的技术问题是：提供一种可以保证异构文件系统数据读取的完整性、时效性和准确性的异构文件系统之间的统一视图的构建方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种异构文件系统之间的统一视图的构建方法，包括：

在操作系统和文件系统之间分别创建IO信息获取模块和数据访问重定向模块；

所述IO信息获取模块通过操作系统获取对文件系统的访问操作；

所述数据访问重定向模块根据所述访问操作获取对应的访问路径，并将所述访问路径返回至IO信息获取模块；

操作系统通过所述IO信息获取模块获取所述访问路径，并根据所述访问路径获取文件系统中相应的数据文件。

本发明的有益效果在于：在操作系统和文件系统之间创建IO信息获取模块和数据访问重定向模块，IO信息获取模块可以将访问操作发送至数据访问重定向模块，数据访问重定向模块在异构文件系统中进行数据文件的查找，然后将查找结果通过IO信息获取模块返回至操作系统，操作系统即可进行数据文件的访问操作，可以解决不同的文件系统的不兼容的问题，向用户展示统一的文件系统视图，并且不用进行数据迁移，还可以保证数据读取的完整性、时效性和准确性。

附图说明

图1为本发明实施例一的异构文件系统之间的统一视图的构建方法的流程图；

图2为本发明实施例三的在异构文件系统中写入数据文件的流程图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：在操作系统和文件系统之间创建IO信息获取模块和数据访问重定向模块。

请参照图1以及图2，一种异构文件系统之间的统一视图的构建方法，包括：

在操作系统和文件系统之间分别创建IO信息获取模块和数据访问重定向模块；

所述IO信息获取模块通过操作系统获取对文件系统的访问操作；

所述数据访问重定向模块根据所述访问操作获取对应的访问路径，并将所述访问路径返回至IO信息获取模块；

操作系统通过所述IO信息获取模块获取所述访问路径，并根据所述访问路径获取文件系统中相应的数据文件。

从上述描述可知，本发明的有益效果在于：在操作系统和文件系统之间创建IO信息获取模块和数据访问重定向模块，IO信息获取模块可以将访问操作发送至数据访问重定向模块，数据访问重定向模块在异构文件系统中进行数据文件的查找，然后将查找结果通过IO信息获取模块返回至操作系统，操作系统即可进行数据文件的访问操作，可以解决不同的文件系统的不兼容的问题，向用户展示统一的文件系统视图，并且不用进行数据迁移，还可以保证数据读取的完整性、时效性和准确性。

进一步的，所述IO信息获取模块通过操作系统获取对文件系统的访问操作具体为：

IO信息获取模块调用已嵌入操作系统底层的Model信息收集接口，解析操作系统对数据的访问操作；

调用Model策略分发接口，对所述访问操作进行分类；

将分类后的访问操作发送至数据访问重定向模块。

由上述描述可知，IO信息获取模块可以对访问操作进行分类，例如可以是文件属性获取、文件创建、文件读取以及一些其他的相关文件操作。

进一步的，所述数据访问重定向模块根据所述访问操作获取对应的访问路径，并将所述访问路径返回至IO信息获取模块具体为：

调用数据访问重定向模块中的文件定位接口，判断与所述访问操作对应的访问文件是否存在于当前文件系统中；

若是，则获取对应的访问路径，并将对应的访问路径返回至IO信息获取模块；

若否，则判断与所述访问操作对应的访问文件是否存在于其他的文件系统中；

若与访问操作对应的访问文件存在于其他的文件系统中，则将对应的文件系统挂载点和其子目录组成的访问路径返回至IO信息获取模块。

由上述描述可知，数据访问重定向模块根据IO信息获取模块提供的文件访问操作，可以对异构文件系统中的每一个文件系统一一进行查找，看是否存在对应的访问文件，若是，则将访问路径返回至IO信息获取模块，这里的访问路径包括对应的文件系统挂载点和其子目录组成的访问路径。

进一步的，还包括：在操作系统和文件系统之间分别创建访问信息统计模块和数据写入控制模块，所述访问信息统计模块用于对所述访问操作进行统计分析，所述数据写入控制模块用于在文件系统中创建数据文件。

进一步的，所述访问信息统计模块用于对所述访问操作进行统计分析具体包括：

获取数据文件的大小和读写速率；

间隔预设时间后，重新获取并更新数据文件的读写速率。

由上述描述可知，访问信息统计模块可以对文件的大小和读写速率建立关联关系。

进一步的，所述访问信息统计模块用于对所述访问操作进行统计分析具体还包括：

获取文件系统的存储空间的使用情况和增长历史；

根据所述使用情况和增长历史预测存储空间的消耗趋势。

由上述描述可知，访问信息统计模块还可以根据存储空间的使用情况和增长历史预测存储空间的消耗趋势，例如，若在一段时间内存储空间的使用大小小于增长的大小，则可以判断存储空间处于正增长的趋势。

进一步的，当操作系统接收到写操作指令后，IO信息获取模块获取写操作路径信息，然后数据访问重定向模块判断所述写操作路径信息是否存在于文件系统中；

若否，则数据写入控制模块根据访问信息统计模块统计的访问操作信息，在文件系统中创建与写操作路径信息对应的新的数据文件。

由上述描述可知，创建新的数据文件时，可以根据存储空间的消耗趋势等来选择对应的文件系统，例如，可以将新的数据文件写入存储空间处于正增长趋势的文件系统中。

进一步的，所述创建新的数据文件之后还包括：

数据访问重定向模块获取所述数据文件的路径信息，访问信息统计模块获取数据文件对应的文件系统；

IO信息获取模块根据数据文件的路径信息和对应的文件系统组合获得数据文件的真实路径信息，并返回所述真实路径信息至操作系统。

由上述描述可知，IO信息获取模块根据文件的路径信息和文件系统组合得到真实路径信息，从而可以实现操作系统对统一文件视图下的新数据文件进行写操作。

实施例一

请参照图1，本发明的实施例一为：

一种异构文件系统之间的统一视图的构建方法，可以保证异构文件系统数据读取的完整性、时效性和准确性，包括：

S1、在操作系统和文件系统之间分别创建IO信息获取模块和数据访问重定向模块。文件系统包括GFS、HDFS、Lustre、Ceph、GridFS、MogileFS、TFS和FastDFS等存储系统中的一个或者多个。

S2、所述IO信息获取模块通过操作系统获取对文件系统的访问操作。所述访问操作包括文件创建、文件属性获取、文件读取操作和其他相关文件操作。

S3、所述数据访问重定向模块根据所述访问操作获取对应的访问路径，并将所述访问路径返回至IO信息获取模块。数据访问重定向模块通过对文件系统逐个进行查找，看每一个文件系统中是否存在对应的访问文件，若是，则将访问路径返回至IO信息获取模块。

S4、操作系统通过所述IO信息获取模块获取所述访问路径，并根据所述访问路径获取文件系统中相应的数据文件。

实施例二

本发明的实施例二为实施例一的进一步扩展，相同之处不再赘述，不同之处在于：

步骤S2具体包括：

S21、IO信息获取模块调用已嵌入操作系统底层的Model信息收集接口，解析操作系统对数据的访问操作。

S22、调用Model策略分发接口，对所述访问操作进行分类。

S23、将分类后的访问操作发送至数据访问重定向模块。

步骤S3具体包括：

S31、调用数据访问重定向模块中的文件定位接口，判断与所述访问操作对应的访问文件是否存在于当前文件系统中；若是，则执行步骤S32；若否，则执行步骤S33。

S32、获取对应的访问路径，并将对应的访问路径返回至IO信息获取模块。

S33、判断与所述访问操作对应的访问文件是否存在于其他的文件系统中，若是，则执行步骤S34。

S34、将对应的文件系统挂载点和其子目录组成的访问路径返回至IO信息获取模块。

步骤S32和S34中的访问路径均包括访问文件所在的文件系统。

实施例三

请参照图2，本发明的实施例三为上述实施例的进一步扩展，相同之处不再赘述，不同之处在于：

还在操作系统和文件系统之间分别创建访问信息统计模块和数据写入控制模块，所述访问信息统计模块用于对所述访问操作进行统计分析，所述数据写入控制模块用于在文件系统中创建数据文件。

本实施例中，所述访问信息统计模块用于对所述访问操作进行统计分析具体包括：获取数据文件的大小、读写速率和路径信息；间隔预设时间后，重新获取并更新数据文件的读写速率。也就是说，在一定的时间内，相同的数据文件不重复统计其大小和读写速率，只是定期进行更新。

访问信息统计模块还获取文件系统的存储空间的使用情况和增长历史，根据所述使用情况和增长历史预测存储空间的消耗趋势，根据预测的存储空间的消耗趋势可以指导数据写入控制模块进行写操作。例如，根据访问信息统计模块积累的数据，分析文件存储路径中文件夹名称、文件名及其后缀和写入进程名等信息存储空间的使用情况，得到文件相关属性信息对应存储使用的权重值。对将要写入的数据文件，利用权重值对数据文件进行评估，将数据文件写入存储空间较为富余的文件系统中。访问信息统计模块还对数据文件的访问频率进行统计，根据数据文件的路径信息、数据文件的属主和数据文件的上层应用等信息，统计冷数据文件和热数据文件。

如图2所示，本实施例中，在异构文件系统中写入数据文件的流程包括：

S101、当操作系统接收到写操作指令后，IO信息获取模块获取写操作路径信息。例如通过IO信息获取模块的fileopenfilter()接口获取写操作路径信息。

S102、数据访问重定向模块判断所述写操作路径信息是否存在于文件系统中；若否，则执行步骤S103；若是，则直接将数据文件写入原有的文件系统中。

S103、数据写入控制模块根据访问信息统计模块统计的访问操作信息，在文件系统中创建与写操作路径信息对应的新的数据文件。例如，可以在存储空间较为富余的文件系统中创建新的数据文件。

S104、数据访问重定向模块获取所述数据文件的路径信息，访问信息统计模块获取数据文件对应的文件系统。

S105、IO信息获取模块根据数据文件的路径信息和对应的文件系统组合获得数据文件的真实路径信息，并返回所述真实路径信息至操作系统。

本实施例中，在异构文件系统中读取数据文件的流程包括：操作系统接收到统一文件视图的数据文件访问指令后，操作系统内核调用IO信息获取模块的fileopenfilter()接口，获取数据文件的路径信息。然后调用数据访问重定向模块的filesearch()接口顺序查找异构文件系统对应目录文件，定位文件路径后IO信息获取模块调用fileredirect()接口创建真实的文件路径信息，并返回操作系统。从而实现操作系统对统一文件视图下的数据文件进行访问操作。

本实施例中，IO信息获取模块嵌入到操作系统内核，位于操作系统和分布式文件系统之间，IO信息获取模块结合异构文件系统数据访问策略，实现文件路径置换功能，从而实现异构文件系统的统一文件系统视图和汇总展示。访问信息统计模块位于IO信息获取模块后端，用于记录文件的操作轨迹，定制数据文件访问和存储策略。数据写入控制模块和架构中其他模块相关联，在IO信息获取模块捕获到文件创建指令后，根据文件路径、名称等相关属性结合访问信息统计模块，决策选取对应的文件系统进行写操作。数据访问重定向模块，用于探测数据文件对象在异构文件系统中的具体位置，快速定位操作系统访问文件的真实存放路径。

本发明适用于任何海量的异构分布式文件存储系统数据共享管理。如：政府部门数字城市、平安城市大数据和公安部门监控视频，医疗部门医学成像病人病历、影像资料、CT、X光和核磁共振数据，国土部、统计局、气象局、IDC机房、CDN、高校或研发单位试验中间数据，生物基因大数据、数字图书馆以及互联网海量数据备份存储，此外还适用于广电影视媒体中心视频数据、海关检测监控数据、银行、石油和国防应用等各个领域等冷数据存储。

综上所述，本发明提供的一种异构文件系统之间的统一视图的构建方法，可以解决不同的文件系统的不兼容的问题，向用户展示统一的文件系统视图，并且不用进行数据迁移，还可以保证数据读取的完整性、时效性和准确性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种异构文件系统之间的统一视图的构建方法，其特征在于，包括：

在操作系统和文件系统之间分别创建IO信息获取模块和数据访问重定向模块；

所述IO信息获取模块通过操作系统获取对文件系统的访问操作；

所述数据访问重定向模块根据所述访问操作获取对应的访问路径，并将所述访问路径返回至IO信息获取模块；

操作系统通过所述IO信息获取模块获取所述访问路径，并根据所述访问路径获取文件系统中相应的数据文件；

所述数据访问重定向模块根据所述访问操作获取对应的访问路径，并将所述访问路径返回至IO信息获取模块具体为：

调用数据访问重定向模块中的文件定位接口，判断与所述访问操作对应的访问文件是否存在于当前文件系统中；

若是，则获取对应的访问路径，并将对应的访问路径返回至IO信息获取模块；

若否，则判断与所述访问操作对应的访问文件是否存在于其他的文件系统中；

若与访问操作对应的访问文件存在于其他的文件系统中，则将对应的文件系统挂载点和其子目录组成的访问路径返回至IO信息获取模块。

2.根据权利要求1所述的异构文件系统之间的统一视图的构建方法，其特征在于，所述IO信息获取模块通过操作系统获取对文件系统的访问操作具体为：

IO信息获取模块调用已嵌入操作系统底层的Model信息收集接口，解析操作系统对数据的访问操作；

调用Model策略分发接口，对所述访问操作进行分类；

将分类后的访问操作发送至数据访问重定向模块。

3.根据权利要求1所述的异构文件系统之间的统一视图的构建方法，其特征在于，还包括：在操作系统和文件系统之间分别创建访问信息统计模块和数据写入控制模块，所述访问信息统计模块用于对所述访问操作进行统计分析，所述数据写入控制模块用于在文件系统中创建数据文件。

4.根据权利要求3所述的异构文件系统之间的统一视图的构建方法，其特征在于，所述访问信息统计模块用于对所述访问操作进行统计分析具体包括：

获取数据文件的大小和读写速率；

间隔预设时间后，重新获取并更新数据文件的读写速率。

5.根据权利要求3所述的异构文件系统之间的统一视图的构建方法，其特征在于，所述访问信息统计模块用于对所述访问操作进行统计分析具体还包括：

获取文件系统的存储空间的使用情况和增长历史；

根据所述使用情况和增长历史预测存储空间的消耗趋势。

6.根据权利要求3所述的异构文件系统之间的统一视图的构建方法，其特征在于，

当操作系统接收到写操作指令后，IO信息获取模块获取写操作路径信息，然后数据访问重定向模块判断所述写操作路径信息是否存在于文件系统中；

若否，则数据写入控制模块根据访问信息统计模块统计的访问操作信息，在文件系统中创建与写操作路径信息对应的新的数据文件。

7.根据权利要求6所述的异构文件系统之间的统一视图的构建方法，其特征在于，所述创建新的数据文件之后还包括：

数据访问重定向模块获取所述数据文件的路径信息，访问信息统计模块获取数据文件对应的文件系统；

IO信息获取模块根据数据文件的路径信息和对应的文件系统组合获得数据文件的真实路径信息，并返回所述真实路径信息至操作系统。

Images