CN108920628A - 一种适配大数据平台的分布式文件系统访问方法及装置 - Google Patents

Abstract

本发明公开了一种适配大数据平台的分布式文件系统访问方法、装置、设备及计算机可读存储介质，其中该方法包括：启动挂载点维护进程，利用所述挂载点维护进程挂载所述分布式文件系统的挂载点，并指示所述挂载点维护进程维护所述挂载点对应的挂载点信息；接收大数据平台发送的访问请求，所述访问请求为所述大数据平台需要实现对所述分布式文件系统的访问时发送的；在所述访问请求的触发下将所述挂载点维护进程维护的挂载点信息发送至所述大数据平台，以供所述大数据平台基于所述挂载点信息实现所述分布式文件系统的访问。利用挂载点维护进程适配大数据平台的访问步骤，大大提高了大数据平台访问分布式文件系统时的访问效率。

Description

一种适配大数据平台的分布式文件系统访问方法及装置

技术领域

本发明涉及云计算数据中心技术领域，更具体地说，涉及一种适配大数据平台的分布式文件系统访问方法、装置、设备及计算机可读存储介质。

背景技术

大数据时代，各行各业时时刻刻都在产生海量多样的数据，数据正在成为一种生产资料，对于挖掘行业新的经济增长点大有益处，大数据已经成为行业发展新的推动力。在海量数据场景下，传统数据库技术已无法满足其海量存储、高效处理和实时挖掘数据潜在价值的要求，大数据软件平台Hadoop(本申请中可建成为大数据平台)应运而生，应用最广。但是作为Hadoop平台存储系统HDFS存在两个重大缺点：a)不具备纠删码的数据冗余方式，数据利用率低；b)数据分块一般设置为64MB或128MB，无法高效存储大量的小文件。因此目前很多应用场景使用其他可以解决这两个重大缺点的分布式文件系统取代HDFS适配Hadoop大数据软件平台，适配架构如附图1所示。

如附图1所示，大数据平台每次访问分布式文件系统时，都要进行分布式文件系统的挂载(mount)，执行完具体访问请求后，再次进行分布式文件系统的卸载(unmount)，效率很低。

综上所述，现有技术中大数据平台访问分布式文件系统的技术方案中存在效率较低的问题。

发明内容

本发明的目的是提供一种适配大数据平台的分布式文件系统访问方法、装置、设备及计算机可读存储介质，以解决现有技术中大数据平台访问分布式文件系统的技术方案中存在的效率较低的问题。

为了实现上述目的，本发明提供如下技术方案：

一种适配大数据平台的分布式文件系统访问方法，包括：

启动挂载点维护进程，利用所述挂载点维护进程挂载所述分布式文件系统的挂载点，并指示所述挂载点维护进程维护所述挂载点对应的挂载点信息；

接收大数据平台发送的访问请求，所述访问请求为所述大数据平台需要实现对所述分布式文件系统的访问时发送的；

在所述访问请求的触发下将所述挂载点维护进程维护的挂载点信息发送至所述大数据平台，以供所述大数据平台基于所述挂载点信息实现所述分布式文件系统的访问。

优选的，启动挂载点维护进程之后，还包括：

利用所述挂载点维护进程加载所述分布式文件系统的Linux so动态库，供所述大数据平台获取所述Linux so动态库中的动态库文件并基于所述动态库文件实现所述分布式文件系统的访问。

优选的，接收大数据平台发送的访问请求，包括：

接收大数据平台利用接口适配器的IP Socket接口发送的访问请求。

优选的，指示所述挂载点维护进程维护所述挂载点对应的挂载点信息之后，还包括：

在确定所述大数据平台及所述分布式文件系统将停止使用时，将利用所述挂载点维护进程挂载的挂载点卸载，并停止所述挂载点维护进程的运行。

优选的，指示所述挂载点维护进程维护所述挂载点对应的挂载点信息之后，还包括：

基于CTDB服务实时监控所述挂载点维护进程，并在监控到所述挂载点维护进程出现异常时，自动重启并初始化所述挂载点维护进程。

一种适配大数据平台的分布式文件系统访问装置，包括：

挂载模块，用于：启动挂载点维护进程，利用所述挂载点维护进程挂载所述分布式文件系统的挂载点，并指示所述挂载点维护进程维护所述挂载点对应的挂载点信息；

接收模块，用于：接收大数据平台发送的访问请求，所述访问请求为所述大数据平台需要实现对所述分布式文件系统的访问时发送的；

发送模块，用于：在所述访问请求的触发下将所述挂载点维护进程维护的挂载点信息发送至所述大数据平台，以供所述大数据平台基于所述挂载点信息实现所述分布式文件系统的访问。

优选的，还包括：

加载模块，用于：启动挂载点维护进程之后，利用所述挂载点维护进程加载所述分布式文件系统的Linux so动态库，供所述大数据平台获取所述Linux so动态库中的动态库文件并基于所述动态库文件实现所述分布式文件系统的访问。

优选的，所述接收模块包括：

接收单元，用于：接收大数据平台利用接口适配器的IP Socket接口发送的访问请求。

一种适配大数据平台的分布式文件系统访问设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一项所述适配大数据平台的分布式文件系统访问方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述适配大数据平台的分布式文件系统访问方法的步骤。

本发明提供了一种适配大数据平台的分布式文件系统访问方法、装置、设备及计算机可读存储介质，其中该方法包括：启动挂载点维护进程，利用所述挂载点维护进程挂载所述分布式文件系统的挂载点，并指示所述挂载点维护进程维护所述挂载点对应的挂载点信息；接收大数据平台发送的访问请求，所述访问请求为所述大数据平台需要实现对所述分布式文件系统的访问时发送的；在所述访问请求的触发下将所述挂载点维护进程维护的挂载点信息发送至所述大数据平台，以供所述大数据平台基于所述挂载点信息实现所述分布式文件系统的访问。本发明的技术方案中，利用挂载点维护进程这一独立进程维护分布式文件系统的挂载点信息，当大数据平台需要访问分布式文件系统时，获取挂载点维护进程维护的挂载点信息，进而基于获取的挂载点信息实现分布式文件系统的访问即可；无需像现有技术中每次大数据平台访问分布式文件系统均需进行一次分布式文件系统的挂载及卸载，而是利用挂载点维护进程适配大数据平台的访问步骤，大大提高了大数据平台访问分布式文件系统时的访问效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为背景技术中分布式文件系统适配大数据平台的原理示意图；

图2为本发明实施例提供的一种适配大数据平台的分布式文件系统访问方法的流程图；

图3为本发明实施例提供的一种适配大数据平台的分布式文件系统访问方法的工作示意图；

图4为本发明实施例提供的一种适配大数据平台的分布式文件系统访问装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图2，其示出了本发明实施例提供的一种适配大数据平台的分布式文件系统访问方法的流程图，可以包括：

S11：启动挂载点维护进程，利用挂载点维护进程挂载分布式文件系统的挂载点，并指示挂载点维护进程维护挂载点对应的挂载点信息。

需要说明的是，本发明实施例提供的一种适配大数据平台的分布式文件系统访问的方法的执行主语可以为对应的装置，而该装置可以为独立于分布式文件系统及大数据平台的装置，当然也可以根据实际需要进行其他设置，均在本发明的保护范围之内。其中，挂载分布式文件系统的挂载点与现有技术中对应技术方案的实现原理一致，在此不再赘述。确定大数据平台和分布式文件系统部署完成后，可以启动挂载点维护进程；启动挂载点维护进程后，利用挂载点维护进行实现挂载点挂载及对应挂载点信息的维护，可理解为由挂载点维护进程挂载挂载点并维护与挂载点对应的挂载点信息，挂载点信息可以包括挂载实例指针、挂载实例文件系统客户端指针、挂载实例消息机制指针等所指向的内存空间内容，当然也可以根据实际需要进行其他设置，只要能够满足大数据平台基于挂载点信息能够实现分布式文件系统的访问的挂载点信息，均在本发明的保护范围之内。

S12：接收大数据平台发送的访问请求，访问请求为大数据平台需要实现对分布式文件系统的访问时发送的。

大数据平台即为背景技术中的大数据软件平台Hadoop，大数据平台在需要实现分布式文件系统的访问时可以发送访问请求。

S13：在访问请求的触发下将挂载点维护进程维护的挂载点信息发送至大数据平台，以供大数据平台基于挂载点信息实现分布式文件系统的访问。

接收到访问请求后将对应挂载点信息发送给大数据平台，大数据平台即可利用挂载点信息实现分布式文件系统的访问，其中，在已知挂载信息的前提下，利用挂载信息实现对应系统的访问与现有技术中对应技术方案的实现原理一致，在此不再赘述。

另外，大数据平台获取挂载点信息后可以保存挂载点信息，以在再次需要访问分布式文件系统时利用保存的挂载点信息实现分布式文件系统的访问。如果大数据平台能够利用保存的挂载点信息实现分布式文件系统的访问，则证明大数据平台保存的挂载点信息是有效的，否则则说明大数据平台保存的挂载点信息已经失效，此时则需要通过发送访问请求获取挂载点维护进程维护的挂载点信息以实现分布式文件系统的访问。

本发明的技术方案中，利用挂载点维护进程这一独立进程维护分布式文件系统的挂载点信息，当大数据平台需要访问分布式文件系统时，获取挂载点维护进程维护的挂载点信息，进而基于获取的挂载点信息实现分布式文件系统的访问即可；无需像现有技术中每次大数据平台访问分布式文件系统均需进行一次分布式文件系统的挂载及卸载，而是利用挂载点维护进程适配大数据平台的访问步骤，大大提高了大数据平台访问分布式文件系统时的访问效率。

另外，本发明的技术方案提高了大数据平台访问分布式文件系统时的访问效率的同时，提升了适配大数据平台分布式文件系统的性能，提高了分布式文件系统替代Hadoop原生HDFS的竞争力，从而提升数据中心大数据分析和存储解决方案的竞争力。

本发明实施例提供的一种适配大数据平台的分布式文件系统访问方法，启动挂载点维护进程之后，还可以包括：

利用挂载点维护进程加载分布式文件系统的Linux so动态库，供大数据平台获取Linux so动态库中的动态库文件并基于动态库文件实现分布式文件系统的访问。

需要说明的是，现有技术中大数据平台每次需要访问分布式文件系统时，还需要加载分布式文件系统的Linux so动态库，以利用Linux so动态库中的动态库文件实现分布式文件系统的访问；本申请中为了进一步提高大数据平台访问分布式文件系统时的访问效率，进一步加载了分布式文件系统的Linux so动态库，由此，大数据平台需要访问分布式文件系统时无需自行加载Linux so动态库，而是直接访问本申请加载的Linux so动态库即可获取对应的动态库文件即可。另外，需要说明的是，大数据平台获取Linux so动态库中的动态库文件并给予动态库文件实现分布式文件系统的访问的技术方案与现有技术中对应技术方案的实现原理一致，在此不再赘述。

本发明实施例提供的一种适配大数据平台的分布式文件系统访问方法，接收大数据平台发送的访问请求，可以包括：

接收大数据平台利用接口适配器的IP Socket接口发送的访问请求。

需要说明的是，大数据平台和本申请的执行主语之间可以通过接口适配器的IPSocket接口实现socket消息形式的通信，而本申请的执行主语在返回给大数据平台挂载点信息时可以将挂载点信息进行数据封装后通过IP Socket接口返回给大数据平台，从而保证了大数据平台和本申请的执行主语之间安全及有效的通信。

本发明实施例提供的一种适配大数据平台的分布式文件系统访问方法，指示挂载点维护进程维护挂载点对应的挂载点信息之后，还可以包括：

在确定大数据平台及分布式文件系统将停止使用时，将利用挂载点维护进程挂载的挂载点卸载，并停止挂载点维护进程的运行。

需要说明的是，在大数据平台及分布式文件系统停止使用前，可以将挂载点卸载并停止挂载点维护进程的运行，即停止挂载点维护进行提供的进程服务，从而避免了进程资源的浪费。

本发明实施例提供的一种适配大数据平台的分布式文件系统访问方法，指示挂载点维护进程维护挂载点对应的挂载点信息之后，还可以包括：

基于CTDB服务实时监控挂载点维护进程，并在监控到挂载点维护进程出现异常时，自动重启并初始化挂载点维护进程。

基于CTDB(应用层高可用开源软件)实现挂载点维护进程的实时监控过程中，如果挂载点维护进程出现异常，则自动重启并初始化挂载点维护进行，使得挂载点能够自动实现分布式文件系统的挂载点的挂载，从而实现了分布式文件系统挂载点维护进程的高可用。

需要说明的是，本发明实施例提供的上述技术方案中，大数据平台对应大数据应用层、分布式文件系统对应文件系统服务层、接口适配器、CTDB服务、挂载点维护进程对应的工作示意图可以如图3所示。可见，本发明的技术方案采用分布式文件系统挂载点长连接的方式取代短连接的方式，节省了每次分布式文件系统Linux so动态库加载、分布式文件系统挂载、分布式文件系统卸载的时间消耗，有效地提升了分布式文件系统的访问性能。

本发明实施例还提供了一种适配大数据平台的分布式文件系统访问装置，如图4所示，可以包括：

挂载模块11，用于：启动挂载点维护进程，利用挂载点维护进程挂载分布式文件系统的挂载点，并指示挂载点维护进程维护挂载点对应的挂载点信息；

接收模块12，用于：接收大数据平台发送的访问请求，访问请求为大数据平台需要实现对分布式文件系统的访问时发送的；

发送模块13，用于：在访问请求的触发下将挂载点维护进程维护的挂载点信息发送至大数据平台，以供大数据平台基于挂载点信息实现分布式文件系统的访问。

本发明实施例提供的一种适配大数据平台的分布式文件系统访问装置，还可以包括：

加载模块，用于：启动挂载点维护进程之后，利用挂载点维护进程加载分布式文件系统的Linux so动态库，供大数据平台获取Linux so动态库中的动态库文件并基于动态库文件实现分布式文件系统的访问。

本发明实施例提供的一种适配大数据平台的分布式文件系统访问装置，接收模块可以包括：

接收单元，用于：接收大数据平台利用接口适配器的IP Socket接口发送的访问请求。

本发明实施例提供的一种适配大数据平台的分布式文件系统访问装置，还可以包括：

卸载模块，用于：指示挂载点维护进程维护挂载点对应的挂载点信息之后，在确定大数据平台及分布式文件系统将停止使用时，将利用挂载点维护进程挂载的挂载点卸载，并停止挂载点维护进程的运行。

本发明实施例提供的一种适配大数据平台的分布式文件系统访问装置，还可以包括：

监控模块，用于：指示挂载点维护进程维护挂载点对应的挂载点信息之后，基于CTDB服务实时监控挂载点维护进程，并在监控到挂载点维护进程出现异常时，自动重启并初始化挂载点维护进程。

本发明实施例还提供了一种适配大数据平台的分布式文件系统访问设备，可以包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上任一项适配大数据平台的分布式文件系统访问方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任一项适配大数据平台的分布式文件系统访问方法的步骤。

需要说明的是，本发明实施例提供的一种适配大数据平台的分布式文件系统访问装置、设备及计算机可读存储介质中相关部分的说明请参见本发明实施例提供的一种适配大数据平台的分布式文件系统访问方法中对应部分的详细说明，在此不再赘述。另外本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种适配大数据平台的分布式文件系统访问方法，其特征在于，包括：

启动挂载点维护进程，利用所述挂载点维护进程挂载所述分布式文件系统的挂载点，并指示所述挂载点维护进程维护所述挂载点对应的挂载点信息；

接收大数据平台发送的访问请求，所述访问请求为所述大数据平台需要实现对所述分布式文件系统的访问时发送的；

在所述访问请求的触发下将所述挂载点维护进程维护的挂载点信息发送至所述大数据平台，以供所述大数据平台基于所述挂载点信息实现所述分布式文件系统的访问。

2.根据权利要求1所述的方法，其特征在于，启动挂载点维护进程之后，还包括：

利用所述挂载点维护进程加载所述分布式文件系统的Linux so动态库，供所述大数据平台获取所述Linux so动态库中的动态库文件并基于所述动态库文件实现所述分布式文件系统的访问。

3.根据权利要求2所述的方法，其特征在于，接收大数据平台发送的访问请求，包括：

接收大数据平台利用接口适配器的IP Socket接口发送的访问请求。

4.根据权利要求1所述的方法，其特征在于，指示所述挂载点维护进程维护所述挂载点对应的挂载点信息之后，还包括：

在确定所述大数据平台及所述分布式文件系统将停止使用时，将利用所述挂载点维护进程挂载的挂载点卸载，并停止所述挂载点维护进程的运行。

5.根据权利要求1所述的方法，其特征在于，指示所述挂载点维护进程维护所述挂载点对应的挂载点信息之后，还包括：

基于CTDB服务实时监控所述挂载点维护进程，并在监控到所述挂载点维护进程出现异常时，自动重启并初始化所述挂载点维护进程。

6.一种适配大数据平台的分布式文件系统访问装置，其特征在于，包括：

挂载模块，用于：启动挂载点维护进程，利用所述挂载点维护进程挂载所述分布式文件系统的挂载点，并指示所述挂载点维护进程维护所述挂载点对应的挂载点信息；

接收模块，用于：接收大数据平台发送的访问请求，所述访问请求为所述大数据平台需要实现对所述分布式文件系统的访问时发送的；

发送模块，用于：在所述访问请求的触发下将所述挂载点维护进程维护的挂载点信息发送至所述大数据平台，以供所述大数据平台基于所述挂载点信息实现所述分布式文件系统的访问。

7.根据权利要求6所述的装置，其特征在于，还包括：

加载模块，用于：启动挂载点维护进程之后，利用所述挂载点维护进程加载所述分布式文件系统的Linux so动态库，供所述大数据平台获取所述Linux so动态库中的动态库文件并基于所述动态库文件实现所述分布式文件系统的访问。

8.根据权利要求7所述的装置，其特征在于，所述接收模块包括：

接收单元，用于：接收大数据平台利用接口适配器的IP Socket接口发送的访问请求。

9.一种适配大数据平台的分布式文件系统访问设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述适配大数据平台的分布式文件系统访问方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述适配大数据平台的分布式文件系统访问方法的步骤。