CN107566477A - 一种在分布式文件系统集群中获取文件的方法和装置 - Google Patents

一种在分布式文件系统集群中获取文件的方法和装置 Download PDF

Info

Publication number
CN107566477A
CN107566477A CN201710751920.0A CN201710751920A CN107566477A CN 107566477 A CN107566477 A CN 107566477A CN 201710751920 A CN201710751920 A CN 201710751920A CN 107566477 A CN107566477 A CN 107566477A
Authority
CN
China
Prior art keywords
file
cluster
download
routing information
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710751920.0A
Other languages
English (en)
Other versions
CN107566477B (zh
Inventor
牛立国
李杰辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201710751920.0A priority Critical patent/CN107566477B/zh
Publication of CN107566477A publication Critical patent/CN107566477A/zh
Application granted granted Critical
Publication of CN107566477B publication Critical patent/CN107566477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种在分布式文件系统集群中获取文件的方法和装置,所述方法包括:获取下载的文件的路径信息,将其发送至软件开发工具包,并通过软件开发工具包获取与其相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径;采用集群统一入口网协IP和集群统一服务端口号,在分布式文件系统集群中确定需要下载的文件所对应的分布式文件系统,并对其发送路径转换请求信息,当其接收到路径转换请求信息时,采用路径映射服务器根据逻辑文件路径生成真实文件路径;根据真实文件路径获取需要下载的文件,应用本发明实施例可避免文件系统客户端与服务端之间的网络数据传输,简化数据流程,减少时间消耗,减低网络带宽成本,提高生产效率。

Description

一种在分布式文件系统集群中获取文件的方法和装置
技术领域
本发明涉及数据处理技术领域,特别是涉及一种在分布式文件系统集群中获取文件的方法和一种在分布式文件系统集群中获取文件的装置。
背景技术
随着互联网的快速发展,人们更加轻松获取自己需要的互联网资源,然而视频资源又是最为直观,信息量最为丰富的资源,因此,对海量视频资源的访问的需求应运而生。
然而,在现有技术中,客户端通过CDN(Content Delivery Network,内容分发网络)向客户端服务器发送下载请求,再到客户端服务器从分布式文件系统的服务端读取数据到本地,最后将数据由CDN返回给客户端,这便会出现在请求量巨大的情况下,耗费大量的带宽资源,这是因为用户在观看视频的时候,首先从CDN上获取视频资源,如果CDN上没有对应的文件,那么将会连接到客户端服务器上下载视频文件。客户端服务器后端挂载分布式文件系统,对于分布式文件系统来说,客户端服务器就相当于客户端,视频文件存放在服务器端,传统的视频存储系统都是在客户端上基于POSIX接口(Portable OperatingSystem Interface,可移植操作系统接口)来对文件进行读、写处理。传统的视频存储系统是通过客户端将服务端的文件系统通过网络挂载到本地,然后通过POSIX接口访问服务单的视频文件。采用这种挂载模式,在下载以及处理视频文件的过程中,需要将视频文件的内容从服务器下载到客户端。然后客户端再将文件通过其他方式转发给前端请求服务(如CDN),这会导致整个过程的数据流复杂化,在请求量巨大的情况下,会耗费大量的带宽资源,进而导致读取文件时的效率低下。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种在分布式文件系统集群中获取文件方法和相应的一种在分布式文件系统集群中获取文件装置。
为了解决上述问题,本发明实施例在一方面公开了一种在分布式文件系统集群中获取文件的方法,所述方法应用于客户端服务器,所述客户端服务器具有软件开发工具包,路径转换请求信息,以及,路径映射服务器,所述分布式文件系统集群包括分布式文件系统,所述方法包括:
获取需要下载的文件的路径信息;
将所述路径信息发送至所述软件开发工具包,并通过所述软件开发工具包获取与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径;
采用所述集群统一入口网协IP和所述集群统一服务端口号,在分布式文件系统集群中确定所述需要下载的文件所对应的分布式文件系统;
对所述分布式文件系统发送所述路径转换请求信息;
当所述分布式文件系统接收到所述路径转换请求信息时,采用所述路径映射服务器根据所述逻辑文件路径生成真实文件路径;
根据所述真实文件路径获取所述需要下载的文件。
可选地,所述路径信息包括全局唯一的标识符ID,所述软件开发工具包具有应用程序编程接口,所述通过所述软件开发工具包获取与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径的步骤包括:
采用所述软件开发工具包将所述全局唯一的标识符ID发送至所述应用程序编程接口,并经由所述应用程序编程接口生成与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径。
可选地,所述分布式文件系统集群包括上传文件数据库,所述经由所述应用程序编程接口生成与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径的步骤包括:
采用所述应用程序编程接口根据所述全局唯一的标识符ID,在所述上传文件数据库查找出与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径。
可选地,所述分布式文件系统集群具有存储系统服务端,所述根据所述真实文件路径获取所述需要下载的文件的步骤包括:
采用所述真实文件路径生成下载请求;
将所述下载请求发送至所述存储系统服务端;
当所述存储系统服务端收到所述下载请求时,根据所述下载请求读取所述需要下载的文件,并将所述需要下载的文件发送至所述客户端。
可选地,所述分布式文件系统集群具有存储器,其中,所述存储器用于存储所述需要下载的文件,所述下载请求包括,存储器网协IP、存储器端口号,,所述根据所述下载请求读取所述需要下载的文件的步骤包括:
采用所述存储器网协IP、存储器端口号确定与所述需要下载的文件相对应的所述存储器;
从所述存储器中读取所述需要下载的文件。
为了解决上述问题,本发明实施例在另一方面公开了一种在分布式文件系统集群中获取文件的装置,所述装置应用于客户端服务器,所述客户端服务器具有软件开发工具包,路径转换请求信息,以及,路径映射服务器,所述分布式文件系统集群包括分布式文件系统,所述装置包括:
路径信息获取模块,用于获取需要下载的文件的路径信息;
路径信息对应数据获取模块,用于将所述路径信息发送至所述软件开发工具包,并通过所述软件开发工具包获取与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径;
分布式文件系统确定模块,用于采用所述集群统一入口网协IP和所述集群统一服务端口号,在分布式文件系统集群中确定所述需要下载的文件所对应的分布式文件系统;
路径转换请求信息发送模块,用于对所述分布式文件系统发送所述路径转换请求信息;
真实文件路径生成模块,用于在所述分布式文件系统接收到所述路径转换请求信息时,采用所述路径映射服务器根据所述逻辑文件路径生成真实文件路径;
下载的文件获取模块,用于根据所述真实文件路径获取所述需要下载的文件。
可选地,所述路径信息包括全局唯一的标识符ID,所述软件开发工具包具有应用程序编程接口,所述路径信息对应数据获取模块包括:
路径信息对应数据获取子模块,用于采用所述软件开发工具包将所述全局唯一的标识符ID发送至所述应用程序编程接口,并经由所述应用程序编程接口生成与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径。
可选地,所述分布式文件系统集群包括上传文件数据库,所述路径信息对应数据获取子模块包括:
路径信息对应数据获取单元,用于采用所述应用程序编程接口根据所述全局唯一的标识符ID,在所述上传文件数据库查找出与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径。
可选地,所述分布式文件系统集群具有存储系统服务端,所述下载的文件获取模块包括:
下载请求生成子模块,用于采用所述真实文件路径生成下载请求;
下载请求发送子模块,用于将所述下载请求发送至所述存储系统服务端;
文件发送模块子模块,用于在所述存储系统服务端收到所述下载请求时,根据所述下载请求读取所述需要下载的文件,并将所述需要下载的文件发送至所述客户端。
可选地,所述分布式文件系统集群具有存储器,其中,所述存储器用于存储所述需要下载的文件,所述下载请求包括,存储器网协IP、存储器端口号所述下载请求发送子模块包括:
存储器确定单元,用于采用所述存储器网协IP、存储器端口号确定与所述需要下载的文件相对应的所述存储器;
文件读取单元,用于从所述存储器中读取所述需要下载的文件。
在实际应用中运用本发明实施例,通过先对需要下载的文件获取其路径信息,再将路径信息发送至软件开发工具包,软件开发工具包在接收到路径信息后,通过路径信息获取路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径,并采用集群统一入口网协IP和所述集群统一服务端口号,并在分布式文件系统集群中确定需要下载的文件所对应的分布式文件系统,对所述所述分布式系统发送路径转换请求信息,在分布式文件系统接收到路径转换请求信息后,通过所述路径映射服务器根据下载文件的逻辑文件路径生成需要被下载的文件的真实文件路径,再得到需要被下载的下载文件的真实文件路径后,客户端可以通过真实文件路径获取需要被下载的下载文件,这样在不改变原有的分布式文件存储系统架构的基础之上,在分布式文件系统的客户端服务器中增加路径映射服务器和软件开发工具包SDK(Software Development Kit,软件开发工具包)路径映射服务器,即可直接通过http/ftp访问分布式文件系统的客户端服务器来高效的下载视频文件,避免了文件系统客户端与服务端之间的网络数据传输,简化了数据流程,最大限度的减少了时间消耗,减低网络带宽成本,合理利用计算资源,提高生产效率。
附图说明
图1是本发明的一种在分布式文件系统集群中获取文件方法实施例的步骤流程图;
图2是本发明的一种在分布式文件系统集群中获取文件装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例的核心构思之一在于,本发明提出一种直接通过http/ftp,访问分布式文件系统的服务端来高效的下载视频文件的方法,在不改变原有的分布式文件存储系统架构的基础之上,在分布式文件系统的客户端服务器中增加路径映射服务器和软件开发工具包SDK(Software Development Kit,软件开发工具包)路径映射服务器,从而可以使路径映射服务器将文件挂载点的逻辑路径,转换成为该文件的真实文件路径,进而达到快速高效的访问视频资源,提高效率,降低带宽,节约成本。
参照图1,示出了本发明的一种在分布式文件系统集群中获取文件方法实施例的步骤流程图,具体可以包括如下步骤:
步骤101,获取需要下载的文件的路径信息;
在具体实现中,本发明实施例可以采用客户端服务器对需要下载的文件的路径信息进行获取,其中,所述路径信息可以包括集群的统一入口IP、集群统一服务端口号、文件路径名等信息,以及,全局唯一的标识符ID。
步骤102,将所述路径信息发送至所述软件开发工具包,并通过所述软件开发工具包获取与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径;
在本发明实施例中,还可以通过如下方式获取与路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径:采用所述软件开发工具包将所述全局唯一的标识符ID发送至所述应用程序编程接口,并经由所述应用程序编程接口生成与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径。
在本发明一种更为优选的实施中,可以通过如下方式经由所述应用程序编程接口生成与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径:采用所述应用程序编程接口根据所述全局唯一的标识符ID,在所述上传文件数据库查找出与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径。
在实际应用中,本发明实施例的客户端服务器在调用SDK进行文件下载前,需要预先知道所需下载文件的完整路径,然后将文件路径完整路径作为参数传递给对应API(Application Programming Interface,应用程序编程接口),经由API采用所述应用程序编程接口根据所述全局唯一的标识符ID,在所述上传文件数据库查找解析出与路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径,软件开发工具包SDK根据解析出对应的集群统一入口网协IP和统一服务端口号,将路径转换请求信息发送给对应的分布式文件存储系统。
步骤103,采用所述集群统一入口网协IP和所述集群统一服务端口号,在分布式文件系统集群中确定所述需要下载的文件所对应的分布式文件系统;
在实际应用中,本发明实施例可以采用客户端服务器中的软件开发工具包SDK,确定需要下载的文件所对应的分布式文件系统,并向分布式文件系统的客户端发送请求来获取下载文件所在的分布式文件系统服务端的位置,然后再直接向分布式文件系统的服务端发送用以获取需要下载文件的http/ftp请求。
步骤104,对所述分布式文件系统发送所述路径转换请求信息;
在本发明实施例中,所述转换请求用于将需要下载的文件的逻辑路径转换为真实路径。
步骤105,当所述分布式文件系统接收到所述路径转换请求信息时,采用所述路径映射服务器根据所述逻辑文件路径生成真实文件路径;
在具体实现中,本发明实施例可以在分布式文件系统的服务端收到请求后,通过路径映射服务器将文件挂载点,即,下载文件所在的分布式文件系统服务端的位置的逻辑路径转换成为文件在分布式文件系统服务端的真实文件路径,具体地,真实文件路径可以为文件所在的存储节点网协IP,存储节点的磁盘端口号,以及,文件所在磁盘的路径等;路径映射服务器主要是通过DHT(Distributed Hash Table,分布式哈希表)算法在径映射服务器直接计算出文件所在的分布式文件系统服务端位置,然后将分布式文件系统服务端的真实文件路径返回给请求客户端服务器。
例如,将逻辑路径{mountpoint}/{dir1}/{dir2}/file转化为真实文件路径{brick}/{dir3}/{dir4}/file。
步骤106,根据所述真实文件路径获取所述需要下载的文件。
在本发明实施例中,还可以通过如下方式根据所述真实文件路径获取所述需要下载的文件:采用所述真实文件路径生成下载请求;将所述下载请求发送至所述存储系统服务端;当所述存储系统服务端收到所述下载请求时,根据所述下载请求读取所述需要下载的文件,并将所述需要下载的文件发送至所述客户端。
在本发明一个更为优选的实施例中,还可以通过如下方式根据所述下载请求读取所述需要下载的文件:采用所述存储器网协IP、存储器端口号确定与所述需要下载的文件相对应的所述存储器;从所述存储器中读取所述需要下载的文件。
在具体实现中,本发明实施例的分布式文件系统集群可以具有用于存储所述需要下载的文件的存储器,下载请求可以包括,存储器网协IP、存储器端口号等等。
在实际应用中,本发明实施例可以通过客户端服务器的存储节点http/ftp模块处理用户由客户端发送过来的请求,根据客户端发送来的请求,到对应的路径上直接获取视频文件,并将文件返回给客户端。
在具体实现中,本发明实施例分布式文件系统服务端在接收到请求之后,通过路径映射服务器将用户需要获取的下载文件所在位置的逻辑路径转换成为,下载文件所在的分布式文件系统服务端位置的真实路径,然后将路径返回给客户端服务器,客户端服务器在获取了真实路径后再向分布式文件存储系统服务端发送下载请求来下载数据,分布式文件存储系统服务端的http/ftp服务根据下载请求解析出下载文件的真实路径,根据真实路径到用于存储所述需要下载的文件的存储器上读取文件并返回给客户端。
在实际应用中运用本发明实施例,通过先对需要下载的文件获取其路径信息,再将路径信息发送至软件开发工具包,软件开发工具包在接收到路径信息后,通过路径信息获取路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径,并采用集群统一入口网协IP和所述集群统一服务端口号,并在分布式文件系统集群中确定需要下载的文件所对应的分布式文件系统,对所述所述分布式系统发送路径转换请求信息,在分布式文件系统接收到路径转换请求信息后,通过所述路径映射服务器根据下载文件的逻辑文件路径生成需要被下载的文件的真实文件路径,再得到需要被下载的下载文件的真实文件路径后,客户端可以通过真实文件路径获取需要被下载的下载文件,这样在不改变原有的分布式文件存储系统架构的基础之上,在分布式文件系统的客户端服务器中增加路径映射服务器和软件开发工具包SDK(Software Development Kit,软件开发工具包)路径映射服务器,即可直接通过http/ftp访问分布式文件系统的客户端服务器来高效的下载视频文件,避免了文件系统客户端与服务端之间的网络数据传输,简化了数据流程,最大限度的减少了时间消耗,减低网络带宽成本,合理利用计算资源,提高生产效率。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图2,示出了本发明的一种在分布式文件系统集群中获取文件装置实施例的结构框图,具体可以包括如下模块:
路径信息获取模块201,用于获取需要下载的文件的路径信息;
路径信息对应数据获取模块202,用于将所述路径信息发送至所述软件开发工具包,并通过所述软件开发工具包获取与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径;
分布式文件系统确定模块203,用于采用所述集群统一入口网协IP和所述集群统一服务端口号,在分布式文件系统集群中确定所述需要下载的文件所对应的分布式文件系统;
路径转换请求信息发送模块204,用于对所述分布式文件系统发送所述路径转换请求信息;
真实文件路径生成模块205,用于在所述分布式文件系统接收到所述路径转换请求信息时,采用所述路径映射服务器根据所述逻辑文件路径生成真实文件路径;
下载的文件获取模块206,用于根据所述真实文件路径获取所述需要下载的文件。
本发明实施例的一个优选实施例中,所述路径信息对应数据获取模块202可以包括如下子模块:
路径信息对应数据获取子模块,用于采用所述软件开发工具包将所述全局唯一的标识符ID发送至所述应用程序编程接口,并经由所述应用程序编程接口生成与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径。
本发明实施例的一个优选实施例中,所述路径信息对应数据获取子模块可以包括如下单元:
路径信息对应数据获取单元,用于采用所述应用程序编程接口根据所述全局唯一的标识符ID,在所述上传文件数据库查找出与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径。
本发明实施例的一个优选实施例中,所述下载的文件获取模块206可以包括如下子模块:
下载请求生成子模块,用于采用所述真实文件路径生成下载请求;
下载请求发送子模块,用于将所述下载请求发送至所述存储系统服务端;
文件发送模块子模块,用于在所述存储系统服务端收到所述下载请求时,根据所述下载请求读取所述需要下载的文件,并将所述需要下载的文件发送至所述客户端。
本发明实施例的一个优选实施例中,所述下载请求发送子模块可以包括如下单元:
存储器确定单元,用于采用所述存储器网协IP、存储器端口号确定与所述需要下载的文件相对应的所述存储器;
文件读取单元,用于从所述存储器中读取所述需要下载的文件。
在实际应用中运用本发明实施例,通过先采用路径信息获取模块对需要下载的文件获取其路径信息,再采用路径信息对应数据获取模块将路径信息发送至软件开发工具包,软件开发工具包在接收到路径信息后,通过路径信息获取路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径,并通过分布式文件系统确定模块采用集群统一入口网协IP和所述集群统一服务端口号,在分布式文件系统集群中确定需要下载的文件所对应的分布式文件系统,采用路径转换请求信息发送模块对所述所述分布式系统发送路径转换请求信息,并采用真实文件路径生成模块在分布式文件系统接收到路径转换请求信息后,通过所述路径映射服务器根据下载文件的逻辑文件路径生成需要被下载的文件的真实文件路径,再得到需要被下载的下载文件的真实文件路径后,客户端可以采用下载的文件获取模块根据根据真实文件路径来获取需要被下载的下载文件,这样在不改变原有的分布式文件存储系统架构的基础之上,在分布式文件系统的客户端服务器中增加路径映射服务器和软件开发工具包SDK(Software Development Kit,软件开发工具包)路径映射服务器,即可直接通过http/ftp访问分布式文件系统的客户端服务器来高效的下载视频文件,避免了文件系统客户端与服务端之间的网络数据传输,简化了数据流程,最大限度的减少了时间消耗,减低网络带宽成本,合理利用计算资源,提高生产效率。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种在分布式文件系统集群中获取文件的方法和一种在分布式文件系统集群中获取文件的装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种在分布式文件系统集群中获取文件的方法,其特征在于,所述方法应用于客户端服务器,所述客户端服务器具有软件开发工具包,路径转换请求信息,以及,路径映射服务器,所述方法包括:
获取需要下载的文件的路径信息;
将所述路径信息发送至所述软件开发工具包,并通过所述软件开发工具包获取与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径;
采用所述集群统一入口网协IP和所述集群统一服务端口号,在分布式文件系统集群中确定所述需要下载的文件所对应的分布式文件系统;
对所述分布式文件系统发送所述路径转换请求信息;
当所述分布式文件系统接收到所述路径转换请求信息时,采用所述路径映射服务器根据所述逻辑文件路径生成真实文件路径;
根据所述真实文件路径获取所述需要下载的文件。
2.根据权利要求1所述的方法,其特征在于,所述路径信息包括全局唯一的标识符ID,所述软件开发工具包具有应用程序编程接口,所述通过所述软件开发工具包获取与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径的步骤包括:
采用所述软件开发工具包将所述全局唯一的标识符ID发送至所述应用程序编程接口,并经由所述应用程序编程接口生成与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径。
3.根据权利要求2所述的方法,其特征在于,所述分布式文件系统集群包括上传文件数据库,所述经由所述应用程序编程接口生成与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径的步骤包括:
采用所述应用程序编程接口根据所述全局唯一的标识符ID,在所述上传文件数据库查找出与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径。
4.根据权利要求1所述的方法,其特征在于,所述分布式文件系统集群具有存储系统服务端,所述根据所述真实文件路径获取所述需要下载的文件的步骤包括:
采用所述真实文件路径生成下载请求;
将所述下载请求发送至所述存储系统服务端;
当所述存储系统服务端收到所述下载请求时,根据所述下载请求读取所述需要下载的文件,并将所述需要下载的文件发送至所述客户端。
5.根据权利要求4所述的方法,其特征在于,所述分布式文件系统集群具有存储器,其中,所述存储器用于存储所述需要下载的文件,所述下载请求包括,存储器网协IP、存储器端口号,所述根据所述下载请求读取所述需要下载的文件的步骤包括:
采用所述存储器网协IP、存储器端口号确定与所述需要下载的文件相对应的所述存储器;
从所述存储器中读取所述需要下载的文件。
6.一种在分布式文件系统集群中获取文件的装置,其特征在于,所述装置应用于客户端服务器,所述客户端服务器具有软件开发工具包,路径转换请求信息,以及,路径映射服务器,所述装置包括:
路径信息获取模块,用于获取需要下载的文件的路径信息;
路径信息对应数据获取模块,用于将所述路径信息发送至所述软件开发工具包,并通过所述软件开发工具包获取与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径;
分布式文件系统确定模块,用于采用所述集群统一入口网协IP和所述集群统一服务端口号,在分布式文件系统集群中确定所述需要下载的文件所对应的分布式文件系统;
路径转换请求信息发送模块,用于对所述分布式文件系统发送所述路径转换请求信息;
真实文件路径生成模块,用于在所述分布式文件系统接收到所述路径转换请求信息时,采用所述路径映射服务器根据所述逻辑文件路径生成真实文件路径;
下载的文件获取模块,用于根据所述真实文件路径获取所述需要下载的文件。
7.根据权利要求6所述的装置,其特征在于,所述路径信息包括全局唯一的标识符ID,所述软件开发工具包具有应用程序编程接口,所述路径信息对应数据获取模块包括:
路径信息对应数据获取子模块,用于采用所述软件开发工具包将所述全局唯一的标识符ID发送至所述应用程序编程接口,并经由所述应用程序编程接口生成与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径。
8.根据权利要求7所述的装置,其特征在于,所述分布式文件系统集群包括上传文件数据库,所述路径信息对应数据获取子模块包括:
路径信息对应数据获取单元,用于采用所述应用程序编程接口根据所述全局唯一的标识符ID,在所述上传文件数据库查找出与所述路径信息相对应的集群统一入口网协IP、集群统一服务端口号、逻辑文件路径。
9.根据权利要求6所述的装置,其特征在于,所述分布式文件系统集群具有存储系统服务端,所述下载的文件获取模块包括:
下载请求生成子模块,用于采用所述真实文件路径生成下载请求;
下载请求发送子模块,用于将所述下载请求发送至所述存储系统服务端;
文件发送模块子模块,用于在所述存储系统服务端收到所述下载请求时,根据所述下载请求读取所述需要下载的文件,并将所述需要下载的文件发送至所述客户端。
10.根据权利要求9所述的装置,其特征在于,所述分布式文件系统集群具有存储器,其中,所述存储器用于存储所述需要下载的文件,所述下载请求包括,存储器网协IP、存储器端口号所述下载请求发送子模块包括:
存储器确定单元,用于采用所述存储器网协IP、存储器端口号确定与所述需要下载的文件相对应的所述存储器;
文件读取单元,用于从所述存储器中读取所述需要下载的文件。
CN201710751920.0A 2017-08-28 2017-08-28 一种在分布式文件系统集群中获取文件的方法和装置 Active CN107566477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710751920.0A CN107566477B (zh) 2017-08-28 2017-08-28 一种在分布式文件系统集群中获取文件的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710751920.0A CN107566477B (zh) 2017-08-28 2017-08-28 一种在分布式文件系统集群中获取文件的方法和装置

Publications (2)

Publication Number Publication Date
CN107566477A true CN107566477A (zh) 2018-01-09
CN107566477B CN107566477B (zh) 2021-06-22

Family

ID=60977528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710751920.0A Active CN107566477B (zh) 2017-08-28 2017-08-28 一种在分布式文件系统集群中获取文件的方法和装置

Country Status (1)

Country Link
CN (1) CN107566477B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040337A (zh) * 2018-07-19 2018-12-18 网宿科技股份有限公司 一种信息查询方法、边缘服务器及信息查询系统
CN110677441A (zh) * 2018-07-02 2020-01-10 中国移动通信集团有限公司 一种对象存储集群的访问方法及装置
CN110839001A (zh) * 2018-08-15 2020-02-25 中国移动通信集团重庆有限公司 批量文件的处理装置、方法、设备和介质
CN111064798A (zh) * 2019-12-25 2020-04-24 深圳市网心科技有限公司 节点入网方法、装置、客户端节点及存储介质
CN111400251A (zh) * 2020-03-17 2020-07-10 深圳市卡牛科技有限公司 一种基于网关的文件访问方法、装置、服务器和存储介质
CN111600957A (zh) * 2020-05-20 2020-08-28 中国工商银行股份有限公司 文件传输方法、装置、系统和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595782A (zh) * 2013-11-11 2014-02-19 中安消技术有限公司 一种分布式存储系统及其下载文件的方法
CN103647797A (zh) * 2013-11-15 2014-03-19 北京邮电大学 一种分布式文件系统及其数据访问方法
CN104580268A (zh) * 2013-10-09 2015-04-29 南京中兴新软件有限责任公司 文件数据的传输方法及装置
EP3076307A1 (en) * 2013-11-25 2016-10-05 ZTE Corporation Method and device for responding to a request, and distributed file system
CN106791889A (zh) * 2016-12-27 2017-05-31 北京奇艺世纪科技有限公司 一种视频处理方法及系统、分布式对象存储系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580268A (zh) * 2013-10-09 2015-04-29 南京中兴新软件有限责任公司 文件数据的传输方法及装置
CN103595782A (zh) * 2013-11-11 2014-02-19 中安消技术有限公司 一种分布式存储系统及其下载文件的方法
CN103647797A (zh) * 2013-11-15 2014-03-19 北京邮电大学 一种分布式文件系统及其数据访问方法
EP3076307A1 (en) * 2013-11-25 2016-10-05 ZTE Corporation Method and device for responding to a request, and distributed file system
CN106791889A (zh) * 2016-12-27 2017-05-31 北京奇艺世纪科技有限公司 一种视频处理方法及系统、分布式对象存储系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677441A (zh) * 2018-07-02 2020-01-10 中国移动通信集团有限公司 一种对象存储集群的访问方法及装置
CN109040337A (zh) * 2018-07-19 2018-12-18 网宿科技股份有限公司 一种信息查询方法、边缘服务器及信息查询系统
CN109040337B (zh) * 2018-07-19 2021-06-04 网宿科技股份有限公司 一种信息查询方法、边缘服务器及信息查询系统
CN110839001A (zh) * 2018-08-15 2020-02-25 中国移动通信集团重庆有限公司 批量文件的处理装置、方法、设备和介质
CN111064798A (zh) * 2019-12-25 2020-04-24 深圳市网心科技有限公司 节点入网方法、装置、客户端节点及存储介质
CN111064798B (zh) * 2019-12-25 2022-10-21 深圳市网心科技有限公司 节点入网方法、装置、客户端节点及存储介质
CN111400251A (zh) * 2020-03-17 2020-07-10 深圳市卡牛科技有限公司 一种基于网关的文件访问方法、装置、服务器和存储介质
CN111600957A (zh) * 2020-05-20 2020-08-28 中国工商银行股份有限公司 文件传输方法、装置、系统和电子设备

Also Published As

Publication number Publication date
CN107566477B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN107566477A (zh) 一种在分布式文件系统集群中获取文件的方法和装置
US9785476B2 (en) Endpoint management system and virtual compute system
US11010217B2 (en) Application programming interfaces in a multi-server environment
CN106791889B (zh) 一种视频处理方法及系统、分布式对象存储系统
US20190079814A1 (en) Adapting legacy endpoints to modern apis
CN103780676B (zh) 一种文件传输方法、设备和系统
US9529933B2 (en) Dynamic assignment of business logic based on schema mapping metadata
CN108184170A (zh) 一种数据处理方法及装置
EP2778968A1 (en) Mobile telecommunication device remote access to cloud-based or virtualized database systems
US11632411B2 (en) Method and apparatus for cascaded multi-input content preparation templates for 5G networks
US20130304431A1 (en) Automatically asessing maturity of custom application for standard-governed computing environment
CN109962972A (zh) 一种离线包重组方法及系统
US9537948B2 (en) Method and apparatus for chunk-level sharing-based open virtualization format (OVF) package distribution through dependency analysis
CN114365467B (zh) 用于确定3gpp flus接收能力的方法、装置和计算机可读介质
CN115349117B (zh) 用于多租户无服务器环境的多级高速缓存网格系统
CN110311980B (zh) 一种数据下载方法及装置
CN104717254B (zh) 文件访问的方法和云网关
CN114124766A (zh) 基于模拟数据的测试方法及装置
CN111984616A (zh) 一种更新共享文件的方法、装置和系统
CN113342837B (zh) 数据发送方法、装置、电子设备和计算机可读介质
US11496537B2 (en) Method and apparatus for reverse address mapping when using content preparation in 5G networks
CN109600407A (zh) 基于虚拟服务器的请求分发方法和装置
US8874752B2 (en) Provision of other than 1:1 resource mapping
CN117827953A (zh) 一种基于分布式服务的数据融合方法、系统、设备及介质
JP2004355575A (ja) コンテンツ自動配置方法及びそのシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant