CN106294842A - 一种数据交互方法、平台及分布式文件系统 - Google Patents
一种数据交互方法、平台及分布式文件系统 Download PDFInfo
- Publication number
- CN106294842A CN106294842A CN201610694719.9A CN201610694719A CN106294842A CN 106294842 A CN106294842 A CN 106294842A CN 201610694719 A CN201610694719 A CN 201610694719A CN 106294842 A CN106294842 A CN 106294842A
- Authority
- CN
- China
- Prior art keywords
- file system
- distributed file
- access request
- data access
- samba
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000002452 interceptive effect Effects 0.000 title abstract 2
- 241001362551 Samba Species 0.000 claims abstract description 75
- 230000003993 interaction Effects 0.000 claims abstract description 27
- 238000009434 installation Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种分布式文件系统的数据交互方法，包括：预先将samba服务器安装到分布式文件系统的集群节点上，当获取到samba客户端向分布式文件系统上的目标集群节点发送的数据访问请求，则将数据访问请求转发至目标集群节点上的samba服务器，利用该samba服务器对数据访问请求进行响应。本申请预先将samba服务器安装到集群节点，当samba客户端向某一集群节点发送数据访问请求后，则直接利用该集群节点上的samba服务器对数据访问请求进行响应，而无需借助内核态的FUSE模块和用户态的Cluster_FUSE模块，从而可大幅缩短IO路径。另外，本申请还相应公开一种数据交互平台以及分布式文件系统。
Description
技术领域
本发明涉及文件系统技术领域，特别涉及一种数据交互方法、平台及分布式文件系统。
背景技术
在信息爆炸时代中，人们可以获取的数据成指数倍增长。单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都无法适应当前的实际需要。分布式文件系统可以有效解决数据的存储和管理难题，它能够将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。
CIFS(Common Internet File System)是一个新提出的协议，它使程序可以访问远程Internet计算机上的文件并要求该计算机提供服务。CIFS使用客户端/服务器模式。客户程序请求远在服务器上的服务器程序为它提供服务。服务器获得请求并返回响应。
目前分布式文件系统使用CIFS协议的方式是将CIFS协议放在网关节点上，通过网关节点层将客户端和集群文件系统联系起来，进行数据读写。这种方式下，samba模块(samba，即Server Messages Block，信息服务块)与内核态的VFS模块(VFS，即VirtualFile System，虚拟文件系统)交互，然后由VFS模块转接到内核态的FUSE模块(FUSE，即Filesystem in User Space，用户空间文件系统)，再由FUSE模块到用户态的Cluster_FUSE模块，最后有Cluster_FUSE模块(Cluster_FUSE，即集群文件系统)完成和集群的交互。由上可见，现有技术中分布式文件系统使用CIFS协议的方式需要很长的IO路径，增加了整个数据读写过程的时延。
综上所述可以看出，如何在分布式文件系统使用CIFS协议的过程中缩短IO路径是目前有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种数据交互方法、平台及分布式文件系统，在分布式文件系统使用CIFS协议的过程中缩短了IO路径。其具体方案如下：
一种分布式文件系统的数据交互方法，包括：
预先将samba服务器安装到分布式文件系统的集群节点上；
当获取到samba客户端向所述分布式文件系统上的目标集群节点发送的数据访问请求，则将所述数据访问请求转发至所述目标集群节点上的samba服务器，利用该samba服务器对所述数据访问请求进行响应。
优选的，所述将samba服务器安装到分布式文件系统的集群节点上的过程，包括：
通过将SMB协议包安装至集群节点上的方式，将samba服务器安装至所述分布式文件系统的集群节点上。
优选的，所述SMB协议包为CIFS协议包。
优选的，所述将所述数据访问请求转发至所述目标集群节点上的samba服务器的过程，包括：
通过内核态的VFS组件将所述数据访问请求发送至所述目标集群节点对应的集群文件系统接口；
通过所述集群文件系统接口将所述数据访问请求发送至所述目标集群节点上的samba服务器。
本发明还公开了一种分布式文件系统的数据交互平台，包括：
服务器安装模块，用于预先将samba服务器安装到分布式文件系统的集群节点上；
请求转发模块，用于当获取到samba客户端向所述分布式文件系统上的目标集群节点发送的数据访问请求，则将所述数据访问请求转发至所述目标集群节点上的samba服务器；
请求响应模块，用于利用所述目标集群节点上的samba服务器对所述数据访问请求进行响应。
优选的，所述服务器安装模块，具体用于通过将SMB协议包安装至集群节点上的方式，将samba服务器安装至所述分布式文件系统的集群节点上。
优选的，所述SMB协议包为CIFS协议包。
优选的，所述请求转发模块包括：
第一发送单元，用于通过内核态的VFS组件将所述数据访问请求发送至所述目标集群节点对应的集群文件系统接口；
第二发送单元，用于通过所述集群文件系统接口将所述数据访问请求发送至所述目标集群节点上的samba服务器。
进一步的，本发明还公开了一种分布式文件系统，包括前述公开的数据交互平台。
本发明中，数据交互方法，包括：预先将samba服务器安装到分布式文件系统的集群节点上，当获取到samba客户端向分布式文件系统上的目标集群节点发送的数据访问请求，则将数据访问请求转发至目标集群节点上的samba服务器，利用该samba服务器对数据访问请求进行响应。可见，本发明通过预先将samba服务器安装到集群节点上，而不是安装到网关节点上，由此可以省去网关节点，降低了硬件成本；当samba客户端向某一集群节点发送数据访问请求后，则直接利用该集群节点上的samba服务器对上述数据访问请求进行响应，而无需借助内核态的FUSE模块和用户态的Cluster_FUSE模块，从而可大幅缩短IO路径。也即，本发明在分布式文件系统使用CIFS协议的过程中大幅缩短了IO路径，减少了整个数据读写过程的时延。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种分布式文件系统的数据交互方法流程图；
图2为本发明实施例公开的一种分布式文件系统的数据交互平台结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种分布式文件系统的数据交互方法，参见图1所示，该方法包括：
步骤S11：预先将samba服务器安装到分布式文件系统的集群节点上；
步骤S12：当获取到samba客户端向分布式文件系统上的目标集群节点发送的数据访问请求，则将数据访问请求转发至目标集群节点上的samba服务器，利用该samba服务器对数据访问请求进行响应。
可以理解的是，上述目标集群节点是上述分布式文件系统中的集群节点，该集群节点上预先安装了samba服务器。当samba客户端向上述目标集群节点发送数据访问请求后，可直接利用上述目标集群节点上的samba服务器对上述数据访问请求进行响应。
可见，本实施例并不选择在网关节点上安装samba服务器，而是在集群节点上安装samba服务器，当获取到数据访问请求后，可直接利用集群节点上的samba服务器对数据访问请求进行响应，这样既省去了网关节点，也无需借助内核态的FUSE模块和用户态的Cluster_FUSE模块，从而既降低了硬件成本，也实现了大幅缩短IO路径的目的。
本发明实施例中，数据交互方法，包括：预先将samba服务器安装到分布式文件系统的集群节点上，当获取到samba客户端向分布式文件系统上的目标集群节点发送的数据访问请求，则将数据访问请求转发至目标集群节点上的samba服务器，利用该samba服务器对数据访问请求进行响应。可见，本发明实施例通过预先将samba服务器安装到集群节点上，而不是安装到网关节点上，由此可以省去网关节点，降低了硬件成本；当samba客户端向某一集群节点发送数据访问请求后，则直接利用该集群节点上的samba服务器对上述数据访问请求进行响应，而无需借助内核态的FUSE模块和用户态的Cluster_FUSE模块，从而可大幅缩短IO路径。也即，本发明实施例在分布式文件系统使用CIFS协议的过程中大幅缩短了IO路径，减少了整个数据读写过程的时延。
本发明实施例公开了一种具体的分布式文件系统的数据交互方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
上一实施例步骤S11中，需要预先将samba服务器安装到分布式文件系统的集群节点上。本实施例中，将samba服务器安装到分布式文件系统的集群节点上的过程，具体包括：通过将SMB协议包安装至集群节点上的方式，将samba服务器安装至分布式文件系统的集群节点上。
本实施例中，上述SMB协议包具体为CIFS协议包。
上一实施例步骤S12中，将数据访问请求转发至目标集群节点上的samba服务器的过程，具体包括下面步骤S121和122；其中，
步骤S121：通过内核态的VFS组件将数据访问请求发送至目标集群节点对应的集群文件系统接口(即Cluster_FS API)；
步骤S122：通过集群文件系统接口将数据访问请求发送至目标集群节点上的samba服务器。
也即，本发明实施例中，samba客户端通过内核态的VFS组件与集群节点对应的集群文件系统接口进行连接，以将数据访问请求发送至集群节点上的samba服务器，中间省去了内核态的FUSE模块和用户态的Cluster_FUSE模块，降低了IO时延。
相应的，本发明实施例还公开了一种分布式文件系统的数据交互平台，参见图2所示，该平台包括：
服务器安装模块21，用于预先将samba服务器安装到分布式文件系统的集群节点上；
请求转发模块22，用于当获取到samba客户端向分布式文件系统上的目标集群节点发送的数据访问请求，则将数据访问请求转发至目标集群节点上的samba服务器；
请求响应模块23，用于利用目标集群节点上的samba服务器对数据访问请求进行响应。
可见，本发明实施例通过预先将samba服务器安装到集群节点上，而不是安装到网关节点上，由此可以省去网关节点，降低了硬件成本；当samba客户端向某一集群节点发送数据访问请求后，则直接利用该集群节点上的samba服务器对上述数据访问请求进行响应，而无需借助内核态的FUSE模块和用户态的Cluster_FUSE模块，从而可大幅缩短IO路径。也即，本发明实施例在分布式文件系统使用CIFS协议的过程中大幅缩短了IO路径，减少了整个数据读写过程的时延。
其中，上述服务器安装模块具体用于通过将SMB协议包安装至集群节点上的方式，将samba服务器安装至分布式文件系统的集群节点上。
具体的，上述SMB协议包为CIFS协议包。
另外，上述请求转发模块包括第一发送单元和第二发送单元；其中，
第一发送单元，用于通过内核态的VFS组件将数据访问请求发送至目标集群节点对应的集群文件系统接口；
第二发送单元，用于通过集群文件系统接口将数据访问请求发送至目标集群节点上的samba服务器。
进一步的，本发明还公开了一种分布式文件系统，包括前述实施例中公开的数据交互平台。关于该数据交互平台的具体构造可参考前述实施例中的相关内容，在此不再进行赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种数据交互方法、平台及分布式文件系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种分布式文件系统的数据交互方法，其特征在于，包括：
预先将samba服务器安装到分布式文件系统的集群节点上；
当获取到samba客户端向所述分布式文件系统上的目标集群节点发送的数据访问请求，则将所述数据访问请求转发至所述目标集群节点上的samba服务器，利用该samba服务器对所述数据访问请求进行响应。
2.根据权利要求1所述的分布式文件系统的数据交互方法，其特征在于，所述将samba服务器安装到分布式文件系统的集群节点上的过程，包括：
通过将SMB协议包安装至集群节点上的方式，将samba服务器安装至所述分布式文件系统的集群节点上。
3.根据权利要求2所述的分布式文件系统的数据交互方法，其特征在于，所述SMB协议包为CIFS协议包。
4.根据权利要求1至3任一项所述的分布式文件系统的数据交互方法，其特征在于，所述将所述数据访问请求转发至所述目标集群节点上的samba服务器的过程，包括：
通过内核态的VFS组件将所述数据访问请求发送至所述目标集群节点对应的集群文件系统接口；
通过所述集群文件系统接口将所述数据访问请求发送至所述目标集群节点上的samba服务器。
5.一种分布式文件系统的数据交互平台，其特征在于，包括：
服务器安装模块，用于预先将samba服务器安装到分布式文件系统的集群节点上；
请求转发模块，用于当获取到samba客户端向所述分布式文件系统上的目标集群节点发送的数据访问请求，则将所述数据访问请求转发至所述目标集群节点上的samba服务器；
请求响应模块，用于利用所述目标集群节点上的samba服务器对所述数据访问请求进行响应。
6.根据权利要求5所述的分布式文件系统的数据交互平台，其特征在于，所述服务器安装模块，具体用于通过将SMB协议包安装至集群节点上的方式，将samba服务器安装至所述分布式文件系统的集群节点上。
7.根据权利要求6所述的分布式文件系统的数据交互平台，其特征在于，所述SMB协议包为CIFS协议包。
8.根据权利要求5至7任一项所述的分布式文件系统的数据交互平台，其特征在于，所述请求转发模块包括：
第一发送单元，用于通过内核态的VFS组件将所述数据访问请求发送至所述目标集群节点对应的集群文件系统接口；
第二发送单元，用于通过所述集群文件系统接口将所述数据访问请求发送至所述目标集群节点上的samba服务器。
9.一种分布式文件系统，其特征在于，包括如权利要求5至8任一项所述的数据交互平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610694719.9A CN106294842A (zh) | 2016-08-19 | 2016-08-19 | 一种数据交互方法、平台及分布式文件系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610694719.9A CN106294842A (zh) | 2016-08-19 | 2016-08-19 | 一种数据交互方法、平台及分布式文件系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106294842A true CN106294842A (zh) | 2017-01-04 |
Family
ID=57661776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610694719.9A Pending CN106294842A (zh) | 2016-08-19 | 2016-08-19 | 一种数据交互方法、平台及分布式文件系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106294842A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536795A (zh) * | 2018-04-02 | 2018-09-14 | 深圳市华傲数据技术有限公司 | 一种提高图数据交互效率的方法、介质以及设备 |
| CN108769151A (zh) * | 2018-05-15 | 2018-11-06 | 新华三技术有限公司 | 一种业务处理方法和装置 |
| CN109271264A (zh) * | 2018-08-30 | 2019-01-25 | 郑州云海信息技术有限公司 | 一种通信连接建立方法及装置 |
| CN109446242A (zh) * | 2018-11-12 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种时延信息查询方法及装置 |
| CN113973137A (zh) * | 2020-07-23 | 2022-01-25 | 戴尔产品有限公司 | 用于使用数据访问网关和投标计数器优化对数据集群的数据节点的访问的方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599991A (zh) * | 2009-07-07 | 2009-12-09 | 浪潮电子信息产业股份有限公司 | 一种基于高速通信协议的提升网络文件系统性能的方法 |
| CN102339283A (zh) * | 2010-07-20 | 2012-02-01 | 中兴通讯股份有限公司 | 集群文件系统访问控制方法及集群节点 |
| CN103647797A (zh) * | 2013-11-15 | 2014-03-19 | 北京邮电大学 | 一种分布式文件系统及其数据访问方法 |
| US20150120695A1 (en) * | 2013-10-31 | 2015-04-30 | Tata Consultancy Services Limited | Indexing of file in a hadoop cluster |
| CN104618486A (zh) * | 2015-02-06 | 2015-05-13 | 浪潮电子信息产业股份有限公司 | 一种统一管理集群存储系统多平台用户的方法 |
-
2016
- 2016-08-19 CN CN201610694719.9A patent/CN106294842A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599991A (zh) * | 2009-07-07 | 2009-12-09 | 浪潮电子信息产业股份有限公司 | 一种基于高速通信协议的提升网络文件系统性能的方法 |
| CN102339283A (zh) * | 2010-07-20 | 2012-02-01 | 中兴通讯股份有限公司 | 集群文件系统访问控制方法及集群节点 |
| US20150120695A1 (en) * | 2013-10-31 | 2015-04-30 | Tata Consultancy Services Limited | Indexing of file in a hadoop cluster |
| CN103647797A (zh) * | 2013-11-15 | 2014-03-19 | 北京邮电大学 | 一种分布式文件系统及其数据访问方法 |
| CN104618486A (zh) * | 2015-02-06 | 2015-05-13 | 浪潮电子信息产业股份有限公司 | 一种统一管理集群存储系统多平台用户的方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536795A (zh) * | 2018-04-02 | 2018-09-14 | 深圳市华傲数据技术有限公司 | 一种提高图数据交互效率的方法、介质以及设备 |
| CN108769151A (zh) * | 2018-05-15 | 2018-11-06 | 新华三技术有限公司 | 一种业务处理方法和装置 |
| CN109271264A (zh) * | 2018-08-30 | 2019-01-25 | 郑州云海信息技术有限公司 | 一种通信连接建立方法及装置 |
| CN109446242A (zh) * | 2018-11-12 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种时延信息查询方法及装置 |
| CN113973137A (zh) * | 2020-07-23 | 2022-01-25 | 戴尔产品有限公司 | 用于使用数据访问网关和投标计数器优化对数据集群的数据节点的访问的方法和系统 |
| CN113973137B (zh) * | 2020-07-23 | 2024-05-31 | 戴尔产品有限公司 | 用于使用数据访问网关和投标计数器优化对数据集群的数据节点的访问的方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11734125B2 (en) | Tiered cloud storage for different availability and performance requirements | |
| AU2021240176B2 (en) | System, method and computer-readable storage medium for customizable event-triggered computation at edge locations | |
| US12069147B2 (en) | Customizable event-triggered computation at edge locations | |
| CN106294842A (zh) | 一种数据交互方法、平台及分布式文件系统 | |
| WO2019137320A1 (zh) | 资源调度方法、装置、设备和系统 | |
| CN103748548A (zh) | 存储网关激活过程 | |
| CN107797767A (zh) | 一种基于容器技术部署分布式存储系统及其存储方法 | |
| US20170318099A1 (en) | Method and system for processing tasks in a cloud service | |
| US11726953B2 (en) | Synchronizing storage policies of objects migrated to cloud storage | |
| US20170153909A1 (en) | Methods and Devices for Acquiring Data Using Virtual Machine and Host Machine | |
| CN107888666A (zh) | 一种跨地域数据存储系统以及数据同步方法和装置 | |
| CN112099991A (zh) | 数据备份及访问源数据的方法、装置、系统、存储介质 | |
| JP2022550401A (ja) | データのアップロード方法、システム、装置及び電子機器 | |
| CN109729189A (zh) | 用于配置域名的方法和装置 | |
| CN110633046A (zh) | 一种分布式系统的存储方法、装置、存储设备及存储介质 | |
| US10545667B1 (en) | Dynamic data partitioning for stateless request routing | |
| CN111225003A (zh) | 一种nfs节点配置方法和装置 | |
| CN113885797B (zh) | 一种数据存储方法、装置、设备及存储介质 | |
| CN101834767B (zh) | 访问家庭存储器或互联网存储器的方法和设备 | |
| CN110968259A (zh) | 分步式对象存储系统、对象储存方法及存储介质 | |
| CN105022779A (zh) | 一种利用Filesystem API实现HDFS文件存取方法 | |
| US8874726B1 (en) | Automated load balancing | |
| KR20120073799A (ko) | 클라우드 스토리지 기반의 데이터 동기화 및 서비스 제공 장치와 방법 | |
| CN111488324A (zh) | 一种基于消息中间件的分布式网络文件系统及其工作方法 | |
| US12038946B1 (en) | Minimizing connection loss when changing database query engine versions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170104 |