CN105187465B - 一种文件的共享方法、装置及系统 - Google Patents

一种文件的共享方法、装置及系统 Download PDF

Info

Publication number
CN105187465B
CN105187465B CN201410280389.XA CN201410280389A CN105187465B CN 105187465 B CN105187465 B CN 105187465B CN 201410280389 A CN201410280389 A CN 201410280389A CN 105187465 B CN105187465 B CN 105187465B
Authority
CN
China
Prior art keywords
cluster
node
host node
current secondary
secondary cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410280389.XA
Other languages
English (en)
Other versions
CN105187465A (zh
Inventor
曾经纬
贝振东
喻之斌
徐文星
须成忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201410280389.XA priority Critical patent/CN105187465B/zh
Publication of CN105187465A publication Critical patent/CN105187465A/zh
Application granted granted Critical
Publication of CN105187465B publication Critical patent/CN105187465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明适用于网络文件系统领域，提供了一种文件的共享方法、装置及系统，所述方法包括：根据集群的路由信息将集群划分为至少两个次级集群；从每个次级集群中选取一个节点作为主节点；在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。本发明，将一个大的集群分成多个次级集群，然后由各个次级集群的主节点将获取到的文件分享给其所在次级集群的从节点，能够使得文件共享在一定程度上实现并行化，从而提高文件共享的效率。

Description

一种文件的共享方法、装置及系统
技术领域
本发明属于网络文件系统领域，尤其涉及一种文件的共享方法、装置及系统。
背景技术
网络文件系统(Network File System，NFS)作为一个常用的文件共享系统，在集群中得到了广泛的应用。
但是，NFS处理高性能计算一直不够理想。高性能计算涉及到的数据文件非常庞大，并且NFS节点的数量可能达到几千台。当NFS节点规模较大时，因为NFS服务器的局限性，比如带宽、存储容量、处理速度，会限制总体共享文件的性能。
发明内容
本发明实施例提供了一种文件的共享方法、装置及系统，旨在解决现有技术提供的文件的共享方法，使得集群内部的文件共享速度很慢的问题。
一方面，提供一种文件的共享方法，所述方法包括：
根据集群的路由信息将集群划分为至少两个次级集群；
从每个次级集群中选取一个节点作为主节点；
在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。
进一步地，在所述根据集群的路由信息将集群划分为至少两个次级集群之后，还包括：
将次级集群划分为至少两个子集群；
在所述从每个次级集群中选取一个节点作为主节点之后，还包括：
在当前次级集群具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群中的主节点，先由当前次级集群的主节点将从数据节点获取的文件发送给各个子集群的主节点，再由各个子集群的主节点将所述文件发送给各个子集群的从节点。
进一步地，所述路由信息包括集群中节点的分布情况信息和相邻节点间的传输带宽信息；
根据相邻节点间的传输带宽信息从每个次级集群中选取一个节点作为主节点。
根据集群的路由信息将集群划分为至少两个次级集群，在所述在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点之后，或者，
在所述在当前次级集群具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群的主节点，先由当前次级集群的主节点将从数据节点获取的文件发送给各个子集群的主节点，再由各个子集群的主节点将所述文件发送给各个子群的从节点之后，所述方法还包括：
断开各主节点与从节点之间的NFS连接。
另一方面，提供一种文件的共享装置，所述装置包括：
第一集群划分单元，用于根据集群的路由信息将集群划分为至少两个次级集群；
主节点确定单元，用于从每个次级集群中选取一个节点作为主节点；
第一文件共享单元，用于在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。
进一步地，所述装置还包括：
第二集群划分单元，用于将次级集群划分为至少两个子集群；
第二文件共享单元，用于在当前次级集群具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群中的主节点，先由当前次级集群的主节点将从数据节点获取的文件发送给各个子集群的主节点，再由各个子集群的主节点将所述文件发送给各个子集群的从节点。
进一步地，所述路由信息包括集群中节点的分布情况信息和相邻节点间的传输带宽信息；
所述主节点确定单元根据相邻节点间的传输带宽信息从每个次级集群中选取一个节点作为主节点。
进一步地，所述装置还包括：
连接释放单元，用于断开各主节点与从节点之间的NFS连接。
又一方面，提供一种文件的共享系统，所述系统包括集群，所述系统还包括与所述集群连接的集群控制器，所述集群控制器包括如上所述的文件的共享装置。
在本发明实施例，将一个大的集群分成多个次级集群，然后由各个次级集群的主节点将获取到的文件分享给其所在次级集群的从节点，能够使得文件共享在一定程度上实现并行化，从而提高文件共享的效率。
附图说明
图1是本发明实施例一提供的文件的共享方法的实现流程图；
图2是本发明实施例二提供的文件的共享装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明实施例中，根据集群的路由信息将集群划分为至少两个次级集群；从每个次级集群中选取一个节点作为主节点；在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。
以下结合具体实施例对本发明的实现进行详细描述：
实施例一
图1示出了本发明实施例一提供的文件的共享方法的实现流程，详述如下：
在步骤S101中，根据集群的路由信息将集群划分为至少两个次级集群。
在本实施例中，集群控制器根据集群的路由信息，将集群划分为若干个次级集群。
其中，路由信息中主要包含了集群中节点的分布情况信息和相邻节点间的传输带宽信息。
具体的，根据集群中节点的分布情况，进行集群的划分，使得划分后的各个次级集群中的节点的数目尽量均衡。
具体的，进行集群划分时，还要充分考虑集群中相邻节点的传输带宽，也就是相邻节点之间数据传输速度的最大值，尽量使集群中相邻节点之间的传输带宽较大，这样便于以后的数据共享。
优选地，进行集群的划分时，如果次级集群仍然比较庞大，则可以对次级集群再进行二次集群划分，将次级集群划分成若干个子集群。
在步骤S102中，从每个次级集群中选取一个节点作为主节点。
在本实施例中，集群控制器读取次级集群中相邻节点间的传输带宽信息，从中选取一个与其余节点之间的传输带宽最大的节点作为次级集群中的主节点。
选取与其余节点之间的传输带宽最大的节点作为次级集群的主节点，能够使主节点快速的发送文件至主节点所在的次级集群的从节点，提高集群内部的文件共享速度。
在步骤S103中，在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。
在本实施例中，集群控制器可以依次或者同时判断每个次级集群是否具有子集群，如果不具有，则建立当前次级集群的主节点与当前次级集群中的从节点之间的NFS连接，控制当前次级集群中的主节点，由当前次级集群中的主节点将获取的文件发送给其所在次级集群中的从节点。
由于各个次级集群中的主节点可以同时发送文件至各自所在的次级集群的从节点，实现了文件的传输一定程度上的并行化，从而提高了文件共享的效率。
优选地，在当前次级集群具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群中的主节点，先由当前次级集群的主节点将从数据节点获取的文件发送给各个子集群的主节点，再由各个子集群的主节点将所述文件发送给各个子集群的从节点。
具体的，集群控制器可以依次或者同时判断每个次级集群是否具有子集群，如果具有，则控制当前次级集群中的主节点，先由当前次级集群中的主节点将获取的文件发送给各个子集群的主节点，再由各个子群的主节点将所述文件发送给各个子群的从节点。
优选地，在集群中的节点之间共享文件结束之后，集群控制器断开各主节点与从节点之间的NFS连接，进行资源的回收。因为不同的共享需求，会适当的改变NFS的共享策略。比如，有时候要把数据共享到集群所有的节点，有时候把数据共享到集群的部分节点，共享的目标不同，自然会要改变共享策略，所以需要将以前的共享策略中建立的NFS连接断开，而重新建立新的NFS连接。
需要说明的是，当前次级集群中的从节点指的是当前次级集群中除主节点和数据节点以外的所有节点或者部分节点。
本实施例，将一个大的集群分成多个次级集群，然后由各个次级集群的主节点将获取到的文件分享给其所在次级集群的从节点，能够使得文件共享在一定程度上实现并行化，从而提高文件共享的效率。并且，选取的主节点是根据次级集群中相邻节点间的传输带宽信息，从次级集群的节点中选取的一个与其余节点之间的传输带宽最大的节点，通过该主节点发送文件至从节点，可以最大限度的利用网络带宽。适用于集群中的大规模节点处于同一网段，每个节点都是互联互通的场景下。
本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。
实施例二
图2示出了本发明实施例二提供的文件的共享装置的具体结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。该文件的共享装置可以是内置于集群控制器中的软件单元、硬件单元或者软硬件结合的单元。并且，该集群控制器可以和集群连接，与集群组成一个文件的共享系统，控制集群中的相应主节点，由主节点将获取到的文件发送给从节点，从而实现文件的共享。具体的，所述文件的共享装置2包括：第一集群划分单元21、主节点确定单元22和第一文件共享单元23。
其中，第一集群划分单元21，用于根据集群的路由信息将集群划分为至少两个次级集群；
主节点确定单元22，用于从每个次级集群中选取一个节点作为主节点；
第一文件共享单元23，用于在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。
优选地，所述装置2还包括：
第二集群划分单元，用于将次级集群划分为至少两个子集群；
第二文件共享单元，用于在当前次级集群具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群中的主节点，先由当前次级集群的主节点将从数据节点获取的文件发送给各个子集群的主节点，再由各个子集群的主节点将所述文件发送给各个子集群的从节点。
具体的，所述路由信息包括集群中节点的分布情况信息和相邻节点间的传输带宽信息；
所述主节点确定单元22根据相邻节点间的传输带宽信息从每个次级集群中选取一个节点作为主节点。
优选地，所述装置2还包括：
连接释放单元，用于断开各主节点与从节点之间的NFS连接。
本发明实施例提供的文件的共享装置可以应用在前述对应的方法实施例一中，详情参见上述实施例一的描述，在此不再赘述。
值得注意的是，上述装置实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种文件的共享方法，其特征在于，所述方法包括：
根据共享需求确定NFS的共享策略和目标节点，根据所述共享策略和所述目标节点确定集群的路由信息，根据所述集群的路由信息将集群划分为至少两个次级集群；
从每个次级集群中选取一个与该次级集群中其余节点之间的传输带宽最大的节点作为主节点；
在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。
2.如权利要求1所述的方法，其特征在于，在所述根据集群的路由信息将集群划分为至少两个次级集群之后，还包括：
将次级集群划分为至少两个子集群；
在所述从每个次级集群中选取一个节点作为主节点之后，还包括：
在当前次级集群具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群中的主节点，先由当前次级集群的主节点将从数据节点获取的文件发送给各个子集群的主节点，再由各个子集群的主节点将所述文件发送给各个子集群的从节点。
3.如权利要求1或2所述的方法，其特征在于，所述路由信息包括集群中节点的分布情况信息和相邻节点间的传输带宽信息；
根据相邻节点间的传输带宽信息从每个次级集群中选取一个节点作为主节点。
4.如权利要求1或2所述的方法，其特征在于，在所述在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点之后，或者，
在所述在当前次级集群具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群的主节点，先由当前次级集群的主节点将从数据节点获取的文件发送给各个子集群的主节点，再由各个子集群的主节点将所述文件发送给各个子群的从节点之后，所述方法还包括：
断开各主节点与从节点之间的NFS连接。
5.一种文件的共享装置，其特征在于，所述装置包括：
第一集群划分单元，用于根据共享需求确定NFS的共享策略和目标节点，根据所述共享策略和所述目标节点确定集群的路由信息，根据所述集群的路由信息将集群划分为至少两个次级集群；
主节点确定单元，用于从每个次级集群中选取一个与该次级集群中其余节点之间的传输带宽最大的节点作为主节点；
第一文件共享单元，用于在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。
6.如权利要求5所述的装置，其特征在于，所述装置还包括：
第二集群划分单元，用于将次级集群划分为至少两个子集群；
第二文件共享单元，用于在当前次级集群具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群中的主节点，先由当前次级集群的主节点将从数据节点获取的文件发送给各个子集群的主节点，再由各个子集群的主节点将所述文件发送给各个子集群的从节点。
7.如权利要求5或6所述的装置，其特征在于，所述路由信息包括集群中节点的分布情况信息和相邻节点间的传输带宽信息；
所述主节点确定单元根据相邻节点间的传输带宽信息从每个次级集群中选取一个节点作为主节点。
8.如权利要求5或6所述的装置，其特征在于，所述装置还包括：
连接释放单元，用于断开各主节点与从节点之间的NFS连接。
9.一种文件的共享系统，所述系统包括集群，其特征在于，所述系统还包括与所述集群连接的集群控制器，所述集群控制器包括如权利要求5至8任一项所述的文件的共享装置。
CN201410280389.XA 2014-06-20 2014-06-20 一种文件的共享方法、装置及系统 Active CN105187465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410280389.XA CN105187465B (zh) 2014-06-20 2014-06-20 一种文件的共享方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410280389.XA CN105187465B (zh) 2014-06-20 2014-06-20 一种文件的共享方法、装置及系统

Publications (2)

Publication Number Publication Date
CN105187465A CN105187465A (zh) 2015-12-23
CN105187465B true CN105187465B (zh) 2019-03-01

Family

ID=54909309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410280389.XA Active CN105187465B (zh) 2014-06-20 2014-06-20 一种文件的共享方法、装置及系统

Country Status (1)

Country Link
CN (1) CN105187465B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032610B (zh) * 2017-06-08 2024-04-09 杭州海康威视数字技术股份有限公司 一种程序包部署方法、电子设备及分布式系统
CN112054926B (zh) * 2020-08-31 2023-03-10 深圳前海微众银行股份有限公司 集群管理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079869A (zh) * 2006-05-26 2007-11-28 腾讯科技（深圳）有限公司 一种基于分布式的数据同步方法及系统
CN101226557A (zh) * 2008-02-22 2008-07-23 中国科学院软件研究所 一种高效的关联主题模型数据处理方法及其系统
CN102025756A (zh) * 2009-09-09 2011-04-20 中兴通讯股份有限公司 分布式系统及其数据同步方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158788B2 (en) * 2009-12-16 2015-10-13 International Business Machines Corporation Scalable caching of remote file data in a cluster file system
CN103391315B (zh) * 2013-06-27 2016-05-04 杭州东信北邮信息技术有限公司 一种p2p网络文件数据同步方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079869A (zh) * 2006-05-26 2007-11-28 腾讯科技（深圳）有限公司 一种基于分布式的数据同步方法及系统
CN101226557A (zh) * 2008-02-22 2008-07-23 中国科学院软件研究所 一种高效的关联主题模型数据处理方法及其系统
CN102025756A (zh) * 2009-09-09 2011-04-20 中兴通讯股份有限公司 分布式系统及其数据同步方法

Also Published As

Publication number Publication date
CN105187465A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
KR102110592B1 (ko) IoT 컴퓨팅 환경에서의 클라우드와 엣지간의 분산 처리 방법 및 시스템
Chockler et al. Spidercast: a scalable interest-aware overlay for topic-based pub/sub communication
CN101834897B (zh) 一种dht网络负载均衡装置及虚节点划分的方法
US9143452B2 (en) Data processing
CN103873505B (zh) 向云存储服务器离线上传的方法、系统与装置
CN102447636A (zh) 一种数据中心通讯设备的负载分担方法和装置
CN105721354B (zh) 片上网络互联方法及装置
CN103067359A (zh) 一种基于连接复用的提高服务器并发处理能力的系统及方法
CN105187465B (zh) 一种文件的共享方法、装置及系统
Ke et al. Aggregation on the fly: Reducing traffic for big data in the cloud
CN105592165B (zh) 一种连接车内控制器的网络系统
CN108833490A (zh) 一种分布式数据采集系统及其方法
CN105743816A (zh) 一种链路聚合方法及装置
CN102420797A (zh) 一种拓扑映射方法及系统
CN103530247A (zh) 一种基于多服务器节点间总线访问的优先权调配方法
CN105530157B (zh) Afdx网络交换机多个虚拟链路共享信用的架构及方法
CN104219163B (zh) 一种基于动态副本法和虚拟节点法的节点动态前移的负载均衡方法
CN112748996A (zh) 一种非集中式拓扑系统的负载均衡策略方法及系统
CN103457976A (zh) 数据下载方法和系统
CN105554126A (zh) 一种通过cdn加速机制实现多数据中心分布式部署的方法
Zhang et al. Processing geo-dispersed big data in an advanced mapreduce framework
CN103763210B (zh) 一种基于链路聚合的流量负载分担方法和设备
CN109471746A (zh) 一种集群日志的收集方法与系统
CN114490458B (zh) 数据传输方法、芯片、服务器以及存储介质
Zhou et al. An adaptive cloud downloading service

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant