CN107483645A - 一种基于分布式存储系统的网络通信系统和方法 - Google Patents

一种基于分布式存储系统的网络通信系统和方法 Download PDF

Info

Publication number
CN107483645A
CN107483645A CN201710891213.1A CN201710891213A CN107483645A CN 107483645 A CN107483645 A CN 107483645A CN 201710891213 A CN201710891213 A CN 201710891213A CN 107483645 A CN107483645 A CN 107483645A
Authority
CN
China
Prior art keywords
network
cluster
public network
public
ethernet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710891213.1A
Other languages
English (en)
Inventor
马龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710891213.1A priority Critical patent/CN107483645A/zh
Publication of CN107483645A publication Critical patent/CN107483645A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于分布式存储系统的网络通信系统和方法，该系统包括：与各用户节点连接的公共网络，与公共网络连接的存储节点，与各存储节点连接的集群网络；其中，公共网络采用以太网，集群网络采用基于RDMA协议的InfiniBand网络。由于用户节点多为以太网，故公共网络采用以太网以实现更好的兼容性，而集群网络采用基于RDMA协议的InfiniBand网络具有高带宽、低延时和系统扩展性好的特点，故能够提供更高的性能。本系统通过采用上述混合网络通信模式，能够在保证良好兼容性的同时，提供更高的存储性能。

Description

一种基于分布式存储系统的网络通信系统和方法
技术领域
本发明涉及存储技术领域，特别是涉及一种基于分布式存储系统的网络通信系统和方法。
背景技术
InfiniBand(IB)架构是一种支持多并发链接的“转换线缆”技术，其作为I/O技术领域的一种新型体系结构，具有低延时、高带宽的特性。
远程直接内存访问(RDMA，即Remote Direct Memory Access)技术能够通过网络把数据直接传入计算机的存储区，从而消除了外部存储器复制和文本交换操作，解放了内存带宽和CPU周期，可以有效改进应用系统的性能。在IB体系结构之上应用RDMA协议进行消息通信，可以充分利用两者的优势，有效地提高集群通信性能。在分布式存储系统中，网络分为公共网络和集群网络，公共网络用于用户应用和存储对接，集群网络用于存储系统内部交换数据，为了降低时延以及减少中央处理器的负担，目前的高性能存储系统，公共网络和集群网络统一采用RDMA协议的InfiniBand网络实现。但是，虽然该方案能够提供更高的存储性能，但是由于InfiniBand网络需要单独的硬件支持，其兼容性大打折扣。
因此，如何能够使得分布式存储系统能够在保证良好兼容性的同时，也能提供更高的性能，是本领域技术人员目前需要解决的技术问题。
发明内容
本发明的目的是提供一种基于分布式存储系统的网络通信系统和方法，可以使得分布式存储系统能够在保证良好兼容性的同时，也能提供更高的性能。
为解决上述技术问题，本发明提供了如下技术方案：
一种基于分布式存储系统的网络通信系统，包括：与各用户节点连接的公共网络，与所述公共网络连接的存储节点，与各所述存储节点连接的集群网络；
其中，所述公共网络采用以太网，所述集群网络采用基于RDMA协议的InfiniBand网络。
优选地，所述公共网络采用基于TCP/IP协议的以太网。
优选地，各所述存储节点分别设有一个用于支持搭建公共网络的以太网卡和一个用于支持搭建集群网络的IB网卡。
优选地，所述系统包括ms_cluster、ms_public、ms_hbclient、ms_hb_front_server、ms_hb_back_server和ms_objecter共6种信使，其中，ms_public用于处理各所述用户节点发送的消息，其他信使用于处理存储系统的集群内部消息。
一种基于分布式存储系统的网络通信方法，包括：
预先通过以太网搭建公共网络，通过基于RDMA协议的InfiniBand网络搭建集群网络；
通过所述公共网络处理各用户节点和各存储节点之间的通信信息；
通过所述集群网络处理存储系统的集群内的消息。
优选地，所述预先通过以太网搭建公共网络，具体为：
预先通过基于TCP/IP协议的以太网搭建所述公共网络。
优选地，所述通过所述公共网络处理各用户节点和各存储节点之间的通信信息，包括：
通过存储系统中的ms_public信使处理各所述用户节点发送的消息。
优选地，所述通过所述集群网络处理存储系统的集群内的消息，包括：
通过存储系统中的ms_cluster、ms_hbclient、ms_hb_front_server、ms_hb_back_server和ms_objecter信使处理存储系统的集群内的消息。
与现有技术相比，上述技术方案具有以下优点：
本发明所提供的一种基于分布式存储系统的网络通信系统，包括：与各用户节点连接的公共网络，与公共网络连接的存储节点，与各存储节点连接的集群网络；其中，公共网络采用以太网，集群网络采用基于RDMA协议的InfiniBand网络。由于用户节点多为以太网，故公共网络采用以太网以实现更好的兼容性，而集群网络采用基于RDMA协议的InfiniBand网络具有高带宽、低延时和系统扩展性好的特点，故能够提供更高的性能。本系统通过采用上述混合网络通信模式，能够在保证良好兼容性的同时，提供更高的存储性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种具体实施方式所提供的基于分布式存储系统的网络通信系统的拓扑图。
具体实施方式
本发明的核心是提供一种基于分布式存储系统的网络通信系统和方法，可以使得分布式存储系统能够在保证良好兼容性的同时，也能提供更高的性能。
为了使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施的限制。
请参考图1，图1为本发明一种具体实施方式所提供的基于分布式存储系统的网络通信系统的拓扑图。
本发明的一种具体实施方式提供了一种基于分布式存储系统的网络通信系统，包括：与各用户节点连接的公共网络，与公共网络连接的存储节点，与各存储节点连接的集群网络；其中，公共网络采用以太网，集群网络采用基于RDMA协议的InfiniBand网络。公共网络采用基于TCP/IP协议的以太网。
如图1所示，多个用户节点连接公共网络，公共网络连接各存储节点，各存储节点连接集群网络。在本实施方式中，公共网络采用基于TCP/IP协议的以太网络实现，集群网络采用基于RDMA协议的InfiniBand网络实现。由于用户应用节点多为以太网络，公共网络采用TCP/IP协议的以太网络实现具有更好的兼容性；而集群网络采用基于RDMA协议的InfiniBand网络具有高带宽、低延时、系统扩展性好的特点，故能够提供较高的性能。因此，采用上述以太网实现的公共网络和InfiniBand网络实现的集群网络的混合网络通信模式，既能保证良好的兼容性，又能保证提供较高的存储性能。
进一步地，各存储节点分别设有一个用于支持搭建公共网络的以太网卡和一个用于支持搭建集群网络的IB网卡。系统包括ms_cluster、ms_public、ms_hbclient、ms_hb_front_server、ms_hb_back_server和ms_objecter共6种信使，其中，ms_public用于处理各用户节点发送的消息，其他信使用于处理存储系统的集群内部消息。
在本实施方式中，存储节点所用的存储系统共包括6种信使(messenger)，分别为ms_cluster、ms_public、ms_hbclient、ms_hb_front_server、ms_hb_back_server和ms_objecter，他们分别处理不同类型的消息。其中，ms_public用于负责处理用户节点发来的消息，其他信使负责处理集群内部消息。因此，本实施方式中混合网络通信模式的具体实现方法是：使ms_public信使走TCP/IP消息通信方式，其他信使走RDMA消息通信方式，从而实现集群存储节点网络分离。另外，该混合网络通信模式中，每个存储节点安装两个网卡：一个以太网卡和一个IB网卡，分别用于支持搭建公共网络和集群网络。
相应地，本发明一种实施方式还提供了一种基于分布式存储系统的网络通信方法，包括：
预先通过以太网搭建公共网络，通过基于RDMA协议的InfiniBand网络搭建集群网络；
通过公共网络处理各用户节点和各存储节点之间的通信信息；
通过集群网络处理存储系统的集群内的消息。
进一步地，预先通过以太网搭建公共网络，具体为：预先通过基于TCP/IP协议的以太网搭建公共网络。
通过公共网络处理各用户节点和各存储节点之间的通信信息，包括：通过存储系统中的ms_public信使处理各用户节点发送的消息。
通过集群网络处理存储系统的集群内的消息，包括：通过存储系统中的ms_cluster、ms_hbclient、ms_hb_front_server、ms_hb_back_server和ms_objecter信使处理存储系统的集群内的消息。
在本实施方式中，公共网络采用基于TCP/IP协议的以太网络实现，集群网络采用基于RDMA协议的InfiniBand网络实现。由于用户应用节点多为以太网络，公共网络采用TCP/IP协议的以太网络实现具有更好的兼容性；而集群网络采用基于RDMA协议的InfiniBand网络具有高带宽、低延时、系统扩展性好的特点，故能够提供较高的性能。因此，采用上述以太网实现的公共网络和InfiniBand网络实现的集群网络的混合网络通信模式，既能保证良好的兼容性，又能保证提供较高的存储性能。
综上所述，本发明所提供的基于分布式存储系统的网络通信系统和方法，公共网络采用基于TCP/IP协议的以太网络实现，集群网络采用基于RDMA协议的InfiniBand网络实现。由于用户应用节点多为以太网络，公共网络采用TCP/IP协议的以太网络实现具有更好的兼容性；而集群网络采用基于RDMA协议的InfiniBand网络具有高带宽、低延时、系统扩展性好的特点，故能够提供较高的性能。因此，采用上述以太网实现的公共网络和InfiniBand网络实现的集群网络的混合网络通信模式，既能保证良好的兼容性，又能保证提供较高的存储性能。
以上对本发明所提供的一种基于分布式存储系统的网络通信系统和方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种基于分布式存储系统的网络通信系统，其特征在于，包括：与各用户节点连接的公共网络，与所述公共网络连接的存储节点，与各所述存储节点连接的集群网络；
其中，所述公共网络采用以太网，所述集群网络采用基于RDMA协议的InfiniBand网络。
2.根据权利要求1所述的系统，其特征在于，所述公共网络采用基于TCP/IP协议的以太网。
3.根据权利要求2所述的系统，其特征在于，各所述存储节点分别设有一个用于支持搭建公共网络的以太网卡和一个用于支持搭建集群网络的IB网卡。
4.根据权利要求3所述的系统，其特征在于，所述系统包括ms_cluster、ms_public、ms_hbclient、ms_hb_front_server、ms_hb_back_server和ms_objecter共6种信使，其中，ms_public用于处理各所述用户节点发送的消息，其他信使用于处理存储系统的集群内部消息。
5.一种基于分布式存储系统的网络通信方法，其特征在于，包括：
预先通过以太网搭建公共网络，通过基于RDMA协议的InfiniBand网络搭建集群网络；
通过所述公共网络处理各用户节点和各存储节点之间的通信信息；
通过所述集群网络处理存储系统的集群内的消息。
6.根据权利要求5所述的方法，其特征在于，所述预先通过以太网搭建公共网络，具体为：
预先通过基于TCP/IP协议的以太网搭建所述公共网络。
7.根据权利要求6所述的方法，其特征在于，所述通过所述公共网络处理各用户节点和各存储节点之间的通信信息，包括：
通过存储系统中的ms_public信使处理各所述用户节点发送的消息。
8.根据权利要求7所述的方法，其特征在于，所述通过所述集群网络处理存储系统的集群内的消息，包括：
通过存储系统中的ms_cluster、ms_hbclient、ms_hb_front_server、ms_hb_back_server和ms_objecter信使处理存储系统的集群内的消息。
CN201710891213.1A 2017-09-27 2017-09-27 一种基于分布式存储系统的网络通信系统和方法 Pending CN107483645A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710891213.1A CN107483645A (zh) 2017-09-27 2017-09-27 一种基于分布式存储系统的网络通信系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710891213.1A CN107483645A (zh) 2017-09-27 2017-09-27 一种基于分布式存储系统的网络通信系统和方法

Publications (1)

Publication Number Publication Date
CN107483645A true CN107483645A (zh) 2017-12-15

Family

ID=60586527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710891213.1A Pending CN107483645A (zh) 2017-09-27 2017-09-27 一种基于分布式存储系统的网络通信系统和方法

Country Status (1)

Country Link
CN (1) CN107483645A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724311A (zh) * 2012-06-18 2012-10-10 苏州超集信息科技有限公司 工作站集群系统
CN102833237A (zh) * 2012-08-14 2012-12-19 南京斯坦德通信股份有限公司 一种基于桥接的无限带宽协议转换方法及系统
CN102882864A (zh) * 2012-09-21 2013-01-16 南京斯坦德通信股份有限公司 一种基于InfiniBand云计算网络的虚拟化系统
CN103152397A (zh) * 2013-02-06 2013-06-12 浪潮电子信息产业股份有限公司 一种多控存储系统设计方法
CN104539679A (zh) * 2014-12-22 2015-04-22 国网信通亿力科技有限责任公司 基于分布式闪存技术的集群数据库系统及其数据传输方法
CN107040407A (zh) * 2017-03-15 2017-08-11 成都中讯创新科技股份有限公司 一种高性能计算集群动态节点作业方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724311A (zh) * 2012-06-18 2012-10-10 苏州超集信息科技有限公司 工作站集群系统
CN102833237A (zh) * 2012-08-14 2012-12-19 南京斯坦德通信股份有限公司 一种基于桥接的无限带宽协议转换方法及系统
CN102882864A (zh) * 2012-09-21 2013-01-16 南京斯坦德通信股份有限公司 一种基于InfiniBand云计算网络的虚拟化系统
CN103152397A (zh) * 2013-02-06 2013-06-12 浪潮电子信息产业股份有限公司 一种多控存储系统设计方法
CN104539679A (zh) * 2014-12-22 2015-04-22 国网信通亿力科技有限责任公司 基于分布式闪存技术的集群数据库系统及其数据传输方法
CN107040407A (zh) * 2017-03-15 2017-08-11 成都中讯创新科技股份有限公司 一种高性能计算集群动态节点作业方法

Similar Documents

Publication Publication Date Title
CN103312605B (zh) 一种网关设备身份设置的方法及管理网关设备
CN1875585B (zh) 利用mac限制来控制动态未知l2泛滥的方法和系统
US9231860B2 (en) System and method for hierarchical link aggregation
CN108512909A (zh) 一种基于物联网的计算机远程控制系统
CN111614631B (zh) 一种用户态流水线架构防火墙系统
WO2015180040A1 (zh) 流表管理方法及相关设备和系统
CN105556916B (zh) 网络流的信息统计方法和装置
ES2424630T3 (es) Un enrutador de rejilla
CN106973053B (zh) 宽带接入服务器的加速方法和系统
CN103581044A (zh) 一种流量统计方法和装置
CN105589664B (zh) 虚拟存储高速传输方法
CN106603376B (zh) 报文处理方法和虚拟专用网络sslvpn服务器
US20120287782A1 (en) Programmable and high performance switch for data center networks
EP2469776A1 (en) Cluster router and cluster routing method
CN109391502A (zh) 一种信息配置方法和管理单元
CN104184663A (zh) 基于软件定义网络和一体化标识网络的通信方法和装置
CN106998347A (zh) 服务器虚拟化网络共享的装置和方法
CN105991438B (zh) 基于虚拟二层网络中数据包的处理方法和装置
CN109327386A (zh) 一种链路聚合方法、装置、设备及可读存储介质
CN103441937A (zh) 组播数据的发送方法和接收方法
CN110505244A (zh) 远程隧道访问技术网关以及服务器
CN107846365A (zh) 一种基于sdn的负载均衡实现系统及方法
CN108306986A (zh) 多类型媒体数据网络地址转换穿越方法、终端及系统
CN107786669A (zh) 一种负载均衡处理的方法、服务器、装置及存储介质
CN109729022A (zh) 一种基于软件定义网络的数据发送方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171215

RJ01 Rejection of invention patent application after publication