CN106612240B - 一种存储高效网络连接系统及方法 - Google Patents
一种存储高效网络连接系统及方法 Download PDFInfo
- Publication number
- CN106612240B CN106612240B CN201611221175.0A CN201611221175A CN106612240B CN 106612240 B CN106612240 B CN 106612240B CN 201611221175 A CN201611221175 A CN 201611221175A CN 106612240 B CN106612240 B CN 106612240B
- Authority
- CN
- China
- Prior art keywords
- network
- storage
- storage system
- copy
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000008569 process Effects 0.000 claims description 26
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000006855 networking Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 239000004744 fabric Substances 0.000 abstract description 15
- 230000003993 interaction Effects 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000000151 deposition Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/22—Alternate routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
- H04L47/2433—Allocation of priorities to traffic types
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种存储高效网络连接系统,其特征在于,包含,存储系统和网络系统,存储系统和网络系统通过建立服务端‑客户端连接进行通讯,网络系统属于提供服务方,存储系统属于被服务方。方法通过存储系统和网络系统建立协商交互机制,使用网络已有的带宽管理机制加上存储管理的灵活性,通过两个模块的交互可以为NVMe over Fabric存储提供高效网络连接。本发明具有能为NVMe over Fabric存储提供高效的转发的优点。在尽力而为的以太网转发模型下通过两个系统的交互解决网络拥塞带来的存储系统性能下降的问题。
Description
技术领域
本发明涉及网络存储领域的NVMe over Fabric存储领域,尤其涉及NVMe overFabric存储高效网络连接系统及方法。
背景技术
随着分布式存储和NVMeSSD技术的快速发展,NVMe over Fabric技术被提出用来在以太网上高速互联分布在不同服务器里的NVMe SSD存储模块,以太网是个随机复用机制的尽力而为转发的网络模型,不保证数据的可靠传输,如何在以太网基础上为NVMe overFabric存储提供高效的转发是一个难题。
发明内容
本发明的存储的管理模块可以和网络管理模块建立协商交互机制,使用网络已有的带宽管理机制加上存储管理的灵活性可以较好的解决如上难题,通过两个模块的交互可以为NVMe over Fabric存储提供高效网络连接。为此,本发明提供NVMe over Fabric存储高效网络连接系统及方法,它具有能为NVMe over Fabric存储提供高效的转发的优点。
为了实现上述目的,本发明采用如下技术方案。
一种存储高效网络连接系统,包含,存储系统和网络系统,存储系统和网络系统通过建立服务端-客户端(server-client)连接进行通讯,网络系统属于提供服务方,存储系统属于被服务方;
存储系统包含,
网络参数需求模块,负责下发存储系统里的网络连接需求和网络带宽需求给网络系统;
副本状态控制模块,负责切换副本的主用非主用状态;
网络系统包含,
网络参数设置模块,负责设置网络接入点和各网络路径的保证带宽和速率限制;
网络资源监控模块,负责监控网络带宽使用情况、是否发生拥塞;
存储网络处理模块,负责分析存储系统的网络需求,负责分析网络拥塞是否对存储系统造成影响;
链路拥塞通知模块,负责通知存储系统网络链路拥塞。
一种存储高效网络连接方法,存储系统的网络初始设置处理的流程包含以下步骤:
S01、存储系统的网络参数需求模块把其网络连接需求、带宽需求和各副本状态通知给网络系统的存储网络处理模块;
S02、存储网络处理模块依据存储系统的连接需求分析出需求的网络路径;
S03、存储网络处理模块根据存储系统的带宽需求、需求的网络路径上可用的带宽资源和副本状态调用网络参数设置模块设置网络;
S04、网络参数设置模块设置网络接入点和各网络路径的保证带宽和速率限制;
存储网络链路拥塞处理流程包含以下步骤:
S11、网络资源监控模块检测到网络发生拥塞;
S12、调用存储网络处理模块分析拥塞链路对于存储系统的影响;
S13、判断拥塞的链路是否为主用副本使用的链路;
S14、如果发现拥塞的链路不是主用副本使用的链路则直接结束;
S15、否则调用链路拥塞通知模块通知存储系统主用副本网络链路拥塞和非主用副本网络链路的使用情况;
S16、存储系统依据当前各副本存储状态判断是否可以切换主用副本从而避免因网络拥塞对存储性能造成的影响;
S17、如果判断后认为不可以切换则直接结束;
S18、否则依据各非主用副本存储状态和其网络链路使用情况选择一个非主用副本做主用副本使用;
S19、副本状态控制模块把主用副本切换成非主用状态;
S20、把S18选择的非主用副本切换成主用状态;
S21、对于新的主用副本的报文给予其较高的数据转发优先级设置;
S22、对于原主用副本的报文给予其低一些的数据转发优先级设置。
优选的,存储系统的网络初始设置处理的流程,还包括:
S05、网络参数设置模块对于主用副本的报文给予其较高的数据转发优先级设置;
S06、网络参数设置模块对于非主用副本的报文给予其低一些的数据转发优先级设置。
本发明的有益效果:本发明提供NVMe over Fabric存储高效网络连接系统及方法,它具有能为NVMe over Fabric存储提供高效的转发的优点。在尽力而为的以太网转发模型下通过两个系统的交互解决网络拥塞带来的存储系统性能下降的问题。
附图说明
图1是本实施例存储高效网络连接系统连接部署图。
图2是本实施例存储高效网络连接系统模块关系图。
图3是本实施例存储高效网络连接方法初始设置处理流程图。
图4是本实施例存储高效网络连接方法链路拥塞处理流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示,NVMe over Fabric存储高效网络连接系统涉及的几个组件及其关系,其中服务器里有0到N块NVMe的SSD硬盘,由支持NVMeover Fabric的网卡通过外部交换机互联。
如图2所示,NVMe over Fabric存储高效网络连接系统包含,存储系统和网络系统;
存储系统包含,
网络参数需求模块,负责下发存储系统里的网络连接需求和网络带宽需求给网络系统;
副本状态控制模块,负责切换副本的主用非主用状态;
网络系统包含,
网络参数设置模块,负责设置网络接入点和各网络路径的保证带宽和速率限制;
网络资源监控模块,负责监控网络带宽使用情况、是否发生拥塞;
存储网络处理模块,负责分析存储系统的网络需求,负责分析网络拥塞是否对存储系统造成影响;
链路拥塞通知模块,负责通知存储系统网络链路拥塞。
如图3、图4所示,NVMe over Fabric存储高效网络连接方法,存储系统的网络初始设置处理的流程包含以下步骤:
S01、存储系统的网络参数需求模块把其网络连接需求、带宽需求和各副本状态通知给网络系统的存储网络处理模块;
S02、存储网络处理模块依据存储系统的连接需求分析出需求的网络路径;
S03、存储网络处理模块根据存储系统的带宽需求、需求的网络路径上可用的带宽资源和副本状态调用网络参数设置模块设置网络;
S04、网络参数设置模块设置网络接入点和各网络路径的保证带宽和速率限制;
S05、网络参数设置模块对于主用副本的报文给予其较高的数据转发优先级设置;
S06、网络参数设置模块对于非主用副本的报文给予其低一些的数据转发优先级设置。
存储网络链路拥塞处理流程包含以下步骤:
S11、网络资源监控模块检测到网络发生拥塞;
S12、调用存储网络处理模块分析拥塞链路对于存储系统的影响;
S13、判断拥塞的链路是否为主用副本使用的链路;
S14、如果发现拥塞的链路不是主用副本使用的链路则直接结束;
S15、否则调用链路拥塞通知模块通知存储系统主用副本网络链路拥塞和非主用副本网络链路的使用情况;
S16、存储系统依据当前各副本存储状态判断是否可以切换主用副本从而避免因网络拥塞对存储性能造成的影响;
S17、如果判断后认为不可以切换则直接结束;
S18、否则依据各非主用副本存储状态和其网络链路使用情况选择一个非主用副本做主用副本使用;
S19、副本状态控制模块把主用副本切换成非主用状态;
S20、把S18选择的非主用副本切换成主用状态;
S21、对于新的主用副本的报文给予其较高的数据转发优先级设置;
S22、对于原主用副本的报文给予其低一些的数据转发优先级设置。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (3)
1.一种存储高效网络连接系统,其特征在于,包含,存储系统和网络系统,存储系统和网络系统通过建立服务端-客户端连接进行通讯,网络系统属于提供服务方,存储系统属于被服务方;
所述存储系统包含,
网络参数需求模块,负责下发存储系统里的网络连接需求和网络带宽需求给网络系统,把其网络连接需求、带宽需求和各副本状态通知给网络系统的存储网络处理模块;
副本状态控制模块,负责切换副本的主用非主用状态;
所述存储系统负责依据当前各副本存储状态判断是否可以切换主用副本从而避免因网络拥塞对存储性能造成的影响,如可切换据各非主用副本存储状态和其网络链路使用情况选择一个非主用副本做主用副本使用;
所述网络系统包含,
网络参数设置模块,负责设置网络接入点和各网络路径的保证带宽和速率限制;
网络资源监控模块,负责监控网络带宽使用情况、是否发生拥塞;
存储网络处理模块,负责分析存储系统的网络连接需求和/或网络带宽需求,依据存储系统的连接需求分析出需求的网络路径,根据存储系统的带宽需求、需求的网络路径上可用的带宽资源和副本状态调用网络参数设置模块设置网络,负责分析网络拥塞是否对存储系统造成影响;
链路拥塞通知模块,负责通知存储系统网络链路拥塞,根据调用通知存储系统主用副本网络链路拥塞和非主用副本网络链路的使用情况。
2.一种存储高效网络连接方法,其特征在于,存储系统的网络初始设置处理的流程包含以下步骤:
S01、存储系统的网络参数需求模块把其网络连接需求、带宽需求和各副本状态通知给网络系统的存储网络处理模块;
S02、存储网络处理模块依据存储系统的连接需求分析出需求的网络路径;
S03、存储网络处理模块根据存储系统的带宽需求、需求的网络路径上可用的带宽资源和副本状态调用网络参数设置模块设置网络;
S04、网络参数设置模块设置网络接入点和各网络路径的保证带宽和速率限制;
存储网络链路拥塞处理流程包含以下步骤:
S11、网络资源监控模块检测到网络发生拥塞;
S12、调用存储网络处理模块分析拥塞链路对于存储系统的影响;
S13、判断拥塞的链路是否为主用副本使用的链路;
S14、如果发现拥塞的链路不是主用副本使用的链路则直接结束;
S15、否则调用链路拥塞通知模块通知存储系统主用副本网络链路拥塞和非主用副本网络链路的使用情况;
S16、存储系统依据当前各副本存储状态判断是否可以切换主用副本从而避免因网络拥塞对存储性能造成的影响;
S17、如果判断后认为不可以切换则直接结束;
S18、否则依据各非主用副本存储状态和其网络链路使用情况选择一个非主用副本做主用副本使用;
S19、副本状态控制模块把主用副本切换成非主用状态;
S20、把S18选择的非主用副本切换成主用状态;
S21、对于新的主用副本的报文给予其较高的数据转发优先级设置;
S22、对于原主用副本的报文给予其低一些的数据转发优先级设置。
3.如权利要求2所述的一种存储高效网络连接方法,其特征在于,所述存储系统的网络初始设置处理的流程,还包括以下步骤:
S05、网络参数设置模块对于主用副本的报文给予其较高的数据转发优先级设置;
S06、网络参数设置模块对于非主用副本的报文给予其低一些的数据转发优先级设置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611221175.0A CN106612240B (zh) | 2016-12-27 | 2016-12-27 | 一种存储高效网络连接系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611221175.0A CN106612240B (zh) | 2016-12-27 | 2016-12-27 | 一种存储高效网络连接系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106612240A CN106612240A (zh) | 2017-05-03 |
CN106612240B true CN106612240B (zh) | 2019-07-30 |
Family
ID=58636833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611221175.0A Active CN106612240B (zh) | 2016-12-27 | 2016-12-27 | 一种存储高效网络连接系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106612240B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109976661B (zh) | 2017-12-27 | 2020-08-14 | 华为技术有限公司 | 基于nof的读取控制方法、装置及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1984043A (zh) * | 2006-06-07 | 2007-06-20 | 华为技术有限公司 | 基于带宽调整机制的流量控制方法及系统 |
CN101997861A (zh) * | 2009-08-27 | 2011-03-30 | 杭州华三通信技术有限公司 | 一种数据存储方法和设备 |
CN103069402A (zh) * | 2010-08-31 | 2013-04-24 | 高通股份有限公司 | 多通道dram系统中的负载平衡方案 |
CN104639660A (zh) * | 2015-03-13 | 2015-05-20 | 浪潮集团有限公司 | 一种nas存储系统中nfs共享性能优化的方法 |
CN105912275A (zh) * | 2016-04-27 | 2016-08-31 | 华为技术有限公司 | 在非易失性存储系统中建立连接的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9678670B2 (en) * | 2014-06-29 | 2017-06-13 | Plexistor Ltd. | Method for compute element state replication |
-
2016
- 2016-12-27 CN CN201611221175.0A patent/CN106612240B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1984043A (zh) * | 2006-06-07 | 2007-06-20 | 华为技术有限公司 | 基于带宽调整机制的流量控制方法及系统 |
CN101997861A (zh) * | 2009-08-27 | 2011-03-30 | 杭州华三通信技术有限公司 | 一种数据存储方法和设备 |
CN103069402A (zh) * | 2010-08-31 | 2013-04-24 | 高通股份有限公司 | 多通道dram系统中的负载平衡方案 |
CN104639660A (zh) * | 2015-03-13 | 2015-05-20 | 浪潮集团有限公司 | 一种nas存储系统中nfs共享性能优化的方法 |
CN105912275A (zh) * | 2016-04-27 | 2016-08-31 | 华为技术有限公司 | 在非易失性存储系统中建立连接的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106612240A (zh) | 2017-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102823205B (zh) | 聚合来自接入域的数据业务 | |
WO2015101153A1 (zh) | 一种sdn控制器、数据中心系统和路由连接方法 | |
CN108306777B (zh) | 基于sdn控制器的虚拟网关主备切换方法及装置 | |
CN103179046A (zh) | 基于openflow的数据中心流量控制方法及系统 | |
US9077659B2 (en) | Packet routing for embedded applications sharing a single network interface over multiple virtual networks | |
US10015098B2 (en) | Systems and methods to create highly scalable network services | |
CN108337179B (zh) | 链路流量控制方法及装置 | |
JP7092813B2 (ja) | パケット伝送方法及び装置 | |
CN108289061B (zh) | 基于sdn的业务链拓扑系统 | |
US9246751B2 (en) | Ethernet ring protection switching method, network device and system | |
US10003526B1 (en) | Methods and apparatus for efficient use of link aggregation groups | |
CN105743816A (zh) | 一种链路聚合方法及装置 | |
US8717909B1 (en) | Methods and apparatus for route installation acknowledgement and acknowledgement aggregation in BGP | |
CN109995664A (zh) | 一种发送数据流的方法、设备和系统 | |
CN111327527B (zh) | 流量转发方法、系统、sdn控制器及计算机可读存储介质 | |
CN106612240B (zh) | 一种存储高效网络连接系统及方法 | |
CN104702498A (zh) | 一种通过协调保护减少设备间光连接数量的方法及装置 | |
CN104394075A (zh) | 一种报文传输的方法和设备 | |
CN102857436B (zh) | 一种基于irf网络的流量传输方法和设备 | |
CN104767720A (zh) | 一种软件定义网络中OpenFlow消息跟踪和过滤的方法 | |
CN108199975B (zh) | 一种流量控制方法及装置 | |
US11916768B2 (en) | Information sharing method and apparatus in redundancy network, and computer storage medium | |
CN106921532A (zh) | 一种业务链系统的性能管理方法、装置 | |
US20220166721A1 (en) | Traffic balancing method, network device, and electronic device | |
CN106657355B (zh) | 一种集群管理方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |