CN103257946A - 一种紧耦合多控存储系统控制器之间的高速互联方法 - Google Patents
一种紧耦合多控存储系统控制器之间的高速互联方法 Download PDFInfo
- Publication number
- CN103257946A CN103257946A CN2013101954262A CN201310195426A CN103257946A CN 103257946 A CN103257946 A CN 103257946A CN 2013101954262 A CN2013101954262 A CN 2013101954262A CN 201310195426 A CN201310195426 A CN 201310195426A CN 103257946 A CN103257946 A CN 103257946A
- Authority
- CN
- China
- Prior art keywords
- data
- controller
- bus
- control
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Bus Control (AREA)
Abstract
本发明提供一种紧耦合多控存储系统控制器之间的高速互联方法，该方法是多控存储系统中的控制器资源调度与协调是通过系统程序进行控制器资源调度决策，进而实现不同控制器间的数据传输，存储控制器CPU将决策信息进行封装后发送至北桥扩展出的高速总线，数据交换器将数据中的目的信息进行解析，对照本地FW对应表进行总线的连接状态调整实现多控之间的数据定向传输，控制器耦合而成的集群存储系统，有的厂商采用的是存储节点堆叠，有的厂商仅仅是控制单元堆叠。不管是那种方式，其共同的优点是减少了生产的成本，使得厂商可以通过标准的模块组合形成大型存储系统，以适应大型应用系统对于存储容量和性能的要求。通过这种标准化，可以减少生产环节的成本损失，降低系统研发周期。
Description
技术领域
本发明涉及计算机应用技术领域,具体地说是一种紧耦合多控存储系统控制器之间的高速互联方法。
背景技术
经过最近几年存储技术的发展，磁盘阵列控制器架构的发展方向有了明显的差异。出现了控制器耦合而成的集群存储系统(EMC V-MAX、IBM IXV、HP 3PAR等)，也出现了分布式多层控制器组合而成的存储系统(HDS VSP、EMC DMX)。前者是模块化存储的堆叠，每个节点之间采用的是标准的外部互联技术，比如千兆以太网、RapidIO、infiniband等。后者采用的是分层直接互联方式，每层控制器上含有多个互联接口，通过多个数据接口实现系统直接互联等。两种技术有着各自的特点，适应各自不同的市场需求。
传统多控存储设备的各控制器之间的数据交互通过系统PCIE总线上连接的其他通信协议芯片进行交互（如10GbE、Infiniband协议接口的芯片）。采用这种架构，控制器间数据传输的路径为：
起始控制器-缓存——>控制器上的PCIE（Peripheral Component Interconnection Express，快速外设组件互连标准）总线——>通信协议接口芯片——>数据交换模块——>目的控制器通信协议接口芯片——>目的控制器PCIE总线——>目的控制器缓存。
采用上述架构，存储设备控制器上，必须包含通信协议接口芯片，硬件设计难度和成本大；数据传输从起始方到接受方，经历了两次数据协议的转换，使得系统数据交换速率和效率下降。
发明内容
本发明设计一种紧耦合多控存储系统控制器之间的高速互联方法；通过基于北桥芯片的PCIE总线接口扩展，多控制器数据数据交换器，数据信号识别传输方法，实现紧耦合存储系统中的基于PCIE总线的互联。
本发明的目的是按以下方式实现的，多控存储系统中的控制器资源调度与协调是通过系统程序进行控制器资源调度决策，进而实现不同控制器间的数据传输，存储控制器CPU将决策信息进行封装后发送至北桥扩展出的高速总线，数据交换器将数据中的目的信息进行解析，对照本地FW对应表进行总线的连接状态调整实现多控之间的数据定向传输，方法包括：（1）存储控制器通过PCIE架构高速总线的扩展；（2）多控制器间Crossbar数据的交换；（3）数据信号的识别传输，其中：
1）存储控制器通过PCIE架构高速总线的扩展，存储控制器选用通用的intel架构CPU，intel架构主板上的北桥芯片用来处理高速数据信号和处理器CPU，内存RAM，PCI Express,和南桥芯片之间的通信，通过北桥芯片直接扩展出2个以上的PCIE高速总线接口，用以来实现存储控制器之间的数据传输，同步PCIE数据由起始控制器向目的控制器发送的路径为：
起始控制器-缓存—>控制器上的PCIE高速总线—>PCIE交换机模块—>接受数据的控制器PCIE高速总线—>接受数据的控制器缓存；
2）多控制器间Crossbar数据的交换，是通过数据交换器来实现，数据交换器用以实现2个以上控制器之间的互联，对外提供与控制器扩展接口匹配的交换接口，所有接口连接在数据交换器的高速交换背板上，通过Crossbar交叉矩阵实现所有端口的互联，端口编号与控制器编号通过FW写入数据交换器映射表中，FW中的映射关系通过数据交换器实现端到端的PCIE高速总线联通；
3）数据信号的识别传输，数据传输根据控制器数量、数据镜像策略不同实现不同节点间的数据传输，控制器将数据目的地址进行封装后加入到数据包头中，在数据交换器上解析后，通过与数据交换器中的映射表比较实现数据传输至其相应端口，具体互联步骤如下：
（1）存储数据信息发送至PCIE高速总线，总线数据的发送需要控制总线、地址总线、数据总线，首先存储控制器通过数据交换器中的控制芯片仲裁机制获取PCIE高速总线网络端口控制权；
（2）获取PCIE高速总线网络端口控制权根据整个多控系统的资源调度策略进行优化，促使系统中的总线使用效率及仲裁机制完美结合；
A)控制器1中数据传输至控制器2、3，控制器1首先通过空闲控制总线申请到总线端口控制权；
B)控制器1目的地址数据传输至总线数据交换器，其决策控制芯片将控制器1、2位置连通，释放总线控制申请；
C)控制器1将数据传输至PCIE高速总线；
D)控制器2、3接收总线数据；
E)数据传输完毕，控制器1通知总线控制装置释放PCIE高速总线端口；
（3）本地将封装有目的地址信息的总线数据传输至总线之上，数据交换器控制芯片解析地址信息，并与FW表进行比照后连通源、目标总线端口；
（4）数据在PCIE高速总线上形成高速传输；
（5）传输结束释放占用的PCIE高速总线端口以便其他获取总线控制权的设备申请PCIE高速总线端口。
控制器进行高速数据接口的扩展，扩展接口上无需外接网络子卡设备，系统数据直接通过总线协议直接由CPU传输至PCIE高速总线，通过PCIE高速总线将数据放到数据交换器，数据仅在控制器CPU中进行目的地址的策略添加，无需数据进行协议转换的延时开销。
实现2个以上控制器之间互联的Crossbar数据交换器内部是由接口、高速互联背板、FW映射关系及决策控制芯片组成。
本发明的有益效果是：目前多控存储架构以四、八控为主，控制器与数据交换器端口之间的映射关系通过FW存储在装置中，相应的地址信息由决策控制芯片进行解析，实现接口端与接口端的总线连接。本发明是通过接口端与控制器的一一对应关系实现数据在主备控制器间的传输，总线设备可以定义一主多从架构，根据整个系统的资源调度算法可以实现多控制器之间的数据交互，总线数据交换器的存在使得多控制器之间的数据交互可以同时进行，不会因为一组设备占用总线而影响其他组设备之间的数据交互，提高了整个系统的交换性能。
控制器耦合而成的集群存储系统，有的厂商采用的是存储节点堆叠，有的厂商仅仅是控制单元堆叠。不管是那种方式，其共同的优点是减少了生产的成本，使得厂商可以通过标准的模块组合形成大型存储系统，以适应大型应用系统对于存储容量和性能的要求。通过这种标准化，可以减少生产环节的成本损失，降低系统研发周期。
附图说明
图1是四控总线互联结构示意图；
图2 控制流程图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
本发明提供一种紧耦合多控存储系统控制器之间的高速互联方法，（1）存储控制器通过PCIE架构高速总线扩展；（2）多控制器间Crossbar数据数据交换器；（3）数据信号识别传输方法；各部分的作用分别如下：
存储控制器高速交换接口扩展主要特征主要在于控制器进行高速数据接口的扩展，扩展接口上无需外接网络子卡等设备。系统数据直接由CPU传输至北桥芯片上扩展出的高速总线之上。数据仅在控制器CPU中进行目的地址的策略添加，无需数据进行协议转换等延时开销。
起始控制器-缓存——>控制器上的PCIE总线——>PCIE交换机模块——>接受数据的控制器PCIE总线——>接受数据的控制器缓存。
多控制器数据数据交换器实现2个以上控制器之间的互联，装置内部主要由接口、高速互联背板、FW映射关系及决策控制芯片组成，目前多控存储架构以四、八控为主，控制器与数据交换器端口之间的映射关系通过FW存储在装置中，决策控制芯片控制硬件实现总线端到端的连通性。通过接口与控制器的一一对应关系实现数据在控制器间的传输。
数据信号识别传输方法，目前多控制器存储系统中通过算法进行控制器资源调度决策，实现不同控制器间的数据传输。控制器CPU将决策信息进行封装后通过高速互联端口发至总线，数据数据交换器将数据中的目的信息进行解析对照本地FW对应表进行数据分发，实现多控之间的数据定向传输。
实施例
1）存储数据信息发送至高速扩展总线。总线数据的发送一般需要控制总线、地址总线、数据总线，首先存储控制器通过数据交换器控制芯片仲裁机制获取总线网络端口控制权；
2）获取总线网络端口控制权可以根据整个多控系统的资源调度策略进行优化，促使系统中的总线使用效率及仲裁机制完美结合；
例如：图1中控制器1中数据传输至控制2、3：
A、首先控1通过空闲控制总线申请到总线端口控制权；
B、控1目的地址数据传输至总线数据交换器，其决策控制芯片将1、2位置连通，释放总线控制申请；
C、控1将数据传输至总线；
D、控2、3接收总线数据；
E、数据传输完毕，控1通知总线控制装置释放总线端口；
3）本地将封装有目的地址信息的总线数据传输至总线之上，数据交换器控制芯片解析地址信息，并与FW表进行比照后连通源、目标总线端口；
4）数据在总线上形成高速传输；
5）传输结束释放占用的总线端口以便其他获取总线控制权的设备申请总线端口。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (3)
1.一种紧耦合多控存储系统控制器之间的高速互联方法, 其特征在于多控存储系统中的控制器资源调度与协调是通过系统程序进行控制器资源调度决策，进而实现不同控制器间的数据传输，存储控制器CPU将决策信息进行封装后发送至北桥扩展出的高速总线，数据交换器将数据中的目的信息进行解析，对照本地FW对应表进行总线的连接状态调整实现多控之间的数据定向传输，方法包括：（1）存储控制器通过PCIE架构高速总线的扩展；（2）多控制器间Crossbar数据的交换；（3）数据信号的识别传输，其中：
1）存储控制器通过PCIE架构高速总线的扩展，存储控制器选用通用的intel架构CPU，intel架构主板上的北桥芯片用来处理高速数据信号和处理器CPU，内存RAM，PCI Express,和南桥芯片之间的通信，通过北桥芯片直接扩展出2个以上的PCIE高速总线接口，用以来实现存储控制器之间的数据传输，同步PCIE数据由起始控制器向目的控制器发送的路径为：
起始控制器-缓存—>控制器上的PCIE高速总线—>PCIE交换机模块—>接受数据的控制器PCIE高速总线—>接受数据的控制器缓存；
2）多控制器间Crossbar数据的交换，是通过数据交换器来实现，数据交换器用以实现2个以上控制器之间的互联，对外提供与控制器扩展接口匹配的交换接口，所有接口连接在数据交换器的高速交换背板上，通过Crossbar交叉矩阵实现所有端口的互联，端口编号与控制器编号通过FW写入数据交换器映射表中，FW中的映射关系通过数据交换器实现端到端的PCIE高速总线联通；
3）数据信号的识别传输，数据传输根据控制器数量、数据镜像策略不同实现不同节点间的数据传输，控制器将数据目的地址进行封装后加入到数据包头中，在数据交换器上解析后，通过与数据交换器中的映射表比较实现数据传输至其相应端口，具体互联步骤如下：
（1）存储数据信息发送至PCIE高速总线，总线数据的发送需要控制总线、地址总线、数据总线，首先存储控制器通过数据交换器中的控制芯片仲裁机制获取PCIE高速总线网络端口控制权；
（2）获取PCIE高速总线网络端口控制权根据整个多控系统的资源调度策略进行优化，促使系统中的总线使用效率及仲裁机制完美结合；
A)控制器1中数据传输至控制器2、3，控制器1首先通过空闲控制总线申请到总线端口控制权；
B)控制器1目的地址数据传输至总线数据交换器，其决策控制芯片将控制器1、2位置连通，释放总线控制申请；
C)控制器1将数据传输至PCIE高速总线；
D)控制器2、3接收总线数据；
E)数据传输完毕，控制器1通知总线控制装置释放PCIE高速总线端口；
（3）本地将封装有目的地址信息的总线数据传输至总线之上，数据交换器控制芯片解析地址信息，并与FW表进行比照后连通源、目标总线端口；
（4）数据在PCIE高速总线上形成高速传输；
（5）传输结束释放占用的PCIE高速总线端口以便其他获取总线控制权的设备申请PCIE高速总线端口。
2.根据权利要求1所述的方法，其特征在于，控制器进行高速数据接口的扩展，扩展接口上无需外接网络子卡设备，系统数据直接通过总线协议直接由CPU传输至PCIE高速总线，通过PCIE高速总线将数据放到数据交换器，数据仅在控制器CPU中进行目的地址的策略添加，无需数据进行协议转换的延时开销。
3.根据权利要求1所述的方法，其特征在于，实现2个以上控制器之间互联的Crossbar数据交换器内部是由接口、高速互联背板、FW映射关系及决策控制芯片组成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101954262A CN103257946A (zh) | 2013-05-24 | 2013-05-24 | 一种紧耦合多控存储系统控制器之间的高速互联方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101954262A CN103257946A (zh) | 2013-05-24 | 2013-05-24 | 一种紧耦合多控存储系统控制器之间的高速互联方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103257946A true CN103257946A (zh) | 2013-08-21 |
Family
ID=48961876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2013101954262A Pending CN103257946A (zh) | 2013-05-24 | 2013-05-24 | 一种紧耦合多控存储系统控制器之间的高速互联方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103257946A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104407810A (zh) * | 2014-11-11 | 2015-03-11 | 浪潮电子信息产业股份有限公司 | 一种基于多控磁盘阵列请求处理系统 |
| CN105978820A (zh) * | 2016-07-13 | 2016-09-28 | 中国航天科技集团公司第九研究院第七七研究所 | 一种基于Crossbar可动态重构的路由交换矩阵电路及方法 |
| US9535832B2 (en) | 2013-04-30 | 2017-01-03 | Mediatek Singapore Pte. Ltd. | Multi-hierarchy interconnect system and method for cache system |
| CN107430569A (zh) * | 2015-03-26 | 2017-12-01 | 英特尔公司 | 多芯片封装链路 |
| CN108572634A (zh) * | 2018-07-27 | 2018-09-25 | 平顶山中选自控系统有限公司 | 智能化选煤厂全网通信息系统及其数据采集与交换的方法 |
| CN109471811A (zh) * | 2018-11-16 | 2019-03-15 | 郑州云海信息技术有限公司 | 一种背板上存储信息的读取方法及装置 |
| CN105653476B (zh) * | 2014-11-12 | 2019-04-05 | 华为技术有限公司 | 一种数据处理器件与内存设备的通信方法及相关装置 |
| CN111459857A (zh) * | 2020-03-31 | 2020-07-28 | 西安微电子技术研究所 | 一种tcm控制器及数据缓存读取方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101576805A (zh) * | 2009-06-12 | 2009-11-11 | 浪潮电子信息产业股份有限公司 | 一种基于并行处理的多主机接口冗余san控制器 |
| CN103136141A (zh) * | 2013-02-06 | 2013-06-05 | 浪潮电子信息产业股份有限公司 | 一种多控制器间的高速互联方法 |
-
2013
- 2013-05-24 CN CN2013101954262A patent/CN103257946A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101576805A (zh) * | 2009-06-12 | 2009-11-11 | 浪潮电子信息产业股份有限公司 | 一种基于并行处理的多主机接口冗余san控制器 |
| CN103136141A (zh) * | 2013-02-06 | 2013-06-05 | 浪潮电子信息产业股份有限公司 | 一种多控制器间的高速互联方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9535832B2 (en) | 2013-04-30 | 2017-01-03 | Mediatek Singapore Pte. Ltd. | Multi-hierarchy interconnect system and method for cache system |
| CN104471555B (zh) * | 2013-04-30 | 2017-05-03 | 联发科技（新加坡）私人有限公司 | 多级互联系统及多级互联方法 |
| CN104407810A (zh) * | 2014-11-11 | 2015-03-11 | 浪潮电子信息产业股份有限公司 | 一种基于多控磁盘阵列请求处理系统 |
| CN105653476B (zh) * | 2014-11-12 | 2019-04-05 | 华为技术有限公司 | 一种数据处理器件与内存设备的通信方法及相关装置 |
| CN107430569A (zh) * | 2015-03-26 | 2017-12-01 | 英特尔公司 | 多芯片封装链路 |
| CN105978820A (zh) * | 2016-07-13 | 2016-09-28 | 中国航天科技集团公司第九研究院第七七研究所 | 一种基于Crossbar可动态重构的路由交换矩阵电路及方法 |
| CN108572634A (zh) * | 2018-07-27 | 2018-09-25 | 平顶山中选自控系统有限公司 | 智能化选煤厂全网通信息系统及其数据采集与交换的方法 |
| CN109471811A (zh) * | 2018-11-16 | 2019-03-15 | 郑州云海信息技术有限公司 | 一种背板上存储信息的读取方法及装置 |
| CN111459857A (zh) * | 2020-03-31 | 2020-07-28 | 西安微电子技术研究所 | 一种tcm控制器及数据缓存读取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103257946A (zh) | 一种紧耦合多控存储系统控制器之间的高速互联方法 | |
| CN103136141A (zh) | 一种多控制器间的高速互联方法 | |
| EP2688243B1 (en) | 50 Gb/s ethernet using serializer/deserializer lanes | |
| US10476697B2 (en) | Network-on-chip, data transmission method, and first switching node | |
| CN106648896B (zh) | 一种Zynq芯片在异构称多处理模式下双核共享输出外设的方法 | |
| WO2011147324A1 (zh) | 多接口固态硬盘及其处理方法和系统 | |
| CN102185833B (zh) | 一种基于fpga的fc i/o并行处理方法 | |
| CN102170430A (zh) | 一种多端口多网络协议转换器 | |
| CN102035688B (zh) | 一种快速控制网络链路访问设计方法 | |
| CN110995598B (zh) | 一种变长报文数据处理方法和调度装置 | |
| CN202535384U (zh) | 基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统 | |
| CN103905281A (zh) | 可互换实现网络控制器与网络终端功能的fc-ae-1553总线节点卡 | |
| CN202077061U (zh) | 一种多端口多网络协议转换器 | |
| CN203590251U (zh) | 基于串行RapidIO总线的FlexRay控制系统 | |
| CN103106173A (zh) | 多核处理器核间互联的方法 | |
| CN100417136C (zh) | 一种基于三级交换网的下行队列快速反压传送装置及方法 | |
| CN106027424A (zh) | 基于RapidIO交换技术的以太网交换装置 | |
| CN109885526A (zh) | 一种基于OpenVPX总线的信息处理平台 | |
| CN106844263B (zh) | 一种基于可配置的多处理器计算机系统及实现方法 | |
| CN106506625A (zh) | 四控服务器及四控服务器通信方法 | |
| CN102103471B (zh) | 数据传输方法和系统 | |
| CN105530157A (zh) | Afdx网络交换机多个虚拟链路共享信用的方法 | |
| CN108449287A (zh) | Fc交换机芯片体系架构 | |
| CN107566301A (zh) | 一种实现RapidIO交换机系统总线速度自动配置的方法及装置 | |
| CN111581136B (zh) | 一种dma控制器及其实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130821 |
|
| WD01 | Invention patent application deemed withdrawn after publication |