CN102103471A - 数据传输方法和系统 - Google Patents

数据传输方法和系统 Download PDF

Info

Publication number
CN102103471A
CN102103471A CN 201110043333 CN201110043333A CN102103471A CN 102103471 A CN102103471 A CN 102103471A CN 201110043333 CN201110043333 CN 201110043333 CN 201110043333 A CN201110043333 A CN 201110043333A CN 102103471 A CN102103471 A CN 102103471A
Authority
CN
China
Prior art keywords
pcie
data
data transmission
controller
pcie switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110043333
Other languages
English (en)
Other versions
CN102103471B (zh
Inventor
葛峰
刘希猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN2011100433339A priority Critical patent/CN102103471B/zh
Publication of CN102103471A publication Critical patent/CN102103471A/zh
Application granted granted Critical
Publication of CN102103471B publication Critical patent/CN102103471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供了一种数据传输方法和系统。涉及计算机领域；解决了现有多控存储设备控制器数据传输架构中硬件成本大、数据传输效率低的问题。该方法包括：起始控制器向PCIE交换机发送待同步PCIE格式的数据；所述PCIE交换机将所述待同步PCIE格式的数据转发至目的控制器。本发明提供的技术方案适用于存储阵列设备中，实现了多控存储设备的控制器间高效的数据传输。

Description

数据传输方法和系统
技术领域
本发明涉及计算机领域，尤其涉及一种多控存储设备阵列中的数据传输方法和系统。
背景技术
在存储阵列设备中，根据控制器数量的多寡，可分为单控存储设备和多控存储设备。传统多控存储设备的各控制器之间的数据交互通过系统PCIE总线上连接的其他通信协议芯片进行交互(如10GbE、Infiniband协议接口的芯片)。采用这种架构，控制器间数据传输的路径为：
起始控制器缓存——>控制器上的PCIE(Peripheral ComponentInterconnection Express，快速外设组件互连标准)总线——>通信协议接口芯片——>数据交换模块——>目的控制器通信协议接口芯片——>目的控制器PCIE总线——>目的控制器缓存。
采用这种架构，存储设备控制器上，必须包含通信协议接口芯片，硬件设计难度和成本大；数据传输从起始方到接受方，经历了两次数据协议的转换，使得系统数据交换速率和效率下降。
发明内容
本发明提供了一种数据传输方法和系统，解决了现有多控存储设备控制器数据传输架构中硬件成本大、数据传输效率低的问题。
一种数据传输方法，包括：
起始控制器向PCIE交换机发送待同步PCIE格式的数据；
所述PCIE交换机将所述待同步PCIE格式的数据转发至目的控制器。
优选的，上述数据传输方法还包括：
所述起始控制器与至少一个PCIE交换机通过冗余的数据链路连接。
优选的，所述起始控制器与至少一个PCIE交换机通过冗余的数据链路连接具体为：
为所述起始控制器配置两个或两个以上PCIE交换机，所述起始控制器通过所述冗余的数据链路与所述PCIE交换机连接，且所述PCIE交换机均处于激活(active)状态。
优选的，所述起始控制器向PCIE交换机发送待PCIE格式的数据具体为：
所述起始控制器将所述待同步PCIE格式的数据分配给所述至少一个PCIE交换机，分别向各PCIE交换机发送分配给该PCIE交换机的部分待同步PCIE数据。
本发明还提供了一种数据传输系统，包括第一控制器、第二控制器和至少一个PCIE交换机；
所述第一控制器，用于向所述PCIE交换机发送待同步PCIE格式的数据；
所述PCIE交换机，用于将所述待同步PCIE格式的数据转发至所述第二控制器。
优选的，所述第一控制器与至少一个PCIE交换机通过冗余的数据链路连接。
本发明提供了一种数据传输方法和系统，起始控制器向PCIE交换机发送待同步PCIE格式的数据，所述PCIE交换机将所述待同步PCIE格式的数据转发至目的控制器，以PCIE格式作为控制器间交换的数据格式，不需要进行额外的协议转换，解决了现有多控存储设备控制器数据传输架构中硬件成本大、数据传输效率低的问题。
附图说明
图1为本发明的实施例一提供的一种数据传输系统的结构示意图；
图2为本发明的实施例二提供的一种数据传输方法的流程图；
图3为使用本发明的实施例提供的数据传输方法进行数据传输的原理框图。
具体实施方式
为了解决了现有多控存储设备控制器数据传输架构中硬件成本大、数据传输效率低的问题，本发明的实施例提供了一种数据传输方法和系统。
下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
存储阵列系统作为信息技术数据后台的核心数据设备，必须满足在日益繁重、负责的IT环境下的高性能表现。本发明的实施例提供了一种数据传输方法和系统，在降低硬件开销的同时提高了多控制器存储阵列设备的数据传输效率。
首先对本发明的实施例一进行说明。
本发明实施例提供了一种数据传输系统，其结构如图1所示，包括：
包括第一控制器101、第二控制器102和PCIE交换机103。
所述第一控制器101，用于向所述PCIE交换机103发送待同步PCIE格式的数据；
所述PCIE交换机103，用于将所述待同步PCIE格式的数据转发至所述第二控制器102。
优选的，所述第一控制器101与至少一个PCIE交换机103通过冗余的数据链路连接。
其中，PCIE交换机103支持PCIE协议，可交换PCIE格式的数据。
PCIE交换机103具体为一基于PCIE链路通信的PCIE交换机模块，各控制器与PCIE交换机采用冗余的数据链路连接，数据传输方式为全交换。PCIE交换机103由VRM(电源调节模块)、SMBUS(System Management Bus，系统管理总线)总线、Clock(时钟单元)等构成。VRM(电源调节模块)将系统输入电源进行调压去耦后供给各个器件的电源输入；SMBUS总线是系统的管理数据流通道，连接到系统管理模块。此外，PCIE交换机103还包括单元散热单元、管理单元、后端接口模块、磁盘箱等模块，在此不再赘述。
上述数据传输系统基于PCIE直接互联的多控存储架构，提高了存储系统的数据传输效率，保证多控存储设备的高性能。通过PCIE直接互联的数据传输，传输速度和效率均优于传统架构中在系统PCIE总线上连接通信协议转换芯片互联的数据传输方式，从而可以保证多控存储设备在响应客户机I/O请求过程中多控制器间的数据传输高效、高速；在硬件结构上，多个控制器通过PCIE交换机直接互联的实现由于减少了传统架构中协议转换部件的硬件设计，可以使得多控存储设备数据信号更加稳定，降低系统设计复杂度，提高系统稳定性。
下面结合附图，对本发明的实施例二进行说明。
本发明实施例提供了一种数据传输方法，使用该方法与本发明的实施例一提供的数据传输系统，完成多个控制器间数据传输的流程如图2所示，包括：
步骤201、所述起始控制器与至少一个PCIE交换机通过冗余的数据链路连接；
本步骤中，起始控制器直接采用系统的PCIE总线与PCIE交换机连接，利用PCIE总线的全双工和高频高速特性，保证控制器间高速数据传输。优选的，在系统的每个控制器上均有两组冗余互备的PCIE总线接口，分别连接到两个PCIE交换机模块上，以保证系统可靠性。
PCIE交换机是系统中的数据交换通道，优选的，配置两个或更多的PCIE交换机，且PCIE交换机的工作模式均为active，采用交叉开关矩阵式设计，实现了控制器与控制器之间的全双工无阻塞。当任一PCIE交换机模出现故障时，由另一PCIE交换机接管该故障PCIE交换机当前的业务，故障PCIE交换机上的所有数据路径转移到正常工作的其他PCIE交换机上。
步骤202、起始控制器向PCIE交换机发送待同步PCIE格式的数据；
本步骤中，多控设备的一个控制器作为起始控制器，其将待发送的数据转化为PCIE格式后，便不再做进一步的协议转换，而是直接将待同步PCIE格式的数据发送给PCIE交换机。
步骤203、所述PCIE交换机将所述待同步PCIE格式的数据转发至目的控制器；
本步骤中，PCIE交换机直接将接收到的待同步PCIE格式的数据转发给目的控制器，目的控制器对接收到的PCIE格式的数据进行处理，缓存为镜像等。根据PCI-E 3.0规范，PCIE格式数据的编码数据速率，比同等情况下的PCI-E 2.0规范提高了一倍，X32端口的双向速率高达320Gbps，远远高于目前各种网络交换设备的速度。
本发明实施例中数据传输流程的原理框图如图3所示。
本发明实施例中待同步PCIE数据由起始控制器向目的控制器发送时的路径为：
起始控制器缓存——>控制器上的PCIE总线——>PCIE交换机模块——>接受数据的控制器PCIE总线——>接受数据的控制器缓存。减少了起始控制器一侧及目的控制器一侧的协议转换。
本发明的实施例提供了一种数据传输方法，与本发明的实施例所提供的数据传输系统相结合，起始控制器向PCIE交换机发送待同步PCIE格式的数据，所述PCIE交换机将所述待同步PCIE格式的数据转发至目的控制器，以PCIE格式作为控制器间交换的数据格式，不需要进行额外的协议转换，解决了现有多控存储设备控制器数据传输架构中硬件成本大、数据传输效率低的问题。通过PCIE直接互联的方式进行数据传输，减少了一级协议转换，并且不再受制于网络传输的性能瓶颈，其性能大大优于传统的数据传输模式。控制器间的数据传输性能的提升，一方面可以提高多控存储性能的对外性能；另一方面也能使得控制器间的数据同步、缓存镜像实现更为可靠，提高多控存储设备的可靠性。本发明的实施例中，由PCIE协议栈提供设备上线通告、自动侦测、速率协商、地址分配、链路控制的任务，并为上层系统调用提供接口，包括数据封装、数据链路选择等。待同步的PCIE数据平均发到系统中的两组(或以上)PCIE交换机上，充分利用系统数据链路，若其中一条链路故障，刚自动将数据全部集中到正常路径上。待两组路径均正常后，数据自动转回两条路径全连通模式。
本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行，在执行时，包括方法实施例的步骤之一或其组合。
可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。
上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。
任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。

Claims (6)

1.一种数据传输方法，其特征在于，包括：
起始控制器向PCIE交换机发送待同步快速外设组件互连标准(PCIE)格式的数据；
所述PCIE交换机将所述待同步PCIE格式的数据转发至目的控制器。
2.根据权利要求1所述的数据传输方法，其特征在于，该方法还包括：
所述起始控制器与至少一个PCIE交换机通过冗余的数据链路连接。
3.根据权利要求2所述的数据传输方法，其特征在于，所述起始控制器与至少一个PCIE交换机通过冗余的数据链路连接具体为：
为所述起始控制器配置两个或两个以上PCIE交换机，所述起始控制器通过所述冗余的数据链路与所述PCIE交换机连接，且所述PCIE交换机均处于激活(active)状态。
4.根据权利要求1所述的数据传输方法，其特征在于，所述起始控制器向PCIE交换机发送待PCIE格式的数据具体为：
所述起始控制器将所述待同步PCIE格式的数据分配给所述至少一个PCIE交换机，分别向各PCIE交换机发送分配给该PCIE交换机的部分待同步PCIE数据。
5.一种数据传输系统，其特征在于，包括第一控制器、第二控制器和至少一个PCIE交换机；
所述第一控制器，用于向所述PCIE交换机发送待同步PCIE格式的数据；
所述PCIE交换机，用于将所述待同步PCIE格式的数据转发至所述第二控制器。
6.根据权利要求5所述的数据传输系统，其特征在于，所述第一控制器与至少一个PCIE交换机通过冗余的数据链路连接。
CN2011100433339A 2011-02-23 2011-02-23 数据传输方法和系统 Active CN102103471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011100433339A CN102103471B (zh) 2011-02-23 2011-02-23 数据传输方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011100433339A CN102103471B (zh) 2011-02-23 2011-02-23 数据传输方法和系统

Publications (2)

Publication Number Publication Date
CN102103471A true CN102103471A (zh) 2011-06-22
CN102103471B CN102103471B (zh) 2012-11-14

Family

ID=44156279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100433339A Active CN102103471B (zh) 2011-02-23 2011-02-23 数据传输方法和系统

Country Status (1)

Country Link
CN (1) CN102103471B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049225A (zh) * 2013-01-05 2013-04-17 浪潮电子信息产业股份有限公司 一种双控双活的存储系统
CN103106048A (zh) * 2013-01-30 2013-05-15 浪潮电子信息产业股份有限公司 一种多控多活的存储系统
CN103327074A (zh) * 2013-05-24 2013-09-25 浪潮电子信息产业股份有限公司 一种全局共享缓存的紧耦合多控多活存储系统的设计方法
CN104484293A (zh) * 2014-11-20 2015-04-01 浪潮(北京)电子信息产业有限公司 一种在多控存储系统中实现前端协议的方法和设备
CN107565695A (zh) * 2017-10-11 2018-01-09 国网冀北电力有限公司电力科学研究院 基于pcie‑ssd环境的用电信息采集系统
CN108008657A (zh) * 2016-10-28 2018-05-08 北京计算机技术及应用研究所 一种控制板和交换板总线直连的负载均衡冗余交换系统
CN111656336A (zh) * 2018-06-30 2020-09-11 华为技术有限公司 一种pcie发送、接收方法及装置、设备和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101194475A (zh) * 2005-04-18 2008-06-04 思科技术公司 具有用于性能增强的加密和队列的PCI Express交换机
CN101604299A (zh) * 2009-07-13 2009-12-16 成都市华为赛门铁克科技有限公司 一种访问pcie ram的方法、存储控制器和存储系统
CN201369046Y (zh) * 2009-03-27 2009-12-23 福建星网锐捷网络有限公司 快速外部设备互联总线数据通信系统
US20110010481A1 (en) * 2009-07-10 2011-01-13 Brocade Communications Systems, Inc. Massive multi-core processor built with serial switching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101194475A (zh) * 2005-04-18 2008-06-04 思科技术公司 具有用于性能增强的加密和队列的PCI Express交换机
CN201369046Y (zh) * 2009-03-27 2009-12-23 福建星网锐捷网络有限公司 快速外部设备互联总线数据通信系统
US20110010481A1 (en) * 2009-07-10 2011-01-13 Brocade Communications Systems, Inc. Massive multi-core processor built with serial switching
CN101604299A (zh) * 2009-07-13 2009-12-16 成都市华为赛门铁克科技有限公司 一种访问pcie ram的方法、存储控制器和存储系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049225A (zh) * 2013-01-05 2013-04-17 浪潮电子信息产业股份有限公司 一种双控双活的存储系统
CN103106048A (zh) * 2013-01-30 2013-05-15 浪潮电子信息产业股份有限公司 一种多控多活的存储系统
CN103327074A (zh) * 2013-05-24 2013-09-25 浪潮电子信息产业股份有限公司 一种全局共享缓存的紧耦合多控多活存储系统的设计方法
CN104484293A (zh) * 2014-11-20 2015-04-01 浪潮(北京)电子信息产业有限公司 一种在多控存储系统中实现前端协议的方法和设备
CN104484293B (zh) * 2014-11-20 2017-09-08 浪潮(北京)电子信息产业有限公司 一种在多控存储系统中实现前端协议的方法和设备
CN108008657A (zh) * 2016-10-28 2018-05-08 北京计算机技术及应用研究所 一种控制板和交换板总线直连的负载均衡冗余交换系统
CN107565695A (zh) * 2017-10-11 2018-01-09 国网冀北电力有限公司电力科学研究院 基于pcie‑ssd环境的用电信息采集系统
CN111656336A (zh) * 2018-06-30 2020-09-11 华为技术有限公司 一种pcie发送、接收方法及装置、设备和系统
CN111656336B (zh) * 2018-06-30 2022-01-14 华为技术有限公司 一种pcie发送、接收方法及装置、设备和系统

Also Published As

Publication number Publication date
CN102103471B (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
CN102103471B (zh) 数据传输方法和系统
JP6041928B2 (ja) メモリ装置電源管理装置
CN101052013B (zh) 一种网络设备内部管理通道实现的方法及系统
US20130346653A1 (en) Versatile lane configuration using a pcie pie-8 interface
CN103546299A (zh) 使用串行器/解串器通道的50Gb/s以太网
CN104657317A (zh) 服务器
CN103036817A (zh) 一种服务器单板、服务器单板实现方法及主处理器
CN110209606B (zh) 一种基于PCIe的多接口存储设备的控制方法
CN101895423A (zh) 以太网中的数据传输方法和系统
CN103136141A (zh) 一种多控制器间的高速互联方法
CN103095463A (zh) Pcie交换网系统和通信方法
CN102387084A (zh) 基于RapidIO协议包交换的系统结构
US20210294531A1 (en) Memory Systems, Modules, and Methods for Improved Capacity
CN103064475B (zh) 一种服务设备
CN102870374B (zh) 负荷分担方法及装置、单板
CN104135514A (zh) 融合式虚拟化存储系统
CN103257946A (zh) 一种紧耦合多控存储系统控制器之间的高速互联方法
CN100478935C (zh) Pcie通道扩展装置、系统及其配置方法
CN105763488B (zh) 数据中心汇聚核心交换机及其背板
CN104967577A (zh) Sas交换机和服务器
CN100420217C (zh) 框间互连的通信系统及其数据交换方法
CN101247663B (zh) 大容量路由系统及其转发表生成方法
CN108234308B (zh) 一种分布式设备内部通信系统及方法
JP2015516617A (ja) モジュラサーバーシステム、ｉ／ｏモジュール及びスイッチング方法
CN116700445A (zh) 一种基于分布式存储硬件架构的全闪存arm存储服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201120

Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province

Patentee after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 100085 Beijing, Haidian District on the road to information on the ground floor, building 2-1, No. 1, C

Patentee before: Inspur (Beijing) Electronic Information Industry Co.,Ltd.

TR01 Transfer of patent right