CN103327074A - 一种全局共享缓存的紧耦合多控多活存储系统的设计方法 - Google Patents
一种全局共享缓存的紧耦合多控多活存储系统的设计方法 Download PDFInfo
- Publication number
- CN103327074A CN103327074A CN2013101954309A CN201310195430A CN103327074A CN 103327074 A CN103327074 A CN 103327074A CN 2013101954309 A CN2013101954309 A CN 2013101954309A CN 201310195430 A CN201310195430 A CN 201310195430A CN 103327074 A CN103327074 A CN 103327074A
- Authority
- CN
- China
- Prior art keywords
- controller
- data
- redundant
- link
- interface module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明提供一种全局共享缓存的紧耦合多控多活存储系统的设计方法，系统采用多层次的系统高可用机制，部件层支持控制器、电源、散热模块等部件的在线冗余配置，各模块在损坏故障50%的情况下，系统仍可以正常使用，系统软件层采用双向环形心跳算法，每个控制器节点同时向自己的前续和后续控制器发送心跳信息，随着控制器数量的增长，每个节点的心跳计算负载是固定的，双向环形心跳可以更快的发现多个连续节点失效，并且具有良好的可扩展性。
Description
技术领域
本发明涉及计算机应用技术领域,具体地说是一种全局共享缓存的紧耦合多控多活存储系统的设计方法。
背景技术
在传统存储阵列设备中，根据控制器数量的多寡，可分为单控存储设备和双控存储设备。
在双控阵列中，控制器的互联通过两个控制器的网络接口通信即可；对后端磁盘资源的管理也采用双链路。但当控制器数量超出2个时，采用直接互联的方式，多控制器和后端磁盘资源的管理就不能实现，必须采用新的架构。与传统多控存储前端服务控制器-缓存控制器-后端控制器的方式相比，本专利采用控制器直接耦合方式，效率更加高效。
本专利中，多个控制器之间为冗余数据链路，缓存单元硬件安装在每个控制器上，后端通过冗余SAS(Serial Serial Attached SCSI)接口连接至磁盘存储资源，各个部件均采用双冗余配置和热备检测，实现系统的高可用。
发明内容
本发明的目的是提供一种全局共享缓存的紧耦合多控多活存储系统的设计方法。
本发明的目的是按以下方式实现的，鉴于此，本发明提供了一种数据传输方法和系统，起始控制器向数据交换机发送待同步特定格式的数据，所述数据交换机将待同步特定格式的数据转发至目的控制器。通过这种数据传输架构，实行控制器之间传递控制器状态、控制器缓存、及后端存储等各项系统信息，实现系统同步、服务接管，全局缓存，为系统的高可用提供物理基础。本方法包括：多控制器的数据互联架构（101）、全局共享缓存构建方法（102）、冗余后端存储互联模式（103）、系统高可用机制（104）。
多控制器的数据互联架构（101）是多控制器存储系统的核心架构。该架构各主要部件均采用模块设计，具有良好的可扩展性，用户按需选择，维护、升级、管理简单方便。控制器与至少两个数据交换机通过冗余的数据链路连接，且数据交换机均处于激活（active）状态。控制器与每一个数据交换机都有独立的数据链路，其通信方式为控制器将所述待发送特定格式的数据分配给所述所连接的数据交换机，分别向各数据交换机发送分配给该数据交换机的部分系统特定格式的数据。控制器与控制器为active-active互备状态，数据交换机也为active-active互备状态。
全局共享缓存构建方法（102）通过逻辑地址映射技术把所有缓存单元组织成一个大的全局缓存池，提供给所有控制器使用。通过共享缓存的读写锁等机制，保证共全局缓存池的性能、可靠性、可用性和可扩展性。多控制器使用读写锁机制访问全局共享缓存池，解决并发数据读写的Cache一致性问题。数据锁管理机制，提供了从数据区域到数据单元两个级别读写访问锁。数据区域读写锁是若干数据单元读写锁的集合，保证了控制器对一组相关的数据单元进行读写操作时的数据一致性和顺序读写操作时的效率。数据单元读写锁是最小粒度的读写锁，用来锁定全局共享缓存的单个页面，它将并发访问冲突限制在单个页面，提高了访问的并发度。分层读写锁使控制器既能够使用粗粒度锁实现缓存数据的快速锁定，提高顺序读写操作的效率，又能够通过细粒度锁提高缓存数据的访问并发度，提高数据访问效率。
冗余后端存储互联模式（103）是指控制器与至少两个后端接口模块通过冗余的SAS链路连接，后端接口模块接口模块通过冗余的SAS链路与磁盘箱连接。控制器与后端接口模块之间，后端模块与磁盘箱之间，均为冗余链路，如果某一条链路出现故障时，可以通过其他路径保持数据链路通畅。多个接口模块之间的冗余设计，可以确保无单点故障。
系统高可用机制（104）在系统中采取的一系列高可用设计方法。硬件层面，支持控制器、电源、散热模块等部件的在线冗余配置，系统无单点故障，各模块在损坏故障50%的情况下，系统仍可以正常使用。软件层面，采用组播广播方式，控制器主动不间断发送各自的运行状态，每个控制器节点均能收到系统内全部状态信息，通过实时不间断的信息接收和判断，可以随时发现系统中故障控制器节点，从而迅速由备份控制器接管故障控制器的任务，系统服务保证不间断。
本发明的有益效果是：
系统采用多层次的系统高可用机制，部件层支持控制器、电源、散热模块等部件的在线冗余配置，各模块在损坏故障50%的情况下，系统仍可以正常使用，系统软件层采用双向环形心跳算法，每个控制器节点同时向自己的前续和后续控制器发送心跳信息，随着控制器数量的增长，每个节点的心跳计算负载是固定的，双向环形心跳可以更快的发现多个连续节点失效，并且具有良好的可扩展性。在硬件方面搭建多控多活的存储系统硬件架构，各主要部件均采用模块设计，控制器与至少两个数据交换机通过冗余的数据链路连接，且数据交换机均处于激活（active）状态。控制与每一个数据交换机都有独立的数据链路，其通信方式为控制器将所述待发送特定格式的数据分配给所述所连接的数据交换机，分别向各数据交换机发送分配给该数据交换机的部分系统特定格式的数据。控制器与控制器为active-active互备状态，数据交换机也为active-active互备状态。
附图说明
图1控制器的数据互联结构示意图；
图2是冗余后端存储互联结构示意图；
图3 是全局共享缓存读写锁结构框图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
该方法的实现实施方式可按照以下步骤执行：
在硬件方面搭建多控多活的存储系统硬件架构，各主要部件均采用模块设计，控制器与至少两个数据交换机通过冗余的数据链路连接，且数据交换机均处于激活（active）状态。控制与每一个数据交换机都有独立的数据链路，其通信方式为控制器将所述待发送特定格式的数据分配给所述所连接的数据交换机，分别向各数据交换机发送分配给该数据交换机的部分系统特定格式的数据。控制器与控制器为active-active互备状态，数据交换机也为active-active互备状态。
控制器与至少两个后端接口模块通过冗余的SAS链路连接，后端接口模块接口模块通过冗余的SAS链路与磁盘箱连接。控制器与后端接口模块之间，后端模块与磁盘箱之间，均为冗余链路，如果某一条链路出现故障时，可以通过其他路径保持数据链路通畅。多个接口模块之间的冗余设计，可以确保无单点故障。
全局共享缓存模式也是建立在系统硬件互联的基础上，软件方面逻辑地址映射技术把所有缓存单元组织成一个大的全局缓存池，提供给所有控制器使用。通过共享缓存的读写锁等机制，保证共全局缓存池的性能、可靠性、可用性和可扩展性。多控制器使用读写锁机制访问全局共享缓存池，解决并发数据读写的Cache一致性问题。数据锁管理机制，提供了从数据区域到数据单元两个级别读写访问锁。数据区域读写锁是若干数据单元读写锁的集合，保证了控制器对一组相关的数据单元进行读写操作时的数据一致性和顺序读写操作时的效率。数据单元读写锁是最小粒度的读写锁，用来锁定全局共享缓存的单个页面，它将并发访问冲突限制在单个页面，提高了访问的并发度。分层读写锁使控制器既能够使用粗粒度锁实现缓存数据的快速锁定，提高顺序读写操作的效率，又能够通过细粒度锁提高缓存数据的访问并发度，提高数据访问效率。
系统部件均采用高可用冗余方式配置，任一类型部件损坏50%不影响系统正常使用，软件层面通过组播方式快速广播各自控制器状态，实现故障快速接管，系统服务不间断。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (3)
1.一种全局共享缓存的紧耦合多控多活存储系统的设计方法，其特征在于全局共享缓存的紧耦合多控多活的存储体系统的设计，是通过软件策略方法实现，用以进一步提高存储系统的可靠性和可用性，系统包括：多控制器的数据互联架构（101）、全局共享缓存构建方法（102）、冗余后端存储互联模式（103）、系统高可用机制（104）其中：
多控制器的数据互联架构（101），是多控制器存储系统的核心架构，控制器与至少两个数据交换机通过冗余的数据链路连接，且数据交换机均处于激活active状态，由于控制器与每一个数据交换机都有独立的数据链路，其通信方式为控制器将所述待发送特定格式的数据分配给所述所连接的数据交换机，分别向各数据交换机发送分配该数据交换机部分系统特定格式的数据，控制器与控制器为active-active互备状态，数据交换机也为active-active互备状态；
全局共享缓存构建方法（102），是多控制器系统结构的关键技术，多个控制器的缓存通过逻辑地址映射技术把所有缓存单元组织成一个大的全局缓存池，提供给所有控制器使用，通过读写锁的并发访问控制技术实现对缓存数据的并发访问控制，实现多控制器之间的Cache一致性；
冗余后端存储互联模式（103），每控制器与至少两个后端接口模块通过冗余的SAS链路连接，后端接口模块接口模块通过冗余的SAS链路与磁盘箱连接，控制器与后端接口模块之间、后端模块与磁盘箱之间均为冗余链路，如果某一条链路出现故障时，通过其他路径保持数据链路通畅，采用多个接口模块之间的冗余设计以确保无单点故障；
系统高可用机制（104），是系统的各级别高可用策略和方法，系统将在部件层、设备层、服务层采取多种高可用机制，保证系统高可用。
2.根据权利要求1所述的设计方法，其特征在于，冗余后端存储互联架构（103），首先建立了控制器与至少两个后端接口模块直接的冗余的SAS链路连接，保证控制器与后端接口模块直接的点对点的数据路径高可用，其次建立接口模块与磁盘箱之间的冗余路径，保证后端接口模块与磁盘箱之间的点对点的数据路径高可用，同时冗余的接口模块之间的设计能确保后端接口模块无单点故障。
3.根据权利要求1所述的设计方法，其特征在于，系统高可用机制（104）采用多层次的系统高可用机制，部件层支持控制器、电源、散热模块部件的在线冗余配置，各模块在损坏故障50%的情况下，系统仍能正常使用，系统软件层采用双向环形心跳算法，每个控制器节点同时向自己的前续和后续控制器发送心跳信息，随着控制器数量的增长，每个节点的心跳计算负载是固定的，双向环形心跳能更快的发现多个连续节点失效，并且具有良好的可扩展性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101954309A CN103327074A (zh) | 2013-05-24 | 2013-05-24 | 一种全局共享缓存的紧耦合多控多活存储系统的设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013101954309A CN103327074A (zh) | 2013-05-24 | 2013-05-24 | 一种全局共享缓存的紧耦合多控多活存储系统的设计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103327074A true CN103327074A (zh) | 2013-09-25 |
Family
ID=49195596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2013101954309A Pending CN103327074A (zh) | 2013-05-24 | 2013-05-24 | 一种全局共享缓存的紧耦合多控多活存储系统的设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103327074A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104199740A (zh) * | 2014-08-28 | 2014-12-10 | 浪潮(北京)电子信息产业有限公司 | 共享系统地址空间的非紧耦合多节点多处理器系统和方法 |
| CN104636086A (zh) * | 2015-02-06 | 2015-05-20 | 浙江宇视科技有限公司 | 一种ha存储设备、管理ha状态的方法 |
| CN105224263A (zh) * | 2015-11-09 | 2016-01-06 | 深圳市迪菲特科技股份有限公司 | 双控磁盘阵列间通过vpd芯片进行数据交换的方法与装置 |
| CN106802955A (zh) * | 2017-01-19 | 2017-06-06 | 济南浪潮高新科技投资发展有限公司 | 一种图片数据缓存方法 |
| CN107608469A (zh) * | 2017-09-19 | 2018-01-19 | 中国核动力研究设计院 | 一种lvds高速通信背板 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1545033A (zh) * | 2003-11-14 | 2004-11-10 | 清华大学 | Fc-san存储子系统的lun cache方法 |
| CN101739220A (zh) * | 2009-02-25 | 2010-06-16 | 浪潮电子信息产业股份有限公司 | 一种多控制器存储阵列的设计方法 |
| CN102103471A (zh) * | 2011-02-23 | 2011-06-22 | 浪潮(北京)电子信息产业有限公司 | 数据传输方法和系统 |
-
2013
- 2013-05-24 CN CN2013101954309A patent/CN103327074A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1545033A (zh) * | 2003-11-14 | 2004-11-10 | 清华大学 | Fc-san存储子系统的lun cache方法 |
| CN101739220A (zh) * | 2009-02-25 | 2010-06-16 | 浪潮电子信息产业股份有限公司 | 一种多控制器存储阵列的设计方法 |
| CN102103471A (zh) * | 2011-02-23 | 2011-06-22 | 浪潮(北京)电子信息产业有限公司 | 数据传输方法和系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104199740A (zh) * | 2014-08-28 | 2014-12-10 | 浪潮(北京)电子信息产业有限公司 | 共享系统地址空间的非紧耦合多节点多处理器系统和方法 |
| CN104199740B (zh) * | 2014-08-28 | 2019-03-01 | 浪潮(北京)电子信息产业有限公司 | 共享系统地址空间的非紧耦合多节点多处理器系统和方法 |
| CN104636086A (zh) * | 2015-02-06 | 2015-05-20 | 浙江宇视科技有限公司 | 一种ha存储设备、管理ha状态的方法 |
| CN104636086B (zh) * | 2015-02-06 | 2018-08-31 | 浙江宇视科技有限公司 | 一种ha存储设备、管理ha状态的方法 |
| CN105224263A (zh) * | 2015-11-09 | 2016-01-06 | 深圳市迪菲特科技股份有限公司 | 双控磁盘阵列间通过vpd芯片进行数据交换的方法与装置 |
| CN106802955A (zh) * | 2017-01-19 | 2017-06-06 | 济南浪潮高新科技投资发展有限公司 | 一种图片数据缓存方法 |
| CN106802955B (zh) * | 2017-01-19 | 2020-06-16 | 浪潮通用软件有限公司 | 一种图片数据缓存方法 |
| CN107608469A (zh) * | 2017-09-19 | 2018-01-19 | 中国核动力研究设计院 | 一种lvds高速通信背板 |
| CN107608469B (zh) * | 2017-09-19 | 2023-09-12 | 中核控制系统工程有限公司 | 一种lvds高速通信背板 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10719417B2 (en) | Data protection cluster system supporting multiple data tiers | |
| CN103106048A (zh) | 一种多控多活的存储系统 | |
| US10778751B2 (en) | Method of micro-service transformation for power trading functions | |
| CN104750658B (zh) | 辅助式一致共享存储器 | |
| CN103327074A (zh) | 一种全局共享缓存的紧耦合多控多活存储系统的设计方法 | |
| CN101776983B (zh) | 磁盘阵列中双控制器信息的同步方法、及磁盘阵列系统 | |
| US9460049B2 (en) | Dynamic formation of symmetric multi-processor (SMP) domains | |
| CN103761058B (zh) | Raid1和raid4混合结构网络存储系统及方法 | |
| CN103049220B (zh) | 存储控制方法、存储控制装置和固态存储系统 | |
| EP3537687B1 (en) | Access method for distributed storage system, related device and related system | |
| CN104135514B (zh) | 融合式虚拟化存储系统 | |
| CN101739220A (zh) | 一种多控制器存储阵列的设计方法 | |
| NZ513789A (en) | Methods and systems for implementing shared disk array management functions | |
| CN102187324A (zh) | 用于直接附连存储系统的活动-活动故障转移 | |
| CN103617006A (zh) | 存储资源的管理方法与装置 | |
| CN102411639A (zh) | 元数据的多副本存储管理方法和系统 | |
| CN102207830A (zh) | 一种缓存动态分配管理方法及装置 | |
| CN105426427A (zh) | 基于raid 0 存储的mpp 数据库集群副本实现方法 | |
| CN108205573B (zh) | 一种数据分布式存储方法及系统 | |
| CN101778002A (zh) | 一种大规模集群系统及其构建方法 | |
| CN105472022A (zh) | 一种解决双机集群脑裂的方法及装置 | |
| CN106886368A (zh) | 一种块设备写io整形和多控制器同步系统及同步方法 | |
| KR20160121380A (ko) | 토러스 네트워크를 이용하는 분산 파일 시스템 및 토러스 네트워크를 이용하는 분산 파일 시스템의 구성 및 운영 방법 | |
| CN104298574A (zh) | 一种数据高速存储处理系统 | |
| CN103092532A (zh) | 一种集群存储系统的存储方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130925 |
|
| WD01 | Invention patent application deemed withdrawn after publication |