CN104407939A - 一种多控制器间的存储池元数据处理方法和装置 - Google Patents
一种多控制器间的存储池元数据处理方法和装置 Download PDFInfo
- Publication number
- CN104407939A CN104407939A CN201410678537.3A CN201410678537A CN104407939A CN 104407939 A CN104407939 A CN 104407939A CN 201410678537 A CN201410678537 A CN 201410678537A CN 104407939 A CN104407939 A CN 104407939A
- Authority
- CN
- China
- Prior art keywords
- storage pool
- metadata
- logical volume
- controller
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种多控制器间的存储池元数据处理方法和装置，属于数据存储技术领域，高端磁盘阵列冗余控制器间接管过程中，多个存储池和多个逻辑卷在接管控制器中重新启动比较耗时。在冗余控制器间，进行存储池和逻辑卷的预同步，提前构建存储池逻辑卷的映射关系和数据结构，在控制器接管过程中，加速存储池和逻辑卷的启动，可以存储阵列的存储性能，提高存储资源的响应时间。
Description
技术领域
本发明涉及数据存储技术，尤其涉及到高端磁盘阵列中多控制器之间接管回切的元数据处理方法，具体说是一种多控制器间的存储池元数据处理方法和装置。
背景技术
高端磁盘阵列提供存储数据的高可用服务，常采用多个控制器冗余设计。控制器之间通过高速互联网络相互连接，当系统启动时，控制器之间通过互联网络建立连接，相互发送心跳、缓存镜像。当一个控制器故障时，相互连接的冗余控制器通过心跳检测到对方故障，接管故障控制器的存储资源。
对于高端磁盘阵列，存储池系统每个存储池支持多大4096—32768个以上的逻辑卷，当发生控制器故障，冗余控制器接管时，存储池中上千或者上万个逻辑卷在接管控制器上重新启动，从存储池硬盘中读出存储池、逻辑卷的元数据到内存中，再到内存中构建存储池和逻辑卷对象，这样处理可以完整启动起接管过来的存储池和逻辑卷，但是特别耗时、影响性能。
发明内容
本发明实施提出一种高端磁盘阵列多控制器间的存储池元数据处理方法，可有效的缩减在多控制器间接管过程中，上万个逻辑卷重新启动时间，提高存储池系统响应时间。本发明实施例还提供了相应的装置。
本发明第一方面提供一种多控制器间的存储池元数据处理方法，包括：
1、相互冗余的控制器之间通过高速互联网络进行存储池、逻辑卷的元数据同步；
2、同步条件为元数据更新时同步和定时同步，满一即可同步；
3、冗余控制器利用同步过来的元数据和服务，提前构建好存储池、逻辑卷以及映射表等数据结构；
4、存储池元数据记录更新版本号，冗余控制器同步的元数据中记录该值，当进行接管时，查询接管过来存储资源（物理卷）上该版本号，如果一致，再着已预构建的存储池和逻辑卷数据结构有效，则不需要重新加载存储池和逻辑卷元数据，只需要加载物理卷，即可完成存储池启动；
5、启用多线程方式加速存储池启动。
多控制器存储系统中，控制器间通过高速互联网络infiniband网络互联，进行存储池和逻辑卷的元数据同步备份操作。
元数据同步的条件为是S1控制器中存储池或者逻辑卷的元数据有更新，S2定时更新；如果一个条件满足，即可执行元数据同步操作。
控制器使用同步过来的存储池和逻辑卷的元数据，预构建存储池、逻辑卷的映射关系和数据结构。
元数据中包含元数据更新版本号。
在控制器接管过程后，冗余控制器根据同步过来的元数据更新版本号和物理卷中的元数据更新版本号比较，如果相同，就使用预构建的存储池、逻辑卷数据结构启动接管的存储池逻辑卷；如果不相同，就需要重新加载存储池和逻辑卷元数据，只需要加载物理卷，即可完成存储池启动。
在重新启动多个存储池、逻辑卷的时候，多线程并行执行。
本发明第二方面提供一种多控制器间的存储池元数据处理装置，包括：
同步单元，用于将更新的存储池、逻辑卷元数据同步到冗余的对端控制器中。
扫描单元，用于实时扫描存储池、逻辑卷元数据是否更新，如果更新就启动同步单元，同步元数据。
构建单元，在冗余控制器系统中，使用同步不单元通过过来的元数据，提前构建存储池、逻辑卷和逻辑卷与物理卷的映射关系。
启动单元，采用多线程并行加速存储池启动。在控制器接管时，比较同步过来的元数据版本号和接管过来的存储资源上的存储池元数据版本号是否一致，如果一致就使用提前重构好的存储池、逻辑卷快速启动。如果不一致，就需要从物理卷中加载元数据，重新启动存储池和逻辑卷。
附图说明
图1是控制器间元数据预同步策略示意图。
具体实施方式
下面对本发明的内容进行更加详细的阐述：
本发明实施例提供一种高端磁盘阵列多控制器间的存储池元数据处理方法，可有效的加速多控制器间接管资源的处理，提高磁盘阵列的处理速度。
在冗余控制器间，进行存储池和逻辑卷的预同步，提前构建存储池逻辑卷的映射关系和数据结构，在控制器接管过程中，加速存储池和逻辑卷的启动。
相互冗余的控制器之间通过高速互联网络进行存储池、逻辑卷的元数据同步。
同步条件为元数据更新时同步和定时同步，满一即可同步。
冗余控制器利用同步过来的元数据和服务，提前构建好存储池、逻辑卷以及映射表等数据结构。
存储池元数据记录更新版本号，冗余控制器同步的元数据中记录该值，当进行接管时，查询接管过来存储资源（物理卷）上该版本号，如果一致，再着已预构建的存储池和逻辑卷数据结构有效，则不需要重新加载存储池和逻辑卷元数据，只需要加载物理卷，即可完成存储池启动。
启用多线程方式加速存储池启动
下面参考图1详细说明。
在高端磁盘阵列中，多控制器间通过高速互联网络infiniband网络连接，形成控制器相互冗余。在控制器系统中，设计存储池元数据远程同步模块和存储池元数据更新扫描模块，当存储池、逻辑卷创建或者其元数据有更新了，将其元数据远程同步到相互冗余的控制器中，并在冗余的控制器中启动存储池、逻辑卷构建模块，提前构建存储池和逻辑卷的元数据数据结构等。磁盘阵列控制器间有接管流程后，存储池和逻辑卷启动模块，采用多线程并行启动存储池逻辑卷，在启动前先要比较远程同步过来的元数据更新版本号和接管过来的物理卷中的更新版本号是否一样，如果一样，使用构建模块重构好的存储池、逻辑卷快速启动。如果不一样，就需要从物理卷中加载元数据，重新启动存储池和逻辑卷。
Claims (8)
1.一种多控制器间的存储池元数据处理方法，其特征在于，包括：
相互冗余的控制器之间通过高速互联网络进行存储池、逻辑卷的元数据同步；
同步条件为元数据更新时同步和定时同步，满一即可同步；
冗余控制器利用同步过来的元数据和服务，提前构建好存储池、逻辑卷以及映射表等数据结构；
存储池元数据记录更新版本号，冗余控制器同步的元数据中记录该值，当进行接管时，查询接管过来存储资源上该版本号，如果一致，再着已预构建的存储池和逻辑卷数据结构有效，则不需要重新加载存储池和逻辑卷元数据，只需要加载物理卷，即可完成存储池启动；
启用多线程方式加速存储池启动。
2.根据权利1所述的方法，其特征在于，
多控制器存储系统中，控制器间通过高速互联网络infiniband网络互联，进行存储池和逻辑卷的元数据同步备份操作。
3.根据权利1所述的方法，其特征在于，
元数据同步的条件为是S1控制器中存储池或者逻辑卷的元数据有更新，S2定时更新；如果一个条件满足，即可执行元数据同步操作。
4.根据权利1所述的方法，其特征在于，
控制器使用同步过来的存储池和逻辑卷的元数据，预构建存储池、逻辑卷的映射关系和数据结构。
5.根据权利1所述的方法，其特征在于，还包括：
元数据中包含元数据更新版本号。
6.根据权利1所述的方法，其特征在于，
在控制器接管过程后，冗余控制器根据同步过来的元数据更新版本号和物理卷中的元数据更新版本号比较，如果相同，就使用预构建的存储池、逻辑卷数据结构启动接管的存储池逻辑卷；如果不相同，就需要重新加载存储池和逻辑卷元数据，只需要加载物理卷，即可完成存储池启动。
7.根据权利1所述的方法，其特征在于，
在重新启动多个存储池、逻辑卷的时候，多线程并行执行。
8.一种多控制器间的存储池元数据处理装置，其特征在于，包括：
同步单元，用于将更新的存储池、逻辑卷元数据同步到冗余的对端控制器中；
扫描单元，用于实时扫描存储池、逻辑卷元数据是否更新，如果更新就启动同步单元，同步元数据；
构建单元，在冗余控制器系统中，使用同步不单元通过过来的元数据，提前构建存储池、逻辑卷和逻辑卷与物理卷的映射关系；
启动单元，采用多线程并行加速存储池启动；在控制器接管时，比较同步过来的元数据版本号和接管过来的存储资源上的存储池元数据版本号是否一致，如果一致就使用提前重构好的存储池、逻辑卷快速启动；
如果不一致，就需要从物理卷中加载元数据，重新启动存储池和逻辑卷。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410678537.3A CN104407939A (zh) | 2014-11-24 | 2014-11-24 | 一种多控制器间的存储池元数据处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410678537.3A CN104407939A (zh) | 2014-11-24 | 2014-11-24 | 一种多控制器间的存储池元数据处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104407939A true CN104407939A (zh) | 2015-03-11 |
Family
ID=52645572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410678537.3A Pending CN104407939A (zh) | 2014-11-24 | 2014-11-24 | 一种多控制器间的存储池元数据处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104407939A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106712943A (zh) * | 2017-01-20 | 2017-05-24 | 郑州云海信息技术有限公司 | 一种安全存储系统 |
| WO2021031618A1 (zh) * | 2019-08-22 | 2021-02-25 | 华为技术有限公司 | 一种数据备份方法、数据备份装置及数据备份系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101382872A (zh) * | 2008-10-21 | 2009-03-11 | 浪潮电子信息产业股份有限公司 | 一种通过检测心跳对sas与sata信号进行双控存储切换控制方法 |
| US7657578B1 (en) * | 2004-12-20 | 2010-02-02 | Symantec Operating Corporation | System and method for volume replication in a storage environment employing distributed block virtualization |
| CN101887386A (zh) * | 2010-06-02 | 2010-11-17 | 深圳市迪菲特科技股份有限公司 | 一种磁盘阵列控制器故障处理方法及系统 |
| CN103176745A (zh) * | 2011-12-26 | 2013-06-26 | 英业达股份有限公司 | 具有双控制器的储存系统的硬盘阵列接管方法 |
-
2014
- 2014-11-24 CN CN201410678537.3A patent/CN104407939A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7657578B1 (en) * | 2004-12-20 | 2010-02-02 | Symantec Operating Corporation | System and method for volume replication in a storage environment employing distributed block virtualization |
| CN101382872A (zh) * | 2008-10-21 | 2009-03-11 | 浪潮电子信息产业股份有限公司 | 一种通过检测心跳对sas与sata信号进行双控存储切换控制方法 |
| CN101887386A (zh) * | 2010-06-02 | 2010-11-17 | 深圳市迪菲特科技股份有限公司 | 一种磁盘阵列控制器故障处理方法及系统 |
| CN103176745A (zh) * | 2011-12-26 | 2013-06-26 | 英业达股份有限公司 | 具有双控制器的储存系统的硬盘阵列接管方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106712943A (zh) * | 2017-01-20 | 2017-05-24 | 郑州云海信息技术有限公司 | 一种安全存储系统 |
| WO2021031618A1 (zh) * | 2019-08-22 | 2021-02-25 | 华为技术有限公司 | 一种数据备份方法、数据备份装置及数据备份系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11163479B2 (en) | Replicated state cluster with standby node state assessment during leadership transition | |
| US9727429B1 (en) | Method and system for immediate recovery of replicated virtual machines | |
| EP3928208B1 (en) | System and method for self-healing in decentralized model building for machine learning using blockchain | |
| US8719497B1 (en) | Using device spoofing to improve recovery time in a continuous data protection environment | |
| JP5562444B2 (ja) | クラスタシステムにおいてクラスタ非対応アプリケーションをフェールオーバーするためのシステムおよび方法 | |
| RU2014125081A (ru) | Согласованные с приложениями снимки общего тома | |
| US10114848B2 (en) | Ensuring the same completion status for transactions after recovery in a synchronous replication environment | |
| WO2018068661A1 (zh) | 一种基于Paxos协议的分布式一致性系统的在线扩容、在线缩容的方法和装置 | |
| US10936224B1 (en) | Cluster controller selection for shared storage clusters | |
| WO2017041616A1 (zh) | 数据读写方法及装置、双活存储系统及其实现方法 | |
| CN103309737A (zh) | 一种切换操作系统的方法及设备 | |
| CN114466027B (zh) | 一种云原生数据库服务提供方法、系统、设备及介质 | |
| US20160085445A1 (en) | Method operating raid system and data storage systems using write command log | |
| US9910733B2 (en) | Transaction completion in a synchronous replication environment | |
| WO2016078529A1 (zh) | 业务处理方法、装置及系统 | |
| KR20170013319A (ko) | 데이터 관리 방법, 노드, 그리고 데이터베이스 클러스터를 위한 시스템 | |
| US8612799B2 (en) | Method and apparatus of backing up subversion repository | |
| CN102945193B (zh) | 一种运行数据的恢复方法及电子设备 | |
| CN102508745B (zh) | 一种基于两级松散同步的三模冗余系统及其实现方法 | |
| CN104407939A (zh) | 一种多控制器间的存储池元数据处理方法和装置 | |
| US20200125461A1 (en) | Effective backup of data used by multiple nodes executing parallel processing | |
| CN102880530A (zh) | 终端和终端备份及恢复方法 | |
| CN102385624B (zh) | 一种面向分布式文件系统的日志数据组织的方法 | |
| CN111984474B (zh) | 一种双控集群故障恢复的方法、系统及设备 | |
| CN103327105B (zh) | hadoop系统中从属节点服务自动恢复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150311 |
|
| WD01 | Invention patent application deemed withdrawn after publication |