CN103092532A - 一种集群存储系统的存储方法 - Google Patents

一种集群存储系统的存储方法 Download PDF

Info

Publication number
CN103092532A
CN103092532A CN2013100226677A CN201310022667A CN103092532A CN 103092532 A CN103092532 A CN 103092532A CN 2013100226677 A CN2013100226677 A CN 2013100226677A CN 201310022667 A CN201310022667 A CN 201310022667A CN 103092532 A CN103092532 A CN 103092532A
Authority
CN
China
Prior art keywords
data
controller
storage
back end
memory device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100226677A
Other languages
English (en)
Other versions
CN103092532B (zh
Inventor
刘希猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201310022667.7A priority Critical patent/CN103092532B/zh
Publication of CN103092532A publication Critical patent/CN103092532A/zh
Application granted granted Critical
Publication of CN103092532B publication Critical patent/CN103092532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种集群存储系统的存储方法，涉及计算机系统及存储领域，所述集群存储系统包括i个应用、y个高可用性HA数据节点和m个存储设备，所述i、y、m为正整数，所述方法包括：将一台存储设备的高可用性HA双控制器与所述y个HA数据节点中的两个HA数据节点一一对应绑定；当一应用需要访问存储设备时，该应用对应的数据节点通过所绑定的控制器访问逻辑卷，所述逻辑卷为存储设备对外提供的磁盘空间。与现有技术相比，本发明通过绑定控制器与数据节点，实现数据节点访问双控存储设备时近端访问，避免控制器资源过多用于双控间的数据传输，造成性能波动频繁。本发明用于集群存储系统。

Description

一种集群存储系统的存储方法
技术领域
本发明涉及计算机系统及存储领域，尤其涉及集群存储系统的存储方法。
背景技术
集群存储是指：由若干个“通用存储设备”组成的用于存储的集群，组成集群存储的每个存储系统的性能和容量均可通过“集群”的方式得以叠加和扩展。集群存储应该包括数据节点、前端网络、后端网络等三个构成元素，每个元素都可以非常容易地采用业界最新技术而不用改变集群存储的架构，且扩展起来非常方便，像搭积木一样进行存储的扩展。特别是对于那些对数据增长趋势较难预测的用户，可以先购买一部分存储，当有需求的时候，随时添加，而不会影响现有存储的使用。集群存储的操作都经由分布式操作系统统一调度和分发，分散到集群存储各个数据节点上完成。使用分布式操作系统带来的好处是各节点之间没有任何区别，没有主次、功能上的区别，所有数据节点功能完全一致。集群存储中，统一命名空间强调的是同一个文件系统下的统一命名空间。它同样可以支持上PB(PowerBuilder)级别的存储空间。如果是通过将若干有空间上限的卷挂载到某一个根目录的方式来达到统一命名空间，其效率和出现存储热点时的性能将会大大低于把上PB级别的存储空间置于同一个文件系统下管理的统一命名空间。
集群存储系统中，针对某些高性能数据的特定处理领域，需要存储系统对外提供恒定高于定值的存储性能，如：卫星数据的下传及解压处理等。
目前，集群存储系统进入到一个新的阶段。集群存储系任何一级因统中素发生短暂故障或异常都会造成整个系统的使用受到影响，特别是系统规模扩大对底层微小故障具有放大作用。所谓系统越复杂，稳定性受到的挑战也就越大。在某些行业的特定应用系统中，一些业务需要存储持续提供较高的存储性能输出，而整个系统出现低于要求的最低性能的波动时，就会出现应用的错误运行，甚至是数据的丢失。
发明内容
为了提升集群存储系统存储性能输出的稳定性，本发明提出一种集群存储系统的存储方法。
为了解决上述技术问题，本发明提供了一种集群存储系统的存储方法，所述集群存储系统包括i个应用、y个高可用性HA数据节点和m个存储设备，所述i、y、m为正整数，所述方法包括：
分别将各存储设备的高可用性HA双控制器与所述y个HA数据节点中的两个HA数据节点一一对应绑定；
当一应用需要访问存储设备时，该应用对应的数据节点通过所绑定的控制器访问逻辑卷，所述逻辑卷为存储设备对外提供的磁盘空间；应用访问存储设备包括读和/或写，数据节点的数据传输包括通过控制器从逻辑卷发送数据和/或接收数据。
进一步地，如果一应用要求读写带宽波动范围小于带宽阈值，则该应用对应的数据节点通过所绑定的控制器访问逻辑卷的步骤，是将该应用的数据存储至固定的资源设备存储池，所述资源设备存储池为一组逻辑卷的集合。
进一步地，所述带宽阈值为正负5％。
进一步地，所述方法还包括：存储设备的控制器将从所绑定的数据节点接收的数据保存在高速缓冲存储器中；
当已经保存的数据的大小与高速缓冲存储器容量的比值达到比例阈值时，进行落盘刷新，所述落盘刷新为数据由高速缓冲存储器写入磁盘的过程。
进一步地，根据输出带宽、数据落盘刷新速度、控制器数据高级功能确定比例阈值。
进一步地，所述比例阈值为30％。
进一步地，在存储逻辑卷数据时，存储设备的每个控制器将从数据节点接收的数据存储在所述控制器管理的逻辑卷中。
进一步地，在存储逻辑卷数据时，增加存储设备虚拟缓存的大小。
与现有技术相比，本发明通过提高高速缓冲存储器(Cache)的刷新比例，降低对磁盘的频繁访问，有效降低磁盘性能对整个系统性能输出波动的影响；尽量使得控制器资源为单独的逻辑卷提供硬件支撑，避免逻辑卷性能争用造成系统性能的波动；通过绑定控制器与数据节点，实现数据节点访问双控存储设备时近端访问，避免控制器资源过多用于双控间的数据传输，造成性能波动频繁；通过增加本地数据卷虚拟缓存有效提升数据节点上的存储性能输出稳定性；将性能稳定性需求高的应用于其他应用进行分割，应用数据可以定向存储。
附图说明
图1为现有技术中性能波动分析示意图；
图2为现有技术中数据节点与控制器路径规划结构示意图；
图3为本发明实施例的数据节点与控制器路径规划结构示意图；
图4为本发明实施例的集群存储系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
本发明实施例提出了一种集群存储系统的存储方法，应用于集群存储系统，所述集群存储系统包括i个应用、y个高可用性HA数据节点和m个存储设备，所述i、y、m为正整数，所述方法包括：
分别将各存储设备的高可用性HA双控制器与所述y个HA数据节点中的两个HA数据节点一一对应绑定；
当一应用需要访问存储设备时，该应用对应的数据节点通过所绑定的控制器访问逻辑卷，所述逻辑卷为存储设备对外提供的磁盘空间；应用访问存储设备包括读和/或写，数据节点的数据传输包括通过控制器从逻辑卷发送数据和/或接收数据。
集群存储系统的稳定性一般要求系统实现双路径冗余提供服务，本发明实施例的方法通过将HA双控制器与HA双数据节点分别绑定，实现数据节点通过单控制器访问逻辑卷。避免双路径数据在控制器缓存之间交互后落到远端控制器磁盘上，避免性能争用，进而造成整个存储系统性能波动。
本发明实施例将要求读写带宽波动范围小于带宽阈值的应用的数据存储至固定的资源设备存储池，具体的做法为：
如果一应用要求读写带宽波动范围小于带宽阈值，则该应用对应的数据节点通过所绑定的控制器访问逻辑卷的步骤，是将该应用的数据存储至固定的资源设备存储池，所述资源设备存储池为一组逻辑卷的集合，属于存储设备提供的一种逻辑空间。
在集群存储系统中，将性能稳定性需求高的应用于其他应用进行分割，应用数据可以定向存储。传统集群存储系统一般都支持存储池的数据条带分布，目前存储应用提的较多的分级存储大多依靠热点数据访问频度对数据进行存储资源定向。本发明实施例的方法根据特定应用将其数据定向至固定资源设备存储池。在整个集群存储系统中，根据应用不同实现数据存储分割。以此避免了大量的应用服务访问统一存储空间时造成应用之间互相干扰，避免特定应用的任务失效。
本发明实施例将存储设备的控制器接收的数据在高速缓冲存储器中达到比例阈值时，进行落盘刷新，所述落盘刷新为数据由高速缓冲存储器写入磁盘的过程。比例阈值需根据特定存储进行测试验证，与输出带宽、数据落盘刷新速度、控制器数据高级功能有关。
底层设备接收的数据在cache中达到一定比例进行落盘刷新，通过设置阵列控制中cache刷新比例，降低对磁盘的频繁访问，可有效降低磁盘性能对整个系统性能输出波动的影响。
在存储逻辑卷数据时，存储设备的每个控制器将数据存储在所述控制器管理的逻辑卷中。
一台存储设备中可以有很多逻辑卷，其中存储设备中两台控制器分别管理其中一部分的逻辑卷(双控可以交叉访问逻辑卷)。在双控AA(active-active)工作模式时，双路径数据在控制器缓存之间交互后落到远端控制器磁盘上造成性能争用，由于磁盘阵列控制的处理能力及本地缓存资源有限，当一个控制器控制多个逻辑卷，并且由于RAID(磁盘阵列，Redundant Arrays ofInexpensive Disks)损坏导致控制器进行重构等工作时，其他逻辑卷的访问性能受到明显的影响。本发明实施例每个控制器只操作自己管理的那部分硬件逻辑卷。
本发明实施例在数据节点的数据写入逻辑卷时，增加存储设备虚拟缓存的大小。
数据节点上的数据在写入逻辑卷时，首先数据要在本地缓存中暂存，这个暂存空间是可以通过集群文件系统的内部参数进行调整的。通过增加本地存储设备虚拟缓存有效提升数据节点上的存储性能输出稳定性。
实施例
在整个集群存储系统的部署初期，统一进行cache参数针对特定应用的调整，由于参数定制会造成系统平均输出性能的降低，可针对特定应用做参数定制，将带宽波动范围为小于5％的数据定向至固定资源设备存储池。
实现逻辑卷与控制器资源的一对一服务。
存储设备的控制器接收的数据在高速缓冲存储器中达到30％时，进行落盘刷新。
集群存储的数据节点与双控制器磁盘阵列互联时，后端数据网络连接HA双控制器与HA双数据节点实现分别绑定，数据节点1通过路径1、2访问控制器1上资源，数据节点2通过路径3、4访问控制器2上的资源。避免数据节点1通过路径1、2同时访问控制器1、2，如图3所示，本发明实施例的方法通过将HA双控制器与HA双数据节点分别绑定，实现数据节点通过单控制器访问逻辑卷。
通过设置集群文件系统中本地缓存中用于集群系统逻辑卷的缓存大小，如将集群存储系统中缓存大小从默认的32MB提升至256MB。
特定应用的读入数据或写入数据存放在此资源池中，其他应用的其他数据设置成该资源池外的存储空间。整个数据存储实现分割，但所有应用对整个存储空间可以统一访问。
以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种集群存储系统的存储方法，其特征在于：所述集群存储系统包括i个应用、y个高可用性HA数据节点和m个存储设备，所述i、y、m为正整数，所述方法包括：
分别将各存储设备的高可用性HA双控制器与所述y个HA数据节点中的两个HA数据节点一一对应绑定；
当一应用需要访问存储设备时，该应用对应的数据节点通过所绑定的控制器访问逻辑卷，所述逻辑卷为存储设备对外提供的磁盘空间；应用访问存储设备包括读和/或写，数据节点的数据传输包括通过控制器从逻辑卷发送数据和/或接收数据。
2.如权利要求1所述的存储方法，其特征在于：如果一应用要求读写带宽波动范围小于带宽阈值，则该应用对应的数据节点通过所绑定的控制器访问逻辑卷的步骤，是将该应用的数据存储至固定的资源设备存储池，所述资源设备存储池为一组逻辑卷的集合。
3.如权利要求2所述的存储方法，其特征在于：所述带宽阈值为正负5％。
4.如权利要求1所述的存储方法，其特征在于，还包括：存储设备的控制器将从所绑定的数据节点接收的数据保存在高速缓冲存储器中；
当已经保存的数据的大小与高速缓冲存储器容量的比值达到比例阈值时，进行落盘刷新，所述落盘刷新为数据由高速缓冲存储器写入磁盘的过程。
5.如权利要求4所述的存储方法，其特征在于：根据输出带宽、数据落盘刷新速度、控制器数据高级功能确定比例阈值。
6.如权利要求4所述的存储方法，其特征在于：所述比例阈值为30％。
7.如权利要求1所述的存储方法，其特征在于：在存储逻辑卷数据时，存储设备的每个控制器将从数据节点接收的数据存储在所述控制器管理的逻辑卷中。
8.如权利要求1所述的存储方法，其特征在于：在存储逻辑卷数据时，增加存储设备虚拟缓存的大小。
CN201310022667.7A 2013-01-21 2013-01-21 一种集群存储系统的存储方法 Active CN103092532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310022667.7A CN103092532B (zh) 2013-01-21 2013-01-21 一种集群存储系统的存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310022667.7A CN103092532B (zh) 2013-01-21 2013-01-21 一种集群存储系统的存储方法

Publications (2)

Publication Number Publication Date
CN103092532A true CN103092532A (zh) 2013-05-08
CN103092532B CN103092532B (zh) 2016-03-23

Family

ID=48205162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310022667.7A Active CN103092532B (zh) 2013-01-21 2013-01-21 一种集群存储系统的存储方法

Country Status (1)

Country Link
CN (1) CN103092532B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589664A (zh) * 2015-12-29 2016-05-18 四川中电启明星信息技术有限公司 虚拟存储高速传输方法
CN107193947A (zh) * 2017-05-22 2017-09-22 郑州云海信息技术有限公司 一种文件系统缓存增量刷新方法及系统
CN108762673A (zh) * 2018-05-24 2018-11-06 浪潮电子信息产业股份有限公司 一种远程数据存取处理系统
CN108829538A (zh) * 2018-05-25 2018-11-16 郑州云海信息技术有限公司 一种基于存储的应用备份方法及装置
CN109669634A (zh) * 2018-12-17 2019-04-23 浪潮电子信息产业股份有限公司 一种数据落盘方法、装置、设备及可读存储介质
WO2021128904A1 (zh) * 2019-12-27 2021-07-01 苏州浪潮智能科技有限公司 一种动态多级缓存的方法和设备
CN113282604A (zh) * 2021-07-14 2021-08-20 北京远舢智能科技有限公司 基于消息队列实现的高可用时序数据库集群系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050172073A1 (en) * 2004-01-30 2005-08-04 Hewlett-Packard Development Company, L.P. Storage system including capability to move a virtual storage device group without moving data
US20070233997A1 (en) * 2006-04-04 2007-10-04 Makoto Kobara Storage system for processing access request from host and method for doing the same
CN101808122A (zh) * 2010-03-05 2010-08-18 浪潮(北京)电子信息产业有限公司 大规模集群存储系统及其构造方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050172073A1 (en) * 2004-01-30 2005-08-04 Hewlett-Packard Development Company, L.P. Storage system including capability to move a virtual storage device group without moving data
US20070233997A1 (en) * 2006-04-04 2007-10-04 Makoto Kobara Storage system for processing access request from host and method for doing the same
CN101808122A (zh) * 2010-03-05 2010-08-18 浪潮(北京)电子信息产业有限公司 大规模集群存储系统及其构造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汪筱红: "高可用多节点集群技术的研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 6, 15 June 2008 (2008-06-15), pages 25 - 36 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589664A (zh) * 2015-12-29 2016-05-18 四川中电启明星信息技术有限公司 虚拟存储高速传输方法
CN105589664B (zh) * 2015-12-29 2018-07-31 四川中电启明星信息技术有限公司 虚拟存储高速传输方法
CN107193947A (zh) * 2017-05-22 2017-09-22 郑州云海信息技术有限公司 一种文件系统缓存增量刷新方法及系统
CN108762673A (zh) * 2018-05-24 2018-11-06 浪潮电子信息产业股份有限公司 一种远程数据存取处理系统
CN108829538A (zh) * 2018-05-25 2018-11-16 郑州云海信息技术有限公司 一种基于存储的应用备份方法及装置
CN109669634A (zh) * 2018-12-17 2019-04-23 浪潮电子信息产业股份有限公司 一种数据落盘方法、装置、设备及可读存储介质
CN109669634B (zh) * 2018-12-17 2022-03-04 浪潮电子信息产业股份有限公司 一种数据落盘方法、装置、设备及可读存储介质
WO2021128904A1 (zh) * 2019-12-27 2021-07-01 苏州浪潮智能科技有限公司 一种动态多级缓存的方法和设备
CN113282604A (zh) * 2021-07-14 2021-08-20 北京远舢智能科技有限公司 基于消息队列实现的高可用时序数据库集群系统
CN113282604B (zh) * 2021-07-14 2021-10-22 北京远舢智能科技有限公司 基于消息队列实现的高可用时序数据库集群系统

Also Published As

Publication number Publication date
CN103092532B (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
CN103092532A (zh) 一种集群存储系统的存储方法
US9891835B2 (en) Live configurable storage
CN101840308B (zh) 一种分级存储系统及其逻辑卷管理方法
CN110825324B (zh) 混合存储的控制方法及混合存储系统
US8713275B2 (en) Memory access monitoring method and device
EP3465444B1 (en) Data access between computing nodes
EP2685384A2 (en) Elastic cache of redundant cache data
CN102117248A (zh) 一种缓存系统和在缓存系统中缓存数据的方法
CN103608792A (zh) 支持多核架构下资源隔离的方法及系统
CN103246616A (zh) 一种长短周期访问频度的全局共享缓存替换方法
CN103229171A (zh) 基于快照的复制
CN105677251A (zh) 基于Redis集群的存储系统
US9747040B1 (en) Method and system for machine learning for write command selection based on technology feedback
US20100161897A1 (en) Metadata server and disk volume selecting method thereof
CN106027638B (zh) 一种基于混合编码的hadoop数据分发方法
CN103944993A (zh) 百万级用户同时在线移动平台服务器架构
CN111124945B (zh) 用于提供高速缓存服务的方法、设备和计算机可读介质
US20140229797A1 (en) Error correcting code scheme utilizing reserved space
US20110289273A1 (en) Disk array device and method for controlling disk array device
CN116009788A (zh) 计算集群的性能优化方法、系统、设备及存储介质
KR101785189B1 (ko) 데이터 기입 방법 및 메모리 시스템
CN107301021B (zh) 一种利用ssd缓存对lun进行加速的方法和装置
WO2022007225A1 (zh) 数据存储方法、存储系统、存储设备及存储介质
US10254973B2 (en) Data management system and method for processing distributed data
US10846014B2 (en) Concept for group memory write instructions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant