CN104461733A - 一种高端磁盘阵列多控制器间的并行io调度方法 - Google Patents

一种高端磁盘阵列多控制器间的并行io调度方法 Download PDF

Info

Publication number
CN104461733A
CN104461733A CN201410678538.8A CN201410678538A CN104461733A CN 104461733 A CN104461733 A CN 104461733A CN 201410678538 A CN201410678538 A CN 201410678538A CN 104461733 A CN104461733 A CN 104461733A
Authority
CN
China
Prior art keywords
controller
request
unit
disk array
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410678538.8A
Other languages
English (en)
Inventor
周耀辉
赵静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201410678538.8A priority Critical patent/CN104461733A/zh
Publication of CN104461733A publication Critical patent/CN104461733A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种高端磁盘阵列多控制器间的并行IO调度方法，属于数据存储技术领域，获取高端磁盘阵列中每个控制器上的IO请求负载值；根据获取的IO请求负载值，计算每个控制器的平均IO负载值；将IO请求负载值大于平均值的控制器上IO请求重新调度到IO请求负载值小于平均值的控制器上；解析每个IO请求的读写数据块起始位置和偏移量，根据每个控制器IO请求负载的情况，将IO请求拆分形成拆分数据链表，并发的派送到多个控制器上执行，待各个控制器上的IO请求都并行完成后，返回应答信息；本发明可以提高高端磁盘阵列多控制器间的存储性能，提高存储资源利用率，使产品在市场上的具有竞争力。

Description

一种高端磁盘阵列多控制器间的并行IO调度方法
技术领域
本发明公开一种并行IO调度方法，属于数据存储技术领域，具体地说是一种高端磁盘阵列多控制器间的并行IO调度方法。
背景技术
高端磁盘阵列提供存储数据的高可用服务，常采用多个控制器冗余设计。在多控制器的存储阵列体系中，采用基于存储端和主机端协同的多控多路径冗余和负载均衡来保证控制器的存储能力得到有效发挥。
主机端的路径管理通过映射机制来完成，多路径冗余和负载均衡由管理员根据特定时间段内的整体负载状态集中分配和管理，并在运行过程中根据各控制器的负载程度的不同而动态调整每个控制器的多路径负载分担系数。在多控制器的磁盘阵列运行中，由于各种因素的变动会导致各控制器之间不均衡，或想更有效的控制磁盘阵列的存储功能，都需要协调主机端对负载的调度，本发明就提供一种高端磁盘阵列多控制器间的并行IO调度方法，使存储端多控制器能有效的协调主机端对负载的调度，更好的均衡各控制器性能，发挥存储阵列的存储能力，提升系统性能。
发明内容
本发明针对现有技术存在的不足和问题，提供一种高端磁盘阵列多控制器间的并行IO调度方法，通过该方法可以指导多控制器协调主机端的多路径管理，提高数据随机访问的吞吐量，加速大批量数据传输的效率。
本发明提出的具体方案是：
一种高端磁盘阵列多控制器间的并行IO调度方法，具体步骤为：
获取高端磁盘阵列中每个控制器上的IO请求负载值；
根据获取的IO请求负载值，计算每个控制器的平均IO负载值；
将IO请求负载值大于平均值的控制器上IO请求重新调度到IO请求负载值小于平均值的控制器上；
解析每个IO请求的读写数据块起始位置和偏移量，根据每个控制器IO请求负载的情况，将IO请求拆分形成拆分数据链表，并发的派送到多个控制器上执行，待各个控制器上的IO请求都并行完成后，返回应答信息。
所述的根据IO请求负载值，计算每个控制器的平均IO负载值，再进一步计算控制器IO请求负载的均方差，当控制器IO请求负载值的均方差大于预设阀值时，将IO请求负载值大于平均值的控制器的IO请求调度到IO请求负载值小于平均值的控制器中。
以256K的数据块大小为单元，按照求余的方式拆分IO数据，形成拆分数据链表，并派发到多个控制器上执行，待各个控制器上的IO请求都并行完成后，返回应答信息。
一种高端磁盘阵列多控制器间的并行IO调度系统，包括IO收集单元，IO计算单元，IO调度单元，IO解析单元，IO拆分单元，IO派发单元，IO完成收集单元；
IO收集单元，用于获取每个控制上IO请求负载值；
IO计算单元，用于计算阵列中每个控制器的IO平均值；
IO调度单元，用于将控制器IO负载大于IO平均值的IO请求重新调度到IO负载小于IO平均值的控制器；
IO解析单元，用于解析出IO请求的地址和偏移；
IO拆分单元，用于将IO请求，拆分成并列执行的更小的IO请求；
IO派发单元，用于并发执行各个IO请求；
IO完成收集单元，用于判断所有的并行处理请求是否完成，并返回应答信息。
本发明的有益之处是：本发明提供一种高端磁盘阵列多控制器间的并行IO调度方法，使存储端多控制器能有效的协调主机端对负载的调度，能够将IO请求调度给多个控制器同时并发执行，该方法能从过载的控制器上重新调度 IO 请求到负载较轻的控制器上，从而改善了系统中各个控制器的负载状态，完成了多控节点上的 IO 负载调度和均衡，充分调度了设备的潜力，提升了系统性能。
具体实施方式
本发明的具体实施为：
实施例1
先调制：一种高端磁盘阵列多控制器间的并行IO调度系统，包括IO收集单元，IO计算单元，IO调度单元，IO解析单元，IO拆分单元，IO派发单元，IO完成收集单元；
IO收集单元，用于获取每个控制上IO请求负载值；
IO计算单元，用于计算阵列中每个控制器的IO平均值；
IO调度单元，用于将控制器IO负载大于IO平均值的IO请求重新调度到IO负载小于IO平均值的控制器；
IO解析单元，用于解析出IO请求的地址和偏移；
IO拆分单元，用于将IO请求，拆分成并列执行的更小的IO请求；
IO派发单元，用于并发执行各个IO请求；
IO完成收集单元，用于判断所有的并行处理请求是否完成，并返回应答信息。
根据上述系统，使用如下方法：
一种高端磁盘阵列多控制器间的并行IO调度方法，具体步骤为：
获取高端磁盘阵列中每个控制器上的IO请求负载值；
根据获取的IO请求负载值，计算每个控制器的平均IO负载值；
将IO请求负载值大于平均值的控制器上IO请求重新调度到IO请求负载值小于平均值的控制器上；
解析每个IO请求的读写数据块起始位置和偏移量，根据每个控制器IO请求负载的情况，以256K的数据块大小为单元，按照求余的方式拆分IO数据，将IO请求拆分形成拆分数据链表，并发的派送到多个控制器上执行，待各个控制器上的IO请求都并行完成后，返回应答信息。
实施例2
先调制：一种高端磁盘阵列多控制器间的并行IO调度系统，包括IO收集单元，IO计算单元，IO调度单元，IO解析单元，IO拆分单元，IO派发单元，IO完成收集单元；
IO收集单元，用于获取每个控制上IO请求负载值；
IO计算单元，用于计算阵列中每个控制器的IO平均值；
IO调度单元，用于将控制器IO负载大于IO平均值的IO请求重新调度到IO负载小于IO平均值的控制器；
IO解析单元，用于解析出IO请求的地址和偏移；
IO拆分单元，用于将IO请求，拆分成并列执行的更小的IO请求；
IO派发单元，用于并发执行各个IO请求；
IO完成收集单元，用于判断所有的并行处理请求是否完成，并返回应答信息。
根据上述系统，使用如下方法：
一种高端磁盘阵列多控制器间的并行IO调度方法，具体步骤为：
获取高端磁盘阵列中每个控制器上的IO请求负载值；
根据获取的IO请求负载值，计算每个控制器的平均IO负载值，再进一步计算控制器IO请求负载的均方差，当控制器IO请求负载值的均方差大于预设阀值时，将IO请求负载值大于平均值的控制器的IO请求调度到IO请求负载值小于平均值的控制器中；
解析每个IO请求的读写数据块起始位置和偏移量，根据每个控制器IO请求负载的情况，以256K的数据块大小为单元，按照求余的方式拆分IO数据，将IO请求拆分形成拆分数据链表，并发的派送到多个控制器上执行，待各个控制器上的IO请求都并行完成后，返回应答信息。

Claims (4)

1.一种高端磁盘阵列多控制器间的并行IO调度方法，其特征是具体步骤为：
获取高端磁盘阵列中每个控制器上的IO请求负载值；
根据获取的IO请求负载值，计算每个控制器的平均IO负载值；
将IO请求负载值大于平均值的控制器上IO请求重新调度到IO请求负载值小于平均值的控制器上；
解析每个IO请求的读写数据块起始位置和偏移量，根据每个控制器IO请求负载的情况，将IO请求拆分形成拆分数据链表，并发的派送到多个控制器上执行，待各个控制器上的IO请求都并行完成后，返回应答信息。
2.根据权利要求1所述的一种高端磁盘阵列多控制器间的并行IO调度方法，其特征是所述的根据IO请求负载值，计算每个控制器的平均IO负载值，再进一步计算控制器IO请求负载的均方差，当控制器IO请求负载值的均方差大于预设阀值时，将IO请求负载值大于平均值的控制器的IO请求调度到IO请求负载值小于平均值的控制器中。
3.根据权利要求1或2所述的一种高端磁盘阵列多控制器间的并行IO调度方法，其特征是以256K的数据块大小为单元，按照求余的方式拆分IO数据，形成拆分数据链表，并派发到多个控制器上执行，待各个控制器上的IO请求都并行完成后，返回应答信息。
4.一种高端磁盘阵列多控制器间的并行IO调度系统，其特征是包括IO收集单元，IO计算单元，IO调度单元，IO解析单元，IO拆分单元，IO派发单元，IO完成收集单元；
IO收集单元，用于获取每个控制上IO请求负载值；
IO计算单元，用于计算阵列中每个控制器的IO平均值；
IO调度单元，用于将控制器IO负载大于IO平均值的IO请求重新调度到IO负载小于IO平均值的控制器；
IO解析单元，用于解析出IO请求的地址和偏移；
IO拆分单元，用于将IO请求，拆分成并列执行的更小的IO请求；
IO派发单元，用于并发执行各个IO请求；
IO完成收集单元，用于判断所有的并行处理请求是否完成，并返回应答信息。
CN201410678538.8A 2014-11-24 2014-11-24 一种高端磁盘阵列多控制器间的并行io调度方法 Pending CN104461733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410678538.8A CN104461733A (zh) 2014-11-24 2014-11-24 一种高端磁盘阵列多控制器间的并行io调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410678538.8A CN104461733A (zh) 2014-11-24 2014-11-24 一种高端磁盘阵列多控制器间的并行io调度方法

Publications (1)

Publication Number Publication Date
CN104461733A true CN104461733A (zh) 2015-03-25

Family

ID=52907831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410678538.8A Pending CN104461733A (zh) 2014-11-24 2014-11-24 一种高端磁盘阵列多控制器间的并行io调度方法

Country Status (1)

Country Link
CN (1) CN104461733A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117173A (zh) * 2015-08-31 2015-12-02 北京神州云科数据技术有限公司 一种负载均衡方法及装置
CN105302481A (zh) * 2015-10-12 2016-02-03 深圳市安云信息科技有限公司 一种在高速缓存中双控制器负载均衡的方法和装置
CN105430103A (zh) * 2015-12-31 2016-03-23 浪潮(北京)电子信息产业有限公司 一种基于多控存储的动态负载均衡系统
CN107632788A (zh) * 2017-09-26 2018-01-26 郑州云海信息技术有限公司 一种多控存储系统io调度的方法及多控存储系统
CN110377536A (zh) * 2019-07-12 2019-10-25 深信服科技股份有限公司 数据处理方法、装置、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611069A (en) * 1993-11-05 1997-03-11 Fujitsu Limited Disk array apparatus which predicts errors using mirror disks that can be accessed in parallel
CN1955940A (zh) * 2005-10-28 2007-05-02 富士通株式会社 Raid系统、raid控制器及其重建/拷回处理方法
US20080147963A1 (en) * 2006-12-15 2008-06-19 Accusys. Inc. Disk array device
CN201797568U (zh) * 2010-12-01 2011-04-13 北京同有飞骥科技股份有限公司 一种基于节能磁盘阵列的视频监控系统
CN103135943A (zh) * 2013-02-21 2013-06-05 浪潮电子信息产业股份有限公司 一种多控存储系统自适应io调度方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611069A (en) * 1993-11-05 1997-03-11 Fujitsu Limited Disk array apparatus which predicts errors using mirror disks that can be accessed in parallel
CN1955940A (zh) * 2005-10-28 2007-05-02 富士通株式会社 Raid系统、raid控制器及其重建/拷回处理方法
US20080147963A1 (en) * 2006-12-15 2008-06-19 Accusys. Inc. Disk array device
CN201797568U (zh) * 2010-12-01 2011-04-13 北京同有飞骥科技股份有限公司 一种基于节能磁盘阵列的视频监控系统
CN103135943A (zh) * 2013-02-21 2013-06-05 浪潮电子信息产业股份有限公司 一种多控存储系统自适应io调度方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117173A (zh) * 2015-08-31 2015-12-02 北京神州云科数据技术有限公司 一种负载均衡方法及装置
CN105302481A (zh) * 2015-10-12 2016-02-03 深圳市安云信息科技有限公司 一种在高速缓存中双控制器负载均衡的方法和装置
CN105302481B (zh) * 2015-10-12 2019-04-12 深圳市安云信息科技有限公司 一种在高速缓存中双控制器负载均衡的方法和装置
CN105430103A (zh) * 2015-12-31 2016-03-23 浪潮(北京)电子信息产业有限公司 一种基于多控存储的动态负载均衡系统
CN107632788A (zh) * 2017-09-26 2018-01-26 郑州云海信息技术有限公司 一种多控存储系统io调度的方法及多控存储系统
CN110377536A (zh) * 2019-07-12 2019-10-25 深信服科技股份有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN110377536B (zh) * 2019-07-12 2023-05-12 深信服科技股份有限公司 数据处理方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN104461733A (zh) 一种高端磁盘阵列多控制器间的并行io调度方法
CN102317917B (zh) 热点域虚拟机cpu调度方法及虚拟机系统
CN109408236A (zh) 一种etl在集群上的任务负载均衡方法
CN101504594B (zh) 一种数据存储方法和装置
CN103064795B (zh) 一种存储设备的控制方法及相关装置
CN104023088B (zh) 一种应用于分布式文件系统的存储服务器选择方法
CN102541460B (zh) 一种多磁盘场景下的磁盘管理方法和设备
US20160378570A1 (en) Techniques for Offloading Computational Tasks between Nodes
US20120209943A1 (en) Apparatus and method for controlling distributed memory cluster
WO2022206421A1 (zh) 任务分配方法、装置、控制终端和仓储系统
CN104090847A (zh) 一种固态存储设备的地址分配方法
US20190042305A1 (en) Technologies for moving workloads between hardware queue managers
CN103959388B (zh) 用于调度包括电力状态的存储器刷新操作的方法
CN105117285A (zh) 一种基于移动虚拟化系统的非易失性存储器调度优化方法
US20220121393A1 (en) Buffer management of memory refresh
US20150033235A1 (en) Distributed Mechanism For Minimizing Resource Consumption
CN116402445B (zh) 货物出库调度方法、装置和计算机设备
CN103294413A (zh) 支持海量采集终端的分布式内存实时存储装置及方法
KR20200139533A (ko) 클라우드 기반의 물류저장 창고 관리 방법 및 시스템
CN102567225A (zh) 一种管理系统内存的方法及装置
CN103942152A (zh) 支持simd体系结构的分布式堆栈数据存储方法
CN108932112B (zh) 一种固态颗粒的数据读写方法、装置、设备及介质
US11182099B2 (en) Memory system and operating method thereof
US20230418685A1 (en) Distributed data storage system with peer-to-peer optimization
CN101685427A (zh) 一种根据应用的时间裕量对动态内存调度的装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150325

RJ01 Rejection of invention patent application after publication