CN108156189B - 一种多节点系统中冗余数据处理方法 - Google Patents

一种多节点系统中冗余数据处理方法 Download PDF

Info

Publication number
CN108156189B
CN108156189B CN201611097371.1A CN201611097371A CN108156189B CN 108156189 B CN108156189 B CN 108156189B CN 201611097371 A CN201611097371 A CN 201611097371A CN 108156189 B CN108156189 B CN 108156189B
Authority
CN
China
Prior art keywords
node
storage
grouping
data
failure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611097371.1A
Other languages
English (en)
Other versions
CN108156189A (zh
Inventor
刘斌
吴方才
楚涌泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Star Map Co Ltd
Original Assignee
Zhongke Star Map Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Star Map Co Ltd filed Critical Zhongke Star Map Co Ltd
Priority to CN201611097371.1A priority Critical patent/CN108156189B/zh
Publication of CN108156189A publication Critical patent/CN108156189A/zh
Application granted granted Critical
Publication of CN108156189B publication Critical patent/CN108156189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种多节点系统中冗余数据处理方法，选择存储风险值较高的节点和一个存储风险值较低的节点作为一个存储分组，使得每个分组中的平均存储风险值相对均衡，避免了冗余数据分布的若干节点均为故障频发的节点的情况，将冗余数据分布到这样存储风险均衡的分组中，方便了数据维护和降低了数据丢失风险。

Description

一种多节点系统中冗余数据处理方法
【技术领域】
本发明属于数据存储领域，尤其涉及多节点冗余数据处理方法。
【背景技术】
一般情况下，一台机器对外提供的吞吐最高也只能达到200MBps，若采用通常的机器镜像即几台机器上的数据完全一致的方式，修复12TB的数据需要耗时20多个小时，考虑到正常的服务压力，修复的时间将达到几十个小时。
现有技术中提出了多节点中数据存储处理方式，将数据切分为多个库，并复制几份冗余，同一库的不同冗余分布存储于不同机器的不同位置，提高了修复速度。但是现有技术中将冗余数据分布在不同机器上时，采用的是随机方式，对不同机器没有加以选择，造成了相同数据分布的机器都可能是故障频发机器，因此造成数据维护困难和提高了数据丢失风险。
基于上述问题，现在亟需一种新的多节点冗余数据存储方法，将节点按照存储风险值进行分组，使得每个分组的平均存储风险值相对均衡，将冗余数据分布到每个分组中，方便了数据维护和降低了数据丢失风险。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种分布式系统中数据存储方法。
本发明采用的技术方案如下：
一种多节点系统中冗余数据处理方法，该方法包括如下步骤：
(1)将数据切分成k个数据片段，对每个数据片段复制；
(2)将数据片段和对应的复制数据片段分别存储到从多个节点中选择的两个节点中，直到k个数据片段分组中的数据片段和复制数据片段都存储到k个存储分组中；
(3)当存储分组中的一个节点发生故障时，根据上述存储分组中的另一个节点存储的数据片段或复制数据片段，对上述发生故障的节点进行修复。
本发明的有益效果包括：选择存储风险较高的节点和一个存储风险较低的节点作为一个存储分组，使得每个分组中的平均存储风险相对均衡，避免了冗余数据分布的若干节点均为故障频发的节点的情况，将冗余数据分布到这样存储风险均衡的分组中，方便了数据维护和降低了数据丢失风险。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明多节点系统的结构图。
图2是本发明多节点系统中冗余数据处理方法的流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见附图1，是本发明所应用的多节点系统，该系统包括多个计算节点。
参见附图2，一种多节点系统中冗余数据处理方法，该方法包括如下步骤：
(1)将多节点系统中的m个节点i按照存储容量、运行负载和故障频率按照下述公式(a)计算确定每个节点的存储风险值Ri:
Ri＝Si×Pi+1/Fi×Qi+Gi×Ti (a)；
其中Si表示节点i的存储容量，Pi表示存储容量所对应的权重，Fi表示节点i的运行历史中的最高系统运行负载，Qi表示运行负载所对应的权重，Gi表示节点i的运行历史中的故障频率，Ti表示故障频率所对应的权重，且Pi，Qi，Gi>1；
其中，存储容量、运行负载和故障频率是分别影响一个节点存储风险值的不同因素，其中存储容量表示一个节点的存储能力，存储容量越大、则上述节点因为数据存储压力造成的故障风险越低，反之越高；一个节点的运行负载越大，则上述节点因为运行超负荷所造成的故障风险越大，反之越低；一个节点在运行历史周期内发生的故障频率越高，则表明上述节点在以后的周期内发生故障的可能性越高，反之越低。
在一个实施方式中，存储容量、运行负载和故障频率记录在一个表中，每个节点的存储容量可以指其计算机硬盘存储容量，将每个节点的存储容量记录在表中，监视每个节点在预定时间周期内的多次运行所占用的系统资源，并将运行所占用的最多系统资源作为最高系统运行负载记录在上述表中，监视每个节点在预定时间周期内的故障发生次数，作为故障频率记录在表中；
在计算节点的存储风险值Ri时，从表中读取上述节点所对应的存储容量、运行负载和故障频率按照上述公式(a)进行计算。
(2)选取其中存储风险值较高和较低的节点构成一个存储分组。
在一个实施方式中，按照存储风险值从低到高的顺序将m个节点排成一个有序排队，将有序队列中队首第一个节点和队尾最后一个节点取出构成第一存储分组，对于剩余节点构成的有序队列按照上述方式继续处理构成后续多个存储分组，直至有序队列中只有2个或3个节点，即对应于m为偶数和奇数的情形，则将上述2个或3个节点作为一个存储分组，最终m个节点分成k个存储分组；
(3)当系统接收到数据存储请求时，将数据切分成k个数据片段，对每个数据片段复制，获得k组数据片段分组，每组数据片段分组中包括一个数据片段和其对应的复制数据片段；
(4)将一个数据片段分组中的数据片段和对应的复制数据片段分别存储到一个存储分组中的两个节点中，直到k组数据片段分组中的数据片段和复制数据片段都存储到k个存储分组中；
由于每个分组中包括一个存储风险值较高的节点和一个存储风险值较低的节点，使得每个分组中的平均存储风险值相对均衡，避免了冗余数据分布的若干节点均为故障频发的节点的情况，将冗余数据分布到这样存储风险均衡的分组中，方便了数据维护和降低了数据丢失风险。
(5)当存储分组中的一个节点发生故障时，根据上述存储分组中的另一个节点存储的数据片段或复制数据片段，对上述发生故障的节点进行修复；
由此，将会大大提高修复数据的速度，缩短修复时间，当多个节点发生故障时，对多个节点进行并行修复，一个数据片段分组中的数据片段和对应的复制数据片段按照随机方式存储到一个存储分组中的两个节点中。在机器数量大于故障机器上的库的数量时，整个修复过程的耗时通常仅需几十分钟，解决了数据高效自动修复的问题。
还可以包括如下步骤：对每个节点设置一对一的端口，当节点发生故障时，上述节点对应的端口自动关闭，当发生故障的节点成功修复后，自动开启上述节点对应的端口。从而保障了数据的正确读取，而且避免了使用错误列表访问端口的问题。
通过上述方法，本发明选择存储风险较高的节点和一个存储风险较低的节点作为一个存储分组，使得每个分组中的平均存储风险相对均衡，避免了冗余数据分布的若干节点均为故障频发的节点的情况，将冗余数据分布到这样存储风险均衡的分组中，方便了数据维护和降低了数据丢失风险。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (4)

1.一种多节点系统中冗余数据处理方法，其特征在于，该方法包括如下步骤：
(1)将数据切分成k个数据片段，对每个数据片段复制；将多节点系统中的m个节点i按照存储容量、运行负载和故障频率并按 照下述公式(a)计算确定每个节点的存储风险值Ri:
Ri＝Si×Pi+1/Fi×Qi+Gi×Ti (a)；
其中Si表示节点i的存储容量，Pi表示存储容量所对应的权重，Fi表示节 点i的运行历史中的最高系统运行负载，Qi表示运行负载所对应的权重，Gi表示 节点i的运行历史中的故障频率，Ti表示故障频率所对应的权重，且Pi，Qi， Gi>1；
存储容量、运行负载和故障频率记录在一个表中，每 个节点的存储容量可以指其计算机硬盘存储容量，将每个节点的存储容量记录 在表中，监视每个节点在预定时间周期内的多次运行所占用的系统资源，并将 运行所占用的最多系统资源作为最高系统运行负载记录在上述表中，监视每个 节点在预定时间周期内的故障发生次数，作为故障频率记录在表中；
在计算节点的存储风险值Ri时，从表中读取上述节点所对应的存储容量、 运行负载和故障频率按照上述公式(a)进行计算；
选取其中存储风险值较高和较低的节点构成一个存储分组；
(2)将数据片段和对应的复制数据片段分别存储到从多个节点中选择的作为一个存储分组的两个节点中，直到k个数据片段分组中的数据片段和复制数据片段都存储到k个存储分组中；
(3)当存储分组中的一个节点发生故障时，根据上述存储分组中的另一个节点存储的数据片段或复制数据片段，对上述发生故障的节点进行修复。
2.根据权利要求1所述的多节点系统中冗余数据处理方法，其特征在于，当多个节点发生故障时，对多个节点进行并行修复。
3.根据权利要求1所述的多节点系统中冗余数据处理方法，其特征在于，一个数据片段分组中的数据片段和对应的复制数据片段按照随机方式存储到一个存储分组中的两个节点中。
4.根据权利要求1所述的多节点系统中冗余数据处理方法，其特征在于，还包括步骤：对每个节点设置一对一的端口，当节点发生故障时，上述节点对应的端口自动关闭，当发生故障的节点成功修复后，自动开启上述节点对应的端口。
CN201611097371.1A 2016-12-02 2016-12-02 一种多节点系统中冗余数据处理方法 Active CN108156189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611097371.1A CN108156189B (zh) 2016-12-02 2016-12-02 一种多节点系统中冗余数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611097371.1A CN108156189B (zh) 2016-12-02 2016-12-02 一种多节点系统中冗余数据处理方法

Publications (2)

Publication Number Publication Date
CN108156189A CN108156189A (zh) 2018-06-12
CN108156189B true CN108156189B (zh) 2019-03-08

Family

ID=62470294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611097371.1A Active CN108156189B (zh) 2016-12-02 2016-12-02 一种多节点系统中冗余数据处理方法

Country Status (1)

Country Link
CN (1) CN108156189B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629934A (zh) * 2012-02-28 2012-08-08 北京搜狐新媒体信息技术有限公司 基于分布式存储系统的数据存储方法及装置
CN103095832A (zh) * 2013-01-15 2013-05-08 北京邮电大学 一种基于通信可靠性的分布式存储方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101552799A (zh) * 2008-04-04 2009-10-07 华为技术有限公司 媒体节点容错方法和装置
CN101692227B (zh) * 2009-09-25 2011-08-10 中国人民解放军国防科学技术大学 大规模高可靠的归档存储系统构建方法
CN102004769B (zh) * 2010-11-12 2013-03-27 华为数字技术（成都）有限公司 文件管理方法、设备及存储系统
CN103312825B (zh) * 2013-07-10 2016-08-10 中国人民解放军国防科学技术大学 一种数据分布存储方法和装置
CN105138615B (zh) * 2015-08-10 2019-02-26 北京思特奇信息技术股份有限公司 一种构建大数据分布式日志的方法和系统
CN105550229B (zh) * 2015-12-07 2019-05-03 北京奇虎科技有限公司 分布式存储系统数据修复的方法和装置
CN106021284A (zh) * 2016-04-29 2016-10-12 乐视控股（北京）有限公司 数据查询方法、数据监测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629934A (zh) * 2012-02-28 2012-08-08 北京搜狐新媒体信息技术有限公司 基于分布式存储系统的数据存储方法及装置
CN103095832A (zh) * 2013-01-15 2013-05-08 北京邮电大学 一种基于通信可靠性的分布式存储方法

Also Published As

Publication number Publication date
CN108156189A (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
JP4767139B2 (ja) ストレージ管理プログラム、ストレージ管理装置、およびストレージ管理方法
CN105550229B (zh) 分布式存储系统数据修复的方法和装置
CN110188084B (zh) 一种分布式文件存储系统及文件存储方法
US20100229033A1 (en) Storage management device, storage management method, and storage system
JP2008250566A (ja) ディスクアレイ装置、該装置の運用方法、およびプログラム
CN105892934A (zh) 用于存储设备管理的方法和装置
CN110532278B (zh) 声明式的MySQL数据库系统高可用方法
US20110144939A1 (en) Computerised storage system comprising one or more replaceable units for managing testing of one or more replacement units
CN110597655A (zh) 一种迁移与基于纠删码的重构相耦合的快速预知修复方法和实现
CN104503781A (zh) 硬盘的固件升级方法和存储系统
CN104580381A (zh) 一种在多节点网络中执行作业任务的方法
CN105550230B (zh) 分布式存储系统节点故障的侦测方法和装置
CN106776952B (zh) 一种分布式系统中数据存储方法
CN108153615B (zh) 一种故障数据恢复方法
CN108156189B (zh) 一种多节点系统中冗余数据处理方法
US20080208930A1 (en) Management of redundancy in data arrays
CN106708445B (zh) 链路选择方法及装置
US20150379788A1 (en) Method for managing fault messages of a motor vehicle
CN106933707B (zh) 基于raid技术的数据存储设备数据恢复方法及系统
US20120005426A1 (en) Storage device, controller of storage device, and control method of storage device
CN103176745A (zh) 具有双控制器的储存系统的硬盘阵列接管方法
CN107122254A (zh) 一种计算机修复控制方法及系统、修复方法及系统
CN112612412B (zh) 一种分布式存储系统中数据重构的方法、存储节点设备
EP2664987A1 (en) Optical disk array device
WO2021043246A1 (zh) 数据读取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4)

Applicant after: Zhongke Star Map Co., Ltd.

Address before: 101399 Building 1A-4, National Geographic Information Technology Industrial Park, Guomen Business District, Shunyi District, Beijing

Applicant before: Space Star Technology (Beijing) Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Wu Fangcai

Inventor after: Liu Bin

Inventor after: Chu Yongquan

Inventor before: Liu Bin

Inventor before: Wu Fangcai

Inventor before: Chu Yongquan

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Chen Wei

Inventor after: Wu Fangcai

Inventor after: Liu Bin

Inventor after: Chu Yongquan

Inventor before: Wu Fangcai

Inventor before: Liu Bin

Inventor before: Chu Yongquan

CB03 Change of inventor or designer information