CN106649555A - 存储单元状态标记方法及分布式存储系统 - Google Patents

存储单元状态标记方法及分布式存储系统 Download PDF

Info

Publication number
CN106649555A
CN106649555A CN201610984187.2A CN201610984187A CN106649555A CN 106649555 A CN106649555 A CN 106649555A CN 201610984187 A CN201610984187 A CN 201610984187A CN 106649555 A CN106649555 A CN 106649555A
Authority
CN
China
Prior art keywords
state
memory cell
storage units
storage
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610984187.2A
Other languages
English (en)
Inventor
李发明
张勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING TOYOU FEIJI ELECTRONICS Co Ltd
Original Assignee
Shenzhen City Rui Bo Storage Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen City Rui Bo Storage Technology Co Ltd filed Critical Shenzhen City Rui Bo Storage Technology Co Ltd
Priority to CN201610984187.2A priority Critical patent/CN106649555A/zh
Publication of CN106649555A publication Critical patent/CN106649555A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开一种存储单元状态标记方法及分布式存储系统,其中,该存储单元状态标记方法包括步骤:获取分布式文件系统的所有存储单元信息,并将所有存储单元编号;每隔预设时间间隔获取一次所有存储单元的运行状态;将有效的存储单元标记为状态一,将失效的存储单元标记为状态二。本发明技术方案可以及时获得存储单元的是否失效的信息,避免了文件系统向已发生故障的存储单元发送读写请求,提升了系统的运行速度。

Description

存储单元状态标记方法及分布式存储系统
技术领域
本发明涉及信息存储技术领域,特别涉及一种存储单元状态标记方法和分布式存储系统。
背景技术
随着通信、计算机技术的发展,分布式文件存储技术已经成为存储技术的一大发展趋势。分布式文件存储是将数据分散存储在多个独立的设备上,其应用提高了系统的可靠性、可用性和存取效率,且易于扩展。但现有的分布式文件存储系统中失效的存储单元无法被识别出来,当失效的存储单元不断的累积增加时,可能会导致数据的丢失,进而导致数据不能正常访问、数据存储较慢的情况。
发明内容
本发明的主要目的是提供一种存储单元状态标记方法,旨在提供一种可以及时获得存储单元是否失效的方法。
为实现上述目的,本发明提出的存储单元状态标记方法,包括以下步骤:
获取分布式文件系统的所有存储单元信息,并将所有存储单元编号;
每隔预设时间间隔获取一次所有存储单元的运行状态;
将有效的存储单元标记为状态一,将失效的存储单元标记为状态二。
优选地,所述将有效的存储单元标记为状态一,将失效的存储单元标记为状态二的步骤包括:
当一存储单元运行状态为正常时,将该存储单元标记为状态一;
当一存储单元运行状态为不正常时,按预设时间间隔重复检测该存储单元的运行状态,
当一存储单元在超过预设次数连续被检测为运行状态不正常时,将其标记为状态二。
优选地,将有效的存储单元标记为状态一,将失效的存储单元标记为状态二的步骤之后,还包括:
当被标记为状态二的存储单元被检测为运行状态正常时,将其标记为状态一。
优选地,其特征在于,所述获取分布式文件系统的所有存储单元,并将所有存储单元编号的步骤包括:
获取分布式文件系统的所有成员主机信息;
获取分布式文件系统的所有成员主机上的所有存储单元信息;
将所有存储单元进行编号,该编号唯一识别存储单元。
优选地,所述将有效的存储单元标记为状态一,将失效的存储单元标记为状态二的步骤之后,还包括:
记录所有存储单元的编号及其所对应的标记,当系统存储数据时,仅向被标记为状态一的存储单元发起请求。
本发明还提出一种分布式存储系统,该分布式存储系统包括:
编号模块,获取分布式文件系统的所有存储单元信息,并将所有存储单元编号;
检测模块,每隔预设时间间隔获取一次所有存储单元的运行状态;及
标记模块,将有效的存储单元标记为状态一,将失效的存储单元标记为状态二。
优选地,所述标记模块包括:
状态一标记单元,当一存储单元运行状态为正常时,将该存储单元标记为状态一;
状态二标记单元,当一存储单元在超过预设次数连续被检测为运行状态不正常时,将其标记为状态二。
优选地,还包括变换标记模块,其中,
所述变换标记模块,当被标记为状态二的存储单元被检测为运行状态正常时,将其标记为状态一。
优选地,所述编号模块包括:
成员获取单元,获取分布式文件系统的所有成员主机信息;
存储单元获取单元,获取分布式文件系统的所有成员主机上的所有存储单元信息;
编号单元,将所有存储单元进行编号,该编号唯一识别存储单元。
优选地,还包括记录模块;其中,
所述记录模块,记录所有存储单元的编号及其所对应的标记,当系统存储数据时,仅向被标记为状态一的存储单元发起运行请求。
本发明技术方案通过在存储系统中获取分布式文件系统的所有存储单元,并将所有存储单元编号,编号之后每隔预设时间间隔获取一次所有存储单元的运行状态;然后将有效的存储单元标记为状态一,将失效的存储单元标记为状态二。通过本发明技术方案可以及时的获得存储系统中存储单元的状态,避免向失效的存储单元发送请求,提高了系统的速度,减少了系统故障的发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明存储单元状态标记方法一实施例的流程图;
图2为图1中步骤S30的具体流程图;
图3为图1中步骤S10的具体流程图;
图4为本发明分布式存储系统一实施例的功能模块图;
图5为图4中标记模块的功能模块图;
图6为图4中编号模块的功能模块图。
附图标号说明:
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提出一种存储单元状态标记方法。
参照图1,本实施例中,该存储单元状态标记方法包括步骤:
S10:获取分布式文件系统的所有存储单元信息,并将所有存储单元编号;
S20:每隔预设时间间隔获取一次所有存储单元的运行状态;
S30:将有效的存储单元标记为状态一,将失效的存储单元标记为状态二。
分布式存储系统,是将数据分散存储在多台独立的设备上,利用多台存储服务器分担存储负荷。计算机通过文件系统管理、存储数据,但单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式,在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统可以有效解决数据的存储和管理难题:将固定于某个地点的某个文件系统,扩展到任意多个地点或多个文件系统,众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点,通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时,无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的,只需要像使用本地文件系统一样管理和存储文件系统中的数据。
需要说明的是,发明实施例中,分布式存储系统工作时,系统仅向被标记为状态一的存储单元发送请求。
而在存储单元在第一次被标记之后,系统仍会每隔预设时间间隔获取所有的存储单元运行状态,以及时的、动态的更新存储单元状态。
本发明技术方案通过在存储系统中获取分布式文件系统的所有存储单元,并将所有存储单元编号;编号后每隔预设时间间隔获取一次所有存储单元的运行状态;然后将有效的存储单元标记为状态一,将失效的存储单元标记为状态二。通过本发明可以及时的获得存储系统中存储单元的状态,避免向失效的存储单元发生请求,能有效的提高系统的速度,减少故障的发生。
参考图2,具体地,将有效的存储单元标记为状态一,将失效的存储单元标记为状态二的步骤S30包括:
S31:当一存储单元运行状态为正常时,将该存储单元标记为状态一;
S32:当一存储单元运行状态为不正常时,按预设时间间隔重复检测该存储单元的运行状态,
当一存储单元在超过预设次数连续被检测为运行状态不正常时,将其标记为状态二。
需要说明的是,S32当一存储单元运行状态为不正常时,按预设时间间隔重复检测该存储单元的运行状态,可以防止系统误将有效的存储单元标记为失效存储单元。
具体地,将有效的存储单元标记为状态一,将失效的存储单元标记为状态二的步骤S30之后,还包括:
S40:当被标记为状态二的存储单元被检测为运行状态正常时,将其标记为状态一。
需要说明的是,当被标记为状态二的存储单元被检测为运行状态正常时,将其标记为状态一的步骤S40,可以使的恢复正常的存储单元重新被使用,提高系统的效率。
参考图3,具体地,获取分布式文件系统的所有存储单元,并将所有存储单元编号的步骤S10包括:
S11:获取分布式文件系统的所有成员主机信息;
S12:获取分布式文件系统的所有成员主机上的所有存储单元信息;
S13:将所有存储单元进行编号,该编号唯一识别存储单元。
需要说明的是,分布系统是由多个成员主机构成的,而每个成员主机又包括多个存储单元。
具体地,将有效的存储单元标记为状态一,将失效的存储单元标记为状态二的步骤S30之后,还包括:
S50:记录所有存储单元的编号及其所对应的标记,当系统存储数据时,仅向被标记为状态一的存储单元发起请求。
本发明还提出一种分布式存储系统,参考图4,该分布式存储系统包括:
编号模块10,编号模块,获取分布式文件系统的所有存储单元信息,并将所有存储单元编号;
检测模块20,每隔预设时间间隔获取一次所有存储单元的运行状态;及
标记模块30,将有效的存储单元标记为状态一,将失效的存储单元标记为状态二。
参考图5,具体地,所述标记模块30包括:
状态一标记单元31,当一存储单元运行状态为正常时,将该存储单元标记为状态一;
状态二标记单元32,当一存储单元在超过预设次数连续被检测为运行状态不正常时,将其标记为状态二。
具体地,还包括变换标记模块40,其中,
所述变换标记模块40,当被标记为状态二的存储单元被检测为运行状态正常时,将其标记为状态一。
参考图6,具体地,所述编号模块10包括:
成员获取单元11,获取分布式文件系统的所有成员主机信息;
存储单元获取单元12,获取分布式文件系统的所有成员主机上的所有存储单元信息;
编号单元13,将所有存储单元进行编号,该编号唯一识别存储单元。
具体地,所述分布式存储系统还包括记录模块50;其中,
所述记录模块50,记录所有存储单元的编号及其所对应的标记,当系统存储数据时,仅向被标记为状态一的存储单元发起运行请求。
本发明将每一个存储单元进行编号,重复的获取每一个存储单元的运行状态,对每一个存储单元进行动态的标记并记录,在分布式存储系统工作时,仅向被标记为有效的存储单元发送请求,从而避免了向失效的存储单元发送请求,提高了系统的效率,增强了系统的稳定性。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种存储单元状态标记方法,其特征在于,包括以下步骤:
获取分布式文件系统的所有存储单元信息,并将所有存储单元编号;
每隔预设时间间隔获取一次所有存储单元的运行状态;
将有效的存储单元标记为状态一,将失效的存储单元标记为状态二。
2.如权利要求1所述的存储单元状态标记方法,其特征在于,所述将有效的存储单元标记为状态一,将失效的存储单元标记为状态二的步骤包括:
当一存储单元运行状态为正常时,将该存储单元标记为状态一;
当一存储单元运行状态为不正常时,按预设时间间隔重复检测该存储单元的运行状态,
当一存储单元在超过预设次数连续被检测为运行状态不正常时,将其标记为状态二。
3.如权利要求1所述的存储单元状态标记方法,其特征在于,将有效的存储单元标记为状态一,将失效的存储单元标记为状态二的步骤之后,还包括:
当被标记为状态二的存储单元被检测为运行状态正常时,将其标记为状态一。
4.如权利要求1、2或3所述的存储单元状态标记方法,其特征在于,所述获取分布式文件系统的所有存储单元,并将所有存储单元编号的步骤包括:
获取分布式文件系统的所有成员主机信息;
获取分布式文件系统的所有成员主机上的所有存储单元信息;
将所有存储单元进行编号,该编号唯一识别存储单元。
5.如权利要求4所述的存储单元状态存储单元状态标记方法,其特征在于,所述将有效的存储单元标记为状态一,将失效的存储单元标记为状态二的步骤之后,还包括:
记录所有存储单元的编号及其所对应的标记,当系统存储数据时,仅向被标记为状态一的存储单元发起请求。
6.一种分布式存储系统,其特征在于,该分布式存储系统包括:
编号模块,获取分布式文件系统的所有存储单元信息,并将所有存储单元编号;
检测模块,每隔预设时间间隔获取一次所有存储单元的运行状态;及
标记模块,将有效的存储单元标记为状态一,将失效的存储单元标记为状态二。
7.如权利要求6所述的分布式存储系统,其特征在于,所述标记模块包括:
状态一标记单元,当一存储单元运行状态为正常时,将该存储单元标记为状态一;
状态二标记单元,当一存储单元在超过预设次数连续被检测为运行状态不正常时,将其标记为状态二。
8.如权利要求6所述的分布式存储系统,其特征在于,还包括变换标记模块,其中,
所述变换标记模块,当被标记为状态二的存储单元被检测为运行状态正常时,将其标记为状态一。
9.如权利要求6、7或8所述的分布式存储系统,其特征在于,所述编号模块包括:
成员获取单元,获取分布式文件系统的所有成员主机信息;
存储单元获取单元,获取分布式文件系统的所有成员主机上的所有存储单元信息;
编号单元,将所有存储单元进行编号,该编号唯一识别存储单元。
10.如权利要求9所述的分布式存储系统,其特征在于,还包括记录模块;其中,
所述记录模块,记录所有存储单元的编号及其所对应的标记,当系统存储数据时,仅向被标记为状态一的存储单元发起运行请求。
CN201610984187.2A 2016-11-08 2016-11-08 存储单元状态标记方法及分布式存储系统 Pending CN106649555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610984187.2A CN106649555A (zh) 2016-11-08 2016-11-08 存储单元状态标记方法及分布式存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610984187.2A CN106649555A (zh) 2016-11-08 2016-11-08 存储单元状态标记方法及分布式存储系统

Publications (1)

Publication Number Publication Date
CN106649555A true CN106649555A (zh) 2017-05-10

Family

ID=58806901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610984187.2A Pending CN106649555A (zh) 2016-11-08 2016-11-08 存储单元状态标记方法及分布式存储系统

Country Status (1)

Country Link
CN (1) CN106649555A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018160A (zh) * 2006-02-09 2007-08-15 华为技术有限公司 实现信令承载可用性检测的方法
US20080008442A1 (en) * 2006-06-30 2008-01-10 Yoshiaki Shibata Editing apparatus, editing method, and program
CN101562543A (zh) * 2009-05-25 2009-10-21 阿里巴巴集团控股有限公司 一种缓存数据的处理方法、处理系统和装置
CN103905238A (zh) * 2012-12-28 2014-07-02 鸿富锦精密工业(深圳)有限公司 数据中心异常信息收集系统及方法
CN104158843A (zh) * 2014-07-14 2014-11-19 深圳市中博科创信息技术有限公司 分布式文件存储系统的存储单元失效检测方法及装置
CN105022666A (zh) * 2014-04-24 2015-11-04 中国电信股份有限公司 控制MapReduce任务调度的方法、装置和系统
CN105468643A (zh) * 2014-09-09 2016-04-06 博雅网络游戏开发(深圳)有限公司 分布式文件系统的访问方法和系统
US20160253362A1 (en) * 2013-11-29 2016-09-01 Tencent Technology (Shenzhen) Company Limited Method, device, node and system for managing file in distributed data warehouse
CN105931066A (zh) * 2015-09-24 2016-09-07 中国银联股份有限公司 一种交易数据处理方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018160A (zh) * 2006-02-09 2007-08-15 华为技术有限公司 实现信令承载可用性检测的方法
US20080008442A1 (en) * 2006-06-30 2008-01-10 Yoshiaki Shibata Editing apparatus, editing method, and program
CN101562543A (zh) * 2009-05-25 2009-10-21 阿里巴巴集团控股有限公司 一种缓存数据的处理方法、处理系统和装置
CN103905238A (zh) * 2012-12-28 2014-07-02 鸿富锦精密工业(深圳)有限公司 数据中心异常信息收集系统及方法
US20160253362A1 (en) * 2013-11-29 2016-09-01 Tencent Technology (Shenzhen) Company Limited Method, device, node and system for managing file in distributed data warehouse
CN105022666A (zh) * 2014-04-24 2015-11-04 中国电信股份有限公司 控制MapReduce任务调度的方法、装置和系统
CN104158843A (zh) * 2014-07-14 2014-11-19 深圳市中博科创信息技术有限公司 分布式文件存储系统的存储单元失效检测方法及装置
CN105468643A (zh) * 2014-09-09 2016-04-06 博雅网络游戏开发(深圳)有限公司 分布式文件系统的访问方法和系统
CN105931066A (zh) * 2015-09-24 2016-09-07 中国银联股份有限公司 一种交易数据处理方法及装置

Similar Documents

Publication Publication Date Title
EP3620905B1 (en) Method and device for identifying osd sub-health, and data storage system
CN103095687B (zh) 元数据处理方法及装置
EP3306477B1 (en) Storage device and block storage method based on the storage device
CN104935654A (zh) 一种服务器集群系统中的缓存方法、写入点客户端和读客户端
CN103534688B (zh) 数据恢复方法、存储设备和存储系统
CN107729185B (zh) 一种故障处理方法及装置
CN108093207B (zh) 一种数据存储、获取方法及装置
CN106126374B (zh) 数据写入方法、数据读取方法及装置
CN113535474B (zh) 异构云存储集群故障自动修复的方法、系统、介质及终端
CN103336730A (zh) 一种基于云存储的数据备份方法及系统
CN103778120A (zh) 全局文件标识生成方法、生成装置及相应的分布式文件系统
CN106104515A (zh) 利用非易失性存储器的文件系统设计和故障恢复方法
CN113946291A (zh) 数据访问方法、装置、存储节点及可读存储介质
CN105095495A (zh) 一种分布式文件系统缓存管理方法和系统
CN111399761B (zh) 存储资源分配方法、装置及设备、存储介质
US20050262159A1 (en) Managing a thread pool
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN106155910B (zh) 一种实现内存访问的方法、装置和系统
CN105430314A (zh) 视频数据存储访问控制方法及装置
CN113051428B (zh) 一种摄像机前端存储备份的方法及装置
CN107528703B (zh) 一种用于管理分布式系统中节点设备的方法与设备
US8775734B2 (en) Virtual disks constructed from unused distributed storage
CN102904946A (zh) 集群内节点管理方法和装置
CN105323271A (zh) 一种云计算系统以及云计算系统的处理方法和装置
CN106649555A (zh) 存储单元状态标记方法及分布式存储系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171020

Address after: 518100 Guangdong city of Shenzhen province Nanshan District South Road Fiyta Technology Building Room 1402

Applicant after: Shenzhen Zhongbo Kechuang Information Technology Co., Ltd.

Address before: 518000 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A (located in Shenzhen Qianhai business secretary Co. Ltd.)

Applicant before: Shenzhen City Rui Bo Storage Technology Co. Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190905

Address after: 100089 Floor 1-4, No. 2 Building, No. 9 Courtyard, Dijin Road, Haidian District, Beijing

Applicant after: Beijing Toyou Feiji Electronics Co., Ltd.

Address before: 518100 Room 1402, Feiyada Science and Technology Building, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Zhongbo Kechuang Information Technology Co., Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication