CN106970851A - 用于分布式文件系统中磁盘检测处理的方法和设备 - Google Patents

用于分布式文件系统中磁盘检测处理的方法和设备 Download PDF

Info

Publication number
CN106970851A
CN106970851A CN201610023856.XA CN201610023856A CN106970851A CN 106970851 A CN106970851 A CN 106970851A CN 201610023856 A CN201610023856 A CN 201610023856A CN 106970851 A CN106970851 A CN 106970851A
Authority
CN
China
Prior art keywords
disk
input
thread
output
disk detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610023856.XA
Other languages
English (en)
Inventor
吴冬政
董乘宇
朱家稷
张海勇
曹锋
王勇
姚文辉
吴均平
吴洋
董元元
陆靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610023856.XA priority Critical patent/CN106970851A/zh
Publication of CN106970851A publication Critical patent/CN106970851A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G06F11/0754—Error or fault detection not based on redundancy by exceeding limits
    • G06F11/0757—Error or fault detection not based on redundancy by exceeding limits by exceeding a time limit, i.e. time-out, e.g. watchdogs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请的目的是提供一种用于分布式文件系统中磁盘检测处理的方法和设备，通过创建磁盘检测守护线程，并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程；利用所述磁盘检测线程执行针对所述磁盘的输入输出操作，并记录所述输入输出操作的操作开始时间直至相应所述输入输出操作结束；接着，利用所述磁盘检测守护线程从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应所述输入输出操作的操作持续时间；当所述操作持续时间超过第一时间阈值，则将相应所述输入输出操作所对应的磁盘的状态标记为挂起状态。从而实现检测磁盘挂起状态操作和规避磁盘挂起操作带来的不良影响。

Description

用于分布式文件系统中磁盘检测处理的方法和设备
技术领域
本申请涉及计算机领域，尤其涉及一种用于分布式文件系统中磁盘检测处理的技术。
背景技术
在大规模分布式存储系统中，单台数据存储服务器会配有很多块硬盘，在某些硬盘硬件故障的情况下，会产生磁盘挂起输入输出(IO)操作的现象，表现是执行输入输出操作的线程处于不可中断的睡眠状态(D状态)，此时线程不响应任何操作会造成数据存储服务进程中的某些线程挂起在磁盘操作上，无法正常执行，这通常会造成整个数据存储服务进程失去响应，无法提供数据读写服务。一旦出现这种磁盘故障导致的D状态，除非机器重启才能解除D状态。
现有的分布式存储系统如HDFS，通常是不处理这种异常，完全靠运维人员下线磁盘重启机器恢复服务；由于数据存储节点配有多块数据盘，单块磁盘挂起就会导致整个数据存储节点无法提供服务，导致分布式存储系统中其他的数据存储节点上产生大量的复制数据的网络流量和磁盘读写操作。依靠运维的流程去发现并重启机器，具有较长的响应周期。
也有一些系统采用定制硬件的方法，来解除磁盘挂起的状态，使存储服务节点进程本身不需要额外处理磁盘挂起的问题。定制硬件要投入的昂贵的硬件研发成本，还有批量生产上的制约，和标准接口的兼容性问题，只有极少数具有实力的公司能够实施，不具有普遍适用性。
发明内容
本申请的目的是提供一种用于分布式文件系统中磁盘检测处理的方法与设备，以解决检测磁盘挂起故障并能规避磁盘挂起带来的不良影响。
根据本申请的一个方面，提供了一种用于分布式文件系统中磁盘检测处理的方法，包括：
创建磁盘检测守护线程，并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程；
利用所述磁盘检测线程执行针对所述磁盘的输入输出操作，并记录所述输入输出操作的操作开始时间直至相应所述输入输出操作结束；
利用所述磁盘检测守护线程从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应所述输入输出操作的操作持续时间；
当所述操作持续时间超过第一时间阈值，则将相应所述输入输出操作所对应的磁盘的状态标记为挂起状态。
根据本申请的另一方面，还提供了一种用于分布式文件系统中磁盘检测处理的设备，包括：
创建装置，用于创建磁盘检测守护线程，并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程；
执行装置，用于利用所述磁盘检测线程执行针对所述磁盘的输入输出操作，并记录所述输入输出操作的操作开始时间直至相应所述输入输出操作结束；
比较装置，用于利用所述磁盘检测守护线程从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应所述输入输出操作的操作持续时间；
标记装置，用于当所述操作持续时间超过第一时间阈值，则将相应所述输入输出操作所对应的磁盘的状态标记为挂起状态。
与现有技术相比，根据本申请实施例的方法和设备，通过创建磁盘检测守护线程并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程；所述磁盘检测线程周期性执行一些试探性的输入输出操作来检测磁盘是否可以正常访问，在每次执行试探性输入输出操作之前，会记录一个操作开始时间，试探性输入输出操作结束之后再把操作开始时间清除；利用所述磁盘检测守护线程从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应所述输入输出操作的操作持续时间；当所述操作持续时间超过第一时间阈值，则将相应所述输入输出操作所对应的磁盘的状态标记为挂起状态。进一步地，在数据存储节点过程中，为每一所述磁盘对应创建一用于调度输入输出操作请求的输入输出请求队列和一用于执行所述输入输出操作请求的输入输出处理线程。从而实现当某块磁盘出现输入输出操作挂起问题之后，能够检测到此问题，并且只有和故障磁盘相关的线程才会被挂起，其余线程不受影响，并在后续操作中避免向故障磁盘上发起新的输入输出操作，使得数据存储节点能够屏蔽这块故障磁盘，继续提供服务。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种用于分布式文件系统中磁盘检测处理的方法的流程示意图；
图2示出根据本申请一个方面的一种用于分布式文件系统中磁盘检测处理的一个优选实施例的示意图；
图3示出根据本申请又一个方面的一种用于分布式文件系统中磁盘检测处理的设备的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
图1示出根据本申请一个方面的一种用于分布式文件系统中磁盘检测处理的方法的流程示意图。所述方法包括步骤S11、步骤S12、步骤S13和步骤S14。其中，在步骤S11中，创建磁盘检测守护线程，并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程；在步骤S12中，利用所述磁盘检测线程执行针对所述磁盘的输入输出操作，并记录所述输入输出操作的操作开始时间直至相应所述输入输出操作结束；在步骤S13中，利用所述磁盘检测守护线程从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应所述输入输出操作的操作持续时间；在步骤S14中，当所述操作持续时间超过第一时间阈值，则将相应所述输入输出操作所对应的磁盘的状态标记为挂起状态。
具体地，在步骤S11中，创建磁盘检测守护线程，并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程。
在此，磁盘检测守护线程是所有磁盘共享的一个守护线程，负责检测磁盘检测线程是否正常工作，其中，磁盘检测线程可为每块磁盘一个后台扫描的线程，负责周期性地对该磁盘执行一些常规的IO操作，如读写操作、创建文件、删除文件等，以检测磁盘是否可以正常访问，磁盘检测线程也可为所有磁盘共同的一个后台扫描的线程，负责周期性地对所有磁盘执行一些常规的IO操作以检测所有磁盘是否可以正常访问。
具体地，在步骤S12中，利用所述磁盘检测线程执行针对所述磁盘的输入输出操作，并记录所述输入输出操作的操作开始时间直至相应所述输入输出操作结束。
在一优选实施例中，数据存储节点中的磁盘检测守护线程针对每一块磁盘创建一个磁盘检测线程，磁盘检测线程周期性执行一些试探性的输入输出(IO)操作如读写操作、创建文件等以检测磁盘是否可以正常访问，在每次执行试探性IO操作之前，会记录一个操作开始时间，磁盘检测守护线程如果发现磁盘检测线程的操作开始时间被设置，说明该磁盘检测线程有一个正在进行的试探性IO操作。
具体地，在步骤S13中，利用所述磁盘检测守护线程从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应所述输入输出操作的操作持续时间。
接前例，磁盘检测守护线程发现磁盘检测线程的操作开始时间被设置，获取到操作开始时间，比较所得的操作开始时间和当前时间得到该试探性IO操作持续时间。
具体地，在步骤S14中，当所述操作持续时间超过第一时间阈值，则将相应所述输入输出操作所对应的磁盘的状态标记为挂起状态。
继续接前例，比较操作开始时间和当前时间得到的IO操作持续时间如果超过一定的阈值，如取一个远远超出一次正常IO操作的时间，经验值为10分钟，说明这次的试探性IO操作被挂起，磁盘检测线程失去响应，磁盘检测守护线程一旦发现某一个磁盘检测线程失去响应，就可以判定该磁盘出现了挂起IO操作的故障，把该磁盘的状态进行标记为挂起状态。
本申请一实施例所述方法用于分布式文件系统中磁盘检测处理，通过创建磁盘检测守护线程并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程，磁盘检测守护线程周期性地查询磁盘检测线程是否被挂起，能够发现某块磁盘出现挂起IO操作问题，并且只有和故障磁盘相关的线程才被挂起，其余线程不受影响，并在后续操作中避免往故障磁盘上发起新的IO操作，使得数据存储节点能够屏蔽这块故障磁盘，继续提供服务。
优选地，所述步骤S11包括：创建磁盘检测守护线程；利用所述磁盘检测守护线程创建多个磁盘检测线程，其中，每一所述磁盘检测线程对应一磁盘。
在一实施例中，数据存储节点中的磁盘检测守护线程针对每一块磁盘创建一个磁盘检测线程，接着，利用每一所述磁盘检测线程周期性执行针对其对应所述磁盘的输入输出操作。更优选地，所述利用每一所述磁盘检测线程周期性执行针对其对应所述磁盘的输入输出操作包括：利用所述磁盘检测线程执行输入输出操作，以访问对应所述磁盘。例如，磁盘检测线程每隔10秒执行一些如创建文件、删除文件、读操作或写操作等试探性的IO操作来检测磁盘是否可以正常访问。磁盘检测守护线程每秒执行检测，查看磁盘检测线程的设置状态。
更优选地，所述步骤S13包括：利用所述磁盘检测守护线程周期性依次从多个所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取所述输入输出的操作持续时间。
在又一优选实施例中，ScanBeginTime表示试探性IO操作开始时间，磁盘检测线程每隔10秒执行一个试探性IO操作，某次试探性IO操作开始前设置ScanBeginTime＝18:50:00，假设这个IO操作耗时不到1秒结束，然后磁盘检测线程设置ScanBeginTime＝0；磁盘检测守护线程每秒查看一次ScanBeginTime，可能有两种情况，一是发现ScanBeginTime＝0，则不需要执行其他操作；二是刚好发现ScanBeginTime＝18:50:00，则和当前时间18:50:00进行比较，发现时间差不到10分钟，仍然不需要执行其他操作。若磁盘检测线程每隔10秒执行一个试探性IO操作，某次设置ScanBeginTime＝18:50:10，该IO操作被挂起，超过10分钟还没结束，磁盘检测守护线程每秒查看一次ScanBeginTime，在10分钟之内，发现ScanBeginTime＝18:50:10，但是和当前时间进行比较，发现时间差不到10分钟，不需执行其他操作；在10分钟之后，发现ScanBeginTime＝18:50:10和当前时间19:00:20比较，时间差已超过10分钟，则判定磁盘处于挂起状态，将该磁盘状态标记为挂起状态。
可选地，步骤S11包括：创建磁盘检测守护线程；利用所述磁盘检测守护线程创建与所有磁盘对应的一个磁盘检测线程。
在又一实施例中，创建磁盘检测守护线程并利用磁盘检测守护线程创建一磁盘检测线程，所有的磁盘共用该磁盘检测线程。
可选地，步骤S12包括：利用所述磁盘检测线程执行针对不同磁盘的输入输出操作，并记录每次所述输入输出操作所对应的磁盘的信息。
优选地，所述利用每一所述磁盘检测线程周期性执行与其对应所述磁盘的输入输出操作包括：利用所述磁盘检测线程执行输入输出操作，以访问对应所述磁盘。在此，利用磁盘检测线程执行一些试探性的如创建文件、删除文件、读写操作等输入输出操作来检测磁盘是否可以正常访问。同时，记录每次输入输出操作所对应的磁盘的信息，如当前检测的是哪块磁盘及所在位置等以便对出问题的磁盘进行标记。
优选地，在所述步骤S12中，记录所述输入输出操作的操作开始时间；当所述输入输出操作结束，在相应所述磁盘检测线程中清除相应所述操作开始时间。
在此，某次试探性IO操作的操作开始时间ScanBeginTime在操作开始时设置为18:10:00，记录该时间，当IO操作结束后，在执行该IO操作对应的磁盘检测线程中清除该IO操作的操作开始时间，即将一个表示操作开始时间的变量设置为0，如ScanBeginTime＝0，清除操作开始时间则表示当前没有试探性IO操作在执行。
优选地，所述方法还包括：为每一所述磁盘对应创建一用于调度输入输出操作请求的输入输出请求队列和一用于执行所述输入输出操作请求的输入输出处理线程。
在此，所述输入输出(IO)请求队列是指每块磁盘设置一个独立的队列，所有要访问这个磁盘的IO请求都要先进入到这个队列，就是该磁盘的IO请求队列。所述输入输出(IO)处理线程是指每块磁盘设置若干处理IO请求的线程，负责从这块磁盘对应的IO请求队列中取出请求并执行。在数据存储节点进程中，为每个数据盘设置一个专属IO请求队列和一组专属的IO处理线程，所有对这块数据盘的IO操作都要先进入到此IO请求队列中，由该磁盘专属的IO处理线程从队列中取出请求，执行操作，在此，每块数据盘为一个磁盘。如果某块数据盘产生了磁盘挂起操作的故障，在把该数据盘标记为故障之前，只有该数据盘专属的IO处理线程不响应，该数据盘专属的IO请求队列无法消耗，影响不会扩散到整个进程，其余数据盘的请求都能正常处理，在把挂起的磁盘的状态标记为挂起状态后，将不会再有新的请求进入队列。
可选地，所述方法还包括：利用所述输入输出请求队列记录每一进入的输入输出操作请求的出队时间；利用所述磁盘检测守护线程从所述输入输出请求队列中获取所述输入输出操作请求的出队时间，并比较所述出队时间和当前时间，以获取所述输入输出操作请求的已执行时间；当所述输入输出操作请求的已执行时间超出第二时间阈值，则将相应所述输入输出操作请求所对应的磁盘的状态标记为挂起状态。
在此，利用输入输出请求队列里请求的执行时间来判定磁盘产生了挂起操作的故障，根据IO请求队列对应的IO处理线程记录每一进入IO操作请求的出队时间，然后执行输入输出操作并在此次输入输出操作结束后将出队时间清零，利用磁盘检测守护线程获取出队时间，比较出队时间和当前时间以得到该IO操作请求的已执行时间。当所得的已执行时间超过一定的阈值时，说明这次的IO操作被挂起，将该磁盘的状态进行标记为挂起状态。
图2示出根据本申请一个方面的一种用于分布式文件系统中磁盘检测处理的一个优选实施例的示意图。根据图2所示结合图1方法流程图将优选实施例进行描述，在步骤S11中，创建磁盘检测守护线程，并利用磁盘检测守护线程创建多个磁盘检测线程，其中，一个磁盘检测守护线程对应多个磁盘检测线程，如图2中的磁盘检测线程1、磁盘检测线程2……磁盘检测线程N，一个磁盘检测线程对应一个磁盘，一个磁盘设置一个专属的IO请求队列和一组IO处理线程(图2中只给出IO请求队列对应的其中一个IO处理线程)；在步骤S12中，利用磁盘检测线程周期性地执行针对所述磁盘的一些试探性IO操作用来检测磁盘是否可以正常访问，在每次执行IO操作之前记录所述IO操作的操作开始时间直至相应所述IO操作结束；在IO操作结束后再把操作开始时间清除；在步骤S13中，磁盘检测守护线程周期性查询磁盘检测线程，如果发现磁盘检测线程的操作开始时间被设置，说明该磁盘的检测线程有一个正在进行的试探性IO操作，从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应试探性IO操作的操作持续时间；在步骤S14中，当获得的操作持续时间超过第一时间阈值，说明这次的试探性IO操作被挂起，磁盘检测线程失去响应，磁盘检测守护线程一旦发现某一个磁盘检测线程失去响应，就可以判定该磁盘出现了挂起IO操作的故障，则将相应所述试探性IO操作所对应的磁盘的状态标记为挂起状态。
图3示出根据本申请又一个方面的一种用于分布式文件系统中磁盘检测处理的设备的结构示意图。所述设备包括创建装置11、执行装置12、比较装置13和标记装置14。其中，创建装置11创建磁盘检测守护线程，并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程；执行装置12利用所述磁盘检测线程执行针对所述磁盘的输入输出操作，并记录所述输入输出操作的操作开始时间直至相应所述输入输出操作结束；比较装置13利用所述磁盘检测守护线程从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应所述输入输出操作的操作持续时间；标记装置14当所述操作持续时间超过第一时间阈值，则将相应所述输入输出操作所对应的磁盘的状态标记为挂起状态。
在此，所述设备1包括但不限于用户设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、PDA等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。优选地，设备1还可以是运行于所述用户设备、或用户设备与网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的脚本程序。当然，本领域技术人员应能理解上述设备1仅为举例，其他现有的或今后可能出现的设备1如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
具体地，创建装置11创建磁盘检测守护线程，并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程。
在此，磁盘检测守护线程是所有磁盘共享的一个守护线程，负责检测磁盘检测线程是否正常工作，其中，磁盘检测线程可为每块磁盘一个后台扫描的线程，负责周期性地对该磁盘执行一些常规的IO操作，如读写操作、创建文件、删除文件等，以检测磁盘是否可以正常访问，磁盘检测线程也可为所有磁盘共同的一个后台扫描的线程，负责周期性地对所有磁盘执行一些常规的IO操作以检测所有磁盘是否可以正常访问。
具体地，执行装置12利用所述磁盘检测线程执行针对所述磁盘的输入输出操作，并记录所述输入输出操作的操作开始时间直至相应所述输入输出操作结束。
在一优选实施例中，数据存储节点中的磁盘检测守护线程针对每一块磁盘创建一个磁盘检测线程，磁盘检测线程周期性执行一些试探性的输入输出(IO)操作以检测磁盘是否可以正常访问，在每次执行试探性IO操作之前，会记录一个操作开始时间，磁盘检测守护线程如果发现磁盘检测线程的操作开始时间被设置，说明该磁盘检测线程有一个正在进行的试探性IO操作。
具体地，比较装置13利用所述磁盘检测守护线程从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应所述输入输出操作的操作持续时间。
接前例，磁盘检测守护线程发现磁盘检测线程的操作开始时间被设置，获取到操作开始时间，比较所得的操作开始时间和当前时间得到该试探性IO操作持续时间。
具体地，所述标记装置14用于当所述操作持续时间超过第一时间阈值，则将相应所述输入输出操作所对应的磁盘的状态标记为挂起状态。
继续接前例，比较操作开始时间和当前时间得到的IO操作持续时间如果超过一定的阈值，如取一个远远超出一次正常IO操作的时间，经验值为10分钟，说明这次的试探性IO操作被挂起，磁盘检测线程失去响应，磁盘检测守护线程一旦发现某一个磁盘检测线程失去响应，就可以判定该磁盘出现了挂起IO操作的故障，把该磁盘的状态进行标记为挂起状态。
本申请一实施例所述设备用于分布式文件系统中磁盘检测处理，通过创建磁盘检测守护线程并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程，磁盘检测守护线程周期性地查询磁盘检测线程是否被挂起，能够发现某块磁盘出现挂起IO操作问题，并且只有和故障磁盘相关的线程才被挂起，其余线程不受影响，并在后续操作中避免往故障磁盘上发起新的IO操作，使得数据存储节点能够屏蔽这块故障磁盘，继续提供服务。
优选地，所述创建装置11用于：创建磁盘检测守护线程；利用所述磁盘检测守护线程创建多个磁盘检测线程，其中，每一所述磁盘检测线程对应一磁盘。
在一实施例中，数据存储节点中的磁盘检测守护线程针对每一块磁盘创建一个磁盘检测线程，接着，利用每一所述磁盘检测线程周期性执行针对其对应所述磁盘的输入输出操作。更优选地，所述利用每一所述磁盘检测线程周期性执行针对其对应所述磁盘的输入输出操作包括：利用所述磁盘检测线程执行输入输出操作，以访问对应所述磁盘。例如，磁盘检测线程每隔10秒执行一些如创建文件、删除文件、读操作或写操作等试探性的IO操作来检测磁盘是否可以正常访问。磁盘检测守护线程每秒执行检测，查看磁盘检测线程的设置状态。
更优选地，所述执行装置13用于：利用所述磁盘检测守护线程周期性依次从多个所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取所述输入输出的操作持续时间。
在又一优选实施例中，ScanBeginTime表示试探性IO操作开始时间，磁盘检测线程每隔10秒执行一个试探性IO操作，某次试探性IO操作开始前设置ScanBeginTime＝18:50:00，假设这个IO操作耗时不到1秒结束，然后磁盘检测线程设置ScanBeginTime＝0；磁盘检测守护线程每秒查看一次ScanBeginTime，可能有两种情况，一是发现ScanBeginTime＝0，则不需要做什么；二是刚好发现ScanBeginTime＝18:50:00，则和当前时间18:50:00进行比较，发现时间差不到10分钟，仍然不需要做什么。若磁盘检测线程每隔10秒执行一个试探性IO操作，某次设置ScanBeginTime＝18:50:10，该IO操作被挂起，超过10分钟还没结束，磁盘检测守护线程每秒查看一次ScanBeginTime，在10分钟之内，发现ScanBeginTime＝18:50:10，但是和当前时间进行比较，发现时间差不到10分钟，不需做什么；在10分钟之后，发现ScanBeginTime＝18:50:10和当前时间19:00:20比较，时间差已超过10分钟，判定磁盘处于挂起状态，将该磁盘状态标记为挂起状态。
可选地，所述创建装置11还用于：创建磁盘检测守护线程；利用所述磁盘检测守护线程创建与所有磁盘对应的一个磁盘检测线程。
在又一实施例中，创建磁盘检测守护线程并利用磁盘检测守护线程创建一磁盘检测线程，所有的磁盘共用该磁盘检测线程。
可选地，所述执行装置12还用于：利用所述磁盘检测线程执行针对不同磁盘的输入输出操作，并记录每次所述输入输出操作所对应的磁盘的信息。
优选地，所述利用每一所述磁盘检测线程周期性执行与其对应所述磁盘的输入输出操作包括：利用所述磁盘检测线程执行输入输出操作，以访问对应所述磁盘。在此，利用磁盘检测线程执行一些试探性的如创建文件、删除文件、读写操作等输入输出操作来检测磁盘是否可以正常访问。同时，记录每次输入输出操作所对应的磁盘的信息，如当前检测的是哪块磁盘及所在位置等以便对出问题的磁盘进行标记。
优选地，所述执行装置12还包括记录单元(未示出)和清除单元(未示出)，记录单元用于记录所述输入输出操作的操作开始时间；清除单元用于当所述输入输出操作结束，在相应所述磁盘检测线程中清除相应所述操作开始时间。
在此，某次试探性IO操作的操作开始时间ScanBeginTime在操作开始时设置为18:10:00，记录该时间，当IO操作结束后，在执行该IO操作对应的磁盘检测线程中清除该IO操作的操作开始时间，即将一个表示操作开始时间的变量设置为0，如ScanBeginTime＝0，清除操作开始时间则表示当前没有试探性IO操作在执行。
优选地，所述设备还包括请求处理装置(未示出)，用于为每一所述磁盘对应创建一用于调度输入输出操作请求的输入输出请求队列和一用于执行所述输入输出操作请求的输入输出处理线程。
在此，所述输入输出(IO)请求队列是指每块磁盘设置一个独立的队列，所有要访问这个磁盘的IO请求都要先进入到这个队列，就是该磁盘的IO请求队列。所述输入输出(IO)处理线程是指每块磁盘设置若干处理IO请求的线程，负责从这块磁盘对应的IO请求队列中取出请求并执行。在数据存储节点进程中，为每个数据盘设置一个专属IO请求队列和一组专属的IO处理线程，所有对这块数据盘的IO操作都要先进入到此IO请求队列中，由该磁盘专属的IO处理线程从队列中取出请求，执行操作，在此，每块数据盘为一个磁盘。如果某块数据盘产生了磁盘挂起操作的故障，在把该数据盘标记为故障之前，只有该数据盘专属的IO处理线程不响应，该数据盘专属的IO请求队列无法消耗，影响不会扩散到整个进程，其余数据盘的请求都能正常处理，在把挂起的磁盘的状态标记为挂起状态后，将不会再有新的请求进入队列。
可选地，所述设备还包括：出队时间记录装置(未示出)、获取持续时间装置(未示出)和处理装置(未示出)，其中，所述出队时间记录装置用于利用所述输入输出请求队列记录每一进入的输入输出操作请求的出队时间；获取持续时间装置用于利用所述磁盘检测守护线程从所述输入输出请求队列中获取所述输入输出操作请求的出队时间，并比较所述出队时间和当前时间，以获取所述输入输出操作请求的已执行时间；处理装置用于当所述输入输出操作请求的已执行时间超出第二时间阈值，则将相应所述输入输出操作请求所对应的磁盘的状态标记为挂起状态。
在此，利用输入输出请求队列里请求的执行时间来判定磁盘产生了挂起操作的故障，根据IO请求队列对应的IO处理线程记录每一进入IO操作请求的出队时间，然后执行输入输出操作并在此次输入输出操作结束后将出队时间清零，利用磁盘检测守护线程获取出队时间，比较出队时间和当前时间以得到该IO操作请求的已执行时间。当所得的已执行时间超过一定的阈值时，说明这次的IO操作被挂起，将该磁盘的状态进行标记为挂起状态。
图2示出根据本申请一个方面的一种用于分布式文件系统中磁盘检测处理的一个优选实施例的示意图。根据图2所示结合图3设备结构图将优选实施例进行描述，创建装置11创建磁盘检测守护线程，并利用磁盘检测守护线程创建多个磁盘检测线程，其中，一个磁盘检测守护线程对应多个磁盘检测线程，如图2中的磁盘检测线程1、磁盘检测线程2……磁盘检测线程N，一个磁盘检测线程对应一个磁盘，一个磁盘设置一个专属的IO请求队列和一组IO处理线程(图2中只给出IO请求队列对应的其中一个IO处理线程)；执行装置12利用磁盘检测线程周期性地执行针对所述磁盘的一些试探性IO操作用来检测磁盘是否可以正常访问，在每次执行IO操作之前记录所述IO操作的操作开始时间直至相应所述IO操作结束；在IO操作结束后再把操作开始时间清除；比较装置13用于磁盘检测守护线程周期性查询磁盘检测线程，如果发现磁盘检测线程的操作开始时间被设置，说明该磁盘的检测线程有一个正在进行的试探性IO操作，从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应试探性IO操作的操作持续时间；标记装置14用于当获得的操作持续时间超过第一时间阈值，说明这次的试探性IO操作被挂起，磁盘检测线程失去响应，磁盘检测守护线程一旦发现某一个磁盘检测线程失去响应，就可以判定该磁盘出现了挂起IO操作的故障，则将相应所述试探性IO操作所对应的磁盘的状态标记为挂起状态。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (22)

1.一种用于分布式文件系统中磁盘检测处理的方法，其中，所述方法包括：
创建磁盘检测守护线程，并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程；
利用所述磁盘检测线程执行针对所述磁盘的输入输出操作，并记录所述输入输出操作的操作开始时间直至相应所述输入输出操作结束；
利用所述磁盘检测守护线程从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应所述输入输出操作的操作持续时间；
当所述操作持续时间超过第一时间阈值，则将相应所述输入输出操作所对应的磁盘的状态标记为挂起状态。
2.根据权利要求1所述的方法，其中，所述创建磁盘检测守护线程，并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程包括：
创建磁盘检测守护线程；
利用所述磁盘检测守护线程创建多个磁盘检测线程，其中，每一所述磁盘检测线程对应一磁盘。
3.根据权利要求2所述的方法，其中，所述利用所述磁盘检测线程执行针对所述磁盘的输入输出操作包括：
利用每一所述磁盘检测线程周期性执行针对其对应所述磁盘的输入输出操作。
4.根据权利要求3所述的方法，其中，所述利用每一所述磁盘检测线程周期性执行针对其对应所述磁盘的输入输出操作包括：
利用所述磁盘检测线程执行输入输出操作，以访问对应所述磁盘。
5.根据权利要求2所述的方法，其中，所述利用所述磁盘检测守护线程从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应所述输入输出操作的操作持续时间包括：
利用所述磁盘检测守护线程周期性依次从多个所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取所述输入输出的操作持续时间。
6.根据权利要求1所述的方法，其中，所述创建磁盘检测守护线程，并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程包括：
创建磁盘检测守护线程；
利用所述磁盘检测守护线程创建与所有磁盘对应的一个磁盘检测线程。
7.根据权利要求6所述的方法，其中，所述利用所述磁盘检测线程执行针对所述磁盘的输入输出操作，并记录所述输入输出操作的操作开始时间直至相应所述输入输出操作结束包括：
利用所述磁盘检测线程执行针对不同磁盘的输入输出操作，并记录每次所述输入输出操作所对应的磁盘的信息。
8.根据权利要求7所述的方法，其中，所述利用每一所述磁盘检测线程周期性执行与其对应所述磁盘的输入输出操作包括：
利用所述磁盘检测线程执行输入输出操作，以访问对应所述磁盘。
9.根据权利要求1至8中任一项所述的方法，其中，所述利用所述磁盘检测线程执行针对所述磁盘的输入输出操作，并记录所述输入输出操作的操作开始时间直至相应所述输入输出操作结束还包括：
记录所述输入输出操作的操作开始时间；
当所述输入输出操作结束，在相应所述磁盘检测线程中清除相应所述操作开始时间。
10.根据权利要求1至9中任一项所述的方法，其中，所述方法还包括：
为每一所述磁盘对应创建一用于调度输入输出操作请求的输入输出请求队列和一用于执行所述输入输出操作请求的输入输出处理线程。
11.根据权利要求10所述的方法，其中，所述方法还包括：
利用所述输入输出请求队列记录每一进入的输入输出操作请求的出队时间；
利用所述磁盘检测守护线程从所述输入输出请求队列中获取所述输入输出操作请求的出队时间，并比较所述出队时间和当前时间，以获取所述输入输出操作请求的已执行时间；
当所述输入输出操作请求的已执行时间超出第二时间阈值，则将相应所述输入输出操作请求所对应的磁盘的状态标记为挂起状态。
12.一种用于分布式文件系统中磁盘检测处理的设备，其中，所述设备包括：
创建装置，用于创建磁盘检测守护线程，并利用所述磁盘检测守护线程创建与磁盘对应的一个或多个磁盘检测线程；
执行装置，用于利用所述磁盘检测线程执行针对所述磁盘的输入输出操作，并记录所述输入输出操作的操作开始时间直至相应所述输入输出操作结束；
比较装置，用于利用所述磁盘检测守护线程从所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取相应所述输入输出操作的操作持续时间；
标记装置，用于当所述操作持续时间超过第一时间阈值，则将相应所述输入输出操作所对应的磁盘的状态标记为挂起状态。
13.根据权利要求12所述的设备，其中，所述创建装置用于：
创建磁盘检测守护线程；
利用所述磁盘检测守护线程创建多个磁盘检测线程，其中，每一所述磁盘检测线程对应一磁盘。
14.根据权利要求13所述的设备，其中，所述执行装置用于：
利用每一所述磁盘检测线程周期性执行针对其对应所述磁盘的输入输出操作。
15.根据权利要求14所述的设备，其中，所述利用每一所述磁盘检测线程周期性执行针对其对应所述磁盘的输入输出操作包括：
利用所述磁盘检测线程执行输入输出操作，以访问对应所述磁盘。
16.根据权利要求13所述的设备，其中，所述比较装置用于：
利用所述磁盘检测守护线程周期性依次从多个所述磁盘检测线程获取所述操作开始时间，并比较所述操作开始时间与当前时间以获取所述输入输出的操作持续时间。
17.根据权利要求12所述的设备，其中，所述创建装置用于：
创建磁盘检测守护线程；
利用所述磁盘检测守护线程创建与所有磁盘对应的一个磁盘检测线程。
18.根据权利要求17所述的设备，其中，所述执行装置还用于：
利用所述磁盘检测线程执行针对不同磁盘的输入输出操作，并记录每次所述输入输出操作所对应的磁盘的信息。
19.根据权利要求18所述的设备，其中，所述利用每一所述磁盘检测线程周期性执行与其对应所述磁盘的输入输出操作包括：
利用所述磁盘检测线程执行输入输出操作，以访问对应所述磁盘。
20.根据权利要求12至19中任一项所述的设备，其中，所述执行装置包括：
记录单元，用于记录所述输入输出操作的操作开始时间；
清除单元，用于当所述输入输出操作结束，在相应所述磁盘检测线程中清除相应所述操作开始时间。
21.根据权利要求12至20中任一项所述的设备，其中，所述设备还包括：
请求处理装置，用于为每一所述磁盘对应创建一用于调度输入输出请求的输入输出请求队列和一用于执行所述输入输出请求的输入输出处理线程。
22.根据权利要求21所述的设备，其中，所述设备还包括：
出队时间记录装置，用于利用所述输入输出请求队列记录每一进入的输入输出操作请求的出队时间；
获取持续时间装置，用于利用所述磁盘检测守护线程从所述输入输出请求队列中获取所述输入输出操作请求的出队时间，并比较所述出队时间和当前时间，以获取所述输入输出操作请求的已执行时间；
处理装置，用于当所述输入输出操作请求的已执行时间超出第二时间阈值，则将相应所述输入输出操作请求所对应的磁盘的状态标记为挂起状态。
CN201610023856.XA 2016-01-14 2016-01-14 用于分布式文件系统中磁盘检测处理的方法和设备 Pending CN106970851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610023856.XA CN106970851A (zh) 2016-01-14 2016-01-14 用于分布式文件系统中磁盘检测处理的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610023856.XA CN106970851A (zh) 2016-01-14 2016-01-14 用于分布式文件系统中磁盘检测处理的方法和设备

Publications (1)

Publication Number Publication Date
CN106970851A true CN106970851A (zh) 2017-07-21

Family

ID=59335028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610023856.XA Pending CN106970851A (zh) 2016-01-14 2016-01-14 用于分布式文件系统中磁盘检测处理的方法和设备

Country Status (1)

Country Link
CN (1) CN106970851A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109274544A (zh) * 2018-12-11 2019-01-25 浪潮(北京)电子信息产业有限公司 一种分布式存储系统的故障检测方法及装置
CN109634787A (zh) * 2018-12-17 2019-04-16 浪潮电子信息产业股份有限公司 分布式文件系统监控器切换方法、装置、设备及存储介质
CN110750348A (zh) * 2019-10-23 2020-02-04 神州数码融信软件有限公司 批量作业调度方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020001152A1 (en) * 2000-06-29 2002-01-03 Ikuko Iida Disk controller for detecting hang-up of disk storage system
US6671279B1 (en) * 1999-02-24 2003-12-30 Nortel Networks Limited Establishing shortcuts in a Multiprotocol-over-ATM system
US20070277059A1 (en) * 2006-05-24 2007-11-29 Fujitsu Limited Storage device, control device, and error reporting method
CN101127233A (zh) * 2007-09-25 2008-02-20 Ut斯达康通讯有限公司 流媒体应用中的硬盘错误检测与容错方法
CN101727648A (zh) * 2009-12-01 2010-06-09 中国建设银行股份有限公司 服务系统中的超时控制方法及服务系统
CN103488544A (zh) * 2013-09-26 2014-01-01 华为技术有限公司 检测慢盘的处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671279B1 (en) * 1999-02-24 2003-12-30 Nortel Networks Limited Establishing shortcuts in a Multiprotocol-over-ATM system
US20020001152A1 (en) * 2000-06-29 2002-01-03 Ikuko Iida Disk controller for detecting hang-up of disk storage system
US20070277059A1 (en) * 2006-05-24 2007-11-29 Fujitsu Limited Storage device, control device, and error reporting method
CN101127233A (zh) * 2007-09-25 2008-02-20 Ut斯达康通讯有限公司 流媒体应用中的硬盘错误检测与容错方法
CN101727648A (zh) * 2009-12-01 2010-06-09 中国建设银行股份有限公司 服务系统中的超时控制方法及服务系统
CN103488544A (zh) * 2013-09-26 2014-01-01 华为技术有限公司 检测慢盘的处理方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109274544A (zh) * 2018-12-11 2019-01-25 浪潮(北京)电子信息产业有限公司 一种分布式存储系统的故障检测方法及装置
CN109274544B (zh) * 2018-12-11 2021-06-29 浪潮(北京)电子信息产业有限公司 一种分布式存储系统的故障检测方法及装置
CN109634787A (zh) * 2018-12-17 2019-04-16 浪潮电子信息产业股份有限公司 分布式文件系统监控器切换方法、装置、设备及存储介质
CN110750348A (zh) * 2019-10-23 2020-02-04 神州数码融信软件有限公司 批量作业调度方法及装置

Similar Documents

Publication Publication Date Title
CN103198122B (zh) 重启内存数据库的方法和装置
CN109614045B (zh) 一种元数据落盘方法、装置及相关设备
CN106970851A (zh) 用于分布式文件系统中磁盘检测处理的方法和设备
CN114003439B (zh) 数据备份方法、装置、设备及存储介质
CN107506266A (zh) 一种数据恢复方法及系统
CN106095619A (zh) 一种虚拟机备份方法及装置
CN107818028A (zh) 一种计算机数据备份与还原方法
CN106294387A (zh) 数据迁移方法和装置
CN103455436B (zh) 一种ram检测方法及系统
CN104636218B (zh) 数据恢复方法及装置
CN108170375B (zh) 一种分布式存储系统中的超限保护方法和装置
CN102866964B (zh) 一种保护存储设备上数据的方法及装置
CN103399714B (zh) 存储设备配置信息的维护系统及其使用方法
CN106599236A (zh) 一种文件系统的元数据存储方法和装置
CN104407994B (zh) 识别计算机插槽上插入的存储设备的方法及装置
CN110825542B (zh) 一种分布式系统中故障盘的检测方法、装置及检测系统
CN103440179B (zh) 存储设备配置信息的连续保存方法
CN110515756A (zh) 一种存储系统的故障预防方法、装置、设备和存储介质
US20160266951A1 (en) Diagnostic collector for hadoop
JP2010250372A (ja) トレースデータ記録方法及び計算機システム
CN110795261B (zh) 虚拟磁盘故障的检测方法和装置
CN114884836A (zh) 一种虚拟机高可用方法、装置及介质
CN109992220B (zh) 一种锁释放方法、装置、设备及介质
CN109445877B (zh) 一种检测游戏服务器多线程使用同一虚拟机的方法
CN107742080B (zh) 针对虚拟化环境的漏洞挖掘方法及装置

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170721

RJ01 Rejection of invention patent application after publication