CN115098032A - 集群中磁盘的踢盘处理方法、装置及存储介质 - Google Patents

集群中磁盘的踢盘处理方法、装置及存储介质 Download PDF

Info

Publication number
CN115098032A
CN115098032A CN202210771764.5A CN202210771764A CN115098032A CN 115098032 A CN115098032 A CN 115098032A CN 202210771764 A CN202210771764 A CN 202210771764A CN 115098032 A CN115098032 A CN 115098032A
Authority
CN
China
Prior art keywords
disk
cluster
kicked
information
copies
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210771764.5A
Other languages
English (en)
Inventor
卢智华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202210771764.5A priority Critical patent/CN115098032A/zh
Publication of CN115098032A publication Critical patent/CN115098032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种集群中磁盘的踢盘处理方法、装置及存储介质，其中，该方法包括：记录集群返回的与所述集群中目标磁盘对应的错误信息，其中，所述错误信息包括用于表征磁盘中数据读写错误的信息和用于表征磁盘中元数据调用错误的信息；基于所述错误信息将所述目标磁盘设置为待踢盘的磁盘；在集群中的所有副本安全的情况下，对所述待踢盘的磁盘进行踢盘处理。通过本申请，解决了现有技术中针对集群中出现的坏盘通过外围脚本处理，数据处理可靠性较低的问题。

Description

集群中磁盘的踢盘处理方法、装置及存储介质
技术领域
本申请涉及计算机领域，尤其涉及一种集群中磁盘的踢盘处理方法、装置及存储介质。
背景技术
集群中所有的数据都是存放在磁盘(Disk)上，为了保证集群数据的安全可靠，针对坏的Disk需要定期扫描并下盘进行维修处理。目前对于集群中的坏盘是依靠外围的脚本收集内核错误信息，然后踢盘处理。也就是说，目前针对集群中出现的坏盘都需要外围脚本处理，但外围脚本处理数据具有不可靠性。此外，集群中还有较多流程发现的坏副本，需要手动逐一处理，造成运维系统较为复杂，同时增加了数据丢失的风险。
发明内容
本申请提供了一种集群中磁盘的踢盘处理方法、装置及存储介质，解决了现有技术中针对集群中出现的坏盘通过外围脚本处理，数据处理可靠性较低的问题。
第一方面，本申请提供了一种集群中磁盘的踢盘处理方法，包括：记录集群返回的与所述集群中目标磁盘对应的错误信息，其中，所述错误信息包括用于表征磁盘中数据读写错误的信息和用于表征磁盘中元数据调用错误的信息；基于所述错误信息将所述目标磁盘设置为待踢盘的磁盘；在集群中的所有副本安全的情况下，对所述待踢盘的磁盘进行踢盘处理。
第二方面，本申请提供了一种集群中磁盘的踢盘处理装置，包括：记录模块，用于记录集群返回的与所述集群中目标磁盘对应的错误信息，其中，所述错误信息包括用于表征磁盘中数据读写错误的信息和用于表征磁盘中元数据调用错误的信息；设置模块，用于基于所述错误信息将所述目标磁盘设置为待踢盘的磁盘；踢盘模块，用于在集群中的所有副本安全的情况下，对所述待踢盘的磁盘进行踢盘处理。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的集群中磁盘的踢盘处理方法的步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的集群中磁盘的踢盘处理方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法，可以通过记录集群中目标磁盘对应的错误信息，将该目标磁盘设置为待踢盘的磁盘，并在待踢盘的磁盘中的数据安全的情况下，对待踢盘的磁盘进行踢盘处理，实现了根据集群中返回的错误信息，在集群中的所有副本安全的条件下进行自动踢盘，使得数据的处理相比如基于外围脚本进行处理更加安全可靠，解决了现有技术中针对集群中出现的坏盘通过外围脚本处理，数据处理可靠性较低的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的集群中的踢盘处理方法的流程示意图之一；
图2为本申请实施例提供的集群中的踢盘处理方法的流程示意图之二；
图3为本申请实施例提供的集群中的踢盘处理装置的结构示意图之一；
图4为本申请实施例提供的集群中的踢盘处理装置的结构示意图之二；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先对本申请实施例中的相关术语进行解释说明；
Cluster(集群)：由多台DataServer组成，整体向上提供服务；
DataServer：数据存储节点机器，一个机器上部署一个服务；
Block：一个大文件为一个Block，由小文件合并而成，每个Block有唯一的BlockId标识；
Object：数据块Block是由多条Object组成；
NameServer：集群中的所有DataServer的中控节点；
Disk：数据存储的介质；
Fsck：集群中扫描所有信息的模块。
图1为本申请实施例提供的一种集群中的踢盘处理方法的流程示意图，如图1所示，本申请提供了一种集群中的踢盘处理方法，该方法包括：
步骤102，记录集群返回的与集群中目标磁盘对应的错误信息，其中，错误信息包括用于表征磁盘中数据读写错误的信息和用于表征磁盘中元数据调用错误的信息；
在本申请实施例中磁盘中数据读写错误可以是指pread(带偏移量地原子的从文件中读取数据)、pwrite(带偏移量地写数据到文件中)、read(读)、write(写)在系统调用时发生输入/输出错误。此外，磁盘中元数据调用错误可以是指文件系统操作错误，例如open(打开)、rename(重命名)、mkdir(创建文件夹)、fsync(同步内存中所有已修改的文件数据到储存设备)等调用错误。
步骤104，基于错误信息将目标磁盘设置为待踢盘的磁盘；
步骤106，在集群中的所有副本安全的情况下，对待踢盘的磁盘进行踢盘处理。
对于上述步骤102至步骤106在具体示例中可以是：通过记录集群中出现的数据读写错误和元数据系统调用错误，判断磁盘是否可被drop(下盘)，定期扫描该集群中DataServer上所有磁盘的状态，将能被drop的磁盘进行自动踢盘，发送下盘命令给NameServer，然后NameServer进行相应处理，只有集群Fsck信息即数据完整安全的情况下，才会下发给DataServer，然后将该磁盘置为不可用，从而实现自动踢盘无需依靠外围脚本。
也就是说，在本申请实施例中，可以通过记录集群中目标磁盘对应的错误信息，将该目标磁盘设置为待踢盘的磁盘，并在集群中的所有副本安全的情况下，对待踢盘的磁盘进行踢盘处理，实现了根据集群中返回的错误信息，在满足数据安全的条件下进行自动踢盘，使得数据的处理相比如基于外围脚本进行处理更加安全可靠，解决了现有技术中针对集群中出现的坏盘通过外围脚本处理，数据处理可靠性较低的问题。
在本申请实施例的可选实施方式中，对于上述步骤104中涉及到的基于错误信息将目标磁盘设置为待踢盘磁盘的方式，包括以下至少一种方式：
方式1)在错误信息指示目标磁盘中的出现读写错误的坏块数量超过第一预设阈值的情况下，将目标磁盘设置为待踢盘的磁盘；
其中，该第一预设阈值可以根据需要进行相应的设置，在本申请实施例中对其并不限定其取值。
方式2)在错误信息指示目标磁盘中出现元数据调用错误的情况下，将目标磁盘设置为待踢盘的磁盘。
通过上述方式1)和方式2)可知，在本申请实施例中可以通过坏块数量和元数据调用错误两种方式来确定是否将目标磁盘设置为待踢盘的磁盘，而在坏块数量超过第一预设阈值的情况下，将目标磁盘设置为待踢盘的磁盘则可以避免一出现坏块就将磁盘设置为待踢盘的磁盘，可以在坏块数量累积到一定程度后再将该磁盘设置为待踢盘的磁盘。而元数据调用错误是属于比较严重的错误，因此在出现元数据调用错误的情况下，则目标磁盘设置为待踢盘的磁盘，即在本申请实施例中针对不同的错误情况给出了合适的设置待踢盘的磁盘的时机，避免了误操作也同时兼顾了磁盘需要维修处理的情况。
在本申请实施例的另一个可选实施方式中，对于上述步骤106中涉及到的对待踢盘的磁盘进行踢盘处理的方式，进一步可以包括：
步骤11，确定上一踢盘处理操作的时刻；
步骤12，在与上一踢盘处理操作的时刻间隔预设时长之后，对待踢盘的磁盘设置为不可用。
通过上述步骤11和步骤12可知，此次踢盘处理操作与上一次踢盘处理操作之间相隔预设时长，也就是说，在本申请实施例中限制了踢盘的速度，即并不是设置为待踢盘的磁盘后就立即将该磁盘设置为不可用；通过限制踢盘的速度，可以进一步保证集群有一定的恢复能力。
在本申请实施例的可选实施方式中，在基于错误信息将目标磁盘设置为待踢盘的磁盘之后，如图2所示，本申请实施例的方法步骤还可以包括：
步骤202，获取集群中与磁盘对应的磁盘信息；其中，磁盘信息用于指示磁盘信息对应的磁盘的类型以及存储于磁盘的副本数据量；
步骤204，对集群中的所有磁盘的磁盘信息进行总计，得到与每种磁盘类型对应的数据量；
步骤206，基于与每种磁盘类型对应的副本数据量以及集群中预设存储数据量确定集群中的所有副本是否安全。
通过上述步骤202至步骤206可知，在进行踢盘前需要确定集群中的所有副本是否安全，即要在安全的状态下进行踢盘处理，以保证数据安全的前提下进行踢盘，。
进一步地，上述步骤202中涉及到的获取集群中与磁盘对应的磁盘信息的方式，进一步可以包括：
步骤21，确定多个子线程中的每个子线程与集群中的磁盘之间的对应关系，其中，集群中包括多个磁盘，每个子线程对应至少一个磁盘；
步骤22，按照对应关系，通过并发执行多个子线程，获取与每个磁盘对应的磁盘信息。
通过上述步骤21和步骤22，在确定出子线程与磁盘之间的对应关系之后，即可按照该对应关系，并发执行所有子线程，并通过每个子线程对其所对应的磁盘进行处理，获取磁盘的磁盘信息。由于磁盘信息可以是能够指示磁盘信息对应的磁盘的类型以及数据量的信息，在具体示例中如：磁盘的类型可以是三副本或纠删副本，数据量可以是1MB或2MB等等。
例如，当存在子线程I、II、III时，并且子线程I对应有磁盘0-9999，子线程II对应有磁盘10000-19999，子线程III对应有磁盘20000-29999时，则同时执行以下操作：通过子线程I依次对磁盘0-9999进行处理，以得到磁盘0-9999中的每个磁盘的磁盘信息；通过子线程II对应有磁盘10000-19999进行处理，以得到磁盘10000-19999中的每个磁盘的磁盘信息；通过子线程III对应有磁盘20000-29999进行处理，以得到磁盘20000-29999中的每个磁盘的磁盘信息。
进一步地，上述步骤206中涉及到的基于与每种磁盘类型对应的副本数据量以及集群中预设存储数据量确定集群中的所有副本是否安全的方式，进一步可以包括：
步骤31，在与每种磁盘类型对应的副本数据量为预设存储数据量的三倍的情况下，确定集群中的所有副本安全；
步骤32，在与每种磁盘类型对应的副本数据量小于预设存储数据量的三倍的情况下，确定集群中存在数据损坏的副本。
通过上述步骤31和步骤32可知，在得到每种磁盘类型对应的数据量之后，即可基于集群中预设存储数据量，得到判断信息。预设存储数据量可以是进行存储的原始数据的数据量。也就是说，在获取与每种磁盘类型对应的数据量以及集群中预设存储数据量之后，以判断集群中的所有副本是否安全。
例如，当采用三副本对原始数据进行存储，则三副本类型对应的数据量的总和(即，三副本类型的子数据总量)应为预设存储数据量的3倍，因此，在三副本类型的子数据总量为预设存储数据量的3倍的情况下，则表明集群中所有副本安全可靠，并且不存在数据副本缺失的情况；在三副本类型的子数据总量小于预设存储数据量的3倍的情况下，则表明集群中存在数据副本缺失或损坏的情况。
在本申请实施例的另一个可选实施方式中，本申请实施例的方法还可以包括：
步骤108，确定目标磁盘中出现数据损坏的副本，将副本添加到队列中；
步骤110，依据副本添加到队列的顺序对队列中的副本依次进行删除，其中，队列中的副本数量小于第二预设阈值。
需要说明的是，该出现数据损坏的副本可能发生在不同的系统流程中，例如数据读写删过程、ec(做纠删码)过程、compaction过程(垃圾回收)、恢复流程、fsck(检查集群健康状态)过程等，即副本由于硬件错误等造成数据损坏，也就是说，由于磁盘硬件错误或者出现内存静默错误导致出现数据损坏的副本，换言之写下去的数据读上来发生不一致。另外，通过副本添加到队列的顺序对队列中的副本依次自动进行删除可以避免同时对多个副本进行删除，无需人为操作，可以快速发现坏副本以进行处理，保证了集群数据处理更加快速安全。
对应于上述图1中的集群中磁盘的踢盘处理方法，本申请实施例还提供了一种集群中磁盘的踢盘处理装置，如图3所示，该装置包括：
记录模块32，用于记录集群返回的与集群中目标磁盘对应的错误信息，其中，错误信息包括用于表征磁盘中数据读写错误的信息和用于表征磁盘中元数据调用错误的信息；
设置模块34，用于基于错误信息将目标磁盘设置为待踢盘的磁盘；
踢盘模块36，用于在集群中的所有副本安全的情况下，对待踢盘的磁盘进行踢盘处理。
通过本申请实施例的装置，可以通过记录集群中目标磁盘对应的错误信息，将该目标磁盘设置为待踢盘的磁盘，并在待踢盘的磁盘中的数据安全的情况下，对待踢盘的磁盘进行踢盘处理，实现了根据集群中返回的错误信息，在集群中的所有副本安全的条件下进行自动踢盘，使得数据的处理相比如基于外围脚本进行处理更加安全可靠，解决了现有技术中针对集群中出现的坏盘通过外围脚本处理，数据处理可靠性较低的问题。
可选地，本申请实施例中设置模块进一步可以包括以下至少一项：第一设置单元，用于在错误信息指示目标磁盘中的出现读写错误的坏块数量超过第一预设阈值的情况下，将目标磁盘设置为待踢盘的磁盘；第二设置单元，用于在错误信息指示目标磁盘中出现元数据调用错误的情况下，将目标磁盘设置为待踢盘的磁盘。
通过上述第一设置单元和第二设置单元，在本申请实施例中可以通过坏块数量和元数据调用错误两种方式来确定是否将目标磁盘设置为待踢盘的磁盘，而在坏块数量超过第一预设阈值的情况下，将目标磁盘设置为待踢盘的磁盘则可以避免一出现坏块就将磁盘设置为待踢盘的磁盘，可以在坏块数量累积到一定程度后再将该磁盘设置为待踢盘的磁盘。而元数据调用错误是属于比较严重的错误，因此在出现元数据调用错误的情况下，则目标磁盘设置为待踢盘的磁盘，即在本申请实施例中针对不同的错误情况给出了合适的设置待踢盘的磁盘的时机，避免了误操作也同时兼顾了磁盘需要维修处理的情况。
可选地，本申请实施例中的踢盘模块36进一步可以包括：确定单元，用于确定上一踢盘处理操作的时刻；第三设置单元，用于在与上一踢盘处理操作的时刻间隔预设时长之后，将待踢盘的磁盘设置为不可用。
可见，在本申请实施例中，此次踢盘处理操作与上一次踢盘处理操作之间相隔预设时长，也就是说，在本申请实施例中限制了踢盘的速度，即并不是设置为待踢盘的磁盘后就立即将该磁盘设置为不可用；通过限制踢盘的速度，可以进一步保证集群有一定的恢复能力。
在图3的基础上，如图4所示本申请实施例的装置还包括：
获取模块42，用于获取集群中与磁盘对应的磁盘信息；其中，磁盘信息用于指示磁盘信息对应的磁盘的类型以及存储于磁盘的副本数据量；
第一处理模块44，用于对集群中的所有磁盘的磁盘信息进行总计，得到与每种磁盘类型对应的数据量；
确定模块46，用于基于与每种磁盘类型对应的副本数据量以及集群中预设存储数据量确定集群中的所有副本是否安全。
可选地，本申请实施例中的获取模块42进一步包括：第一确定单元，用于确定多个子线程中的每个子线程与集群中的磁盘之间的对应关系，其中，集群中包括多个磁盘，每个子线程对应至少一个磁盘；获取单元，用于按照对应关系，通过并发执行多个子线程，获取与每个磁盘对应的磁盘信息。
可选地，本申请实施例中的确定模块46进一步可以包括：第二确定单元，用于在与每种磁盘类型对应的副本数据量为预设存储数据量的三倍的情况下，确定集群中的所有副本安全；第三确定单元，用于在与每种磁盘类型对应的副本数据量小于预设存储数据量的三倍的情况下，确定集群中存在数据损坏的副本。
本申请实施例中的装置还可以包括：第二处理模块，用于在确定目标磁盘中出现数据损坏的副本的情况下，用于将出现数据损坏的副本添加到队列中；删除模块，用于依据副本添加到队列的顺序对队列中的副本依次进行删除，其中，队列中的副本数量小于第二预设阈值。
需要说明的是，该出现数据损坏的副本可能发生在不同的系统流程中，例如数据读写删过程、ec(做纠删码)过程、compaction过程(垃圾回收)、恢复流程、fsck(检查集群健康状态)过程等，即副本由于硬件错误等造成数据损坏，也就是说，由于磁盘硬件错误或者出现内存静默错误导致出现数据损坏的副本，换言之写下去的数据读上来发生不一致。另外，通过副本添加到队列的顺序对队列中的副本依次自动进行删除可以避免同时对多个副本进行删除，无需人为操作，可以快速发现坏副本以进行处理，保证了集群数据处理更加快速安全。
如图5所示，本申请实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序；
在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的集群中磁盘的踢盘处理方法，其作用也是类似的，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的集群中磁盘的踢盘处理方法的步骤。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种集群中磁盘的踢盘处理方法，其特征在于，包括：
记录集群返回的与所述集群中目标磁盘对应的错误信息，其中，所述错误信息包括用于表征磁盘中数据读写错误的信息和用于表征磁盘中元数据调用错误的信息；
基于所述错误信息将所述目标磁盘设置为待踢盘的磁盘；
在所述集群中的所有副本安全的情况下，对所述待踢盘的磁盘进行踢盘处理。
2.根据权利要求1所述的方法，其特征在于，所述基于所述错误信息将所述目标磁盘设置为待踢盘的磁盘，包括以下至少一项：
在所述错误信息指示所述目标磁盘中的出现读写错误的坏块数量超过第一预设阈值的情况下，将所述目标磁盘设置为所述待踢盘的磁盘；
在所述错误信息指示所述目标磁盘中出现元数据调用错误的情况下，将所述目标磁盘设置为所述待踢盘的磁盘。
3.根据权利要求1所述的方法，其特征在于，所述对所述待踢盘的磁盘进行踢盘处理，包括：
确定上一踢盘处理操作的时刻；
在与上一踢盘处理操作的时刻间隔预设时长之后，将所述待踢盘的磁盘设置为不可用。
4.根据权利要求1所述的方法，其特征在于，在所述基于所述错误信息将所述目标磁盘设置为待踢盘的磁盘之后，所述方法还包括：
获取所述集群中与磁盘对应的磁盘信息；其中，所述磁盘信息用于指示所述磁盘信息对应的所述磁盘的类型以及存储于磁盘的副本数据量；
对所述集群中的所有磁盘的所述磁盘信息进行总计，得到与每种磁盘类型对应的数据量；
基于与每种磁盘类型对应的副本数据量以及所述集群中预设存储数据量确定所述集群中的所有副本是否安全。
5.根据权利要求4所述的方法，其特征在于，所述获取所述集群中与磁盘对应的磁盘信息，包括：
确定多个子线程中的每个所述子线程与集群中的磁盘之间的对应关系，其中，集群中包括多个所述磁盘，每个所述子线程对应至少一个所述磁盘；
按照所述对应关系，通过并发执行所述多个子线程，获取与每个所述磁盘对应的磁盘信息。
6.根据权利要求4所述的方法，其特征在于，所述基于与每种磁盘类型对应的副本数据量以及所述集群中预设存储数据量确定所述集群中的所有副本是否安全，包括：
在与每种磁盘类型对应的副本数据量为所述预设存储数据量的三倍的情况下，确定所述集群中的所有副本安全；
在与每种磁盘类型对应的副本数据量小于所述预设存储数据量的三倍的情况下，确定所述集群中存在数据损坏的副本。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在确定所述目标磁盘中出现数据损坏的副本的情况下，将所述出现数据损坏的副本添加到队列中；
依据副本添加到队列的顺序对所述队列中的副本依次进行删除，其中，所述队列中的副本数量小于第二预设阈值。
8.一种集群中磁盘的踢盘处理装置，其特征在于，包括：
记录模块，用于记录集群返回的与所述集群中目标磁盘对应的错误信息，其中，所述错误信息包括用于表征磁盘中数据读写错误的信息和用于表征磁盘中元数据调用错误的信息；
设置模块，用于基于所述错误信息将所述目标磁盘设置为待踢盘的磁盘；
踢盘模块，用于在集群中的所有副本安全的情况下，对所述待踢盘的磁盘进行踢盘处理。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法步骤。
CN202210771764.5A 2022-06-30 2022-06-30 集群中磁盘的踢盘处理方法、装置及存储介质 Pending CN115098032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210771764.5A CN115098032A (zh) 2022-06-30 2022-06-30 集群中磁盘的踢盘处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210771764.5A CN115098032A (zh) 2022-06-30 2022-06-30 集群中磁盘的踢盘处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115098032A true CN115098032A (zh) 2022-09-23

Family

ID=83294481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210771764.5A Pending CN115098032A (zh) 2022-06-30 2022-06-30 集群中磁盘的踢盘处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115098032A (zh)

Similar Documents

Publication Publication Date Title
US20220413706A1 (en) Data Storage Method, Apparatus and Storage System
CN113360462B (zh) 一种文件处理方法、装置、设备及可读存储介质
CN109656895A (zh) 分布式存储系统、数据写入方法、装置和存储介质
CN114443332A (zh) 一种存储池的检测方法、装置、电子设备及存储介质
CN111008107A (zh) 一种大数据集群日志存储方法、装置、设备及存储介质
CN115098032A (zh) 集群中磁盘的踢盘处理方法、装置及存储介质
CN112073219B (zh) 日志收集系统及方法、设备、存储介质
CN111552618B (zh) 一种收集日志的方法及设备
CN111045858A (zh) 一种坏道处理方法及系统
CN112269530A (zh) 一种数据存储管理方法及相关装置
CN111586129A (zh) 针对数据同步的报警方法、装置、电子设备及存储介质
CN113485872A (zh) 故障处理方法、装置及分布式存储系统
CN115470040A (zh) 基于快照的重删指纹阈值的测试方法、装置、设备、介质
CN111338842A (zh) 文件备份方法及装置
CN115793963A (zh) 一种硬盘故障处理方法、装置、设备及存储介质
CN115421960A (zh) 一种ue内存故障恢复方法、装置、电子设备及介质
CN113127245B (zh) 一种系统管理中断的处理方法、系统及装置
CN115408342A (zh) 文件处理方法、装置及电子设备
CN114490802A (zh) 一种时序数据管理方法、装置、设备及可读存储介质
CN112052468A (zh) 一种用于信息保护的快速数据删除方法
CN115237669A (zh) 一种数据备份方法、数据恢复方法、装置及电子设备
CN111966845A (zh) 图片管理方法、装置、存储节点及存储介质
CN112416868A (zh) 数据清理方法、设备和存储介质
CN111625506A (zh) 一种基于删除队列的分布式数据删除方法、装置及设备
CN107135265B (zh) 基于云海os系统的二级存储缓冲区数据管理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination