CN109947365A - 一种分布式存储数据校验方法及装置 - Google Patents
一种分布式存储数据校验方法及装置 Download PDFInfo
- Publication number
- CN109947365A CN109947365A CN201910161178.7A CN201910161178A CN109947365A CN 109947365 A CN109947365 A CN 109947365A CN 201910161178 A CN201910161178 A CN 201910161178A CN 109947365 A CN109947365 A CN 109947365A
- Authority
- CN
- China
- Prior art keywords
- read
- write
- data
- check data
- utilization rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013524 data verification Methods 0.000 title claims abstract description 44
- 230000009467 reduction Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000012795 verification Methods 0.000 abstract description 34
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及计算机技术领域,尤其涉及一种分布式存储数据校验方法及装置,通过对分布式存储系统中磁盘的读写使用率进行监测,将读写使用率与预设的读写阈值进行比较,以及根据比较结果动态调整校验数据的读写量,实现在确保业务数据正常读写的基础上,充分利用存储磁盘的读写性能,提升校验数据的校验效率。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种分布式存储数据校验方法及装置。
背景技术
现有的分布式存储系统中,通常采用多副本来保证数据的安全性,对一份数据,通常会设置2份或者3份副本,当一份数据丢失以后,可以采用其他副本进行恢复。为了保证副本的正确性,需要定期对副本进行全方位扫描比对,来校验副本的正确性,但是这却是一个非常耗时的操作,同时也会影响业务的性能。
现有技术为解决分布式存储数据校验的问题,通常做法有两种:空闲时间校验法和降低速率校验法。
(1)空闲时间校验法
为了降低校验数据IO(Input/Output,输入/输出)对业务IO的影响,通常可以采用在云存储压力小时进行数据校验,如凌晨1:00-3:00。因为一般分布式存储集群在夜里压力会比较低,在夜里进行操作,对业务影响比较少;但是,由于数据校验能够开启的时间比较短,因此大部分时间不能进行数据校验。当集群数据量大时,全集群扫描时间非常长,加大了分布式存储数据不一致的风险。同时开启和关闭需要大量的运维操作,增加了运维成本。
(2)降低速率校验法
为了克服空闲时间校验方法的校验时间短的缺点,将分布式存储的校验在每天24小时都开启,同时为了降低对业务IO的影响,在开启数据校验的时候,数据校验IO以较小的速率进行,这样既能保证数据校验IO的进行,又不会过分影响业务IO的性能。此方法简单易操作,既能保证数据校验IO的进行,又不会过分影响业务IO的性能;但数据校验的IO速率很难确定,太快会影响业务IO,太慢又不利于整个数据校验的进行。
发明内容
针对现有技术的上述问题,本发明的目的在于提供一种分布式存储数据校验方法及装置,能够提高数据校验的效率,同时降低对分布式存储业务性能的影响。
一方面,本发明提供一种分布式存储数据校验方法,包括:
根据存储磁盘中业务数据和校验数据的读写量确定所述存储磁盘的读写使用率;
将所述读写使用率与读写阈值进行比较,所述读写阈值表征所述存储磁盘的读写性能;
根据所述读写使用率与所述读写阈值的比较结果,对所述校验数据的读写量进行调整。
另一方面,本发明还提供一种分布式存储数据校验装置,包括:
确定单元,用于根据存储磁盘中业务数据和校验数据的读写量确定所述存储磁盘的读写使用率;
比较单元,用于将所述读写使用率与读写阈值进行比较,所述读写阈值表征所述存储磁盘的读写性能;
执行单元,用于根据所述读写使用率与所述读写阈值的比较结果,对所述校验数据的读写量进行调整。
由于上述技术方案,本发明具有如下有益效果:
本发明提供一种基于反馈的数据校验方案,通过对分布式存储系统中磁盘的读写使用率进行监测,将读写使用率与预设的读写阈值进行比较,以及根据比较结果动态调整校验数据的读写量,实现在确保业务数据正常读写的基础上,充分利用存储磁盘的读写性能,提升校验数据的校验效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是实现分布式存储的系统环境示意图;
图2是图1中物理存储环境的示意图;
图3是本发明实施例提供的分布式存储数据校验方法的流程示意图;
图4是本发明实施例提供的调整校验数据读写量的流程示意图;
图5是本发明实施例提供的提高校验数据读写量的一种示例图;
图6是本发明实施例提供的降低校验数据读写量的一种示例图;
图7是本发明实施例提供的分布式存储数据校验装置的结构示意图;
图8是本发明实施例提供的一种服务器的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
现有技术中,解决分布式存储数据校验问题的方法主要是空闲时间校验法和降低速率校验法。空闲时间校验法需在设备运行空闲阶段才能进行数据校验,导致校验时间短,设备压力大,校验效率和准确率都不能确保。降低速率校验法将数据校验与业务数据执行同时进行,由于要优先保证业务数据执行,因此数据校验的速率无法确定。基于现有技术的不足,本申请提出一种解决方案,依据存储磁盘的读写使用率来动态调整校验数据的读写量,在读写使用率较低时,调高校验数据的读写量,提高数据校验的效率,在读写使用率较高时,降低校验数据的读写量,确保业务数据的正常读写。
基于上述思路,本发明提出一种分布式存储数据校验方案,基于存储磁盘的读写使用率来动态调整校验数据的读写量,充分利用分布式存储系统的数据处理能力,提高数据校验的效率和准确度。下面结合附图对本发明实施例中的技术方案进行清楚、完整的描述。
图1为实现分布式存储的系统环境示意图。如图1所示,包括客户端100、存储资源管理服务200(以下也称为ChunkMaster)、若干存储服务节点300(以下也称为ChunkNode)以及物理存储环境400。其中,客户端100与存储资源管理服务200通信,根据需要向存储资源管理服务200发出相应的任务指令。一个存储资源管理服务200同时管理多个存储服务节点300,可实时获取到各个存储服务节点300的状态信息,以及对存储服务节点300的存储资源进行分配;每个存储服务节点300可对应物理存储环境400中多个具体磁盘。此外,存储资源管理服务200还负责向客户端100提供存储资源的分配信息。
进一步的,图2为图1中物理存储环境400示意图,例如高性能文件系统(HighPerformance File System,简称HPFS)提供的存储资源,包括若干个分离设置的机架(机架1、机架2…机架n);每个机架内设置有若干个磁盘Disk,例如图2所示的Disk1~Disk120;每个磁盘被划分为若干个大小相同的存储块,例如每个磁盘均被划分为120个特定类型的存储块Chunk。基于此存储资源,以下实施例将以Chunk为例进行说明。
Chunk是整个文件系统的基本存储空间分配单元,多个位于不同机器上不同磁盘的Chunk构成了整个文件系统可用的存储空间。而Chunk之间可以互相配对,形成应用态的Raid1(一种磁盘阵列)存储。一个用户角度的文件被划分为多个数据片,一般定长划分,这些数据片可存储在不同的Chunk上。各Chunk可由一个Chunk inode(即Chunk的索引节点)来描述,Chunkinode中有一个offset(偏移量)变量表明其data section(数据域)的已使用区间位置;而数据片的inode(即数据片的索引节点)主要是保存了一个offset和length(数据片长度),分别表示该数据片在Chunk里的偏移量和数据片长度,这样有利于保证访问效率。其中,在Chunk中的数据片删除时,Chunk可能不会立即回收对应的存储空间,只在Chunkinode中记录相关信息;如果删除很频繁,导致每个Chunk已使用区间会有很多空洞而不能重复利用,可通过对Chunk重新进行初始化来解决该问题。由于Chunk里面的数据片的inode并不是代表真正的文件,因此在这样的分布式文件系统中还需要有一索引层,该索引层可由Chunkmaster进行管理。读取文件时,通过该索引层可找出数据片所在的Chunk,访问这些Chunk可读取对应的数据。
显然,上述系统架构仅是一种可选示例,服务器在系统中的位置和连接并不限于上述示例,可以根据具体的系统情况和要求而调整。
结合图1、图2所示的环境示意图,以下对分布式存储数据校验方法及分布式存储数据校验装置的各实施例分别进行说明。
图3是本发明实施例提供的分布式存储数据校验方法的流程示意图,该流程可以由存储资源管理服务200执行实现,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。请参见图3,该分布式存储数据校验方法包括:
步骤S301、根据存储磁盘中业务数据和校验数据的读写量确定所述存储磁盘的读写使用率。
分布式存储是一种采用多副本技术的存储系统,将不同副本分布在不同的计算机上,通过多个副本冗余来保证数据的一致性。副本是原始数据的拷贝,通常是为了数据安全设置的,当原始数据丢失以后,可以采用副本进行恢复。分布式存储中,为确保数据的安全性,对一份数据,通常会设置多份副本,当一份数据丢失以后,可以采用其他副本进行恢复。为了保证副本的正确性,需要定期对副本进行全方位扫描比对,来校验副本的正确性,但是这却是一个非常耗时的操作,同时也会影响业务的性能。
分布式存储系统中除了正常的业务数据读写以外,还需要对副本进行校验,即存储磁盘的使用率主要由业务数据和校验数据共同决定,二者存在此消彼长的关系,存储磁盘的读写使用率可以根据存储磁盘中业务数据和校验数据的读写量来确定。
本实施例实质是一种FDS(Feedback-based Deep Scrup)方法,其通过对磁盘IO(Input/Output)使用率的监测,来动态对数据校验IO进行调整,以达到在对业务IO影响最小的情况小,提高数据校验的速率,提升集群数据的安全性。具体地,存储磁盘IO使用率(即存储磁盘的读写使用率)可以通过IOStat工具进行采集,或者其他类似工具。
步骤S303、将所述读写使用率与预设的读写阈值进行比较,所述读写阈值表征所述存储磁盘的读写性能。
通常引起磁盘IO升高的因素较多,比如高并发或大字段写入、硬盘老化有坏块、Raid卡电池损坏或充放电、硬件自检等都会引起IO升高。本实施例方案主要针对高并发或大字段写入任务造成磁盘IO升高的而言。存储磁盘同时处理业务数据和校验数据,当校验数据不改变时,如果业务数据增加会引起存储磁盘的读写使用率升高,当存储磁盘的读写使用率升高至一定数值时,整个系统的数据处理能力开始下降,数据处理成功率降低,因此,设定一读写阈值用来表征存储磁盘的较佳读写性能,通过调节校验数据的读写量确保存储磁盘的读写使用率保持在读写阈值内,确保存储磁盘以较佳状态运行,既能实现业务数据顺利读写,又能提高数据校验的效率。
在一个可能的实施方式中,所述读写阈值包括上限阈值和下限阈值,所述上限阈值不小于所述下限阈值,所述上限阈值和下限阈值用于表征所述存储磁盘的读写性能,当读写使用率处于所述上限阈值与下限阈值之间时,分布式存储系统运行在较佳状态,其数据处理效率和正确率高。其中,上限阈值和下限阈值可以根据分布式存储系统的运行状态确定,例如,所述上限阈值可以为80%,所述下限阈值可以为70%。
步骤S305、根据所述读写使用率与所述读写阈值的比较结果,对所述校验数据的读写量进行调整。
所述读写使用率与所述读写阈值之间的比较结果包含:1.读写使用率高于上限阈值,表明存储磁盘运行在高负荷状态下;2.读写使用率低于下限阈值,表明存储磁盘没有得到充分利用;3.读写使用率处于上限阈值和下限阈值之间,表明存储磁盘运行在交佳状态。为了充分利用存储磁盘资源,可以根据所述读写使用率与所述读写阈值的比较结果,对所述校验数据的读写量进行调整,当读写使用率低于下限阈值时,可以提高所述校验数据的读写量;当读写使用率高于上限阈值时,可以降低所述校验数据的读写量。
图4是本发明实施例提供的调整校验数据读写量的流程示意图。请参见图4,在步骤S401确定存储磁盘的读写使用率之后,进入步骤S403:判断所述读写使用率是否小于下限阈值,如果读写使用率小于所述下限阈值,则执行步骤S409,提高所述校验数据的读写量,并返回步骤S403;如果读写使用率不小于下限阈值,则执行步骤S405:判断读写使用率是否大于上限阈值,如果读写使用率大于上限阈值,则执行步骤S407,降低所述校验数据的读写量,并返回执行步骤S403,如果读写使用率不大于上限阈值,则执行步骤S409,并返回执行步骤S403。由附图4可见,通过对校验数据的读写量进行动态调整,可以使存储磁盘的读写使用率始终处于上限阈值与下限阈值之间,而且,通过循环判断及调整,还使存储磁盘的读写使用率接近或达到上限阈值,实现最大化的利用存储磁盘进行数据校验。
在一个可能的实施方式中,所述提高所述校验数据的读写量包括:采用线性增加的方式提高所述校验数据的读写量,直至所述读写使用率达到所述上限阈值。其中,所述采用线性增加的方式提高所述校验数据的读写量包括:在上一单位时间的校验数据的读写量的基础上增加预设数量的校验数据的读写量,得到当前单位时间的校验数据的读写量。所述降低所述校验数据的读写量包括:采用指数下降的方式降低所述校验数据的读写量。其中,所述采用指数下降的方式降低所述校验数据的读写量包括:将当前单位时间的校验数据的读写量降低为上一个单位时间的校验数据的读写量的一半。
图5是本发明实施例提供的提高校验数据读写量的一种示例图,图6是本发明实施例提供的降低校验数据读写量的一种示例图。图中,上限阈值为80%,下限阈值为70%。图5中业务数据占用存储磁盘的读写使用率为20%并一直维持不变,在第1时刻至第n时刻内,存储磁盘的使用率一直小于下限阈值,存储磁盘未得到充分利用,采用线性增加的方法,每个单位时间增加K个IO,表示为:N(T+1)=N(T)+K,N(T)表示时刻T的校验数据的读写量,由附图5可见,在业务数据读写量未明显增加时,校验数据的读写量逐步增加,直至使存储磁盘的使用率达到下限阈值,从而充分利用存储磁盘资源,提高数据校验的效率。图6中,在第1时刻至第n时刻内,业务数据占用存储磁盘的读写使用率逐渐升高,并在第n个时刻超过了上限阈值80%,校验数据的动态调整过程为:当业务数据的读写量增加导致校验数据和业务数据占存储磁盘的读写使用率高于上限阈值时,削减校验数据的读写量,具体可以采用指数下降的方法,单位时间的数据校验IO降低为原来的1/2,表示为:N(T+1)=N(T)/2,N(T)表示时刻T的校验数据的读写量,由附图6可见,随着业务数据读写量的增加,校验数据的读写量逐渐减少甚至降低为零,从而优先保障业务数据的处理。
本实施例通过对分布式存储系统中磁盘的读写使用率进行监测,将读写使用率与预设的读写阈值进行比较,以及根据比较结果动态调整校验数据的读写量,实现在确保业务数据正常读写的基础上,充分利用存储磁盘的读写性能,提升校验数据的校验效率。
本发明实施例还提供了一种分布式存储数据校验装置,如图7所示,分布式存储数据校验装置700包括确定单元710、比较单元720和执行单元730。其中,
确定单元710,用于根据存储磁盘中业务数据和校验数据的读写量确定所述存储磁盘的读写使用率;
比较单元720,用于将所述读写使用率与预设的读写阈值进行比较,所述读写阈值表征所述存储磁盘的读写性能;
执行单元730,用于根据所述读写使用率与所述读写阈值的比较结果,对所述校验数据的读写量进行调整。
其中,所述读写阈值包括上限阈值和下限阈值。
所述执行单元730包括第一执行模块731和第二执行模块732。所述第一执行模块731,用于在所述读写使用率小于所述下限阈值时,提高所述校验数据的读写量量;所述第二执行模块732,用于在所述读写使用率大于所述上限阈值时,降低所述校验数据的读写量。
进一步的,所述第一执行模块731还用于:采用线性增加的方式提高所述校验数据的读写量,直至所述读写使用率达到所述上限阈值。具体的,所述采用线性增加的方式提高所述校验数据的读写量包括:在上一单位时间的校验数据的读写量的基础上增加预设数量的校验数据的读写量,得到当前单位时间的校验数据的读写量。
所述第二执行模块732还用于:采用指数下降的方式降低所述校验数据的读写量。具体的,所述采用指数下降的方式降低所述校验数据的读写量包括:将当前单位时间的校验数据的读写量降低为上一个单位时间的校验数据的读写量的一半。
所述的分布式存储数据校验装置与方法实施例基于同样地发明构思。
本发明实施例提供了一种基于反馈的数据校验方案,通过对分布式存储系统中磁盘的读写使用率进行监测,将读写使用率与预设的读写阈值进行比较,以及根据比较结果动态调整校验数据的读写量,实现了在确保业务数据正常读写的基础上,充分利用存储磁盘的读写性能,提升校验数据的校验效率。将本实施例提供的分布式存储数据校验方案应用于腾讯云TStack(Tencent Cloud TStack)中,大幅提高了分布式存储业务IO的服务质量,同时也保证了全集群数据校验的速度,再从使用了该方案后,全集群数据校验从以往的6个月缩短至1个月,大幅降低了全集群数据扫描校验的时间。
本发明实施例提供了一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方法实施例所述的分布式存储数据校验方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本发明实施例还提供了一种服务器的结构示意图,请参阅图8,该服务器800用于实施上述实施例中提供的分布式存储数据校验方法,具体来讲,所述服务器结构可以包括上述分布式存储数据校验装置。该服务器800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)810(例如,一个或一个以上处理器)和存储器830,一个或一个以上存储应用程序823或数据822的存储介质820(例如一个或一个以上海量存储设备)。其中,存储器830和存储介质820可以是短暂存储或持久存储。存储在存储介质820的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器810可以设置为与存储介质820通信,在服务器800上执行存储介质820中的一系列指令操作。服务器800还可以包括一个或一个以上电源860,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口840,和/或,一个或一个以上操作系统821,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
本发明的实施例还提供了一种存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种分布式存储数据校验方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的分布式存储数据校验方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本发明提供的分布式存储数据校验方法、装置、服务器的实施例可见,通过对分布式存储系统中磁盘的读写使用率进行监测,将读写使用率与预设的读写阈值进行比较,以及根据比较结果动态调整校验数据的读写量,实现在确保业务数据正常读写的基础上,充分利用存储磁盘的读写性能,提升了校验数据的校验效率。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种分布式存储数据校验方法,其特征在于,包括:
根据存储磁盘中业务数据和校验数据的读写量确定所述存储磁盘的读写使用率;
将所述读写使用率与预设的读写阈值进行比较,所述读写阈值表征所述存储磁盘的读写性能;
根据所述读写使用率与所述读写阈值的比较结果,对所述校验数据的读写量进行调整。
2.根据权利要求1所述的方法,其特征在于,所述读写阈值包括上限阈值和下限阈值;
所述根据所述读写使用率与所述读写阈值的比较结果,对所述校验数据的读写量进行调整包括:
当所述读写使用率小于所述下限阈值时,提高所述校验数据的读写量;
当所述读写使用率大于所述上限阈值时,降低所述校验数据的读写量。
3.根据权利要求2所述的方法,其特征在于,所述提高所述校验数据的读写量包括:采用线性增加的方式提高所述校验数据的读写量,直至所述读写使用率达到所述上限阈值。
4.根据权利要求3所述的方法,其特征在于,所述采用线性增加的方式提高所述校验数据的读写量包括:在上一单位时间的校验数据的读写量的基础上增加预设数量的校验数据的读写量,得到当前单位时间的校验数据的读写量。
5.根据权利要求2所述的方法,其特征在于,所述降低所述校验数据的读写量包括:采用指数下降的方式降低所述校验数据的读写量。
6.根据权利要求5所述的方法,其特征在于,所述采用指数下降的方式降低所述校验数据的读写量包括:将当前单位时间的校验数据的读写量降低为上一个单位时间的校验数据的读写量的一半。
7.一种分布式存储数据校验装置,其特征在于,包括:
确定单元,用于根据存储磁盘中业务数据和校验数据的读写量确定所述存储磁盘的读写使用率;
比较单元,用于将所述读写使用率与预设的读写阈值进行比较,所述读写阈值表征所述存储磁盘的读写性能;
执行单元,用于根据所述读写使用率与所述读写阈值的比较结果,对所述校验数据的读写量进行调整。
8.根据权利要求7所述的装置,其特征在于,所述读写阈值包括上限阈值和下限阈值;
所述执行单元包括:
第一执行模块,用于在所述读写使用率小于所述下限阈值时,提高所述校验数据的读写量量;
第二执行模块,用于在所述读写使用率大于所述上限阈值时,降低所述校验数据的读写量。
9.根据权利要求8所述的装置,其特征在于,所述第一执行模块还用于:采用线性增加的方式提高所述校验数据的读写量,直至所述读写使用率达到所述上限阈值。
10.根据权利要求8所述的装置,其特征在于,所述第二执行模块还用于:采用指数下降的方式降低所述校验数据的读写量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910161178.7A CN109947365B (zh) | 2019-03-04 | 2019-03-04 | 一种分布式存储数据校验方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910161178.7A CN109947365B (zh) | 2019-03-04 | 2019-03-04 | 一种分布式存储数据校验方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109947365A true CN109947365A (zh) | 2019-06-28 |
CN109947365B CN109947365B (zh) | 2021-08-17 |
Family
ID=67008287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910161178.7A Active CN109947365B (zh) | 2019-03-04 | 2019-03-04 | 一种分布式存储数据校验方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109947365B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111142790A (zh) * | 2019-12-10 | 2020-05-12 | 北京金山云网络技术有限公司 | 对磁盘写请求的控制方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7058760B2 (en) * | 2000-01-28 | 2006-06-06 | Fujitsu Limited | Read/write disk drive having read ahead processor which returns a write command, currently being executed, to command queue and executes read command in response to confirmation that there is no overlap |
CN101566924A (zh) * | 2008-04-23 | 2009-10-28 | 中兴通讯股份有限公司 | 一种磁盘阵列的数据读写方法 |
CN102647583A (zh) * | 2012-04-25 | 2012-08-22 | 北京瀚景锦河科技有限公司 | Sdi音视频数据的转发装置和转发方法 |
CN102811157A (zh) * | 2011-06-01 | 2012-12-05 | 阿尔卡特朗讯公司 | 流量控制方法和流量控制装置 |
CN102981927A (zh) * | 2011-09-06 | 2013-03-20 | 阿里巴巴集团控股有限公司 | 分布式独立冗余磁盘阵列存储方法及分布式集群存储系统 |
US20160293241A1 (en) * | 2015-04-01 | 2016-10-06 | International Business Machines Corporation | Nonvolatile memory interface for metadata shadowing |
-
2019
- 2019-03-04 CN CN201910161178.7A patent/CN109947365B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7058760B2 (en) * | 2000-01-28 | 2006-06-06 | Fujitsu Limited | Read/write disk drive having read ahead processor which returns a write command, currently being executed, to command queue and executes read command in response to confirmation that there is no overlap |
CN101566924A (zh) * | 2008-04-23 | 2009-10-28 | 中兴通讯股份有限公司 | 一种磁盘阵列的数据读写方法 |
CN102811157A (zh) * | 2011-06-01 | 2012-12-05 | 阿尔卡特朗讯公司 | 流量控制方法和流量控制装置 |
CN102981927A (zh) * | 2011-09-06 | 2013-03-20 | 阿里巴巴集团控股有限公司 | 分布式独立冗余磁盘阵列存储方法及分布式集群存储系统 |
CN102647583A (zh) * | 2012-04-25 | 2012-08-22 | 北京瀚景锦河科技有限公司 | Sdi音视频数据的转发装置和转发方法 |
US20160293241A1 (en) * | 2015-04-01 | 2016-10-06 | International Business Machines Corporation | Nonvolatile memory interface for metadata shadowing |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111142790A (zh) * | 2019-12-10 | 2020-05-12 | 北京金山云网络技术有限公司 | 对磁盘写请求的控制方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109947365B (zh) | 2021-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107807796B (zh) | 一种基于超融合存储系统的数据分层方法、终端及系统 | |
US10146469B2 (en) | Dynamic storage tiering based on predicted workloads | |
US8244671B2 (en) | Replica placement and repair strategies in multinode storage systems | |
US11514317B2 (en) | Machine learning based resource availability prediction | |
US8554918B1 (en) | Data migration with load balancing and optimization | |
US8484356B1 (en) | System and method for allocating a storage unit for backup in a storage system with load balancing | |
US9182923B2 (en) | Controlling throughput of processing units associated with different load types in storage system | |
US9984139B1 (en) | Publish session framework for datastore operation records | |
Douglis et al. | Content-aware load balancing for distributed backup | |
US20100217933A1 (en) | Allocation control program and allocation control device | |
EP4078380B1 (en) | Behavior-driven die management on solid-state drives | |
US12008266B2 (en) | Efficient read by reconstruction | |
CN103019890A (zh) | 一种块级别的磁盘数据保护系统及其方法 | |
CN111966449B (zh) | 一种虚拟机备份管理方法、系统、终端及存储介质 | |
CN114746843A (zh) | 针对已分化数据恢复配置的存储器健康跟踪 | |
WO2022164490A1 (en) | Optimizing storage device access based on latency | |
CN109947365B (zh) | 一种分布式存储数据校验方法及装置 | |
EP3264254B1 (en) | System and method for a simulation of a block storage system on an object storage system | |
CN117131014A (zh) | 数据库迁移方法、装置、设备及存储介质 | |
US20200356297A1 (en) | Method of storage control based on log data types | |
US10592297B2 (en) | Use minimal variance to distribute disk slices to avoid over-commitment | |
US11513712B2 (en) | Method for storage management, device and computer program product | |
CN111176568B (zh) | 一种数据分析的方法和装置 | |
CN112328539A (zh) | 一种基于大数据的数据迁移方法 | |
US20190339898A1 (en) | Method, system and computer program product for managing data storage in data storage systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |