CN107239544A - 一种分布式存储的实现方法及装置 - Google Patents

一种分布式存储的实现方法及装置 Download PDF

Info

Publication number
CN107239544A
CN107239544A CN201710413584.9A CN201710413584A CN107239544A CN 107239544 A CN107239544 A CN 107239544A CN 201710413584 A CN201710413584 A CN 201710413584A CN 107239544 A CN107239544 A CN 107239544A
Authority
CN
China
Prior art keywords
operation requests
priority
user
sla
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710413584.9A
Other languages
English (en)
Inventor
祝乃国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Cloud Service Information Technology Co Ltd
Original Assignee
Shandong Inspur Cloud Service Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Cloud Service Information Technology Co Ltd filed Critical Shandong Inspur Cloud Service Information Technology Co Ltd
Priority to CN201710413584.9A priority Critical patent/CN107239544A/zh
Publication of CN107239544A publication Critical patent/CN107239544A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/134Distributed indices

Abstract

本发明提供了一种分布式存储的实现方法及装置,该方法,包括:接收至少一个操作请求;针对每个所述操作请求,执行以下处理:根据当前操作请求,对所述当前操作请求对应的待处理文件的主本进行处理;对所述主本处理完成后,向所述当前操作请求对应的用户返回响应;根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理。本发明提供了一种分布式存储的实现方法及装置,能够缩短用户的等待时间。

Description

一种分布式存储的实现方法及装置
技术领域
本发明涉及存储技术领域,特别涉及一种分布式存储的实现方法及装置。
背景技术
分布式存储是相对集中存储(磁盘阵列)提出的概念,就是以大容量硬盘的服务器为存储介质,通过软件管理形成存储供用户使用。分布式存储可以提供各种访问协议,可以支持块和对象等存储模式。
现有技术的分布式存储中,当接收到对数据的读写等操作请求时,对需要处理的数据的主本和副本进行处理,当主本和副本都处理完成后,向发来操作请求的用户返回响应。
通过上述描述可见,用户需要在主本和副本都处理完成后,才能接收到响应,等待时间较长。
发明内容
本发明实施例提供了一种分布式存储的实现方法及装置,能够缩短用户的等待时间。
一方面,本发明实施例提供了一种分布式存储的实现方法,包括:
接收至少一个操作请求;
针对每个所述操作请求,执行以下处理:
根据当前操作请求,对所述当前操作请求对应的待处理文件的主本进行处理;
对所述主本处理完成后,向所述当前操作请求对应的用户返回响应;
根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理。
进一步地,
在所述接收至少一个操作请求之后,进一步包括:
确定所述至少一个操作请求的优先级;
根据所述至少一个操作请求的优先级,确定所述至少一个操作请求的处理顺序;
按照所述处理顺序,处理所述至少一个操作请求。
进一步地,
所述确定所述至少一个操作请求的优先级,包括:
根据每个所述操作请求对应的用户、应用、SLA(Service-LevelAgreement,服务等级协议)和待处理文件,确定所述至少一个操作请求的优先级。
进一步地,
该方法进一步包括:
预先设置每个用户的等级级别值,设置每个应用的重要程度值,设置每个SLA的危险性得分;
预先设置用户、应用、SLA和待处理文件的指标占比;
所述根据每个所述操作请求对应的用户、应用、SLA和待处理文件,确定所述至少一个操作请求的优先级,包括:
确定每个所述操作请求对应的待处理文件的热度值;
分别根据每个所述操作请求对应的用户、应用、SLA、待处理文件的热度值和公式一,计算出每个所述操作请求的优先级值,所述公式一为:
Y=H×h+A×a+S×s+W×w;
其中,Y为所述优先级值,H为用户的等级级别值,A为应用的重要程度值,S为SLA的危险性得分,W为待处理文件的热度值,h为用户的指标占比,a为应用的指标占比,s为SLA的指标占比,w为待处理文件的指标占比;
根据每个所述操作请求的优先级值,确定所述至少一个操作请求的优先级。
进一步地,
所述根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理,包括:
A1:针对所述当前操作请求,设置处理标志;
A2:判断所述当前操作请求的处理标志是否是未完成,如果是,则执行A3,否则,结束当前流程;
A3:判断处理所述当前操作请求的进程是否已退出,如果是,则发起同步进程,利用所述同步进程对所述主本对应的副本进行相应的处理,并在处理完成后,将所述处理标志修改为已完成,否则,利用所述当前操作请求的进程对所述主本对应的副本进行相应的处理,并在处理完成后,将所述处理标志修改为已完成。
另一方面,本发明实施例提供了一种分布式存储的实现装置,包括:
接收单元,用于接收至少一个操作请求;
处理单元,用于针对每个所述操作请求,执行以下处理:
根据当前操作请求,对所述当前操作请求对应的待处理文件的主本进行处理;
对所述主本处理完成后,向所述当前操作请求对应的用户返回响应;
根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理。
进一步地,
所述处理单元,进一步用于执行:
确定所述至少一个操作请求的优先级;
根据所述至少一个操作请求的优先级,确定所述至少一个操作请求的处理顺序;
按照所述处理顺序,处理所述至少一个操作请求。
进一步地,
所述处理单元,在执行所述确定所述至少一个操作请求的优先级时,具体用于执行:根据每个所述操作请求对应的用户、应用、SLA和待处理文件,确定所述至少一个操作请求的优先级。
进一步地,
该装置进一步包括:
保存单元,用于保存每个用户的等级级别值,每个应用的重要程度值,每个SLA的危险性得分;以及用户、应用、SLA和待处理文件的指标占比;
所述处理单元,用于执行:
确定每个所述操作请求对应的待处理文件的热度值;
分别根据每个所述操作请求对应的用户、应用、SLA、待处理文件的热度值和公式一,计算出每个所述操作请求的优先级值,所述公式一为:
Y=H×h+A×a+S×s+W×w;
其中,Y为所述优先级值,H为用户的等级级别值,A为应用的重要程度值,S为SLA的危险性得分,W为待处理文件的热度值,h为用户的指标占比,a为应用的指标占比,s为SLA的指标占比,w为待处理文件的指标占比;
根据每个所述操作请求的优先级值,确定所述至少一个操作请求的优先级。
进一步地,
所述处理单元,在执行所述根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理时,具体用于执行:
A1:针对所述当前操作请求,设置处理标志;
A2:判断所述当前操作请求的处理标志是否是未完成,如果是,则执行A3,否则,结束当前流程;
A3:判断处理所述当前操作请求的进程是否已退出,如果是,则发起同步进程,利用所述同步进程对所述主本对应的副本进行相应的处理,并在处理完成后,将所述处理标志修改为已完成,否则,利用所述当前操作请求的进程对所述主本对应的副本进行相应的处理,并在处理完成后,将所述处理标志修改为已完成。
在本发明实施例中,接收到用户发出的操作请求后,当待处理文件的主本处理完成即可向用户返回响应,无需等到该主本的所有副本都处理完成后才返回响应,缩短了用户的等待时间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种分布式存储的实现方法的流程图;
图2是本发明一实施例提供的另一种分布式存储的实现方法的流程图;
图3是本发明一实施例提供的一种分布式存储的实现装置的示意图;
图4是本发明一实施例提供的另一种分布式存储的实现装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种分布式存储的实现方法,该方法可以包括以下步骤:
步骤101:接收至少一个操作请求;
步骤102:针对每个所述操作请求,执行以下处理:
根据当前操作请求,对所述当前操作请求对应的待处理文件的主本进行处理;
对所述主本处理完成后,向所述当前操作请求对应的用户返回响应;
根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理。
在本发明实施例中,接收到用户发出的操作请求后,当待处理文件的主本处理完成即可向用户返回响应,无需等到该主本的所有副本都处理完成后才返回响应,缩短了用户的等待时间。
为了提高用户体验,在本发明一实施例中,在所述接收至少一个操作请求之后,进一步包括:
确定所述至少一个操作请求的优先级;
根据所述至少一个操作请求的优先级,确定所述至少一个操作请求的处理顺序;
按照所述处理顺序,处理所述至少一个操作请求。
在本发明实施例中,将接收到的至少一个操作请求划分出优先级,按照优先级的顺序进行处理,在操作请求较多的情况下,能够及时优先处理优先级较高的操作请求,能够提高用户体验。举例来说,有些操作请求比较紧急,有些操作请求不紧急,这是,确定紧急的操作请求的优先级高于不紧急的操作请求,优先处理紧急的操作请求,这是紧急的操作请求的用户的用户体验较好,而不紧急的操作请求的用户的用户体验也不会有多大落差,整体来说,提高了用户的用户体验。
在本发明一实施例中,所述确定所述至少一个操作请求的优先级,包括:
根据每个所述操作请求对应的用户、应用、SLA和待处理文件,确定所述至少一个操作请求的优先级。
在本发明实施例中,从用户、应用、SLA和待处理文件四个角度来综合确定操作请求的优先级,使得确定出的优先级更加合理,更加符合用户需求,能够进一步提高用户体验。
在本发明一实施例中,该方法进一步包括:
预先设置每个用户的等级级别值,设置每个应用的重要程度值,设置每个SLA的危险性得分;
预先设置用户、应用、SLA和待处理文件的指标占比;
所述根据每个所述操作请求对应的用户、应用、SLA和待处理文件,确定所述至少一个操作请求的优先级,包括:
确定每个所述操作请求对应的待处理文件的热度值;
分别根据每个所述操作请求对应的用户、应用、SLA、待处理文件的热度值和公式一,计算出每个所述操作请求的优先级值,所述公式一为:
Y=H×h+A×a+S×s+W×w;
其中,Y为所述优先级值,H为用户的等级级别值,A为应用的重要程度值,S为SLA的危险性得分,W为待处理文件的热度值,h为用户的指标占比,a为应用的指标占比,s为SLA的指标占比,w为待处理文件的指标占比;
根据每个所述操作请求的优先级值,确定所述至少一个操作请求的优先级。
在本发明实施例中,将用户、应用、SLA和待处理文件都用具体的数值来区分,数值的大小体现了该指标对优先级值的影响。
举例来说,针对用户这个指标,用户的等级级别值的范围可以是[0,100],数值越大,说明用户的等级级别越高,越重要。每个用户的等级级别值可以根据CRM(CustomerRelationship Management,客户关系管理)评价来确定。另外,用户这个指标的指标占比可以为40%。
针对应用这个指标,应用的重要程度值的范围可以是[0,100],数值越大,说明应用的越重要。每个应用的重要程度值可以根据CRM及应用评价来确定。另外,应用这个指标的指标占比可以为25%。
针对SLA这个指标,SLA的危险性得分的范围可以是[0,100],数值越大,说明SLA的越重要。每个SLA的危险性得分可以根据统计指标来确定。具体地,可以根据SLA中的具体内容来确定。另外,SLA这个指标的指标占比可以为20%。
针对待处理文件这个指标,待处理文件的热度值的范围可以是[0,100],数值越大,说明待处理文件的热度越高,越重要。每个待处理文件的热度值可以根据统计指标来确定。每个待处理文件的热度值可以根据待处理文件的处理次数确定,具体地,处理次数越多,热度值越高,特别地,可以将第一次处理的待处理文件的热度值设置为100。另外,待处理文件这个指标的指标占比可以为15%。
在本发明一实施例中,所述根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理,包括:
A1:针对所述当前操作请求,设置处理标志;
A2:判断所述当前操作请求的处理标志是否是未完成,如果是,则执行A3,否则,结束当前流程;
A3:判断处理所述当前操作请求的进程是否已退出,如果是,则发起同步进程,利用所述同步进程对所述主本对应的副本进行相应的处理,并在处理完成后,将所述处理标志修改为已完成,否则,利用所述当前操作请求的进程对所述主本对应的副本进行相应的处理,并在处理完成后,将所述处理标志修改为已完成。
在本发明实施例中,设置了处理标志,通过处理标志来体现副本是否处理完成,以保证数据的一致性。该过程可以通过ReqNode-1AckNode-1{FlagNode-2,,FlagNode-n},Node-1到Node-n是指存储文字,ReqNode-1是指操作请求,AckNode-1是指响应,Flag是指处理标志。Flag可以通过系统记录并管理。通过本发明实施例,可以保证数据一致性在错时模式下确保实现,不影响后续的其他操作。在这种模式下,用户的等待时间减少,用户体验有明显的提升。
如图2所示,本发明实施例提供了一种分布式存储的实现方法,该方法可以包括以下步骤:
步骤201:预先设置每个用户的等级级别值,设置每个应用的重要程度值,设置每个SLA的危险性得分,预先设置用户、应用、SLA和待处理文件的指标占比。
用户、应用、SLA和待处理文件的指标占比之和为1。
举例来说,预先设置用户A的等级级别值为90,用户B的等级级别值为80,用户C的等级级别值为60。预先设置应用A的重要程度值为50,应用B的重要程度值为70,应用C的重要程度值为60。预先设置SLA 1的危险性得分为70,SLA 2的危险性得分为60,SLA 3的危险性得分为80。
预先设置用户、应用、SLA和待处理文件这几个指标的指标占比分别为:40%、25%、20%、15%。
步骤202:接收至少一个操作请求。
举例来说,接收到操作请求A、操作请求B、操作请求C。
步骤203:确定每个操作请求对应的待处理文件的热度值。
具体地,根据当前待处理文件的处理次数,确定出当前待处理文件的热度值。
举例来说,操作请求A对应待处理文件A,操作请求B对应待处理文件B,操作请求C对应待处理文件C。确定出待处理文件A的热度值为30,待处理文件B的热度值为60,待处理文件C的热度值为50。
步骤204:分别根据每个操作请求对应的用户、应用、SLA、待处理文件的热度值和公式一,计算出每个操作请求的优先级值,公式一为:
Y=H×h+A×a+S×s+W×w;
其中,Y为所述优先级值,H为用户的等级级别值,A为应用的重要程度值,S为SLA的危险性得分,W为待处理文件的热度值,h为用户的指标占比,a为应用的指标占比,s为SLA的指标占比,w为待处理文件的指标占比。
具体地,确定每个操作请求对应的用户、应用、SLA。
举例来说,确定操作请求A对应用户A、应用A和SLA 1;确定操作请求B对应用户B、应用B和SLA 2;确定操作请求C对应用户C、应用C和SLA 3。
各个操作请求对应的用户、应用、SLA和待处理文件这几个指标的指标占比均为:40%、25%、20%、15%。
针对操作请求A,用户A的等级级别值为90,应用A的重要程度值为50,SLA 1的危险性得分为70,待处理文件A的热度值为30。根据公式一计算出操作请求A的优先级值为:90×40%+50×25%+70×20%+30×15%=67。
同样,可以计算出操作请求B的优先级值为:80×40%+70×25%+60×20%+60×15%=70.5。
可以计算出操作请求C的优先级值为:60×40%+60×25%+80×20%+50×15%=62.5。
步骤205:根据每个操作请求的优先级值,确定至少一个操作请求的优先级。
举例来说,根据操作请求A、操作请求B、操作请求C的优先级值,可以确定操作请求B的优先级高于操作请求A,操作请求A的优先级高于操作请求C。
步骤206:根据该至少一个操作请求的优先级,确定该至少一个操作请求的处理顺序。
举例来说,根据操作请求A、操作请求B、操作请求C的优先级,确定出操作请求A、操作请求B、操作请求C的处理顺序是操作请求B、操作请求A、操作请求C。
步骤207:按照处理顺序,处理该至少一个操作请求,并针对每个操作请求,执行以下处理:
根据当前操作请求,对当前操作请求对应的待处理文件的主本进行处理;
对主本处理完成后,向当前操作请求对应的用户返回响应;
根据当前操作请求和主本,对主本对应的副本进行相应的处理。
在本发明实施例中,存储文件时会把文件按照设置的读写数据块大小进行切分,形成数据单元,利用一定的算法计算这些数据单元可以存储的位置点,然后进行读写即可完成数据的持久化存储。而在多个副本存储时,一般是对主本进行操作,副本从主本上进行复制,这样保证传输的流量最小,节约带宽和传输压力,存储网内部仍然有传输流量,现在的云中心组网结构,业务流和内部的存储流式不同网络。
在本发明实施例中,基于用户、应用和SLA协议等指标的信息,确定每次读写数据的优先级,在有冲突或积压排队时通过优先级调整顺序,实现有差别的运行性能。
在本发明实施例中,每个操作请求对应的优先级值与后续调用一起传递给最终执行程序。因为分布式存储的优点是分散执行,所以可能造成排队的点主要有两个环节:数据在网络里传输的通道带宽不够或者在具体写入存储介质时进程过多造成排队。第一个情况是系统获取传输网络的延迟和丢包实时数据,在达到设置的门限值时自动调整传输通道;第二个场景,排队队列的待处理任务进行优先级从大到小排序,如果优先级一样则任务提交时间久的优先。
在本发明实施例中,在故障恢复时,可以实现有差别的对待,即高优先级的先恢复,改变了分布式存储对数据一视同仁的技术做法。举例来说,一般3T的磁盘在万兆网络环境里恢复整盘的数据大概需要3-4个小时,在此期间用户的操作请求会受到很大影响。在无法改变整盘恢复时长的前提下,通过本发明实施例,可以尽量减少有关用户的等待时间,给予重要用户或应用无影响的使用感受。
在本发明实施例中,在确保数据一致性的基础上,从根本上改变了用户的可用性体验,并且不受副本数据的影响,即副本数据增加不会改变用户可用性体验。
在本发明实施例中,分布式存储能达到最终一致性,充分考虑到用户体验,这个最终一致的时间窗口,尽可能的对用户透明,保障用户感知到一致性。本发明实施例通过数据的多份异步复制来实现系统的高可用和数据的最终一致性。用户感知到的一致性的时间窗口则取决于数据复制到一致状态的时间。基于这些分布式存储系统的特点,本发明具体实现方法除策略上调控外,通过更强的性能来确保技术理论上和用户使用体验上的可行性。
在本发明实施例中,增加原子单元(存储对象)的读写操作记录,包括标志、时间、耗时长等信息,结合原子单元所属的文件(或归属的其他粒度),统计出冷热文件、原子单元操作频次、发生容量等性能指标。这些指标进一步可以应用到确定用户的等级级别值、应用的重要程度值、SLA的危险性得分、待处理文件的热度值等,作为客观指标体现在优先级排序中。
在本发明实施例中,首先一个文件按照系统缺省设置的读写块大小拆分为等大小的数据块(最后一个剩余的可不是等大小),然后通过算法计算获得每个数据块可以写入的磁盘位置;在磁盘上执行写入或读取。从用户发起读写请求到完成这个请求,主要过程是数据传输(传输线路及网络设备)、分拆为对象及对象写入磁盘介质几个环节。
本发明实施例可以在以下应用场景中发挥作用:
A)用户正常应用使用发起的读写请求;
B)有磁盘损坏替换新盘后数据同步;
无论哪种应用场景,都可以通过本发明实施例调控,让不同的用户感受到不同的性能,提升用户的满意度和使用体验。
本发明实施例可以实现故障恢复,举例来说,一块3T的SATA磁盘替换后的数据同步大概需要3-4个小时。在这个过程中,用户使用存储的数据会受到影响。找出重要客户、重要应用和热数据优先恢复。在总时间不能变化的前提下,不同的用户有不同的等待时间是合理的方法。其过程是正常访问的逆操作,即根据当前磁盘上存储的数据信息,从map关系里获取数据归属,根据上层的归属确定哪些数据具有高优先级,哪些数据是低优先级。根据优先级顺序,依次恢复数据。
在本发明实施例中,为了尽量缩短用户等待的时间,采取多种提升性能的手段,比如增加SSD磁盘作为cache提升读写效率;通过采用软件RDMA(Remote Direct MemoryAccess,远程直接数据存取)和网络设备的无损传输减轻存储服务器的CPU负荷,加快数据在不同节点间的传输。
通过本发明实施例,能够实现分布式存储的QoS(Quality of Service,服务质量),并且,能够保证分布式存储的CAP,其中,CAP指的是分区容错(Partition tolerance)、数据一致性(Consistency)和可用性(Availability)。
本发明实施例以实际使用场景为依托,结合用户信息及SLA,使用优先级策略,为待处理数据排队。在正常读写处理、故障恢复处理时根据优先级为用户提供相符的使用感受。
在本发明实施例中,通过错时实现的异步一致性策略,实现一致性和可用性的平衡,让用户有较好的使用感受。在分布式存储常用技术方案的基础上,考虑具体使用场景和用户感受,基于策略提升整体性能,并基于策略为不同用户提供针对性的服务,能够让分布式存储得到更好的认可和应用。
如图3、图4所示,本发明实施例提供了一种分布式存储的实现装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言,如图3所示,为本发明实施例提供的一种分布式存储的实现装置所在设备的一种硬件结构图,除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常还可以包括其他硬件,如负责处理报文的转发芯片等等。以软件实现为例,如图4所示,作为一个逻辑意义上的装置,是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的一种分布式存储的实现装置,包括:
接收单元401,用于接收至少一个操作请求;
处理单元402,用于针对每个所述操作请求,执行以下处理:
根据当前操作请求,对所述当前操作请求对应的待处理文件的主本进行处理;
对所述主本处理完成后,向所述当前操作请求对应的用户返回响应;
根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理。
在本发明一实施例中,所述处理单元,进一步用于执行:
确定所述至少一个操作请求的优先级;
根据所述至少一个操作请求的优先级,确定所述至少一个操作请求的处理顺序;
按照所述处理顺序,处理所述至少一个操作请求。
在本发明一实施例中,所述处理单元,在执行所述确定所述至少一个操作请求的优先级时,具体用于执行:根据每个所述操作请求对应的用户、应用、SLA和待处理文件,确定所述至少一个操作请求的优先级。
在本发明一实施例中,进一步包括:
保存单元,用于保存每个用户的等级级别值,每个应用的重要程度值,每个SLA的危险性得分;以及用户、应用、SLA和待处理文件的指标占比;
所述处理单元,用于执行:
确定每个所述操作请求对应的待处理文件的热度值;
分别根据每个所述操作请求对应的用户、应用、SLA、待处理文件的热度值和公式一,计算出每个所述操作请求的优先级值,所述公式一为:
Y=H×h+A×a+S×s+W×w;
其中,Y为所述优先级值,H为用户的等级级别值,A为应用的重要程度值,S为SLA的危险性得分,W为待处理文件的热度值,h为用户的指标占比,a为应用的指标占比,s为SLA的指标占比,w为待处理文件的指标占比;
根据每个所述操作请求的优先级值,确定所述至少一个操作请求的优先级。
在本发明一实施例中,所述处理单元,在执行所述根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理时,具体用于执行:
A1:针对所述当前操作请求,设置处理标志;
A2:判断所述当前操作请求的处理标志是否是未完成,如果是,则执行A3,否则,结束当前流程;
A3:判断处理所述当前操作请求的进程是否已退出,如果是,则发起同步进程,利用所述同步进程对所述主本对应的副本进行相应的处理,并在处理完成后,将所述处理标志修改为已完成,否则,利用所述当前操作请求的进程对所述主本对应的副本进行相应的处理,并在处理完成后,将所述处理标志修改为已完成。
上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本发明实施例提供了一种可读介质,包括执行指令,当存储控制器的处理器执行所述执行指令时,所述存储控制器执行本发明实施例提供的任意一种分布式存储的实现方法。
本发明实施例提供了一种存储控制器,包括:处理器、存储器和总线;
所述存储器用于存储执行指令,所述处理器与所述存储器通过所述总线连接,当所述存储控制器运行时,所述处理器执行所述存储器存储的执行指令,以使所述存储控制器执行本发明实施例提供的任意一种分布式存储的实现方法。
本发明各个实施例至少具有如下有益效果:
1、在本发明实施例中,接收到用户发出的操作请求后,当待处理文件的主本处理完成即可向用户返回响应,无需等到该主本的所有副本都处理完成后才返回响应,缩短了用户的等待时间。
2、在本发明实施例中,将接收到的至少一个操作请求划分出优先级,按照优先级的顺序进行处理,在操作请求较多的情况下,能够及时优先处理优先级较高的操作请求,能够提高用户体验。
3、在本发明实施例中,在确保数据一致性的基础上,从根本上改变了用户的可用性体验,并且不受副本数据的影响,即副本数据增加不会改变用户可用性体验,提高了用户的用户体验。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个〃·····”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种分布式存储的实现方法,其特征在于,包括:
接收至少一个操作请求;
针对每个所述操作请求,执行以下处理:
根据当前操作请求,对所述当前操作请求对应的待处理文件的主本进行处理;
对所述主本处理完成后,向所述当前操作请求对应的用户返回响应;
根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理。
2.根据权利要求1所述的方法,其特征在于,
在所述接收至少一个操作请求之后,进一步包括:
确定所述至少一个操作请求的优先级;
根据所述至少一个操作请求的优先级,确定所述至少一个操作请求的处理顺序;
按照所述处理顺序,处理所述至少一个操作请求。
3.根据权利要求2所述的方法,其特征在于,
所述确定所述至少一个操作请求的优先级,包括:
根据每个所述操作请求对应的用户、应用、服务等级协议SLA和待处理文件,确定所述至少一个操作请求的优先级。
4.根据权利要求3所述的方法,其特征在于,
进一步包括:
预先设置每个用户的等级级别值,设置每个应用的重要程度值,设置每个SLA的危险性得分;
预先设置用户、应用、SLA和待处理文件的指标占比;
所述根据每个所述操作请求对应的用户、应用、SLA和待处理文件,确定所述至少一个操作请求的优先级,包括:
确定每个所述操作请求对应的待处理文件的热度值;
分别根据每个所述操作请求对应的用户、应用、SLA、待处理文件的热度值和公式一,计算出每个所述操作请求的优先级值,所述公式一为:
Y=H×h+A×a+S×s+W×w;
其中,Y为所述优先级值,H为用户的等级级别值,A为应用的重要程度值,S为SLA的危险性得分,W为待处理文件的热度值,h为用户的指标占比,a为应用的指标占比,s为SLA的指标占比,w为待处理文件的指标占比;
根据每个所述操作请求的优先级值,确定所述至少一个操作请求的优先级。
5.根据权利要求1-4中任一所述的方法,其特征在于,
所述根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理,包括:
A1:针对所述当前操作请求,设置处理标志;
A2:判断所述当前操作请求的处理标志是否是未完成,如果是,则执行A3,否则,结束当前流程;
A3:判断处理所述当前操作请求的进程是否已退出,如果是,则发起同步进程,利用所述同步进程对所述主本对应的副本进行相应的处理,并在处理完成后,将所述处理标志修改为已完成,否则,利用所述当前操作请求的进程对所述主本对应的副本进行相应的处理,并在处理完成后,将所述处理标志修改为已完成。
6.一种分布式存储的实现装置,其特征在于,包括:
接收单元,用于接收至少一个操作请求;
处理单元,用于针对每个所述操作请求,执行以下处理:
根据当前操作请求,对所述当前操作请求对应的待处理文件的主本进行处理;
对所述主本处理完成后,向所述当前操作请求对应的用户返回响应;
根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理。
7.根据权利要求6所述的装置,其特征在于,
所述处理单元,进一步用于执行:
确定所述至少一个操作请求的优先级;
根据所述至少一个操作请求的优先级,确定所述至少一个操作请求的处理顺序;
按照所述处理顺序,处理所述至少一个操作请求。
8.根据权利要求7所述的装置,其特征在于,
所述处理单元,在执行所述确定所述至少一个操作请求的优先级时,具体用于执行:根据每个所述操作请求对应的用户、应用、服务等级协议SLA和待处理文件,确定所述至少一个操作请求的优先级。
9.根据权利要求8所述的装置,其特征在于,
进一步包括:
保存单元,用于保存每个用户的等级级别值,每个应用的重要程度值,每个SLA的危险性得分;以及用户、应用、SLA和待处理文件的指标占比;
所述处理单元,用于执行:
确定每个所述操作请求对应的待处理文件的热度值;
分别根据每个所述操作请求对应的用户、应用、SLA、待处理文件的热度值和公式一,计算出每个所述操作请求的优先级值,所述公式一为:
Y=H×h+A×a+S×s+W×w;
其中,Y为所述优先级值,H为用户的等级级别值,A为应用的重要程度值,S为SLA的危险性得分,W为待处理文件的热度值,h为用户的指标占比,a为应用的指标占比,s为SLA的指标占比,w为待处理文件的指标占比;
根据每个所述操作请求的优先级值,确定所述至少一个操作请求的优先级。
10.根据权利要求6-9中任一所述的装置,其特征在于,
所述处理单元,在执行所述根据所述当前操作请求和所述主本,对所述主本对应的副本进行相应的处理时,具体用于执行:
A1:针对所述当前操作请求,设置处理标志;
A2:判断所述当前操作请求的处理标志是否是未完成,如果是,则执行A3,否则,结束当前流程;
A3:判断处理所述当前操作请求的进程是否已退出,如果是,则发起同步进程,利用所述同步进程对所述主本对应的副本进行相应的处理,并在处理完成后,将所述处理标志修改为已完成,否则,利用所述当前操作请求的进程对所述主本对应的副本进行相应的处理,并在处理完成后,将所述处理标志修改为已完成。
CN201710413584.9A 2017-06-05 2017-06-05 一种分布式存储的实现方法及装置 Pending CN107239544A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710413584.9A CN107239544A (zh) 2017-06-05 2017-06-05 一种分布式存储的实现方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710413584.9A CN107239544A (zh) 2017-06-05 2017-06-05 一种分布式存储的实现方法及装置

Publications (1)

Publication Number Publication Date
CN107239544A true CN107239544A (zh) 2017-10-10

Family

ID=59985812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710413584.9A Pending CN107239544A (zh) 2017-06-05 2017-06-05 一种分布式存储的实现方法及装置

Country Status (1)

Country Link
CN (1) CN107239544A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708494A (zh) * 2020-06-17 2020-09-25 浪潮云信息技术股份公司 一种分布式存储qos的实现方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013387A (zh) * 2007-02-09 2007-08-08 华中科技大学 基于对象存储设备的负载平衡方法
CN102033786A (zh) * 2010-11-04 2011-04-27 天津曙光计算机产业有限公司 一种对象存储系统中修复副本一致性的方法
CN102368268A (zh) * 2011-10-25 2012-03-07 无锡城市云计算中心有限公司 一种实现多元数据一致性的方法
CN102368267A (zh) * 2011-10-25 2012-03-07 曙光信息产业(北京)有限公司 一种维护分布式系统中副本一致性的方法
US20120215741A1 (en) * 2006-12-06 2012-08-23 Jack Poole LDAP Replication Priority Queuing Mechanism
CN103544081A (zh) * 2013-10-23 2014-01-29 曙光信息产业(北京)有限公司 双元数据服务器的管理方法和装置
CN104281506A (zh) * 2014-07-10 2015-01-14 中国科学院计算技术研究所 一种文件系统的数据维护方法及系统
CN105577763A (zh) * 2015-12-16 2016-05-11 浪潮(北京)电子信息产业有限公司 一种动态副本一致性维护系统、方法及云存储平台

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120215741A1 (en) * 2006-12-06 2012-08-23 Jack Poole LDAP Replication Priority Queuing Mechanism
CN101013387A (zh) * 2007-02-09 2007-08-08 华中科技大学 基于对象存储设备的负载平衡方法
CN102033786A (zh) * 2010-11-04 2011-04-27 天津曙光计算机产业有限公司 一种对象存储系统中修复副本一致性的方法
CN102368268A (zh) * 2011-10-25 2012-03-07 无锡城市云计算中心有限公司 一种实现多元数据一致性的方法
CN102368267A (zh) * 2011-10-25 2012-03-07 曙光信息产业(北京)有限公司 一种维护分布式系统中副本一致性的方法
CN103544081A (zh) * 2013-10-23 2014-01-29 曙光信息产业(北京)有限公司 双元数据服务器的管理方法和装置
CN104281506A (zh) * 2014-07-10 2015-01-14 中国科学院计算技术研究所 一种文件系统的数据维护方法及系统
CN105577763A (zh) * 2015-12-16 2016-05-11 浪潮(北京)电子信息产业有限公司 一种动态副本一致性维护系统、方法及云存储平台

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周巍: "基于请求策略和状态切换的服务器推送技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708494A (zh) * 2020-06-17 2020-09-25 浪潮云信息技术股份公司 一种分布式存储qos的实现方法

Similar Documents

Publication Publication Date Title
US20210149737A1 (en) Method for fast scheduling for balanced resource allocation in distributed and collaborative container platform environment
CN103763383B (zh) 一体化云存储系统及其存储方法
CN109725829B (zh) 用于数据存储系统的端到端QoS解决方案的系统和方法
CN104881333B (zh) 一种存储系统及其使用的方法
CN105264509B (zh) 融合网络中的自适应中断联合
US9104572B1 (en) Automated root cause analysis
CN106844108B (zh) 一种数据存储方法、服务器以及存储系统
CN108537543A (zh) 区块链数据的并行处理方法、装置、设备和存储介质
CN106020926B (zh) 一种用于虚拟交换机技术中数据传输的方法及装置
US20150081912A1 (en) Computer-based, balanced provisioning and optimization of data transfer resources for products and services
KR20190027677A (ko) 저장 장치 및 저장 장치에 포함된 컨트롤러들
CN104092756A (zh) 一种基于dht机制的云存储系统的资源动态分配方法
US11681466B2 (en) Proactive storage operation management
WO2021259246A1 (zh) 资源调度方法和装置、电子设备、计算机可读存储介质
CN106406821A (zh) 数据处理请求的排序方法及装置
CN107809480A (zh) 一种交易整流系统
WO2020134133A1 (zh) 一种资源配置方法、变电站及计算机可读存储介质
CN107506145A (zh) 一种物理存储调度方法及云主机创建方法
US11831706B1 (en) System and method for distributed management of storage systems based on intent
CN106445411A (zh) 一种数据读取方法、装置及分布式存储系统
US8769162B2 (en) Multiple path load distribution for host communication with a tape storage device
CN107665143A (zh) 资源管理方法、装置及系统
WO2022188498A1 (zh) 一种基于共享式gpu的分布式容器调度方法及其系统
WO2022135160A1 (zh) 缓存空间的释放方法、释放系统、电子设备及存储介质
CN108306912A (zh) 虚拟网络功能管理方法及其装置、网络功能虚拟化系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171010

RJ01 Rejection of invention patent application after publication