CN113220235B - 读写请求的处理方法、装置、设备及存储介质 - Google Patents

读写请求的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113220235B
CN113220235B CN202110533442.2A CN202110533442A CN113220235B CN 113220235 B CN113220235 B CN 113220235B CN 202110533442 A CN202110533442 A CN 202110533442A CN 113220235 B CN113220235 B CN 113220235B
Authority
CN
China
Prior art keywords
distributed system
read
processing mode
state
working state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110533442.2A
Other languages
English (en)
Other versions
CN113220235A (zh
Inventor
宁安
黄力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qingyun Science And Technology Co ltd
Original Assignee
Beijing Qingyun Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qingyun Science And Technology Co ltd filed Critical Beijing Qingyun Science And Technology Co ltd
Priority to CN202110533442.2A priority Critical patent/CN113220235B/zh
Publication of CN113220235A publication Critical patent/CN113220235A/zh
Application granted granted Critical
Publication of CN113220235B publication Critical patent/CN113220235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明实施例公开了一种读写请求的处理方法、装置、设备及存储介质。包括:接收客户端发送的读写请求;获取分布式系统当前所处的工作状态及一致性等级;根据所述工作状态和所述一致性等级确定处理方式;根据所述处理方式处理所述读写请求。本发明实施例公开的读写请求的处理方法,根据工作状态和一致性等级确定处理方式,可以调节分布式系统的一致性和可用性,从而提高了读写请求处理的灵活性。

Description

读写请求的处理方法、装置、设备及存储介质
技术领域
本发明实施例涉及分布式存储技术领域,尤其涉及一种读写请求的处理方法、装置、设备及存储介质。
背景技术
在分布式存储中,软件架构将一致性和可用性(Consistency&Availability)分为强一致性和弱一致性。强一致性可以表现为用户的读写按照发起的先后顺序来执行。当系统存在故障降级,如计算机节点故障或者部分节点网络不可达时,假如系统设计采用强一致性的共识算法,要求节点数量必须达到过半在线达成共识,才能提供读写服务,避免出现系统中出现无法修复的相互冲突的数据副本集合,所以强一致的分布式存储系统对可用性都做了一定的牺牲。假如系统设计采用弱一致性,为了提高系统容错程度,允许在故障程度比强一致性系统更严重的时候仍继续提供读写服务,意味着用户写入成功的数据可能一段时间无法读取到,或者允许产生副本集合之间暂时存在不一致状态,当节点故障恢复的时候,运行也不保证故障节点恢复之后的曾经写入成功的数据仍能读取到。
强一致性和弱一致性各有优劣,某些类型的系统也可以归为较强一致性,或者较弱一致性的类别。传统的分布式存储系统,普遍不能由用户调整一致性设置,用户只能搭建异构的或者配置不同的多套系统来满足不用业务的需求,增加了运维成本。
发明内容
本发明实施例提供一种读写请求的处理方法、装置、设备及存储介质,可以基于用户设置的一致性等级对读写请求进行处理,提高了读写请求处理的灵活性。
第一方面,本发明实施例提供了一种读写请求的处理方法,所述方法由服务节点执行,包括:
接收客户端发送的读写请求;
获取分布式系统当前所处的工作状态及一致性等级;
根据所述工作状态和所述一致性等级确定处理方式;
根据所述处理方式处理所述读写请求。
进一步地,所述读写请求携带有用户标识,获取所述分布式系统的一致性等级,包括:
根据所述用户标识访问所述用户对应的命名空间;
提取所述命名空间中的配置信息;
根据所述配置信息确定用户设置的一致性等级。
进一步地,所述分布式系统包括多个命名空间,且各命名空间之间相互隔离;所述命名空间中的配置信息允许用户随时修改。
进一步地,获取分布式系统当前所处的工作状态,包括:
获取分布式系统的在线服务节点数量,并判断从副本与主副本的内容是否一致;
若在线服务节点数量等于分布式系统包含的服务节点的总数量,且从副本与主副本的内容一致,则分布式系统当前处于正常状态;
若系统正在对从副本与主副本的内容不一致进行修复时,则分布式系统当前处于故障恢复状态;
若系统不处于正常状态也不处于故障恢复状态,则分布式系统当前处于降级状态。
进一步地,根据所述工作状态和所述一致性等级确定处理方式,包括
当用户设置的一致性等级为强一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;
若分布式系统当前所处的工作状态为降级状态,且在线服务节点数量大于或等于设定值,则确定的处理方式为正常处理;若在在线服务节点数量小于设定值,则确定的处理方式为拒绝处理;
若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理。
进一步地,根据所述工作状态和所述一致性等级确定处理方式,包括:
当用户设置的一致性等级为弱一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;
若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;
若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理。
进一步地,根据所述工作状态和所述一致性等级确定处理方式,包括:
当用户设置的一致性等级为最终一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;
若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;
若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为正常处理。
进一步地,根据所述处理方式处理所述读写请求,包括:
若处理方式为拒绝处理,则将所述读写请求放入缓存队列中,当检测到系统的工作状态发生改变时,根据改变后的工作状态确定对所述读写请求的处理方式;
当所述读写请求存入所述缓存队列的时长超过设定时间时,返回所述读写请求对应的失败信息。
进一步地,根据所述处理方式处理所述读写请求,包括:
若处理方式为正常处理,则当前服务节点正常处理所述读写请求,并按照预设的转发顺序将所述写请求转发至下游服务节点,使得下游服务节点正常处理转发来的写请求。
第二方面,本发明实施例还提供了一种分布式系统的读写请求的处理方法,其特征在于,所述方法由客户端执行,包括:
接收用户输入的读写请求;
获取所述分布式系统的读写分离配置方式;
根据所述读写分离配置方式将所述读写请求发送至主副本或从副本所在的服务节点,使得所述服务节点处理所述读写请求。
进一步地,根据所述读写分离配置方式将所述读写请求发送至主副本或从副本所在的服务节点,包括:
若所述读写分离开关配置方式为关闭,则优先将所述读写请求发送至主副本所在的服务节点;若发送失败,则按照所述配置信息中的副本顺序重新将所述读写请求发送至从副本所在的服务节点;
若读写分离开关配置为打开,则将所述读写请求发送至任意一个主副本所在的服务节点或从副本所在的服务节点;若发送失败,则将所述读写请求发送至另一个服务节点。
第三方面,本发明实施例还提供了一种读写请求的处理装置,所述装置设置于服务节点上,包括:
读写请求接收模块,用于接收客户端发送的读写请求;
工作状态及一致性等级获取模块,用于获取所述分布式系统当前所处的工作状态及一致性等级;
处理方式确定模块,用于根据所述工作状态和所述一致性等级确定处理方式;
读写请求处理模块,用于根据所述处理方式处理所述读写请求。
第四发明,本发明实施例还提供了一种分布式系统的读写请求的处理装置,所述装置设置于客户端上,包括:
读写请求接收模块,用于接收用户输入的读写请求;
读写分离配置方式获取模块,用于获取所述分布式系统的读写分离配置方式;
读写请求发送模块,用于根据所述读写分离配置方式将所述读写请求发送至主副本或从副本所在的服务节点,使得所述服务节点处理所述读写请求。
第五方面,本发明实施例还提供了一种计算机设备,所述设备包括:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例所述的读写请求的处理方法。
第六方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理装置执行时实现如本发明实施例所述的读写请求的处理方法。
本发明实施例公开了一种读写请求的处理方法、装置、设备及存储介质。接收客户端发送的读写请求;获取分布式系统当前所处的工作状态及一致性等级;根据所述工作状态和所述一致性等级确定处理方式;根据所述处理方式处理所述读写请求。本发明实施例公开的读写请求的处理方法,根据工作状态和一致性等级确定处理方式,可以调节分布式系统的一致性和可用性,从而提高了读写请求处理的灵活性。
附图说明
图1是本发明实施例一中的一种分布式系统的读写请求的处理方法的流程图;
图2是本发明实施例一中的分布式系统的工作状态的切换原理图;
图3是本发明实施例二中的一种分布式系统的读写请求的处理方法的流程图
图4是本发明实施例三中的一种分布式系统的读写请求的处理装置的结构示意图;
图5是本发明实施例四中的一种分布式系统的读写请求的处理装置的结构示意图
图6是本发明实施例五中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
多租户(multi-tenancy technology)是指多个租户环境下共用相同的系统,并且仍然确保各用户间逻辑数据、系统功能等方面的隔离性和正确性的一种软件架构技术,既实现了多租户之间系统实例的共享和统一管理,又提供了租户的个性化定制和数据隔离,多个租户之间的资源复用,运维管理维护资源,有效节省开发应用的成本。
命名空间(namespace)是指存储系统为租户划分的存储资源池,分布式存储系统命名空间是指文件的集合,并且不同的命名空间的文件是相互独立、隔离的(可以有相同的名字或编号的不同内容的文件)。
本实施例中,分布式存储系统包括:多租户配置模块、存储服务模块、配置管理模块、索引模块以及客户端。
其中,多租户配置模块用于存储不同命名空间的用户设置。对于存储服务模块,系统中有多台存储节点,每台存储节点部署一个存储服务模块,用于管理多个磁盘,磁盘归类到分组,每个分组的磁盘分主副本和从副本角色,正常情况下主副本角色磁盘负责接受用户请求,分发到从副本写入。配置管理模块,用于采用强一致的共识算法,负责配置每块磁盘的主从副本角色选定,当系统检测到任何主副本故障后,配置管理模块负责安排一个从副本提升为主副本。索引模块:采用强一致的共识算法,负责查找特定标识的文件属于哪个磁盘分组。客户端:从配置管理模块获取配置信息,从索引模块确定要访问的磁盘分组后,连接主/或从副本所在的存储服务模块。(如何选择取决于客户端所属命名空间的一致性设定)。
分布式存储系统中包括如下模块:接入模块:分发来自客户端的请求。节点间通讯模块:分发来自系统中其他服务器节点。文件索引模块:管理已经打开的文件句柄。文件操作模块:每个文件由单独的过程处理,一个文件只能属于一个命名空间,可以从多租户配置模块获取命名空间相应的一致性配置.向外提供三种类别的管道:读数据流、写数据流、副本数据流。文件修复模块:负责在从节点故障时,检查文件副本之间不一致的情况,并且尽力修复到一致。
实施例一
图1为本发明实施例一提供的一种分布式系统的读写请求的处理方法的流程图,本实施例可适用于基于分布式存储对用户触发的读写请求进行处理的情况,该方法可以由读写请求的处理装置来执行,该装置可由硬件和/或软件组成,并一般可集成在具有读写请求的处理功能的设备中,该设备可以是服务器或服务器集群等电子设备。如图1所示,该方法具体包括如下步骤:
步骤110,接收客户端发送的读写请求。
本实施例中,当用户有读写数据的需求时,会通过客户端发送读写请求,并将读写请求发送至分布式存储系统中。
步骤120,获取分布式系统当前所处的工作状态及一致性等级。
其中,一致性等级由高到低包括强一致性、弱一致性及最终一致性。本实施例中,一致性等级是由用户在命名空间中设置的。
其中,读写请求携带有用户标识,获取分布式系统的一致性等级的过程可以是:根据用户标识访问用户对应的命名空间;提取命名空间中的配置信息;根据配置信息确定用户设置的一致性等级。
本实施例中,命名空间与用户标识一一对应,分布式系统包括多个命名空间,且各命名空间之间相互隔离;命名空间中的配置信息允许用户随时修改。每个命名空间对读请求和写请求分别配置一致性级别,并设置读写分离配置方式。
其中,工作状态可以包括正常状态、降级状态及故障恢复状态。图2是本实施例中分布式系统的工作状态的切换原理图。如图2所示,当在线服务节点数量等于分布式系统包含的服务节点的总数量,且从副本与主副本的内容一致,则分布式系统当前处于正常状态。若有至少一个服务节点下线,且没有处于故障恢复状态,则系统切换至降级状态,若检测到副本间不一致,或者有离线节点恢复访问,可触发系统对从副本与主副本的内容不一致进行修复,系统切换至故障恢复状态,在故障恢复状态中,系统中的修复模块比较各副本中的文件是否一致,然后修复副本间的差异。若在线节点均修复完成,仍有不在线的服务节点,系统再次切换至降级状态,若在线节点均修复完成,且所有服务节点在线,则系统切换至正常状态。
具体的,获取分布式系统当前所处的工作状态的方式可以是:获取分布式系统的在线服务节点数量,并判断从副本与主副本的内容是否一致;若在线服务节点数量等于分布式系统包含的服务节点的总数量,且从副本与主副本的内容一致,则分布式系统当前处于正常状态;若系统正在对从副本与主副本的内容不一致进行修复时,则分布式系统当前处于故障恢复状态;若系统不处于正常状态也不处于故障恢复状态,则分布式系统当前处于降级状态。
步骤130,根据工作状态和一致性等级确定处理方式。
具体的,根据工作状态和一致性等级确定处理方式的过程可以是:当用户设置的一致性等级为强一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,且在线服务节点数量大于或等于设定值,则确定的处理方式为正常处理;若在在线服务节点数量小于设定值,则确定的处理方式为拒绝处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理。
其中,若从副本数为n>2,则设定值可以设置为n/2+1,此处对设定值不做限定,可由用户根据业务需要任意设置。本实施例中,对于一致性等级为强一致性,若分布式系统当前所处的工作状态为正常状态,或者工作状态为降级状态,且在线服务节点数量大于或等于设定值,则分布式系统的对读写请求的处理方式为正常处理,其他情况均为拒绝处理。
具体的,根据工作状态和一致性等级确定处理方式的过程可以是:当用户设置的一致性等级为弱一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理。
本实施例中,对于一致性等级为弱一致性,若分布式系统当前所处的工作状态为正常状态或者降级状态,则分布式系统的对读写请求的处理方式为正常处理,其他情况均为拒绝处理。
具体的,根据工作状态和一致性等级确定处理方式的过程可以是:当用户设置的一致性等级为最终一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式正常处理。
步骤140,根据处理方式处理读写请求。
本实施例中,若确定的处理方式为正常处理,则系统正常处理该读写请求,若确定的处理方式为拒绝处理,则系统拒绝处理该读写请求。
其中,拒绝处理为将读写请求放入缓存队列中,当检测到系统的工作状态发生改变时,根据改变后的工作状态确定对读写请求的处理方式。当读写请求存入缓存队列的时长超过设定时间时,返回读写请求对应的失败信息。
正常处理为当前服务节点正常处理读写请求,并按照预设顺序将写请求转发至下游服务节点,使得下游服务节点正常处理写请求,此时下游服务节点不受一致性等级的影响。
其中,按照预设顺序将写请求转发至下游服务节点的方式可以是:当前节点将写请求按照设定顺序一一转发至下游服务节点,例如:当前服务节点为节点A,下游服务节点的设定顺序为节点B、节点C和节点D,则节点A先将写请求转发至节点B,然后再将写请求转发至节点C,最后将写请求转发至节点D。可选的,照预设顺序将写请求转发至下游服务节点的方式可以是:当前节点将写请求按照设定顺序传递转发至下游服务节点,例如:当前服务节点为节点A,下游服务节点的设定顺序为节点B、节点C和节点D,则节点A先将写请求转发至节点B,然后节点B将写请求转发至节点C,最后节点C将写请求转发至节点D。
本实施例的技术方案,接收客户端发送的读写请求;获取分布式系统当前所处的工作状态及一致性等级;根据工作状态和一致性等级确定处理方式;根据处理方式处理读写请求。本发明实施例公开的读写请求的处理方法,根据工作状态和一致性等级确定处理方式,可以调节分布式系统的一致性和可用性,从而提高了读写请求处理的灵活性。
实施例二
图3是本发明实施例提供的一种分布式系统的读写请求的处理方法的流程图,该方法由客户端执行,如图3所示,该方法包括如下步骤:
步骤210,接收用户输入的读写请求。
本实施例中,当用户有读写数据的需求时,向客户端输入读写请求。
步骤220,获取分布式系统的读写分离配置方式。
其中,读写分离配置方式可以包括关闭和打开。当读写分离关闭时,客户端优先链接主副本,仅当主副本故障时才临时连接从副本;读写分离打开时,客户端可以把读写请求均衡发送到所有在线的副本,用于提高系统同时处理读请求的能力的和响应速度,但是会导致客户端可能读取到不是最新写入的数据。
本实施例中,获取分布式系统的读写分离配置方式的过程可以是:根据用户标识访问用户对应的命名空间;提取命名空间中的配置信息;根据配置信息确定读写分离配置方式。
步骤230,根据读写分离配置方式将读写请求发送至主副本或从副本所在的服务节点,使得服务节点处理读写请求。
其中,主副本可以是由配置管理模块配置的磁盘的角色。本实施例中,每个服务集群中包含多个服务节点,每个服务节点下包含有多个磁盘,由配置管理模块配置一个磁盘为主副本,其他磁盘为从副本。当系统检测到该服务集群中的主副本故障后,配置管理模块负责将一个从副本提升为主副本。
具体的,根据读写分离配置方式将读写请求发送至主副本或从副本所在的服务节点的方式可以是:若读写分离开关配置方式为关闭,则优先将读写请求发送至主副本所在的服务节点;若发送失败,则按照配置信息中的副本顺序重新将读写请求发送至从副本所在的服务节点;若读写分离开关配置为打开,则将读写请求发送至任意一个主副本所在的服务节点或从副本所在的服务节点;若发送失败,则将读写请求发送至另一个服务节点。
本实施例中,每个服务集群中包含多个服务节点,每个服务节点下包含有多个磁盘,由配置管理模块配置一个磁盘为主副本,其他磁盘为从副本。若读写分离开关配置方式为关闭,则优先将读写请求发送至主副本所在的服务节点;若发送失败,则重新将读写请求发送至从在配置信息中排序第一的副本所在的服务节点。
本实施例的技术方案,接收用户输入的读写请求;获取分布式系统的读写分离配置方式;根据读写分离配置方式将读写请求发送至主副本或从副本所在的服务节点,使得服务节点处理读写请求。根据读写分离配置方式将读写请求发送至主副本或从副本所在的服务节点,可以提高读写请求处理的灵活性。
实施例三
图4是本发明实施例三提供的一种分布式系统的读写请求的处理装置的结构示意图。该装置设置于服务节点上,如图4所示,该装置包括:
读写请求接收模块410,用于接收客户端发送的读写请求;
工作状态及一致性等级获取模块420,用于获取所述分布式系统当前所处的工作状态及一致性等级;
处理方式确定模块430,用于根据所述工作状态和所述一致性等级确定处理方式;
读写请求处理模块440,用于根据所述处理方式处理所述读写请求。
可选的,所述读写请求携带有用户标识,工作状态及一致性等级获取模块420,还用于:
根据所述用户标识访问所述用户对应的命名空间;
提取所述命名空间中的配置信息;
根据所述配置信息确定用户设置的一致性等级。
可选的,所述分布式系统包括多个命名空间,且各命名空间之间相互隔离;所述命名空间中的配置信息允许用户随时修改。
可选的,工作状态及一致性等级获取模块420,还用于:
获取分布式系统的在线服务节点数量,并判断从副本与主副本的内容是否一致;
若在线服务节点数量等于分布式系统包含的服务节点的总数量,且从副本与主副本的内容一致,则分布式系统当前处于正常状态;
若在线服务节点数量小于分布式系统包含的服务节点的总数量,则分布式系统当前处于降级状态;
若在线服务节点数量等于分布式系统包含的服务节点的总数量,且系统正在对从副本与主副本的内容不一致进行修复时,则分布式系统当前处于故障恢复状态。
可选的,处理方式确定模块430,还用于:
当用户设置的一致性等级为强一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;
若分布式系统当前所处的工作状态为降级状态,且在线服务节点数量大于或等于设定值,则确定的处理方式为正常处理;若在在线服务节点数量小于设定值,则确定的处理方式为拒绝处理;
若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理。
可选的,处理方式确定模块430,还用于:
当用户设置的一致性等级为弱一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;
若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;
若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理。
可选的,处理方式确定模块430,还用于:
当用户设置的一致性等级为最终一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;
若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;
若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为正常处理。
可选的,读写请求处理模块440,还用于:若处理方式为拒绝处理,则将所述读写请求放入缓存队列中,当检测到系统的工作状态发生改变时,根据改变后的工作状态确定对所述读写请求的处理方式;
当所述读写请求存入所述缓存队列的时长超过设定时间时,返回所述读写请求对应的失败信息。
可选的,读写请求处理模块440,还用于:若处理方式为正常处理,则当前服务节点正常处理所述读写请求,并按照预设顺序将所述写请求转发至下游服务节点,使得下游服务节点正常处理转发来的写请求。
实施例四
图5是本发明实施例四提供的一种分布式系统的读写请求的处理装置的结构示意图,该装置设置于客户端上,如图5所示,该装置包括:
读写请求接收模块510,用于接收用户输入的读写请求;
读写分离配置方式获取模块520,用于获取所述分布式系统的读写分离配置方式;
读写请求发送模块530,用于根据所述读写分离配置方式将所述读写请求发送至主副本或从副本所在的服务节点,使得所述服务节点处理所述读写请求。
可选的,读写请求发送模块530,还用于:
若所述读写分离开关配置方式为关闭,则优先将所述读写请求发送至主副本所在的服务节点;若发送失败,则按照所述配置信息中的副本顺序重新将所述读写请求发送至从副本所在的服务节点;
若读写分离开关配置为打开,则将所述读写请求发送至任意一个主副本所在的服务节点或从副本所在的服务节点;若发送失败,则将所述读写请求发送至另一个服务节点。
上述装置可执行本发明前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明前述所有实施例所提供的方法。
实施例五
图6为本发明实施例五提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的计算机设备312的框图。图6显示的计算机设备312仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。设备312是典型的分布式系统的读写请求的处理功能的计算设备。
如图6所示,计算机设备312以通用计算设备的形式表现。计算机设备312的组件可以包括但不限于:一个或者多个处理器316,存储装置328,连接不同系统组件(包括存储装置328和处理器316)的总线318。
总线318表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture,ISA)总线,微通道体系结构(Micro Channel Architecture,MCA)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
计算机设备312典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备312访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置328可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)330和/或高速缓存存储器332。计算机设备312可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统334可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory,CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线318相连。存储装置328可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块326的程序336,可以存储在例如存储装置328中,这样的程序模块326包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块326通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备312也可以与一个或多个外部设备314(例如键盘、指向设备、摄像头、显示器324等)通信,还可与一个或者多个使得用户能与该计算机设备312交互的设备通信,和/或与使得该计算机设备312能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口322进行。并且,计算机设备312还可以通过网络适配器320与一个或者多个网络(例如局域网(Local AreaNetwork,LAN),广域网Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器320通过总线318与计算机设备312的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备312使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器316通过运行存储在存储装置328中的程序,从而执行各种功能应用以及数据处理,例如实现本发明上述实施例所提供的分布式系统的读写请求的处理方法。
实施例六
本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该程序被处理装置执行时实现如本发明实施例中的分布式系统的读写请求的处理方法。本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:接收客户端发送的读写请求;获取分布式系统当前所处的工作状态及一致性等级;根据所述工作状态和所述一致性等级确定处理方式;根据所述处理方式处理所述读写请求。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种分布式系统的读写请求的处理方法,其特征在于,所述方法由服务节点执行,包括:
接收客户端发送的读写请求;
获取分布式系统当前所处的工作状态及一致性等级;
根据所述工作状态和所述一致性等级确定处理方式;
根据所述处理方式处理所述读写请求;
其中,获取分布式系统当前所处的工作状态,包括:
获取分布式系统的在线服务节点数量,并判断从副本与主副本的内容是否一致;若在线服务节点数量等于分布式系统包含的服务节点的总数量,且从副本与主副本的内容一致,则分布式系统当前处于正常状态;若系统正在对从副本与主副本的内容不一致进行修复时,则分布式系统当前处于故障恢复状态;若系统不处于正常状态也不处于故障恢复状态,则分布式系统当前处于降级状态;
根据所述工作状态和所述一致性等级确定处理方式,包括:
当用户设置的一致性等级为强一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,且在线服务节点数量大于或等于设定值,则确定的处理方式为正常处理;若在在线服务节点数量小于设定值,则确定的处理方式为拒绝处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理;或者,
根据所述工作状态和所述一致性等级确定处理方式,包括:
当用户设置的一致性等级为弱一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理;或者,
根据所述工作状态和所述一致性等级确定处理方式,包括:
当用户设置的一致性等级为最终一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为正常处理。
2.根据权利要求1所述的方法,其特征在于,所述读写请求携带有用户标识,获取所述分布式系统的一致性等级,包括:
根据所述用户标识访问所述用户对应的命名空间;
提取所述命名空间中的配置信息;
根据所述配置信息确定用户设置的一致性等级。
3.根据权利要求2所述的方法,其特征在于,所述分布式系统包括多个命名空间,且各命名空间之间相互隔离;所述命名空间中的配置信息允许用户随时修改。
4.根据权利要求1所述的方法,其特征在于,根据所述处理方式处理所述读写请求,包括:
若处理方式为拒绝处理,则将所述读写请求放入缓存队列中,当检测到系统的工作状态发生改变时,根据改变后的工作状态确定对所述读写请求的处理方式;
当所述读写请求存入所述缓存队列的时长超过设定时间时,向客户端返回所述读写请求对应的失败信息。
5.根据权利要求1所述的方法,其特征在于,根据所述处理方式处理所述写请求,包括:
若处理方式为正常处理,则当前服务节点正常处理所述读写请求,并按照预设顺序将所述写请求转发至下游服务节点,使得下游服务节点正常处理转发来的写请求。
6.一种分布式系统的读写请求的处理方法,其特征在于,所述方法由客户端执行,包括:
接收用户输入的读写请求;
获取所述分布式系统的读写分离配置方式;
根据所述读写分离配置方式将所述读写请求发送至主副本或从副本所在的服务节点,使得所述服务节点接收客户端发送的读写请求,获取分布式系统当前所处的工作状态及一致性等级,根据所述工作状态和所述一致性等级确定处理方式,根据所述处理方式处理所述读写请求;
其中,获取分布式系统当前所处的工作状态,包括:
获取分布式系统的在线服务节点数量,并判断从副本与主副本的内容是否一致;若在线服务节点数量等于分布式系统包含的服务节点的总数量,且从副本与主副本的内容一致,则分布式系统当前处于正常状态;若系统正在对从副本与主副本的内容不一致进行修复时,则分布式系统当前处于故障恢复状态;若系统不处于正常状态也不处于故障恢复状态,则分布式系统当前处于降级状态;
根据所述工作状态和所述一致性等级确定处理方式,包括:
当用户设置的一致性等级为强一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,且在线服务节点数量大于或等于设定值,则确定的处理方式为正常处理;若在在线服务节点数量小于设定值,则确定的处理方式为拒绝处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理;或者,
根据所述工作状态和所述一致性等级确定处理方式,包括:
当用户设置的一致性等级为弱一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理;或者,
根据所述工作状态和所述一致性等级确定处理方式,包括:
当用户设置的一致性等级为最终一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为正常处理。
7.根据权利要求6所述的方法,其特征在于,根据所述读写分离配置方式将所述读写请求发送至主副本或从副本所在的服务节点,包括:
若所述读写分离配置方式为关闭,则优先将所述读写请求发送至主副本所在的服务节点;若发送失败,则按照配置信息中的副本顺序重新将所述读写请求发送至从副本所在的服务节点;
若所述读写分离配置方式为打开,则将所述读写请求发送至任意一个主副本所在的服务节点或从副本所在的服务节点;若发送失败,则将所述读写请求发送至另一个服务节点;
其中,所述读写请求携带有用户标识,所述配置信息的获取方式包括:
根据所述用户标识访问所述用户对应的命名空间;
提取所述命名空间中的所述配置信息。
8.一种分布式系统的读写请求的处理装置,其特征在于,所述装置设置于服务节点上,包括:
读写请求接收模块,用于接收客户端发送的读写请求;
工作状态及一致性等级获取模块,用于获取所述分布式系统当前所处的工作状态及一致性等级;
处理方式确定模块,用于根据所述工作状态和所述一致性等级确定处理方式;
读写请求处理模块,用于根据所述处理方式处理所述读写请求;
其中,所述工作状态及一致性等级获取模块,还用于:
获取分布式系统的在线服务节点数量,并判断从副本与主副本的内容是否一致;若在线服务节点数量等于分布式系统包含的服务节点的总数量,且从副本与主副本的内容一致,则分布式系统当前处于正常状态;若系统正在对从副本与主副本的内容不一致进行修复时,则分布式系统当前处于故障恢复状态;若系统不处于正常状态也不处于故障恢复状态,则分布式系统当前处于降级状态;
所述处理方式确定模块,还用于:
当用户设置的一致性等级为强一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,且在线服务节点数量大于或等于设定值,则确定的处理方式为正常处理;若在在线服务节点数量小于设定值,则确定的处理方式为拒绝处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理;或者,
所述处理方式确定模块,还用于:
当用户设置的一致性等级为弱一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理;或者,
所述处理方式确定模块,还用于:
当用户设置的一致性等级为最终一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为正常处理。
9.一种分布式系统的读写请求的处理装置,其特征在于,所述装置设置于客户端上,包括:
读写请求接收模块,用于接收用户输入的读写请求;
读写分离配置方式获取模块,用于获取所述分布式系统的读写分离配置方式;
读写请求发送模块,用于根据所述读写分离配置方式将所述读写请求发送至主副本或从副本所在的服务节点,使得所述服务节点接收客户端发送的读写请求,获取分布式系统当前所处的工作状态及一致性等级,根据所述工作状态和所述一致性等级确定处理方式,根据所述处理方式处理所述读写请求;
其中,获取分布式系统当前所处的工作状态,包括:
获取分布式系统的在线服务节点数量,并判断从副本与主副本的内容是否一致;若在线服务节点数量等于分布式系统包含的服务节点的总数量,且从副本与主副本的内容一致,则分布式系统当前处于正常状态;若系统正在对从副本与主副本的内容不一致进行修复时,则分布式系统当前处于故障恢复状态;若系统不处于正常状态也不处于故障恢复状态,则分布式系统当前处于降级状态;
根据所述工作状态和所述一致性等级确定处理方式,包括:
当用户设置的一致性等级为强一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,且在线服务节点数量大于或等于设定值,则确定的处理方式为正常处理;若在在线服务节点数量小于设定值,则确定的处理方式为拒绝处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理;或者,
根据所述工作状态和所述一致性等级确定处理方式,包括:
当用户设置的一致性等级为弱一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为拒绝处理;或者,
根据所述工作状态和所述一致性等级确定处理方式,包括:
当用户设置的一致性等级为最终一致性时,若分布式系统当前所处的工作状态为正常状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为降级状态,则确定的处理方式为正常处理;若分布式系统当前所处的工作状态为故障恢复状态,则确定的处理方式为正常处理。
10.一种计算机设备,其特征在于,所述设备包括:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1-7任一所述的读写请求的处理方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现如权利要求1-7中任一所述的读写请求的处理方法。
CN202110533442.2A 2021-05-17 2021-05-17 读写请求的处理方法、装置、设备及存储介质 Active CN113220235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110533442.2A CN113220235B (zh) 2021-05-17 2021-05-17 读写请求的处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110533442.2A CN113220235B (zh) 2021-05-17 2021-05-17 读写请求的处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113220235A CN113220235A (zh) 2021-08-06
CN113220235B true CN113220235B (zh) 2024-02-06

Family

ID=77092367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110533442.2A Active CN113220235B (zh) 2021-05-17 2021-05-17 读写请求的处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113220235B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113687798A (zh) * 2021-10-26 2021-11-23 苏州浪潮智能科技有限公司 一种控制数据重构的方法、装置、设备及可读介质
CN114443767B (zh) * 2022-01-26 2024-02-09 苏州浪潮智能科技有限公司 确定分布式系统一致性级别的方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268318A (zh) * 2013-04-16 2013-08-28 华中科技大学 一种强一致性的分布式键值数据库系统及其读写方法
CN106375416A (zh) * 2016-08-30 2017-02-01 北京航空航天大学 分布式数据存储系统中一致性动态调整方法及装置
CN109936594A (zh) * 2017-12-15 2019-06-25 上海欣能信息科技发展有限公司 一种基于电力数据的云存储系统
WO2019161908A1 (en) * 2018-02-23 2019-08-29 Telefonaktiebolaget Lm Ericsson (Publ) Dynamic determination of consistency levels for distributed database transactions
CN110516031A (zh) * 2019-08-28 2019-11-29 上海欣能信息科技发展有限公司 一种电力非结构化数据的存储管理系统及存储管理方法
CN112148798A (zh) * 2020-10-10 2020-12-29 腾讯科技(深圳)有限公司 应用于分布式系统的数据处理方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193952A1 (en) * 2003-03-27 2004-09-30 Charumathy Narayanan Consistency unit replication in application-defined systems
US7636868B2 (en) * 2006-06-27 2009-12-22 Microsoft Corporation Data replication in a distributed system
US8326807B2 (en) * 2009-01-23 2012-12-04 Hewlett-Packard Development Company, L.P. Methods of measuring consistability of a distributed storage system
US9405474B2 (en) * 2012-10-03 2016-08-02 Microsoft Technology Licensing, Llc Configurable and tunable data store tradeoffs
US20140101298A1 (en) * 2012-10-05 2014-04-10 Microsoft Corporation Service level agreements for a configurable distributed storage system
CN107040591B (zh) * 2017-03-28 2020-06-19 北京小米移动软件有限公司 一种对客户端进行控制的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268318A (zh) * 2013-04-16 2013-08-28 华中科技大学 一种强一致性的分布式键值数据库系统及其读写方法
CN106375416A (zh) * 2016-08-30 2017-02-01 北京航空航天大学 分布式数据存储系统中一致性动态调整方法及装置
CN109936594A (zh) * 2017-12-15 2019-06-25 上海欣能信息科技发展有限公司 一种基于电力数据的云存储系统
WO2019161908A1 (en) * 2018-02-23 2019-08-29 Telefonaktiebolaget Lm Ericsson (Publ) Dynamic determination of consistency levels for distributed database transactions
CN110516031A (zh) * 2019-08-28 2019-11-29 上海欣能信息科技发展有限公司 一种电力非结构化数据的存储管理系统及存储管理方法
CN112148798A (zh) * 2020-10-10 2020-12-29 腾讯科技(深圳)有限公司 应用于分布式系统的数据处理方法及装置

Also Published As

Publication number Publication date
CN113220235A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
US10521396B2 (en) Placement policy
US8799906B2 (en) Processing a batched unit of work
US7793140B2 (en) Method and system for handling failover in a distributed environment that uses session affinity
US8626936B2 (en) Protocol independent server replacement and replication in a storage area network
CN113220235B (zh) 读写请求的处理方法、装置、设备及存储介质
JP6325001B2 (ja) 階層データ構造のノードにおいて再帰的イベントリスナを用いる方法およびシステム
US9436736B2 (en) Managing streams of tuples
US10432703B2 (en) On-demand session upgrade in a coordination service
US11210003B2 (en) Method, device and computer program product for restoring data based on replacing child node identifiers with parent node identifier
CN102064962A (zh) 基于命名管道通信的列车自动监控系统输入输出组件的实现方法
US10664376B2 (en) Hierarchical process group management
CN110633046A (zh) 一种分布式系统的存储方法、装置、存储设备及存储介质
CN107682411A (zh) 一种大规模sdn控制器集群及网络系统
CN111444148B (zh) 基于MapReduce的数据传输方法和装置
CN112363815A (zh) Redis集群处理方法、装置、电子设备及计算机可读存储介质
CN117076196A (zh) 一种数据库容灾的管控方法和装置
CN116016028B (zh) 基于IPVlan为Pod创建多个网络接口的方法、系统、介质及设备
CN106919574B (zh) 一种实时处理远程同步文件的方法
CN114070889B (zh) 配置方法、流量转发方法、设备、存储介质及程序产品
US11546229B1 (en) Systems and methods for disaggregated software defined networking control
US20220138220A1 (en) Dedicated replication channels for replicating records between regions
CN114610545A (zh) 减少私有云计算的单点故障的方法、系统、设备及介质
US11321205B2 (en) Enterprise-scale time series graphite backend infrastructure
US10712959B2 (en) Method, device and computer program product for storing data
CN109981697B (zh) 一种文件转存方法、系统、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100000 Unit 501A, Floor 5, 101, Building 1, Yard 5, Laiguangying West Road, Chaoyang District, Beijing

Applicant after: Beijing Qingyun Science and Technology Co.,Ltd.

Address before: 100020 601, 6 floor, 16 building, No. 36 Chuang Yuan Road, Chaoyang District, Beijing.

Applicant before: Beijing Qingyun Science and Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant