CN111930515B - 数据获取及分配方法、装置、服务器、存储介质 - Google Patents
数据获取及分配方法、装置、服务器、存储介质 Download PDFInfo
- Publication number
- CN111930515B CN111930515B CN202010970196.2A CN202010970196A CN111930515B CN 111930515 B CN111930515 B CN 111930515B CN 202010970196 A CN202010970196 A CN 202010970196A CN 111930515 B CN111930515 B CN 111930515B
- Authority
- CN
- China
- Prior art keywords
- instance
- target
- record
- data
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 114
- 239000012634 fragment Substances 0.000 claims abstract description 265
- 238000012545 processing Methods 0.000 claims abstract description 162
- 230000004044 response Effects 0.000 claims description 30
- 230000004083 survival effect Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 23
- 238000012544 monitoring process Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000013524 data verification Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开关于一种数据获取及分配方法、装置、服务器、存储介质。其中,该数据获取方法包括:第一服务器中的目标实例节点接收第二服务器发送的目标实例分配记录,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识;在目标实例分配记录满足未分配数据判断条件时,向第二服务器发送数据分配请求,数据分配请求用于请求获取目标数据分片;接收第二服务器反馈的数据分配请求的请求结果;在请求结果指示允许获取目标数据分片时,获取目标数据分片。采用本公开提供的数据获取及分配方法、装置、服务器、存储介质,能够避免数据的漏处理,提高数据处理的可靠性。
Description
技术领域
本公开涉及通信技术领域,尤其涉及一种数据获取及分配方法、装置、服务器、存储介质。
背景技术
随着网络平台的业务规模的不断扩大,网络平台的服务器所要处理的数据数量也随之增加,服务器中的单个实例节点可能已经无法及时地完成所有业务的数据处理。因此,需要为服务器部署多个实例节点,以利用多个实例节点实现对海量且持续新增的数据的并行处理。
在相关技术中,服务器中的一个实例节点一般固定获取某一个或者某几个业务的数据并对其进行处理。一旦服务器中的实例节点发生故障,可能导致该实例节点所获取的数据的漏处理,使数据处理的可靠性较低。
发明内容
本公开提供一种数据获取及分配方法、装置、服务器、存储介质,以至少解决相关技术中可能导致数据的漏处理的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种数据获取方法,应用于第一服务器,该方法包括:第一服务器中的目标实例节点接收第二服务器发送的目标实例分配记录;其中,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识;在目标实例分配记录满足未分配数据判断条件时,向第二服务器发送数据分配请求;其中,数据分配请求用于请求获取目标数据分片;接收第二服务器反馈的数据分配请求的请求结果;在请求结果指示允许获取目标数据分片时,获取目标数据分片。
在其中一个实施例中,在第一服务器中的目标实例节点接收第二服务器发送的目标实例分配记录之前,该方法还包括:目标实例节点向第二服务器发送第一查询请求;其中,第一查询请求用于获取目标实例分配记录。
在其中一个实施例中,未分配数据判断条件包括目标实例分配记录为空;或者,数据分配请求携带有目标实例分配记录和目标实例节点对应的实例标识,数据分配请求还用于使第二服务器在目标实例分配记录与目标数据分片对应的实时实例分配记录相同的情况下,利用目标实例节点对应的实例标识,更新实时实例分配记录。
在其中一个实施例中,在目标实例分配记录满足未分配数据判断条件时,向第二服务器发送数据分配请求之前,该方法还包括:接收第二服务器发送的存活实例记录;其中,存活实例记录包括至少一个存活实例节点对应的实例标识,存活实例节点为处于存活状态的实例节点;其中,未分配数据判断条件还包括目标实例分配记录非空且目标实例分配记录所记录的实例标识未存在于存活实例记录中。
在其中一个实施例中,在接收第二服务器发送的存活实例记录之前,该方法还包括:向第二服务器发送第二查询请求;其中,第二查询请求用于获取存活实例记录。
在其中一个实施例中,在获取目标数据分片之后,该方法还包括:将目标数据分片加入待处理分片集合;
其中,在向第二服务器发送数据分配请求之前,该方法还包括:确定待处理分片集合中的数据分片数量;
其中,向第二服务器发送数据分配请求,包括:在数据分片数量小于预设数量阈值的情况下,向第二服务器发送数据分配请求。
在其中一个实施例中,在接收第二服务器发送的存活实例记录之前,该方法还包括:向第二服务器发送实例注册请求;其中,实例注册请求携带有目标实例节点对应的实例标识,实例注册请求用于将目标实例节点对应的实例标识加入存活实例记录。
在其中一个实施例中,在向第二服务器发送实例注册请求之后,该方法还包括:接收实例重启指令;响应于实例重启指令,向第二服务器发送实例清除请求;其中,实例清除请求携带有目标实例节点对应的实例标识,实例清除请求用于将目标实例节点对应的实例标识从存活实例记录中删除。
根据本公开实施例的第二方面,提供一种数据分配方法,应用于第二服务器,包括:第二服务器中的协调服务节点向第一服务器发送目标实例分配记录;其中,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识;接收第一服务器发送的数据分配请求;响应于数据分配请求,对数据分配请求进行处理,得到数据分配请求的请求结果;向第一服务器反馈请求结果。
在其中一个实施例中,在第二服务器中的协调服务节点向第一服务器发送目标实例分配记录之前,该方法还包括:协调服务节点接收第一服务器发送的第一查询请求;其中,第一查询请求用于获取目标实例分配记录;响应于第一查询请求,在至少一个实例分配记录中,查询目标数据分片对应的目标实例分配记录。
在其中一个实施例中,在接收第一服务器发送的数据分配请求之前,该方法还包括:向第一服务器发送存活实例记录;其中,存活实例记录包括至少一个存活实例节点对应的实例标识,存活实例节点为处于存活状态的实例节点。
在其中一个实施例中,在向第一服务器发送存活实例记录之前,该方法还包括:接收第一服务器发送的第二查询请求;其中,第二查询请求用于获取存活实例记录。
在其中一个实施例中,数据分配请求携带有目标实例分配记录和第一服务器中的目标实例节点对应的实例标识;其中,对数据分配请求进行处理,得到数据分配请求的请求结果,包括:查询目标数据分片对应的实时实例分配记录;在目标实例分配记录与实时实例分配记录相同的情况下,得到指示允许获取目标数据分片的请求结果;利用目标实例节点对应的实例标识,更新实时实例分配记录。
在其中一个实施例中,在向第一服务器发送存活实例记录之前,该方法还包括:接收第一服务器发送的实例注册请求;其中,实例注册请求携带有第一服务器中的目标实例节点对应的实例标识;响应于实例注册请求,将目标实例节点对应的实例标识加入存活实例记录。
在其中一个实施例中,在将目标实例节点对应的实例标识加入存活实例记录之后,该方法还包括:接收第一服务器发送的实例清除请求;其中,实例清除请求携带有目标实例节点对应的实例标识;响应于实例清除请求,将目标实例节点对应的实例标识从存活实例记录中删除;
或者,在将目标实例节点对应的实例标识加入存活实例记录之后,该方法还包括:监测目标实例节点的节点心跳;在未监测到节点心跳的时长大于或等于预设时长的情况下,将目标实例节点对应的实例标识从存活实例记录中删除。
在其中一个实施例中,在将目标实例节点对应的实例标识从存活实例记录中删除之后,该方法还包括:在至少一个实例分配记录中,查询包括目标实例节点对应的实例标识的待释放实例分配记录;释放待释放实例分配记录的记录内容。
根据本公开实施例的第三方面,提供一种数据获取装置,应用于第一服务器,包括:第一接收单元,被配置为执行接收第二服务器发送的目标实例分配记录;其中,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识;第一发送单元,被配置为在目标实例分配记录满足未分配数据判断条件时,向第二服务器发送数据分配请求;其中,数据分配请求用于请求获取目标数据分片;第二接收单元,被配置为执行接收第二服务器反馈的数据分配请求的请求结果;第一获取单元,被配置为在请求结果指示允许获取目标数据分片时,获取目标数据分片。
在其中一个实施例中,该装置还包括:第二发送单元,被配置为执行向第二服务器发送第一查询请求;其中,第一查询请求用于获取目标实例分配记录。
在其中一个实施例中,未分配数据判断条件包括目标实例分配记录为空;或是,数据分配请求携带有目标实例分配记录和目标实例节点对应的实例标识,数据分配请求还用于使第二服务器在目标实例分配记录与目标数据分片对应的实时实例分配记录相同的情况下,利用目标实例节点对应的实例标识,更新实时实例分配记录。
在其中一个实施例中,该装置还包括:第三接收单元,被配置为执行接收第二服务器发送的存活实例记录;其中,存活实例记录包括至少一个存活实例节点对应的实例标识,存活实例节点为处于存活状态的实例节点;其中,未分配数据判断条件还包括目标实例分配记录非空且目标实例分配记录所记录的实例标识未存在于存活实例记录中。
在其中一个实施例中,该装置还包括:第三发送单元,被配置为执行向第二服务器发送第二查询请求;其中,第二查询请求用于获取存活实例记录。
在其中一个实施例中,该装置还包括:第一处理单元,被配置为执行将目标数据分片加入待处理分片集合;
其中,该装置还包括:第一确定单元,被配置为执行确定待处理分片集合中的数据分片数量;
其中,第一发送单元被进一步配置为执行:在数据分片数量小于预设数量阈值的情况下,向第二服务器发送数据分配请求。
在其中一个实施例中,该装置还包括:第四发送单元,被配置为执行向第二服务器发送实例注册请求;其中,实例注册请求携带有目标实例节点对应的实例标识,实例注册请求用于将目标实例节点对应的实例标识加入存活实例记录。
在其中一个实施例中,该装置还包括:第四接收单元,被配置为执行接收实例重启指令;第五发送单元,被配置为执行响应于实例重启指令,向第二服务器发送实例清除请求;其中,实例清除请求携带有目标实例节点对应的实例标识,实例清除请求用于将目标实例节点对应的实例标识从存活实例记录中删除。
根据本公开实施例的第四方面,提供一种数据分配装置,应用于第二服务器,包括:第六发送单元,被配置为执行向第一服务器发送目标实例分配记录;其中,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识;第五接收单元,被配置为执行接收第一服务器发送的数据分配请求;第二处理单元,被配置为执行响应于数据分配请求,对数据分配请求进行处理,得到数据分配请求的请求结果;第七发送单元,被配置为执行向第一服务器反馈请求结果。
在其中一个实施例中,该装置还包括:第六接收单元,被配置为执行接收第一服务器发送的第一查询请求;其中,第一查询请求用于获取目标实例分配记录;第三处理单元,被配置为执行响应于第一查询请求,在至少一个实例分配记录中,查询目标数据分片对应的目标实例分配记录。
在其中一个实施例中,该装置还包括:第八发送单元,被配置为执行向第一服务器发送存活实例记录;其中,存活实例记录包括至少一个存活实例节点对应的实例标识,存活实例节点为处于存活状态的实例节点。
在其中一个实施例中,该装置还包括:第七接收单元,被配置为执行接收第一服务器发送的第二查询请求;其中,第二查询请求用于获取存活实例记录。
在其中一个实施例中,数据分配请求携带有目标实例分配记录和第一服务器中的目标实例节点对应的实例标识;
其中,第二处理单元包括:记录查询单元,被配置为执行查询目标数据分片对应的实时实例分配记录;结果判定单元,被配置为在目标实例分配记录与实时实例分配记录相同的情况下,得到指示允许获取目标数据分片的请求结果;记录更新单元,被配置为利用目标实例节点对应的实例标识,更新实时实例分配记录。
在其中一个实施例中,该装置还包括:第八接收单元,被配置为执行接收第一服务器发送的实例注册请求;其中,实例注册请求携带有第一服务器中的目标实例节点对应的实例标识;第四处理单元,被配置为执行响应于实例注册请求,将目标实例节点对应的实例标识加入存活实例记录。
在其中一个实施例中,该装置还包括:第九接收单元,被配置为执行接收第一服务器发送的实例清除请求;其中,实例清除请求携带有目标实例节点对应的实例标识;第五处理单元,被配置为执行响应于实例清除请求,将目标实例节点对应的实例标识从存活实例记录中删除;
或者,该装置还包括:第一监测单元,被配置为执行监测目标实例节点的节点心跳;第六处理单元,被配置为在未监测到节点心跳的时长大于或等于预设时长的情况下,将目标实例节点对应的实例标识从存活实例记录中删除。
在其中一个实施例中,该装置还包括:第七处理单元,被配置为在至少一个实例分配记录中,查询包括目标实例节点对应的实例标识的待释放实例分配记录;第八处理单元,被配置为执行释放待释放实例分配记录的记录内容。
根据本公开实施例的第五方面,提供一种服务器,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现如第一方面所述的数据获取方法或者第二方面所述的数据分配方法。
根据本公开实施例的第六方面,提供一种存储介质,当存储介质中的指令由服务器的处理器执行时,使得服务器能够执行如第一方面所述的数据获取方法或者第二方面所述的数据分配方法。
根据本公开实施例的第七方面,提供一种计算机程序产品,当计算机程序产品中的指令由服务器的处理器执行时,使得服务器能够执行如第一方面所述的数据获取方法或者第二方面所述的数据分配方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
在本公开实施例中,第一服务器中的目标实例节点能够接收第二服务器发送的目标实例分配记录,在目标实例分配记录满足未分配数据判断条件时,向第二服务器发送数据分配请求,以向第二服务器请求获取目标数据分片,并且在接收到第二服务器反馈的数据分配请求的请求结果之后,在请求结果指示允许获取目标数据分片时,获取目标数据分片,从而实现对数据分片的动态获取,使得每个数据分片都能被处于存活状态的实例节点获取并处理,避免了数据的漏处理,提高了数据处理的可靠性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种网络平台数据处理系统的系统架构图。
图2是根据一示例性实施例示出的另一种网络平台数据处理系统的系统架构图。
图3是根据一示例性实施例示出的一种直播平台数据处理系统的系统架构图。
图4是根据一示例性实施例示出的图2所示的网络平台数据处理系统的交互流程图。
图5是根据一示例性实施例示出的一种数据获取方法的流程图。
图6是根据一示例性实施例示出的一种实例分配记录的判断过程的流程图。
图7是根据一示例性实施例示出的一种数据抢占过程的流程图。
图8是根据一示例性实施例示出的另一种数据获取方法的流程图。
图9是根据一示例性实施例示出的一种实例节点的数据获取过程的流程图。
图10是根据一示例性实施例示出的一种数据分配方法的流程图。
图11是根据一示例性实施例示出的一种数据分片记录的数据结构示意图。
图12是根据一示例性实施例示出的一种存活实例记录的数据结构示意图。
图13是根据一示例性实施例示出的一种数据获取装置的框图。
图14是根据一示例性实施例示出的一种数据分配装置的框图。
图15是根据一示例性实施例示出的一种服务器的框图。
图16是根据一示例性实施例示出的用于数据处理的设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
随着网络平台的业务规模的不断扩大,网络平台的服务器所要处理的数据数量也随之增加,服务器中的单个实例节点可能已经无法及时地完成所有业务的数据处理。因此,需要为服务器部署多个实例节点,以利用多个实例节点实现对海量且持续新增的数据的并行处理。
下面,以图1为例说明相关技术中多个实例节点并行处理数据的具体实现方式。
图1是根据一示例性实施例示出的一种网络平台数据处理系统的系统架构图。如图1所示,该网络平台数据处理系统包括数据分配服务器101和多个数据处理服务器102。
其中,数据分配服务器101中的数据分配节点内可以存储有预设映射规则,该预设映射规则用于指示不同业务类型和不同数据处理服务器102中的实例节点之间的对应关系,数据分配节点可以基于该预设映射规则,根据每个数据分片所属的业务类型,将其分配给负责该业务类型对应的实例节点。为了提高数据分配节点的数据分配效率,各个实例节点之间所负责的业务互不重叠。
一个数据处理服务器102中的一个实例节点用于运行数据处理应用的一个实例,数据处理应用可以用于获取并处理应用数据分配服务器101中的数据分配节点所分配的数据分片。在多个实例节点同时运行的情况下,多个实例节点形成分布式应用,通过不同的实例节点并行处理不同业务的数据分片,可以实现对网络平台所有业务的数据的并行处理,以提高网络平台的数据处理效率。
其中,数据分配节点可以为用于运行zookeeper应用的实例,数据分配节点还可以为用于运行其他具有映射规则存储功能和基于映射规则分配数据分片的分配功能的应用的实例,在此不做限制。
具体地,zookeeper是一个为分布式应用提供一致性服务的应用,该应用提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
以网络平台为直播平台为例,一个直播平台上有许多直播间,每个直播间均有需要定时刷新的数据,例如在线人数、礼物统计数据等,进而形成了海量且持续新增的数据。直播平台一般会在服务器中部署用于定时校验直播间数据的实例节点。然而,随着直播平台的业务规模的扩大,往往单个实例节点以及无法及时地完成所有直播间的数据校验,因此,需要在服务器中部署多个实例节点,将每个直播间数据作为一种业务的数据,使每个实例节点只负责某个或者某几个直播间数据的数据校验,从而提高直播间数据处理的效率。
但是,由于服务器中的一个实例节点一般固定获取某一个或者某几个业务的数据并对其进行处理。一旦服务器中的实例节点发生故障,可能导致该实例节点所获取的数据的漏处理,使数据处理的可靠性较低。
为了解决上述的问题,本公开提出了一种为数据分片动态分配实例节点的方案,使得数据分片都能被处于存活状态的实例节点获取并处理,以避免数据的漏处理。
图2是根据一示例性实施例示出的另一种网络平台数据处理系统的系统架构图。如图2所示,该网络平台数据处理系统包括多个第一服务器201和第二服务器202。其中,每个第一服务器201内设有至少一个实例节点,即一个第一服务器201可以设置一个实例节点,也可以设置两个或两个以上实例节点。第二服务器202内设有至少一个协调服务节点,即一个第二服务器202可以设置一个协调服务节点,也可以设置两个或两个以上协调服务节点。
具体地,一个实例节点用于运行数据处理应用的一个实例,协调服务节点用于运行为各个实例节点提供数据分片分配的协调服务的应用的实例。
在本公开实施例中,第二服务器202中的协调服务节点可以向第一服务器201中的处于存活状态的目标实例节点发送目标实例分配记录,该目标实例分配记录可以用于记录获取目标数据分片的实例节点对应的实例标识。第一服务器201中的处于存活状态的目标实例节点可以在接收到第二服务器202中的协调服务节点发送的目标实例分配记录之后,根据目标实例分配记录查询目标数据分片的分配情况,在目标实例分配记录满足未分配数据判断条件时,即在目标数据分片未分配实例节点时,向第二服务器202中的协调服务节点发送数据分配请求,以请求获取目标数据分片。第二服务器202中的协调服务节点在接收到第一服务器201中的处于存活状态的目标实例节点发送的数据分配请求之后,可以响应于数据分配请求,对数据分配请求进行处理,得到数据分配请求的请求结果,并且向第一服务器201中的处于存活状态的目标实例节点反馈请求结果。第一服务器201中的处于存活状态的目标实例节点在接收到第二服务器202中的协调服务节点反馈的数据分配请求的请求结果之后,可以在请求结果指示允许获取目标数据分片的情况下,获取目标数据分片,以对目标数据分片进行数据处理,得到数据处理结果。
由此,在图2所示的网络平台数据处理系统中,第一服务器201中的处于存活状态的目标实例节点可以通过判断目标实例分配记录是否满足未分配数据判断条件,来判断目标数据分片是否已经被分配了实例节点,然后在确定目标实例分配记录满足未分配数据判断条件即目标数据分片未被分配实例节点之后,向第二服务器202中的协调服务节点请求获取目标数据分片,并且在第二服务器202中的协调服务节点允许第一服务器201中的处于存活状态的目标实例节点获取目标数据分片之后,获取目标数据分片,从而实现了数据分片的动态分配,使得每个数据分片都能被处于存活状态的实例节点获取并处理,避免了数据的漏处理,提高了数据处理的可靠性。
在本公开一些实施例中,第二服务器202中的协调服务节点可以用于运行zookeeper应用的实例。在本公开另一些实施例中,第二服务器202中的协调服务节点还可以用于运行其他具有实力协调服务功能的应用的实例,在此不做限制。
在本公开实施例中,图2所示的网络平台数据处理系统可以应用于各种场景,例如,云计算平台、直播平台、电商平台等。下面以该网络平台数据处理系统为直播平台数据处理系统进行说明。
图3是根据一示例性实施例示出的一种直播平台数据处理系统的系统架构图。如图3所示,该直播平台数据处理系统包括多个直播数据处理服务器301和直播数据分配服务器302。其中,每个直播数据处理服务器301内设有至少一个直播数据处理实例节点,即一个直播数据处理服务器301可以设置一个直播数据处理实例节点,也可以设置两个或两个以上直播数据处理实例节点。直播数据分配服务器302内设有至少一个直播数据协调服务节点,即一个直播数据分配服务器302可以设置一个直播数据协调服务节点,也可以设置两个或两个以上直播数据协调服务节点。
具体地,一个直播数据处理实例节点用于运行实现直播间数据处理的应用的一个实例,直播数据协调服务节点用于运行为各个实例节点提供直播间数据分片分配的协调服务的应用的实例。
在本公开实施例中,直播数据分配服务器302中的直播数据协调服务节点可以向直播数据处理服务器301中的处于存活状态的目标直播数据处理实例节点发送目标实例分配记录,该目标实例分配记录可以用于记录获取目标直播间数据分片的直播数据处理实例节点对应的实例标识。直播数据处理服务器301中的处于存活状态的目标直播数据处理实例节点可以在接收到直播数据分配服务器302中的直播数据协调服务节点发送的目标实例分配记录之后,根据目标实例分配记录查询目标直播间数据分片的分配情况,在目标实例分配记录满足未分配数据判断条件时,即在目标直播间数据分片未分配实例节点时,向直播数据分配服务器302中的直播数据协调服务节点发送数据分配请求,以请求获取目标直播间数据分片。直播数据分配服务器302中的直播数据协调服务节点在接收到直播数据处理服务器301中的处于存活状态的目标直播数据处理实例节点发送的数据分配请求之后,可以响应于数据分配请求,对数据分配请求进行处理,得到数据分配请求的请求结果,并且向直播数据处理服务器301中的处于存活状态的目标直播数据处理实例节点反馈请求结果。直播数据处理服务器301中的处于存活状态的目标直播数据处理实例节点在接收到直播数据分配服务器302中的直播数据协调服务节点反馈的数据分配请求的请求结果之后,可以在请求结果指示允许获取目标直播间数据分片的情况下,获取目标直播间数据分片,以对目标直播间数据分片进行数据处理,得到数据处理结果。
由此,在图3所示的直播平台数据处理系统中,可以实现对直播间数据分片的动态分配,使得每个直播间数据分片都能被处于存活状态的直播数据处理实例节点获取并处理,避免了数据的漏处理,提高了数据处理的可靠性,保证了每个直播间内的数据(例如在线人数、礼物统计数据等)的定时更新。
图4是根据一示例性实施例示出的图2所示的网络平台数据处理系统的交互流程图。如图4所示,以该网络平台数据处理系统中的一个第一服务器中的一个处于存活状态的实例节点和第二服务器202中的协调服务节点为例,该网络平台数据处理系统的交互流程如下:
在S402中,协调服务节点向实例节点发送目标实例分配记录,该目标实例分配记录可以用于记录获取目标数据分片的实例节点对应的实例标识;
在S404中,实例节点在接收到协调服务节点发送的目标实例分配记录之后,判断目标实例分配记录是否满足未分配数据判断条件;
具体地,如果目标实例分配记录满足未分配数据判断条件,则可以确定目标数据分片尚未分配处于存活状态的实例节点;如果目标实例分配记录满足未分配数据判断条件,则可以确定目标数据分片已分配了处于存活状态的实例节点。
在S406中,实例节点在确定目标实例分配记录满足未分配数据判断条件时,向协调服务节点发送数据分配请求,以请求获取目标数据分片;
在S408中,协调服务节点在接收到实例节点发送的数据分配请求之后,响应于数据分配请求,对数据分配请求进行处理,得到数据分配请求的请求结果;
在S410中,协调服务节点向实例节点反馈请求结果,以通知该实例节点是否允许其获取目标数据分片;
在S412中,实例节点在接收到协调服务节点反馈的数据分配请求的请求结果之后,在请求结果指示允许获取目标数据分片的情况下,获取目标数据分片,以对目标数据分片进行数据处理,得到数据处理结果。
具体地,在请求结果指示不允许获取目标数据分片的情况下,可以确定目标数据分片已分配给了其他处于存活状态的实例节点,并可以由其他处于存活状态的实例节点获取及处理。
上述各步骤的具体实现方式将在下文中进行详细描述。
由此,网络平台数据处理系统通过图4所示的交互流程,能够实现数据分片的动态分配,使得每个数据分片都能被处于存活状态的实例节点获取并处理,避免了数据的漏处理,提高了数据处理的可靠性。
基于本公开提出的一种为数据分片动态分配实例节点的方案,本公开还提供了用于实现数据分片动态分配实例节点的数据获取及分配方法、装置、服务器、存储介质。下面,首先对本公开提供的数据获取方法进行说明。
图5是根据一示例性实施例示出的一种数据获取方法的流程图。如图5所示,该数据获取方法可以由第一服务器执行,具体地,可以由第一服务器中的实例节点执行,例如,可以由图2中所示的第一服务器201中的处于存活状态的目标实例节点执行。
如图5所示,该数据获取方法可以包括以下步骤。
在S510中,第一服务器中的目标实例节点接收第二服务器发送的目标实例分配记录。
其中,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识。
在S520中,在目标实例分配记录满足未分配数据判断条件时,向第二服务器发送数据分配请求。
其中,数据分配请求用于请求获取目标数据分片。
在S530中,接收第二服务器反馈的数据分配请求的请求结果。
在S540中,在请求结果指示允许获取目标数据分片时,获取目标数据分片。
上述各步骤的具体实现方式将在下文中进行详细描述。
在本公开实施例中,第一服务器中的目标实例节点能够接收第二服务器发送的目标实例分配记录,在目标实例分配记录满足未分配数据判断条件时,向第二服务器发送数据分配请求,以向第二服务器请求获取目标数据分片,并且在接收到第二服务器反馈的数据分配请求的请求结果之后,在请求结果指示允许获取目标数据分片时,获取目标数据分片,从而实现对数据分片的动态获取,使得每个数据分片都能被处于存活状态的实例节点获取并处理,避免了数据的漏处理,提高了数据处理的可靠性。
下面介绍上述各个步骤的具体实现方式。
在本公开一些实施例中,目标数据分片可以为第二服务器所协调分片的任意一个数据分片,目标实例分配记录可以为用于记录获取该数据分片的实例节点对应的实例标识。
在本公开实施例的S510中,第一服务器中的目标实例节点可以接收第二服务器中的协调服务节点发送的目标实例分配记录。其中,协调服务节点可以为图2中所示的第二服务器202中的协调服务节点。
在本公开一些实施例的S510中,目标实例节点可以每隔预设时间间隔接收第二服务器中的协调服务节点发送的目标实例分配记录,以定时判断目标实例分配记录是否满足未分配数据判断条件,进而基于判断结果判断目标实例分配记录所涉及的目标数据分片是否已经被分配了实例节点。
其中,预设时间间隔可以为由用户根据需要设定的时间间隔,例如,1秒、100毫秒等,在此不做限制。
在本公开实施例中,目标数据分片已经被分配了实例节点指目标数据分片已经被分配了处于存活状态的实例节点,目标数据分片未被分配实例节点指目标数据分片尚无已被分配的实例节点或所分配的实例节点处于非存活状态。
在本公开一些实施例的S510中,目标实例节点可以接收第二服务器中的协调服务节点基于用于获取目标数据分片对应的目标实例分配记录的第一查询请求所发送的目标实例分配记录。
在这些实施例中,可选地,在S510之前,该数据获取方法还可以进一步包括以下步骤:
目标实例节点向第二服务器发送第一查询请求;其中,第一查询请求用于获取目标实例分配记录。
具体地,协调服务节点中可以存储有至少一个实例分配记录,一个实例分配记录对应一个数据分片。目标实例节点可以每隔预定时间间隔向协调服务节点发送用于获取目标数据分片对应的目标实例分配记录的第一查询请求,以使协调服务节点响应于第一查询请求向目标实例节点反馈目标实例分配记录。
其中,预设时间间隔可以为由用户根据需要设定的时间间隔,例如,1秒、100毫秒等,在此不做限制。协调服务节点响应于第一查询请求向目标实例节点反馈目标实例分配记录的具体实现方式将在下文详细说明。
由此,本公开实施例能够在目标实例节点需要获取目标数据分片时,主动向第二服务器请求获取目标实例分配记录,以判断目标实例分配记录是否满足未分配数据判断条件,进而基于判断结果判断目标实例分配记录所涉及的目标数据分片是否已经被分配了实例节点,进而进一步减少数据处理量,并且提高数据处理效率。
以上为S510的具体实现方式,下面将介绍S520的具体实现方式。
在本公开一些实施例中,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识。目标实例分配记录的不同记录内容可以对应不同的版本号。例如,记录内容为空可以对应一个版本号,当记录内容由空变为一个实例节点的实例标识时,可以对应一个新的版本号,当获取目标数据分片的实例节点变更时,实例标识随实例节点一同变更,即记录内容由该实例节点的实例标识变为新的实例节点的实例标识,使得目标实例分配记录的版本号也随之变更。
其中,实例标识可以为用于区分各个实例节点的字符串,实例标识可以由数字、字母和符号中的至少一种构成,一个实例节点对应一个实例标识。
可选地,目标实例分配记录的版本号可以与记录内容相同,版本号也可以用于指示目标实例分配记录的记录内容的变更次数,每个变更次数对应该次变更的实例节点的实例标识。
在本公开一些实施例的S520中,未分配数据判断条件可以包括目标实例分配记录为空。
具体地,目标实例节点可以接收协调服务节点发送的目标实例分配记录,然后首先判断目标实例分配记录为空,即目标实例分配记录的记录内容是否为空,如果目标实例分配记录为空,则可以确定目标数据分片未被分配实例节点,可以向第二服务器中的协调服务节点发送用于请求获取目标数据分片的数据分配请求,否则,目标实例节点需要根据目标实例分配记录的记录内容进一步判断目标数据分片是否已经被分配了实例节点。
由此,本公开实施例能够利用目标实例分配记录快速判断目标数据分片是否已经被分配了实例节点,并且在目标实例分配记录为空的情况下,快速确定目标数据分片未被分配实例节点,减少数据处理量,进一步提高数据处理效率。
在本公开另一些实施例的S520中,目标实例节点还可以在目标实例分配记录不为空的情况下,基于目标实例分配记录的记录内容,进一步判断目标数据分片是否已经被分配了实例节点。
可选地,在S520之前,该数据获取方法还可以进一步包括以下步骤:
接收第二服务器发送的存活实例记录;其中,存活实例记录包括至少一个存活实例节点对应的实例标识,存活实例节点为处于存活状态的实例节点。
在一些实施例中,目标实例节点可以每隔预设时间间隔接收第二服务器中的协调服务节点发送的存活实例记录,以定时根据存活实例记录进一步判断目标实例分配记录是否满足未分配数据判断条件,进而基于判断结果判断目标实例分配记录所涉及的目标数据分片是否已经被分配了实例节点。
其中,预设时间间隔可以为由用户根据需要设定的时间间隔,例如,1秒、100毫秒等,在此不做限制。
在另一些实施例中,目标实例节点可以接收第二服务器中的协调服务节点基于用于获取存活实例记录的第二查询请求所发送的存活实例记录。
在这些实施例中,可选地,在接收第二服务器发送的存活实例记录之前,该数据获取方法还可以进一步包括以下步骤:
向第二服务器发送第二查询请求;其中,第二查询请求用于获取存活实例记录。
具体地,第二服务器中的协调服务节点可以基于各个实例节点是否处于存活状态,实时地更新存活实例记录。存活状态指的是实例节点处于正常运行状态,即实例节点未发生重启、宕机等机器故障问题。目标实例节点可以每隔预定时间间隔向第二服务器中的协调服务节点发送用于获取存活实例记录的第二查询请求,以使协调服务节点响应于第二查询请求向实例节点反馈存活实例记录。
其中,预设时间间隔可以为由用户根据需要设定的时间间隔,例如,1秒、100毫秒等,在此不做限制。协调服务节点响应于第一查询请求向目标实例节点反馈目标实例分配记录的具体实现方式将在下文详细说明。
在本公开一些实施例的S520中,未分配数据判断条件还可以包括目标实例分配记录非空且目标实例分配记录所记录的实例标识未存在于存活实例记录中。
具体地,目标实例节点还可以接收存活实例记录,并在目标实例分配记录不为空的情况下,查询所接收的存活实例记录中是否存在目标实例分配记录的记录内容中所记录的实例标识,如果存活实例记录中不存在该实例标识,则可以确定该实例标识对应的实例节点处于非存活状态,即目标数据分片已分配的实例节点处于非存活状态,目标数据分片未被分配实例节点,否则,可以确定该实例标识对应的实例节点处于存活状态,即目标数据分片已分配的实例节点处于存活状态,目标数据分片已经被分配了实例节点,不对目标数据分片进行获取,即不向协调服务节点发送用于请求获取目标数据分片的数据分配请求。
由此,本公开实施例能够在目标实例分配记录不为空的情况下,基于存活实例记录快速查询目标实例分配记录所记录的实例标识对应的实例节点是否处于存活状态,以对目标数据分片是否已经被分配了实例节点进而二次确认,避免数据的漏处理,并进一步提高数据处理的可靠性。
图6是根据一示例性实施例示出的一种实例分配记录的判断过程的流程图。如图6所示,目标实例节点判断实例分配记录是否满足未分配数据判断条件的过程可以包括以下步骤。
在S602中,向第二服务器中的协调服务节点发送第一查询请求和第二查询请求,以获取协调服务节点反馈的目标数据分片对应的目标实例分配记录和存活实例记录。
在S604中,判断目标实例分配记录是否为空,如果是,则执行S606,如果不是,则执行S608。
在S606中,确定目标实例分配记录满足未分配数据判断条件,目标数据分片未被分配实例节点。
在S608中,判断目标实例分配记录的记录内容中所记录的实例标识是否存在于存活实例记录中,如果是,则执行S610,如果不是,则执行S606。
在S610中,确定目标实例分配记录不满足未分配数据判断条件,目标数据分片已经被分配了实例节点。
在本公开一些实施例中,为了避免数据的重复处理,在接收第二服务器发送的存活实例记录之前,该数据获取方法还可以进一步包括以下步骤:
向第二服务器发送实例注册请求;其中,实例注册请求携带有目标实例节点对应的实例标识,实例注册请求用于将目标实例节点对应的实例标识加入存活实例记录。
具体地,目标实例节点在启动后,可以向第二服务器中的协调服务节点发送实例注册请求,使协调服务节点可以将目标实例节点对应的实例标识加入存活实例记录,以使目标实例节点被登记为处于存活状态,从而使其他实例节点可以基于存活实例记录中的目标实例节点的实例标识确定目标实例节点处于存活状态,进而避免其他实例节点重复处理被分配给该目标实例节点的数据分片。
在本公开一些实施例中,为了进一步避免数据的漏处理,在向第二服务器发送实例注册请求之后,目标实例节点
接收实例重启指令;
响应于实例重启指令,向第二服务器发送实例清除请求;其中,实例清除请求携带有目标实例节点对应的实例标识,实例清除请求用于将目标实例节点对应的实例标识从存活实例记录中删除。
具体地,目标实例节点在接收到实例重启指令之后,可以响应于实例重启指令,向第二服务器中的协调服务节点发送实例清除请求,以使协调服务节点可以将目标实例节点对应的实例标识从存活实例记录中删除,以使目标实例节点被登记为处于非存活状态,从而使协调服务节点可以将被分配给目标实例节点的数据分片重新动态分配给其他实例节点,使其他实例节点可以完成对该数据分片的处理,进一步避免数据的漏处理。
以上为S520的具体实现方式,下面将介绍S530和S540的具体实现方式。
在本公开一些实施例中,在目标实例节点向第二服务器中的协调服务节点发送数据分配请求之后,协调服务节点可以响应于该数据分配请求,对数据分配请求进行处理,得到数据分配请求的请求结果,该请求结果用于指示是否允许目标实例节点允许获取目标数据分片,并将请求结果反馈给目标实例节点。目标实例节点可以在接收到第二服务器反馈的数据分配请求的请求结果之后,在请求结果指示允许获取目标数据分片时,获取目标数据分片,以对目标数据分片进行处理,得到目标数据分片的数据处理结果。
可选地,数据分配请求可以携带有目标实例分配记录和目标实例节点对应的实例标识,数据分配请求还可以用于使第二服务器中的协调服务节点在目标实例分配记录与目标数据分片对应的实时实例分配记录相同的情况下,利用目标实例节点对应的实例标识,更新实时实例分配记录。其中,协调服务节点处理数据分配请求的具体实现方式将在下文说明。
图7是根据一示例性实施例示出的一种数据抢占过程的流程图。如图7所示,实例节点的数据抢占过程可以包括以下步骤。
在S702中,目标实例节点可以获取目标数据分片对应的目标实例分配记录和存活实例记录,其中,目标实例分配记录的版本号为V。
在S704中,判断目标实例分配记录是否为空,如果是,则执行S706,如果不是,则执行S708。
在S706中,向协调服务节点发送用于请求获取目标数据分片的数据分配请求,然后执行S710。其中,数据分配请求可以携带有目标实例分配记录和目标实例节点对应的实例标识,数据分配请求还可以用于使第二服务器中的协调服务节点在目标实例分配记录与目标数据分片对应的实时实例分配记录相同的情况下,利用目标实例节点对应的实例标识,更新实时实例分配记录,并且将目标实例分配记录的版本号更新为V+1。
在S708中,查询目标实例分配记录所记录的实例标识是否存在于存活实例记录中,以判断所记录的实例标识对应的实例节点是否处于存活状态,如果是,则执行S714,如果不是,则执行S706。
在S710中,接收目标节点反馈的数据分配请求的请求结果,并判断请求结果是否指示允许获取目标数据分片,如果是,则执行S712,如果不是则执行S714。
在S712中,获取目标数据分片。
在S714中,确定目标数据分片已分配给其他实例节点。
由此,目标实例节点可以在确定目标数据分片未被分配实例节点的情况下,通过向目标节点发送数据分配请求的方式,对目标数据分片进行抢占,并且在确定接收到的判断请求结果指示允许获取目标数据分片,确定对目标数据分片抢占成功,并获取目标数据分片,以对目标数据分片进行处理,进而可以避免目标数据分片被重复分配及处理。
图8是根据一示例性实施例示出的另一种数据获取方法的流程图。如图8所示,该数据获取方法可以由第一服务器执行,具体地,可以由第一服务器中的实例节点执行,例如,可以由图2中所示的第一服务器201中的处于存活状态的目标实例节点执行。如图8所示,该数据获取方法可以包括以下步骤。
在S810中,第一服务器中的目标实例节点接收第二服务器发送的目标实例分配记录。
其中,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识。
在S820中,在目标实例分配记录满足未分配数据判断条件时,向第二服务器发送数据分配请求。
其中,数据分配请求用于请求获取目标数据分片。
在S830中,接收第二服务器反馈的数据分配请求的请求结果。
在S840中,在请求结果指示允许获取目标数据分片时,获取目标数据分片。
以上各个步骤的具体实施方式与图5所示实施例中的S510至S540相似,在此不做赘述。
在S850中,将目标数据分片加入待处理分片集合。
其中,待处理分片集合用于存储目标实例节点已经获取并且未处理的数据分片。
具体地,目标实例节点可以在获取到目标数据分片之后,然后将目标数据分片加入待处理分片集合,从而在预定时长后,对待处理分片集合中的数据分片统一进行处理,得到待处理分片集合中的每个数据分片的数据处理结果,并依次将每个处理完毕的数据分片从待处理分片集合中删除。
由此,目标实例节点可以对所获取的数据分片进行批量处理,进一步提高了数据处理效率。
在本公开一些实施例中,目标实例节点可以每隔预定时间间隔接收目标数据分片对应的目标实例分配记录,即无论待处理分片集合中的数据分片是否处理完毕,只要达到预定时间间隔,即开始获取新的数据分片。在本公开另一些实施例中,目标实例节点可以在待处理分片集合中的全部数据分片均处理完毕后,再接收目标数据分片对应的目标实例分配记录,以获取新的数据分片。
在本公开一些实施例中,为了进一步提高网络平台的所有业务的数据处理效率,在S820中,在向第二服务器发送数据分配请求之前,该数据获取方法还可以进一步包括以下步骤:
确定待处理分片集合中的数据分片数量。
相应地,S820中的向第二服务器发送数据分配请求可以具体包括:在数据分片数量小于预设数量阈值的情况下,向第二服务器发送数据分配请求。
具体地,目标实例节点可以根据自身的数据处理能力或者用户的设置,预先设置有可以批量处理的最大数据分片数量,该最大数据分片数量可以作为预设数量阈值。
目标实例节点可以在确定待处理分片集合中的数据分片数量之后,将数据分片数量与预设数量阈值进行比较,并且在数据分片数量小于预设数量阈值的情况下,向目标节点发送数据分配请求,进而保证目标实例节点的待处理的数据分片的数量小于最大数据分片数量,以进一步提高网络平台的所有业务的数据处理效率。
在本公开一些实施例中,目标实例节点在接收到实例重启指令之后,还可以响应于实例重启指令,清空待处理分片集合中已经存储的数据分片,避免实例节点重启后对该数据分片重复处理。
图9是根据一示例性实施例示出的一种实例节点的数据获取过程的流程图。如图9所示,目标实例节点的数据获取过程可以包括以下步骤。
在S902中,目标实例节点运行实例。
在S904中,目标实例节点向协调服务节点发送查询请求,以获取协调服务节点反馈的至少一个目标数据分片对应的目标实例分配记录和存活实例记录。
在S906中,目标实例节点基于接收到的目标实例分配记录和存活实例记录,确定至少一个目标数据分片中是否存在未分配实例节点的目标数据分片,如果是,则执行S908,如果不是,则重新执行S904。
在S908中,目标实例节点向协调服务节点发送针对每个未被分配实例节点的目标数据分片的数据分配请求。
在S910中,目标实例节点接收每个数据分配请求的请求结果,并判断是否存在至少一个请求结果指示允许获取目标数据分片,以确定是否存在允许获取的目标数据分片,如果是,则执行S912,如果不是,则执行S904。
在S912中,目标实例节点获取指示允许获取的目标数据分片,并将其加入待处理分片集合。
在S914中,目标实例节点判断待处理分片集合中是否不为空,即待处理分片集合中的待处理的数据分片数量是否大于零,如果是,则执行S916,如果不是,则执行S904。
在S916中,目标实例节点处理待处理分片集合中的数据分片。
在S918中,目标实例节点判断是否接收到实例重启指令,如果是,则执行S920,如果不是,则执行S904。
在S920中,目标实例节点清空待处理分片集合中已经存储的数据分片。
综上所述,在本公开实施例中,目标实例节点可以通过对目标数据分片是否已经被分配了实例节点的查询机制和对未被分配实例节点的目标数据分片的数据分配请求机制,提高数据处理的效率和可靠性,避免因机器故障等原因导致数据的漏处理等情况,同时可以降低开发和运维成本。
图10是根据一示例性实施例示出的一种数据分配方法的流程图。如图10所示,该数据分配方法可以由第二服务器执行,具体地,可以由第二服务器中的协调服务节点执行,例如,可以由图2中所示的第二服务器202中的协调服务节点执行。
如图10所示,该数据分配方法可以包括以下步骤。
在S1010中,第二服务器中的协调服务节点向第一服务器发送目标实例分配记录。
其中,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识。
在S1020中,接收第一服务器发送的数据分配请求。
在S1030中,响应于数据分配请求,对数据分配请求进行处理,得到数据分配请求的请求结果。
在S1040中,向第一服务器反馈请求结果。
在本公开实施例中,第二服务器中的协调服务节点能够向处于存活状态的向第一服务器发送用于记录获取目标数据分片的实例节点对应的实例标识的目标实例分配记录,然后在接收到第一服务器发送的数据分配请求时,响应于数据分配请求,对数据分配请求进行处理,得到数据分配请求的请求结果,并且向第一服务器反馈请求结果,从而可以实现对数据分片的动态分配,使得每个数据分片都能被处于存活状态的实例节点获取并处理,避免了数据的漏处理,提高了数据处理的可靠性。
下面介绍上述各个步骤的具体实现方式。
在本公开实施例的S1010中,第二服务器中的协调服务节点向第一服务器中的目标实例节点发送目标实例分配记录。
其中,第一服务器中的目标实例节点和目标实例分配记录已在上文说明,在此不做赘述。
在本公开一些实施例的S1010中,第二服务器中的协调服务节点可以每隔预设时间间隔向第一服务器中的目标实例节点发送目标实例分配记录,以使目标实例节点定时判断目标实例分配记录是否满足未分配数据判断条件,进而基于判断结果判断目标实例分配记录所涉及的目标数据分片是否已经被分配了实例节点。
其中,预设时间间隔可以为由用户根据需要设定的时间间隔,例如,1秒、100毫秒等,在此不做限制。
在本公开实施例中,可选地,协调服务节点可以具有存储功能,以存储至少一个实例分配记录,一个实例分配记录对应一个数据分片。
在本公开另一些实施例的S1010中,第二服务器中的协调服务节点还可以基于第一服务器中的目标实例节点发送的用于获取目标数据分片对应的目标实例分配记录的第一查询请求向第一服务器中的目标实例节点发送目标实例分配记录。
在本公开一些实施例中,在S1010之前,该数据分配方法还可以进一步包括以下步骤:
协调服务节点接收第一服务器发送的第一查询请求;其中,第一查询请求用于获取目标实例分配记录;
响应于第一查询请求,在至少一个实例分配记录中,查询目标数据分片对应的目标实例分配记录。
具体地,协调服务节点在接收到第一查询请求之后,可以在已存储的至少一个实例分配记录中查询目标数据分片对应的目标实例分配记录,并且将所查询到的目标实例分配记录反馈给目标实例节点。
具体地,目标数据分片可以为第二服务器所协调分片的任意一个数据分片,目标实例分配记录可以为用于记录获取该数据分片的实例节点对应的实例标识。
图11是根据一示例性实施例示出的一种数据分片记录的数据结构示意图。如图11所示,至少一个实例分配记录构成分片分配记录,分片分配记录以节点路径/shards的形式存储。该节点路径/shards下的每个路径节点对应一个数据分片,每个路径节点的节点内容为该数据分片对应的实例分配记录,该实例分配记录用于记录获取该数据分片的实例节点对应的实例标识。例如,节点路径/shards包括数据分片1对应的路径节点、数据分片2对应的路径节点、数据分片3对应的路径节点、……、数据分片N对应的路径节点,其中,数据分片1对应的路径节点的节点内容为实例标识A,即数据分片1被实例标识A获取。
协调服务节点在接收到第一查询请求之后,可以在节点路径/shards中基于查询目标数据分片对应的目标路径节点,然后获取目标路径节点的目标节点内容,即目标实例分配记录,并且将所查询到的目标实例分配记录反馈给目标实例节点。
以上为S1010的具体实现方式,下面将介绍S1020至S1040的具体实现方式。
在本公开一些实施例中,目标实例节点可以在确定目标数据分片未被分配实例节点的情况下,向协调服务节点发送用于请求获取目标数据分片的数据分配请求,在此不做赘述。
在本公开一些实施例中,数据分配请求可以携带有目标实例分配记录和第一服务器中的目标实例节点对应的实例标识。
在这些实施例中,可选地,S1030的具体方法可以包括:
查询目标数据分片对应的实时实例分配记录;
在目标实例分配记录与实时实例分配记录相同的情况下,得到指示允许获取目标数据分片的请求结果;
利用目标实例节点对应的实例标识,更新实时实例分配记录。
具体地,协调服务节点在接收到第一服务器中的目标实例节点发送的数据分配请求之后,可以查询其所存储的目标数据分片对应的实时实例分配记录,例如基于目标数据分片对应的目标路径节点的路径节点标识查询目标数据分片对应的实时实例分配记录,如果目标实例分配记录与实时实例分配记录相同相同,则可以确定目标实例节点为首个发送数据分配请求的实例节点,并得到指示允许获取目标数据分片的请求结果,然后利用利用目标实例节点对应的实例标识,更新实时实例分配记录,最后向第一服务器中的目标实例节点反馈请求结果。
在本公开另一些实施例中,在目标实例分配记录与实时实例分配记录不相同的情况下,则可以确定目标实例节点不是首个发送数据分配请求的实例节点,并得到指示不允许获取目标数据分片的请求结果,进而避免目标实例节点获取目标数据分片。
由于每个实例节点向协调服务节点发送针对目标数据分片的实例分配请求的过程都是独立的,因此,可能两个或两个以上的实例节点同时针对某个未被分配实例节点的数据分片向协调服务节点发送数据分配请求。针对这种情况,本公开实施例通过利用目标实例分配记录与实时实例分配记录进行比较的机制,判断首个发送数据分配请求的实例节点,并允许首个发送数据分配请求的实例节点获取该数据分片,来确保每个目标数据分片只被分配给一个实例节点,避免目标数据分片的重复处理。
在一些实施例中,由于实例分配记录的不同记录内容对应不同版本号,因此,可以说是通过版本号比较的机制来确定目标实例分配记录与实时实例分配记录是否相同。在另一些实施例中,还可以通过记录内容比较的机制来确定目标实例分配记录与实时实例分配记录是否相同。
在本公开另一些实施例中,协调服务节点可以具有存储功能,以存储存活实例记录。存活实例记录用于记录当前处于存活状态的实例节点对应的实例标识。在目标实例分配记录不为空的情况下,目标实例节点可以基于存活实例记录快速查询目标实例分配记录所记录的实例标识对应的实例节点是否处于存活状态,以对目标数据分片是否已经被分配了实例节点进而二次确认,避免数据的漏处理,并进一步提高数据处理的可靠性
在本公开一些实施例中,在S1020之前,该数据分配方法还可以进一步包括以下步骤:
向第一服务器发送存活实例记录;其中,存活实例记录包括至少一个存活实例节点对应的实例标识,存活实例节点为处于存活状态的实例节点。
在一些实施例中,第二服务器中的协调服务节点可以每隔预设时间间隔向第一服务器中的目标实例节点发送存活实例记录,以使目标实例节点定时根据存活实例记录进一步判断目标实例分配记录是否满足未分配数据判断条件,进而基于判断结果判断目标实例分配记录所涉及的目标数据分片是否已经被分配了实例节点。
其中,预设时间间隔可以为由用户根据需要设定的时间间隔,例如,1秒、100毫秒等,在此不做限制。
在另一些实施例中,第二服务器中的协调服务节点可以基于第一服务器中的目标实例节点发送的用于获取存活实例记录的第二查询请求向第一服务器中的目标实例节点发送存活实例记录。
在这些实施例中,可选地,在向第一服务器发送存活实例记录之前,该数据分配方法还可以进一步包括以下步骤:
接收第一服务器发送的第二查询请求;其中,第二查询请求用于获取存活实例记录。
具体地,第二服务器中的协调服务节点可以基于各个实例节点是否处于存活状态,实时地更新存活实例记录。存活状态指的是实例节点处于正常运行状态,即实例节点未发生重启、宕机等机器故障问题。
图12是根据一示例性实施例示出的一种存活实例记录的数据结构示意图。如图12所示,存活实例记录可以由至少一个处于存活状态的实例节点对应的实例标识构成。存活实例记录可以以节点路径/instances的形式存储。该节点路径/instances下的每个路径节点对应一个实例节点,每个路径节点的节点内容为一个处于存活状态的实例节点对应的实例标识。例如,节点路径/instances下的路径节点中的节点内容可以分别为实例节点A的实例标识A、实例节点B的实例标识B、实例节点C的实例标识C、……、实例节点M的实例标识M。
协调服务节点在接收到第二查询请求之后,可以获取节点路径/instances中的各个路径节点的节点内容,并且将所获取到的各个路径节点的节点内容作为存活实例记录反馈给目标实例节点。
由此,在本公开实施例中,协调服务节点可以通过向目标实例节点发送独立存储的分片分配记录和存活实例记录,以使目标实例节点基于分片分配记录和存活实例记录向其发送数据分配请求,以对各个数据分片进行自适应的协调和分配,提高了数据处理的可靠性。
在本公开一些实施例中,在向第一服务器发送存活实例记录之前,该数据分配方法还可以进一步包括以下步骤:
接收第一服务器发送的实例注册请求;其中,实例注册请求携带有第一服务器中的目标实例节点对应的实例标识;
响应于实例注册请求,将目标实例节点对应的实例标识加入存活实例记录。
具体地,协调服务节点在接收到实例注册请求之后,可以确定目标实例节点已启动,在为目标实例节点完成注册之后,可以将实例注册请求所携带的第一服务器中的目标实例节点对应的实例标识加入存活实例记录,以将该目标实例节点登记为处于存活状态。例如,可以将目标实例节点对应的实例标识加入存活实例记录对应的节点路径/instances中,以构成节点路径/instances中的最后一个路径节点的节点内容。
在本公开另一些实施例中,在将目标实例节点对应的实例标识加入存活实例记录之后,该数据分配方法还可以进一步包括以下步骤:
接收第一服务器发送的实例清除请求;其中,实例清除请求携带有目标实例节点对应的实例标识;
响应于实例清除请求,将目标实例节点对应的实例标识从存活实例记录中删除。
具体地,协调服务节点在接收到实例清除请求之后,可以确定目标实例节点即将处于非存活状态,可以将实例清除请求所携带的目标实例节点对应的实例标识从存活实例记录中删除,以使协调服务节点可以将目标实例节点获取到的数据分片重新动态分配给其他实例节点,使其他实例节点可以完成对该数据分片的处理,进一步避免数据的漏处理。
在本公开又一些实施例中,在将目标实例节点对应的实例标识加入存活实例记录之后,该数据分配方法还可以进一步包括以下步骤:
监测目标实例节点的节点心跳;
在未监测到节点心跳的时长大于或等于预设时长的情况下,将目标实例节点对应的实例标识从存活实例记录中删除。
具体地,协调服务节点在为目标实例节点完成注册之后,可以接收目标实例节点发送的节点心跳,并且基于节点心跳检测目标实例节点是否处于存活状态,在未监测到节点心跳的时长大于或等于预设时长的情况下,协调服务节点可以确定目标实例节点处于非存活状态,进而可以将目标实例节点对应的实例标识从存活实例记录中删除,以使协调服务节点可以将目标实例节点获取的数据分片重新动态分配给其他实例节点,使其他实例节点可以完成对该数据分片的处理,进一步避免数据的漏处理。
由此,在本公开实施例中,协调服务节点可以通过监测各个已注册的实例节点的节点心跳,来实时监控各个实例节点的监控状态,并且将不健康的实例节点对应的实例标识从存活实例记录中删除,避免出现因实例节点异常退出而可能导致数据的漏处理的问题。
在本公开再一些实施例中,,在将目标实例节点对应的实例标识从存活实例记录中删除之后,该数据分配方法还可以进一步包括以下步骤:
在至少一个实例分配记录中,查询包括目标实例节点对应的实例标识的待释放实例分配记录;
释放待释放实例分配记录的记录内容。
具体地,协调服务节点在将目标实例节点对应的实例标识从存活实例记录中删除之后,可以在查询记录内容包括目标实例节点对应的实例标识的待释放的实例分配记录,然后释放待释放的实例分配记录的记录内容,从而进一步避免数据的漏处理。
在本公开一些实施例中,协调服务节点可以预先配置该协调服务节点所对应的各个实例节点能够处理的数据分片总数和每个实例节点能够处理的最大数据分片数量,然后启动至少一个实例节点。
在一些实施例中,网络平台数据处理系统可以包括多个协调服务节点,每个协调服务节点可以协调多个实例节点。每个协调服务节点可以基于数据分片总数获取待处理的数据分片,每个实例节点能够基于最大数据分片数量向协调服务节点发送数据分配请求。
图13是根据一示例性实施例示出的一种数据获取装置的框图。参照图13,该数据获取装置1300可以包括第一接收单元1310、第一发送单元1320、第二接收单元1330和第一获取单元1340。
该第一接收单元1310可以被配置为执行接收第二服务器发送的目标实例分配记录;其中,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识。
该第一发送单元1320可以被配置为在目标实例分配记录满足未分配数据判断条件时,向第二服务器发送数据分配请求;其中,数据分配请求用于请求获取目标数据分片。
该第二接收单元1330可以被配置为执行接收第二服务器反馈的数据分配请求的请求结果。
该第一获取单元1340可以被配置为在请求结果指示允许获取目标数据分片时,获取目标数据分片。
在本公开实施例中,该数据获取装置1300能够接收第二服务器发送的目标实例分配记录,在目标实例分配记录满足未分配数据判断条件时,向第二服务器发送数据分配请求,以向第二服务器请求获取目标数据分片,并且在接收到第二服务器反馈的数据分配请求的请求结果之后,在请求结果指示允许获取目标数据分片时,获取目标数据分片,从而实现对数据分片的动态获取,使得每个数据分片都能被处于存活状态的实例节点获取并处理,避免了数据的漏处理,提高了数据处理的可靠性。
在本公开一些实施例中,该数据获取装置1300还可以包括第二发送单元,第二发送单元可以被配置为执行向第二服务器发送第一查询请求;其中,第一查询请求用于获取目标实例分配记录。
在本公开一些实施例中,未分配数据判断条件可以包括目标实例分配记录为空。
在本公开一些实施例中,该数据获取装置1300还可以包括第三接收单元,第三接收单元可以被配置为执行接收第二服务器发送的存活实例记录;其中,存活实例记录包括至少一个存活实例节点对应的实例标识,存活实例节点为处于存活状态的实例节点。
相应地,未分配数据判断条件还可以包括目标实例分配记录非空且目标实例分配记录所记录的实例标识未存在于存活实例记录中。
在本公开一些实施例中,该数据获取装置1300还可以包括第三发送单元,第三发送单元可以被配置为执行向第二服务器发送第二查询请求;其中,第二查询请求用于获取存活实例记录。
在本公开一些实施例中,数据分配请求可以携带有目标实例分配记录和目标实例节点对应的实例标识,数据分配请求还用于使第二服务器在目标实例分配记录与目标数据分片对应的实时实例分配记录相同的情况下,利用目标实例节点对应的实例标识,更新实时实例分配记录。
在本公开一些实施例中,该数据获取装置1300还可以包括第一处理单元,第一处理单元可以被配置为执行将目标数据分片加入待处理分片集合。
在本公开一些实施例中,该数据获取装置1300还可以包括第一确定单元,第一确定单元可以被配置为执行确定待处理分片集合中的数据分片数量;
相应地,第一发送单元1320可以被进一步配置为执行:在数据分片数量小于预设数量阈值的情况下,向第二服务器发送数据分配请求。
在本公开一些实施例中,该数据获取装置1300还可以包括第四发送单元,第四发送单元可以被配置为执行向第二服务器发送实例注册请求;其中,实例注册请求携带有目标实例节点对应的实例标识,实例注册请求用于将目标实例节点对应的实例标识加入存活实例记录。
在本公开一些实施例中,该数据获取装置1300还可以包括第四接收单元和第五发送单元。
该第四接收单元可以被配置为执行接收实例重启指令。
该第五发送单元可以被配置为执行响应于实例重启指令,向第二服务器发送实例清除请求;其中,实例清除请求携带有目标实例节点对应的实例标识,实例清除请求用于将目标实例节点对应的实例标识从存活实例记录中删除。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图14是根据一示例性实施例示出的一种数据分配装置的框图。参照图14,该数据分配装置1400可以包括第六发送单元1410、第五接收单元1420、第二处理单元1430和第七发送单元1440。
该第六发送单元1410可以被配置为执行向第一服务器发送目标实例分配记录;其中,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识。
该第五接收单元1420可以被配置为执行接收第一服务器发送的数据分配请求。
该第二处理单元1430可以被配置为执行响应于数据分配请求,对数据分配请求进行处理,得到数据分配请求的请求结果。
该第七发送单元1440可以被配置为执行向第一服务器反馈请求结果。
在本公开实施例中,该数据分配装置1400能够向处于存活状态的向第一服务器发送用于记录获取目标数据分片的实例节点对应的实例标识的目标实例分配记录,然后在接收到第一服务器发送的数据分配请求时,响应于数据分配请求,对数据分配请求进行处理,得到数据分配请求的请求结果,并且向第一服务器反馈请求结果,从而可以实现对数据分片的动态分配,使得每个数据分片都能被处于存活状态的实例节点获取并处理,避免了数据的漏处理,提高了数据处理的可靠性。
在本公开一些实施例中,该数据分配装置1400还可以包括第六接收单元和第三处理单元。
该第六接收单元可以被配置为执行接收第一服务器发送的第一查询请求;其中,第一查询请求用于获取目标实例分配记录。
该第三处理单元可以被配置为执行响应于第一查询请求,在至少一个实例分配记录中,查询目标数据分片对应的目标实例分配记录。
在本公开一些实施例中,该数据分配装置1400还可以包括第八发送单元,第八发送单元可以被配置为执行向第一服务器发送存活实例记录;其中,存活实例记录包括至少一个存活实例节点对应的实例标识,存活实例节点为处于存活状态的实例节点。
在本公开一些实施例中,该数据分配装置1400还可以包括第七接收单元,第七接收单元可以被配置为执行接收第一服务器发送的第二查询请求;其中,第二查询请求用于获取存活实例记录。
在本公开一些实施例中,数据分配请求可以携带有目标实例分配记录和第一服务器中的目标实例节点对应的实例标识;
相应地,第二处理单元1430可以包括记录查询单元、结果判定单元和记录更新单元。
该记录查询单元可以被配置为执行查询目标数据分片对应的实时实例分配记录。
该结果判定单元可以被配置为在目标实例分配记录与实时实例分配记录相同的情况下,得到指示允许获取目标数据分片的请求结果。
该记录更新单元可以被配置为利用目标实例节点对应的实例标识,更新实时实例分配记录。
在本公开一些实施例中,该数据分配装置1400还可以包括第八接收单元和第四处理单元。
该第八接收单元可以被配置为执行接收第一服务器发送的实例注册请求;其中,实例注册请求携带有第一服务器中的目标实例节点对应的实例标识。
该第四处理单元可以被配置为执行响应于实例注册请求,将目标实例节点对应的实例标识加入存活实例记录。
在本公开一些实施例中,该数据分配装置1400还可以包括第九接收单元和第五处理单元。
该第九接收单元可以被配置为执行接收第一服务器发送的实例清除请求;其中,实例清除请求携带有目标实例节点对应的实例标识。
该第五处理单元可以被配置为执行响应于实例清除请求,将目标实例节点对应的实例标识从存活实例记录中删除。
在本公开一些实施例中,该数据分配装置1400还可以包括第一监测单元和第六处理单元。
该第一监测单元可以被配置为执行监测目标实例节点的节点心跳。
该第六处理单元可以被配置为在未监测到节点心跳的时长大于或等于预设时长的情况下,将目标实例节点对应的实例标识从存活实例记录中删除。
在本公开一些实施例中,该数据分配装置1400还可以包括第七处理单元和第八处理单元。
该第七处理单元可以被配置为在至少一个实例分配记录中,查询包括目标实例节点对应的实例标识的待释放实例分配记录。
该第八处理单元可以被配置为执行释放待释放实例分配记录的记录内容。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图15是根据一示例性实施例示出的一种服务器的框图。参照图15,本公开实施例还提供了一种服务器,包括处理器1510、通信接口1520、存储器1530和通信总线1540,其中,处理器1510、通信接口1520和存储器1530通过通信总线1540完成相互间的通信。
该存储器1530,用于存放处理器1510可执行的指令。
该处理器1510,用于执行存储器1530上所存放的指令时,实现如下步骤:
接收第二服务器发送的目标实例分配记录;其中,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识;在目标实例分配记录满足未分配数据判断条件时,向第二服务器发送数据分配请求;其中,数据分配请求用于请求获取目标数据分片;接收第二服务器反馈的数据分配请求的请求结果;在请求结果指示允许获取目标数据分片时,获取目标数据分片。
或者,
向第一服务器发送目标实例分配记录;其中,目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识;接收第一服务器发送的数据分配请求;响应于数据分配请求,对数据分配请求进行处理,得到数据分配请求的请求结果;向第一服务器反馈请求结果。
可见,应用本公开实施例,能够实现对数据分片的动态分配,使得每个数据分片都能被处于存活状态的实例节点获取并处理,避免了数据的漏处理,提高了数据处理的可靠性。
图16是根据一示例性实施例示出的用于数据处理的设备的框图。例如,该设备1600可以被提供为一服务器。参照图16,服务器1600包括处理组件1622,其进一步包括一个或多个处理器,以及由存储器1632所代表的存储器资源,用于存储可由处理组件1622的执行的指令,例如应用程序。存储器1632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1622被配置为执行指令,以执行上述任一实施例所述的数据获取方法或者数据分配方法。
该设备1600还可以包括一个电源组件1626被配置为执行设备1600的电源管理,一个有线或无线网络接口1650被配置为将设备1600连接到网络,和一个输入输出(I/O)接口1658。设备1600可以操作基于存储在存储器1632的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM, LinuxTM,FreeBSDTM或类似。
在本公开一些实施例中,还提供了一种存储介质,当该存储介质中的指令由服务器的处理器执行时,使得服务器能够执行上述任一实施例所述的数据获取方法或者数据分配方法。
可选地,该存储介质可以是非临时性计算机可读存储介质,示例性的,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本公开一些实施例中,还提供了一种计算机程序产品,当计算机程序产品中的指令由服务器的处理器执行时,使得服务器能够执行上述任一实施例所述的数据获取方法或者数据分配方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (24)
1.一种数据获取方法,应用于第一服务器,其特征在于,包括:
所述第一服务器中的目标实例节点接收第二服务器发送的目标实例分配记录;其中,所述目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识;
在所述目标实例分配记录满足未分配数据判断条件时,向所述第二服务器发送数据分配请求;其中,所述数据分配请求用于请求获取所述目标数据分片;
接收所述第二服务器反馈的所述数据分配请求的请求结果;
在所述请求结果指示允许获取所述目标数据分片时,获取所述目标数据分片;
所述数据分配请求携带有所述目标实例分配记录和所述目标实例节点对应的实例标识,所述数据分配请求还用于使所述第二服务器在所述目标实例分配记录与所述目标数据分片对应的实时实例分配记录相同的情况下,利用所述目标实例节点对应的实例标识,更新所述实时实例分配记录;
其中,目标实例分配记录的不同记录内容对应不同的版本号,目标实例分配记录的版本号用于指示目标实例分配记录的记录内容的变更次数,每个变更次数对应该次变更的实例节点的实例标识。
2.根据权利要求1所述的方法,其特征在于,所述未分配数据判断条件包括所述目标实例分配记录为空。
3.根据权利要求2所述的方法,其特征在于,在所述在所述目标实例分配记录满足未分配数据判断条件时,向所述第二服务器发送数据分配请求之前,所述方法还包括:
接收所述第二服务器发送的存活实例记录;其中,所述存活实例记录包括至少一个存活实例节点对应的实例标识,所述存活实例节点为处于存活状态的实例节点;
其中,所述未分配数据判断条件还包括所述目标实例分配记录非空且所述目标实例分配记录所记录的实例标识未存在于所述存活实例记录中。
4.根据权利要求1所述的方法,其特征在于,在所述获取所述目标数据分片之后,所述方法还包括:
将所述目标数据分片加入待处理分片集合;
其中,在所述向所述第二服务器发送数据分配请求之前,所述方法还包括:
确定所述待处理分片集合中的数据分片数量;
其中,所述向所述第二服务器发送数据分配请求,包括:
在所述数据分片数量小于预设数量阈值的情况下,向所述第二服务器发送所述数据分配请求。
5.根据权利要求3所述的方法,其特征在于,在所述接收所述第二服务器发送的存活实例记录之前,所述方法还包括:
向所述第二服务器发送实例注册请求;其中,所述实例注册请求携带有所述目标实例节点对应的实例标识,所述实例注册请求用于将所述目标实例节点对应的实例标识加入所述存活实例记录。
6.根据权利要求5所述的方法,其特征在于,在所述向所述第二服务器发送实例注册请求之后,所述方法还包括:
接收实例重启指令;
响应于所述实例重启指令,向所述第二服务器发送实例清除请求;其中,所述实例清除请求携带有所述目标实例节点对应的实例标识,所述实例清除请求用于将所述目标实例节点对应的实例标识从所述存活实例记录中删除。
7.一种数据分配方法,应用于第二服务器,其特征在于,包括:
所述第二服务器中的协调服务节点向第一服务器发送目标实例分配记录;其中,所述目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识;
接收所述第一服务器发送的数据分配请求;
响应于所述数据分配请求,对所述数据分配请求进行处理,得到所述数据分配请求的请求结果;
向所述第一服务器反馈所述请求结果;
所述数据分配请求携带有所述目标实例分配记录和所述第一服务器中的目标实例节点对应的实例标识;
其中,所述对所述数据分配请求进行处理,得到所述数据分配请求的请求结果,包括:
查询所述目标数据分片对应的实时实例分配记录;
在所述目标实例分配记录与所述实时实例分配记录相同的情况下,得到指示允许获取所述目标数据分片的请求结果;
利用所述目标实例节点对应的实例标识,更新所述实时实例分配记录;
其中,目标实例分配记录的不同记录内容对应不同的版本号,目标实例分配记录的版本号用于指示目标实例分配记录的记录内容的变更次数,每个变更次数对应该次变更的实例节点的实例标识。
8.根据权利要求7所述的方法,其特征在于,在所述接收所述第一服务器发送的数据分配请求之前,所述方法还包括:
向所述第一服务器发送存活实例记录;其中,所述存活实例记录包括至少一个存活实例节点对应的实例标识,所述存活实例节点为处于存活状态的实例节点。
9.根据权利要求8所述的方法,其特征在于,在所述向所述第一服务器发送存活实例记录之前,所述方法还包括:
接收所述第一服务器发送的实例注册请求;其中,所述实例注册请求携带有所述第一服务器中的目标实例节点对应的实例标识;
响应于所述实例注册请求,将所述目标实例节点对应的实例标识加入所述存活实例记录。
10.根据权利要求9所述的方法,其特征在于,在所述将所述目标实例节点对应的实例标识加入所述存活实例记录之后,所述方法还包括:
接收所述第一服务器发送的实例清除请求;其中,所述实例清除请求携带有所述目标实例节点对应的实例标识;
响应于所述实例清除请求,将所述目标实例节点对应的实例标识从所述存活实例记录中删除;
或者,在所述将所述目标实例节点对应的实例标识加入所述存活实例记录之后,所述方法还包括:
监测所述目标实例节点的节点心跳;
在未监测到所述节点心跳的时长大于或等于预设时长的情况下,将所述目标实例节点对应的实例标识从所述存活实例记录中删除。
11.根据权利要求10所述的方法,其特征在于,在所述将所述目标实例节点对应的实例标识从所述存活实例记录中删除之后,所述方法还包括:
在至少一个实例分配记录中,查询包括所述目标实例节点对应的实例标识的待释放实例分配记录;
释放所述待释放实例分配记录的记录内容。
12.一种数据获取装置,应用于第一服务器,其特征在于,包括:
第一接收单元,被配置为执行接收第二服务器发送的目标实例分配记录;其中,所述目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识;
第一发送单元,被配置为在所述目标实例分配记录满足未分配数据判断条件时,向所述第二服务器发送数据分配请求;其中,所述数据分配请求用于请求获取所述目标数据分片;
第二接收单元,被配置为执行接收所述第二服务器反馈的所述数据分配请求的请求结果;
第一获取单元,被配置为在所述请求结果指示允许获取所述目标数据分片时,获取所述目标数据分片;
所述数据分配请求携带有所述目标实例分配记录和所述目标实例节点对应的实例标识,所述数据分配请求还用于使所述第二服务器在所述目标实例分配记录与所述目标数据分片对应的实时实例分配记录相同的情况下,利用所述目标实例节点对应的实例标识,更新所述实时实例分配记录;
其中,目标实例分配记录的不同记录内容对应不同的版本号,目标实例分配记录的版本号用于指示目标实例分配记录的记录内容的变更次数,每个变更次数对应该次变更的实例节点的实例标识。
13.根据权利要求12所述的装置,其特征在于,所述未分配数据判断条件包括所述目标实例分配记录为空。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
第三接收单元,被配置为执行接收所述第二服务器发送的存活实例记录;其中,所述存活实例记录包括至少一个存活实例节点对应的实例标识,所述存活实例节点为处于存活状态的实例节点;
其中,所述未分配数据判断条件还包括所述目标实例分配记录非空且所述目标实例分配记录所记录的实例标识未存在于所述存活实例记录中。
15.根据权利要求12所述的装置,其特征在于,所述装置还包括:
第一处理单元,被配置为执行将所述目标数据分片加入待处理分片集合;
其中,所述装置还包括:
第一确定单元,被配置为执行确定所述待处理分片集合中的数据分片数量;
其中,所述第一发送单元被进一步配置为执行:
在所述数据分片数量小于预设数量阈值的情况下,向所述第二服务器发送所述数据分配请求。
16.根据权利要求14所述的装置,其特征在于,所述装置还包括:
第四发送单元,被配置为执行向所述第二服务器发送实例注册请求;其中,所述实例注册请求携带有所述目标实例节点对应的实例标识,所述实例注册请求用于将所述目标实例节点对应的实例标识加入所述存活实例记录。
17.根据权利要求16所述的装置,其特征在于,所述装置还包括:
第四接收单元,被配置为执行接收实例重启指令;
第五发送单元,被配置为执行响应于所述实例重启指令,向所述第二服务器发送实例清除请求;其中,所述实例清除请求携带有所述目标实例节点对应的实例标识,所述实例清除请求用于将所述目标实例节点对应的实例标识从所述存活实例记录中删除。
18.一种数据分配装置,应用于第二服务器,其特征在于,包括:
第六发送单元,被配置为执行向第一服务器发送目标实例分配记录;其中,所述目标实例分配记录用于记录获取目标数据分片的实例节点对应的实例标识;
第五接收单元,被配置为执行接收所述第一服务器发送的数据分配请求;
第二处理单元,被配置为执行响应于所述数据分配请求,对所述数据分配请求进行处理,得到所述数据分配请求的请求结果;
第七发送单元,被配置为执行向所述第一服务器反馈所述请求结果;
所述数据分配请求携带有所述目标实例分配记录和所述第一服务器中的目标实例节点对应的实例标识;
其中,所述第二处理单元包括:
记录查询单元,被配置为执行查询所述目标数据分片对应的实时实例分配记录;
结果判定单元,被配置为在所述目标实例分配记录与所述实时实例分配记录相同的情况下,得到指示允许获取所述目标数据分片的请求结果;
记录更新单元,被配置为利用所述目标实例节点对应的实例标识,更新所述实时实例分配记录;
其中,目标实例分配记录的不同记录内容对应不同的版本号,目标实例分配记录的版本号用于指示目标实例分配记录的记录内容的变更次数,每个变更次数对应该次变更的实例节点的实例标识。
19.根据权利要求18所述的装置,其特征在于,所述装置还包括:
第八发送单元,被配置为执行向所述第一服务器发送存活实例记录;其中,所述存活实例记录包括至少一个存活实例节点对应的实例标识,所述存活实例节点为处于存活状态的实例节点。
20.根据权利要求19所述的装置,其特征在于,所述装置还包括:
第八接收单元,被配置为执行接收所述第一服务器发送的实例注册请求;其中,所述实例注册请求携带有所述第一服务器中的目标实例节点对应的实例标识;
第四处理单元,被配置为执行响应于所述实例注册请求,将所述目标实例节点对应的实例标识加入所述存活实例记录。
21.根据权利要求20所述的装置,其特征在于,所述装置还包括:
第九接收单元,被配置为执行接收所述第一服务器发送的实例清除请求;其中,所述实例清除请求携带有所述目标实例节点对应的实例标识;
第五处理单元,被配置为执行响应于所述实例清除请求,将所述目标实例节点对应的实例标识从所述存活实例记录中删除;
或者,所述装置还包括:
第一监测单元,被配置为执行监测所述目标实例节点的节点心跳;
第六处理单元,被配置为在未监测到所述节点心跳的时长大于或等于预设时长的情况下,将所述目标实例节点对应的实例标识从所述存活实例记录中删除。
22.根据权利要求21所述的装置,其特征在于,所述装置还包括:
第七处理单元,被配置为在至少一个实例分配记录中,查询包括所述目标实例节点对应的实例标识的待释放实例分配记录;
第八处理单元,被配置为执行释放所述待释放实例分配记录的记录内容。
23.一种服务器,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的数据获取方法或者如权利要求7至11中任一项所述的数据分配方法。
24.一种存储介质,其特征在于,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行如权利要求1至6中任一项所述的数据获取方法或者如权利要求7至11中任一项所述的数据分配方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010970196.2A CN111930515B (zh) | 2020-09-16 | 2020-09-16 | 数据获取及分配方法、装置、服务器、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010970196.2A CN111930515B (zh) | 2020-09-16 | 2020-09-16 | 数据获取及分配方法、装置、服务器、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111930515A CN111930515A (zh) | 2020-11-13 |
CN111930515B true CN111930515B (zh) | 2021-09-10 |
Family
ID=73334912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010970196.2A Active CN111930515B (zh) | 2020-09-16 | 2020-09-16 | 数据获取及分配方法、装置、服务器、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111930515B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113157611B (zh) * | 2021-02-26 | 2023-04-18 | 山东英信计算机技术有限公司 | 一种数据传输控制方法、装置、设备及可读存储介质 |
CN113535432B (zh) * | 2021-07-20 | 2023-12-15 | 西安力传智能技术有限公司 | 数据分流方法、装置、电子设备及存储介质 |
CN115250269B (zh) * | 2022-07-26 | 2024-02-02 | 中银金融科技有限公司 | 一种文件分配方法及装置、存储介质及电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102300028A (zh) * | 2010-06-28 | 2011-12-28 | 株式会社东芝 | 数据处理装置、图像处理系统以及数据处理方法 |
CN104113606A (zh) * | 2014-08-02 | 2014-10-22 | 成都致云科技有限公司 | 一致性动态均衡的分布式元数据节点架构 |
CN106302734A (zh) * | 2016-08-16 | 2017-01-04 | 北京控制工程研究所 | 一种卫星计算体系的自主演化实现方法 |
CN106874142A (zh) * | 2015-12-11 | 2017-06-20 | 华为技术有限公司 | 一种实时数据容错处理方法及系统 |
CN107943555A (zh) * | 2017-10-17 | 2018-04-20 | 华南理工大学 | 一种云计算环境下的大数据存储和处理平台及处理方法 |
CN108845892A (zh) * | 2018-04-19 | 2018-11-20 | 北京百度网讯科技有限公司 | 分布式数据库的数据处理方法、装置、设备和计算机存储介质 |
CN109241182A (zh) * | 2018-08-14 | 2019-01-18 | 中国平安人寿保险股份有限公司 | 大数据实时同步方法、装置、计算机设备及存储介质 |
-
2020
- 2020-09-16 CN CN202010970196.2A patent/CN111930515B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102300028A (zh) * | 2010-06-28 | 2011-12-28 | 株式会社东芝 | 数据处理装置、图像处理系统以及数据处理方法 |
CN104113606A (zh) * | 2014-08-02 | 2014-10-22 | 成都致云科技有限公司 | 一致性动态均衡的分布式元数据节点架构 |
CN106874142A (zh) * | 2015-12-11 | 2017-06-20 | 华为技术有限公司 | 一种实时数据容错处理方法及系统 |
CN106302734A (zh) * | 2016-08-16 | 2017-01-04 | 北京控制工程研究所 | 一种卫星计算体系的自主演化实现方法 |
CN107943555A (zh) * | 2017-10-17 | 2018-04-20 | 华南理工大学 | 一种云计算环境下的大数据存储和处理平台及处理方法 |
CN108845892A (zh) * | 2018-04-19 | 2018-11-20 | 北京百度网讯科技有限公司 | 分布式数据库的数据处理方法、装置、设备和计算机存储介质 |
CN109241182A (zh) * | 2018-08-14 | 2019-01-18 | 中国平安人寿保险股份有限公司 | 大数据实时同步方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111930515A (zh) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111930515B (zh) | 数据获取及分配方法、装置、服务器、存储介质 | |
US10187459B2 (en) | Distributed load balancing system, health check method, and service node | |
CN106850830B (zh) | 一种业务请求处理方法、装置、系统和相关服务器 | |
CN103618621B (zh) | 一种软件定义网络sdn的自动配置方法、设备及系统 | |
US20170373931A1 (en) | Method for updating network service descriptor nsd and apparatus | |
WO2019062456A1 (zh) | 网络的部署信息确定方法及设备 | |
CN114070822B (zh) | 一种Kubernetes Overlay IP地址管理方法 | |
CN110034944B (zh) | 网络切片部署方法及其装置 | |
CN112333249B (zh) | 一种业务服务系统及方法 | |
CN110535976B (zh) | 一种会话保持方法和装置 | |
WO2018064939A1 (zh) | 音视频通讯连接容灾方法、装置及系统 | |
US10225854B2 (en) | Enhancements to resource allocation for MBSFN transmission in an MBSFN area | |
CN106254814B (zh) | 一种会议恢复的方法、业务管理中心及系统 | |
US20180242177A1 (en) | Monitoring management method and apparatus | |
US10802896B2 (en) | Rest gateway for messaging | |
CN112437454A (zh) | 数据传输方法及装置、存储介质、电子装置 | |
CN115426361A (zh) | 分布式客户端打包方法、装置、主服务器及存储介质 | |
US20160286583A1 (en) | Method for terminal accessing base station, and apparatus | |
CN105790985B (zh) | 数据倒换的方法、第一设备、第二设备及系统 | |
CN109344202B (zh) | 一种数据同步方法及管理节点 | |
CN114143730B (zh) | 信令处理方法、通信系统、电子设备和存储介质 | |
CN111930482A (zh) | 基于节点集群的任务处理方法、装置、设备及存储介质 | |
CN113242313B (zh) | 数据同步方法、系统、装置、服务器及存储介质 | |
CN111309397A (zh) | 数据分配方法、装置、服务器及存储介质 | |
CN112104888B (zh) | 一种直播用户分组的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |