CN111277634B - 一种数据id分配方法、装置、系统以及服务器 - Google Patents

一种数据id分配方法、装置、系统以及服务器 Download PDF

Info

Publication number
CN111277634B
CN111277634B CN202010036233.2A CN202010036233A CN111277634B CN 111277634 B CN111277634 B CN 111277634B CN 202010036233 A CN202010036233 A CN 202010036233A CN 111277634 B CN111277634 B CN 111277634B
Authority
CN
China
Prior art keywords
data
request
storage server
ids
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010036233.2A
Other languages
English (en)
Other versions
CN111277634A (zh
Inventor
李江伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202010036233.2A priority Critical patent/CN111277634B/zh
Publication of CN111277634A publication Critical patent/CN111277634A/zh
Application granted granted Critical
Publication of CN111277634B publication Critical patent/CN111277634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据ID分配方法、装置、系统及服务器,包括:接收存储服务器发送的ID分配请求,其中,ID分配请求中包含有请求数量,请求数量为存储服务器基于接收到的请求配置操作所确定的,并且将请求数量个可用的数据ID分配至存储服务器,由于全局节点服务器可以根据存储服务器的ID分配请求所包含的请求数量向存储服务器分配数据ID,而请求数量是可配置的,面对不同的存储需求,只需重新配置请求数量即可,从而可以满足不同存储需求。

Description

一种数据ID分配方法、装置、系统以及服务器
技术领域
本发明涉及分布式存储技术领域,特别是涉及一种数据ID分配方法、装置及服务器。
背景技术
分布式存储系统(Distributed Storage System)在对数据进行存储时,存储服务器需要根据数据的数据标识来确定数据的存储位置,而数据的数据标识的确定可以通过自增ID(Identity,标识号)的方式来确定,此时,存储服务器需要存储数据时需要向全局节点服务器申请分配可用的ID,存储服务器接收到全局节点服务器分配的ID时,将该ID插入到数据中,作为该数据的数据标识。
现有的自增ID申请的方式主要存在两种,分别为:
第一种方式:存储服务器每次向全局节点服务器申请一个ID,全局节点服务器每次按照递增的方式为存储服务器分配一个可用的ID,例如,全局节点服务器第一次分配的ID为01,则第二次分配的ID为02。
第二种方式:存储服务器每次向全局节点服务器申请预设数量个ID,只当申请的ID用完或即将用完时重新向全局节点服务器申请。全局节点服务器则每次为存储服务器分配预设数量个连续递增的ID,例如,预设数量为3个,则全局节点服务器第一次分配的ID为01、02和03,第二次分配的ID为04、05和06。
发明人在实现本发明的过程中发现,现有技术至少存在如下问题:
采用第一种方式,当需要频繁存储数据时,存储服务器需要频繁的向全局节点服务器申请ID,而每一次ID的申请都需要占用宝贵系统资源,频繁申请ID影响系统性能,而采用第二种方式,在分布式系统中无法确保存储的数据的数据标识严格有序,如可能出现前一个存储的数据标识为06,而后一个存储的数据的标识为03的情况,使得采用第二种方式无法满足需要存储数据的数据标识严格有序的存储场景。因此,亟需一种满足不同存储需求的数据ID分配方法。
发明内容
本发明实施例的目的在于提供一种数据ID分配方法,以满足不同存储需求。具体技术方案如下:
本发明实施例提供一种数据ID分配方法,应用于全局节点服务器,包括:
接收存储服务器发送的ID分配请求,其中,所述ID分配请求中包含有请求数量,所述请求数量为所述存储服务器基于接收到的请求配置操作所确定的;
将所述请求数量个可用的数据ID分配至所述存储服务器。
进一步的,在所述将所述请求数量个可用的数据ID分配至所述存储服务器之前,还包括:
确定已分配最大ID,所述已分配最大ID为当前已分配的数据ID中数值最大的数据ID。
进一步的,所述将所述请求数量个可用的数据ID分配至所述存储服务器,包括:
确定所述已分配最大ID之后连续递增的所述请求数量个可用的数据ID,作为待分配ID;
将所述待分配ID分配至所述存储服务器。
进一步的,所述方法还包括:
基于所述ID分配请求,更新请求接收次数;当所述请求接收次数大于预设阈值时,持久化保存被分配的数据ID中数值最大的数据ID;或者,
当预设时长内未对数据ID进行持久化保存时,持久化保存被分配的数据ID中数值最大的数据ID。
本发明实施例提供一种数据ID分配方法,应用于存储服务器,包括:
基于接收到的请求配置操作,确定所述请求配置操作所配置的每次请求分配数据ID的数量,作为请求数量;
当当前可用ID的数量小于预设数量时,向全局节点服务器发送包含有所述请求数量的ID分配请求;
接收所述全局节点服务器分配的所述请求数量个可用的数据ID。
本发明实施例还提供一种数据ID分配装置,应用于全局节点服务器,所述装置包括:
请求接收模块,用于接收存储服务器发送的ID分配请求,其中,所述ID分配请求中包含有请求数量,所述请求数量为所述存储服务器基于接收到的请求配置操作所确定的;
ID分配模块,用于将所述请求数量个可用的数据ID分配至所述存储服务器。
进一步的,还包括:
最大ID确定模块,用于在所述ID分配模块执行将所述请求数量个可用的数据ID分配至所述存储服务器之前,确定已分配最大ID,所述已分配最大ID为当前已分配的数据ID中数值最大的数据ID。
进一步的,所述所述ID分配模块,具体用于确定所述已分配最大ID之后连续递增的所述请求数量个可用的数据ID,作为待分配ID,并且将所述待分配ID分配至所述存储服务器。
进一步的,所述装置还包括:
持久化模块,用于基于所述ID分配请求,更新请求接收次数;当所述请求接收次数大于预设阈值时,持久化保存被分配的数据ID中数值最大的数据ID;或者,当预设时长内未对数据ID进行持久化保存时,持久化保存被分配的数据ID中数值最大的数据ID。
本发明实施例还提供一种数据ID分配装置,应用于存储服务器,所述装置包括:
数量确定模块,用于基于接收到的请求配置操作,确定所述请求配置操作所配置的每次请求分配数据ID的数量,作为请求数量;
请求发送模块,用于当当前可用ID的数量小于预设数量时,向全局节点服务器发送包含有所述请求数量的ID分配请求;
ID接收模块,用于接收所述全局节点服务器分配的所述请求数量个可用的数据ID。
本发明实施例还提供一种服务器,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一应用于全局节点服务器的数据ID分配方法的步骤。
本发明实施例还提供一种服务器,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一应用于存储服务器的数据ID分配方法的步骤。
本发明实施还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一应用于全局节点服务器的数据ID分配方法的步骤。
本发明实施还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一应用于存储服务器的数据ID分配数据ID分配方法的步骤。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一应用于全局节点服务器的数据ID分配数据ID分配方法。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一应用于存储服务器的数据ID分配数据ID分配方法。
本发明实施例提供的一种数据ID分配方法、装置及服务器,方案中,接收存储服务器发送的ID分配请求,其中,ID分配请求中包含有请求数量,请求数量为存储服务器基于接收到的请求配置操作所确定的,并且将请求数量个可用的数据ID分配至存储服务器,由于全局节点服务器可以根据存储服务器的ID分配请求所包含的请求数量向存储服务器分配数据ID,而请求数量是可配置的,面对不同的存储需求,只需重新配置请求数量即可,从而可以满足不同存储需求。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明一个实施例提供的应用于全局节点服务器的数据ID分配方法的流程图;
图2为本发明一个实施例提供的应用于存储服务器的数据ID分配方法的流程图;
图3为本发明一个实施例提供的数据ID分配系统的示意图;
图4为本发明一个实施例提供的分布式存储系统的示意图;
图5为本发明一个实施例提供的一个包含有数据库的数据ID分配系统的示意图;
图6为本发明一个实施例提供的另一种数据ID分配方法的流程图;
图7为本发明一个实施例提供的应用于全局节点服务器的数据ID分配装置的结构示意图;
图8为本发明一个实施例提供的应用于存储服务器的数据ID分配装置的结构示意图;
图9为本发明实施例提供的全局节点服务器的结构示意图;
图10为本发明实施例提供的存储服务器的结构示意图。
具体实施方式
为了给出满足不同存储需求的实现方案,本发明实施例提供了一种数据ID分配方法、装置及服务器,以下结合说明书附图对本发明的实施例进行说明。并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的一个实施例中,提供一种应用于全局节点服务器的数据ID分配方法,如图1所示,该方法包括以下步骤:
S101:接收存储服务器发送的ID分配请求,其中,ID分配请求中包含有请求数量,请求数量为存储服务器基于接收到的请求配置操作所确定的。
S102:将请求数量个可用的数据ID分配至存储服务器。
本发明实施例提供的上述如图1所示的应用于全局节点服务器的数据ID分配方法中,接收存储服务器发送的ID分配请求,其中,ID分配请求中包含有请求数量,请求数量为存储服务器基于接收到的请求配置操作所确定的,并且将请求数量个可用的数据ID分配至存储服务器,由于全局节点服务器可以根据存储服务器的ID分配请求所包含的请求数量向存储服务器分配数据ID,而请求数量是可配置的,面对不同的存储需求,只需重新配置请求数量即可,从而可以满足不同存储需求。
相应的,在本发明的一个实施例中,还提供一种应用于存储服务器的数据ID分配方法,如图2所示,该方法包括以下步骤:
S201:基于接收到的请求配置操作,确定请求配置操作所配置的每次请求分配数据ID的数量,作为请求数量。
S202:当当前可用ID的数量小于预设数量时,向全局节点服务器发送包含有请求数量的ID分配请求。
S203:接收全局节点服务器分配的请求数量个可用的数据ID。
本发明实施例提供的上述如图2所示的应用于存储服务器的数据ID分配方法中,可以基于接收到的请求配置操作,确定请求配置操作所配置的每次请求分配数据ID的数量,作为请求数量,并且当当前可用ID的数量小于预设数量时,向全局节点服务器发送包含有请求数量的ID分配请求,以及接收全局节点服务器分配的请求数量个可用的数据ID,由于可以基于请求配置操配置ID分配请求所包含的请求数量,面对不同的存储需求,只需重新配置请求数量即可,从而可以满足不同存储需求。
相应的,在本发明的一个实施例中,还提供了一种的数据ID分配系统,如图3所示,该系统包括:全局节点服务器301和存储服务器302;其中,
存储服务器302,用于基于接收到的请求配置操作,确定请求配置操作所配置的每次请求分配数据ID的数量,作为请求数量,并且当当前可用ID的数量小于预设数量时,向全局节点服务器301发送包含有请求数量的ID分配请求;
全局节点服务器301,用于接收存储服务器302发送的ID分配请求,并且将请求数量个可用的数据ID分配至存储服务器;
存储服务器302,还用于接收全局节点服务器301分配的请求数量个可用的数据ID。
本发明实施例提供的上述如图3所示的数据ID分配系统中,可以存储服务器302,用于基于接收到的请求配置操作,确定请求配置操作所配置的每次请求分配数据ID的数量,作为请求数量,并且当当前可用ID的数量小于预设数量时,向全局节点服务器301发送包含有请求数量的ID分配请求,并且全局节点服务器301,用于接收存储服务器302发送的ID分配请求,并且将请求数量个可用的数据ID分配至存储服务器302,以及存储服务器302,还用于接收全局节点服务器301分配的请求数量个可用的数据ID,由于可以基于请求配置操配置ID分配请求所包含的请求数量,面对不同的存储需求,只需重新配置请求数量即可,从而可以满足不同存储需求。
为了更清楚的说明本方案,首先简单说明下分布式存储系统的组成。
如图4所示,为一种分布式存储系统的示意图,图中与全局节点服务器连接的存储服务器可以有多个(图4中仅示出一个),每个存储服务器均可以向全局节点服务器请求分配数据ID,即全局节点服务器同时负责多个存储服务器的数据ID分配。
示例性的,全局节点服务器依次接收到来自存储服务器1、存储服务器2和存储服务3的ID分配请求,请求数量均为1,则全局节点服务器将数据ID1分配至存储服务器1、将数据ID2分配至存储服务器2,以及将数据ID3分配至存储服务器3,此时,又接收到来自存储服务器1的第二次ID分配请求,则将数据ID4分配至存储服务器1,其中,数据ID1、数据ID2、数据ID3和数据ID4连续递增。
存储服务器接收到全局节点服务器分配的数据ID后,将该数据ID插入到待存储数据中,作为该待存储数据的数据标识,存储服务器对该数据标识进行哈希运算,基于哈希运算结果,在于存储服务器相连的各存储节点中确定该待存储数据的存储位置(例如图4中的存储节点1、存储节点2或存储节点3),并将该待存储数据存储进该存储位置,在分布式存储系统中,可以将待存储数据的数据标识作为该待存储数据的Key(键),待存储数据的存储位置作为该待存储数据的Value(值),从而组成该待存储数据的键值对。
在本发明实施例提供的上述的数据ID分配方法和数据ID系统中,存储服务器接收到的请求配置操作用于配置每次向全局节点服务器请求分配数据ID的数量,具体配置的数量可以基于实际的存储需求来确定。
在一个实施例中,当对数据的数据标识存在严格有序的要求时,请求配置操作所配置的每次请求分配数据ID的数量可以为1,此时,存储服务器每次向全局节点服务器请求分配1个数据ID。全局节点服务器接收到存储服务器发送的ID分配请求后,将1个可用的数据ID分配至存储服务器。
在一个实施例中,当对数据的数据标识没有严格有序的要求时,或当存储服务器或全局节点服务器的运行资源紧张时,如剩余带宽不足时,为了减少对系统资源的占用,减少对系统性能的影响,请求配置操作所配置的每次请求分配数据ID的数据可以为多个,例如100个,此时,存储服务器每次向全局节点服务器请求分配100个数据ID。全局节点服务器接收到存储服务器发送的ID分配请求后,将100个可用的数据ID分配至存储服务器。
可选的,为了确保数据标识的唯一性,上述可用的ID为未被分配过的数据ID,可选的上述请求数量个可用的数据ID可以为连续递增的未被分配过的数据ID。
示例性的,全局节点服务器中100以下的数据ID均被分配,100以及100以上的数据ID未被分配过,当接收到存储服务器发送的ID分配请求包含的请求数量为5,则全局节点服务器将100、101、102、103和104这5个连续递增的可用的数据ID分配至存储服务器。
在一个实施例中,存储服务器接收到全局节点服务器分配的请求数量个可用的数据ID后,该请求数量个可用的数据ID可用在需要时,依次插入到待存储数据中,作为待存储数据的数据标识。
可选的,当剩余的可用的数据ID的数量小于预设数量时,可重新向全局节点服务器发送ID分配请求,以获取新的可用的数据ID。
上述预设数量可以为根据实际需求和经验确定的,可选的预设数量可以为1,此时,至等到可用的数据ID全部消耗完后,存储服务器才向全局节点服务器发送包含有请求数量的ID分配请求。
可选的,存储服务器在接收到全局节点服务器分配的请求数量个可用的数据ID后,可以将接收到的数据ID写入预先建立的可用ID表中,该可用ID表用于存储全局节点服务器分配的尚未使用的数据ID,当存储服务器需要插入数据ID时,可以读取可用ID表中最小的数据ID,作为插入到当前待存储数据的数据ID,同时更新该可用ID表。
在一个实施例中,为了避免服务器宕机后数据的丢失,全局节点服务器可以实时的持久化保存关键数据,例如,被分配的数据ID中数值最大的数据ID,以便故障修复后,能够确定已被分配的最大的数据ID,从而保证数据ID分配的正常运行。
全局节点服务器数据的持久化包括可以将数据存在在自身的硬盘中,但当存在多个用于分配数据ID的全局节点服务器时,为了确保各全局节点服务器分配ID的准确性,只在全局节点服务器自身硬盘持久化保存并不利于各全局节点服务器之间数据的同步,因此,可以使用数据库持久化保存全局节点服务器的数据。
如图5所示,为一个包含有数据库的数据ID分配系统的示意图,在全局节点服务器每次为存储服务器分配数据ID后,可以将本次为存储服务器分配数据ID的关键数据持久化保存在数据库中,当下一次可以基于保存在数据库中的数据为存储服务器分配数据ID。
可选的,持久化存储在数据库中关键数据包括被分配的数据ID中数值最大的数据ID,可选的,还可以包括请求数量和持久化保存的时间戳。
在一个实施例中,为了减少全局节点服务器向数据库写入数据的次数,降低服务器资源的消耗,可以在满足条件后,将存储在全局节点服务器的内存中的关键数据持久化保证在数据库中,此时:
可选的,全局节点服务器为存储服务器分配数据ID后,可以:
第一种方式:基于ID分配请求,更新请求接收次数;当请求接收次数大于预设阈值时,持久化保存被分配的数据ID中数值最大的数据ID。
其中,在第一种方式中,全局节点服务器每一次接收到ID分配请求即意味着需要向存储服务器分配一次数据ID,上述预设阈值可以为根据需求和经验确定的。
示例性的,预设阈值为10,最小的请求接收次数也为10,不满足持久化保存数据的条件,当全局节点服务器又接收到来自存储服务器的ID分配请求时,在完成数据ID的分配后,可以请求接收次数加1,变为11,大于预设阈值10,此时可以持久化保存被分配的数据ID中数值最大的数据。
第二种方式:当预设时长内未对数据ID进行持久化保存时,持久化保存被分配的数据ID中数值最大的数据ID。
其中,预设时长可以为根据需求和经验确定的,例如10min。
在上述如图1所示的应用于全局节点服务器的数据ID分配方法的基础上,如图6所示,本发明实施例还提供另一种应用于全局节点服务器的数据ID分配方法,以实现步骤S102,具体包括:
S601:确定已分配最大ID,已分配最大ID为当前已分配的数据ID中数值最大的数据ID。
本步骤中,已分配最大ID可以从全局节点服务器的内存中读取,也可以从与全局节点服务器所连接的数据库中读取。
S602:确定已分配最大ID之后连续递增的请求数量个可用的数据ID,作为待分配ID。
示例性的,请求数量为5,已分配最大ID为100,则待分配ID为101、102、103、104和105。
S603:将待分ID分配至存储服务器。
本步骤中,可以将待分配ID按照约定的格式发送给存储服务器。
本发明实施例提供的如图6所示的应用于全局节点服务器的数据ID分配方法中,通过将已分配最大ID之后连续递增的请求数量可用的数据ID,作为待分配ID,可以使得分配的数据D连续递增,并且保持唯一性。
基于同一发明构思,根据本发明实施例提供的应用于全局节点服务器的数据ID分配方法,本发明实施例还提供了一种应用于全局节点服务器的数据ID分配装置,如图7所示,该装置包括:
请求接收模块701,用于接收存储服务器发送的ID分配请求,其中,ID分配请求中包含有请求数量,请求数量为存储服务器基于接收到的请求配置操作所确定的;
ID分配模块702,用于将请求数量个可用的数据ID分配至存储服务器。
进一步的,还包括:
最大ID确定模块703,用于在ID分配模块702执行将请求数量个可用的数据ID分配至存储服务器之前,确定已分配最大ID,已分配最大ID为当前已分配的数据ID中数值最大的数据ID。
进一步的,ID分配模块702,具体用于确定已分配最大ID之后连续递增的请求数量个可用的数据ID,作为待分配ID,并且将待分配ID分配至存储服务器。
进一步的,装置还包括:
持久化模块704,用于基于ID分配请求,更新请求接收次数;当请求接收次数大于预设阈值时,持久化保存被分配的数据ID中数值最大的数据ID;或者,当预设时长内未对数据ID进行持久化保存时,持久化保存被分配的数据ID中数值最大的数据ID。
基于同一发明构思,根据本发明实施例提供的应用于存储服务器的数据ID分配方法,本发明实施例还提供了一种应用于存储服务器的数据ID分配装置,如图8所示,该装置包括:
数量确定模块801,用于基于接收到的请求配置操作,确定请求配置操作所配置的每次请求分配数据ID的数量,作为请求数量;
请求发送模块802,用于当当前可用ID的数量小于预设数量时,向全局节点服务器发送包含有请求数量的ID分配请求;
ID接收模块803,用于接收全局节点服务器分配的请求数量个可用的数据ID。
本发明实施例还提供了一种全局节点服务器,如图9所示,包括处理器901、通信接口902、存储器903和通信总线904,其中,处理器901,通信接口902,存储器903通过通信总线904完成相互间的通信,
存储器903,用于存放计算机程序;
处理器901,用于执行存储器903上所存放的程序时,实现如下步骤:
接收存储服务器发送的ID分配请求,其中,所述ID分配请求中包含有请求数量,所述请求数量为所述存储服务器基于接收到的请求配置操作所确定的;
将所述请求数量个可用的数据ID分配至所述存储服务器。
本发明实施例还提供了一种存储服务器,如图10所示,包括处理器1001、通信接口1002、存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线1004完成相互间的通信,
存储器1003,用于存放计算机程序;
处理器1001,用于执行存储器1003上所存放的程序时,实现如下步骤:
接收存储服务器发送的ID分配请求,其中,所述ID分配请求中包含有请求数量,所述请求数量为所述存储服务器基于接收到的请求配置操作所确定的;
将所述请求数量个可用的数据ID分配至所述存储服务器。
上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述服务器与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一应用于全局节点服务器的数据ID分配方法的步骤。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一应用于存服务器的数据ID分配方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一应用于全局节点服务器的数据ID分配方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一应用于存储服务器的数据ID分配方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、服务器、计算机可读存储介质、计算机程序产品而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种数据ID分配方法,其特征在于,应用于全局节点服务器,包括:
接收存储服务器发送的ID分配请求,其中,所述ID分配请求中包含有请求数量,所述请求数量为所述存储服务器基于接收到的请求配置操作所确定的;
将所述请求数量个可用的数据ID分配至所述存储服务器,所述数据ID用于确定待存储数据在所述存储服务器中的存储位置。
2.根据权利要求1所述的方法,其特征在于,在所述将所述请求数量个可用的数据ID分配至所述存储服务器之前,还包括:
确定已分配最大ID,所述已分配最大ID为当前已分配的数据ID中数值最大的数据ID;
所述将所述请求数量个可用的数据ID分配至所述存储服务器,包括:
确定所述已分配最大ID之后连续递增的所述请求数量个可用的数据ID,作为待分配ID;
将所述待分配ID分配至所述存储服务器。
3.根据权利要求1-2任一项所述的方法,其特征在于,所述方法还包括:
基于所述ID分配请求,更新请求接收次数;
当所述请求接收次数大于预设阈值时,持久化保存被分配的数据ID中数值最大的数据ID;或者,
当预设时长内未对数据ID进行持久化保存时,持久化保存被分配的数据ID中数值最大的数据ID。
4.一种数据ID分配方法,其特征在于,应用于存储服务器,包括:
基于接收到的请求配置操作,确定所述请求配置操作所配置的每次请求分配数据ID的数量,作为请求数量,所述数据ID用于确定待存储数据在所述存储服务器中的存储位置;
当当前可用ID的数量小于预设数量时,向全局节点服务器发送包含有所述请求数量的ID分配请求;
接收所述全局节点服务器分配的所述请求数量个可用的数据ID。
5.一种数据ID分配装置,其特征在于,应用于全局节点服务器,包括:
请求接收模块,用于接收存储服务器发送的ID分配请求,其中,所述ID分配请求中包含有请求数量,所述请求数量为所述存储服务器基于接收到的请求配置操作所确定的;
ID分配模块,用于将所述请求数量个可用的数据ID分配至所述存储服务器,所述数据ID用于确定待存储数据在所述存储服务器中的存储位置。
6.根据权利要求5所述的装置,其特征在于,还包括:
最大ID确定模块,用于在所述ID分配模块执行将所述请求数量个可用的数据ID分配至所述存储服务器之前,确定已分配最大ID,所述已分配最大ID为当前已分配的数据ID中数值最大的数据ID;
所述ID分配模块,具体用于确定所述已分配最大ID之后连续递增的所述请求数量个可用的数据ID,作为待分配ID,并且将所述待分配ID分配至所述存储服务器。
7.根据权利要求5-6任一项所述的装置,其特征在于,所述装置还包括:
持久化模块,用于基于所述ID分配请求,更新请求接收次数;当所述请求接收次数大于预设阈值时,持久化保存被分配的数据ID中数值最大的数据ID;或者,当预设时长内未对数据ID进行持久化保存时,持久化保存被分配的数据ID中数值最大的数据ID。
8.一种数据ID分配装置,其特征在于,应用于存储服务器,包括:
数量确定模块,用于基于接收到的请求配置操作,确定所述请求配置操作所配置的每次请求分配数据ID的数量,作为请求数量,所述数据ID用于确定待存储数据在所述存储服务器中的存储位置;
请求发送模块,用于当当前可用ID的数量小于预设数量时,向全局节点服务器发送包含有所述请求数量的ID分配请求;
ID接收模块,用于接收所述全局节点服务器分配的所述请求数量个可用的数据ID。
9.一种数据ID分配系统,其特征在于,所述系统包括:全局节点服务器和存储服务器;其中,
所述存储服务器,用于基于接收到的请求配置操作,确定所述请求配置操作所配置的每次请求分配数据ID的数量,作为请求数量,并且当当前可用ID的数量小于预设数量时,向全局节点服务器发送包含有所述请求数量的ID分配请求,所述数据ID用于确定待存储数据在所述存储服务器中的存储位置;
所述全局节点服务器,用于接收所述存储服务器发送的ID分配请求,并且将所述请求数量个可用的数据ID分配至所述存储服务器;
所述存储服务器,还用于接收所述全局节点服务器分配的所述请求数量个可用的数据ID。
10.一种服务器,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-3或4任一所述的方法步骤。
CN202010036233.2A 2020-01-14 2020-01-14 一种数据id分配方法、装置、系统以及服务器 Active CN111277634B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010036233.2A CN111277634B (zh) 2020-01-14 2020-01-14 一种数据id分配方法、装置、系统以及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010036233.2A CN111277634B (zh) 2020-01-14 2020-01-14 一种数据id分配方法、装置、系统以及服务器

Publications (2)

Publication Number Publication Date
CN111277634A CN111277634A (zh) 2020-06-12
CN111277634B true CN111277634B (zh) 2021-12-21

Family

ID=71001951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010036233.2A Active CN111277634B (zh) 2020-01-14 2020-01-14 一种数据id分配方法、装置、系统以及服务器

Country Status (1)

Country Link
CN (1) CN111277634B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413156A (zh) * 2010-09-21 2012-04-11 腾讯科技(深圳)有限公司 一种分布式数据存储系统和方法
CN105100146A (zh) * 2014-05-07 2015-11-25 腾讯科技(深圳)有限公司 数据存储方法、装置及系统
CN106375404A (zh) * 2016-08-30 2017-02-01 华为技术有限公司 数据存储控制方法、数据存储方法、数据获取方法及装置
CN110633320A (zh) * 2018-05-30 2019-12-31 北京京东尚科信息技术有限公司 分布式数据服务的处理方法、系统、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6732171B2 (en) * 2002-05-31 2004-05-04 Lefthand Networks, Inc. Distributed network storage system with virtualization
JP4291077B2 (ja) * 2003-07-29 2009-07-08 株式会社日立製作所 分散ストレージ装置のファイル管理方法及び分散ストレージシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413156A (zh) * 2010-09-21 2012-04-11 腾讯科技(深圳)有限公司 一种分布式数据存储系统和方法
CN105100146A (zh) * 2014-05-07 2015-11-25 腾讯科技(深圳)有限公司 数据存储方法、装置及系统
CN106375404A (zh) * 2016-08-30 2017-02-01 华为技术有限公司 数据存储控制方法、数据存储方法、数据获取方法及装置
CN110633320A (zh) * 2018-05-30 2019-12-31 北京京东尚科信息技术有限公司 分布式数据服务的处理方法、系统、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Security-Aware Efficient Mass Distributed Storage Approach for Cloud Systems in Big Data";Keke Gai, Meikang Qiu, Hui Zhao;《2016 IEEE 2nd International Conference on Big Data Security on Cloud, IEEE International Conference on High Performance and Smart Computing, and IEEE International Conference on Intelligent Data and Security》;20160704;全文 *
"基于Hadoop的数据迁移与存储的研究";刘云飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150831;全文 *

Also Published As

Publication number Publication date
CN111277634A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN109684065B (zh) 一种资源调度方法、装置及系统
CN108667748B (zh) 一种控制带宽的方法、装置、设备和存储介质
WO2018149221A1 (zh) 一种设备管理方法及网管系统
CN104954468A (zh) 资源的分配方法及装置
WO2020233020A1 (zh) 预分配容器ip的方法、装置、计算机设备及存储介质
CN114244717B (zh) 虚拟网卡资源的配置方法、装置、计算机设备及介质
CN111163186B (zh) 一种id生成方法、装置、设备和存储介质
CN112153167B (zh) 网际互连协议管理方法、装置、电子设备及存储介质
CN111694658A (zh) Cpu资源分配方法、装置、电子设备和存储介质
CN103369038A (zh) 平台即服务PaaS管理平台及方法
CN110290228B (zh) 一种互联网协议ip地址分配方法及装置
CN110798507B (zh) 一种dhcp地址分配记忆的方法与系统
JP2022539291A (ja) 計算資源の動的割り当て
CN111277634B (zh) 一种数据id分配方法、装置、系统以及服务器
US9672073B2 (en) Non-periodic check-pointing for fine granular retry of work in a distributed computing environment
CN106254516B (zh) 负载均衡方法及装置
CN109193653B (zh) 一种功率分配的方法及装置
CN109005071B (zh) 一种决策部署方法和调度设备
CN108696557B (zh) 信息处理系统、方法和装置
US20160139940A1 (en) Systems and methods for creating virtual machine
JP6758479B2 (ja) 統計を集約するための方法および分散ストレージシステム
CN114328650A (zh) 数据库资源管理方法、装置、计算机设备和存储介质
CN114090249A (zh) 资源分配方法、装置、电子设备及存储介质
CN111459654B (zh) 服务器集群的部署方法、装置、设备及存储介质
CN108196786B (zh) 用于存储系统分区的方法和管理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant