CN104767738B - 一种数据访问的方法和装置 - Google Patents

一种数据访问的方法和装置 Download PDF

Info

Publication number
CN104767738B
CN104767738B CN201510127440.8A CN201510127440A CN104767738B CN 104767738 B CN104767738 B CN 104767738B CN 201510127440 A CN201510127440 A CN 201510127440A CN 104767738 B CN104767738 B CN 104767738B
Authority
CN
China
Prior art keywords
space
data
curvature
node
destination node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510127440.8A
Other languages
English (en)
Other versions
CN104767738A (zh
Inventor
张家重
董毅
李光瑞
王玉奎
王红娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Financial Information Technology Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201510127440.8A priority Critical patent/CN104767738B/zh
Publication of CN104767738A publication Critical patent/CN104767738A/zh
Application granted granted Critical
Publication of CN104767738B publication Critical patent/CN104767738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明提供一种数据访问的方法和装置,该方法包括:建立数据空间,将各个服务器抽象为数据空间中对应的节点,通过接收数据访问请求、确定保存有所述数据访问请求对应的请求数据的各个目标服务器,并确定目标服务器对应的目标节点,计算每个目标节点在数据空间中产生的空间曲率,根据数据访问请求确定需传送的数据总量,根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例,各个目标节点按照各自的数据传送比例,传送数据,通过这一过程可以有效降低数据访问延迟。

Description

一种数据访问的方法和装置
技术领域
本发明涉及计算机应用领域,特别涉及一种数据访问的方法和装置。
背景技术
随着互联网平台的发展,尤其是大型互联网服务平台如物联网、电商等的发展,数据访问量迅速增大,尤其是并发访问量增加。
传统的数据访问过程包括:确定云平台上各个服务器的延迟信息,根据延迟较低的多个服务器,建立并发访问线程,并根据并发访问线程获取延迟较低的多个服务器上的数据。例如:云平台上服务器的延迟从小到大的顺序依次为A、B、C、D、E,当进行数据访问时,优先访问的顺序依次为A>B>C>D>E,那么,在高并发数据访问时,云平台将为数据访问端优先分配延迟较小的服务器以获取访问数据,如数据访问端从服务器A、服务器B中并行获取访问数据。
当延迟较小的服务器被分配的任务量较多时,后续向云平台的数据访问端只能够被分配到延迟较大的服务器上来获取访问数据,这样就造成了数据访的整体延迟。
发明内容
本发明提供一种数据访问的方法和装置,以降低数据访问的整体延迟。
一种数据访问的方法,建立数据空间,将各个服务器抽象为数据空间中对应的节点,还包括:
接收数据访问请求、确定保存有所述数据访问请求对应的请求数据的各个目标服务器;并确定目标服务器对应的目标节点;
计算每个目标节点在数据空间中产生的空间曲率;
根据数据访问请求确定需传送的数据总量;
根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例,各个目标节点按照各自的数据传送比例,传送数据。
优选地,该方法进一步包括:分别对需要存储的各个数据分别计算对应的特征码,将数据与特征码的对应关系存储到文件共享列表中;
所述确定保存有所述数据访问请求对应的请求数据的各个目标服务器,并确定目标服务器对应的目标节点,包括:根据所述数据访问请求计算所述请求数据的目标特征码,查询所述文件共享列表中是否包括所述目标特征码,并在所述文件共享列表中包括所述目标特征码时,根据所述文件共享列表获取保存有所述请求数据的各个目标服务器,根据目标服务器抽象为所述数据空间中对应的节点,确定各个目标服务器对应的节点。
优选地,该方法进一步包括:获取每个目标节点的属性信息,所述属性信息包括目标节点在数据空间的质量、目标节点在数据空间的体积;
所述计算每个目标节点在数据空间中产生的空间曲率,包括:
采用公式:T=ρ/Δ,ρ=m/V计算在数据空间中产生的空间曲率,其中,T表征目标节点在数据空间中产生的空间曲率,ρ表征目标节点在数据空间的密度,Δ表征预设空间负载系数,m表征目标节点在数据空间的质量,m值为目标节点对应的设备中存储的数据长度,V表征目标节点在数据空间的体积,V值为预设的固定值。
优选地,所述根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例包括:
根据空间曲率从大到小的顺序对各个目标节点进行分布,使其分布在不同的空间曲率圆上,从内层到外层的空间曲率圆对应的空间曲率依次减小;循环执行M1和M2,直至计算完所有空间曲率圆的目标节点的传送比例:
M1、从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
M2、针对当前选择的空间曲率圆,利用下述公式计算当前第一目标节点A的传送比例ΔLA
LB=((L/lB)*ΔtB+S)*αB
LA’=((L/lA)*ΔtA+S)*αA
ΔLA=ΔLA’/(ΔLB+ΔLA’)
节点B是当前选择的空间曲率圆相邻的外层空间曲率圆上的目标节点;其中,L表征请求数据的长度,lA表征当前第一目标节点A的单位时间的下载量;ΔtA表征当前第一目标节点A的延迟时间,S表征传输请求数据的总时长,αA表征当前第一目标节点A的传送速率;lB表征当前节点B的单位时间的下载量;ΔtB表征当前节点B的延迟时间,S表征传输请求数据的总时长,αB表征当前节点B的传输速率。
优选地,该方法进一步包括:至少一个空间曲率圆上包括两个以上的目标节点;
在所述计算完所有空间曲率圆的目标节点的传送比例之后,所述根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例进一步包括:
判断所有空间曲率圆的目标节点的传送比例之和是否等于1,如果小于1,执行:
N1、从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
N2、针对当前选择的空间曲率圆,判断该当前选择的空间曲率圆是否存在未被分配过传送比例的目标节点,如果是,则执行N3,否则,执行N6;
N3、从当前选择的空间曲率圆的未被分配过传送比例的目标节点中,选择一个第二目标节点;
N4、为当前选择的空间曲率圆上的当前第二目标节点分配与当前选择的空间曲率圆上的所述第一目标节点相同的传送比例;
N5、判断所有空间曲率圆的所有目标节点的传送比例之和是否等于1,如果小于1,执行步骤N6;
N6、判断当前选择的空间曲率圆是否为最外层空间曲率圆,如果不是,则直接返回步骤N1,如果是,将从最内层的空间曲率圆至最外层的空间曲率圆的选择记录清零,然后返回步骤N1。
优选地,该方法进一步包括:
确定用于存储当前待存储数据的服务器;
计算所述确定的各个服务器对应的节点在数据空间中产生的空间曲率;
根据空间曲率从大到小的顺序,依次为所述确定的各个服务器分配从小到大的存储量,并进行所述当前待存储数据的并发存储;
将所述确定的各个服务器进行数据同步,以使每个所述确定的服务器中存储有完整的所述当前待存储数据。
一种数据访问的装置,包括:
建立单元,用于建立数据空间,将各个服务器抽象为数据空间中对应的节点;
确定单元,用于接收数据访问请求、确定保存有所述数据访问请求对应的请求数据的各个目标服务器;并确定目标服务器对应的目标节点;
计算单元,用于计算每个目标节点在数据空间中产生的空间曲率;
分配单元,用于根据数据访问请求确定需传送的数据总量,并根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例,各个目标节点按照各自的数据传送比例,传送数据。
优选地,该装置进一步包括:计算特征码单元,其中,
所述计算特征码单元,用于分别对需要存储的各个数据分别计算对应的特征码,将数据与特征码的对应关系存储到文件共享列表中;
所述确定单元,进一步用于:根据所述数据访问请求计算所述请求数据的目标特征码,查询所述文件共享列表中是否包括所述目标特征码,并在所述文件共享列表中包括所述目标特征码时,根据所述文件共享列表获取保存有所述请求数据的各个目标服务器,根据目标服务器抽象为所述数据空间中对应的节点,确定各个目标服务器对应的节点。
优选地,该装置进一步包括:获取单元,和/或,判断分配单元,其中,
所述获取单元,用于获取每个目标节点的属性信息,所述属性信息包括目标节点在数据空间的质量、目标节点在数据空间的体积;
所述计算单元,进一步用于采用公式:T=ρ/Δ,ρ=m/V计算目标节点在数据空间中产生的空间曲率,其中,T表征目标节点在数据空间中产生的空间曲率,ρ表征目标节点在数据空间的密度,Δ表征空间负载系数,m表征目标节点在数据空间的质量,m值为目标节点对应的设备中存储的数据长度V表征目标节点在数据空间的体积,V值为预设的固定值;
和/或,
所述分配单元,进一步用于:根据空间曲率从大到小的顺序对各个目标节点进行分布,使其分布在不同的空间曲率圆上,从内层到外层的空间曲率圆对应的空间曲率依次减小;循环执行M1和M2,直至计算完所有空间曲率圆的目标节点的传送比例:
M1、从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
M2、针对当前选择的空间曲率圆,利用下述公式计算当前第一目标节点A的传送比例ΔLA
LB=((L/lB)*ΔtB+S)*αB
LA’=((L/lA)*ΔtA+S)*αA
ΔLA=ΔLA’/(ΔLB+ΔLA’)
节点B是当前选择的空间曲率圆相邻的外层空间曲率圆上的目标节点;其中,L表征请求数据的长度,lA表征当前第一目标节点A的单位时间的下载量;ΔtA表征当前第一目标节点A的延迟时间,S表征传输请求数据的总时长,αA表征当前第一目标节点A的传送速率;lB表征当前节点B的单位时间的下载量;ΔtB表征当前节点B的延迟时间,S表征传输请求数据的总时长,αB表征当前节点B的传输速率;
和/或,
所述判断分配单元,用于当至少一个空间曲率圆上包括两个以上的目标节点时,判断所述分配单元分配的所有空间曲率圆的目标节点的传送比例之和是否等于1,如果小于1,执行:
N1、从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
N2、针对当前选择的空间曲率圆,判断该当前选择的空间曲率圆是否存在未被分配过传送比例的目标节点,如果是,则执行N3,否则,执行N6;
N3、从当前选择的空间曲率圆的未被分配过传送比例的目标节点中,选择一个第二目标节点;
N4、为当前选择的空间曲率圆上的当前第二目标节点分配与当前选择的空间曲率圆上的所述第一目标节点相同的传送比例;
N5、判断所有空间曲率圆的所有目标节点的传送比例之和是否等于1,如果小于1,执行步骤N6;
N6、判断当前选择的空间曲率圆是否为最外层空间曲率圆,如果不是,则直接返回步骤N1,如果是,将从最内层的空间曲率圆至最外层的空间曲率圆的选择记录清零,然后返回步骤N1。
优选地,该装置进一步包括:
确定存储单元,用于确定用于存储当前待存储数据的服务器;
计算存储单元,用于计算所述确定的各个服务器对应的节点在数据空间中产生的空间曲率;
存储单元,用于根据所述计算存储单元计算的空间曲率从大到小的顺序,依次为所述确定的各个服务器分配从小到大的存储量,并进行所述当前待存储数据的并发存储;
同步单元,用于将所述确定的各个服务器进行数据同步,以使每个所述确定的服务器中存储有完整的所述当前待存储数据。
本发明实施例提供了一种数据访问的方法和装置,通过建立数据空间,将各个服务器抽象为数据空间中对应的节点,接收数据访问请求、确定保存有所述数据访问请求对应的请求数据的各个目标服务器;并确定目标服务器对应的目标节点;计算每个目标节点在数据空间中产生的空间曲率;根据数据访问请求确定需传送的数据总量;根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例,各个目标节点按照各自的数据传送比例,传送数据。通过合理分配每个服务器上的数据传送比例,降低数据访问的整体延迟。
本发明通过计算数据访问对应的云平台服务器在数据空间中产生的空间曲率,了解到对于该数据访问的服务器的优劣,空间曲率越大其对应的服务器越优,并为各个目标服务器分配定量的数据访问比例,与现有技术相比,本发明在高并发访问量时,不会由于服务器分配不合理,造成部分数据访问延迟时间增长。另外,本发明通过根据数据访问分配数据访问的服务器,使得云平台上的服务器均处于最优的数据访问状态,从而提高了硬件资源的利用率。
附图说明
图1是本发明实施例提供的一种数据访问的方法流程图;
图2是本发明另一实施例提供的一种数据访问方法流程图;
图3是本发明实施例提供的云平台中不同重力维度的计算机分布示意图;
图4是本发明实施例提供的数据访问装置所在架构示意图;
图5是本发明实施例提供的数据访问装置结构示意图;
图6是本发明另一实施例提供的数据访问装置结构示意图。
图7是本发明又一实施例提供的数据访问装置结构示意图;
图8是本发明又一实施例提供的数据访问装置结构示意图。
图9是本发明又一实施例提供的数据访问装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种数据访问的方法,该方法可以包括以下步骤:
步骤101:建立数据空间,将各个服务器抽象为数据空间中对应的节点;
步骤102:接收数据访问请求、确定保存有所述数据访问请求对应的请求数据的各个目标服务器;并确定目标服务器对应的目标节点;
步骤103:计算每个目标节点在数据空间中重力维度上所产生的空间曲率;
步骤104:根据数据访问请求确定需传送的数据总量;
步骤105:根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例,各个目标节点按照各自的数据传送比例,传送数据。
根据上述实施例的实施方案,本发明实施例通过建立数据空间,合理分配每个服务器上的数据传送比例,降低数据访问的整体延迟。
在本发明一个实施例中,为了提高云平台各个服务器中存储数据管理的规范性,在步骤101中建立的数据空间,分别对需要存储的各个数据分别计算对应的特征码,将数据与特征码的对应关系存储到文件共享列表中。在此基础之上,步骤102的具体实施方法为:根据所述数据访问请求计算所述请求数据的目标特征码,查询所述文件共享列表中是否包括所述目标特征码,并在所述文件共享列表中包括所述目标特征码时,根据所述文件共享列表获取保存有所述请求数据的各个目标服务器,根据目标服务器抽象为所述数据空间中对应的节点,确定各个目标服务器对应的节点。
在本发明一个实施例中,为了计算每个目标节点在数据空间产生的空间曲率,在步骤103之前,本发明实施例还需要获取每个目标节点的属性信息,所述属性信息包括目标节点在数据空间的质量、目标节点在数据空间的体积;步骤103可以采用公式:T=ρ/Δ,ρ=m/V计算在数据空间中产生的空间曲率,其中,T表征目标节点在数据空间中产生的空间曲率,ρ表征目标节点在数据空间的密度,Δ表征预设空间负载系数,m表征目标节点在数据空间的质量,m值为目标节点对应的设备中存储的数据长度,V表征目标节点在数据空间的体积,V值为预设的固定值。
在本发明一个实施例中,在同一空间曲率下包括一个以上的目标节点;因此,步骤104的计算每个目标节点的传送比例的具体实现方式为:根据空间曲率从大到小的顺序对各个目标节点进行分布,使其分布在不同的空间曲率圆上,从内层到外层的空间曲率圆对应的空间曲率依次减小;循环执行M1和M2,直至计算完所有空间曲率圆的目标节点的传送比例:
M1、从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
M2、针对当前选择的空间曲率圆,利用下述公式计算当前第一目标节点A的传送比例ΔLA
LB=((L/lB)*ΔtB+S)*αB
LA’=((L/lA)*ΔtA+S)*αA
ΔLA=ΔLA’/(ΔLB+ΔLA’)
节点B是当前选择的空间曲率圆相邻的外层空间曲率圆上的目标节点;其中,L表征请求数据的长度,lA表征当前第一目标节点A的单位时间的下载量;ΔtA表征当前第一目标节点A的延迟时间,S表征传输请求数据的总时长,αA表征当前第一目标节点A的传送速率;lB表征当前节点B的单位时间的下载量;ΔtB表征当前节点B的延迟时间,S表征传输请求数据的总时长,αB表征当前节点B的传输速率。
在本发明一个实施例中,在步骤104中,至少一个空间曲率圆上包括两个以上的目标节点,步骤104的实现方式包括:判断所有空间曲率圆的目标节点的传送比例之和是否等于1,如果小于1,执行:
N1、从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
N2、针对当前选择的空间曲率圆,判断该当前选择的空间曲率圆是否存在未被分配过传送比例的目标节点,如果是,则执行N3,否则,执行N6;
N3、从当前选择的空间曲率圆的未被分配过传送比例的目标节点中,选择一个第二目标节点;
N4、为当前选择的空间曲率圆上的当前第二目标节点分配与当前选择的空间曲率圆上的所述第一目标节点相同的传送比例;
N5、判断所有空间曲率圆的所有目标节点的传送比例之和是否等于1,如果小于1,执行步骤N6;
N6、判断当前选择的空间曲率圆是否为最外层空间曲率圆,如果不是,则直接返回步骤N1,如果是,将从最内层的空间曲率圆至最外层的空间曲率圆的选择记录清零,然后返回步骤N1。
在本发明一个实施例中,在步骤101建立数据空间之后,可以通过数据空间存储数据,其过程可以为:确定用于存储当前待存储数据的服务器,计算所述确定的各个服务器对应的节点在数据空间中产生的空间曲率,根据空间曲率从大到小的顺序,依次为所述确定的各个服务器分配从小到大的存储量,并进行所述当前待存储数据的并发存储,将所述确定的各个服务器进行数据同步,以使每个所述确定的服务器中存储有完整的所述当前待存储数据。
不管是传统的数据处理,还是现在流行的云计算和分布式数据存储,待存储数据的存储是实现数据访问的必要条件,数据的访问与存储是有一定关联性的,因此,本发明实施例将通过具体系统的说明待存储数据存储过程和数据访问过程,以使本发明实施例方案更加完整。
如图2所示,本发明实施例提供了一种数据访问的方法,该方法可以包括以下步骤:
步骤201:建立数据空间,将各个服务器抽象为数据空间中对应的节点。
步骤202:分别对需要存储的各个数据分别计算对应的特征码,将数据与特征码的对应关系存储到文件共享列表中;
本发明实施例中的文件共享列表中主要包含有各个存储数据的特征码,这些特征码可与存储数据形成一一对应的关系,这些特征码可以为MD5值或SHA1值等可以代表数据唯一性的特征码例如:可以通过为存储请求对应的存储数据生成唯一的MD5值或SHA1值,通过该MD5值或SHA1值不仅可以知道其对应的存储数据,而且可以知道其对应的存储数据所在的服务器。例如:计算机A将存储数据a存入云平台,其中,云平台包含有多个服务器分别为B、B1、C、C1、D、D1、E、E1,那么数据空间在接收到计算机A存储数据的请求时,将根据将要存储的数据a生成一个特征码,如该特征码为一个MD5值或SHA1值,那么,文件共享列表将存储该MD5值或SHA1值。
步骤203:对目标数据进行存储;
这一过程主要是:确定用于存储当前待存储数据的服务器,计算所述确定的各个服务器对应的节点在数据空间中产生的空间曲率,根据空间曲率从大到小的顺序,依次为所述确定的各个服务器分配从小到大的存储量,并进行所述当前待存储数据的并发存储。
通过下式计算每个服务器在数据空间中产生的空间曲率:
T=ρ/Δ (1)
ρ=m/V (2)
其中,T表征目标节点在数据空间中产生的空间曲率,ρ表征目标节点在数据空间的密度,Δ表征预设空间负载系数,m表征目标节点在数据空间的质量,m值为目标节点对应的设备中存储的数据长度,V表征目标节点在数据空间的体积,V值为预设的固定值。
例如:计算机A将要把200M的数据a存储入云平台中,如图3所示,通过在数据空间中重力维度上所产生的空间曲率计算公式计算获得对于计算机A来说,云平台各个服务器的空间曲率大小顺序依次为:服务器B>服务器C>服务器D>服务器E,服务器B1>服务器C1>服务器D1>服务器E1,其中,服务器B的空间曲率与服务器B1的空间曲率相同,服务器C的空间曲率与服务器C1的空间曲率相同,服务器D的空间曲率与服务器D1的空间曲率相同,服务器E的空间曲率与服务器E1的空间曲率相同,那么,本发明实施例将对计算机A将要存储的200M数据a进行分段存储,其分段上传的原则为按照空间曲率从大到小的顺序,将该目标数据依次为每个待存储服务器分配从小到大的存储量,其中,在同一空间曲率的计算机分配同样的存储量。如:对于200M的数据a来说,其数据以0M至200M的长度来表示,通过本发明实施例,分别为服务器B分配了第0至第5M(以0-5M表示)的存储量、服务器C分配了6-20M的模块存储量、服务器D分配了21-50M的模块存储量、服务器E分配了51-100M的模块存储量;服务器B1分配了101-105M的存储量、服务器C1分配了106-120M的模块存储量、服务器D1分配了121-150M的模块存储量、服务器E1分配了151-200M的模块存储量。通过在同一空间曲率下,建立同一线程,即分别建立B、C、D、E的上传线程,这些线程同时进行缓存数据,互不影响。当线程B缓存完成0-5M的数据时,即开始存储服务器B1被分配的101-105M数据,当在存储数据过程中,若B1与C1间的空间曲率发生变化,其存储数据的分配量也相应的发生变化,那么,当线程B缓存完成后,即开始存储服务器C1被分配的101-105M数据。
步骤204:将各个待存储服务器进行同步,以使每个待存储服务器中存储有所述目标数据;
例如:对于200M的数据a来说,当云平台中的服务器B完成了0-5M的模块存储量、服务器C完成了6-20M的模块存储量、服务器D完成了21-50M的模块存储量、服务器E完成了51-100M的模块存储量;服务器B1完成了101-105M的存储量、服务器C1完成了106-120M的模块存储量、服务器D1完成了121-150M的模块存储量、服务器E1完成了151-200M的模块存储量,那么,通过服务器间的交互,服务器B将分别从服务器C获取6-20M的数据、从服务器D获取21-50M的数据、从服务器E获取51-100M的数据;服务器B1获取101-105M的数据、从服务器C1获取106-120M的数据、从服务器D1获取121-150M的数据、从服务器E1获取151-200M的数据,使得服务器B中存储有完整的200M数据a,依次类推,云平台各个目标服务器均存储了完整的200M的数据a。
上述步骤201至204是实现本发明实施例所述数据访问的充分条件,在上述步骤基础之上,本发明实施例进一步对数据访问的过程加以说明。
步骤205:接收数据访问请求,根据该数据访问请求计算该请求数据的目标特征码,查询文件共享列表中是否包括所述目标特征码,如果是,则执行步骤206,否则执行步骤207;
在本步骤中,通过调用函数spdFeatureCoding(),计算所请求数据的特征码;将特征码传入函数spdCheckFileCoding(),查询当前文件共享列表是否存在该请求数据。
在上述步骤202中,已说明特征码可与存储数据形成一一对应的关系,那么,在数据访问过程中,可以通过在文件共享列表中查找请求数据的目标特征码,既可获知该存储数据是否在云平台的各个服务器中存在。
步骤206:根据所述文件共享列表获取保存有所述请求数据的各个目标服务器,根据目标服务器抽象为所述数据空间中对应的节点,确定各个目标服务器对应的节点;
在本步骤中通过将文件共享列表的查询结果传入函数spdMapStruct(),以确定保存有请求数据的各个目标服务器,根据目标服务器抽象为所述数据空间中对应的节点,确定各个目标服务器对应的节点。
在这一过程中,请求数据的特征码可以在数据空间中查找到,说明,该请求数据具有存储数据,那么数据空间返回的查询结果可以表征数据空间中包括所述目标特征码,以及该查询结果携带保存有所述请求数据的各个目标服务器,及每个目标服务器的属性信息。例如计算机A请求数据a,数据a的缓存数据在云平台中服务器B、服务器C、服务器D、服务器E、服务器B1、服务器C1、服务器D1和服务器E1中均存在,那么,数据a生成的MD5值或SHA1值可以在文件共享列表中查询到,将保存这些目标服务器。
步骤207:传送错误信息,结束数据访问;
步骤208:获取每个目标服务器的属性信息,所述属性信息包括目标服务器在数据空间的质量、目标服务器在数据空间的体积;
例如:对于步骤206的云平台来说,本步骤将获取关于目标服务器B、目标服务器C、目标服务器D、目标服务器E、目标服务器B1、目标服务器C1、目标服务器D1和目标服务器E1的属性信息。
步骤209:计算每个目标服务器在数据空间中产生的空间曲率;
该空间曲率的计算过程与步骤203中所述的空间曲率的计算公式一致,在本步骤中将不再赘述。
例如:计算机A请求数据a,数据a的缓存数据在云平台中服务器B、服务器C、服务器D、服务器E、服务器B1、服务器C1、服务器D1和服务器E1中均存在,那么,通过空间曲率计算公式分别计算服务器B、服务器C、服务器D、服务器E、服务器B1、服务器C1、服务器D1和服务器E1的空间曲率。空间曲率的大小,表示其对应服务器对于请求数据a的优劣性,空间曲率越大,表明计算机从该服务器获取数据a越慢,空间曲率越小,表明计算机从该服务器获取数据a越快。
步骤210:根据数据访问请求确定需传送的数据总量;
该过程为后面为各个目标服务器分配传送比例及传送量提供参考。
在本发明实施例中,根据空间曲率从大到小的顺序对各个目标节点进行分布,使其分布在不同的空间曲率圆上,从内层到外层的空间曲率圆对应的空间曲率依次减小,以此为基础,进行后续步骤。
步骤211:根据计算的每个目标节点的空间曲率,从所述数据总量中为每个曲率圆上的第一目标节点分配数据传送比例;
本步骤的具体实现方式为:循环执行M1和M2,直至计算完所有空间曲率圆的第一目标节点的传送比例:
M1:从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
M2:针对当前选择的空间曲率圆,利用下述公式计算当前第一目标节点A的传送比例ΔLA
LB=((L/lB)*ΔtB+S)*αB
LA’=((L/lA)*ΔtA+S)*αA
ΔLA=ΔLA’/(ΔLB+ΔLA’)
节点B是当前选择的空间曲率圆相邻的外层空间曲率圆上的目标节点;其中,L表征请求数据的长度,lA表征当前第一目标节点A的单位时间的下载量;ΔtA表征当前第一目标节点A的延迟时间,S表征传输请求数据的总时长,αA表征当前第一目标节点A的传送速率;lB表征当前节点B的单位时间的下载量;ΔtB表征当前节点B的延迟时间,S表征传输请求数据的总时长,αB表征当前节点B的传输速率。
该传送比例的计算是通过各个空间曲率圆上的节点的请求数据的长度来校正获取的。
在这一过程中将筛选和过滤掉重复的存储数据信息,也就是说,数据访问端从各个服务器上获取的数据间不会存在重复,如:数据访问端传送获取200M数据长度的数据,其从服务器B上获取第0-5M的数据,那么其它服务器将不再传送第0-5M的数据。
本步骤可通过调用函数spdGetDataPath()获得所需数据的最优路径;通过调用函数spdFilterRedundantData()去除路径中的重复数据,计算从每个服务器中所获取数据的传送量,并根据实际的网络负载信息,动态调整相关配置,使本步骤得以实现。
例如:计算机A向云平台请求200M的数据a,该数据a在云平台服务器B、B1、C、C1、D、D1、E、E1均有存在,其各个曲率圆上的第一节点分为B、C、D和E,图3所示,计算获得对于计算机A来说,云平台各个服务器的空间曲率大小顺序依次为:服务器B>服务器C>服务器D>服务器E,那么,本发明实施例将通过上述传送比例的计算公式,计算各个曲率圆上的第一节点,云平台将对计算机A请求的200M存储数据a进行分段传送,将所述目标存储数据依次为每个空间曲率圆的第一节点分配传送比例。如:对于200M的存储数据a来说,通过计算可分别为各个第一节点的传送比例为:2.5%、7.5%、15%、25%;即可分别为第一节点B分配了第0至第5M(以0-5M表示)的传送量、第一节点C分配了6-20M的传送量、第一节点D分配了21-50M的传送量、第一节点E分配了51-100M的传送量。
步骤212:判断所有空间曲率圆的第一目标节点的传送比例之和是否小于1,如果是,执行步骤212~N1至步骤212~N6,否则,执行步骤213;
步骤212~N1:从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
步骤212~N2:针对当前选择的空间曲率圆,判断该当前选择的空间曲率圆是否存在未被分配过传送比例的目标节点,如果是,则执行N3,否则,执行N6;
步骤212~N3:从当前选择的空间曲率圆的未被分配过传送比例的目标节点中,选择一个第二目标节点;
步骤212~N4:为当前选择的空间曲率圆上的当前第二目标节点分配与当前选择的空间曲率圆上的所述第一目标节点相同的传送比例;
步骤212~N5:判断所有空间曲率圆的所有目标节点的传送比例之和是否等于1,如果小于1,执行步骤N6;
步骤212~N6:判断当前选择的空间曲率圆是否为最外层空间曲率圆,如果不是,则直接返回步骤N1,如果是,将从最内层的空间曲率圆至最外层的空间曲率圆的选择记录清零,然后返回步骤N1。
例如:在步骤211中,通过步骤211~M1和步骤211~M2对各个曲率圆圆上的第一节点分配完后,并未完全将200M的数据a分配完成,那么,本步骤将继续为各个曲率圆上的第二节点分配与同一曲率圆上的第一节点相同的传送比例,即,在步骤211中,分别为第一节点B分配了第0至第5M(以0-5M表示)的传送量、第一节点C分配了6-20M的传送量、第一节点D分配了21-50M的传送量、第一节点E分配了51-100M的传送量,那么,本步骤中,可继续为第二节点B1分配了101-105M的传送量、第二节点C1分配了106-120M的传送量、第二节点D1分配了121-150M的传送量、第二节点E1分配了151-200M的传送量。如果数据请求长度变为300M,那么,通过本步骤将继续为各个曲率圆上的第三节点分配传送比例,假如与节点B相同的曲率圆上不存在第三节点,那么将查看节点C相同的曲率圆上是否存在第三节点,存在的话即分配与节点C相等的传送量,直到请求数据长度被分配完成。通过在同一空间曲率下,建立同一线程,即分别建立B、C、D、E的传送线程,这些线程同时进行缓存数据传送,互不影响。当线程B传送完成0-5M的数据时,即开始传送服务器B1被分配的101-105M数据,当在传送数据过程中,若B1与C1间的空间曲率发生变化,其传送数据的分配量也相应的发生变化,那么,当线程B传送数据完成后,即开始传送服务器C1被分配的101-105M数据。
步骤213:各个目标节点按照各自的数据传送比例,传送数据。
在上述步骤之后,计算机A可通过调用函数spdGetFile()来获取其所请求的数据。
本实施例至少可以实现如下有益效果:
1、本发明实施例提供了一种数据访问的方法和装置,通过建立数据空间,将各个服务器抽象为数据空间中对应的节点,接收数据访问请求、确定保存有所述数据访问请求对应的请求数据的各个目标服务器;并确定目标服务器对应的目标节点;计算每个目标节点在数据空间中产生的空间曲率;根据数据访问请求确定需传送的数据总量;根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例,各个目标节点按照各自的数据传送比例,传送数据。通过合理分配每个服务器上的数据传送比例,降低数据访问的整体延迟。
2、本发明通过计算数据访问对应的云平台服务器在数据空间中产生的空间曲率,了解到对于该数据访问的服务器的优劣,空间曲率越大其对应的服务器越优,并为各个目标服务器分配定量的数据访问比例,与现有技术相比,本发明在高并发访问量时,不会由于服务器分配不合理,造成部分数据访问延迟时间增长。另外,本发明通过根据数据访问分配数据访问的服务器,使得云平台上的服务器均处于最优的数据访问状态,从而提高了硬件资源的利用率。
如图4、图5所示,本发明实施例提供了一种数据访问的装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言,如图4所示,为本发明实施例提供的装置所在设备的一种硬件结构图,除了图4所示的CPU、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常还可以包括其他硬件,如负责计算数据特征码的芯片等等。以软件实现为例,如图5所示,作为一个逻辑意义上的装置,是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的数据访问装置50包括:
建立单元501,用于建立数据空间,将各个服务器抽象为数据空间中对应的节点;
确定单元502,用于接收数据访问请求、确定保存有所述数据访问请求对应的请求数据的各个目标服务器;并确定目标服务器对应的目标节点;
计算单元503,用于计算每个目标节点在数据空间中产生的空间曲率;
分配单元504,用于根据数据访问请求确定需传送的数据总量,并根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例,各个目标节点按照各自的数据传送比例,传送数据。
在本发明一个实施例中,如图6所示,数据访问装置可以进一步包括:计算特征码单元601,
所述计算特征码单元601,用于分别对需要存储的各个数据分别计算对应的特征码,将数据与特征码的对应关系存储到文件共享列表中;
所述确定单元,进一步用于:根据所述数据访问请求计算所述请求数据的目标特征码,查询所述文件共享列表中是否包括所述目标特征码,并在所述文件共享列表中包括所述目标特征码时,根据所述文件共享列表获取保存有所述请求数据的各个目标服务器,根据目标服务器抽象为所述数据空间中对应的节点,确定各个目标服务器对应的节点。
在本发明一个实施例中,如图7所示,数据访问装置可以进一步包括:获取单元701,其中,
所述获取单元,用于获取每个目标节点的属性信息,所述属性信息包括目标节点在数据空间的质量、目标节点在数据空间的体积;
所述计算单元,进一步用于采用公式:T=ρ/Δ,ρ=m/V计算目标节点在数据空间中产生的空间曲率,其中,T表征目标节点在数据空间中产生的空间曲率,ρ表征目标节点在数据空间的密度,Δ表征空间负载系数,m表征目标节点在数据空间的质量,m值为目标节点对应的设备中存储的数据长度V表征目标节点在数据空间的体积,V值为预设的固定值;
在本发明一个实施例中,所述分配单元,进一步用于:根据空间曲率从大到小的顺序对各个目标节点进行分布,使其分布在不同的空间曲率圆上,从内层到外层的空间曲率圆对应的空间曲率依次减小;循环执行M1和M2,直至计算完所有空间曲率圆的目标节点的传送比例:
M1、从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
M2、针对当前选择的空间曲率圆,利用下述公式计算当前第一目标节点A的传送比例ΔLA
LB=((L/lB)*ΔtB+S)*αB
LA’=((L/lA)*ΔtA+S)*αA
ΔLA=ΔLA’/(ΔLB+ΔLA’)
节点B是当前选择的空间曲率圆相邻的外层空间曲率圆上的目标节点;其中,L表征请求数据的长度,lA表征当前第一目标节点A的单位时间的下载量;ΔtA表征当前第一目标节点A的延迟时间,S表征传输请求数据的总时长,αA表征当前第一目标节点A的传送速率;lB表征当前节点B的单位时间的下载量;ΔtB表征当前节点B的延迟时间,S表征传输请求数据的总时长,αB表征当前节点B的传输速率;
在本发明一个实施例中,如图8所示,数据访问装置可以进一步包括:判断分配单元801,其中,
所述判断分配单元,用于当至少一个空间曲率圆上包括两个以上的目标节点时,判断所述分配单元分配的所有空间曲率圆的目标节点的传送比例之和是否等于1,如果小于1,执行:
N1、从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
N2、针对当前选择的空间曲率圆,判断该当前选择的空间曲率圆是否存在未被分配过传送比例的目标节点,如果是,则执行N3,否则,执行N6;
N3、从当前选择的空间曲率圆的未被分配过传送比例的目标节点中,选择一个第二目标节点;
N4、为当前选择的空间曲率圆上的当前第二目标节点分配与当前选择的空间曲率圆上的所述第一目标节点相同的传送比例;
N5、判断所有空间曲率圆的所有目标节点的传送比例之和是否等于1,如果小于1,执行步骤N6;
N6、判断当前选择的空间曲率圆是否为最外层空间曲率圆,如果不是,则直接返回步骤N1,如果是,将从最内层的空间曲率圆至最外层的空间曲率圆的选择记录清零,然后返回步骤N1。
在本发明一个实施例中,如图9所示,数据访问装置可以进一步包括:确定存储单元901、计算存储单元902、存储单元903、同步单元904,其中,
确定存储单元901,用于确定用于存储当前待存储数据的服务器;
计算存储单元902,用于计算所述确定的各个服务器对应的节点在数据空间中产生的空间曲率;
存储单元903,用于根据所述计算存储单元计算的空间曲率从大到小的顺序,依次为所述确定的各个服务器分配从小到大的存储量,并进行所述当前待存储数据的并发存储;
同步单元904,用于将所述确定的各个服务器进行数据同步,以使每个所述确定的服务器中存储有完整的所述当前待存储数据。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (10)

1.一种数据访问的方法,其特征在于,建立数据空间,将各个服务器抽象为数据空间中对应的节点,还包括:
接收数据访问请求、确定保存有所述数据访问请求对应的请求数据的各个目标服务器;并确定目标服务器对应的目标节点;
计算每个目标节点在数据空间中产生的空间曲率;
根据数据访问请求确定需传送的数据总量;
根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例,各个目标节点按照各自的数据传送比例,传送数据。
2.根据权利要求1所述的方法,其特征在于,
进一步包括:分别对需要存储的各个数据分别计算对应的特征码,将数据与特征码的对应关系存储到文件共享列表中;
所述确定保存有所述数据访问请求对应的请求数据的各个目标服务器,并确定目标服务器对应的目标节点,包括:根据所述数据访问请求计算所述请求数据的目标特征码,查询所述文件共享列表中是否包括所述目标特征码,并在所述文件共享列表中包括所述目标特征码时,根据所述文件共享列表获取保存有所述请求数据的各个目标服务器,根据目标服务器抽象为所述数据空间中对应的节点,确定各个目标服务器对应的节点。
3.根据权利要求1所述的方法,其特征在于,
进一步包括:获取每个目标节点的属性信息,所述属性信息包括目标节点在数据空间的质量、目标节点在数据空间的体积;
所述计算每个目标节点在数据空间中产生的空间曲率,包括:
采用公式:T=ρ/Δ,ρ=m/V计算在数据空间中产生的空间曲率,其中,T表征目标节点在数据空间中产生的空间曲率,ρ表征目标节点在数据空间的密度,Δ表征预设空间负载系数,m表征目标节点在数据空间的质量,m值为目标节点对应的设备中存储的数据长度,V表征目标节点在数据空间的体积,V值为预设的固定值。
4.根据权利要求3所述的方法,其特征在于,
所述根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例包括:
根据空间曲率从大到小的顺序对各个目标节点进行分布,使其分布在不同的空间曲率圆上,从内层到外层的空间曲率圆对应的空间曲率依次减小;循环执行M1和M2,直至计算完所有空间曲率圆的第一目标节点的传送比例:
M1、从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
M2、针对当前选择的空间曲率圆,利用下述公式计算当前第一目标节点A的传送比例ΔLA
LB=((L/IB)*ΔtB+S)*αB
LA’=((L/IA)*ΔtA+S)*αA
ΔLA=ΔLA’/(ΔLB+ΔLA’)
节点B是当前选择的空间曲率圆相邻的外层空间曲率圆上的目标节点;其中,L表征请求数据的长度,IA表征当前第一目标节点A的单位时间的下载量;ΔtA表征当前第一目标节点A的延迟时间,S表征传输请求数据的总时长,αA表征当前第一目标节点A的传送速率;IB表征当前节点B的单位时间的下载量;ΔtB表征当前节点B的延迟时间,S表征传输请求数据的总时长,αB表征当前节点B的传输速率。
5.根据权利要求4所述的方法,其特征在于,该方法进一步包括:至少一个空间曲率圆上包括两个以上的目标节点;
在所述计算完所有空间曲率圆的目标节点的传送比例之后,所述根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例进一步包括:
判断所有空间曲率圆的目标节点的传送比例之和是否等于1,如果小于1,执行:
N1、从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
N2、针对当前选择的空间曲率圆,判断该当前选择的空间曲率圆是否存在未被分配过传送比例的目标节点,如果是,则执行N3,否则,执行N6;
N3、从当前选择的空间曲率圆的未被分配过传送比例的目标节点中,选择一个第二目标节点;
N4、为当前选择的空间曲率圆上的当前第二目标节点分配与当前选择的空间曲率圆上的所述第一目标节点相同的传送比例;
N5、判断所有空间曲率圆的所有目标节点的传送比例之和是否等于1,如果小于1,执行步骤N6;
N6、判断当前选择的空间曲率圆是否为最外层空间曲率圆,如果不是,则直接返回步骤N1,如果是,将从最内层的空间曲率圆至最外层的空间曲率圆的选择记录清零,然后返回步骤N1。
6.根据权利要求2所述方法,其特征在于,该方法进一步包括:
确定用于存储当前待存储数据的服务器;
计算所述确定的各个服务器对应的节点在数据空间中产生的空间曲率;
根据空间曲率从大到小的顺序,依次为所述确定的各个服务器分配从小到大的存储量,并进行所述当前待存储数据的并发存储;
将所述确定的各个服务器进行数据同步,以使每个所述确定的服务器中存储有完整的所述当前待存储数据。
7.一种数据访问的装置,其特征在于,包括:
建立单元,用于建立数据空间,将各个服务器抽象为数据空间中对应的节点;
确定单元,用于接收数据访问请求、确定保存有所述数据访问请求对应的请求数据的各个目标服务器;并确定目标服务器对应的目标节点;
计算单元,用于计算每个目标节点在数据空间中产生的空间曲率;
分配单元,用于根据数据访问请求确定需传送的数据总量,并根据计算的每个目标节点的空间曲率,从所述数据总量中为每个目标节点分配数据传送比例,各个目标节点按照各自的数据传送比例,传送数据。
8.根据权利要求7所述的装置,其特征在于,进一步包括:计算特征码单元,其中,
所述计算特征码单元,用于分别对需要存储的各个数据分别计算对应的特征码,将数据与特征码的对应关系存储到文件共享列表中;
所述确定单元,进一步用于:根据所述数据访问请求计算所述请求数据的目标特征码,查询所述文件共享列表中是否包括所述目标特征码,并在所述文件共享列表中包括所述目标特征码时,根据所述文件共享列表获取保存有所述请求数据的各个目标服务器,根据目标服务器抽象为所述数据空间中对应的节点,确定各个目标服务器对应的节点。
9.根据权利要求7所述装置,其特征在于,进一步包括:获取单元,和/或,判断分配单元,其中,
所述获取单元,用于获取每个目标节点的属性信息,所述属性信息包括目标节点在数据空间的质量、目标节点在数据空间的体积;
所述计算单元,进一步用于采用公式:T=ρ/Δ,ρ=m/V计算目标节点在数据空间中产生的空间曲率,其中,T表征目标节点在数据空间中产生的空间曲率,ρ表征目标节点在数据空间的密度,Δ表征空间负载系数,m表征目标节点在数据空间的质量,m值为目标节点对应的设备中存储的数据长度V表征目标节点在数据空间的体积,V值为预设的固定值;
和/或,
所述分配单元,进一步用于:根据空间曲率从大到小的顺序对各个目标节点进行分布,使其分布在不同的空间曲率圆上,从内层到外层的空间曲率圆对应的空间曲率依次减小;循环执行M1和M2,直至计算完所有空间曲率圆的目标节点的传送比例:
M1、从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
M2、针对当前选择的空间曲率圆,利用下述公式计算当前第一目标节点A的传送比例ΔLA
LB=((L/IB)*ΔtB+S)*αB
LA’=((L/IA)*ΔtA+S)*αA
ΔLA=ΔLA’/(ΔLB+ΔLA’)
节点B是当前选择的空间曲率圆相邻的外层空间曲率圆上的目标节点;其中,L表征请求数据的长度,IA表征当前第一目标节点A的单位时间的下载量;ΔtA表征当前第一目标节点A的延迟时间,S表征传输请求数据的总时长,αA表征当前第一目标节点A的传送速率;IB表征当前节点B的单位时间的下载量;ΔtB表征当前节点B的延迟时间,S表征传输请求数据的总时长,αB表征当前节点B的传输速率;
和/或,
所述判断分配单元,用于当至少一个空间曲率圆上包括两个以上的目标节点时,判断所述分配单元分配的所有空间曲率圆的目标节点的传送比例之和是否等于1,如果小于1,执行:
N1、从最内层的空间曲率圆开始选择,选择一个未被选择过的空间曲率圆;
N2、针对当前选择的空间曲率圆,判断该当前选择的空间曲率圆是否存在未被分配过传送比例的目标节点,如果是,则执行N3,否则,执行N6;
N3、从当前选择的空间曲率圆的未被分配过传送比例的目标节点中,选择一个第二目标节点;
N4、为当前选择的空间曲率圆上的当前第二目标节点分配与当前选择的空间曲率圆上的所述第一目标节点相同的传送比例;
N5、判断所有空间曲率圆的所有目标节点的传送比例之和是否等于1,如果小于1,执行步骤N6;
N6、判断当前选择的空间曲率圆是否为最外层空间曲率圆,如果不是,则直接返回步骤N1,如果是,将从最内层的空间曲率圆至最外层的空间曲率圆的选择记录清零,然后返回步骤N1。
10.根据权利要求8所述装置,其特征在于,进一步包括:
确定存储单元,用于确定用于存储当前待存储数据的服务器;
计算存储单元,用于计算所述确定的各个服务器对应的节点在数据空间中产生的空间曲率;
存储单元,用于根据所述计算存储单元计算的空间曲率从大到小的顺序,依次为所述确定的各个服务器分配从小到大的存储量,并进行所述当前待存储数据的并发存储;
同步单元,用于将所述确定的各个服务器进行数据同步,以使每个所述确定的服务器中存储有完整的所述当前待存储数据。
CN201510127440.8A 2015-03-23 2015-03-23 一种数据访问的方法和装置 Active CN104767738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510127440.8A CN104767738B (zh) 2015-03-23 2015-03-23 一种数据访问的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510127440.8A CN104767738B (zh) 2015-03-23 2015-03-23 一种数据访问的方法和装置

Publications (2)

Publication Number Publication Date
CN104767738A CN104767738A (zh) 2015-07-08
CN104767738B true CN104767738B (zh) 2018-02-02

Family

ID=53649346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510127440.8A Active CN104767738B (zh) 2015-03-23 2015-03-23 一种数据访问的方法和装置

Country Status (1)

Country Link
CN (1) CN104767738B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277050B (zh) * 2017-07-27 2021-02-26 维沃移动通信有限公司 一种数据处理方法、服务器、终端及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595805A (zh) * 2013-11-22 2014-02-19 浪潮电子信息产业股份有限公司 一种基于分布式集群的数据放置方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10951726B2 (en) * 2013-07-31 2021-03-16 Citrix Systems, Inc. Systems and methods for performing response based cache redirection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595805A (zh) * 2013-11-22 2014-02-19 浪潮电子信息产业股份有限公司 一种基于分布式集群的数据放置方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高性能服务器上爆轰波传播的并行计算;黄清南等;《信息与电子工程》;20030331;第1卷(第1期);全文 *

Also Published As

Publication number Publication date
CN104767738A (zh) 2015-07-08

Similar Documents

Publication Publication Date Title
CN105988876B (zh) 内存分配方法及装置
CN103778135B (zh) 一种实时数据的分布存储和分页查询方法
CN104348679B (zh) 一种分桶测试的方法、装置和系统
CN105224255B (zh) 一种存储文件管理方法及装置
CN109039800A (zh) 在流量实验中进行流量分配的方法、装置和计算机设备
CN107426332B (zh) 一种web服务器集群的负载均衡方法及系统
CN107395683A (zh) 一种回源路径的选择方法及服务器
CN108153757A (zh) 一种哈希表管理的方法和装置
CN103607424B (zh) 一种服务器连接方法及服务器系统
CN108108384A (zh) 一种数据存储方法及装置
CN104166628B (zh) 管理内存的方法、装置和系统
CN107273213A (zh) 一种计算控制方法、网卡及电子设备
CN107451853A (zh) 一种红包实时派发的方法、装置、系统及存储介质
CN103902548B (zh) 一种访问数据库的系统和方法及注册、订票、网购系统
CN108345643A (zh) 一种数据处理方法及装置
CN105978936A (zh) Cdn服务器及其缓存数据的方法
CN110020046A (zh) 一种数据抓取方法及装置
CN104615726B (zh) 一种基于缓加载技术展示大量业务对象的方法
CN105991699A (zh) 一种互联网爬虫的分布式下载系统
CN109165096A (zh) web集群的缓存利用系统及方法
CN104767738B (zh) 一种数据访问的方法和装置
CN103634374B (zh) 一种并发访问请求的处理方法及装置
CN103678313B (zh) 一种评估网页权威性的方法及装置
CN106570006A (zh) 多媒体文件推荐系统和投放信息存储方法
CN106020732A (zh) 节点的磁盘空间确定方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180212

Address after: Wusong Industrial Park, Wuzhong Development District of Suzhou City, Jiangsu province 215100 Wusong Road No. 818

Patentee after: Tide Financial Information Technology Co Ltd

Address before: 250100 Ji'nan high tech Zone, Shandong, No. 1036 wave road

Patentee before: Inspur Group Co., Ltd.