CN109561152B - 数据访问请求响应方法、装置、终端和存储介质 - Google Patents

数据访问请求响应方法、装置、终端和存储介质 Download PDF

Info

Publication number
CN109561152B
CN109561152B CN201811525615.0A CN201811525615A CN109561152B CN 109561152 B CN109561152 B CN 109561152B CN 201811525615 A CN201811525615 A CN 201811525615A CN 109561152 B CN109561152 B CN 109561152B
Authority
CN
China
Prior art keywords
request
service
data
data items
responding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811525615.0A
Other languages
English (en)
Other versions
CN109561152A (zh
Inventor
黄冬
范小朋
王洋
须成忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811525615.0A priority Critical patent/CN109561152B/zh
Publication of CN109561152A publication Critical patent/CN109561152A/zh
Priority to PCT/CN2019/124018 priority patent/WO2020119636A1/zh
Application granted granted Critical
Publication of CN109561152B publication Critical patent/CN109561152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据访问请求响应方法、装置、终端和存储介质,该方法包括:接收到访问目标数据项的请求后,确认目标数据项是否已被打包;当目标数据项已被打包时,确认目标数据项对应的数据包;判断数据包中的其余数据项是否被请求访问;若是,则采用离线算法计算出能够满足请求的最优服务策略,并响应请求;若否,则采用贪心算法计算出能够满足请求的最优服务策略,并响应请求。本发明基于数据打包服务的服务代价低于单独服务的服务代价这一事实,根据打包情况分别采取不同的服务策略来满足不同情况下的数据请求,以使得最终的服务代价较低,提高了服务质量,减少了网络延迟和负载。

Description

数据访问请求响应方法、装置、终端和存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据访问请求响应方法、装置、终端和存储介质。
背景技术
据2018年6月第42次中国互联网发展状况统计报告显示,我国网民拥有移动终端的规模已经达到7.88亿,使用移动设备上网的人群所占的比例提升至98.3%,移动设备已经取代电脑成为网络用户获取信息的最主要平台。随着移动设备的普及,移动云计算也得到了广泛的关注,并逐渐成为云服务的一种主要形式,越来越多的出现在人们的生活之中,比如远程管理、无限推送、存储备份、在线搜索等。由于移动云服务多为访问时间敏感的服务,如何降低服务的延迟、减少网络负载,从而最大化提高数据访问效率,对提高服务质量,降低服务成本,改善用户体验来说始终是移动云计算一个至关重要的问题。
发明内容
本发明提供了一种数据访问请求响应方法、装置、终端和存储介质,以解决现有的移动云服务数据访问请求响应延迟过高,负载过大的问题。
为了解决上述问题,本发明提供了一种数据访问请求响应方法,其包括:
接收到访问目标数据项的请求后,确认目标数据项是否已被打包;
当目标数据项已被打包时,确认目标数据项对应的数据包;
判断数据包中的其余数据项是否被请求访问;
若是,则采用离线算法计算出能够满足请求的最优服务策略,并响应请求;
若否,则采用贪心算法计算出能够满足请求的最优服务策略,并响应请求。
作为本发明的进一步改进,接收到访问目标数据项的请求后,确认目标数据项是否已被打包的步骤之前,还包括:
获取服务器中存储的所有数据项,并计算所有数据项之间的相关性值,
Figure BDA0001904375120000021
其中,di和dj代表两个数据项,|di∩dj|代表所有请求中数据项di和dj共同出现的请求的个数,|di∪dj|代表所有包含di或dj的请求的个数;
判断相关性值是否超过预设相关阈值;
当相关性值超过预设相关阈值时,若相关性值对应的两个数据项未与其他数据项打包,则将相关性值对应的两个数据项进行打包。
作为本发明的进一步改进,,确认所述目标数据项是否已被打包的步骤之后,还包括:
当目标数据项未被打包时,采用离线算法计算出能够满足请求的最优服务策略,并响应请求。
作为本发明的进一步改进,采用贪心算法计算出能够满足请求的最优服务策略,并响应请求的步骤,包括:
分别计算缓存服务策略、迁移服务策略、直接数据包服务策略的服务代价;
选取服务代价最低的服务策略响应请求。
为了解决上述问题,本发明还提供了一种数据访问请求响应装置,其包括:
打包确认模块,用于接收到访问目标数据项的请求后,确认目标数据项是否已被打包;
数据包确认模块,用于当目标数据项已被打包时,确认目标数据项对应的数据包;
第一判断模块,用于判断数据包中的其余数据项是否被请求访问;
第一响应模块,用于当数据包中的其余数据项均被请求访问时,采用离线算法计算出能够满足请求的最优服务策略,并响应请求;
第二响应模块,用于当数据包中的其余数据项未均被请求访问时,采用贪心算法计算出能够满足请求的最优服务策略,并响应请求。
作为本发明的进一步改进,其还包括:
相关性计算模块,用于获取服务器中存储的所有数据项,并计算所有数据项之间的相关性值,
Figure BDA0001904375120000031
其中,di和dj代表两个数据项,|di∩dj|代表所有请求中数据项di和dj共同出现的请求的个数,|di∪dj|代表所有包含di或dj的请求的个数;
第二判断模块,用于判断相关性值是否超过预设相关阈值;
数据打包模块,用于当相关性值超过预设相关阈值时,若相关性值对应的两个数据项未与其他数据项打包,则将相关性值对应的两个数据项进行打包。
作为本发明的进一步改进,其还包括:
第三响应模块,用于当目标数据项未被打包时,采用离线算法计算出能够满足请求的最优服务策略,并响应请求。
作为本发明的进一步改进,第二响应模块包括:
计算单元,用于分别计算缓存服务策略、迁移服务策略、直接数据包服务策略的服务代价;
选取单元,用于选取服务代价最低的服务策略响应请求。
为了解决上述问题,本发明还提供了一种终端,其包括存储器和处理器,处理器耦接存储器,存储器上存储有可在处理器上运行的计算机程序;
处理器执行计算机程序时,实现上述任一项数据访问请求响应方法中的步骤。
为了解决上述问题,本发明还提供了一种存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时,实现上述任一项数据访问请求响应方法中的步骤。
相比于现有技术,本发明通过确认被访问的目标数据项是否已被打包,当目标数据项已被打包时,根据打包情况分别采取不同的服务策略来满足不同情况下的数据访问请求,而基于数据打包服务的服务代价低于单独服务的服务代价这一事实,因此,根据打包情况分别采取不同的服务策略来满足不同情况下的数据请求,可以使得最终的服务代价较低,从而减少了数据访问请求响应时间,降低了负载,提高了服务质量,提升了用户体验。
附图说明
图1为本发明数据访问请求响应方法第一个实施例的流程示意图;
图2为本发明数据访问请求响应方法第二个实施例的流程示意图;
图3为本发明数据访问请求响应方法第三个实施例的流程示意图;
图4为本发明数据访问请求响应方法第四个实施例的流程示意图;
图5为本发明数据访问请求响应装置第一个实施例的功能模块示意图;
图6为本发明数据访问请求响应装置第二个实施例的功能模块示意图;
图7为本发明数据访问请求响应装置第三个实施例的功能模块示意图;
图8为本发明数据访问请求响应装置第四个实施例的功能模块示意图;
图9为本发明终端一个实施例的框架示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用来限定本发明。
图1展示了本发明数据访问请求响应方法的一个实施例。本实施例中,如图1所示,该数据访问请求响应方法包括以下步骤:
步骤S1,接收到访问目标数据项的请求后,确认目标数据项是否已被打包。当目标数据项已被打包时,执行步骤S2。
通常地,一个数据访问请求会访问到多个数据项,在本实施例中,接收到数据访问请求之后,首先确认请求中请求访问的数据项具体为哪些数据项,并确定其中之一为目标数据项,再确认该目标数据项是否已被打包。
步骤S2,确认目标数据项对应的数据包。
具体地,当目标数据项已被打包时,则确认该目标数据项对应的数据包,并确认该数据包中的其余数据项。
步骤S3,判断数据包中的其余数据项是否被请求访问。若是,则执行步骤S4;若否,则执行步骤S5。
具体地,以打包有两个数据项的数据包为例进行说明,在确认其中一个数据项为该请求访问的目标数据项之后,需要判断另一数据项是否同样为该请求访问的对象。
步骤S4,采用离线算法计算出能够满足请求的最优服务策略,并响应请求。
具体地,当数据包中的其余数据项均被该请求访问时,根据离线算法计算出所有能够满足该请求的服务策略,并从中挑选出服务代价最低的服务器策略作为最优服务策略来响应该请求。
进一步的,同样以打包有两个数据项的数据包为例进行说明,针对于该打包的两个数据项,其中,服务代价的计算可通过下述代价计算模型来完成:
以rn=(sn,tn,Dn)表示一个请求,其代表在tn时刻服务器sn上有一个请求访问数据集的一个真子集Dn,
Figure BDA0001904375120000066
假设ri=(si,ti,Di),rj=(sj,tj,Dj)分布代表两个不同的请求,该两个请求都访问了数据项dp,我们用
Figure BDA0001904375120000067
表示从ri到rj的服务代价,其数学表达式如下:
Figure BDA0001904375120000061
其中,S和T分别代表每个服务器上单位时间的缓存代价和数据项在服务器之间的迁移代价,ε用来指示rj是通过哪种方式服务的,当si=sj时,ε=0,表示对于数据项dp来说,rj和ri发生在同一个服务器上,rj直接通过数据缓存服务来满足;当si≠sj,ε=1,表示对于数据项dp来说,rj和ri分别发生在两个服务器上,数据项dp先在si上缓存一段时间(ti时间到tj时间),然后通过一个数据迁移服务来满足sj上的rj。
而假如ri和rj同时请求了d1和d2,则将两个数据项打包从r1到r2比单独的分别用d1和d2来满足r1和r2代价上更优,所以,对于数据单独服务和打包服务,参考下表1:
表1数据单独服务与打包服务代价模型
Figure BDA0001904375120000062
其中,α为预设打折因子,通常地,α取0.8。
由上表1可知,对于两个数据项dp和dq,单独服务时ri到rj(ri和rj同时请求了数据项dp和dq)的代价为
Figure BDA0001904375120000063
其中
Figure BDA0001904375120000064
Figure BDA0001904375120000065
分别表示从ri=(si,ti,Di)到rj=(sj,tj,Dj)(tj>ti)服务数据项dp和dq的代价。根据上述代价计算模型可知,本实施例中,如果这两个数据项打包服务,其服务代价可表示为
Figure BDA0001904375120000071
或者是
Figure BDA0001904375120000072
步骤S5,采用贪心算法计算出能够满足请求的最优服务策略,并响应请求。
具体地,同样以数据包中打包有两个数据项为例进行说明,当数据包中的另一个数据项未被该请求访问时,采用贪心算法计算出所有能够满足该请求的服务策略,并从中选取服务代价成本最低的服务策略作为最优服务策略来并响应请求。
本实施例通过分别确认数据访问请求中需要访问的多个目标数据项是已打包或单独存在的,针对于已打包的目标数据项,则确认该目标数据项对应的数据包中其他的数据项是否均被该请求访问,若是,则调用此数据包,其比分别调用该数据包中的每个数据项所需的服务代价低,若不是,则采用贪心算法确认最优的服务策略来响应该请求,通过根据打包情况分别采取不同的服务策略来满足不同情况下的数据访问请求,可以使得最终的服务代价较低,从而减少了数据访问请求响应时间,并降低负载,提高了服务质量,同时提升了用户体验。
进一步地,在响应数据访问请求之前,还需要对服务器中存储的数据项进行打包,因此,上述实施例的基础上,其他实施例中,如图2所示,在步骤S1之前,还包括以下步骤:
步骤S10,获取服务器中存储的所有数据项,并计算所有数据项之间的相关性值。
需要说明的是,
Figure BDA0001904375120000073
其中,di和dj代表两个数据项,|di∩dj|代表所有请求中数据项di和dj共同出现的请求的个数,|di∪dj|代表所有包含di或dj的请求的个数。
具体地,不同数据项之间是否需要进行打包处理需要通过数据项之间的相关性来确认,而数据相关性不仅要能反映两个数据项共同出现的次数,更应该能够表示两个数据项同时出现的次数占这两个数据项一共出现次数的比例,因此,通过上述相关性值计算公式来确认所有数据项之间的数据相关性。
步骤S11,判断相关性值是否超过预设相关阈值。当相关性值超过预设相关阈值时,执行步骤S12。
具体地,在计算出数据项之间的相关性值之后,判断该相关性值是否超过预设相关阈值,当相关性值超过预设相关阈值时,说明该相关性值对应的两个数据项的数据相关性程度较高,可进行打包;当相关性值未超过预设相关阈值时,说明该相关性值对应的两个数据项的数据相关性程度较低,不需要进行打包。其中,该预设相关阈值为预先设定。
步骤S12,若相关性值对应的两个数据项未与其他数据项打包,则将相关性值对应的两个数据项进行打包。
具体地,当相关性值超过预设相关阈值时,该相关性值对应的两个数据项即可进行打包,但是,为了避免对数据项进行重复打包,在确认相关性值超过预设相关阈值之后,需要判断该相关性值对应的两个数据项是否已经与其他数据项打包;若是,则将该两个数据项不进行打包,以避免数据项重复打包;若否,则将两个数据项进行打包。例如:一共10个数据项(1-10),最后得到的打包结果可能是1和5打包为一个数据包,4和6打包为一个数据包,2、3、7、8、9、10不进行打包,在响应数据访问请求是,数据项1和5打包一起服务,数据项4和6打包在一起服务,而数据项2、3、7、8、9、10还是单独服务。
本实施例通过根据两个数据项共同出现的次数以及两个数据项同时出现的次数占这两个数据项一共出现次数的比例,计算出数据项之间的相关性值,并根据相关性值的大小确认是否需要将两个数据项进行打包。
本实施例所述的数据打包策略适用于两个数据项的打包,在一些实施例中,其同样适用于多数据项的打包,数据包中的数据项的数量不做限制。
进一步的,如图3所示,当目标数据项未被打包时,在步骤S1之后,还包括:
步骤S20,采用离线算法计算出能够满足请求的最优服务策略,并响应请求。
具体地,当目标数据项未被打包时,根据离线算法计算出所有能够满足该请求的服务策略,并从中挑选出服务代价最低的服务器策略作为最优服务策略来响应该请求,其服务代价即单独服务时的代价。
进一步的,如图4所示,步骤S5包括:
步骤S30,分别计算缓存服务策略、迁移服务策略、直接数据包服务策略的服务代价。
具体地,当数据包中的另一个数据项未被该请求访问时,计算出缓存服务策略的第一服务代价、迁移服务策略的第二服务代价、直接数据包服务策略的第三服务代价。其中,缓存服务策略是指通过同一个服务器上的缓存数据来满足该请求,迁移服务策略是指从另一个服务器上进行数据迁移来满足该请求,直接数据包服务策略是指直接上传目标数据项来满足该请求。
步骤S31,选取服务代价最低的服务策略响应请求。
具体地,在获得缓存服务策略、迁移服务策略、直接数据包服务策略的服务代价之后,选取其中服务代价最低的策略作为最优策略来响应该请求。
图5展示了本发明数据访问请求响应装置的一个实施例。如图5所示,该数据访问请求响应装置包括打包确认模块10、数据包确认模块11、第一判断模块12、第一响应模块13和第二响应模块14。
其中,打包确认模块10,用于接收到访问目标数据项的请求后,确认目标数据项是否已被打包;数据包确认模块11,用于当目标数据项已被打包时,确认目标数据项对应的数据包;第一判断模块12,用于判断数据包中的其余数据项是否被请求访问;第一响应模块13,用于当数据包中的其余数据项均被请求访问时,采用离线算法计算出能够满足请求的最优服务策略,并响应请求;第二响应模块14,用于当数据包中的其余数据项未被请求访问时,采用贪心算法计算出能够满足请求的最优服务策略,并响应请求。
上述实施例的基础上,其他实施例中,如图6所示,该数据访问请求响应装置还包括相关性计算模块20、第二判断模块21和数据打包模块22。
其中,相关性计算模块20,用于获取服务器中存储的所有数据项,并计算所有数据项之间的相关性值,
Figure BDA0001904375120000101
其中,di和dj代表两个数据项,|di∩dj|代表所有请求中数据项di和dj共同出现的请求的个数,|di∪dj|代表所有包含di或dj的请求的个数;第二判断模块21,用于判断相关性值是否超过预设相关阈值;数据打包模块22,用于当相关性值超过预设相关阈值时,若相关性值对应的两个数据项未与其他数据项打包,则将相关性值对应的两个数据项进行打包。
上述实施例的基础上,其他实施例中,如图7所示,该数据访问请求响应装置还包括第三响应模块30,用于当目标数据项未被打包时,采用离线算法计算出能够满足请求的最优服务策略,并响应请求。
上述实施例的基础上,其他实施例中,如图8所示,第二响应模块14包括计算单元141和选取单元142。
其中,计算单元141,用于分别计算缓存服务策略、迁移服务策略、直接数据包服务策略的服务代价;选取单元142,用于选取服务代价最低的服务策略响应请求。
关于上述实施例中数据访问请求响应装置各模块实现技术方案的其他细节,可参见上述实施例中的数据访问请求响应方法中的描述,此处不再赘述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
图9展示了本发明终端一个实施例提供的示意框图,参见图9,该实施例中的终端包括:一个或至少两个处理器80、存储器81以及存储在该存储器81中并可在处理器80上运行的计算机程序810。处理器80执行计算机程序810时,实现上述实施例描述的数据访问请求响应方法中的步骤,例如:图1所示的步骤S1-步骤S5。或者,处理器80执行计算机程序810时,实现上述数据访问请求响应装置实施例中各模块/单元的功能,例如:图5所示模块10-模块14的功能。
计算机程序810可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器81中,并由处理器80执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序810在终端中的执行过程。
终端包括但不仅限于处理器80、存储器81。本领域技术人员可以理解,图9仅仅是终端的一个示例,并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如终端还可以包括输入设备、输出设备、网络接入设备、总线等。
处理器80可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器81可以是只读存储器、可存储静态信息和指令的静态存储设备、随机存取存储器、或者可存储信息和指令的动态存储设备,也可以是电可擦可编程只读存储器、只读光盘、或其他光盘存储、光碟存储、磁盘存储介质或者其他磁存储设备。存储器81与处理器80可以通过通信总线相连接,也可以和处理器80集成在一起。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本申请实施例还提供了一种存储介质,用于存储计算机程序,其包含用于执行本申请上述数据访问请求响应方法实施例所设计的程序数据。通过执行该存储介质中存储的计算机程序,可以实现本申请提供的数据访问请求响应方法。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序810来指令相关的硬件来完成,计算机程序810可存储于一计算机可读存储介质中,该计算机程序810在被处理器80执行时,可实现上述各个方法实施例的步骤。其中,计算机程序810包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上对发明的具体实施方式进行了详细说明,但其只作为范例,本发明并不限制于以上描述的具体实施方式。对于本领域的技术人员而言,任何对该发明进行的等同修改或替代也都在本发明的范畴之中,因此,在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等,都应涵盖在本发明的范围内。

Claims (10)

1.一种数据访问请求响应方法,其特征在于,其包括:
接收到访问目标数据项的请求后,确认所述目标数据项是否已被打包;
当所述目标数据项已被打包时,确认所述目标数据项对应的数据包;
判断所述数据包中的其余数据项是否被所述请求访问;
若是,则采用离线算法计算出能够满足所述请求的最优服务策略,并响应所述请求;
若否,则采用贪心算法计算出能够满足所述请求的最优服务策略,并响应所述请求;
在采用离线算法/贪心算法计算能够满足所述请求的最优服务策略的步骤中,通过对服务代价进行数学建模,对于单独服务和打包服务按照不同的方式计算服务代价,并将计算出的服务代价作为离线算法/贪心算法的算法优化目标进而计算最优服务策略;
单独服务时ri到rj的服务代价为
Figure FDA0002480418650000011
ri和rj同时请求了数据项dp和dq,其中,
Figure FDA0002480418650000012
Figure FDA0002480418650000013
分别表示从ri=(si,ti,Di)到rj=(sj,tj,Dj)服务数据项dp和dq的代价,tj>ti,rn=(sn,tn,Dn)表示一个请求,其代表在tn时刻服务器sn上有一个请求访问数据集的一个真子集Dn,
Figure FDA0002480418650000014
ri=(si,ti,Di),rj=(sj,tj,Dj)分布代表两个不同的请求;
打包服务的服务代价为
Figure FDA0002480418650000015
或者是
Figure FDA0002480418650000016
Figure FDA0002480418650000017
α为预设打折因子。
2.根据权利要求1所述的数据访问请求响应方法,其特征在于,所述接收到访问目标数据项的请求后,确认所述目标数据项是否已被打包的步骤之前,还包括:
获取服务器中存储的所有数据项,并计算所有数据项之间的相关性值,所述
Figure FDA0002480418650000021
其中,di和dj代表两个数据项,|di∩dj|代表所有请求中数据项di和dj共同出现的请求的个数,|di∪dj|代表所有包含di或dj的请求的个数;
判断所述相关性值是否超过预设相关阈值;
当所述相关性值超过预设相关阈值时,若所述相关性值对应的两个数据项未与其他数据项打包,则将所述相关性值对应的两个数据项进行打包。
3.根据权利要求1所述的数据访问请求响应方法,其特征在于,所述,确认所述目标数据项是否已被打包的步骤之后,还包括:
当所述目标数据项未被打包时,采用离线算法计算出能够满足所述请求的最优服务策略,并响应所述请求。
4.根据权利要求1所述的数据访问请求响应方法,其特征在于,所述采用贪心算法计算出能够满足所述请求的最优服务策略,并响应所述请求的步骤,包括:
分别计算缓存服务策略、迁移服务策略、直接数据包服务策略的服务代价;
选取所述服务代价最低的服务策略响应所述请求。
5.一种数据访问请求响应装置,其特征在于,其包括:
打包确认模块,用于接收到访问目标数据项的请求后,确认所述目标数据项是否已被打包;
数据包确认模块,用于当所述目标数据项已被打包时,确认所述目标数据项对应的数据包;
第一判断模块,用于判断所述数据包中的其余数据项是否被所述请求访问;
第一响应模块,用于当所述数据包中的其余数据项均被所述请求访问时,采用离线算法计算出能够满足所述请求的最优服务策略,并响应所述请求;
第二响应模块,用于当所述数据包中的其余数据项未被所述请求访问时,采用贪心算法计算出能够满足所述请求的最优服务策略,并响应所述请求;
所述第一响应模块采用离线算法/所述第二响应模块采用贪心算法计算能够满足所述请求的最优服务策略时,通过对服务代价进行数学建模,对于单独服务和打包服务按照不同的方式计算服务代价,并将计算出的服务代价作为离线算法/贪心算法的算法优化目标进而计算最优服务策略;
单独服务时ri到rj的服务代价为
Figure FDA0002480418650000031
ri和rj同时请求了数据项dp和dq,其中,
Figure FDA0002480418650000032
Figure FDA0002480418650000033
分别表示从ri=(si,ti,Di)到rj=(sj,tj,Dj)服务数据项dp和dq的代价,tj>ti,rn=(sn,tn,Dn)表示一个请求,其代表在tn时刻服务器sn上有一个请求访问数据集的一个真子集Dn,
Figure FDA0002480418650000038
ri=(si,ti,Di),rj=(sj,tj,Dj)分布代表两个不同的请求;
打包服务的服务代价为
Figure FDA0002480418650000034
或者是
Figure FDA0002480418650000035
Figure FDA0002480418650000036
α为预设打折因子。
6.根据权利要求5所述的数据访问请求响应装置,其特征在于,其还包括:
相关性计算模块,用于获取服务器中存储的所有数据项,并计算所有数据项之间的相关性值,所述
Figure FDA0002480418650000037
其中,di和dj代表两个数据项,|di∩dj|代表所有请求中数据项di和dj共同出现的请求的个数,|di∪dj|代表所有包含di或dj的请求的个数;
第二判断模块,用于判断所述相关性值是否超过预设相关阈值;
数据打包模块,用于当所述相关性值超过预设相关阈值时,若所述相关性值对应的两个数据项未与其他数据项打包,则将所述相关性值对应的两个数据项进行打包。
7.根据权利要求5所述的数据访问请求响应装置,其特征在于,其还包括:
第三响应模块,用于当所述目标数据项未被打包时,采用离线算法计算出能够满足所述请求的最优服务策略,并响应所述请求。
8.根据权利要求5所述的数据访问请求响应装置,其特征在于,所述第二响应模块包括:
计算单元,用于分别计算缓存服务策略、迁移服务策略、直接数据包服务策略的服务代价;
选取单元,用于选取所述服务代价最低的服务策略响应所述请求。
9.一种终端,其特征在于,其包括存储器和处理器,所述处理器耦接所述存储器,所述存储器上存储有可在所述处理器上运行的计算机程序;
所述处理器执行所述计算机程序时,实现权利要求1-4任一项所述数据访问请求响应方法中的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1-4任一项所述数据访问请求响应方法中的步骤。
CN201811525615.0A 2018-12-13 2018-12-13 数据访问请求响应方法、装置、终端和存储介质 Active CN109561152B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811525615.0A CN109561152B (zh) 2018-12-13 2018-12-13 数据访问请求响应方法、装置、终端和存储介质
PCT/CN2019/124018 WO2020119636A1 (zh) 2018-12-13 2019-12-09 数据访问请求响应方法、装置、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811525615.0A CN109561152B (zh) 2018-12-13 2018-12-13 数据访问请求响应方法、装置、终端和存储介质

Publications (2)

Publication Number Publication Date
CN109561152A CN109561152A (zh) 2019-04-02
CN109561152B true CN109561152B (zh) 2020-07-24

Family

ID=65869981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811525615.0A Active CN109561152B (zh) 2018-12-13 2018-12-13 数据访问请求响应方法、装置、终端和存储介质

Country Status (2)

Country Link
CN (1) CN109561152B (zh)
WO (1) WO2020119636A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561152B (zh) * 2018-12-13 2020-07-24 深圳先进技术研究院 数据访问请求响应方法、装置、终端和存储介质
CN114064589B (zh) * 2021-11-17 2024-06-18 中国科学院深圳先进技术研究院 人工智能模型请求响应机制优化方法、系统、终端及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107526762A (zh) * 2017-02-28 2017-12-29 天津转知汇网络技术有限公司 服务端、多数据源搜索方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252589B (zh) * 2008-03-25 2011-01-05 中国科学院计算技术研究所 数据缓存装置和采用该装置的网络存储系统及缓存方法
US8477730B2 (en) * 2011-01-04 2013-07-02 Cisco Technology, Inc. Distributed load management on network devices
CN102156730B (zh) * 2011-04-07 2013-03-20 江苏省电力公司 基于文件存储动态聚合的优化方法
CN103297485B (zh) * 2012-03-05 2016-02-24 日电(中国)有限公司 分布式缓存自动管理系统和分布式缓存自动管理方法
US9069835B2 (en) * 2012-05-21 2015-06-30 Google Inc. Organizing data in a distributed storage system
CN103064927B (zh) * 2012-12-21 2016-10-05 曙光信息产业(北京)有限公司 分布式文件系统的数据访问方法和装置
CN105279240B (zh) * 2015-09-28 2018-07-13 暨南大学 客户端起源信息关联感知的元数据预取方法及系统
CN109561152B (zh) * 2018-12-13 2020-07-24 深圳先进技术研究院 数据访问请求响应方法、装置、终端和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107526762A (zh) * 2017-02-28 2017-12-29 天津转知汇网络技术有限公司 服务端、多数据源搜索方法和系统

Also Published As

Publication number Publication date
CN109561152A (zh) 2019-04-02
WO2020119636A1 (zh) 2020-06-18

Similar Documents

Publication Publication Date Title
CN102446171B (zh) 基于加权平均点进率评测推广关键词质量度的方法与设备
CN107682397B (zh) 客户资源获取方法、装置、终端设备及存储介质
CN107273213B (zh) 一种计算控制方法、网卡及电子设备
US10121110B2 (en) System, method and computer program product for progressive rendering of report results
CN105989076A (zh) 一种数据统计方法以及装置
EP3331218B1 (en) Method and device for leveling load of distributed database
CN101557427A (zh) 提供分流信息、实现客户端分流的方法、系统及服务器
CN109561152B (zh) 数据访问请求响应方法、装置、终端和存储介质
CN109981702B (zh) 一种文件存储方法及系统
CN110830604B (zh) Dns调度方法、装置
CN112445857A (zh) 一种基于数据库的资源配额管理方法和装置
CN112506619B (zh) 作业处理方法、装置、电子设备和存储介质
US20230092714A1 (en) Systems, computer-readable media and computer-implemented methods for automated, dynamic capacity planning using http response header fields
CN105491085A (zh) 一种在线请求排队方法及装置
CN104424347A (zh) 在应用开发阶段期间预测查询所经过的响应时间的系统和方法
CN109413694B (zh) 一种基于内容流行度预测的小小区缓存方法及装置
US11048680B2 (en) Hive table scanning method, device, computer apparatus and storage medium
CN104202305A (zh) 一种转码处理方法、装置及服务器
CN110058869A (zh) 移动应用推送方法、计算机可读存储介质及终端设备
CN107797758B (zh) 数据存储方法、数据访问方法及装置
CN117118698A (zh) 一种元数据服务器的访问限流方法、装置及设备
CN111885177A (zh) 一种基于云计算技术的生物信息分析云计算方法、系统
CN108804351B (zh) 一种缓存置换方法以及装置
CN107689969A (zh) 一种缓存策略的确定方法及装置
CN113783912A (zh) 请求分发方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant