CN114884974B - 一种数据复用方法、系统及计算设备 - Google Patents
一种数据复用方法、系统及计算设备 Download PDFInfo
- Publication number
- CN114884974B CN114884974B CN202210369344.4A CN202210369344A CN114884974B CN 114884974 B CN114884974 B CN 114884974B CN 202210369344 A CN202210369344 A CN 202210369344A CN 114884974 B CN114884974 B CN 114884974B
- Authority
- CN
- China
- Prior art keywords
- storage device
- data object
- target data
- reusable
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 63
- 230000005856 abnormality Effects 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000004044 response Effects 0.000 claims abstract description 11
- 230000008030 elimination Effects 0.000 claims description 37
- 238000003379 elimination reaction Methods 0.000 claims description 37
- 238000013500 data storage Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 18
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000007723 transport mechanism Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Abstract
本发明公开了一种数据复用方法、系统及计算设备,方法包括步骤:从一个或多个应用场景对应的历史数据处理结果中获取一个或多个可复用数据对象;对于每个可复用数据对象,根据可复用数据对象在每个应用场景下对应的可复用比例来对可复用数据对象进行压缩处理,得到与每个应用场景相对应的目标数据对象;将每个目标数据对象存储在第一存储设备中;当响应于客户端的访问请求进行数据处理过程中发生异常时,根据访问请求对应的应用场景,从第一存储设备中获取相应的目标数据对象,并将目标数据对象作为当前数据处理结果返回至客户端。根据本发明的技术方案,能有效避免因服务异常而无法向客户端返回数据处理结果、或者响应较慢的情况。
Description
技术领域
本发明涉及网络通信技术领域,尤其涉及一种数据复用方法、数据复用系统及计算设备。
背景技术
随着移动互联网的发展,用户在任何时间任何场景下均有可能访问互联网服务,造成网络流量不断增加。同时,随着用户数量和需求越来越多,导致各种信息服务的业务复杂度也越来越高。对于互联网公司来说,为了提供多种复杂的信息服务来满足用户访问需求,对服务器的计算资源、数据传输资源的使用需求不断增加,这样,导致服务器在数据处理过程中发生服务异常的频率也随之增加,而频繁发生服务异常势必会影响用户体验。
为此,需要一种数据复用系统,以解决现有技术中存在的问题。
发明内容
为此,本发明提供一种数据复用方法、数据复用系统及计算设备,以解决或至少缓解上面存在的问题。
根据本发明的一个方面,提供一种数据复用方法,在服务器中执行,所述服务器与第一存储设备通信连接,所述方法包括步骤:从一个或多个应用场景对应的历史数据处理结果中获取一个或多个可复用数据对象;对于每个可复用数据对象,根据可复用数据对象在每个应用场景下对应的可复用比例来对可复用数据对象进行压缩处理,得到与每个应用场景相对应的目标数据对象;将每个目标数据对象存储在所述第一存储设备中;以及当响应于客户端的访问请求进行数据处理过程中发生异常时,根据所述访问请求对应的应用场景,从所述第一存储设备中获取相应的目标数据对象,并将所述目标数据对象作为当前数据处理结果返回至客户端。
可选地,在根据本发明的数据复用方法中,所述第一存储设备布置在服务器外部,所述服务器内部包括第二存储设备,所述方法还包括步骤:将每个目标数据对象存储在第二存储设备中。
可选地,在根据本发明的数据复用方法中,每个应用场景对应一个目标数据对象集合,所述目标数据对象集合适于存储在所述存储设备中,其中,根据可复用数据对象在每个应用场景下对应的可复用比例来对可复用数据对象进行压缩处理的步骤包括:确定可复用数据对象在每个应用场景下的可复用比例,并根据所述在每个应用场景下的可复用比例来对所述可复用数据对象进行压缩处理,以得到与每个应用场景相对应的目标数据对象;以及将所述目标数据对象存储在与应用场景相对应的目标数据对象集合中。
可选地,在根据本发明的数据复用方法中,还包括步骤:当从所述第一存储设备中获取目标数据对象失败时,根据所述访问请求对应的应用场景从所述第二存储设备中获取相应的目标数据对象。
可选地,在根据本发明的数据复用方法中,还包括步骤:获取在配置平台配置的配置信息,所述配置信息包括与第一存储设备相对应的第一预定数量;判断第一存储设备中的目标数据对象的数量是否超过第一预定数量;如果超过第一预定数量,则对第一存储设备中的至少一个目标数据对象进行淘汰。
可选地,在根据本发明的数据复用方法中,所述配置信息还包括与第二存储设备相对应的第二预定数量,所述第二预定数量小于第一预定数量,所述方法还包括步骤:判断第二存储设备中的目标数据对象的数量是否超过第二预定数量;如果超过第二预定数量,则对第二存储设备中的至少一个目标数据对象进行淘汰。
可选地,在根据本发明的数据复用方法中,对第一存储设备中的至少一个目标数据对象进行淘汰的步骤包括:根据配置信息确定第一存储设备对应的第一数据淘汰方法,并根据第一数据淘汰方法对第一存储设备中的至少一个目标数据对象进行淘汰;对第二存储设备中的至少一个目标数据对象进行淘汰的步骤包括:根据配置信息确定第二存储设备对应的第二数据淘汰方法,并根据第二数据淘汰方法对第二存储设备中的至少一个目标数据对象进行淘汰。
可选地,在根据本发明的数据复用方法中,还包括步骤:当所述服务器启动时,从所述第一存储设备中获取一个或多个目标数据对象并存储到所述第二存储设备中。
根据本发明的一个方面,提供一种数据复用系统,包括:服务器,适于执行如上任一项所述的数据复用方法;第一数据存储设备,与所述服务器通信连接,适于存储每个目标数据对象;以及一个或多个客户端,与所述服务器通信连接,适于向服务器发送访问请求。
根据本发明的一个方面,提供一种计算设备,包括:至少一个处理器;存储器,存储有程序指令,其中,程序指令被配置为适于由上述至少一个处理器执行,所述程序指令包括用于执行如上所述的数据复用方法的指令。
根据本发明的一个方面,提供一种存储有程序指令的可读存储介质,当该程序指令被计算设备读取并执行时,使得该计算设备执行如上所述的数据复用方法。
根据本发明的技术方案,提供了一种数据复用方法,通过从每个应用场景对应的历史数据处理结果中获取一个或多个可复用数据对象,基于可复用数据对象在每个应用场景下对应的可复用比例,来对每个可复用数据对象进行压缩处理后得到相应的目标数据对象,并基于应用场景进行归类存储存储设备中。这样,当服务器在响应客户端的访问请求进行数据处理过程中发生异常时,便可以从存储设备中随机获取目标数据对象,将获取到的目标数据对象作为与客户端当前的访问请求相对应的当前数据处理结果返回至客户端,从而,通过对历史数据处理结果进行复用,避免了因服务异常而无法向客户端反馈数据处理结果的情况。可见,根据本发明的技术方案,能有效避免因服务异常而无法向客户端返回数据处理结果、或者响应较慢的情况,降低服务异常的频率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的数据复用系统100的示意图;
图2示出了根据本发明一个实施例的计算设备200的示意图;以及
图3示出了根据本发明一个实施例的数据复用方法300的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的数据复用系统100的示意图。
如图1所示,数据复用系统100包括服务器120、与服务器120通信相连的第一存储设备130。
数据复用系统100还可以包括一个或多个客户端110,一个或多个客户端110与服务器120通信连接,例如可以通过有线或无线的方式网络连接。客户端110可以向服务器120发送访问请求,服务器120响应于客户端的访问请求并进行数据处理,以便将处理后得到的数据处理结果返回至客户端110。
需要说明的是,服务器120可以提供多个应用场景对应的多种数据处理服务,多个应用场景例如包括:推荐信息流中的资源展示信息内容、搜索相同Query的返回结果列表(与用户行为无关部分)、产品信号相关的展示信息等。相应地,一个或多个客户端110可以基于多种应用场景向服务器120发送数据访问请求。面对多种服务请求,服务器120在响应于客户端110的访问请求而进行数据处理过程中,可能会发生服务异常的情况。
为了降低服务器在响应客户端的访问请求进行数据处理的过程中发生服务异常的频率、尽量避免发生服务异常,在根据本发明的实施例中,对于每个应用场景,可以获取与应用场景相对应的历史数据处理结果(可以是先前的多个数据处理结果),并从每个应用场景对应的历史数据处理结果中获取一个或多个可复用数据对象。并且,通过对每个可复用数据对象进行处理后得到相应的目标数据对象,并将每个目标数据对象基于应用场景进行分类存储在第一存储设备130。基于此,在客户端110向服务器120发送访问请求后,如果服务器120在响应客户端的访问请求进行数据处理过程中发生异常,便可以根据访问请求对应的应用场景从第一存储设备130中随机获取相应的目标数据对象,将获取到的目标数据对象作为与客户端当前的访问请求相对应的当前数据处理结果返回至客户端110。这样,能有效避免因服务异常而无法向客户端110反馈数据处理结果的情况。
在一个实施例中,服务器120的内部还部署有第二数据存储设备125。在将每个目标数据对象存储在第一存储设备130时,还可以同步将每个目标数据对象存储在第二存储设备125中来作为对目标数据对象的本地备份。这样,当服务器120从第一存储设备130获取目标数据对象失败或超时时,可以尝试从第二存储设备125获取目标数据对象,从而进一步降低服务器在响应客户端的访问请求进行数据处理的过程中发生服务异常的频率。
在一个实施例中,数据复用系统100还包与服务器120耦接的配置平台121。在配置平台121可以配置对第一存储设备、第二存储设备进行数据淘汰相关的方式及信息。服务器120可以从配置平台121获取配置信息,以便根据配置信息来确定是否需要对第一存储设备、第二存储设备中的目标数据对象进行淘汰,以实现对存储设备中的目标数据对象的动态更新,保证目标数据对象的实效性。
具体地,配置信息可以包括与第一存储设备130相对应的第一预定数量以及第一数据淘汰方法,还包括与第二存储设备125相对应的第二预定数量以及第二数据淘汰方法。
服务器120可以根据从配置平台获取到的配置信息,判断第一存储设备中的目标数据对象的数量是否超过第一预定数量,如果超过第一预定数量,则对第一存储设备中的至少一个目标数据对象进行淘汰。相应地,判断第二存储设备中的目标数据对象的数量是否超过第二预定数量,如果超过第二预定数量,则对第二存储设备中的至少一个目标数据对象进行淘汰。
进一步地,服务器120可以根据配置信息确定第一存储设备对应的第一数据淘汰方法,并根据第一数据淘汰方法对第一存储设备中的至少一个目标数据对象进行淘汰。根据配置信息确定第二存储设备对应的第二数据淘汰方法,并根据第二数据淘汰方法对第二存储设备中的至少一个目标数据对象进行淘汰。
应当指出,本发明不受限于为第一存储设备、第二存储设备配置的具体数据淘汰方法,现有技术中所有适用于存储设备的数据淘汰方法均在本发明的保护范围之内。
在根据本发明的实施例中,服务器120适于执行本发明的数据复用方法300,本发明的数据复用方法300将在下文中详述。
根据本发明的一个实施例,服务器120可以实现如下所示的计算设备200。
图2示出了根据本发明一个实施例的计算设备200的示意图。
如图2所示,在基本的配置202中,计算设备200典型地包括系统存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和系统存储器206之间的通信。
取决于期望的配置,处理器204可以是任何类型的处理,包括但不限于:微处理器(UP)、微控制器(UC)、数字信息处理器(DSP)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用,或者在一些实现中,存储器控制器218可以是处理器204的一个内部部分。
取决于期望的配置,系统存储器206可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据224。应用222实际上是多条程序指令,其用于指示处理器204执行相应的操作。在一些实施方式中,应用222可以布置为在操作系统上使得处理器204利用程序数据224进行操作。
计算设备200还包括储存设备232,储存设备232包括可移除储存器236和不可移除储存器238。
计算设备200还可以包括储存接口总线234。储存接口总线234实现了从储存设备232(例如,可移除储存器236和不可移除储存器238)经由总线/接口控制器230到基本配置202的通信。操作系统220、应用222以及数据224的至少一部分可以存储在可移除储存器236和/或不可移除储存器238上,并且在计算设备200上电或者要执行应用222时,经由储存接口总线234而加载到系统存储器206中,并由一个或者多个处理器204来执行。
计算设备200还可以包括有助于从各种接口设备(例如,输出设备242、外设接口244和通信设备246)到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图像处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256,它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260,其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中以编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
在根据本发明的实施例中,计算设备200被配置为执行根据本发明的数据复用方法300。计算设备200的应用中包含用于执行本发明的数据复用方法300的多条程序指令,这些程序指令可以指示处理器执行根据本发明的数据复用方法300,以便计算设备通过执行本发明的数据复用方法300来降低发生服务异常的频率。
图3示出了根据本发明一个实施例的数据复用方法300的流程图。方法300适于在服务器120(例如前述计算设备200)执行。
如图3所示,方法300适于步骤S310。
在步骤S310中,从一个或多个应用场景对应的历史数据处理结果中获取一个或多个可复用数据对象。这里,可以从应用场景对应的历史数据处理结果中随机挑选一个或多个可复用数据对象。
根据本发明的一个实施例,在执行步骤S310之前,可以获取多个应用场景对应的历史数据处理结果,通过对每个应用场景对应的历史数据处理结果进行分析,以确定每个应用场景是否满足复用条件。这里,当数据处理结果与用户行为特征关联性较低时,满足复用条件。如果满足复用条件,则可以执行步骤S310,从应用场景对应的历史数据处理结果中获取一个或多个可复用数据对象。满足复用条件的应用场景例如包括:推荐信息流中的资源展示信息内容、搜索相同Query的返回结果列表(与用户行为无关部分)、产品信号相关的展示信息等,但本发明不限于此。
需要说明的是,可复用数据对象是指满足复用条件的数据对象,复用条件例如包括:用户特征不明显(也即,数据处理结果与用户特征的关联性较低)、数据质量高、数据有效。换言之,可以将用户特征不明显、数据质量高且数据有效的数据对象作为可复用对象。这里,关于数据特征是否明显、数据质量高低、数据是否有效的判定可以由本领域技术人员根据实际情况来设置相应的标准,本发明对此不做具体限定。
还需要指出,应用场景对应的历史数据处理结果,也即,先前客户端基于应用场景对应的业务类型向服务器发送访问请求后,服务器响应于先前客户端的访问请求进行数据处理后返回至客户端的数据处理结果。
随后,在步骤S320中,对于每个可复用数据对象,根据可复用数据对象在每个应用场景下的可复用比例,来对可复用数据对象进行压缩处理,得到与每个应用场景相对应的目标数据对象。这里,对可复用数据对象进行压缩处理是指将可复用数据对象中的不可复用信息删除,只保留可复用数据对象中的可复用信息。
需要说明的是,当可复用数据对象的可复用比例在预定复用比例范围内时,可以对可复用数据对象进行压缩处理,以便经压缩处理后只保留可复用数据对象中的可复用信息。在一个实施例中,预定复用比例范围例如可以实现为20%~80%。而可复用数据对象的可复用比例超过80%时便无需对其进行压缩处理。
还需要说明的是,可复用数据对象在不同应用场景下对应的可复用信息可能不一致。例如,一个可复用数据对象中包含信息A、信息B、信息C、信息D,第一应用场景可能需要的是信息A和信息B,第二应用场景可能需要的是信息C和信息D。由于不同应用场景下对每个可复用数据对象需要的可复用信息不同,从而,每个可复用数据对象在不同应用场景下对应的可复用比例也不一致。因此,针对每个可复用数据对象,可以区分应用场景来对可复用数据对象进行分类存储以实现对该可复用数据对象的归类。
具体地,每个应用场景对应一个目标数据对象集合。在根据可复用数据对象在每个应用场景下对应的可复用比例来对可复用数据对象进行压缩处理具体可以按照以下方式执行:
对于每个可复用数据对象,确定可复用数据对象在每个应用场景下的可复用比例,并根据在每个应用场景下的可复用比例来对可复用数据对象进行压缩处理,以得到与每个应用场景相对应的目标数据对象,进而,将目标数据对象存储在与应用场景相对应的目标数据对象集合中。这样,也就实现了对可复用数据对象的压缩处理和归类存储。
随后,在步骤S330中,将每个目标数据对象存储在与服务器120通信相连的第一存储设备130中。在一个实施例中,第一存储设备130可以布置在服务器120的外部并与服务器120通过有线或无线的方式网络连接。
这里,将每个目标数据对象存储在与服务器120通信相连的第一存储设备130中,可以是在将每个目标数据对象存储在与应用场景相对应的目标数据对象集合中之后,将每个应用场景对应的目标数据对象集合存储在第一存储设备130中,以实现对不同应用场景下的目标数据对象进行分类存储。
最后,在步骤S340中,接收客户端110发送的访问请求,当响应于客户端的访问请求进行数据处理过程中发生异常时,确定访问请求对应的应用场景,根据访问请求对应的应用场景从第一存储设备130中随机获取与应用场景相对应的目标数据对象,并将获取到的目标数据对象作为当前数据处理结果(即客户端的访问请求对应的数据处理结果)返回至客户端110。
这样,便实现了对历史数据处理结果的复用操作,避免因服务异常而无法向客户端返回数据处理结果、或者响应较慢的情况。
另外,如果在响应于客户端的访问请求进行数据处理过程中没有发生异常情况,在数据处理成功后得到了数据处理结果,便可以直接将当前的数据处理结果返回至客户端。
在一个实施例中,服务器120的内部还布置有第二存储设备125,即服务器的本地存储设备。在将每个目标数据对象存储在第一存储设备130中时,还可以同步将每个目标数据对象存储在服务器120内部的第二存储设备125中,来作为对目标数据对象的本地备份。这里,可以在将每个目标数据对象存储在与应用场景相对应的目标数据对象集合中之后,将每个应用场景对应的目标数据对象集合存储在第二存储设备125中,以实现对不同应用场景下的目标数据对象进行分类备份存储。
在一个实施例中,当服务器120从第一存储设备130中随机获取与应用场景相对应的目标数据对象失败(或超时)时,可以根据访问请求对应的应用场景从第二存储设备125中随机获取相应的目标数据对象。具体地,从第二存储设备125中与该应用场景相对应的目标数据对象集合中随机获取一个目标数据对象。如果从第二存储设备125中成功获取到目标数据对象,则将该目标数据对象作为当前数据处理结果返回至客户端。
在一个实施例中,服务器120在每次启动时,可以从第一存储设备130中获取一个或多个目标数据对象,并将获取的一个或多个目标数据对象存储到第二存储设备125中,以确保在服务器每次启动后第二存储设备125中均具有一个或多个目标数据对象。
另外,本发明还对第一存储设备130、第二存储设备125中存储的目标数据对象进行动态更新,具体可以采用数据淘汰机制来对存储设备中的目标数据对象进行淘汰,以保证从第一存储设备130、第二存储设备125中随机获取目标数据对象来作为当前数据处理结果具有一定的实效性。
根据本发明的一个实施例,业务人员可以在与服务器120耦接的配置平台121对从第一存储设备130、第二存储设备125配置相应的数据淘汰方法以及相关参数。服务器120可以获取在配置平台121配置的配置信息,根据配置信息可以确定数据淘汰方法,并且,配置信息中包括与第一存储设备130相对应的第一预定数量、与第二存储设备125相对应的第二预定数量,随后可以执行相应的数据淘汰方法来对第一存储设备130、第二存储设备125中的相应数据对象进行淘汰。
具体地,根据从配置平台获取到的配置信息,判断第一存储设备130中的目标数据对象的数量是否超过第一预定数量,如果超过第一预定数量,则对第一存储设备130中的至少一个目标数据对象进行淘汰。相应地,判断第二存储设备125中的目标数据对象的数量是否超过第二预定数量,如果超过第二预定数量,则对第二存储设备125中的至少一个目标数据对象进行淘汰。
需要说明的是,由于布置在服务器内部的第二存储设备125的存储资源有限,第二存储设备125可存储的目标数据对象的数量远少于第一存储设备130可存储的目标数据对象的数量。例如,第一存储设备130中可以存放上千条的目标数据对象,而第二存储设备125中仅可以存储几十条目标数据对象。基于此,本发明为第二存储设备125配置的第二预定数量小于为第一存储设备130配置的第一预定数量。
进一步地,服务器120可以根据配置信息来确定第一存储设备130对应的第一数据淘汰方法、第二存储设备125对应的第二数据淘汰方法。之后,可以根据各自对应的数据淘汰方法来对第一存储设备130、第二存储设备125中的至少一个目标数据对象进行淘汰。
换言之,服务器120根据配置信息确定第一存储设备130对应的第一数据淘汰方法,并根据第一数据淘汰方法对第一存储设备130中的至少一个目标数据对象进行淘汰。根据配置信息确定第二存储设备125对应的第二数据淘汰方法,并根据第二数据淘汰方法对第二存储设备125中的至少一个目标数据对象进行淘汰。
在一种实现方式中,在配置平台为第一存储设备130、第二存储设备125配置的数据淘汰方法分别可以实现为以下几种:
volatile-lru:使用LRU算法对存储设备中的目标数据对象进行淘汰(淘汰上次使用时间最早的,且使用次数最少的目标数据对象),仅可淘汰设置了有效期的目标数据对象。
allkeys-lru:使用LRU算法对存储设备中的目标数据对象进行淘汰,所有目标数据对象都可以被淘汰。
volatile-random:随机淘汰目标数据对象,仅可淘汰设置了有效期的目标数据对象。
allkeys-random:随机淘汰目标数据对象,所有目标数据对象都可以被淘汰。
volatile-ttl:淘汰剩余有效期最短的目标数据对象。
例如,当根据配置信息确定第一存储设备130对应的第一数据淘汰方法为volatile-lru时,对第一存储设备130中的至少一个目标数据对象进行淘汰可以实现为:对第一存储设备130中上次使用时间最早的、且使用次数最少的具有有效期的目标数据对象进行淘汰。同理,当根据配置信息确定第二存储设备125对应的第二数据淘汰方法为volatile-lru时,对第二存储设备125中上次使用时间最早的、且使用次数最少的具有有效期的目标数据对象进行淘汰。
又例如,当根据配置信息确定第一存储设备130对应的第一数据淘汰方法为volatile-ttl时,对第一存储设备130中的至少一个目标数据对象进行淘汰可以实现为:根据第一存储设备130中的每个目标数据对象的有效期确定剩余有效期,并对第一存储设备130中剩余有效期最短的目标数据对象进行淘汰。同理,当根据配置信息确定第二存储设备125对应的第二数据淘汰方法为volatile-ttl时,根据第二存储设备125中的每个目标数据对象的有效期确定剩余有效期,并对第二存储设备125中剩余有效期最短的目标数据对象进行淘汰。
当然,还可以在配置了volatile-random或allkeys-random数据淘汰方法时,随机淘汰存储设备中的至少一个目标数据对象。
应当指出,本发明不受限于为第一存储设备130、第二存储设备125配置的具体数据淘汰方法,现有技术中所有适用于存储设备的数据淘汰方法均在本发明的保护范围之内。
根据本发明的数据复用方法300,通过从每个应用场景对应的历史数据处理结果中获取一个或多个可复用数据对象,基于可复用数据对象在每个应用场景下对应的可复用比例,来对每个可复用数据对象进行压缩处理后得到相应的目标数据对象,并基于应用场景进行归类存储存储设备中。这样,当服务器在响应客户端的访问请求进行数据处理过程中发生异常时,便可以从存储设备中随机获取目标数据对象,将获取到的目标数据对象作为与客户端当前的访问请求相对应的当前数据处理结果返回至客户端,从而,通过对历史数据处理结果进行复用,避免了因服务异常而无法向客户端反馈数据处理结果的情况。可见,根据本发明的技术方案,能有效避免因服务异常而无法向客户端返回数据处理结果、或者响应较慢的情况,降低服务异常的频率。
A8、如A2-A7中任一项所述的方法,其中,还包括步骤:当所述服务器启动时,从所述第一存储设备中获取一个或多个目标数据对象并存储到所述第二存储设备中。
这里描述的各种技术可结合硬件或软件,或者它们的组合一起实现。从而,本发明的方法和设备,或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介,例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下,移动终端一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本发明的数据复用方法。
以示例而非限制的方式,可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
在此处所提供的说明书中,算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的而非限制性的,本发明的范围由所附权利要求书限定。
Claims (11)
1.一种数据复用方法,在服务器中执行,所述服务器与第一存储设备通信连接,所述方法包括步骤:
从一个或多个应用场景对应的历史数据处理结果中获取一个或多个可复用数据对象;
对于每个可复用数据对象,根据可复用数据对象在每个应用场景下对应的可复用比例来对可复用数据对象进行压缩处理,得到与每个应用场景相对应的目标数据对象,对可复用数据对象进行压缩处理是指将可复用数据对象中的不可复用信息删除,只保留可复用数据对象中的可复用信息;
将每个目标数据对象存储在所述第一存储设备中;以及
当响应于客户端的访问请求进行数据处理过程中发生异常时,根据所述访问请求对应的应用场景,从所述第一存储设备中获取相应的目标数据对象,并将所述目标数据对象作为当前数据处理结果返回至客户端。
2.如权利要求1所述的方法,其中,所述第一存储设备布置在服务器外部,所述服务器内部包括第二存储设备,所述方法还包括步骤:
将每个目标数据对象存储在第二存储设备中。
3.如权利要求1或2所述的方法,其中,每个应用场景对应一个目标数据对象集合,所述目标数据对象集合适于存储在所述存储设备中,其中,根据可复用数据对象在每个应用场景下对应的可复用比例来对可复用数据对象进行压缩处理的步骤包括:
确定可复用数据对象在每个应用场景下的可复用比例,并根据所述在每个应用场景下的可复用比例来对所述可复用数据对象进行压缩处理,以得到与每个应用场景相对应的目标数据对象;以及
将所述目标数据对象存储在与应用场景相对应的目标数据对象集合中。
4.如权利要求2所述的方法,其中,还包括步骤:
当从所述第一存储设备中获取目标数据对象失败时,根据所述访问请求对应的应用场景从所述第二存储设备中获取相应的目标数据对象。
5.如权利要求1或2所述的方法,其中,还包括步骤:
获取在配置平台配置的配置信息,所述配置信息包括与第一存储设备相对应的第一预定数量;
判断第一存储设备中的目标数据对象的数量是否超过第一预定数量;
如果超过第一预定数量,则对第一存储设备中的至少一个目标数据对象进行淘汰。
6.如权利要求5所述的方法,其中,所述配置信息还包括与第二存储设备相对应的第二预定数量,所述第二预定数量小于第一预定数量,所述方法还包括步骤:
判断第二存储设备中的目标数据对象的数量是否超过第二预定数量;
如果超过第二预定数量,则对第二存储设备中的至少一个目标数据对象进行淘汰。
7.如权利要求5所述的方法,其中,对第一存储设备中的至少一个目标数据对象进行淘汰的步骤包括:
根据配置信息确定第一存储设备对应的第一数据淘汰方法,并根据第一数据淘汰方法对第一存储设备中的至少一个目标数据对象进行淘汰;
对第二存储设备中的至少一个目标数据对象进行淘汰的步骤包括:
根据配置信息确定第二存储设备对应的第二数据淘汰方法,并根据第二数据淘汰方法对第二存储设备中的至少一个目标数据对象进行淘汰。
8.如权利要求2所述的方法,其中,还包括步骤:
当所述服务器启动时,从所述第一存储设备中获取一个或多个目标数据对象并存储到所述第二存储设备中。
9.一种数据复用系统,包括:
服务器,适于执行如权利要求1-8中任一项所述的数据复用方法;
第一数据存储设备,与所述服务器通信连接,适于存储每个目标数据对象;以及
一个或多个客户端,与所述服务器通信连接,适于向服务器发送访问请求。
10.一种计算设备,包括:
至少一个处理器;以及
存储器,存储有程序指令,其中,所述程序指令被配置为适于由所述至少一个处理器执行,所述程序指令包括用于执行如权利要求1-8中任一项所述的方法的指令。
11.一种存储有程序指令的可读存储介质,当所述程序指令被计算设备读取并执行时,使得所述计算设备执行如权利要求1-8中任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210369344.4A CN114884974B (zh) | 2022-04-08 | 2022-04-08 | 一种数据复用方法、系统及计算设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210369344.4A CN114884974B (zh) | 2022-04-08 | 2022-04-08 | 一种数据复用方法、系统及计算设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114884974A CN114884974A (zh) | 2022-08-09 |
CN114884974B true CN114884974B (zh) | 2024-02-23 |
Family
ID=82669155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210369344.4A Active CN114884974B (zh) | 2022-04-08 | 2022-04-08 | 一种数据复用方法、系统及计算设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114884974B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101022600A (zh) * | 2007-03-21 | 2007-08-22 | 中兴通讯股份有限公司 | 移动多媒体终端及其对持续业务复用配置表的更新方法 |
CN101170546A (zh) * | 2006-10-25 | 2008-04-30 | 华为技术有限公司 | 数据流复用方法和数据流复用系统 |
EP1976208A1 (en) * | 2007-03-30 | 2008-10-01 | Sony Deutschland Gmbh | Single carrier wireless communications system |
CN101814970A (zh) * | 2009-02-20 | 2010-08-25 | 华为技术有限公司 | 资源复用时传输数据的方法、用户终端和无线基站 |
CN103502957A (zh) * | 2012-12-28 | 2014-01-08 | 华为技术有限公司 | 数据处理方法及装置 |
CN107918565A (zh) * | 2017-11-17 | 2018-04-17 | 广东小天才科技有限公司 | 一种应用程序的异常信息的上报方法及移动终端 |
CN110177024A (zh) * | 2019-05-06 | 2019-08-27 | 北京奇安信科技有限公司 | 热点设备的监控方法及客户端、服务端、系统 |
CN110830606A (zh) * | 2019-10-31 | 2020-02-21 | 瑞斯康达科技发展股份有限公司 | 解决异常dns缓存的方法、装置及计算机可读存储介质 |
WO2020119542A1 (zh) * | 2018-12-11 | 2020-06-18 | 阿里巴巴集团控股有限公司 | 一种语音交互方法、装置及系统 |
CN112100065A (zh) * | 2020-09-08 | 2020-12-18 | 完美世界(重庆)互动科技有限公司 | 游戏场景数据的处理方法、装置及设备 |
CN112347329A (zh) * | 2020-10-28 | 2021-02-09 | 杭州安恒信息技术股份有限公司 | 数据处理方法、装置、存储介质及设备 |
CN113052646A (zh) * | 2019-12-27 | 2021-06-29 | 阿里巴巴集团控股有限公司 | 数据处理系统、方法、装置及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9564136B2 (en) * | 2014-03-06 | 2017-02-07 | Dts, Inc. | Post-encoding bitrate reduction of multiple object audio |
-
2022
- 2022-04-08 CN CN202210369344.4A patent/CN114884974B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101170546A (zh) * | 2006-10-25 | 2008-04-30 | 华为技术有限公司 | 数据流复用方法和数据流复用系统 |
CN101022600A (zh) * | 2007-03-21 | 2007-08-22 | 中兴通讯股份有限公司 | 移动多媒体终端及其对持续业务复用配置表的更新方法 |
EP1976208A1 (en) * | 2007-03-30 | 2008-10-01 | Sony Deutschland Gmbh | Single carrier wireless communications system |
CN101814970A (zh) * | 2009-02-20 | 2010-08-25 | 华为技术有限公司 | 资源复用时传输数据的方法、用户终端和无线基站 |
CN103502957A (zh) * | 2012-12-28 | 2014-01-08 | 华为技术有限公司 | 数据处理方法及装置 |
CN107918565A (zh) * | 2017-11-17 | 2018-04-17 | 广东小天才科技有限公司 | 一种应用程序的异常信息的上报方法及移动终端 |
WO2020119542A1 (zh) * | 2018-12-11 | 2020-06-18 | 阿里巴巴集团控股有限公司 | 一种语音交互方法、装置及系统 |
CN110177024A (zh) * | 2019-05-06 | 2019-08-27 | 北京奇安信科技有限公司 | 热点设备的监控方法及客户端、服务端、系统 |
CN110830606A (zh) * | 2019-10-31 | 2020-02-21 | 瑞斯康达科技发展股份有限公司 | 解决异常dns缓存的方法、装置及计算机可读存储介质 |
CN113052646A (zh) * | 2019-12-27 | 2021-06-29 | 阿里巴巴集团控股有限公司 | 数据处理系统、方法、装置及电子设备 |
CN112100065A (zh) * | 2020-09-08 | 2020-12-18 | 完美世界(重庆)互动科技有限公司 | 游戏场景数据的处理方法、装置及设备 |
CN112347329A (zh) * | 2020-10-28 | 2021-02-09 | 杭州安恒信息技术股份有限公司 | 数据处理方法、装置、存储介质及设备 |
Non-Patent Citations (2)
Title |
---|
Motoharu Matsuura ; .Scalability analysis and demonstration of distributed multicarrier reusable network with optical add/drop multiplexers.2013 IEEE International Conference on Communications (ICC).2013,全文. * |
虚拟机级别容错机制的性能分析与优化;陈荣;信息科技辑;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114884974A (zh) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108595207B (zh) | 一种灰度发布方法、规则引擎、系统、终端和存储介质 | |
CN111651464B (zh) | 数据处理方法、系统及计算设备 | |
CN112202837B (zh) | 一种基于数据集与节点缓存的调度方法和装置 | |
CN113329069B (zh) | 一种即时通信方法、系统及计算设备 | |
CN111475483A (zh) | 数据库迁移方法、装置及计算设备 | |
CN113032432A (zh) | 一种数据缓存处理方法、系统、计算设备及可读存储介质 | |
US10642585B1 (en) | Enhancing API service schemes | |
CN108446300B (zh) | 数据信息的扫描方法及装置 | |
CN113411404A (zh) | 一种文件下载方法、装置、服务器及存储介质 | |
CN116192956A (zh) | 一种缓存数据更新方法、系统、计算设备及存储介质 | |
CN114691226A (zh) | 一种多操作系统切换运行方法、计算设备及存储介质 | |
CN111414383B (zh) | 数据请求方法、数据处理系统及计算设备 | |
CN113377289A (zh) | 一种缓存管理方法、系统、计算设备及可读存储介质 | |
CN114884974B (zh) | 一种数据复用方法、系统及计算设备 | |
CN112328325A (zh) | 模型文件的执行方法、装置、终端设备及存储介质 | |
CN107508705B (zh) | 一种http元素的资源树构建方法及计算设备 | |
CN111124470A (zh) | 基于云平台的程序包自动优化方法及装置 | |
CN108173716B (zh) | 一种识别网络设备厂商的方法和计算设备 | |
CN113590699B (zh) | 一种接口请求处理方法、系统及计算设备 | |
CN112764897B (zh) | 任务请求的处理方法、装置、系统及计算机可读存储介质 | |
CN110175182B (zh) | 数据核对方法及装置 | |
CN111432357B (zh) | 信息处理方法、系统及计算设备 | |
CN112688980B (zh) | 资源分发方法、装置、计算机设备 | |
CN111966262A (zh) | 一种图片显示方法及计算设备 | |
CN110554904A (zh) | 伸缩策略处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |