CN111930557A - 数据的处理方法、装置及设备 - Google Patents

数据的处理方法、装置及设备 Download PDF

Info

Publication number
CN111930557A
CN111930557A CN201910394251.5A CN201910394251A CN111930557A CN 111930557 A CN111930557 A CN 111930557A CN 201910394251 A CN201910394251 A CN 201910394251A CN 111930557 A CN111930557 A CN 111930557A
Authority
CN
China
Prior art keywords
data
client
server
description file
data request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910394251.5A
Other languages
English (en)
Inventor
张培
徐斌旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910394251.5A priority Critical patent/CN111930557A/zh
Publication of CN111930557A publication Critical patent/CN111930557A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Abstract

本发明实施例提供了一种数据的处理方法、装置及设备,方法包括:获取数据请求;确定与数据请求相对应的客户端参数以及与数据请求相对应的服务器端参数;基于客户端参数和服务器端参数获取用于描述客户端参数与服务器端参数之间差异信息的描述文件。通过获取数据请求,确定与数据请求相对应的客户端参数以及与数据请求相对应的服务器端参数,并基于客户端参数和服务器端参数获取用于描述客户端参数与服务器端参数之间差异信息的描述文件;该描述文件可以便于服务器端和客户端对数据进行容灾备份和读取操作,从而实现了当服务器端应用整体发生故障或者宕机时,客户端可以通过描述文件获取备份数据,从而保证数据处理的质量和效率。

Description

数据的处理方法、装置及设备
技术领域
本发明涉及互联网技术领域,尤其涉及一种数据的处理方法、装置及设备。
背景技术
目前客户端的容灾方式往往是两种,一种是基于本地高速缓冲存储器cache来实现的,另一种是人工的对核心页面配置一份静态的数据备份在指定的地方,而后由客户端自己去取,这份数据是需要人为进行维护,这样不能保证准确性与真实性;而服务器端一般会对核心关键的数据进行容灾备份,使得客户端可以向服务器端进行数据请求。
然而,当服务器端应用整体发生故障或者宕机的时候,即使服务器端有备份数据,也无法返回给客户端使用,并且,客户端也无处可寻容灾备份数据,从而影响数据处理的质量和效率。
发明内容
本发明实施例提供一种数据的处理方法、装置及设备,当服务器端应用整体发生故障或者宕机时,客户端依然可以获取到备份数据,从而保证数据处理的质量和效率。
第一方面,本发明实施例提供一种数据的处理方法,包括:
获取数据请求;
确定与所述数据请求相对应的客户端参数以及与所述数据请求相对应的服务器端参数;
基于所述客户端参数和所述服务器端参数获取用于描述所述客户端参数与所述服务器端参数之间差异信息的描述文件。
第二方面,本发明实施例提供一种数据的处理装置,包括:
第一获取模块,用于获取数据请求;
第一确定模块,用于确定与所述数据请求相对应的客户端参数以及与所述数据请求相对应的服务器端参数;
第一处理模块,用于基于所述客户端参数和所述服务器端参数获取用于描述所述客户端参数与所述服务器端参数之间差异信息的描述文件。
第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的一种数据的处理方法。
第四方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第一方面中的一种数据的处理方法。
通过获取数据请求,确定与数据请求相对应的客户端参数以及与数据请求相对应的服务器端参数,并基于客户端参数和服务器端参数获取用于描述客户端参数与服务器端参数之间差异信息的描述文件;该描述文件可以便于服务器端对数据进行容灾备份处理,并且也可以便于客户端对容灾备份的数据进行读取,从而实现了当服务器端应用整体发生故障或者宕机时,客户端可以通过描述文件获取到备份数据,从而保证数据处理的质量和效率,进而提高了该方法的实用性,有利于市场的推广与应用。
第五方面,本发明实施例提供一种数据的处理方法,包括:
获取数据请求以及与所述数据请求相对应的描述文件;
确定与所述数据请求相对应的待处理数据;
根据所述描述文件将所述待处理数据备份至预设的存储节点上。
第六方面,本发明实施例提供一种数据的处理装置,包括:
第二获取模块,用于获取数据请求以及与所述数据请求相对应的描述文件;
第二确定模块,用于确定与所述数据请求相对应的待处理数据;
第二处理模块,用于根据所述描述文件将所述待处理数据备份至预设的存储节点上。
第七方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的一种数据的处理方法。
第八方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第五方面中的一种数据的处理方法。
通过获取数据请求以及与数据请求相对应的描述文件;确定与数据请求相对应的待处理数据,并根据描述文件将待处理数据备份至预设的存储节点上,实现了服务器端基于描述文件对待处理数据进行备份的操作,具体可以将待处理数据备份至CDN上,进而,当服务器端应用整体发生故障或者宕机时,客户端依然可以获取到备份数据,从而保证数据处理的质量和效率。
第九方面,本发明实施例提供一种数据的处理方法,应用于客户端,所述客户端与服务器端通信连接,所述方法包括:
所述客户端获取数据请求以及与所述数据请求相对应的描述文件;
所述客户端根据所述描述文件确定与所述服务器端相对应的数据备份地址;
所述客户端根据所述数据备份地址读取与所述数据请求相对应的备份数据。
第十方面,本发明实施例提供一种数据的处理装置,用于与服务器端通信连接,所述处理装置包括:
第三获取模块,用于获取数据请求以及与所述数据请求相对应的描述文件;
第三确定模块,用于根据所述描述文件确定与所述服务器端相对应的数据备份地址;
第三处理模块,用于根据所述数据备份地址读取与所述数据请求相对应的备份数据。
第十一方面,本发明实施例提供一种电子设备,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的一种数据的处理方法。
第十二方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第九方面中的一种数据的处理方法。
客户端通过获取数据请求以及与数据请求相对应的描述文件,根据描述文件确定与服务器端相对应的数据备份地址,在获取到数据备份地址之后,客户端可以基于数据备份地址读取到与数据请求相对应的备份数据,使得在服务器端应用整体发生故障或者宕机时,客户端依然可以获取到备份数据,从而保证数据处理的质量和效率,提高了该方法的实用性,有利于市场的推广与应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据的处理方法的流程图一;
图2为本发明实施例提供的一种数据的处理方法的流程图二;
图3为本发明实施例提供的另一种数据的处理方法的流程图;
图4为本发明实施例提供的根据所述描述文件将所述待处理数据备份至预设的存储节点上的流程图;
图5为本发明实施例提供的根据所述描述文件确定与所述数据请求相对应的数据备份地址的流程图;
图6为本发明实施例提供的又一种数据的处理方法的流程图;
图7为本发明实施例提供的客户端获取与所述数据请求相对应的描述文件的流程图;
图8为本发明实施例提供的所述客户端根据所述描述文件确定与所述服务器端相对应的数据备份地址的流程图;
图9为本发明实施例提供的所述客户端利用所述文件解析工具对所述描述文件进行分析处理,获得与所述服务器端相对应的数据备份地址的流程图;
图10为本发明应用实施例提供的一种数据的处理方法的流程示意图;
图11为本发明实施例提供的一种数据的处理装置的结构示意图一;
图12为与图11所示实施例提供的数据的处理装置对应的电子设备的结构示意图;
图13为本发明实施例提供的一种数据的处理装置的结构示意图二;
图14为与图13所示实施例提供的数据的处理装置对应的电子设备的结构示意图;
图15为本发明实施例提供的一种数据的处理装置的结构示意图三;
图16为与图15所示实施例提供的数据的处理装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
为了便于理解本实施例的技术方案,下面对现有技术进行简要说明:
传统的容灾方式都是基于服务器端来实现的,具体的,服务器端针对核心接口的数据往往会进行数据备份,在数据异常的情况下可以使用备份数据进行兜底。但是,对于前端(客户端)而言,除了本地高速缓冲存储器cache的方式以及配置静态备份的数据方式以外,无法做到对所有的数据都去实现一套持久化的容灾备份,例如:对于客户端而依然,在浏览器缓存失效的情况下,本地备份数据就已经失效,无法处理极端情况,此时,若服务器端应用整体故障或者宕机的情景,这样容易出现以下问题:
(1)由于客户端本地cache不是持久化的,静态备份数据的实时和真实性也存在问题,这种情况下,针对真实情况的容灾能力效果很差。(2)服务器端应用无法百分百保证一定正常,在极端情况下,服务器端整体宕机时,即使有备份数据,客户端也无法获取备份数据,极易出现数据天窗,导致数据运行的异常。
图1为本发明实施例提供的一种数据的处理方法的流程图一;参考附图1所示,为了克服上述缺陷,本实施例提供了一种数据的处理方法,该数据的处理方法的执行主体可以是容灾平台,该容灾平台用于实现客户端与服务器端之间的数据备份处理,从而保证数据处理的质量和效率;其中,客户端包括以下至少之一:个人计算机PC端、在线浏览器、终端浏览器、应用程序等等。并且,该容灾平台可以实现为软件、或者软件和硬件的组合。具体的,该方法可以包括:
S101:获取数据请求。
其中,数据请求可以是客户端发送至容灾平台的,对于客户端而言,客户端可以检测到用户输入的执行操作,并基于执行操作生成数据请求,该数据请求用于实现对备份的数据进行读取操作和备份操作。在客户端获取到用户输入的数据请求之后,可以将数据请求发送至容灾平台,从而使得容灾平台可以获得数据请求。具体的,客户端上可以设置有与容灾平台相对应的应用程序或者应用网址,用户通过应用程序或者应用网址可以实现将所输入的数据请求发送至容灾平台,从而保证了容灾平台可以稳定地获取数据请求。
S102:确定与数据请求相对应的客户端参数以及与数据请求相对应的服务器端参数。
在获取到数据请求之后,可以对数据请求进行分析处理,从而获得与数据请求相对应的客户端参数和服务器端参数;具体的,对于客户端参数而言,可以直接对数据请求进行分析处理,获得客户端参数;在获取到数据请求之后,接口网关可以对数据请求进行过滤处理等操作,可以获得服务器端参数。
S103:基于客户端参数和服务器端参数获取用于描述客户端参数与服务器端参数之间差异信息的描述文件。
由于客户端参数与服务器端参数的确定方式不同,即客户端参数可以通过数据请求直接获得,而服务器端参数是通过接口网关对数据请求进行过滤处理所获得的,因此,服务器端参数和客户端参数就会存在差异性。为了避免客户端参数与服务器端参数之间差异性对数据备份操作的影响,可以获取用于描述客户端参数与服务器端参数之间差异信息的描述文件,该描述文件是一种客户端参数与服务器端参数的映射关系,该描述文件可以抹平客户端参数与服务器端参数之间的差异性,从而便于实现客户端可以稳定地获取到备份数据。
需要说明的是,该数据的处理方法的执行主体为容灾平台,对于客户端和服务器端而言,在容灾平台的控制和维护下,客户端和服务器端可根据自己的服务名称获取自己的描述文件(接口协议interfaceConfig文件),并可以对描述文件直接进行加载和解析。当没有容灾平台时,描述文件是无法直接提供给各端独立使用,并且客户端也无法通过服务名称从指定的存储环境中拉取到描述文件。因此,容灾平台是一个解耦双端差异性的核心装置,并且,其也是可以使用别的装置替代起职责的数据处理平台。
可以理解的是,本实施例中的方法还可以包括:
S104:将描述文件发送至内容分发网络CDN上,以使客户端通过CDN读取描述文件。
在容灾平台获得描述文件之后,为了便于客户端可以获得描述文件,可以将所获取到的描述文件发送至CDN上,这样使得不同的客户端通过CDN可以快速读取相对应的描述文件,进而提高了描述文件获取的质量和效率。
可选地,本实施例中的方法还可以包括:
S105:将描述文件发送至分布式存储平台,以使服务器端通过分布式存储平台读取描述文件。
在容灾平台获得描述文件之后,为了便于服务器端可以获得描述文件,可以将所获取到的描述文件发送至分布式存储平台上,这样可以使得不同的服务器端通过分布式存储平台读取相对应的描述文件,进而提高了描述文件获取的质量和效率。
需要注意的是,本实施例中步骤S104和步骤S105之间并没有限于上述序号所标识的执行顺序,其中,步骤S104也可以与步骤S105同时执行,或者,步骤S104也可以在步骤S105之后执行。
本实施例中的数据的处理方法,通过获取数据请求,确定与数据请求相对应的客户端参数以及与数据请求相对应的服务器端参数,并基于客户端参数和服务器端参数获取用于描述客户端参数与服务器端参数之间差异信息的描述文件;该描述文件可以便于服务器端对数据进行容灾备份处理,并且也可以便于客户端对容灾备份的数据进行读取,从而实现了当服务器端应用整体发生故障或者宕机时,客户端可以通过描述文件获取到备份数据,从而保证数据处理的质量和效率,进而提高了该方法的实用性,有利于市场的推广与应用。
图2为本发明实施例提供的一种数据的处理方法的流程图二;在上述实施例的基础上,继续参考附图2所示,可以理解的是,在获得描述文件之前,容灾平台可以预先生成或者建成描述文件,具体的,在基于客户端参数和服务器端参数获取用于描述客户端参数与服务器端参数之间差异信息的描述文件之前,本实施例中的方法还包括:
S001:接收客户端发送的、针对一服务器端进行通信的通信注册请求。
S002:根据通信注册请求建立客户端与服务器端之间的描述文件。
其中,客户端可以向容灾平台发送通信注册请求,即客户端接口向容灾平台发送通信注册请求,该通信注册请求中客户端的身份标识和用于与客户端进行通信的服务器端的身份标识;该通信注册请求用于实现客户端与服务器端之间的通信连接。在容灾平台接收到通信注册请求之后,可以根据该通信注册请求建立客户端与服务器端之间的描述文件,该描述文件即为客户端与服务器端之间的映射关系。可以想到的,容灾平台可以接收到多个客户端所发送的通信注册请求,多个通信注册请求可以对应有各自不同的服务器端,而容灾平台而言,可以针对每个客户端与所对应的服务器端、依据通信注册请求生成相对应的描述文件,因此,可以生成多个客户端与所对应的服务器端之间的多个描述文件。举例来说:现有5个客户端向容灾平台发送通信注册请求,每个通信注册请求用于实现客户端与服务器端之间的通信连接,那么,容灾平台可以根据每个通信注册请求建立客户端与服务器端之间的描述文件,进而可以建立与5个客户端所对应的5个描述文件。
通过接收客户端发送的、针对一服务器端进行通信的通信注册请求,而后根据通信注册请求建立客户端与服务器端之间的描述文件,实现了客户端与服务器端之间的绑定过程,有效地保证了描述文件建立的稳定可靠性,进一步提高了该方法使用的安全可靠性。
图3为本发明实施例提供的另一种数据的处理方法的流程图;参考附图3所示,本实施例提供了另一种数据的处理方法,该数据的处理方法的执行主体可以是服务器端,该服务器端可以通过容灾平台与客户端进行数据备份处理,从而保证数据处理的质量和效率。并且,该服务器端可以实现为软件、或者软件和硬件的组合。具体的,该方法可以包括:
S201:获取数据请求以及与数据请求相对应的描述文件。
其中,数据请求可以是客户端通过容灾平台发送至服务器端的,该数据请求是用于对数据进行查询、容灾备份或者搜索的请求信息。对于客户端而言,客户端可以检测到用户输入的执行操作,并基于执行操作生成数据请求,在客户端获取到用户输入的数据请求之后,可以通过容灾平台将数据请求发送至服务器端,从而使得服务器端可以获得数据请求。具体的,客户端上可以设置有与容灾平台相对应的应用程序或者应用网址,用户通过应用程序或者应用网址可以实现将所输入的数据请求通过容灾平台发送至服务器端,从而保证了服务器端可以稳定地获取数据请求。
另外,本实施例中的获取与数据请求相对应的描述文件可以包括:
S2011:根据数据请求通过分布式存储平台读取描述文件。
具体的,描述文件是容灾平台生成或者建立的,用于描述服务器端与客户端之间映射关系的文件,在容灾平台生成或者建成描述文件之后,可以将描述文件发送至分布式存储平台,此时,服务器端可以根据数据请求通过分布式存储平台读取描述文件;这样不仅保证了描述文件获取的准确可靠性,并且还提高了描述文件获取的质量和效率。
S202:确定与数据请求相对应的待处理数据。
在获取到数据请求之后,可以根据数据请求获取到相对应的待处理数据,此处的待处理数据可以包括以下至少之一:文本信息、图片信息或者视频信息等等;具体的,可以通过预设的数据库获取与数据请求相对应的待处理数据。
S203:根据描述文件将待处理数据备份至预设的存储节点上。
其中,存储节点为预先设置的,其可以为任意一种独立于服务器端、且具有稳定存储功能的设备。在获取到待处理数据之后,可以根据描述文件对待处理数据进行数据备份操作。具体的,参考附图4所示,本实施例中的根据描述文件将待处理数据备份至预设的存储节点上可以包括:
S2031:根据描述文件确定与数据请求相对应的数据备份地址。
具体的,参考附图5所示,根据描述文件确定与数据请求相对应的数据备份地址可以包括:
S20311:根据数据请求获取文件解析工具。
S20312:获取与描述文件相对应的服务器端字符串信息。
S20313:利用文件解析工具对服务器端字符串信息进行分析处理,获得与数据请求相对应的内容分发网络CDN地址。
其中,描述文件是用于描述服务器端参数与客户端参数之间差异信息的映射关系,因此,描述文件中既包括与客户端参数相对应的客户端字符串信息,也包括与服务器端参数相对应的服务器端字符串信息。
而对于服务器端而言,为了获取到数据备份地址,可以根据描述文件确定与数据请求相对应的数据备份地址;具体的,可以先根据数据请求获取文件解析工具,该文件解析工具可以为JSTools工具,该JSTools工具是一个通用的对客户端的接口协议interfaceConfig文件的解析工具。另外,本实施例中对于获取JSTools工具的具体方式不做限定,本领域技术人员可以根据具体的应用需求进行设置,例如,JSTools工具可以是由容灾平台维护和发布的,之后容灾平台将JSTools工具存放在分布式存储平台上,保证服务器端每次使用的时候都能拉取到最新的版本。在获取到文件解析工具之后,可以利用文件解析工具对服务器端字符串信息进行分析处理,从而可以获得与数据请求相对应的内容分发网络CDN地址,该CDN地址即为数据备份地址。
S2032:基于数据备份地址将待处理数据备份至内容分发网络CDN上。
在获取到数据备份地址(CDN地址)之后,可以基于数据备份地址(CDN地址)对待处理数据进行备份操作,具体的,基于数据备份地址将待处理数据备份至内容分发网络CDN上可以包括:
S20321:根据CDN地址将待处理数据备份至内容分发网络CDN上。
本实施例中,预设的存储节点为内容分发网络CDN,可以理解的是,数据备份在CDN上并不是唯一的处理方式,但是,本领域技术人员可以根据具体的应用场景对存储节点进行任意设置,只要能够保证在对待处理数据进行备份时,存储节点可以同时被服务器端和客户端共同识别,并且存储节点具有操作的持久化存储特定,在此不再赘述。
本实施例提供的数据的处理方法,通过获取数据请求以及与数据请求相对应的描述文件;确定与数据请求相对应的待处理数据,并根据描述文件将待处理数据备份至预设的存储节点上,实现了服务器端基于描述文件对待处理数据进行备份的操作,具体可以将待处理数据备份至CDN上,进而,当服务器端应用整体发生故障或者宕机时,客户端依然可以获取到备份数据,从而保证数据处理的质量和效率。
图6为本发明实施例提供的又一种数据的处理方法的流程图;参考附图6所示,本实施例提供了又一种数据的处理方法,该数据的处理方法的执行主体可以是客户端,该客户端与服务器端通信连接,具体的,客户端可以通过容灾平台与服务器端读取到备份数据,从而保证数据处理的质量和效率;并且,该客户端可以实现为软件、或者软件和硬件的组合。该方法可以包括:
S301:客户端获取数据请求以及与数据请求相对应的描述文件。
其中,对于客户端而言,客户端可以检测到用户输入的执行操作,并基于执行操作生成数据请求,从而使得客户端可以获得数据请求。另外,参考附图7所示,本实施例中的客户端获取与数据请求相对应的描述文件可以包括:
S3011:客户端根据数据请求获取文件解析工具。
S3012:确定数据请求中所包括的客户端服务标识。
S3013:利用文件解析工具对客户端服务标识进行分析处理,获得与数据请求相对应的内容分发网络CDN存储地址。
S3014:根据CDN存储地址获取与数据请求相对应的描述文件。
其中,描述文件是容灾平台生成或者建立的,在容灾平台生成或者建成描述文件之后,可以将描述文件发送至内容分发网络CDN上,此时,客户端可以根据数据请求通过CDN读取与客户端相对应的描述文件。具体的,客户端可以根据数据请求获取文件解析工具,该文件解析工具可以为JSTools工具,该JSTools工具是一个通用的对客户端的接口协议interfaceConfig文件的解析工具。在获取到文件解析工具之后,可以利用文件解析工具对数据请求中所包括的客户端服务标识进行分析处理,从而获得与数据请求相对应的内容分发网络CDN存储地址,该CDN存储地址即为描述文件的存储地址,因此,客户端可以根据CDN存储地址获取与数据请求相对应的描述文件,这样不仅保证了描述文件获取的准确可靠性,并且还提高了描述文件获取的质量和效率。
S302:客户端根据描述文件确定与服务器端相对应的数据备份地址。
获取到描述文件之后,可以根据描述文件确定数据备份地址,本实施例对于根据描述文件确定数据备份地址的具体实现方式不做限定,本领域技术人员可以根据具体的应用需求进行任意设置,例如:预先设置有描述文件与数据备份地址的映射关系,该映射关系可以存储在CDN上,通过映射关系和描述文件可以确定数据备份地址,需要注意的是,该数据备份地址与服务器端相对应,即客户端所获取到的数据备份地址也是服务器端对待处理数据进行容灾备份的存储地址。
S303:客户端根据数据备份地址读取与数据请求相对应的备份数据。
在获取到数据备份地址之后,客户端可以基于数据备份地址读取到与数据请求相对应的备份数据,例如:备份数据存储在内容分发网络CDN上,这样使得在服务器端应用整体发生故障或者宕机时,客户端依然可以通过CDN获取到备份数据,从而保证数据处理的质量和效率。
本实施例提供的数据的处理方法,客户端通过获取数据请求以及与数据请求相对应的描述文件,根据描述文件确定与服务器端相对应的数据备份地址,在获取到数据备份地址之后,客户端可以基于数据备份地址读取到与数据请求相对应的备份数据,使得在服务器端应用整体发生故障或者宕机时,客户端依然可以获取到备份数据,从而保证数据处理的质量和效率,提高了该方法的实用性,有利于市场的推广与应用。
图8为本发明实施例提供的客户端根据描述文件确定与服务器端相对应的数据备份地址的流程图;图9为本发明实施例提供的客户端利用文件解析工具对描述文件进行分析处理,获得与服务器端相对应的数据备份地址的流程图;在上述实施例的基础上,继续参考附图8-9所述,本实施例对于客户端根据描述文件确定与服务器端相对应的数据备份地址的具体实现方式不做限定,本领域技术人员可以根据具体的设计需求进行设置,较为优选的,本实施例中的客户端根据描述文件确定与服务器端相对应的数据备份地址可以包括:
S3021:客户端根据数据请求获取文件解析工具。
S3022:客户端利用文件解析工具对描述文件进行分析处理,获得与服务器端相对应的数据备份地址。
具体的,客户端利用文件解析工具对描述文件进行分析处理,获得与服务器端相对应的数据备份地址可以包括:
S30221:客户端获取与描述文件相对应的客户端字符串信息;
S30222:客户端利用文件解析工具对客户端字符串信息进行分析处理,生成与服务器端相对应的内容分发网络CDN查询地址。
其中,描述文件是一种用于描述服务器端参数与客户端参数之间差异信息的映射关系,因此,描述文件中既包括与客户端参数相对应的客户端字符串信息,也包括与服务器端参数相对应的服务器端字符串信息。
对于客户端而言,为了获取到数据备份地址,可以先根据数据请求获取文件解析工具,该文件解析工具可以为JSTools工具,该JSTools工具是一个通用的对客户端的接口协议interfaceConfig文件的解析工具。另外,本实施例中对于获取JSTools工具的具体方式不做限定,本领域技术人员可以根据具体的应用需求进行设置,例如,JSTools工具可以是由容灾平台维护和发布的,之后容灾平台将JSTools工具存放在CDN上,保证客户端每次使用的时候都能拉取到最新的版本。在获取到文件解析工具之后,可以利用文件解析工具对描述文件进行分析处理,获得与服务器端相对应的数据备份地址,该数据备份地址可以为CDN地址。
通过获取与描述文件相对应的客户端字符串信息,而后利用文件解析工具对客户端字符串信息进行分析处理,生成与服务器端相对应的内容分发网络CDN查询地址,该CDN查询地址即为服务器端对数据进行备份处理的存储地址,客户端可以通过该CDN查询地址获取到相对应的备份数据,从而有效地保证了数据备份地址获取的准确可靠性,进一步提高了该方法的实用性。
具体应用时,参考附图10所示,本应用实施例提供了一种数据的处理方法,该方法可以使得客户端获取基于客户端参数所生成的容灾数据;该方法适用于任何客户端-服务器端的一级化服务接口。具体的,该数据的处理方法包括对数据进行容灾备份的过程和读取备份数据的过程,该方法的执行主体包括:容灾平台、客户端(前端)和服务器端,其中,客户端可以包括PC端、H5、WEEX、离线包等等;该客户端可以通过容灾平台与服务器端通信连接。进一步的,以CDN作为预设的存储节点为例进行说明,本应用实施例中的数据的处理方法可以包括:
step1:容灾平台建立用于描述客户端参数与服务器端参数之间差异信息的描述文件,并对描述文件进行发布。
一般情况下,客户端通过容灾平台与服务器端进行通信的过程如下:用户可以通过客户端输入数据请求,客户端可以将数据请求发送至容灾平台,容灾平台获取到数据请求之后,可以对数据请求进行分析处理,从而可以获得客户端参数,客户端也可以将数据请求通过容灾平台发送至服务器端。其中,在将数据请求发送至服务器端的过程中,可能存在网关接口对数据请求进行过滤处理,从而使得所生成的服务器端参数与客户端参数之间存在差异。
举例来说,在客户端获取到数据请求之后,可以基于数据请求获取到客户端参数,其中,客户端参数可以包括:身份标识id信息、名称name信息、年龄age信息,当数据请求发送至服务器端之后,由于接口网关可以对数据请求进行过滤,可以获得与客户端参数不同的服务器端参数,该服务器端参数可以包括:名称name信息、年龄age信息。因此,在一次正常的数据请求中,客户端发出的实际参数与服务器端接收的实际参数存在一定的差异性,一般情况下,服务器端参数为客户端参数的至少一部分,而描述文件可以抹平客户端参数与服务器端参数之间的差异性,使得客户端与服务器端之间的请求可以建立绝对的映射关系。
为了避免客户端参数与服务器端参数之间的差异对数据备份和读取备份数据的影响,容灾平台可以先建立用于抹平服务器端参数与客户端参数之间差异信息的描述文件,具体的,在客户端接口向容灾平台进行注册连接请求时,该注册连接请求中包括客户端身份标识和服务器端身份标识,容灾平台即可根据客户端的注册连接请求建立客户端与服务器端之间的描述文件。而后,在获取到客户端参数与服务器端参数之后,可以基于客户端参数和服务器端参数获取用于描述客户端参数与服务器端参数之间差异信息的描述文件,该描述文件也可以看作是客户端与服务器端之间的映射关系,即客户端与服务器端之间建立了绑定关系、并生成了描述文件,该描述文件可以便于客户端读取备份数据,便于服务器端进行数据备份操作。
具体的,描述文件将客户端与服务器端之间进行了关联绑定,当用户通过客户端输入数据请求时,可以通过数据请求的实际情况与描述文件进行匹配,从而可以获得与客户端相匹配的客户端字符串信息。而后可以通过客户端设置匹配规则,需要说明的是,一个客户端接口可以配置多个匹配规则,比如:配置规则1为:name参数不能为空,并且对name参数为张三的数据进行备份;配置规则2为:age参数不为空,并且age>25的数据进行备份等等。在匹配规则设置完毕后,可以将匹配规则和客户端字符串信息同时通过JSTools工具进行解析处理,JSTools工具可以提供预设的统一方法对匹配规则和客户端字符串信息进行分析处理,以获得地址key,而后服务器端可以基于地址key在CDN上进行对应的数据备份操作。
在获取到描述文件之后,将描述文件发送至内容分发网络CDN上,以使客户端通过CDN读取描述文件;并且,可以将描述文件发送至分布式存储平台,以使服务器端通过分布式存储平台读取描述文件。
step2:服务器端可以通过容灾平台的软件开发工具包(Software DevelopmentKit,简称SDK)加载对应的服务器端接口协议interfaceConfig文件,接口协议文件是服务化接口所对应的策略配置文件,在经过一系列容灾策略的规则解析之后,生成了本次请求的数据备份的CDN地址,并且将数据推送到CDN上去。
容灾平台的软件开发工具包(Software Development Kit,简称SDK)允许应用容灾平台的客户端和服务器端根据各自需求约定或者配置服务的备份策略和备份地址的生成方式,并且,数据备份操作一般是基于服务器端的服务进行的,因此,在面向客户端容灾有诉求时,也即:在用户配置客户端需要进行容灾备份时,由于客户端参数与服务器端参数之间的差异性,客户端是无法感知服务器端在备份数据的时候遵循了什么方式和什么策略,将数据备份在什么样的地址上的;因此,需要获得用于抹平服务器端参数与客户端参数之间差异的描述文件,在描述文件所设置的规则一致和使得客户端与服务器之间进行绑定的情况下,服务器端可以通过描述文件生成相对应的数据备份地址,从而实现对待备份数据基于数据备份地址进行备份操作;而客户端可以通过描述文件生成与服务器端相对应的数据查询地址,通过数据查询地址,客户端可以查询已备份的数据。
具体的,在服务器端获取到客户端发送的数据请求之后,确定与数据请求相对应的待备份数据,而后,服务器端可以主动检测待备份数据是否需要备份,当检测结果为待备份数据已经备份过,则可以按照预设的备份策略确定是否需要对待备份数据进行再次备份处理,例如,当备份策略为强制备份策略时,则需要对待备份数据进行再次备份处理,当备份策略为频率备份策略时,则可以按照预设的频率判断是否需要对待备份数据进行再次备份处理。当检测结果为待备份数据未经过备份,则确定需要对待备份数据进行备份操作,此时,服务器端可以通过分布式静态存储平台diamond获取到描述文件。
而后,基于描述文件获得与待备份数据相对应的数据备份地址,在基于描述文件获得与待备份数据相对应的数据备份地址时,可以先根据数据请求获取文件解析工具;获取与描述文件相对应的服务器端字符串信息;利用文件解析工具对服务器端字符串信息进行分析处理,获得与数据请求相对应的内容分发网络CDN地址。在获取到CDN地址之后,可以基于CDN地址(即附图中的数据备份key)将待备份数据备份至CDN上。
step3:客户端获取数据请求以及与数据请求相对应的描述文件,客户端根据描述文件确定与服务器端相对应的数据备份地址。
具体应用时,为了提高客户端的适用范围,可以在客户端上设置有可应用容灾数据策略的前端容灾框架层,通过在客户端上设置前端容灾框架层,使得客户端可以自动通过容灾平台与服务器端进行数据容灾处理,从而保证了数据处理的稳定可靠性。
另外,在客户端需要获取备份数据时,首先要根据预设固定的CDN地址获取文件解析工具,该文件解析工具具体可以为JSTools工具,并且,该JSTools工具可以是由容灾平台进行维护和发布的,其可以存放在CDN上,以保证客户端每次使用的时候都能拉取到最新的版本,该JSTools是一个通用的对接口协议文件的解析工具,用来处理接口协议中的协议描述,以生成获取数据备份地址(CDN地址),该数据备份地址与服务器端相对应。
step4:客户端将数据请求的服务名称传入到JSTools工具,JSTools工具工具会根据服务名称返回服务所对应的接口协议地址,便可以基于接口协议地址从CDN上拉取到对应的描述文件,再根据JSTools内置的通用的解析方法,来解析描述文件中客户端配置的容灾策略(该容灾策略是和对应的服务器端容灾策略规则绑定的),从而生成CDN地址。
在获取到文件解析工具之后,可以获取与客户端相对应的描述文件,具体的,描述文件是容灾平台发布的,为了能让每种客户端的服务都能拿到对应的描述文件,客户端可以根据用户在描述文件中填写的客户端服务名称,在CDN上根据客户端的服务名称生成一个地址,该地址即为描述文件的存储地址。当客户端服务需要获取描述文件时,只需要利用JSTools工具对客户端的服务名称进行处理,具体的,JSTools工具利用预设的统一方法或者公用方法对客户端服务名称进行处理,生成一个CDN地址,进而,客户端可以根据CDN地址获取到客户端与服务器端对应服务的描述文件。
举例来说,服务器端可以对预设的多个数据进行了容灾备份处理,当有多个客户端接口均触发了容灾数据请求时,即多个客户端均需要读取备份数据,此时,由于客户端与服务器端预先建立了绑定关系,并生成了描述文件,进而,客户端通过CDN可以获取到与相对应的描述文件,该描述文件里描述了客户端生成数据备份地址key方式以及其所对应的服务器端生成的数据备份地址key的方式,既然描述文件中绑定了客户端与服务器端,因此,针对同一个数据所生成的数据备份地址key一定是相同的,也即:客户端所获取的数据备份地址与服务器端相对应;具体的,服务器端按照数据备份地址key对数据进行备份存储,客户端通过数据备份地址key读取进行备份的数据。
step5:客户端根据生成的CDN地址去拉取服务器端备份好的CDN数据,用来做最后的数据容灾。
本应用实施例提供的数据的处理方法,基于容灾平台的配置和管理,可以生成客户端与服务器端绑定的协议文件(描述文件),并且可以将协议文件下发到各端框架层所能识别到的位置上,例如:可以将描述文件发送至CDN和diamond上,这样方便服务器端和客户端快速获取该协议文件,并且服务器端和客户端可以通过各自提供的SDK对协议文件进行解析。另外,服务器端容灾数据能通过协议化约定的方式下发到客户端,客户端可与服务器端共用同一份数据做容灾,在服务器端全体宕机的情况下,客户端依旧有实效性较高的数据进行容灾兜底;具体的,容灾数据由服务器端处理保存后推送到CDN上,服务器端和客户端可以保持对数据生成CDN地址处理方式的一致性,客户端可根据端上的请求信息,拉取到服务器端推送到CDN上对应的数据进行容灾兜底。此外,利用JSTools对协议文件的处理可以在客户端的框架层进行处理,由框架层在触发容灾时,去CDN上拉取最新的JSTools的代码到本地,再根据服务信息获取对应的协议文件,然后由JSTools对协议文件进行解析处理,获取数据请求地址,在利用到客户端上的框架层支持后,面向客户端的数据容灾过程变成全自动化,上述处理过程,对于客户端来说,不需要关注额外的信息,全部交由下发的JSTools自行处理,并且,JSTools与协议文件都是由容灾平台下发的,保证了可控性和通用性,一劳永逸,在保证了数据处理的质量和效率的基础上,有效地提高了数据处理的稳定可靠性。
图11为本发明实施例提供的一种数据的处理装置的结构示意图一;参考附图11所示,本实施例提供了一种数据的处理装置,该数据的处理装置具体可以为容灾平台,并且,该处理装置可以执行上述图1-图2、图10所对应的数据的处理方法。具体的,该处理装置可以包括:
第一获取模块11,用于获取数据请求;
第一确定模块12,用于确定与数据请求相对应的客户端参数以及与数据请求相对应的服务器端参数;
第一处理模块13,用于基于客户端参数和服务器端参数获取用于描述客户端参数与服务器端参数之间差异信息的描述文件。
可选地,在基于客户端参数和服务器端参数获取用于描述客户端参数与服务器端参数之间差异信息的描述文件之前,本实施例中的第一获取模块11和第一处理模块13还可以用于执行以下步骤:
第一获取模块11,用于接收客户端发送的、针对一服务器端进行通信的通信注册请求;
第一处理模块13,用于根据通信注册请求建立客户端与服务器端之间的描述文件。
可选地,本实施例中的第一处理模块13可以用于执行:将描述文件发送至内容分发网络CDN上,以使客户端通过CDN读取描述文件。
可选地,本实施例中的第一处理模块13可以用于执行:将描述文件发送至分布式存储平台,以使服务器端通过分布式存储平台读取描述文件。
图11所示装置可以执行图1-图2、图10所示实施例的方法,本实施例未详细描述的部分,可参考对图1-图2、图10所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图2、图10所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图11所示数据的处理装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图12所示,该电子设备可以包括:第一处理器21和第一存储器22。其中,第一存储器22用于存储支持电子设备执行上述图1-图2、图10所示实施例中提供的数据的处理方法的程序,第一处理器21被配置为用于执行第一存储器22中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第一处理器21执行时能够实现如下步骤:
获取数据请求;
确定与数据请求相对应的客户端参数以及与数据请求相对应的服务器端参数;
基于客户端参数和服务器端参数获取用于描述客户端参数与服务器端参数之间差异信息的描述文件。
可选地,第一处理器21还用于执行前述图1-图2、图10所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括第一通信接口23,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图1-图2、图10所示方法实施例中数据的处理方法所涉及的程序。
图13为本发明实施例提供的一种数据的处理装置的结构示意图二;参考附图13所示,本实施例提供了一种数据的处理装置,该数据的处理装置具体可以为服务器,并且,该处理装置可以执行上述图3-图5、图10所对应的部分的数据的处理方法。具体的,该处理装置可以包括:
第二获取模块31,用于获取数据请求以及与数据请求相对应的描述文件;
第二确定模块32,用于确定与数据请求相对应的待处理数据;
第二处理模块33,用于根据描述文件将待处理数据备份至预设的存储节点上。
可选地,在第二获取模块31获取与数据请求相对应的描述文件时,该第二获取模块31可以用于执行:根据数据请求通过分布式存储平台读取描述文件。
可选地,在第二处理模块33根据描述文件将待处理数据备份至预设的存储节点上时,该第二处理模块33可以用于执行:根据描述文件确定与数据请求相对应的数据备份地址;基于数据备份地址将待处理数据备份至内容分发网络CDN上。
可选地,在第二处理模块33根据描述文件确定与数据请求相对应的数据备份地址时,该第二处理模块33可以用于执行:根据数据请求获取文件解析工具;获取与描述文件相对应的服务器端字符串信息;利用文件解析工具对服务器端字符串信息进行分析处理,获得与数据请求相对应的内容分发网络CDN地址。
可选地,在第二处理模块33基于数据备份地址将待处理数据备份至内容分发网络CDN上时,该第二处理模块33可以用于执行:根据CDN地址将待处理数据备份至内容分发网络CDN上。
图13所示装置可以执行图3-图5、图10所示实施例的全部或者部分方法,本实施例未详细描述的部分,可参考对图3-图5、图10所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3-图5、图10所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图13所示数据处理装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图14所示,该电子设备可以包括:第二处理器41和第二存储器42。其中,第二存储器42用于存储支持电子设备执行上述图3-图5、图10所示实施例中提供的数据处理方法的程序,第二处理器41被配置为用于执行第二存储器42中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第二处理器41执行时能够实现如下步骤:
获取数据请求以及与数据请求相对应的描述文件;
确定与数据请求相对应的待处理数据;
根据描述文件将待处理数据备份至预设的存储节点上。
可选地,第二处理器41还用于执行前述图3-图5、图10所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括第二通信接口43,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图3-图5、图10所示方法实施例中数据处理方法所涉及的程序。
图15为本发明实施例提供的一种数据的处理装置的结构示意图三;参考附图15所示,本实施例提供了一种数据的处理装置,该数据的处理装置具体可以为客户端,该客户端用于与服务器端通信连接,并且,该处理装置可以执行上述图6-图10所对应的部分的数据的处理方法。具体的,该处理装置可以包括:
第三获取模块51,用于获取数据请求以及与数据请求相对应的描述文件;
第三确定模块52,用于根据描述文件确定与服务器端相对应的数据备份地址;
第三处理模块53,用于根据数据备份地址读取与数据请求相对应的备份数据。
可选地,在第三获取模块51获取与数据请求相对应的描述文件时,该第三获取模块51可以用于执行:根据数据请求获取文件解析工具;确定数据请求中所包括的客户端服务标识;利用文件解析工具对客户端服务标识进行分析处理,获得与数据请求相对应的内容分发网络CDN存储地址;根据CDN存储地址获取与数据请求相对应的描述文件。
可选地,在第三确定模块52根据描述文件确定与服务器端相对应的数据备份地址时,该第三确定模块52可以用于执行:根据数据请求获取文件解析工具;利用文件解析工具对描述文件进行分析处理,获得与服务器端相对应的数据备份地址。
可选地,在第三确定模块52利用文件解析工具对描述文件进行分析处理,获得与服务器端相对应的数据备份地址时,该第三确定模块52可以用于执行:获取与描述文件相对应的客户端字符串信息;利用文件解析工具对客户端字符串信息进行分析处理,生成与服务器端相对应的内容分发网络CDN查询地址。
图15所示装置可以执行图6-图10所示实施例的全部或者部分方法,本实施例未详细描述的部分,可参考对图6-图10所示实施例的相关说明。该技术方案的执行过程和技术效果参见图6-图10所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图15所示数据处理装置的结构可实现为一电子设备,该电子设备可以是手机、平板电脑、服务器等各种设备。如图16所示,该电子设备可以包括:第三处理器61和第三存储器62。其中,第三存储器62用于存储支持电子设备执行上述图6-图10所示实施例中提供的数据处理方法的程序,第三处理器61被配置为用于执行第三存储器62中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被第三处理器61执行时能够实现如下步骤:
获取数据请求以及与数据请求相对应的描述文件;
根据描述文件确定与服务器端相对应的数据备份地址;
根据数据备份地址读取与数据请求相对应的备份数据。
可选地,第三处理器61还用于执行前述图6-图10所示实施例中的全部或部分步骤。
其中,电子设备的结构中还可以包括第三通信接口63,用于电子设备与其他设备或通信网络通信。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图6-图10所示方法实施例中数据处理方法所涉及的程序。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (19)

1.一种数据的处理方法,其特征在于,包括:
获取数据请求;
确定与所述数据请求相对应的客户端参数以及与所述数据请求相对应的服务器端参数;
基于所述客户端参数和所述服务器端参数获取用于描述所述客户端参数与所述服务器端参数之间差异信息的描述文件。
2.根据权利要求1所述的方法,其特征在于,在基于所述客户端参数和所述服务器端参数获取用于描述所述客户端参数与所述服务器端参数之间差异信息的描述文件之前,所述方法还包括:
接收客户端发送的、针对一服务器端进行通信的通信注册请求;
根据所述通信注册请求建立所述客户端与所述服务器端之间的描述文件。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述描述文件发送至内容分发网络CDN上,以使所述客户端通过CDN读取所述描述文件。
4.根据权利要求1-3中任意一项所述的方法,其特征在于,所述方法还包括:
将所述描述文件发送至分布式存储平台,以使所述服务器端通过分布式存储平台读取所述描述文件。
5.一种数据的处理方法,其特征在于,包括:
获取数据请求以及与所述数据请求相对应的描述文件;
确定与所述数据请求相对应的待处理数据;
根据所述描述文件将所述待处理数据备份至预设的存储节点上。
6.根据权利要求5所述的方法,其特征在于,获取与所述数据请求相对应的描述文件,包括:
根据所述数据请求通过分布式存储平台读取所述描述文件。
7.根据权利要求5所述的方法,其特征在于,根据所述描述文件将所述待处理数据备份至预设的存储节点上,包括:
根据所述描述文件确定与所述数据请求相对应的数据备份地址;
基于所述数据备份地址将所述待处理数据备份至内容分发网络CDN上。
8.根据权利要求7所述的方法,其特征在于,根据所述描述文件确定与所述数据请求相对应的数据备份地址,包括:
根据所述数据请求获取文件解析工具;
获取与所述描述文件相对应的服务器端字符串信息;
利用所述文件解析工具对所述服务器端字符串信息进行分析处理,获得与所述数据请求相对应的内容分发网络CDN地址。
9.根据权利要求8所述的方法,其特征在于,基于所述数据备份地址将所述待处理数据备份至内容分发网络CDN上,包括:
根据所述CDN地址将所述待处理数据备份至内容分发网络CDN上。
10.一种数据的处理方法,其特征在于,应用于客户端,所述客户端与服务器端通信连接,所述方法包括:
所述客户端获取数据请求以及与所述数据请求相对应的描述文件;
所述客户端根据所述描述文件确定与所述服务器端相对应的数据备份地址;
所述客户端根据所述数据备份地址读取与所述数据请求相对应的备份数据。
11.根据权利要求10所述的方法,其特征在于,所述客户端获取与所述数据请求相对应的描述文件,包括:
所述客户端根据所述数据请求获取文件解析工具;
确定所述数据请求中所包括的客户端服务标识;
利用所述文件解析工具对所述客户端服务标识进行分析处理,获得与所述数据请求相对应的内容分发网络CDN存储地址;
根据所述CDN存储地址获取与所述数据请求相对应的描述文件。
12.根据权利要求10所述的方法,其特征在于,所述客户端根据所述描述文件确定与所述服务器端相对应的数据备份地址,包括:
所述客户端根据所述数据请求获取文件解析工具;
所述客户端利用所述文件解析工具对所述描述文件进行分析处理,获得与所述服务器端相对应的数据备份地址。
13.根据权利要求12所述的方法,其特征在于,所述客户端利用所述文件解析工具对所述描述文件进行分析处理,获得与所述服务器端相对应的数据备份地址,包括:
所述客户端获取与所述描述文件相对应的客户端字符串信息;
所述客户端利用所述文件解析工具对所述客户端字符串信息进行分析处理,生成与所述服务器端相对应的内容分发网络CDN查询地址。
14.一种数据的处理装置,其特征在于,包括:
第一获取模块,用于获取数据请求;
第一确定模块,用于确定与所述数据请求相对应的客户端参数以及与所述数据请求相对应的服务器端参数;
第一处理模块,用于基于所述客户端参数和所述服务器端参数获取用于描述所述客户端参数与所述服务器端参数之间差异信息的描述文件。
15.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求1至4中任一项所述的数据的处理方法。
16.一种数据的处理装置,其特征在于,包括:
第二获取模块,用于获取数据请求以及与所述数据请求相对应的描述文件;
第二确定模块,用于确定与所述数据请求相对应的待处理数据;
第二处理模块,用于根据所述描述文件将所述待处理数据备份至预设的存储节点上。
17.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求5至9中任一项所述的数据的处理方法。
18.一种数据的处理装置,其特征在于,用于与服务器端通信连接,所述处理装置包括:
第三获取模块,用于获取数据请求以及与所述数据请求相对应的描述文件;
第三确定模块,用于根据所述描述文件确定与所述服务器端相对应的数据备份地址;
第三处理模块,用于根据所述数据备份地址读取与所述数据请求相对应的备份数据。
19.一种电子设备,其特征在于,包括:存储器、处理器;其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行时实现如权利要求10至13中任一项所述的数据的处理方法。
CN201910394251.5A 2019-05-13 2019-05-13 数据的处理方法、装置及设备 Pending CN111930557A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910394251.5A CN111930557A (zh) 2019-05-13 2019-05-13 数据的处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910394251.5A CN111930557A (zh) 2019-05-13 2019-05-13 数据的处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN111930557A true CN111930557A (zh) 2020-11-13

Family

ID=73282590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910394251.5A Pending CN111930557A (zh) 2019-05-13 2019-05-13 数据的处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111930557A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472687A (zh) * 2021-07-15 2021-10-01 北京京东振世信息技术有限公司 一种数据处理方法和装置
CN115134372A (zh) * 2022-06-23 2022-09-30 中国民航信息网络股份有限公司 一种数据处理方法和相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999012098A1 (en) * 1997-08-29 1999-03-11 Hewlett-Packard Company Data backup and recovery systems
CN103237060A (zh) * 2013-04-08 2013-08-07 北京小米科技有限责任公司 一种数据对象获取方法、装置及系统
CN105302675A (zh) * 2015-11-25 2016-02-03 上海爱数信息技术股份有限公司 数据备份的方法和装置
US20160034357A1 (en) * 2014-07-31 2016-02-04 International Business Machines Corporation Managing backup operations from a client system to a primary server and secondary server
CN107506265A (zh) * 2017-08-30 2017-12-22 安徽天达网络科技有限公司 一种基于互联网的差异性远程文件备份与恢复系统
CN108255647A (zh) * 2018-01-18 2018-07-06 湖南麒麟信安科技有限公司 一种samba服务器集群下的高速数据备份方法
CN108337103A (zh) * 2017-01-20 2018-07-27 普天信息技术有限公司 Sip服务器的备份方法、备用恢复方法和系统
CN207833492U (zh) * 2017-12-22 2018-09-07 周川 一种容灾备份系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999012098A1 (en) * 1997-08-29 1999-03-11 Hewlett-Packard Company Data backup and recovery systems
CN103237060A (zh) * 2013-04-08 2013-08-07 北京小米科技有限责任公司 一种数据对象获取方法、装置及系统
US20160034357A1 (en) * 2014-07-31 2016-02-04 International Business Machines Corporation Managing backup operations from a client system to a primary server and secondary server
CN105302675A (zh) * 2015-11-25 2016-02-03 上海爱数信息技术股份有限公司 数据备份的方法和装置
CN108337103A (zh) * 2017-01-20 2018-07-27 普天信息技术有限公司 Sip服务器的备份方法、备用恢复方法和系统
CN107506265A (zh) * 2017-08-30 2017-12-22 安徽天达网络科技有限公司 一种基于互联网的差异性远程文件备份与恢复系统
CN207833492U (zh) * 2017-12-22 2018-09-07 周川 一种容灾备份系统
CN108255647A (zh) * 2018-01-18 2018-07-06 湖南麒麟信安科技有限公司 一种samba服务器集群下的高速数据备份方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨小龙;刘晓洁;李涛;胡晓勤;: "基于差异的文件同步系统的设计和实现", 计算机安全, no. 01, 15 January 2009 (2009-01-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472687A (zh) * 2021-07-15 2021-10-01 北京京东振世信息技术有限公司 一种数据处理方法和装置
CN113472687B (zh) * 2021-07-15 2023-12-05 北京京东振世信息技术有限公司 一种数据处理方法和装置
CN115134372A (zh) * 2022-06-23 2022-09-30 中国民航信息网络股份有限公司 一种数据处理方法和相关装置
CN115134372B (zh) * 2022-06-23 2023-08-29 中国民航信息网络股份有限公司 一种数据处理方法和相关装置

Similar Documents

Publication Publication Date Title
US10776174B2 (en) Managing hosted resources across different virtualization platforms
US20210182251A1 (en) Artifact deployment for application managed service instances
TWI473029B (zh) 可延伸及可程式化之多租戶服務結構
JP2019032903A (ja) エッジ位置でのカスタマイズ可能なイベントトリガ型計算のためのシステム、方法、及びコンピュータ可読記憶媒体
CN106933550B (zh) 全局信息获取、处理及更新方法、装置和系统
US10331695B1 (en) Replication coordination service for data transfers between distributed databases
CN110557284B (zh) 基于客户端网关的数据聚合方法及装置
CN106933548B (zh) 全局信息获取、处理及更新、方法、装置和系统
US10223218B2 (en) Disaster recovery of managed systems
CN109151025B (zh) 基于url的负载均衡方法、装置、计算机存储介质及设备
CN112364110A (zh) 元数据管理方法、装置、设备及计算机存储介质
WO2017016408A1 (zh) 一种基于服务调用的故障处理方法、装置和系统
CN111930557A (zh) 数据的处理方法、装置及设备
CN108900547B (zh) 回源控制方法及装置
CN112487402A (zh) 一种基于erp系统的多租户登录方法、设备及介质
CN113835836A (zh) 动态发布容器服务的系统、方法、计算机设备及介质
CN113542418B (zh) 文件管理方法、装置、电子设备及存储介质
CN110968560B (zh) 日志采集器的配置方法、装置及系统
US11093477B1 (en) Multiple source database system consolidation
CN113114503B (zh) 基于应用交付网络需求的部署方法及装置
CN113256360B (zh) 基于Ukey机柜的发票处理控制方法、装置、设备和存储介质
CN104731660A (zh) 数据分配方法、装置和系统
CN107357557B (zh) 一种信息更新方法及装置
CN111107080B (zh) 一种错误信息推送方法、装置、设备及可读存储介质
US11258860B2 (en) System and method for bot detection and classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination