CN112241335A - 数据处理方法及装置 - Google Patents
数据处理方法及装置 Download PDFInfo
- Publication number
- CN112241335A CN112241335A CN201910641927.6A CN201910641927A CN112241335A CN 112241335 A CN112241335 A CN 112241335A CN 201910641927 A CN201910641927 A CN 201910641927A CN 112241335 A CN112241335 A CN 112241335A
- Authority
- CN
- China
- Prior art keywords
- data
- page
- source station
- target page
- backup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000004044 response Effects 0.000 abstract description 27
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供了一种数据处理方法及装置;方法包括:接收到针对目标页面的页面数据请求;根据所述页面数据请求,确定对应所述目标页面的源站数据获取失败时,获取对应所述目标页面的备份数据;返回所述备份数据。如此,能够在目标页面的源站数据获取失败时,返回正确的响应。
Description
技术领域
本发明涉及互联网技术,尤其涉及一种数据处理方法及装置。
背景技术
在互联网技术中,网络服务备份通常是针对服务器本身,通过服务维护人员周期性地将源站服务器的文件拷贝到备份服务器上,以使在线上正式的服务器出问题时,可以立刻切换到备份服务器上,从而保证网络服务正常运行。然而,在服务器针对某一页面数据请求,获取源站数据出现错误时,没有一套完善的容灾方案。
发明内容
本发明实施例提供一种数据处理方法及装置,能够在目标页面的源站数据获取失败时,返回正确的响应。
本发明实施例的技术方案是这样实现的:
本发明实施例提供一种数据处理方法,应用于源站服务器,包括:
接收到针对目标页面的页面数据请求;
根据所述页面数据请求,确定对应所述目标页面的源站数据获取失败时,获取对应所述目标页面的备份数据;
返回所述备份数据。
本发明实施例提供一种数据处理方法,应用于路由器,包括:
发送针对目标页面的页面数据请求;
接收到返回的针对所述页面数据请求的错误信息,所述错误信息表征对应所述目标页面的源站数据获取失败;
获取对应所述目标页面的备份数据;
返回所述备份数据。
本发明实施例提供一种数据处理方法,包括:
接收到针对目标页面的页面操作;
响应于所述页面操作,发送针对目标页面的页面数据请求;
接收返回的针对所述目标页面的备份数据,所述备份数据为根据所述页面数据请求,确定对应所述目标页面的源站数据获取失败时,获取得到。
本发明实施例提供一种数据处理装置,位于源站服务器,包括:
请求接收单元,用于接收到针对目标页面的页面数据请求;
第一数据获取单元,用于根据所述页面数据请求,确定对应所述目标页面的源站数据获取失败时,获取对应所述目标页面的备份数据;
第一数据发送单元,用于返回所述备份数据。
上述方案中,第一数据获取单元,还用于根据所述页面数据请求,获取对应所述目标页面的缓存数据;
确定不存在对应所述目标页面的缓存数据时,获取对应所述目标页面的源站数据;
确定源站数据获取失败时,获取对应所述目标页面的备份数据。
上述方案中,所述装置还包括:
备份单元,用于确定对应所述目标页面的源站数据获取成功时,对获取的所述源站数据进行备份。
本发明实施例提供一种数据处理装置,位于路由器,所述装置包括:
第一请求发送单元,用于发送针对目标页面的页面数据请求;
信息接收单元,用于接收到返回的针对所述页面数据请求的错误信息,所述错误信息表征对应所述目标页面的源站数据获取失败;
第二数据获取单元,用于获取对应所述目标页面的备份数据;
第二数据发送单元,用于返回所述备份数据。
上述方案中,第二数据获取单元,还用于接收返回的对应所述目标页面的备份数据;或者,
根据所述页面数据请求,在备份数据库中获取对应所述目标页面的备份数据。
上述方案中,所述装置还包括:
路由单元,用于根据所述页面数据请求,读取对应的路由表;确定路由表读取失败时,获取所述路由表的备份数据;基于所述路由表的备份数据,对所述页面数据请求进行路由。
本发明实施例提供一种数据处理装置,所述装置包括:
操作接收单元,用于接收到针对目标页面的页面操作;
第二请求发送单元,用于响应于所述页面操作,发送针对目标页面的页面数据请求;
数据接收单元,用于接收返回的针对所述目标页面的备份数据,所述备份数据为根据所述页面数据请求,确定对应所述目标页面的源站数据获取失败时,获取得到。
本发明实施例还提供一种源站服务器,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的数据处理方法。
本发明实施例还提供一种路由器,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的数据处理方法。
本发明实施例具有以下有益效果:
通过确定对应目标页面的源站数据获取失败时,获取对应目标页面的备份数据,返回所述备份数据;如此,实现了在对应目标页面的源站数据获取失败时,能够直接将备份数据返回给用户,增强网络服务的稳定性,从而避免用户感知到服务器出错的信息,提升用户的体验感。
附图说明
图1是相关技术中处理页面数据请求的流程示意图;
图2是本发明实施例提供的数据处理系统的架构示意图;
图3是本发明实施例提供的数据处理系统的架构示意图;
图4是本发明实施例提供的数据处理装置的组成结构示意图;
图5是本发明实施例提供的数据处理方法的流程示意图;
图6是本发明实施例提供的数据处理方法的流程示意图;
图7是本发明实施例提供的数据处理方法的流程示意图;
图8是本发明实施例提供的数据处理方法的流程示意图;
图9是本发明实施例提供的数据处理方法的流程示意图;
图10是本发明实施例提供的数据处理装置的组成结构示意图;
图11是本发明实施例提供的数据处理装置的组成结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二等”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二等”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
1)源站数据,用于表示服务器真实地处理请求所得到的结果,是缓存数据最初的来源数据。
2)路由表:存储请求路径与请求处理服务之间的对应关系的一个表格;
3)备份数据:存储载体中预先存储好的数据,用于响应用户的页面数据请求;
4)存储载体:用于存储缓存数据或者备份数据的容器,例如redis数据库等;
5)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
图1为相关技术中处理页面数据请求的流程示意图,参见图1,相关技术通过redis数据库作为存储载体,以中间件的方式对网络服务的响应进行缓存,当服务器接收到页面数据请求时,优先获取缓存数据,若获取缓存数据成功,则直接返回缓存数据。相关技术中的部分技术方案在缓存页面的同时多存储一份数据用作备份,正常的缓存数据保留的时间较短,而备份数据在存储载体中保存的时间较长,当缓存数据获取失败时,返回备份数据。
由此可知,相关技术中的方案是在服务器获取源站数据之前,就已经返回备份数据,也就是说,相关技术中“备份”这个概念是针对“缓存”的,而不是针对“源站数据”的。这样的方案可以实现缓存数据出问题时,服务器能返回正常的响应,但是当服务器在获取源站数据的过程中出现错误时,却没有一套完善的容灾方案,因此,在相关技术中,服务器在获取源站数据失败时,是直接返回错误码,而不是返回存储载体中保存的正确响应。
基于此,提出本发明实施例的数据处理方法,通过确定对应目标页面的源站数据获取失败时,获取对应目标页面的备份数据,返回所述备份数据;如此,实现了在对应目标页面的源站数据获取失败时,能够直接将备份数据返回给用户,增强网络服务的稳定性,从而避免用户感知到服务器出错的信息,提升用户的体验感。
首先对本发明实施例的数据处理系统进行说明,图2为本发明实施例提供的数据处理系统的架构示意图,参见图2,为实现支撑一个示例性应用,数据处理系统100包括终端(包括终端400-1和终端400-2)及服务器200,终端通过网络300连接源站服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。
终端(终端400-1和/或终端400-2),用于接收到针对目标页面的页面操作;响应于页面操作,发送针对目标页面的页面数据请求给源站服务器300;
源站服务器200,用于接收到针对目标页面的页面数据请求;根据页面数据请求,确定对应目标页面的源站数据获取失败时,获取对应目标页面的备份数据;返回备份数据给终端;
终端(终端400-1和/或终端400-2),还用于接收源站服务器300返回的备份数据。
图3为本发明实施例提供的数据处理系统的架构示意图,参见图3,为实现支撑一个示例性应用,数据处理系统200包括终端(包括终端400-1)、源站服务器(包括源站服务器200-1和源站服务器200-2)及路由器500,终端与源站服务器分别通过网络连接路由器500,网络可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。
终端(终端400-1),用于接收到针对目标页面的页面操作;响应于页面操作,发送针对目标页面的页面数据请求给路由器500;
路由器500,用于将接收到的针对目标页面的页面数据请求发送给对应的源站服务器200;
源站服务器(源站服务器200-1和/或源站服务器200-2),用于接收路由器500发送的页面数据请求;根据页面数据请求,确定对应目标页面的源站数据获取失败时,返回错误信息给路由器500;
路由器500,还用于接收到源站服务器返回的针对页面数据请求的错误信息;获取对应目标页面的备份数据;返回备份数据给终端;
终端(终端400-1),还用于接收源站路由器500返回的备份数据。
接下来对本发明实施例提供的数据处理装置进行说明。本发明实施例的数据处理装置,可以以各种形式来实施,如:由源站服务器单独实施,或者由路由器实施,或者由路由器、服务器协同实施。本发明实施例提供的数据处理装置,可以实施为硬件或者软硬件结合的方式,以本发明实施例的数据处理装置为例,下面说明本发明实施例提供的装置的各种示例性实施。
下面对本发明实施例的数据处理装置的硬件结构做详细说明,图4为本发明实施例提供的数据处理装置的组成结构示意图,可以理解,图4仅仅示出了数据处理装置的示例性结构而非全部结构,根据需要可以实施图4示出的部分结构或全部结构。
本发明实施例提供的数据处理装置包括:至少一个处理器401、存储器402、用户接口403和至少一个网络接口404。数据处理装置40中的各个组件通过总线系统405耦合在一起。可以理解,总线系统405用于实现这些组件之间的连接通信。总线系统405除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图4中将各种总线都标为总线系统405。
其中,用户接口403可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解,存储器402可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、闪存(Flash Memory)等。易失性存储器可以是随机存取存储器(RAM,Random Access Memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,StaticRandom Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static RandomAccess Memory)。本发明实施例描述的存储器402旨在包括这些和任意其它适合类型的存储器。
本发明实施例中的存储器402能够存储数据以支持源站服务器的操作。这些数据的示例包括:用于在源站服务器上操作的任何计算机程序,如操作系统和应用程序。其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
作为本发明实施例提供的数据处理装置采用软硬件结合实施的示例,本发明实施例所提供的数据处理装置可以直接体现为由处理器401执行的软件模块组合,软件模块可以位于存储介质中,存储介质位于存储器402,处理器401读取存储器402中软件模块包括的可执行指令,结合必要的硬件(例如,包括处理器401以及连接到总线405的其他组件)完成本发明实施例提供的数据处理方法。
作为示例,处理器401可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的数据处理装置采用硬件实施的示例,本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器401来执行完成,例如,被一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的数据处理方法。
本发明实施例中的存储器402用于存储各种类型的数据以支持数据处理装置40的操作。这些数据的示例包括:用于在数据处理装置40上操作的任何可执行指令,如可执行指令,实现本发明实施例的数据处理方法的程序可以包含在可执行指令中。
将结合前述的实现本发明实施例的装置的示例性应用和实施,说明实现本发明实施例的方法。
图5为本发明实施例提供的数据处理方法的流程示意图,应用于源站服务器,参见图5,本发明实施例提供的数据处理方法包括:
步骤501:源站服务器接收到针对目标页面的页面数据请求。
在实际实施时,终端上设置有客户端,如某视频播放的web客户端,用户通过客户端执行针对目标页面的页面操作,如通过用户的点击操作,以触发客户端发送针对目标页面的页面数据请求给源站服务器,源站服务器接收客户端发送的页面服务请求。
步骤502:根据页面数据请求,确定对应目标页面的源站数据获取失败时,获取对应目标页面的备份数据。
在实际实施时,页面数据请求携带有页面标识,源站服务器通过解析页面数据请求能够获取对应的页面标识,根据页面标识,获取对应目标页面的源站数据。在获取源站数据的过程中,出现逻辑错误时,源站服务器根据页面标识,在存储载体中获取对应目标页面的备份数据。
在一些实施例中,存储载体可以是位于源站服务器中的,源站服务器直接根据页面标识,在存储载体中查询得到对应目标页面的备份数据;在另一些实施中,存储载体也可以位于其他电子设备中,源站服务器携带有页面标识的页面数据请求发送给存储载体所位于的电子设备,电子设备在存储载体中查询得到对应目标页面的备份数据,将获取的备份数据发送给源站服务器。在实际实施时,存储载体可以是redis数据库。
在一些实施例中,源站服务器可以通过以下方式确定对应目标页面的源站数据获取失败:根据页面数据请求,确定对应所述目标页面的源站数据处于版本更迭状态时,确定对应目标页面的源站数据获取失败。
这里,当目标页面的源站数据正处于版本更迭状态时,源站服务器是无法获取到目标页面的源站数据的,因此,可以根据目标页面的源站数据所处的版本状态,判断目标页面的源站数据是否获取失败。
本发明实施例通过在源站数据处于更迭状态时,源站服务器直接获取备份数据,例如,腾讯视频的播放页面具有版本迭代速度快的特点,通过将每一个播放页面存储至redis数据库中作为备份数据,能够在播放页面处在版本迭代状态时,源站服务器直接获取备份数据,如此,能够减少源站数据在版本迭代过程中,导致目标页面显示错误的问题。
在实际实施时,源站服务器根据页面数据请求,获取对应目标页面的源站数据的版本状态;判断获取的版本状态是否为版本更迭状态,若是,则表示对应目标页面的源站数据获取失败,否则,表示源站服务器能够成功获取对应目标页面的源站数据。
在一些实施例中,源站服务器根据页面数据请求,获取对应目标页面的缓存数据;确定不存在对应目标页面的缓存数据时,获取对应目标页面的源站数据;确定源站数据获取失败时,获取对应目标页面的备份数据。
在实际实施中,源站服务器在获取目标页面的源站数据之前,会先判断是否优先使用缓存数据,其中,是否优先使用缓存数据是由开发者配置的。若配置为优先使用缓存,那么,源站服务器会根据页面数据请求中携带的页面标识,在存储载体中查询对应目标页面的缓存数据。当查询不到对应目标页面的缓存数据时,表示不存在对应目标页面的缓存数据,则获取对应目标页面的源站数据。
本发明实施例通过源站服务器在获取目标页面的源站数据之前,优先使用缓存数据,减轻源站服务器的负载。例如,某视频的播放页面采用直出响应方式,即通过源站服务器进行渲染并输出,用户访问量巨大,会增加源站服务器的负载。将每一个播放页面存储至redis中,在接收到页面数据请求时,若在缓存有限期内,优先使用缓存数据,实现减轻源站服务器的负载。
在一些实施例中,源站服务器在确定存储载体中存在对应目标页面的缓存数据后,还需要进一步判断对应目标页面的缓存数据是否处于有效期范围内,若是,则返回缓存数据,否则,获取对应目标页面的源站数据。
在一些实施例中,缓存数据与备份数据为同一份数据,持久化的存储在存储载体中。由于存储载体针对同一页面数据请求,只需要存储一份数据,就能够同时应用于服务器的缓存功能和备份功能;如此,能够避免数据冗余存储的问题。
在一些实施例中,源站服务器确定对应目标页面的源站数据获取成功时,对获取的源站数据进行备份。
在实际实施时,若源站服务器能够获取到对应目标页面的源站数据,则将获取到的源站数据返回给终端,然后将获取到的源站数据存储至备份数据的存储载体中,以实现备份数据的更新,以保证备份数据库中的备份数据的新鲜度。
步骤503:返回所述备份数据。
这里,源站服务器将备份数据返回给终端,以通过终端上的客户端显示目标页面。
本发明实施例通过确定对应目标页面的源站数据获取失败时,获取对应目标页面的备份数据,返回所述备份数据;如此,实现了在对应目标页面的源站数据获取失败时,能够直接将备份数据返回给用户,增强网络服务的稳定性,从而避免用户感知到服务器出错的信息,提升用户的体验感。
图6为本发明实施例提供的数据处理方法的流程示意图,应用于路由器,参见图6,本发明实施例提供的数据处理方法包括:
步骤601:路由器发送针对目标页面的页面数据请求。
在实际实施时,终端上设置有客户端,如某视频播放的web客户端,用户通过客户端执行针对目标页面的页面操作,客户端响应于页面操作,发送针对目标页面的页面数据请求给路由器。路由器接收客户端发送的页面数据请求,根据页面数据请求,确定对应的源站服务器,将页面数据请求发送至对应的源站服务器。
步骤602:接收到返回的针对页面数据请求的错误信息,错误信息表征对应目标页面的源站数据获取失败。
在实际实施时,源站服务器接收到路由器发送的针对目标页面数据请求,其中,页面数据请求携带有页面标识,源站服务器通过解析页面数据请求能够获取对应的页面标识,根据页面标识,获取对应目标页面的源站数据。在确定对应目标页面的源站数据获取失败时,源站服务器发送针对页面数据请求的错误信息给路由器。路由器根据接收源站服务器发送的错误信息,能够确定对应目标页面的源站数据获取失败。
在一些实施例中,源站服务器可以通过以下方式确定对应目标页面的源站数据获取失败:根据页面数据请求,确定对应目标页面的源站数据处于版本更迭状态时,对应目标页面的源站数据获取失败。
这里,当目标页面的源站数据正处于版本更迭状态时,源站服务器是无法获取到目标页面的源站数据的,因此,可以根据目标页面的源站数据所处的版本状态,判断目标页面的源站数据是否获取失败。
在实际实施时,源站服务器根据页面数据请求携带的页面标识,获取对应目标页面的源站数据的版本状态;判断获取的版本状态是否为更迭状态,若是,则表示对应目标页面的源站数据获取失败,返回错误信息给路由器,否则,表示源站服务器能够成功获取对应目标页面的源站数据,将获取的源站数据返回给路由器。
在一些实施例中,源站服务器根据页面数据请求,获取对应目标页面的缓存数据;确定不存在对应目标页面的缓存数据时,获取对应目标页面的源站数据;确定源站数据获取失败时,发送错误信息给路由器。
在实际实施中,源站服务器在获取目标页面的源站数据之前,会先判断是否优先使用缓存数据,其中,是否优先使用缓存数据是由开发者配置的。若配置为优先使用缓存,那么,源站服务器会根据页面数据请求中携带的页面标识,在存储载体中查询对应目标页面的缓存数据。当查询不到对应目标页面的缓存数据时,表示不存在对应目标页面的缓存数据,则获取对应目标页面的源站数据。
本发明实施例通过源站服务器在获取目标页面的源站数据之前,优先使用缓存数据,能够减轻源站服务器的负载。
在一些实施例中,源站服务器在确定存储载体中存在对应目标页面的缓存数据后,还需要进一步判断对应目标页面的缓存数据是否处于有效期范围内,若是,则返回缓存数据,否则,获取对应目标页面的源站数据。
在一些实施例中,缓存数据与备份数据可以为同一份数据,持久化的存储在存储载体中。由于存储载体针对同一页面数据请求,只需要存储一份数据,就能够同时应用于服务器的缓存功能和备份功能;如此,能够避免数据冗余存储的问题。
步骤603:获取对应目标页面的备份数据。
在一些实施例中,路由器可以通过以下方式获取对应目标页面的备份数据:接收返回的对应目标页面的备份数据;或者,根据所述页面数据请求,在备份数据库中获取对应所述目标页面的备份数据。
在一些实施例中,源站服务器在获取源站数据的过程中,出现逻辑错误时,从自身的备份数据库中,查询对应目标页面的备份数据,并将查询得到的备份数据发送给路由器,路由器接收源站服务器返回的对应目标页面的备份数据。
在另一些实施例中,路由器可以对各页面数据请求对应的目标页面进行全页面的备份,存储在路由器自身的数据库中。当路由接收到服务器发送的错误信息时,根据页面数据请求中携带的页面标识,在备份数据库中查找对应目标页面的备份数据。
步骤604:返回备份数据。
在实际实施时,路由器将备份数据返回给终端,以通过终端上的客户端显示目标页面。
在一些实施例中,路由器还可以根据页面数据请求,读取对应的路由表;确定路由表读取失败时,获取路由表的备份数据;基于路由表的备份数据,对页面数据请求进行路由。
在实际实施时,路由器周期性地从数据库读取一个不定期更新的路由表,以及监控各个页面数据请求的响应状态。路由器每次成功读取路由表后,将成功读取的路由表存储在存储载体中,作为备份数据。当路由器读取路由表失败时,能够从存储载体中获取路由表的备份数据,以根据路由表的备份数据对页面数据请求进行路由。
例如,视频通用页面路由器,负责视频前端组开发的大部分直出页面的路由解析与内容响应。大部分的页面数据请求都由该页面路由器来解析、响应,因此,该页面路由器需要周期性地从数据库层读取一个不定期更新的路由表,以及监控各个页面数据请求的响应状态。采用本发明实施例提供的数据处理方法,页面路由器每次成功读取路由表后会存储一份备份数据,用于读取路由表出错时,读取路由表的备份数据;另一方面,页面路由器可以对各个页面数据请求的响应进行全页面的备份,在获取源站数据失败时,依然能够保持正常的输出响应,极大程度提高页面路由器的稳定性。
下面以客户端为视频播放的web客户端为例,图7为本发明实施例提供的数据处理方法的流程示意图,参见图7,本发明实施例提供的数据处理方法包括:
步骤701:web客户端接收到用户针对目标播放页面的页面操作。
这里,用户点击web客户端显示页面上的视频播放按钮,web客户端接收用户的点击操作。
步骤702:web客户端响应于页面操作,发送针对目标播放页面的页面数据请求给源站服务器。
这里,通过用户的点击操作,触发web客户端发送针对目标播放页面的页面数据请求给源站服务器。
步骤703:源站服务器接收到针对目标播放页面的页面数据请求。
步骤704:源站服务器解析页面数据请求,得到目标页面的页面标识。
步骤705:源站服务器基于页面标识,获取对应目标页面的缓存数据。
步骤706:源站服务器确定不存在对应目标页面的缓存数据时,基于页面标识,获取目标页面的源站数据所处的版本状态。
这里,每一个播放页面都会存储到redis数据库中,若目标页面的缓存数据在缓存有效期内,用户能够直接根据页面标识,获取到对应目标页面的缓存数据,并将获取到的缓存数据直接返回给web客户端。源站数据所处的版本状态包括:处于版本更迭状态、未处于版本更迭状态。
步骤707:源站服务器确定对应目标播放页面的源站数据处于版本更迭状态时,确定对应目标页面的源站数据获取失败。
这里,视频的播放页面版本迭代速度快,当目标播放页面处于版本更迭状态时,源站服务器无法获取到源站数据。若源站服务器确定对应目标页面的源站数据不处于版本更迭状态,则可以直接获取源站数据,将对应目标播放页面的源站数据返回给web客户端。
步骤708:源站服务器从备份数据库中获取目标播放页面的备份数据。
这里,备份数据库中存储有针对各页面数据请求的全部备份数据,源站服务器可以根据页面数据请求携带的页面标识,在数据库中查询到对应目标播放页面的备份数据。
步骤709:源站服务器将获取到的备份数据返回给web客户端。
步骤710:web客户端基于备份数据,显示目标播放页面。
这里,web客户端根据备份数据,显示目标播放页面,以使用户能够正常使用目标播放页面的服务。
下面以客户端为视频播放的web客户端为例,图8为本发明实施例提供的数据处理方法的流程示意图,参见图8,本发明实施例提供的数据处理方法包括:
步骤801:web客户端接收到用户针对目标播放页面的页面操作。
这里,用户点击web客户端显示页面上的视频播放按钮,web客户端接收用户针对目标播放页面的点击操作。
步骤802:web客户端响应于页面操作,发送针对目标播放页面的页面数据请求给页面路由器。
这里,通过用户的点击操作,触发web客户端发送针对目标播放页面的页面数据请求给页面路由器。
步骤803:页面路由器解析页面数据请求,得到页面标识。
步骤804:页面路由器根据页面标识,读取对应的路由表。
步骤805:页面路由器确定路由表读取失败时,获取路由表的备份数据。
这里,页面路由器每次成功读取路由表,存储读取到的路由表作为备份数据,在确定路由表读取失败时,读取之前存储的备份数据。
步骤806:基于路由表的备份数据,将页面数据请求发送给对应的源站服务器。
这里,路由表中存储有页面数据请求与源站服务器的对应关系,根据对应关系,能够查询到对应页面数据请求的源站服务器,以将页面数据请求发送给对应的源站服务器。
步骤807:源站服务器接收页面数据请求,根据页面数据请求,获取对应目标播放页面的源站数据。
这里,源站服务器针对页面数据请求,进行真实的处理,得到对应目标播放页面的源站数据。
步骤808:确定对应目标播放页面的源站数据获取失败时,返回针对页面数据请求的错误代码给页面路由器。
步骤809:页面路由器接收到源站服务器发送的错误代码,从备份数据库中获取对应目标播放页面的备份数据。
这里,页面路由器能够基于错误代码中携带的标识信息,从备份数据库中查询到对应目标播放页面的备份数据。
步骤810:页面路由器将获取到的备份数据返回给web客户端。
步骤811:web客户端根据备份数据,显示目标播放页面。
这里,web客户端根据备份数据,显示目标播放页面,以使用户能够正常使用目标播放页面的服务。
继续对本发明实施例提供的数据处理方法进行说明。图9是本发明实施例提供的一种数据处理方法,参见图9,在实际实施时,缓存数据与备份数据是同一份数据,持久化保存在存储载体中,本发明实施例提供的数据处理方法可包括如下操作:
源站服务器接收到页面数据请求,首先,由开发者配置的条件来判断是否直接请求,若是,则服务器直接获取目标页面的源站数据,即源站服务器真正处理请求;若否,则获取缓存数据。
然后,源站服务器判断使用缓存数据是否成功,若成功,则返回缓存数据给终端;否则,源站服务器获取源站数据。
接着,源站服务器判断获取源站数据是否失败,若失败,则进一步判断获取备份数据是否成功,获取备份数据成功,则返回备份数据,否则抛出错误;若未失败,则返回源站数据,然后更新缓存数据和备份数据。
由于源站服务器在真正处理请求的过程中出现错误,源站服务器会利用备份数据立即响应,避免源站服务器出现崩溃的现象。因此,只有在源站服务器本身和存储载体两者同时出现问题的情况下才会导致服务错误,相比之下大大降低了故障的概率,从而提升服务的稳定性。
并且,本发明实施例能够针对不同性质的网络服务,采用不同的方案,既可以使用缓存与备份双逻辑并存的响应保障,也可以单独使用备份逻辑的响应保障,能够支持配置化形式的定制网络服务的响应流程。
例如,针对视频的播放页面,由于采用服务端直出响应方式,具有用户访问量巨大,版本迭代速度快等特点。因此,既需要一套缓存机制来降低服务器的负载情况,又需要一套备份机制来保障服务器在版本迭代过程中尽可能少地出现问题。应用本发明实施例提供的数据处理方法,将每一个播放页的页面都存储到redis数据库中,在缓存有效期内用户会直接访问到缓存数据,避免过多的请求增加服务器的负载;在播放页面版本迭代出现错误时,服务器会直接返回备份数据,用户侧依然可以正常使用播放页面的服务。
例如,视频通用页面路由器,负责视频前端组开发的大部分直出页面的路由解析与内容响应。大部分的页面数据请求都由该页面路由器来解析、响应,因此,该页面路由器需要周期性地从数据库层读取一个不定期更新的路由表,以及监控针对各个页面数据请求的响应状态。应用本发明实施例提供数据处理方法,一方面,页面路由器每次成功读取路由表后会存储一份备份数据,用于保障未来读取路由表出错时不会导致服务器崩溃;另一方面,页面路由器可以对各个页面数据请求的响应进行全页面的备份,在获取源站数据失败时,依然能够保持正常的输出响应,极大程度提高页面路由器的稳定性。
例如,视频通用网关接口(CGI,Common Gateway Interface)路由器,负责视频前端组开发的大部分CGI的路由解析与内容响应,与页面路由器一样,CGI路由器也需要周期性地读取路由表和监控各个CGI的响应状态。因此,应用本发明实施例提供的数据处理方法,也能够提高服务的稳定性。
接下来对本发明实施例提供的数据处理装置进行说明,在一些实施例中,数据处理装置可采用软件模块的方式实现,图10为本发明实施例提供的数据处理装置的组成结构示意图,位于源站服务器,参见图10,数据处理装置包括:
请求接收单元101,用于接收到针对目标页面的页面数据请求;
第一数据获取单元102,用于根据页面数据请求,确定对应目标页面的源站数据获取失败时,获取对应目标页面的备份数据;
第一数据发送单元103,用于返回备份数据。
图11为本发明实施例提供的数据处理装置的组成结构示意图,位于路由器,参见图11,数据处理装置包括:
第一请求发送单元111,用于发送针对目标页面的页面数据请求;
信息接收单元112,用于接收到返回的针对页面数据请求的错误信息,所述错误信息表征对应目标页面的源站数据获取失败;
第二数据获取单元113,用于获取对应目标页面的备份数据;
第二数据发送单元114,用于返回备份数据。
本发明实施例还提供一种源站服务器,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的数据处理方法。
本发明实施例还提供一种路由器,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的数据处理方法。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本发明的保护范围之内。
Claims (10)
1.一种数据处理方法,其特征在于,应用于源站服务器,所述方法包括:
接收到针对目标页面的页面数据请求;
根据所述页面数据请求,确定对应所述目标页面的源站数据获取失败时,获取对应所述目标页面的备份数据;
返回所述备份数据。
2.如权利要求1所述的方法,其特征在于,所述根据所述页面数据请求,确定对应所述目标页面的源站数据获取失败,包括:
根据所述页面数据请求,确定对应所述目标页面的源站数据处于版本更迭状态时,确定对应所述目标页面的源站数据获取失败。
3.如权利要求1所述的方法,其特征在于,所述根据所述页面数据请求,确定对应所述目标页面的源站数据获取失败时,获取对应所述目标页面的备份数据,包括:
根据所述页面数据请求,获取对应所述目标页面的缓存数据;
确定不存在对应所述目标页面的缓存数据时,获取对应所述目标页面的源站数据;
确定源站数据获取失败时,获取对应所述目标页面的备份数据。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
确定对应所述目标页面的源站数据获取成功时,对获取的所述源站数据进行备份。
5.一种数据处理方法,其特征在于,应用于路由器,所述方法包括:
发送针对目标页面的页面数据请求;
接收到返回的针对所述页面数据请求的错误信息,所述错误信息表征对应所述目标页面的源站数据获取失败;
获取对应所述目标页面的备份数据;
返回所述备份数据。
6.如权利要求5所述的方法,其特征在于,所述获取对应目标页面的备份数据,包括:
接收返回的对应所述目标页面的备份数据;或者,
根据所述页面数据请求,在备份数据库中获取对应所述目标页面的备份数据。
7.如权利要求5所述的方法,其特征在于,所述方法还包括:
根据所述页面数据请求,读取对应的路由表;
确定路由表读取失败时,获取所述路由表的备份数据;
基于所述路由表的备份数据,对所述页面数据请求进行路由。
8.一种数据处理装置,其特征在于,位于源站服务器,所述装置包括:
请求接收单元,用于接收到针对目标页面的页面数据请求;
第一数据获取单元,用于根据所述页面数据请求,确定对应所述目标页面的源站数据获取失败时,获取对应所述目标页面的备份数据;
第一数据发送单元,用于返回所述备份数据。
9.如权利要求8所述的装置,其特征在于,所述第一数据获取单元,还用于根据所述页面数据请求,确定对应所述目标页面的源站数据处于版本更迭状态时,确定对应所述目标页面的源站数据获取失败。
10.一种数据处理装置,其特征在于,位于路由器,所述装置包括:
第一请求发送单元,用于发送针对目标页面的页面数据请求;
信息接收单元,用于接收到返回的针对所述页面数据请求的错误信息,所述错误信息表征对应所述目标页面的源站数据获取失败;
第二数据获取单元,用于获取对应所述目标页面的备份数据;
第二数据发送单元,用于返回所述备份数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910641927.6A CN112241335A (zh) | 2019-07-16 | 2019-07-16 | 数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910641927.6A CN112241335A (zh) | 2019-07-16 | 2019-07-16 | 数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112241335A true CN112241335A (zh) | 2021-01-19 |
Family
ID=74166946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910641927.6A Pending CN112241335A (zh) | 2019-07-16 | 2019-07-16 | 数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112241335A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113010560A (zh) * | 2021-03-30 | 2021-06-22 | 建信金融科技有限责任公司 | Redis缓存刷新方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130013874A1 (en) * | 2011-07-08 | 2013-01-10 | Goetz Graefe | Data store page recovery |
CN106155839A (zh) * | 2015-04-28 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 一种用于备份数据的方法与设备 |
CN106357539A (zh) * | 2015-07-17 | 2017-01-25 | 阿里巴巴集团控股有限公司 | 一种数据获取方法和设备 |
CN107784011A (zh) * | 2016-08-30 | 2018-03-09 | 广州市动景计算机科技有限公司 | 网页访问方法、客户端、网页服务器及可编程设备 |
CN108153663A (zh) * | 2016-12-02 | 2018-06-12 | 阿里巴巴集团控股有限公司 | 页面数据处理方法及装置 |
WO2018137149A1 (zh) * | 2017-01-24 | 2018-08-02 | 华为技术有限公司 | 一种内容请求方法及代理设备 |
CN108696562A (zh) * | 2017-04-12 | 2018-10-23 | 贵州白山云科技有限公司 | 一种获取网站资源的方法及装置 |
-
2019
- 2019-07-16 CN CN201910641927.6A patent/CN112241335A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130013874A1 (en) * | 2011-07-08 | 2013-01-10 | Goetz Graefe | Data store page recovery |
CN106155839A (zh) * | 2015-04-28 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 一种用于备份数据的方法与设备 |
CN106357539A (zh) * | 2015-07-17 | 2017-01-25 | 阿里巴巴集团控股有限公司 | 一种数据获取方法和设备 |
CN107784011A (zh) * | 2016-08-30 | 2018-03-09 | 广州市动景计算机科技有限公司 | 网页访问方法、客户端、网页服务器及可编程设备 |
CN108153663A (zh) * | 2016-12-02 | 2018-06-12 | 阿里巴巴集团控股有限公司 | 页面数据处理方法及装置 |
WO2018137149A1 (zh) * | 2017-01-24 | 2018-08-02 | 华为技术有限公司 | 一种内容请求方法及代理设备 |
CN108696562A (zh) * | 2017-04-12 | 2018-10-23 | 贵州白山云科技有限公司 | 一种获取网站资源的方法及装置 |
Non-Patent Citations (2)
Title |
---|
陈祥: "浏览器缓存看这一篇就够了", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/60950750> * |
马晨晖;: "如何提高移动4G动态内容的响应速度", 通信企业管理, no. 01, 5 January 2016 (2016-01-05) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113010560A (zh) * | 2021-03-30 | 2021-06-22 | 建信金融科技有限责任公司 | Redis缓存刷新方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8452925B2 (en) | System, method and computer program product for automatically updating content in a cache | |
US8996471B2 (en) | Method and apparatus for providing help content corresponding to the occurrence of an event within a computer | |
US6892231B2 (en) | Method and apparatus for verifying the contents of a global configuration file | |
US8181071B2 (en) | Automatically managing system downtime in a computer network | |
EP2089813B1 (en) | Diagnostics and error reporting for common tagging issues | |
US20040107387A1 (en) | Method and system for generically reporting events occurring within a computer system | |
US20060294223A1 (en) | Pre-fetching and DNS resolution of hyperlinked content | |
US20080147875A1 (en) | System, method and program for minimizing amount of data transfer across a network | |
US7945849B2 (en) | Identifying appropriate client-side script references | |
US20080177859A1 (en) | System and method for displaying dynamic page content in a page-caching browser | |
US8849981B2 (en) | Response time benchmarking | |
US8060891B2 (en) | Management of external hardware appliances in a distributed operating system | |
CN111046310B (zh) | 页面处理方法、装置、服务器及计算机可读存储介质 | |
CN102929985A (zh) | 一种收藏网页展示的方法和系统 | |
CN113382282B (zh) | 一种页面资源访问方法、装置、电子设备和存储介质 | |
CN102937981A (zh) | 网页呈现系统和方法 | |
US7376650B1 (en) | Method and system for redirecting a request using redirection patterns | |
US7171651B1 (en) | Method and system for remotely controlling the reporting of events occurring within a computer system | |
CN112241335A (zh) | 数据处理方法及装置 | |
US20020073246A1 (en) | Code server | |
US10180914B2 (en) | Dynamic domain name service caching | |
US20230239369A1 (en) | Resource acquisition method, webvpn proxy server, system, and server | |
US20120310912A1 (en) | Crawl freshness in disaster data center | |
CN110430083B (zh) | 一种代理转发请求的定位处理方法及服务器 | |
US9967308B2 (en) | System and method for fault management in a service-oriented architecture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |