CN110737856A - 一种页面获取方法、装置及系统 - Google Patents

Abstract

本申请实施例公开了一种页面获取方法、装置及系统。其中方法包括：发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；上传所述目标静态页面至所述静态网页服务器。通过本申请在多数情况下都无需实时读取数据库来获得页面数据，因此相比现有技术，提高了服务器性能和页面获取速度。

Description

一种页面获取方法、装置及系统

技术领域

本申请涉及页面获取领域，特别是涉及页面获取方法、装置及系统。

背景技术

当前网页内容管理领域的各种CMS服务器，获取页面内容通常有两种方式：

1)首先，在CDN、VARNISH缓存服务器中进行页面获取，当CDN、VARNISH缓存服务器中页面缓存没有命中时，回源应用直接读取数据库获得页面内容，此种方式对CMS服务器压力非常大，难以支持大并发量的页面访问，网页浏览速度慢；

2)首先，在CDN、VARNISH缓存服务器中进行页面获取,当CDN、VARNISH缓存服务器中页面缓存没有命中时，回源应用时首先读取页面更新标志，如果有更新读取数据库获得页面内容，如果无更新读取静态页文件服务器。相比第一种方式，能够提高吞吐量和网页浏览速度，但是当页面发生频繁更新时，依然存在服务器压力较大，响应速度存在噪点等情况。

因此目前急需一种可以减少CMS服务器压力，提高页面获取速度的方法。

发明内容

本申请提供了一种页面获取方法、装置及系统，以解决现有技术中CMS服务器压力大，页面获取速度慢的问题。

本申请提供了如下方案：

一方面公开了一种页面获取方法，所述方法包括：

发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；

从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；

上传所述目标静态页面至所述静态网页服务器。

优选的，根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面包括：

当所述目标页面对应的前次静态页面生成时间与当前时间的时间差满足预设时间条件时，根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面。

优选的，所述方法还包括：

若所述静态网页服务器中不存在所述目标页面的静态页面，则发送目标页面获取请求至数据库以从数据库获取所述目标页面；

若所述静态网页服务器中存在所述目标页面的静态页面，则获取所述静态页面。

优选的，在发送静态页面获取请求至静态网页服务器之前，所述方法还包括：

接收缓存服务器发送的获取缓存页面失败信息；所述获取缓存页面失败信息为所述缓存服务器针对用户的缓存页面获取请求进行查询，获取缓存页面失败时生成；所述缓存页面请求中包括所述目标页面的标识；

所述发送静态页面获取请求至静态网页服务器包括：

根据获取缓存页面失败信息发送静态页面获取请求至所述静态网页服务器。

优选的，所述缓存服务器包括：CDN服务器和/或VARISH服务器。

第二方面还提供了一种页面获取方法，所述方法包括：

CMS服务器发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；

所述静态网页服务器根据所述静态页面获取请求查询所述目标页面对应的静态页面并将查询结果返回至所述CMS服务器；

CMS服务器从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；

CMS服务器上传至所述静态网页服务器。

第三方面还提供了一种页面获取装置，所述装置包括：

静态页面请求单元，用于发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；

静态页面生成单元，用于从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；

静态页面上传单元，用于上传至所述静态网页服务器。

优选的，所述静态页面生成单元，具体用于：

当所述目标页面对应的前次静态页面生成时间与当前时间的时间差满足预设时间条件时，根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面。

第四方面还提供一种页面获取系统，所述系统包括：CMS服务器和静态网页服务器；

CMS服务器用于发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求，从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面以上传至所述静态网页服务器；所述静态页面请求中包括所述目标页面的标识；

所述静态网页服务器用于根据所述静态页面获取请求查询所述目标页面对应的静态页面并将查询结果返回至所述CMS服务器。

最后一方面提供一种计算机系统，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；

从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；

上传所述目标静态页面至所述静态网页服务器。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

本申请的技术方案，CMS服务器在向静态网页服务器发送针对一目标页面的静态页面请求时，同时生成针对该目标页面的静态页面生成请求放在异步队列，并在常驻异步线程中对异步队列的静态页面生成请求进行处理，生成最新的静态页面上传至静态网页服务器，实现静态页面的快速、准实时生成，后续大部分的页面获取请求都可以从静态网页服务器获得最新的静态页面，在多数情况下都无需实时读取数据库来获得页面数据，因此相比现有技术，提高了服务器性能和页面获取速度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的系统结构图；

图2是本申请实施例提供的方法流程图；

图3是本申请实施例提供的装置结构图；

图4是本申请实施例提供的计算机系统架构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

本申请旨在提供一种CMS服务器的页面获取新方式，通过在向静态网页服务器发送针对目标页面的静态页面请求的同时，针对该目标页面生成一个静态页面生成请求放置在异步队列中，通过常驻异步线程对异步队列中的静态页面生成请求进行处理生成一最新的静态页面上传至静态网页服务器，使得静态网页服务器中存储有最新的静态页面，且只要是被请求过一次的页面均有对应的更新的静态页面，使得后续CMS服务器在静态网页服务器即可获得大多数页面的更新后的静态页面，减少了CMS服务器向数据库实时请求页面数据从而解决压力大，页面获取速度慢的问题。据统计，利用本申请方式，系统吞吐量增加了5倍以上，整体TP999下降到200ms以下，大大提高了服务器处理性能。

如图1所示，为本申请的系统架构图，包括：CMS服务器、缓存服务器、静态网页服务器以及数据库服务器。当用户进行页面浏览，发出页面获取请求时，首先在缓存服务器对目标页面进行获取，若不存在对应缓存页面时，回源至CMS服务器，CMS服务器按照静态网页服务器以及数据库服务器的顺序在各服务器中对目标页面进行获取。即在静态网页服务器请求获取静态页面；静态网页服务器不存在对应静态页面时，在数据库服务器请求获取页面数据生成网页页面以返回至用户。当CMS服务器在静态网页服务器查询目标页面的静态页面时，不论是否查询到该静态页面，CMS服务器都会同时生成针对该目标页面的静态页面生成请求并置于异步队列。常驻异步线程按照次序读取异步队列的请求进行处理，生成对应的目标页面的最新静态页面上传至静态网页服务器。由于是异步请求，因此可以快速、准实时的生成最新静态页面，保证了后续可以在静态网页服务器获取大部分页面的最新静态页面。

对于静态网页服务器中尚不存在的页面(该页面第一次被请求获取)，CMS服务器从数据库中获取页面数据生成目标页面，返回至用户保证第一次的页面获取。由于同时在异步队列生成了该页面的静态页面生成请求，因此该页面的最新静态页面也会被上传至静态网页服务器，后续只需依赖静态网页服务器即可，无需再次调用数据库。

实施例一

如图2所示，针对上述系统，本申请实施例一提供了一种页面获取方法，所述方法包括：

S21、发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识。

为更快的获取目标页面，用户的页面获取请求通常都会先发送至缓存服务器中进行缓存页面的查询。该缓存服务器包括：CDN服务器和/或VARISH服务器。若缓存服务器中存在相应的缓存页面，则直接返回缓存页面给用户展示，若不存在相应的缓存页面，则回源CMS服务器继续进行静态页面。即本申请方法在步骤S21之前还包括：

S20：接收缓存服务器发送的获取缓存页面失败信息。之后根据缓存查询失败信息执行步骤S21。

在请求静态页面的同时，不论请求结果如何，即不论静态网页服务器中是否存在静态页面，CMS服务器都还生成了静态页面生成请求并置于异步队列。

针对静态页面获取请求，如果目标页面是首次被请求，那么在静态网页服务器中就不存在对应的静态页面，此时需要进一步至数据库中获取页面数据生成目标页面返回给用户。

如果在静态网页服务器中查询到了对应的静态页面，可直接返回给用户进行浏览。

S22、从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面。

针对异步队列中的异步请求，常驻异步线程对其进行处理，可以快速的生成最新的静态页面以上传至静态网页服务器。基于此，只要是CMS服务器请求过一次的目标页面，其静态页面都会存在于静态网页服务器中，便于后续大部分页面在静态网页服务器中的查询。

在该步骤中，如果同一用户或不同用户对同一页面频繁请求，远远超出页面的更新频率，那么可以在对异步请求进行处理时，判断该目标页面在一段时间内是否已经进行过更新，如果进行过，则在预设时间内不对该异步请求进行处理，以避免对页面频繁重复的更新操作。

具体的，判断所述目标页面对应的前次静态页面生成时间与当前时间的时间差是否满足预设时间条件，如果大于一定时间，则根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面，若小于，则暂不处理。

S23、上传所述目标静态页面至所述静态网页服务器。

当CMS服务器下一次请求获取上述目标页面的静态页面时，可在静态网页服务器获得对应的静态页面。

实施例二

对应上述实施例一的方法，本申请实施例二还提供一种页面获取装置，应用在CMS服务器中，如图3所示，所述装置包括：

静态页面请求单元31，用于发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识。

为更快的获取目标页面，用户的页面获取请求通常都会先发送至缓存服务器中进行缓存页面的查询。该缓存服务器包括：CDN服务器和/或VARISH服务器。若缓存服务器中存在相应的缓存页面，则直接返回缓存页面给用户展示，若不存在相应的缓存页面，则回源CMS服务器，CMS服务器的静态页面请求单元31此时发送静态页面获取请求至静态网页服务器进行静态页面获取。

在请求静态页面的同时，不论请求结果如何，即不论静态网页服务器中是否存在静态页面，静态页面请求单元31都还生成了静态页面生成请求并置于异步队列。

针对静态页面获取请求，如果目标页面是首次被请求，那么在静态网页服务器中就不存在对应的静态页面，此时CMS服务器还包括目标页面单元34，用于发送请求至数据库中获取页面数据以生成目标页面返回给用户。

如果在静态网页服务器中查询到了对应的静态页面，静态页面请求单元31可直接返回给用户进行浏览。

静态页面生成单元32，用于从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面。

针对异步队列中的异步请求，静态页面生成单元32常驻异步线程对该其进行处理，可以快速的生成最新的静态页面并通过静态页面上传单元33上传至静态网页服务器。基于此，只要是CMS服务器请求过一次的目标页面，其静态页面都会存在于静态网页服务器中，便于后续大部分页面在静态网页服务器中的查询。

为避免同一用户或不同用户对同一页面频繁请求，远远超出页面的更新频率导致静态页面的频繁生成，该装置还包括判断单元35，用于在对异步请求进行处理时，判断该目标页面在一段时间内是否已经进行过更新，如果进行过，则静态页面生成单元32在预设时间内不对该异步请求进行处理，以避免对页面频繁重复的更新操作。

具体的，判断单元35判断所述目标页面对应的前次静态页面生成时间与当前时间的时间差是否满足预设时间条件，如果大于一定时间，则静态页面生成单元32根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面，若小于，则暂不处理。

静态页面上传单元33，用于上传至所述静态网页服务器。

实施例三

针对上述系统，本申请实施例三提供一种页面获取方法，所述方法包括：

CMS服务器发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；

所述静态网页服务器根据所述静态页面获取请求查询所述目标页面对应的静态页面并将查询结果返回至所述CMS服务器；

CMS服务器从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；

CMS服务器上传至所述静态网页服务器。

本实施例可参见实施例一，其他部分不在详述。

实施例四

对应上述方法和装置，本申请实施例四提供一种计算机系统，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；

从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；

上传所述目标静态页面至所述静态网页服务器。

其中，图4示例性的展示出了计算机系统的架构，具体可以包括处理器1510，视频显示适配器1511，磁盘驱动器1512，输入/输出接口1513，网络接口1514，以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520之间可以通过通信总线1530进行通信连接。

其中，处理器1510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器1520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1520可以存储用于控制计算机系统1500运行的操作系统1521，用于控制计算机系统1500的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器1523，数据存储管理系统1524，以及图标字体处理系统1525等等。上述图标字体处理系统1525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行。

输入/输出接口1513用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口1514用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1530包括一通路，在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520)之间传输信息。

另外，该计算机系统1500还可以从虚拟资源对象领取条件信息数据库1541中获得具体领取条件的信息，以用于进行条件判断，等等。

需要说明的是，尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，存储器1520，总线1530等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，云服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本申请所提供的数据处理方法、装置及设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种页面获取方法，其特征在于，所述方法包括：

发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；

从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；

上传所述目标静态页面至所述静态网页服务器。

2.如权利要求1所述的页面获取方法，其特征在于，所述根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面包括：

当所述目标页面对应的前次静态页面生成时间与当前时间的时间差满足预设时间条件时，根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面。

3.如权利要求1或2所述的页面获取方法，其特征在于，所述方法还包括：

若所述静态网页服务器中不存在所述目标页面的静态页面，则发送目标页面获取请求至数据库以从数据库获取所述目标页面；

若所述静态网页服务器中存在所述目标页面的静态页面，则获取所述静态页面。

4.如权利要求1或2任一项所述的页面获取方法，其特征在于，在发送静态页面获取请求至静态网页服务器之前，所述方法还包括：

接收缓存服务器发送的获取缓存页面失败信息；所述获取缓存页面失败信息为所述缓存服务器针对用户的缓存页面获取请求进行查询，获取缓存页面失败时生成；所述缓存页面请求中包括所述目标页面的标识；

所述发送静态页面获取请求至静态网页服务器包括：

根据获取的所述缓存页面失败信息发送静态页面获取请求至所述静态网页服务器。

5.如权利要求4所述的页面获取方法，其特征在于，所述缓存服务器包括：CDN服务器和/或VARISH服务器。

6.一种页面获取方法，其特征在于，所述方法包括：

CMS服务器发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；

所述静态网页服务器根据所述静态页面获取请求查询所述目标页面对应的静态页面并将查询结果返回至所述CMS服务器；

CMS服务器从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；

CMS服务器上传所述目标静态页面至所述静态网页服务器。

7.一种页面获取装置，其特征在于，所述装置包括：

静态页面请求单元，用于发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；

静态页面生成单元，用于从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；

静态页面上传单元，用于上传至所述静态网页服务器。

8.如权利要求7所述的页面获取装置，其特征在于，所述静态页面生成单元，具体用于：

当所述目标页面对应的前次静态页面生成时间与当前时间的时间差满足预设时间条件时，根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面。

9.一种页面获取系统，其特征在于，所述系统包括：CMS服务器和静态网页服务器；

CMS服务器用于发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求，从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面以上传至所述静态网页服务器；所述静态页面请求中包括所述目标页面的标识；

所述静态网页服务器用于根据所述静态页面获取请求查询所述目标页面对应的静态页面并将查询结果返回至所述CMS服务器。

10.一种计算机系统，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

发送静态页面获取请求至静态网页服务器并在异步队列中生成针对目标页面的静态页面生成请求；所述静态页面请求中包括所述目标页面的标识；

从所述异步队列中取出所述静态页面生成请求并根据所述静态页面生成请求从数据库获取对应的页面数据生成目标静态页面；

上传所述目标静态页面至所述静态网页服务器。

Images