CN112235402A - 一种网络回源方法、网络回源系统及相关装置 - Google Patents

Abstract

本申请提供一种网络回源方法，包括：获取目标网站的网络信息，并确定与所述网络信息相同线路的回源节点；在所述回源节点执行所述目标网站的回源任务后，下载所述目标网站，并采集下载参数信息；根据所述下载参数信息确定优选回源节点；利用所述优选回源节点进行网络回源。本申请使得网络回源优先采用优选回源节点，可以提高网站的加载效率，提升访客的访问体验。本申请还提供一种网络回源系统、计算机可读存储介质和网络设备，具有上述有益效果。

Description

一种网络回源方法、网络回源系统及相关装置

技术领域

本申请涉及网络通信领域，特别涉及一种网络回源方法、网络回源系统及相关装置。

背景技术

云WAF(Web Application Firewall)指针对web端的防火墙产品。当前云WAF服务采用访客-防护节点-网站服务器的方式提供服务。在回源过程中，一般为请求到的防护节点直接向网站服务器转发请求，由于很多网站的访客群体存在地域差别，会出现防护节点承载压力不一致的情况，造成网站访问效率下降。如经过承载压力较高的节点，网络响应缓慢，则会影响访客的访问体验。

发明内容

本申请的目的是提供一种网络回源方法、网络回源系统、计算机可读存储介质和网络设备，能够提高网站的加载效率。

为解决上述技术问题，本申请提供一种网络回源方法，具体技术方案如下：

获取目标网站的网络信息，并确定与所述网络信息相同线路的回源节点；

在所述回源节点执行所述目标网站的回源任务后，下载所述目标网站，并采集下载参数信息；

根据所述下载参数信息确定优选回源节点；

利用所述优选回源节点进行网络回源。

可选的，若所述下载参数信息包括下载耗时，根据所述下载参数信息确定优选回源节点包括：

根据各所述回源节点对应的所述下载耗时计算下载速率；

对所述下载速率信息按降序排列，得到速率队列；

取所述速率队列在前预设数量的回源节点作为优选回源节点。

可选的，利用所述优选回源节点进行网络回源包括：

根据所述优选回源节点调整DNS中业务域名的解析指向；

将所述网络信息中网站域名作为请求头向所述业务域名发起请求，并连接至所述优选回源节点。

可选的，还包括：

向各所述回源节点发送调度指令，以使所述回源节点接收所述调度指令后执行所述目标网站的回源任务。

可选的，下载所述目标网站，并采集下载参数信息包括：

以预设次数下载所述目标网站，并将各次下载过程中参数信息的平均数作为所述下载参数信息。

可选的，取所述速率队列在前预设数量的回源节点作为优选回源节点包括：

若所述回源节点数量小于第一预设数量，取将全部所述回源节点作为优选回源节点；

若所述回源节点数量大于第一预设数量且小于第二预设数量，将所述回源节点数量的三分之一作为所述预设数量，并取所述速率队列在前预设数量的回源节点作为优选回源节点；

若所述回源节点数量大于第二预设数量，将所述第二预设数量的三分之一作为所述预设数量，并取所述速率队列在前预设数量的回源节点作为优选回源节点。

可选的，确定与所述网络信息相同线路的回源节点包括：

根据所述网络信息的运营商归属信息确定与所述网络信息相同线路的回源节点。

本申请还提供一种网络回源系统，包括：

信息获取模块，用于获取目标网站的网络信息，并确定与所述网络信息相同线路的回源节点；

参数下载模块，用于在所述回源节点执行所述目标网站的回源任务后，下载所述目标网站，并采集下载参数信息；

节点确定模块，用于根据所述下载参数信息确定优选回源节点；

网络回源模块，用于利用所述优选回源节点进行网络回源。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

本申请还提供一种网络设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。

本申请提供一种网络回源方法，包括：获取目标网站的网络信息，并确定与所述网络信息相同线路的回源节点；在所述回源节点执行所述目标网站的回源任务后，下载所述目标网站，并采集下载参数信息；根据所述下载参数信息确定优选回源节点；利用所述优选回源节点进行网络回源。

本申请通过根据提供的目标网站的网络信息，在全部回源节点上对网站服务器进行测试，根据实时的下载参数信息以配置优选的回源节点，确保各优选回源节点的网站下载效率较高，从而建立基于各优选回源节点的回源网络，使得网络回源优先采用优选回源节点，动态调整参与网络回源的回源界定啊，可以提高网站的加载效率，提升访客的访问体验。

本申请还提供一种网络回源系统、计算机可读存储介质和网络设备，具有上述有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种网络回源方法的流程图；

图2为本申请实施例所提供的一种网络回源系统结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

基于云计算的Web应用防火墙产品及服务，网站接入后，访客访问网站时先经过云WAF，由云WAF将访客请求转发至网站所在的网站服务器，网络回源指的就是云WAF向网站服务器通信的过程，而回源节点指与网站服务器进行通信的服务器或服务器组，不与访客直接产生互动。

请参考图1，图1为本申请实施例所提供的一种网络回源方法的流程图，该方法包括：

S101：获取目标网站的网络信息，并确定与所述网络信息相同线路的回源节点；

本步骤旨在获取目标网站的网络信息，在此对于网络信息包含的具体信息类型和内容不作限定，且可以为参与网络回源的相关信息，可以包括但不限于域名、IP地址及端口号等。

本步骤中，还需要确定对应的回源节点，所谓与网络信息相同线路的回源节点，指在网络回源过程中应用该网络信息的回源节点。以网络信息为目标网站的IP地址为例，任何一个以目标网站为访问目的的回源节点，其势必需要包含目标网站的IP地址，因此，以该IP地址为访问目的的节点均为与所述网络信息相同线路的回源节点。

此外，作为本步骤的一种优选的执行方式，可以根据网络信息的运营商归属信息确定与网络信息相同线路的回源节点。若根据运营商归属信息确定回源节点，可以根据目标网站的域名和端口号等，确定访问该域名和端口号的固定回源节点。具体的，先判断网站IP所在运营商归属信息，例如可以为电信、联通、移动中的任一种，此后可直接确认与网站IP所在运营商相同线路的回源节点。

S102：在所述回源节点执行所述目标网站的回源任务后，下载所述目标网站，并采集下载参数信息；

本步骤旨在采集各回源节点对目标网站的下载参数。需要注意的是，回源节点下载目标网站指下载目标网站的页面信息，对外表征为对目标网站的加载能力，其下载时间越短，说明对该目标网站的加载越快。对于用户端而言，目标网站的下载内容实际为网站页面的页面信息，而本步骤中回源节点下载目标网站通常包含网站的页面框架和页面数据等内容。

本步骤默认下载目标网站前，先执行对目标网站的回源任务，即建立回源节点与目标网站的通信连接。在此对于如何实现回源节点执行目标网站的回源任务不作具体限定，其可以在步骤S101中确定回源节点后即可向各回源节点发送调度指令，各回源节点接收调度指令后执行目标网站的回源任务，建立与目标网站的通信连接。一方面可以确保经过步骤S101中据网络信息确定的回源节点准确，另一方面可以为后续对回源节点的测试过程作准备。

当回源节点执行回源任务后，下载目标网站并采集下载参数信息。在此对于下载参数信息不作具体限定，主要包含请求耗时、下载耗时、网站下载速率中的任一种或任意几种的组合。所谓请求耗时通常指从用户发出访问请求到得到请求响应的时长。当然本领域技术人员还可以采用其他下载参数信息，以便确定请求响应较快、网站下载速率较高的回源节点。

进一步的，在本步骤的基础上，为避免单次下载或网络拥塞等原因造成的数据不准确，还可以以预设次数下载目标网站，并将各次下载过程中参数信息的平均数作为下载参数信息。即多次下载目标网站，取多次下载过程的参数信息的平均数作为下载参数信息，减少误差。

S103：根据所述下载参数信息确定优选回源节点；

本步骤旨在根据下载参数信息确定优选回源节点。容易理解的是，本步骤中的下载参数信息指各回源节点对目标网站的下载参数，而并非一个回源节点或部分回源节点对应的下载参数信息。

容易理解的是，优选回源节点应为请求响应较快、网站下载速率较高或者其他参数较优的回源节点。由于上一步骤中的下载参数信息不能唯一确定，相应本步骤中的确定优选回源节点的方式也不作限定，即确定优选回源节点的方式应根据所采集的下载参数信息作为相应调整。

以下载参数信息包括下载耗时为例，本步骤可以包含如下三个步骤：

S1031：根据各回源节点对应的下载耗时计算下载速率；

S1032：对下载速率信息按降序排列，得到速率队列；

S1033：取速率队列在前预设数量的回源节点作为优选回源节点。

显然下载速率越高越好，因此按照降序排列，速率队列中靠前下载速率对应的回源节点优于靠后的回源节点。在此对于预设数量不作具体限定，可以由本领域技术人员做自由设定。下文为本实施例提供的一种对于预设数量的设定方式，当然不仅仅可以应用于将下载耗时作为下载参数信息时优选回源节点的选取过程，也可以应用在其他实施例时优选回源节点的数量确定过程中。

若回源节点数量小于第一预设数量，取将全部回源节点作为优选回源节点；

若回源节点数量大于第一预设数量且小于第二预设数量，将回源节点数量的三分之一作为预设数量，并取速率队列在前预设数量的回源节点作为优选回源节点；

若回源节点数量大于第二预设数量，将第二预设数量的三分之一作为预设数量，并取速率队列在前预设数量的回源节点作为优选回源节点。

上文的第一预设数量和第二预设数量均不作限定。举例而言，第一预设数量可以为5，第二预设数量可以为30。如可供服务的回源节点数量小于等于5则取全部结果；如可供服务的回源节点数量大于5且小于等于30则取三分之一；如可供服务的回源节点大于30则取10个优选回源节点作为封顶。当然，所取的优选回源节点应为速率队列中靠前或者其他队列中较优的回源节点。

S104：利用所述优选回源节点进行网络回源。

确定优选回源节点后，即可利用优选回源节点进行网络回源。

具体的，在进行网络回源时，可以先根据优选回源节点调整内部DNS中业务域名的解析指向，在将网络信息中网站域名作为请求头向业务域名发起请求，并连接至优选回源节点，完成回源操作。内部DNS主要作用是调整内部业务域名的解析，供外部服务节点请求使用。

本申请实施例通过根据提供的目标网站的网络信息，在全部回源节点上对网站服务器进行测试，根据实时的下载参数信息以配置优选的回源节点，确保各优选回源节点的网站下载效率较高，从而建立基于各优选回源节点的回源网络，使得网络回源优先采用优选回源节点，可以提高网站的加载效率，提升访客的访问体验。

由上文实施例可以看出，本实施例旨在确定优选回源节点并基于优选的回源节点进行网络回源，从而提高网络响应速度和网站加载效率。容易理解的，由于回源节点存在节点自身的波动，即回源节点的性能并不稳定，例如上一轮的最优回源节点因为多次参与网络回源使得自身负荷大，反而可能导致性能下降，甚至不再负荷优选回源节点标准。因此在上文实施例的基础上，可以周期性的对回源节点进行检测，以得到当前的优选回源节点。在此对于周期检测的频率不作限定，且一旦检测过于频繁，即多次对网站进行下载，容易影响网站的正常运行，因此为了降低对网站正常运行的影响，可以每隔一个小时或者几个小时进行检测。或者按照时间段采用不同的频率，在网站访问高峰期采用较高频率检测，在网站访问低谷期采用较低频率检测，动态调整优选回源节点。

在基于上文实施例的应用过程中，由于对于服务节点而言，其并不一定确定哪一个回源节点为已经确定的优选回源节点，因此在每次网络回源过程中，其具体应用过程可以如下：

S201：接收网络访问请求，并配置网络访问请求对应的回源节点；

S202：判断当前应用的回源节点是否为空闲优选回源节点中的最优节点；若否，进入S203；若是，执行网络回源；

S203：从优选回源节集合中选取优选回源节点，返回S202。

所谓优选回源节点集合主要包含上一实施例中确定的优选回源节点。

下面对本申请实施例提供的一种网络回源系统进行介绍，下文描述的网络回源系统与上文描述的一种网络回源方法可相互对应参照。

参见图2，本申请还提供一种网络回源系统，包括：

信息获取模块100，用于获取目标网站的网络信息，并确定与所述网络信息相同线路的回源节点；

参数下载模块200，用于在所述回源节点执行所述目标网站的回源任务后，下载所述目标网站，并采集下载参数信息；

节点确定模块300，用于根据所述下载参数信息确定优选回源节点；

网络回源模块400，用于利用所述优选回源节点进行网络回源。

基于上述实施例，作为优选的实施例，若所述下载参数信息包括下载耗时，节点确定模块300包括：

速率计算单元，用于根据各所述回源节点对应的所述下载耗时计算下载速率；

排列单元，用于对所述下载速率信息按降序排列，得到速率队列；

选取单元，用于取所述速率队列在前预设数量的回源节点作为优选回源节点。

基于上述实施例，作为优选的实施例，网络回源模块400为用于根据所述优选回源节点调整DNS中业务域名的解析指向；将所述网络信息中网站域名作为请求头向所述业务域名发起请求，并连接至所述优选回源节点的模块。

基于上述实施例，作为优选的实施例，还包括：

调度模块，用于向各所述回源节点发送调度指令，以使所述回源节点接收所述调度指令后执行所述目标网站的回源任务。

基于上述实施例，作为优选的实施例，参数下载模块200包括：

下载单元，用于以预设次数下载所述目标网站，并将各次下载过程中参数信息的平均数作为所述下载参数信息。

基于上述实施例，作为优选的实施例，选取单元可以包括：

第一选取子单元，用于若所述回源节点数量小于第一预设数量，取将全部所述回源节点作为优选回源节点；

第二选取子单元，用于若所述回源节点数量大于第一预设数量且小于第二预设数量，将所述回源节点数量的三分之一作为所述预设数量，并取所述速率队列在前预设数量的回源节点作为优选回源节点；

第三选取子单元，用于若所述回源节点数量大于第二预设数量，将所述第二预设数量的三分之一作为所述预设数量，并取所述速率队列在前预设数量的回源节点作为优选回源节点。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种网络设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述网络设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种网络回源方法，其特征在于，包括：

获取目标网站的网络信息，并确定与所述网络信息相同线路的回源节点；

在所述回源节点执行所述目标网站的回源任务后，下载所述目标网站，并采集下载参数信息；

根据所述下载参数信息确定优选回源节点；

利用所述优选回源节点进行网络回源。

2.根据权利要求1所述的网络回源方法，其特征在于，若所述下载参数信息包括下载耗时，根据所述下载参数信息确定优选回源节点包括：

根据各所述回源节点对应的所述下载耗时计算下载速率；

对所述下载速率信息按降序排列，得到速率队列；

取所述速率队列在前预设数量的回源节点作为优选回源节点。

3.根据权利要求1所述的网络回源方法，其特征在于，利用所述优选回源节点进行网络回源包括：

根据所述优选回源节点调整DNS中业务域名的解析指向；

将所述网络信息中网站域名作为请求头向所述业务域名发起请求，并连接至所述优选回源节点。

4.根据权利要求1所述的网络回源方法，其特征在于，还包括：

向各所述回源节点发送调度指令，以使所述回源节点接收所述调度指令后执行所述目标网站的回源任务。

5.根据权利要求1所述的网络回源方法，其特征在于，下载所述目标网站，并采集下载参数信息包括：

以预设次数下载所述目标网站，并将各次下载过程中参数信息的平均数作为所述下载参数信息。

6.根据权利要求2所述的网络回源方法，其特征在于，取所述速率队列在前预设数量的回源节点作为优选回源节点包括：

若所述回源节点数量小于第一预设数量，取将全部所述回源节点作为优选回源节点；

若所述回源节点数量大于第一预设数量且小于第二预设数量，将所述回源节点数量的三分之一作为所述预设数量，并取所述速率队列在前预设数量的回源节点作为优选回源节点；

若所述回源节点数量大于第二预设数量，将所述第二预设数量的三分之一作为所述预设数量，并取所述速率队列在前预设数量的回源节点作为优选回源节点。

7.根据权利要求1所述的网络回源方法，其特征在于，确定与所述网络信息相同线路的回源节点包括：

根据所述网络信息的运营商归属信息确定与所述网络信息相同线路的回源节点。

8.一种网络回源系统，其特征在于，包括：

信息获取模块，用于获取目标网站的网络信息，并确定与所述网络信息相同线路的回源节点；

参数下载模块，用于在所述回源节点执行所述目标网站的回源任务后，下载所述目标网站，并采集下载参数信息；

节点确定模块，用于根据所述下载参数信息确定优选回源节点；

网络回源模块，用于利用所述优选回源节点进行网络回源。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的网络回源方法的步骤。

10.一种网络设备，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-7任一项所述的网络回源方法的步骤。

Images