CN113709247A - 资源获取方法、装置、系统、电子设备及存储介质 - Google Patents

Abstract

本发明提供的资源获取方法、装置、系统、电子设备及存储介质，方法包括：当获得目标资源的请求信息，确定源站服务器是否正常；若确定源站服务器正常，则将请求信息转发到源站服务器，以使源站服务器反馈目标资源；若确定源站服务器不正常，则将请求信息转发给伪源站服务器，以使伪源站服务器反馈目标资源；其中，源站服务器用于维护任意类型的资源；伪源站服务器从源站服务器爬取资源进行存储，目标资源为资源的任一种。该方法不仅实现了减少源站服务器不能服务时对用户造成无法访问的影响的同时，还利用伪源站服务器对源站服务器资源进行存储，降低对代理服务器的要求和维护成本。

Description

资源获取方法、装置、系统、电子设备及存储介质

技术领域

本发明涉及服务器技术领域，具体而言，涉及一种资源获取方法、装置、系统、电子设备及存储介质。

背景技术

在现有的各类互联网应用服务模式中，WEB应用服务器，也即源站服务器，在应对web应用、app、小程序等各类应用服务请求中占据重要地位。随着业务规模需要，相关技术采用了CDN代理服务器缓存策略、异地容灾备份、代理服务器爬取源站信息固定存储等方式，以此阻挡源站遭受的网络攻击，减少业务规模增长带来的带宽压力等问题。

然而，上述方式虽然能够在一定程度上维护源站安全，减少源站带宽压力，但是增加了代理服务器的设备要求，可能会影响代理服务器的稳定性，同时增加了网站维护成本。

发明内容

本发明的目的之一在于提供一种资源获取方法、装置、系统、电子设备及存储介质，用以减少源站服务器不能服务时对用户造成无法访问的影响的同时，还能降低对代理服务器的要求和维护成本。

本发明的实施例可以这样实现：

第一方面，本发明提供一种资源获取方法，所述方法包括：当获得目标资源的请求信息，确定源站服务器是否正常；若确定所述源站服务器正常，则将所述请求信息转发到所述源站服务器，以使所述源站服务器反馈所述目标资源；若确定所述源站服务器不正常，则将所述请求信息转发给伪源站服务器，以使所述伪源站服务器反馈所述目标资源；其中，所述源站服务器用于维护任意类型的资源；所述伪源站服务器从所述源站服务器爬取所述资源进行存储，所述目标资源为所述资源的任一种。

第二方面，本发明提供一种资源获取装置，包括：确定模块，用于当获得目标资源的请求信息，确定源站服务器是否正常；发送模块，用于若确定所述源站服务器正常，则将所述请求信息转发到所述源站服务器，以使所述源站服务器反馈所述目标资源；若确定所述源站服务器不正常，则将所述请求信息转发给伪源站服务器，以使所述伪源站服务器反馈所述目标资源；其中，所述源站服务器用于维护任意类型的资源；所述伪源站服务器从所述源站服务器爬取所述资源进行存储，所述目标资源为所述资源的任一种。

第三方面，本发明提供一种代理服务器，所述代理服务器，用于：当获得目标资源的请求信息，确定源站服务器是否正常；若确定所述源站服务器正常，则将所述请求信息转发到所述源站服务器，以使所述源站服务器反馈所述目标资源；若确定所述源站服务器不正常，则将所述请求信息转发给伪源站服务器，以使所述伪源站服务器反馈所述目标资源；其中，所述源站服务器用于维护任意类型的资源；所述伪源站服务器从所述源站服务器爬取所述资源进行存储，所述目标资源为所述资源的任一种。

第四方面，本发明提供一种资源获取系统，包括代理服务器、源站服务器和伪源站服务器，所述代理服务器、所述源站服务器和所述伪源站服务器通信连接；所述源站服务器用于维护任意类型的资源；所述伪源站服务器从所述源站服务器爬取所述资源进行存储；所述代理服务器，用于获得目标资源的请求信息，确定源站服务器是否正常；若确定所述源站服务器正常，则将所述请求信息转发到所述源站服务器；所述目标资源为所述资源的任一种；所述源站服务器，用于根据所述请求信息，向所述代理服务器发送所述目标资源；所述代理服务器，还用于若确定所述源站服务器不正常，则将所述请求信息转发给所述伪源站服务器；所述伪源站服务器，用于根据所述请求信息，向所述代理服务器发送所述目标资源。

第五方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现第一方面所述的资源获取方法。

第六方面，本发明提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的资源获取方法。

本发明提供的一种资源获取方法、装置、系统、电子设备及存储介质，方法包括：当获得目标资源的请求信息，确定源站服务器是否正常；若确定所述源站服务器正常，则将所述请求信息转发到所述源站服务器，以使所述源站服务器反馈所述目标资源；若确定所述源站服务器不正常，则将所述请求信息转发给伪源站服务器，以使所述伪源站服务器反馈所述目标资源；其中，所述源站服务器用于维护任意类型的资源；所述伪源站服务器从所述源站服务器爬取所述资源进行存储，所述目标资源为所述资源的任一种。通过本发明提供的服务提供方法，在获得目标资源的请求信息时，先判断源站服务器是否正常，在源站服务器正常的情况下将请求信息发送给源站服务器以获得目标资源，在源站服务器不正常的情况下将请求信息发送给伪源站服务器，由于伪源站服务器可以从源站服务器爬取资源进行存储，因此伪源站服务器获得请求信息后可以根据请求信息取得目标资源，该方法不仅实现了减少源站服务器不能服务时对用户造成无法访问的影响的同时，还利用伪源站服务器对源站服务器资源进行存储，降低对代理服务器的要求和维护成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为现有的服务提供框架的结构；

图2为本发明实施例体供的一种服务提供框架的结构；

图3为本发明实施例提供的一种电子设备的结构框图；

图4为本发明实施例提供的资源获取方法的示意性流程图；

图5为本发明实施例提供的另一种资源获取方法的示意性流程图；

图6本发明实施例提供的代理服务器配置的示意性流程图；

图7为本发明实施例提供的一种可能的服务配置界面的示例图；

图8为本发明实施例提供的另一种服务配置界面的示例图；

图9为本发明实施例提供的资源获取装置的一功能模块图；

图10为本发明实施例提供的一种信令交互图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

在描述本发明的具体方案之前，此处先对本发明涉及的名词进行描述。

内容分发网络：Content Delivery Network，简称CDN，CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，也即代理服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。

源站服务器：源站服务器是CDN网络中的核心，各CDN节点都要向源站服务器获取静态文件向用户访问进行分发。

伪源站服务器：部署有伪源系统，该系统具备数据爬取功能，以及应用服务发布功能，出于安全考虑，伪源站服务器仅对代理服务器开放。

回源：是指CDN节点向源站服务器抓取数据以返回给客户端的过程。

资源：是指源站服务器维护的各种类型的文件、媒体、图片、视频等。

图1示意了现有的服务提供框架的结构。如图1所示，该服务提供框架中包括客户端10(例如笔记本电脑10-1、平板电脑10-2、智能终端10-n)、网络11、代理服务器12和源站服务器13。

在图1示意的服务提供框架中，用户获得资源的流程可以包括：

步骤1，客户端10向代理服务器12发送资源获取请求；

步骤2，代理服务器12将资源获取请求转发到源站服务器14；

步骤3，源站服务器14根据资源获取请求，获得目标资源，并将目标资源发送给代理服务器12；

步骤4，代理服务器12获得目标资源，将获得的目标资源返回给客户端。

步骤5，代理服务器12根据缓存策略的缓存时间，对目标资源开始存储并计时。

步骤6，代理服务器12根据预设的爬取策略，从源站服务器14爬取资源，根据缓存策略的缓存时间，对目标资源开始存储并计时。

其中，在步骤5中，代理服务器12，根据缓存策略的缓存时间开始存储并计时，缓存时间是从资源第一次被请求到代理服务器12开始计算的，由于不同的代理节点缓存文件的时间起点不同，可能出现有的代理节点的资源可能即将过期，但有的代理节点上的资源刚刚被缓存，一旦源站服务器出现问题，就会出现资源缓存参差不齐的情况，另外，代理节点上的资源是被动缓存的资源，有的代理节点没有被请求，就不会有资源缓存，对网站更新不利。总的来说，仅靠代理服务器的缓存策略没有普适性，不同的网站对缓存的要求不同，无法适配大多数网站。由于受CDN缓存策略自身的局限性，代理在降低源站服务影响方面能力有限。

进一步，在步骤6中，作为代理，一旦源站服务器出现异常的情况，整个网站的页面加载就会有问题，为了应对源站服务器出现异常的情况，代理服务器12还需要具备爬取能力，从源站服务器爬取资源进行固定存储，该方案需要所有代理节点都从源站爬取一遍，对代理节点和源站服务器的带宽资源同时消耗，也占据了节点存储和算力资源，使代理服务器在作为云防护和CDN功能之外，又增加了爬虫备份的功能，对代理节点的要求更高，可能会影响代理服务器的稳定性。

同时，源站服务器还需要建立异地容灾备份，相当于在异地再部署一个源站服务器，投入大，成本高，不便于维护，而且在资产同步上面对源站来说需要自己搭建，耗费过大的技术资源和人力资源。

无论是利用代理服务器的缓存策略、还是建立将源站服务器资源异地备份，或是为代理服务器增加爬虫备份的功能，都不能很好的应对源站服务器不能服务时对用户造成无法访问的影响，同时还有可能在应对源站服务器异常的过程中增加了代理服务器的设备要求和维护成本，降低了系统的稳定性。

基于此，本发明提供一种资源获取方法，该方法不需要为代理服务器增加爬取资源的能力，也不需要额外部署源站服务器进行备份，而是构建一个具有伪源功能的服务器，从源站服务器爬取资源进行存储，从而可以在源站服务器异常时，切换伪源站服务器以获得资源，可以极大的减少源站服务器不能服务时对用户造成无法访问的影响，同时还有可能在应对源站服务器异常的过程中增加了代理服务器的设备要求和维护成本，降低了系统的稳定性。

本发明实施例提供的资源获取方法，可以应用于图2所示的服务提供框架中，图2所示的服务提供框架，是在图1的基础上，设置了伪源站服务器15，用于在源站服务器14异常时，处理代理服务器转发的资源获取请求，同时，伪源站服务器15还具有伪源功能，可以根据预设的爬取策略从源站服务器14中爬取资源进行存储。

可以理解的是，图1或图2示意的服务提供框架均为示例，并不是对服务提供框架的规模进行限定。

下面结合附图，对本发明的实施例进行具体阐述。

一方面，本发明实施例提供一种电子设备(例如服务器)，用于执行本发明提供的资源获取方法，该计算设备可以部署于图1或图2所示的资源获取系统框架中的代理服务器12或者源站服务器14或者伪源站服务器15。图3示出的是与本发明各实施例相关的一种电子设备30。如图3所示，计算设备30可以包括处理器301、存储器302以及网络接口303。

下面结合图3对电子设备30的各个构成部件进行具体的介绍：

其中，存储器302可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；或者上述种类的存储器的组合，用于存储可实现本发明方法的程序代码、配置文件或其他内容。

处理器301是电子设备30的控制中心。例如，处理器301可以是一个中央处理器(central processing unit，CPU)，也可以是特定集成电路(application specificintegrated circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路，例如：一个或多个微处理器(digital singnal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)。

网络接口303用于与其他设备进行通信。网络接口303可以为通信端口或者其他。

一种可能的实现方式中，当电子设备30为代理服务器，处理器301通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器302内的数据，执行如下功能：

通过网络接口303接收客户端发送的目标资源的请求信息，确定源站服务器是否正常；若确定源站服务器正常，则将请求信息转发到源站服务器，以使源站服务器反馈目标资源；若确定源站服务器不正常，则将请求信息转发给伪源站服务器，以使伪源站服务器反馈目标资源。

另一种可能的实现方式中，当电子设备30为源站服务器，处理器301通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器302内的数据，执行如下功能：

通过网络接口303接收代理服务器发送的请求信息，根据请求信息获得目标资源，并将该目标资源反馈给代理服务器。

另一种可能的实现方式中，当电子设备30为伪源站服务器，处理器301通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器302内的数据，执行如下功能：

通过网络接口303接收代理服务器发送的请求信息，根据请求信息获得目标资源，并将该目标资源反馈给代理服务器。

另一种可能的实现方式中，当电子设备30为伪源站服务器，处理器301通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器302内的数据，执行如下功能：根据预设的爬取时间、爬取层级和爬取频率，从源站服务器或者代理服务器爬取资源。

另一方面，本发明实施例提供一种资源获取方法，该方法应用于包括代理服务器及源站服务器和伪源站服务器的资源获取系统中。该资源获取系统可以为图2示意的资源获取系统框架中的部分。

如图4所示，该资源获取方法可以包括：

S404，当获得目标资源的请求信息，确定源站服务器是否正常。

其中，目标资源的请求信息可以用来的代表目标资源的名称、关键字、存储位置等标识信息。目标资源可以但不限于是文件、媒体数据、图片等任意一种。

可选的，可以根据实际需求确定目标资源的请求信息的内容，本发明对此不予限定。

其中，源站服务器正常可以指的是源站服务器处于存活状态，即能够正常网络通信、反馈正确网址信息等。

在一些可能的实施方式中，可以通过读取源站服务器的状态标识确定其是否正常。

在另一些可能的实施方式中，可以向源站服务器发送检测任务，若任务反馈信息正常，则确定源站服务器正常。

S405，若确定源站服务器正常，则将请求信息转发到源站服务器，以使源站服务器反馈目标资源；

S406，若确定源站服务器不正常，则将请求信息转发给伪源站服务器，以使伪源站服务器反馈目标资源。

其中，源站服务器用于维护任意类型的资源；伪源站服务器从源站服务器爬取资源进行存储，目标资源为资源的任一种。

通过本发明提供的服务提供方法，在获得目标资源的请求信息时，先判断源站服务器是否正常，在源站服务器正常的情况下将请求信息发送给源站服务器以获得目标资源，在源站服务器不正常的情况下将请求信息发送给伪源站服务器，由于伪源站服务器可以从源站服务器爬取资源进行存储，因此伪源站服务器获得请求信息后可以根据请求信息取得目标资源，该方法不仅实现了减少源站服务器不能服务时对用户造成无法访问的影响的同时，还利用伪源站服务器对源站服务器资源进行存储，降低对代理服务器的要求和维护成本。

可选地，为了使伪源站服务器的伪源功能发挥最大的作用，爬取资源更加完整和丰富，伪源站服务器可以通过以下方式从源站服务器或者代理服务器中爬取资源进行存储：

根据预设的爬取时间、爬取层级和爬取频率，从源站服务器或者代理服务器爬取资源。

可以理解是，根据自定义爬取时间和层级，重点爬取网站的关键部分的资源。比如爬取网站的5层、10层，爬取多长时间无论是否完毕就结束。

还可以理解的是，根据自定义爬取频率，比如爬取一次，或者周期性爬取，每天或者每周的几点开始爬取。或者结合业务场景，爬取一次，只有在重大活动或者网站割接的时候，例如源站服务器计划性关闭，启用伪源站服务器的时候，或者为了保持网站最新，在每天凌晨错过晚高峰爬取。

还可以理解的是，伪源站服务器在爬取目标上也可以实现多元化，比如直接爬取源站或者爬取代理服务器节点的资源，避免未爬取成功影响实际功能；

另一些可能的实施方式中，还可以通过以下方式爬取：

伪源站服务器获得链接地址的热度排行信息，根据热度排行信息，从源站服务器爬取链接地址对应的资源。

可以理解的是，结合代理服务器优势，代理服务器可以根据每天网站的访问量分析得到每天链接地址的热度排行信息，进而将热度排行信息发送给伪源站服务器，伪源站服务器可以根据发送链接地址爬取对应的内容。

另一些可能的实施方式中，还可以建立监测机制，如果伪源站服务器爬取过程中出现异常，则及时告警，爬取过程还可以有准确的进度展示，可视化爬取状态，方便及时了解爬取进程。

另一些可能的实施方式中，还可以设置多版本机制，最多3-5个版本或更多版本，供网站使用。

可选地，为了及时获得源站服务器和伪源站服务器的存活状态，在步骤S404之前，下面还给出一种实现方式，请参见图5，图5为本发明实施例提供的另一种资源获取方法的示意性流程图。

S401，按照预设时长，向源站服务器和伪源站服务器发送检测任务信息。

其中，预设时长指得的是发送检测任务信息的间隔时长，例如，每隔一分钟发送一个检测任务信息。

在一些可能的实施方式中，用户可以根据需求自定义预设时长。

在另一些可能的实施方式中，还可以根据源站服务器和伪源站服务器的应用场景设置预设时长，可以实现在特定场景中检测源站服务器和伪源站服务器的状态。

应理解，检测任务信息可以用来指示源站服务器和伪源站服务器反馈网址、设备标识等，可以但不限于网络层的TCP探测和应用层的HTTP探测，确认网络链接是否正常，应用请求是否正常。

S402，当获得源站服务器反馈的响应信息，将源站服务器和标记为存活；和/或，当获得伪源站服务器获得反馈的响应信息，将伪源站服务器标记为存活。

S403，当未获得源站服务器反馈的响应信息，将源站服务器标记为异常；和/或，当未获得伪源站服务器获得反馈的响应信息，将伪源站服务器标记为异常。

在上述实现步骤A至步骤C的基础上，图4中步骤S404的确定源站服务器的方式可以是：

步骤1，读取源站服务器的标记信息。

步骤2，当标记信息为存活，则确定源站服务器正常。

需要说的是，本发明实施例提供的服务提供方法包括的步骤可以根据实际需求配置执行顺序，本发明对此不予限定，图4或图5中仅示意了一种可能的步骤间的执行顺序，并不构成具体限定。

可选地，为了确保源站服务器异常时及时启动伪源站服务器，在步骤S404之前，下面还给出一种可能的实施方式，请参见图6，图6本发明实施例提供的代理服务器配置的示意性流程图。

步骤A，显示代理服务器的服务配置界面。

步骤B,接收用户在服务器界面上录入的源站服务器标识信息和伪源站服务器标识信息。

步骤C，为源站服务器标识信息和伪源站服务器标识信息配置权重系数。

可以理解的是，代理服务器在接到代理某网站业务的服务配置时，除了按照其作为代理在自己的服务器上面下发网站代理配置，还需要给伪源下发代理配置，并将伪源站服务器的IP和源站服务器IP同时作为代理服务器回源IP的选项，不同的是，这2个IP的权重系数不同，以主备的方式存在，例如，源站服务器IP权重系数要大于伪源站服务器的IP，从而可以实现当源站出现故障时，能够自动切换伪源的效果。

为了方便理解，请参见图7，图7为本发明实施例提供的一种可能的服务配置界面的示例图，可以看出，在服务器配置界面上具有回源IP的选择区域。

在一种实施方式中，用户可以点击源站IP对应的标识，将源站IP作为还原IP,这样一来，配置完成后，代理服务器获得资源请求信息之后，直接将资源请求信息发送个源站服务器。

在另一种实施方式中，用户可以点击伪源站IP对应的标识，将伪源站IP作为还原IP，配置完成后，代理服务器获得资源请求信息之后，直接将资源请求信息发送个源站服务器。

再一种实施方式中，用户可以同时点击源站IP对应的标识和伪源站IP对应的标识，配置完成后，代理服务器获得资源请求信息之后，将请求信息转发给权重系数较大对应的服务器，例如，源站IP权重系数为0.7，伪源站IP权重系数为0.3，则代理服务器将请求信息发送给源站服务器，从而实现主备回源的效果。

可选地，为避免滥用伪源，比如源站服务器只是网络波动，造成误切伪源站服务器，请参见图8，图8为本发明实施例提供的另一种服务配置界面的示例图。在图7给出的服务配置界面的基础上，下面还给出一种配置方式：

步骤D，当在服务配置界面接收到自动切换的选择操作，将伪源站服务器的启动方式配置为自动切换。

步骤E，当在服务配置界面接收到手动切换的选择操作，将伪源站服务器的启动方式配置为手动切换。

结合图8，为避免滥用伪源，可以设置伪源站服务器的启动方式自动或者手动方式，例如，当用户操作自动启动标识，开启自动启动模式，则在代理服务里面就是开启伪源状态。当用户再次操作自动启动标识，关闭自动启动模式，则代理服务器接收到手动切换指令，将伪源站服务器的启动方式配置为手动切换，在代理服务里面就是开关闭伪源状态。

通过上述实施例可以实现避免伪源误切换或伪源滥用的现象，有利于系统的稳定性。

本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

例如，本发明实施可以提供一种资源获取装置90,根据上述方法示例对资源获取装置90进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图9示出了上述资源获取装置90的一种可能的结构示意图。如图9所示，资源获取装置90可以包括：确定模块901、发送模块902。其中，确定模块901用于执行图4或图5中的过程S404；发送模块902用于执行图4或图5中的过程S405和S406。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在一种可选的实施方式中，资源获取装置90还可以包标记模块，则发送模块902还可以执行图5中的步骤S401，标记模块可以执行图5中的步骤S402和步骤S403。

在一些可选的实施方式中，确定模块901还用于图4或图5中的步骤S404。

在一些可能的实施方式中，资源获取装置90还包括交互模块，该交互模块用于执行上述实施例中步骤A至步骤D。

再另一方面，本发明实施例还提供一种资源获取系统，包括代理服务器、源站服务器和伪源站服务器，代理服务器、源站服务器和伪源站服务器通信连接；源站服务器用于维护任意类型的资源；伪源站服务器从源站服务器爬取资源进行存储；

代理服务器，用于获得目标资源的请求信息，确定源站服务器是否正常；若确定源站服务器正常，则将请求信息转发到源站服务器；目标资源为资源的任一种；

源站服务器，用于根据请求信息，向代理服务器发送目标资源；

代理服务器，还用于若确定源站服务器不正常，则将请求信息转发给伪源站服务器；

伪源站服务器，用于根据请求信息，向代理服务器发送目标资源。

本发明实施例提供的资源获取系统，不仅可以利用伪源站服务器进行资源爬取降低对代理服务器的要求和维护成本，同时，在源站服务器正常的情况下将请求信息发送给源站服务器以获得目标资源，在源站服务器不正常的情况下将请求信息发送给伪源站服务器，由于伪源站服务器可以从源站服务器爬取资源进行存储，因此伪源站服务器获得请求信息后可以根据请求信息取得目标资源，实现了减少源站服务器不能服务时对用户造成无法访问的影响。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

下面结合上述资源获取系统，给出一种应用场景举例，请参见图10，图10为本发明实施例提供的一种信令交互示意图。

首先，代理服务器可以与伪源站服务器和源站服务器进行交互，以检测伪源站服务器和源站服务器的状态，包括：

S11，代理服务器按照预设时长，向源站服务器和伪源站服务器发送检测任务信息。

S12，代理服务器接收源站服务器和伪源站服务器的响应信息。

S13，代理服务器根据响应信息，标记伪源站服务器和源站服务器的状态为存活或异常。

其次，伪源站服务器还可以执行以下流程：

S21，伪源站服务器从代理服务器和源站服务器爬取资源。

S22，伪源站服务器将爬取到的资源进行存储。

进而，在资源获取阶段可以执行以下流程：

S31，客户端向代理服务器发送目标资源的请求信息。

S32，代理服务器确定源站服务器是否正常，若正常，则执行S33，若不正常，则执行S34。

S33，代理服务器向伪源站服务器发送目标资源的请求信息。

S34，代理服务器向伪源站服务器发送目标资源的请求信息。

S35，代理服务器接收来自源站服务器或者伪源站服务器反馈的目标资源。

S36，代理服务器向客户端发送目标资源。

通过上述流程，本发明实施例不仅可以利用伪源站服务器进行资源爬取降低对代理服务器的要求和维护成本，同时，在源站服务器正常的情况下将请求信息发送给源站服务器以获得目标资源，在源站服务器不正常的情况下将请求信息发送给伪源站服务器，由于伪源站服务器可以从源站服务器爬取资源进行存储，因此伪源站服务器获得请求信息后可以根据请求信息取得目标资源，实现了减少源站服务器不能服务时对用户造成无法访问的影响。

本发明实施例还提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项的资源获取方法。该计算机可读存储介质可以是，但不限于，U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种资源获取方法，其特征在于，所述方法包括：

当获得目标资源的请求信息，确定源站服务器是否正常；

若确定所述源站服务器正常，则将所述请求信息转发到所述源站服务器，以使所述源站服务器反馈所述目标资源；

若确定所述源站服务器不正常，则将所述请求信息转发给伪源站服务器，以使所述伪源站服务器反馈所述目标资源；

其中，所述源站服务器用于维护任意类型的资源；所述伪源站服务器从所述源站服务器爬取所述资源进行存储，所述目标资源为所述资源的任一种。

2.根据权利要求1所述的资源获取方法，其特征在于，所述伪源站服务器通过以下方式爬取所述资源：

所述伪源站服务器根据预设的爬取时间、爬取层级和爬取频率，从所述源站服务器或者代理服务器爬取所述资源。

3.根据权利要求2所述的资源获取方法，其特征在于，所述伪源站服务器还通过以下方式爬取所述资源：

所述伪源站服务器获得链接地址的热度排行信息，根据所述热度排行信息，从所述源站服务器爬取所述链接地址对应的资源。

4.根据权利要求1所述的资源获取方法，其特征在于，所述方法包括：

按照预设时长，向所述源站服务器和所述伪源站服务器发送检测任务信息；

当获得所述源站服务器反馈的响应信息，将所述源站服务器和标记为存活；和/或，当获得所述伪源站服务器获得反馈的响应信息，将所述伪源站服务器标记为存活；

当未获得所述源站服务器反馈的响应信息，将所述源站服务器标记为异常；和/或，当未获得所述伪源站服务器获得反馈的响应信息，将所述伪源站服务器标记为异常。

5.根据权利要求4所述的资源获取方法，其特征在于，确定源站服务器是否正常，包括：

读取所述源站服务器的标记信息；

当所述标记信息为所述存活，则确定所述源站服务器正常。

6.根据权利要求2所述的资源获取方法，其特征在于，所述方法还包括：

显示所述代理服务器的服务配置界面；

接收用户在所述服务配置界上录入的源站服务器标识信息和伪源站服务器标识信息；

为所述源站服务器标识信息和所述伪源站服务器标识信息配置权重系数。

7.根据权利要求6所述的资源获取方法，其特征在于，所述方法还包括：

当在所述服务配置界面接收到自动切换的选择操作，将所述伪源站服务器的启动方式配置为所述自动切换；

当在所述服务配置界面接收到手动切换的选择操作，将所述伪源站服务器的启动方式配置为所述手动切换。

8.一种资源获取装置，其特征在于，包括：

确定模块，用于当获得目标资源的请求信息，确定源站服务器是否正常；

发送模块，用于若确定所述源站服务器正常，则将所述请求信息转发到所述源站服务器，以使所述源站服务器反馈所述目标资源；若确定所述源站服务器不正常，则将所述请求信息转发给伪源站服务器，以使所述伪源站服务器反馈所述目标资源；

其中，所述源站服务器用于维护任意类型的资源；所述伪源站服务器从所述源站服务器爬取所述资源进行存储，所述目标资源为所述资源的任一种。

9.一种代理服务器，其特征在于，所述代理服务器，用于：

当获得目标资源的请求信息，确定源站服务器是否正常；

若确定所述源站服务器正常，则将所述请求信息转发到所述源站服务器，以使所述源站服务器反馈所述目标资源；若确定所述源站服务器不正常，则将所述请求信息转发给伪源站服务器，以使所述伪源站服务器反馈所述目标资源；

其中，所述源站服务器用于维护任意类型的资源；所述伪源站服务器从所述源站服务器爬取所述资源进行存储，所述目标资源为所述资源的任一种。

10.一种资源获取系统，其特征在于，包括代理服务器、源站服务器和伪源站服务器，所述代理服务器、所述源站服务器和所述伪源站服务器通信连接；所述源站服务器用于维护任意类型的资源；所述伪源站服务器从所述源站服务器爬取所述资源进行存储；

所述代理服务器，用于获得目标资源的请求信息，确定源站服务器是否正常；若确定所述源站服务器正常，则将所述请求信息转发到所述源站服务器；所述目标资源为所述资源的任一种；

所述源站服务器，用于根据所述请求信息，向所述代理服务器发送所述目标资源；

所述代理服务器，还用于若确定所述源站服务器不正常，则将所述请求信息转发给所述伪源站服务器；

所述伪源站服务器，用于根据所述请求信息，向所述代理服务器发送所述目标资源。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现权利要求1至7任一项所述的资源获取方法。

12.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的资源获取方法。

Images