CN104010010B - 一种互联网资源的获取方法、装置及缓存系统 - Google Patents

Abstract

本发明公开了一种互联网资源的获取方法、装置及缓存系统，该方法包括：接收到移动用户发送的资源获取请求消息后，若未存储所述移动用户请求的资源，确定从互联网获取所述移动用户请求的资源时所需协议的协议类型；从已建立的协议类型与回源链路的对应关系中获取确定的协议类型对应的回源链路；通过确定的回源链路从所述互联网获取所述移动用户请求的资源。该方案保证在回源时传输每种协议类型的报文的质量和效率都很高，从而确保为移动用户提供服务的质量。

Description

一种互联网资源的获取方法、装置及缓存系统

技术领域

本发明涉及计算机技术领域，尤指一种互联网资源的获取方法、装置及缓存系统。

背景技术

缓存系统一般部署在移动网络的“边缘”，用以缓存互联网的资源，从而实现流量的本地化。其基本思想是“以存储换带宽”，若移动用户请求的资源存储在缓存系统中，则无需访问互联网，可以直接从缓存系统中获取发给移动用户，从而有效缓解互联网的压力，大幅提升移动用户体验。在实际应用过程中，互联网的热点资源会不断更新，缓存系统中存储的资源就会不断地失效，这就需要不断“拉回”互联网的资源，这个过程可以称为回源，缓存系统在回源时使用的链路称为回源链路，回源链路的质量以及回源时的效率直接影响到缓存系统为移动用户提供服务的质量。

运营商的链路可以分为骨干链路和非骨干链路，现有的回源链路一般固定采用运营商的骨干链路或签约第三方的链路，缓存系统在回源时，针对不同的资源通常需要使用不同类型的协议，例如，针对视频、音频、网页等等资源会使用不同协议类型的协议，固定的回源链路不能适用于缓存系统中所有类型的协议的报文，在回源时，传输有些协议类型的报文质量和效率很高，而针对有些协议类型的报文质量和效率就很低，由于回源时质量和效率低无法确保为移动用户提供服务的质量。

发明内容

本发明实施例提供一种互联网资源的获取方法、装置及缓存系统，用以解决现有技术中采用固定的回源链路导致在回源时传输有些协议类型的报文质量和效率低，进而无法确保为移动用户提供服务的质量的问题。

一种互联网资源的获取方法，包括：

接收到移动用户发送的资源获取请求消息后，若未存储所述移动用户请求的资源，确定从互联网获取所述移动用户请求的资源时所需协议的协议类型；

从已建立的协议类型与回源链路的对应关系中获取确定的协议类型对应的回源链路；

通过确定的回源链路从所述互联网获取所述移动用户请求的资源。

一种互联网资源的获取装置，包括

协议类型确定单元，用于接收到移动用户发送的资源获取请求消息后，若未存储所述移动用户请求的资源，确定从互联网获取所述移动用户请求的资源时所需协议的协议类型；

回源链路确定单元，用于从已建立的协议类型与回源链路的对应关系中获取确定的协议类型对应的回源链路；

资源获取单元，用于通过确定的回源链路从所述互联网获取所述移动用户请求的资源。

一种缓存系统，包括上述互联网资源的获取装置。

本发明有益效果如下：

本发明实施例提供的互联网资源的获取方法、装置及缓存系统，通过接收到移动用户发送的资源获取请求消息后，若未存储所述移动用户请求的资源，确定从互联网获取所述移动用户请求的资源时所需协议的协议类型；从已建立的协议类型与回源链路的对应关系中获取确定的协议类型对应的回源链路；通过确定的回源链路从所述互联网获取所述移动用户请求的资源。该方案会预先建立协议类型与回源链路的对应关系，根据从互联网获取资源时所需协议的协议类型的不同，会通过不同的回源链路从互联网获取移动用户请求的资源，不再采用固定的回源链路从互联网获取资源，这就可以保证在回源时传输每种协议类型的报文质量和效率都很高，从而确保为移动用户提供服务的质量。

附图说明

图1为本发明实施例中互联网资源的获取方法的流程图；

图2为本发明实施例中建立协议类型与回源链路的对应关系的方法流程图；

图3为本发明实施例中互联网资源的获取装置的结构示意图；

图4为本发明实施例中优选的互联网资源的获取装置的结构示意图；

图5为本发明实施例中优选的互联网资源的获取方法的流程图。

具体实施方式

针对现有技术中采用固定的回源链路导致在回源时传输有些协议类型的报文质量和效率低，进而无法确保为移动用户提供服务的质量的问题，本发明实施例提供一种互联网资源的获取方法，该方法的流程如图1所示，执行步骤如下：

S10：接收到移动用户发送的资源获取请求消息后，若未存储移动用户请求的资源，确定从互联网获取移动用户请求的资源时所需协议的协议类型。

S11：从已建立的协议类型与回源链路的对应关系中获取确定的协议类型对应的回源链路。

S12：通过确定的回源链路从互联网获取移动用户请求的资源。

该方案会预先建立协议类型与回源链路的对应关系，根据从互联网获取资源时所需协议的协议类型的不同，会通过不同的回源链路从互联网获取移动用户请求的资源，不再采用固定的回源链路从互联网获取资源，这就可以保证在回源时传输每种协议类型的报文质量和效率都很高，从而确保为移动用户提供服务的质量。

具体的，如图2所示，上述S11中的建立协议类型与回源链路的对应关系，具体包括：

S20：统计从互联网获取资源时所需协议的协议类型。

在建立协议类型与回源链路的对应关系时，需要首先获取从互联网获取资源时所需的所有协议，然后统计这些协议的协议类型。

S21：针对统计的每种协议类型：获取当前协议类型的报文，在第一设定时间周期内依次通过至少两条待选链路向互联网传输当前协议类型的报文。

假设可以通过M条链路从互联网获取资源，这M条链路可以包括骨干链路和非骨干链路，这些链路作为待选链路，这样也可以充分利用非骨干链路资源，提高在回源时的质量和效率。

在第一设定时间周期内可以依次通过至少两条待选链路向互联网传输当前协议类型的报文，可以选取待选链路中的几条，也可以选取所有的待选链路，例如：可以按照待选链路的编号从大到小的顺序传输当前协议类型的报文，也可以按照待选链路的编号从小到大的顺序传输当前协议类型的报文，当然还有其它的方式，第一设定时间周期可以按照时间需要进行设定。

S22：根据每条待选链路传输当前协议类型的报文的速度和带宽占用率，确定对应待选链路传输当前协议类型的报文的质量评估值。

S23：选取质量评估值最大的至少两个待选链路作为传输当前协议类型的报文的回源链路，建立选取的回源链路与当前协议类型的对应关系。

具体的，上述21中的获取当前协议类型的报文，具体包括：构造当前协议类型的报文；或者获取已有的待传输的当前协议类型的报文。

可以重新构造当前协议类型的报文，也可以直接获取待传输发送的当前协议类型的报文进行传输。

具体的，上述S22中的根据每条待选链路传输当前协议类型的报文的速度和带宽占用率，确定对应待选链路传输当前协议类型的报文的质量评估值，具体包括：获取每条待选链路传输当前协议类型的报文的速度和带宽占用率；将每条待选链路传输当前协议类型的报文的速度、对应待选链路的带宽占用率与带宽占用率门限值的差值乘以最大带宽所得的乘积加权求和，得到对应待选链路传输当前协议类型的报文的质量评估值。

具体的，上述S22中的根据每条待选链路传输当前协议类型的报文的速度和带宽占用率，确定对应待选链路传输当前协议类型的报文的质量评估值，具体包括：通过下列公式确定待选链路传输当前协议类型的报文的质量评估值S_x：S_x=k₁*Q_x+k₂*(a%-A%)*B_x。

其中，x为待选链路，Q_x为x传输当前协议类型的报文的速度，B_x为x的最大带宽；A%为x的带宽占用率；a%为x的带宽占用率门限值；k₁为x传输当前协议类型的报文的速度的权重系数，k₂为x的带宽占用率的权重系数；当A%≥a%时，k₂=0；当A%＜a%时，k₂=1。

这里仅仅列举了确定待选链路传输当前协议类型的报文的质量评估值的一个公式，还可以通过对该公式进行变形来确定，变形的方式有很多种，下面列举一种：S_x=（k₁/k₂）*Q_x+(a%-A%)*B_x。

具体的，上述S22中的根据每条待选链路传输当前协议类型的报文的速度和带宽占用率，确定对应待选链路发送当前协议类型的报文的质量评估值，具体包括：获取每条待选链路传输当前协议类型的报文的速度、带宽占用率和流量费用；将每条待选链路传输当前协议类型的报文的速度、对应待选链路的带宽占用率与带宽占用率门限值的差值乘以最大带宽所得的乘积和对应待选链路的剩余可用带宽加权求和，得到对应待选链路传输当前协议类型的报文的质量评估值。

还可以考虑每条待选链路的流量费用，例如骨干链路的流量费用会相对高一些，而非骨干链路的流量费用会相对低一些，因此，在确定待选链路传输当前协议类型的报文的质量评估值时，将待选链路的流量费用考虑在内选出的回源链路效益更高。

具体的，上述S22中的根据每条待选链路传输当前协议类型的报文的速度和带宽占用率，确定对应待选链路发送当前协议类型的报文的质量评估值，具体包括：通过下列公式确定待选链路传输当前协议类型的报文的质量评估值S_x：S_x=k₁*Q_x+k₂*(a%-A%)*B_x+k₃*E_x。

其中，x为待选链路，Q_x为x传输当前协议类型的报文的速度，B_x为x的最大带宽；A%为x的带宽占用率；a%为x的带宽占用率门限值；E_x为x的流量费用；k₁为x传输当前协议类型的报文的速度的权重系数，k₂为x的带宽占用率的权重系数，k3为x的流量费用的权重系数；当A%≥a%时，k₂=0；当A%＜a%时，k₂=1。

这里仅仅列举了确定待选链路传输当前协议类型的报文的质量评估值的一个公式，还可以通过对该公式进行变形来确定，变形的方式有很多种，下面列举一种：S_x=（k₁/k₂）*Q_x+(a%-A%)*B_x+（k₁/k₃）*E_x。

较优的，上述回源链路的选取方法，还包括：在第二设定时间周期到期后、监控到回源链路故障或者监控到回源链路的带宽占用率超过带宽占用率门限值后，执行S20。

可以按照建立的协议类型与回源链路的对应关系，从互联网获取资源，并监控各个回源链路是否正常。

当未监控到回源链路故障或者回源链路的带宽占用率超过带宽占用门限值时，就可以在第二设定时间周期到期后，也就是距离上一次选取回源链路的时间到达第二设定时间周期后，就可以重新选取回源链路，第二设定时间周期可以根据互联网上的热点资源更新的时间和实际需要进行设定，一般可以设定为半小时、1小时等等。

当监控到回源链路故障或者回源链路的带宽占用率超过带宽占用门限值之后，无需到达第二设定时间周期，就可以重新选取回源链路。

基于同一发明构思，本发明实施例提供一种回源链路的选取装置，该装置可以独立设置，也可以设置在缓存系统中，结构如图3所示，包括：

协议类型确定单元30，用于接收到移动用户发送的资源获取请求消息后，若未存储移动用户请求的资源，确定从互联网获取移动用户请求的资源时所需协议的协议类型。

回源链路确定单元31，用于从已建立的协议类型与回源链路的对应关系中获取确定的协议类型对应的回源链路。

资源获取单元32，用于通过确定的回源链路从互联网获取移动用户请求的资源。

具体的，上述回源链路确定单元31，具体用于：统计从互联网获取资源时所需协议的协议类型，针对统计的每种协议类型，执行如下操作：A、获取当前协议类型的报文，在第一设定时间周期内依次通过至少两条待选链路向互联网传输当前协议类型的报文；B、根据每条待选链路传输当前协议类型的报文的速度和带宽占用率，确定对应待选链路传输当前协议类型的报文的质量评估值；C、选取质量评估值最大的至少两个待选链路作为传输当前协议类型的报文的回源链路，建立选取的回源链路与当前协议类型的对应关系。

具体的，上述回源链路确定单元31，具体包括：构造当前协议类型的报文；或者获取已有的待传输的当前协议类型的报文。

具体的，上述回源链路确定单元31，具体包括：获取每条待选链路传输当前协议类型的报文的速度和带宽占用率；将每条待选链路传输当前协议类型的报文的速度、对应待选链路的带宽占用率与带宽占用率门限值的差值乘以最大带宽所得的乘积加权求和，得到对应待选链路传输当前协议类型的报文的质量评估值。

具体的，上述回源链路确定单元31，具体包括：通过下列公式确定待选链路传输当前协议类型的报文的质量评估值S_x：S_x=k₁*Q_x+k₂*(a%-A%)*B_x；其中，x为待选链路，Q_x为x传输当前协议类型的报文的速度，B_x为x的最大带宽；A%为x的带宽占用率；a%为x的带宽占用率门限值；k₁为x传输当前协议类型的报文的速度的权重系数，k₂为x的带宽占用率的权重系数；当A%≥a%时，k₂=0；当A%＜a%时，k₂=1。

具体的，上述回源链路确定单元31，具体包括：获取每条待选链路传输当前协议类型的报文的速度、带宽占用率和流量费用；将每条待选链路传输当前协议类型的报文的速度、对应待选链路的带宽占用率与带宽占用率门限值的差值乘以最大带宽所得的乘积和对应待选链路的剩余可用带宽加权求和，得到对应待选链路传输当前协议类型的报文的质量评估值。

具体的，上述回源链路确定单元31，具体包括：通过下列公式确定待选链路传输当前协议类型的报文的质量评估值S_x：S_x=k₁*Q_x+k₂*(a%-A%)*B_x+k₃*E_x；其中，x为待选链路，Q_x为x传输当前协议类型的报文的速度，B_x为x的最大带宽；A%为x的带宽占用率；a%为x的带宽占用率门限值；E_x为x的流量费用；k₁为x传输当前协议类型的报文的速度的权重系数，k₂为x的带宽占用率的权重系数，k3为x的流量费用的权重系数；当A%≥a%时，k₂=0；当A%＜a%时，k₂=1。

较优的，如图4所示，上述互联网资源的获取装置还包括：监控单元33，用于在第二设定时间周期到期后、监控到回源链路故障或者监控到回源链路的带宽占用率超过带宽占用率门限值后，转向回源链路确定单元。

下面以一个具体实施例来说明上述互联网资源的获取方法的具体流程，如图5所示，其中，互联网资源的获取装置单独设置，网管/流分系统用来检测链路的速度，网口也单独标出，待选链路未标出，具体执行步骤如下：

S50：互联网资源的获取装置通过配置管理界面，配置出口、协议、定时器等基本信息。

可以假设互联网资源的获取装置通往互联网有M个出口，每个出口对应一个链路，分别为链路1、链路2、……链路M。

S51：互联网资源的获取装置进行初始化。

S52：互联网资源的获取装置统计从互联网获取资源时所需协议的协议类型。

S53：互联网资源的获取装置针对获取的每种协议类型，构造当前协议类型的报文，启动定时器，在第一设定时间周期内依次通过所有待选链路传输当前协议类型的报文。

假设所需的协议有Protcal1、Protal2、Protal3……Protal n共N种，这N中协议的协议类型均不相同，那么构造类似于Protcal1、Protal2、Protal3……Protal n的N种报文。

S54：第一设定时间周期结束后，互联网资源的获取装置向网管/流分系统请求获取每条待选链路传输当前协议类型的报文的速度和带宽占用率。

S55：网管/流分系统向互联网资源的获取装置返回每条待选链路传输当前协议类型的报文速度和带宽占用率。

S56：互联网资源的获取装置根据每条待选链路传输当前协议类型的报文的速度和带宽占用率，确定对应待选链路传输当前协议类型的报文的质量评估值。

S57：互联网资源的获取装置基于质量评估值，选取质量评估值最大的至少两个待选链路作为传输当前协议类型的报文的回源链路，建立选取的回源链路与所述当前协议类型的对应关系。

S58：互联网资源的获取装置接收到移动用户发送的资源获取请求消息后，若未存储移动用户请求的资源，确定从互联网获取移动用户请求的资源时所需协议的协议类型；从已建立的协议类型与回源链路的对应关系中获取确定的协议类型对应的回源链路；通过确定的回源链路从互联网获取移动用户请求的资源。

S59：互联网资源的获取装置监测回源链路是否正常，若正常，执行S60；若不正常，执行S53。

回源链路不正常的情况包括回源链路故障或者回源链路的带宽占用率超过带宽占用门限值；若没有发生这两种情况，则回源链路是正常的。

S60：在第二设定时间周期到期后，执行S53。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种互联网资源的获取方法，其特征在于，包括：

接收到移动用户发送的资源获取请求消息后，若未存储所述移动用户请求的资源，确定从互联网获取所述移动用户请求的资源时所需协议的协议类型；

从已建立的协议类型与回源链路的对应关系中获取确定的协议类型对应的回源链路；

通过确定的回源链路从所述互联网获取所述移动用户请求的资源；

其中，建立协议类型与回源链路的对应关系，具体包括：

统计从所述互联网获取资源时所需协议的协议类型，针对统计的每种协议类型，执行如下操作：

A、获取当前协议类型的报文，在第一设定时间周期内依次通过至少两条待选链路向所述互联网传输所述当前协议类型的报文；

B、根据每条所述待选链路传输所述当前协议类型的报文的速度和带宽占用率，确定对应待选链路传输所述当前协议类型的报文的质量评估值；

C、选取质量评估值最大的至少两个待选链路作为传输所述当前协议类型的报文的回源链路，建立选取的回源链路与所述当前协议类型的对应关系。

2.如权利要求1所述的方法，其特征在于，获取当前协议类型的报文，具体包括：

构造所述当前协议类型的报文；或者

获取已有的待传输的所述当前协议类型的报文。

3.如权利要求1所述的方法，其特征在于，根据每条所述待选链路传输所述当前协议类型的报文的速度和带宽占用率，确定对应待选链路传输所述当前协议类型的报文的质量评估值，具体包括：

获取每条所述待选链路传输所述当前协议类型的报文的速度和带宽占用率；

将每条所述待选链路传输所述当前协议类型的报文的速度、对应待选链路的带宽占用率与带宽占用率门限值的差值乘以最大带宽所得的乘积加权求和，得到对应待选链路传输所述当前协议类型的报文的质量评估值。

4.如权利要求3所述的方法，其特征在于，根据每条所述待选链路传输所述当前协议类型的报文的速度和带宽占用率，确定对应待选链路传输所述当前协议类型的报文的质量评估值，具体包括：

通过下列公式确定待选链路传输所述当前协议类型的报文的质量评估值S_x：S_x＝k₁*Q_x+k₂*(a％-A％)*B_x；

其中，x为待选链路，Q_x为x传输当前协议类型的报文的速度，B_x为x的最大带宽；A％为x的带宽占用率；a％为x的带宽占用率门限值；k₁为x传输当前协议类型的报文的速度的权重系数，k₂为x的带宽占用率的权重系数；当A％≥a％时，k₂＝0；当A％＜a％时，k₂＝1。

5.如权利要求1所述的方法，其特征在于，根据每条所述待选链路传输所述当前协议类型的报文的速度和带宽占用率，确定对应待选链路发送所述当前协议类型的报文的质量评估值，具体包括：

获取每条所述待选链路传输所述当前协议类型的报文的速度、带宽占用率和流量费用；

将每条所述待选链路传输所述当前协议类型的报文的速度、对应待选链路的带宽占用率与带宽占用率门限值的差值乘以最大带宽所得的乘积和对应待选链路的剩余可用带宽加权求和，得到对应待选链路传输所述当前协议类型的报文的质量评估值。

6.如权利要求5所述的方法，其特征在于，根据每条所述待选链路传输所述当前协议类型的报文的速度和带宽占用率，确定对应待选链路发送所述当前协议类型的报文的质量评估值，具体包括：

通过下列公式确定待选链路传输所述当前协议类型的报文的质量评估值S_x：S_x＝k₁*Q_x+k₂*(a％-A％)*B_x+k₃*E_x；

其中，x为待选链路，Q_x为x传输当前协议类型的报文的速度，B_x为x的最大带宽；A％为x的带宽占用率；a％为x的带宽占用率门限值；E_x为x的流量费用；k₁为x传输当前协议类型的报文的速度的权重系数，k₂为x的带宽占用率的权重系数，k3为x的流量费用的权重系数；当A％≥a％时，k₂＝0；当A％＜a％时，k₂＝1。

7.如权利要求1所述的方法，其特征在于，还包括：

在第二设定时间周期到期后、监控到回源链路故障或者监控到回源链路的带宽占用率超过带宽占用率门限值后，执行A。

8.一种互联网资源的获取装置，其特征在于，包括：

协议类型确定单元，用于接收到移动用户发送的资源获取请求消息后，若未存储所述移动用户请求的资源，确定从互联网获取所述移动用户请求的资源时所需协议的协议类型；

回源链路确定单元，用于从已建立的协议类型与回源链路的对应关系中获取确定的协议类型对应的回源链路；

资源获取单元，用于通过确定的回源链路从所述互联网获取所述移动用户请求的资源；

其中，所述回源链路确定单元，具体用于：

统计从互联网获取资源时所需协议的协议类型，针对统计的每种协议类型，执行如下操作：

A、获取当前协议类型的报文，在第一设定时间周期内依次通过至少两条待选链路向所述互联网传输所述当前协议类型的报文；

B、根据每条所述待选链路传输所述当前协议类型的报文的速度和带宽占用率，确定对应待选链路传输所述当前协议类型的报文的质量评估值；

C、选取质量评估值最大的至少两个待选链路作为传输所述当前协议类型的报文的回源链路，建立选取的回源链路与所述当前协议类型的对应关系。

9.如权利要求8所述的装置，其特征在于，所述回源链路确定单元，具体用于：

构造所述当前协议类型的报文；或者

获取已有的待传输的所述当前协议类型的报文。

10.如权利要求8所述的装置，其特征在于，所述回源链路确定单元，具体用于：

获取每条所述待选链路传输所述当前协议类型的报文的速度和带宽占用率；

将每条所述待选链路传输所述当前协议类型的报文的速度、对应待选链路的带宽占用率与带宽占用率门限值的差值乘以最大带宽所得的乘积加权求和，得到对应待选链路传输所述当前协议类型的报文的质量评估值。

11.如权利要求10所述的装置，其特征在于，所述回源链路确定单元，具体用于：

通过下列公式确定待选链路传输所述当前协议类型的报文的质量评估值S_x：S_x＝k₁*Q_x+k₂*(a％-A％)*B_x；

其中，x为待选链路，Q_x为x传输当前协议类型的报文的速度，B_x为x的最大带宽；A％为x的带宽占用率；a％为x的带宽占用率门限值；k₁为x传输当前协议类型的报文的速度的权重系数，k₂为x的带宽占用率的权重系数；当A％≥a％时，k₂＝0；当A％＜a％时，k₂＝1。

12.如权利要求8所述的装置，其特征在于，所述回源链路确定单元，具体用于：

获取每条所述待选链路传输所述当前协议类型的报文的速度、带宽占用率和流量费用；

将每条所述待选链路传输所述当前协议类型的报文的速度、对应待选链路的带宽占用率与带宽占用率门限值的差值乘以最大带宽所得的乘积和对应待选链路的剩余可用带宽加权求和，得到对应待选链路传输所述当前协议类型的报文的质量评估值。

13.如权利要求12所述的装置，其特征在于，所述回源链路确定单元，具体用于：

通过下列公式确定待选链路传输所述当前协议类型的报文的质量评估值S_x：S_x＝k₁*Q_x+k₂*(a％-A％)*B_x+k₃*E_x；

其中，x为待选链路，Q_x为x传输当前协议类型的报文的速度，B_x为x的最大带宽；A％为x的带宽占用率；a％为x的带宽占用率门限值；E_x为x的流量费用；k₁为x传输当前协议类型的报文的速度的权重系数，k₂为x的带宽占用率的权重系数，k3为x的流量费用的权重系数；当A％≥a％时，k₂＝0；当A％＜a％时，k₂＝1。

14.如权利要求8所述的装置，其特征在于，还包括监控单元，用于在第二设定时间周期到期后、监控到回源链路故障或者监控到回源链路的带宽占用率超过带宽占用率门限值后，转向所述回源链路确定单元。

15.一种缓存系统，其特征在于，包括如权利要求8-14任一所述的互联网资源的获取装置。