CN110855786A - 针对网络数据请求的处理方法、设备及计算机存储介质 - Google Patents

Abstract

本发明公开了一种针对网络数据请求的处理方法、设备及计算机可读存储介质，该方法应用于代理服务端，所述代理服务端设置于源站服务器和内容分发网络(CDN)之间，首先拦截由所述CDN向源站服务器发送的网络数据请求；之后解析所述网络数据请求，得到请求数据量；进一步地判断所述请求数据量是否与源站数据块单元的量级匹配；最后若经判断所述请求数据量与源站数据块单元的量级不匹配，则从本地缓存中与所请求数据相对应的数据块获取数据，以响应所述网络数据请求。如此，当发生请求数据量与源站数据块单元的量级不匹配的回源操作时，可以大大减少源站服务器的IO操作。

Description

针对网络数据请求的处理方法、设备及计算机存储介质

技术领域

本发明涉及数据传输技术领域，尤其涉及一种针对网络数据请求的处理方法、设备及计算机存储介质。

背景技术

随着内容分发网络(Content Delivery Network，CDN)的广泛应用和日益普及，互联网的传输服务质量得到了很大的改善，越来越多的内容得以在网络上高速传播，特别是音频、视频等大文件，甚至是超大文件的传输也越来越频繁。

在这种情况下，为了提供更加高速和稳定的内容访问服务，在存储各类数据文件的CDN源站服务器端，往往会对大文件进行分块存储，用数据块单元作为存储和读写大文件的基本操作单元。

与此同时，在客户端，也推出了很多可以多线程并发发送网络数据请求、共同合作完成某一任务的工具，比如高速下载工具，以提升用户的传输体验。当用户使用这些工具时，就会产生大量并发发送的、请求小数据量数据的、不连续的网络数据请求。在通过CDN加速数据传输的网络里，如果是首次访问或下载某个内容，每一个网络数据请求都会触发一次CDN回源操作。若源站数据块单元的量级难以与之匹配，就会导致频繁的IO操作，使源站服务器压力骤增。

发明内容

本发明实施例为了解决当前CDN领域所存在的以上缺陷，创造性地提供一种针对网络数据请求的处理方法、设备及计算机可读存储介质。

根据本发明的第一方面，提供一种针对网络数据请求的处理方法，应用于代理服务端，所述代理服务端设置于源站服务器和内容分发网络CDN之间，所述方法包括：拦截由所述CDN向源站服务器发送的网络数据请求；解析所述网络数据请求，得到请求数据量；判断所述请求数据量是否与源站数据块单元的量级匹配；若经判断所述请求数据量与源站数据块单元的量级不匹配，则从本地缓存中与所请求的数据相对应的数据块获取数据，以响应所述网络数据请求。

根据本发明一实施方式，所述方法还包括：若经判断所述请求数据量与源站数据块单元的量级匹配，则直接从源站数据块获取数据，以响应所述网络数据请求。

根据本发明一实施方式，在从本地缓存中与所请求数据相对应的数据块获取数据，以响应所述网络数据请求之前，所述方法还包括：检测所述本地缓存中是否存在与所请求数据相对应的数据块；若所述本地缓存中不存在与所请求数据相对应的数据块，则从源站拉取与所请求数据相对应的数据块；将所拉取的与所请求数据相对应的数据块缓存至本地。

根据本发明一实施方式，所述方法还包括：在将所拉取的与所请求数据相对应的数据块缓存至本地的过程中，设置缓存有效时间。

根据本发明一实施方式，所述方法还包括：在所设置的缓存有效时间之后，清除本地缓存中已过期的与所述请求数据量相对应的数据块。

根据本发明的第二方面，又提供一种针对网络数据请求的处理设备，设置于代理服务端，所述代理服务端设置于源站服务器和内容分发网络CDN之间，其特征在于，所述设备包括：拦截模块，用于拦截由所述CDN向源站服务器发送的网络数据请求；解析模块，用于解析所述网络数据请求，得到请求数据量；判断模块，用于判断所述请求数据量是否与源站数据块单元的量级匹配；数据获取模块，用于若经判断所述请求数据量与源站数据块单元的量级不匹配，则从本地缓存中与所请求数据相对应的数据块获取数据，以响应所述网络数据请求。

根据本发明一实施方式，所述设备中的数据获取模块还用于，若经判断所述请求数据量与源站数据块单元的量级匹配，则直接从源站数据块获取数据，以响应所述网络数据请求。

根据本发明一实施方式，所述设备还包括：检测模块，用于在从本地缓存中的数据块单元获取数据，以响应所述网络数据请求之前，检测所述本地缓存中是否存在所述网络数据请求的数据；所述数据获取模块，还用于若所述本地缓存中不存在与所请求数据相对应的数据块，则从源站拉取与所请求数据相对应的数据块；缓存模块，用于将所拉取的与所请求数据相对应的数据块缓存至本地。

根据本发明一实施方式，所述设备还包括：设置模块，用于在将所拉取的与所请求数据相对应的数据块缓存至本地的过程中，设置缓存有效时间。

根据本发明一实施方式，所述设备还包括：清除模块，用于在所设置的缓存有效时间之后，清除本地缓存中已过期的与所述请求数据量相对应的数据块。

根据本发明的第三方面，又提供一种计算机可读存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行上述任一所述针对网络数据请求的处理方法。

本发明实施例针对网络数据请求的处理方法、设备及计算机可读存储介质，该方法应用于代理服务端，所述代理服务端设置于源站服务器和内容分发网络(CDN)之间，首先拦截由所述CDN向源站服务器发送的网络数据请求；之后解析所述网络数据请求，得到请求数据量；进一步地判断所述请求数据量是否与源站数据块单元的量级匹配；最后若经判断所述请求数据量与源站数据块单元的量级不匹配，则从本地缓存中与所请求数据相对应的数据块获取数据，以响应所述网络数据请求。如此，当发生请求数据量与源站数据块单元的量级不匹配的回源操作时，可以大大减少源站服务器的IO操作，降低了源站服务器的压力。

需要理解的是，本发明的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本发明的其他实施方式还能够实现上面未提到的有益效果。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1示出了本发明实施例针对网络数据请求处理的应用场景示意图；

图2示出了本发明实施例针对网络数据请求的处理方法的实现流程示意图；

图3示出了本发明一应用针对网络数据请求的处理方法的具体实现流程示意图；

图4示出了本发明实施例针对网络数据请求的处理设备的组成结构示意图；

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为使本发明更加透彻和完整，并能够将本发明的范围完整地传达给本领域的技术人员。

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

图1示出了本发明实施例针对网络数据请求处理的应用场景示意图。如图1所示，代理服务11，设置于源站服务器和CDN之间，用于在针对网络数据请求的处理设备上，运行计算机存储介质包括的一组计算机指令，即可执行针对网络数据请求的处理方法；源站服务器12，用于存储网络数据请求所请求的数据，该数据可以通过分块存储的方式存储在某个源站数据块中。所述代理服务11与源站服务器12的关系可以是一一对应的，也可以一对多或是多对多。

图2示出了本发明实施例针对网络数据请求的处理方法的实现流程示意图。如图2所示，本发明实施例针对网络数据请求的处理方法，所述方法包括：操作201，拦截由CDN向源站服务器发送的网络数据请求；操作202，解析网络数据请求，得到请求数据量；操作203，判断请求数据量是否与源站数据块单元的量级匹配；操作204，若经判断请求数据量与源站数据块单元的量级不匹配，则从本地缓存中与所请求数据相对应的数据块获取数据，以响应网络数据请求。

在操作201，网络数据请求可以是超文本传输协议(HyperText TransferProtocol，HTTP)请求，也可以是符合其他数据传输协议的网络数据请求。该网络数据请求的请求参数通常包括以下信息：

所请求的源站服务器地址，用于从源站服务器获取数据或数据块时，指定机器地址；所请求的内容类型，用于决定以适当的方式获取或返回所请求的数据；所请求的数据文件或数据源的名称及路径，用于从源站服务器获取数据或数据块时，指定数据文件或数据源；所请求的内容范围，用于计算请求数据量大小和确定与所请求数据相对应的数据块。以HTTP请求为例，这些信息可以通过网络数据请求头(HTTP header)或请求体(HTTP body)来获取。

在操作202，解析网络数据请求携带的以上参数，记录所需信息。

在操作203，可以通过所请求的内容范围，借助范围上限和下限计算出请求数据量的大小；然后对比请求量的大小和源站数据块单元的大小，判断请求数据量是否与源站数据块单元的量级匹配。

这里，以HTTP请求为例，请求数据量的大小，可以通过HTTP header中的获取Range参数，计算得到。例如：若Range:bytes＝5001-10000，表示请求从5001字节开始至10000字节结束的内容，此时的数据量大小为5000个字节，也就是5K；

这里，源站数据块单元大小通常是个固定值。在判断请求的数据量与源站数据块单元量级是否匹配时，可以用网络数据请求量的大小除以源站数据块单元的大小得到一个比例值，而用该比例值与比例阈值进行比较。其中，比例阈值可以是一个固定值，也可以通过某种配置途径进行设定。如果是通过某种配置途径进行设定的，则更为灵活。这样，在后续应用中，还可以根据实际应用的反馈情况，来调整这一比例阈值，以达到最佳实施效果。

操作204，若经判断请求数据量与源站数据块单元的量级不匹配，则从本地缓存中与所请求数据相对应的数据块获取数据，以响应所述网络数据请求。

这样，大部分请求无需访问源站服务器，通过本地缓存就可以取到所请求数据，从而大大减少了对源站服务器的IO操作。

根据本发明一实施方式，本发明在操作204时，所述方法还包括：若经判断请求数据量与源站数据块单元的量级匹配，则直接从源站数据块获取数据，以响应网络数据请求。

根据本发明一实施方式，本发明在操作204时，在从本地缓存中与所请求数据相对应的数据块获取数据，以响应网络数据请求之前，所述方法还包括：检测本地缓存中是否存在与所请求数据相对应的数据块；若本地缓存中不存在与所请求数据相对应的数据块，则从源站拉取与所请求数据相对应的数据块；将所拉取的与所请求数据相对应的数据块缓存至本地。

这里，检测本地缓存中是否存在与所请求数据相对应的数据块，可以通过比对所请求的内容范围和缓存中各个数据块的内容范围。数据块的内容范围，指的是记录数据块单元存储的内容是从第几个字节开始到第几个字节结束的内容。

从源站拉取与所请求数据相对应的数据块时，可以根据所请求数据的内容范围来请求与所请求数据的相对应的数据块。以HTTP请求为例，若HTTPheader里的参数指定Range:bytes＝5001-10000，表示请求从5001字节开始至10000字节结束的内容，假设源站数据块单元的大小为4M，则要请求的数据块应该是内容范围为从1字节到40000字节的数据块。

根据本发明一实施方式，本发明在操作204时，所述方法还包括：在将所拉取的与所请求数据相对应的数据块缓存至本地的过程中，设置缓存有效时间。

这里，设置的缓存有效时间的时长可以是固定的值，也可以通过某种配置途径进行设定。如果是通过某种途径进行设定的，则更为灵活。这样，在后续应用中，还可以根据实际应用的反馈情况，来调整这一时长，以达到最佳实施效果。

根据本发明一实施方式，本发明在操作204时，所述方法还包括：在所设置的缓存有效时间之后，清除本地缓存中已过期的与所述请求数据量相对应的数据块。

这里，设置缓存有效时间，清除过期的数据块，可以确保本地缓存中的数据块能定期与源站数据块同步，获取最近更新的数据。

图3示出了本发明一应用网络数据请求的处理方法的具体实现流程示意图。如图3所示，当CDN向源站服务器发送一个网络数据请求，本发明一应用实例执行所述处理网络数据请求的方法包括：

步骤301，拦截CDN向源站服务器发送的网络数据请求；

步骤302，解析该网络数据请求，从请求参数中获取源站服务器地址、所请求的内容类型、所请求的数据文件或数据源的名称及路径以及所请求的内容范围及大小等信息；

步骤303，根据步骤302获取的所请求的内容范围计算请求数据量的大小，并判断请求的数据量与源站数据块单元量级是否匹配；若匹配，则继续步骤304；若不匹配，则继续步骤305；

步骤304，从源站数据块获取数据；

步骤305，检测本地缓存中是否存在与所请求数据相对应的数据块；若存在，则继续步骤306；若不存在，则继续步骤207；

步骤306，从源站拉取与所请求数据相对应的数据块，缓存到本地，记录数据块内容范围，并设置缓存有效时间；

步骤307，从本地缓存中与所请求数据相对应的数据块，获取所请求数据；

步骤308，根据从源站获取的数据，或从本地缓存获取的数据，对网络数据请求做出响应。

以下载一个100M大文件为例，假设该文件在源站服务器端以4M的数据块单元分块存储，如果客户端用高速下载工具并发发送200个网络数据请求，而且使首次下载该文件的情况下：

若未采用本发明实施例针对网络数据请求的处理方法，这200个网络数据请求都会触发回源操作，每个网络数据请求分别请求0.5M的不同数据，源站服务器端的每个数据块平均要被请求8次，源站服务器要相应地也要进行8次IO操作，而且这些网络数据请求都是短时间内并发的密集请求，故而使源站服务器压力骤增。

反之，若采用本发明实施例针对网络数据请求的处理方法，这200个网络数据请求所触发的回源操作会被代理服务拦截，而不会直接发送给源站服务器；由于每个网络数据请求的请求数据量大小为0.5M，而源站数据块单元的大小为4M，二者比例为1/8；假设，判断所述请求数据量与源站数据块单元的量级不匹配的条件为二者比例小于等于1/3，那么这一情况可确定为请求数据量与源站数据块单元的量级不匹配；此时，代理服务便会通过本地缓存来响应数据请求。进一步具体地讲，假设网络数据请求1到网络数据请求8都访问数据块A中的数据，当第一个接收到的网络数据请求1试图从本地缓存中请求数据而未找到时，就会从源站服务器拉取数据块A并缓存到本地；这样，紧随其后的网络数据请求2到网络数据请求8都可以在本地缓存中的数据块A中请求到数据而无需对源站服务器进行IO操作。此时，同样的8个网络数据请求，仅需对源站服务器数据块单元A进行了1次IO操作，从而大大减少了源站服务器的压力。

基于上文所述针对网络数据请求的处理方法，本发明实施例还提供一种针对网络数据请求的处理设备，如图4所示，所述处理设备40设置于代理服务端，所述代理服务端设置于源站服务器和CDN之间。该电子设备40包括：拦截模块401，用于拦截由CDN向源站服务器发送的网络数据请求；解析模块402，用于解析网络数据请求，得到请求数据量；判断模块403，用于判断请求数据量是否与源站数据块单元的量级匹配；数据获取模块404，用于若经判断请求数据量与源站数据块单元的量级不匹配，则从本地缓存中与所请求数据相对应的数据块获取数据，以响应网络数据请求。

根据本发明一实施方式，所述数据获取模块404还用于，若经判断请求数据量与源站数据块单元的量级匹配，则直接从源站数据块获取数据，以响应网络数据请求。

根据本发明一实施方式，根据本发明一实施方式，所述设备还包括：检测模块，用于在从本地缓存中的数据块单元获取数据，以响应网络数据请求之前，检测本地缓存中是否存在网络数据请求的数据；数据获取模块404，还用于若本地缓存中不存在与所请求数据相对应的数据块，则从源站拉取与所请求数据相对应的数据块；缓存模块，用于将所拉取的与所请求数据相对应的数据块缓存至本地。

根据本发明一实施方式，所述设备还包括：设置模块，用于在将所拉取的与所请求数据相对应的数据块缓存至本地的过程中，设置缓存有效时间。

根据本发明一实施方式，所述设备还包括：清除模块，用于在所设置的缓存有效时间之后，清除本地缓存中已过期的与请求数据量相对应的数据块。

同样，基于如上文所述针对网络数据请求的处理方法，本发明实施例又提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器至少执行如下所述的操作步骤：操作101，拦截由CDN向源站服务器发送的网络数据请求；操作102，解析网络数据请求，得到请求数据量；操作103，判断请求数据量是否与源站数据块单元的量级匹配；操作104，若经判断请求数据量与源站数据块单元的量级不匹配，则从本地缓存中与所请求数据相对应的数据块获取数据，以响应所述网络数据请求。

这里需要指出的是：以上针对网络数据请求的处理设备及计算机存储介质实施例的描述，与前述图2和3所示的方法实施例的描述是类似的，具有同前述图2和3所示的方法实施例相似的有益效果，因此不做赘述。对于本发明电子设备实施例中未披露的技术细节，请参照本发明前述图2和图3所示的方法实施例的描述而理解，为节约篇幅，因此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种针对网络数据请求的处理方法，应用于代理服务端，所述代理服务端设置于源站服务器和内容分发网络CDN之间，其特征在于，所述方法包括：

拦截由所述CDN向源站服务器发送的网络数据请求；

解析所述网络数据请求，得到请求数据量；

判断所述请求数据量是否与源站数据块单元的量级匹配；

若经判断所述请求数据量与源站数据块单元的量级不匹配，则从本地缓存中与所请求数据相对应的数据块获取数据，以响应所述网络数据请求。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若经判断所述请求数据量与源站数据块单元的量级匹配，则直接从源站数据块获取数据，以响应所述网络数据请求。

3.根据权利要求1或2所述的方法，其特征在于，在从本地缓存中与所请求数据相对应的数据块获取数据，以响应所述网络数据请求之前，所述方法还包括：

检测所述本地缓存中是否存在与所请求数据相对应的数据块；

若所述本地缓存中不存在与所请求数据相对应的数据块，则从源站拉取与所请求数据相对应的数据块；

将所拉取的与所请求数据相对应的数据块缓存至本地。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在将所拉取的与所请求数据相对应的数据块缓存至本地的过程中，设置缓存有效时间。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所设置的缓存有效时间之后，清除本地缓存中已过期的与所述请求数据量相对应的数据块。

6.一种针对网络数据请求的处理设备，设置于代理服务端，所述代理服务端设置于源站服务器和内容分发网络CDN之间，其特征在于，所述设备包括：

拦截模块，用于拦截由所述CDN向源站服务器发送的网络数据请求；

解析模块，用于解析所述网络数据请求，得到请求数据量；

判断模块，用于判断所述请求数据量是否与源站数据块单元的量级匹配；

数据获取模块，用于若经判断所述请求数据量与源站数据块单元的量级不匹配，则从本地缓存中与所请求数据相对应的数据块获取数据，以响应所述网络数据请求。

7.根据权利要求6所述的设备，其特征在于，

所述数据获取模块还用于，若经判断所述请求数据量与源站数据块单元的量级匹配，则直接从源站数据块获取数据，以响应所述网络数据请求。

8.根据权利要求6或7所述的设备，其特征在于，所述设备还包括：

检测模块，用于在从本地缓存中的数据块单元获取数据，以响应所述网络数据请求之前，检测所述本地缓存中是否存在所述网络数据请求的数据；

所述数据获取模块，还用于若所述本地缓存中不存在与所请求数据相对应的数据块，则从源站拉取与所请求数据相对应的数据块；

缓存模块，用于将所拉取的与所请求数据相对应的数据块缓存至本地。

9.根据权利要求8所述的设备，其特征在于，所述设备还包括：

设置模块，用于在将所拉取的与所请求数据相对应的数据块缓存至本地的过程中，设置缓存有效时间。

10.一种计算机可读存储介质，其特征在于，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行权利要求1至5任一项所述针对网络数据请求的处理方法。

Images