CN104079534B

CN104079534B - 一种http缓存实现方法和系统

Info

Publication number: CN104079534B
Application number: CN201310102114.2A
Authority: CN
Inventors: 姜欣; 崔昆; 杜建凤; 王子兵; 吴茜; 郭志刚; 李鹏; 李可; 李旬
Original assignee: China Mobile Group Beijing Co Ltd
Current assignee: China Mobile Group Beijing Co Ltd
Priority date: 2013-03-27
Filing date: 2013-03-27
Publication date: 2017-11-03
Anticipated expiration: 2033-03-27
Also published as: CN104079534A

Abstract

本发明公开了一种HTTP缓存实现方法和系统，该系统包括用户终端、Local DNS服务器、DPI系统、DNS重定向服务器、ICP DNS服务器和缓存服务器，通过定时器的启用和监控，能够保证在T2‑T1的有效时间段内只要能够接受到DNS重定向服务器反馈的DNS解析结果，就能保证用户使用缓存，从而规避了现有DNS劫持方案在ICP DNS服务器先于DNS重定向服务器回复DNS解析结果所导致的缓存无法服务本网用户的问题，并且通过TTL提前迭代查询及缓存刷新的机制实现了Local DNS服务器中缓存的解析结果的有效持续，规避了DNS查询过程中用户需要等待DNS查询所产生的时延问题，大大提高用户感知并提高了系统效率。

Description

一种HTTP缓存实现方法和系统

技术领域

本发明涉及传输与IP技术领域，尤其涉及一种HTTP缓存实现方法和系统。

背景技术

目前一个移动运营商如果由于网内资源不足，在进行互联网业务访问时常常需要到其他运营商网内获取资源，移动用户通过跨网访问互联网资源时会产生两方面问题：一是路由经过互联互通关口，给用户感知带来较大的影响；二是会产生一定的互联互通结算费用。Cache系统作为互联网与移动运营商网络间的缓冲带，能够有效吸纳互联网通道上的热点流量，减少网间和网内的流量压力，加快网络访问速度，提高用户互联网体验，降低对其他运营商网间互联链路的依赖。

网页缓存系统手工配置能够完成缓存服务的网站域名，通过DNS劫持、DNSforward或者策略路由方式(策略路由方式又分为代理模式和透明模式)，将DNS的流量路由至缓存系统，当缓存系统发现已经配置了请求域名的缓存服务功能时，缓存系统将伪造一个DNS响应报文返回给用户，其中域名还是用户请求的域名，IP地址是缓存系统中针对该域名的缓存服务器地址，于是用户针对该域名所有URL的请求都会被路由至该缓存服务器，如果用户请求的是静态资源，缓存服务器将从自己的缓存中取出资源反馈给用户，如果用户请求的动态资源，缓存服务器将代理用户向源站进行请求和响应。上述四种方式中，其中DNS劫持方式的实现流程如下：

(1)用户发起DNS请求；

(2)Local DNS查询DNS缓存中是否有结果，如果有，直接回复用户，如果没有，发起迭代查询；

(3)DNS迭代查询报文经分光设备，DPI获得DNS请求报文。重定向设备判断请求的域名是否是在webcache中预先配置的缓存域名；

(4)若是，伪造一个DNS的响应结果，其IP地址是webcache服务器地址；

(5)同时ICP DNS服务器也会反馈一个正常的DNS解析结果；

(6)用户先拿到哪个解析结果，就访问相应的服务器；

但是在上述DNS劫持方式中，为了能让缓存系统实现HTTP的缓存作用，必须要让缓存重定向系统反馈的DNS解析结果提前于ICP DNS反馈的DNS解析结果到达运营商的LocalDNS服务器，然而，我们在实际应用中发现，由于DNS劫持方案中，DPI以及缓存系统的重定向系统需要一定的处理时延，在部分网站的域名DNS服务器反馈较快时，这些ICP DNS服务器反馈的DNS解析结果会先于缓存系统重定向系统反馈的DNS解析结果到达运营商Local DNS服务器，从而导致在某些域名资源在缓存系统缓存了，用户也无法访问这些资源，造成了资源的浪费并降低了用户感知。

发明内容

为了解决现有技术中存在的某些域名资源在缓存系统缓存了，用户也无法访问这些资源的技术问题，本发明提出一种HTTP缓存实现方法和系统，只要能够接受到DNS重定向服务器反馈的DNS解析结果，就能保证用户使用缓存系统。

本发明一方面提供了一种HTTP缓存实现方法，包括以下步骤：

Local DNS服务器的缓存中，针对需要处理的域名，设置迭代查询的触发时间；

针对所述域名发起DNS请求，在第一时刻T1，所述域名TTL值到达触发时间，触发发起针对所述域名的迭代查询；

Local DNS服务器针对所述域名启动DNS定时器计时，对所述域名的响应结果进行监控；

DPI系统截获到Local DNS服务器迭代查询，所述DNS请求报文发送到ICP DNS服务器，DPI系统对所述域名进行截获，将所述域名送至HTTP缓存系统的DNS重定向服务器；

所述DNS重定向服务器判断所述域名是否HTTP缓存系统能够服务的域名，如果是，则伪造一个DNS响应报文，将所述DNS响应报文中的域名对应的IP地址设为HTTP缓存系统中所述域名资源的服务地址，将所述DNS响应报文头部的标识字段的最高位进行置位，表示所述DNS响应报文是由HTTP缓存系统回复的，并将DNS响应报文的源IP地址修改为ICP DNS服务器地址；

当ICP DNS服务器反馈的DNS解析结果先到达Local DNS服务器，Local DNS服务器接收到DNS解析结果的报文后，判断标识字段最高bit位是否为1，如果不是，则保留报文并暂缓处理；

DNS重定向服务器反馈的DNS解析结果到达Local DNS服务器，Local DNS服务器判断标识字段最高bit位是否为1，如果Local DNS服务器接收到标识字段最高bit位为1的DNS响应报文或DNS定时器到期后，将关闭监控所述域名响应结果的监控。

本发明的另一方面提供了一种HTTP缓存实现系统，包括用户终端、Local DNS服务器、DPI系统、DNS重定向服务器和ICP DNS服务器，其中，

用户终端用于针对域名向Local DNS服务器发起DNS请求，从Local DNS服务器获取DNS解析结果；

Local DNS服务器用于针对需要处理的域名，设置迭代查询的触发时间，在第一时刻T1，所述域名TTL值到达触发时间，触发发起针对所述域名的迭代查询，针对所述域名启动DNS定时器计时，对所述域名的响应结果进行监控，当ICP DNS服务器反馈的DNS解析结果先到达Local DNS服务器，Local DNS服务器接收到DNS解析结果的报文后，判断标识字段最高bit位是否为1，如果不是，则保留报文并暂缓处理，DNS重定向服务器反馈的DNS解析结果到达Local DNS服务器，Local DNS服务器判断标识字段最高bit位是否为1，如果Local DNS服务器接收到标识字段最高bit位为1的DNS响应报文或DNS定时器到期后，将关闭监控所述域名响应结果的监控；

DPI系统用于截获到Local DNS服务器迭代查询，所述DNS请求报文发送到ICP DNS服务器，DPI系统对所述域名进行截获，将所述域名送至HTTP缓存系统的DNS重定向服务器；

DNS重定向服务器用于判断所述域名是否HTTP缓存系统能够服务的域名，如果是，则伪造一个DNS响应报文，将所述DNS响应报文中的域名对应的IP地址设为HTTP缓存系统中所述域名资源的服务地址，将所述DNS响应报文头部的标识字段的最高位进行置位，表示所述DNS响应报文是由HTTP缓存系统回复的，并将DNS响应报文的源IP地址修改为ICP DNS服务器地址；

ICP DNS服务器用于反馈DNS解析结果。

本发明的技术方案由于通过定时器的启用和监控，能够保证在T2-T1的有效时间段内只要能够接受到DNS重定向服务器反馈的DNS解析结果，就能保证用户使用缓存，从而规避了现有DNS劫持方案在ICP DNS服务器先于DNS重定向服务器回复DNS解析结果所导致的缓存无法服务本网用户的问题，并且通过TTL提前迭代查询及缓存刷新的机制实现了Local DNS服务器中缓存的解析结果的有效持续，规避了DNS查询过程中用户需要等待DNS查询所产生的时延问题，大大提高用户感知并提高了系统效率。

附图说明

图1是本发明实施例一中HTTP缓存实现系统的结构示意图。

图2是本发明实施例二中HTTP缓存实现流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细描述。

本发明的技术方案是在Local DNS服务器的缓存中，针对需要处理的域名范围，设置迭代更新的触发时间，触发时间为＝min{TTL*a％,B}。在T1时刻，某缓存域名TTL值到达TTL剩余时间量＝min{TTL*a％,B}时，触发发起针对该域名的迭代查询，并针对该域名启动定时器计时，当缓存系统的DNS重定向服务器劫持到该报文，伪造一个DNS响应报文，将DNS响应报文中的域名对应的IP地址设为HTTP缓存系统中域名资源的服务地址，需将DNS响应报文头部的RCODE字段的最高位或其它备用字段进行置位，表示该DNS响应是由缓存系统回复的，Local DNS服务器在接收到RCODE字段最高bit位为1的DNS响应报文或DNS定时器到期后，将关闭监控该域名响应结果的监控；如果DNS接收到RCODE字段最高bit位为1的DNS响应报文，将把该报文提交给DNS缓存模块进行后续处理，如果没有接收到RCODE字段最高bit位为1的DNS响应报文，则把ICP DNS反馈的DNS响应报文提交给DNS缓存模块进行后续处理；Local DNS服务器缓存在T2时刻，在缓存中刷新该域名的解析结果，要求T2-T1<min{完整TTL*a％,B}，DNS将最新的DNS解析结果反馈给用户。

图1是本发明实施例一中HTTP缓存实现系统的结构示意图。如图1所示，该系统包括用户终端101、Local DNS服务器102、DPI系统103、DNS重定向服务器104、ICP DNS服务器105和缓存服务器106。

其中，用户终端用于针对域名向Local DNS服务器发起DNS请求，从Local DNS服务器获取DNS解析结果，接收URL的回复结果。

Local DNS服务器进一步包括缓存，Local DNS服务器用于针对需要处理的域名，设置迭代查询的触发时间，在第一时刻T1，该域名TTL值到达触发时间，触发发起针对该域名的迭代查询，针对该域名启动DNS定时器计时，对该域名的响应结果进行监控，当ICP DNS服务器反馈的DNS解析结果先到达Local DNS服务器，Local DNS服务器接收到DNS解析结果的报文后，判断标识字段最高bit位是否为1，如果不是，则保留报文并暂缓处理，DNS重定向服务器反馈的DNS解析结果到达Local DNS服务器，Local DNS服务器判断标识字段最高bit位是否为1，如果Local DNS服务器接收到标识字段最高bit位为1的DNS响应报文或DNS定时器到期后，将关闭监控该域名响应结果的监控。

如果Local DNS服务器接收到标识字段最高bit位为1的DNS响应报文，将把DNS解析结果的报文提交给Local DNS服务器的缓存进行处理，如果没有接收到标识字段最高bit位为1的DNS响应报文，则把ICP DNS服务器反馈的DNS响应报文提交给Local DNS服务器的缓存进行处理。

Local DNS服务器的缓存模块在T2时刻，在缓存中刷新该域名的解析结果，即删除原有的解析结果，并写入最新的解析结果，T2-T1<min{完整TTL*a％,B}，即缓存结果的更新时间在原有缓存解析记录TTL值到期之前，Local DNS服务器将最新的DNS解析结果反馈给用户终端。

其中缓存用于存储DNS解析结果。

DPI系统用于截获到Local DNS服务器迭代查询，该DNS请求报文发送到ICP DNS服务器，DPI系统对该域名进行截获，将该域名送至HTTP缓存系统的DNS重定向服务器。

DNS重定向服务器用于判断该域名是否HTTP缓存系统能够服务的域名，如果是，则伪造一个DNS响应报文，将所述DNS响应报文中的域名对应的IP地址设为HTTP缓存系统中所述域名资源的服务地址，将该DNS响应报文头部的标识字段的最高位进行置位，表示该DNS响应报文是由HTTP缓存系统回复的，并将DNS响应报文的源IP地址修改为ICP DNS服务器地址。

ICP DNS服务器用于反馈DNS解析结果。

缓存服务器用于接收该域名URL的请求，将URL的回复结果反馈给用户终端。

基于上述系统，本发明的另一个实施例提供了HTTP缓存的实现流程。图2是本发明实施例二中HTTP缓存实现流程图。如图2所示，该流程包括以下步骤：

步骤201、Local DNS服务器配置需要处理的域名列表，并存储在Local DNS服务器的相关配置文件中，在之后的处理步骤中，仅针对这部分域名进行处理，其他域名还按照标准流程进行处理。

步骤202、Local DNS服务器的缓存中，针对需要处理的域名，设置迭代查询的触发时间，该触发时间为该域名TTL值到期前的一个剩余TTL时间量，所述TTL剩余时间量＝min{TTL*a％,B}，其中a％是预先设定的TTL时间比例，B是预先设定的TTL剩余时间量。

步骤203、针对缓存中的该域名发起DNS请求。

步骤204、如果Local DNS服务器的缓存中有DNS解析结果，则将该DNS解析结果反馈给用户终端。

步骤205、在第一时刻T1，该域名TTL值到达触发时间min{TTL*a％,B}，触发发起针对该域名的迭代查询。

步骤206、Local DNS服务器针对该域名启动DNS定时器计时，对该域名的响应结果进行监控。

步骤207、DPI系统截获到Local DNS服务器的迭代查询，该DNS请求报文按原来路由方式，通过递归过程发送到ICP DNS服务器。

步骤208、DPI系统对该域名进行截获，将该域名送至HTTP缓存系统的DNS重定向服务器。

步骤209、该DNS重定向服务器判断该域名是否HTTP缓存系统能够服务的域名，如果是，则伪造一个DNS响应报文，将DNS响应报文中的域名对应的IP地址设为HTTP缓存系统中该域名资源的服务地址，将该DNS响应报文头部的RCODE字段的最高位或其它备用字段进行置位，表示该DNS响应报文是由HTTP缓存系统回复的，并将DNS响应报文的源IP地址修改为ICP DNS服务器地址。

步骤210、ICP DNS服务器反馈的DNS解析结果先到达Local DNS服务器。

步骤211、Local DNS服务器接收到DNS解析结果的报文后，判断RCODE字段最高bit位或其它备用字段是否为1，如果不是，则保留报文并暂缓处理。

步骤212、DNS重定向服务器反馈的DNS解析结果到达Local DNS服务器。

步骤213、Local DNS服务器再次接收到DNS解析结果的报文后，判断RCODE字段最高bit位或其它备用字段是否为1。

步骤214、如果Local DNS服务器接收到RCODE字段最高bit位或其它备用字段为1的DNS响应报文或DNS定时器到期后，将关闭监控该域名响应结果的监控。

步骤215、如果Local DNS服务器接收到RCODE字段最高bit位或其它备用字段为1的DNS响应报文，将把DNS解析结果的报文提交给Local DNS服务器的缓存进行处理，如果没有接收到RCODE字段最高bit位或其它备用字段为1的DNS响应报文，则把ICP DNS服务器反馈的DNS响应报文提交给Local DNS服务器的缓存进行处理。

步骤216、Local DNS服务器的缓存模块在T2时刻，在缓存中刷新该域名的解析结果，即删除原有的解析结果，并写入最新的解析结果。需要注意的是：T2-T1<min{完整TTL*a％,B}，也就是说缓存结果的更新时间一定要在原有缓存解析记录TTL值到期之前。

步骤217、Local DNS服务器将最新的DNS解析结果反馈给用户终端。

步骤218、将该域名URL的请求提交给缓存服务器。

步骤219、缓存服务器将URL的回复结果反馈给用户终端。

本发明的实施例由于通过定时器的启用和监控，能够保证在T2-T1的有效时间段内只要能够接受到DNS重定向服务器反馈的DNS解析结果，就能保证用户使用缓存，从而规避了现有DNS劫持方案在ICP DNS服务器先于DNS重定向服务器回复DNS解析结果所导致的缓存无法服务本网用户的问题，并且通过TTL提前迭代查询及缓存刷新的机制实现了LocalDNS服务器中缓存的解析结果的有效持续，规避了DNS查询过程中用户需要等待DNS查询所产生的时延问题，大大提高用户感知并提高了系统效率。

应说明的是：以上实施例仅用以说明本发明而非限制，本发明也并不仅限于上述举例，一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围中。

Claims

1.一种HTTP缓存实现方法，其特征在于，包括以下步骤：

Local DNS服务器针对所述域名启动DNS定时器计时，并对所述域名的响应结果进行监控；

所述DNS重定向服务器判断所述域名是否为HTTP缓存系统能够服务的域名，如果是，则伪造一个DNS响应报文，将所述DNS响应报文中的域名对应的IP地址设为HTTP缓存系统中所述域名资源的服务地址，将所述DNS响应报文头部的标识字段的最高位进行置位，表示所述DNS响应报文是由HTTP缓存系统回复的，并将DNS响应报文的源IP地址修改为ICP DNS服务器地址；

当ICP DNS服务器反馈的DNS解析结果先到达Local DNS服务器，Local DNS服务器接收到DNS解析结果的报文后，则保留报文并暂缓处理；

DNS重定向服务器反馈的DNS解析结果到达Local DNS服务器或DNS定时器到期后，将关闭监控所述域名响应结果的监控。

2.根据权利要求1所述的一种HTTP缓存实现方法，其特征在于，还包括以下步骤：

3.根据权利要求2所述的一种HTTP缓存实现方法，其特征在于，还包括以下步骤：

Loca lDNS服务器的缓存在T2时刻，在缓存中刷新所述域名的解析结果，即删除原有的解析结果，并写入最新的解析结果，T2-T1<min{完整TTL*a％,B}，其中a％是预先设定的TTL时间比例，B是预先设定的TTL剩余时间量，即缓存结果的更新时间在原有缓存解析记录TTL值到期之前；

Local DNS服务器将最新的DNS解析结果反馈给用户终端；

将所述域名URL的请求提交给缓存服务器；

缓存服务器将URL的回复结果反馈给用户终端。

4.根据权利要求1所述的一种HTTP缓存实现方法，其特征在于，还包括以下步骤：

Local DNS服务器配置需要处理的域名列表并存储在Local DNS服务器相关配置文件中。

5.根据权利要求1所述的一种HTTP缓存实现方法，其特征在于，所述触发时间为所述域名TTL值到期前的一个TTL剩余时间量，所述TTL剩余时间量＝min{TTL*a％,B}，其中a％是预先设定的TTL时间比例，B是预先设定的TTL剩余时间量。

6.根据权利要求1或者2所述的一种HTTP缓存实现方法，其特征在于，所述标识字段是RCODE字段。

7.一种HTTP缓存实现系统，其特征在于，包括用户终端、Local DNS服务器、DPI系统、DNS重定向服务器和ICP DNS服务器，其中，

Local DNS服务器用于针对需要处理的域名，设置迭代查询的触发时间，在第一时刻T1，所述域名TTL值到达触发时间，触发发起针对所述域名的迭代查询，针对所述域名启动DNS定时器计时，对所述域名的响应结果进行监控，当ICP DNS服务器反馈的DNS解析结果先到达Local DNS服务器，Local DNS服务器接收到DNS解析结果的报文后，则保留报文并暂缓处理，DNS重定向服务器反馈的DNS解析结果到达Local DNS服务器或DNS定时器到期后，将关闭监控所述域名响应结果的监控；

ICP DNS服务器用于反馈DNS解析结果。

8.根据权利要求7所述的一种HTTP缓存实现系统，其特征在于，还包括缓存服务器，缓存服务器用于接收所述域名URL的请求，将URL的回复结果反馈给用户终端；

所述用户终端还用于接收URL的回复结果。

9.根据权利要求7所述的一种HTTP缓存实现系统，其特征在于，所述Local DNS服务器进一步包括缓存，所述缓存用于存储DNS解析结果。

10.根据权利要求9所述的一种HTTP缓存实现系统，其特征在于，所述Local DNS服务器还用于如果Local DNS服务器接收到标识字段最高bit位为1的DNS响应报文，将把DNS解析结果的报文提交给Local DNS服务器的缓存进行处理，如果没有接收到标识字段最高bit位为1的DNS响应报文，则把ICP DNS服务器反馈的DNS响应报文提交给Local DNS服务器的缓存进行处理。

11.根据权利要求10所述的一种HTTP缓存实现系统，其特征在于，Local DNS服务器还用于Local DNS服务器的缓存在T2时刻，在缓存中刷新所述域名的解析结果，即删除原有的解析结果，并写入最新的解析结果，T2-T1<min{完整TTL*a％,B}，其中a％是预先设定的TTL时间比例，B是预先设定的TTL剩余时间量，即缓存结果的更新时间在原有缓存解析记录TTL值到期之前，Local DNS服务器将最新的DNS解析结果反馈给用户终端。