CN101126977A - 一种基于isapi的web静态页面生成方法 - Google Patents

Abstract

本发明涉及一种基于ISAPI的WEB静态页面生成方法，其特征在于，在IIS6.0上面采用C++语言进行ISAPI开发，制作一个加载在WEB BROWSER(网页访问浏览器)与动态页面生成语言之间的静态页面插件，从而能够截获从WEB BROWSER发送到动态页面生成语言的所有请求并进行处理，本发明的优点是降低开发人员为解决动态页面性能问题采用各种缓存技术的复杂工作量。

Description

一种基于ISAPI的WEB静态页面生成方法

技术领域

本发明涉及一种基于ISAPI的WEB静态页面生成方法，可实现通过将使用各种动态页面技术开发的动态页面产生静态页面进行缓存，利用静态页面缓存为用户提供WEB页面访问的服务从而避免每次用户请求都需要耗用大量资源来生成WEB页面，另外本方法还可以灵活设置缓存超时策略进行缓存更新，从而解决纯静态页面人工动态更新困难的问题，本方法属于互联网服务技术领域

背景技术

随着全世界因特网的不断发展，采用HTTP协议的WEB网站如雨后春笋，遍布到了世界的每个角落。WEB技术从最初的简单的全静态页面发展到今天能够用各种开发语言(如JSP，ASP，ASP.NET等)方便灵活快速地进行开发，但是动态页面虽然提供了非常强大的与用户的交互性，但是同时带来了每次都需要动态生成页面引起的资源消耗大的问题。作为一个大型的门户网站，如果完全由动态页面为用户提供服务，则势必需要投入大量的资金来解决服务器的性能问题。而作为门户网站，往往很多WEB网页是相对静态的，也就是说在相对较长的时间内(如一个小时或者几个小时以内)是几乎不变化的。这样，我们完全没有必要每次在用户有请求的时候从头到尾来生成一遍，而是可以采用某种智能的缓存技术来解决这个问题。

有些用来进行动态WEB页面开发的语言本身就提供了这方面的缓存技术，如微软从ASP.NET1.0版本开始就提供了方便灵活的页面缓存和数据缓存技术来提高系统的性能。但是很多动态WEB页面开发语言却没有提供此类的功能，即使有，也没有一种通用的能够应用于所有动态WEB页面开发语言的缓存技术。

发明内容

本发明的目的是提供一种通用的能够应用于不同动态页面开发技术语言的缓存技术，降低开发人员为解决动态页面性能问题采用各种缓存技术而引起的复杂程度的基于ISAPI的WEB静态页面生成方法。

为实现以上目的，本发明的技术方案是提供一种基于ISAPI的WEB静态页面生成方法，其特征在于，在IIS 6.0上面采用C++语言进行ISAPI开发，制作一个加载在WEB BROWSER(网页访问浏览器)与动态页面生成语言之间的静态页面插件，从而能够截获从WEB BROWSER发送到动态页面生成语言的所有请求并进行处理，其方法为：

第一步.在IIS 6.0上面采用C++语言进行ISAPI开发，制作一个加载在网页访问浏览器WEB BROWSER与动态页面生成语言之间的静态页面插件；

第二步.网页访问浏览器WEB BROWER向IIS发起一个页面GET访问请求；

第三步.IIS将得到的请求通知静态页面插件，采用HTTP1.1协议的头部Host字段分离用户对静态页面访问的请求，对不同站点建立不同的静态页面目录，从而同时提供多站点访问的支持，同时又与源WEB站点目录分离；

第四步.静态页面插件获得GET访问请求的页面相对路径并与配置文件中设置的需要生成静态页面的相对路径地址列表进行匹配，如果匹配成功，则说明本次请求是受控请求，并转到第6步骤进行处理，否则转第5步骤进行处理；

第五步.静态页面插件交出请求的继续处理权，由相应的动态页面生成语言进行处理，并向用户响应并生成的最终页面，然后转第十步骤；

第六步.根据用户请求的URL的相对路径和querystring部分，以及当前时刻，计算得到当前的缓冲区对应的静态页面文件的文件物理路径，计算方法如下：将步骤3分离得到的静态页面根目录加上相对路径加上采用HTTP

1.1协议的querystring部分计算MD5得到的32位数字摘要加上当前缓冲区号作为文件名，如果用户的HTTP请求头中显示支持压缩传输，则获取对相同页面不同querystring的页面访问的支持的压缩版本的静态页面文件，压缩版本和非压缩版本的静态页面文件的文件名相同，扩展名不同；

第七步.如果用户所请求的URL对应的响应页面已经在静态页面缓冲中存在并且没有过期，则从缓存中读取响应页面并发送给用户，然后转第十步骤。

否则执行第8步骤；

第八步.执行生成静态页面文件流程并转第十步骤；

第九步.执行获取静态页面文件流程，并存储到静态页面缓存中，并将缓存的响应内容发送给用户；

第十步.结束。

执行生成静态页面流程为：

第一步.首先将用户的请求路由到源站点动态页面生成语言进行处理，以便生成新的响应内容；

第二步.源站点动态页面生成语言处理完毕后向用户发送响应内容；

第三步.静态页面插件捕获到响应的内容，并计算过期缓冲区的静态页面文件的物理地址，采用的计算方法和前面整体流程中的第二步骤计算方式一致，只是缓冲区采用过期缓冲区的缓冲区号。得到静态页面文件物理地址后将静态页面文件打开并进行写锁定；

第四步.如果加锁失败，则转第7步骤；

第五步.将截获到的响应内容写入静态页面文件中，同时生成压缩版本的静态页面文件；

第六步.执行缓冲区切换操作，将过期缓冲器变成当前缓冲区；

第七步.向用户发送响应内容；

第八步.结束。

读取静态页面流程：

第一步.根据用户的HTTP请求头判断用户的浏览器是否支持压缩传输，并计算得到当前缓冲区对应的静态页面文件的物理路径，计算物理路径的方法参见整体流程的第2步骤。然后打开该文件并加读锁；

第二步.如果加锁成功，转第5步骤；

第三步.计算得到旧缓冲区对应的静态页面文件的物理路径，然后打开该文件并加读锁；

第四步.如果加锁不成功，则向用户发送缓冲区错误信息转第6步骤；

第五步.从打开压缩的或者非压缩的的静态页面文件中读取响应内容，并发送给用户；

第六步.结束。

在实际实施过程中，尚且存在几个需要解决的问题：

1.同一个动态WEB页面，往往会根据不同的querystring部分产生甚至完全不同的响应页面，需要解决根据querystring的不同产生不同静态页面的版本。

2.由于IIS中的插件可以根据需要设置为全局范围(即包括本WEB服务器上的所有站点)，或者设置只针对某个WEB站点。因此，本方法需要对多站点提供支持。

3.根据HTTP 1.1协议规范支持对页面进行压缩方式传输从而有效压缩网络流量，因此我们在静态页面基础上可以增加一个压缩功能来降低网络流量。

4.一个WEB网站一般都会面临大量并发访问的情况，如何解决正在生成静态页面的时候，同时又有用户访问同一个版本的页面的并发读写问题或者并发写写问题。

根据第一个和第二个问题，首先需要解决的问题是怎么来存放生成的静态页面。以前有些静态页面生成程序的做法是和源WEB站点存放在同一个文件夹内，这样会导致源WEB站点中产生大量的临时文件，对该站点的管理产生了不必要的麻烦。本方法采用彻底分离的方法来解决。

IIS中的站点要么绑定了主机头，要么绑定一个单独的端口，浏览器等客户端工具访问IIS中的某个站点中的某个页面的时候，根据HTTP1.1协议规范，在请求头中提供Host字段来声明访问的是一个IIS服务器中的哪个站点，Host和IIS服务器中的站点是一一对应的。因此本方法对每个站点单独建立一个分离于源站点文件夹的静态页面存放文件夹来存放生成的静态页面文件，并在次文件夹下面根据请求的不断发生，逐渐创建与源站点目录结构完全相同的目录结构来存放对应的静态页面文件。另外在用户访问静态页面的时候，利用请求头中的Host字段对用户的请求进行分离，将用户的请求映射到不同的站点对应的静态页面文件夹中。

根据第一个问题，本方法对同一个页面使用不同的querystring进行访问产生不同的版本的静态页面来解决这个问题。但是querystring是一个不定长度的字符串，可能会超过几百个字节，而且querystring中本身包含的一些特殊字符也是不能作为文件名的一部分进行存储的。因此需要对querystring部分进行一下处理，本方法采用了MD5的方法，对querystring做一次数字摘要，产生一个固定长度的32位16进制数，作为文件名的一部分保存起来。根据MD5的算法特性，不同的querystring产生出来的MD5完全不同，因此可以安全地将计算得到的数字摘要用来替换原来的querystring。

根据第三个问题，按照HTTP 1.1协议规范，在各种页面浏览器访问WEB站点的时候，在请求头中会提供是否支持接收压缩方式传输的字段。如果请求头的该字段声明允许压缩则WEB站点可以采用某个压缩协议进行压缩后将响应页面发送给页面浏览器。在HTTP 1.1协议规范中，IANA组织已经将gzip作为默认的HTTP压缩协议。在绝大多数的浏览器中都支持gzip方式来进行压缩。因此本方法也采用了gzip方式来提供压缩。另外在生成静态页面的时候，在保存未压缩版本的时候，同时进行压缩产生一个压缩版本的静态页面文件，从而使得系统可以同时支持能够压缩方式传输和只能进行非压缩方式传输的各种页面浏览器的访问。

根据第四个问题，本方法采用三缓冲区切换的方式来解决这个问题。下面对三缓冲区切换的流程进行描述。三个缓冲区分别为旧缓冲区、当前缓冲区、过期缓冲区，每个缓冲区对应三个不同版本的静态页面文件。当用户访问的当前页面已经到了超时时间的时候，本方法获取过期缓冲区，往过期缓冲区中写入当前产生的静态页面文件数据。按照一般情况来说，过期缓冲区没有读用户，只有可能两个同时写的情况发生，如果当时正好有另外一个线程在往同一个版本的静态页面文件中写入数据，那么写入前的锁定操作失败，将用户请求直接发送给用户，而本次不再作写入操作。写入完成后，将进行一次缓冲区切换。三个缓冲区一次变换身份，旧缓冲区变为过期缓冲区，过期缓冲区变为当前缓冲区，当前缓冲区变为旧缓冲区。如此不断往复循环。使得写入操作永远在已经没有用户读的过期缓冲区中进行，读操作永远在当前缓冲区或者旧缓冲区中进行，从而读操作和写操作永远不会发生在同一个缓冲区中，完全可以并行地进行读写，极大程度上保证了高效率的并发读写访问，从而大大提高了系统的并发访问能力。

本发明并将缓存策略的实施放在动态WEB页面的部署阶段，与开发阶段彻底分离开来，从而使得本发明可以非常方便灵活地在产生性能瓶颈的动态WEB页面网站服务器上面根据需要部署，而不需要在开发阶段考虑缓存策略加入一些额外的与开发语言相关的缓存代码。

本发明的优点是降低开发人员为解决动态页面性能问题采用各种缓存技术的复杂工作量。

附图说明

图1为一种基于ISAPI的WEB静态页面生成方法程序流程图；

图2为生成静态页面流程图；

图3为读取静态页面流程。

具体实施方式

以下结合附图和实施例对本发明作进一步说明。

实施例

根据ISAPI的接口规范生成一个ISAPI的扩展DLL插件，该插件同时根据ISAPI的接口规范实现一个ISAPI筛选器，ISAPI扩展主要用来实现静态页面的读取，筛选器则用来实现静态页面的生成，两者相互配合，完成静态页面的生成和为用户访问提供服务。

DLL插件的入口点函数DllMain函数启动插件的初始化工作，并在此期间加载静态页面生成策略配置信息到全局配置变量中保存生成静态页面和提供页面访问所需的各种策略。同时启动一个守护线程，定时启动静态页面临时文件删除工作，删除那些超时的静态页面文件，避免缓存的静态页面文件占用太多的硬盘空间。

根据ISAPI扩展接口规范，创建输出函数GetExtensionVersion，HttpExtensionProc。GetExtensionVersion为IIS提供扩展器插件的描述信息。主要逻辑在HttpExtensionProc中实现。HttpExtensionProc实现了静态页面缓存读取的过程。实现流程如图五所示。

第一步：用户开始进行页面请求，在用户访问站点的配置清单中对用户请求的URL进行匹配，发现在受控URL清单中。

第二步：根据用户请求的URL和querystring部分，以及当前缓冲区的版本号计算得到静态页面文件名。计算方法为：文件名＝用户访问站点对应的物理路径+URL部分+MD5(querystring)+缓冲区版本号+“.tmp”。

第三步：打开计算得到的文件名对应的文件并加只读锁，如果指定的文件打开失败，则获取旧缓冲区的静态页面文件名，并再此尝试打开。如果打开文件失败，则直接调用ServerSupportFunction函数的HSE_REQ_EXEC_URL方法，将用户请求路由到动态页面语言为用户继续提供服务，并转第五步骤结束。

第四步：读取静态页面文件头，并调用ServerSupportFunction的HSE_REQ_TRANSMIT_FILE方法向用户发送缓存在静态页面文件中的内容。

第五步：结束。

另外，根据ISAPI过滤器接口规范，创建输出函数GetFilterVersion和HttpFilterProc函数。GetFilterVersion函数为IIS提供筛选器插件的描述信息。主要逻辑在HttpFilterProc中实现。HttpFilterProc实现了静态页面缓存的生成的过程。实现流程如图四所示。在HttpFilterProc中捕获了ISAPI的SF_NOTIFY_SEND_RAW_DATA事件，该事件在IIS向用户发送响应信息的时候触发，在触发的时候它会将本次准备发送给用户的内容缓冲区作为参数传递给本筛选器插件，从而使得本插件可以有机会捕获向用户发送的内容，并将这些内容通过存入本地静态文件缓存下来。为了防止由本插件的HttpExtensionProc向用户输出的在缓存中的静态页面内容也被捕获下来并存入静态页面文件，在生成静态页面文件的时候，另外在HTTP的响应头中增加了一个SH_PoweredBy标记字段，这样静态页面中存在该字段，在向用户发送响应内容的时候如果该字段存在内容，则说明是从缓存中读取内容并向用户发送响应，不需要再此被缓存，反之则是由动态页面语言生成的响应内容，并且需要被缓存下来，生成静态页面。

流程如下描述：

第一步：对本次用户页面请求，第一次捕获到SF_NOTIFY_SEND_RAW_DATA事件，判断当前缓冲中的HTTP响应头是否包含SH_PoweredBy标记字段，如果包含，直接跳转到第六步骤结束。否则执行第二步骤。

第二步：根据请求的URL和当前的缓冲区版本计算得到目标静态页面文件名，计算方法参见同读取流程的计算方法。创建或者打开静态页面文件，将HTTP响应头写入到文件中，并增加一个SH_PoweredBy标记字段。

第三步：如果本缓冲区中尚未包含所有的响应内容，则继续等待SF_NOTIFY_SEND_RAW_DATA的触发。否则转第五步骤。

第四步：捕捉到非第一次SF_NOTIFY_SEND_RAW_DATA事件，将响应缓冲区中的内容写入到静态文件中。如果已经接收到本次响应的所有内容，则转第五步骤，否则重复第四步骤。

第五步：关闭当前的静态页面文件，并生成一个压缩的静态页面文件，进行缓冲区切换，转结束。

第六步：结束。

Claims (3)

1.一种基于ISAPI的WEB静态页面生成方法，其特征在于，在IIS 6.0上面采用C++语言进行ISAPI开发，制作一个加载在网页访问浏览器WEB BROWSER与动态页面生成语言之间的静态页面插件，从而能够截获从WEB BROWSER

发送到动态页面生成语言的所有请求并进行处理，其方法为：

第一步.在IIS 6.0上面采用C++语言进行ISAPI开发，制作一个加载在网页访问浏览器WEB BROWSER与动态页面生成语言之间的静态页面插件；

第二步.网页访问浏览器WEB BROWER向IIS发起一个页面GET访问请求；

第三步.IIS将得到的请求通知静态页面插件，采用HTTP 1.1协议的头部Host字段分离用户对静态页面访问的请求，对不同站点建立不同的静态页面目录，从而同时提供多站点访问的支持，同时又与源WEB站点目录分离；

第四步.静态页面插件获得GET访问请求的页面相对路径并与配置文件中设置的需要生成静态页面的相对路径地址列表进行匹配，如果匹配成功，则说明本次请求是受控请求，并转到第6步骤进行处理，否则转第5步骤进行处理；

第五步.静态页面插件交出请求的继续处理权，由相应的动态页面生成语言进行处理，并向用户响应并生成的最终页面，然后转第十步骤；

第六步.根据用户请求的URL的相对路径和querystring部分，以及当前时刻，计算得到当前的缓冲区对应的静态页面文件的文件物理路径，计算方法如下：将步骤3分离得到的静态页面根目录加上相对路径加上采用HTTP1.1协议的querystring部分计算MD5得到的32位数字摘要加上当前缓冲区号作为文件名，如果用户的HTTP请求头中显示支持压缩传输，则获取对相同页面不同querystring的页面访问的支持的压缩版本的静态页面文件，压缩版本和非压缩版本的静态页面文件的文件名相同，扩展名不同；

第七步.如果用户所请求的URL对应的响应页面已经在静态页面缓冲中存在并且没有过期，则从缓存中读取响应页面并发送给用户，然后转第十步骤。

否则执行第8步骤；

第八步.执行生成静态页面文件流程并转第十步骤；

第九步.执行读取静态页面文件流程，并存储到静态页面缓存中，并将缓存的响应内容发送给用户；

第十步.结束。

2.根据权利要求1所述的一种基于ISAPI的WEB静态页面生成方法，其特征在于，执行生成静态页面流程为：

第一步.首先将用户的请求路由到源站点动态页面生成语言进行处理，以便生成新的响应内容；

第二步.源站点动态页面生成语言处理完毕后向用户发送响应内容；

第三步.静态页面插件捕获到响应的内容，并计算过期缓冲区的静态页面文件的物理地址，采用的计算方法和前面整体流程中的第二步骤计算方式一致，只是缓冲区采用过期缓冲区的缓冲区号。得到静态页面文件物理地址后将静态页面文件打开并进行写锁定；

第四步.如果加锁失败，则转第7步骤；

第五步.将截获到的响应内容写入静态页面文件中，同时生成压缩版本的静态页面文件；

第六步.执行缓冲区切换操作，将过期缓冲器变成当前缓冲区；

第七步.向用户发送响应内容；

第八步.结束。

3.根据权利要求1所述的一种基于ISAPI的WEB静态页面生成方法，其特征在于，读取静态页面流程：

第一步.根据用户的HTTP请求头判断用户的浏览器是否支持压缩传输，并计算得到当前缓冲区对应的静态页面文件的物理路径，计算物理路径的方法参见整体流程的第2步骤。然后打开该文件并加读锁；

第二步.如果加锁成功，转第5步骤；

第三步.计算得到旧缓冲区对应的静态页面文件的物理路径，然后打开该文件并加读锁；

第四步.如果加锁不成功，则向用户发送缓冲区错误信息转第6步骤；

第五步.从打开压缩的或者非压缩的的静态页面文件中读取响应内容，并发送给用户；

第六步.结束。

Images