CN104915387B - 一种互联网网站静态页面处理系统及方法 - Google Patents

Abstract

本发明涉及一种互联网网站静态页面处理系统，包括收发模块、请求处理模块和动态页面处理模块；本发明还涉及一种互联网网站静态页面处理方法；本发明通过网站页面静态化技术，提升程序的性能，使得单台服务器能够支持更大的并发访问量，降低数据库的访问压力，使得网站更加稳定，健壮；本发明对静态页面管理是将静态页面的路径存入文本文件，删除时从文件中读取静态页面路径进行删除操作，这样就不会有扫描系统磁盘开销，也不会占用太多系统内存，IO,CPU等资源。

Description

一种互联网网站静态页面处理系统及方法

技术领域

本发明涉及互联网网站页面处理技术领域，尤其涉及一种互联网网站静态页面处理系统及方法。

背景技术

动态页面是通过执行ASP,PHP,JSP,.NET等程序生成的客户端网页代码的网页；当访问大流量高并发的一个大型互联网应用时，页面的加载非常耗时间，对数据库访问的压力非常大。

网页静态化技术，正式为了提升程序性能，降低对数据库服务器的访问压力而产生的一种网站优化方案。

发明内容

本发明所要解决的技术问题是提供一种互联网网站静态页面处理系统及方法，通过网站页面静态化技术，提升程序的性能，使得单台服务器能够支持更大的并发访问量，降低数据库的访问压力，使得网站更加稳定，健壮。

本发明解决上述技术问题的技术方案如下：一种互联网网站静态页面处理系统，包括收发模块、请求处理模块和动态页面处理模块，

所述收发模块，用于接收用户端发送的页面访问请求数据，还用于向用户端反馈所述请求处理模块或动态页面处理模块返回的页面数据；

所述请求处理模块，用于将所述页面访问请求数据转换成静态页面的访问路径，判断是否可以得到静态页面，如果可以，则将静态页面通过收发模块发送至用户端，否则，发送处理请求至动态页面处理模块；

所述动态页面处理模块，用于根据接收的处理请求生成动态页面，并根据设置的静态页面开关变量判断是否生成静态页面，如果是，则在静态页面访问路径下生成新的静态页面并通过收发模块发送至用户端，否则，通过收发模块直接发送生成的动态页面至用户端；系统中设有静态化开关标识——开关变量为0：代表关，1：代表开启，根据此变量判断是否需要生成静态页面。

本发明的有益效果是：通过网站页面静态化技术，提升程序的性能，使得单台服务器能够支持更大的并发访问量，降低数据库的访问压力，使得网站更加稳定，健壮，避免了完全无法使用网站的情况。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述请求处理模块包括路径转换单元、第一判断单元、第二判断单元和第三判断单元，

所述路径转换单元，用于根据静态化路径规则将页面访问请求数据中的Url路径参数转换为静态页面的访问路径；

所述第一判断单元，用于根据访问路径获取静态页面，判断该静态页面是否存在，如果存在，调用第二判断单元，如果不存在，向动态页面处理模块发送处理请求；

所述第二判断单元，其用于判断该静态页面是否过期，如果静态页面未过期，则将未过期的静态页面的数据内容发送通过收发模块至所述用户端，如果静态页面已过期，调用第三判断单元；

所述第三判断单元，其用于判断动态页面进程的状态是否正常，如果正常，则向动态页面处理模块发送处理请求，如果不正常，则将已过期的静态页面的数据内容通过收发模块发送至所述用户端。

进一步，所述动态页面进程的状态包括动态页面数据库和动态页面进程管理器的状态，如果动态页面数据库以及动态页面进程管理器均成功连接且进程连接数目属于设定的范围内，则动态页面进程的状态为正常状态，否则，为非正常状态。

进一步，还包括静态页面管理模块，用于建立存放静态页面的目录，并在目录下生成存放静态页面信息的文本文件，还用于按设定的删除频率从文本文件中查找过期的访问路径，再根据访问路径提取对应的静态页面进行删除。

采用上述进一步方案的有益效果是：删除方式是将静态页面的路径存入文本文件，删除时从文件中读取静态页面路径进行删除操作，这样就不会有扫描系统磁盘开销，也不会占用太多系统内存，IO,CPU等资源。

进一步，所述静态页面管理模块包括静态页面保存单元和静态页面删除单元，

所述静态页面保存单元，用于根据删除频率建立临时目录和固定目录，再将静态页面同时存放在临时目录和固定目录下，并在临时目录和固定目录下均生成用于存放静态页面访问路径及静态页面生成时间的文本文件；

所述静态页面删除单元，用于按设定的删除频率从临时目录或固定目录下的文本文件中查找过期的访问路径，再根据该访问路径提取对应静态页面进行删除。

本发明解决上述技术问题的另一技术方案如下：一种互联网网站静态页面处理方法，包括如下步骤：

步骤S1：接收用户端发送的页面访问请求数据；

步骤S2：将页面访问请求数据转换成静态页面的访问路径；

步骤S3：判断是否可以得到静态页面，如果可以，将静态页面发送至用户端，结束处理流程，否则，执行步骤S4；

步骤S4：进行处理生成动态页面；

步骤S5：根据设置的静态页面开关变量判断是否生成静态页面，如果是，则执行步骤S6，否则，执行步骤S7；

步骤S6：在静态页面访问路径下生成新的静态页面并发送至用户端，结束处理流程；

步骤S7：直接发送生成的动态页面至用户端，结束处理流程。

步骤S5，系统中设有静态化开关标识——开关变量为0：代表关，1：代表开启，根据此变量判断是否需要生成静态页面。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，步骤3的具体实现如下：

步骤S3.1：根据静态化路径规则将页面访问请求数据中的Url路径参数转换为静态页面的访问路径；

步骤S3.2：根据访问路径获取静态页面，判断该静态页面是否存在，如果存在，执行步骤S3.3，如果不存在，执行步骤S4；

步骤S3.3：判断该静态页面是否过期，如果静态页面未过期，则将未过期的静态页面的数据内容发送至用户端，结束处理流程；如果静态页面已过期，执行步骤S3.4；

步骤S3.4：判断动态页面进程的状态是否正常，如果正常，执行步骤S4，如果不正常，则将已过期的静态页面的数据内容发送至用户端，结束处理流程。

进一步，所述动态页面进程的状态包括动态页面数据库和动态页面进程管理器的状态，如果动态页面数据库以及动态页面进程管理器均成功连接且进程连接数目属于设定的范围内，则动态页面进程的状态为正常状态，否则，为非正常状态。

进一步，还包括对静态页面进行管理的步骤：

对静态页面保存：建立存放静态页面的目录，并在目录下生成存放静态页面信息的文本文件；

对静态页面删除：按设定的删除频率从文本文件中查找过期的访问路径，再根据访问路径提取对应的静态页面进行删除。

采用上述进一步方案的有益效果是：删除方式是将静态页面的路径存入文本文件，删除时从文件中读取静态页面路径进行删除操作，这样就不会有扫描系统磁盘开销，也不会占用太多系统内存，IO,CPU等资源。

所述对静态页面保存的具体实现如下步骤：

步骤S01.1：根据删除频率建立临时目录和固定目录；

步骤S01.2：将静态页面同时存放在临时目录和固定目录下；

步骤S01.3：在临时目录和固定目录下均生成用于存放静态页面访问路径及静态页面生成时间的文本文件；

所述对静态页面删除的具体实现如下步骤：

步骤S02.1：按设定的删除频率从临时目录或固定目录下的文本文件中查找过期的访问路径；

步骤S02.2：根据该访问路径提取对应静态页面进行删除。

附图说明

图1为本发明互联网网站静态页面处理系统的模块框图；

图2为本发明互联网网站静态页面处理方法的实施例的方法流程图。

附图中，各标记所代表的部件名称如下：

1、收发模块,2、请求处理模块,3、动态页面处理模块,4、静态页面管理模块,201、路径转换单元,202、第一判断单元,203、第二判断单元,204、第三判断单元,401、静态页面保存单元,402、静态页面删除单元。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种互联网网站静态页面处理系统，包括收发模块1、请求处理模块2和动态页面处理模块3，

所述收发模块1，用于接收用户端发送的页面访问请求数据，还用于向用户端反馈所述请求处理模块2或动态页面处理模块3返回的页面数据；

所述请求处理模块2，用于将所述页面访问请求数据转换成静态页面的访问路径，判断是否可以得到静态页面，如果可以，则将静态页面通过收发模块1发送至用户端，否则，发送处理请求至动态页面处理模块3；

所述动态页面处理模块3，用于根据接收的处理请求生成动态页面，并根据设置的静态页面开关变量判断是否生成静态页面，如果是，则在静态页面访问路径下生成新的静态页面并通过收发模块1发送至用户端，否则，通过收发模块1直接发送生成的动态页面至用户端；系统中设有静态化开关标识——开关变量为0：代表关，1：代表开启，根据此变量判断是否需要生成静态页面。

所述请求处理模块2包括路径转换单元201、第一判断单元202、第二判断单元203和第三判断单元204，

所述路径转换单元201，用于根据静态化路径规则将页面访问请求数据中的Url路径参数转换为静态页面的访问路径；通过静态化路径规则将Url上的参数名与参数值拼接在一起，作为文件名，代表输出页面格式的参数output_type的值，为文件类型，处理值有两种：xml和json，来获得访问路径。

所述第一判断单元202，用于根据访问路径获取静态页面，判断该静态页面是否存在，如果存在，调用第二判断单元203，如果不存在，向动态页面处理模块3发送处理请求；

所述第二判断单元203，其用于判断该静态页面是否过期，如果静态页面未过期，则将未过期的静态页面的数据内容通过收发模块发送至所述用户端，如果静态页面已过期，调用第三判断单元204；

所述第三判断单元204，其用于判断动态页面进程的状态是否正常，如果正常，则向动态页面处理模块3发送处理请求，如果不正常，则将已过期的静态页面的数据内容通过收发模块发送至所述用户端。

所述动态页面进程的状态包括动态页面数据库和动态页面进程管理器的状态，如果动态页面数据库以及动态页面进程管理器均成功连接且进程连接数目属于设定的范围内，则动态页面进程的状态为正常状态，否则，为非正常状态。

具体实施中，可利用php技术进行处理生成php动态页面，动态页面生成前对动态页面进程的状态进行检查——

动态页面数据库mysql状态检查：

1)通过定时执行php脚本，访问每一台mysql服务器，如果能连接成功，则认为mysql正常，将mysql服务器ip,mysql连接进程数量，是否可以连接成功信息记录到main_db_check.ini文件；

2)检查main_db_check.ini文件中的所有mysql信息，如果全部mysql不可能连接，或者全部连接进程数超过500，则判断认为mysql状态不正常。

动态页面进程管理器php-fpm状态检查：

在Nginx的配置文件nigix.conf中配置php-fpm检查模块，可以通过http请求获取php-fpm的请求等待队列数，如果等待超过30个，则认为php-fpm负载高，状态不正常。

优选的，还包括静态页面管理模块4，用于建立存放静态页面的目录，并在目录下生成存放静态页面信息的文本文件，还用于按设定的删除频率从文本文件中查找过期的访问路径，再根据访问路径提取对应的静态页面进行删除。

所述静态页面管理模块4包括静态页面保存单元401和静态页面删除单元402，

所述静态页面保存单元401，用于根据删除频率建立临时目录和固定目录，再将静态页面同时存放在临时目录和固定目录下，并在临时目录和固定目录下均生成用于存放静态页面访问路径及静态页面生成时间的文本文件；

所述静态页面删除单元402，用于按设定的删除频率从临时目录或固定目录下的文本文件中查找过期的访问路径，再根据该访问路径提取对应静态页面进行删除。

一种互联网网站静态页面处理方法，包括如下步骤：

步骤S1：接收用户端发送的页面访问请求数据；

步骤S2：将页面访问请求数据转换成静态页面的访问路径；

步骤S3：判断是否可以得到静态页面，如果可以，将静态页面发送至用户端，结束处理流程，否则，执行步骤S4；

步骤S4：进行处理生成动态页面；

步骤S5：根据设置的静态页面开关变量判断是否生成静态页面，如果是，则执行步骤S6，否则，执行步骤S7；

步骤S6：在静态页面访问路径下生成新的静态页面并发送至用户端，结束处理流程；

步骤S7：直接发送生成的动态页面至用户端，结束处理流程。

步骤S5，系统中设有静态化开关标识——开关变量为0：代表关，1：代表开启，根据此变量判断是否需要生成静态页面。

步骤3的具体实现如下：

步骤S3.1：根据静态化路径规则将页面访问请求数据中的Url路径参数转换为静态页面的访问路径；

步骤S3.2：根据访问路径获取静态页面，判断该静态页面是否存在，如果存在，执行步骤S3.3，如果不存在，执行步骤S4；

步骤S3.3：判断该静态页面是否过期，如果静态页面未过期，则将未过期的静态页面的数据内容发送至用户端，结束处理流程；如果静态页面已过期，执行步骤S3.4；

步骤S3.4：判断动态页面进程的状态是否正常，如果正常，执行步骤S4，如果不正常，则将已过期的静态页面的数据内容发送至用户端，结束处理流程。

步骤S3.4中，所述动态页面进程的状态包括动态页面数据库和动态页面进程管理器的状态，如果动态页面数据库以及动态页面进程管理器均成功连接且进程连接数目属于设定的范围内，则动态页面进程的状态为正常状态，否则，为非正常状态。

优选的，还包括对静态页面进行管理的步骤：

对静态页面保存：建立存放静态页面的目录，并在目录下生成存放静态页面信息的文本文件；

对静态页面删除：按设定的删除频率从文本文件中查找过期的访问路径，再根据访问路径提取对应的静态页面进行删除。

所述对静态页面保存的具体实现如下步骤：

步骤S01.1：根据删除频率高低建立临时目录和固定目录；

步骤S01.2：将静态页面同时存放在临时目录和固定目录下；

步骤S01.3：在临时目录和固定目录下均生成用于存放静态页面访问路径及静态页面生成时间的文本文件；

所述对静态页面删除的具体实现如下步骤：

步骤S02.1：按设定的删除频率从临时目录或固定目录下的文本文件中查找过期的访问路径；

步骤S02.2：根据该访问路径提取对应静态页面进行删除。

临时目录的删除频率较高，一般只保留数分钟，固定目录的删除频率较低，一般可保留数天。

具体可进行如下操作：

生成的静态页面，将保存在web应用的data/epg_static/normal目录下，文件将保存两份，一份存放在data/epg_static/normal/new/(临时目录)下；另一份存在在data/epg_static/normal/old/(固定目录)下。

new目录(临时目录)下的静态页面，有效时间较短，一般只保留5分钟，5分钟之前的静态页面将被删除后，重新生成。

由服务端的php生成静态页面时，将静态页面的路径存入一个文本文件。

文件存放路径：

nn_cms/data/epg_static_file_list/normal/

文件名格式为：当前时间_文件失效时间.txt。

如：201502021809_201502021815.txt

文件内容为每行一个静态文件的路径，格式为：

"静态文件路径"\n

"静态文件路径"\n

"静态文件路径"\n

"静态文件路径"\n

如果并发高或其他因素导致文件写入失败，尝试将其写入另一个容错文件中：

文件存放路径：

nn_cms/data/epg_static_file_list/fault_tolerant/

文件名格式为：当前时间_文件失效时间_随机数.txt。

如：201502021809_201502021815_0988787.txt。

old目录(固定目录)下的静态页面，有效期为7天，删除频率较低；目的是尽量保留较多的静态页面不被删除掉；在php程序崩溃，无法提供服务的情况下，可以直接使用old目录下的静态页面发送给用户,提供有损服务,而避免完全不能提供服务的风险；

文件内容为每行一个静态文件的路径并加上日期，格式为：

nn_cms/data/epg_static_file_list/normal_old/YYYYMMDD/当前时间_文件失效时间.txt

nn_cms/data/epg_static_file_list/fault_tolerant_old/YYYYMMDD/当前时间_文件失效时间.txt。

本发明还设计对目录进行删除的优选方案，判断当前目录是否存在静态页面，如果不存在，则删除当前目录。

如图2所示，下面对静态页面处理的过程列举实施例：

步骤U0：接收用户端发送的页面访问请求数据；

步骤U1：根据静态化路径规则将页面访问请求数据中的Url路径参数转换为静态页面的访问路径；

步骤U2：根据访问路径获取静态页面，判断该静态页面是否存在，如果存在，则执行步骤U3，如果不存在，则执行步骤U5；

步骤U3：判断该静态页面是否过期，如果静态页面已过期，则执行步骤U4，如果静态页面未过期，则执行步骤U9；

步骤U4：判断动态页面进程的状态是否正常，如果正常，则执行步骤U5，如果不正常，则执行步骤U10；

步骤U5：进行处理生成动态页面；

步骤U6：根据设置的静态页面开关变量判断是否生成静态页面，如果是，执行步骤U7，否则，执行步骤U8；

步骤U7：在静态页面访问路径下生成新的静态页面并发送至用户端，执行步骤U11；

步骤U8：直接发送生成的动态页面至用户端，执行步骤U11；

步骤U9：将未过期的静态页面的数据内容发送至用户端，执行步骤U11；

步骤U10：将已过期的静态页面的数据内容发送至用户端，执行步骤U11；

步骤U11：结束处理流程。

步骤U1，通过静态化路径规则将Url上的参数名与参数值拼接在一起，作为文件名，代表输出页面格式的参数output_type的值，为文件类型，处理值有两种：xml和json，来获得访问路径。

步骤U4中，所述动态页面进程的状态包括动态页面数据库和动态页面进程管理器的状态，如果动态页面数据库以及动态页面进程管理器均成功连接且进程连接数目属于设定的范围内，则动态页面进程的状态为正常状态，否则，为非正常状态。

具体实施中，可利用php技术进行处理生成php动态页面，动态页面生成前对动态页面进程的状态进行检查——

动态页面数据库mysql状态检查：

1)通过定时执行php脚本，访问每一台mysql服务器，如果能连接成功，则认为mysql正常，将mysql服务器ip,mysql连接进程数量，是否可以连接成功信息记录到main_db_check.ini文件；

2)检查main_db_check.ini文件中的所有mysql信息，如果全部mysql不可能连接，或者全部连接进程数超过500，则判断认为mysql状态不正常。

动态页面进程管理器php-fpm状态检查：

在Nginx的配置文件nigix.conf中配置php-fpm检查模块，可以通过http请求获取php-fpm的请求等待队列数，如果等待超过30个，则认为php-fpm负载高，状态不正常。

通过网站页面静态化技术，提升程序的性能，使得单台服务器能够支持更大的并发访问量，降低数据库的访问压力，使得网站更加稳定，健壮。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种互联网网站静态页面处理系统，其特征在于，包括收发模块(1)、请求处理模块(2)和动态页面处理模块(3)，

所述收发模块(1)，用于接收用户端发送的页面访问请求数据，还用于向用户端反馈所述请求处理模块(2)或动态页面处理模块(3)返回的页面数据；

所述请求处理模块(2)，用于将所述页面访问请求数据转换成静态页面的访问路径，判断是否可以得到静态页面，如果可以，则将静态页面发送至用户端，否则，发送处理请求至动态页面处理模块(3)；所述请求处理模块(2)包括路径转换单元(201)、第一判断单元(202)、第二判断单元(203)和第三判断单元(204)，

所述路径转换单元(201)，用于根据静态化路径规则将页面访问请求数据中的Url路径参数转换为静态页面的访问路径；

所述第一判断单元(202)，用于根据访问路径获取静态页面，判断该静态页面是否存在，如果存在，调用第二判断单元(203)，如果不存在，向动态页面处理模块(3)发送处理请求；

所述第二判断单元(203)，其用于判断该静态页面是否过期，如果静态页面未过期，则将未过期的静态页面的数据内容发送至所述用户端，如果静态页面已过期，调用第三判断单元(204)；

所述第三判断单元(204)，其用于判断动态页面进程的状态是否正常，如果正常，则向动态页面处理模块(3)发送处理请求，如果不正常，则将已过期的静态页面的数据内容发送至所述用户端；

所述动态页面处理模块(3)，用于根据接收的处理请求生成动态页面，并根据设置的静态页面开关变量判断是否生成静态页面，如果是，则在静态页面访问路径下生成新的静态页面并发送至用户端，否则，直接发送生成的动态页面至用户端；

还包括静态页面管理模块(4)，用于建立存放静态页面的目录，并在目录下生成存放静态页面信息的文本文件，还用于按设定的删除频率从文本文件中查找过期的访问路径，再根据访问路径提取对应的静态页面进行删除。

2.根据权利要求1所述的互联网网站静态页面处理系统，其特征在于，所述动态页面进程的状态包括动态页面数据库和动态页面进程管理器的状态，如果动态页面数据库以及动态页面进程管理器均成功连接且进程连接数目属于设定的范围内，则动态页面进程的状态为正常状态，否则，为非正常状态。

3.根据权利要求2所述的互联网网站静态页面处理系统，其特征在于，所述静态页面管理模块(4)包括静态页面保存单元(401)和静态页面删除单元(402)，

所述静态页面保存单元(401)，用于根据删除频率建立临时目录和固定目录，再将静态页面同时存放在临时目录和固定目录下，并在临时目录和固定目录下均生成用于存放静态页面访问路径及静态页面生成时间的文本文件；

所述静态页面删除单元(402)，用于按设定的删除频率从临时目录或固定目录下的文本文件中查找过期的访问路径，再根据该访问路径提取对应静态页面进行删除。

4.一种互联网网站静态页面处理方法，其特征在于，包括如下步骤：

步骤S1：接收用户端发送的页面访问请求数据；

步骤S2：将页面访问请求数据转换成静态页面的访问路径；

步骤S3：判断是否可以得到静态页面，如果可以，将静态页面发送至用户端,结束处理流程，否则，执行步骤S4；

步骤S3的具体实现如下：步骤S3.1：根据静态化路径规则将页面访问请求数据中的Url路径参数转换为静态页面的访问路径；

步骤S3.2：根据访问路径获取静态页面，判断该静态页面是否存在，如果存在，执行步骤S3.3，如果不存在，执行步骤S4；

步骤S3.3：判断该静态页面是否过期，如果静态页面未过期，则将未过期的静态页面的数据内容发送至用户端，结束处理流程；如果静态页面已过期，执行步骤S3.4；

步骤S3.4：判断动态页面进程的状态是否正常，如果正常，执行步骤S4，如果不正常，则将已过期的静态页面的数据内容发送至用户端，结束处理流程；

步骤S4：进行处理生成动态页面；

步骤S5：根据设置的静态页面开关变量判断是否生成静态页面，如果是，则执行步骤S6，否则，执行步骤S7；

步骤S6：在静态页面访问路径下生成新的静态页面并发送至用户端,结束处理流程；

步骤S7：直接发送生成的动态页面至用户端,结束处理流程；

还包括对静态页面进行管理的步骤：

对静态页面保存：建立存放静态页面的目录，并在目录下生成存放静态页面信息的文本文件；

对静态页面删除：按设定的删除频率从文本文件中查找过期的访问路径，再根据访问路径提取对应的静态页面进行删除。

5.根据权利要求4所述的互联网网站静态页面处理方法，其特征在于，所述动态页面进程的状态包括动态页面数据库和动态页面进程管理器的状态，如果动态页面数据库以及动态页面进程管理器均成功连接且进程连接数目属于设定的范围内，则动态页面进程的状态为正常状态，否则，为非正常状态。

6.根据权利要求4所述的互联网网站静态页面处理方法，其特征在于，所述对静态页面保存的具体实现如下步骤：

步骤S01.1：根据删除频率建立临时目录和固定目录；

步骤S01.2：将静态页面同时存放在临时目录和固定目录下；

步骤S01.3：在临时目录和固定目录下均生成用于存放静态页面访问路径及静态页面生成时间的文本文件；

所述对静态页面删除的具体实现如下步骤：

步骤S02.1：按设定的删除频率从临时目录或固定目录下的文本文件中查找过期的访问路径；

步骤S02.2：根据该访问路径提取对应静态页面进行删除。