CN102868719B - 一种基于缓存的网络访问方法和服务器 - Google Patents
一种基于缓存的网络访问方法和服务器 Download PDFInfo
- Publication number
- CN102868719B CN102868719B CN201210226979.5A CN201210226979A CN102868719B CN 102868719 B CN102868719 B CN 102868719B CN 201210226979 A CN201210226979 A CN 201210226979A CN 102868719 B CN102868719 B CN 102868719B
- Authority
- CN
- China
- Prior art keywords
- buffer memory
- web
- web page
- user
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active - Reinstated
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004088 simulation Methods 0.000 claims abstract description 22
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 23
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 5
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 18
- 244000089409 Erythrina poeppigiana Species 0.000 description 13
- 244000097202 Rathbunia alamosensis Species 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
Abstract
本发明提供了一种基于缓存的网络访问方法和服务器，所述方法包括：模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息；对所述获取到的网页信息进行缓存；接收来自用户终端的访问网页的请求信息；提取所述请求信息中包含的用户标识和请求访问网页的地址信息；查找缓存中是否存在此用户标识登录过该访问网页的相应记录；当不存在时，从缓存中调用该访问网页的缓存页面信息返回给所述用户终端。因为只有当网络请求从未登录登录该网页的情况下，服务器才将该网络请求对应的网页缓存发送给终端，这样一来，不但避免了用户敏感信息泄漏，而且提高了网页缓存的命中率，提高了代理服务器响应网络访问请求的性能。
Description
技术领域
本发明涉及网络通信技术领域，特别是涉及一种基于缓存的网络访问方法和服务器。
背景技术
目前，基于缓存利用代理服务器进行网络访问已是一种被广泛应用的超文本传输协议(HTTP，Hypertext Transfer Protocol)通信方式。代理服务器通常介于客户端和Web服务器(第三方网站)之间，客户端不直接向Web服务器发送网络请求，而是由代理服务器根据客户端的请求从Web服务器取回客户端所需信息返回给客户端。为了提高用户访问速度，代理服务器通常以缓存方式为用户提供对Web服务器的访问。
但是，代理服务器在缓存网页时，如果网页信息中包含了用户名、密码等个人信息时，则该用户的个人信息也会被一同缓存，当该网页被其他用户请求访问时，所得到的将是包含用户个人信息的网页，造成用户信息泄漏。因此，处于安全性考虑，Web服务器往往会在网页中指定缓存策略，例如，对于需要用户登录访问的网站通常会将网页设置为不缓存(no-cache)：
<meta http-equiv="pragma"content="no-cache"/>，此亦被称为网页的原始缓存策略。对于这类包含用户敏感信息的网页，代理服务器虽然可以忽略网页中的no-cache设置而对其强制进行缓存，但如上所述，会造成用户个人信息泄漏。因此，实际情况是代理服务器对指定为no-cache属性的网页通常会放弃缓存，如此一来，导致缓存命中率低下，大大降低了用户的访问速度。
总之，需要本领域技术人员迫切解决的一个技术问题就是：如何在保证安全性的同时提高网页缓存命中率，提高用户访问速度。
发明内容
本发明所要解决的技术问题是提供一种基于缓存的网络访问方法和服务器，以便在保证用户信息不被泄漏的同时提高网页缓存命中率，提高用户访问速度。
为了解决上述问题，本发明公开了一种基于缓存的网络访问方法，包括：
模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息；
对所述获取到的网页信息进行缓存；
接收来自用户终端的访问网页的请求信息；
提取所述请求信息中包含的用户标识和请求访问网页的地址信息；
查找缓存中是否存在此用户标识登录过该访问网页的相应记录；
当不存在时，从缓存中调用该访问网页的缓存页面信息返回给所述用户终端。
优选的，还包括：
若在所述缓存中查找到所述用户标识登录过该请求访问网页的相应记录时，则不从缓存中调用该网页的缓存页面信息，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
优选的，还包括：
设置缓存状态映射表，用于记录来自用户终端的访问网页的请求信息中的用户标识及请求访问的网页地址信息；
所述查找缓存中是否存在该用户标识登录过该访问网页的相应记录，进一步包括：
根据所述请求信息中用户标识和网页地址信息查找所述缓存状态映射表中是否存在相应的记录。
优选的，所述查找缓存中是否存在该用户标识登录过该访问网页的相应记录之前，还包括：
根据预置的不缓存列表匹配所述访问网页的请求信息中的网页地址信息，若匹配，则不从缓存中调用该网页的缓存页面信息，不再执行所述查找缓存的步骤，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
优选的，所述查找缓存中是否存在此用户标识登录过该访问网页的相应记录之后，还包括：
若不存在相应记录，并且所述网页地址信息对应的网页缓存的有效期已超出阈值，则不从缓存中调用该网页的缓存页面信息，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
优选的，所述模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息，进一步包括：
通过网页抓取工具模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息。
优选的，所述通过网页抓取工具模拟普通用户访问WEB服务器进一步包括：
通过网页抓取工具模拟普通用户按照预制的缓存网站清单访问WEB服务器。
为解决上述问题，本发明还公开了一种基于缓存的网络服务器，包括：
网页访问模块，适于通过模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息；
缓存模块，适于对所述获取到的网页信息进行缓存；
接收模块，适于接收来自用户终端的访问网页的请求信息；
提取模块，适于从所述网页的请求信息中提取包含的用户标识和请求访问的网页的地址信息；
验证模块，适于查找缓存中是否存在此用户标识登录过该访问网页的相应记录；当不存在时，从缓存中调用该访问网页的缓存页面信息返回给所述用户终端。
优选的，所述验证模块还适于在所述缓存中查找到所述用户标识登录过该请求访问网页的相应记录时，则不从缓存中调用该网页的缓存页面信息，而向WEB服务器获取所述访问网页的页面信息返回给终端。
优选的，所述装置还包括：
缓存状态映射表，适于记录来自用户终端的访问网页的请求信息中的用户标识及请求访问的网页地址信息；
所述验证模块根据所述请求信息中用户标识和网页地址信息查找所述缓存状态映射表中是否存在相应的记录。
优选的，所述装置还包括：
第一过滤模块，适于根据预置的不缓存列表匹配所述访问网页的请求信息中的网页地址信息，若匹配，则不从缓存中调用该网页的缓存页面信息，不再执行所述查找缓存的步骤，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
优选的，所述装置还包括：
第二过滤模块，适于当缓存中不存在当前用户标识登录过该访问网页的相应记录，并且所述网页地址信息对应的网页缓存的有效期已超出阈值，则不从缓存中调用该网页的缓存页面信息，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
优选的，所述网页访问模块进一步适于通过网页抓取工具模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息。
优选的，所述网页访问模块进一步适于通过网页抓取工具模拟普通用户按照预置的缓存网站清单访问WEB服务器，获取所述WEB服务器上的网页信息。
优选的，所述基于缓存的网络服务器为代理服务器。
与现有技术相比，本发明具有以下优点：
考虑到现有技术通过代理服务器访问网页时，对含有用户敏感信息的网页，代理服务器无法在保证安全的同时对网页进行缓存，造成缓存命中率低下这一问题，我们提出代理服务器在缓存状态映射表中记录网页的登录状态，当收到终端的网络访问请求后，只有从未登录登录该网页的情况下，才将该网络请求对应的网页缓存发送给终端，这样一来，不但避免了用户敏感信息泄漏，而且提高了网页缓存的命中率，提高了代理服务器响应网络访问请求的性能。
附图说明
图1是本发明所述一种基于缓存的网络访问方法实施例一的流程图；
图2是本发明所述一种基于缓存的网络访问方法实施例二的流程图；
图3是本发明所述一种基于缓存的网络访问方法实施例三的流程图；
图4是本发明所述一种基于缓存的网络服务器一实施例的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明提供的一种基于缓存的网络访问方法实施例一的流程示意图，本实施例的基于缓存的网络访问方法包括以下步骤：
步骤101，模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息。
本发明实施例中所述普通用户就是指非登录用户，比如游客或普通访客。
在本发明的另一优选实施例中，步骤101进一步包括：
通过网页抓取工具模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息。
通过网页抓取工具，可在无人干预的情况下定期或不定期模拟普通用户访问WEB服务器，获取WEB服务器上的网页信息，不仅保证获取网页信息的及时性，而且大大降低了人力资源成本。
步骤102，对所述获取到的网页信息进行缓存。
步骤103，接收来自用户终端的访问网页的请求信息。
步骤104，提取所述请求信息中包含的用户标识和请求访问网页的地址信息。
请求信息中包含的用户标识是指能够唯一标识请求信息来源和身份的信息，例如用户终端的IP地址、网卡编号、用户账户名等。
步骤105，查找缓存中是否存在此用户标识登录过该访问网页的相应记录；当不存在时，从缓存中调用该访问网页的缓存页面信息返回给所述用户终端。
当来自用户终端的访问网页请求是登录该网页时，生成与该用户标识对应的登录记录；当收到该用户的访问该网页的请求后，首先查找是否存在相应的登录记录，只有当该登录记录不存在时，从缓存中调用该访问网页的缓存页面信息返回给所述用户终端。
本发明上述实施例中，实施缓存的网页都是没有用户登录信息的，仅当用户的访问请求不存在相应的登录记录时，才会将访问网页的缓存页面信息返回给用户终端，即保证用户信息不被泄漏，而且提高了响应速度。
在本发明的另一优选实施例中，所述方法进一步包括：若在所述缓存中查找到所述用户标识登录过该请求访问网页的相应记录时，则不从缓存中调用该网页的缓存页面信息，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
参照图2，图2示出了本发明所述一种基于缓存的网络访问方法的实施例二的流程图，所述方法具体包括：
步骤201，设置缓存状态映射表，用于记录来自用户终端的访问网页的请求信息中的用户标识及请求访问的网页地址信息。
缓存状态映射表中记录有网站标识和对应的登录状态，其数据结构示例如下：
Sina 1
Baidu 0
Sohu 0
其中，左侧为各网站的网站标识，本例中我们以网站地址中的主域名作为网站标识，如：baidu、sina。右侧与网站标识对应的是该网站的登录状态标识，其中“1”表示该网站已被用户登录过，“0”表示该网站未被登录。该登录标识是可选项，例如也可通过判断是否存在登录记录来判断用户是否登录过该网站。
步骤202，接收来自用户终端的访问网页的请求信息。
步骤203，提取所述请求信息中包含的用户标识和请求访问网页的地址信息。
步骤204，根据所述请求信息中用户标识和网页地址信息查找所述缓存状态映射表中是否存在相应的记录；当不存在时，执行步骤205；当存在时，则不从缓存中调用该网页的缓存页面信息，执行步骤206。
步骤205，从缓存中调用该访问网页的缓存页面信息返回给所述用户终端。
步骤206，向WEB服务器获取所述访问网页的页面信息返回给所述终端。
从终端的网络请求信息中提取网站主域名作为网站标识，然后根据网站标识从缓存状态映射表获取该网站标识对应的登录状态标识，若登录状态标识为“1”，则意味当前网络请求信息对应的网站之前已被用户登录。因此，在本实施例中，仅当网络请求信息在缓存状态映射表对应的记录不存在或登录状态为“0”时才会获取网页缓存作为网络应答信息，这样一来，不但提高了响应速度，同时不会影响用户的操作，也不会泄漏登录用户的隐私。
参照图3，示出了本发明提供的一种基于缓存的网络访问方法实施例三的流程示意图，本实施例的基于缓存的网络访问方法包括以下步骤：
步骤301，接收来自用户终端的访问网页的请求信息。
步骤302，提取所述请求信息中包含的用户标识和请求访问网页的地址信息。
步骤303，根据预置的不缓存列表匹配所述网页的请求信息中的网页地址信息，若匹配，执行步骤305。
不缓存列表(no-cache list)是记录不能读写缓存的域名列表。所述不缓存映射表中的域名一般包括host主机、门户类网站或者二/三级子域名等，例如网络论坛这类网站，由于内容更新快，实时性要求很高，因此不适宜进行缓存。不缓存列表所记录数据示例如下：
1:tieba.baidu.com;zhidao.baidu.com
2:bbs.sina.com.cn;chat.sina.com.cn
若网页请求信息中包含的网址信息在上述不缓存列表范围内，即表示对该网页请求不进行读取缓存的相关处理。
步骤304，若用户网页请求信息中否包含登录请求，根据网页请求信息中包含的用户标识判断对应的缓存状态映射表中是否存在相应的记录，
A1：若不存在，则于缓存映射表中生成与当前用户标识和网址信息对应的登录记录，并设置对应的登录状态标识为已登录“1”；若存在，将缓存状态映射表与当前用户标识和网址信息对应的记录的登录状态标识设置为已登录“1”；执行步骤305。
A2：若用户网页请求信息中不否包含登录请求，执行步骤306。
本实施例根据当前网页请求信息中是否包含POST信息来判断该网页请求信息是否包含登录请求。
HTTP通信协议定义了终端与服务器交互的不同方法，最基本的方法是GET和POST。GET是从服务器上获取数据，POST是向服务器传送数据。
在终端，GET方式在通过URL提交数据，数据在URL中可以看到；POST方式，数据放置在HTML HEADER内提交至服务器。
使用GET的时候，参数会显示在浏览器地址栏上，而POST则不会。
为了更好理解本发明，以下分别举例说明GET和POST方式如何向Web服务器提交请求：
以GET方式从Web服务器请求获取网页：
<FORM ACTION="http://news.sina.com"METHOD="get">
<INPUT TYPE="submit"VALUE="Get方式"></INPUT>
<／FORM>
<BR>
以POST方式向Web服务器提交登录请求信息：
<FORM ACTION="http:／／www.baidu.com"METHOD="post">
<INPUT TYPE="text"NAME="用户名"VALUE="namel">
<INPUT TYPE="password"NAME="密码"VALUE="password1">
<INPUT TYPE="submit"VALUE="Post方式"></INPUT>
<／FORM>
<BR>
包含POST的网页请求信息示例如下：
POST/http:／／www.baidu.com/http1.1
步骤305，不从缓存中调用该网页的缓存页面信息，，向WEB服务器获取所述访问网页的页面信息返回给所述终端。
步骤306，从缓存中调用该访问网页的缓存页面信息返回给所述用户终端。
本发明另一优选实施例中，所述方法进一步包括：对所获取的网页缓存记录有效期，若超出有效期，则重新获取对应的网页生成网页缓存。
本发明另一优选实施例中，所述方法进一步包括：服务器判断用户终端网页请求信息中的Cookie是否超出有效周期，若超出，则删除对应的网页缓存；另外，服务器定期对网页网页缓存进行更新。
在基于缓存的网页访问方法中，常见的有两种通信架构：一种是在客户端和Web服务器中间设置有代理服务器，客户端不直接向Web服务器发送网页请求，而是由代理服务器根据客户端的请求从Web服务器取回客户端所需信息返回给客户端，网页缓存也存储在代理服务器中；另一种是客户端直接向Web服务器发送请求，所获取的网页缓存存储在客户端中。在上述实施例的描述中，虽然是以代理服务器的架构进行描述，但是本领域技术人员应该理解，在实施本发明时，无论采用何种架构，网页缓存存储于代理服务器，或者存储于客户端，都是本发明所述方法在不同环境下的应用，并未超出本发明所要求保护的范围。
以上两个实施例对本发明所公开的基于缓存的网页访问方法做了详细描述，为了更好理解本发明的内容，下面通过一个具体的例子对本发明的内容做进一步详细描述：
假设目标网页wap.sina.com.cn，此页面被指定为no-cache，但是此页面短时间内并无太大变化，不足以影响用户的浏览体验；为了提高响应用户的速度，代理服务器将其网站标识sina收入缓存网站清单，并根据缓存网站清单的内容定期对包括wap.sina.com.cn的网页获取缓存并存储在代理服务器中。本例中，我们将缓存有效设定过期时间为30分钟。
当用户A访问此网页时，此时缓存还有20分钟过期，代理服务器在缓存状态映射表中并没有发现用户A此前在sina相关的页面有过登录操作，因此用户A的本次浏览命中缓存。
当用户B访问wap.sina.com.cn网页时，假设两小时前B登录过新浪邮箱，因此带有新浪的cookie；代理服务器的缓存状态映射表中发现B曾经登录过新浪相关页面，其对应的登录状态标识为“1”，因此此次访问不能命中缓存。
当用户C访问wap.sina.com.cn时，缓存还有10分钟过期。由于用户C之前没有在新浪登录过，因此用户C在缓存状态映射表中对应sina登录状态标识为未登录“0”，本次访问会命中缓存；并且服务器发现此缓存即将过期，会自动请求wap.sina.com.cn，拿到页面并更新缓存，并重新将该缓存的有效设置为此刻开始30分钟过期。
但是当用户B访问与sina无关的第三方页面时，例如搜狐，如果B没有在搜狐登录过，则一样可以使用搜狐相关的缓存。
以上对本发明所提供的一种网页标签缩微图的显示方法做了描述，下面参见上述方法实施例的内容，对本发明的公开的一种基于缓存的网络服务器进行描述：
参见图4，图4示出了本发明所述一种基于缓存的网络服务器一实施例的结构示意图，所述服务器包括：
网页访问模块410，适于通过模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息；
缓存模块420，适于对所述获取到的网页信息进行缓存；
接收模块430，适于接收来自用户终端的访问网页的请求信息；
提取模块440，适于从所述网页的请求信息中提取包含的用户标识和请求访问的网页的地址信息；
验证模块450，适于查找缓存中是否存在此用户标识登录过该访问网页的相应记录；当不存在时，从缓存中调用该访问网页的缓存页面信息返回给所述用户终端。
优选的，所述验证模块还适于在所述缓存中查找到所述用户标识登录过该请求访问网页的相应记录时，则不从缓存中调用该网页的缓存页面信息，而向WEB服务器获取所述访问网页的页面信息返回给终端。
优选的，所述服务器还包括：
缓存状态映射表460，适于记录来自用户终端的访问网页的请求信息中的用户标识及请求访问的网页地址信息；
所述验证模块根据所述请求信息中用户标识和网页地址信息查找所述缓存状态映射表中是否存在相应的记录。
优选的，所述服务器还包括：
第一过滤模块470，适于根据预置的不缓存列表匹配所述访问网页的请求信息中的网页地址信息，若匹配，则不从缓存中调用该网页的缓存页面信息，不再执行所述查找缓存的步骤，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
优选的，所述服务器还包括：
第二过滤模块480，适于当缓存中不存在当前用户标识登录过该访问网页的相应记录，并且所述网页地址信息对应的网页缓存的有效期已超出阈值，则不从缓存中调用该网页的缓存页面信息，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
优选的，所述网页访问模块进一步适于通过网页抓取工具模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息。
优选的，所述网页访问模块进一步适于通过网页抓取工具模拟普通用户按照预置的缓存网站清单访问WEB服务器，获取所述WEB服务器上的网页信息。
优选的，所述基于缓存的网络服务器为代理服务器。
上述本发明实施例中的方法和服务器适用于各种网络或者客户端环境中，例如可以实现在诸如个人计算机设备之类的计算机设备中，或者可以实现在诸如移动电话、移动通信设备、个人数字助理(PDA)等其他便携式电子设备或者非便携式电子设备中。因此本领域技术人员要明确的是，本发明的保护范围并不限于PC上运行浏览器中的网页访问功能，仅是出于描述的简洁和方便而在本发明实施例中采用了PC上运行浏览器中的网页访问功能进行描述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统和/或装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
而且，上文中的“和/或”表示本文既包含了“和”的关系，也包含了“或”的关系，其中：如果方案A与方案B是“和”的关系，则表示某实施例中可以同时包括方案A和方案B；如果方案A与方案B是“或”的关系，则表示某实施例中可以单独包括方案A，或者单独包括方案B。
以上对本发明所提供的一种基于缓存的网络访问方法和服务器，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是适于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种基于缓存的网络访问方法，其特征在于，包括：
模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息；
对获取到的网页信息进行缓存；
接收来自用户终端的访问网页的请求信息；
提取所述请求信息中包含的用户标识和请求访问网页的地址信息；
查找缓存中是否存在此用户标识登录过该访问网页的相应记录；
当所述用户标识登录过该访问网页的相应记录不存在时，从缓存中调用该访问网页的缓存页面信息返回给所述用户终端。
2.如权利要求1所述的方法，其特征在于，还包括：
若在所述缓存中查找到所述用户标识登录过该请求访问网页的相应记录时，则不从缓存中调用该网页的缓存页面信息，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
3.如权利要求1或2所述的方法，其特征在于，还包括：
设置缓存状态映射表，用于记录来自用户终端的访问网页的请求信息中的用户标识及请求访问的网页地址信息；
所述查找缓存中是否存在该用户标识登录过该访问网页的相应记录，进一步包括：
根据所述请求信息中用户标识和网页地址信息查找所述缓存状态映射表中是否存在相应的记录。
4.如权利要求3所述的方法，其特征在于，所述查找缓存中是否存在该用户标识登录过该访问网页的相应记录之前，还包括：
根据预置的不缓存列表匹配所述访问网页的请求信息中的网页地址信息，若匹配，则不从缓存中调用该网页的缓存页面信息，不再执行所述查找缓存的步骤，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
5.如权利要求1所述的方法，其特征在于，所述查找缓存中是否存在此用户标识登录过该访问网页的相应记录之后，还包括：
若不存在相应记录，并且所述网页地址信息对应的网页缓存的有效期已超出阈值，则不从缓存中调用该网页的缓存页面信息，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
6.如权利要求1所述的方法，其特征在于，所述模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息，进一步包括：
通过网页抓取工具模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息。
7.如权利要求6所述的方法，其特征在于，所述通过网页抓取工具模拟普通用户访问WEB服务器进一步包括：
通过网页抓取工具模拟普通用户按照预制的缓存网站清单访问WEB服务器。
8.一种基于缓存的网络服务器，其特征在于，包括：
网页访问模块，适于通过模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息；
缓存模块，适于对获取到的网页信息进行缓存；
接收模块，适于接收来自用户终端的访问网页的请求信息；
提取模块，适于从所述网页的请求信息中提取包含的用户标识和请求访问的网页的地址信息；
验证模块，适于查找缓存中是否存在此用户标识登录过该访问网页的相应记录；当所述用户标识登录过该访问网页的相应记录不存在时，从缓存中调用该访问网页的缓存页面信息返回给所述用户终端。
9.如权利要求8所述的服务器，其特征在于，所述验证模块还适于在所述缓存中查找到所述用户标识登录过该请求访问网页的相应记录时，则不从缓存中调用该网页的缓存页面信息，而向WEB服务器获取所述访问网页的页面信息返回给终端。
10.如权利要求8或9所述的服务器，其特征在于，还包括：
缓存状态映射表，适于记录来自用户终端的访问网页的请求信息中的用户标识及请求访问的网页地址信息；
所述验证模块根据所述请求信息中用户标识和网页地址信息查找所述缓存状态映射表中是否存在相应的记录。
11.如权利要求9所述的服务器，其特征在于，还包括：
第一过滤模块，适于根据预置的不缓存列表匹配所述访问网页的请求信息中的网页地址信息，若匹配，则不从缓存中调用该网页的缓存页面信息，不再执行所述查找缓存的步骤，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
12.如权利要求9所述的服务器，其特征在于，还包括：
第二过滤模块，适于当缓存中不存在当前用户标识登录过该访问网页的相应记录，并且所述网页地址信息对应的网页缓存的有效期已超出阈值，则不从缓存中调用该网页的缓存页面信息，而向WEB服务器获取所述访问网页的页面信息返回给所述终端。
13.如权利要求9所述的服务器，其特征在于，所述网页访问模块进一步适于通过网页抓取工具模拟普通用户访问WEB服务器，获取所述WEB服务器上的网页信息。
14.如权利要求13所述的服务器，其特征在于，所述网页访问模块进一步适于通过网页抓取工具模拟普通用户按照预置的缓存网站清单访问WEB服务器，获取所述WEB服务器上的网页信息。
15.如权利要求8所述的服务器，其特征在于，所述基于缓存的网络服务器为代理服务器。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210226979.5A CN102868719B (zh) | 2012-06-29 | 2012-06-29 | 一种基于缓存的网络访问方法和服务器 |
| PCT/CN2013/077136 WO2014000574A1 (zh) | 2012-06-29 | 2013-06-13 | 一种基于缓存的网络访问方法和服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210226979.5A CN102868719B (zh) | 2012-06-29 | 2012-06-29 | 一种基于缓存的网络访问方法和服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102868719A CN102868719A (zh) | 2013-01-09 |
| CN102868719B true CN102868719B (zh) | 2015-09-16 |
Family
ID=47447306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210226979.5A Active - Reinstated CN102868719B (zh) | 2012-06-29 | 2012-06-29 | 一种基于缓存的网络访问方法和服务器 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN102868719B (zh) |
| WO (1) | WO2014000574A1 (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102868719B (zh) * | 2012-06-29 | 2015-09-16 | 北京奇虎科技有限公司 | 一种基于缓存的网络访问方法和服务器 |
| CN103237003B (zh) * | 2013-01-17 | 2016-04-06 | 北京印天网真科技有限公司 | 对网络中的高访问流量进行响应的方法和装置 |
| CN103220344B (zh) * | 2013-03-29 | 2016-08-31 | 新浪技术（中国）有限公司 | 微博授权使用方法和系统 |
| CN103412898B (zh) * | 2013-07-26 | 2017-03-01 | 华为技术有限公司 | 一种网页优化的方法及装置 |
| CN103500204B (zh) * | 2013-09-27 | 2018-10-16 | 北京京东尚科信息技术有限公司 | 一种网页浏览回退方法、网页服务器和客户端 |
| CN104580540B (zh) * | 2013-10-09 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 网站访问的实现方法和装置 |
| CN104980311B (zh) * | 2014-04-14 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 预测网络访问的方法、装置及系统 |
| CN103973682B (zh) * | 2014-04-30 | 2018-09-04 | 北京奇虎科技有限公司 | 进行网页访问的方法及装置 |
| CN104021204A (zh) * | 2014-06-17 | 2014-09-03 | 贝壳网际（北京）安全技术有限公司 | 一种用于访问网页的方法及装置 |
| CN104615771B (zh) * | 2015-02-13 | 2018-12-21 | 广州华多网络科技有限公司 | 一种获取网页数据的方法及装置 |
| CN107025226A (zh) * | 2016-01-29 | 2017-08-08 | 广州市动景计算机科技有限公司 | 目标站点访问方法、装置和中转服务器 |
| CN106021384A (zh) * | 2016-05-12 | 2016-10-12 | 广西尊达电子商务有限公司 | 一种web页面缓存方法 |
| WO2018090336A1 (zh) * | 2016-11-18 | 2018-05-24 | 华为技术有限公司 | 缓存数据获取方法、相关设备以及通信系统 |
| CN107493350A (zh) * | 2017-09-30 | 2017-12-19 | 迈普通信技术股份有限公司 | 缓存方法、装置及系统 |
| CN109857577B (zh) * | 2019-01-28 | 2021-10-22 | 北京三快在线科技有限公司 | 访问控制方法、装置、介质及电子设备 |
| CN110008432B (zh) * | 2019-04-15 | 2023-04-28 | 山东八五信息技术有限公司 | 一种Web匿名用户识别、追踪方法及系统 |
| CN110430083B (zh) * | 2019-08-15 | 2022-11-15 | 平安普惠企业管理有限公司 | 一种代理转发请求的定位处理方法及服务器 |
| CN111865966B (zh) * | 2020-07-16 | 2022-08-16 | 北京思特奇信息技术股份有限公司 | 一种网页安全访问方法及装置 |
| CN112612983B (zh) * | 2021-01-07 | 2022-12-13 | 上海哔哩哔哩科技有限公司 | 一种页面访问方法及系统 |
| CN115102712B (zh) * | 2022-05-17 | 2024-04-16 | 刘勇 | 一种增强的终端标识的方法、装置、电子设备及储存介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101179550A (zh) * | 2006-12-14 | 2008-05-14 | 腾讯科技（深圳）有限公司 | 一种个人主页实现方法及系统 |
| CN101702647A (zh) * | 2009-11-30 | 2010-05-05 | 中国电信股份有限公司 | Cookie信息的管理方法和Cookie服务器 |
| CN102364461A (zh) * | 2011-06-30 | 2012-02-29 | 广州市动景计算机科技有限公司 | 网页内容数据获取方法及服务器 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6510458B1 (en) * | 1999-07-15 | 2003-01-21 | International Business Machines Corporation | Blocking saves to web browser cache based on content rating |
| CN101807193B (zh) * | 2009-12-31 | 2015-07-22 | 优视科技有限公司 | 一种用于移动通讯设备终端的浏览方法 |
| US8806040B2 (en) * | 2010-12-06 | 2014-08-12 | Red Hat, Inc. | Accessing external network via proxy server |
| CN102075570B (zh) * | 2010-12-31 | 2013-01-30 | 南京中兴特种软件有限责任公司 | 一种基于关键字的http报文缓存机制的实现方法 |
| CN102868719B (zh) * | 2012-06-29 | 2015-09-16 | 北京奇虎科技有限公司 | 一种基于缓存的网络访问方法和服务器 |
-
2012
- 2012-06-29 CN CN201210226979.5A patent/CN102868719B/zh active Active - Reinstated
-
2013
- 2013-06-13 WO PCT/CN2013/077136 patent/WO2014000574A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101179550A (zh) * | 2006-12-14 | 2008-05-14 | 腾讯科技（深圳）有限公司 | 一种个人主页实现方法及系统 |
| CN101702647A (zh) * | 2009-11-30 | 2010-05-05 | 中国电信股份有限公司 | Cookie信息的管理方法和Cookie服务器 |
| CN102364461A (zh) * | 2011-06-30 | 2012-02-29 | 广州市动景计算机科技有限公司 | 网页内容数据获取方法及服务器 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014000574A1 (zh) | 2014-01-03 |
| CN102868719A (zh) | 2013-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102868719B (zh) | 一种基于缓存的网络访问方法和服务器 | |
| US10642904B2 (en) | Infrastructure enabling intelligent execution and crawling of a web application | |
| CN103685604B (zh) | 一种域名预解析方法及装置 | |
| CN102789470B (zh) | 加载网页中的图片的方法和装置 | |
| CN102594934B (zh) | 一种识别被劫持网址的方法及装置 | |
| CN104954372B (zh) | 一种钓鱼网站的取证与验证方法及系统 | |
| CN103617267B (zh) | 社交化扩展搜索方法及装置、系统 | |
| CN111901192B (zh) | 一种页面访问数据的统计方法及装置 | |
| CN102436564A (zh) | 一种识别被篡改网页的方法及装置 | |
| CN103383687B (zh) | 一种页面处理方法和装置 | |
| KR100848319B1 (ko) | 웹 구조정보를 이용한 유해 사이트 차단 방법 및 장치 | |
| CN102857369B (zh) | 一种网站日志保存系统及方法和装置 | |
| CN106302512B (zh) | 一种用于控制访问的方法、设备与系统 | |
| EP3018884A1 (en) | Mobile terminal cross-browser login method and device | |
| CN101540734A (zh) | 一种跨域名Cookie访问方法、系统及设备 | |
| CN105991398A (zh) | 一种即时通信im聊天记录的保存方法及装置 | |
| CN106453216A (zh) | 恶意网站拦截方法、装置及客户端 | |
| US8407766B1 (en) | Method and apparatus for monitoring sensitive data on a computer network | |
| CN101227451B (zh) | 通过Web表单获得用户交互数据的方法及系统 | |
| US20130179421A1 (en) | System and Method for Collecting URL Information Using Retrieval Service of Social Network Service | |
| CN110855766A (zh) | 一种访问Web资源的方法、装置及代理服务器 | |
| CN1960371B (zh) | 一种访问Web应用程序文件的方法及系统 | |
| EP2640035B1 (en) | Hypertext transfer protocol (http) stream association method and device | |
| CN108322420A (zh) | 后门文件的检测方法和装置 | |
| CN103853764B (zh) | 终端信息同步方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150916 Termination date: 20190629 |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| RR01 | Reinstatement of patent right |
Former decision: Patent right to terminate Former decision publication date: 20200623 |
|
| RR01 | Reinstatement of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220819 Address after: No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science and Technology Park, High-tech Zone, Binhai New District, Tianjin 300000 Patentee after: 3600 Technology Group Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |
|
| TR01 | Transfer of patent right |