CN102624918A - 一种基于url重写技术的代理访问方法 - Google Patents

Abstract

本发明公开了一种基于URL重写技术的代理访问方法，所述方法包括下列步骤：1)、Web请求；2)、基于单点登录的身份认证服务；3)、URL重写服务器均衡集群；4)、原始的web资源网站服务器经URL重写服务器均衡集群后生成重写后的页面，实现代理访问。本发明适用于图书馆领域及电子资源访问领域，用于解决馆外读者访问图书馆电子资源的问题。

Description

一种基于URL重写技术的代理访问方法

技术领域

本发明涉及一种基于URL重写技术的代理访问方法。

背景技术

随着web技术的日臻成熟，图书馆内的各种web资源数量越来越多，包括图书馆自建的资源网站、购置的国内电子资源、业务管理网站、以及图书馆自动化系统的OPAC网站等等。

随着资源的增多，带来几个主要问题：如何实现这些资源的统一授权访问；如何实现读者在图书馆外访问这些资源；如何采用统一的界面对使用情况进行各种统计。

现有技术中，代理服务器方式是一种比较常见的方式。该方式在授权管理上，利用代理服务器提供的用户管理功能，在客户端浏览器上设置好代理，然后可以畅通地访问图书馆提供的各种网站。利用代理服务器的简单日志作使用情况的简单统计分析。只要把代理服务器的端口和IP在防火墙上开通，校外读者也可以访问。

另外，虚拟专用网络(VPN)方式通过购买VPN硬件或者使用价廉的软件VPN，在网络传输层实现授权访问，统计数据是基于IP地址以及端口的流量报告，通过分发一些校外的VPN帐号实现校外的资源访问。因为VPN是基于传输层，只关心IP数据包正确地实现端到端的传输，因此不分析应用层的HTTP协议，所以无法对URL进行统计分析。权限控制方面只能做到对IP的黑白名单控制，对于同一台资源服务器上的多个网站应用，就无能为力了。

发明内容

本发明需要解决的技术问题就在于克服现有技术的缺陷，提供一种基于URL重写技术的代理访问方法，它适用于图书馆领域及电子资源访问领域，用于解决馆外读者访问图书馆电子资源的问题。

为解决上述问题，本发明采用如下技术方案：

本发明提供了一种基于URL重写技术的代理访问方法，所述方法包括下列步骤：

1)、Web请求；

2)、基于单点登录的身份认证服务；

3)、URL重写服务器均衡集群；

4)、原始的web资源网站服务器经URL重写服务器均衡集群后生成重写后的页面，实现代理访问。

重写服务器采用标准正则表达式类库，通过写URL地址的匹配正则表达式，来对网页内容进行搜索和替换；

URL重写服务器均衡集群采用基于Ajax技术的客户端方式，ExtJs作为UI框架，实现用户管理、授权管理、电子资源管理、流量动态监控、流量分析、资源使用率和点击率等分析；

重写后的页面与图书馆统一认证系统的挂接，采用Saml标准，与图书馆认证中心提供的Web Service进行交互，实现统一身份认证和单点登陆。

重写服务器为下列3种类型的重写服务器中的一种：

(1)基本的HTML标签重写服务器：如A、IMG、FORM等标签中的HREF、SRC、ACTION属性等等，这些属性的值一般都是URL地址，需要将这些地址进行重写处理；

(2)脚本重写服务器：对<Script>和</Script>之间的内容进行表达式分析，抽取地址相关的内容进行地址重写；

(3)自定义重写服务器：对于少数网站可能还有些地址没有被检测和重写到，那么用户可以自己定义重写服务器。

URL重写的方式为URL地址的重写或URL端口的重写。

URL地址重写就是把网站的URL地址以及网页中的所有真实URL地址(包括图片、FLASH、链接等)，转换成一个以重写代理服务器地址开头，其后紧跟着该URL地址的一个长URL地址。比如图书馆OPAC的地址是http://202.94.11.6/，URL重写代理服务器的地址是http://urlproxy.my.com/，那么经过URL重写后的OPAC的地址可以是：http://urlproxy.my.com/202119411116/。然后把20219411116服务器的80端口通过防火墙关闭，发布公开的地址http://urlproxy.my.com/20219411116/作为所有读者访问的地址。鉴于重写后的URL地址太长，上述例子的改进方案可以为20219411116起个别名，然后重定向到这个URL地址。比如改为：http://urlproxy.my.com/opac/，当读者从浏览器访问这个地址的时候，实际上是访问的OPAC 20219411116网站的内容。图1显示了基于URL重写技术的资源统一授权访问系统的原理。

网站HTML页面里的所有的URL地址，都必须得到重写，否则当用户在这个页面点击没有被重写的URL链接，浏览器就会转向链接所指向的原始的网站去了，不会通过我们的重写服务器。系统会对页面里大多数URL地址进行自动重写。但因为网页内Javascript脚本复杂多样，计算机不能全部识别。因此对于部分网页需要通过配置过滤器，来告知重写服务器对这些脚本中的URL如何重写。这种方式的优点是服务器只需要用一个端口即可实现所有电子资源的访问。因基于URL地址重写的灵活性和硬件配置要求低的优点，我们采取了这种方式。

URL端口的重写就是把电子资源URL的主机端口，影射到重写服务器的某个端口。

例如：把www.cnki.net端口影射到urlproxy.my.com:8000上，把www.sciencedirect.com影射到urlproxy.my.com:80001上。

基于端口重写的优点是大大降低重写配置难度。

用户同时访问多个资源时，将Cookie存储在客户端；

Cookie经过编码，将多个Cookie合并为一个Cookie，存储在客户端的浏览器中；

用户每发送一次请求，URL重写服务器从代理后的目标网站传回的Response中提取该资源网站所有的Cookie，将这些Cookie压缩和编码，生成一个新的Cookie，然后通过Set Cookie发给Web浏览器进行存储，这是Cookie的压缩过程；

重写服务器访问目标网站的时候，会根据Web浏览器提供的压缩后的Cookie，将其解压缩还原成多个Cookie，再发送到目标资源网站，这是Cookie的解压缩过程。

通过这种方案，可以允许用户同时访问19个资源网站。

当电子资源中的全文是以FTP方式存放时，做一个FTP到HTTP的网关，将FTP请求和回应做封装，在HTTP的头中增加Content-Disposition头，来指定文件名，把FTP文件数据放在HTTP回应中。

对于非HTTP的通讯协议资源，通过开发客户端插件，并在重写服务程序里增加一个SOCKS代理模块来实现；

客户端插件采用API HOOK技术，接管这些非HTTP协议的客户端的所有网络SOCKET调用，将目标地址转向到重写服务器的SOCKS服务器；读者在访问该资源的时候，必须安装客户端插件。

本发明专利的有益效果为：

本发明基于URL重写技术的系统，更容易被读者使用，无需客户端。主要有以下5个方面的优点：

1、实现所有管辖网站的透明访问。

2、可以实现网站间的单点登录。因为URL重写服务器本身使用的就是HTTP协议，因此在多个网站间通过架设一个认证服务器，通过跨域名Cookie技术，容易实现单点登录。用户在门户网站登录后，再进入各个资源。

3、实现用户权限统一管理。在使用该系统前，学校校园网当有IP地址调整的时候，需要对每种电子资源进行授权IP地址的修改。使用该系统后，统一进行IP用户管理，只需要添加一次即可。

4、既可以在URL级别非常容易地实现各种统计，比如访问次数；也可在网络流量上进行各种统计。可以做成各种折线图、统计报表，来反映各类资源在某个时间段内的使用情况。

5、可以实现多台主机负载均衡，实现无瓶颈访问。同时在多台主机间通过身份认证服务实现单点登录。

本发明可以实现下列功能：

通过URL重写技术，在图书馆外访问图书馆购买的电子资源，如apabi数字资源，通过跨域名Cookie技术，用户已自动登录到电子资源平台。

通过URL重写技术，在图书馆外访问电子期刊阅览室。

通过URL重写技术，在图书馆外进行期刊阅览。

对资源使用情况进行统计分析。

附图说明

图1为本发明原理框图。

具体实施方式

如图1所示，本发明提供了一种基于URL重写技术的代理访问方法，所述方法包括下列步骤：

1)、Web请求；

2)、基于单点登录的身份认证服务；

3)、URL重写服务器均衡集群；

4)、原始的web资源网站服务器经URL重写服务器均衡集群后生成重写后的页面，实现代理访问。

基于URL地址的重写

URL地址重写就是把网站的URL地址以及网页中的所有真实URL地址(包括图片、FLASH、链接等)，转换成一个以重写代理服务器地址开头，其后紧跟着该URL地址的一个长URL地址。

比如图书馆OPAC的地址是http://202.94.11.6/，URL重写代理服务器的地址是http://urlproxy.my.com/，那么经过URL重写后的OPAC的地址可以是：http://urlproxy.my.com/202119411116/。

然后把20219411116服务器的80端口通过防火墙关闭，发布公开的地址http://urlproxy.my.com/20219411116/作为所有读者访问的地址。

鉴于重写后的URL地址太长，上述例子的改进方案可以为20219411116起个别名，然后重定向到这个URL地址。

比如改为：http://urlproxy.my.com/opac/，当读者从浏览器访问这个地址的时候，实际上是访问的OPAC 20219411116网站的内容。

网站HTML页面里的所有的URL地址，都必须得到重写，否则当用户在这个页面点击没有被重写的URL链接，浏览器就会转向链接所指向的原始的网站去了，不会通过我们的重写服务器。系统会对页面里大多数URL地址进行自动重写。但因为网页内Javascript脚本复杂多样，计算机不能全部识别。因此对于部分网页需要通过配置过滤器，来告知重写服务器对这些脚本中的URL如何重写。因基于URL地址重写的灵活性和硬件配置要求低的优点，服务器只需要用一个端口即可实现所有电子资源的访问。

基于URL端口的重写

URL端口重写就是把电子资源URL的主机端口，影射到重写服务器的某个端口。

例如：把www.cnki.net端口影射到urlproxy.my.com:8000上，把www.sciencedirect.com影射到urlproxy.my.com:80001上。

基于端口重写的优点是大大降低重写配置难度。

重写器的实现

采用标准正则表达式类库，通过写URL地址的匹配正则表达式，来对网页内容进行搜索和替换。共有3种类型的重写器：

(1)基本的HTML标签重写器。如A、IMG、FORM等标签中的HREF、SRC、ACTION属性等等，这些属性的值一般都是URL地址，需要将这些地址进行重写处理。

(2)脚本重写器。对<Script>和</Script>之间的内容进行表达式分析，抽取地址相关的内容进行地址重写。

(3)自定义重写器。上述两个重写器都是系统自动完成的。对于少数网站可能还有些地址没有被检测和重写到，那么用户可以自己定义重写器。

此外，需要对HTTP回应数据进行检测，只对文本的回应进行重写。图片等二进制数据不作重写处理。有些gzip或者deflate格式的二进制数据，需要解压缩后再进行重写，可以采用相应的解压缩算法进行解压缩。

后台管理的实现

采用基于Ajax技术的胖客户端方式，ExtJs作为UI框架，实现用户管理、授权管理、电子资源管理、流量动态监控、流量分析、资源使用率和点击率等分析。

与图书馆统一认证系统的挂接

采用Saml标准，与图书馆认证中心提供的Web Service进行交互，实现统一身份认证和单点登陆。

如果同时访问了2-3个资源，就有可能出现某个资源经常提示未登录。这是Web浏览器关于Cookie个数的限制所导致的。根据rfc2965(Cookie规范)里定义的，对于一个浏览器同时能够存储的Cookie数量：

(1)总共300个Cookie。

(2)每个Cookie 4K的存储容量。

(3)每一个域名或者服务器20个Cookie。

把所有的电子资源都放在URL重写服务器下访问，会导致这些电子资源的Cookie都存储在一个域名里。因此，如果代理的电子资源数多了，浏览器只会保留最近20个Cookie，而其余的将全部丢弃。登录的会话ID(Session ID)是首先保存在浏览器Cookie中的，因此当Cookie个数超过20个的时候，也是首先被丢弃的，所以电子资源会频频出现登录提示。

采用的解决方案是：

将Cookie存储在客户端。

Cookie经过特殊编码，将多个Cookie合并为一个Cookie，存储在客户端的浏览器中。用户每发送一次请求，URL重写服务器从代理后的目标网站传回的Response中提取该资源网站所有的Cookie，将这些cookie压缩和编码，生成一个新的Cookie，然后通过Set Cookie发给Web浏览器进行存储，这是Cookie的压缩过程。重写器访问目标网站的时候，会根据Web浏览器提供的压缩后的Cookie，将其解压缩还原成多个Cookie，再发送到目标资源网站，这是Cookie的解压缩过程。通过这种方案，可以允许用户同时访问19个资源网站(因为URL重写服务器也需要占用一个Cookie来存放Session ID)，这个数量基本够用了。

如果电子资源中的全文是以FTP方式存放，解决方法：做一个FTP到HTTP的网关，将FTP请求和回应做封装，在HTTP的头中增加Content-Disposition头，来指定文件名，把FTP文件数据放在HTTP回应中。

极少数资源使用了单独的客户端以及自定义的非HTTP的通讯协议，不能通过URL重写技术实现。我们通过开发客户端插件，并在重写服务程序里增加一个SOCKS代理模块来实现。客户端插件采用API HOOK技术，接管这些非HTTP协议的客户端的所有网络SOCKET调用，将目标地址转向到重写服务器的SOCKS服务器。但是要求读者在访问该资源的时候，必须安装客户端插件。

山东大学目前已经将30多种资源通过URL重写服务器，向读者提供服务。IBM X346服务器作为认证服务器和主URL重写代理服务器。均衡的重写代理服务器配置安装在部分资源服务器上，做为流量的分流。图书馆内镜像的Web资源，将其原始地址通过防火墙隐藏，向读者发布的是重写后的URL地址。当用户访问的资源未经过认证，会弹出认证页面进行认证；如果已经认证过，那么访问该资源就和访问原始的资源效果完全一样。用户分为登录用户和IP机构用户两种。登录用户账号提供给读者在校外访问。IP机构用户是指读者在校园网内访问该系统，只要读者的IP地址在校园网IP范围内，则系统自动影射为与该IP对应的某个机构用户账号上，比如某教研室的账号。

该系统经过近两年的稳定运行，得到了广大读者的好评，已经成为教师访问图书馆资源的主要方式之一。并且和CALIS统一认证做了接口，提供本地和CALIS统一认证两种登录方式。

山东大学图书馆还申请了一条网通的100M数据专线来为校外提供更好的服务。系统支持教育网和网通两条网络接口，并实现统一认证。

为了更好地服务读者，该系统将会继续完善和发展，将其应用扩展到非HTTP应用上，增强客户端插件的功能，使读者可以通过该系统访问更多的资源。

最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (9)

1.一种基于URL重写技术的代理访问方法，其特征在于，所述方法包括下列步骤：

1)、Web请求；

2)、基于单点登录的身份认证服务；

3)、URL重写服务器均衡集群；

4)、原始的web资源网站服务器经URL重写服务器均衡集群后生成重写后的页面，实现代理访问。

2.如权利要求1所述的基于URL重写技术的代理访问方法，其特征在于：

重写服务器采用标准正则表达式类库，通过写URL地址的匹配正则表达式，来对网页内容进行搜索和替换；

URL重写服务器均衡集群采用基于Ajax技术的客户端方式，ExtJs作为UI框架，实现用户管理、授权管理、电子资源管理、流量动态监控、流量分析、资源使用率和点击率等分析；

重写后的页面与图书馆统一认证系统的挂接，采用Saml标准，与图书馆认证中心提供的Web Service进行交互，实现统一身份认证和单点登陆。

3.如权利要求2所述的基于URL重写技术的代理访问方法，其特征在于，

重写服务器为下列3种类型的重写服务器中的一种：

(1)基本的HTML标签重写服务器：如A、IMG、FORM等标签中的HREF、SRC、ACTION属性等等，这些属性的值一般都是URL地址，需要将这些地址进行重写处理；

(2)脚本重写服务器：对<Script>和</Script>之间的内容进行表达式分析，抽取地址相关的内容进行地址重写；

(3)自定义重写服务器：对于少数网站可能还有些地址没有被检测和重写到，那么用户可以自己定义重写服务器。

4.如权利要求1-3之任一所述的基于URL重写技术的代理访问方法，其特征在于，URL重写的方式为URL地址的重写或URL端口的重写。

5.如权利要求4所述的基于URL重写技术的代理访问方法，其特征在于，URL地址重写就是把网站的URL地址以及网页中的所有真实URL地址(包括图片、FLASH、链接等)，转换成一个以重写代理服务器地址开头，其后紧跟着该URL地址的一个长URL地址；

网站HTML页面里的所有的URL地址，都必须得到重写。

6.如权利要求4所述的基于URL重写技术的代理访问方法，其特征在于，URL端口的重写就是把电子资源URL的主机端口，影射到重写服务器的某个端口。

7.如权利要求6所述的基于URL重写技术的代理访问方法，其特征在于，用户同时访问多个资源时，将Cookie存储在客户端；

Cookie经过编码，将多个Cookie合并为一个Cookie，存储在客户端的浏览器中；

用户每发送一次请求，URL重写服务器从代理后的目标网站传回的Response中提取该资源网站所有的Cookie，将这些Cookie压缩和编码，生成一个新的Cookie，然后通过Set Cookie发给Web浏览器进行存储，这是Cookie的压缩过程；

重写服务器访问目标网站的时候，会根据Web浏览器提供的压缩后的Cookie，将其解压缩还原成多个Cookie，再发送到目标资源网站，这是Cookie的解压缩过程。

通过这种方案，可以允许用户同时访问19个资源网站。

8.如权利要求7所述的基于URL重写技术的代理访问方法，其特征在于，当电子资源中的全文是以FTP方式存放时，做一个FTP到HTTP的网关，将FTP请求和回应做封装，在HTTP的头中增加Content-Disposition头，来指定文件名，把FTP文件数据放在HTTP回应中。

9.如权利要求8所述的基于URL重写技术的代理访问方法，其特征在于，对于非HTTP的通讯协议资源，通过开发客户端插件，并在重写服务程序里增加一个SOCKS代理模块来实现；

客户端插件采用API HOOK技术，接管这些非HTTP协议的客户端的所有网络SOCKET调用，将目标地址转向到重写服务器的SOCKS服务器；读者在访问该资源的时候，必须安装客户端插件。

Images