CN101459571B - 一种网站镜像的方法、系统及装置 - Google Patents

Abstract

本发明公开了一种网站镜像的方法、系统及装置，用以解决现有技术中网站镜像过程中造成的网络负荷较重及提供的数据不及时、不准确的问题。该方法包括：镜像服务器根据接收到的客户端浏览器发送的浏览请求，判断是否保存有所述浏览请求对应的网页文件；当保存有所述网页文件时，则向所述客户端浏览器提供所述网页文件；当没有保存所述网页文件时，将所述浏览请求发送到目标网站服务器；存储接收到的目标网站服务器返回的网页文件，并将该网页文件返回所述客户端浏览器。如本发明提出的方案，有效保证用户获取到目标网站服务器的准确数据，减轻了目标网站服务器的负荷，有效的保证了目标网站服务器的负载均衡。

Description

一种网站镜像的方法、系统及装置 

技术领域

本发明涉及网络信息技术领域，尤其涉及一种网站镜像的方法、系统及装置。 

背景技术

随着信息化建设的发展，政府和企业都建立了基于WEB技术的业务系统网站或门户网站。这些网站的访问需求日益增加，而部分网站可能处于网络隔离的环境中，从而使客户端无法直接访问到该部分网站对应的目标网站服务器。同时，在现有的网络结构中存在各电信运营网、教育网、政府网等多种网络，在每种网络内部访问的速度很快，例如教育网内部，A大学客户端访问B大学网站的访问速度较快，但不同网络之间的访问速度较慢，例如A大学的客户端访问政府网络的速度较慢，因此，在不同的网络结构的网站之间的访问速度一般不能满足用户的需求。 

目前，网站建设者和企业信息主管(Chief Information Officer，CIO)投入了大量的人力、物力和财力来解决网站的访问量及跨网络数据传输问题。对于网站访问量的增长，通常可以采用服务器集群方式通过负载均衡来解决。而对于跨网络数据传输问题可以通过建立镜像网站的方法解决，建立镜像网站后由访问者可以选择适合自己的网速最快的访问目的网站服务器的路径，建立镜像网站的方法可以解决跨网络之间难于访问的问题，又可以解决网站访问量增长的问题。 

现有技术中建立镜像网站主要是通过共享目录，或通过文件传输协议(File Transfer Protocol，FTP)进行文件系统同步的方法实现。例如在教育网内部建立了一个电信运营网上的网站的镜像时，可以通过两种方式建立镜像服务器：一种为在教育网的镜像服务器上部署一个FTP服务器，在电信运营网的目标网站服务器上部署一个FTP客户端，通过目标网站服务器上的FTP客户端将目 标网站服务器上的所有内容上传到教育网的镜像服务器；另一种为在电信运营网的目标网站服务器上部署一个FTP服务器，在教育网的镜像服务器上部署一个FTP客户端，通过教育网的镜像服务器的FTP客户端将目标网站服务器上的所有内容下载到教育网的镜像服务器。当目标网站服务器上的内容发生变化时，例如网页增加、对网页进行修改或对网页进行删除时，也可以通过上述两种方法将修改后的内容同步到镜像服务器。 

但对于现有技术中的网站镜像方法，在首次进行网站内容镜像时，需要将目标网站服务器上的所有内容一次同步到镜像服务器中，而目标网站服务器上的内容可能很多，因此在同步的过程中会加重网络的负荷，并且，当目标网站服务器上的内容发生变化时，需要人为手动或者按照设置的时间间隔进行数据的同步，对于目标网站服务器上更新频繁的内容，需要频繁进行同步，因此工作繁琐，并且，当镜像服务器设定同步时间还未到时，目标网站服务器上的内容进行了更新，则访问者就无法获得到最新的目标网站服务器上的数据，从而影响了镜像服务器提供数据的准确性。 

发明内容

有鉴于此，本发明实施例提供一种网站镜像方法、系统及装置，用以解决现有技术中网站镜像过程中造成的网络负荷较重及提供的数据不及时、不准确的问题。 

本发明实施例提供的一种网站镜像方法，包括：镜像服务器根据接收到的客户端浏览器发送的浏览请求，判断是否保存有该浏览请求对应的网页文件；当保存有所述网页文件时，则向所述客户端浏览器提供所述网页文件，其中，判断是否保存有所述浏览请求对应的网页文件包括：根据所述浏览请求，确定该浏览请求对应的网页路径信息，根据保存的网页路径信息与网页文件的对应关系，判断是否保存有该网页路径信息对应的网页文件；当没有保存所述网页文件时，将所述浏览请求发送到目标网站服务器；存储接收到的目标网站服务器返回的网页文件，并将所述网页文件返回给所述客户端浏览器。 

本发明实施例提供的一种网站镜像系统，包括： 

镜像服务器，用于根据接收到的客户端浏览器发送的浏览请求，判断是否保存有该浏览请求对应的网页文件，其中，判断是否保存有所述浏览请求对应的网页文件包括：根据所述浏览请求，确定该浏览请求对应的网页路径信息，根据保存的网页路径信息与网页文件的对应关系，判断是否保存有该网页路径信息对应的网页文件，当保存有该网页文件时，向该客户端浏览器提供该网页文件，当没有保存该网页文件时，将该浏览请求发送到目标网站服务器，存储目标网站服务器返回的网页文件，并将所述网页文件返回给该客户端浏览器； 

目标网站服务器，用于根据接收到的镜像服务器发送的浏览请求，向镜像服务器返回网页文件。 

本发明实施例提供了一种镜像服务器，包括： 

接收模块，用于接收客户端浏览器发送的浏览请求，并接收目标网站服务器返回的网页文件； 

判断模块，用于存储所述目标网站服务器返回的网页文件，根据所述浏览请求，确定该浏览请求对应的网页路径信息，根据保存的网页路径信息与网页文件的对应关系，判断是否保存有该网页路径信息对应的网页文件； 

发送模块，用于向目标网站服务器发送浏览请求； 

提供模块，用于向所述客户端浏览器提供网页文件。 

本发明实施例提供了一种网站镜像的方法、系统及装置，当镜像服务器接收到浏览请求后，首先判断本地是否保存该浏览请求对应的网页文件，当保存有该网页文件时，直接提供本地保存的网页文件，当没有保存该网页文件时，向目标网站服务器请求该网页文件，并将目标网站服务器返回的网页文件保存并提供，因此，采用本发明实施例提供的网站镜像的方法可以有效保证用户获取到目标网站服务器的准确数据，由于当镜像服务器本地保存有网页文件时，不必从目标网站服务器获取，减轻了目标网站服务器的负荷，有效的保证了目标网站服务器的负载均衡。 

附图说明

图1为本发明实施例提供的网站镜像方法的流程图； 

图2为本发明实施例提供的网站镜像方法的另一流程图； 

图3为本发明实施例提供的网站镜像方法详细实施方式流程图； 

图4为本发明实施例提供的网站镜像系统结构示意图； 

图5为本发明实施例提供的镜像服务器结构示意图。 

具体实施方式

本发明实施例为了减轻网络负荷，并且提高提供的网站数据的准确性，如图1所示，提供了一种网站镜像的方法，具体包括以下步骤： 

S101：镜像服务器根据接收到的客户端浏览器发送的浏览请求，判断是否保存有所述浏览请求对应的网页文件。 

其中，判断是否保存有所述浏览请求对应的网页文件包括：镜像服务器根据所述浏览请求，确定该浏览请求对应的网页路径信息；根据保存的网页路径信息与网页文件的对应关系，判断是否保存有该网页路径信息对应的网页文件。 

S102：当保存有所述网页文件时，则向所述客户端浏览器提供所述网页文件。 

S103：当没有保存所述网页文件时，将所述浏览请求发送到目标网站服务器。 

S104：存储接收到的目标网站服务器返回的网页文件，并将该网页文件返回给所述客户端浏览器。 

其中，存储接收到的目标网站服务器返回的网页文件包括：镜像服务器根据接收到的网页文件，按照网页路径信息及网页文件的对应关系，保存该网页文件。 

下面结合说明书附图，对本发明实施例进行详细说明。 

图2为本发明实施例提供的网站镜像的方法流程图，具体包括以下步骤： 

S201：用户通过客户端浏览器访问镜像服务器上的网页时，用户通过客户端浏览器将其访问网页的浏览请求发送到镜像服务器，其中，该浏览请求可以为超文本传输协议(Hypertext Transfer Protocol，HTTP)请求，该浏览请求中包含网页的标识信息，例如可以为该网页对应的统一资源定位符(Uniform Resource Locate，URL)。 

S202：镜像服务器通过客户端浏览器接收到用户提交的浏览请求后，根据该浏览请求中的网页的标识信息进行分析，确定该浏览请求对应的网页路径信息。 

S203：镜像服务器根据保存的网页路径信息与网页文件的对应关系，判断是否在本地保存有该网页文件，当判断结果为是时，进行S204，否则，进行S205。 

S204：镜像服务器将本地保存的网页路径信息对应的网页文件，通过客户端浏览器提供给该用户。 

S205：镜像服务器将接收到的用户提交的浏览请求发送到通讯转换装置进行格式转换，转换为目标网站服务器可以识别的格式。 

其中，该通讯转换装置基于底层通讯技术，可以实现符合HTTP国际标准协议的数据传输功能，可以实现镜像服务器和目标服务器之间的数据传输，并且该通讯转换装置提供了穿越防火墙和/或代理服务器访问目标网站服务器的功能。同时，该通讯转换装置可以实现将浏览器提交的浏览请求转换为目标网站服务器可以理解的格式。 

其中，该通讯装转装置可以位于镜像服务器内，也可以作为一个单独的装置存在。 

S206：通讯装转装置将转换后的浏览请求发送到目标网站服务器。其中，该浏览请求中包含网页的标识信息，例如可以为该网页对应的URL。 

S207：目标网站服务器接收到通讯转换装置发送的浏览请求后，根据其自 身的业务逻辑做出响应，将响应信息发送到通讯转换装置，其中，该响应信息中包含该浏览请求对应的网页文件。 

S208：通讯转换装置将目标网站服务器发送的响应信息转换为镜像服务器可以识别的格式，并将转换后的响应信息发送到镜像服务器。 

S209：镜像服务器接收到通讯转换装置得到的响应信息后，确定该响应信息包含的网页文件及网页路径信息，在网页路径信息与网页文件的对应关系库中保存该网页路径信息与网页文件的对应关系，并将该网页文件通过客户端浏览器提供给用户。 

在本发明实施例中，可以通过镜像服务管理装置对镜像服务器中的目标网站服务器进行授权，进行授权可以认为是能够对目标服务器中的网站内容进行镜像，镜像服务管理装置还可以增加、删除或修改镜像服务器镜像的目标网站服务器的网站，在进行镜像网站增加时，镜像服务管理装置可以通过增加相关参数实现。该相关参数可以是增加镜像服务器的参数，也可以是增加原镜像服务器中增加新的网站的参数。其中，该相关参数包括：镜像服务器的标识信息，目标网站服务器的地址，镜像服务器的端口，网站镜像服务的访问地址等参数。镜像服务管理装置可以将该增加的镜像服务器或镜像服务器镜像的网站保存到操作系统注册表数据库中，或存入其内容的其他存储单元的数据库中。例如，当实现镜像服务器对某政府网镜像时，则镜像服务管理装置可以将镜像服务器的名称设置为“某政府网镜像”，将目标网站服务器的地址设置为 http://www.gov.cn，将镜像服务器的端口设置为8088，将目标网站服务器的端口设置为80。 

在删除镜像服务器镜像的网站时，镜像服务管理装置可以通过镜像服务名称删除相关镜像服务。例如，当删除镜像服务器对某政府网镜像时，则镜像服务管理装置可以通过镜像服务名称删除镜像服务器例如“某政府网镜像”。同时镜像服务管理装置将数据库中保存的该删除的镜像服务器或镜像服务器镜像的网站的相关参数删除。 

采用本发明实施例提供的网站镜像方法，由于不用一次将目标网站服务器上的所有内容下载下来，因此，简化了镜像服务器的镜像和服务工作，同时由于不用安装FTP服务器和FTP客户端，因而不用进行繁琐的日常数据同步工作，减轻了目标服务器、镜像服务器、两者之间的网络以及管理人员的负担。 

在本发明实施例中，镜像服务器可以根据客户端浏览器发送的用户的浏览请求，从本地提取数据或从目标网站服务器获取数据向用户提供，因此，有效地保证了用户可以实时获取目标网站服务器上的最新数据。并且，当用户通过镜像服务器获取了其所需数据后，当其他用户需要浏览相同的内容时，镜像服务器可以不用再从目标网站服务器获取该数据，而直接将保存的该数据发送给该其他用户，有效减轻了目标网站服务器的压力，有利于目标网站服务器的负载均衡。 

如图3所示，下面通过一个具体的实施例，对本发明提供的网站镜像的方法进行详细说明，具体包括以下步骤： 

S301：用户通过客户端浏览器向镜像服务器发送HTTP请求，其中该HTTP请求中包含URL地址信息。 

S302：镜像服务器接收到客户端浏览器发送的HTTP请求后，判断该HTTP请求是否为浏览其所镜像的网站内容的HTTP请求，即判断是否为对该镜像服务器授权内的目标网站服务器的网站的HTTP请求，当判断结果为否时，进行S303，否则，进行S304。 

S303：镜像服务器通过客户端浏览器向用户返回浏览错误信息。 

S304：镜像服务器对该HTTP请求中的URL地址进行分析，确定该URL地址对应的网页路径信息，根据保存的网页路径信息与网页文件的对应关系，判断是否保存有该网页路径信息对应的网页文件，当判断结果为是时，进行S305，否则，进行S306。 

S305：镜像服务器将该网页路径信息对应的网页文件通过客户端浏览器提供给该用户。 

S306：镜像服务器将该HTTP请求发送到通讯转换装置，通讯转换装置将接收到的HTTP请求进行格式转换，转换为目标网站服务器可以识别的格式，并将该转换后的HTTP请求发送到目标网站服务器，镜像服务器能够穿越代理服务器访问目标网站服务器。 

S307：目标网站服务器接收到该转换后的HTTP请求后，根据自身的业务逻辑做出HTTP响应，并将HTTP响应信息发送到通讯转换装置，其中，该HTTP响应信息中包含网页文件信息。 

S308：通讯转换装置接收到该HTTP响应信息后，将该HTTP响应信息转换为客户端浏览器可以识别并访问的格式，包括将该HTTP响应信息的HTTP消息头进行格式转换，并且还包括转换该HTTP响应信息中的网页中的超链接的地址信息，包括转换该HTTP响应信息中的URL地址信息。通讯转换装置将转换后的HTTP响应信息发送到镜像服务器。 

当通讯转换装置接收到的HTTP响应信息为压缩格式时，通讯转换装置将该HTTP响应信息进行解压缩处理，对解压缩后的内容进行格式转换，并对格式转换后的HTTP响应信息重新按照原有的压缩格式进行压缩处理。并将压缩处理后的HTTP响应信息返回给镜像服务器。 

S309：镜像服务器得到该转换后的HTTP响应信息后，根据该转换后的HTTP响应信息包含的网页路径信息及网页文件，在保存的网页路径信息及网页文件的对应关系表中增加该网页路径信息对应的该网页文件，并保存该HTTP响应信息中的网页文件。 

S310：镜像服务器按照保存的网页路径信息及网页文件的对应关系，将该用户发送的HTTP请求对应的网页文件通过客户端浏览器提供给用户。 

在本发明实施例中，镜像服务器也可以在得到通讯转换装置发送的HTTP响应信息后，将该HTTP响应信息通过客户端浏览器发送提供给用户，并且在保存的网页路径信息及网页文件的对应关系表中增加该网页路径信息对应的该网页文件。上述向用户提供及保存的过程顺序不限，只要能够实现向用户提 供其所需信息，并且能够将该提供的信息保存，便于向其他请求该内容的用户提供即可。 

如图4所示，本发明实施例提供了一种网站镜像的系统，包括： 

镜像服务器40，用于根据接收到的客户端浏览器发送的浏览请求，判断是否保存有该浏览请求对应的网页文件，当保存有该网页文件时，向该客户端浏览器提供该网页文件，当没有保存该网页文件时，将该浏览请求发送到目标网站服务器，存储目标网站服务器返回的网页文件，并将该网页文件返回该客户端浏览器； 

目标网站服务器41，用于根据接收到的镜像服务器发送的浏览请求，向镜像服务器返回网页文件。 

所述镜像服务器40包括： 

第一判断模块401，用于判断所述浏览请求对应的网页文件，是否为该镜像服务器授权内的目标网站服务器中的网页文件。 

所述系统还包括： 

镜像服务管理装置42，用于对镜像服务器中的目标网站服务器进行授权。 

所述镜像服务器40还包括： 

计算模块402，用于根据接收到的所述浏览请求，确定该浏览请求对应的网页路径信息； 

存储模块403，用于保存网页路径信息与网页文件的对应关系； 

第二判断模块404，用于根据保存的所述网页路径信息与网页文件的对应关系，判断是否有所述计算模块确定的网页路径信息对应的网页文件。 

所述系统还包括： 

通讯转换装置43，用于将镜像服务器发送的浏览请求转换为目标网站服务器能够识别的格式，将目标网站服务器发送的网页文件转换为客户端浏览器能够识别的格式，实现镜像服务器和目标网站服务器之间越过代理服务器和/或防火墙的数据传输； 

其中，该通讯转换装置43位于镜像服务器40内，或为一独立的装置。 

所述通讯转换装置43还用于， 

将所述目标网站服务器返回的网页文件进行解压缩处理，将解压缩后的网页文件转换为客户端浏览器能够识别的格式；按照原有的压缩格式，将格式转换后的响应信息重新进行压缩处理。 

如图5所示，本发明实施例提供了一种镜像服务器，包括： 

接收模块50，用于接收客户端浏览器发送的浏览请求，并接收目标网站服务器返回的网页文件； 

判断模块51，用户存储所述目标网站服务器返回的网页文件，判断是否保存有所述浏览请求对应的网页文件； 

发送模块52，用于向目标网站服务器发送浏览请求； 

提供模块53，用于向所述客户端浏览器提供网页文件。 

所述判断模块51包括： 

计算单元510，用于根据所述浏览请求，确定该浏览请求对应的网页路径信息； 

存储单元511，用于保存网页路径信息与网页文件的对应关系； 

判断单元512，用于根据保存的所述网页路径信息与网页文件的对应关系，判断是否保存有该网页路径信息对应的网页文件。 

本发明实施例提供了一种网站镜像的方法、系统及装置，当镜像服务器接收到浏览请求后，首先判断本地是否保存该浏览请求对应的网页文件，当保存有该网页文件时，直接提供本地保存的网页文件，当没有保存该网页文件时，向目标网站服务器请求该网页文件，并将目标网站服务器返回的网页文件保存并提供，因此，采用本发明实施例提供的网站镜像的方法可以有效保证用户及时获取到目标网站服务器的准确数据，由于当镜像服务器本地保存有网页文件时，不必从目标网站服务器获取，减轻了目标网站服务器的负荷，有效的保证了目标网站服务器的负载均衡。 

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。 

Claims (15)

1.一种网站镜像的方法，其特征在于，包括：

镜像服务器根据接收到的客户端浏览器发送的浏览请求，判断是否保存有所述浏览请求对应的网页文件，其中，判断是否保存有所述浏览请求对应的网页文件包括：根据所述浏览请求，确定该浏览请求对应的网页路径信息，根据保存的网页路径信息与网页文件的对应关系，判断是否保存有该网页路径信息对应的网页文件；

当保存有所述网页文件时，则向所述客户端浏览器提供所述网页文件；

当没有保存所述网页文件时，将所述浏览请求发送到目标网站服务器；

存储接收到的目标网站服务器返回的网页文件，并将所述网页文件返回给所述客户端浏览器。

2.如权利要求1所述的方法，其特征在于，所述判断是否保存有所述浏览请求对应的网页文件之前所述方法进一步包括：

判断所述浏览请求对应的网页文件，是否为该镜像服务器授权内的目标网站服务器中的网页文件；

当判断结果为是时，继续所述的判断是否保存有所述浏览请求对应的网页文件的步骤；

当判断结果为否时，则向所述客户端浏览器返回浏览错误信息。

3.如权利要求2所述的方法，其特征在于，镜像服务管理装置对镜像服务器中的目标网站服务器进行授权，其中，进行授权是对目标网站服务器中的网站内容进行镜像。

4.如权利要求1所述的方法，其特征在于，所述将所述浏览请求发送到目标网站服务器之前所述方法进一步包括：

将所述浏览请求转换为所述目标网站服务器能够识别的格式。

5.如权利要求1所述的方法，其特征在于，所述将所述浏览请求发送到目标网站服务器包括：

将所述浏览请求穿越代理服务器和/或防火墙发送到目标网站服务器。

6.如权利要求1所述的方法，其特征在于，所述存储接收到的目标网站服务器返回的网页文件之前所述方法还包括：

将所述目标网站服务器返回的网页文件转换为客户端浏览器能够识别的格式。

7.如权利要求6所述的方法，其特征在于，将所述目标网站服务器返回的网页文件转换为客户端能够识别的格式包括：

对所述目标网站服务器返回的经过压缩的网页文件进行解压缩处理，将解压缩后的网页文件转换为客户端浏览器能够识别的格式；

按照原有的压缩格式，将格式转换后的网页文件重新进行压缩处理。

8.一种网站镜像的系统，其特征在于，包括：

镜像服务器，用于根据接收到的客户端浏览器发送的浏览请求，判断是否保存有该浏览请求对应的网页文件，其中，判断是否保存有所述浏览请求对应的网页文件包括：根据所述浏览请求，确定该浏览请求对应的网页路径信息，根据保存的网页路径信息与网页文件的对应关系，判断是否保存有该网页路径信息对应的网页文件，当保存有该网页文件时，向该客户端浏览器提供该网页文件，当没有保存该网页文件时，将该浏览请求发送到目标网站服务器，存储所述目标网站服务器返回的网页文件，并将所述网页文件返回给该客户端浏览器；

目标网站服务器，用于根据接收到的镜像服务器发送的浏览请求，向镜像服务器返回网页文件。

9.如权利要求8所述的系统，其特征在于，所述镜像服务器包括：

第一判断模块，用于判断所述浏览请求对应的网页文件，是否为该镜像服务器授权内的目标网站服务器中的网页文件。

10.如权利要求8所述的系统，其特征在于，所述系统还包括：

镜像服务管理装置，用于对镜像服务器中的目标网站服务器进行授权，其中，进行授权是对目标网站服务器中的网站内容进行镜像。

11.如权利要求8所述的系统，其特征在于，所述镜像服务器还包括：

计算模块，用于根据接收到的所述浏览请求，确定该浏览请求对应的网页路径信息；

存储模块，用于保存网页路径信息与网页文件的对应关系；

第二判断模块，用于根据保存的所述网页路径信息与网页文件的对应关系，判断是否有所述计算模块确定的网页路径信息对应的网页文件。

12.如权利要求8所述的系统，其特征在于，所述系统还包括：

通讯转换装置，用于将镜像服务器发送的浏览请求转换为目标网站服务器能够识别的格式，将目标网站服务器发送的网页文件转换为客户端浏览器能够识别的格式，实现镜像服务器和目标网站服务器之间越过代理服务器和/或防火墙的数据传输；

其中，该通讯转换装置位于镜像服务器内，或为一独立的装置。

13.如权利要求12所述的系统，其特征在于，所述通讯转换装置还用于，

将所述目标网站服务器返回的压缩过的网页文件进行解压缩处理，将解压缩后的网页文件转换为客户端浏览器能够识别的格式；按照原有的压缩格式，将格式转换后的网页文件重新进行压缩处理。

14.一种镜像服务器，其特征在于，包括：

接收模块，用于接收客户端浏览器发送的浏览请求，并接收目标网站服务器返回的网页文件；

判断模块，用于存储所述目标网站服务器返回的网页文件，根据所述浏览请求，确定该浏览请求对应的网页路径信息，根据保存的网页路径信息与网页文件的对应关系，判断是否保存有该网页路径信息对应的网页文件；

发送模块，用于向目标网站服务器发送浏览请求；

提供模块，用于向所述客户端浏览器提供网页文件。

15.如权利要求14所述的服务器，其特征在于，所述判断模块包括：

计算单元，用于根据所述浏览请求，确定该浏览请求对应的网页路径信息；

存储单元，用于保存网页路径信息与网页文件的对应关系；

判断单元，用于根据保存的所述网页路径信息与网页文件的对应关系，判断是否保存有该网页路径信息对应的网页文件。

Images