CN1507235A - 访问中继装置 - Google Patents

访问中继装置 Download PDF

Info

Publication number
CN1507235A
CN1507235A CNA2003101047030A CN200310104703A CN1507235A CN 1507235 A CN1507235 A CN 1507235A CN A2003101047030 A CNA2003101047030 A CN A2003101047030A CN 200310104703 A CN200310104703 A CN 200310104703A CN 1507235 A CN1507235 A CN 1507235A
Authority
CN
China
Prior art keywords
mentioned
visit
access
server
access log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2003101047030A
Other languages
English (en)
Other versions
CN100496037C (zh
Inventor
中原雅彦
野田文雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN1507235A publication Critical patent/CN1507235A/zh
Application granted granted Critical
Publication of CN100496037C publication Critical patent/CN100496037C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/288—Distributed intermediate devices, i.e. intermediate devices for interaction with other intermediate devices on the same level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]

Abstract

提供一种访问中继装置，在该由多个代理服务器构成的访问中继装置中，能够减小访问日志的管理开销和由于故障引起日志丢失的危险性，并防止由于集中访问特定Web服务器而使服务性能下降。该访问中继装置由多个代理服务器23和进行统计处理的管理服务器24以及它们可访问的共享盘装置25组成，各代理服务器将访问日志输出到共享盘上，管理服务器从共享盘中读取访问日志并进行统计处理。而且，根据该统计结果确定特定Web服务器的访问上限值，将该值通知给各代理服务器，以控制对Web服务器的访问数。

Description

访问中继装置
技术领域
本发明涉及面向提供服务的服务器的访问中继装置，尤其涉及访问中继装置输出的访问日志的管理方法。
背景技术
随着因特网的迅速普及，以前在营业窗口开展的服务通过因特网来提供，而且还能提供电影等动画服务。通信技术的进步改善了环境，在这种环境下，不仅在家里和办公室，而且通过便携电话也能享受同样的服务。
从客户终端对经因特网提供服务的服务器(以下称为Web服务器)的访问一般通过称为通信提供商的代理服务器的访问中继装置进行。为了调查从客户终端对Web服务器的访问次数和偏好，访问中继装置通常收集记录上述访问内容的访问日志。
这样，例如在非专利文献1中记载了在具备多个提供服务的服务器的环境下与收集访问日志有关的技术。
另一方面，由于通信提供商的代理服务器通常中继多个用户和Web服务器的通信，因此1个代理服务器不能处理这些访问。因此，例如已知的方法是用与负载均衡器连接的多个代理服务器来构成1个访问中继装置，将用户的访问请求均衡给多个代理服务器，从而消除溢出。
非专利文献1
美国专利第6317787号说明书
在上述非专利文献1记载的现有负载均衡型访问中继装置中，服务器分别将访问日志输出到自身具有的本地盘上。因此，在访问日志备份和使用访问日志进行访问的统计处理时，需要从各代理服务器分别回收访问日志，其开销增大，难以有效利用访问日志。
还存在在保存访问日志的本地盘中出现故障时，访问日志消失的问题。
而且，一般在代理服务器和进行统计处理的服务器之间没有协作功能，从而不能有效利用通过统计处理得到的结果。
因此，期待一种进一步改善的访问日志管理方法和使用方法。
发明内容
本发明提供一种技术，在由多个代理服务器组成的访问中继装置中，降低访问日志的管理开销，将通过访问日志的统计处理而得到的信息用于代理服务器的访问控制，从而防止由于集中访问Web服务器而造成的服务器性能下降。
本发明的访问中继装置具有共享盘装置，多个代理服务器中的每个代理服务器都将访问日志输出到该共享盘装置中。因此，如果进行共享盘装置的备份，就能备份由所有代理服务器输出的访问日志，可减轻备份开销。
此外，具有管理服务器，用于管理由共享上述盘装置的多个代理服务器组成的代理簇，管理服务器进行访问日志的统计管理。由于管理服务器能读取共享盘装置上的各代理服务器的访问日志，因此，没有从各代理服务器传送访问日志的开销。
此外，管理服务器根据通过统计处理得到的Web服务器的响应时间确定对Web服务器的访问上限值，将其通知给代理服务器。代理服务器根据该通知的访问上限值控制每单位时间的访问数，从而防止由于集中访问Web服务器而造成服务性能下降。
此外，如上所述，由于访问日志的传送开销小，故可频繁执行上述统计处理和处理结果的反馈，因此，能更适当地进行访问控制。
附图说明
图1是包含实施例中访问中继装置2的通信网络系统的结构图；
图2是构成访问中继装置2的代理服务器23-n的结构图；
图3是构成访问中继装置2的管理服务器24的结构图；
图4是盘装置25上存储的访问日志文件50的数据结构的1个
实施例；
图5是一例作为访问日志实体的访问日志记录61-1～60-K的数据结构；
图6是代理服务器23-n的获得内容请求的处理流程图；
图7示出了统计数据表70和访问日志文件表71的数据结构的构成例；
图8示出了管理服务器24进行的访问日志统计处理的一个实施例的流程图；
图9示出了23-nWeb服务器访问管理表80和请求URL访问管理表81的数据结构的构成例；
图10示出了Web服务器访问限制值管理表90和请求URL访问限制值管理表91的数据结构的构成例；
图11示出了管理服务器24中更新访问上限值902、912、更新23-nWeb服务器访问管理表80的访问上限值802以及请求URL访问管理表81的访问上限值81 2的处理的一个实施例的流程图。
具体实施方式
以下，参照附图说明本发明的实施例。
图1示出了根据本实施例的包含访问中继装置2的通信网络系统构成。
访问中继装置2通过LAN或因特网等通信网11和多个客户终端1(1-1～1-n)连接，通过因特网等网络(以下称为因特网)12和Web服务器3(3-1～3-n)连接。
访问中继装置2包括：分组中继装置(路由器)21，和通信网11以及因特网12连接；负载均衡器22，连接所述分组中继装置21；多个代理(Proxy)服务器23-n(1≤n≤N)，连接所述负载均衡器22；管理服务器24，具有和所述多个代理服务器23通信的功能；用于存储所述多个代理服务器23输出的访问日志的共享盘装置25；SAN(Storage Area Network，高速盘通信网)26，连接代理服务器23、管理服务器24和盘装置25。在盘装置25中还存储管理服务器24生成的统计数据。共享盘装置25的详细描述见下。
从客户终端1发送的获得内容请求由分组中继装置21接收，传送给负载均衡器22。负载均衡器22根据规定的负载均衡算法将从分组中继装置21接收的获得内容请求顺序地分配给上述代理服务器23-n。
如果请求从客户终端1获得的内容位于代理服务器23-n上的高速缓冲存储器中(如果命中)，则代理服务器23-n将高速缓存的内容发送给客户终端1。不在高速缓冲存储器中时(若没有命中)，则代理服务器23-n将分配到的获得内容请求发送给提供内容的任意Web服务器3-J。Web服务器3-J生成包含请求内容的应答消息，发送给中继该获得内容请求的代理服务器23-n。接收该应答消息的代理服务器23-n将接收的应答消息发送给作为获得内容请求发送源的客户终端1。代理服务器23-n能用存储在内部或外部的高速缓冲存储器的内容来应答所分配的获得内容请求时，将该内容发送给作为获得内容请求发送源的客户终端1。
之后，代理服务器23-n将作为通信记录的访问日志输出到盘装置25中。
下面描述从客户终端1-1～1-L发送的、不能用高速缓冲存储器中的内容应答的获得内容请求的数量超过每单位时间访问Web服务器3的访问上限值时的请求流程。
代理服务器23-n经分组中继装置21、负载均衡器22接收来自客户终端1发送的获得内容请求。处理中的获得内容请求数超过访问上限值时，代理服务器23-n响应接收的获得内容请求生成错误消息，将其发送给作为获得内容请求发送源的客户终端1(代理服务器23-n不将获得内容请求发送给Web服务器3-J)。
图2示出了代理服务器23-n的结构。
代理服务器23-n包括：处理器231；用于和负载均衡器22及管理服务器24连接的通信接口232；用于和盘装置25连接的盘输入输出接口233；用于存储程序的存储器234；用于存储数据的存储器235，这些元件通过总线等内部通信线路(以下称为总线)236相互连接。在存储器234中存储分组传送控制模块40、请求处理模块41和其他的控制模块42，作为处理器231执行的控制用软件，其中，分组传送控制模块40用于控制通过通信接口232发送接收由其他装置发送的分组(消息)。
图3示出了管理服务器24的结构。
管理服务器24可用和代理服务器23-n相同的结构来实现。通信接口232用于负载均衡器22和代理服务器23-n的连接。存储器234中存储访问统计处理模块45、访问限制处理模块46和其他的控制模块47，作为处理器231执行的控制用软件，其中，访问统计处理模块45读出存储在盘装置25中的访问日志进行统计处理，访问限制处理模块46根据统计处理结果确定对Web服务器3-j的访问上限值。
图4示出了用于存储在多个代理服务器共享的盘装置25上所存储的访问日志的文件的数据结构。
存储访问日志的访问日志文件50包括：访问日志文件头部部60，用于存储与所述该访问日志文件50有关的信息；访问日志记录61-k(1≤k≤K)，作为从代理服务器23输出的访问日志的实体。
访问日志文件头部部60中包括：日志输出开始时刻601，表示访问日志最初写入该文件的时刻；日志输出结束时刻602，表示访问日志最后写入该文件的时刻；下一个访问日志文件名603，表示代理服务器将访问日志的输出目的地变换为另一个文件时的变换目的地；访问日志记录数604，表示存储在该文件内的访问日志数。
访问日志文件50为每个代理服务器分配1个文件。因此，对于代理服务器23-n来说，在盘装置25上存在N个访问日志文件50-n(1≤n≤N)。
图5示出了作为访问日志实体的为每个会话单位生成的访问日志记录61-k的1个记录的数据形式。
访问日志记录61-k中包括：代理服务器编号610，用于指定输出该记录的代理服务器；会话号611，作为该代理服务器上接收的获得内容请求的接收编号；HTTP应答码612，指示附加在来自Web服务器的应答消息中的错误状态；错误编号613，表示代理服务器23应答给客户终端1的错误代码；客户终端地址614，用于指定接收的获得内容请求的发送源；请求传送目的(Web服务器)地址615，表示获得内容请求的发送目的地；请求URL616，表示获得内容请求中记载的获得内容的目的地；客户终端信息617，表示与发送获得内容请求的客户终端1有关的信息；请求接收时刻618，表示代理服务器23-n接收来自客户终端1的获得内容请求的时刻；应答消息发送结束时刻619，表示代理服务器23-n结束向客户终端1发送应答消息的时刻；代理服务器处理时间620，表示在代理服务器23-n内进行处理所需的时间；Web服务器应答等待时间621，表示从向Web服务器3-j发送获得内容请求开始到从Web服务器3-j接收应答消息为止的等待时间；从客户终端1接收的获得内容请求的头部部大小622；发送给客户终端1的应答消息的头部部大小623；从客户终端1接收的获得内容请求的数据量624；发送给客户终端1的应答消息的数据量625；发送给Web服务器3-j的获得内容请求的头部部大小626；从Web服务器3-j接收的应答消息的头部部大小627；发送给Web服务器3-j的获得内容请求的数据量628；从Web服务器3-j接收的应答消息的数据量629；以及高速缓存标志630，表示是否利用了高速缓存。
此外，在本实施例中，会话是指：从访问源(在本实施例中为访问中继装置)发布任一请求开始到访问目的(在本实施例中为提供服务的服务器)对该请求进行应答为止的一次收发。
图6示出了代理服务器23-n的获得内容请求处理的流程图。
当代理服务器23-n接收来自客户终端1的获得内容请求时(S1001)，检查该获得内容请求中是否有错误(S1002)。若有错误，则向客户终端1发送错误消息(S1010)。若获得内容请求正确，则检查在代理服务器23-n上的高速缓存中是否存在与该请求对应的应答消息(S1011)。如果在高速缓存中存在应答消息(命中高速缓存)，则取出该消息并生成应答消息(S1012)，发送给客户终端1。如果在高速缓冲中不存在应答消息，则将客户终端发出的获得内容请求发送给提供内容的Web服务器3-j(S1003)，等待从Web服务器3-j返回应答消息(S1004)。如果没有从Web服务器3-j返回应答消息且超时(S1009)，则向客户终端1发送错误消息(S1010)。当接收Web服务器3-j发出的应答消息时(1004)，检查该应答消息中是否有错误(S1005)。如果有错误，则向客户终端1发送错误消息(S1010)。如果应答消息正确，则将应答消息发送给客户终端1(S1006)。不管向客户终端正常返回应答消息还是返回错误消息，代理服务器23-n都根据该处理结果生成图5所示的访问日志记录(S1007)，将其输出到盘装置25内的访问日志文件50中(S1008)。而且，更新位于访问日志文件头部60内的访问日志记录数604的值(S1009)。
作为访问日志的输出目的的盘装置25，例如如图1所示，可以使用由2个盘252-1～252-2、盘控制装置251、备份装置253和高速缓冲存储器254组成的装置。从外部输入数据时，具有图1所示结构的盘控制装置251将相同的数据写入盘252-1～252-2中以及高速缓冲存储器中。通过图1所示构成的盘装置25，即使1个盘中发生故障，由于另一个盘中保存了相同内容的数据，因此访问日志不丢失。盘装置251的结构可以是具有图1所示以外的结构的装置。
如上所述，通过将代理服务器23-n收集的访问日志存储在盘装置25中，在防止由于代理服务器23-n故障而使访问日志丢失的同时，备份收集变容易了。而且，不需要在代理服务器23-n中装载盘，可使代理服务器23-n的结构小型化，可节省空间地构成访问中继装置2。
下面，说明管理服务器24的处理。
图7是管理服务器24生成的表的一个构成例。
统计数据表70是存储通过访问日志得到的统计数据的表。所述表70包括：请求URL700，表示客户终端1-1～1-L发送的获得内容请求的目的地；对所述请求URL的总访问数701；访问所述请求URL时来自Web服务器3-j的应答时间总计702；平均应答时间703；发送给所述请求URL的总请求数据量704；平均请求数据量705；来自Web服务器3-j的应答消息的应答消息总数据量706；以及平均应答消息数据量707。
上述统计数据表70存储在盘装置25上。
访问日志文件表71是由表示访问日志文件50-n的N个表项组成的表，每个表项包括：作为参照对象的访问日志文件名710；已读取的访问日志数711，表示在所述访问日志文件内，管理服务器24已经处理完的访问日志数。
进入访问日志文件表71的访问日志文件名的设定方法可以是预先记录在管理服务器24的初始设定文件中，在管理服务器24初始化时，通过读取其初始设定文件的内容来设定的方法，也可以是代理服务器23-n通知管理服务器24的方法。
图8示出了管理服务器24的统计处理的概要流程图。
例如，首先，管理服务器24将最初进入了访问日志文件表71的访问日志文件名710作为参照目的访问日志文件名(S1101)。接着，管理服务器24读取位于盘装置25上的参照目的访问日志文件50的访问日志文件头部60(S1102)，检查是否设定了下一个访问日志文件603(S1103)。在设定了下一个访问日志文件603时，用访问日志文件表71上当前参照的表项的文件名替换访问日志文件710，将已经读取的访问日志数711初始化为0(零)(S1104)。通过S1102～S1104的操作，变换参照目的访问日志文件。
接着，比较读取的访问日志文件头部60内的访问日志记录数604和访问日志文件表71内的已经读取的访问日志数711(S1105)。值相同时，处理所有包含在该参照目的访问日志文件中的K个日志文件，然后，移动到变换参照目的访问日志文件的处理(S1113)。访问日志记录数604比已经读取的访问日志数711大时，从访问日志文件50中读取已读取的访问日志数之后的尚未读取的访问日志记录61-k～61-K，例如存储在数据存储器235中(S1106)。
管理服务器24检查所有读取的访问日志记录的高速缓存标志630，如果其内容表示没有利用高速缓存(S1107)，则对各个访问日志记录执行S1108～S1112的处理。
管理服务器24将访问日志记录61-k的请求URL616作为检索关键字，检索统计数据表70内的表项(S1108)。结果是，找到访问日志记录61-k内的请求URL616和统计数据表70内的请求URL700部分(从URL开头字符到规定的范围)或全部一致的表项时(S1109)，根据访问日志记录61-k的内容变更统计数据表70内一致的表项的内容(S1110)。设定上述规定范围，或者利用部分或全部请求的方法来检查一致，可通过系统起动时的选项来设定，结果存储在数据存储器235中。
具体地说，在总访问数701上加1，从应答消息发送结束时刻619中减去请求接收时刻618后的值加到总应答时间702上，将以变更后的总访问数701除变更后的总应答时间702而得到的值设定为平均应答时间703，将发送给Web服务器的请求头部大小626和发送给Web服务器的请求数据量628加到总请求数据量704上，把以总访问数701除变更后的总请求数据量704而得到的值设定为平均请求数据量705，将发送给客户终端的应答头部大小623和发送给客户终端的应答数据量625加到总应答消息数据量706上，将以总访问数701除变更后的总应答消息数据量706而得到的值设定为平均应答消息大小707。
上述数据量不直接用于本实施例的访问抑制，但管理服务器24的操作者监视对服务服务器的业务量，并且例如，可用于增强设备的措施中。
在S1109中未发现一致的表项时，将新的表项作为访问日志记录61-k的内容追加到统计数据表70中(S1111)。具体地说，将请求URL616设定为请求URL700，将总访问数设定为1，将从应答消息发送结束时刻619中减去请求接收时刻后的值设定为总应答时间702，将以变更后的总访问数701除变更后的总应答时间702得到的值设定为平均应答时间703，将发送给Web服务器的请求头部大小626和发送给Web服务器的请求数据量628的合计值设定为总请求数据量704，将以总访问数701除变更后的总请求数据量704后得到的值设定为平均请求数据量705，将发送给客户终端的应答头部大小623和发送给客户终端的应答数据量625的合计值设定为总应答消息数据量706，将以总访问数701除变更后的总应答消息数据量706得到的值设定为平均应答消息量707。
在上述S1110、S1111处理后，用访问日志记录数604替换已经读取的访问日志数711的值(S1112)。
接着，管理服务器24替换参照目的地访问日志文件。
在当前参照的访问日志文件是进入访问日志文件表71中的最后的文件时(S1113)，管理服务器24将参照目的地访问日志文件返回最早进入访问日志文件表71的访问日志文件(S1114)。如果不是这样，则替换为访问日志文件表71内当前参照表项的下一个表项中记载的访问日志文件(S1115)。
之后，管理服务器24返回读取访问日志文件头部60的处理(S1102)，反复以上说明的处理。
下面描述基于上述步骤中收集到的结果的处理。
根据上述实施例，代理服务器23-n不需要响应从管理服务器24读取的访问日志，因此可减轻处理负荷。此外，管理服务器24不给代理服务器23-n增加处理负荷，因此能以很短间隔(例如以秒级间隔)并且定期地反复进行上述动作。从而，可频繁进行对由访问中继装置2中继的访问的统计处理，因此，统计处理结果的反馈变得更有效。
而且，由于在代理服务器23-n写访问日志之后，管理服务器24短时间地参照访问日志，因此写入盘装置251的高速缓冲存储器中的访问日志的高速缓冲器命中率高，管理服务器24短时间就能读出访问日志。而且，通过备份装置253收集盘252-1或252-2的备份，能够收集全部访问日志的备份。
通过代理服务器23-n和管理服务器24的协作，可限制从客户终端1-1～1-L对Web服务器3-J的访问。下面说明该功能。
图9是代理服务器23-n具有的访问管理表的数据结构图。如图9可见，对Web服务器3-J的访问数可进行以下两种访问限制：对Web服务器的访问限制和在请求URL上的访问限制。
Web服务器访问管理表80包括：Web服务器地址800，表示客户终端1-1～1-L发出的获得内容请求的发送目的Web服务器；访问数801，表示当前正向该Web服务器发送的获得内容请求数；每单位时间的访问上限值802，表示同时向该Web服务器发送获得内容请求的上限值。
同样，请求URL访问管理表81包括：请求URL810，表示从客户终端1-1～1-L发送的获得内容请求的发送目的URL；访问数811，表示当前正在向该请求URL发送的获得内容请求数；每单位时间的访问上限值812，表示同时向该请求URL发送的获得内容请求的上限值。
图10是管理服务器24具有的访问限制值管理表的数据结构。和代理服务器23-n一样，具有对Web服务器的访问限制值管理表和对请求URL的访问限制值管理表。
Web服务器访问限制值管理表90包括：Web服务器地址900，表示客户终端1-1～1-L发送的获得内容请求的发送目的Web服务器；作为访问限制参考的访问限制规定值901；向从图7的统计数据表70得到的该Web服务器发送获得内容请求时的平均应答时间902；每单位时间的访问上限值903，表示同时向该Web服务器发送的获得内容请求的上限值。
同样，请求URL访问限制值管理表91包括：请求URL910，表示客户终端1-1～1-L发送的获得内容请求的发送目的URL；访问限制规定值911，作为访问限制参考；向从图7的统计数据表70得到的该请求URL发送获得内容请求时的平均应答时问912；每单位时间的访问上限值913，表示同时向该请求URL发送的获得内容请求的上限值。
由于具有上述两种表，在以针对特定Web服务器的全部请求为对象进行访问限制时，可对特定的URL(即，服务)进行访问限制。
图11是表示管理服务器24和代理服务器23-n之间的访问上限值更新方法的流程图。该处理流程可以在开始更新统计数据表70时开始。
管理服务器24在进行图8所示的访问日志统计处理S1100的统计数据表更新S1109或S1110时，同时将统计数据表70的平均应答时间703的值设定为Web服务器访问限制值管理表90中的平均应答时间902和请求URL访问限制值管理表91中的平均应答时间912(S1301)。
之后，比较Web服务器访问限制值管理表90中的平均应答时间902和访问限制规定值901(S1302)。平均应答时间902超过规定值时，将访问上限值903减去规定数(大约1～10，由访问中继装置2的通信规模确定)，更新访问上限值903(S1303)。同样，比较请求URL访问限制值管理表91中的平均应答时间912和访问限制规定值911(S1304)，当平均应答时间912超过规定值时，将访问上限值913减去规定数，更新访问上限值913(S1305)。将最后变更的Web服务器地址900和访问上限值903的组合以及请求URL910和访问上限值913的组合的信息通知给代理服务器23-n(S1306)。通知可经由SAN26，也可以经由连接负载均衡器22和代理服务器23-n的网络。
另一方面，从管理服务器24接收访问上限值903、913的信息时(S1401)，代理服务器23-n检查该访问上限值903的对象表项是否在Web服务器访问管理表80内(S1402)。如果在表内，则将该表项的访问上限值802的值替换为通知的访问上限值903的值，(S1403)。如果不在表内，则用通知的Web服务器地址900、访问上限值903的值，将新的表项追加到Web服务器访问管理表80中(S1404)。同样，检查该访问上限值913的对象表项是否在请求URL访问管理表81内(S1405)。如果在表内，则将该表项的访问上限值812的值替换为通知的访问上限值913的值(S1406)。如果不在表内，则利用通知的请求URL910、访问上限值913的值，将新的表项追加到请求URL访问管理表81中(S1407)。
在和上述处理平行进行的获得内容处理中，获得内容请求数超过访问上限值时，代理服务器23-n响应接收的获得内容请求生成错误消息，将该错误消息发送给作为获得内容请求发送源的客户终端1。
如上所述，通过和管理服务器24协作，代理服务器23-n可以在短时间内通过访问中继装置2将所进行的全部访问状态反映为对Web服务器的访问限制。
而且，由于可以通过多个代理服务器23-n进行综合访问状况的统计处理，因此能更正确地进行访问控制。
根据上述实施例，由于作为通信记录的访问日志存储在共享盘装置上，因此，不仅能保护访问日志不由于代理服务器的故障而丢失，还易于访问日志的备份。
在其他服务器用访问日志进行统计处理时，因为可以从共享盘装置中读出访问日志，所以可减小统计处理时收集访问日志的开销。
而且，通过代理服务器和进行统计处理的服务器协作，可以在短时间内将根据统计处理结果得到的对Web服务器的访问状态反映为代理服务器的访问控制，可以防止由于对特定Web服务器的集中访问而造成Web服务器的服务质量下降。
此外，因为从代理服务器23-n向盘装置25传送访问日志的开销小，所以能频繁地进行上述统计处理及其结果的反馈，可更适当地进行访问控制。
发明效果
根据本发明，提供一种进一步改善的访问日志管理方法和使用方法。

Claims (7)

1.一种访问中继装置，用于根据从客户终端接收的获得内容请求访问服务服务器，将从服务服务器获得的内容发送给上述客户终端，其特征在于，包括：
具有应答上述获得内容请求的功能的多个代理服务器；
与上述多个代理服务器连接的共享盘装置；
监视上述多个代理服务器的动作状态的管理服务器；
其中上述多个代理服务器将与对上述获得内容请求的应答有关的访问日志输出到上述共享盘装置中，
上述管理服务器读取记录在上述共享盘装置中的上述多个代理服务器的访问日志，进行上述访问的统计处理。
2.根据权利要求1所述的访问中继装置，其特征在于，
各个上述代理服务器具有高速缓冲存储器，
上述管理服务器在上述代理服务器没有将应答上述客户终端发送的访问请求的内容存储在上述高速缓冲存储器中时，对上述访问日志进行上述访问的统计处理。
3.根据权利要求2所述的访问中继装置，其特征在于，
上述管理服务器管理上述多个代理服务器分别输出的上述访问日志的文件名和各上述访问日志文件内的处理完的访问日志数，
读出可以通过来自所记录的上述访问日志文件的处理完的访问日志数而确定的未处理访问日志，进行上述访问的统计处理。
4.根据权利要求3所述的访问中继装置，其特征在于，
根据上述管理服务器进行的上述访问的统计处理结果，确定访问上限值，将确定的上述访问上限值通知给各上述代理服务器，
各个上述代理服务器将访问数限制在上述管理服务器通知的上述访问上限值以下。
5.根据权利要求4所述的访问中继装置，其特征在于，
上述管理服务器确定上述访问上限值，使得上述服务服务器的平均应答时间在规定的时间以下。
6.根据权利要求5所述的访问中继装置，其特征在于，
在上述客户终端发出的访问请求超过上述访问上限值时，各个上述代理服务器向上述客户终端应答一个错误。
7.根据权利要求6所述的访问中继装置，其特征在于，
上述管理服务器对各个作为上述访问发送目的的上述服务服务器和作为上述访问发送目的的URL进行上述访问的统计处理。
CNB2003101047030A 2002-12-10 2003-10-31 访问中继装置 Expired - Fee Related CN100496037C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP357412/2002 2002-12-10
JP2002357412A JP4098610B2 (ja) 2002-12-10 2002-12-10 アクセス中継装置

Publications (2)

Publication Number Publication Date
CN1507235A true CN1507235A (zh) 2004-06-23
CN100496037C CN100496037C (zh) 2009-06-03

Family

ID=32322068

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003101047030A Expired - Fee Related CN100496037C (zh) 2002-12-10 2003-10-31 访问中继装置

Country Status (5)

Country Link
US (1) US7558854B2 (zh)
EP (1) EP1429517B1 (zh)
JP (1) JP4098610B2 (zh)
CN (1) CN100496037C (zh)
DE (1) DE60313567T2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009012707A1 (en) * 2007-07-25 2009-01-29 Huawei Technologies Co., Ltd. A method, device and system for access event statistics
CN102006380A (zh) * 2009-08-28 2011-04-06 佳能株式会社 图像形成装置及其方法
CN102075556A (zh) * 2009-11-19 2011-05-25 北京明朝万达科技有限公司 一种具备大规模负载能力的服务架构设计方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10345535B4 (de) * 2003-09-30 2005-10-06 Siemens Ag Überprüfung der Verfügbarkeit eines Servers
DE10356724B3 (de) * 2003-12-02 2005-06-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Verringern des Transportvolumens von Daten in Datennetzen
JP2008507057A (ja) * 2004-07-22 2008-03-06 ベアフルート リミテッド 改良型ユーザインターフェース
JP2007115140A (ja) * 2005-10-21 2007-05-10 Hitachi Ltd ストレージシステム、及びストレージスシステムの制御方法
CN100452720C (zh) * 2005-12-20 2009-01-14 英业达股份有限公司 信息访问量统计系统以及方法
JP2007188189A (ja) * 2006-01-11 2007-07-26 Sharp Corp 携帯端末およびその制御方法、データ中継装置およびその制御方法、データ提供システム、携帯端末制御プログラム、ならびに該プログラムを記録した記録媒体
JP2007193436A (ja) * 2006-01-17 2007-08-02 Fujitsu Ltd ログ検索プログラム、ログ管理装置、情報処理装置およびログ検索方法
US20080016196A1 (en) * 2006-07-14 2008-01-17 Anthology Solutions, Inc. System and method for automatic storage and serving of digital content
US9124767B2 (en) * 2006-10-25 2015-09-01 Microsoft Technology Licensing, Llc Multi-DVR media content arbitration
US7853694B2 (en) * 2006-12-07 2010-12-14 Electronics And Telecommunications Research Institute System and method for providing contents service using service relaying apparatus
JP4956176B2 (ja) * 2006-12-21 2012-06-20 キヤノン株式会社 監視ホスト装置、画像形成装置及びその制御方法、プログラム
JP4405503B2 (ja) * 2006-12-28 2010-01-27 キヤノンＩｔソリューションズ株式会社 情報処理装置および情報処理装置の制御方法およびプログラムおよび記録媒体
CN101681340A (zh) 2007-04-17 2010-03-24 肯尼思·托拉 收集通过网络传输的信息的非介入性方法和系统
US20080273600A1 (en) * 2007-05-01 2008-11-06 Samsung Electronics Co., Ltd. Method and apparatus of wireless communication of uncompressed video having channel time blocks
JP2009059160A (ja) * 2007-08-31 2009-03-19 Sony Corp サーバ装置、ネットワークシステム、コンテンツ発見通知方法、及びコンピュータ・プログラム
CN101127766B (zh) * 2007-09-24 2010-06-09 中兴通讯股份有限公司 基于sip协议的消息处理方法、装置及ip通信系统
US8837435B2 (en) * 2007-10-31 2014-09-16 Samsung Electronics Co., Ltd. Method and system for medium access control in communication networks
US20090164600A1 (en) * 2007-12-19 2009-06-25 Concert Technology Corporation System and method for place-shifting media items
US8725740B2 (en) 2008-03-24 2014-05-13 Napo Enterprises, Llc Active playlist having dynamic media item groups
US8811420B2 (en) * 2009-01-05 2014-08-19 Samsung Electronics Co., Ltd. System and method for contention-based channel access for peer-to-peer connection in wireless networks
US8631109B2 (en) * 2009-05-12 2014-01-14 Hewlett-Packard Development Company, L.P. System and method for dynamic control of network management traffic loads
JP5061210B2 (ja) * 2009-08-25 2012-10-31 ヤフー株式会社 複数バックエンドサーバ監視用のアプリケーションサーバ及びその方法
JP2011221682A (ja) * 2010-04-07 2011-11-04 Seiko Epson Corp 情報処理装置
US9854055B2 (en) * 2011-02-28 2017-12-26 Nokia Technologies Oy Method and apparatus for providing proxy-based content discovery and delivery
JP5717589B2 (ja) * 2011-08-25 2015-05-13 Kddi株式会社 コンテンツ配信制御サーバ、方法及びプログラム
CN103209087B (zh) * 2012-01-17 2015-12-16 深圳市腾讯计算机系统有限公司 分布式日志统计处理方法和系统
US8909808B2 (en) * 2012-07-19 2014-12-09 Cisco Technology, Inc. Redundancy elimination for web caching
US10803015B2 (en) 2013-08-06 2020-10-13 Walmart Apollo, Llc Caching system and method
US10419572B2 (en) * 2013-08-06 2019-09-17 Walmart Apollo, Llc Caching system and method
CN103401937B (zh) * 2013-08-07 2016-06-08 中国科学院信息工程研究所 日志数据处理方法及系统
JP2015122575A (ja) * 2013-12-20 2015-07-02 株式会社東芝 通信システムおよびバックアップデータの管理方法
KR102333753B1 (ko) * 2014-12-26 2021-12-01 주식회사 케이티 컨텐츠 제공 방법, 서버 및 시스템
WO2016183549A1 (en) 2015-05-14 2016-11-17 Walleye Software, LLC Dynamic join processing using real time merged notification listener
JP6608662B2 (ja) * 2015-10-01 2019-11-20 東芝テック株式会社 情報提供装置、および情報提供プログラム
US10002154B1 (en) 2017-08-24 2018-06-19 Illumon Llc Computer data system data source having an update propagation graph with feedback cyclicality
US11194930B2 (en) 2018-04-27 2021-12-07 Datatrendz, Llc Unobtrusive systems and methods for collecting, processing and securing information transmitted over a network

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018619A (en) * 1996-05-24 2000-01-25 Microsoft Corporation Method, system and apparatus for client-side usage tracking of information server systems
US5935207A (en) 1996-06-03 1999-08-10 Webtv Networks, Inc. Method and apparatus for providing remote site administrators with user hits on mirrored web sites
US6041041A (en) * 1997-04-15 2000-03-21 Ramanathan; Srinivas Method and system for managing data service systems
JPH1125059A (ja) 1997-07-04 1999-01-29 Nippon Telegr & Teleph Corp <Ntt> ネットワークライブラリ運用方法及びシステム及びネットワークライブラリ運用プログラムを格納した記憶媒体
US6070191A (en) * 1997-10-17 2000-05-30 Lucent Technologies Inc. Data distribution techniques for load-balanced fault-tolerant web access
US6134588A (en) * 1997-11-12 2000-10-17 International Business Machines Corporation High availability web browser access to servers
US6317787B1 (en) 1998-08-11 2001-11-13 Webtrends Corporation System and method for analyzing web-server log files
US6314465B1 (en) * 1999-03-11 2001-11-06 Lucent Technologies Inc. Method and apparatus for load sharing on a wide area network
US6754699B2 (en) * 2000-07-19 2004-06-22 Speedera Networks, Inc. Content delivery and global traffic management network system
US6377975B1 (en) * 2000-03-01 2002-04-23 Interactive Intelligence, Inc. Methods and systems to distribute client software tasks among a number of servers
AU2001265051A1 (en) * 2000-05-26 2001-12-11 Akamai Technologies, Inc. Global load balancing across mirrored data centers
US7047309B2 (en) * 2000-08-23 2006-05-16 International Business Machines Corporation Load balancing and dynamic control of multiple data streams in a network
JP2002082926A (ja) 2000-09-06 2002-03-22 Nippon Telegr & Teleph Corp <Ntt> 分散アプリケーション試験・運用管理システム
US7007092B2 (en) * 2000-10-05 2006-02-28 Juniper Networks, Inc. Connection management system and method
US20030046394A1 (en) * 2000-11-03 2003-03-06 Steve Goddard System and method for an application space server cluster
US20030046398A1 (en) * 2001-08-29 2003-03-06 Charles Buckley Method and system for managing a plurality of console devices in a network
JP2004070860A (ja) * 2002-08-09 2004-03-04 Hitachi Ltd ストリームコンテンツ配送システムおよびプロキシサーバ

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009012707A1 (en) * 2007-07-25 2009-01-29 Huawei Technologies Co., Ltd. A method, device and system for access event statistics
CN102006380A (zh) * 2009-08-28 2011-04-06 佳能株式会社 图像形成装置及其方法
CN102006380B (zh) * 2009-08-28 2013-03-20 佳能株式会社 图像形成装置及其方法
CN102075556A (zh) * 2009-11-19 2011-05-25 北京明朝万达科技有限公司 一种具备大规模负载能力的服务架构设计方法
CN102075556B (zh) * 2009-11-19 2014-11-26 北京明朝万达科技有限公司 一种具备大规模负载能力的服务架构设计方法

Also Published As

Publication number Publication date
DE60313567T2 (de) 2008-01-03
EP1429517B1 (en) 2007-05-02
JP4098610B2 (ja) 2008-06-11
DE60313567D1 (de) 2007-06-14
EP1429517A1 (en) 2004-06-16
US20040111492A1 (en) 2004-06-10
JP2004192170A (ja) 2004-07-08
US7558854B2 (en) 2009-07-07
CN100496037C (zh) 2009-06-03

Similar Documents

Publication Publication Date Title
CN1507235A (zh) 访问中继装置
US8001254B1 (en) Translating switch and method
CN1324490C (zh) 面向应用的自动连接系统和方法
CN1251108C (zh) 一种即时通信的系统和方法
KR101072966B1 (ko) 파일 데이터 분배 방법, 디바이스, 및 시스템
CN1238800C (zh) 因特网卷积音频/视频服务器
CN100438408C (zh) 一种实现代理下载的方法、装置及系统
CN1559040A (zh) 响应通信环境的内容选择
JP2002512411A (ja) アクセス制御方法および装置
US8918497B2 (en) Email system latencies and bandwidths
CN108173976A (zh) 域名解析方法及装置
CN101156407A (zh) 用于计划的下载服务的系统结构和方法
CN1575575A (zh) 电信网中的分级高速缓存
CN102104617A (zh) 一种网站运营系统存储海量图片数据的方法
CN110235098A (zh) 存储系统访问方法及装置
CN104601666B (zh) 日志服务方法及云平台
CN105871919A (zh) 一种网络应用防火墙系统及其实现方法
CN108777664A (zh) 一种数据包处理方法及其设备、系统、存储介质
CN110392119A (zh) 一种数据传输方法及基站
CN109379426A (zh) 基于x-dns的x-cdn调度方法、设备及系统
CN106156258A (zh) 一种在分布式存储系统中统计数据的方法、装置及系统
CN110199270A (zh) 存储系统中存储设备的管理方法及装置
US20060155759A1 (en) Scalable cache layer for accessing blog content
JP2004086317A (ja) 負荷分散方法及び装置
CN104065560A (zh) 信息处理的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090603

Termination date: 20151031

EXPY Termination of patent right or utility model