JP2012253681A - Communication network system - Google Patents

Communication network system Download PDF

Info

Publication number
JP2012253681A
JP2012253681A JP2011126566A JP2011126566A JP2012253681A JP 2012253681 A JP2012253681 A JP 2012253681A JP 2011126566 A JP2011126566 A JP 2011126566A JP 2011126566 A JP2011126566 A JP 2011126566A JP 2012253681 A JP2012253681 A JP 2012253681A
Authority
JP
Japan
Prior art keywords
packet
address
server
router
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011126566A
Other languages
Japanese (ja)
Inventor
Tetsushi Matsuda
哲史 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2011126566A priority Critical patent/JP2012253681A/en
Publication of JP2012253681A publication Critical patent/JP2012253681A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

PROBLEM TO BE SOLVED: To obtain a communication network system distributing processing loads of a plurality of servers providing the same service.SOLUTION: In the communication network system including a plurality of sub-networks, a server, including a first address associated with a provided service and a second address indicative of the self-server, notifies the first and second addresses and processing load information, to a boundary router subordinate to the same sub-network. When a client requests a predetermined service, the client transmits a packet having a set address associated with the service. The boundary router retains the notified information and advertises the first address, the processing load information and the address of the self-boundary router to another boundary router, and on receiving a packet from a client subordinate to the same sub-network, determines a transfer destination, based on the destination address, the information notified from the server and information advertised from the other boundary router.

Description

本発明は、インターネットやイントラネットで使用されるサーバ間の処理負荷を均衡化させる負荷分散機能を有する通信ネットワークシステムに関する。   The present invention relates to a communication network system having a load distribution function for balancing processing loads between servers used in the Internet or an intranet.

通信ネットワークシステムにおける負荷分散技術が開示された文献として、下記の特許文献1〜3が存在する。   The following patent documents 1 to 3 exist as documents disclosing load distribution technology in a communication network system.

特許文献1には、ルータが管理するネットワークのトラヒック情報等に基づき、複数のクライアントが特定のサーバに要求を送信する際に、どのルータを経由するかの判断を行い、各ルータの処理負荷を分散させるとともにネットワークの輻輳や障害を回避するための装置(負荷分散サーバ)を備えたネットワークが開示されている。   In Patent Literature 1, when a plurality of clients send a request to a specific server based on traffic information of a network managed by the router, a determination is made as to which router is routed, and the processing load of each router is determined. A network provided with a device (load distribution server) for distributing and avoiding network congestion and failure is disclosed.

また、特許文献2および3には、HTTPプロキシ(proxy)の様にレイヤ7プロトコルレベルでクライアントからサーバへの要求を中継する中継サーバを利用した負荷分散方法が開示されている。   Patent Documents 2 and 3 disclose a load distribution method using a relay server that relays a request from a client to a server at a layer 7 protocol level, such as an HTTP proxy.

特開2009−303090号公報JP 2009-303090 A 特開2008−225644号公報JP 2008-225644 A 特開2011−41006号公報JP 2011-41006 A

しかしながら、特許文献1に記載の技術はクライアントとサーバ間においてパケットを経由させるルータを切り替えてルータ間の処理負荷を分散させるためのものであり、クライアントが利用可能なサーバが複数存在する場合におけるサーバ間の負荷分散については考慮されていない。一方、特許文献2および3の記載に技術によれば、同一サービスを提供する複数のサーバに対する負荷分散が可能となる。しかし、特許文献2に記載の技術では、デフォルトの装置に一旦接続した後、同じ機能を有する装置間の負荷状態に応じて接続先を切り替える必要があり処理が複雑化するとともに、ネットワーク内のトラフィックが増加してしまう。特許文献3に記載の技術では、装置間の負荷が均等となるように接続先を決定する専用の装置が必要となり、システム構成が複雑化してしまう。また、特許文献1〜3に記載の技術は、いずれも、ネットワークの障害回避機能については考慮されていない。   However, the technique described in Patent Document 1 is for switching a router through which a packet passes between a client and a server to distribute the processing load between the routers, and a server when there are a plurality of servers that can be used by the client. There is no consideration for load balancing between the two. On the other hand, according to the techniques described in Patent Documents 2 and 3, load distribution to a plurality of servers providing the same service is possible. However, in the technique described in Patent Document 2, it is necessary to switch the connection destination according to the load state between the devices having the same function after once connecting to the default device. Will increase. The technique described in Patent Document 3 requires a dedicated device that determines the connection destination so that the load between the devices is equal, and the system configuration becomes complicated. In addition, none of the techniques described in Patent Documents 1 to 3 considers a network failure avoidance function.

本発明は、上記に鑑みてなされたものであって、処理手順やシステム構成が複雑化するのを抑えつつ、同じサービスを提供する複数サーバの処理負荷を分散させることが可能な通信ネットワークシステムを得ることを目的とする。   The present invention has been made in view of the above, and provides a communication network system capable of distributing the processing load of a plurality of servers that provide the same service while suppressing the complexity of processing procedures and system configurations. The purpose is to obtain.

上述した課題を解決し、目的を達成するために、本発明は、複数のサブネットワークを含んで構成された通信ネットワークシステムであって、各サブネットワークは、サブネットワークと外部のネットワークとを接続するルータを1台以上含むとともに、クライアントから要求されたサービスを提供するサーバを含むことが可能であり、前記サーバは、提供するサービスに対応する第1のアドレスおよび自サーバを一意に示す第2のアドレスを有し、当該第1のアドレスおよび第2のアドレスと自身の処理負荷に関する情報とを、サーバ状態情報として自身と同じサブネットワークに属しているルータへ定期的に通知し、前記クライアントは、所定のサービスを要求する場合、当該サービスに対応するアドレスを宛先アドレスに設定したパケットを送信し、前記ルータは、サーバから通知されたサーバ状態情報を保持しておくとともに、当該サーバ状態情報に含まれている第1のアドレスおよび処理負荷に関する情報と、自ルータのアドレスとを他のルータへ広告し、自身と同じサブネットワークに接続中のクライアントからパケットを受信した場合、当該パケットの宛先アドレス、前記サーバから通知された情報、および他のルータから広告された情報に基づいて、当該パケットの転送先を決定することを特徴とする。   In order to solve the above-described problems and achieve the object, the present invention is a communication network system configured to include a plurality of sub-networks, and each sub-network connects a sub-network and an external network. The server may include one or more routers and a server that provides a service requested by a client. The server may include a second address that uniquely indicates a first address and a local server corresponding to the service to be provided. Having the address, periodically notify the first address and the second address and information about the processing load of the server as server status information to a router belonging to the same subnetwork as the server, When requesting a predetermined service, a packet with the address corresponding to the service set as the destination address The router keeps the server status information notified from the server, and stores the first address and processing load information included in the server status information, and the address of its own router. When advertising to other routers and receiving a packet from a client connected to the same sub-network, it is based on the destination address of the packet, information notified from the server, and information advertised by other routers. The transfer destination of the packet is determined.

本発明によれば、クライアントから送信されたパケットを処理負荷の小さいサーバに転送してサーバ間の処理負荷を分散できるとともに、従来と比較して、処理手順やシステム構成を単純化できる、という効果を奏する。   According to the present invention, the packet transmitted from the client can be transferred to a server with a small processing load to distribute the processing load between the servers, and the processing procedure and the system configuration can be simplified as compared with the prior art. Play.

図1は、本発明にかかる通信ネットワークシステムの全体構成例を示す図である。FIG. 1 is a diagram showing an example of the overall configuration of a communication network system according to the present invention. 図2は、境界ルータの構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of the border router. 図3は、サーバの構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of a server. 図4は、パケット転送動作の一例を示す図である。FIG. 4 is a diagram illustrating an example of a packet transfer operation.

以下に、本発明にかかる通信ネットワークシステムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。   Embodiments of a communication network system according to the present invention will be described below in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.

実施の形態.
図1は、本発明にかかる通信ネットワークシステムの全体構成例を示す図である。
Embodiment.
FIG. 1 is a diagram showing an example of the overall configuration of a communication network system according to the present invention.

図1に例示した通信ネットワークシステムは、サーバ11,12と、境界ルータ21,22−1,22−2,23,24と、を備え、サーバおよび境界ルータはサブネットワークを形成している。図1の例では、サーバ11および境界ルータ21がサブネットワーク31を形成し、境界ルータ22−1および22−2がサブネットワーク32を形成し、サーバ12および境界ルータ23がサブネットワーク33を形成し、境界ルータ24がサブネットワーク34を形成している。また、サブネットワーク31にクライアント1−1が接続され、サブネットワーク32にクライアント1−2が接続され、サブネットワーク34にクライアント1−3が接続されている。各サブネットワークは、境界ルータを介して境界ルータ間接続ネットワークに接続されており、各サブネットワーク内の通信装置(境界ルータ,サーバ,クライアント)は、境界ルータ間接続ネットワークを介して他のサブネットワーク内の通信装置と通信を行う。なお、サーバや境界ルータ、サブネットワークなどの数や接続関係を図1に示した内容に限定するものではない。   The communication network system illustrated in FIG. 1 includes servers 11 and 12 and border routers 21, 22-1, 22-2, 23 and 24, and the servers and the border routers form a subnetwork. In the example of FIG. 1, the server 11 and the border router 21 form a subnetwork 31, the border routers 22-1 and 22-2 form a subnetwork 32, and the server 12 and the border router 23 form a subnetwork 33. The border router 24 forms a subnetwork 34. Further, the client 1-1 is connected to the subnetwork 31, the client 1-2 is connected to the subnetwork 32, and the client 1-3 is connected to the subnetwork 34. Each subnetwork is connected to a connection network between border routers via a border router, and communication devices (border routers, servers, clients) in each subnetwork are connected to another subnetwork via the border router connection network. It communicates with the communication device inside. The number of servers, border routers, sub-networks, etc. and connection relationships are not limited to the contents shown in FIG.

本実施の形態の通信ネットワークシステムにおいて、各サーバには、提供しているサービスを一意に示す第1のIPアドレス(図1のアドレスAに相当)と、サーバを一意に示す第2のIPアドレス(図1のアドレスB1,B2に相当)とが割り当てられている。図1の例では、サーバ11および12の第1のIPアドレスに同一のアドレスAが割り当てられており、これらのサーバ11および12は同じサービスを提供する。各境界ルータは、同じサービスを提供する複数サーバ間の負荷分散制御で使用する情報として、ホストルート宛ルート情報を保持している。図1にも示しているが、このホストルート宛ルート情報には、以下の<1>〜<4>の情報が含まれる。   In the communication network system of the present embodiment, each server has a first IP address (corresponding to the address A in FIG. 1) that uniquely indicates the provided service and a second IP address that uniquely indicates the server. (Corresponding to the addresses B1 and B2 in FIG. 1). In the example of FIG. 1, the same address A is assigned to the first IP addresses of the servers 11 and 12, and these servers 11 and 12 provide the same service. Each border router holds host route-routed information as information used in load balancing control among a plurality of servers providing the same service. As shown in FIG. 1, the route information addressed to the host route includes the following information <1> to <4>.

<1>サーバの第1のIPアドレス(提供サービス識別用のIPアドレス)
<2>サーバの第2のIPアドレス(サーバ識別用のIPアドレス)、または、サーバと同じサブネットワークに属している境界ルータの識別情報(IPアドレス)
<3>メトリック(ルーティングメトリック)
<4>サーバの処理負荷の情報
<1> First IP address of the server (IP address for providing service identification)
<2> Second IP address of the server (IP address for server identification), or identification information (IP address) of a border router belonging to the same subnetwork as the server
<3> Metric (routing metric)
<4> Server processing load information

境界ルータは、自身が属しているサブネットワークにサーバが存在している場合、そのサーバの第2のIPアドレスを上記の<2>の情報として保持する。自身が属しているサブネットワークとは異なるサブネットワークのサーバについては、そのサーバと同じサブネットワークに属している境界ルータの識別情報(IPアドレス)を上記の<2>の情報として保持する。各境界ルータは、上記の<1>〜<4>の情報であるホストルート宛ルート情報を取得して保持しておくために、自身と同じサブネットワークにサーバが属している場合、サーバそれぞれについて、第1のIPアドレス、自身(自境界ルータ)の識別情報、メトリック(詳細については後述する)および処理負荷を他の境界ルータに向けて広告する。この結果、各境界ルータは、他の境界ルータと同じサブネットワークに属している各サーバの種別(サーバが提供するサービスの種別)および処理負荷を知ることができるので、処理負荷に応じたパケット転送制御が可能となり、同じサービスを提供しているサーバ間の負荷分散を実現できる。なお、あるサブネットワーク内に第1のIPアドレスが同じサーバが複数存在している場合、このネットワーク内の境界ルータは、サーバごとではなく、第1のIPアドレスが同じサーバの情報を集約して他の境界ルータへ広告する。   When there is a server in the subnetwork to which the border router belongs, the border router holds the second IP address of the server as the above information <2>. For a server in a subnetwork different from the subnetwork to which it belongs, the identification information (IP address) of the border router belonging to the same subnetwork as that server is held as information <2> above. Each border router obtains and holds the route information addressed to the host route that is the information <1> to <4> above. The first IP address, identification information of itself (own boundary router), metric (details will be described later), and processing load are advertised to other boundary routers. As a result, each border router can know the type of each server (type of service provided by the server) and the processing load belonging to the same subnetwork as the other border routers, so packet transfer according to the processing load Control becomes possible, and load distribution between servers providing the same service can be realized. When there are multiple servers with the same first IP address in a certain subnetwork, the border router in this network aggregates the information of the server with the same first IP address, not for each server. Advertise to other border routers.

図1の例では、サーバ11と同じサブネットワークに属している境界ルータ21は、ホストルート宛情報として、[アドレスA,アドレスB1,メトリック,処理負荷の情報]の組および[アドレスA,境界ルータ23の情報,メトリック,処理負荷の情報]の組を保持している。なお、前者がサーバ11に対応する情報となる。境界ルータ22−1,22−2,24は、自身が属しているサブネットワークにサーバが属していないので、ホストルート宛情報として、[アドレスA,境界ルータ21の情報,メトリック,処理負荷の情報]の組および[アドレスA,境界ルータ23の情報,メトリック,処理負荷の情報]の組を保持している。サーバ12と同じサブネットワークに属している境界ルータ23は、ホストルート宛情報として、[アドレスA,境界ルータ21の情報,メトリック,処理負荷の情報]の組および[アドレスA,アドレスB2,メトリック,処理負荷の情報]の組を保持している。なお、後者がサーバ12に対応する情報となる。   In the example of FIG. 1, the border router 21 belonging to the same subnetwork as the server 11 has a set of [address A, address B1, metric, processing load information] and [address A, border router] as host route addressing information. 23 information, metrics, and processing load information]. The former is information corresponding to the server 11. Since the border routers 22-1, 22-2 and 24 do not belong to the subnetwork to which the border routers 22-1, 22-2 and 24 belong, [address A, border router 21 information, metrics, processing load information] ] And [address A, border router 23 information, metrics, processing load information]. The border router 23 belonging to the same sub-network as the server 12 has a set of [address A, border router 21 information, metric, processing load information] and [address A, address B2, metric, Processing load information] set. The latter is information corresponding to the server 12.

なお、図1においては、簡単化のために、第1のIPアドレスとしてアドレスAが割り当てられたサーバ11および12のみが存在している場合(各サーバの第1のIPアドレスが同じであり、同じサービスを提供する場合)の例を示したが、実際には、第1のIPアドレスに異なるアドレスが割り当てられたサーバ(異なるサービスを提供するサーバ)が混在する。   In FIG. 1, for simplification, when there are only servers 11 and 12 to which address A is assigned as the first IP address (the first IP address of each server is the same, Although an example of providing the same service is shown, in reality, servers in which different addresses are assigned to the first IP address (servers providing different services) are mixed.

例えば、図1の通信ネットワークシステムにおいて、さらに、第1のIPアドレスが「アドレスA2」、第2のIPアドレスが「アドレスB3」のサーバがサブネットワーク31に属している場合、境界ルータ21は、ホストルート宛情報として、[アドレスA,アドレスB1,メトリック,処理負荷の情報]の組、[アドレスA,境界ルータ23の情報,メトリック,処理負荷の情報]の組、および[アドレスA2,アドレスB3,メトリック,処理負荷の情報]の組を保持する。境界ルータ22−1,22−2,24は、[アドレスA,境界ルータ21の情報,メトリック,処理負荷の情報]の組、[アドレスA,境界ルータ23の情報,メトリック,処理負荷の情報]の組、および[アドレスA2,境界ルータ21の情報,メトリック,処理負荷の情報]の組を保持する。境界ルータ23は、[アドレスA,境界ルータ21の情報,メトリック,処理負荷の情報]の組、[アドレスA,アドレスB2,メトリック,処理負荷の情報]の組、および[アドレスA2,境界ルータ21の情報,メトリック,処理負荷の情報]の組を保持する。   For example, in the communication network system of FIG. 1, when the server having the first IP address “address A2” and the second IP address “address B3” belongs to the subnetwork 31, the border router 21 As host route information, a set of [address A, address B1, metric, processing load information], a set of [address A, border router 23 information, metric, processing load information], and [address A2, address B3 , Metric, processing load information]. The border routers 22-1, 22-2, and 24 are a set of [address A, border router 21 information, metrics, and processing load information], [address A, border router 23 information, metrics, and processing load information]. And a set of [address A2, border router 21 information, metrics, processing load information]. The border router 23 includes a set of [address A, information on the border router 21, metric, processing load information], a set of [address A, address B2, metric, processing load information], and [address A2, border router 21]. Information, metrics, and processing load information].

つづいて、境界ルータの構成について説明する。なお、各境界ルータの構成は同一である。図2は、境界ルータの構成例を示す図であり、本実施の形態の境界ルータは、パケット転送処理部201と、負荷分散判断処理部202と、サーバ登録管理処理部203と、ルーティングプロトコル処理部204と、パケット転送用エントリテーブル、サーバ負荷情報テーブルおよびルーティングテーブルを保持している記憶部205とを備える。   Next, the configuration of the border router will be described. The configuration of each border router is the same. FIG. 2 is a diagram illustrating a configuration example of the border router. The border router according to the present embodiment includes a packet transfer processing unit 201, a load distribution determination processing unit 202, a server registration management processing unit 203, and a routing protocol process. Unit 204 and a storage unit 205 that holds a packet transfer entry table, a server load information table, and a routing table.

記憶部205が保持している情報について説明する。   Information held in the storage unit 205 will be described.

ルーティングテーブルは、通常のIPルータが管理するルーティングテーブルと同様であり、宛先IPアドレスプレフィックスに対応付けて、転送先の送信インタフェース(送信先ポート)および次ホップ装置、ルーティングメトリックなどの情報が登録されている。   The routing table is the same as the routing table managed by a normal IP router, and information such as the forwarding destination transmission interface (destination port), the next hop device, and the routing metric is registered in association with the destination IP address prefix. ing.

パケット転送用エントリテーブルの各エントリには、パケットの情報である[送信元IPアドレス,送信先IPアドレス,プロトコル,送信元ポート番号,送信先ポート番号]の組と、このパケットの転送先の装置(境界ルータ、サーバまたは次ホップ装置)の情報(IPアドレス)とが登録されている。このパケット転送用エントリは、各境界ルータが、特定のクライアントとサーバの間で送受信されるパケットを受信した場合の転送先(どの送信先ポートへ出力するか、及び、ソースルーティングヘッダに指定するIPアドレス、もしくは、次ホップ装置)を示す。パケットを送受信する1組の装置に対して、2つのエントリ(クライアントからサーバに向けたパケット転送に対応するエントリ[サーバ方向],逆方向へのパケット転送に対応するエントリ[クライアント方向])が存在する。また、各エントリには、最終パケット転送時刻も併せて登録される。この最終パケット転送時刻は、そのエントリに対応するパケットの転送が行われると、転送を実施した時刻に更新される。パケット転送用エントリテーブルのエントリに示される転送先の装置の情報は、パケット転送用エントリがサーバ方向のエントリである場合、境界ルータによるソースルーティングヘッダの付与、もしくは、書き換えのため、もしくは、次ホップ装置決定のために使用する。パケット転送用エントリがクライアント方向のエントリである場合、次ホップ装置決定のために使用する。   Each entry in the packet transfer entry table includes a set of [source IP address, destination IP address, protocol, source port number, destination port number] that is packet information, and a device to which this packet is transferred (Border router, server or next-hop device) information (IP address) is registered. This entry for packet forwarding is the forwarding destination when each border router receives a packet transmitted / received between a specific client and server (which destination port to output to, and the IP specified in the source routing header) Address or next-hop device). There are two entries (an entry corresponding to packet transfer from the client to the server [server direction] and an entry corresponding to packet transfer in the reverse direction [client direction]) for a set of devices that send and receive packets. To do. In each entry, the last packet transfer time is also registered. The last packet transfer time is updated to the time when the transfer is performed when the packet corresponding to the entry is transferred. The information of the forwarding destination device shown in the entry of the packet forwarding entry table is that the packet routing entry is a server-oriented entry, for the purpose of adding or rewriting the source routing header by the border router, or for the next hop Used for device determination. When the packet forwarding entry is an entry in the client direction, it is used for determining the next hop device.

サーバ負荷情報テーブルの各エントリには、図1に示したホストルート宛ルート情報、すなわち、ルーティングプロトコルで他の境界ルータから取得した情報(他の境界ルータのIPアドレス,この境界ルータと同じサブネットワークに属しているサーバの第1のIPアドレス,ルーティングメトリック,負荷情報)、または、自身(自境界ルータ)が属するサブネットワーク内のサーバから取得した情報(サーバの第1のIPアドレスおよび第2のIPアドレス,ルーティングメトリック,負荷情報)、が登録されている。ルーティングメトリックは、他の境界ルータから取得した情報の場合であれば、他の境界ルータまでのルーティングメトリックであり、自身が属するサブネットワーク内のサーバから取得した情報の場合であれば、このサーバまでのルーティングメトリックである。他の境界ルータから取得した情報を登録したエントリとサーバから取得した情報を登録したエントリは区別がつくように管理する。   Each entry in the server load information table includes route information addressed to the host route shown in FIG. 1, that is, information acquired from another border router by a routing protocol (an IP address of another border router, the same subnetwork as this border router) (First IP address, routing metric, load information) of the server belonging to the server, or information acquired from the server in the subnetwork to which itself (own boundary router) belongs (the first IP address and the second of the server) IP address, routing metric, load information) are registered. The routing metric is the routing metric to other border routers in the case of information obtained from other border routers, and up to this server in the case of information obtained from servers in the subnetwork to which it belongs. Routing metric. Management is performed so that an entry in which information acquired from another border router is registered and an entry in which information acquired from a server is registered can be distinguished.

パケット転送処理部201は、パケットが入力されると、パケットに付与されているソースルーティングヘッダの内容とパケット転送用エントリテーブルの内容とに従ってパケット転送を行い、サーバの処理負荷を分散させる。ソースルーティングヘッダには、パケットを通過させたい境界ルータのアドレス、もしくは、サーバ識別用のIPアドレスが設定される。ソースルーティングヘッダはパケットの送信元(クライアントまたはサーバ)と同じサブネットワーク内において、送信元から最初にパケットを受信した境界ルータ、もしくは、宛先となるサーバと同じサブネットワーク内において、送信元から最初にパケットを受信した境界ルータにより設定される。   When a packet is input, the packet transfer processing unit 201 transfers the packet according to the content of the source routing header attached to the packet and the content of the packet transfer entry table, and distributes the processing load of the server. In the source routing header, an address of a border router to which a packet is to be passed or an IP address for server identification is set. The source routing header is the first from the source in the same subnetwork as the packet source (client or server), the border router that first received the packet from the source, or the same subnetwork as the destination server. Set by the border router that received the packet.

パケット転送処理部201による転送先の決定動作では、(a)パケットの情報(送信元IPアドレスおよび送信先IPアドレスとする。プロトコル情報を含めてもよい)を用いてパケット転送用エントリテーブルを検索し、(b−1)対応するパケット転送用エントリが見つかった場合は、このエントリの内容に従い転送先を決定する。見つかったパケット転送用エントリがサーバ方向のエントリであり、かつ、パケットにソースルーティングヘッダが付与されていない場合は、パケット転送用エントリの転送先装置に示されるアドレスをソースルーティングヘッダのアドレスとして設定し、ソースルーティングヘッダに設定したアドレスを宛先としてルーティングテーブル検索を行い、転送先を決定する。見つかったパケット転送用エントリがサーバ方向のエントリであり、かつ、パケットにソースルーティングヘッダが付与されている場合で、ソースルーティングヘッダに設定されているアドレスが自境界ルータのIPアドレスに一致しない場合、パケット転送用エントリに示される転送先装置へ転送する。見つかったパケット転送用エントリがサーバ方向のエントリであり、かつ、パケットにソースルーティングヘッダが付与されている場合で、ソースルーティングヘッダに設定されているアドレスが自境界ルータのIPアドレスに一致する場合、パケット転送用エントリに示される転送先の装置のアドレス(=転送先サーバの第2のIPアドレス[サーバ固有のIPアドレス])にソースルーティングヘッダの内容を書き換え、書き換えたソースルーティングヘッダに設定されているアドレスを宛先としてルーティングテーブル検索を行い、転送先を決定する。見つかったパケット転送用エントリがクライアント方向のエントリである場合、パケット転送用エントリに示される転送先装置へ転送する。(b−2)対応するパケット転送用エントリが見つからなかった場合には、パケットを負荷分散判断処理部202に渡して転送先を決定するよう依頼する。   In the transfer destination determination operation by the packet transfer processing unit 201, (a) a packet transfer entry table is searched using packet information (a source IP address and a destination IP address, which may include protocol information). (B-1) When a corresponding packet transfer entry is found, the transfer destination is determined according to the contents of this entry. If the found packet forwarding entry is a server-facing entry and the source routing header is not attached to the packet, the address indicated in the forwarding destination device of the packet forwarding entry is set as the source routing header address. The routing table is searched with the address set in the source routing header as the destination, and the transfer destination is determined. When the found packet forwarding entry is a server direction entry and the source routing header is attached to the packet, and the address set in the source routing header does not match the IP address of the own border router, Transfer to the transfer destination device indicated in the packet transfer entry. When the found packet forwarding entry is an entry in the server direction and the source routing header is attached to the packet, and the address set in the source routing header matches the IP address of the own border router, Rewrite the contents of the source routing header to the address of the transfer destination device indicated in the packet transfer entry (= second IP address of the transfer destination server [server-specific IP address]), and set the rewritten source routing header. The routing table is searched with the existing address as the destination, and the transfer destination is determined. When the found packet transfer entry is an entry in the client direction, it is transferred to the transfer destination device indicated by the packet transfer entry. (B-2) When the corresponding packet transfer entry is not found, the packet is transferred to the load distribution determination processing unit 202 and requested to determine the transfer destination.

また、受信したパケットがTCPのコネクション解放パケット(FINフラグもしくはRSTフラグがTCPヘッダに設定されているもの)の場合も負荷分散判断処理部202に渡す。   In addition, when the received packet is a TCP connection release packet (the FIN flag or RST flag is set in the TCP header), the packet is also passed to the load distribution determination processing unit 202.

負荷分散判断処理部202は、ソースルーティングヘッダが付与されておらず、かつパケット転送用エントリテーブルに対応する情報(パケット転送用エントリ)が登録されていないパケットをパケット転送処理部201から受け取った場合、ルーティングテーブルとサーバ負荷情報テーブルの内容を参照し、転送先を決定する。受け取ったパケットの宛先アドレスが、サービスを一意に示すIPアドレス(サーバの第1のIPアドレス)であり、このIPアドレスが例えば「アドレスA」の場合、負荷分散判断処理部202は、他の境界ルータから広告された、第1のIPアドレスがアドレスAのホストルート宛ルート情報と、自身が属するサブネットワークに存在するサーバのうち、第1のIPアドレスがアドレスAのサーバから通知されたホストルート宛ルート情報とに基づいて、転送先を決定する。より詳細には、ルーティングメトリックおよびサーバ負荷情報を入力として1つの値を出力する任意の関数を適用して評価値を計算し、評価値に基づいて、パケット転送先(他の境界ルータ、または、自身が属するサブネットワークに存在しかつアドレスAのサーバ)を選択する。ここで使用する関数は、例えば、ルーティングメトリック(小さいほど良い経路とする)にある定数をかけたものとサーバ負荷(小さいほどサーバ負荷が少ないとする)に別の定数をかけたものの和の逆数を評価値として算出するものとする。この場合、評価値が大きい装置(境界ルータまたはサーバ)をパケット転送先とする。パケットの転送先を決定した後は、決定結果に従い、転送先に決定した装置のアドレスを設定したソースルーティングヘッダをパケットに付与し、このパケットの転送をパケット転送処理部201に依頼すると共に、パケット転送用エントリテーブルを更新する。すなわち、パケット転送先の決定結果に対応するパケット転送用エントリを追加登録する。サーバ方向とクライアント方向の2つのパケット転送用エントリを同時に登録する。サーバ方向のエントリの転送先装置は転送先に決定した境界ルータかサーバとし、クライアント方向のエントリの転送先装置はパケットの送信元アドレス(=クライアントのアドレス)を宛先としてルーティングテーブルを検索した結果得られる次ホップ装置とする。なお、パケット転送用エントリの送信元IPアドレス、送信先IPアドレスおよびプロトコルには、パケット転送処理部201から受け取ったパケットに設定されていた情報を登録する。   When the load distribution determination processing unit 202 receives from the packet transfer processing unit 201 a packet for which no source routing header is given and information corresponding to the packet transfer entry table (packet transfer entry) is not registered The transfer destination is determined by referring to the contents of the routing table and the server load information table. If the destination address of the received packet is an IP address (first IP address of the server) that uniquely indicates the service, and this IP address is “address A”, for example, the load distribution determination processing unit 202 The route route addressed to the host route whose address is the first IP address advertised by the router and the host route notified from the server whose address is the first IP address among the servers existing in the subnetwork to which the router belongs. The transfer destination is determined based on the destination route information. More specifically, an evaluation value is calculated by applying an arbitrary function that inputs a routing metric and server load information and outputs a single value. Based on the evaluation value, a packet forwarding destination (another border router, or The server having the address A and existing in the subnetwork to which it belongs is selected. The function used here is, for example, the reciprocal of the sum of the routing metric (smaller is better route) multiplied by a constant and the server load (smaller is server load is less) multiplied by another constant. Is calculated as an evaluation value. In this case, a device (a border router or a server) having a large evaluation value is set as a packet transfer destination. After determining the transfer destination of the packet, according to the determination result, a source routing header in which the address of the device determined as the transfer destination is set is added to the packet, and the packet transfer processing unit 201 is requested to transfer the packet. Update transfer entry table. That is, the packet transfer entry corresponding to the packet transfer destination determination result is additionally registered. Two packet transfer entries for the server direction and the client direction are registered simultaneously. The transfer destination device of the server direction entry is the border router or server determined as the transfer destination, and the transfer destination device of the client direction entry is the result of searching the routing table with the packet source address (= client address) as the destination. Next hop device. The information set in the packet received from the packet transfer processing unit 201 is registered in the source IP address, destination IP address, and protocol of the packet transfer entry.

負荷分散判断処理部202は、ソースルーティングヘッダが付与されており、かつパケット転送用エントリテーブルに対応する情報(パケット転送用エントリ)が登録されていないパケットをパケット転送処理部201から受け取った場合、ルーティングテーブルとサーバ負荷情報テーブルの内容を参照し、転送先を決定する。   When the load distribution determination processing unit 202 receives from the packet transfer processing unit 201 a packet to which a source routing header is attached and information corresponding to the packet transfer entry table (packet transfer entry) is not registered, The transfer destination is determined by referring to the contents of the routing table and the server load information table.

ソースルーティングヘッダに示されるアドレスが自境界ルータのアドレスと一致しない場合、ソースルーティングヘッダに示されるアドレスを宛先としてルーティングテーブルを検索し得られる次ホップ装置を転送先装置として指定するサーバ方向のパケット転送用エントリと、受信パケットの送信元アドレスを宛先としてルーティングテーブルを検索し得られる次ホップ装置を転送先装置として指定するクライアント方向のパケット転送用エントリを登録する。なお、パケット転送用エントリの送信元IPアドレス、送信先IPアドレスおよびプロトコルには、パケット転送処理部201から受け取ったパケットに設定されていた情報を登録する。そして、サーバ方向のパケット転送用エントリの転送先装置へ受信パケットを転送するように、パケット転送処理部201に依頼する。   When the address indicated in the source routing header does not match the address of its own border router, packet forwarding in the server direction that designates the next hop device that can be searched in the routing table with the address indicated in the source routing header as the destination, as the forwarding destination device And a packet transfer entry in the client direction that designates a next hop device that can be searched in the routing table with the transmission source address of the received packet as a destination. The information set in the packet received from the packet transfer processing unit 201 is registered in the source IP address, destination IP address, and protocol of the packet transfer entry. Then, the packet transfer processing unit 201 is requested to transfer the received packet to the transfer destination apparatus of the packet transfer entry in the server direction.

ソースルーティングヘッダに示されるアドレスが自境界ルータのアドレスと一致する場合、自身が属するサブネットワークに存在するサーバの中から第1のIPアドレスが受け取ったパケットの宛先アドレス(アドレスA)となるサーバから通知されたホストルート宛ルート情報とに基づいて、転送先サーバを決定する。より詳細には、ルーティングメトリックおよびサーバ負荷情報を入力として1つの値を出力する任意の関数を適用して評価値を計算し、評価値に基づいて、パケット転送先(自身が属するサブネットワークに存在しかつアドレスAのサーバ)を選択する。ここで使用する関数は、例えば、ルーティングメトリック(小さいほど良い経路とする)にある定数をかけたものとサーバ負荷(小さいほどサーバ負荷が少ないとする)に別の定数をかけたものの和の逆数を評価値として算出するものとする。この場合、評価値が大きい装置(サーバ)をパケット転送先とする。パケットの転送先を決定した後は、決定結果に従い、転送先に決定した装置のアドレスを設定したソースルーティングヘッダをパケットに付与し、このパケットの転送をパケット転送処理部201に依頼すると共に、パケット転送用エントリテーブルを更新する。すなわち、パケット転送先の決定結果に対応するパケット転送用エントリを追加登録する。サーバ方向とクライアント方向の2つのパケット転送用エントリを同時に登録する。サーバ方向のエントリの転送先装置は転送先に決定したサーバとし、クライアント方向のエントリの転送先装置はパケットの送信元アドレス(=クライアントのアドレス)を宛先としてルーティングテーブルを検索した結果得られる次ホップ装置とする。なお、パケット転送用エントリの送信元IPアドレス、送信先IPアドレスおよびプロトコルには、パケット転送処理部201から受け取ったパケットに設定されていた情報を登録する。   When the address indicated in the source routing header matches the address of the own border router, the server that becomes the destination address (address A) of the packet received by the first IP address from among the servers existing in the subnetwork to which it belongs The transfer destination server is determined based on the notified route information for the host route. More specifically, an evaluation value is calculated by applying an arbitrary function that outputs a single value with the routing metric and server load information as input, and based on the evaluation value, the packet forwarding destination (exists in the subnetwork to which it belongs). And the server of address A) is selected. The function used here is, for example, the reciprocal of the sum of the routing metric (smaller is better route) multiplied by a constant and the server load (smaller is server load is less) multiplied by another constant. Is calculated as an evaluation value. In this case, a device (server) having a large evaluation value is set as a packet transfer destination. After determining the transfer destination of the packet, according to the determination result, a source routing header in which the address of the device determined as the transfer destination is set is added to the packet, and the packet transfer processing unit 201 is requested to transfer the packet. Update transfer entry table. That is, the packet transfer entry corresponding to the packet transfer destination determination result is additionally registered. Two packet transfer entries for the server direction and the client direction are registered simultaneously. The forwarding destination device of the server direction entry is the server determined as the forwarding destination, and the forwarding destination device of the client direction entry is the next hop obtained as a result of searching the routing table with the packet source address (= client address) as the destination A device. The information set in the packet received from the packet transfer processing unit 201 is registered in the source IP address, destination IP address, and protocol of the packet transfer entry.

また、負荷分散判断処理部202は、TCPのコネクション解放パケット(FINフラグもしくはRSTフラグがTCPヘッダに設定されたパケット)をパケット転送処理部201から受け取った場合には、パケット転送用エントリテーブルから対応するエントリを削除すると共に、そのパケットを削除したパケット転送用エントリの情報に基づき転送する(パケット転送用エントリがサーバ方向の場合、パケット転送用エントリに示される転送先装置を用いてソースルーティングヘッダを付与、もしくは、書き換え、もしくは、パケット転送用エントリに示される転送先装置を次ホップ装置として転送する。パケット転送用エントリがクライアント方向の場合、パケット転送用エントリに示される転送先装置を次ホップ装置として転送する。)ようにパケット転送処理部201へ依頼する。また、パケット転送用エントリ毎に管理される最終パケット転送時刻(パケット転送処理部201が更新する)を監視し、最終パケット転送時刻から一定時間が経過したパケット転送用エントリの削除を行う。これにより、時間の経過とともに各サーバの負荷状態が変動しても、次にパケットが送信される時点での負荷状態に応じてパケット転送用エントリを再設定でき、負荷変動に追従させたパケット転送制御が実現される。   Further, when the load distribution determination processing unit 202 receives a TCP connection release packet (a packet in which the FIN flag or the RST flag is set in the TCP header) from the packet transfer processing unit 201, the load distribution determination processing unit 202 responds from the packet transfer entry table. And the packet is transferred based on the information of the packet transfer entry from which the packet was deleted (if the packet transfer entry is in the server direction, the source routing header is set using the transfer destination device indicated in the packet transfer entry). Grant, rewrite, or transfer the transfer destination device indicated in the packet transfer entry as the next hop device If the packet transfer entry is in the client direction, the transfer destination device indicated in the packet transfer entry is the next hop device Forward as ) Requests the packet transfer processing section 201 as. Further, the last packet transfer time (updated by the packet transfer processing unit 201) managed for each packet transfer entry is monitored, and the packet transfer entry after a predetermined time has been deleted from the last packet transfer time. As a result, even if the load state of each server fluctuates over time, the packet transfer entry can be reset according to the load state at the time when the next packet is transmitted, and packet transfer that follows the load fluctuation Control is realized.

なお、負荷分散処理部202は、上記のIPヘッダ(パケットの宛先アドレス)に加えて、HTTPメッセージに含まれるCookie等のレイヤ7レベルの情報も参照して転送先を決定するようにしてもよい。このようにした場合、複数の異なるレイヤ4コネクション(例、TCPコネクション)間にレイヤ7レベルでの相互関係がある場合において、複数の異なるレイヤ4コネクションを同一のサーバに転送することが可能となる。   In addition to the IP header (packet destination address) described above, the load distribution processing unit 202 may determine a transfer destination by referring to layer 7 level information such as cookie included in the HTTP message. . In this case, when there is a mutual relationship at the layer 7 level between a plurality of different layer 4 connections (for example, TCP connections), it becomes possible to transfer a plurality of different layer 4 connections to the same server. .

サーバ登録管理処理部203は、自身(自境界ルータ)が属するサブネットワーク内のサーバから第1のIPアドレス、第2のIPアドレスおよび処理負荷の情報を定期的に収集し、サーバ負荷情報テーブルを更新する。各情報は、各サーバが自律的に(サーバ登録管理処理部203からの要求を受けることなく)定期的に送信する。また、サーバ登録管理処理部203は、一定の期間にわたって情報の定期的な収集が不可能となった(情報を送信してこなくなった)サーバを検出した場合、このサーバがネットワーク障害等で利用不可能になったと判断し、対応するエントリをサーバ負荷情報テーブルから削除する。これにより、サーバがルーティングプロトコルに未対応であっても、通信不能になったサーバを検出できる。   The server registration management processing unit 203 periodically collects information on the first IP address, the second IP address, and the processing load from the server in the subnetwork to which the server (own boundary router) belongs, and stores the server load information table. Update. Each information is periodically transmitted by each server autonomously (without receiving a request from the server registration management processing unit 203). In addition, when the server registration management processing unit 203 detects a server in which information cannot be collected regularly over a certain period of time (the information is no longer transmitted), the server registration management processing unit 203 cannot use the server due to a network failure or the like. It is determined that it is possible, and the corresponding entry is deleted from the server load information table. Thereby, even if the server does not support the routing protocol, it is possible to detect the server that has become unable to communicate.

ルーティングプロトコル処理部204は、ルーティングプロトコル処理を行い、ルーティングテーブルおよびサーバ負荷情報テーブルを更新する。例えば、BGP−4等のルーティングプロトコルに、自身(自境界ルータ)と同じサブネットワークに属しているサーバの第1のIPアドレスおよび負荷情報を通知するためのパラメータなどを追加し、このルーティングプロトコルを使用して他の境界ルータとの間でホストルート宛ルート情報を送受信して情報交換を行うことによりサーバ負荷情報テーブルを更新する。自身が属するサブネットワークに、第1のIPアドレスが同じサーバ(同じサービスを提供するサーバ)が複数存在している場合には、同じサービスを提供する各サーバの負荷情報を入力として1つの値を出力する何らかの関数を使用し、この関数の出力として得られる値を、他の境界ルータへ広告するホストルート宛ルート情報に含ませる負荷情報とする。この関数としては、例えば、入力された複数の負荷情報のうち、値が最小のもの(値が小さいほどサーバの負荷が少ないとする)を選択して出力する関数を使用する。値が最小のものを選択出力する関数を使用した場合のルーティングプロトコル処理部204の動作は、同じサービスを提供するサーバのうち、処理負荷が最小のサーバの第1のアドレスおよび負荷情報を他の境界ルータへ通知するものとなる。ルーティングテーブルの更新処理は一般的な動作であるため、説明を省略する。   The routing protocol processing unit 204 performs routing protocol processing and updates the routing table and the server load information table. For example, a parameter for notifying a first IP address and load information of a server belonging to the same subnetwork as itself (own border router) is added to a routing protocol such as BGP-4, and this routing protocol is changed. The server load information table is updated by exchanging information by transmitting and receiving route information addressed to the host route with other border routers. If there are multiple servers with the same first IP address (servers that provide the same service) in the subnetwork to which they belong, the load information of each server that provides the same service is input as one value. Some function to be output is used, and the value obtained as the output of this function is used as load information to be included in the route information addressed to the host route advertised to other border routers. As this function, for example, a function that selects and outputs the one having the smallest value (assuming that the smaller the value is, the smaller the load on the server) is, for example, is used. The operation of the routing protocol processing unit 204 in the case of using a function that selects and outputs the one with the smallest value is the same as that of the server that provides the same service with the first address and load information of the server with the smallest processing load. Notification to the border router. Since the routing table update process is a general operation, a description thereof will be omitted.

また、ルーティングプロトコル処理部204は、他の境界ルータから広告されたホストルート宛ルート情報を受信した場合、受信したホストルート宛ルート情報をサーバ負荷情報テーブルに登録するとともに、受信したホストルート宛ルート情報のルーティングメトリックを更新した上で転送(他の境界ルータへ広告)する。ルーティングメトリックの更新は、ホストルート宛ルート情報の広告元境界ルータ(例えばBGP−4の場合、自境界ルータがBGP−4のピア関係を確立している隣接境界ルータ)から自身までのメトリックを反映させることにより行う。なお、サーバ負荷情報テーブルに登録済みのホストルート宛ルート情報の新たな情報(負荷情報が更新された情報)を受信した場合、サーバ負荷情報テーブルに上書きして更新する。また、新たなホストルート宛ルート情報が一定時間にわたって受信できなかった場合、対応するホストルート宛ルート情報をサーバ負荷情報テーブルから削除する。これにより、通信障害が発生しているサーバがパケット転送先として選択されてしまうのを防止でき、正常なサーバへのパケット転送制御を実現できる。   When the routing protocol processing unit 204 receives the route information addressed to the host route advertised by another border router, the routing protocol processing unit 204 registers the received route information addressed to the host route in the server load information table, and also receives the received route address to the host route. The information routing metric is updated and transferred (advertised to other border routers). The update of the routing metric reflects the metric from the advertising source border router of the route information addressed to the host route (for example, in the case of BGP-4, the neighboring border router where the own border router has established a peer relationship of BGP-4) to itself. To do. Note that when new information (information in which the load information is updated) of the route information destined for the host route registered in the server load information table is received, the server load information table is overwritten and updated. If new route information for the host route cannot be received for a certain period of time, the corresponding route information for the host route is deleted from the server load information table. Thereby, it is possible to prevent a server in which a communication failure has occurred from being selected as a packet transfer destination, and to realize packet transfer control to a normal server.

つづいて、サーバの構成について説明する。なお、各サーバの構成は同一である。図3は、サーバの構成例を示す図であり、本実施の形態のサーバは、IP転送処理部101と、クライアント要求処理部102と、サーバ負荷登録処理部103と、第1のアドレス(第1のIPアドレス)、第2のアドレス(第2のIPアドレス)および境界ルータアドレス(境界ルータのIPアドレス)を保持している記憶部104とを備える。   Next, the configuration of the server will be described. The configuration of each server is the same. FIG. 3 is a diagram illustrating a configuration example of a server. The server according to the present embodiment includes an IP transfer processing unit 101, a client request processing unit 102, a server load registration processing unit 103, and a first address (first address). 1), a second address (second IP address), and a border router address (border router IP address).

記憶部104が保持している情報について説明する。   Information held in the storage unit 104 will be described.

第1のIPアドレスはサーバが提供するサービスを一意に示すアドレス(提供サービス識別用のIPアドレス)であり、同じサービスを提供するサーバが通信システムネットワーク内に複数存在している場合、それらサーバの第1のIPアドレスは同じ値となる。この第1のIPアドレスは、クライアントがあるサービスに対して要求を送信する際に宛先アドレスに設定するアドレスであり、例えば、IP転送処理部101により設定される。   The first IP address is an address (IP address for providing service identification) that uniquely indicates the service provided by the server. When there are a plurality of servers that provide the same service in the communication system network, The first IP address has the same value. The first IP address is an address that is set as a destination address when a client transmits a request to a service, and is set by the IP transfer processing unit 101, for example.

第2のIPアドレスは自装置(自サーバ)を一意に示すアドレス(サーバ識別用のIPアドレス)であり、自装置と同じサブネットワークに属している境界ルータとの通信、および他のサーバとの通信において、送信元/送信先アドレスとして使用される。   The second IP address is an address (IP address for server identification) that uniquely indicates the own device (own server), communicates with a border router belonging to the same subnetwork as the own device, and communicates with other servers. Used as a source / destination address in communication.

境界ルータアドレスは、自身(自サーバ)と同じサブネットワークに属している境界ルータを一意に示すアドレス(境界ルータのIPアドレス)である。サブネットワークに複数の境界ルータが存在する場合、それら各境界ルータのIPアドレスが保持される。境界ルータアドレスは、例えば、サーバ負荷登録処理部103により設定される。   The border router address is an address (IP address of the border router) that uniquely indicates the border router belonging to the same subnetwork as that of itself (self server). When there are a plurality of border routers in the subnetwork, the IP addresses of the border routers are held. The border router address is set by the server load registration processing unit 103, for example.

IP転送処理部101は、サーバでのIPプロトコル処理を実行し、クライアント要求処理部102およびサーバ負荷登録処理部103がネットワーク上の他の機器とIP通信を行うための機能を提供する。   The IP transfer processing unit 101 executes IP protocol processing in the server, and provides a function for the client request processing unit 102 and the server load registration processing unit 103 to perform IP communication with other devices on the network.

クライアント要求処理部102は、クライアントが要求するサービスに対する処理を実行する。   The client request processing unit 102 executes processing for a service requested by the client.

サーバ負荷登録処理部103は、自サーバにおける負荷状況を監視し、記憶部104が保持している各境界ルータアドレスに対応する全ての境界ルータに対して定期的にサーバの負荷情報を通知する。このとき、記憶部104が保持している第1のIPアドレスおよび第2のIPアドレスも併せて通知する。   The server load registration processing unit 103 monitors the load status of the server itself, and periodically notifies the load information of the server to all the border routers corresponding to the border router addresses held by the storage unit 104. At this time, the first IP address and the second IP address held by the storage unit 104 are also notified.

つづいて、本実施の形態の通信ネットワークシステムにおけるパケット転送動作について、図4を用いて説明する。図4は、パケット転送動作の一例を示す図であり、図1に示した構成の通信システムネットワークにおいて、クライアント1−3がアドレスAに対応するサービスを提供するサーバ宛にパケットを送信する場合のパケット転送動作例を示している。なお、図4の通信システムネットワークの各境界ルータのパケット転送用エントリテーブルには、クライアント1−3からアドレスAのサーバ宛に送信されるパケットに対応するエントリが登録されていないものとする。   Next, a packet transfer operation in the communication network system according to the present embodiment will be described with reference to FIG. 4 is a diagram illustrating an example of a packet transfer operation. In the communication system network having the configuration illustrated in FIG. 1, the client 1-3 transmits a packet to a server that provides a service corresponding to the address A. An example of packet transfer operation is shown. It is assumed that an entry corresponding to a packet transmitted from the client 1-3 to the server at address A is not registered in the packet transfer entry table of each border router in the communication system network of FIG.

クライアント1−3は、要求するサービスに対応するIPアドレスであるアドレスAを宛先(送信先アドレス)に設定し、送信元アドレスに自身のアドレスを設定したパケットを送信する。   The client 1-3 sets an address A, which is an IP address corresponding to the requested service, as a destination (destination address), and transmits a packet in which its own address is set as a source address.

クライアント1−3から送信された、宛先がアドレスAのパケットは、境界ルータ24により受信され、境界ルータ24は、パケットの送信元IPアドレスおよび送信先IPアドレス(宛先アドレス)と一致するパケット転送用エントリがパケット転送用エントリテーブルに登録されているかどうか確認する。そして、この例ではエントリが登録されていないため、ホストルート宛ルート情報に基づいて、パケットの転送先をどの境界ルータのサブネットに存在するサーバ宛にするか決定する(処理1)。図示した例では、境界ルータ23と同じサブネットワークに存在するサーバ12宛とすることに決定する。ただし、境界ルータ24は、サーバ12の第2のIPアドレス(装置識別用アドレス)を保持していないため、実際には、境界ルータ23宛とすることに決定し、境界ルータ23のアドレスを設定したソースルーティングヘッダを付与してパケットを転送する(処理2)。   The packet transmitted from the client 1-3 and having a destination address A is received by the border router 24, and the border router 24 is for packet transfer that matches the source IP address and destination IP address (destination address) of the packet. Check if the entry is registered in the packet transfer entry table. In this example, since no entry is registered, it is determined based on the route information addressed to the host route that the packet transfer destination is addressed to the server existing in the subnet of the border router (processing 1). In the illustrated example, it is determined to address the server 12 existing in the same subnetwork as the border router 23. However, since the border router 24 does not hold the second IP address (device identification address) of the server 12, the border router 24 is actually determined to be addressed to the border router 23, and the address of the border router 23 is set. The source routing header is attached and the packet is transferred (processing 2).

境界ルータ24は、さらに、送信元がクライアント1−3かつ送信先がアドレスAのパケットを次回受信する場合に備えて、転送したパケットに対応するパケット転送用エントリをパケット転送用エントリテーブルに登録する(処理3)。パケット転送用エントリの送信元IPアドレス、送信先IPアドレスおよびプロトコルには、受信したパケットに設定されていた情報(送信元IPアドレス,送信先IPアドレス,プロトコル)をそれぞれ登録する。パケットの転送先には、サーバ方向のエントリではソースルーティングヘッダに設定したアドレス、クライアント方向のエントリでは受信したパケットの送信元IPアドレス(=クライアント1−3のアドレス)を宛先としてルーティングテーブルを検索して得られる次ホップ装置をそれぞれ登録する。   The border router 24 also registers a packet transfer entry corresponding to the transferred packet in the packet transfer entry table in preparation for the next reception of the packet whose source is the client 1-3 and whose destination is the address A. (Process 3). Information (source IP address, destination IP address, protocol) set in the received packet is registered in the source IP address, destination IP address, and protocol of the packet transfer entry. For the packet transfer destination, the routing table is searched with the address set in the source routing header in the server direction entry and the source IP address (= address of the client 1-3) of the received packet as the destination in the client direction entry. Each next hop device obtained in this way is registered.

境界ルータ24により転送された上記パケットは、境界ルータ22−2により受信され、境界ルータ22−2は、パケットの送信元IPアドレスおよび送信先IPアドレスと一致するパケット転送用エントリがパケット転送用エントリテーブルに登録されているかどうか確認する。この例では、エントリが登録されていないが、ソースルーティングヘッダが付与されているため、このパケットに対応するパケット転送用エントリをパケット転送用エントリテーブルに登録するとともに、ソースルーティングヘッダに従い、境界ルータ23に向けてパケットを転送する(処理4,処理5)。パケット転送用エントリの送信元IPアドレス、送信先IPアドレスおよびプロトコルには、受信したパケットに設定されていた情報をそれぞれ登録する。サーバ方向のパケット転送用エントリの転送先装置には、ソースルーティングヘッダに設定されていたアドレスを宛先としてルーティングテーブル検索を行い得られる次ホップ装置、クライアント方向のパケット転送用エントリの転送先装置には受信パケットの送信元アドレスを宛先としてルーティングテーブル検索を行い得られる次ホップ装置をそれぞれ登録する。   The packet forwarded by the border router 24 is received by the border router 22-2, and the border router 22-2 has a packet forwarding entry that matches the source IP address and destination IP address of the packet. Check whether it is registered in the table. In this example, no entry is registered, but since a source routing header is added, a packet forwarding entry corresponding to this packet is registered in the packet forwarding entry table, and the border router 23 is in accordance with the source routing header. The packet is forwarded toward (steps 4 and 5). Information set in the received packet is registered in the source IP address, destination IP address, and protocol of the packet transfer entry. The transfer destination device for the packet transfer entry in the server direction includes the next hop device that can perform a routing table search using the address set in the source routing header as the destination, and the transfer destination device for the packet transfer entry in the client direction. Next-hop devices obtained by performing a routing table search with the source address of the received packet as a destination are registered.

境界ルータ22−2により転送された上記パケットは、境界ルータ22−1により受信され、境界ルータ22−1は、上述した境界ルータ22−2と同様の処理を実行し、パケット転送用エントリテーブルを更新する(エントリを追加登録する)とともにパケットを転送する(処理6,処理7)。   The packet forwarded by the border router 22-2 is received by the border router 22-1, and the border router 22-1 performs the same processing as the border router 22-2 described above, and creates a packet forwarding entry table. Updating (adding and registering an entry) and transferring the packet (process 6 and process 7).

境界ルータ22−1により転送された上記パケットは、境界ルータ23により受信され、境界ルータ23は、パケットの送信元IPアドレスおよび送信先IPアドレスと一致するパケット転送用エントリがパケット転送用エントリテーブルに登録されているかどうか確認する。この例では、エントリが登録されていないが、ソースルーティングヘッダが付与されており、かつソースルーティングヘッダに自境界ルータのアドレスが設定されているため、このパケットに対応するパケット転送用エントリをパケット転送用エントリテーブルに登録するとともに、ソースルーティングヘッダに設定されているアドレスをサーバ12の第2のIPアドレス(アドレスB2)に置き換えて転送する(処理8,9)。なお、アドレスAに対応するサーバが同じサブネットワークに複数存在している場合、ソースルーティングヘッダに設定されているアドレスを、処理負荷が最も少ないサーバのアドレスに置き換える。   The packet forwarded by the border router 22-1 is received by the border router 23, and the border router 23 has a packet forwarding entry that matches the source IP address and destination IP address of the packet in the packet forwarding entry table. Check if it is registered. In this example, no entry is registered, but since the source routing header is given and the address of the own border router is set in the source routing header, the packet forwarding entry corresponding to this packet is forwarded to the packet. Are registered in the entry table, and the address set in the source routing header is replaced with the second IP address (address B2) of the server 12 and transferred (processes 8 and 9). When there are a plurality of servers corresponding to the address A in the same subnetwork, the address set in the source routing header is replaced with the address of the server having the smallest processing load.

これ以降、クライアント1−3が送信元かつ宛先がアドレスAのパケットは、各境界ルータにおいて、パケット転送用エントリに従って転送される(処理10)。なお、各境界ルータは、クライアント1−3が送信元かつ宛先がアドレスAのパケットを一定時間受信しなかった場合や、コネクション解放プロトコルシーケンスが実行された場合には、このパケットに対応するパケット転送用エントリを削除する(処理11)。   Thereafter, the packet whose source is the client 1-3 and whose destination is the address A is transferred according to the packet transfer entry in each border router (process 10). Each border router, when the client 1-3 does not receive a packet whose source is the address and the destination is address A for a certain period of time, or when the connection release protocol sequence is executed, the packet transfer corresponding to this packet The entry is deleted (process 11).

このように、本実施の形態の通信ネットワークシステムにおいて、サービスを提供する各サーバは、提供するサービスに応じたIPアドレス(第1のIPアドレス)とサーバ固有のIPアドレス(第2のIPアドレス)を有しており、第1および第2のIPアドレスと処理負荷の情報を、定期的に、自身と同じサブネットワーク内の境界ルータに通知する。各境界ルータは、各サーバから取得した上記情報を保持しておくとともに、各サーバが有している第1のIPアドレスおよび処理負荷に関する情報、ルーティングメトリックを他の境界ルータへ広告し、各境界ルータが属しているサブネットワークの情報と、境界ルータが属しているサブネットワーク内で同じサービスを提供するサーバ群ごとの処理負荷に関する情報とを他の境界ルータとの間で共有する。また、各境界ルータは、クライアントからパケットを受信した場合には、要求されたサービスを提供するサーバのうち、処理負荷が最も小さいサーバと同じサブネットワークの境界ルータに向けて転送することとした。さらに、自身に向けて転送されてきたパケットを受信した場合、パケットが要求しているサービスを提供するサーバであって、自身の同じサブネットワーク内のサーバに対して転送することとした。このとき、同じサービスを提供するサーバがサブネットワーク内に複数存在しているならば、処理負荷が最小のサーバに転送することとした。これにより、クライアントから送信されたパケットを処理負荷の小さいサーバに転送してサーバ間の処理負荷を分散できる。また、従来のように各サーバの負荷状態に関係なく予め決められているサーバに一旦接続してから負荷状態を確認して接続先を切り替える制御や負荷分散のための専用の装置が不要となるので、従来と比較して、処理手順やシステム構成を単純化できる。   As described above, in the communication network system according to the present embodiment, each server providing a service has an IP address (first IP address) and a server-specific IP address (second IP address) corresponding to the provided service. And periodically notifies the border routers in the same subnetwork as itself of the information on the first and second IP addresses and the processing load. Each border router holds the above information acquired from each server, advertises information about the first IP address and processing load possessed by each server, processing metrics, and other routing routers to each border router. Information on the subnetwork to which the router belongs and information on the processing load for each server group providing the same service in the subnetwork to which the border router belongs are shared with other border routers. In addition, each border router, when receiving a packet from a client, forwards it to a border router in the same subnetwork as the server having the smallest processing load among the servers that provide the requested service. Further, when a packet forwarded to itself is received, the packet is forwarded to a server that provides the service requested by the packet and that is in the same subnetwork. At this time, if there are a plurality of servers providing the same service in the sub-network, it is transferred to the server with the smallest processing load. Thereby, the packet transmitted from the client can be transferred to a server with a small processing load, and the processing load between the servers can be distributed. In addition, as in the past, there is no need for a dedicated device for control and load distribution that connects to a predetermined server regardless of the load status of each server and then checks the load status and switches the connection destination. Therefore, the processing procedure and system configuration can be simplified as compared with the conventional case.

また、各境界ルータは、あるクライアントとサーバの間での1回目のパケット時において、パケット転送用エントリテーブルを更新し、2回目以降のパケット転送時にはパケット転送用エントリテーブルに従って転送を行うので、2回目以降のパケット転送処理の所要時間短縮と処理負荷軽減を実現できる。   Each border router updates the packet transfer entry table at the time of the first packet between a certain client and server, and performs transfer according to the packet transfer entry table at the second and subsequent packet transfers. It is possible to reduce the time required for packet transfer processing after the first time and reduce the processing load.

また、各境界ルータは、上記情報(第1および第2のIPアドレスと処理負荷の情報)を一定期間にわたって通知してこなくなったサーバを検出した場合、このサーバがネットワーク障害等で利用不可能になったと判断し、このサーバをパケット転送先として選択しないようにする。これにより、サーバがルーティングプロトコルに未対応であっても、通信不能になったサーバの検出が可能となる。この結果、ネットワーク障害を考慮したパケット転送が実現でき、障害耐性を向上できる。   Further, when each border router detects a server that has not notified the above information (first and second IP addresses and processing load information) for a certain period of time, the server becomes unavailable due to a network failure or the like. Therefore, the server is not selected as a packet transfer destination. As a result, even if the server does not support the routing protocol, it becomes possible to detect the server that has become unable to communicate. As a result, packet transfer considering network failure can be realized, and failure tolerance can be improved.

以上のように、本発明は、同じサービスを提供するサーバが複数存在する通信ネットワークシステムにおいて、サーバ間の処理負荷の均衡化とネットワーク障害を考慮したパケット転送を実現するための発明として有用である。   As described above, the present invention is useful as an invention for realizing packet transfer in consideration of balancing of processing load between servers and network failure in a communication network system in which a plurality of servers providing the same service exist. .

1−1,1−2,1−3 クライアント
21,22−21,22−2,23,24 境界ルータ
31,32,33,34 サブネットワーク
101 IP転送処理部
102 クライアント要求処理部
103 サーバ負荷登録処理部
104,205 記憶部
201 パケット転送処理部
202 負荷分散判断処理部
203 サーバ登録管理処理部
204 ルーティングプロトコル処理部
1-1, 1-2, 1-3 Client 21, 22-21, 22-22, 23, 24 Border router 31, 32, 33, 34 Subnetwork 101 IP forwarding processing unit 102 Client request processing unit 103 Server load registration Processing unit 104, 205 Storage unit 201 Packet transfer processing unit 202 Load distribution determination processing unit 203 Server registration management processing unit 204 Routing protocol processing unit

Claims (10)

複数のサブネットワークを含んで構成された通信ネットワークシステムであって、
各サブネットワークは、サブネットワークと外部のネットワークとを接続するルータを1台以上含むとともに、クライアントから要求されたサービスを提供するサーバを含むことが可能であり、
前記サーバは、提供するサービスに対応する第1のアドレスおよび自サーバを一意に示す第2のアドレスを有し、当該第1のアドレスおよび第2のアドレスと自身の処理負荷に関する情報とを、サーバ状態情報として自身と同じサブネットワークに属しているルータへ定期的に通知し、
前記クライアントは、所定のサービスを要求する場合、当該サービスに対応するアドレスを宛先アドレスに設定したパケットを送信し、
前記ルータは、サーバから通知されたサーバ状態情報を保持しておくとともに、当該サーバ状態情報に含まれている第1のアドレスおよび処理負荷に関する情報と、自ルータのアドレスとを他のルータへ広告し、自身と同じサブネットワークに接続中のクライアントからパケットを受信した場合、当該パケットの宛先アドレス、前記サーバから通知された情報、および他のルータから広告された情報に基づいて、当該パケットの転送先を決定する
ことを特徴とする通信ネットワークシステム。
A communication network system configured to include a plurality of sub-networks,
Each subnetwork can include one or more routers connecting the subnetwork and an external network, and can include a server that provides a service requested by a client.
The server has a first address corresponding to a service to be provided and a second address uniquely indicating the server itself, and the server stores the first address, the second address, and information on its processing load. Periodically notify routers belonging to the same subnetwork as the status information,
When the client requests a predetermined service, the client transmits a packet in which an address corresponding to the service is set as a destination address,
The router holds the server status information notified from the server and advertises the information about the first address and processing load included in the server status information and the address of the own router to other routers. When a packet is received from a client connected to the same subnetwork as that of itself, the packet is forwarded based on the destination address of the packet, information notified from the server, and information advertised by another router. A communication network system characterized by determining a destination.
前記ルータは、パケットを転送した場合、当該パケットの送信元および宛先と、転送先装置と、転送実施時刻とをパケット転送用エントリテーブルに登録し、パケットの受信時には、受信パケットの送信元および宛先と一致するエントリがパケット転送用エントリテーブルに登録されているかどうか確認し、登録されている場合には、登録されている転送先装置へ受信パケットを出力する
ことを特徴とする請求項1に記載の通信ネットワークシステム。
When transferring the packet, the router registers the source and destination of the packet, the transfer destination device, and the transfer execution time in the packet transfer entry table, and when receiving the packet, the source and destination of the received packet The received packet is output to the registered transfer destination apparatus if it is registered whether or not an entry that matches is registered in the packet transfer entry table. Communication network system.
前記ルータは、登録されている転送実施時刻から一定時間が経過したエントリを前記パケット転送用エントリテーブルから削除する
ことを特徴とする請求項2に記載の通信ネットワークシステム。
The communication network system according to claim 2, wherein the router deletes an entry for which a predetermined time has elapsed from a registered transfer execution time from the packet transfer entry table.
前記ルータは、自身と同じサブネットワークに接続中のクライアントからパケットを受信しかつ受信パケットの送信元および宛先と一致するエントリが前記パケット転送用エントリテーブルに登録されていない場合、当該パケットの宛先アドレスと同じアドレスを有しているサーバのうち、処理負荷が最も小さいサーバと同じサブネットワークに属しているルータを特定し、当該特定したルータが自ルータの場合、当該処理負荷が最も小さいサーバへパケットを転送し、当該特定したルータが自ルータではない場合、当該特定したルータに向けてパケットを転送する
ことを特徴とする請求項2または3に記載の通信ネットワークシステム。
If the router receives a packet from a client connected to the same subnetwork as itself and does not register an entry that matches the source and destination of the received packet in the entry table for packet forwarding, the destination address of the packet If the router belonging to the same subnetwork as the server with the smallest processing load is identified among the servers having the same address as the server, and if the identified router is the local router, the packet is sent to the server with the smallest processing load. 4. The communication network system according to claim 2, wherein, when the specified router is not its own router, the packet is transferred toward the specified router. 5.
前記ルータは、第1のアドレスおよび第2のアドレスと処理負荷に関する情報とを送信してこなくなったサーバを検出した場合、当該サーバに対応するエントリを前記サーバ状態情報から削除する
ことを特徴とする請求項1〜4のいずれか一つに記載の通信ネットワークシステム。
When the router detects a server that has stopped transmitting the first address, the second address, and the processing load information, the router deletes an entry corresponding to the server from the server status information. The communication network system according to any one of claims 1 to 4.
前記ルータは、自身と同じサブネットワーク内に第1のアドレスが同一の複数のサーバが存在している場合、当該複数のサーバから通知されたサーバ状態情報のうち、処理負荷が最も小さいサーバから通知されたサーバ状態情報に含まれている処理負荷に関する情報を他のルータへ広告する
ことを特徴とする請求項1〜5のいずれか一つに記載の通信ネットワークシステム。
When there are a plurality of servers having the same first address in the same subnetwork as the router, the router notifies the server with the smallest processing load among the server status information notified from the plurality of servers. The communication network system according to any one of claims 1 to 5, wherein information on a processing load included in the server status information is advertised to another router.
前記ルータは、自身と同じサブネットワーク内に第1のアドレスが同一の複数のサーバが存在している状態において、当該サブネットワーク内で処理すべきと判断されたパケットを他のルータから受信した場合、当該複数のサーバのうち、処理負荷が最も小さいサーバへパケットを転送する
ことを特徴とする請求項1〜6のいずれか一つに記載の通信ネットワークシステム。
When the router receives a packet from another router that is determined to be processed in the subnetwork in a state where a plurality of servers having the same first address exists in the same subnetwork as the router. The packet is transferred to a server having the smallest processing load among the plurality of servers. The communication network system according to any one of claims 1 to 6.
前記ルータは、前記サーバ状態情報に含まれている第1のアドレスおよび処理負荷に関する情報と、自ルータのアドレスと、に加え、サーバから自ルータまでのルーティングメトリックの情報を他のルータへ広告し、自身と同じサブネットワークに接続中のクライアントからパケットを受信した場合、当該パケットの宛先アドレス、前記サーバから通知された情報、および他のルータから広告された情報に基づいて、当該パケットの転送先を決定する
ことを特徴とする請求項1〜7のいずれか一つに記載の通信ネットワークシステム。
The router advertises the routing metric information from the server to the own router to other routers in addition to the first address and processing load information included in the server status information and the address of the own router. When a packet is received from a client connected to the same subnetwork as itself, the destination of the packet is forwarded based on the destination address of the packet, information notified from the server, and information advertised by other routers. The communication network system according to claim 1, wherein the communication network system is determined.
前記ルータは、他のルータから広告された情報を受信した場合、受信したルーティングメトリックの情報を更新した上で、広告元の他のルータとは異なる他のルータへ広告する
ことを特徴とする請求項8に記載の通信ネットワークシステム。
When the router receives information advertised from another router, the router updates the received routing metric information and then advertises to another router different from the other router of the advertisement source. Item 9. The communication network system according to Item 8.
前記ルータは、自身と同じサブネットワークに接続中のクライアントからパケットを受信した場合、当該パケットの宛先アドレス、当該パケットに含まれているレイヤ7レベルの情報、前記サーバから通知された情報、および他のルータから広告された情報に基づいて、当該パケットの転送先を決定する
ことを特徴とする請求項1〜9のいずれか一つに記載の通信ネットワークシステム。
When the router receives a packet from a client connected to the same subnetwork as itself, the router receives a destination address of the packet, layer 7 level information included in the packet, information notified from the server, and others The communication network system according to claim 1, wherein a transfer destination of the packet is determined based on information advertised by the router.
JP2011126566A 2011-06-06 2011-06-06 Communication network system Withdrawn JP2012253681A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011126566A JP2012253681A (en) 2011-06-06 2011-06-06 Communication network system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011126566A JP2012253681A (en) 2011-06-06 2011-06-06 Communication network system

Publications (1)

Publication Number Publication Date
JP2012253681A true JP2012253681A (en) 2012-12-20

Family

ID=47526046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011126566A Withdrawn JP2012253681A (en) 2011-06-06 2011-06-06 Communication network system

Country Status (1)

Country Link
JP (1) JP2012253681A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116915786A (en) * 2023-09-13 2023-10-20 杭州立方控股股份有限公司 License plate recognition and vehicle management system with cooperation of multiple servers

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116915786A (en) * 2023-09-13 2023-10-20 杭州立方控股股份有限公司 License plate recognition and vehicle management system with cooperation of multiple servers
CN116915786B (en) * 2023-09-13 2023-12-01 杭州立方控股股份有限公司 License plate recognition and vehicle management system with cooperation of multiple servers

Similar Documents

Publication Publication Date Title
JP5960050B2 (en) Load balancing across layer 2 domains
JP5660049B2 (en) Load distribution system, load distribution method, apparatus and program constituting load distribution system
JP5416596B2 (en) Network relay device, network system, and control method thereof
US8825867B2 (en) Two level packet distribution with stateless first level packet distribution to a group of servers and stateful second level packet distribution to a server within the group
US20160065503A1 (en) Methods, systems, and computer readable media for virtual fabric routing
JP5757552B2 (en) Computer system, controller, service providing server, and load distribution method
JP3583049B2 (en) Router monitoring system in data transmission system using network dispatcher for host cluster
US20020159463A1 (en) Method and protocol for managing broadband IP services in a layer two broadcast network
KR20140027455A (en) Centralized system for routing ethernet packets over an internet protocol network
US10333790B2 (en) Method and system for selective route download in network devices
JPWO2005006671A1 (en) Optimal routing method for a specific service in a network, and server and routing node used in the network
US10530873B1 (en) Techniques for optimizing EVPN-IRB for IPv6-enabled data centers with top-of-rack deployments
JP5438624B2 (en) Communication system, control server, flow control method and program thereof
US20120191873A1 (en) Relay apparatus, communication network system, and load distribution method
JP2013038647A (en) Message transfer system, control device, message transfer node, message transfer method, and program
JP2012253681A (en) Communication network system
US10735252B2 (en) Outside router fault detection
JP2012186519A (en) Communication system
JP5105124B2 (en) Router device, packet control method and program based on prefix management
JP4369882B2 (en) Routing method and network system
CN116760764B (en) Route announcement method, server node, information bulletin board and storage medium
JP5796898B2 (en) Data transfer device, transfer method, and program
WO2012073521A1 (en) Event distribution system and event distribution method
JP2011193379A (en) Communication system
JP3654847B2 (en) Apparatus and method for managing broadband internet protocol services in layer 2 broadcast networks

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140902