JP2008271050A - Communication load acquisition apparatus, and communication load acquisition method - Google Patents
Communication load acquisition apparatus, and communication load acquisition method Download PDFInfo
- Publication number
- JP2008271050A JP2008271050A JP2007109744A JP2007109744A JP2008271050A JP 2008271050 A JP2008271050 A JP 2008271050A JP 2007109744 A JP2007109744 A JP 2007109744A JP 2007109744 A JP2007109744 A JP 2007109744A JP 2008271050 A JP2008271050 A JP 2008271050A
- Authority
- JP
- Japan
- Prior art keywords
- communication
- address
- data amount
- network address
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、通信負荷取得装置および通信負荷取得方法に関する。 The present invention relates to a communication load acquisition device and a communication load acquisition method.
勤休管理や資材発注などの企業業務系システム、オンラインショッピング、株取引などの消費者向けサービスがWebサイト上で実現されるようになった。Webサイト上で実現されるシステムは、不特定多数のクライアントからアクセスされるため、従来のような専用の回線、専用のクライアントからアクセスされるシステムとは異なり、事前に負荷を見積もることが難しい。したがって、サービス品質を保証するためには継続的に監視を行い、リソースの利用率が一定レベルを超過しないよう調整することが不可欠である。 Business services such as work management and material ordering, consumer services such as online shopping and stock trading have come to be realized on the website. Since a system realized on a Web site is accessed from an unspecified number of clients, unlike a conventional system that is accessed from a dedicated line or a dedicated client, it is difficult to estimate the load in advance. Therefore, in order to guarantee the service quality, it is essential to continuously monitor and adjust the resource usage rate so that it does not exceed a certain level.
多くのサーバやネットワーク機器は、CPU使用率や回線稼働率などの値(以下、稼動情報という。)を記憶している。これらの稼動情報は、MIB(Management Information Base)として規定されており、MIB値とも呼ばれる。稼動情報は、オブジェクトIDと呼ばれる一意な識別子で指定することができる。MIBのオブジェクトIDにより指定される稼動情報を、ネットワークを介して外部から取得するプロトコルがSNMP(Simple Network Management Protocol)である。システムの稼動情報は、SNMPを利用して収集することができる(特許文献1)。 Many servers and network devices store values such as a CPU usage rate and a line operating rate (hereinafter referred to as operating information). These pieces of operation information are defined as MIB (Management Information Base) and are also called MIB values. The operation information can be specified by a unique identifier called an object ID. SNMP (Simple Network Management Protocol) is a protocol for acquiring operation information designated by the MIB object ID from the outside via a network. System operation information can be collected using SNMP (Patent Document 1).
一方、企業情報システムでは従来の物理計算機から仮想計算機への移行が進んでいる。仮想計算機を利用すると、一つの物理計算機が持つ計算機資源を論理的に分割して複数の仮想計算機とし、各仮想計算機上で独立したオペレーティングシステム(以下、OSと略記する。)を稼動させることができる。これにより、複数のサーバを一つの計算機上に同居させることが可能になる。ただし、一つの物理計算機上で複数の仮想計算機を稼動させる場合、仮想計算機同士で物理的な計算機資源を共有するので、各仮想計算機の稼動情報を収集して、それぞれが必要とする計算機資源の量を把握し、適切な計算機資源の割り当てを行う必要がある。 On the other hand, in enterprise information systems, the transition from conventional physical computers to virtual computers is progressing. When a virtual machine is used, a computer resource of one physical computer is logically divided into a plurality of virtual machines, and an independent operating system (hereinafter abbreviated as OS) is operated on each virtual machine. it can. Thereby, it becomes possible to coexist a plurality of servers on one computer. However, when operating multiple virtual machines on one physical computer, the physical computer resources are shared between the virtual computers, so the operation information of each virtual computer is collected and the required computer resources are collected. It is necessary to grasp the amount and allocate appropriate computer resources.
仮想計算機の稼動情報の収集は、物理計算機と同様にSNMPを用いて行うことができる。例えば、仮想計算機は仮想ネットワークインタフェース(NIC;Network Interface)を有しており、この仮想NICについても、物理サーバが備える物理NICと同様に、仮想計算機において稼動情報が記憶されている。したがって、仮想計算機の入出力トラフィックを計測するには、物理NICのトラフィック計測と同様に、仮想計算機に対してSNMPリクエストを送信することにより、仮想NICの稼動情報(MIBのifInOctetsやifOutOctetsで指定されるカウンタ値)を取得する方法が一般的である(非特許文献1参照)。 The virtual machine operation information can be collected using SNMP in the same manner as the physical computer. For example, the virtual computer has a virtual network interface (NIC), and operation information is stored in the virtual computer as well as the physical NIC included in the physical server. Therefore, in order to measure the input / output traffic of the virtual machine, as with the physical NIC traffic measurement, by sending an SNMP request to the virtual machine, the virtual NIC operation information (specified in the MIB's ifInOctets and ifOutOctets). The counter value is generally acquired (see Non-Patent Document 1).
また、仮想計算機の稼動情報を特定する規格として、RMON(Remote Network Monitoring)−MIBも知られている。RMON−MIBでは、イーサネット(登録商標)のパケットの送信元や送信先ごとに稼動情報を示すオブジェクトIDが定義されている。したがって、あるセグメント上の計算機の稼動情報を、別セグメントの計算機から取得し監視することができる。具体的には、RMON−MIBに規定されるEthernet RMON Matrixグループを用いることにより、監視対象の仮想計算機を宛先または送信元とするトラフィックの量を記憶するカウンタを指定することができる(非特許文献2)。
近年、通信の高速化に伴い、NICの通信帯域も広くなってきている。その一方で、サービス品質を保証するためには継続的に監視を行う必要があり、稼動情報の取得頻度も多くなってきている。しかし、通信帯域が広帯域になるほど、NICのトラフィック量をカウントするオーバーヘッドは高くなり、計算機の負荷が高くなる。さらに、計算機には、パケットをカウントする負荷に加えて、計測した情報をリクエストの送信元に通知する負荷も発生する。 In recent years, with an increase in communication speed, the communication band of NIC has been widened. On the other hand, continuous monitoring is required to guarantee service quality, and the frequency of obtaining operation information is increasing. However, the wider the communication band, the higher the overhead for counting the NIC traffic volume and the higher the load on the computer. Furthermore, in addition to the load for counting packets, the computer also generates a load for notifying the measured information to the request source.
本発明は、このような背景を鑑みてなされたものであり、通信装置における通信負荷測定に係る負荷を軽減することができる通信負荷取得装置および通信負荷取得方法を提供することを目的とする。 The present invention has been made in view of such a background, and an object of the present invention is to provide a communication load acquisition device and a communication load acquisition method capable of reducing a load related to communication load measurement in a communication device.
上記課題を解決するための本発明の主たる発明は、通信装置と通信ネットワークとの通信を中継し、前記通信装置との間で送受信されるデータのデータ量を記憶する中継装置を含む通信システムにおける前記通信装置の通信負荷を取得する通信負荷取得装置であって、前記通信装置に付与されている第1のネットワークアドレスと、前記中継装置に付与されている第2のネットワークアドレスとを対応付けて記憶する接続状態記憶部と、前記第1のネットワークアドレスを受け付ける対象装置受付部と、前記接続状態記憶部から、受け付けた前記第1のネットワークアドレスに対応する前記第2のネットワークアドレスを取得する対象装置取得部と、取得した前記第2のネットワークアドレスを宛先として、前記データ量を要求するコマンドであるデータ量取得要求を送信するデータ量取得要求送信部と、前記データ量取得要求に応じて送られてくる前記データ量を、前記通信装置の通信負荷として取得する通信負荷取得部と、を備えることとする。 A main invention of the present invention for solving the above-described problems is a communication system including a relay device that relays communication between a communication device and a communication network and stores a data amount of data transmitted to and received from the communication device. A communication load acquisition device for acquiring a communication load of the communication device, wherein a first network address assigned to the communication device is associated with a second network address assigned to the relay device. A connection state storage unit to store, a target device reception unit that receives the first network address, and a target to acquire the second network address corresponding to the received first network address from the connection state storage unit A device acquisition unit and a command for requesting the data amount with the acquired second network address as a destination A data amount acquisition request transmission unit that transmits a data amount acquisition request; and a communication load acquisition unit that acquires the data amount transmitted in response to the data amount acquisition request as a communication load of the communication device. I will do it.
本発明によれば、通信装置における通信負荷測定に係る負荷を軽減することができる。 ADVANTAGE OF THE INVENTION According to this invention, the load concerning the communication load measurement in a communication apparatus can be reduced.
以下、本発明の一実施形態に係る通信負荷測定システムについて説明する。本実施形態の通信負荷測定システムでは、計測装置100から仮想計算機221の通信負荷を測定することを想定している。通信負荷とは、SNMPのリクエストを送信することにより取得可能な、MIBのオブジェクトIDにより特定可能な稼動情報であり、例えば、通信インタフェースから送受信されたパケットの数やデータサイズの累計である。本実施形態の通信負荷測定システムでは、仮想計算機221の通信負荷を取得する際に、仮想計算機221や仮想計算機221が稼動している物理計算機200ではなく、物理計算機200が接続されているスイッチ210に対してSNMPリクエストを送信することにより、通信負荷の計測にかかる仮想計算機221や物理計算機200の処理負荷を低減するようにしている。以下、本実施形態の通信負荷測定システムの詳細について説明する。
Hereinafter, a communication load measurement system according to an embodiment of the present invention will be described. In the communication load measurement system of this embodiment, it is assumed that the communication load of the
図1は、本実施形態の通信負荷測定システムのシステム構成を示す図である。本実施形態に係る通信負荷測定システムは、通信負荷の測定対象となるコンピュータシステム(以下、管理対象システムという。)と、管理対象システムの通信負荷を計測する計測装置100とから構成される。管理対象システムは、1つ以上の物理計算機200と、物理計算機200に接続される1つ以上のスイッチ210とから構成される。
FIG. 1 is a diagram illustrating a system configuration of a communication load measurement system according to the present embodiment. The communication load measurement system according to the present embodiment includes a computer system (hereinafter referred to as a management target system) that is a communication load measurement target, and a
計測装置100、物理計算機200、およびスイッチ210は、互いに管理ネットワーク31を介して通信可能に接続されている。管理ネットワーク31は、例えば、イーサネット(登録商標)やフレームリレー網、専用電話回線網などを用いて構築される。計測装置100から物理計算機200やスイッチ210に対するSNMPリクエストは、管理ネットワーク31を介して送信される。
The
物理計算機200は、各種の情報処理サービスを提供するコンピュータである。物理計算機200は、例えば、パーソナルコンピュータやワークステーションなどである。物理計算機200では、CPUやメモリなどの各種の資源が論理的に分割され、分割された資源を割り当てて仮想的なコンピュータ(以下、仮想計算機221という。)を実現する、いわゆるサーバ仮想化が行われる。物理計算機200は、仮想計算機管理部220を備えており、仮想計算機管理部220は、物理計算機の持つ各種の資源を、複数のOSが使用できるように、分割したり割り当てたりする調整機能を有する。仮想計算機管理部220によって、新たな仮想計算機221の生成や、仮想計算機221が備える仮想的なハードウェアの定義、設定が可能となる。
The
仮想計算機221では、オペレーティングシステム(以下、OSと略記する。)222が動作し、OS222上では、業務サーバ224や計測エージェント223が動作している。業務サーバ224は、各種の業務に係る情報処理サービスを提供する、例えばWebサーバなどである。計測エージェント223は、仮想計算機221における仮想CPUの使用率や仮想メモリの使用量、仮想NICを介する通信量などの稼動情報を収集する。仮想NICについての通信量については、計測エージェント223は、仮想NIC225ごとに、仮想NIC225を介して物理NIC204に対して送受信されたパケットの数(データ量)をカウントし、カウントしたパケット数を仮想NIC225ごとのカウンタに記憶する。また、計測エージェント223は、計測装置100からのSNMPリクエストに応じて、上記の収集した稼動情報を計測装置100に送信する。
In the
スイッチ210は、物理計算機200とWAN(Wide Area Network)32との間の通信を中継する。WAN32は、例えば、インターネットなどの通信ネットワークである。スイッチ210上では、計測エージェント218が動作している。計測エージェント218は、各ポート214に対して入出力されたデータのデータ量や、スイッチ210が備えるCPUの稼働率などの稼動情報を収集し、SNMPによるリクエストに応じて収集した稼動状況を応答する。計測エージェント218は、ポート214ごとに、ポート214が送受信したパケットの数をカウントし、カウントしたパケット数をポート214ごとのカウンタに記憶する。
The
図2は、スイッチ210のハードウェア構成例を示す図である。同図に示すように、スイッチ210は、CPU211、メモリ212、フラッシュメモリ213、および複数のポート214を備えている。フラッシュメモリ213には、計測エージェントプログラム215などの各種のプログラムやデータが記憶される。CPU211は、フラッシュメモリ213に記憶されている計測エージェントプログラム215などの各種のプログラムをメモリ212に読み出して実行することにより、計測エージェント218などの各種の機能を実現する。
FIG. 2 is a diagram illustrating a hardware configuration example of the
物理計算機200は、一つ以上の物理NIC204を備えており、物理NIC204はスイッチ210が備えるポート214と接続されている。物理計算機200は、物理NIC204およびポート214を介してスイッチ210との間でデータを送受信し、スイッチ210がそのデータをWAN32に転送することにより、物理計算機200とWAN32との間の通信が行われる。
The
仮想計算機221は、一つ以上の仮想NIC225を備えており、仮想NIC225はそれぞれ、物理NIC204に対応付けられている。仮想計算機221は、仮想NIC225、仮想NIC225に対応する物理NIC204、および物理NIC204に対応するポート214を介して、スイッチ210との間でデータの送受信を行うことができる。すなわち、スイッチ210は、仮想計算機221とWAN32との間の通信の中継をも行うことになる。
The
図3は、物理計算機200のハードウェア構成を示す図である。同図に示すように、物理計算機200は、中央演算装置(以下、CPUと称する。)201、メモリ202、ディスクインタフェース203、物理NIC204を備える。ディスク装置205には、各種のプログラムやデータが記憶される。ディスク装置205は、例えば、ハードディスクドライブなどである。ディスクインタフェース203は、ディスク装置205に対するデータの入出力を行うインタフェースである。ディスクインタフェース203は、例えば、SCSI(Small Computer System Interface)や、IDE(Integrated Drive Electronics)の規約にしたがってディスク装置205と通信を行う。メモリ202には、仮想計算機プログラム21および仮想計算機管理プログラム22が記憶されている。CPU201は、メモリ202に記憶されている仮想計算機プログラム21を実行することにより仮想計算機221を実現し、仮想計算機管理プログラム22を実行することにより仮想計算機管理部220を実現する。
なお、メモリ202に記憶されるプログラムは、例えば、CPU201がディスク装置205や可搬型記録媒体からメモリ202に読み出すようにしてもよいし、ネットワーク経由で、他のコンピュータまたは記憶装置からメモリ202にダウンロードするようにしてもよい。
FIG. 3 is a diagram illustrating a hardware configuration of the
The program stored in the
図4は、管理対象システムの詳細な構成例を示す図である。同図に示すように、本実施携帯に係る管理対象システムは、2つの物理計算機200(200a、200b)と2つのスイッチ210(210a、210b)とから構成される。物理計算機200およびスイッチ210はそれぞれ管理ネットワーク31に接続されており、スイッチ210は、それぞれWAN32に接続されている。
FIG. 4 is a diagram illustrating a detailed configuration example of the management target system. As shown in the figure, the managed system according to the present embodiment is composed of two physical computers 200 (200a, 200b) and two switches 210 (210a, 210b). Each of the
物理計算機200aは、物理NIC204a、204b、および204cを備え、物理計算機200bは、物理NIC204d、204e、および204fを備えている。物理NIC204aおよび204dは、それぞれ管理ネットワーク31に接続されており、物理計算機200aおよび200bは、物理NIC204aおよび204dを介して管理ネットワーク31との間の通信を行う。
The
スイッチ210aおよび210bはそれぞれ、管理ネットワーク31に接続されるポート(以下、管理ポートという。)214aおよび214eを備えている。管理ポート214aおよび214eはそれぞれ管理ネットワーク31に接続されており、スイッチ210aおよび210bは、管理ポート214aおよび214eを介して管理ネットワーク31との間の通信を行う。また、スイッチ210aは、3つのポート214(214b〜214d)を備え、スイッチ210bは、4つのポート214(214f〜214i)を備えている。
Each of the
物理計算機200aが備える物理NIC204bおよび204cは、それぞれスイッチ210aに接続されており、物理計算機200aは、スイッチ210aを介してWAN32との間の通信を行う。また、物理計算機200bが備える物理NIC204eおよび204fは、スイッチ210bに接続されており、物理計算機200bは、スイッチ210bを介してWAN32との間の通信を行う。
The
また、物理計算機200aでは、3つの仮想計算機221(221a〜221c)が稼働しており、物理計算機200bでは、4つの仮想計算機221(221d〜221e)が稼働している。
Further, in the
仮想計算機221は、それぞれ一つの仮想NIC225(225a〜225g)を備えている。仮想計算機221aでは、仮想NIC225aが物理NIC204bに対応付けられており、仮想NIC225bおよび225cが物理NIC204cに対応付けられている。仮想計算機221bでは、仮想NIC225dおよび225eが物理NIC204eに対応づけられており、仮想NIC225fおよび225gが物理NIC204fに対応付けられている。仮想NIC225からの入出力トラフィックは、対応づけられた物理NICによってスイッチ210に転送される。
Each
仮想NIC225dと、スイッチ210bのポート214e(0/1)およびポート214g(0/4)は、同一のVLAN(Virtual Local Area Network)10に所属している。VLANにおける通信では、仮想NIC225から出力されるイーサネット(登録商標)のパケット(フレーム)は、仮想NIC225に対応付けられている物理NIC204から出力され、仮想NIC225がVLANに所属する場合には、出力されるフレームには、所属するVLANのVLANタグが付与される。
なお、仮想NIC225の生成や、仮想NIC225に対するMACアドレス422の割当て、対応する物理NIC204の割当て、VLANの設定などは、仮想計算機管理部220が管理者からの操作に応じて行うものとする。仮想計算機管理部220による上記の処理は、例えば、他のプログラムが発行する仮想計算機管理部220のAPIとして規定されている命令を受け付けることにより行うようにしてもよい。
The
Note that the virtual computer management unit 220 performs generation of the
計測装置100は、管理対象システムにおける計算機の通信負荷を測定するコンピュータである。計測装置100は、例えば、パーソナルコンピュータやワークステーション、PDA(Personal Digital Assistance)である。
The measuring
図5は、計測装置100のハードウェア構成を示す図である。同図に示すように、計測装置100は、CPU11、メモリ12、ディスクインタフェース13、ネットワークインタフェース14、入力装置18、出力装置19を備えている。
FIG. 5 is a diagram illustrating a hardware configuration of the
ディスク装置15には、各種のプログラムやデータが記憶される。ディスクインタフェース13は、ディスク装置15に対するデータの入出力を行うためのインタフェースである。ディスクインタフェース13は、ディスク装置15に対するデータの入出力を行うインタフェースである。ディスクインタフェース13は、例えば、SCSIや、IDEの規約にしたがってディスク装置15と通信を行う。
The
メモリ12には、計測サーバプログラム24が記憶されており、CPU11は、メモリ12に記憶されている計測サーバプログラム24を実行することにより、管理対象システムにおける通信負荷の計測を行う機能である計測サーバ110を実現する。メモリ12に記憶されるプログラムは、例えばCPU11がディスク装置15や可搬型記憶媒体からメモリ12に読み出すようにしてもよいし、ネットワーク経由で他のコンピュータや記憶装置などからメモリ12にダウンロードするようにしてもよい。
なお、本実施形態では、計測サーバはCPU11がメモリ12に記憶されている計測サーバプログラム24を実行することにより実現されるものとしたが、これを集積回路化するなどしてハードウェアで実現することもできる。
A
In the present embodiment, the measurement server is realized by the CPU 11 executing the
上述した図1に示すように、計測装置100で稼動する計測サーバ110は、計測条件取得部101と、構成情報取得部102と、計測エージェント決定部103と、計測カウンタ決定部104と、計測部105と、VLAN設定部106と、計測値変換部107と、稼動情報テーブル108とを備えている。
As shown in FIG. 1 described above, the measurement server 110 operating in the
稼動情報テーブル108は、取得した稼動情報を記憶する。図6は、稼動情報テーブル108の構成例を示す図である。同図に示すように、稼動情報テーブル108には、後述する計測条件の識別情報である条件ID1301と、計測時刻1302と、稼動情報1303からなる一つ以上のレコードが登録される。管理者は、稼動情報テーブル108と、条件IDの示す計測条件800を参照することにより、管理対象となる装置の通信負荷(稼動状況)を把握することができる。なお、稼動情報テーブル108は、例えば、ディスク装置15が提供する記憶領域として実現される。
The operation information table 108 stores the acquired operation information. FIG. 6 is a diagram illustrating a configuration example of the operation information table 108. As shown in the figure, in the operation information table 108, one or more records including a
計測条件取得部101は、管理対象システムの稼動情報を収集する条件を示す情報(以下、計測条件800という。)の入力を受け付ける。図7は、計測条件800の構成例を示す図である。計測条件800は、計測条件を識別する条件ID801と、通信負荷の測定対象となる装置(本実施形態では、仮想計算機221を想定しているが、物理計算機200やスイッチ210を測定対象としてもよい。)を特定する情報(以下、管理対象ID802という。)と、収集したい稼動情報を示す計測カウンタ803と、計測間隔804とを含む。管理対象ID802は、物理計算機200の識別情報である物理計算機ID、仮想計算機221の識別情報である仮想計算機ID、またはスイッチ210の識別情報であるスイッチIDのいずれかであるものとする。計測カウンタ803は、稼動情報を特定するMIBのオブジェクトIDである。計測間隔804は、SNMPリクエストの送信間隔を秒単位で表した値である。図7の例では、仮想計算機221a、221b、221d、および221eにおける入力トラフィック量(ifTable.ifEntry.ifInOctets=1.3.6.1.2.1.2.2.1.10)を取得するためのSNMPリクエストを、180秒間隔で送信することを示している。
The measurement condition acquisition unit 101 receives input of information (hereinafter, referred to as a measurement condition 800) indicating conditions for collecting operation information of the management target system. FIG. 7 is a diagram illustrating a configuration example of the
なお、計測条件取得部101は、キーボードやマウスなどから管理者が入力した計測条件800を受け付けるようにしてもよいし、管理者が予め計測条件800を定義ファイルとして記述しておき、そのファイル名を受け付けるようにしてもよい。
The measurement condition acquisition unit 101 may accept a
構成情報取得部102は、管理対象システムの構成を示す情報(以下、構成情報109という。)の入力を受け付ける。構成情報取得部102が受け付けた構成情報109は、例えばディスク装置15やメモリ12に格納される。なお、構成情報109は、予め管理者が定義ファイルに記述しておき、構成情報取得部102は、定義ファイルのファイル名の入力を受け付けるようにしてもよいし、GUI(Graphical User Interface)からの入力を受け付けるようにしてもよい。また、管理者の管理者端末など、他のコンピュータからネットワークを介して取得するようにしてもよい。
The configuration
図8は、構成情報109の構成を示す図である。同図に示すように、構成情報109には、仮想計算機構成情報400、物理構成情報500、スイッチ管理情報600、VLAN情報700が含まれている。
FIG. 8 is a diagram showing the configuration of the
図9は、構成情報109に含まれる仮想計算機構成情報400の構成例を示す図である。同図に示すように、仮想計算機構成情報400には、仮想計算機配置情報410と仮想ネットワーク構成情報420とが含まれる。
FIG. 9 is a diagram illustrating a configuration example of the virtual
仮想計算機配置情報410は、物理計算機200と、その物理計算機200上で稼動する仮想計算機221との対応づけを表す。仮想計算機配置情報410は、物理計算機200の識別情報である物理計算機ID411と、物理計算機200の仮想計算機管理部220に割り当てられているIPアドレス(以下、管理IPアドレス412という。)と、物理計算機200上で稼動する仮想計算機221を示す仮想計算機ID413と、各仮想計算機221に割り当てられているIPアドレス414とを含むレコードで構成される。
The virtual
仮想ネットワーク構成情報420は、仮想計算機221が他の通信装置と通信するために定義された仮想的なネットワーク(VLAN)の構成を表す。仮想ネットワーク構成情報420は、仮想計算機ID421と、仮想計算機221が備える仮想NIC225を識別するMACアドレス422と、仮想NIC225に対応付けられている物理NIC204を識別するMACアドレス423と、仮想NIC225が所属するVLANの識別子であるVLANID424とを含むレコードで構成される。仮想NIC225がVLANに所属していない場合には、VLANID424には「−」が設定される。
なお、仮想計算機構成情報400は、構成情報取得部102が、物理計算機200の仮想計算機管理部220に問い合わせることにより取得するようにしてもよい。
The virtual
Note that the virtual
図10は、構成情報109に含まれる物理構成情報500の構成例を示す図である。同図に示すように、物理構成情報500は、サーバ・スイッチ接続情報510と、スイッチ間接続情報520とを含んでいる。
FIG. 10 is a diagram illustrating a configuration example of the
サーバ・スイッチ接続情報510は、物理計算機200とスイッチ210との結線関係を表す。図10に示すように、サーバ・スイッチ接続情報510は、物理計算機200が備える物理NIC204に付与されているMACアドレス501をキーとして、物理NIC204が接続するスイッチ210の識別情報であるスイッチID502、および物理NIC204が接続されるスイッチ210のポート214を示すポート番号503を含むレコードで構成される。
The server /
スイッチ間接続情報520は、スイッチ210が、他のスイッチ210と接続されている場合に、接続されているポート214を対応付ける。図10に示すように、スイッチ間接続情報520は、スイッチ210のポート214の識別情報であるポート番号521をキーとして、接続スイッチID522、接続ポート番号523、およびアップリンクフラグ524を含むレコードで構成される。接続スイッチID522および接続ポート番号523はそれぞれ、ポート214が接続される他のスイッチ210およびそのポート214を識別する情報である。アップリンクフラグ524は、ポート214が外部のWAN32に接続されているポート214(以下、アップリンクポートという。)であるかどうかを示す情報である。なお、ポート214の接続先がスイッチ210ではなく、物理計算機200である場合には、スイッチID502およびポート番号503には「−」が設定される。
The inter-switch connection information 520 associates the
物理構成情報500に含まれるサーバ・スイッチ接続情報510およびスイッチ間接続情報520は、例えば、管理対象システムの設計者がシステム構築時に決定し、文書またはソフトウェアによって管理しているものである。なお、スイッチ間接続情報520は、トポロジ発見プロトコルによって管理対象システムから動的に収集することもできる。
The server /
図11は、構成情報109に含まれるスイッチ管理情報600の構成例を示す図である。スイッチ管理情報600は、スイッチ210に関する情報であり、図11に示すように、スイッチID601に対応付けて、スイッチ210においてRFC1573に規定されるMIB(interface−MIB)がサポートされているかどうかを示すフラグであるinterface602と、RMON−MIBがサポートされているかどうかを示すフラグであるRMON603、Bridge−MIBがサポートされているかどうかを示すフラグであるBridge604、およびスイッチ210の管理ポート214に付与されているIPアドレスを示す管理ポート605を含むレコードで構成される。
FIG. 11 is a diagram illustrating a configuration example of the
なお、スイッチ210がサポートするMIBの種類は、スイッチ210のマニュアルなどに記載されており、スイッチ210の管理ポート214に設定されるIPアドレスは、スイッチ210の設定を記録したファイル(構成定義ファイルなどと呼ばれる。)に記載されている。管理者は、マニュアルや構成定義ファイルを参照することで、スイッチ管理情報600を作成することができる。
The type of MIB supported by the
図12は、構成情報109に含まれるVLAN情報700の構成例を示す図である。VLAN情報700は、スイッチ210により設定されるVLANに関する情報である。図12に示すように、VLAN情報700は、VLANID701、タグVLANフラグ702、VLANタグ703、およびスイッチ・ポート情報704を含むレコードで構成される。レコードは一つのVLANについて1つ登録される。
FIG. 12 is a diagram illustrating a configuration example of the
VLANID701は、管理対象システム内においてVLANを一意に識別するための番号である。タグVLANフラグ702は、VLANIDが付与されたパケットを送受信することによりVLANが実現される、いわゆるタグVLANであるかどうかを示すフラグである。タグVLANフラグ702が真(true)である場合は、タグVLANの方式によりVLANが設定され、タグVLANフラグ702が偽(false)の場合は、タグVLAN以外の方式(例えば、ポート214ごとに所属するVLANを決定する、いわゆるポートVLANなどが知られている。)によりVLANが設定されていることを示す。VLANタグ703は、タグVLANの方式によりVLANが設定される場合に、スイッチ210による転送処理においてイーサネット(登録商標)のフレームに付与されるVLAN単位のイーサネットフレームを識別するための番号である。スイッチ・ポート情報704は、VLANに所属するスイッチ210およびポート214のスイッチIDおよびポート番号の組み合わせである。
The
なお、管理対象システム中で定義されているVLANの番号、種類、VLANタグ、VLANに所属するスイッチ210およびポート214は、スイッチ210の設定を記録した構成定義ファイルに記載されている。また、VLAN管理のための専用ソフトウェアを導入している場合には、該専用ソフトウェアが、複数のスイッチに関するVLANの設定情報を一元的に管理している。管理者は、スイッチ210の構成定義ファイルや、VLAN管理のための専用ソフトウェアの管理情報などを参照することにより、VLAN情報を作成することができる。
The VLAN number, type, VLAN tag,
計測エージェント決定部103は、SNMPリクエストの送信先となる物理計算機200、仮想計算機221、またはスイッチ210を決定し、計測カウンタ決定部104は、SNMPリクエストに指定するMIBのオブジェクトIDを決定する。
The measurement
VLAN設定部106は、スイッチ210に対してVLANの設定を行う。VLAN設定部106は、後述するように、1つのポート214に対して複数の仮想計算機221が対応しており、かつVLANが設定されていない場合には、仮想計算機221ごとのパケット数をカウントするために、VLANの設定を行う。
なお、SNMPリクエストの送信先の決定処理、およびMIBのオブジェクトIDの決定処理の詳細については後述する。
The
Details of the SNMP request transmission destination determination process and the MIB object ID determination process will be described later.
計測部105は、計測エージェント決定部103が決定した装置に対して、計測カウンタ決定部104が決定したMIBのオブジェクトIDを指定したSNMPリクエストを送信する。仮想計算機221やスイッチ210で稼動している計測エージェント223や218は、SNMPリクエストに応じてMIBのオブジェクトIDが示す稼動情報を応答する。計測部105は、SNMPリクエストに応答される稼動情報を受信する。
The
計測値変換部107は、計測部105が受信した稼動情報をMIBに応じて変換し、変換した稼動情報を、計測条件取得部101が取得した計測条件800の条件ID801および現在時刻とともに稼動情報テーブル108に登録する。なお、仮想計算機221の通信負荷の取得処理の詳細については後述する。本実施形態の通信負荷測定システムでは、複数の管理対象の稼動情報を稼動情報テーブル108において一元的に管理することができるようになっている。
The measurement value conversion unit 107 converts the operation information received by the
以下、本実施形態の通信負荷測定システムにおける、仮想計算機221の通信負荷の計測処理について説明する。図13は、通信負荷の計測処理の流れを示す図である。なお、図13に示す処理は、計測条件800に含まれる各レコードについて行われる。
Hereinafter, the communication load measurement processing of the
計測装置100の計測条件取得部101は、管理者から計測条件800の入力を受け付ける(S901)。計測エージェント決定部103は、受け付けた計測条件800に含まれる管理対象ID802が仮想計算機配置情報410の仮想計算機ID413に含まれているかどうかにより、管理対象ID802が仮想計算機221を示しているかどうかを判定し、管理対象ID802が仮想計算機221を示しており、かつ、計測カウンタ803が入力トラフィック量(interface MIBのifTable.ifEntry.ifInOctets)を示すオブジェクトID(1.3.6.1.2.1.2.2.1.10)または、出力トラフィック量(ifTable.ifEntry.ifOutOctets)を示すオブジェクトID(1.3.6.1.2.1.2.2.1.16)である場合には(S902:Y)、仮想ネットワーク構成情報420から、管理対象IDに対応する物理NIC204のMACアドレス423を取得して、仮想計算機221の仮想NIC225に対応づけられている物理NIC204を特定する(S903)。
The measurement condition acquisition unit 101 of the
計測エージェント決定部103は、物理構成情報500に含まれるサーバ・スイッチ接続情報510から、上記物理NIC204のMACアドレス423に対応するスイッチID502およびポート番号503を取得して、上記物理NIC204に接続されているポート214(以下、対向ポートという。)およびスイッチ210(以下、対向スイッチという。)を特定して、特定した対向スイッチ210の計測エージェント218をSNMPリクエストの送信先として決定する(S904)。
The measurement
例えば、図7の例に示すように、管理対象ID802として仮想計算機221aを示す「仮想計算機1」が指定されていた場合には、計測エージェント決定部103は、仮想計算機配置情報410の仮想計算機ID413に「仮想計算機1」が登録されていることを確認する。次に計測エージェント決定部103は、仮想ネットワーク構成情報420から「仮想計算機1」に対応する物理NIC204のMACアドレス423である「00:0C:29:00:4F:06」を取得する。計測エージェント決定部103は、サーバ・スイッチ接続情報510から、上記の「00:0C:29:00:4F:06」に対応するスイッチID502である「SW1」と、ポート番号503である「0/1」を取得する。ここで取得した「SW1」が示すスイッチ210aが、物理NIC204bに接続されている対向スイッチ210である。なお、ポート番号503は、稼動情報を収集する際に使用する。計測エージェント決定部103は、上記のようにして「SW1」が示すスイッチ210aの計測エージェント218を計測対象として決定する。
For example, as illustrated in the example of FIG. 7, when “virtual computer 1” indicating the
計測エージェント決定部103は、スイッチ管理情報600から、上記の取得したスイッチID502に対応する管理ポート605を取得して、取得した管理ポート605をSNMPリクエストの送信先アドレスとする(S905)。
The measurement
次に、計測カウンタ決定部104は、特定したスイッチ210に対して送信するSNMPリクエストに設定するMIBを決定する(S906)。なお、MIBの決定処理については後述するが、本実施形態では、MIBは「interface」「RMON」または「Bridge」のいずれかに設定され、上記いずれかの規約に規定される入出力トラフィックを示すオブジェクトIDが決定される。
Next, the measurement
一方、計測条件800の管理対象ID802が仮想計算機221を示していない場合、または、計測カウンタ803のオブジェクトIDが上述した入力または出力のトラフィック量を示すものではない場合には(S902:N)、計測エージェント決定部103は、管理対象ID802に一致する仮想計算機配置情報410の物理計算機ID411があれば、対応する管理IPアドレス412を送信先アドレスとし、管理対象ID802に一致する仮想計算機ID413がある場合には、対応するIPアドレス414を送信先アドレスとし、管理対象ID802に一致するスイッチ管理情報600のスイッチID601があれば、対応する管理ポート605を送信先アドレスとする(S907)。
On the other hand, when the
計測カウンタ決定部104は、SNMPリクエストに設定するMIBのオブジェクトIDは、MIBを「interface」として(S908)、計測カウンタ803をオブジェクトIDとする(S909)。
The measurement
計測部105は、決定したオブジェクトIDを含むSNMPリクエストを、決定した送信先アドレスに対して送信し(S910)、物理計算機200、仮想計算機221、またはスイッチ210から応答される稼動情報を受信する(S911)。
The measuring
例えば、上述した例のように「SW1」が決定された場合には、計測カウンタ決定部104は、スイッチ管理情報600から、「SW1」に対応する管理ポート605である「10.20.1.1」を取得し、計測部105は、このIPアドレスに対して、SNMPリクエストである「GetRequest」を送信する。
For example, when “SW1” is determined as in the above-described example, the measurement
なお、一般的にSNMPでMIB値を取得するには、SNMPのポート番号、プロトコルバージョンおよびコミュニティ名を指定する必要があるが、本実施形態では、これらの値は固定値であるものとし、計測部105が保持しているものとする。また、SNMPリクエストの「GetRequest」では、MIBの種類を示すオブジェクトIDに続けて、ステップS906で決定したMIBのオブジェクトIDと、ステップS904において取得したポート番号に対応するインデックスと、VLAN番号などを指定することで、特定のポート214やVLANに関するMIB値を取得することができる。ポート番号に対応するインデックスを得るには、一旦ポート番号を格納したMIBを参照し、計測の対象となるポート番号に対応するインデックスを調べる必要があるが、この手順は一般的であり、ここでの説明は省略する。また、指定するインデックスやVLANなどは取得するMIBによって異なるが、インデックスの指定については、計測カウンタの決定処理とあわせて後述する。
In general, in order to obtain the MIB value by SNMP, it is necessary to specify the SNMP port number, protocol version, and community name. In this embodiment, these values are assumed to be fixed values and measured. It is assumed that the
上記のようにしてSNMPリクエストに応じて稼動情報を受信すると、計測値変換部107は、受信した稼動情報を、指定したMIBが異なっても同一の単位になるように、つまり、入出力トラフィック量になるように稼動情報を変換する(S912)。なお、稼動情報の変換処理については後述する。計測値変換部107は、変換した稼動情報を、条件ID801および現在時刻に対応付けて、稼動情報テーブル108に格納する(S913)。
When the operation information is received in response to the SNMP request as described above, the measurement value conversion unit 107 sets the received operation information in the same unit even if the designated MIB is different, that is, the input / output traffic volume. The operation information is converted so as to become (S912). The operation information conversion process will be described later. The measured value conversion unit 107 stores the converted operation information in the operation information table 108 in association with the
図14は、上記図13のステップS906におけるMIBの決定処理の流れを示す図である。図14の処理では、計測カウンタ決定部104が、仮想計算機構成情報400、物理構成情報500、スイッチ管理情報600を参照して、取得する稼動情報を指定するオブジェクトIDを決定する。
FIG. 14 is a diagram showing the flow of the MIB determination process in step S906 of FIG. In the process of FIG. 14, the measurement
計測カウンタ決定部104は、仮想計算機構成情報400、物理構成情報500を参照し、仮想NIC225と対向スイッチ210の対向ポート214とが1対1で接続されているかどうかを判定する(S1001)。
The measurement
具体的には、計測カウンタ決定部104は、仮想ネットワーク構成情報420において、計測条件800の管理対象ID802に一致する仮想計算機ID421に対応する物理NIC204のMACアドレス423を特定し、特定したMACアドレス423に対応する仮想NIC225のMACアドレス422が仮想ネットワーク構成情報420に複数登録されていないかどうかにより、仮想NIC225と物理NIC204とが1対1に対応するかどうかを確認する。
Specifically, the measurement
例えば、図4の例では、仮想NIC225bおよび225cが同一の物理NIC204cに対応しているため、仮想NIC225bまたは225cについては、仮想NIC225と物理NIC204とが1対1に接続されていないと判定される。
For example, in the example of FIG. 4, since the
次に計測カウンタ決定部104は、仮想NIC225に対応する物理NIC204のMACアドレス423に対応するスイッチID502およびポート番号503をサーバ・スイッチ接続情報510から取得し、取得したスイッチID502およびポート番号503に対応するMACアドレス501が複数登録されていないかどうかを確認する。一般に、同一のポート214に複数の物理NIC204が接続されることは少ないが、複数の物理NIC204が接続されているような場合には、仮想NIC225とポート214とは1対1に接続されていないと判定される。
Next, the measurement
計測カウンタ決定部104は、以上のようにして仮想NIC225と、物理NIC204と、ポート214とが1対1に対応付けられているかどうかにより、仮想NIC225と対向ポート214とが1対1で接続されているかどうかを判定する。
In the measurement
仮想NIC225と対向ポート214とが1対1に接続されている場合(S1001:Y)、計測カウンタ決定部104は、interface−MIBを利用すると決定し、MIBに「interface」を設定する(S1002)。
When the
計測カウンタ決定部104は、計測カウンタ803が「ifTable.ifEntry.ifInOctets」である場合には(S1003:Y)、「ifTable.ifEntry.ifOutOctets」をオブジェクトIDとし(S1004)、計測カウンタ803が「ifTable.ifEntry.ifInOctets」でなければ(S1003:N)、「ifTable.ifEntry.ifInOctets」をオブジェクトIDとする(S1005)。
When the
例えば、図4の例における仮想NIC225aは、物理NIC204bおよびポート214bと1:1対応であると判定される。なお、このオブジェクトIDが示すMIB値を取得する場合は、ポート番号に対応するインデックスを指定することで、任意のポート214のトラフィック量を取得できる。
For example, the
一方、仮想NIC225と対向ポート214とが1対1で対応付けられていない場合には(S1001:N)、計測カウンタ決定部104は、スイッチ管理情報600において、対向スイッチ210のスイッチID601に対応するRMON603が真(true)に設定されているかどうかにより、対向スイッチ210がRMON−MIBをサポートしているかどうかを判定する(S1006)。RMON−MIBがサポートされている場合(S1006:Y)、計測カウンタ決定部104は、MIBを「RMON」として(S1007)、RMON−MIBにおいてMACアドレス単位のトラフィック量を示す、「RMON MIB Ethernet RMON Matrix」グループの「matrixDSTable.matrixDSEntry.matrixDSOctets」をオブジェクトIDとして決定する(S1008)。
On the other hand, when the
例えば、図4の例における仮想225bは、物理NIC204cと1:1に対応しておらず、対向スイッチ210aを示す「SW1」に対応するRMON603が「true」であるので、計測カウンタ決定部104は、オブジェクトIDを「matrixDSTable.matrixDSEntry.matrixDSOctets」と決定する。
For example, the virtual 225b in the example of FIG. 4 does not correspond to the
なお、このMIBのオブジェクトIDは、ポートおよび送受信MACアドレス単位に複数のエントリに分かれている。このため、ポート番号に対応するインデックス、送信先アドレス、送信元アドレスをオブジェクトIDに続けて指定することで、計測対象のポート214における、指定した送信先のMACアドレスへ向かうトラフィック量を取得できる。送信元のMACアドレスが特定できない場合には、ポート番号に対応するインデックスと送信先アドレスだけを指定して、GetRequestを用いて先頭のエントリを取得し、続けてGetNextRequestを用いて次のエントリを取得することにより、特定の送信先へ向かうトラフィック量が格納された全てのエントリを取得することができる。
The MIB object ID is divided into a plurality of entries for each port and transmission / reception MAC address. For this reason, by designating the index corresponding to the port number, the transmission destination address, and the transmission source address after the object ID, it is possible to acquire the traffic amount toward the designated transmission destination MAC address in the
計測カウンタ決定部104は、対向スイッチ210がRMON−MIBをサポートしていないと判定した場合には(S1006:N)、仮想ネットワーク構成情報420において、仮想計算機221を示す仮想計算機ID421に対応するVLANID424に値が設定されているかどうかにより、仮想NIC225がVLANに所属しているかどうかを判定する(S1009)。
If the measurement
仮想NIC225がVLANに所属していない場合には(S1009:N)、仮想NIC225および対向スイッチ210に対してVLANを設定する(S1010)。図15は、VLANの設定処理の流れを示す図である。
When the
VLAN設定部106は、VLAN情報700に登録されていないVLANIDおよびVLANタグを生成する(S1101)。VLAN設定部106は、計測条件800で指定された仮想計算機221に対応する物理計算機200の管理IPアドレス412を仮想計算機配置情報410から取得し、取得したIPアドレス414に対して、仮想NIC225に対してVLANを設定するように要求するコマンド(VLAN設定要求)を送信する(S1102)。例えば、図4の例では、仮想計算機221fを示す「仮想計算機6」が稼動している「物理計算機2」のIPアドレスである「10.1.2.2」に対して、VLAN設定要求が送信される。
The
VLAN設定部106は、仮想ネットワーク構成情報420から、仮想NIC225に対応する物理NIC204のMACアドレス423を取得し、取得した物理NIC204のMACアドレス423に対応するサーバ・スイッチ接続情報510のポート番号503を、対向ポートのポート番号として取得する(S1003)。またVLAN設定部106は、スイッチ間接続情報520から、アップリンクフラグ524が真(true)であるポート番号521を、アップリンクポート214のポート番号として取得する(S1004)。VLAN設定部106は、対向スイッチの管理ポート605をスイッチ管理情報600から読み出す。VLAN設定部106は、上記のようにして取得した対向ポートのポート番号503および、アップリンクポート214のポート番号、並びに上記生成したVLANIDを設定した、対向ポートおよびアップリンクポート214に対してVLANを設定するように要求するVLAN設定要求を、上記の読み出した管理ポート605に対して送信する(S1105)。
The
例えば、図4の例では、仮想NIC225fの対向ポートは、スイッチ210bのポート214g(0/2)であり、アップリンクフラグ524が真(true)であるポート214i(0/3)を、WAN32に接続されているポート214である。ポート214g(0/2)と、ポート214i(0/3)とが新たに設定するVLANに所属するポート214となる。VLAN設定部106は、スイッチ管理情報600を参照して、対向スイッチ210であるスイッチ210bの管理ポート605であるIPアドレス「10.20.1.2」を取得し、取得したIPアドレスに対してVLAN設定要求を送信する。
For example, in the example of FIG. 4, the opposite port of the virtual NIC 225f is the
なお、VLANを設定する具体的な方法は、スイッチ210や仮想計算機管理部220によって異なるが、多くの製品ではネットワーク経由の設定手段を備えている。したがって、それぞれの製品のインタフェースの規定にしたがい、例えば、TelnetやHTTPによりスイッチ210や物理計算機200に接続し、設定の対象となるNICやポート214と、VLANの番号を指定することによりVLANを設定することができる。
A specific method for setting a VLAN differs depending on the
次に、計測カウンタ決定部104は、MIBを「Bridge」として(図14:S1011)、計測カウンタ803が「ifTable.ifEntry.ifInOctets」である場合には(S1012:Y)、Bridge−MIBにおいて、VLAN単位の送信フレーム数を示す「dot1qPortVlanStatisticsTable. dot1qPortVlanStatisticsEntry.dot1qTpVlanPortOutFrames」をオブジェクトIDとし(S1013)、計測カウンタ803が「ifTable.ifEntry.ifOutOctets」でなければ(S1012:N)、VLAN単位の受信フレーム数を示す「dot1qPortVlanStatisticsTable. dot1qPortVlanStatisticsEntry.dot1qTpVlanPortInFrames」をオブジェクトIDとする(S1013)。
Next, the measurement
例えば、図4の例において、仮想NIC225dは、物理NIC204eと1:1に対応しておらず、対向スイッチ210bを示す「SW2」に対応するRMON603が「false」であり、かつ仮想NIC225dは、VLANIDが「10」のVLANに所属している。この場合、計測カウンタ決定部104は、dot1qPortVlanStatisticsTable.dot1qPortVlanStatisticsEntry.dot1qTpVlanPortInFramesをオブジェクトIDとして決定する。このMIB値を取得する場合は、ポート番号に対応するインデックスおよびVLAN番号を指定することで、計測対象のポート214における指定したVLANのトラフィック量を取得できる。
For example, in the example of FIG. 4, the
なお、このVLANの設定処理によって、2つの仮想計算機221が異なるVLANに所属するようになる場合には、異なるVLAN間でフレームをルーティングするように対向スイッチ210を設定すればよい。これにより、ある仮想計算機221から、他のVLANに所属する他の仮想計算機221に向けて送信されたフレームは、一旦対向スイッチ210に送信された後、対向スイッチ210から他の仮想計算機221に対して転送されることになる。したがって、対向スイッチ210において稼動情報を取得できるように、VLANを設定したことによって、同一の物理計算機200で稼動する複数の仮想計算機221が異なるVLANに所属した場合でも、仮想計算機221間での通信を行うことが可能となる。
If the two
図16は、上述した図13のステップS912において行われる、稼動情報の変換処理の流れを示す図である。稼動情報の変換処理は、MIBの種類によって処理が異なる。 FIG. 16 is a diagram showing a flow of operation information conversion processing performed in step S912 of FIG. 13 described above. The operation information conversion process differs depending on the type of MIB.
MIBが「interface」である場合には(S1201:Y)、計測値変換部107は、取得した「ifInOctets」の値をそのまま稼動情報として、変換を行わない(S1202)。 When the MIB is “interface” (S1201: Y), the measurement value conversion unit 107 does not perform conversion using the acquired “ifInOctets” value as operation information as it is (S1202).
MIBが「RMON」である場合には(S1203:Y)、スイッチ210では、宛先および送信元ごとにトラフィック量が計測されているので、計測値変換部107は、取得した複数の「matrixDSOctets」の値の合計値を稼動情報とする(S1204)。
When the MIB is “RMON” (S1203: Y), the
MIBがそれ以外の場合(S1203:N)、すなわちMIBが「Bridge」である場合には、スイッチ210では、データ量ではなくフレーム数が計測されているので、計測値変換部107は、取得した「dot1qTpVlanPortInFrames」の値に対して最大フレーム長である1522を乗算した値を稼動情報とする(S1205)。
When the MIB is other than that (S1203: N), that is, when the MIB is “Bridge”, since the number of frames is measured in the
以上説明したように、本実施形態の通信負荷測定システムでは、仮想計算機221が備える仮想NIC225の稼動情報を取得するためのSNMPリクエストを、スイッチ210に対して送信するようにすることができる。したがって、SNMPリクエストに対する応答にかかる仮想計算機221並びに物理計算機200の処理負荷を低減することができる。
As described above, in the communication load measurement system according to the present embodiment, an SNMP request for acquiring operation information of the
特に仮想計算機221の場合には、一般的な通信インタフェースがハードウェアで実現しているカウンタの機能をソフトウェアでエミュレートしているため、仮想計算機221から仮想NIC225のカウンタの値を収集する方法では、広帯域のNICになるほど、トラフィック量をカウントするオーバーヘッドが高くなり、物理計算機200における仮想計算機自体の実行に影響を与えが、本実施形態の通信負荷測定システムのように、仮想計算機221の処理負荷をスイッチ210に問い合わせることにより、物理計算機200の処理負荷を低減し、仮想計算機221の実行に与える影響を無くすことが可能になる。
In particular, in the case of the
さらに、計測負荷にはパケットをカウントする負荷に加えて、計測した稼動情報を計測装置100に通知する負荷もあり、短い監視間隔で稼動情報を送信する場合には、仮想計算機221上の計測エージェント223の負荷も大きくなるが、本実施形態の通信負荷測定システムのように、仮想NIC225の負荷をスイッチ210に問い合わせることにより、仮想計算機221および物理計算機の処理負荷を低減することができる。
Further, in addition to the load for counting packets, the measurement load includes a load for notifying the
また、一般にスイッチ210においては、CPU211による演算処理の負荷は大きくないので、スイッチ210に対して負荷の問合わせを行うことにより、通信負荷計測システム全体としての資源を有効に利用することができる。
In general, in the
また、本実施形態の通信負荷測定システムでは、仮想計算機221において、トラフィック量の計測をしないようにすることもできる。この場合、物理計算機200のCPU201にかかる処理負荷が低減するので、演算性能が向上する。
In the communication load measurement system of this embodiment, the
また、本実施形態の通信負荷測定システムでは、スイッチ210がRMON−MIBをサポートしていない場合であっても、VLANを設定することにより、Bridge−MIBによる稼動情報の指定を行うことができる。
In the communication load measurement system of this embodiment, even when the
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。 Although the present embodiment has been described above, the above embodiment is intended to facilitate understanding of the present invention and is not intended to limit the present invention. The present invention can be changed and improved without departing from the gist thereof, and the present invention includes equivalents thereof.
31 管理ネットワーク
100 計測装置
101 計測条件取得部
102 構成情報取得部
103 計測エージェント決定部
104 計測カウンタ決定部
105 計測部
106 VLAN設定部
107 計測値変換部
108 稼動情報テーブル
109 構成情報
200 物理計算機
204 物理NIC
221 仮想計算機
223 計測エージェント
225 仮想NIC
220 仮想計算機管理部
210 スイッチ
214 ポート
218 計測エージェント
400 仮想計算機構成情報
410 仮想計算機配置情報
411 物理計算機ID
412 管理IPアドレス
413 仮想計算機ID
414 IPアドレス
420 仮想ネットワーク構成情報
421 仮想計算機ID
422 MACアドレス
423 MACアドレス
424 VLANID
500 物理構成情報
510 サーバ・スイッチ接続情報
520 スイッチ間接続情報
600 スイッチ管理情報
700 VLAN情報
800 計測条件
Reference Signs List 31
221
220 Virtual
412
414
422
500
Claims (8)
前記通信装置に付与されている第1のネットワークアドレスと、前記中継装置に付与されている第2のネットワークアドレスとを対応付けて記憶する接続状態記憶部と、
前記第1のネットワークアドレスを受け付ける対象装置受付部と、
前記接続状態記憶部から、受け付けた前記第1のネットワークアドレスに対応する前記第2のネットワークアドレスを取得する対象装置取得部と、
取得した前記第2のネットワークアドレスを宛先として、前記データ量を要求するコマンドであるデータ量取得要求を送信するデータ量取得要求送信部と、
前記データ量取得要求に応じて送られてくる前記データ量を、前記通信装置の通信負荷として取得する通信負荷取得部と、
を備えることを特徴とする通信負荷取得装置。 A communication load acquisition device for acquiring a communication load of the communication device in a communication system including a relay device that relays communication between the communication device and a communication network and stores a data amount of data transmitted / received to / from the communication device. There,
A connection state storage unit that stores a first network address assigned to the communication device and a second network address assigned to the relay device in association with each other;
A target device receiving unit that receives the first network address;
A target device acquisition unit that acquires the second network address corresponding to the received first network address from the connection state storage unit;
A data amount acquisition request transmitting unit that transmits a data amount acquisition request that is a command for requesting the data amount, with the acquired second network address as a destination,
A communication load acquisition unit that acquires the data amount transmitted in response to the data amount acquisition request as a communication load of the communication device;
A communication load acquisition device comprising:
前記通信装置は、物理計算機上で稼動する仮想計算機が備える仮想通信インタフェースであり、
前記中継装置は、前記物理計算機が備える物理通信インタフェースであり、
前記第1および第2のネットワークアドレスは、前記仮想通信インタフェースまたは前記物理通信インタフェースに付与されているMACアドレスであり、
前記データ量取得要求は、SNMPのリクエストであること、
を特徴とする通信負荷測定装置。 The communication load measuring device according to claim 1,
The communication device is a virtual communication interface provided in a virtual computer operating on a physical computer,
The relay device is a physical communication interface provided in the physical computer,
The first and second network addresses are MAC addresses assigned to the virtual communication interface or the physical communication interface,
The data amount acquisition request is an SNMP request;
A communication load measuring device.
前記第2のネットワークアドレスに対応付けて、前記中継装置において、データの送信元および送信先別の前記データ量であるアドレス別通信量が記憶されているかどうかを示すアドレス別測定フラグを記憶するアドレス別測定フラグ記憶部を備え、
前記対象装置取得部は、前記取得した第2のネットワークアドレスである中継アドレスに対応する前記第1のネットワークアドレスが前記接続状態記憶部に複数記憶されている場合、前記中継アドレスに対応する前記アドレス別測定フラグに基づいて、前記中継装置において前記アドレス別通信量が記憶されているかどうかを判定し、
前記データ量取得要求送信部は、前記中継装置に前記アドレス別通信量が記憶されている場合、前記中継アドレスを宛先として、前記受け付けた第1のネットワークアドレスを設定した、前記第1のネットワークアドレスが送信元または送信先に一致する前記アドレス別通信量を要求するコマンドであるアドレス別通信量取得要求を送信し、
前記通信負荷取得部は、前記アドレス別通信量取得要求に応じて送られてくる前記アドレス別通信量を受信し、受信した前記アドレス別通信量を合計して前記通信負荷を算出すること、
を特徴とする通信負荷測定装置。 The communication load measuring device according to claim 1,
An address for storing a measurement flag for each address indicating whether or not the communication amount for each address, which is the amount of data for each data transmission source and destination, is stored in the relay device in association with the second network address. Another measurement flag storage unit,
The target device acquisition unit, when a plurality of the first network addresses corresponding to the relay address that is the acquired second network address are stored in the connection state storage unit, the address corresponding to the relay address Based on another measurement flag, it is determined whether the traffic by address is stored in the relay device,
The data amount acquisition request transmission unit sets the received first network address with the relay address as a destination when the communication amount by address is stored in the relay device. Transmits a traffic acquisition request by address that is a command requesting the traffic by address that matches the transmission source or the transmission destination,
The communication load acquisition unit receives the communication amount by address sent in response to the address-specific communication amount acquisition request, and calculates the communication load by totaling the received communication amount by address.
A communication load measuring device.
前記中継装置は、帯域分割による通信が可能なスイッチであり、
前記第1および第2のネットワークアドレスに対応付けて、前記通信装置と前記中継装置との間で帯域分割による通信が行われていることを示す帯域分割フラグと、当該通信に係る帯域を示す帯域情報とを記憶する帯域分割情報記憶部と、
前記第2のネットワークアドレスに対応付けて、前記中継装置において帯域別の前記データ量である帯域別通信量が記憶されているかどうかを示す帯域別通信量測定フラグを記憶する帯域別通信量測定フラグ記憶部を備え、
前記対象装置取得部は、前記取得した第2のネットワークアドレスである中継アドレスに対応する前記第1のネットワークアドレスが前記接続状態記憶部に複数記憶されている場合、前記受け付けた第1のネットワークアドレスおよび前記中継アドレスに対応する前記帯域分割フラグに基づいて、前記帯域分割による通信が行われているかどうかを判定し、前記中継アドレスに対応する前記帯域別通信量測定フラグに基づいて、前記帯域別通信量が記憶されているかどうかを判定し、
前記データ量取得要求送信部は、前記帯域分割による通信が行われており、かつ、前記帯域別通信量が記憶されている場合、前記受け付けた第1のネットワークアドレスおよび前記中継アドレスに対応する前記帯域情報を前記帯域分割情報記憶部から読み出し、読み出した前記帯域情報を設定した、前記帯域別通信量を要求するコマンドである帯域別通信量取得要求を、前記中継アドレスを宛先として送信し、
前記通信負荷取得部は、前記帯域別通信量取得要求に応じて送られてくる前記帯域別通信量を前記通信負荷として取得すること、
を特徴とする通信負荷測定方法。 The communication load measuring device according to claim 1,
The relay device is a switch capable of communication by band division,
In association with the first and second network addresses, a band division flag indicating that communication by band division is being performed between the communication apparatus and the relay apparatus, and a band indicating a band related to the communication A bandwidth division information storage unit for storing information;
A traffic amount measurement flag for each band storing a traffic amount measurement flag for each band indicating whether or not the traffic amount for each band, which is the data amount for each band, is stored in the relay device in association with the second network address. A storage unit,
The target device acquisition unit receives the received first network address when a plurality of the first network addresses corresponding to the relay address that is the acquired second network address are stored in the connection state storage unit. And based on the band division flag corresponding to the relay address, it is determined whether or not communication by the band division is performed, and based on the traffic amount measurement flag for each band corresponding to the relay address, Determine whether the traffic is stored,
The data amount acquisition request transmission unit, when communication by the band division is performed and the communication amount by band is stored, corresponds to the received first network address and the relay address. Bandwidth information is read from the band division information storage unit, the read bandwidth information is set, and a bandwidth-specific traffic acquisition request that is a command for requesting the bandwidth-specific traffic is transmitted with the relay address as a destination,
The communication load acquisition unit acquires, as the communication load, the communication amount by band transmitted in response to the communication amount acquisition request by band;
A communication load measuring method characterized by the above.
前記取得した第2のネットワークアドレスである中継アドレスに対応する前記第1のネットワークアドレスが前記接続状態記憶部に複数登録されており、前記帯域分割による通信が行われておらず、かつ、前記帯域別通信量が記憶されている場合に、前記帯域情報を生成し、生成した前記帯域情報を設定した、前記通信装置との通信のための帯域を設定するように指示するコマンドを、前記中継アドレスを宛先として送信する帯域設定部を備えること、
を特徴とする通信負荷測定装置。 The communication load measuring device according to claim 4,
A plurality of the first network addresses corresponding to the relay address that is the acquired second network address are registered in the connection state storage unit, communication by the band division is not performed, and the band A command for instructing to set a band for communication with the communication apparatus, which generates the band information and sets the generated band information when another communication amount is stored; A bandwidth setting unit that transmits the destination as a destination,
A communication load measuring device.
前記中継装置は、前記通信装置から受信したデータのデータ量である入力データ量と、前記通信装置に対して送信したデータのデータ量である出力データ量とを記憶しており、
前記対象装置受付部は、前記第1のネットワークアドレスとともに、入力または出力を示す入出力指定情報の入力を受け付け、
前記データ量取得要求送信部は、前記入出力指定情報が入力を示す場合には、前記出力データを要求するコマンドである出力データ量取得要求を、前記入出力指定情報が出力を示す場合には、前記入力データを要求するコマンドである入力データ量取得要求を、前記取得した第2のネットワークアドレスを宛先として送信すること、
を特徴とする通信負荷測定装置。 The communication load measuring device according to claim 1,
The relay device stores an input data amount that is a data amount of data received from the communication device, and an output data amount that is a data amount of data transmitted to the communication device,
The target device reception unit receives input of input / output designation information indicating input or output together with the first network address;
When the input / output designation information indicates input, the data amount acquisition request transmission unit outputs an output data amount acquisition request that is a command for requesting the output data, and when the input / output designation information indicates output. Sending an input data amount acquisition request, which is a command for requesting the input data, with the acquired second network address as a destination;
A communication load measuring device.
前記データ量取得要求送信部は、前記取得した第2のネットワークアドレスに対応する前記第1のネットワークアドレスが前記接続状態記憶部に複数登録されている場合、前記受け付けた第1のネットワークアドレスを宛先として前記データ量取得要求を送信すること、
を特徴とする通信負荷測定装置。 The communication load measuring device according to claim 1,
The data amount acquisition request transmission unit, when a plurality of the first network addresses corresponding to the acquired second network address are registered in the connection state storage unit, the received first network address as a destination Sending the data amount acquisition request as
A communication load measuring device.
情報処理装置が、
前記通信装置に付与されている第1のネットワークアドレスと、前記中継装置に付与されている第2のネットワークアドレスとを対応付けて記憶し、
前記第1のネットワークアドレスを受け付け、
受け付けた前記第1のネットワークアドレスに対応する前記第2のネットワークアドレスを取得し、
取得した前記第2のネットワークアドレスを宛先として、前記データ量を要求するコマンドであるデータ量取得要求を送信し、
前記データ量取得要求に応じて送られてくる前記データ量を、前記通信装置の通信負荷として取得すること、
を特徴とする通信負荷取得方法。 A method for acquiring a communication load of the communication device in a communication system including a relay device that relays communication between a communication device and a communication network and stores a data amount of data transmitted and received between the communication device,
Information processing device
Storing the first network address assigned to the communication device in association with the second network address assigned to the relay device;
Accepting the first network address;
Obtaining the second network address corresponding to the accepted first network address;
Sending a data amount acquisition request, which is a command for requesting the data amount, with the acquired second network address as a destination,
Acquiring the data amount sent in response to the data amount acquisition request as a communication load of the communication device;
The communication load acquisition method characterized by this.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007109744A JP4827790B2 (en) | 2007-04-18 | 2007-04-18 | Communication load acquisition device and communication load acquisition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007109744A JP4827790B2 (en) | 2007-04-18 | 2007-04-18 | Communication load acquisition device and communication load acquisition method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008271050A true JP2008271050A (en) | 2008-11-06 |
JP4827790B2 JP4827790B2 (en) | 2011-11-30 |
Family
ID=40049991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007109744A Expired - Fee Related JP4827790B2 (en) | 2007-04-18 | 2007-04-18 | Communication load acquisition device and communication load acquisition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4827790B2 (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010047338A1 (en) | 2008-10-21 | 2010-04-29 | 旭硝子株式会社 | Light-scattering fluororesin film for agricultural applications, and method for producing same |
JP2010147929A (en) * | 2008-12-19 | 2010-07-01 | Fujitsu Ltd | Address allocation method, computer, and program |
WO2011037104A1 (en) * | 2009-09-24 | 2011-03-31 | 日本電気株式会社 | Identification system for inter-virtual-server communication and identification method for inter-virtual-server communication |
JP2011081433A (en) * | 2009-10-02 | 2011-04-21 | Canon Inc | Communication apparatus and method, and program |
JP2013527532A (en) * | 2010-05-14 | 2013-06-27 | マイクロソフト コーポレーション | Interconnecting virtual network members |
EP2631796A1 (en) | 2012-02-27 | 2013-08-28 | Fujitsu Limited | Data collection method and information processing system |
JP2013196604A (en) * | 2012-03-22 | 2013-09-30 | Hitachi Ltd | Computer and band control method |
WO2014142094A1 (en) * | 2013-03-12 | 2014-09-18 | 日本電気株式会社 | Communication system, physical machine, virtual network management device, and network control method |
CN105075192A (en) * | 2013-03-28 | 2015-11-18 | 日本电气株式会社 | Communication system, control apparatus, information collection method and program |
JP2016536920A (en) * | 2013-09-12 | 2016-11-24 | アルカテル−ルーセント | Apparatus and method for network performance monitoring |
US9882796B2 (en) | 2014-06-26 | 2018-01-30 | Fujitsu Limited | Apparatus and method for suppressing a delay in monitoring communication |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07212365A (en) * | 1994-01-11 | 1995-08-11 | Toshiba Corp | Atm exchange device |
JP2006107126A (en) * | 2004-10-05 | 2006-04-20 | Hitachi Ltd | Method for collecting/preserving storage network performance information, computer system, and program |
-
2007
- 2007-04-18 JP JP2007109744A patent/JP4827790B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07212365A (en) * | 1994-01-11 | 1995-08-11 | Toshiba Corp | Atm exchange device |
JP2006107126A (en) * | 2004-10-05 | 2006-04-20 | Hitachi Ltd | Method for collecting/preserving storage network performance information, computer system, and program |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010047338A1 (en) | 2008-10-21 | 2010-04-29 | 旭硝子株式会社 | Light-scattering fluororesin film for agricultural applications, and method for producing same |
JP2010147929A (en) * | 2008-12-19 | 2010-07-01 | Fujitsu Ltd | Address allocation method, computer, and program |
US10812293B2 (en) | 2009-09-24 | 2020-10-20 | Nec Corporation | System and method for identifying communication between virtual servers |
CN102549977A (en) * | 2009-09-24 | 2012-07-04 | 日本电气株式会社 | Identification system for inter-virtual-server communication and identification method for inter-virtual-server communication |
WO2011037104A1 (en) * | 2009-09-24 | 2011-03-31 | 日本電気株式会社 | Identification system for inter-virtual-server communication and identification method for inter-virtual-server communication |
US11671283B2 (en) | 2009-09-24 | 2023-06-06 | Zoom Video Communications, Inc. | Configuring a packet to include a virtual machine identifier |
US11411775B2 (en) | 2009-09-24 | 2022-08-09 | Zoom Video Communications, Inc. | System and method for identifying communication between virtual servers |
JP5403061B2 (en) * | 2009-09-24 | 2014-01-29 | 日本電気株式会社 | Communication identification system between virtual servers and communication identification method between virtual servers |
US9391804B2 (en) | 2009-09-24 | 2016-07-12 | Nec Corporation | System and method for identifying communication between virtual servers |
US9014184B2 (en) | 2009-09-24 | 2015-04-21 | Nec Corporation | System and method for identifying communication between virtual servers |
US9774473B2 (en) | 2009-09-24 | 2017-09-26 | Nec Corporation | System and method for identifying communication between virtual servers |
US9385888B2 (en) | 2009-09-24 | 2016-07-05 | Nec Corporation | System and method for identifying communication between virtual servers |
JP2011081433A (en) * | 2009-10-02 | 2011-04-21 | Canon Inc | Communication apparatus and method, and program |
JP2013527532A (en) * | 2010-05-14 | 2013-06-27 | マイクロソフト コーポレーション | Interconnecting virtual network members |
EP2631796A1 (en) | 2012-02-27 | 2013-08-28 | Fujitsu Limited | Data collection method and information processing system |
JP2013196604A (en) * | 2012-03-22 | 2013-09-30 | Hitachi Ltd | Computer and band control method |
JPWO2014142094A1 (en) * | 2013-03-12 | 2017-02-16 | 日本電気株式会社 | Communication system, physical machine, virtual network management device, and network control method |
US9894017B2 (en) | 2013-03-12 | 2018-02-13 | Nec Corporation | Communication system, physical machine, virtual network management apparatus, and network control method |
WO2014142094A1 (en) * | 2013-03-12 | 2014-09-18 | 日本電気株式会社 | Communication system, physical machine, virtual network management device, and network control method |
CN105075192A (en) * | 2013-03-28 | 2015-11-18 | 日本电气株式会社 | Communication system, control apparatus, information collection method and program |
JP2016536920A (en) * | 2013-09-12 | 2016-11-24 | アルカテル−ルーセント | Apparatus and method for network performance monitoring |
US9882796B2 (en) | 2014-06-26 | 2018-01-30 | Fujitsu Limited | Apparatus and method for suppressing a delay in monitoring communication |
Also Published As
Publication number | Publication date |
---|---|
JP4827790B2 (en) | 2011-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4827790B2 (en) | Communication load acquisition device and communication load acquisition method | |
CN104718723B (en) | For the networking in virtual network and the frame of security service | |
US8086739B2 (en) | Method and system for monitoring virtual wires | |
KR101703088B1 (en) | Aggregated routing method based on sdn and system thereof | |
JP5585219B2 (en) | Switching device and virtual LAN construction method | |
WO2017107018A1 (en) | Method, device, and system for discovering the relationship of applied topology | |
KR101510064B1 (en) | Methods for supporting migration of virtual machines across multiprotocol label switching network and corresponding devices | |
EP3829117B1 (en) | Packet path recording with fixed header size | |
CN107070691A (en) | Docker containers across host communication method and system | |
CN104221331B (en) | The 2nd without look-up table layer packet switch for Ethernet switch | |
TWI577164B (en) | Scalable address resolution | |
JP2019500822A (en) | Virtual machine packet control | |
CN109842868B (en) | Frame aggregation and network setting frame sending method and equipment | |
US20180083850A1 (en) | Service performance monitoring in a virtualized communication network | |
JP2016522627A (en) | Packet processing method and apparatus | |
US8972798B2 (en) | Performance and fault management system | |
KR101729944B1 (en) | Method for supplying ip address by multi tunant network system based on sdn | |
KR20180058594A (en) | Software Defined Network/Test Access Port Application | |
US11700568B2 (en) | Dynamic mapping of nodes responsible for monitoring traffic of an evolved packet core | |
JP2011203810A (en) | Server, computer system, and virtual computer management method | |
KR20180058592A (en) | Software Defined Network Controller | |
CN108134705A (en) | A kind of DCN management methods, equipment and system | |
WO2023065848A1 (en) | Service scheduling method and apparatus, device and computer readable storage medium | |
KR101729945B1 (en) | Method for supporting multi tunant by network system based on sdn | |
EP4283938A1 (en) | Packet forwarding method, packet processing method, and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110323 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110510 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110810 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110906 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110913 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |