JP5980725B2 - Network device, relay management method, relay management program, and communication system - Google Patents
Network device, relay management method, relay management program, and communication system Download PDFInfo
- Publication number
- JP5980725B2 JP5980725B2 JP2013110291A JP2013110291A JP5980725B2 JP 5980725 B2 JP5980725 B2 JP 5980725B2 JP 2013110291 A JP2013110291 A JP 2013110291A JP 2013110291 A JP2013110291 A JP 2013110291A JP 5980725 B2 JP5980725 B2 JP 5980725B2
- Authority
- JP
- Japan
- Prior art keywords
- communication quality
- router
- network device
- address
- same
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、ネットワーク装置、中継管理方法、中継管理プログラムおよび通信システムに関する。 The present invention relates to a network device, a relay management method, a relay management program, and a communication system.
近年、クラウドコンピューティングが普及し、データセンタに設置される物理サーバのリソースを用いて仮想環境を構築して、ユーザに各種サービスを提供することが行われている。また、仮想スイッチを用いて、異なるデータセンタ間を跨ったL2ネットワーク構築も行われている。 In recent years, cloud computing has become widespread, and a virtual environment is constructed using resources of a physical server installed in a data center to provide various services to users. In addition, an L2 network is built across different data centers using virtual switches.
例えば、部門サーバ、経理サーバ、出退勤管理サーバ、ファイルサーバなどを仮想マシンによって実現する企業(Z)を例にして説明する。企業(Z)では、拠点(札幌)のデータセンタ(X)で仮想マシン(A)と仮想マシン(B)とを動作させ、拠点(福岡)のデータセンタ(Y)で仮想マシン(C)と仮想マシン(D)とを動作させる。そして、Open vSwitchなどによる仮想スイッチを用いて、データセンタ(X)とデータセンタ(Y)とを仮想L2ネットワークで接続する。 For example, a company (Z) that implements a department server, an accounting server, an attendance management server, a file server, etc. with a virtual machine will be described as an example. In the company (Z), the virtual machine (A) and the virtual machine (B) are operated at the data center (X) of the base (Sapporo), and the virtual machine (C) is operated at the data center (Y) of the base (Fukuoka). The virtual machine (D) is operated. Then, the data center (X) and the data center (Y) are connected by a virtual L2 network using a virtual switch such as Open vSwitch.
このようにして、企業(Z)では、異なるデータセンタで動作して各サービスを提供する仮想マシン間の通信を実現することで、各拠点にいる社員に対して、拠点に依存することなく、各種サービスの提供を行う。 In this way, in the company (Z), by realizing communication between virtual machines that operate in different data centers and provide each service, employees at each base can be made independent of the base, Provide various services.
しかしながら、上記技術では、仮想マシンのマイグレーション等が発生した場合に、通信経路が冗長になり、通信遅延が発生するという問題がある。 However, the above technique has a problem that when a virtual machine migration or the like occurs, the communication path becomes redundant and a communication delay occurs.
一例として、上記企業(Z)を例にして説明すると、社員のパーソナルコンピュータ(以下、PCと記載する場合がある)は、インターネットなどを用いて各拠点に接続して仮想マシンを利用する状況において、拠点(札幌)の社員が拠点(福岡)に出張することに伴って、利便性等を向上させるために、仮想マシン(B)を拠点(福岡)のデータセンタ(Y)にマイグレーションさせたとする。この場合、インターネットを利用する社員のPCのデフォルトゲートウェイは、ISP(Internet Service Provider)が指定したルータのIPアドレスとなる。また、マイグレーションした仮想マシン(B)のデフォルトゲートウェイは、マイグレーション元のデータセンタ(X)のルータが設定される。 As an example, the company (Z) will be described as an example. In a situation where an employee's personal computer (hereinafter sometimes referred to as a PC) uses a virtual machine connected to each site using the Internet or the like. Suppose that a virtual machine (B) is migrated to the data center (Y) of the base (Fukuoka) in order to improve convenience, etc., as an employee of the base (Sapporo) travels to the base (Fukuoka). . In this case, the default gateway of the PC of the employee who uses the Internet is the IP address of the router designated by ISP (Internet Service Provider). The default gateway of the migrated virtual machine (B) is set to the router of the migration source data center (X).
このため、社員が出張先の福岡から仮想マシン(B)にアクセスした場合、社員のPCは、VM(B)からの応答を、出張先である拠点(福岡)のデータセンタ(Y)、データセンタ間の仮想L2ネットワーク、出張元である拠点(札幌)のデータセンタ(X)を経由して受信する。つまり、社員のPCは、出張に伴って仮想マシン(B)を出張先にマイグレーションさせたにも関らず、出張元を経由して仮想マシン(B)からの応答を受信することになる。このように、仮想マシン(B)からユーザ端末への通信距離が長くなり、無駄に遅延が大きくなる。 For this reason, when the employee accesses the virtual machine (B) from Fukuoka on a business trip, the employee's PC sends a response from the VM (B) to the data center (Y) and data of the base (Fukuoka) on the business trip. The data is received via the virtual L2 network between the centers and the data center (X) of the base (Sapporo) that is the business trip source. In other words, the employee's PC receives a response from the virtual machine (B) via the business trip source even though the virtual machine (B) is migrated to the business trip destination in accordance with the business trip. As described above, the communication distance from the virtual machine (B) to the user terminal is increased, and the delay is increased unnecessarily.
また、仮想マシン(B)のデフォルトゲートウェイを変更することも考えられるが、管理者でもない社員にネットワークの設定変更を実行させることは、セキュリティの観点からも現実的ではない。 Although it is conceivable to change the default gateway of the virtual machine (B), it is not realistic from the viewpoint of security to allow an employee who is not an administrator to change the network settings.
開示の技術は、上記に鑑みてなされたものであって、通信遅延を縮小化することができるネットワーク装置、中継管理方法、中継管理プログラムおよび通信システムを提供することを目的とする。 The disclosed technology has been made in view of the above, and an object thereof is to provide a network device, a relay management method, a relay management program, and a communication system that can reduce communication delay.
本願の一実施形態は、情報処理装置間のデータ通信を中継するネットワーク装置において、前記ネットワーク装置と同一ネットワークセグメント内で動作する情報処理装置と、前記ネットワーク装置との間の通信品質である第1の通信品質を測定する測定部と、前記同一ネットワークセグメント内で前記ネットワーク装置と同一のIPアドレスが設定された他のネットワーク装置と、前記同一ネットワークセグメント内で動作する情報処理装置との間の通信品質である第2の通信品質を取得する取得部と、前記第1の通信品質と前記第2の通信品質とに基づいて、前記同一ネットワークセグメント内で動作する情報処理装置が中継対象であるか否かを判定する判定部とを有する。 One embodiment of the present application is a network device that relays data communication between information processing devices, the first communication quality between the information processing device operating in the same network segment as the network device and the network device. Between a measurement unit that measures the communication quality of the network, another network device in which the same IP address as the network device is set in the same network segment, and an information processing device that operates in the same network segment Whether the information processing device operating in the same network segment is a relay target based on the acquisition unit that acquires the second communication quality, which is the quality, and the first communication quality and the second communication quality And a determination unit for determining whether or not.
本願の一実施形態によれば、通信遅延を縮小化することができる。 According to an embodiment of the present application, communication delay can be reduced.
以下に、本願の開示するネットワーク装置、中継管理方法、中継管理プログラムおよび通信システムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。なお、この実施形態によりこの発明が限定されるものではない。以下に説明する実施形態は、矛盾のない範囲で適宜組み合わせることができる。 Hereinafter, embodiments of a network device, a relay management method, a relay management program, and a communication system disclosed in the present application will be described in detail with reference to the drawings. In addition, this invention is not limited by this embodiment. In addition, this invention is not limited by this embodiment. Embodiments described below can be appropriately combined within a consistent range.
[第1の実施形態]
(全体構成)
図1は、第1の実施形態に係るシステムの全体構成例を示す図である。図1に示すように、このシステムは、例えば企業の拠点間をネットワークで接続するシステムであり、それぞれデータセンタを有する拠点(札幌)1と拠点(福岡)11とがインターネットなどのネットワーク20で接続される。
[First Embodiment]
(overall structure)
FIG. 1 is a diagram illustrating an example of the overall configuration of a system according to the first embodiment. As shown in FIG. 1, this system is a system for connecting, for example, corporate bases via a network, and a base (Sapporo) 1 and a base (Fukuoka) 11 each having a data center are connected via a
(拠点(札幌))
拠点(札幌)1は、ユーザ端末10とデータセンタ2とを有する。ユーザ端末10は、データセンタ2または拠点(福岡)11のデータセンタ12等で動作する仮想マシンにアクセスして、各種サービスを利用する端末装置であり、例えばノートパソコンやスマートフォンなどである。
(Base (Sapporo))
The base (Sapporo) 1 has a
データセンタ2は、1台以上の物理サーバが設置され、物理サーバの物理リソースを用いて仮想マシン(以下、VM(Virtual Machine)と記載する場合がある)を動作させるデータセンタである。なお、物理リソースとしては、通信インタフェース、プロセッサ、メモリ、ハードディスクなどである。
The
具体的には、データセンタ2は、CE(Customer Edge)ルータ3、ルータ4、OVS5、VM(A)、VM(B)を有する。CEルータ3は、インターネットなどの通信事業者ネットワーク1aと企業内LAN(Local Area Network)などの企業ネットワークとの境界に設置されたエッジルータであり、このCEルータ3は、物理装置で実現される。
Specifically, the
ルータ4は、企業内ネットワークにおいて、拠点(札幌)1のデータセンタ2と拠点(福岡)11のデータセンタ12とを同じネットワークセグメント22で分割するルータである。すなわち、ルータ4は、ユーザ端末10と各データセンタの各VMとの通信を中継する。このルータ4のインタフェース4aは、CEルータ3と接続されるインタフェースであり、IP(Internet Protocol)アドレスとして「IP(4a)」が設定される。また、ルータ4のインタフェース4bは、各VMと接続されるインタフェースであり、IPアドレスとして「IP(10)」が設定される。
The
したがって、拠点(札幌)1で使用されるユーザ端末10には、デフォルトゲートウェイとして「IP(4a)」が接続される。このため、ユーザ端末10は、各VMにアクセスする場合は、ルータ4を経由してアクセスする。なお、このルータ4は、仮想マシンで実現されてもよく、物理装置で実現されてもよい。
Accordingly, “IP (4a)” is connected as a default gateway to the
OVS5は、各データセンタの各ルータと各VMとを中継するスイッチであり、データセンタ12のOVS15と協働して、データセンタ間を仮想L2ネットワーク21で接続する仮想スイッチである。例えば、OVS5は、ルータ4のインタフェース4b、VM(A)、VM(B)、データセンタ12のOVS15のそれぞれと接続される。
The OVS 5 is a switch that relays each router and each VM of each data center, and is a virtual switch that connects the data centers with the
VM(A)は、例えばWebサーバやDBサーバなどを実行する仮想マシンであり、IPアドレスとして「IP(A)」が設定される。VM(B)は、例えばWebサーバやDBサーバなどを実行する仮想マシンであり、IPアドレスとして「IP(B)」が設定される。これらのVMは、OVS5を介して、ユーザ端末10と通信を実行する。
The VM (A) is a virtual machine that executes, for example, a Web server or a DB server, and “IP (A)” is set as the IP address. The VM (B) is a virtual machine that executes, for example, a Web server or a DB server, and “IP (B)” is set as the IP address. These VMs communicate with the
(拠点(福岡))
拠点(福岡)11は、データセンタ12を有する。データセンタ12は、1台以上の物理サーバが設置され、物理サーバの物理リソースを用いて仮想マシンを動作させるデータセンタである。
(Base (Fukuoka))
The base (Fukuoka) 11 has a
具体的には、データセンタ12は、CEルータ13、ルータ14、OVS15、VM(C)、VM(D)を有する。CEルータ13は、インターネットなどの通信事業者ネットワーク11aと企業内LANなどの企業ネットワークとの境界に設置されたエッジルータであり、このCEルータ13は、物理装置で実現される。
Specifically, the
ルータ14は、企業内ネットワークにおいて、拠点(札幌)1のデータセンタ2と拠点(福岡)11のデータセンタ12とを同じネットワークセグメント22で分割するルータである。すなわち、ルータ14は、外部装置と各データセンタの各VMとの通信を中継する。このルータ14のインタフェース14aは、CEルータ13と接続されるインタフェースであり、IPアドレスとして「IP(14a)」が設定される。また、ルータ4のインタフェース14bは、各VMと接続されるインタフェースであり、IPアドレスとして「IP(10)」が設定される。なお、このルータ14は、仮想マシンで実現されてもよく、物理装置で実現されてもよい。
The
OVS15は、各データセンタの各ルータと各VMとを中継するスイッチであり、データセンタ2のOVS5と協働して、データセンタ間を仮想L2ネットワーク21で接続する仮想スイッチである。例えば、OVS15は、ルータ14のインタフェース14b、VM(C)、VM(D)、データセンタ1のOVS5のそれぞれと接続される。
The
VM(C)は、例えばWebサーバやDBサーバなどを実行する仮想マシンであり、IPアドレスとして「IP(C)」が設定される。VM(D)は、例えばWebサーバやDBサーバなどを実行する仮想マシンであり、IPアドレスとして「IP(D)」が設定される。これらのVMは、OVS15を介して、データセンタ外の外部装置と通信を実行する。
The VM (C) is a virtual machine that executes, for example, a Web server or a DB server, and “IP (C)” is set as the IP address. The VM (D) is a virtual machine that executes, for example, a Web server or a DB server, and “IP (D)” is set as the IP address. These VMs communicate with external devices outside the data center via the
(ネットワーク構成)
上述したように、ルータ4のインタフェース4bとルータ14のインタフェース14bには、同じIPアドレス「IP(10)」が設定されている。また、各VMは、動作する拠点が異なるが、同じネットワークセグメントで動作する。つまり、ルータ4、ルータ14、OVS5、OVS15、VM(A)、VM(B)、VM(C)、VM(D)は、仮想L2ネットワーク21で接続され、同じネットワークセグメント22で動作する。したがって、拠点(福岡)11のルータ14とVM(A)やVM(B)が通信可能に接続されており、拠点(札幌)1のルータ4とVM(C)やVM(D)が通信可能に接続されている。ここで、仮想L2ネットワーク21は、ベストエフォート区間であり、サービス品質が通常ほど保証されていない。
(Network configuration)
As described above, the same IP address “IP (10)” is set in the interface 4 b of the
(階層構造)
図2は、VMを動作させる物理サーバの階層構造を示す図である。なお、ここでは、一例として1台の物理サーバでVMを動作させる例を説明するが、これに限定されるものではなく、複数台の物理サーバを用いて動作させることができる。
(Hierarchical structure)
FIG. 2 is a diagram illustrating a hierarchical structure of physical servers that operate VMs. Here, an example in which the VM is operated by one physical server will be described as an example, but the present invention is not limited to this, and the operation can be performed by using a plurality of physical servers.
データセンタ2では、物理サーバ6が動作し、データセンタ12では、物理サーバ16が動作する。各物理サーバは、一般的なサーバ装置であり、ハードウェア、プロセッサ、メモリ等を有する。
In the
データセンタ2の物理サーバ6は、ハードウェア6a上でハイパーバイザなどの仮想化ソフトウェア6bを動作させて、仮想環境を提供する。仮想化ソフトウェア6bは、仮想スイッチ6cを動作させる。
The
同様に、データセンタ12の物理サーバ16は、ハードウェア16a上でハイパーバイザなどの仮想化ソフトウェア16bを動作させて、仮想環境を提供する。仮想化ソフトウェア16bは、仮想スイッチ16cを動作させる。
Similarly, the physical server 16 in the
ここで、仮想スイッチ6cと仮想スイッチ16cは、例えばOpen vSwitch、Open Flow(登録商標)、KVM(登録商標)などを用いて実現され、ベストエフォート区間である仮想L2ネットワーク21を構築する。すなわち、異なるデータセンタ間を仮想L2ネットワークで通信可能に接続する。
Here, the
そして、各物理サーバの各仮想化ソフトウェアは、仮想L2ネットワーク21を利用可能な状態で仮想マシンを動作させる。具体的には、仮想化ソフトウェア6bは、物理サーバ6の物理リソースを用いてVM(A)とVM(B)とを動作させ、仮想スイッチ6cを経由して、各VMを仮想L2ネットワーク21に接続する。同様に、仮想化ソフトウェア16bは、物理サーバ16の物理リソースを用いてVM(C)とVM(D)とを動作させ、仮想スイッチ16cを経由して、各VMを仮想L2ネットワーク21に接続する。
Each virtualization software of each physical server operates a virtual machine in a state where the
(ルータの構成)
次に、図1に示したルータ4およびルータ14の構成について説明する。なお、ルータ4とルータ14とは同様の構成を有するので、ここでは、ルータ14を例にして説明する。また、ここでは、ルータ14が物理装置である例で説明するが、ルータ14がVMで実現されている場合でも、物理リソースを用いて同様の機能が実行される。
(Router configuration)
Next, the configuration of the
図3は、ルータの機能構成を示す機能ブロック図である。図3に示すように、ルータ14は、通信制御部141、記憶部142、制御部143を有する。
FIG. 3 is a functional block diagram showing the functional configuration of the router. As illustrated in FIG. 3, the
通信制御部141は、インタフェース14aおよび14bを有し、他の装置の通信を制御する処理部である。例えば、通信制御部141は、外部装置からVM(C)への通信、VM(C)から外部装置への通信などを中継する。なお、インタフェース14aには、IPアドレス「IP(14a)」が設定されており、インタフェース14bには、IPアドレス「IP(10)」が設定されている。
The
記憶部142は、メモリやハードディスクなどの記憶装置であり、VM情報テーブル142a、測定結果テーブル142b、管理対象テーブル142c、同期情報テーブル142d、ルーティングテーブル142eを保持する。なお、ルータ14が仮想マシンである場合には、記憶部142は、ルータ14に対して割り当てられた、物理サーバのメモリやハードディスクの所定領域などが該当する。
The
VM情報テーブル142aは、同一ネットワークセグメント内で動作するVMの情報を記憶するテーブルである。図4は、VM情報テーブルに記憶される情報の例を示す図である。図4に示すように、VM情報テーブル142aは、「VM名、MAC(Media Access Control)アドレス、IP(Internet Protocol)アドレス」を対応付けて記憶する。なお、ここで記憶される情報は、管理者等によって設定される。 The VM information table 142a is a table that stores information on VMs operating in the same network segment. FIG. 4 is a diagram illustrating an example of information stored in the VM information table. As shown in FIG. 4, the VM information table 142a stores “VM name, MAC (Media Access Control) address, IP (Internet Protocol) address” in association with each other. The information stored here is set by an administrator or the like.
ここで記憶される「VM名」は、同一ネットワークセグメント内で動作するVMを特定する情報であり、例えばホスト名や識別子などである。「MACアドレス」は、VMに設定されているMACアドレスである。「IPアドレス」は、VMに設定されているIPアドレスである。 The “VM name” stored here is information for specifying a VM operating in the same network segment, and is, for example, a host name or an identifier. “MAC address” is the MAC address set in the VM. “IP address” is an IP address set in the VM.
図4の場合、データセンタ2およびデータセンタ12と同一ネットワークセグメント内で、MACアドレスとして「MAC(A)」およびIPアドレスとして「IP(A)」が設定されているVM(A)が動作していることを示す。同様に、MACアドレスとして「MAC(B)」およびIPアドレスとして「IP(B)」が設定されているVM(B)が動作していることを示す。また、MACアドレスとして「MAC(C)」およびIPアドレスとして「IP(C)」が設定されているVM(C)が動作していることを示す。また、MACアドレスとして「MAC(D)」およびIPアドレスとして「IP(D)」が設定されているVM(D)が動作していることを示す。
In the case of FIG. 4, VM (A) in which “MAC (A)” is set as the MAC address and “IP (A)” is set as the IP address operates in the same network segment as the
測定結果テーブル142bは、各VMとルータ14との通信品質の測定結果を記憶するテーブルである。図5は、測定結果テーブルに記憶される情報の例を示す図である。図5に示すように、測定結果テーブル142bは、「VM名、MACアドレス、通信品質」を対応付けて記憶する。
The measurement result table 142b is a table for storing measurement results of communication quality between each VM and the
ここで記憶される「VM名」は、測定対象のVMを識別する情報であり、「MACアドレス」は、測定対象のVMのMACアドレスである。「通信品質」は、後述する通信品質測定部146によって測定された結果である。なお、MACアドレスではなく、IPアドレスであってもよい。
The “VM name” stored here is information for identifying the VM to be measured, and the “MAC address” is the MAC address of the VM to be measured. “Communication quality” is a result measured by a communication
図5の場合、ルータ14とVM(A)との通信品質が「60ms」、ルータ14とVM(B)との通信品質が「23ms」、ルータ14とVM(C)との通信品質が「5ms」、ルータ14とVM(D)との通信品質が「7ms」であることを示している。なお、ここで記憶される情報は、後述する通信品質測定部146等によって随時更新される。
In the case of FIG. 5, the communication quality between the
また、ここで記憶される通信品質としては、ルータがVMにメッセージを送信して、VMから応答を受信するまでの時間などである。また、ルータがVMにメッセージを複数回送信して、VMから応答を受信するまでの時間を計測し、その計測時間の平均値などでもよい。 The communication quality stored here is the time from when the router sends a message to the VM until it receives a response from the VM. Further, the time from when the router transmits a message to the VM a plurality of times and when a response is received from the VM may be measured, and an average value of the measured time may be used.
管理対象テーブル142cは、ルータ14が通信を中継するVMの情報を記憶するテーブルである。図6は、管理対象テーブルに記憶される情報の例を示す図である。図6に示すように、管理対象テーブル142cは、「項番、VM名、MAC(Media Access Control)アドレス」を対応付けて記憶する。ここで記憶される「項番」は、レコードを識別する識別子であり、「VM名」は、中継対象のVMを識別する情報であり、「MACアドレス」は、中継対象のVMのMACアドレスである。なお、MACアドレスではなく、IPアドレスであってもよい。
The management target table 142c is a table that stores information on VMs to which the
図6の場合、ルータ14は、MACアドレスとして「MAC(C)」を有するVM(C)、MACアドレスとして「MAC(D)」を有するVM(D)を中継対象としていることが示されている。なお、ここで記憶される情報は、後述する通信品質測定部146等によって随時更新される。
In the case of FIG. 6, it is indicated that the
同期情報テーブル142dは、同一ネットワークセグメント内で動作し、同じIPアドレスが設定されたルータから取得した情報を記憶するテーブルである。図7は、同期情報テーブルに記憶される情報の例を示す図である。図7に示すように、同期情報テーブル142dは、「取得先ルータ、優先度、測定結果」を対応付けて記憶する。 The synchronization information table 142d is a table that stores information acquired from routers that operate in the same network segment and have the same IP address. FIG. 7 is a diagram illustrating an example of information stored in the synchronization information table. As illustrated in FIG. 7, the synchronization information table 142 d stores “acquisition destination router, priority, measurement result” in association with each other.
ここで記憶される「取得先ルータ」は、同期対象のルータを識別する情報であり、「優先度」は、同期対象のルータから取得された同期対象のルータに設定される優先度である。「測定結果」は、同期対象のルータが測定したルータと各VMと通信品質を示す情報である。 The “acquisition destination router” stored here is information for identifying the synchronization target router, and the “priority” is the priority set for the synchronization target router acquired from the synchronization target router. The “measurement result” is information indicating the router, each VM, and the communication quality measured by the synchronization target router.
図7の例は、ルータ4から取得された情報であり、ルータ4には優先度「10」が設定されており、ルータ4とVM(A)との通信品質が「3ms」であり、ルータ4とVM(B)との通信品質が「2ms」であり、ルータ4とVM(C)との通信品質が「70ms」であり、ルータ4とVM(D)との通信品質が「111ms」であることを示している。
The example of FIG. 7 is information acquired from the
ルーティングテーブル142eは、データを中継する中継経路すなわちルーティング情報を記憶するテーブルである。具体的には、ルーティングテーブル142eは、各VM間の経路、各VMと外部ネットワークへの経路等を記憶する。 The routing table 142e is a table for storing a relay route for relaying data, that is, routing information. Specifically, the routing table 142e stores a route between VMs, a route to each VM and an external network, and the like.
制御部143は、プロセッサなどの電子回路であり、管理情報受付部144、競合検出抑止部145、通信品質測定部146、ARP応答部147、同期実行部148、中継処理部149を有する。つまり、各処理部は、プロセッサなどが実行するプロセスやプロセッサが有する電子回路などである。ルータ14が仮想マシンである場合には、制御部143は、ルータ14に対して割り当てられた、物理サーバのプロセッサが実行する処理部である。
The control unit 143 is an electronic circuit such as a processor, and includes a management information reception unit 144, a conflict
管理情報受付部144は、管理者から設定情報を受け付ける処理部である。例えば、管理情報受付部144は、動作しているVMの情報を管理者から受け付けて、VM情報テーブル142aに格納する。 The management information receiving unit 144 is a processing unit that receives setting information from the administrator. For example, the management information receiving unit 144 receives information on the operating VM from the administrator and stores it in the VM information table 142a.
競合検出抑止部145は、同一ネットワークセグメント内において、自ルータに設定されるIPアドレスと同一のIPアドレスが検出された場合に、エラー通知を抑止し、同一アドレスの設定を許容する処理部である。
The conflict
例えば、ルータ4のインタフェース4bにIPアドレス「IP(10)」が設定されている状態で、自ルータ14のインタフェース14bにIPアドレス「IP(10)」を設定したとする。この場合、競合検出抑止部145は、ルータ4およびルータ14が共に起動していると、IPアドレスの競合を検知する。しかし、競合検出抑止部145は、IPアドレスの競合を検知した場合でも、エラー通知を抑止する。この結果、ルータ4と自ルータ14、すなわち、同一ネットワークセグメント内でIPアドレスの重複が許容される。したがって、ルータ4のインタフェース4bとルータ14のインタフェース14bに、同じIPアドレス「IP(10)」が設定される状態が許容される。
For example, it is assumed that the IP address “IP (10)” is set to the
通信品質測定部146は、データセンタ2およびデータセンタ12と同一ネットワークセグメント内で動作する各VMとの間の通信品質を測定する処理部である。また、通信品質測定部146は、同一ネットワークセグメント内で同一IPアドレスが設定されたルータ間で、自ルータ14の通信品質がよいVMを管理対象に登録する処理部である。
The communication
具体的には、通信品質測定部146は、VM情報テーブル142aに記憶される各VMに対してメッセージを送信して、応答を受信するまでの時間を計測し、その結果を測定結果テーブル142bに格納する。そして、通信品質測定部146は、同期情報テーブル142dを参照し、自ルータ14との通信時間が最も早いVMを特定する。その後、通信品質測定部146は、特定したVMに関する情報をVM情報テーブル142aから抽出して、管理対象テーブル142cに格納する。
Specifically, the communication
例えば、通信品質測定部146は、VM(A)、VM(B)、VM(C)、VM(D)各々にARP(Address Resolution Protocol)要求を複数回送信して、各VMからARP応答を受信するまでの時間を計測し、その時間の平均値を算出する。そして、通信品質測定部146は、同期情報テーブル142dを参照して、ルータ4が同様の手法で各VMについて計測した計測時間の平均値を読み出す。
For example, the communication
その後、通信品質測定部146は、自ルータ14の計測結果と、ルータ4の計測結果とを比較して、VM(C)とVM(D)については、自ルータ14の計測時間が短いと判定する。この結果、通信品質測定部146は、VM(C)とVM(D)のMACアドレスおよびIPアドレスを、管理対象テーブル142cに格納する。
Thereafter, the communication
なお、通信品質測定部146がVMとの通信品質を測定して管理対象のVMを更新するタイミングとしては、例えばルータ14の起動時、VM情報テーブル142aの更新時、VMのマイグレーションが発生した時などがある。
Note that the communication
ARP応答部147は、VMからARP要求を受信した場合に、管理対象のVMに対してARP応答を応答する処理部である。具体的には、ARP応答部147は、受信したARP要求のうち、管理対象テーブル142cに格納されているMACアドレスを送信元のMACアドレスとして含むARP要求に対して、ルータ14のMACアドレスを応答する。
The
例えば、ARP応答部147は、VM(C)からARP要求したとする。この場合、ARP応答部147は、当該ARP要求からVM(C)のMACアドレス「MAC(C)」を抽出する。そして、ARP応答部147は、管理対象テーブル142cを参照し、抽出したMACアドレス「MAC(C)」がテーブルに登録されていることから、送信元が中継対象のVMであると判定する。この結果、ARP応答部147は、受信したARP要求の送信元であるVM(C)に、自ルータのMACアドレス「MAC(14)」を応答する。
For example, it is assumed that the
一方、ARP応答部147は、VM(B)からARP要求したとする。この場合、ARP応答部147は、当該ARP要求からVM(B)のMACアドレス「MAC(B)」を抽出する。そして、ARP応答部147は、管理対象テーブル142cを参照し、抽出したMACアドレス「MAC(B)」がテーブルに登録されていないことから、送信元が中継対象外のVMであると判定する。この結果、ARP応答部147は、受信したARP要求に対する応答を抑止する。
On the other hand, it is assumed that the
同期実行部148は、所定の間隔で、同一ネットワークセグメントに存在するルータとの間で、VMとの間の通信品質を同期する処理部である。具体的には、同期実行部148は、同一ネットワークセグメントで同じIPアドレスが設定されているルータとの間で、同期処理を実行する。なお、同期先のルータは、管理者等によって予め設定されていてもよく、競合検出抑止部145が検出したルータを同期対象として設定してもよい。
The
例えば、同期実行部148は、同期タイミングに到達すると、測定結果テーブル142bに記憶される測定結果を読み出して、ルータ4に送信する。また、同期実行部148は、ルータ4の測定結果を受信すると、同期情報テーブル142dに格納する。なお、同期タイミングとしては、1時間ごとや設定変更時など任意に設定することができる。また、同期する情報としては、測定結果に限らず、例えばルータに設定される優先度や管理対象テーブル142cに記憶される管理対象を同期してもよい。
For example, when the synchronization timing is reached, the
中継処理部149は、受信したデータを宛先に中継する処理部である。具体的には、中継処理部149は、中継対象のVMを宛先とするパケット、または、中継対象のVMを送信元とするパケットを受信した場合に、ルーティングテーブル142eに記憶される情報に基づいて、NAT(Network Address Translation)変換等を行って当該パケットを宛先に送信する。
The
(管理対象VMの特定処理)
図8は、第1の実施形態に係るルータが実行する管理対象のVMを特定する処理の流れを示すフローチャートである。なお、ここでは、ルータ14を例にして説明する。また、この処理の前段階として、ルータ14およびルータ4に対して、VM情報テーブル142aへの情報設定が完了しているものとする。すなわち、同一ネットワークセグメント内で同じIPアドレスが設定されているものとする。
(Management target VM identification process)
FIG. 8 is a flowchart showing a flow of processing for specifying a management target VM executed by the router according to the first embodiment. Here, the
図8に示すように、ルータ14の競合検出抑止部145は、各種設定が完了したルータ14が起動されると(S101:Yes)、競合するIPアドレスの設定を検出する(S102)。続いて、競合検出抑止部145は、競合するIPアドレスを検出するが、エラー通知を抑止する(S103)。
As shown in FIG. 8, when the
その後、ルータ14の通信品質測定部146は、VM情報テーブル142aを参照して、同一ネットワークセグメント内で動作するVMを特定する(S104)。続いて、通信品質測定部146は、特定した各VMにARP要求を複数回送信する(S105)。その後、通信品質測定部146は、各VMからARP応答を受信する(S106)。
Thereafter, the communication
そして、通信品質測定部146は、各VMについて、ARP要求を送信してからARP応答を受信するまでの時間を計測し、計測した時間の平均値を算出して、測定結果テーブル142bに格納する(S107)。
Then, the communication
続いて、同期実行部148は、同期情報として、測定結果テーブル142bに記憶される各VMの通信品質(平均値)を、同一ネットワークセグメント内で自ルータ14と同一IPアドレスが設定されているルータ4に送信する(S108)。
Subsequently, the
また、同期実行部148は、他ルータが測定した各VMの通信品質(平均値)を同期情報として受信して、同期情報テーブル142dに格納する(S109)。
Also, the
その後、通信品質測定部146は、自ルータ14の測定結果と、同期情報で受信した他ルータの測定結果とから、自ルータ14との通信時間が最も短い通信時間であったVMを特定する(S110)。
Thereafter, the communication
そして、通信品質測定部146は、自ルータ14との通信時間が最も短い通信時間であったVMを、管理対象すなわち中継対象として管理対象テーブル142cに登録する(S111)。その後、通信品質測定部146は、計測タイミングに到達するたびに(S112:Yes)、S104以降の処理を繰り返す。
Then, the communication
(ARP応答処理)
図9は、第1の実施形態に係るルータが実行するARP応答処理の流れを示すフローチャートである。なお、ここでは、ルータ14を例にして説明する。また、この処理の前段階として、ルータ14およびルータ4に対して、管理対象テーブル142cへの情報設定および同一ネットワークセグメント内で同じIPアドレスが設定されているものとする。
(ARP response processing)
FIG. 9 is a flowchart showing a flow of ARP response processing executed by the router according to the first embodiment. Here, the
図9に示すように、ルータ14のARP応答部147は、VMからARP要求を受信すると(S201:Yes)、当該ARP要求から送信元のMACアドレスを抽出する(S202)。続いて、ARP応答部147は、抽出した送信元のMACアドレスが管理対象テーブル142cに登録されているか否かを判定する(S203)。
As illustrated in FIG. 9, when receiving the ARP request from the VM (S201: Yes), the
そして、ARP応答部147は、抽出した送信元のMACアドレスが管理対象テーブル142cに登録されている場合、すなわち、ARP要求の送信元のVMが管理対象である場合(S203:Yes)、送信元のVMにARP応答を送信する(S204)。
Then, when the extracted MAC address of the transmission source is registered in the management target table 142c, that is, when the VM of the transmission source of the ARP request is a management target (S203: Yes), the
一方、ARP応答部147は、抽出した送信元のMACアドレスが管理対象テーブル142cに登録されていない場合、すなわち、ARP要求の送信元のVMが管理対象外である場合(S203:No)、送信元のVMへのARP応答を抑止する(S205)。
On the other hand, when the extracted source MAC address is not registered in the management target table 142c, that is, when the VM of the transmission source of the ARP request is not a management target (S203: No), the
(具体例)
次に、ユーザ端末10のユーザが拠点(札幌)1から拠点(福岡)11へ出張するのに伴って、利便性向上のために、ユーザが利用するVM(B)をデータセンタ12へマイグレーションさせた場合に、ルータが中継対象を変更する例を説明する。
(Concrete example)
Next, as the user of the
図10は、VMのマイグレーション後に中継対象を変更する具体例を説明する図である。図10は、図1と同様の構成を有するが、VMのマイグレーション等を管理する管理サーバ30がネットワーク20に接続されている点が異なる。
FIG. 10 is a diagram illustrating a specific example in which the relay target is changed after VM migration. FIG. 10 has the same configuration as FIG. 1 except that a
なお、マイグレーション前における、各VMと各ルータとの間の通信品質は、図5および図6の状態であるとする。つまり、ルータ4とVM(A)およびルータ4とVM(B)の通信品質がよく、ルータ14とVM(C)およびルータ14とVM(D)の通信品質がよい状態であるとする。このため、ルータ4は、VM(A)およびVM(B)を管理対象とし、ルータ14は、VM(C)およびVM(D)を管理対象としている。
It is assumed that the communication quality between each VM and each router before migration is in the state shown in FIGS. That is, it is assumed that the communication quality between the
このような状態において、ユーザ端末10は、管理サーバ30へアクセスして、Web画面等を用いて出張先の情報を登録し、サービス等の移動を要求する(S301)。図11は、出張先情報を登録する画面例を示す図である。管理サーバ30は、ユーザ端末10からのアクセスを受け付けると、図11に示す画面をユーザ端末10に応答する。
In such a state, the
図11に示す画面は、「ユーザID、移動元、移動先、移動対象」を入力させる画面である。「ユーザID」は、出張するユーザの識別子である。「移動元」は、出張元を示す情報であり、「移動先」は、出張先を示す情報であり、「移動対象」は、出張先で使用するサービスやサーバを特定する情報である。この「移動元」、「移動先」、「移動対象」は、例えばプルダウンメニュー等で容易に選択することができる。 The screen shown in FIG. 11 is a screen for inputting “user ID, movement source, movement destination, movement target”. “User ID” is an identifier of a user who makes a business trip. “Movement source” is information indicating a business trip source, “Movement destination” is information indicating a business trip destination, and “Movement target” is information specifying a service or server used in the business trip destination. The “movement source”, “movement destination”, and “movement object” can be easily selected from a pull-down menu, for example.
ここでは、図11に示すように、管理サーバ30は、ユーザID「U001」、移動元「札幌」、移動先「福岡」、移動対象「Webサーバ(VM(B))」の入力を受け付けたとする。
Here, as shown in FIG. 11, the
続いて、管理サーバ30は、入力された情報に基づいて、拠点(札幌)1のデータセンタ2で動作するVM(B)を、出張先の拠点(福岡)11のデータセンタ12内にマイグレーションさせる(S302)。
Subsequently, the
マイグレーションが完了すると、各ルータは、各VMとの通信品質を測定する(S303)。具体的には、ルータ4は、VM(A)、VM(B)、VM(C)、VM(D)それぞれに対して、複数回ARP要求を送信し、その応答を受信するまでの時間を計測した後、各VMについて応答までに要する時間の平均値を算出する。同様に、ルータ14は、VM(A)、VM(B)、VM(C)、VM(D)それぞれに対して、複数回ARP要求を送信し、その応答を受信するまでの時間を計測した後、各VMについて応答までに要する時間の平均値を算出する。
When the migration is completed, each router measures the communication quality with each VM (S303). Specifically, the
図12は、ルータ14が測定した情報を示す図である。図12に示すように、ルータ14は、VM(A)との間では通信品質「40ms」、VM(B)との間では通信品質「3ms」、VM(C)との間では通信品質「5ms」、VM(D)との間では通信品質「7ms」を測定する。
FIG. 12 is a diagram illustrating information measured by the
その後、図10に示すように、ルータ14は、ルータ4と測定結果を同期して、管理対象の更新を実行する(S304)。図13は、ルータ14が同期情報として受信した測定結果を示す図である。つまり、図13は、ルータ4の測定結果を示している。図13に示すように、ルータ4は、VM(A)との間では通信品質「3ms」、VM(B)との間では通信品質「20ms」、VM(C)との間では通信品質「32ms」、VM(D)との間では通信品質「19ms」を測定する。
Thereafter, as shown in FIG. 10, the
続いて、ルータ14は、図12に示す自ルータが測定した測定結果と、図13に示すルータ4の測定結果とを比較して、VM(B)、VM(C)、VM(D)の通信品質が自ルータの方がよいことを特定する。この結果、ルータ14は、VM(B)、VM(C)、VM(D)を管理対象と特定する。
Subsequently, the
図14は、管理対象テーブルの更新例を示す図である。図14に示すように、ルータ14は、管理対象テーブル142cに、「項番(3)、VM名(VM(B))、MACアドレス(MAC(B))」を追加する。
FIG. 14 is a diagram illustrating an update example of the management target table. As illustrated in FIG. 14, the
一方で、ルータ4は、図12に示すルータ14が測定した測定結果と、図13に示す自ルータ4の測定結果とを比較して、VM(A)の通信品質が自ルータの方がよいことを特定する。この結果、ルータ4は、VM(A)を管理対象と特定する。したがって、ルータ4は、管理対象をVM(A)およびVM(B)からVM(B)のみに更新する。
On the other hand, the
その後、マイグレーションや管理対象テーブル142cの更新が完了すると、マイグレーションされたVM(B)は、デフォルトゲートウェイのIPアドレス「IP(10)」に対して、ARP要求を送信し、ARPテーブルの更新を実行する(S305)。 Thereafter, when the migration and the update of the management target table 142c are completed, the migrated VM (B) transmits an ARP request to the IP address “IP (10)” of the default gateway, and updates the ARP table. (S305).
具体的には、VM(B)は、デフォルトゲートウェイのIPアドレス「IP(10)」に対して、ARP要求を送信する。図15は、ARP要求の一例を示す図である。図15に示すように、VM(B)は、宛先を示す「宛先IPアドレス(IP(10))」と送信元を示す「自MACアドレス(MAC(B))」とを含むARP要求を送信する。 Specifically, the VM (B) transmits an ARP request to the IP address “IP (10)” of the default gateway. FIG. 15 is a diagram illustrating an example of the ARP request. As illustrated in FIG. 15, the VM (B) transmits an ARP request including “destination IP address (IP (10))” indicating the destination and “own MAC address (MAC (B))” indicating the source. To do.
続いて、ルータ4およびルータ14は、VM(B)からのARP要求を受信する。ここで、ルータ4は、管理対象テーブル142cからVM(B)のMACアドレス「MAC(B)」が削除されていることから、ARP応答を抑止する。
Subsequently, the
一方で、ルータ14は、管理対象テーブル142cにVM(B)のMACアドレス「MAC(B)」が追加されていることから、ARP応答を実行する。図16は、ARP応答の一例を示す図である。図16に示すように、ルータ14は、ARP要求の送信元であるVM(B)に対して、送信元を示す「送信元IPアドレス(IP(10))」、宛先を示す「宛先MACアドレス(MAC(B))」、送信元を示す「自MACアドレス(MAC(14))」を含むARP応答を送信する。
On the other hand, since the MAC address “MAC (B)” of the VM (B) is added to the management target table 142c, the
このARP応答を受信したVM(B)は、ARPテーブルを更新する。図17は、ARPテーブルの更新例を説明する図である。具体的には、VM(B)は、ARP応答によって、IPアドレス「IP(10)」を有する装置のMACアドレスが「MAC(14)」であることを特定する。この結果、図17に示すように、VM(B)は、IPアドレス「IP(10)」に対応付けて記憶していたMACアドレス「MAC(4)」を「MAC(14)」に更新する。なお、図17に示した「Type」は、格納できるエントリのタイプを示す情報である。 The VM (B) that has received this ARP response updates the ARP table. FIG. 17 is a diagram illustrating an example of updating the ARP table. Specifically, the VM (B) specifies that the MAC address of the device having the IP address “IP (10)” is “MAC (14)” by the ARP response. As a result, as shown in FIG. 17, the VM (B) updates the MAC address “MAC (4)” stored in association with the IP address “IP (10)” to “MAC (14)”. . Note that “Type” illustrated in FIG. 17 is information indicating the types of entries that can be stored.
その後、ユーザ端末10は、拠点(福岡)11に移動し(S306)、拠点(福岡)11からVM(B)にアクセスする。このとき、VM(B)のデフォルトゲートウェイがルータ4からルータ14に更新されていることから、より通信遅延の少ない経路でアクセスすることができる。
Thereafter, the
図18は、マイグレーション後の経路が変更される例を説明する図である。図18は、VM(B)のマイグレーションおよびARPテーブルの更新が完了した後、ユーザ端末10が出張先の拠点(福岡)11からVM(B)にアクセスした例を図示している。
FIG. 18 is a diagram illustrating an example in which the route after migration is changed. FIG. 18 illustrates an example in which the
図18に示すように、従来のように、VM(B)のデフォルトゲートウェイがルータ14に変更されずルータ4のままである場合は、ユーザ端末10は、VM(B)からの応答を、OVS15、仮想L2ネットワーク21、OVS5、ルータ4、CEルータ3を経由するルート51の経路で受信する。
As shown in FIG. 18, when the default gateway of VM (B) is not changed to the
一方で、上述した手法でVM(B)のデフォルトゲートウェイがルータ14に変更された場合は、ユーザ端末10は、VM(B)からの応答について、OVS15、ルータ14、CEルータ13を経由するルート52で受信する。
On the other hand, when the default gateway of the VM (B) is changed to the
(効果)
上述した実施形態では、仮想L2ネットワーク21のベストエフォートを含む区間は、ルータとVMとの間の通信時間がより短い経路を選択し、最適なルータからデータを送信することができる。このように、高品質ネットワークである外部ネットワークにデータを送信することができ、VMと高品質ネットワーク上のユーザ端末10との通信遅延を縮小化することができる。
(effect)
In the above-described embodiment, the section including the best effort of the
また、クラウドシステムと独立で動作することができ、複数のルータが連携して動作し、VM単位にどのルータが転送するかを決めることができるので、VMの配置に適した最適経路を自動で発見することもできる。 In addition, it can operate independently of the cloud system, and multiple routers operate in cooperation with each other, so it is possible to determine which router is to be transferred for each VM, so the optimum route suitable for VM placement is automatically set. It can also be discovered.
また、ユーザが設定変更などの専門的な作業を行わずに、VMからユーザ端末10への通信を最短経路で実行することができるので、ユーザの負荷増加を低減しつつ、通信遅延を縮小化することができる。
Further, since the user can perform communication from the VM to the
また、VMのマイグレーション後も通信品質を向上させることができるので、VMのマイグレーションを頻繁に実行しても通信遅延が抑制でき、仮想環境のメンテナンスや物理サーバのメンテナンスを手軽に実行でき、システムの信頼性が向上する。さらには、仮想マシンを用いたシステム構築の汎用性が向上する。 In addition, since communication quality can be improved after VM migration, communication delays can be suppressed even if VM migration is performed frequently, and maintenance of virtual environments and physical servers can be easily performed. Reliability is improved. Furthermore, the versatility of system construction using a virtual machine is improved.
[第2の実施形態]
次に、他ルータが障害等により停止した場合の処理について説明する。なお、第2の実施形態についてもルータ14を例にして説明する。なお、この処理が実行される前に、各ルータ間で、同期情報として、自ルータに設定される優先度および自ルータの管理対象について送受信を実行しているものとする。
[Second Embodiment]
Next, processing when another router stops due to a failure or the like will be described. Note that the second embodiment will be described using the
図19は、ルータの死活監視処理の流れを示すフローチャートである。図19に示すように、ルータ14の制御部143は、他ルータの死活監視を実行する(S401)。例えば、ルータ14は、同期情報テーブル142dに登録される各ルータにPing等の疎通確認を実行する。
FIG. 19 is a flowchart showing the flow of the alive monitoring process of the router. As shown in FIG. 19, the control unit 143 of the
そして、ルータ14の制御部143は、応答なしのルータを検出すると(S402:Yes)、自ルータの優先度が最も高いか否かを判定する(S403)。例えば、ルータ14は、起動が確認できないルータが検出された場合、同期情報テーブル142dに登録される他ルータの優先度および記憶部142に記憶される自ルータの優先度にしたがって、自ルータの優先度が最も高いか否かを判定する。
Then, when the control unit 143 of the
ルータ14の制御部143は、自ルータの優先度が最も高いと判定した場合(S403:Yes)、応答なしと検出されたルータの管理対象を同期情報テーブル142dから特定する(S404)。例えば、ルータ14は、応答なしと検出されたルータが中継対象とするVMの情報を同期情報テーブル142dから特定する。
When the control unit 143 of the
その後、ルータ14の制御部143は、応答なしと検出されたルータの管理対象に対して、GARP(Gratuitous Address Resolution Protocol)メッセージを送信する(S405)。そして、ルータ14の制御部143は、応答なしと検出されたルータの管理対象を、自ルータ14の管理対象テーブル142cに登録する(S406)。なお、ルーティング情報については、同期情報として受信していてもよい。
Thereafter, the control unit 143 of the
なお、S402において応答なしのルータが検出されなかった場合(S402:No)やS403において自ルータ14よりも優先度が高いルータが存在する場合(S403:No)、ルータ14の制御部143は、処理を終了する。
In addition, when the router without a response is not detected in S402 (S402: No) or when there is a router having a higher priority than the
本実施形態では、GARPを用いた例を説明したが、これに限定されるものではい。例えば、RFC4861によって規定されるICMPv6(Internet Control Message Protocol for IPv6)の「Neighbor Solicitation」メッセージなどを用いることもできる。この場合、S405において、ルータ14の制御部143は、応答なしと検出されたルータの管理対象のVMに対して、ICMPv6の「Neighbor Solicitation」メッセージを送信して、該当VMにARPテーブルを更新させる。このように、IPv4に限らずIPv6を利用するVMに対しても、上述した処理を実行することができる。
In the present embodiment, an example using GARP has been described, but the present invention is not limited to this. For example, an ICMPv6 (Internet Control Message Protocol for IPv6) “Neighbor Solicitation” message defined by RFC4861 may be used. In this case, in S405, the control unit 143 of the
上述したように、同一ネットワークセグメント内で同一IPアドレスが設定されるルータに障害等が発生して不通になった場合でも、他のルータが、障害が発生したルータの管理対象を自ルータの管理対象に登録することができる。したがって、障害が発生したルータと接続されるVMに対する通信を迅速に復旧させることができる。 As described above, even if a router with the same IP address in the same network segment fails and is disconnected, other routers manage the management target of the router in which the failure has occurred. Can be registered to the subject. Therefore, it is possible to quickly restore communication with the VM connected to the router in which the failure has occurred.
[第3の実施形態]
さて、これまで本発明の実施形態について説明したが、本発明は上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に異なる実施形態を説明する。
[Third Embodiment]
Although the embodiments of the present invention have been described so far, the present invention may be implemented in various different forms other than the above-described embodiments. Therefore, different embodiments will be described below.
(ルータ数)
例えば、上記実施形態では、同一ネットワークセグメント内で同一IPアドレスが設定されているルータが2台である場合を説明したが、これに限定されるものではなく、3台以上のルータが存在してもよい。
(Number of routers)
For example, in the above embodiment, the case where there are two routers in which the same IP address is set in the same network segment has been described. However, the present invention is not limited to this, and there are three or more routers. Also good.
また、ルータをグルーピングして、同期対象を限定することもできる。グルーピングした際は、第2の実施形態や第3の実施形態については、グルーピングしたルータ間で実行するようにしてもよい。このようにすることで、トラフィックの抑止にも繋がる。なお、拠点数やデータセンタ数についても図示したものに限定されない。 In addition, routers can be grouped to limit synchronization targets. When grouping is performed, the second embodiment and the third embodiment may be executed between the grouped routers. By doing so, it also leads to traffic suppression. The number of bases and the number of data centers are not limited to those shown in the figure.
(VM)
上記実施形態では、各ルータの管理対象がVMである例で説明したが、これに限定されるものではなく、例えば、物理サーバであっても、同様に処理することができる。なお、管理対象テーブル142cにVMのIPアドレスが登録されている場合には、上述した処理では、VMが送信したARP要求から送信元のIPアドレスを抽出して同様の処理を実行する。
(VM)
In the above embodiment, the example in which the management target of each router is a VM has been described. However, the present invention is not limited to this. For example, even a physical server can perform the same processing. When the VM IP address is registered in the management target table 142c, in the above-described process, the source IP address is extracted from the ARP request transmitted by the VM, and the same process is executed.
また、第1の実施形態では、VMをマイグレーションさせたときに実行する例を説明したが、これに限定されるものではない。例えば、いずれのルータも管理対象として登録していない未確認のVMが新たに同一ネットワークセグメントで動作開始した場合でも、同様に処理することができる。 In the first embodiment, the example of executing when the VM is migrated has been described. However, the present invention is not limited to this. For example, even when an unconfirmed VM that is not registered as a management target in any router newly starts operating in the same network segment, the same processing can be performed.
(通信品質の測定)
上記実施形態では、ARPを用いてVMとの通信品質を測定する例を説明したが、これに限定されるものではない。例えば、他のプロトコルを用いたメッセージを利用することもできる。その際、要求に対して応答が送信されるメッセージが好ましい。
(Measurement of communication quality)
In the above embodiment, an example in which the communication quality with the VM is measured using the ARP is described, but the present invention is not limited to this. For example, a message using another protocol can be used. In this case, a message in which a response is transmitted to the request is preferable.
(死活監視)
上記実施形態では、死活監視を行った結果、ルータの起動が確認できない場合には、起動中のルータの中から最も優先度が高いルータが、管理対象を受け継ぐ例について説明したが、これに限定されるものではない。例えば、最も優先度が高いルータの管理対象数が上限値を超える場合には、次に優先度が高いルータが管理対象を受け継いでもよい。また、優先度が高い複数のルータに分散させてもよい。
(Life and death monitoring)
In the above embodiment, when the activation of the router cannot be confirmed as a result of the alive monitoring, the example in which the router with the highest priority among the active routers inherits the management target has been described. Is not to be done. For example, when the number of management targets of the router with the highest priority exceeds the upper limit value, the router with the next highest priority may inherit the management target. Further, it may be distributed to a plurality of routers with high priority.
(ネットワーク構成)
上記実施形態では、ユーザ端末10と各CEルータとがインターネットで接続される例を説明したが、これに限定されるものではない。例えば、ユーザ端末10と各CEルータとの接続には、インターネットの他に、VPN(Virtual Private Network)、広域イーサネット、モデムや専用線を用いることができる。
(Network configuration)
In the above embodiment, the example in which the
例えば、インターネットを利用した場合、ユーザ端末10のデフォルトゲートウェイは、ISP(Internet Service Provider)が指定したルータのIPアドレスとなる。このとき、ユーザ端末10が出張先でVM(B)にアクセスする場合、札幌のルータ4経由でアクセスするか、福岡のルータ14でアクセスするかは、ISPとデータセンタ間のルーティングプロトコルによって決定される。なお、ここで使用されるルーティングプロトコルの一例としては、BGP(Border Gateway Protocol)などがある。
For example, when the Internet is used, the default gateway of the
また、VPNを利用した場合、ユーザ端末10のデフォルトゲートウェイには、データセンタではなく企業拠点のCEルータのIPアドレスが設定されるのが一般的である。このとき、ユーザ端末10が出張先でVM(B)にアクセスする場合、札幌のルータ4経由でアクセスするか、福岡のルータ14でアクセスするかは、企業拠点のCEルータの設定に依存する。
When VPN is used, the default gateway of the
また、広域イーサネットを利用した場合は、ユーザ端末側にも広域イーサネットを終端する装置が設けられる。なお、必ずしもCEルータを有している必要なく、例えば、ユーザ端末とルータ4やルータ14が直接接続されていてもよい。
When wide area Ethernet is used, a device for terminating wide area Ethernet is also provided on the user terminal side. It is not always necessary to have a CE router. For example, the user terminal and the
(システム構成等)
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示された構成要素と同一であることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
(System configuration etc.)
Each component of each illustrated device is functionally conceptual, and does not necessarily need to be the same as the physically illustrated component. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともできる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。 In addition, among the processes described in the present embodiment, all or a part of the processes described as being automatically performed can be manually performed. Further, all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.
(プログラム)
また、上記実施形態に係るルータが実行する処理をコンピュータが実行可能な言語で記述した中継管理プログラムを作成することもできる。この場合、コンピュータが中継管理プログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかる中継管理プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された中継管理プログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。以下に、図3等に示したルータと同様の機能を実現する中継管理プログラムを実行するコンピュータの一例を説明する。
(program)
It is also possible to create a relay management program in which the processing executed by the router according to the above embodiment is described in a language that can be executed by a computer. In this case, when the computer executes the relay management program, the same effect as in the above embodiment can be obtained. Further, the same processing as in the above embodiment may be realized by recording such a relay management program on a computer-readable recording medium, and reading and executing the relay management program recorded on the recording medium. Good. Hereinafter, an example of a computer that executes a relay management program that realizes the same function as the router illustrated in FIG. 3 will be described.
図20は、中継管理プログラムを実行するコンピュータを示す図である。図20に示すように、コンピュータ1000は、例えば、メモリ1010と、CPU1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有する。これらの各部は、バス1080によって接続される。
FIG. 20 is a diagram illustrating a computer that executes a relay management program. As illustrated in FIG. 20, the
メモリ1010は、ROM(Read Only Memory)1011およびRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。ディスクドライブ1100には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース1050には、例えば、マウス1110およびキーボード1120が接続される。ビデオアダプタ1060には、例えば、ディスプレイ1130が接続される。
The
ここで、図20に示すように、ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093およびプログラムデータ1094を記憶する。上記実施形態で説明した各テーブルは、例えばハードディスクドライブ1090やメモリ1010に記憶される。
Here, as shown in FIG. 20, the hard disk drive 1090 stores, for example, an
また、中継管理プログラムは、例えば、コンピュータ1000によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ1090に記憶される。具体的には、上記実施形態で説明した管理情報受付部144と同様の情報処理を実行する管理情報受付手順と、競合検出抑止部145と同様の情報処理を実行する競合検出抑止手順と、通信品質測定部146と同様の情報処理を実行する通信品質測定手順と、ARP応答部147と同様の情報処理を実行するARP応答手順と、同期実行部148と同様の情報処理を実行する同期実行手順と、中継処理部149と同様の情報処理を実行する中継処理手順とが記述されたプログラムモジュールが、ハードディスクドライブ1090に記憶される。
Further, the relay management program is stored in, for example, the hard disk drive 1090 as a program module in which a command executed by the
また、中継管理プログラムによる情報処理に用いられるデータは、プログラムデータとして、例えば、ハードディスクドライブ1090に記憶される。そして、CPU1020が、ハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した各手順を実行する。
Data used for information processing by the relay management program is stored as program data, for example, in the hard disk drive 1090. Then, the
なお、中継管理プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、中継管理プログラムに係るプログラムモジュール1093やプログラムデータ1094は、LAN(Local Area Network)やWAN(Wide Area Network)等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
The program module 1093 and the
また、例えば、一般的なルータに上記実施形態と同様の機能を実行させる場合には、ルータが実行可能なプログラムに上記手順を記述し、ルータに実行させることで、上記実施形態と同様の機能を実行させることもできる。つまり、ルータのプロセッサが、上記手順が記述されたプログラムをメモリに展開して実行することで、同様の処理を実行することができる。また、L3スイッチなどに実行させる場合には、上記実施形態と同様の機能を実行させる回路を搭載したLSIを、L3スイッチに搭載させることで、同様の処理を実行することができる。 Also, for example, when a general router executes the same function as in the above embodiment, the same procedure as in the above embodiment is described by describing the above procedure in a program executable by the router and causing the router to execute it. Can also be executed. That is, the processor of the router can execute the same processing by developing the program in which the above procedure is described in the memory and executing it. In addition, when the L3 switch or the like is executed, the same processing can be executed by mounting an LSI having a circuit that performs the same function as that of the above embodiment on the L3 switch.
1 拠点(札幌)
2、12 データセンタ
3、13 CEルータ
4、14 ルータ
5、15 OVS
11 拠点(福岡)
20 ネットワーク
21 仮想L2ネットワーク
22 ネットワークセグメント
14a、14b インタフェース
141 通信制御部
142 記憶部
142a VM情報テーブル
142b 測定結果テーブル
142c 管理対象テーブル
142d 同期情報テーブル
142e ルーティングテーブル
143 制御部
144 管理情報受付部
145 競合検出抑止部
146 通信品質測定部
147 ARP応答部
148 同期実行部
149 中継処理部
1 base (Sapporo)
2, 12
11 bases (Fukuoka)
20
Claims (8)
前記ネットワーク装置と同一ネットワークセグメント内で動作する情報処理装置と、前記ネットワーク装置との間の通信品質である第1の通信品質を測定する測定部と、
前記同一ネットワークセグメント内で前記ネットワーク装置と同一のIP(Internet Protocol)アドレスが設定された他のネットワーク装置と、前記同一ネットワークセグメント内で動作する情報処理装置との間の通信品質である第2の通信品質を取得する取得部と、
前記第1の通信品質と前記第2の通信品質とに基づいて、前記同一ネットワークセグメント内で動作する情報処理装置が中継対象であるか否かを判定する判定部と
を有することを特徴とするネットワーク装置。 In a network device that relays data communication between information processing devices,
An information processing device that operates in the same network segment as the network device, and a measurement unit that measures a first communication quality that is a communication quality between the network device;
The second communication quality is communication quality between another network device in which the same IP (Internet Protocol) address as that of the network device is set in the same network segment and an information processing device operating in the same network segment. An acquisition unit for acquiring communication quality;
A determination unit that determines whether or not an information processing device operating in the same network segment is a relay target based on the first communication quality and the second communication quality. Network device.
前記同一ネットワークセグメント内で動作する情報処理装置から前記ネットワーク装置のMAC(Media Access Control)アドレスを問い合わせるアドレス要求を受信する受信部と、
前記受信部によって受信された前記アドレス要求に含まれる送信元のアドレス情報が前記記憶部に記憶されている場合に、前記送信元の情報処理装置に対して、前記ネットワーク装置のMACアドレスを応答する応答部と、をさらに有することを特徴とする請求項1または2に記載のネットワーク装置。 A storage unit for storing address information of the information processing apparatus determined as the relay target by the determination unit;
A receiving unit for receiving an address request for inquiring a MAC (Media Access Control) address of the network device from an information processing device operating in the same network segment;
When the address information of the transmission source included in the address request received by the reception unit is stored in the storage unit, the MAC address of the network device is returned to the information processing device of the transmission source The network device according to claim 1, further comprising a response unit.
前記取得部は、前記他のネットワーク装置が前記同一ネットワークセグメント内で動作する仮想マシンに対して複数回メッセージを送信してから応答を受信するまでの平均時間を、前記第2の通信品質として取得することを特徴とする請求項1から3のいずれか一つに記載のネットワーク装置。 The measurement unit measures an average time from when a message is transmitted a plurality of times to a virtual machine operating within the same network segment until a response is received as the first communication quality,
The acquisition unit acquires, as the second communication quality, an average time from when the other network device transmits a message a plurality of times to a virtual machine operating in the same network segment until a response is received. The network device according to any one of claims 1 to 3, wherein:
前記取得部は、前記マイグレーションされた仮想マシンに対して測定された前記第2の通信品質を取得し、
前記判定部は、前記第1の通信品質と前記第2の通信品質とに基づいて、前記マイグレーションされた仮想マシンが中継対象か否かを判定することを特徴とする請求項4に記載のネットワーク装置。 The measuring unit measures the first communication quality for a virtual machine migrated in the same network segment as the network device;
The acquisition unit acquires the second communication quality measured for the migrated virtual machine;
The network according to claim 4, wherein the determination unit determines whether or not the migrated virtual machine is a relay target based on the first communication quality and the second communication quality. apparatus.
前記同一ネットワークセグメント内で前記ネットワーク装置と同一のIP(Internet Protocol)アドレスが設定された他のネットワーク装置と、前記同一ネットワークセグメント内で動作する情報処理装置との間の通信品質である第2の通信品質を取得する取得工程と、
前記第1の通信品質と前記第2の通信品質とに基づいて、前記同一ネットワークセグメント内で動作する情報処理装置が中継対象であるか否かを判定する判定工程と
を含んだことを特徴とする中継管理方法。 An information processing device that operates in the same network segment as a network device that relays data communication between the information processing devices, and a measurement step that measures a first communication quality that is a communication quality between the network devices;
The second communication quality is communication quality between another network device in which the same IP (Internet Protocol) address as that of the network device is set in the same network segment and an information processing device operating in the same network segment. An acquisition process for acquiring communication quality;
A determination step of determining whether or not an information processing apparatus operating in the same network segment is a relay target based on the first communication quality and the second communication quality. Relay management method.
前記同一ネットワークセグメント内で前記ネットワーク装置と同一のIP(Internet Protocol)アドレスが設定された他のネットワーク装置と、前記同一ネットワークセグメント内で動作する情報処理装置との間の通信品質である第2の通信品質を取得する取得ステップと、
前記第1の通信品質と前記第2の通信品質とに基づいて、前記同一ネットワークセグメント内で動作する情報処理装置が中継対象であるか否かを判定する判定ステップと
を前記ネットワーク装置に実行させることを特徴とする中継管理プログラム。 An information processing device that operates in the same network segment as a network device that relays data communication between the information processing devices, and a measurement step that measures a first communication quality that is a communication quality between the network devices;
The second communication quality is communication quality between another network device in which the same IP (Internet Protocol) address as that of the network device is set in the same network segment and an information processing device operating in the same network segment. An acquisition step for acquiring communication quality;
Causing the network device to execute a determination step of determining whether or not an information processing device operating in the same network segment is a relay target based on the first communication quality and the second communication quality A relay management program characterized by that.
各ネットワーク装置は、
自ネットワーク装置と同一ネットワークセグメント内で動作する情報処理装置と、前記自ネットワーク装置との間の通信品質である第1の通信品質を測定する測定部と、
前記同一ネットワークセグメント内で前記自ネットワーク装置と同一のIP(Internet Protocol)アドレスが設定された他のネットワーク装置と、前記同一ネットワークセグメント内で動作する情報処理装置との間の通信品質である第2の通信品質を取得する取得部と、
前記第1の通信品質と前記第2の通信品質とに基づいて、前記同一ネットワークセグメント内で動作する情報処理装置が中継対象であるか否かを判定する判定部と
を有することを特徴とする通信システム。 In a communication system having a first network device installed at a first base and a second network device installed at a second base,
Each network device
An information processing device that operates within the same network segment as the own network device, and a measurement unit that measures a first communication quality that is a communication quality between the own network device;
The second communication quality is the communication quality between another network device in which the same IP (Internet Protocol) address as that of the own network device is set in the same network segment and an information processing device operating in the same network segment. An acquisition unit for acquiring the communication quality of
A determination unit that determines whether or not an information processing device operating in the same network segment is a relay target based on the first communication quality and the second communication quality. Communications system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013110291A JP5980725B2 (en) | 2013-05-24 | 2013-05-24 | Network device, relay management method, relay management program, and communication system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013110291A JP5980725B2 (en) | 2013-05-24 | 2013-05-24 | Network device, relay management method, relay management program, and communication system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014230217A JP2014230217A (en) | 2014-12-08 |
JP5980725B2 true JP5980725B2 (en) | 2016-08-31 |
Family
ID=52129659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013110291A Active JP5980725B2 (en) | 2013-05-24 | 2013-05-24 | Network device, relay management method, relay management program, and communication system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5980725B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9910686B2 (en) | 2013-10-13 | 2018-03-06 | Nicira, Inc. | Bridging between network segments with a logical router |
US9893988B2 (en) | 2014-03-27 | 2018-02-13 | Nicira, Inc. | Address resolution using multiple designated instances of a logical router |
US9768980B2 (en) | 2014-09-30 | 2017-09-19 | Nicira, Inc. | Virtual distributed bridging |
US10250443B2 (en) | 2014-09-30 | 2019-04-02 | Nicira, Inc. | Using physical location to modify behavior of a distributed virtual network element |
US10511458B2 (en) | 2014-09-30 | 2019-12-17 | Nicira, Inc. | Virtual distributed bridging |
US10020960B2 (en) | 2014-09-30 | 2018-07-10 | Nicira, Inc. | Virtual distributed bridging |
US9934060B2 (en) * | 2014-10-13 | 2018-04-03 | Vmware, Inc. | Hybrid service fleet management for cloud providers |
US10348625B2 (en) | 2015-06-30 | 2019-07-09 | Nicira, Inc. | Sharing common L2 segment in a virtual distributed router environment |
US10374827B2 (en) | 2017-11-14 | 2019-08-06 | Nicira, Inc. | Identifier that maps to different networks at different datacenters |
US10511459B2 (en) | 2017-11-14 | 2019-12-17 | Nicira, Inc. | Selection of managed forwarding element for bridge spanning multiple datacenters |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4552449B2 (en) * | 2003-02-20 | 2010-09-29 | パナソニック株式会社 | Mobile router device, mobile network system, and mobility management method for mobile router device |
US7924830B2 (en) * | 2008-10-21 | 2011-04-12 | At&T Intellectual Property I, Lp | System and method to route data in an anycast environment |
JP5018969B2 (en) * | 2008-10-22 | 2012-09-05 | 富士通株式会社 | COMMUNICATION CONTROL PROGRAM, COMMUNICATION CONTROL DEVICE, COMMUNICATION CONTROL SYSTEM, AND COMMUNICATION CONTROL METHOD |
US20120173757A1 (en) * | 2011-01-05 | 2012-07-05 | International Business Machines Corporation | Routing optimization for virtual machine migration between geographically remote data centers |
-
2013
- 2013-05-24 JP JP2013110291A patent/JP5980725B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014230217A (en) | 2014-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5980725B2 (en) | Network device, relay management method, relay management program, and communication system | |
US20200358676A1 (en) | Unique id generation for sensors | |
EP3401783B1 (en) | Method and apparatus for determining virtual machine migration | |
US9935920B2 (en) | Virtualization gateway between virtualized and non-virtualized networks | |
US20130107889A1 (en) | Distributed Address Resolution Service for Virtualized Networks | |
EP2866393B1 (en) | Method and apparatus for determining virtual machine drifting | |
US10361992B2 (en) | Method for synchronizing virtual machine location information between data center gateways, gateway, and system | |
CN110855488B (en) | Virtual machine access method and device | |
JP5980724B2 (en) | Network device, relay management method, relay management program, and communication system | |
US11595470B1 (en) | Resolving L2 mapping conflicts without reporter synchronization | |
JP5813699B2 (en) | Communication system, management apparatus, management method, and management program | |
JP6039517B2 (en) | Management device, communication system, management method, and management program | |
JP6013980B2 (en) | Address assignment device and address assignment program | |
JP5960650B2 (en) | Information processing apparatus, communication system, management method, and management program | |
JP6009415B2 (en) | Communication system, management apparatus, management method, and management program | |
JP5952229B2 (en) | Management device, route information generation method, and route information generation program | |
JP5964786B2 (en) | Management device, communication system, management method, and management program | |
JP5972838B2 (en) | Management device, communication system, management method, and management program | |
JP2012203421A (en) | Information processing method, management server and management program | |
JP5955815B2 (en) | Address assignment apparatus, communication system, management method, and management program | |
JP6013981B2 (en) | Communication system, management apparatus, management method, and management program | |
JP2015001827A (en) | Management device, management method, management program, and communication system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150814 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20151001 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20151005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5980725 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |