JP2013030863A - スイッチ装置の制御システム、その構成制御装置および構成制御方法 - Google Patents

スイッチ装置の制御システム、その構成制御装置および構成制御方法 Download PDF

Info

Publication number
JP2013030863A
JP2013030863A JP2011163883A JP2011163883A JP2013030863A JP 2013030863 A JP2013030863 A JP 2013030863A JP 2011163883 A JP2011163883 A JP 2011163883A JP 2011163883 A JP2011163883 A JP 2011163883A JP 2013030863 A JP2013030863 A JP 2013030863A
Authority
JP
Japan
Prior art keywords
control
node
load
configuration
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011163883A
Other languages
English (en)
Other versions
JP5910811B2 (ja
Inventor
Lei Sun
雷 孫
Kentaro Sonoda
健太郎 園田
Kazuya Suzuki
一哉 鈴木
Hideyuki Shimonishi
英之 下西
Hideji Ishii
秀治 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011163883A priority Critical patent/JP5910811B2/ja
Priority to US13/402,776 priority patent/US20130028091A1/en
Publication of JP2013030863A publication Critical patent/JP2013030863A/ja
Application granted granted Critical
Publication of JP5910811B2 publication Critical patent/JP5910811B2/ja
Priority to US15/338,271 priority patent/US20170048123A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12Discovery or management of network topologies
    • H04L41/122Discovery or management of network topologies of virtualised topologies, e.g. software-defined networks [SDN] or network function virtualisation [NFV]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/20Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV

Abstract

【課題】ソフトウエアネットワーキング(SDN)における制御プレーンの消費電力を性能低下なしに削減することができる制御システムを提供する。
【解決手段】複数の制御ノードを有し、少なくとも1つの制御ノードがパケットハンドリング規則を送信することで複数のスイッチ装置の各々を制御する制御システムであって、少なくとも1つのスイッチ装置を制御している使用中の制御ノード(M)の負荷を監視し、監視結果である負荷情報に基づいて制御ノード(S[1]〜S[m−1])の使用数を変化させる。
【選択図】図2

Description

本発明はソフトウエアネットワーキング(Software Defined Networking:SDN)技術に係り、特にスイッチ装置を制御するシステム、その構成制御装置および構成制御方法に関する。
近年、ソフトウエアネットワーキング(SDN)という新たなネットワーク技術が提案され、たとえばオープンフロー(OpenFlow)のようなネットワークプラットフォームの開発がオープンソースで進められている(非特許文献1など)。オープンフロー技術の基本的アイデアはデータプレーンと制御プレーンとを分離し、それらを独立に展開可能にしたことにある。この分離構成によりスイッチは閉じたシステムからプログラム可能なオープンプラットフォームとなり、スイッチを制御する制御システムに関しても次のような種々の提案がなされている。
非特許文献2には、NOXと呼ばれるネットワークの「オペレーティングシステム」が提案されており、そこではオープンフローコントローラが中央制御サーバで動作する単一のプロセスプログラムとして実装されている。非特許文献3には、1個以上の物理的なサーバのクラスタ上で動作する分散型制御プラットフォーム(Onix)が提案されている。さらに、非特許文献4には、上記NOXプラットフォームをベースにして、複数のNOX制御サーバを接続し分散型コントローラクラスタを形成する分散型制御プレーン(HyperFlow)が提案されている。
特に、分散型コントローラを複数のサーバで構成されたクラスタ上に実装するシステムはスケーラブルなコントローラ性能が得られる等の利点がある。
N. McKeown et al. "OpenFlow: Enabling Innovation in Campus Networks" ACM SIGCOMM Computer Communication Review, 38(2):69-74, April 2008 N. Gude et al. "NOX: Towards an operating system for networks," ACM SIGCOMM Computer Communication Review, July 2008 K. Koponen et al. "Onix: A Distributed Control Platform for Large-scale Production Networks," In the Proc. of the 9th USENIX Symposium on Operating System Design and Implementation (OSDI 10), Vancouver, Canada, October 2010. A. Tootocian and Y. Ganjali "HyperFlow: A Distributed Control Plane for OpenFlow," In the Proc. of NSDI Internet Netwrok Management Workshop/Workshop on Research on Enterprise Networking (INM/WREN), San Jose, CA, USA, April 2010.
しかしながら、分散型コントローラを複数サーバのクラスタ上に実装するシステムでは、サーバの台数に比例して制御プレーンの消費電力が増大してしまい、近年益々重要視されている消費電力削減の課題を解決することができない。
そこで、本発明の目的は、ソフトウエアネットワーキング(SDN)における制御プレーンの消費電力を性能低下なしに削減することができる制御システム、その構成制御装置および構成制御方法を提供することにある。
本発明による構成制御装置は、複数の制御ノードを有し、少なくとも1つの制御ノードがパケットハンドリング規則を送信することで複数のスイッチ装置の各々を制御する制御システムの構成制御装置であって、少なくとも1つのスイッチ装置を制御している使用中の制御ノードの負荷を監視する監視手段と、前記監視結果である負荷情報に基づいて制御ノードの使用数を変化させる制御手段と、を有することを特徴とする。
本発明による制御システムは、複数の制御ノードを有し、少なくとも1つの制御ノードがパケットハンドリング規則を送信することで複数のスイッチ装置の各々を制御する制御システムであって、少なくとも1つのスイッチ装置を制御している使用中の制御ノードの負荷を監視する監視手段と、前記監視結果である負荷情報に基づいて制御ノードの使用数を変化させる制御手段と、を有することを特徴とする。
本発明による構成制御方法は、複数の制御ノードを有し、少なくとも1つの制御ノードがパケットハンドリング規則を送信することで複数のスイッチ装置の各々を制御する制御システムの構成制御方法であって、監視手段が少なくとも1つのスイッチ装置を制御している使用中の制御ノードの負荷を監視し、制御手段が前記監視結果である負荷情報に基づいて制御ノードの使用数を変化させる、ことを特徴とする。
本発明によれば、制御ノードの負荷情報に基づいて制御ノードの使用数を変化させることで、ソフトウエアネットワーキング(SDN)における制御プレーンの消費電力を性能低下なしに削減することができる。
図1は本発明の一実施形態による分散型コントローラクラスタからなる制御システムを用いたソフトウエアネットワーキング(SDN)システムの概略的構成図である。 図2は本実施形態による分散型制御システムの構成方法を概略的に説明するための模式図である。 図3は本実施形態による制御システムの機能的構成例を示すブロック図である。 図4は本実施形態による分散型コントローラクラスタの構成制御方法の一例を示すフローチャートである。
本発明によれば、制御プレーンにおけるコントローラクラスタを構成するクラスタノードの使用数を制御負荷に応じて変更することにより、制御プレーンの制御性能を低下させることなく消費電力を削減することができる。以下、ソフトウエアネットワーキング(SDN)としてオープンフロー(OpenFlow)を取り上げ、本発明の一実施形態およびその具体的な構成例について詳細に説明する。
1.システム
図1に示すように、オープンフローシステムは制御プレーンとデータプレーンとに分離されている。ここでは、データプレーンがn個(n>1)のオープンフロースイッチOFS[1]〜OFS[n]に実装され、制御プレーンがオープンフロースイッチOFS[1]〜OFS[n]を制御する分散型コントローラクラスタ10に実装されているものとする。分散型コントローラクラスタ10は制御プレーンのサブネットを構成し、ここではm個(m>1)のクラスタノードCN[1]〜CN[m]が使用可能であるとする。
クラスタノードCN[1]〜CN[m]の各々はセキュアチャネル(Secure Channel)20で1個あるいは複数個のオープンフロースイッチと接続可能であり、接続されたオープンフロースイッチのフローテーブルをプログラムする。各クラスタノードは物理的な制御装置としてのサーバであり、後述するように、自ノードのオープンフローコントローラの負荷を監視する機能と、外部制御によりコントローラの起動/シャットダウン、セキュアチャネルの接続/切断を行う機能とを有する。
本実施形態によれば、m個(m>1)のクラスタノードCN[1]〜CN[m]のうち1つのノードがマスタノードMとして機能し、残りの(m−1)個のクラスタノードがスレーブノードS[1]〜S[m−1]として機能する。マスタノードMは、後述するように、任意のスレーブノードの起動/シャットダウン、当該スレーブノードのセキュアチャネルの接続/切断、当該スレーブノードへの/からのオープンフロースイッチ制御処理のテイクオーバ(引渡し/引継ぎ)などを自ノードの制御負荷に応じて動的に実行する。マスタノードMはノンストップで動作するので、特定の1つのクラスタノードをマスタノードMとして予め決定しておくことが望ましい。図1ではクラスタノードCN[1]がマスタノードMとなっている。ただし、マスタノードとしての機能を他の任意のクラスタノードへ移転することも可能である。以下、機能的観点から、分散型コントローラクラスタ10が単一のマスタノードMと少なくとも1個のスレーブノード(S[1]〜S[m−1])からなるものとして説明する。
2.システム動作
図2に示すように、本実施形態による制御システムでは、単一のマスタノードMが各クラスタノードの負荷を監視し、負荷状態に応じてスレーブノードへの制御の引き渡しあるいはスレーブノードからの制御の引継ぎを実行する。たとえば、マスタノードMが単独でオープンフロースイッチOFS[1]〜OFS[n]を制御し、定期的に自ノードの負荷を監視しているとする。
マスタノードMの制御負荷が処理能力を超える可能性が高くなると、マスタノードMはオープンフロースイッチの制御に使用されていないスレーブノード(S[1]とする。)を選択して起動し、負荷が最も大きいオープンフロースイッチOFS[j]の制御をスレーブノードS[1]へ引き渡す(ステップS31)。これにより、スレーブノードS[1]はオープンフロースイッチOFS[j]の制御を引き継ぎ、その分、マスタノードMの負荷が軽減する。マスタノードMとスレーブノードS[1]とは互いの管理データベースを同期させ、分散管理データベースクラスタを構成する。マスタノードMは、自ノードとスレーブノードS[1]の負荷状況をモニタしながら、マスタノードMの制御負荷が処理能力を超える可能性が高くなれば、負荷が最も大きいオープンフロースイッチOFSの制御を別の未使用スレーブノード(S[m−1]とする。)へ引き渡す(ステップS32)。これにより、スレーブノードS[m−1]はオープンフロースイッチOFS[k]の制御を引き継ぎ、その分、マスタノードMの負荷が軽減する。以下同様に、マスタノードMの制御負荷が処理能力を超える可能性が高くなるごとに、最大負荷のオープンフロースイッチOFSの制御を別の未使用スレーブノードSへ引き渡す、というテイクオーバ処理を繰り返す。
別の方法として、マスタノードMは、自ノードの制御負荷が処理能力を超える可能性が高くなるごとに、スレーブノードS[1]の処理能力の範囲内でオープンフロースイッチOFSの制御を当該スレーブノードへ順次引き渡すこともできる。この場合、スレーブノードS[1]の処理能力を超える可能性が高くなると判断すると、マスタノードMは、新たな未使用のスレーブノードS[m−1]を選択して起動し、負荷が最も大きいオープンフロースイッチOFS[k]の制御をスレーブノードS[m−1]へ引き渡す(ステップS32)。以下同様に、マスタノードMは、自ノード、スレーブノードS[1]およびS[m−1]の負荷状況をモニタしながら、マスタノードMおよび現在使用中のスレーブノードの制御負荷が処理能力を超える可能性が高くなれば、さらに別の未使用スレーブノードを起動し、負荷の大きいオープンフロースイッチOFSの制御を新たなスレーブノードへ引き渡す。
逆にマスタノードMの制御負荷が十分低くなれば、マスタノードMは、使用中のスレーブノードの中から最も小さい負荷で動作しているスレーブノードを選択し、選択されたスレーブノードのオープンフロースイッチ制御を処理する余裕があれば、その制御を引き継ぎ、当該選択されたスレーブノードをシャットダウンする(ステップS33、S34)。未使用のスレーブノードをシャットダウンすることで制御プレーンの電力消費量が低減する。
このように分散型コントローラクラスタ10で動作するスレーブノードの数を負荷状況に応じて増減させることにより、制御能力を低下させることなく制御プレーンの電力消費量を削減することができる。
3.クラスタノードの機能構成
図3に示すように、マスタノードMは、オープンフロースイッチを制御するオープンフローコントローラ101と管理情報を格納する管理データベース102とを有し、さらにマスタノードMの動作を制御するノード制御部103、オープンフローコントローラ101の負荷を監視する負荷モニタ104および動的なクラスタ構成を実行するクラスタ構成制御部105をそれぞれ機能的に備えている。負荷モニタ104はオープンフローコントローラ101の制御負荷を定期的に検出し、その平均値および増減傾向などから将来の予測負荷を負荷情報として生成してもよい。クラスタ構成制御部105は、所定の再構成しきい値High−THを予め格納し、後述するクラスタ構成機能およびオープンフロースイッチの制御のスレーブノードへの引渡しおよび引継ぎ機能を有する。再構成しきい値High−THは、マスタノードMのオープンフローコントローラ101の処理能力に依存して予め決定された値である。
なお、通信機能の図示は省略されている。またオープンフローコントローラ101、ノード制御部103、負荷モニタ104およびクラスタ構成制御部105のそれぞれの機能は、図示しないメモリに格納されたプログラムをコンピュータ(プログラム制御プロセッサ)上で実行することにより実現することができる。
スレーブノードS[i](i=1,2,・・・m−1)は、オープンフロースイッチを制御するオープンフローコントローラ201とローカルに使用される情報を格納する管理データベース202とを有し、さらにスレーブノードの動作を制御するノード制御部203と、オープンフローコントローラ201の負荷を監視する負荷モニタ204と、マスタノードMとの間でオープンフロースイッチ制御の引継ぎ/引渡しを制御するテイクオーバ制御部205とをそれぞれ機能的に備えている。負荷モニタ204はオープンフローコントローラ201の制御負荷を定期的に検出し、その平均値および増減傾向などから将来の予測負荷を負荷情報として生成してもよい。各スレーブノードのノード制御部203は自ノードの負荷情報をマスタノードMへ定期的に報告する。なお、通信機能の図示は省略されている。またオープンフローコントローラ201、ノード制御部203、負荷モニタ204、およびテイクオーバ制御部205のそれぞれの機能は、図示しないメモリに格納されたプログラムをコンピュータ(プログラム制御プロセッサ)上で実行することにより実現することができる。
マスタノードMのクラスタ構成制御部105は、全ての使用可能なスレーブノードと使用中のスレーブノードとを管理しており、負荷モニタ104からの自ノード負荷情報と使用中のスレーブノードからそれぞれ受信した負荷情報とを監視しながら、選択したスレーブノードとの間で制御信号のやりとりおよびデータベース情報の引継ぎなどを行う。以下、マスタノードMによるクラスタ構成制御について説明する。
4.クラスタ構成制御
図4において、マスタノードMのクラスタ構成制御部105は、全ての使用可能なスレーブノード数(m−1)と現在使用中のスレーブノードの数および識別情報とを管理し、負荷モニタ104により検出された負荷情報WL(mas)と使用中のスレーブノードからそれぞれ受信した負荷情報WL(S[・])とを定期的に監視する(ステップ301)。負荷情報が取得されると、クラスタ構成制御部105はマスタノードMの負荷情報WL(mas)が再構成しきい値High−THを超えているか否かを判断する(ステップ302)。
4.1)スレーブノードの追加
負荷情報WL(mas)が再構成しきい値High−THを超えている場合(ステップ302のYES)、クラスタ構成制御部105は現在使用中のスレーブノード数が全スレーブノード数m−1未満かどうかにより未使用スレーブノードの有無を判断する(ステップ303)。
未使用スレーブノードが存在すれば(ステップ303のYES)、1つの未使用スレーブノードS[p]を選択して起動する(ステップ304)。たとえば、クラスタ構成制御部105は、未使用スレーブノードS[p]を起動するために、wake-on-LANマジックパケットをスレーブノードS[p]へ送信する。スレーブノードS[p]のノード制御部203は、wake-on-LANマジックパケットを受信すると、テイクオーバ制御部205を起動し、マスタノードMからのオープンフロースイッチ制御の引継ぎを開始する。クラスタ構成制御部105はICMPエコーパケットを送信し、その応答をスレーブノードS[p]から受信することで、スレーブノードS[p]が正常に起動したことを確認する。正常に起動したことを確認すると、クラスタ構成制御部105はスレーブノードS[p]との間にTCPコネクションを確立し、このTCPコネクションに基づくパス解決やトポロジサービスのような上位レイヤアプリケーションを起動する。
スレーブノードS[p]を起動すると、クラスタ構成制御部105は、オープンフローコントローラ101が現在制御しているオープンフロースイッチのうち最も負荷が高いもの(OFS[j]とする。)を選択し、そのセキュアチャネルを切断するとともに(ステップ305)、スレーブノードS[p]に対してオープンフロースイッチOFS[j]とのセキュアチャネルの接続を指示する(ステップ306)。そして、クラスタ構成制御部105は当該スレーブノードS[p]を「使用中」に設定する。こうして、スレーブノードS[p]のテイクオーバ制御部205はオープンフロースイッチOFS[j]の制御をマスタノードMから引き継ぐ。未使用スレーブノードが存在しなかった場合(ステップ303のNO)あるいはオープンフロースイッチOFS[j]の制御の引継ぎが完了すれば、クラスタ構成制御部105は処理を終了する。
4.2)スレーブノードの排除
負荷情報WL(mas)が再構成しきい値High−TH以下である場合(ステップ302のNO)、クラスタ構成制御部105は、使用中のスレーブノードから報告された負荷情報を参照して、最も負荷が小さいスレーブノードS[q]を選択する(ステップ308)。続いて、クラスタ構成制御部105は、現在の負荷情報WL(mas)にスレーブノードS[q]の負荷情報WL(S[q])を加えた結果が再構成しきい値High−THより小さいか否かを判断する(ステップ309)。WL(mas)+WL(S[q])<High−THであれば(ステップ309のYES)、クラスタ構成制御部105は、スレーブノードS[q]が制御している全てのオープンフロースイッチ(OFS[k]とする。)のセキュアチャネルを切断すると共に(ステップ310)、マスタノードMのオープンコントローラ101とオープンフロースイッチOFS[k]とのセキュアチャネルを接続する(ステップ311)。そして、クラスタ構成制御部105は、スレーブノードS[q]に関する全てのアプリケーションを終了し、当該スレーブノードS[q]へシャットダウン指示を送信し、ICMPエコーパケットに対する応答がないことを確認して「未使用」に設定する(ステップ312)。
こうして、マスタノードMは、自身の処理能力に余裕があれば、最小負荷で動作しているスレーブノードからオープンフロースイッチの制御を引き継ぎ、当該スレーブノードをシャットダウンすることで制御プレーンの消費電力を削減することができる。スレーブノードのシャットダウンが完了した場合、あるいはWL(mas)+WL(S[q])がHigh−TH以上である場合(ステップ309のNO)、クラスタ構成制御部105は処理を終了する。
なお、マスタノードMのデータベース102と各スレーブノードS[i]のデータベース202とは同期するように互いに更新される。すなわち、スレーブノードS[i]のデータベース202において新たなフローエントリの生成あるいは既存のフローエントリの変更があれば、マスタノードMのデータベース102に反映される。逆に、マスタノードMのデータベース102において新たなフローエントリの生成あるいは既存のフローエントリの変更があれば、スレーブノードS[i]のデータベース202に反映される。
5.効果
上述したように、本実施形態によれば、マスタノードMが、自ノードの制御負荷に応じて、任意のスレーブノードの起動/シャットダウン、当該スレーブノードへのオープンフロースイッチ制御の引渡しあるいは当該スレーブノードからの引継ぎを動的に実行する。すなわち、分散型コントローラクラスタ10で動作するスレーブノードの数を負荷状況に応じて増減させることにより、制御能力を低下させることなく制御プレーンの電力消費量を削減することができる。
6.他の実施形態
上述した実施形態では、図3に示すように、クラスタ構成制御部105がマスタノードMに設けられているが、本発明はこれに限定されるものではない。他の実施形態として、クラスタ構成制御部105の機能を同じクラスタ内でクラスタノードとは別個のノードに設けることも可能である。その場合、クラスタ構成制御ノードとマスタノードMとの間の通信を除けば、基本的動作は上述した実施形態と同様である。
7.付記
上述した実施形態の一部あるいは全部は、以下の付記のようにも記載されうるが、これらに限定されるものではない。
(付記1)
複数の制御ノードを有し、少なくとも1つの制御ノードがパケットハンドリング規則を送信することで複数のスイッチ装置の各々を制御する制御システムの構成制御装置であって、
少なくとも1つのスイッチ装置を制御している使用中の制御ノードの負荷を監視する監視手段と、
前記監視結果である負荷情報に基づいて制御ノードの使用数を変化させる制御手段と、
を有することを特徴とする構成制御装置。
(付記2)
前記制御手段は、前記複数の制御ノードのうちの1つの制御ノードの負荷情報に基づいて、それ以外の制御ノードの使用数を変化させることを特徴とする付記1に記載の構成制御装置。
(付記3)
前記1つの制御ノードは常時使用中のノンストップノードであることを特徴とする付記2に記載の構成制御装置。
(付記4)
前記制御手段は、前記1つの制御ノードの負荷情報が所定負荷基準より高くなると、未使用の制御ノードを起動させ、当該起動された制御ノードが前記1つの制御ノードから少なくとも1つのスイッチ装置の制御を引き継ぐように制御することを特徴とする付記2または3に記載の構成制御装置。
(付記5)
前記制御手段は、前記1つの制御ノードの負荷情報が所定負荷基準より低くなると、前記1つの制御ノードが使用中の制御ノードから少なくとも1つのスイッチ装置の制御を引き継ぎ、当該使用中の制御ノードをシャットダウンするように制御する、ことを特徴とする付記2−4のいずれか1項に記載の構成制御装置。
(付記6)
複数の制御ノードを有し、少なくとも1つの制御ノードがパケットハンドリング規則を送信することで複数のスイッチ装置の各々を制御する制御システムであって、
少なくとも1つのスイッチ装置を制御している使用中の制御ノードの負荷を監視する監視手段と、
前記監視結果である負荷情報に基づいて制御ノードの使用数を変化させる制御手段と、
を有することを特徴とする制御システム。
(付記7)
前記監視手段および前記制御手段は、前記複数の制御ノードのうち常時使用中のノンストップノードに設けられていることを特徴とする付記6に記載の制御システム。
(付記8)
前記制御手段は、前記ノンストップノードの負荷情報に基づいて、それ以外の制御ノードの使用数を変化させることを特徴とする付記7に記載の制御システム。
(付記9)
前記制御手段は、前記ノンストップノードの負荷情報が所定負荷基準より高くなると、未使用の制御ノードを起動させ、当該起動された制御ノードが前記ノンストップノードから少なくとも1つのスイッチ装置の制御を引き継ぐように制御することを特徴とする付記7または8に記載の制御システム。
(付記10)
前記制御手段は、前記ノンストップノードの負荷情報が所定負荷基準より低くなると、前記ノンストップノードが使用中の制御ノードから少なくとも1つのスイッチ装置の制御を引き継ぎ、当該使用中の制御ノードをシャットダウンするように制御する、ことを特徴とする付記7−9のいずれか1項に記載の制御システム。
(付記11)
複数の制御ノードを有し、少なくとも1つの制御ノードがパケットハンドリング規則を送信することで複数のスイッチ装置の各々を制御する制御システムの構成制御方法であって、
監視手段が少なくとも1つのスイッチ装置を制御している使用中の制御ノードの負荷を監視し、
制御手段が前記監視結果である負荷情報に基づいて制御ノードの使用数を変化させる、
ことを特徴とする構成制御方法。
(付記12)
前記制御手段が、前記複数の制御ノードのうちの1つの制御ノードの負荷情報に基づいて、それ以外の制御ノードの使用数を変化させることを特徴とする付記11に記載の構成制御方法。
(付記13)
前記1つの制御ノードは常時使用中のノンストップノードであることを特徴とする付記12に記載の構成制御方法。
(付記14)
前記制御手段が、前記1つの制御ノードの負荷情報が所定負荷基準より高くなると、未使用の制御ノードを起動させ、当該起動された制御ノードが前記1つの制御ノードから少なくとも1つのスイッチ装置の制御を引き継ぐように制御することを特徴とする付記12または13に記載の構成制御方法。
(付記15)
前記制御手段が、前記1つの制御ノードの負荷情報が所定負荷基準より低くなると、前記1つの制御ノードが使用中の制御ノードから少なくとも1つのスイッチ装置の制御を引き継ぎ、当該使用中の制御ノードをシャットダウンするように制御する、ことを特徴とする付記12−14のいずれか1項に記載の構成制御方法。
(付記16)
複数の制御ノードを有し、少なくとも1つの制御ノードがパケットハンドリング規則を送信することで複数のスイッチ装置の各々を制御する制御システムの構成制御装置としてコンピュータを機能させるプログラムであって、
監視手段が少なくとも1つのスイッチ装置を制御している使用中の制御ノードの負荷を監視し、
制御手段が前記監視結果である負荷情報に基づいて制御ノードの使用数を変化させる、
ことを特徴とするプログラム。
(付記17)
前記制御手段が、前記複数の制御ノードのうちの1つの制御ノードの負荷情報に基づいて、それ以外の制御ノードの使用数を変化させることを特徴とする付記16に記載のプログラム。
(付記18)
前記1つの制御ノードは常時使用中のノンストップノードであることを特徴とする付記17に記載のプログラム。
(付記19)
前記制御手段が、前記1つの制御ノードの負荷情報が所定負荷基準より高くなると、未使用の制御ノードを起動させ、当該起動された制御ノードが前記1つの制御ノードから少なくとも1つのスイッチ装置の制御を引き継ぐように制御することを特徴とする付記17または18に記載のプログラム。
(付記20)
前記制御手段が、前記1つの制御ノードの負荷情報が所定負荷基準より低くなると、前記1つの制御ノードが使用中の制御ノードから少なくとも1つのスイッチ装置の制御を引き継ぎ、当該使用中の制御ノードをシャットダウンするように制御する、ことを特徴とする付記17−19のいずれか1項に記載のプログラム。
(付記21)
付記1−5のいずれか1項に記載の構成制御装置を備えた制御ノード。
本発明はソフトウエアネットワーキング(SDN)における分散型制御プレーンの制御システムに適用可能である。
10 分散型コントローラクラスタ
20 セキュアチャネル
101 オープンフローコントローラ
102 データベース
103 ノード制御部
104 負荷モニタ
105 クラスタ構成制御部
201 オープンフローコントローラ
202 データベース
203 ノード制御部
204 負荷モニタ
205 テイクオーバ制御部
CN クラスタノード
M マスタノード
S スレーブノード
OFS オープンフロースイッチ

Claims (10)

  1. 複数の制御ノードを有し、少なくとも1つの制御ノードがパケットハンドリング規則を送信することで複数のスイッチ装置の各々を制御する制御システムの構成制御装置であって、
    少なくとも1つのスイッチ装置を制御している使用中の制御ノードの負荷を監視する監視手段と、
    前記監視結果である負荷情報に基づいて制御ノードの使用数を変化させる制御手段と、
    を有することを特徴とする構成制御装置。
  2. 前記制御手段は、前記複数の制御ノードのうちの1つの制御ノードの負荷情報に基づいて、それ以外の制御ノードの使用数を変化させることを特徴とする請求項1に記載の構成制御装置。
  3. 前記1つの制御ノードは常時使用中のノンストップノードであることを特徴とする請求項2に記載の構成制御装置。
  4. 前記制御手段は、前記1つの制御ノードの負荷情報が所定負荷基準より高くなると、未使用の制御ノードを起動させ、当該起動された制御ノードが前記1つの制御ノードから少なくとも1つのスイッチ装置の制御を引き継ぐように制御することを特徴とする請求項2または3に記載の構成制御装置。
  5. 前記制御手段は、前記1つの制御ノードの負荷情報が所定負荷基準より低くなると、前記1つの制御ノードが使用中の制御ノードから少なくとも1つのスイッチ装置の制御を引き継ぎ、当該使用中の制御ノードをシャットダウンするように制御する、ことを特徴とする請求項2−4のいずれか1項に記載の構成制御装置。
  6. 複数の制御ノードを有し、少なくとも1つの制御ノードがパケットハンドリング規則を送信することで複数のスイッチ装置の各々を制御する制御システムであって、
    少なくとも1つのスイッチ装置を制御している使用中の制御ノードの負荷を監視する監視手段と、
    前記監視結果である負荷情報に基づいて制御ノードの使用数を変化させる制御手段と、
    を有することを特徴とする制御システム。
  7. 前記監視手段および前記制御手段は、前記複数の制御ノードのうち常時使用中のノンストップノードに設けられていることを特徴とする請求項6に記載の制御システム。
  8. 複数の制御ノードを有し、少なくとも1つの制御ノードがパケットハンドリング規則を送信することで複数のスイッチ装置の各々を制御する制御システムの構成制御方法であって、
    監視手段が少なくとも1つのスイッチ装置を制御している使用中の制御ノードの負荷を監視し、
    制御手段が前記監視結果である負荷情報に基づいて制御ノードの使用数を変化させる、
    ことを特徴とする構成制御方法。
  9. 複数の制御ノードを有し、少なくとも1つの制御ノードがパケットハンドリング規則を送信することで複数のスイッチ装置の各々を制御する制御システムの構成制御装置としてコンピュータを機能させるプログラムであって、
    監視手段が少なくとも1つのスイッチ装置を制御している使用中の制御ノードの負荷を監視し、
    制御手段が前記監視結果である負荷情報に基づいて制御ノードの使用数を変化させる、
    ことを特徴とするプログラム。
  10. 請求項1−5のいずれか1項に記載の構成制御装置を備えた制御ノード。
JP2011163883A 2011-07-27 2011-07-27 スイッチ装置の制御システム、その構成制御装置および構成制御方法 Active JP5910811B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011163883A JP5910811B2 (ja) 2011-07-27 2011-07-27 スイッチ装置の制御システム、その構成制御装置および構成制御方法
US13/402,776 US20130028091A1 (en) 2011-07-27 2012-02-22 System for controlling switch devices, and device and method for controlling system configuration
US15/338,271 US20170048123A1 (en) 2011-07-27 2016-10-28 System for controlling switch devices, and device and method for controlling system configuration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011163883A JP5910811B2 (ja) 2011-07-27 2011-07-27 スイッチ装置の制御システム、その構成制御装置および構成制御方法

Publications (2)

Publication Number Publication Date
JP2013030863A true JP2013030863A (ja) 2013-02-07
JP5910811B2 JP5910811B2 (ja) 2016-04-27

Family

ID=47597135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011163883A Active JP5910811B2 (ja) 2011-07-27 2011-07-27 スイッチ装置の制御システム、その構成制御装置および構成制御方法

Country Status (2)

Country Link
US (2) US20130028091A1 (ja)
JP (1) JP5910811B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014125760A1 (ja) * 2013-02-18 2014-08-21 日本電気株式会社 通信システム
WO2014143118A1 (en) * 2013-03-15 2014-09-18 Hewlett-Packard Development Company, L.P. Loop-free hybrid network
WO2014157512A1 (ja) * 2013-03-29 2014-10-02 日本電気株式会社 仮想マシン提供システム、経路決定装置、経路制御方法及びプログラム
WO2014165697A1 (en) * 2013-04-03 2014-10-09 Hewlett-Packard Development Company, L.P. Prioritizing at least one flow class for an application on a software defined networking controller
KR101465884B1 (ko) * 2013-06-27 2014-11-26 고려대학교 산학협력단 소프트웨어 정의 네트워크에서의 확률적 컨트롤러 선택 방법 및 장치
KR101478944B1 (ko) 2014-02-24 2015-01-02 연세대학교 산학협력단 복수의 컨트롤러를 구비한 소프트웨어 정의 네트워크에서 스위치 접속 변경 방법
CN104579801A (zh) * 2015-02-10 2015-04-29 广州市品高软件开发有限公司 一种软件定义网络控制器集群的调度方法
KR101519524B1 (ko) * 2013-12-23 2015-05-13 아토리서치(주) 소프트웨어 정의 네트워크에서 제어 장치 및 그 동작 방법
US10644950B2 (en) 2014-09-25 2020-05-05 At&T Intellectual Property I, L.P. Dynamic policy based software defined network mechanism

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501544B1 (en) * 2012-09-25 2016-11-22 EMC IP Holding Company LLC Federated backup of cluster shared volumes
US20140115126A1 (en) * 2012-10-19 2014-04-24 Electronics And Telecommunications Research Institute System for controlling and verifying open programmable network and method thereof
US9166869B2 (en) * 2013-01-14 2015-10-20 International Business Machines Corporation Management of distributed network switching cluster
CN105009514A (zh) * 2013-03-15 2015-10-28 惠普发展公司,有限责任合伙企业 基于能量的网络重构
US9363204B2 (en) * 2013-04-22 2016-06-07 Nant Holdings Ip, Llc Harmonized control planes, systems and methods
WO2014179923A1 (zh) * 2013-05-06 2014-11-13 华为技术有限公司 基于sdn的网络配置方法、装置及系统
KR20140134943A (ko) * 2013-05-15 2014-11-25 삼성전자주식회사 통신 망에서 소프트웨어 정의 네트워크를 이용한 데이터 전달 장치 및 방법
KR20140134998A (ko) 2013-05-15 2014-11-25 삼성전자주식회사 통신 시스템에서 음성 서비스 성능 향상을 위한 방법 및 장치
CN104243337B (zh) * 2013-06-09 2017-09-01 新华三技术有限公司 一种跨集群负载均衡的方法及装置
WO2014202021A1 (en) * 2013-06-20 2014-12-24 Huawei Technologies Co., Ltd. A method and network apparatus of establishing path
CN103346904B (zh) * 2013-06-21 2016-03-30 西安交通大学 一种容错的OpenFlow多控制器系统及其控制方法
KR102088721B1 (ko) * 2013-06-25 2020-03-13 삼성전자주식회사 SDN 기반 LTE Network 구조 및 동작 방안
CN104468415A (zh) * 2013-09-16 2015-03-25 中兴通讯股份有限公司 上报交换机类型的方法及装置
US9288143B2 (en) * 2013-10-14 2016-03-15 Hewlett Packard Enterprise Development Lp Data flow path determination
US10212083B2 (en) 2013-10-30 2019-02-19 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Openflow data channel and control channel separation
US9906439B2 (en) 2013-11-01 2018-02-27 Futurewei Technologies, Inc. Ad-hoc on-demand routing through central control
US9608932B2 (en) 2013-12-10 2017-03-28 International Business Machines Corporation Software-defined networking single-source enterprise workload manager
WO2015094040A1 (en) * 2013-12-18 2015-06-25 Telefonaktiebolaget L M Ericsson (Publ) Method and control node for handling data packets
US9246770B1 (en) 2013-12-30 2016-01-26 Google Inc. System and method for determining a primary controller in software defined networking
US9397917B2 (en) * 2014-01-10 2016-07-19 Huawei Technologies Co., Ltd. System and method for zoning in software defined networks
US9438435B2 (en) 2014-01-31 2016-09-06 Intenational Business Machines Corporation Secure, multi-tenancy aware and bandwidth-efficient data center multicast
US9774502B2 (en) * 2014-06-25 2017-09-26 Ciena Corporation Systems and methods for combined software defined networking and distributed network control
CN105991311A (zh) * 2015-01-30 2016-10-05 中兴通讯股份有限公司 光传送网otn设备告警的处理方法及装置
CN104579975B (zh) * 2015-02-10 2018-01-05 广州市品高软件股份有限公司 一种软件定义网络控制器集群的调度方法
JP6762736B2 (ja) 2015-03-16 2020-09-30 晶元光電股▲ふん▼有限公司Epistar Corporation 光反射層付光半導体素子、および、光反射層および蛍光体層付光半導体素子の製造方法
US11941462B2 (en) 2015-03-23 2024-03-26 Middleware, Inc. System and method for processing data of any external services through API controlled universal computing elements
US11237835B2 (en) * 2015-03-23 2022-02-01 Middleware, Inc. System and method for processing data of any external services through API controlled universal computing elements
JP2016219859A (ja) * 2015-05-14 2016-12-22 富士通株式会社 コントローラ、コントローラの制御装置、及び、制御方法
US10015115B2 (en) 2015-06-01 2018-07-03 Ciena Corporation Software defined networking service control systems and methods of remote services
CN106656905B (zh) * 2015-10-28 2020-02-21 新华三技术有限公司 防火墙集群实现方法及装置
US10719107B2 (en) * 2016-03-29 2020-07-21 Intel Corporation Method and apparatus to maintain node power budget for systems that share a power supply
CN106130796B (zh) * 2016-08-29 2018-05-29 广州西麦科技股份有限公司 Sdn网络拓扑流量可视化监控方法及控制终端
US10826796B2 (en) 2016-09-26 2020-11-03 PacketFabric, LLC Virtual circuits in cloud networks
US10447535B2 (en) * 2017-02-02 2019-10-15 Nicira, Inc. Consistent processing of transport node network data in a physical sharding architecture
US11327811B2 (en) * 2017-07-06 2022-05-10 Centurylink Intellectual Property Llc Distributed computing mesh
CN108919762B (zh) * 2018-07-06 2021-05-25 东莞市李群自动化技术有限公司 基于工业以太网的控制方法及装置
US10798024B2 (en) * 2018-12-18 2020-10-06 Arista Networks, Inc. Communicating control plane data and configuration data for network devices with multiple switch cards
CN109996300B (zh) * 2019-03-29 2020-10-27 西安交通大学 一种基于sdn架构的无线移动网络切换管理方法
CN112003763B (zh) * 2020-08-07 2022-05-24 山东英信计算机技术有限公司 网络链路的监测方法、监测装置、监测设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302242A (ja) * 1994-04-30 1995-11-14 Mitsubishi Electric Corp 負荷分散方式
JP2006135975A (ja) * 2004-11-01 2006-05-25 Lucent Technol Inc SoftRouterプロトコルの分離
JP2010045503A (ja) * 2008-08-11 2010-02-25 Nippon Telegr & Teleph Corp <Ntt> パケット転送システムおよびパケット転送方法
JP2011013822A (ja) * 2009-06-30 2011-01-20 Nec Corp 情報システム、制御装置、そのデータ処理方法およびプログラム
WO2011065268A1 (ja) * 2009-11-26 2011-06-03 日本電気株式会社 負荷分散システム、負荷分散方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664107A (en) * 1992-10-13 1997-09-02 Bay Networks, Inc. Method for providing for automatic topology discovery in an ATM network or the like
US20050078024A1 (en) * 2003-10-09 2005-04-14 Honeywell International Inc. Digital current limiter
JP4270024B2 (ja) * 2004-05-21 2009-05-27 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置及び画像形成方法
US7446430B2 (en) * 2005-03-31 2008-11-04 Silicon Laboratories Inc. Plural load distributed power supply system with shared master for controlling remote digital DC/DC converters
US8799431B2 (en) * 2005-08-15 2014-08-05 Toutvirtual Inc. Virtual systems management
US20070253437A1 (en) * 2006-04-28 2007-11-01 Ramesh Radhakrishnan System and method for intelligent information handling system cluster switches
JP2007304687A (ja) * 2006-05-09 2007-11-22 Hitachi Ltd クラスタ構成とその制御手段
JP4806362B2 (ja) * 2007-02-14 2011-11-02 富士通株式会社 並列処理制御プログラム、並列処理制御システムおよび並列処理制御方法
US8370721B2 (en) * 2008-11-11 2013-02-05 Celtro Ltd Method and system for sensing available bandwidth over a best effort connection
JP4650573B2 (ja) * 2009-01-22 2011-03-16 ソニー株式会社 通信装置、通信システム、プログラム、および通信方法
US9674074B2 (en) * 2011-04-08 2017-06-06 Gigamon Inc. Systems and methods for stopping and starting a packet processing task

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302242A (ja) * 1994-04-30 1995-11-14 Mitsubishi Electric Corp 負荷分散方式
JP2006135975A (ja) * 2004-11-01 2006-05-25 Lucent Technol Inc SoftRouterプロトコルの分離
JP2010045503A (ja) * 2008-08-11 2010-02-25 Nippon Telegr & Teleph Corp <Ntt> パケット転送システムおよびパケット転送方法
JP2011013822A (ja) * 2009-06-30 2011-01-20 Nec Corp 情報システム、制御装置、そのデータ処理方法およびプログラム
WO2011065268A1 (ja) * 2009-11-26 2011-06-03 日本電気株式会社 負荷分散システム、負荷分散方法、及びプログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014158225A (ja) * 2013-02-18 2014-08-28 Nec Corp 通信システム
WO2014125760A1 (ja) * 2013-02-18 2014-08-21 日本電気株式会社 通信システム
WO2014143118A1 (en) * 2013-03-15 2014-09-18 Hewlett-Packard Development Company, L.P. Loop-free hybrid network
US9917766B2 (en) 2013-03-15 2018-03-13 Hewlett Packard Enterprise Development Lp Loop-free hybrid network
WO2014157512A1 (ja) * 2013-03-29 2014-10-02 日本電気株式会社 仮想マシン提供システム、経路決定装置、経路制御方法及びプログラム
WO2014165697A1 (en) * 2013-04-03 2014-10-09 Hewlett-Packard Development Company, L.P. Prioritizing at least one flow class for an application on a software defined networking controller
KR101465884B1 (ko) * 2013-06-27 2014-11-26 고려대학교 산학협력단 소프트웨어 정의 네트워크에서의 확률적 컨트롤러 선택 방법 및 장치
KR101519524B1 (ko) * 2013-12-23 2015-05-13 아토리서치(주) 소프트웨어 정의 네트워크에서 제어 장치 및 그 동작 방법
KR101478944B1 (ko) 2014-02-24 2015-01-02 연세대학교 산학협력단 복수의 컨트롤러를 구비한 소프트웨어 정의 네트워크에서 스위치 접속 변경 방법
US10135744B2 (en) 2014-04-03 2018-11-20 Hewlett Packard Enterprise Development Lp Prioritizing at least one flow class for an application on a software defined networking controller
US10644950B2 (en) 2014-09-25 2020-05-05 At&T Intellectual Property I, L.P. Dynamic policy based software defined network mechanism
US11533232B2 (en) 2014-09-25 2022-12-20 At&T Intellectual Property I, L.P. Dynamic policy based software defined network mechanism
CN104579801B (zh) * 2015-02-10 2018-01-16 广州市品高软件股份有限公司 一种软件定义网络控制器集群的调度方法
CN104579801A (zh) * 2015-02-10 2015-04-29 广州市品高软件开发有限公司 一种软件定义网络控制器集群的调度方法

Also Published As

Publication number Publication date
JP5910811B2 (ja) 2016-04-27
US20130028091A1 (en) 2013-01-31
US20170048123A1 (en) 2017-02-16

Similar Documents

Publication Publication Date Title
JP5910811B2 (ja) スイッチ装置の制御システム、その構成制御装置および構成制御方法
US20110029659A1 (en) Method and System for Network Proxy Services for Energy Efficient Networking
CN101009628A (zh) 一种交换网络拓扑变化时组播表项更新的方法及装置
CN101594383B (zh) 一种双控制器存储系统的服务和控制器状态监控方法
CN104038570B (zh) 一种数据处理方法及装置
WO2012037787A1 (zh) 一种云计算中终端接入和管理的方法及系统
JP5858144B2 (ja) 情報処理システム、障害検知方法および情報処理装置
WO2011143876A1 (zh) 业务节点主备切换方法和装置
JP2010161501A (ja) ネットワークの管理システム及び管理方法
EP3291487A1 (en) Method for processing virtual machine cluster and computer system
JP6179101B2 (ja) 管理装置、管理方法、および管理プログラム
JP5773166B2 (ja) 計算機の制御方法、計算機及び計算機システム
JP5355534B2 (ja) ネットワーク集線装置及び電力制御方法
WO2016053225A1 (en) Dynamic allocation of flow table capacity
JP5252571B2 (ja) ネットワークの管理システム及び管理方法
JP5601428B1 (ja) 仮想化システム、制御方法、および制御プログラム
KR101358995B1 (ko) 고가용성 관리 방법 및 시스템
US20150169033A1 (en) Systems and methods for power management in stackable switch
JP2018056633A (ja) クラスタシステム、サーバ、サーバの動作方法、及びプログラム
JP6118464B2 (ja) ポートステータス同期化方法、関連のデバイス、及びシステム
JP2013025765A (ja) マスター/スレーブシステム、制御装置、マスター/スレーブ切替方法、および、マスター/スレーブ切替プログラム
JP2007243467A (ja) ブレード型システムおよびコネクション管理方法
JP2015041938A (ja) ネットワーク制御方法
CN113794765A (zh) 基于文件传输的网闸负载均衡方法及装置
JP5631285B2 (ja) 障害監視システムおよび障害監視方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150416

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160104

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160315

R150 Certificate of patent or registration of utility model

Ref document number: 5910811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150