JP2014519213A - 通信システム、制御装置、転送ノード、通信システムの制御方法およびプログラム - Google Patents

通信システム、制御装置、転送ノード、通信システムの制御方法およびプログラム Download PDF

Info

Publication number
JP2014519213A
JP2014519213A JP2013554698A JP2013554698A JP2014519213A JP 2014519213 A JP2014519213 A JP 2014519213A JP 2013554698 A JP2013554698 A JP 2013554698A JP 2013554698 A JP2013554698 A JP 2013554698A JP 2014519213 A JP2014519213 A JP 2014519213A
Authority
JP
Japan
Prior art keywords
packet
tunnel establishment
control
control information
forwarding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013554698A
Other languages
English (en)
Other versions
JP5987841B2 (ja
Inventor
俊夫 小出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2013554698A priority Critical patent/JP5987841B2/ja
Publication of JP2014519213A publication Critical patent/JP2014519213A/ja
Application granted granted Critical
Publication of JP5987841B2 publication Critical patent/JP5987841B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/15Interconnection of switching modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46Interconnection of networks
    • H04L12/4633Interconnection of networks using encapsulation techniques, e.g. tunneling

Abstract

【課題】制御装置と各転送ノードとを含むネットワークを用いて、集中制御型ネットワークの制御チャネルを構築する場合における制御情報の転送負荷の軽減。
【解決手段】通信システムは、パケットと照合する照合規則と前記照合規則に適合するパケットに適用する処理とを定めた処理規則に従って受信パケットを処理する複数の転送ノードと、制御情報を用いて前記転送ノードを制御する制御装置と、を含む。前記制御装置は、前記各転送ノードについてそれぞれ前記制御情報の転送経路を決定し、各転送経路上の転送ノードに設定する前記制御情報の転送用の処理規則を含むトンネル確立メッセージを前記転送ノードに送信するトンネル確立部を備える。前記各転送ノードは、前記トンネル確立メッセージに含まれる前記制御情報の転送用の処理規則を保持して、前記制御装置と制御情報を授受する。
【選択図】図1

Description

(関連出願についての記載)
本発明は、日本国特許出願:特願2011−124263号(2011年6月2日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、通信システム、制御装置、転送ノード、通信システムの制御方法およびプログラムに関し、特に、制御装置が制御情報を用いて、ネットワークに配置された転送ノードを制御する通信システム、制御装置、転送ノード、通信システムの制御方法およびプログラムに関する。
制御装置が転送ノードを集中制御する通信システムとしては、オープンフロー(OpenFlow)という技術が知られている(特許文献1、非特許文献1、2参照)。オープンフローは、通信をエンドツーエンドのフローとして捉え、フロー単位で経路制御、障害回復、負荷分散、最適化を行うものである。非特許文献2に仕様化されているオープンフロースイッチは、制御装置と位置付けられるオープンフローコントローラとの通信用のセキュアチャネルを備え、オープンフローコントローラから適宜追加または書き換え指示されるフローテーブルに従って動作する。フローテーブルには、フロー毎に、パケットヘッダと照合するマッチングルール(ヘッダフィールド)と、フロー統計情報(Counters)と、処理内容を定義したアクション(Actions)と、の組が定義される(図12参照)。
例えば、オープンフロースイッチは、パケットを受信すると、フローテーブルから、受信パケットのヘッダ情報に適合するマッチングルール(図12のヘッダフィールド参照)を持つエントリを検索する。検索の結果、受信パケットに適合するエントリが見つかった場合、オープンフロースイッチは、フロー統計情報(カウンタ)を更新するとともに、受信パケットに対して、当該エントリのアクションフィールドに記述された処理内容(指定ポートからのパケット送信、フラッディング、廃棄等)を実施する。一方、前記検索の結果、受信パケットに適合するエントリが見つからなかった場合、オープンフロースイッチは、セキュアチャネルを介して、オープンフローコントローラに対して受信パケットを転送し、受信パケットの送信元・送信先に基づいたパケットの経路の決定を依頼し、これを実現するフローエントリを受け取ってフローテーブルを更新する。このように、オープンフロースイッチは、フローテーブルに格納されたエントリを処理規則として用いてパケット転送を行っている。
非特許文献3に、上記のようなオープンフローネットワークにおけるセキュアチャネルを、特殊フレームとソースルーティングを用いて実ネットワーク上に構築することが提案されている(以下、この実ネットワーク上に構築された制御チャネルを「インバンド・セキュアチャネル」と称する。)。
国際公開第2008/095010号 特表2009−510566号公報
Nick McKeownほか7名、"OpenFlow: Enabling Innovation in Campus Networks"、[online]、[平成23(2011)年5月26日検索]、インターネット〈URL: http://www.openflow.org/documents/openflow-wp-latest.pdf〉 "OpenFlow Switch Specification" Version 1.0.0. (Wire Protocol 0x01) [平成23(2011)年5月26日検索]、インターネット〈URL:http://www.openflow.org/documents/openflow-spec-v1.0.0.pdf〉 小出 俊夫、下西 英之、「OpenFlowネットワークにおける制御ネットワークの構築自動化に関する一検討」、信学技報、社団法人電子情報通信学会、NS2009−165(2010−3)、Vol.109、 No.448、pp.19−24、2010年3月
以下の分析は、本発明によって与えられたものである。今後、上記非特許文献3の手法等を用いることで、企業や家庭において、制御専用ネットワークを用意しなくとも、インバンド・セキュアチャネルを用いて、上記オープンフローに準拠したネットワークを構築することが可能となる。
上記インバンド・セキュアチャネルは、オープンフローコントローラとして機能する制御装置と、オープンフロースイッチとして機能する転送ノードとの間で確立される。非特許文献3では、ソースルーティングを用いて上記インバンド・セキュアチャネルを構築することが提案されている。
しかしながら、ソースルーティングを用いる非特許文献3の方式では転送ノードのソフトウェア処理に頼っているため、特に、転送ノードの数が多く、インバンド・セキュアチャネルが複数の転送ノードを経由して確立される場合には、ルート側の転送ノードでの転送負荷が高まりやすいという問題点がある。このため、制御装置とすべての転送ノードが直接接続するインバンド・セキュアチャネルを用いない構成と比べて、制御情報の送受信の遅延が増すなどして、ネットワーク全体の性能が劣化する可能性がある。
本発明の目的とするところは、上記インバンド・セキュアチャネルを用いてオープンフローに代表される集中制御型ネットワークを構築する場合における、制御情報の転送負荷を軽減できる構成を提供することにある。
本発明の第1の視点によれば、パケットと照合する照合規則と前記照合規則に適合するパケットに適用する処理とを定めた処理規則に従って受信パケットを処理する複数の転送ノードと、制御情報を用いて前記転送ノードを制御する制御装置と、を含み、前記制御装置は、前記各転送ノードについてそれぞれ前記制御情報の転送経路を決定し、各転送経路上の転送ノードに設定する前記制御情報の転送用の処理規則を含むトンネル確立メッセージを前記転送ノードに送信するトンネル確立部を備え、前記各転送ノードは、前記トンネル確立メッセージに含まれる前記制御情報の転送用の処理規則を保持して、前記制御装置と制御情報を授受する通信システムが提供される。
本発明の第2の視点によれば、パケットと照合する照合規則と前記照合規則に適合するパケットに適用する処理とを定めた処理規則に従って受信パケットを処理する複数の転送ノードと接続され、前記各転送ノードについてそれぞれ制御情報の転送経路を決定し、各転送経路上の転送ノードに設定する前記制御情報の転送用の処理規則を含むトンネル確立メッセージを前記転送ノードに送信するトンネル確立部を備える制御装置が提供される。
本発明の第3の視点によれば、パケットと照合する照合規則と前記照合規則に適合するパケットに適用する処理とを定めた処理規則に従って受信パケットを処理する複数の転送ノードと、制御情報を用いて前記転送ノードを制御する制御装置と、を含む通信システムにおいて、前記制御装置が、前記各転送ノードについてそれぞれ前記制御情報の転送経路を決定し、各転送経路上の転送ノードに設定する前記制御情報の転送用の処理規則を含むトンネル確立メッセージを前記転送ノードに送信するステップと、前記各転送ノードが、前記トンネル確立メッセージに含まれる前記制御情報の転送用の処理規則を保持して、前記制御装置と制御情報を授受するステップと、を含む通信システムの制御方法が提供される。本方法は、前記制御装置と転送ノードとを含む通信システムという、特定の機械に結びつけられている。
本発明の第4の視点によれば、パケットと照合する照合規則と前記照合規則に適合するパケットに適用する処理とを定めた処理規則に従って受信パケットを処理する複数の転送ノードと、制御情報を用いて前記転送ノードを制御する制御装置と、を含む通信システムに含まれるコンピュータに、前記各転送ノードについてそれぞれ前記制御情報の転送経路を決定する処理と、前記各転送経路上の転送ノードに設定する前記制御情報の転送用の処理規則を含むトンネル確立メッセージを前記転送ノードに送信する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
本発明によれば、上記したインバンド・セキュアチャネルを用いて、オープンフローに代表される集中制御型ネットワークを構築する場合における制御情報の転送負荷を軽減することが可能になる。
本発明の一実施形態の概要を説明するための図である。 図1の制御装置と各転送ノード間にトンネルが確立された状態を示す図である。 本発明の第1の実施形態に係る通信システムの構成を示す図である。 本発明の第1の実施形態の制御装置が設定するトンネル確立区間とポート系列の対応関係の例である。 本発明の第1の実施形態の制御装置の動作を説明するための流れ図である。 本発明の第1の実施形態の制御情報の流れを説明するための参考図である。 本発明の第1の実施形態の制御情報の流れを説明するための参考図である。 本発明の第1の実施形態のトンネル確立区間を実現するために各転送ノードに設定する処理規則の例である。 本発明の第1の実施形態の制御情報の流れを説明するための参考図である。 本発明の第2の実施形態に係る通信システムの構成を示す図である。 本発明の第2の実施形態の制御情報の流れを説明するための参考図である。 非特許文献2に記載のフローエントリの構成を表した図である。
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。
本発明の一実施形態は、図1に示すように、複数の転送ノード20A〜転送ノード20Dと、これらの転送ノードを制御する制御装置10Aとを含む構成にて実現できる。なお、図1では、通信システムが4つの転送ノード20A〜20Dを備える場合を例示しているが、転送ノードの台数や、転送ノードの接続関係は特に限定されない。また、図1では、制御装置10Aに2台の転送ノード20A、20Bが接続されている例を示しているが、制御装置10Aに接続される転送ノードの台数は1台であっても、3台以上であってもよい。制御装置10Aには、少なくとも1台の転送ノードが接続されていればよい。
制御装置10Aは、制御情報を用いて前記転送ノードを制御する転送ノード制御部16と、各転送ノードについてそれぞれ前記制御情報の転送経路を決定し、各転送経路上の転送ノードに設定する前記制御情報の転送用の処理規則を含むトンネル確立メッセージを前記転送ノードに送信するトンネル確立部15と、を備えて構成される。
トンネル確立部15は、非特許文献3の手法等を用いることで、転送ノード20A〜20Dの存在や接続関係の把握、制御装置10Aと各転送ノードの間の制御情報の転送経路の計算と、当該転送経路を実現する制御情報の転送用の処理規則を含むトンネル確立メッセージを各転送ノードに送信する。前記制御情報の転送用の処理規則は、転送ノード制御部16から各転送ノード20A〜20Dに宛てられた制御情報を一意に特定することのできるような照合規則と、転送ノード20A〜20Dのうち宛先の転送ノードに該制御情報を転送させる処理とが設定される。
各転送ノード20A〜20Dは、それぞれ、パケットと照合する照合規則と前記照合規則に適合するパケットに適用する処理とを定めた処理規則を記憶する処理規則記憶部24と、前記処理規則に従って受信パケットを処理するパケット処理部21と、前記制御装置10Aから送信されたトンネル確立メッセージに含まれる前記制御情報の転送用の処理規則を抽出して、前記処理規則記憶部24に記憶させるメッセージ処理部26とを備えて構成される。
前記トンネル確立部15による各転送ノード20A〜20Dの処理規則記憶部24への制御情報の転送用の処理規則の設定が完了すると、図2に示すように、制御装置10Aと、転送ノード20A〜20D間にそれぞれ独立したトンネル100a〜100dが確立される。
その後、転送ノード制御部16が、転送ノード20A〜20Dのうち宛先の転送ノードに制御情報を含んだパケットを送信すると、制御情報は、各転送ノード20A〜20Dに設定された制御情報の転送用の処理規則に従って、目的とする転送ノードに転送される。その後は、前記制御情報によって、転送ノードからの求めに応じて、一般のデータパケットを転送するための処理規則が各転送ノードに設定されることになる。
以上のように、本発明の一実施形態によれば、非特許文献3のように、ソースルーティングを用いて制御情報を送信するのはトンネル確立までであり、その後は、非特許文献1、2のオープンフロースイッチのような処理規則による制御情報の授受が実現される。従って、転送ノードの数が多い場合でも、制御情報の転送経路上にある転送ノードにおける制御情報の転送負荷を軽減することが可能となる。
なお、トンネル確立メッセージに前記制御情報の転送用の処理規則を含める形態としては、個々の転送ノードに対して、制御情報の転送用の処理規則を含んだトンネル確立メッセージを送信する形態のほか、種々の形態を採ることができる。例えば、1つのトンネル確立メッセージに、複数の転送ノードに設定する処理規則を格納する形態が考えられる。この場合、個々の転送ノードが自装置に設定すべき処理規則を特定できるように、転送ノードの識別情報や制御装置10Aからのホップカウントなどを含めるようにすることができる。また、転送経路の経路順に処理規則を並べて格納し、転送ノードが順次、自装置に設定した処理規則を削除したり、無効化する形態なども考えられる。また、トンネル確立メッセージに、その転送経路上の処理規則の設定対象の転送ノードを特定するフラグを設けたり、転送経路の終端にある転送ノードが処理規則の設定対象であることを示すフラグ等を設けても良い。
[第1の実施形態]
続いて、本発明の第1の実施形態について図面を参照して詳細に説明する。図3は、本発明の第1の実施形態に係る通信システムの構成を示す図である。図3を参照すると、制御装置10と、二つの転送ノード20a、20bとを含む構成が示されている。なお、制御装置10と転送ノード20aと転送ノード20b間に付した#1、#2等は、ポート番号を表わしている。
制御装置10は、その出力ポート#1を介して転送ノード20aと接続されている。また、転送ノード20aは、その出力ポート#1を介して制御装置10と接続され、その出力ポート#2を介して転送ノード20bと接続されている。さらに、転送ノード20bは、その出力ポート#2を介して転送ノード20aと接続されている。
制御装置10は、トンネル確立パケット生成部11と、トンネル確立パケット送受信部12と、トンネリング部13と、制御パケット送受信部14とを備えて構成される。
トンネル確立パケット生成部11は、トンネル確立パケットを生成し、その送信および受信を制御する。具体的には、トンネル確立パケット生成部11は、非特許文献3の手法等を用いることで、トンネル確立パケットを用いて転送ノードと対話し、転送ノード20a〜20dの存在や接続関係を把握し、制御装置10と各転送ノードの間のトンネルとなる制御情報の転送用の転送経路を計算し、最終的には、当該転送経路を実現する処理規則を含んだトンネル確立パケットを生成する。以下、本実施形態では、制御装置10と各転送ノードの間で制御情報を授受するパケットのうち、ソースルーティングを用いる非特許文献3の方式等を用いて授受されるパケットを「トンネル確立パケット」と呼び、各転送ノードに設定された処理規則により授受されるパケットを「制御パケット」と呼ぶ。
図4は、図3のように、制御装置10に対し、転送ノード20a、転送ノード20bが直列に接続されている場合における制御装置10と各転送ノード間のトンネル確立区間と、その際にトンネル確立パケット生成部11が算出するポート系列の例である。例えば、制御装置10から転送ノード20aへの制御情報を送るトンネルは、制御装置10のポート#1によって特定される。また、制御装置10から転送ノード20bへの制御情報を送るトンネルは、制御装置10のポート#1、転送ノード20aのポート#2というポート系列によって特定される。
トンネル確立パケット送受信部12は、トンネル確立パケット生成部11の指示に従って、トンネル確立パケットの送受信を行う。
以下、本実施形態では、トンネル確立パケットは、EtherTypeフィールドの値を0x1F03とし、宛先MACアドレスをブロードキャストアドレスとし、データ領域に、経路情報として、出力ポート系列や、起点からのホップ数を示し、各転送ノードで更新されるホップカウントを含むものとする。ただし、トンネル確立パケットの構成はあくまで一例であり、データプレーンで送受信されるパケットと区別可能であり、ソースルーティングに必要な情報を含んでいれば、形式はこれに限らない。
トンネリング部13は、制御装置10と各転送ノード20a〜20dとの間で授受する制御情報をトンネリングする。具体的には、トンネリング部13は、トンネル確立パケット送受信部12または制御パケット送受信部14に対して、宛先の転送ノードを指定して制御情報を含んだパケット(トンネル確立パケットまたは制御パケット)を出力する処理と、トンネル確立パケット送受信部12または制御パケット送受信部14を介して制御情報を含んだパケットを受信する処理を行う。
本実施形態では、トンネリング部13は、IPv4やIPv6パケットとして制御情報を送受信できる仮想デバイスとしての役割を負い、宛先IPアドレスによって転送ノードの指定を行うものとして説明するが、パケットの形式や転送ノードの指定方法はこれには限らない。
制御パケット送受信部14は、転送ノードまたは制御装置10の識別子を含む制御情報を含む制御パケットを送受信する。なお、このときに、制御パケット送受信部14が、トンネリング部13から受け取ったパケットを、転送ノードのパケット処理部21が処理規則記憶部24に記憶された処理規則を参照して処理可能な形式のパケットとの相互変換を行うようにしてもよい。以下、本実施形態では、制御パケットは、宛先MACアドレスを転送ノードまたは制御装置10のMACアドレスとし、EtherTypeフィールドの値を0x1F03とするパケットであるものとする。ただし、制御パケットの構成はあくまで一例であり、トンネル確立パケットやデータプレーンで送受信されるパケットと区別可能であれば、形式はこれには限らない。
なお、上記したトンネル確立パケット生成部11、トンネル確立パケット送受信部12およびトンネリング部13の一部が、上記したトンネル確立部15に相当し、上記したトンネリング部13および制御パケット送受信部14が上記した転送ノード制御部16に相当する。
転送ノード20a〜20dは、パケット処理部21と、トンネル確立パケット処理部22と、トンネリング部23と、処理規則記憶部24とを備えて構成される。
パケット処理部21は、処理規則記憶部24に保持された処理規則に従った受信パケットの処理を行う。ただし、受信パケットがトンネル確立パケットであった場合には、受信パケットをトンネル確立パケット処理部22へ出力する。具体的には、パケット処理部21は、非特許文献2に開示される仕様等と同様に、パケットを受信すると、フローテーブルに相当する処理規則記憶部24から、受信パケットのヘッダ情報に適合する照合規則(マッチングルール)を持つエントリに相当する処理規則を検索する。前記検索の結果、受信パケットに適合する処理規則が見つかった場合、パケット処理部21は、受信パケットに対して、当該処理規則に記述された処理内容(指定ポートからのパケット送信、フラッディング、廃棄等)を実施する。
一方、前記検索の結果、受信パケットに適合する処理規則が見つからなかった場合、パケット処理部21は、トンネリング部23を介して、制御装置10に対して受信パケットを転送する。ただし、受信パケットがトンネル確立パケットであった場合、パケット処理部21は、処理規則記憶部24に保持された処理規則に拘らず、トンネル確立パケット処理部22へ受信パケット(トンネル確立パケット)を出力する。なお、前記受信パケット(トンネル確立パケット)を受信した場合のトンネル確立パケット処理部22へのパケット出力も、処理規則を用いて実現することができる。例えば、トンネル確立パケットがEtherTypeフィールドの値として0x1F03を持ち、宛先MACアドレスにブロードキャストアドレスが設定されている場合には、そのような照合規則に適合するパケットをトンネル確立パケット処理部22に出力する処理内容の処理規則を処理規則記憶部24に設定しておけばよい。
トンネル確立パケット処理部22は、前述の制御装置10から送信されたトンネル確立パケットの処理を行うとともに、必要に応じて制御装置10に対するトンネル確立パケットの生成、送信を行う。具体的には、トンネル確立パケット処理部22は、非特許文献3において開示される、転送ノードの情報提供、制御装置への経路の保持、トンネル確立パケットを用いた制御情報のトンネリング、トンネル確立パケットに含まれる経路情報(出力ポート系列とホップカウント)を用いたソースルーティングによるトンネル確立パケットの転送を行う。
トンネリング部(転送ノード側トンネリング部)23は、上記したメッセージ処理部26に相当し、制御装置10との間で授受する制御情報をトンネリングする。具体的には、トンネリング部23は、転送ノード20aが制御装置10へ送信しようとする制御情報を、トンネル確立パケット処理部22、または、パケット処理部21へ出力する。また、トンネリング部23は、制御装置10から送られた転送ノード20aで処理すべき制御情報をトンネル確立パケット処理部22、または、パケット処理部21から受け取って、転送ノード20a内部の制御部(図示省略)に出力する。
本実施形態では、トンネリング部23は、制御情報をIPv4やIPv6パケットとして送受信できる仮想デバイスとしての役割を負い、宛先IPアドレスによって制御装置10の指定を行った場合のみに処理を行うものとして説明するが、トンネリング部23が扱うパケットの形式や制御装置の指定方法および制御装置以外が指定された場合の処理はこれには限らない。
処理規則記憶部24は、パケット処理部21で受信するパケットに対する処理規則を保持する。具体的には、非特許文献2に開示される仕様等と同様に、パケットヘッダと照合するマッチングルール(ヘッダフィールド)に相当する規則と、アクション(Actions)に相当する処理内容とを含んだ組を複数保持することができる。
なお、図3では、転送ノード20bの構成を省略しているが、転送ノード20bも転送ノード20aと同様に構成される。
従って、制御装置10は、非特許文献3の手法等を用いて各転送ノードとの間でインバンド・セキュアチャネルを確立した後、非特許文献2に開示される仕様等を用いて、各転送ノードの処理規則記憶部24に対して、前述の制御パケットの形式に適合した処理規則を設定する。
上記処理規則には、ある転送ノードからみて、他の転送ノードを宛先とするデータパケットや他の転送ノードと制御装置10間の制御情報を含んだパケットを転送するための処理規則と、当該転送ノードのトンネリング部23と制御装置10のトンネリング部13間で制御情報を含んだパケットを授受するための処理規則とが含まれる。なお、前記制御装置10と授受する制御情報を含んだパケットと、転送ノードの内部で取り扱い可能なパケットの形式が異なる場合には、該当する処理規則に、両者を相互に変換する処理を設定すればよい。
また、これらの処理規則は、トンネル確立パケット生成部11において計算された各転送ノードと制御装置10との間のパケット転送経路を反映するように作成される。ただし、前記転送経路は、事前に計算されたものや、別途任意のアルゴリズムを用いて計算したものを利用してもよい。
なお、図3に示した制御装置10および転送ノード20aの各部(処理手段)は、制御装置10および転送ノード20aを構成するコンピュータに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することもできる。
続いて、本発明の第1の実施形態の動作について図面を参照して詳細に説明する。以下の説明では、制御装置10は、初期状態においては、転送ノード20a、20bの存在や接続関係を把握しておらず、制御チャネルも確立されていないものとする。
図5は、本発明の第1の実施形態の制御装置の動作を説明するための流れ図である。図5を参照すると、制御装置10のトンネル確立パケット生成部11は、非特許文献3の手法等によりトンネル確立パケットを転送ノード20a、20bに送信し、転送ノード20a、20bからその応答が含まれたトンネル確立パケットを受信して、転送ノード20a、20bの存在や接続関係の把握を行う(ステップS001)。図6は、ステップS001におけるトンネル確立パケットを用いて授受される制御情報の流れを示す図である。
例えば、トンネル確立パケット生成部11は、転送ノード20a、20bのトンネル確立パケット処理部22と順次対話して、図4に示すようなポート系列を得る。制御装置10と転送ノード20b間のトンネル確立パケットは、図4の制御装置10と転送ノード20b間のポート系列を用いてソースルーティングにより転送される。
続いて、トンネル確立パケット生成部11は、制御装置10と転送ノード20a、20bの間の経路を計算する動作を行い(ステップS002)、トンネル確立パケットを用いて、インバンド・セキュアチャネルを確立する(ステップS003)。
具体的には、制御装置10から転送ノード20aへ向かうトンネル確立パケットには、ポート系列として[#1]が含まれる。また、転送ノード20aから制御装置10へ向かうトンネル確立パケットには、ポート系列として[#1]が含まれる。制御装置10から転送ノード20bへ向かうトンネル確立パケットには、ポート系列として[#1、#2]が含まれる。転送ノード20bから制御装置10へ向かうトンネル確立パケットには、ポート系列として[#1、#1]が含まれる。
図7は、ステップS003の時点でトンネル確立パケットにより授受される制御情報の流れを示す図である。制御装置10のトンネリング部13は、転送ノード20aのトンネリング部23との間に、トンネル確立パケットを用いて通信トンネル100aを構成する。この通信トンネル100aの上で、制御装置10が転送ノード20aを制御するためのインバンド・セキュアチャネルが確立されている。なお、図7においても、転送ノード20bの内部のブロックは転送ノード20aと同一であるため、省略している。
通信トンネル100aは、制御装置10のトンネリング部13、トンネル確立パケット送受信部12、制御装置10と転送ノード20a間の通信回線、転送ノード20aのパケット処理部21、トンネル確立パケット処理部22、トンネリング部23を経由して構成される。
同様に、制御装置10のトンネリング部13は、転送ノード20bのトンネリング部23(図7に図示せず)との間に、トンネル確立パケットを用いて通信トンネル100bを構成する。この通信トンネル100bの上で、制御装置10が転送ノード20bを制御するためのインバンド・セキュアチャネルが確立されている。
通信トンネル100bは、制御装置10のトンネリング部13、制御装置10のトンネル確立パケット送受信部12、制御装置10と転送ノード20a間の通信回線、転送ノード20aのパケット処理部21、転送ノード20aのトンネル確立パケット処理部22、転送ノード20aのパケット処理部21、転送ノード20aと転送ノード20b間の通信回線、転送ノード20bのパケット処理部21(図7に図示せず)、転送ノード20bのトンネル確立パケット処理部22(図7に図示せず)、転送ノード20bのトンネリング部23(図7に図示せず)を経由して構成される。
その後、制御装置10は、前記インバンド・セキュアチャネルの経路を各転送ノード20a、20bの処理規則集合へ変換し(ステップS004)、インバンド・セキュアチャネルを用いて各転送ノード20a、20bに、それぞれ処理規則を設定する(ステップS005)。
図8は、図4に示したトンネル確立区間を実現するために各転送ノードに設定する処理規則の例である。図8を参照すると、転送ノード20aには、ポート#1に入力された、転送ノード20aを宛先とする制御パケットを、所定の制御メッセージに変換した上でトンネリング部23へ出力する処理規則と、トンネリング部23から入力された、制御装置10を宛先とする制御メッセージを、制御パケットに変換した上でポート#1から出力する処理規則と、ポート#1に入力された転送ノード20bを宛先とする制御パケットをポート#2から出力する処理規則と、ポート#2に入力された制御装置10を宛先とする制御パケットを、ポート#1から出力する処理規則とが設定される。
また、転送ノード20bには、ポート#1に入力された、転送ノード20bを宛先とする制御パケットを、所定の制御メッセージに変換した上でトンネリング部23へ出力する処理規則と、トンネリング部23から入力された、制御装置10を宛先とする制御メッセージを、制御パケットに変換して、ポート#1から出力する処理規則とが設定される。
前記処理規則の設定後、制御装置10のトンネリング部13と、転送ノード20a、20bのトンネリング部23とが、それぞれ、トンネル確立パケットの代わりに制御パケットを用いて通信トンネルを構成するように切り替える。これにより、制御パケットを用いてインバンド・セキュアチャネルが確立される(ステップS006)。
図9は、ステップS006の時点で制御パケットにより授受される制御情報の流れを示す図である。なお、図9においても、転送ノード20bの内部のブロックは転送ノード20aと同一であるため、省略している。
制御装置10のトンネリング部13は、転送ノード20aのトンネリング部23との間に、制御パケットを用いて通信トンネル101aを構成する。この通信トンネル101aの上で、制御装置10が転送ノード20aを制御するためのインバンド・セキュアチャネルが確立されている。
通信トンネル101aは、制御装置10のトンネリング部13、制御パケット送受信部14、制御装置10と転送ノード20a間の通信回線、転送ノード20aのパケット処理部21、トンネリング部23を経由して構成される。
同様に、制御装置10のトンネリング部13は、転送ノード20bのトンネリング部23との間に、制御パケットを用いて通信トンネル101bを構成する。この通信トンネル101bの上で、制御装置10が転送ノード20bを制御するためのインバンド・セキュアチャネルが確立されている。
通信トンネル100bは、制御装置10のトンネリング部13、制御パケット送受信部14、制御装置10と転送ノード20a間の通信回線、転送ノード20aのパケット処理部21、転送ノード20aと転送ノード20b間の通信回線、転送ノード20bのパケット処理部21、転送ノード20bのトンネリング部23を経由して構成される。
以上のように動作する本実施形態によれば、各転送ノードは、他の転送ノードのための制御パケットの転送を、トンネル確立パケット処理部22を介して行うことなく、パケット処理部21の処理によって行うことが可能となる。これにより、各転送ノードの転送負荷を下げ、高速な転送を実現することが可能となる。なお、図3の例では、他の転送ノードのための制御パケットの転送を行う転送ノードは、転送ノード20aのみであるため、転送ノード20aの転送負荷のみが下がることになるが、転送ノードの数が増えるに従って、他の転送ノードのための制御パケットの転送を行う転送ノードも増えるため、本発明の効果も増大することになる。
[第2の実施形態]
続いて、転送ノード20a、20bの構成に変更を加えた本発明の第2の実施形態について図面を参照して詳細に説明する。以下、第1の実施形態と共通する部分については説明を省略し、その相違点を中心に説明を加える。
図10は、本発明の第2の実施形態に係る通信システムの構成を示す図である。図10を参照すると、本発明の第1の実施形態に加え、転送ノード120aのパケット処理部21と転送ノード側トンネリング部23との間に、新たに制御パケット処理部25が追加されている。なお、図10においても、転送ノード120bの内部のブロックは転送ノード20aと同一であるため、省略している。
パケット処理部21は、処理規則記憶部24に設定された処理規則に従って、自転送ノード宛の制御パケットを加工せずにそのまま制御パケット処理部25へ出力し、かつ、制御パケット処理部25から入力された制御パケットを加工せずにそのまま処理規則に従って指定されたポートから送信する。
上記した第1の実施形態では、トンネリング部23は、パケット処理部21から制御パケットを送受信していたが、本発明の第2の実施形態では、トンネリング部23は、制御パケット処理部25を介して制御パケットを送受信する。
制御パケット処理部25は、パケット処理部21から入力された制御パケットを、所定の制御メッセージに変換してから、トンネリング部23へ出力する。また、制御パケット処理部25は、トンネリング部23から入力された制御メッセージを制御パケットに変換してから、パケット処理部21に出力する。
以上のように、本実施形態では、転送ノード120a、120bに、制御パケット処理部25が備えられているため、転送ノード120a、120bのトンネリング部23が、制御パケットと異なる制御メッセージへの変換を要求する場合でも、当該変換処理を実現する処理規則の設定を省略することができる。
従って、本実施形態では、転送ノード120aには、ポート#1から入力された、転送ノード20aを宛先とする制御パケットを、制御パケット処理部25へ出力する処理規則と、制御パケット処理部25に入力された制御パケットをポート#1から出力する処理規則と、ポート#1に入力された転送ノード20bを宛先とする制御パケットをポート#2から出力する処理規則と、ポート#2に入力された制御装置10を宛先とする制御パケットをポート#1から出力する処理規則とが設定される。
同様に、転送ノード120bには、ポート#1に入力された転送ノード120bを宛先とする制御パケットを、制御パケット処理部25へ出力する処理規則と、制御パケット処理部25から入力された制御装置10を宛先とする制御パケットをポート#1から出力する処理規則とが設定される。図8に示した処理規則群と比較すると、各転送ノード20a、20bに設定される処理規則から、制御パケットと制御メッセージ間の変換処理が省略されている。
以上のように動作する本実施形態によれば、制御パケット処理部25に、パケット処理部21において処理規則として表現できない制御メッセージと制御パケットとの変換を行わせることができ、より幅広い制御パケットの形式を適用することが可能となる。
また、本実施形態によれば、トンネル確立パケットと制御パケットを宛先MACアドレス以外の情報で区別することも可能となる。この結果、図11に示すように、宛て先が他の転送ノード120bであるトンネル制御パケットを、そのまま他の転送ノード120bに転送することも可能となる。これにより、第1の実施形態と比較して、さらに、各転送ノード120aの転送負荷を下げ、高速な転送を実現することが可能となる。
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、上記した第1、第2の実施形態では、制御装置10は、トンネル確立パケットを用いて転送ノードの情報収集や接続関係の把握を行うものとして説明したが、転送ノードの情報収集や接続関係の把握が予め得られている場合には、これらの情報を用いることとしてもよいし、その他のプロトコルを用いてこれらの情報を収集することとしてもよい。
上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
10、10A 制御装置
11 トンネル確立パケット生成部
12 トンネル確立パケット送受信部
13 トンネリング部
14 制御パケット送受信部
15 トンネル確立部
16 転送ノード制御部
20a〜20d、20A〜20D、120a、120b 転送ノード
21 パケット処理部
22 トンネル確立パケット処理部
23 トンネリング部
24 処理規則記憶部
25 制御パケット処理部
26 メッセージ処理部
27 パケット処理部
100a〜100d、101a、101b 通信トンネル

Claims (17)

  1. パケットと照合する照合規則と前記照合規則に適合するパケットに適用する処理とを定めた処理規則に従って受信パケットを処理する複数の転送ノードと、制御情報を用いて前記転送ノードを制御する制御装置と、を含み、
    前記制御装置は、前記各転送ノードについてそれぞれ前記制御情報の転送経路を決定し、各転送経路上の転送ノードに設定する前記制御情報の転送用の処理規則を含むトンネル確立メッセージを前記転送ノードに送信するトンネル確立部を備え、
    前記各転送ノードは、前記トンネル確立メッセージに含まれる前記制御情報の転送用の処理規則を保持して、前記制御装置と制御情報を授受すること、
    を特徴とする通信システム。
  2. 前記トンネル確立メッセージは、前記トンネル確立メッセージに含まれる経路情報を用いて、ソースルーティングされる請求項1の通信システム。
  3. 前記経路情報として、出力ポート系列とホップカウントとを含む請求項2の通信システム。
  4. 前記トンネル確立メッセージは、前記制御情報の転送経路上の転送ノードのうち、前記トンネル確立メッセージに含まれる処理規則を設定すべき転送ノードを指定する情報を含む請求項1から3いずれか一の通信システム。
  5. 前記トンネル確立メッセージは、複数の制御情報の転送用の処理規則を格納可能である請求項4の通信システム。
  6. 前記制御装置は、
    ソースルーティングを用いて、前記転送ノードとトンネルの確立のための情報を収集するトンネル確立パケット生成部と、
    前記トンネル確立パケット生成部にて生成された情報に基づいて、転送ノードに前記制御情報の転送用の処理規則を設定するとともに、前記処理規則を用いて、前記転送ノードに制御情報を送信するトンネリング部と、を備え、
    前記各転送ノードは、
    前記トンネル確立パケット生成部に応答し、または、他の転送ノードにトンネル確立パケットを転送するトンネル確立パケット処理部と、
    前記制御装置のトンネリング部と、制御情報を送受信する転送ノード側トンネリング部とを備える請求項1から5いずれか一の通信システム。
  7. さらに、前記転送ノードが、
    前記制御装置のトンネリング部から受信した制御情報を所定の形式に変換する制御パケット処理部を備える請求項1から6いずれか一の通信システム。
  8. パケットと照合する照合規則と、前記照合規則に適合するパケットに適用する処理を定めた処理規則に従って受信パケットを処理する複数の転送ノードと接続され、
    前記各転送ノードについてそれぞれ制御情報の転送経路を決定し、各転送経路上の転送ノードに設定する前記制御情報の転送用の処理規則を含むトンネル確立メッセージを前記転送ノードに送信するトンネル確立部を備えること、
    を特徴とする制御装置。
  9. 前記転送ノードに、前記トンネル確立メッセージに含まれる経路情報を用いて、トンネル確立メッセージをソースルーティングさせる請求項8の制御装置。
  10. 前記経路情報として、出力ポート系列とホップカウントとを含める請求項9の制御装置。
  11. 前記トンネル確立メッセージとして、前記制御情報の転送経路上の転送ノードのうち、前記トンネル確立メッセージに含まれる処理規則を設定すべき転送ノードを指定する情報を含むトンネル確立メッセージを生成する請求項8から10いずれか一の制御装置。
  12. 前記トンネル確立メッセージとして、複数の制御情報の転送用の処理規則を格納したトンネル確立メッセージを生成する請求項11の制御装置。
  13. さらに、
    ソースルーティングを用いて、前記転送ノードとトンネルの確立のための情報を収集するトンネル確立パケット生成部と、
    前記トンネル確立パケット生成部にて生成された情報に基づいて、転送ノードに前記制御情報の転送用の処理規則を設定するとともに、前記処理規則を用いて、前記転送ノードに制御情報を送信するトンネリング部と、を備える請求項8から12いずれか一の制御装置。
  14. 請求項13の制御装置のトンネル確立パケット生成部に応答し、または、他の転送ノードにトンネル確立パケットを転送するトンネル確立パケット処理部と、
    前記制御装置のトンネリング部と、制御情報を送受信する転送ノード側トンネリング部とを備える転送ノード。
  15. さらに、
    前記制御装置のトンネリング部から受信した制御情報を所定の形式に変換する制御パケット処理部を備える請求項14の転送ノード。
  16. パケットと照合する照合規則と前記照合規則に適合するパケットに適用する処理とを定めた処理規則に従って受信パケットを処理する複数の転送ノードと、制御情報を用いて前記転送ノードを制御する制御装置と、を含む通信システムにおいて、
    前記制御装置が、前記各転送ノードについてそれぞれ前記制御情報の転送経路を決定し、各転送経路上の転送ノードに設定する前記制御情報の転送用の処理規則を含むトンネル確立メッセージを前記転送ノードに送信するステップと、
    前記各転送ノードが、前記トンネル確立メッセージに含まれる前記制御情報の転送用の処理規則を保持して、前記制御装置と制御情報を授受するステップと、
    を含む通信システムの制御方法。
  17. パケットと照合する照合規則と前記照合規則に適合するパケットに適用する処理とを定めた処理規則に従って受信パケットを処理する複数の転送ノードと、制御情報を用いて前記転送ノードを制御する制御装置と、を含む通信システムに含まれるコンピュータに、
    前記各転送ノードについてそれぞれ前記制御情報の転送経路を決定する処理と、
    前記各転送経路上の転送ノードに設定する前記制御情報の転送用の処理規則を含むトンネル確立メッセージを前記転送ノードに送信する処理と、を実行させるプログラム。
JP2013554698A 2011-06-02 2012-06-01 通信システム、制御装置、転送ノード、通信システムの制御方法およびプログラム Expired - Fee Related JP5987841B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013554698A JP5987841B2 (ja) 2011-06-02 2012-06-01 通信システム、制御装置、転送ノード、通信システムの制御方法およびプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011124263 2011-06-02
JP2011124263 2011-06-02
JP2013554698A JP5987841B2 (ja) 2011-06-02 2012-06-01 通信システム、制御装置、転送ノード、通信システムの制御方法およびプログラム
PCT/JP2012/003629 WO2012164958A1 (en) 2011-06-02 2012-06-01 Communication system, control device, forwarding node, and control method and program for communication system

Publications (2)

Publication Number Publication Date
JP2014519213A true JP2014519213A (ja) 2014-08-07
JP5987841B2 JP5987841B2 (ja) 2016-09-07

Family

ID=47258827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013554698A Expired - Fee Related JP5987841B2 (ja) 2011-06-02 2012-06-01 通信システム、制御装置、転送ノード、通信システムの制御方法およびプログラム

Country Status (3)

Country Link
US (1) US9397956B2 (ja)
JP (1) JP5987841B2 (ja)
WO (1) WO2012164958A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20126275L (fi) * 2012-12-07 2014-06-08 Tellabs Oy Menetelmä ja laitteisto ohjelmallisesti määriteltävän verkon konfiguroimiseksi
JP6191166B2 (ja) * 2013-03-01 2017-09-06 日本電気株式会社 Sdnネットワークシステム、コントローラ装置及びそれらに用いる通信量削減方法
CN104579968B (zh) 2013-10-26 2018-03-09 华为技术有限公司 Sdn交换机获取精确流表项方法及sdn交换机、控制器、系统
US10367725B2 (en) * 2013-12-21 2019-07-30 Hewlett Packard Enterprise Development Lp Network programming
JP2015154265A (ja) * 2014-02-14 2015-08-24 日本電信電話株式会社 データ転送システム、ネットワーク装置、制御用サーバ装置、および通信制御プログラム
US8989199B1 (en) 2014-02-24 2015-03-24 Level 3 Communications, Llc Control device discovery in networks having separate control and forwarding devices
JP6354258B2 (ja) * 2014-03-28 2018-07-11 日本電気株式会社 通信管理装置、ノード、通信システム、通信管理方法、ノードの制御方法、及びプログラム
US8811172B1 (en) 2014-04-10 2014-08-19 tw telecom holdings inc. Network path selection using bandwidth prediction
CN105637820B (zh) * 2014-09-22 2019-05-24 华为技术有限公司 一种控制通道处理方法、装置和系统
CN107819596B (zh) * 2016-09-12 2022-07-29 中兴通讯股份有限公司 Sdn网络故障的诊断方法、装置及系统
CN112565086A (zh) * 2019-09-10 2021-03-26 阿里巴巴集团控股有限公司 分布式网络系统、报文转发方法、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010103909A1 (ja) * 2009-03-09 2010-09-16 日本電気株式会社 OpenFlow通信システムおよびOpenFlow通信方法
WO2011043379A1 (ja) * 2009-10-06 2011-04-14 日本電気株式会社 ネットワークシステムとコントローラと方法とプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225270B2 (en) * 2000-10-17 2007-05-29 Cisco Technology, Inc. Selective diversion and injection of communication traffic
JP4778061B2 (ja) 2005-09-29 2011-09-21 リサーチ イン モーション リミテッド 代表的な情報を比較することによる効率的なデータベースの同期化
CN100542122C (zh) * 2006-09-29 2009-09-16 华为技术有限公司 一种vlan交换隧道的复用方法和vlan交换域
US20080189769A1 (en) 2007-02-01 2008-08-07 Martin Casado Secure network switching infrastructure
EP2572473B1 (en) * 2010-05-19 2014-02-26 Telefonaktiebolaget L M Ericsson (PUBL) Methods and apparatus for use in an openflow network
US8717895B2 (en) * 2010-07-06 2014-05-06 Nicira, Inc. Network virtualization apparatus and method with a table mapping engine
US8873398B2 (en) * 2011-05-23 2014-10-28 Telefonaktiebolaget L M Ericsson (Publ) Implementing EPC in a cloud computer with openflow data plane

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010103909A1 (ja) * 2009-03-09 2010-09-16 日本電気株式会社 OpenFlow通信システムおよびOpenFlow通信方法
WO2011043379A1 (ja) * 2009-10-06 2011-04-14 日本電気株式会社 ネットワークシステムとコントローラと方法とプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016014006; 小出 俊夫 他: 'OpenFlowネットワークにおける制御ネットワークの構築自動化に関する一検討' 電子情報通信学会技術研究報告 第109巻 第448号, 20100225, 第19-24頁 *

Also Published As

Publication number Publication date
WO2012164958A1 (en) 2012-12-06
US9397956B2 (en) 2016-07-19
JP5987841B2 (ja) 2016-09-07
US20140307742A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
JP5987841B2 (ja) 通信システム、制御装置、転送ノード、通信システムの制御方法およびプログラム
JP6418261B2 (ja) 通信システム、ノード、制御装置、通信方法及びプログラム
JP5825351B2 (ja) 通信システム、制御装置、通信方法及びプログラム
JP5994851B2 (ja) 転送装置の制御装置、転送装置の制御方法、通信システムおよびプログラム
US10645006B2 (en) Information system, control apparatus, communication method, and program
US20130195110A1 (en) Communication system, control device, method for setting processing rules, and program
JP5999251B2 (ja) 通信システム、スイッチ、制御装置、パケット処理方法及びプログラム
JP5854049B2 (ja) 通信システム、制御情報中継装置、制御装置、制御情報の送信方法およびプログラム
JP5644948B2 (ja) パケット転送システム、制御装置、パケット転送方法およびプログラム
WO2011118574A1 (ja) 通信システム、制御装置、遅延測定方法およびプログラム
WO2014077306A1 (ja) 制御装置、通信システム、制御情報の作成方法及びプログラム
WO2012081721A1 (ja) 通信システム、ノード、パケット転送方法およびプログラム
WO2011118586A1 (ja) 通信システム、制御装置、転送ノード、処理規則の更新方法およびプログラム
WO2014104277A1 (ja) 制御装置、通信システム、通信ノードの制御方法及びプログラム
JP6024761B2 (ja) 制御装置、通信システム、通信方法及びプログラム
JP6206493B2 (ja) 制御装置、通信システム、中継装置の制御方法及びプログラム
JP5991427B2 (ja) 制御装置、通信システム、制御情報の送信方法及びプログラム
JP6128132B2 (ja) 通信装置、制御装置、通信システム、パケット処理方法、通信装置の制御方法及びプログラム
WO2014087993A1 (ja) 制御装置、通信システム、通信方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160725

R150 Certificate of patent or registration of utility model

Ref document number: 5987841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees