JP2014039141A - System and method for application communication control - Google Patents
System and method for application communication control Download PDFInfo
- Publication number
- JP2014039141A JP2014039141A JP2012180183A JP2012180183A JP2014039141A JP 2014039141 A JP2014039141 A JP 2014039141A JP 2012180183 A JP2012180183 A JP 2012180183A JP 2012180183 A JP2012180183 A JP 2012180183A JP 2014039141 A JP2014039141 A JP 2014039141A
- Authority
- JP
- Japan
- Prior art keywords
- flow
- unit
- packet
- flow identifier
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
本発明は、通信制御システムに関し、特にアプリケーション通信の制御を行うアプリケーション通信制御システムおよびアプリケーション通信制御方法に関する。 The present invention relates to a communication control system, and more particularly to an application communication control system and an application communication control method for controlling application communication.
端末からのリクエストを複数のサーバに分散することで、サーバの負荷を軽減する技術としてロードバランサーが存在する。ロードバランサーは、同一の拠点内で提供されるＷｅｂサイトなどのサービスにおいて、アクセス数の多いサービスに対して複数のサーバに負荷を分散することを目的としている。近年、自然災害などにより提供されるサービスの停止を避けるために、地理的に異なる複数拠点でサービスを提供する事例が増え、地理的に異なる複数サイトに負荷分散可能なグローバルロードバランサーが登場している（例えば、非特許文献１参照。）。非特許文献１に記載された技術によれば、複数のサイトもしくはサーバに対するアプリケーション通信の転送を制御することが可能となる。
There is a load balancer as a technique for reducing the load on a server by distributing requests from terminals to a plurality of servers. The purpose of the load balancer is to distribute the load to a plurality of servers for a service with a large number of accesses in a service such as a Web site provided in the same base. In recent years, in order to avoid the suspension of services provided due to natural disasters, etc., the number of cases where services are provided at multiple geographically different sites has increased, and global load balancers that can distribute load to multiple geographically different sites have appeared. (For example, refer
しかし、非特許文献１に記載された技術には次のような課題がある。第１の課題は、ネットワークの負荷を考慮した負荷分散ができないため、途中経路でネットワークの輻輳などによりパケット廃棄が発生することである。その理由は、負荷分散してからサービスを提供するサーバまでの転送経路は、従来のＩＰアドレスの転送制御であり、ネットワークの輻輳状況に応じた転送制御ができないためである。
However, the technique described in
第２の課題は、優先度の低いトラヒックが優先度の高いトラヒックに影響をおよぼすことである。その理由は、負荷分散後の転送経路は、同一の宛先であれば同一経路となり、優先度による制御ができないためである。 The second problem is that low-priority traffic affects high-priority traffic. This is because the transfer route after load distribution is the same route if the destination is the same, and control based on priority cannot be performed.
そこで、本発明は、サービスの負荷に応じて複数のサーバでサービスを提供するシステムにおいて、アプリケーション通信単位に転送制御を可能とするアプリケーション通信制御システムおよびアプリケーション通信制御方法を提供することを目的とする。 Accordingly, an object of the present invention is to provide an application communication control system and an application communication control method that enable transfer control in units of application communication in a system that provides a service with a plurality of servers in accordance with a service load. .
本発明によるアプリケーション通信制御システムは、端末から受信したパケットのペイロードを分析し、それぞれのパケットにフロー識別子を割り当て、フロー識別子をパケットヘッダに格納するフロー識別部と、フロー識別子に従いパケットを転送するフロースイッチと、フロー識別子と端末にサービスを提供するサーバの負荷状況とに応じてフロースイッチを制御する制御部とを備えたことを特徴とする。 An application communication control system according to the present invention analyzes a payload of a packet received from a terminal, assigns a flow identifier to each packet, stores a flow identifier in a packet header, and a flow for transferring the packet according to the flow identifier And a control unit that controls the flow switch in accordance with a flow identifier and a load state of a server that provides a service to the terminal.
本発明によるアプリケーション通信制御方法は、端末から受信したパケットのペイロードを分析し、それぞれのパケットにフロー識別子を割り当て、フロー識別子をパケットヘッダに格納し、フロー識別子と端末にサービスを提供するサーバの負荷状況とに応じて、フロー識別子に従いパケットを転送するフロースイッチを制御することを特徴とする。 The application communication control method according to the present invention analyzes a payload of a packet received from a terminal, assigns a flow identifier to each packet, stores the flow identifier in a packet header, and loads a server that provides a service to the flow identifier and the terminal. According to the situation, the flow switch for transferring the packet is controlled according to the flow identifier.
本発明によれば、サービスの負荷に応じて複数のサーバでサービスを提供するシステムにおいて、アプリケーション通信単位に転送制御を行うことができる。 ADVANTAGE OF THE INVENTION According to this invention, transfer control can be performed per application communication unit in the system which provides a service with a some server according to the service load.
実施形態１．
以下、本発明の第１の実施形態を図面を参照して説明する。
A first embodiment of the present invention will be described below with reference to the drawings.
図１は、本発明によるアプリケーション通信制御システムの第１の実施形態の構成を示すブロック図である。図１に示すように、第１の実施形態におけるアプリケーション通信制御システムは、サーバ１０５−１〜１０５−４と、端末１０３を収容するネットワーク１００と、フロー単位に転送を行うフロースイッチ１０４−１〜１０４−５と、ネットワーク１００を収容しフロースイッチ１０４−１〜１０４−５を含むフロー制御ネットワーク１０１と、フロー識別部１０２と、制御部１０６とを備える。
FIG. 1 is a block diagram showing a configuration of a first embodiment of an application communication control system according to the present invention. As shown in FIG. 1, the application communication control system in the first embodiment includes servers 105-1 to 105-4, a
ネットワーク１００は、例えば、ＩＰネットワークである。なお、ネットワーク１００は、ＩＰネットワークに限定されない。
The
サーバ１０５−１〜１０５−４は、フロー制御ネットワーク１０１に接続され、ネットワーク１００に収容されている端末１０３に対してサービスを提供するサーバ装置である。なお、図１には、１つの端末１０３が例示されているが、ネットワーク１００にはいくつ端末が収容されていてもよい。
Servers 105-1 to 105-4 are server devices that are connected to the flow control network 101 and provide services to the
フロー制御ネットワーク１０１は、フロー単位の転送制御が可能なフロースイッチ１０４−１〜１０４−５を含む。なお、フロー制御ネットワーク１０１には、いくつフロースイッチが含まれていてもよい。 The flow control network 101 includes flow switches 104-1 to 104-5 capable of transfer control in units of flows. Note that the flow control network 101 may include any number of flow switches.
フロースイッチ１０４−１〜１０４−５は、制御部１０６の指示により、フロー単位に転送先を設定可能である。フロースイッチ１０４−１〜１０４−５は、例えば、ＯｐｅｎＦｌｏｗ（ｈｔｔｐ：／／ｗｗｗ．ｏｐｅｎｆｌｏｗ．ｏｒｇ／参照。）に準拠したスイッチである。フローは、例えば、送信元や送信先のＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレス、ＩＰアドレス、ポート番号の組み合わせで特定される一連のパケットの流れである。なお、フローの要素は、これらに限定されるものではない。
The flow switches 104-1 to 104-5 can set transfer destinations in units of flows according to instructions from the
フロー識別部１０２は、ネットワーク１００から受信したパケットに対して、パケットヘッダの解析を行い、ペイロードの情報を分析しアプリケーションを識別する。フロー識別部１０２は、識別したアプリケーションごとに、フロー制御ネットワーク１０１でパケットを転送させるため、パケットに対してフロー識別子の割り当てを行う。フロー識別部１０２は、例えば、サーバ装置やネットワーク専用プロセッサを搭載したハードウェア等で実現される。
The
制御部１０６は、フロー識別部１０２から、アプリケーションに対して割り当てたフロー構成情報を受信して管理を行う。また、制御部１０６は、サーバ１０５−１〜１０５−４からＣＰＵ負荷やメモリやハードディスクなどのリソースの利用状況を取得して、サービスの負荷状況を把握する。制御部１０６は、サーバ１０５−１〜１０５−４で提供されるサービスの品質が低下していることを検出すると、新たなサービスを別のサーバで起動し、フロースイッチ１０４−１〜１０４−５に設定を行い、パケット転送を制御する。制御部１０６は、例えば、パーソナルコンピュータ等の情報処理装置で実現される。
The
図２は、第１の実施形態におけるフロー識別部１０２の構成を示すブロック図である。フロー識別部１０２は、パケット解析部２００と、情報抽出部２０１と、フロー判定部２０２と、フロー管理部２０３と、ヘッダ変換部２０４と、フロー通知部２０５とを含む。
FIG. 2 is a block diagram illustrating a configuration of the
パケット解析部２００は、ネットワーク１００から受信したパケットのヘッダを解析して、パケットペイロードの開始位置を特定し、その情報を情報抽出部２０１へ送信する。
The
情報抽出部２０１は、パケットペイロードに格納されているデータを分析して、アプリケーションを特定するための情報を抽出し、その情報をフロー判定部２０２へ送信する。抽出する情報は、たとえばＷｅｂサイトで提供されるサービスに対するＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）が該当する。
The
フロー判定部２０２は、フロー管理部２０３に対して情報抽出部２０１で抽出された情報が登録されているかを確認し、フロー識別子を割り当てる。
The
フロー管理部２０３は、フロー管理テーブルを記憶する。フロー管理テーブルは、端末１０３のＩＰアドレスと、たとえばＵＲＬのようなサービスを特定する情報と、フロー識別子との組み合わせを管理するためのテーブルである。
The
フロー通知部２０５は、フロー識別子とＵＲＬの情報とを含むフロー構成情報を制御部１０６へ通知する。
The
ヘッダ変換部２０４は、通知されたフロー識別子をパケットヘッダに格納して、フロー制御ネットワーク１０１へ送信する。
The
なお、パケット解析部２００、情報抽出部２０１、フロー判定部２０２、フロー管理部２０３、ヘッダ変換部２０４およびフロー通知部２０５は、フロー識別部１０２が備えるＣＰＵ等によって実現される。
The
図３は、第１の実施形態における制御部１０６の構成を示すブロック図である。制御部１０６は、通知受信部３００と、フロー記憶部３０１と、フローテーブル３０２と、切替判定部３０３と、フロー設定部３０４と、リソース管理部３０５と、リソース制御部３０６とを含む。
FIG. 3 is a block diagram illustrating a configuration of the
通知受信部３００は、フロー識別部１０２から送信されたフロー構成情報を受信してフロー記憶部３０１に渡す。
The
フロー記憶部３０１は、フローテーブル３０２にフロー構成情報を格納する。
The
リソース管理部３０５は、サーバ１０５−１〜１０５−４の状況を監視し、負荷が上昇するなどサービスの品質に影響が出た場合に、切替判定部３０３へ切替要求を送信する。また、リソース管理部３０５は、切替要求に格納するための情報を監視対象のサーバから取得する。本実施形態では、リソース管理部３０５は、監視対象のサーバがサービスを提供するＵＲＬや、当該サービスを利用する端末のＩＰアドレスを取得する。
The
切替判定部３０３は、リソース制御部３０６へサービスの起動要求を送信するとともに、フロー設定部３０４へ経路設定の要求を送信する。
The switching
フロー設定部３０４は、パケットの転送経路を決定し、決定した転送経路にもとづいて、フロースイッチ１０４−１〜１０４−５の設定を行う。
The
なお、通知受信部３００、フロー記憶部３０１、切替判定部３０３、フロー設定部３０４、リソース管理部３０５およびリソース制御部３０６は、制御部１０６が備えるＣＰＵ等によって実現される。また、フローテーブル３０２は、制御部１０６が備えるメモリ等の記憶装置によって実現される。
The
次に、本実施形態の動作を説明する。 Next, the operation of this embodiment will be described.
まず、サーバ１０５−１でサービスが提供されている状態において、サーバ１０５−１が高負荷になったため新規にサーバ１０５−４でサービスを起動する場合の動作を説明する。 First, in the state where the service is provided by the server 105-1, the operation when the service is newly started by the server 105-4 because the server 105-1 is heavily loaded will be described.
フロー識別部１０２からサーバ１０５−１宛てのパケットは、フロースイッチ１０４−１、１０４−４を経由して転送される。なお、転送経路は、これに限定されない。フロースイッチ１０４−１および１０４−４には、サーバ１０５−１のＩＰアドレスにもとづく転送のためのフローが登録されている。具体的には、フロースイッチ１０４−１には、サーバ１０５−１のＩＰアドレスに対して、フロースイッチ１０４−４が接続されているポートへ出力するように設定されている。また、フロースイッチ１０４−４には、サーバ１０５−１のＩＰアドレスに対して、サーバ１０５−１が接続されているポートへ出力するように設定されている。ここでは、サーバ１０５−１でＷｅｂのサービスが提供されているものとするが、サービスはこれに限定されない。
A packet addressed to the server 105-1 from the
図４は、第１の実施形態におけるアプリケーション通信制御システムの動作を示すフローチャートである。 FIG. 4 is a flowchart showing the operation of the application communication control system in the first embodiment.
端末１０３は、サーバ１０５−１で提供されるサービスの利用を開始すると、フロー識別部１０２は、ネットワーク１００からサーバ１０５−１宛てのパケットを受信する（ステップＳ１００）。
When the terminal 103 starts using the service provided by the server 105-1, the
フロー識別部１０２のパケット解析部２００は、受信したパケットのヘッダを解析してパケットのペイロードの位置を特定し（ステップＳ１０１）、受信したパケットが処理対象かを判定する（ステップＳ１０２）。本実施形態では、処理対象の判定のために、対象となるサービスを識別するポート番号としてＨＴＴＰを示す“８０”や“８０８０”を登録しておき、受信したパケットの宛先ポート番号と比較して判定する。
The
受信したパケットが処理対象でない場合は（ステップＳ１０２のＮｏ）、情報抽出部２０１は、以降の処理を行わず、フロー制御ネットワーク１０１へ送信する。受信したパケットが処理対象である場合は（ステップＳ１０２のＹｅｓ）、情報抽出部２０１は、パケット解析部２００から通知されたペイロードの位置情報をもとにアプリケーションを特定する情報としてＵＲＬを抽出する（ステップＳ１０３）。
If the received packet is not a processing target (No in step S102), the
フロー判定部２０２は、抽出したＵＲＬをもとにフロー管理部２０３に対してフローが登録されているかを確認する（ステップＳ１０４）。
The
端末１０３のＩＰアドレスとＵＲＬとフロー識別子の組み合わせからなるフロー構成情報がフロー管理部２０３に登録されている場合は（ステップＳ１０５のＹｅｓ）、フロー判定部２０２は、登録されたフロー識別子を取得する（ステップＳ１０６）。登録されていない場合は（ステップＳ１０５のＮｏ）、フロー判定部２０３は、新規のフロー識別子の割り当てを行う（ステップＳ１０７）。
When flow configuration information including a combination of the IP address, URL, and flow identifier of the terminal 103 is registered in the flow management unit 203 (Yes in step S105), the
フロー判定部２０２は、ステップＳ１０７の後、端末１０３のＩＰアドレスと、ＵＲＬと新規に割り当てたフロー識別子とを含むフロー構成情報とをフロー管理部２０３に登録する（ステップＳ１０８）。また、フロー判定部２０３は、当該フロー構成情報を、フロー通知部２０５を介して、制御部１０６へ通知する（ステップＳ１０９）。制御部１０６の通知受信部３００は、フロー構成情報を受信する。フロー記憶部３０１は、当該フロー構成情報をフローテーブル３０２に格納し記憶する（ステップＳ１１０）。
After step S107, the
ヘッダ変換部２０４は、フロー識別子をヘッダに格納してフロー制御ネットワーク１０１へ送信する（ステップＳ１１１）。フロー識別子を格納する領域は、たとえば送信元ＭＡＣアドレスである。
The
フロー識別部１０２から送信されたパケットは、フロー制御ネットワーク１０１において、サーバ１０５−１のＩＰアドレスが格納された宛先ＩＰアドレスにもとづき転送される。フロースイッチ１０４−１は、サーバ１０５−１宛てのパケットをフロースイッチ１０４−４が接続されているポートへ出力する。フロースイッチ１０４−４は、サーバ１０５−１宛てのパケットをサーバ１０５−１が接続されたポートへ出力する。フロースイッチ１０４−１およびフロースイッチ１０４−４には、宛先ＩＰアドレスと出力ポートとの関係を示す情報が記憶されている。フロースイッチ１０４−１およびフロースイッチ１０４−４は、その情報にもとづき転送処理を行う。
The packet transmitted from the
次に、サーバ１０５−１の負荷が上昇し、別のサーバ、例えばサーバ１０５−４でサービスを提供する場合の動作を説明する。 Next, an operation when the load of the server 105-1 increases and a service is provided by another server, for example, the server 105-4 will be described.
図５は、第１の実施形態におけるアプリケーション通信制御システムの切替要求時の動作の一例を示すフローチャートである。 FIG. 5 is a flowchart illustrating an example of an operation at the time of a switching request of the application communication control system in the first embodiment.
制御部１０６のリソース管理部３０５は、サーバ１０５−１のＣＰＵ利用率やメモリ使用量などの状況を監視する。
The
リソース管理部３０５は、サーバ１０５−１の負荷が上昇してサービス品質に影響が出ると判断した場合に、切替判定部３０３へ切替要求を送信する（ステップＳ２００）。このとき、リソース管理部３０５は、端末１０３のＩＰアドレスとサービスを特定する情報であるＵＲＬとを切替要求に格納する。
When the
フロー記憶部３０１は、フローテーブル３０２に対して、切替要求に格納された情報が登録されているかを確認する（ステップＳ２０１）。登録されている場合には、リソース制御部３０６は、切替判定部３０３の要求に従い、サーバ１０５−４でサービスを起動させる（ステップＳ２０２）。
The
フロー設定部３０４は、サーバ１０５−４に対する経路として、例えば、フロースイッチ１０４−１、１０４−２、１０４−５の順に転送することを決定する（ステップＳ２０３）。次に、フロー設定部３０４は、フロースイッチ１０４−１、１０４−２、１０４−５に対して、設定を登録する（ステップＳ２０４）。
For example, the
具体的には、フロースイッチ１０４−１は、対象となるフロー識別子が格納されたパケットをフロースイッチ１０４−２が接続されたポートに出力するように設定される。フロースイッチ１０４−２は、対象となるフロー識別子が格納されたパケットをフロースイッチ１０４−５が接続されたポートに出力するように設定される。フロースイッチ１０４−５は、対象となるフロー識別子が格納されたパケットをサーバ１０５−４が接続されたポートに出力し、宛先ＩＰアドレスをサーバ１０５−４のＩＰアドレスに変更するように設定される。 Specifically, the flow switch 104-1 is set to output a packet storing a target flow identifier to a port to which the flow switch 104-2 is connected. The flow switch 104-2 is set to output a packet storing the target flow identifier to a port to which the flow switch 104-5 is connected. The flow switch 104-5 is set to output a packet storing the target flow identifier to the port to which the server 105-4 is connected and to change the destination IP address to the IP address of the server 105-4. .
以上に説明したように、本実施形態では、受信したパケットのペイロードの情報にもとづきフロー識別子を付与するフロー識別部１０２と、フロー単位に転送制御が可能なフロースイッチ１０４−１〜１０４−５とを含むアプリケーション通信制御システムにおいて、通常時、つまり、転送制御の対象外のパケットの転送時には宛先ＩＰアドレスによる転送を行い、転送制御の対象パケットのみフロースイッチにフロー識別子の設定を登録して制御を行う。
As described above, in the present embodiment, the
従って、本実施形態によれば、ネットワーク１００から受信したパケットに対して、アプリケーション通信単位にフロー識別子をパケットに格納し、フロー制御ネットワークでフロー識別子ごとに転送制御を行うことができる。つまり、アプリケーション通信ごとの転送制御が可能となる。
Therefore, according to the present embodiment, for a packet received from the
また、通常の転送処理では宛先ＩＰアドレスを用いることができるので、従来のＩＰアドレスによる制御とフロー識別子による制御とを組み合わせることができる。それにより、フロースイッチ１０４−１〜１０４−５の設定を削減することが可能となる。 In addition, since the destination IP address can be used in normal transfer processing, the conventional control by the IP address and the control by the flow identifier can be combined. Thereby, the setting of the flow switches 104-1 to 104-5 can be reduced.
また、本実施形態では、サーバの負荷状況に応じて別のサーバでサービスを起動し、フロー識別子が格納されたパケットを当該別のサーバに転送するようにフロースイッチを制御する。従って、サービスの品質低下を回避することができる。また、ネットワークの輻輳状況などに応じた転送制御をすることができる。 In this embodiment, the service is started on another server in accordance with the load status of the server, and the flow switch is controlled so as to transfer the packet storing the flow identifier to the other server. Therefore, it is possible to avoid a decrease in service quality. In addition, it is possible to perform transfer control according to network congestion conditions.
実施形態２．
以下、本発明の第２の実施形態を図面を参照して説明する。
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings.
第２の実施形態におけるアプリケーション通信制御システムは、フロー識別部１０２の代わりに、フロー識別部１１２を備える。
The application communication control system according to the second embodiment includes a
図６は、第２の実施形態におけるフロー識別部１１２の構成を示すブロック図である。フロー識別部１１２の構成は、第１の実施形態におけるフロー制御部１０２の構成と同様である。
FIG. 6 is a block diagram illustrating a configuration of the
しかし、フロー制御部１１２は、図６に示すように、第１の実施形態の構成に加えて、宛先解決部４００とフロー識別子生成部４０１とを含む。
However, as shown in FIG. 6, the
宛先解決部４００は、受信したパケットの宛先ＩＰアドレスを参照して、宛先情報の解決を行う。宛先情報は、サーバに割り当てる識別子である。
The
フロー識別子生成部４０１は、宛先解決部４００が解決した宛先情報をもとに、フロー識別子を生成する。
The flow
なお、宛先解決部４００およびフロー識別子生成部４０１は、制御部１０６が備えるＣＰＵ等によって実現される。
The
次に、本実施形態の動作を説明する。 Next, the operation of this embodiment will be described.
まず、第１の実施形態と同様に、サーバ１０５−１でサービスが提供されている状態において、サーバ１０５−１の高負荷になったため新規にサーバ１０５−４でサービスを起動する場合の動作を説明する。 First, as in the first embodiment, in the state where the service is provided by the server 105-1, the operation when the service is newly started by the server 105-4 because the load of the server 105-1 is high. explain.
フロー識別部１０２からサーバ１０５−１への通信は、フロー識別子に格納される宛先情報と優先度とで制御される。具体的には、フロースイッチ１０４−１〜１０４−５は、次に示す動作を行うように設定がなされている。フロースイッチ１０４−１は、サーバ１０５−１宛てのパケットを受信すると、パケットに格納されたフロー識別子と優先度とをもとに出力先を決定する。たとえば、優先度１（高優先）の場合には、フロースイッチ１０４−４が接続されたポートへ出力し、優先度２（低優先）の場合には、フロースイッチ１０４−２が接続されたポートへ出力する。フロースイッチ１０４−２は、宛先情報がサーバ１０５−１を示し優先度２のパケットを受信するとフロースイッチ１０４−３が接続されたポートへ出力する。フロースイッチ１０４−４は、宛先情報がサーバ１０５−１を示し優先度１および優先度２のパケットを受信すると、サーバ１０５−１が接続されたポートへ出力する。
Communication from the
図７は、第２の実施形態におけるアプリケーション通信制御システムの動作を示すフローチャートである。 FIG. 7 is a flowchart showing the operation of the application communication control system in the second embodiment.
フロー識別部１０２は、ネットワーク１００からパケットを受信する。なお、パケット解析部２００、情報抽出部２０１、フロー判定部２０２の動作（ステップＳ３００〜Ｓ３０５）は、第１の実施形態のステップＳ１００〜Ｓ１０５の処理と同様であるため説明を省略する。
The
フロー判定部２０２においてフロー識別子が登録されていると判定された場合は（ステップＳ３０５のＹｅｓ）、第１の実施形態と同様に、フロー判定部２０２が登録されたフロー識別子を取得する（ステップＳ３０６）。フロー判定部２０２においてフロー識別子が登録されていないと判定された場合は（ステップＳ３０５のＮｏ）、宛先解決部４００が、受信したパケットの宛先ＩＰアドレスを参照して、宛先情報の解決を行う（ステップＳ３０７）。
When the
宛先情報は、フロー制御ネットワーク１０１に接続されるサーバ１０５−１〜１０５−４に割り当てられる識別子である。宛先情報は、たとえば宛先情報としてサーバ１０５−１に“１”、サーバ１０５−２に“２”を割り当てる。 The destination information is an identifier assigned to the servers 105-1 to 105-4 connected to the flow control network 101. As the destination information, for example, “1” is assigned to the server 105-1 and “2” is assigned to the server 105-2 as the destination information.
フロー識別子生成部４０１は、宛先情報と優先度とをもとにフロー識別子を生成する（ステップＳ３０８）。優先度は、端末１０３やアクセスするサービスごとに定義されるものである。フロー識別子生成部４０１は、端末１０３のＩＰアドレスやアクセスするサービスに対応する優先度を管理する。フロー識別子生成部４０１で生成されたフロー識別子は、フロー管理部２０３へ通知され管理される（ステップＳ３０９）。
The flow
図８は、フロー識別子の構成の一例を示す説明図である。フロー識別子５００は、宛先情報５０１と優先度５０２とフロー情報５０３とを含む。フロー識別子５００は、フロー制御ネットワーク１０１においてパケットを転送するための情報として利用される。
FIG. 8 is an explanatory diagram showing an example of the configuration of the flow identifier. The flow identifier 500 includes
宛先情報５０１は、サーバ１０５−１〜１０５−４へ転送する経路を決定するために利用される。優先度５０２は、同一の宛先において、複数の経路を利用できることを可能とする情報である。優先度５０２は、高優先のものにネットワーク帯域に余裕がある経路を割り当てるといった制御を行うための情報である。フロー情報５０３は、サービスの利用者を識別するための情報である。具体的には、フロー情報５０３は、同一の宛先や優先度のパケットにおいて、サービスや端末のＩＰアドレスで区別される利用者ごとに制御を可能とする情報であって、より細かい粒度で制御を行うための情報である。
The
フロー制御ネットワーク１０１において、フロースイッチ１０４−１〜１０４−５に対して、宛先情報のみ、宛先情報と優先度、または、宛先情報と優先度とフロー情報に対応づけて出力ポートを設定することにより、さまざまな要求に対応する転送制御を行うことが可能となる。 In the flow control network 101, for the flow switches 104-1 to 104-5, by setting output ports in association with destination information only, destination information and priority, or destination information, priority, and flow information. It is possible to perform transfer control corresponding to various requests.
フロー識別子生成部４０１からフロー管理部２０３へ通知されたフロー識別子を含むフロー構成情報は、フロー通知部２０５を介して、制御部１０６へ通知される（ステップＳ３１０）。制御部１０６は、通知受信部３００でフロー構成情報を受信し、フロー記憶部３０１でフローテーブル３０２に格納し記憶する（ステップＳ３１１）。ヘッダ変換部２０４は、フロー識別子をヘッダに格納してフロー制御ネットワーク１０１へ送信する（ステップＳ３１２）。フロー識別子を格納する領域は、たとえば送信元ＭＡＣアドレスである。
The flow configuration information including the flow identifier notified from the flow
次に、サーバ１０５−１の負荷が上昇し、別のサーバ１０５−４でサービスを提供する場合の動作について説明する。 Next, an operation when the load on the server 105-1 increases and a service is provided by another server 105-4 will be described.
図９は、第２の実施形態におけるアプリケーション通信制御システムの切替要求時の動作の一例を示すフローチャートである。 FIG. 9 is a flowchart illustrating an example of an operation at the time of a switching request of the application communication control system in the second embodiment.
別のサーバ１０５−４でサービスを起動するまでの処理（ステップＳ４００〜Ｓ４０２）は、第１の実施形態のステップＳ２００〜Ｓ２０２の処理と同様であるため、説明を省略する。 Since the processing (steps S400 to S402) until the service is started on another server 105-4 is the same as the processing of steps S200 to S202 of the first embodiment, the description thereof is omitted.
フロー設定部３０４は、フロー単位に接続を切り替えるか、サーバ１０５−１からサーバ１０５−４へすべての通信を切り替えるかを判断する（ステップＳ４０３）。すべての通信を切り替える場合、つまり、サーバ単位の切り替えである場合は、フロー設定部３０４は、宛先情報と優先度に対する転送経路を決定する（ステップＳ４０４）。フロー単位の切り替えである場合は、フロー情報を含むフロー識別子に対する転送経路を決定する（ステップＳ４０５）。決定した転送経路は、フロースイッチ１０４−１〜１０４−５へ設定される（ステップＳ４０６）。
The
フロースイッチ１０４−１〜１０４−５は、受信したパケットからフロー識別子を抽出して、フロー識別子の宛先情報、優先度、フロー情報にもとづき出力ポートを決定する。フロースイッチ１０４−１〜１０４−５は、フロー識別子に対する出力ポートの設定がなされていて、かつ、受信したパケットから抽出したフロー識別子が登録されているかどうかの検索を行う。 The flow switches 104-1 to 104-5 extract a flow identifier from the received packet, and determine an output port based on destination information, priority, and flow information of the flow identifier. The flow switches 104-1 to 104-5 perform a search to determine whether the output port is set for the flow identifier and the flow identifier extracted from the received packet is registered.
フロースイッチ１０４−１〜１０４−５は、フロー識別子と、どの情報（宛先情報、優先度、フロー情報）が有効かを示す情報との組み合わせを管理し、受信したパケットのフロー識別子と一致もしくは部分的に一致するかを判定する。 The flow switches 104-1 to 104-5 manage combinations of flow identifiers and information indicating which information (destination information, priority, flow information) is valid, and match or partially match the flow identifiers of received packets. To match each other.
以上に説明したように、本実施形態では、宛先情報と優先度とフロー情報とから構成されるフロー識別子をパケットに格納し、制御部１０６は、宛先情報と優先度とフロー情報の組み合わせでフロースイッチに設定を行う。従って、本実施形態によれば、優先度やフロー情報にもとづく転送制御を行うことが可能となり、同一宛先のアプリケーション通信に関して複数の転送経路を指定することができる。これにより、例えば、優先度の低いトラヒックが優先度の高いトラヒックに影響をおよぼすことを回避することができる。
As described above, in the present embodiment, a flow identifier composed of destination information, priority, and flow information is stored in a packet, and the
図１０は、本発明によるアプリケーション通信制御システムの最小構成を示すブロック図である。図１１および図１２は、本発明によるアプリケーション通信制御システムの他の最小構成を示すブロック図である。 FIG. 10 is a block diagram showing the minimum configuration of the application communication control system according to the present invention. 11 and 12 are block diagrams showing another minimum configuration of the application communication control system according to the present invention.
図１０に示すように、アプリケーション通信制御システムは、端末から受信したパケットのペイロードを分析し、それぞれのパケットにフロー識別子を割り当て、フロー識別子をパケットヘッダに格納するフロー識別部１０（図１に示すフロー識別部１０２に相当。）と、フロー識別子に従いパケットを転送するフロースイッチ２０（図１に示すフロースイッチ１０４−１〜１０４−５に相当。）と、フロー識別子と端末にサービスを提供するサーバの負荷状況とに応じてフロースイッチを制御する制御部３０（図１に示す制御部１０６に相当。）とを備える。
As shown in FIG. 10, the application communication control system analyzes the payload of the packet received from the terminal, assigns a flow identifier to each packet, and stores the flow identifier in the packet header (shown in FIG. 1). A flow identification unit 102), a
上記の実施形態には、以下のようなアプリケーション通信制御システムも開示されている。 In the above embodiment, the following application communication control system is also disclosed.
（１）図１１に示すように、フロー識別部１０は、受信したパケットのペイロードからアプリケーションを特定する情報を抽出する情報抽出部１１（図２に示すフロー制御部１０２における情報抽出部２０１に相当。）と、抽出した情報をもとにフロー識別子を決定するフロー判定部１２（図２に示すフロー制御部１０２におけるフロー判定部２０２に相当。）と、フロー識別子をパケットヘッダに格納するヘッダ変換部１３（図２に示すフロー制御部１０２におけるヘッダ変換部２０４に相当。）とを備え、制御部３０は、サービスを提供するサーバから負荷状況を示す情報を取得するリソース管理部３１（図３に示す制御部１０３におけるリソース管理部３０５に相当。）と、負荷状況に応じて別のサーバでサービスを提供すべきか否かを判定する切替判定部３２（図３に示す制御部１０３における切替判定部３０３に相当。）と、判定の結果に応じて、当該サービスに対応するフロー識別子が格納されたパケットを別のサーバに転送させるための経路設定をフロースイッチ２０に登録するフロー設定部３３（図３に示す制御部１０３におけるフロー設定部３０４に相当。）とを備えるアプリケーション通信制御システム。
(1) As shown in FIG. 11, the
そのような構成によれば、端末を収容するネットワークから受信したパケットに対して、アプリケーション通信単位にフロー識別子をパケットに格納し、フロー制御ネットワークでフロー識別子ごとに転送制御を行うことができる。つまり、アプリケーション通信ごとの転送制御が可能となる。 According to such a configuration, a flow identifier can be stored in a packet for each application communication unit for a packet received from a network that accommodates a terminal, and transfer control can be performed for each flow identifier in the flow control network. That is, transfer control for each application communication is possible.
また、サーバの負荷状況に応じて、別のサーバでサービスを提供することができるので、サービスの品質低下を回避することができる。 In addition, since a service can be provided by another server according to the load status of the server, it is possible to avoid a decrease in service quality.
（２）フロー設定部３３は、通常時は宛先ＩＰアドレスを用いて転送し、経路を切り替える必要があるトラヒックをフロー識別子を用いて転送するようにフロースイッチ２０の経路設定を行うアプリケーション通信制御システム。
(2) The
そのような構成によれば、通常の転送処理では宛先ＩＰアドレスを用いることができるので、従来のＩＰアドレスによる制御とフロー識別子による制御とを組み合わせることができる。それにより、フロースイッチ１０４−１〜１０４−５の設定を削減することが可能となる。従って、アプリケーション通信単位の経路制御のための設定を削減できる。 According to such a configuration, since the destination IP address can be used in normal transfer processing, the conventional control by the IP address and the control by the flow identifier can be combined. Thereby, the setting of the flow switches 104-1 to 104-5 can be reduced. Accordingly, it is possible to reduce the setting for path control of the application communication unit.
（３）図１２に示すように、フロー識別部１０は、受信したパケットの宛先アドレスをもとに宛先情報と優先度とを解決する宛先解決部１４（図６に示すフロー識別部１１２における宛先解決部４００に相当。）と、宛先情報と優先度と利用者を識別するためのフロー情報とを含むフロー識別子を生成するフロー識別子生成部１５（図６に示すフロー識別部１１２におけるフロー識別子生成部４０１に相当。）を備え、フロースイッチ２０は、フロー識別子の宛先情報と優先度とフロー情報との組み合わせをもとにパケットの転送を行うアプリケーション通信制御システム。
(3) As shown in FIG. 12, the
そのような構成によれば、優先度やフロー情報にもとづく転送制御を行うことが可能となり、同一宛先のアプリケーション通信に関して複数の転送経路を指定することができる。 According to such a configuration, transfer control based on priority and flow information can be performed, and a plurality of transfer paths can be designated for application communication of the same destination.
（４）ヘッダ変換部１３は、受信したパケットの送信元ＭＡＣアドレスにフロー識別子を格納するアプリケーション通信制御システム。
(4) The
このように、フロー識別子をフロー制御ネットワークで制御可能なヘッダ領域に格納することにより、既存のスイッチ、例えば、ＯｐｅｎＦｌｏｗに準拠したスイッチを、フロースイッチに適用することができる。 In this way, by storing the flow identifier in the header area that can be controlled by the flow control network, an existing switch, for example, a switch compliant with OpenFlow can be applied to the flow switch.
１０、１０２ フロー識別部
１１、２０１ 情報抽出部
１２、２０２ フロー判定部
１３、２０４ ヘッダ変換部
１４、４００ 宛先解決部
１５、４０１ フロー識別子生成部
２０、１０４−１〜１０４−５ フロースイッチ
３０、１０６ 制御部
３１、３０５ リソース管理部
３２、３０３ 切替判定部
３３、３０４ フロー設定部
１００ ネットワーク
１０１ フロー制御ネットワーク
１０３ 端末
１０５−１〜１０５−４ サーバ
２００ パケット解析部
２０３ フロー管理部
２０５ フロー通知部
３００ 通知受信部
３０１ フロー記憶部
３０２ フローテーブル
３０６ リソース制御部
５００ フロー識別子
５０１ 宛先情報
５０２ 優先度
５０３ フロー情報
10, 102
Claims (10)
前記フロー識別子に従いパケットを転送するフロースイッチと、
前記フロー識別子と前記端末に前記サービスを提供するサーバの負荷状況とに応じて前記フロースイッチを制御する制御部とを備えた
ことを特徴とするアプリケーション通信制御システム。 Analyzing a payload of a packet received from a terminal, assigning a flow identifier to each packet, and storing the flow identifier in a packet header;
A flow switch for forwarding packets according to the flow identifier;
An application communication control system comprising: a control unit that controls the flow switch according to the flow identifier and a load status of a server that provides the service to the terminal.
受信したパケットのペイロードからアプリケーションを特定する情報を抽出する情報抽出部と、抽出した情報をもとにフロー識別子を決定するフロー判定部と、前記フロー識別子をパケットヘッダに格納するヘッダ変換部とを備え、
制御部は、
サービスを提供するサーバから負荷状況を示す情報を取得するリソース管理部と、前記負荷状況に応じて別のサーバでサービスを提供すべきか否かを判定する切替判定部と、前記判定の結果に応じて、当該サービスに対応するフロー識別子が格納されたパケットを前記別のサーバに転送させるための経路設定をフロースイッチに登録するフロー設定部とを備える
請求項１に記載のアプリケーション通信制御システム。 The flow identifier
An information extraction unit that extracts information identifying an application from the payload of the received packet, a flow determination unit that determines a flow identifier based on the extracted information, and a header conversion unit that stores the flow identifier in a packet header Prepared,
The control unit
A resource management unit that acquires information indicating a load status from a server that provides a service, a switching determination unit that determines whether or not a service should be provided by another server according to the load status, and a response according to the result of the determination The application communication control system according to claim 1, further comprising: a flow setting unit that registers in a flow switch a route setting for transferring a packet storing a flow identifier corresponding to the service to the another server.
請求項２に記載のアプリケーション通信制御システム。 3. The application communication control according to claim 2, wherein the flow setting unit normally performs transfer using a destination IP address and performs route setting of the flow switch so as to transfer traffic that needs to be switched using a flow identifier. system.
フロースイッチは、前記フロー識別子の宛先情報と優先度とフロー情報との組み合わせをもとにパケットの転送を行う
請求項１から請求項３のうちのいずれか１項に記載のアプリケーション通信制御システム。 The flow identifying unit includes a destination resolving unit that resolves destination information and priority based on a destination address of a received packet, and a flow that includes the destination information, the priority, and flow information for identifying a user. A flow identifier generation unit for generating an identifier;
The application communication control system according to any one of claims 1 to 3, wherein the flow switch transfers a packet based on a combination of destination information, priority, and flow information of the flow identifier.
請求項２から請求項４のうちのいずれか１項に記載のアプリケーション通信制御システム。 The application communication control system according to any one of claims 2 to 4, wherein the header conversion unit stores a flow identifier in a transmission source MAC address of the received packet.
それぞれのパケットにフロー識別子を割り当て、前記フロー識別子をパケットヘッダに格納し、
前記フロー識別子と前記端末にサービスを提供するサーバの負荷状況とに応じて、前記フロー識別子に従いパケットを転送するフロースイッチを制御する
ことを特徴とするアプリケーション通信制御方法。 Analyze the payload of the packet received from the device,
Assign a flow identifier to each packet, store the flow identifier in a packet header,
An application communication control method, comprising: controlling a flow switch that transfers a packet according to the flow identifier according to the flow identifier and a load state of a server that provides a service to the terminal.
前記フロー識別子をパケットヘッダに格納し、
サービスを提供するサーバから負荷状況を示す情報を取得し、
前記負荷状況に応じて別のサーバでサービスを提供すべきか否かを判定し、
前記判定の結果に応じて、当該サービスに対応するフロー識別子が格納されたパケットを前記別のサーバに転送させるための経路設定をフロースイッチに登録する
請求項６に記載のアプリケーション通信制御方法。 Extract information that identifies the application from the payload of the received packet, determine the flow identifier based on the extracted information,
Storing the flow identifier in a packet header;
Obtain information indicating the load status from the server providing the service,
Determine whether to provide a service on another server according to the load situation,
The application communication control method according to claim 6, wherein a route setting for causing a packet storing a flow identifier corresponding to the service to be transferred to the another server is registered in the flow switch according to the determination result.
請求項６または請求項７に記載のアプリケーション通信制御方法。 8. The application communication control method according to claim 6 or 7, wherein the route setting of the flow switch is performed so that the traffic is transferred using a destination IP address at a normal time and traffic that needs to be switched is transferred using a flow identifier. .
前記宛先情報と前記優先度と利用者を識別するためのフロー情報とを含むフロー識別子を生成し、
前記フロー識別子の宛先情報と優先度とフロー情報との組み合わせをもとにパケットの転送を行う
請求項６から請求項８のうちのいずれか１項に記載のアプリケーション通信制御方法。 Resolve destination information and priority based on the destination address of the received packet,
Generating a flow identifier including the destination information, the priority, and flow information for identifying a user;
The application communication control method according to any one of claims 6 to 8, wherein a packet is transferred based on a combination of destination information of the flow identifier, priority, and flow information.
請求項６から請求項９のうちのいずれか１項に記載のアプリケーション通信制御方法。 The application communication control method according to any one of claims 6 to 9, wherein a flow identifier is stored in a source MAC address of a received packet.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012180183A JP6194568B2 (en) | 2012-08-15 | 2012-08-15 | Application communication control system and application communication control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012180183A JP6194568B2 (en) | 2012-08-15 | 2012-08-15 | Application communication control system and application communication control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014039141A true JP2014039141A (en) | 2014-02-27 |
| JP6194568B2 JP6194568B2 (en) | 2017-09-13 |
Family
ID=50286955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012180183A Active JP6194568B2 (en) | 2012-08-15 | 2012-08-15 | Application communication control system and application communication control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6194568B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016144144A (en) * | 2015-02-04 | 2016-08-08 | 日本電信電話株式会社 | System and method for load distribution |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010090182A1 (en) * | 2009-02-03 | 2010-08-12 | 日本電気株式会社 | Application switch system, and application switch method |
| WO2011037105A1 (en) * | 2009-09-25 | 2011-03-31 | 日本電気株式会社 | Content-based switching system and content-based switching method |
| JP2011515939A (en) * | 2008-03-21 | 2011-05-19 | アルカテル−ルーセント | In-band DPI application recognition propagation enhancement function |
| WO2012073409A1 (en) * | 2010-12-01 | 2012-06-07 | Nec Corporation | Communication system, control device, communication method, and program |
| WO2012101890A1 (en) * | 2011-01-26 | 2012-08-02 | 日本電気株式会社 | Network system, control device and optimum path control method |
| JP2012186649A (en) * | 2011-03-04 | 2012-09-27 | Nec Corp | Communication switching system, communication switching method, and program |
-
2012
- 2012-08-15 JP JP2012180183A patent/JP6194568B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011515939A (en) * | 2008-03-21 | 2011-05-19 | アルカテル−ルーセント | In-band DPI application recognition propagation enhancement function |
| WO2010090182A1 (en) * | 2009-02-03 | 2010-08-12 | 日本電気株式会社 | Application switch system, and application switch method |
| WO2011037105A1 (en) * | 2009-09-25 | 2011-03-31 | 日本電気株式会社 | Content-based switching system and content-based switching method |
| WO2012073409A1 (en) * | 2010-12-01 | 2012-06-07 | Nec Corporation | Communication system, control device, communication method, and program |
| WO2012101890A1 (en) * | 2011-01-26 | 2012-08-02 | 日本電気株式会社 | Network system, control device and optimum path control method |
| JP2012186649A (en) * | 2011-03-04 | 2012-09-27 | Nec Corp | Communication switching system, communication switching method, and program |
Non-Patent Citations (1)
| Title |
|---|
| 林 偉夫: "動的再構成ノードに関する一検討", 電子情報通信学会２０１１年総合大会講演論文集 通信２, JPN6014046613, 28 February 2011 (2011-02-28), pages 15, ISSN: 0003300095 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016144144A (en) * | 2015-02-04 | 2016-08-08 | 日本電信電話株式会社 | System and method for load distribution |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6194568B2 (en) | 2017-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11336614B2 (en) | Content node network address selection for content delivery | |
| EP2845372B1 (en) | Two level packet distribution with stateless first level packet distribution to a group of servers and stateful second level packet distribution to a server within the group | |
| US9075660B2 (en) | Apparatus and method for providing service availability to a user via selection of data centers for the user | |
| JP6364106B2 (en) | Method, system and computer-readable medium for routing Diameter messages in a Diameter signaling router | |
| JP2013090072A (en) | Service provision system | |
| CN112351083B (en) | Service processing method and network service system | |
| EP3066575B1 (en) | Server network address selection based on network characteristics of service providers | |
| CN106375355B (en) | Load balancing processing method and device | |
| KR20110063328A (en) | Remote procedure call(rpc) bind service with physical interface query and selection | |
| CN114900526A (en) | Load balancing method and system, computer storage medium and electronic device | |
| JP2024514643A (en) | Packet forwarding method, apparatus, and system, and computer-readable storage medium | |
| JP3897603B2 (en) | Front-end processor, routing management method, and routing management program | |
| JP2005182702A (en) | Access control system in ip network | |
| JP6194568B2 (en) | Application communication control system and application communication control method | |
| US10372564B2 (en) | Failover handling in a content node of a content delivery network | |
| US20230102122A1 (en) | Methods, systems, and computer readable media for identifying alternate delivery endpoints for mobile originated data and monitoring reports in a communications network | |
| CN113068223B (en) | Local distribution method, device and equipment based on slice information and storage medium | |
| CN115604172A (en) | Method, device and system for forwarding message | |
| JP2000293496A (en) | Decentralizing device for service load of network | |
| US9807669B1 (en) | Identifying communication paths based on packet data network gateway status reports | |
| JP5872669B2 (en) | Server device group and network system | |
| CN117336238A (en) | Apparatus, method, device, and medium for a computing network | |
| JP2008113162A (en) | Base station and pdsn load distribution method | |
| JP2007049731A (en) | Front end processor, routing management method, routing manager program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150703 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160419 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170718 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170731 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6194568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |