JP2021064835A - ネットワーク管理装置及び方法 - Google Patents

Abstract

【課題】ネットワークの性能を一括管理し、ネットワーク全体としての利用効率を向上させながらネットワーク性能の低下を防止し得るネットワーク管理装置及び方法を提供する。【解決手段】方法は、ネットワークの性能及び構成に関する情報を、ネットワークを構成するネットワーク機器及び各ノードから収集し、収集した情報に基づいて、ネットワークを介してノード間で行われている各通信のネットワーク内の経路をそれぞれ推定し、各通信の経路の推定結果に基づいて、ネットワークにおける通信に利用されている経路に偏りがあるか否かを判定すると共に、各ネットワークにおける過負荷の発生の有無を判定し、経路に偏りがあるか否かの判定結果、及び、過負荷の発生の有無の判定結果に基づいて対応するノードに対する制御内容を決定し、決定結果に従ってノードを制御する。【選択図】図１２

Description

本発明は、ネットワーク管理装置及び方法に関し、例えば、分散ストレージクラスタ内のネットワーク帯域を管理するネットワーク管理装置に適用して好適なものである。

ＳＤＳ（Software Defined Storage）技術は、汎用のコンピュータ上でストレージ機能をソフトウェアとして稼動させ、かかるコンピュータ（以下、これをＳＤＳノードと呼ぶ）を増設することにより処理性能及び容量を容易にスケールアウトできるようにした技術である。このようなＳＤＳを適用したストレージシステムでは、ＳＤＳノードの追加によってネットワークの利用効率が低下しないように、クラスタ全体のネットワーク性能を管理することが必要となる。

ＳＤＳを始めとする近年のデータセンタのネットワークとしては、ＰＣＩ（Peripheral Component Interconnect）などの高速な内部バス、ＦＣ（Fibre Channel）やInfiniabandなどの高信頼なネットワークに代えて、安価で普及したイーサネット（登録商標）を用い、ネットワークのFabricを構築するLeaf-Spineネットワーク又はFat-Treeネットワークと呼ばれるアーキテクチャを構成することが一般的になりつつある。

これらのネットワークアーキテクチャでは、ネットワークの帯域を確保するために、スイッチ間の接続を多重化し、複数のパスに負荷分散をして合計でのネットワーク帯域を向上させている。この負荷分散には、ネットワークスイッチの負荷分散アルゴリズムにはＥＣＭＰ（Equal Cost Multi Path）やＬＡＣＰ（Link Aggregation Control Protocol）などのプロトコルを用いたネットワークを構成することが一般的である。

ＥＣＭＰやＬＡＣＰといったプロトコルでは、負荷分散処理の高速化のためにステートレスでの処理が行われ、なおかつ、ＴＣＰ（Transmission Control Protocol）での順序追い越しなどによる処理の複雑化を避けるためにＴＣＰ／ＵＤＰ（User Datagram Protocol）ヘッダに含まれる送信元、送信先のＩＰ（Internet Protocol）アドレス及び送受信のポート番号を入力値としたハッシュ関数で通信経路が決定される。

実装には、ＸＯＲ（排他的論理和）やＣＲＣ（Cyclic Redundancy Check）などをベースにしたものが用いられる場合が多いが、いずれにせよ、静的な情報をベースに用いるためにハッシュ値が偏り、特定の通信経路にトラフィックが偏る（以下、これを経路の偏りと呼ぶ）ケースが存在する。このような経路の偏りが発生した場合、ネットワーク全体の利用効率が低下し、その結果としてスループットやレイテンシなどのネットワークの通信性能が低下する。

ＭＰ−ＴＣＰ（Multipath-TCP）では、アプリケーションが通信するソケットと、実際にデータを転送するソケットとを分離し、データを複数のソケットに分割して並列にデータ転送を行うことができる。実質的に、同一のＳＤＳノードの組に対して、ＴＣＰコネクション数を増やし、負荷分散の機会を増やすと、ハッシュ値の偏りが起こる確率が少なくなり、間接的にネットワークの利用効率を向上させることができる。

このようなＳＤＳノード側による帯域制限の構成は、ネットワーク機器側で帯域制御と比較して、汎用的で機器の種類を問わずに適用可能であるため、幅広い環境で利用されるＳＤＳにおいては求められている。

ところで、ＭＰ−ＴＣＰなどのＴＣＰ通信を多重化する方式において、ネットワークの構成及び負荷を鑑みて、どの通信経路にどの程度トラフィックを多重化させるかを決定することが性能を向上させるためのチューニングとして重要になる。

特許文献１には、Leaf-Spineなどの複数の通信経路をもつネットワークの両端に、経路情報を管理するプロキシサーバを設置し、これらのプロキシサーバがＭＰ−ＴＣＰに利用する複数のパス（通信経路）を管理する発明が開示されている。この特許文献１に開示された発明によると、アプリケーション及び通信を行うホストがＴＣＰ通信を行うと、ネットワーク上に存在する複数の通信経路に自動的に負荷分散が行われる。

国際公開第２０１６／０６９４３３号

しかしながら、この特許文献１に開示された発明によると、ネットワーク全体が過負荷な状況にある場合にスループットを悪化させるという問題や、ネットワークの通信元（パケットの送信元）の負荷が通信先（パケットの送信先）の負荷を超過すると、ネットワーク機器のバッファオーバーランによるTCP-Incastが発生するという問題がある。

また特許文献１に開示された発明では、通信元及び通信先の２つのノＳＤＳノードの情報及び中間経路の情報のみを取り扱うこととしているものの、実際には中間経路を通る他のネットワーク通信の情報をも参照して、ＳＤＳノードに対する制御（例えば、ＴＣＰコネクション数の増減や帯域の制限）を行うことができない。

さらに特許文献１に開示された発明では、ＳＤＳノード側の負荷の状況を参照した場合も、他のＳＤＳノードにおける通信の状況と比較しない限り、自ＳＤＳノードの状態が適正なスループットを維持できているかを判断することができない。このため、ネットワークの性能を一括管理し、ネットワーク全体としての利用効率を向上させながらネットワーク性能の低下を防止できる手法が必要となる。

本発明は以上の点を考慮してなされたもので、ネットワークの性能を一括管理し、ネットワーク全体としての利用効率を向上させながらネットワーク性能の低下を防止し得るネットワーク管理装置及び方法を提案しようとするものである。

かかる課題を解決するため本発明においては、複数のノードを有する分散ストレージシステム内の前記ノード間を接続するネットワークの管理を行うネットワーク管理装置において、前記ネットワークの性能及び構成に関する情報を、当該ネットワークを構成するネットワーク機器及び各前記ノードから収集するネットワーク情報収集部と、前記ネットワーク情報収集部により収集された前記情報に基づいて、前記ネットワークを介して前記ノード間で行われている各通信の当該ネットワーク内の経路をそれぞれ推定する経路推定部と、各前記通信の経路の推定結果に基づいて、前記ネットワークにおける通信に利用されている前記経路に偏りがあるか否かを判定する経路偏り発生判定部と、各前記通信の経路の推定結果に基づいて、前記ネットワークにおける過負荷の発生の有無を判定する過負荷判定部と、前記経路偏り発生判定部の判定結果及び前記過負荷判定部の判定結果に基づいて、対応する前記ノードに対する制御内容を決定し、決定結果に従って当該ノードを制御する制御部とを設けるようにした。

また本発明においては、複数のノードを有する分散ストレージシステム内の前記ノード間を接続するネットワークの管理を行うネットワーク管理装置により実行されるネットワーク管理方法であって、前記ネットワークの性能及び構成に関する情報を、当該ネットワークを構成するネットワーク機器及び各前記ノードから収集する第１のステップと、収集した前記情報に基づいて、前記ネットワークを介して前記ノード間で行われている各通信の当該ネットワーク内の経路をそれぞれ推定する第２のステップと、各前記通信の経路の推定結果に基づいて、前記ネットワークにおける通信に利用されている前記経路に偏りがあるか否かを判定すると共に、各前記ネットワークにおける過負荷の発生の有無を判定する第３のステップと、前記経路に偏りがあるか否かの判定結果、及び、過負荷の発生の有無の判定結果に基づいて対応する前記ノードに対する制御内容を決定し、決定結果に従って当該ノードを制御する第４のステップとを設けるようにした。

本発明のネットワーク管理装置及び方法によれば、ネットワーク全体の状況に応じて各ノードを適正に制御することができる。

本発明によれば、ネットワークの性能を一括管理し、ネットワーク全体としての利用効率を向上させながらネットワーク性能の低下を防止し得るネットワーク管理装置及び方法を実現できる。

本実施の形態によるストレージシステムの全体構成を示すブロック図である。 ネットワーク管理サーバの論理構成を示すブロック図である。 ノード側ネットワーク性能情報テーブルの構成を示す図表である。 ネットワーク側ネットワーク性能情報テーブルの構成を示す図表である。 ポート接続情報テーブルの構成を示す図表である。 インタフェース−アドレス対応付け情報テーブルの構成を示す図表である。 ルーティング情報テーブルの構成を示す図表である。 ＴＣＰ通信経路候補情報テーブルの構成を示す図表である。 クラスタ内ネットワークにおける区間の説明に供する図である。 クラスタ内通信制御履歴情報テーブルの構成を示す図表である。 ネットワーク情報取得処理の処理手順を示すフローチャートである。 ネットワーク管理処理の処理手順を示すフローチャートである。 クラスタ内通信制御部の制御内容の説明に供するブロック図である。 クラスタ内通信制御部の制御内容の説明に供するブロック図である。 クラスタ内通信制御部の制御内容の説明に供するブロック図である。 クラスタ内通信制御部の制御内容の説明に供するブロック図である。 クラスタ内通信制御部の制御内容の説明に供するブロック図である。 ＴＣＰ通信経路候補検出処理の処理手順を示すフローチャートである。 最尤経路検出処理の処理手順を示すフローチャートである。 経路偏り発生判定処理の処理手順を示すフローチャートである。 過負荷判定処理の処理手順を示すフローチャートである。 制御内容決定処理の処理手順を示すフローチャートである。 制御内容決定処理の処理手順を示すフローチャートである。 制御内容決定処理の処理手順を示すフローチャートである。

以下図面について、本発明の一実施の形態を詳述する。

（１）本実施の形態によるストレージシステムの構成
図１において、１は全体として本実施の形態によるストレージシステムを示す。このストレージシステム１は、分散ストレージシステムでなるクラスタ２と、クラスタ２内のネットワークを管理するネットワーク管理サーバ３とを備えて構成され、これらクラスタ２及びネットワーク管理サーバ３間がネットワーク４を介して接続されている。

クラスタ２は、１又は複数のアクティブ側のＳＤＳラック１２Ａと、これらＳＤＳラック１２Ａとそれぞれ対応させて設けられた１又は複数のスタンバイ側のＳＤＳラック１２Ｂと、複数のルータ１３とを備えて構成される。なお、以下においては、アクティブ側及びスタンバイ側のＳＤＳラック１２Ａ，１２Ｂを分けて説明する必要がない場合には、これらＳＤＳラック１２Ａ，１２ＢをまとめてＳＤＳラック１２と呼ぶものとする。

また各ＳＤＳラック１２には、それぞれ１又は複数のＳＤＳノード１０と、複数のスイッチ１１とが搭載される。そして、これらの各ＳＤＳノード１０はそれぞれ通信路を介して各スイッチ１１と接続され、各スイッチ１１はそれぞれすべてのルータ１３と接続されている。これによりアクティブ側のＳＤＳラック１２Ａ内の各スイッチ１１と、各ルータ１３と、スタンバイ側のＳＤＳラック１２Ｂ内の各スイッチ１１とによってクラスタ２内のＴＣＰ／ＩＰ通信ネットワーク（以下、これをクラスタ内ネットワークと呼ぶ）１４が構築される。

そしてクラスタ２内では、図示しないホスト装置からアクティブ側のＳＤＳラック１２ＡのＳＤＳノード１０に書き込まれたデータが、ＳＤＳノード１０への書込みと同期して又は非同期にクラスタ内ネットワーク１４を介してスタンバイ側のＳＤＳラック１２Ｂ内のＳＤＳノード１０に転送されてバックアップされる。これによりアクティブ側のＳＤＳラック１２Ａ内のＳＤＳノード１０に障害が発生した場合にスタンバイ側のＳＤＳラック１２Ｂ内のＳＤＳノード１０をアクティブ側に切り替えることでクラスタ２の運用を継続し得るようになされている。

ネットワーク管理サーバ３は、ＣＰＵ（Central Processing Unit）２０、メモリ２１、インタフェース２２、記憶装置２３及び通信装置２４を備えた汎用のサーバ装置から構成される。ＣＰＵ２０は、ネットワーク管理サーバ３全体の動作制御を司るプロセッサであり、メモリ２１及びインタフェース２０とそれぞれ接続される。またメモリ２１は、例えば、揮発性の半導体メモリから構成され、ＣＰＵ２０のワークメモリとして利用される。

記憶装置２３は、例えば、ハードディスク装置、ＳＳＤ（Solid State Drive）及び又はフラッシュメモリなどの大容量の不揮発性の記憶装置から構成され、各種プログラムや必要なデータを長期間保存するために利用される。後述する管理プログラム２５もこの記憶装置２３に格納されて管理され、ネットワーク管理サーバ３の起動時にメモリ２１にロードされてＣＰＵ２０により実行される。

通信装置２４は、例えば、イーサネット（登録商標）ネットワークカードなどから構成され、ネットワーク管理サーバ３がネットワーク４を介してクラスタ２内の各ＳＤＳノード１０や、スイッチ１１及びルータ１３と通信を行う際のプロトコル制御を行う。

（２）ネットワーク管理機能
次に、本ネットワーク管理サーバ３に搭載されたネットワーク管理機能について説明する。このネットワーク管理機能は、クラスタ内ネットワーク１４の性能及び構成に関する情報をクラスタ２内の各ＳＤＳノード１０や、各スイッチ１１及び各ルータ１３などのネットワーク機器（以下、適宜、スイッチ１１及びルータ１３を纏めてネットワークスイッチと呼ぶ）とからそれぞれ収集し、収集したこれらの情報に基づいてクラスタ内ネットワーク１４を介して行われる各ＴＣＰ通信のＴＣＰコネクション数や帯域を一括管理する機能である。

このようなネットワーク管理機能を実現するための手段として、ネットワーク管理サーバ３には、図２に示すように、ネットワーク性能情報管理部３０、ネットワーク構成情報管理部３１、ネットワーク経路推定部３２、経路偏り発生判定部３３、過負荷判定部３４及びクラスタ内通信制御部３５が設けられている。なお、これらの機能部は、図１について上述したＣＰＵ２０が、記憶装置２３からメモリ２１にロードした管理プログラム２５を実行することにより具現化される機能部である。

またネットワーク管理サーバ３の記憶装置２３には、かかるネットワーク管理機能を実現するための情報を保持するテーブルとして、ノード側ネットワーク性能情報テーブル３６、ネットワーク側ネットワーク性能情報テーブル３７、ネットワーク構成情報テーブル群３８、ＴＣＰ通信経路候補情報テーブル３９及びクラスタ内通信制御履歴情報テーブル４０が格納されている。

ネットワーク性能情報管理部３０は、クラスタ内ネットワーク１４の性能に関する情報を収集して管理する機能を有する機能部である。

実際上、ネットワーク性能情報管理部３０は、クラスタ内ネットワーク１４を介してアクティブ側のＳＤＳラック１２Ａ内のＳＤＳノード１０と、スタンバイ側のＳＤＳラック１２Ｂ内のＳＤＳノード１０との間で行われている各ＴＣＰ通信に関するクラスタ内ネットワーク１４の性能情報を定期的に各ＳＤＳノード１０からそれぞれ収集し、収集したこれらの性能情報をノード側ネットワーク性能情報テーブル３６に格納して管理する。そのための手段として、各ＳＤＳノード１０にはそれぞれＯＳ（Operating System）から必要な情報を取得可能なエージェント（図示せず）が実装されており、ネットワーク性能情報管理部３０は、これらのエージェントからかかる性能情報を収集する。

またネットワーク性能情報管理部３０は、各ネットワークスイッチ（スイッチ１１及びルータ１３）の各ポートにおけるスループットや廃棄パケット数などの情報を例えばＳＮＭＰ（Simple Network Management Protocol）プロトコルを用いて各ネットワークスイッチからそれぞれ収集し、収集したこれらの情報をネットワーク側ネットワーク性能情報テーブル３７に格納して管理する。

ネットワーク構成情報管理部３１は、クラスタ内ネットワーク１４の構成に関する情報をクラスタ２内の各ネットワークスイッチから定期的に収集する機能を有する機能部である。

実際上、ネットワーク構成情報管理部３１は、各ネットワークスイッチから各ポートがどのネットワークスイッチのどのポートに接続されているかといったポートごとの接続情報や、これらポートに割り当てられたＩＰアドレス、及び、そのネットワークスイッチが保持するルーティングテーブルなどの情報を例えばＬＬＤＰ（Link Layer Discovery Protocol）プロトコルを用いてそれぞれ収集し、収集したこれらの情報をネットワーク構成情報テーブル群３８に登録して管理する。

ネットワーク経路推定部３２は、ノード側ネットワーク性能情報テーブル３６、ネットワーク側ネットワーク性能情報テーブル３７及びネットワーク構成情報テーブル群３８に格納された各情報に基づいて、クラスタ内ネットワーク１４を介して行われている各ＴＣＰ通信が経由する通信経路をそれぞれ推定し、推定した各通信経路をそれぞれ対応するＴＣＰ通信の最尤経路として特定する機能を有する機能部である。

実際上、ネットワーク経路推定部３２は、クラスタ内ネットワーク１４を介して行われているＴＣＰ通信ごとに、そのＴＣＰ通信が利用可能なすべての通信経路がそれぞれＴＣＰ通信経路候補として登録されたＴＣＰ通信経路候補情報テーブル３９を作成する。

またネットワーク経路推定部３２は、各ＴＣＰ通信がそれぞれ対応するＴＣＰ通信経路候補を利用した場合の各ネットワークスイッチ（スイッチ１１及びルータ１３）の各ポートのスループットを、各ＴＣＰ通信のＴＣＰ通信経路候補の組合せ（以下、これをＴＣＰ通信経路候補組合せと呼ぶ）ごとにそれぞれシミュレーションする。

そしてネットワーク経路推定部３２は、かかるシミュレーション結果と、ネットワーク側ネットワーク性能情報テーブル３７に格納されている各ネットワークスイッチの各ポートにおける実際のスループットとを比較することにより、各ＴＣＰ通信で実際に利用されているであろう通信経路をそれぞれ推定し、推定した各ＴＣＰ通信の通信経路をそれぞれ最尤経路として特定する。

経路偏り発生判定部３３は、ネットワーク経路推定部３２により実行されたかかるシミュレーションのシミュレーション結果に基づいて、クラスタ内ネットワーク１４におけるデータトラフィックが偏っている通信経路を検出する機能を有するプログラムである。具体的に、経路偏り発生判定部３３は、ボトルネックとなっているポート（以下、これをボトルネックポートと呼ぶ）の中から一定の条件を満たすボトルネックポートを、経路偏りが発生している通信経路のポートとして抽出する。

また過負荷判定部３４は、かかるシミュレーション結果に基づいて、各ＴＣＰ通信の最尤経路上のポートのうち、一定レベル以上のパケット破棄が発生している負荷の高いポートを検出する機能を有する機能部である。

クラスタ内通信制御部３５は、経路偏り発生判定部３３により検出された一定条件を満たすボトルネックポートの情報と、過負荷判定部３４により検出された負荷の高いポートの情報とに基づいて、クラスタ内ネットワーク１４における通信経路の偏りや過負荷箇所の発生を抑制すべく、必要なＳＤＳノード１０に対して各ＴＣＰ通信のコネクション数を増減させたり、帯域を制限する制御を実行する機能を有する機能部である。クラスタ内通信制御部３５は、このとき実行した制御内容を制御履歴情報としてクラスタ内通信制御履歴情報テーブル４０に登録して管理する。

一方、ノード側ネットワーク性能情報テーブル３６は、ネットワーク性能情報管理部３０により収集された、各ＴＣＰ通信に関するクラスタ内ネットワーク１４の性能情報を管理するために利用されるテーブルであり、図３に示すように、ノード名欄３６Ａ、通信種類欄３６Ｂ、宛先アドレス欄３６Ｃ、要求帯域欄３６Ｄ、実帯域欄３６Ｅ、レイテンシ欄３６Ｆ、廃棄パケット数欄３６Ｇ及びウインドサイズ（Window Size）欄３６Ｈを備えて構成される。ノード側ネットワーク性能情報テーブル３６では、１つの行がそのときクラスタ内ネットワーク１４を介して行われている１つのＴＣＰ通信に関する情報に相当する。

そしてノード名欄３６Ａには、対応するＴＣＰ通信の通信元（パケットの送信元）のＳＤＳノード１０における当該ＴＣＰ通信の通信元となったポートのＩＰアドレスが格納され、通信種類欄３６Ｂには、そのＴＣＰ通信の種類を表す情報（例えば、そのＴＣＰ通信がデータ通信には「Data」、対応するＴＣＰ通信が制御情報の送受信の場合には「Control」）が格納される。また宛先アドレス欄３６Ｃには、そのＴＣＰ通信における通信先（パケットの送信先）のＩＰアドレスが格納される。

さらに、要求帯域欄３６Ｄには、そのＴＣＰ通信で要求された通信速度（以下、これを要求帯域と呼ぶ）が格納され、実帯域欄３６Ｅには、そのＴＣＰ通信の実際の通信速度（以下、これを実帯域と呼ぶ）が格納される。

さらにレイテンシ欄３６Ｆには、対応するＴＣＰ通信について計測されたレイテンシ（通信の遅延時間）が格納され、破棄バケット数欄３６Ｇには、そのＴＣＰ通信において破棄されたパケットの総数が格納される。さらにウインドサイズ欄３６Ｈには、そのＴＣＰ通信におけるウインドサイズが格納される。

またネットワーク側ネットワーク性能情報テーブル３７は、ネットワーク性能情報管理部３０により収集された、クラスタ２内の各ネットワークスイッチ（スイッチ１１及びルータ１３）の各ポートにおけるネットワーク性能に関する情報を管理するためのテーブルであり、図４に示すように、ポート名欄３７Ａ、受信速度欄３７Ｂ、送信速度欄３７Ｃ及び廃棄パケット数欄３７Ｄを備えて構成される。ネットワーク側ネットワーク性能情報テーブル３７では、１つの行が対応するネットワークスイッチの対応する１つのポートについての計測値を表す。

そしてポート名欄３７Ａには、対応するネットワークスイッチの対応するポートのＩＰアドレスが格納される。また、受信速度欄３７Ｂには、その情報を取得した時点におけるそのポートでのパケットの受信速度が格納され、送信速度欄３７Ｃには、その情報を取得した時点におけるそのポートでのパケットの送信速度が格納される。さらに廃棄パケット数欄３７Ｄには、そのポートを経由して行われているＴＣＰ通信についてそのポートで廃棄されたパケット数が格納される。

他方、ネットワーク構成情報テーブル群３８は、図５に示すポート接続情報テーブル３８Ａ、図６に示すインタフェース−ＩＰアドレス対応付け情報テーブル３８Ｂ、及び、図７に示すルーティング情報テーブル３８Ｃの３つのテーブルから構成される。

ポート接続情報テーブル３８Ａは、クラスタ内ネットワーク１４内の各ネットワークスイッチ（スイッチ１１及びルータ１３）のポートと、他のネットワークスイッチ又はＳＤＳノード１０のポートとの接続関係を管理するために利用されるテーブルであり、図５に示すように、取得時刻欄３８ＡＡ、ローカルスイッチＩＤ欄３８ＡＢ、ローカルポート番号欄３８ＡＣ、リモートシャーシＩＤ欄３８ＡＤ、リモートポート番号欄３８ＡＥ、リモートスイッチ名欄３８ＡＦ及び帯域欄３８ＡＧを備えて構成される。ポート接続情報テーブル３８Ａでは、１つの行がネットワークスイッチ間の１つの接続関係に対応する。

そして取得時刻欄３８ＡＡには、対応する接続関係の情報を取得した時刻が格納される。また、ローカルスイッチＩＤ欄３８ＡＢには、対応する接続関係における一方（ローカル側）のネットワークスイッチに付与されたそのネットワークスイッチに固有の識別子（スイッチＩＤ）が格納され、ローカルポート番号欄３８ＡＣには、そのネットワークスイッチの１つのポートに付与された物理的なポート番号が格納される。

またリモートスイッチ名欄３８ＡＦには、かかる接続関係における他方（リモート側）のネットワークスイッチ又はＳＤＳノード１０の名称が格納される。さらにリモートポート番号欄３８ＡＥには、そのネットワークスイッチ又はＳＤＳノード１０における、ローカルポート番号欄３８ＡＣにポート番号が格納されたポートと接続されたポートの物理的なポート番号が格納され、リモートシャーシＩＤ欄３８ＡＤには、当該ポートに付与された論理的な識別子（シャーシＩＤ）が格納される。

さらに帯域欄３８ＡＧには、かかるローカルポート番号欄３８ＡＣにポート番号が格納されたローカル側のポートと、リモートポート番号欄３８ＡＥにポート番号が格納されたリモート側のポートとの間を接続する経路の最大帯域が格納される。

またインタフェース−ＩＰアドレス対応付け情報テーブル３８Ｂは、クラスタ内ネットワーク１４内のネットワークスイッチの各ポートのポート番号やＩＰアドレス等を管理するために利用されるテーブルであり、図６に示すように、ローカルスイッチＩＤ欄３８ＢＡ、ＩＰアドレス欄３８ＢＢ、ポート番号欄３８ＢＣ及びポート番号名称欄３８ＢＤを備えて構成される。インタフェース−ＩＰアドレス対応付け情報テーブル３８Ｂでは、１つの行が１つのネットワークスイッチの１つのポートに対応する。

そしてポート番号欄３８ＢＣには、対応するポートに付与されたポート番号が格納され、ローカルスイッチＩＤ欄３８ＢＡには、そのポートを有するネットワークスイッチの識別子（スイッチＩＤ）が格納される。またＩＰアドレス欄３８ＢＢには、そのポートに付与されたＩＰアドレスが格納され、ポート番号名称欄３８ＢＤには、そのポートの名称が格納される。

さらにルーティング情報テーブル３８Ｃは、各ネットワークスイッチからそれぞれ取得したルーティングテーブルの情報を管理するために利用されるテーブルであり、図７に示すように、ローカルスイッチＩＤ欄３８ＣＡ、送信先欄３８ＣＢ、マスク欄３８ＣＣ、ＴｏＳ欄３８ＣＤ及びネクストホップ欄３８ＣＥを備えて構成される。ルーティング情報テーブル３８Ｃでは、１つの行がスイッチ１１やルータ１３から取得したルーティングテーブルに登録されていた１つのルーティング情報に対応する。

そしてローカルスイッチＩＤ欄３８ＣＡには、そのルーティング情報を取得したネットワークスイッチの識別子（スイッチＩＤ）が格納され、送信先欄３８ＣＢには、通信パケットの送信先として指定される可能性があるＩＰアドレスが格納される。またマスク欄３８ＣＣには、ネットマスクの値が格納され、ＴｏＳ欄３８ＣＤには、送信先及びマスクの条件に合致する通信パケットの転送の優先順位などのＴｏＳ（Type of Service）に関する情報が格納される。さらにネクストホップ欄３８ＣＥには、送信先及びネットマスクの条件に合致するパケットの送信先とすべき次段のネットワークスイッチのポートのＩＰアドレスが格納される。

ＴＣＰ通信経路候補情報テーブル３９は、ネットワーク経路推定部３２により抽出された、クラスタ内ネットワーク１４を経由して行われている各ＴＣＰ通信のＴＣＰ通信経路候補を管理するために利用されるテーブルであり、図８に示すように、ＴＣＰ通信ＩＤ欄３９Ａ、送信元アドレス欄３９Ｂ、送信先アドレス欄３９Ｃ及び複数の区間欄３９Ｄと、最尤フラグ欄３９Ｅとを備えて構成される。ＴＣＰ通信経路候補情報テーブル３９では、１つの行が１つのＴＣＰ通信に対する１つのＴＣＰ通信経路候補に対応する。

そしてＴＣＰ通信ＩＤ欄３９Ａには、対応するＴＣＰ通信に付与されたそのＴＣＰ通信に固有の識別子に対して対応するＴＣＰ通信経路候補に固有の枝番を付加した識別子（ＴＣＰ通信ＩＤ）が格納される。また送信元アドレス欄３９Ｂには、そのＴＣＰ通信経路候補におけるパケットの送信元のＳＤＳノード１０の送信元のポートに付与されたＩＰアドレスが格納され、送信先アドレス欄３９Ｃには、そのＴＣＰ通信経路候補における送信先のＳＤＳノード１０の送信先のポートに付与されたＩＰアドレスが格納される。

区間欄３９Ｄは、図９に示すように、クラスタ内ネットワーク１４のネットワークスイッチ（スイッチ１１又はルータ１３）から次段のネットワークスイッチまでの区間を１区間として、各区間にそれぞれ対応させて設けられる。

そして各区間欄３９Ｄは、それぞれ送信ポート欄３９ＤＡ及び受信ポート欄３９ＤＢに区分されており、対応するＴＣＰ通信経路候補において対応する区間でＴＣＰ通信の送信側となるネットワークスイッチの対応するポートの識別子（ポートＩＤ）が送信ポート欄３９ＤＡに格納され、当該ＴＣＰ通信経路候補においてそのＴＣＰ通信の受信側となるネットワークスイッチの対応するポートの識別子（ポートＩＤ）が受信ポート欄３９ＤＢに格納される。

さらに、クラスタ内ネットワーク１４を介して行われているＴＣＰ通信ごとに、そのＴＣＰ通信において実際に利用された可能性が最も高いＴＣＰ通信経路候補（最尤経路）に対応する最尤フラグ欄３９Ｅに、これを表すフラグ（以下、これを最尤フラグと呼ぶ）が格納される。

クラスタ内通信制御履歴情報テーブル４０は、クラスタ内ネットワーク１４においてボトルネックポートや過負荷ポートの発生を抑制すべく、クラスタ内通信制御部３５（図１）により過去に実行されたコネクション数の増減や帯域制限といった各ＳＤＳノード１０に対する制御内容を管理するために利用されるテーブルであり、図１０に示すように、取得時刻欄４０Ａ、ノード名欄４０Ｂ、通信種類欄４０Ｃ、宛先アドレス欄４０Ｄ、要求帯域欄４０Ｅ、実帯域欄４０Ｆ、ＴＣＰコネクション数／ノード欄４０Ｇ及び帯域抑制制御欄４０Ｈを備えて構成される。クラスタ内通信制御履歴情報テーブル４０では、１つの行が１つのＳＤＳノード１０に対して実行した制御に対応する。

そしてノード名欄４０Ｂ、通信種類欄４０Ｃ、宛先アドレス欄４０Ｄ、要求帯域欄４０Ｅ及び実帯域欄４０Ｆには、それぞれ図３について上述したノード側ネットワーク性能情報テーブル３６の対応するノード名欄３６Ａ、通信種類欄３６Ｂ、宛先アドレス欄３６Ｃ、要求帯域欄３６Ｄ又は実帯域欄３６Ｅに格納された情報と同じ情報が格納され、取得時刻欄４０Ａには、これらの情報を取得した時刻が格納される。

またＴＣＰコネクション数／ノード欄４０Ｇには、対応するＴＣＰ通信におけるＴＣＰコネクションの個数（多重度）が格納され、帯域抑制制御欄４０Ｈには、そのＴＣＰ通信について帯域抑制制御を行ったか否かを表す情報（例えば、帯域抑制制御を行った場合には「○」、行っていない場合には「−」）が格納される。

（３）ネットワーク管理機能に関する各種処理
次に、上述したネットワーク管理機能に関連してネットワーク管理サーバ３において実行される各種処理の具体的な処理内容について説明する。なお、以下においては、各種処理の処理主体を図２について上述した機能部（ネットワーク性能情報管理部３０、ネットワーク構成情報管理部３１、ネットワーク経路推定部３２、経路偏り発生判定部３３、過負荷判定部３４又はクラスタ内通信制御部３５）として説明するが、実際上は、ネットワーク管理サーバ３のＣＰＵ２０（図１）が記憶装置２３（図１）からメモリ２１（図１）にロードした管理プログラム２５に基づいてその処理を実行することは言うまでもない。

（３−１）ネットワーク情報取得処理
図１１は、ネットワーク管理サーバ３がクラスタ内ネットワーク１４の性能及び構成に関する情報を取得するために実行するネットワーク情報取得処理の処理手順を示す。

このネットワーク情報取得処理は、定期的に開始され、まず、ネットワーク性能情報管理部３０（図２）が、クラスタ２内の各ＳＤＳノード１０から、そのＳＤＳノード１０が実行しているＴＣＰ通信の要求帯域及び実帯域、レイテンシ、廃棄パケット数及びウインドサイズなどの情報をそれぞれ取得し、取得したこれらの性能情報をノード側ネットワーク性能情報テーブル３６（図３）にそれぞれ格納する（Ｓ１）。

またネットワーク性能情報管理部３０は、クラスタ内ネットワーク１４を構成する各ネットワークスイッチ（スイッチ１１及びルータ１３）から、そのネットワークスイッチの各ポートにおける現在の単位時間当たりの送受信パケット数や廃棄パケット数などの情報を取得し、取得したこれらの性能情報をネットワーク側ネットワーク性能情報テーブル３７（図４）に格納する（Ｓ２）。

次いで、ネットワーク構成情報管理部３１（図２）が、クラスタ内ネットワーク１４を構成する各ネットワークスイッチから、そのネットワークスイッチの各ポートの接続先や対応する通信経路に許容される通信帯域などに関する情報、並びに、そのネットワークスイッチが保持するルーティングテーブルなどのネットワークの構成に関する情報をそれぞれ取得し、取得したこれらの情報をネットワーク構成情報テーブル群３８の対応するテーブル（ポート接続情報テーブル３８Ａ、インタフェース−ＩＰアドレス対応付け情報テーブル３８Ｂ又はルーティング情報テーブル３８Ｃ）にそれぞれ格納する（Ｓ３）。以上によりこのネットワークパス情報取得処理が終了する。

（３−２）ネットワーク管理処理
図１２は、図１０の処理の終了後にネットワーク管理サーバ３において実行されるネットワーク管理処理の処理手順を示す。ネットワーク管理サーバ３は、この図１１に示す処理手順に従って、クラスタ内ネットワーク１４を介したＳＤＳノード１０間のＴＣＰ通信におけるＴＣＰコネクション数や帯域を制御する。

実際上、このネットワーク管理処理が開始されると、まず、ネットワーク経路推定部３２（図２）が、ノード側ネットワーク性能情報テーブル３６に格納されているＳＤＳノード１０ごとの実帯域を比較して、他のＳＤＳノード１０の通信性能と比べて通信性能（実帯域）が低いＳＤＳノード１０が存在するか否かを判断する（Ｓ１０）。そしてネットワーク経路推定部３２は、この判断で否定結果を得ると、処理を終了する。これにより今回のネットワーク管理処理が終了する。

これに対して、ネットワーク経路推定部３２は、ステップＳ１０の判断で否定結果を得ると、ノード側ネットワーク性能情報テーブル３６に格納されている今回取得したＳＤＳノード１０ごとの要求帯域を比較して、他のＳＤＳノード１０に比べて通信性能が低いＳＤＳノード１０が要求する帯域（要求帯域）が他のＳＤＳノード１０の要求帯域と比べて多いか否かを判断する（Ｓ１１）。

この判断で肯定結果を得ることは、通信性能が低いＳＤＳノード１０に通信負荷が集中していることを意味する。かくして、このときネットワーク経路推定部３２は、その旨をクラスタ内通信制御部３５（図２）に通知する。

そしてクラスタ内通信制御部３５は、この通知を受けると、通信性能が低いＳＤＳノード１０が利用する通信帯域を制限すべく、その制限量（帯域）を決定する（Ｓ１２）。なお、このように通信性能が低いＳＤＳノード１０が利用する通信帯域を制限するのは、ＴＣＰ通信の通信元（パケットの送信元）のＳＤＳノード１０の負荷が通信先（パケットの送信先）のＳＤＳノード１０の負荷を超過すると、スイッチ１１のバッファオーバーランによるTCP-Incastが発生するおそれがあるため、これを抑制するためである。

次いで、クラスタ内通信制御部３５は、かかるＳＤＳノード１０に対してステップＳ１２で決定した制限量を通知する（Ｓ１３）。かくして、この通知を受信したＳＤＳノード１０は、そのとき実行しているＴＣＰ通信の帯域が通知された帯域内に収まるように当該ＴＣＰ通信の帯域を抑制する。そしてクラスタ内通信制御部３５は、この後、処理を終了する。これにより今回のネットワーク管理処理が終了する。

これに対して、ステップＳ１１の判断で否定結果を得ることは、クラスタ内ネットワーク１４全体が過負荷な状態にあり、このためクラスタ内ネットワーク１４全体のスループットが低下していることを意味する。かくして、このときネットワーク管理サーバ３では、必要なＳＤＳノード１０に対するＴＣＰ通信のコネクションの増減又は帯域制限の制御を行うべく、以下のステップＳ１４〜ステップＳ１９の処理を実行する。

具体的に、まず、ネットワーク経路推定部３２が、そのときクラスタ内ネットワーク１４を介して行われているＴＣＰ通信ごとにすべてのＴＣＰ通信経路候補をそれぞれ算出し、算出した各ＴＣＰ通信経路候補の情報をＴＣＰ通信経路候補情報テーブル３９（図８）にそれぞれ格納する（Ｓ１４）。

続いて、ネットワーク経路推定部３２が、ＴＣＰ通信ごとのＴＣＰ通信経路候補の全組合せ（以下、これらの組合せをそれぞれＴＣＰ通信経路候補組合せと呼ぶ）の中から、実際に各ＴＣＰ通信のデータトラフィックがそれぞれ通ったであろうと推定されるＴＣＰ通信経路候補組合せを１つ抽出し、このＴＣＰ通信経路候補組合せを構成する各ＴＣＰ通信経路候補をそれぞれ対応するＴＣＰ通信の最尤経路として特定する（Ｓ１５）。

具体的に、ネットワーク経路推定部３２は、すべてのＴＣＰ通信経路候補組合せについて、各ＴＣＰ通信のデータトラフィックがそれぞれそのＴＣＰ通信経路候補組合せを構成する対応するＴＣＰ通信経路候補を通った場合における各ネットワークスイッチ（スイッチ１１及びルータ１３）のポートごとの送信速度及び受信速度の想定値をシミュレーションによりそれぞれ算出する。またネットワーク経路推定部３２は、これらの算出結果をネットワーク側ネットワーク性能情報テーブル３７（図４）に格納されている実際に計測された各ネットワークスイッチのポートごとの送信速度及び受信速度とそれぞれ比較し、これらの差分の総和が最も小さいＴＣＰ通信経路候補組合せを構成する各ＴＣＰ通信経路候補を、それぞれ対応するＴＣＰ通信の最尤経路として特定する。

次いで、経路偏り発生判定部３３（図２）が、かかる最尤経路についてのシミュレーション結果に基づいて、クラスタ内ネットワーク１４を構成する各ネットワークスイッチの各ポートのうち、ボトルネックとなっているポート（ボトルネックポート）があるか否かを判定する（Ｓ１６）。また、この後、過負荷判定部３４（図２）が、かかる最尤経路についてのシミュレーション結果に基づいて、いずれかのネットワークスイッチのいずれかのポートが過負荷となっているか否かを判定する（Ｓ１７）。

この後、クラスタ内通信制御部３５が、経路偏り発生判定部３３の判定結果と、過負荷判定部３４の判定結果とに基づいて、そのときＴＣＰ通信を行っているアクティブ側のＳＤＳラック１２Ａ（図１）に搭載されている各ＳＤＳノード１０（以下、これらを単にアクティブ側のＳＤＳノード１０と呼ぶ）に対する制御内容（ＴＣＰコネクション数の増減又はＴＣＰコネクションの帯域制限）を決定する制御内容決定処理を実行する（Ｓ１８）。

例えば、クラスタ内通信制御部３５は、例えば図１３Ａのように特定経路にのみデータトラフィックの偏りがある場合、より詳しくは、宛先が異なるＴＣＰ通信のデータトラフィック同士が共通のボトルネックポートをもち、かつボトルネックの発生が負荷分散可能な一部のポートのみの場合には、これらＴＣＰ通信のＴＣＰコネクション数を増加させる（多重度を上げる）ことを制御内容として決定する。

またクラスタ内通信制御部３５は、例えば図１３Ｂのように負荷分散ができない経路部分にＴＣＰ通信のデータトラフィックの偏りが発生しており、当該経路部分の帯域が最大限利用され、かつ当該経路部分の特定のポートのみでパケットの廃棄が発生している場合には、代替経路にコネクションを張ってＴＣＰ通信のＴＣＰコネクション数を増加させる（多重度を上げる）ことを制御内容として決定する。

さらにクラスタ内通信制御部３５は、例えば図１３Ｃのように負荷分散ができない経路部分にＴＣＰ通信のデータトラフィックの偏りが発生しており、当該経路部分の帯域に空があるものの、当該経路部分の特定のポートのみでパケットの廃棄が発生している場合には、これらＴＣＰ通信のＴＣＰコネクション数を削減させる（多重度を下げる）と共に、必要に応じてこれらＴＣＰ通信の帯域を制限することを制御内容として決定する。

さらにクラスタ内通信制御部３５は、例えば図１３Ｄのように宛先が異なるＴＣＰ通信のデータトラフィック同士が共通のボトルネックポートをもたず、負荷分散可能などの経路も最大帯域を越えてパケットの廃棄が発生している場合には、全ＴＣＰ通信の帯域を制限することを制御内容として決定する。

さらにクラスタ内通信制御部３５は、例えば図１３Ｅのように宛先が異なるＴＣＰ通信のデータトラフィック同士が共通のボトルネックポートをもたず、負荷分散可能などの経路も最大帯域を越えはいないもののパケットの廃棄が発生している場合には、これらＴＣＰ通信のＴＣＰコネクション数を削減する（多重度を下げる）ことを制御内容として決定する。

そしてクラスタ内通信制御部３５は、この後、ステップＳ１８の決定結果に従って、必要なＳＤＳノード１０に対して、ＴＣＰコネクション数を増加若しくは減少させ、又は、ＴＣＰコネクションの帯域を制限するための指示を与える（Ｓ１９）。そして、このステップＳ１９の処理が終了すると、このネットワーク管理処理が終了する。

（３−３）ＴＣＰ通信経路候補検出処理
図１４は、図１２について上述したネットワーク管理処理のステップＳ１４においてネットワーク経路推定部３２により実行されるＴＣＰ通信経路候補検出処理の処理手順を示す。ネットワーク経路推定部３２は、この図１４に示す処理手順に従って、そのときクラスタ内ネットワーク１４を経由して行われているＴＣＰ通信ごとのＴＣＰ通信経路候補をすべて検出する。

実際上、ネットワーク経路推定部３２は、ネットワーク管理処理がステップＳ１４に進むとこの図１４に示す処理手順を開始し、まず、クラスタ２内のＳＤＳノード１０の中からそのときＴＣＰ通信を行っているＳＤＳノード（以下、これを対象ＳＤＳノードと呼ぶ）１０を１つ選択する（Ｓ２０）。

続いて、ネットワーク経路推定部３２は、ポート接続情報テーブルを３８Ａ（図５）参照して、ステップＳ２０で選択したＳＤＳノード（以下、これを選択ＳＤＳノードと呼ぶ）１０が接続されているネットワークスイッチ（ここではスイッチ１１）のポート（Ｘ）をすべて抽出する（Ｓ２１）。

次いで、ネットワーク経路推定部３２は、ルーティング情報テーブル３８Ｃ（図７）を参照して、ステップＳ２１で抽出した各ポート（Ｘ）から通信先のＳＤＳノード１０にそれぞれ到達するためのネクストホップをすべて特定する（Ｓ２２）。

この後、ネットワーク経路推定部３２は、インタフェース−ＩＰアドレス対応付け情報テーブル３８Ｂ（図６）を参照して、ステップＳ２２で特定したネクストホップごとに、そのネクストホップが備えるすべてのポート（Ｙ）のポート番号やＩＰアドレスをそれぞれ取得する（Ｓ２３）。またネットワーク経路推定部３２は、ステップＳ２３でポート番号等を取得した各ポート（Ｙ）の中から選択ＳＤＳノード１０と繋がっているポート（Ｘ´）をすべて特定する（Ｓ２４）。

そしてネットワーク経路推定部３２は、ポート接続情報テーブル３８Ａを参照して、ステップＳ２４で特定した各ポート（Ｘ´）が通信先のＳＤＳノード１０と他のネクストホップを経由することなく直接接続されているか否かをポート（Ｘ´）ごとにそれぞれ判断する（Ｓ２５）。

ネットワーク経路推定部３２は、この判断で否定結果を得たポート（Ｘ´）が存在する場合、そのポート（Ｘ´）をポート（Ｘ）に設定した後（Ｓ２６）、ステップＳ２２に戻り、この後、ステップＳ２５ですべてのポート（Ｘ´）について肯定結果を得るまでステップＳ２２〜ステップＳ２５の処理を繰り返す。

そしてネットワーク経路推定部３２は、やがてステップＳ２５ですべてのポート（Ｘ´）について肯定結果を得ると、それまでにステップＳ２５で肯定結果が得られた各ポート（Ｘ´）について、そのポート（Ｘ´）に到達するまでにポート（Ｘ）とした各ポートを順番に並べたものを選択ＳＤＳノード１０が実行しているＴＣＰ通信のＴＣＰ通信経路候補としてＴＣＰ通信経路候補情報テーブル３９に必要な情報をそれぞれ登録する（Ｓ２７）。

続いて、ネットワーク経路推定部３２は、すべての対象ＳＤＳノード１０についてステップＳ２１以降の処理を実行し終えた否かを判断する（Ｓ２８）。そしてネットワーク経路推定部３２は、この判断で否定結果を得るとステップＳ２０に戻り、この後、ステップＳ２０で選択するＳＤＳノード１０を、ステップＳ２１以降が未処理の他の対象ＳＤＳノード１０に順次切り替えながらステップＳ２０〜ステップＳ２８の処理を繰り返す。

そしてネットワーク経路推定部３２は、やがてすべての対象ＳＤＳノード１０についてＴＣＰ通信経路候補の検出を完了することによりステップＳ２８で肯定結果を得ると、このＴＣＰ通信経路候補検出処理を終了する。

（３−４）最尤経路検出処理
図１５は、図１２について上述したネットワーク管理処理のステップＳ１５においてネットワーク経路推定部３２により実行される最尤経路検出処理の具体的な処理内容を示す。ネットワーク経路推定部３２は、この図１５に示す処理手順に従って、そのときクラスタ内ネットワーク１４を介して行われている各ＴＣＰ通信の最尤経路をそれぞれ検出する。

実際上、ネットワーク経路推定部３２は、図１２について上述した一連の処理がステップＳ１５に進むと、この図１５に示す最尤経路検出処理を開始し、まず、ノード側ネットワーク性能情報テーブル３６（図３）を参照し、クラスタ２内のすべてのＳＤＳノード１０のネットワーク性能情報に基づいて、そのときクラスタ内ネットワーク１４を介して行われているＴＣＰ通信ごとに、そのＴＣＰ通信が利用可能なすべての通信経路をそれぞれそのＴＣＰ通信のＴＣＰ通信経路候補として算出する（Ｓ３０）。

続いて、ネットワーク経路推定部３２は、各ＴＣＰ通信のＴＣＰ通信経路候補をそれぞれ１つずつ組合せたＴＣＰ通信経路候補組合せをすべて作成し（Ｓ３１）、作成したＴＣＰ通信経路候補組合せの中からステップＳ３３以降が未処理のＴＣＰ通信経路候補組合せを１つ選択する（Ｓ３２）。

次いで、ネットワーク経路推定部３２は、ステップＳ３２で選択したＴＣＰ通信経路候補組合せ（以下、これを選択ＴＣＰ通信経路候補組合せと呼ぶ）を構成する各ＴＣＰ通信経路候補に、それぞれ対応するＴＣＰ通信の実帯域分のデータトラフィックが通ったと仮定したシミュレーションにより、各ネットワークスイッチの各ポートのスループットの想定値をそれぞれ算出する（Ｓ３３）。

さらにネットワーク経路推定部３２は、各ネットワークスイッチのポートごとに、ネットワーク側ネットワーク性能情報テーブル３７（図４）に格納されている各ポートで実際に測定されたスループットの値と、ステップＳ３３で算出した各ポートのスループットの想定値との差分をそれぞれ算出し、算出した差分の合計値をその選択ＴＣＰ通信経路候補組合せの差分総和として算出する（Ｓ３４）。

続いて、ネットワーク経路推定部３２は、すべてのＴＣＰ通信経路候補組合せについてステップＳ３３及びステップＳ３４の処理を実行し終えたか否かを判断する（Ｓ３５）。そしてネットワーク経路推定部３２は、この判断で否定結果を得るとステップＳ３２に戻り、この後、ステップＳ３２で選択するＴＣＰ通信経路候補組合せをステップＳ３３以降が未処理の他のＴＣＰ通信経路候補組合せに順次切り替えながら、ステップＳ３２〜ステップＳ３５の処理を繰り返す。

そしてネットワーク経路推定部３２は、やがてすべてのＴＣＰ通信経路候補組合せについてステップＳ３３及びステップＳ３４の処理を実行し終えることによりステップＳ３５で肯定結果を得ると、上述のようにして算出した差分総和の値が最も小さいＴＣＰ通信経路候補組合せを構成する各ＴＣＰ通信経路候補をそれぞれ対応するＴＣＰ通信の最尤経路に決定する（Ｓ３６）。そしてネットワーク経路推定部３２は、この後、この最尤経路検出処理を終了する。

（３−５）経路偏り発生判定処理
図１６は、図１２について上述したネットワーク管理処理のステップＳ１６において経路偏り発生判定部３３により実行される経路偏り発生判定処理の具体的な処理内容を示す。経路偏り発生判定部３３は、この図１６に示す処理手順に従って、そのときクラスタ内ネットワーク１４を介して行われている各ＴＣＰ通信の通信経路に偏りが発生したか否かを判定する。

実際上、経路偏り発生判定部３３は、図１２について上述した一連の処理がステップＳ１６に進むと、この図に示す経路偏り発生判定処理を開始し、まず、各ネットワークスイッチ（スイッチ１１及びルータ１３）の各ポートの中からボトルネックポートをすべて抽出する（Ｓ４０）。

具体的に、経路偏り発生判定部は３３、各ネットワークスイッチのポートごとに、そのポートが接続された通信経路の最大帯域をポート接続情報テーブル３８Ａ（図５）から取得すると共に、そのポートの実際のスループット（以下、これを実帯域と呼ぶ）をネットワーク側ネットワーク性能情報テーブル３７（図４）から取得し、これら最大帯域及実帯域が次式

を満たすポートをボトルネックポートとしてすべて抽出する。なお、（１）式において、「第１の閾値」は、予め設定された０に近い小さい値である。

続いて、経路偏り発生判定部３３は、ネットワーク経路推定部３２により推定された最尤経路がステップＳ３０で抽出したいずれかのボトルネックポートを経由するＴＣＰ通信をすべて抽出し、これらＴＣＰ通信のＴＣＰコネクションの実帯域（Ｉ）及び要求帯域（Ｉ）をノード側ネットワーク性能情報テーブル３６（図３）から抽出する（Ｓ４１）。

また経路偏り発生判定部３３は、ネットワーク経路推定部３２により推定された最尤経路がステップＳ４０で抽出したいずれのボトルネックポートをも経由しない各ＴＣＰ通信のＴＣＰコネクションの実帯域（Ｊ）及び要求帯域（Ｊ）をノード側ネットワーク性能情報テーブル３６から抽出する（Ｓ４２）。

この後、経路偏り発生判定部３３は、現在、クラスタ内ネットワーク１４を介して行われているすべてのＴＣＰ通信を、ステップＳ４０で検出したいずれかのボトルネックポートを経由するＴＣＰ通信のグループと、これらのボトルネックポートを経由しないＴＣＰ通信のグループとに分け、グループごとに、そのグループ内の各ＴＣＰ通信の実帯域（Ｉ又はＪ）の偏差及び平均値をそれぞれ算出する（Ｓ４３）。

続いて、経路偏り発生判定部３３は、ステップＳ４３で算出したグループごとの実帯域（Ｉ又はＪ）の偏差及び平均値が以下の（Ａ）〜（Ｃ）の３つの条件をすべて満たすか否かを判断する（Ｓ４４）。
（Ａ）実帯域（Ｉ）の偏差及び実帯域（Ｊ）の偏差がいずれも予め設定された第２の閾値以内。
（Ｂ）実帯域（Ｉ）の平均値（Ｉ）が次式

を満たす。なお（２）式において「第２の閾値」は予め設定された固定値である。
（Ｃ）要求帯域の平均値（Ｊ）が次式

を満たす。なお（３）式において「第３の閾値」は予め設定された固定値である。

そして経路偏り発生判定部３３は、この判断で否定結果を得ると、そのときクラスタ内ネットワーク１４を介して行われている各ＴＣＰ通信の通信経路の偏りがないと判断して、この経路偏り発生判定処理を終了する。

これに対して、経路偏り発生判定部３３は、ステップＳ４４の判断で肯定結果を得ると、該当するＴＣＰ通信の最尤経路上のステップＳ３０で抽出されたボトルネックポートの部分に経路偏りフラグをセットし（Ｓ４５）、この後、この経路偏り発生判定処理を終了する。

（３−６）過負荷判定処理
図１７は、図１２について上述したネットワーク管理処理のステップＳ１７において過負荷判定部３４により実行される過負荷判定処理の具体的な処理内容を示す。過負荷判定部３４は、この図１７に示す処理手順に従って、そのときクラスタ内ネットワーク１４の一部又は全部が過負荷状態にあるか否かを判定する。

実際上、過負荷判定部３４は、図１２について上述した一連の処理がステップＳ１７に進むと、この図１７に示す過負荷判定処理を開始し、まず、ネットワーク経路推定部３２により特定された各ＴＣＰ通信の最尤経路が通過する各ネットワークスイッチ（スイッチ１１及びルータ１３）の各ポートをＴＣＰ通信経路候補情報テーブル３９（図８）を参照して特定し、特定したこれらの各ポートにおける通信多重度（そのポートを経由するＴＣＰセクション数）と、各ポートでの廃棄パケット数とをそれぞれ算出する（Ｓ５０）。

続いて、過負荷判定部３４は、ノード側ネットワーク性能情報テーブル３６（図３）を参照して、いずれかのＴＣＰ通信の最尤経路上のポートであって、パケット廃棄数が閾値多いポートをすべて抽出する（Ｓ５１）。具体的に、過負荷判定部３４は、いずれかのＴＣＰ通信の最尤経路上のポートであって、パケット廃棄数が予め設定された第４の閾値よりも多いポートを抽出する。

そして過負荷判定部３４は、この後、ステップＳ４１で少なくとも１つのポートを抽出できたか否かを判断する（Ｓ５２）。

この判断で否定結果を得た場合、過負荷のために一定レベル以上のバッファオーバフローを起こしているネットワークスイッチがクラスタ内ネットワーク１４内には存在しないことを意味する。かくして、このとき過負荷判定部３４は、この過負荷判定処理を終了する。

これに対して、ステップＳ５２の判断で肯定結果を得ることは、過負荷のために一定レベル以上のバッファオーバフローを起こしているネットワークスイッチがクラスタ内ネットワーク１４内に存在することを意味する。かくして、このとき過負荷判定部３４は、ステップＳ５１で抽出したポートの中から１つのポートを選択する（Ｓ５３）。

また過負荷判定部３４は、ノード側ネットワーク性能情報テーブル３６（図３）と、ポート接続情報テーブル３８Ａ（図５）とを参照して、ステップＳ５３で選択したポート（以下、これを選択ポートと呼ぶ）の実送信帯域がそのポートの最大帯域未満であるか否かを判断する（Ｓ５４）。

この判定で否定結果を得た場合、選択ポートが過負荷の状態となっていると考えられる。かくして、このとき過負荷判定部３４は、選択ポートを経由するすべてのＴＣＰ通信の要求帯域の総和を算出し（Ｓ５５）、算出した総和が次式

を満たすか否かを判断する（Ｓ５６）。なお（４）式において、「第５の閾値」は、０に近い小さい値である。

この判断で肯定結果を得ることは、選択ポートの最大帯域に対してかかる要求帯域が多過ぎであり、このため定常的に過負荷状態が発生していると推測することができる。かくして、このとき過負荷判定部３４は、ＴＣＰ通信経路候補情報テーブル３９（図８）における、選択ポートを経由する各ＴＣＰ通信の最尤経路に対応する各行の選択ポートに対応する送信ポート欄３９ＤＡ（図８）や受信ポート欄３９ＤＢ（図８）に過負荷フラグをそれぞれ設定する（Ｓ５７）。この過負荷フラグは、対応するポートが定常的な過負荷状態にあることを表すフラグである。

これに対して、ステップＳ５６の判断で否定結果を得ることは、選択ポートの最大帯域に対してかかる要求帯域が僅かに多く、このためパケット廃棄に伴う選択ポートに対するパケットの再送が多発していると推測することができる。かくして、このとき過負荷判定部３４は、ＴＣＰ通信経路候補情報テーブル３９における、選択ポートを経由する各ＴＣＰ通信の最尤経路に対応する各行の選択ポートに対応する送信ポート欄３９ＤＡや受信ポート欄３９ＤＢに再送多発フラグをそれぞれ設定する（Ｓ５８）。この再送多発フラグは、対応するポートに対する再送が多発していることを表すフラグである。

一方、ステップＳ５４の判断で肯定結果を得た場合、選択ポートにおける廃棄パケット数は多いものの選択ポートには利用可能な帯域が残存していることから、瞬間的に過負荷になっただけであるものと考えられる。かくして、このとき過負荷判定部３４は、選択ポートを経由する各ＴＣＰ通信の最尤経路に対応する各行の選択ポートに対応する送信ポート欄３９ＤＡや受信ポート欄３９ＤＢに再送多発フラグをそれぞれ設定し（Ｓ５８）、この後、この過負荷判定処理を終了する。

この後、過負荷判定部３４は、ステップＳ５２で抽出したすべてのポートについてステップＳ５４以降の処理を実行し終えたか否かを判断する。そして過負荷判定部３４は、この判断で否定結果を得るとステップＳ５３に戻り、この後、ステップＳ５３で選択するポートをステップＳ５２で抽出したポートのうちのステップＳ５４以降が未処理の他のポートに順次切り替えながら、ステップＳ５３〜ステップＳ５９の処理を繰り返す。

そして過負荷判定部３４は、やがてステップＳ５２で抽出したすべてのポートについて過負荷フラグ又は再送多発フラグを設定し終えることによりステップＳ５９で肯定結果を得ると、この過負荷判定処理を終了する。

（３−７）制御内容決定処理
図１８Ａ〜図１８Ｃは、図１２について上述したネットワーク管理処理のステップＳ１８においてクラスタ内通信制御部３５により実行される制御内容決定処理の具体的な処理内容を示す。クラスタ内通信制御部３５は、この図１８Ａ〜図１８Ｃに示す処理手順に従って、アクション側のＳＤＳラック１２Ａに搭載された各ＳＤＳノード１０に対して実行すべき制御内容を決定する。

実際上、クラスタ内通信制御部３５は、図１２について上述した一連の処理がステップＳ１８に進むと、この図１８Ａ〜図１８Ｃに示す制御内容決定処理を開始し、まず、図１２のステップＳ１５で検出された各ＴＣＰ通信の最尤経路のうち、その最尤経路上のいずれかのネットワークスイッチのポートについて再送多発フラグが設定されているＴＣＰ通信をすべて抽出する（Ｓ６０）。

続いて、クラスタ内通信制御部３５は、ステップＳ６０で抽出したＴＣＰ通信の中から、同一のボトルネックポート（Ｘ）において「同一種類のフラグ」（再送多発フラグ又は過負荷フラグ）が設定されたＴＣＰ通信の集合体をすべて抽出する（Ｓ６１）。

次いで、クラスタ内通信制御部３５は、ステップＳ６１で抽出したＴＣＰ通信の各集合体について、ボトルネックポート（Ｘ）と接続され、当該ボトルネックポート（Ｘ）にパケットを転送する転送元のポート（以下、これを転送元ポートと呼ぶ）がボトルネックポート（Ｘ）以外の負荷を分散可能なポートであるか否か（つまりその転送元ポートがボトルネックポート（Ｘ）以外のポート（Ｘ´）と接続されていて、当該ポート（Ｘ´）を介してパケットをその宛先に送信可能なポートであるか否か）をそれぞれ判断する（Ｓ６２）。

そしてクラスタ内通信制御部３５は、この判断で肯定結果を得たＴＣＰ通信の集合体が存在する場合には、かかるすべてのポート（Ｘ´）が最尤経路上に存在し、ボトルネックポート（Ｘ）と同一種類のフラグ（再送多発フラグ、過負荷フラグ又は経路偏りフラグ）が設定されているＴＣＰ通信（Ｚ´）が存在するか否かを判断する（Ｓ６３）。

クラスタ内通信制御部３５は、この判断で否定結果を得ると、ステップＳ６３における上述の「同一種類のフラグ」が経路偏り判定フラグであるか否かを判断する（Ｓ６４）。

そしてクラスタ内通信制御部３５は、この判断で否定結果を得ると、各ボトルネックポート（Ｘ）をそれぞれ経由して行われている各ＴＣＰ通信の帯域を抑制するようアクティブ側の対応するＳＤＳノード１０（かかる各ＴＣＰ通信の通信元のＳＤＳノード１０であり、以下も同様。）をそれぞれ制御することを制御内容として決定し（Ｓ６５）、この後、この制御内容決定処理を終了する。

またクラスタ内通信制御部３５は、ステップＳ６４の判断で肯定結果を得ると、図１３Ａについて上述したように、各ボトルネックポート（Ｘ）をそれぞれ経由して行われている各ＴＣＰ通信のＴＣＰコネクション数をそれぞれ増加させるようアクティブ側の対応するＳＤＳノード１０を制御することを制御内容として決定し（Ｓ６６）、この後、この制御内容決定処理を終了する。

一方、クラスタ内通信制御部３５は、ステップＳ６３の判断で肯定結果を得ると、ステップＳ６３における上述の「同一種類のフラグ」が再送多発フラグであるか否かを判断する（Ｓ６７）。

そしてクラスタ内通信制御部３５は、この判断で否定結果を得ると、図１３Ｅについて上述したように、クラスタ内ネットワーク１４を介して行われている全ＴＣＰ通信のＴＣＰコネクション数をそれぞれ削減するようアクティブ側の各ＳＤＳノード１０を制御することを制御内容として決定し（Ｓ６８）、この後、この制御内容決定処理を終了する。

これに対して、クラスタ内通信制御部３５は、ステップＳ６７の判断で肯定結果を得ると、図１３Ｄについて上述したように、クラスタ内ネットワーク１４を介して行われている全ＴＣＰ通信の帯域を抑制するようアクティブ側の各ＳＤＳノード１０を制御することを制御内容として決定し（Ｓ６９）、この後、この制御内容決定処理を終了する。

他方、クラスタ内通信制御部３５は、ステップＳ６２の判断で否定結果を得たＴＣＰ通信の集合体が存在する場合には、当該集合体を構成する各ＴＣＰ通信の宛先がすべて同じＳＤＳノード１０であるか否かを判断する（Ｓ７０）。

またクラスタ内通信制御部３５は、ステップＳ７０の判断で肯定結果を得た場合には、ステップＳ６１における上述の「同一種類のフラグ」が再送多発フラグであるか否かを判断する（Ｓ７１）。

そしてクラスタ内通信制御部３５は、この判断で否定結果を得ると、図１３Ｃについて上述したように、各ボトルネックポート（Ｘ）をそれぞれ経由して行われている各ＴＣＰ通信のＴＣＰコネクション数をそれぞれ削減する（Ｓ７２）と共に、ボトルネックポート（Ｘ）を経由するＴＣＰコネクションの帯域を抑制するようアクティブ側の対応するＳＤＳノード１０を制御することを制御内容として決定し（Ｓ７９）、この制御内容決定処理を終了する。

これに対して、クラスタ内通信制御部３５は、ステップＳ７１の判断で肯定結果を得ると、図１３Ｂについて上述したように、各ボトルネックポート（Ｘ）をそれぞれ経由して行われている各ＴＣＰ通信のＴＣＰコネクション数をそれぞれ増加させるようアクティブ側の対応するＳＤＳノード１０を制御することを制御内容として決定し（Ｓ７３）、この後、この制御内容決定処理を終了する。

さらにクラスタ内通信制御部３５は、ステップＳ７０の判断で否定結果を得ると、ステップＳ６１における上述の「同一種類のフラグ」が再送多発フラグであるか否かを判断する（Ｓ７４）。

そしてクラスタ内通信制御部３５は、この判断で肯定結果を得ると、そのボトルネックポート（Ｘ）を備えるネットワークスイッチの動作を一時的に停止することを決定し（Ｓ７５）、この後、この制御内容決定処理を終了する。

これに対して、クラスタ内通信制御部３５は、ステップＳ７４の判断で否定結果を得ると、ステップＳ６１で抽出したＴＣＰ通信の集合体を構成する各ＴＣＰ通信に代替経路がそれぞれ存在するか否かを判断する（Ｓ７６）。

そしてクラスタ内通信制御部３５は、この判断で否定結果を得ると、各ボトルネックポート（Ｘ）をそれぞれ経由して行われている各ＴＣＰ通信の帯域を抑制するようアクティブ側の対応するＳＤＳノード１０をそれぞれ制御することを制御内容として決定し（Ｓ７７）、この後、この制御内容決定処理を終了する。

またクラスタ内通信制御部３５は、ステップＳ７６の判断で肯定結果を得ると、各ボトルネックポート（Ｘ）をそれぞれ経由して行われている各ＴＣＰ通信のＴＣＰコネクション数をそれぞれ増加させるようアクティブ側の対応するＳＤＳノード１０をそれぞれ制御することを制御内容として決定し（Ｓ７８）、この後、この制御内容決定処理を終了する。

（４）本実施の形態の効果
以上のように本実施の形態のストレージシステム１では、ネットワーク管理サーバ３が、クラスタ２内のクラスタ内ネットワーク１４の性能及び構成に関する情報をクラスタ２内の各ＳＤＳノード１０及び各ネットワークスイッチ（各スイッチ１１及び各ルータ１３）からそれぞれ収集し、収集したこれらの情報に基づいて通信経路の偏りや過負荷の発生を検出し、これらを抑制するよう必要なＴＣＰ通信のコネクション数を増減し又は通信帯域を制限する。従って、本ストレージシステム１によれば、ネットワークの性能を一括管理し、ネットワーク全体としての利用効率を向上させながらネットワーク性能の低下を防止することができる。

（５）他の実施の形態
なお上述の実施の形態においては、本発明を図１のように構成されたクラスタ内ネットワーク１４を管理するネットワーク管理サーバ３に本発明を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成を有するネットワークを管理するネットワーク管理装置に広く本発明を適用することができる。

また上述の実施の形態においては、図１４について上述したＴＣＰ通信経路候補検出処理の処理方法として一般的なダイクストラのアルゴリズムによる経路探索問題を適用した場合について述べたが、本発明はこれに限らず、要は、ルーティグテーブルに従いパケットを転送した場合に負荷分散区間を含めて起こり得る通信経路を全探索するという目的を達成できる方法であれば、この他種々の方法を広く適用することができる。

本発明はネットワークを管理する種々のネットワーク管理装置に広く適用することができる。

１……ストレージシステム、２……クラスタ、３……ネットワーク管理サーバ、１０……ＳＤＳノード、１１……スイッチ、１２，１２Ａ，１２Ｂ……ＳＤＳラック、１３……ルータ、１４……クラスタ内ネットワーク、２０……ＣＰＵ、２５……管理プログラム、３０……ネットワーク性能情報管理部、３１……ネットワーク構成情報管理部、３２……ネットワーク経路推定部、３３……経路偏り発生判定部、３４……過負荷判定部、３５……クラスタ内通信制御部、３６……ノード側ネットワーク性能情報テーブル、３７……ネットワーク側ネットワーク性能情報テーブル、３８……ネットワーク構成情報テーブル軍、３８Ａ……ポート接続情報テーブル、３８Ｂ……インタフェース−ＩＰアドレス対応付け情報テーブル、３８Ｃ……ルーティング情報テーブル、３９……ＴＣＰ通信経路候補情報テーブル、４０……クラスタ内通信制御履歴情報テーブル。

Claims (12)

1. 複数のノードを有する分散ストレージシステム内の前記ノード間を接続するネットワークの管理を行うネットワーク管理装置において、
   前記ネットワークの性能及び構成に関する情報を、当該ネットワークを構成するネットワーク機器及び各前記ノードから収集するネットワーク情報収集部と、
   前記ネットワーク情報収集部により収集された前記情報に基づいて、前記ネットワークを介して前記ノード間で行われている各通信の当該ネットワーク内の経路をそれぞれ推定する経路推定部と、
   各前記通信の経路の推定結果に基づいて、前記ネットワークにおける通信に利用されている前記経路に偏りがあるか否かを判定する経路偏り発生判定部と、
   各前記通信の経路の推定結果に基づいて、前記ネットワークにおける過負荷の発生の有無を判定する過負荷判定部と、
   前記経路偏り発生判定部の判定結果及び前記過負荷判定部の判定結果に基づいて、対応する前記ノードに対する制御内容を決定し、決定結果に従って当該ノードを制御する制御部と
   を備えることを特徴とするネットワーク管理装置。
2. 前記制御部は、
   宛先が異なる前記通信のデータトラフィック同士が共通のボトルネックのポートをもち、かつ前記ボトルネックのポートが負荷分散が可能な前記経路上のポートである場合には、各当該通信の多重度を上げることを制御内容として決定する
   ことを特徴とする請求項１に記載のネットワーク管理装置。
3. 前記制御部は、
   負荷分散ができない経路部分に前記通信のデータトラフィックの偏りが発生しており、当該経路部分の帯域が最大限利用され、かつ当該経路部分の特定のポートでパケットの廃棄が発生している場合には、当該ポートを経由する各前記通信の多重度を上げることを制御内容として決定する
   ことを特徴とする請求項１に記載のネットワーク管理装置。
4. 前記制御部は、
   負荷分散ができない経路部分に前記通信のデータトラフィックの偏りが発生しており、当該経路部分の帯域に空があるものの、当該経路部分の特定のポートのみでパケットの廃棄が発生している場合には、当該ポートを経由する各前記通信の多重度を下げることを制御内容として決定する
   ことを特徴とする請求項１に記載のネットワーク管理装置。
5. 前記制御部は、
   宛先が異なる前記通信のデータトラフィック同士が共通のボトルネックのポートをもたず、負荷分散が可能などの前記経路も最大帯域を越えてパケットの廃棄が発生している場合には、前記ネットワークを介して行われているすべての前記通信の帯域を制限することを制御内容として決定する。
   ことを特徴とする請求項１に記載のネットワーク管理装置。
6. 前記制御部は、
   宛先が異なる前記通信のデータトラフィック同士が共通のボトルネックのポートをもたず、負荷分散可能などの経路も最大帯域を越えはいないもののパケットの廃棄が発生している場合には、前記ネットワークを介して行われているすべての前記通信の多重度を下げることを制御内容として決定する
   ことを特徴とする請求項１に記載のネットワーク管理装置。
7. 複数のノードを有する分散ストレージシステム内の前記ノード間を接続するネットワークの管理を行うネットワーク管理装置により実行されるネットワーク管理方法であって、
   前記ネットワークの性能及び構成に関する情報を、当該ネットワークを構成するネットワーク機器及び各前記ノードから収集する第１のステップと、
   収集した前記情報に基づいて、前記ネットワークを介して前記ノード間で行われている各通信の当該ネットワーク内の経路をそれぞれ推定する第２のステップと、
   各前記通信の経路の推定結果に基づいて、前記ネットワークにおける通信に利用されている前記経路に偏りがあるか否かを判定すると共に、各前記ネットワークにおける過負荷の発生の有無を判定する第３のステップと、
   前記経路に偏りがあるか否かの判定結果、及び、過負荷の発生の有無の判定結果に基づいて対応する前記ノードに対する制御内容を決定し、決定結果に従って当該ノードを制御する第４のステップと
   を備えることを特徴とするネットワーク管理方法。
8. 前記第４のステップでは、
   宛先が異なる前記通信のデータトラフィック同士が共通のボトルネックのポートをもち、かつ前記ボトルネックのポートが負荷分散が可能な前記経路上のポートである場合には、各当該通信の多重度を上げることを制御内容として決定する
   ことを特徴とする請求項７に記載のネットワーク管理方法。
9. 前記第４のステップでは、
   負荷分散ができない経路部分に前記通信のデータトラフィックの偏りが発生しており、当該経路部分の帯域が最大限利用され、かつ当該経路部分の特定のポートでパケットの廃棄が発生している場合には、当該ポートを経由する各前記通信の多重度を上げることを制御内容として決定する
   ことを特徴とする請求項７に記載のネットワーク管理方法。
10. 前記第４のステップでは、
    負荷分散ができない経路部分に前記通信のデータトラフィックの偏りが発生しており、当該経路部分の帯域に空があるものの、当該経路部分の特定のポートのみでパケットの廃棄が発生している場合には、当該ポートを経由する各前記通信の多重度を下げることを制御内容として決定する
    ことを特徴とする請求項７に記載のネットワーク管理方法。
11. 前記第４のステップでは、
    宛先が異なる前記通信のデータトラフィック同士が共通のボトルネックのポートをもたず、負荷分散が可能などの前記経路も最大帯域を越えてパケットの廃棄が発生している場合には、前記ネットワークを介して行われているすべての前記通信の帯域を制限することを制御内容として決定する。
    ことを特徴とする請求項７に記載のネットワーク管理方法。
12. 前記第４のステップでは、
    宛先が異なる前記通信のデータトラフィック同士が共通のボトルネックのポートをもたず、負荷分散可能などの経路も最大帯域を越えはいないもののパケットの廃棄が発生している場合には、前記ネットワークを介して行われているすべての前記通信の多重度を下げることを制御内容として決定する
    ことを特徴とする請求項７に記載のネットワーク管理方法。

Images