JP2009284448A - オーバーレイネットワーク通信経路制御方法とシステムおよびプログラム - Google Patents

Abstract

【課題】オーバーレイネットワークにおける高品質かつ高信頼な通信経路の決定を可能とする。
【解決手段】オーバーレイネットワークにおける通信経路を形成する中継ノードを選択する際、各中継候補ノードの通信品質と共に、各中継候補ノードの信頼度を考慮する。すなわち、Ｍ個の中継候補ノードを選択する際に各ノードの過去の選択実績頻度と信頼度に基づきＭ個の中継候補ノードを選択し、さらに、このＭ個の中継候補ノードから各通信品質に基づき中継ノードとして選択されたノードに関しては、その選択実績頻度と信頼度を高く設定して、次回のＭ個の中継候補ノードの選択時に、過去に中継ノードとして選択された頻度が高く且つ信頼性が高いノードが選択される確率を大きくする。
【選択図】図４

Description

本発明は、インターネットにおけるエンド・ツー・エンドの通信品質を向上させる技術に係り、特に、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク上に論理的に形成されたオーバーレイネットワークを用いた通信経路で、エンド・ツー・エンドの通信品質を効率的に向上させるのに好適なオーバレイルーチング技術に関するものである。

ＩＰネットワークを代表するインターネットは、多様なアプリケーションの収容を可能とすべく発展・普及してきており、昨今では、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ ＩＰ）やストリーミングに代表されるＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）に敏感な実時間アプリケーション等の収容も急速に発展している。

これに伴い、エンド・ツー・エンドでの輻輳を回避し、品質を向上するための技術（「エンド・ツー・エンドＱｏＳ管理技術」）をインターネット上で実現することが重要な課題となっている。しかしながら、このような技術を実現する上では、以下に示す問題点がある。

（１）インターネットは既に社会的インフラ化しており、既存のネットワーク構造を大きく変更するような、ネットワークレイヤでの新たな機能拡張は困難である。

（２）インターネットは管理主体の異なる複数のＡＳ（Ａｕｔｏｎｏｍｏｕｓ Ｓｙｓｔｅｍ）によって形成されており、全てのＡＳに対して一斉に新たな機能を拡張することは困難である。

こうした中、下位のネットワークレイヤを変更することなくエンド・ツー・エンドＱｏＳの向上を可能とする有力な技術として、例えば非特許文献１に記載の、オーバーレイネットワークによるＱｏＳ管理技術が注目されている。

オーバーレイネットワークとは、例えば非特許文献２においても記載のように、既存のリンクを用いて、その上位層に目的に応じて論理的（仮想的）なリンクを形成し、構成するネットワークである。

このようなオーバーレイネットワークによるＱｏＳ管理の基本的な概念を図５に例示する。図５において、１００ａ〜１００ｃはオーバーレイネットワーク（図中「Ｏｖｅｒｌａｙ−ＮＷ」と記載）を構成するノード（オーバーレイノード）であり、１０１ａ〜１０１ｅはＩＰネットワーク（図中「ＩＰ−ＮＷ」と記載）１０２を構成するＩＰルータであり、ｘからｙに向けて、破線矢印で表わされる経路にトラヒックが流れているとする。また、この経路上には輻輳しているＩＰルータが存在しており、その結果として、ｘ，ｙ間のＱｏＳが低下しているとする。

このとき、オーバーレイノード１００ａ，１００ｂ，１００ｃで形成されるオーバーレイネットワークを用いて、実線矢印で表される経路（ｘ→オーバーレイノード１００ａ→オーバーレイノード１００ｂ→オーバーレイノード１００ｃ→ｙ）にトラヒックを迂回させることができれば、上記の輻輳を回避できる。

実際、非特許文献３，４，５では、上記のような迂回経路が実網において多数存在していることを実測に基づいて示している。しかし、非特許文献３と非特許文献５の結果はオーバーレイネットワークのトポロジをフルメッシュとし、全てのオーバーレイノード間で測定した品質情報を利用して理想的な通信経路計算を行った場合の評価となっており、オーバーレイノードの総数が増加した場合のスケーラビリティ（システムの拡張性）の低下については考慮されていない。

すなわち、オーバーレイノードの総数が大きい場合には、全てのオーバーレイノード間の品質測定情報を用いて通信経路の計算を行うことは現実的には不可能であるという問題がある。

このような問題を回避するため、非特許文献４では、迂回経路を提供する中継候補ノード数を制限した場合を評価している。しかし、この技術では、中継候補ノードは単にランダムに選択しているにすぎず、中継候補ノードの選択方法までは検討していなかった。

一方、特許文献１においては、中継候補ノードを計測データに基づいて適切に制限することにより、全ノードを中継候補として経路探索を行った最適な場合とほぼ同等のＱｏＳ向上を図る技術が記載されている。

この技術では、全てのノードペアに対する経路について、全ノードを中継候補ノードとした場合の最適な経路を計算しておき、各ノードが最適な経路を提供する中継ノードとして選択される「頻度」を計算しておき、その「頻度」の高い上位Ｍ個のノードを抽出しておき、以上の準備の下、以降の経路計算時には、このＭ個の中継候補ノードのみを用いている。

この特許文献１の技術では、一旦、全経路探索を行う必要があったのに対し、さらに、非特許文献６では、常に中継候補ノード数を一定数以下に抑えておき、実際の中継ノードの選択行為を通じて高品質な経路を提供可能な中継ノードを学習し、そのようなノードを高確率で選択することにより、最適な場合とほぼ同等のＱｏＳ向上を図る技術が提案されている。

しかしながら、この非特許文献６の技術では、各中継ノードが最適な経路を提供できる頻度が一定で変化のない場合を仮定しており、ネットワーク条件が変化して、最適な中継ノードである頻度の順位が変わるような場合には対応できないという問題点があった。

例えば、あるノードは、これまでは、自ノードの設置されるネットワークが回線帯域が不十分なため品質が良くなく、最適なノードである頻度が非常に小さかったが、ある時点で当該ネットワークが設備増設をして品質が向上した場合を想定する。

このような場合、上述した２つの技術では、これまでのネットワーク状況から高品質な上位Ｍ個のノードを決めて、そこから中継ノードを選択するため、新規に高品質になったノードを適切に選択できない、という問題が生じる。

また、逆に、それまで上位Ｍ個の中継候補ノードにランクされていたノードの周囲のネットワーク条件が変化して品質が劣化したときにも、当該ノードを中継候補として選択してしまうという問題が生じる。

このような技術の問題点（オーバーレイネットワークにおけるネットワーク条件の変化に適切に追従して、そのときのネットワーク条件に応じた高品質な経路を提供可能な中継ノードを適切に選択することができない点）を解決し、オーバーレイネットワークにおけるエンド・ツー・エンドの通信品質を効率的に向上させる技術として、例えば、特許文献２に記載の技術がある。

この特許文献２に記載の技術は、中継候補ノードを一定数以下に抑えておき、実際の中継ノード選択行為を通じて高品質な経路を提供可能な中継ノードが選択される確率が高くなるように該選択確率を動的に変化させてオーバーレイネットワークにおける高品質な通信経路を決定するものである。

すなわち、この技術では、オーバーレイネットワークにおける通信経路制御を行う際、ネットワーク条件の変化に適切に追従して、そのときのネットワーク条件に応じた高品質な経路を提供可能な中継ノードを適切に選択できるように各ノードの選択確率を補正できる仕組みを持たせたものである。

より具体的には、ＩＰネットワークに接続するＮ個のオーバーレイノードによって構成される論理網であるオーバーレイネットワークにおいて、発信元ノードから着信先ノードヘの通信経路を決定する際、オーバーレイネットワークに属する各ノードｉ（ｉ＝１〜Ｎ）は、自ノードを発信元ノードとし他ノードｊ（ｉを除く全て）を着信先ノードｊとして、発信元ノードｉと着信先ノードｊの間の通信品質を測定しておき、その一方でＮ個のノードの中からＭ個のノードを中継ノードの候補として選択し、中継候補ノードｋから着信先ノードｊの間の通信品質測定結果を中継候補ノードから取得し、自ノードｉと着信先ノードｊの間の通信品質と、自ノードｉから中継候補ノードｋを経由して着信先ノードｊに到達するときの通信品質を比較し、前者の方が良い品質を与える場合には中継ノードは用いずに着信先ノードｊへ直接転送する経路を自ノードｉから着信先ノードｊへの通信経路として決定し、また、後者が良い品質を与える場合には、その中でも最も高品質を提供するノードｋ＊を中継ノードとし、通信経路を自ノードｉ→中継ノードｋ＊→着信先ノードｊと決定すると共に、次回の中継候補ノード選択時には、過去に中継ノードとして選択された頻度に応じて中継候補ノードをＭ’個選択し、残りのＭ−Ｍ’個は、当該頻度には依存せずに等確率で中継候補ノードを選択し、さらに、ネットワーク条件の変動を監視し、その変動が検知された際には各ノードの選択確率をその状況に応じて変化させるものである。

この特許文献２の技術によれば、ネットワーク条件の変動に追従して、オーバーレイネットワークにおける通信経路計算に伴うコストを削減しつつ、通信品質の改善を図ることが可能となる。

しかしながら、この特許文献２の技術では、各オーバーレイノードは安定して通信可能であるという前提の下で動作しており、実際には中継ノードとして選択されたノードが不安定な場合には高信頼な迂回経路を確立できない可能性があるという問題点がある。

特開２００７−０１９６８３号公報 特開２００８−０５３７９４号公報 Ｌ．Ｚｈｉ ａｎｄ Ｐ．Ｍｏｈａｐａｔｒａ，"ＱＲＯＮ：ＱｏＳ−ａｗａｒｅ ｒｏｕｔｉｎｇ ｉｎ ｏｖｅｒｌａｙ ｎｅｔ−ｗｏｒｋｓ，"ＩＥＥＥ Ｊ．Ｓｅｌｅｃｔ．Ａｒｅａｓ Ｃｏｍｍｕｎ．，ｖｏｌ．２２，ｐｐ．２９−４０，Ｊａｎｕａｒｙ ２００４． ＷＩＤＥプロジェクト，"オーバーレイネットワークによる統合分散環境，"ＷＩＤＥプロジェクト研究報告書，第１７部，２００２． 亀井，川原，"エンドホストオーバーレイネットワークによるトラヒックエンジニアリングとその有効性，"信学ソ大，ＢＳ−５−３，２００４． Ｓ．Ｒｅｗａｓｋａｒ ａｎｄ Ｊ．Ｋａｕｒ，"Ｔｅｓｔｉｎｇ ｔｈｅ Ｓｃａｌａｂｉｌｉｔｙ ｏｆ Ｏｖｅｒｌａｙ Ｒｏｕｔｉｎｇ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅｓ，"Ｐｒｏｃ．ＰＡＭ ２００４．Ａｐｒｉｌ ２００４． Ｓ．Ｂａｎｅｒｊｅｅ，Ｔ．Ｇ．Ｇｒｉｆｉｎ ａｎｄ Ｍ．Ｐｉａｓ，"Ｔｈｅ Ｉｎｔｅｒｄｏｍａｉｎ Ｃｏｎｎｅｃｔｉｖｉｔｙ ｏｆ ＰｌａｎｅｔＬａｂ Ｎｏｄｅｓ，" Ｐｒｏｃ．ＰＡＭ ２００４，Ａｐｒｉｌ ２００４． 川原，亀井，内田，阿部，"迂回経路候補数に制限がある場合のＱｏＳオーバーレイ経路選択アルゴリズムとその評価，" 信学技報 ＩＮ２００５−１９５，ｐｐ．２３１−２３６，（２００６年３月）．

解決しようとする問題点は、従来の技術では、各オーバーレイノードは安定して通信可能であるという前提の下で動作しており、実際には中継ノードとして選択されたノードが不安定な場合には高信頼な迂回経路を確立できない可能性があるという点である。

本発明の目的は、これら従来技術の課題を解決し、オーバーレイネットワークにおける高品質かつ高信頼な通信経路の決定を可能とすることである。

上記目的を達成するため、本発明では、オーバーレイネットワークにおける通信経路を形成する中継ノードを選択する際、各ノードの通信品質に加えて、各ノードの信頼性も入力情報として用いることを特徴とする。より詳細には、常に中継ノード候補数を一定数以下に抑えておき、実際の中継ノード選択行為を通じて、高品質な経路のみならず、さらに、高信頼な経路を提供可能な中継ノードが選択される確率が高くなるように、選択確率を動的に変化させる。すなわち、ＩＰネットワークに接続するＮ個のオーバーレイノードによって構成される論理網であるオーバーレイネットワークにおいて、発信元ノードから着信先ノードへの通信経路を決定する際、予めＮ個のノードの中から、各ノードの過去の選択実績頻度と信頼度に基づきＭ個の中継候補ノードを選択し、オーバーレイネットワークに属する各ノードが、自ノードｉ（ｉ＝１〜Ｎ）を発信元ノードとし他ノードｊを着信先ノードｊとして、発信元ノードｉと着信先ノードｊの間の通信品質を測定すると共に、Ｎ個のノードの中から選択されたＭ個の中継候補ノードのそれぞれの着信先ノードｊ間の通信品質測定結果を取得し、取得した各中継候補ノードの着信先ノードｊ間の通信品質測定結果を用いて、自ノードｉから当該中継候補ノードを経由して着信先ノードｊに到達するまでの通信品質を算出し、算出した通信品質と測定した通信品質とを比較して、算出した通信品質の方が良い中継候補ノードｋ（１≦ｋ≦Ｍ）を抽出し、抽出した中継候補ノードｋから、最も通信品質の良いノードを中継ノードｋ＊として選択し、選択した中継ノードｋ＊を中継した着信先ノードｊへの通信経路を、自ノードｉから着信先ノードｊへの通信経路として決定し、また、算出した通信品質が測定した通信品質より良い中継候補ノードｋが存在しない場合、当該中継候補ノードｋは用いずに着信先ノードｊへ直接転送する経路を自ノードｉから着信先ノードｊへの通信経路として決定し、さらに、中継ノードｋ＊として選択したノードの選択実績頻度と信頼度を高く設定して、次回のＭ個の中継候補ノードの選択時に、過去に中継ノードとして選択された頻度が高く且つ信頼性が高いノードが選択される確率を大きくすることを特徴とする。このように、高品質かつ高信頼な経路を提供した中継ノードが次回の中継候補ノード選択時に選ばれやすくなるようにして、それを繰り返していくことによって、高品質かつ高信頼な経路を提供可能な中継ノードを学習・選択することとなり、高品質かつ高信頼な経路制御が可能となる。

本発明によれば、オーバーレイネットワークにおける通信経路計算に伴うコストを削減しつつ、高品質かつ高信頼な通信経路の決定を行うことが可能となる。

以下、図を用いて本発明を実施するための最良の形態例を説明する。図１は、本発明に係る通信経路制御システムを形成するオーバーレイノードの構成例を示すブロック図であり、図２は、図１におけるオーバーレイノードに接続された管理サーバの構成例を示すブロック図、図３は、図１におけるオーバーレイノードと図２における管理サーバを有するオーバーレイネットワークの構成例を示すブロック図、図４は、本発明に係るオーバーレイネットワーク通信経路制御方法の処理例を示すフローチャートである。

図３に示すオーバーレイネットワークは、図５において説明したオーバーレイネットワークの構成と同様であり、本例の図３に示すオーバーレイネットワークにおいては、図１に示す処理機能を具備したオーバーレイノード１〜５（以下、単に、「ノード１〜５」という）を含む複数のノードと共に、図２に示す処理機能を具備した管理サーバ２１が設けられている。

ノード１〜５等の各ノードおよび管理サーバ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や主メモリ、表示装置、入力装置、外部記憶装置等を具備したコンピュータ構成からなり、光ディスク駆動装置等を介してＣＤ−ＲＯＭ等の記憶媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みＣＰＵで処理することにより、本発明に係る各処理部の機能を実行する。

例えば、ノード１〜５は、プログラムされたコンピュータ処理を実行する機能として、図１に示すように通信品質測定部１ａと通信品質取得部１ｂおよび中継ノード決定部１ｃと中継候補受信部１ｄならびに通信状態返答部１ｅを具備し、管理サーバ２１は、プログラムされたコンピュータ処理を実行する機能として、図２に示すように中継ノード状態管理部２１ａと中継候補ノード選択部２１ｂを具備している。

ノード１〜５等の各ノードは、それぞれ、他のノードと論理的に接続している。つまり、オーバーレイネットワークに存在する他のノードのＩＰアドレスを知っており、通信可能な状態にある。

また、管理サーバ２１は、ノード１〜５を含む各ノードのいずれかを、中継候補ノードとして管理する機能を有する。

このような構成において、本例では、オーバーレイネットワークにおける通信経路制御を行う際に、ネットワーク条件の変化に適切に追従して、その時々のネットワーク条件に応じた高品質かつ高信頼な経路を提供可能な中継ノードを適切に選択できるようにする仕組みとして以下の各技術を用いる。

第１の技術は、オーバーレイネットワークを構成するノード間の通信品質の測定および中継ノードを用いて迂回するか否の決定を行うものであり、この第１の技術として本例では、当該オーバーレイネットワークに属するあるノードから着信先ノードヘの通信経路を決定する際、各ノードｉ（ｉ＝１〜Ｎ）は、自ノードの信頼度（ここでは自ノードが過去において通信可能な状態にあった度合いとする）を測定しておくと共に、自ノードを発信元ノードｉとし、他ノードｊ（ｉを除く全て）を着信先ノードｊとして、発信元ノードｉと着信先ノードｊの間の通信品質を測定しておき、その一方で、Ｎ個のノードの中からＭ個のノードを中継ノードの候補として選択する。尚、第２の技術として説明するように、Ｍ個の中継候補ノードの選択を、管理サーバ２１において行うことでも良い。

そして、選択した中継候補ノードｋ（ｋ＝１〜Ｍ）から着信先ノードｊの間の通信品質測定結果を、当該中継候補ノードｋから取得し、取得した各中継候補ノードｋの着信先ノードｊ間の通信品質測定結果を用いて、自ノードｉから当該中継候補ノードｋを経由して着信先ノードｊに到達するまでの通信品質を算出し、この算出した通信品質（第２の通信品質）と、自ノードｉで測定した、自ノードｉと着信先ノードｊの間の通信品質（第１の通信品質）とを比較する。

比較の結果、第１の通信品質の方が良い品質を与える場合には、中継候補ノードｋは用いずに着信先ノードｊへ直接転送する経路（直接経路）を自ノードｉから着信先ノードｊへの通信経路として決定し、また、第２の通信品質の方が良い品質を与える場合には、該当する複数の中継候補ノードの中で最も高品質を提供するノードｋ＊を中継ノードとして選択し、通信経路を「自ノードｉ→中継ノードｋ＊→着信先ノードｊ」と決定する。

そして、中継ノードｋ＊として選択されたノードは、自ノードに関しての信頼度と選択頻度を加算することで、次回のＭ個の中継候補ノードを選択する際にも選択されやすくする。すなわち、次回のＭ個の中継候補ノードを選択する際には、過去に中継ノードとして選択された頻度が高く、且つ過去のノード信頼度が高いノードが選択される確率を大きくしておく。このように、通信品質に加えて、ノードの信頼度も入力情報として迂回経路を決定することにより、高品質かつ高信頼な経路制御が実現できる。

次に、第２の技術について説明する。この第２の技術では、Ｍ個の中継候補ノードの選択を、管理サーバ２１において行うものである。

すなわち、第２の技術においては、オーバーレイネットワーク内に中継候補ノードの情報を管理するサーバ（管理サーバ２１）が存在し、この管理サーバ２１は、各ノードｋの現時点での得点Ｃ（ｋ）および信頼度ｒ（ｋ）を管理している。

発信元ノードｉは、着信先ノードｊへの経路を決定する際、管理サーバ２１が各ノードｋ（ｋ＝１〜Ｎ）の得点Ｃ（ｋ）および信頼度ｒ（ｋ）を用いて、「確率ｐ＿ｋ＝｛Ｃ（ｋ）×ｒ（ｋ）｝÷｛Σ_ｋＣ（ｋ）×ｒ（ｋ）｝の式を用いて、ノードｋ（ｋはｉ以外）を中継候補ノードとして選択し、これをＭ個の中継候補ノードが決定するまで繰り返し、そのＭ個の候補を発信元ノードｉへ通知する。

発信元ノードｉは、着信先ノードｊへの経路を、第１の技術により決定する。その際、ノードｋ＊が中継ノードとして決定されると、このノードｋ＊は、管理サーバ２１にその旨を通知する。同様の手順は全ての通信中の発信元ノードと着信先ノードのペアについて実施される。

管理サーバ２１は、各ノードから自身が中継ノードとして決定された旨を受信し、各ノードｋが予め定めた測定期間の間に中継ノードとなった回数Ｃ’（ｋ）をカウントする。その値を用いて、各ノードｋの得点を、「Ｃ（ｋ）←（１−α）Ｃ（ｋ）＋αＣ’（ｋ）」により更新する。

尚ここで、αは予め定める平滑化パラメータで０＜α＜１であり、Ｃ（ｋ）の初期値はＣ（ｋ）＝１（全てのｋ）とする。

同様に、各ノードｋのノード信頼度ｒ（ｋ）を、「ｒ（ｋ）＝｛過去ｎ回の測定期間においてノードｋが通信可能な状態であった回数｝÷ｎ」により更新する。

次に、第３の技術として、上述の第２の技術における、中継ノードの得点Ｃ（ｋ）を更新する際の他の手順について説明する。

すなわち、本第３の技術では、第２の技術のように更新する代わりに、予め定めるパラメータβ（＞０）とｃ（＞１）を用いて、「γ＝１÷ｍｉｎ｛ｎ＋β，ｃ｝」（現在ｎ番目の測定期間にあるとする）を計算し、現測定期間ｎにおいて送信元ノードｉが着信先ノードｊへの経路を迂回するかどうか判断するごとに、各ノードｘのスコアを以下の手順に従って逐次的に更新していく。

もし、送信元ノードｉから発信先ノードｊへの経路として、ノードｋを中継ノードとして用いる場合、ノードｋの仮得点Ｃ’’（ｋ）を「Ｃ’’（ｋ）←Ｃ’’（ｋ）＋（１−γ）Ｃ（ｋ）÷｛Ｎ（Ｎ−１）｝＋γ、で更新する。尚、ここで仮得点とは、次の期間ｎ＋１で用いる得点を決定するための準備用の得点を意味する。

また、ノードｋ以外の全てのノードｘの仮得点を「Ｃ’’（ｘ）←Ｃ’’（ｘ）＋（１−γ）Ｃ（ｘ）÷｛Ｎ（Ｎ−１）｝と更新する。

一方、送信元ノードｉから発信先ノードｊへの経路が直通路となった場合には、全てのノードｘの仮得点を「Ｃ’’（ｘ）←Ｃ’’（ｘ）＋（１−γ）Ｃ（ｘ）÷｛Ｎ（Ｎ−１）｝」と更新する。ここでＮはノード数である。

以上を、測定期間ｎにおいて通信中のノードペアについて実施し、測定期間ｎの終了時に各ノードの得点Ｃ（ｘ）を「Ｃ（ｘ）←Ｃ’’（ｘ）×ｒ（ｋ）」とし、次周期用の仮得点を「Ｃ’’（ｘ）←０」と初期化する。

次に、第４の技術として、上述の第２の技術における、信頼度ｒ（ｋ）を更新する際の他の手順について説明する。

すなわち、本第４の技術では、第２の技術のように信頼度ｒ（ｋ）を更新する代わりに、「ｒ（ｋ）＝｛過去Ｔ期間においてノードｋが通信可能な状態であった回数｝÷Ｔ」として更新する。こうすることにより、より直近の信頼度を反映した経路制御を実現することができる。

以下、図１から図３に示す構成からなるノード１〜５、管理サーバ２１による本発明に係る動作を説明する。

図３における各ノード１〜５は、以下の「実施例１」のようにして、他ノードとの通信経路を一定周期毎に更新する。ここでは、図３におけるノード１に着目して説明をすすめる。しかし、他のノード２〜５も各々が独立に同様の振る舞いをする。

＜「実施例１」＞図３におけるノード（図中「オーバーレイノード」と記載）１は、上述の各技術により、中継候補ノードを選択し、ノード間の通信品質と各ノードの信頼度を求め、それを用いてどのノードを中継して迂回するか否かを決定するための機能として、図１に示すように、通信品質測定部１ａ、通信品質取得部１ｂ、中継ノード決定部１ｃ、中継候補受信部１ｄ、通信状態返答部１ｅを具備し、それに対応するため、図２における管理サーバ２１は、中継ノード状態管理部２１ａと中継ノード候補選択部２１ｂを具備している。

図３において、通信品質測定部１ａは、測定周期τ毎に自身（ノード１）と他のノードｊ（ｊ＝２〜５）との間の遅延時間ｄ（１，ｊ）を測定する。同様に、ノードｉ（ｉ＝２〜５）も他ノードｊ（ｊ＝ｉを除くｊ＝１〜５のいずれか）との遅延時間ｄ（ｉ，ｊ）を測定している。そして、この遅延時間測定を実施したら、その旨を中継候補受信部１ｄに通知する。

中継候補受信部１ｄは、図２の管理サーバ２１内の中継ノード候補選択部２１ｂに対し、Ｍ個の中継候補ノードの送信を要求し、Ｍ個の候補を受信する。

中継ノード決定部１ｃは、通信品質取得部１ｂに対して、当該中継候補ノードｋから、ノードｋとノードｊの遅延時間測定結果ｄ（ｋ，ｊ）を取得するように指示する。

指示を受けた通信品質取得部１ｂは、当該中継候補ノードｋの通信品質測定部１ａからノードｋとノードｊの遅延時間測定結果ｄ（ｋ，ｊ）を取得し、中継ノード決定部１ｃにそれを通知する。以上の手順を、全ての中継候補ノードに対して実施する。

中継ノード決定部１ｃは、自ノード１から中継候補ノードｋの遅延時間ｄ（１，ｋ）を通信品質測定部１ａから取得し、それと、通信品質取得部１ｂから通知された中継候補ノードｋと着信先ノードｊの間の遅延時問ｄ（ｋ，ｊ）を用いて、「ｄ（１，ｊ）＞ｄ（１，ｋ）＋ｄ（ｋ，ｊ）」を満たすｋがＭ個の候補の中に存在するか否かを調べ、存在しない場合は、自ノード１からノードｊの直通路を通信経路として決定し、また、存在する場合は、右辺（「ｄ（１，ｋ）＋ｄ（ｋ，ｊ）」）の値を最小にするｋを中継ノードｋ＊として決定する。

このようにして決定した後、当該ノードｋ＊に対して、通信経路を、「自ノード１→中継ノードｋ＊→着信先ノードｊ」と設定するように要求する。同時に、管理サーバ２１内の中継ノード状態管理部２１ａに対して、ノードｋ＊を中継ノードとして選択したことを通知する。

以上の手順を全ての着信先ノードｊ（ｊ＝２〜５）に対して実施する。

中継ノードｋ＊は、「ノード１→中継ノードｋ＊→着信先ノードｊ」の経路を設定し、その後、自身が中継ノードとして選択された旨を管理サーバ２１の中継ノード状態管理部２１ａに通知する。

図２における管理サーバ２１の中継ノード状態管理部２１ａは、中継ノードｋ＊からの通知を受けると、ノードｋ＊が中継ノードとなった回数Ｃ’（ｋ＊）を、「Ｃ’（ｋ＊）←Ｃ’（ｋ＊）＋１」とカウントアップする。

以上を、ｎ番目の測定期間が終わるまで繰り返して、各ノードの中継ノードとなった回数を数える。

その後、全てのノードｋの得点Ｃ（ｋ）を「Ｃ（ｋ）←（１−α）Ｃ（ｋ）＋αＣ’（ｋ）」により更新し、その後、「Ｃ’（ｋ）←１」とする。尚、ここで、αは予め定められる平滑化パラメータで「０＜α＜１」であり、Ｃ（ｋ）の初期値はＣ（ｋ）＝１（全てのｋ）とする。

また、管理サーバ２１は、各ノードｋ（１〜５）内の通信状態返答部１ｅに対して、現在通信可能状態にあるか否かを問い合わせる。もし返事がなかった場合には、通信不能状態であるとし、返事があれば、通信可能状態であると判断する。

その後、ノードｋの信頼度ｒ（ｋ）を「ｒ（ｋ）←（ｎ−１）÷ｎ×ｒ（ｋ）＋１÷ｎ×Ｉ（ｋ）」により更新する。ここで、Ｉ（ｋ）は、ノードｋが通信可能状態であれば「１」、そうでなければ「０」を取る。

以上の得点Ｃ（ｋ）および信頼度ｒ（ｋ）の更新が終了し後、中継ノード状態管理部２１ａは、その結果を、中継ノード候補選択部２１ａに通知する。

中継候補ノード選択部２１ｂは、中継ノード状態管理部２１ａから、ノードｋの信頼度ｒ（ｋ）と、得点Ｃ（ｋ）を受信し、それを保持しておく。

一方、中継候補ノード選択部２１ｂは、ノード１内の中継候補受信部１ｄから中継候補ノード通知要求を受信したら、Ｍ個の中継候補ノードを以下の手順で決定する。

すなわち、中継候補ノード選択部２１ｂは、「ｐ（ｋ）＝｛Ｃ（ｋ）×ｒ（ｋ）｝÷｛Σ_ｋＣ（ｋ）×ｒ（ｋ）｝」で求められる確率ｐ（ｋ）でノードを中継候補ノードとして選択し、それをＭ個のノードが選択されるまで繰り返す。

以上の手順で選択されたＭ個の中継候補ノードを、ノードｉ（１〜５）の中継候補受信部１ｄに通知する。

尚、上述の＜「実施例１」＞での、ノードｉ（１〜５）における中継ノード決定部１ｃでの処理手順と異なる手順を「実施例２」として以下のようにして行ってもよい。

＜「実施例２」＞すなわち、予め定めるパラメータβ（＞０）とｃ（＞１）を用いて、「γ＝１÷ｍｉｎ｛ｎ＋β，ｃ｝（現在ｎ番目の測定期間にあるとする）を計算し、現測定期間ｎにおいて送信元ノードｉが着信先ノードｊへの経路を迂回するかどうか判断するごとに、各ノードｘのスコアを以下の手順に従って逐次的に更新していく。

もし送信元ノードｉから着信先ノードｊへの経路として、ノードｋ＊を中継ノードとして用いる場合、ノードｋ＊の仮得点Ｃ’’（ｋ＊）を、「Ｃ’’（ｋ＊）←Ｃ’’（ｋ＊）＋［（１−γ）Ｃ（ｋ＊）÷｛Ｎ（Ｎ−１）｝］＋γ」で更新する。ここで仮得点とは、次の期間ｎ＋１で用いる得点を決定するための準備用の得点を意味する。また、ここでNはノード数である。

また、ノードｋ＊以外の全てのノードｘの仮得点を、「Ｃ’’（ｘ）←Ｃ’’（ｘ）＋（１−γ）Ｃ（ｘ）÷｛Ｎ（Ｎ−１）｝」と更新する。

一方、送信元ノードｉから着信先ノードｊへの経路が直通路となった場合には、全てのノードｘの仮得点を、「Ｃ’’（ｘ）←Ｃ’’（ｘ）＋（１−γ）Ｃ（ｘ）÷｛Ｎ（Ｎ−１）｝」と更新する。

以上の手順を、測定期間ｎにおいて通信中のノードペアについて実施し、測定期間ｎの終了時に、各ノードの得点を「Ｃ（ｘ）←Ｃ’’（ｘ）×ｒ（ｘ）」とし、次周期用の仮得点を「Ｃ’’（ｘ）←０」と初期化する。

また、上述の＜「実施例１」＞での処理手順により、ノードｉ（１〜５）における信頼度ｒ（ｋ）を更新する代わりに、以下の「実施例３」に示す手順で更新しても良い。

＜「実施例３」＞すなわち、管理サーバ２１が、各ノードｋ（１〜５）内の通信状態返答部１ｅに対して、現在通信可能状態にあるかを問い合わせる。もし返事がなければ、当該ノードｋは通信不能状態であるとし、また、返事があれば、当該ノードｋが通信可能状態であると判断する。

その後、もし現在の測定期間ｎが予め定めた期間長Ｔよりも大きければ、ノードｋの信頼度ｒ（ｋ）を、「ｒ（ｋ）←｛（Ｔ−１）÷Ｔ×ｒ（ｋ）｝＋｛１÷Ｔ×Ｉ（ｋ）｝」により更新する。ここで、「Ｉ（ｋ）」は、ノードｋが通信可能状態であれば「１」、そうでなければ「０」を取る。このように更新されるｒ（ｋ）は、過去Ｔ期間における信頼度をあらわすことになり、「実施例１」よりも直近の信頼度を反映している。

以上のオーバーレイネットワークにおける通信経路制御に係る処理手順を、図４を用いて説明する。

ノード１（オーバーレイノード）は、プログラムされたコンピュータ処理によって、オーバーレイネットワークにおける、自ノードから着信先ノードｊへの通信経路を決定する際、まず、自ノードと着信先ノードｊの間の通信品質を測定して記憶装置に記憶する（ステップＳ１０１）。

また、予め、管理サーバ２１においてＮ個のノードの中から選択され通知されたＭ個の中継候補ノードのそれぞれの、着信先ノードｊ間の通信品質測定結果を取得して記憶装置に記憶する（ステップＳ１０２）。

次に、記憶装置に記憶した各中継候補ノードの着信先ノードｊ間の通信品質測定結果を用いて、自ノードｉから当該中継候補ノードを経由して着信先ノードｊに到達するまでの通信品質を算出し（ステップＳ１０３）、算出した通信品質と記測定した通信品質とを比較して、算出した通信品質が測定した通信品質より良い中継候補ノードｋ（１≦ｋ≦Ｍ）を抽出する（ステップＳ１０４，Ｓ１０４ａ）。

そして、抽出した中継候補ノードｋから、最も通信品質の良い中継候補ノードｋ＊を選択し（ステップＳ１０５）、選択した中継候補ノードｋ＊を中継した着信先ノードｊへの通信経路を、自ノードｉから着信先ノードｊへの通信経路として決定する（ステップＳ１０６）。

また、抽出した全ての中継候補ノードｋに関して算出した通信品質と、測定した自ノードの通信品質との比較において、算出した通信品質が測定した通信品質より良い中継候補ノードｋが存在しない場合（ステップＳ１０４ａ）、当該中継ノードｋは用いずに着信先ノードｊへ直接転送する経路を自ノードｉから着信先ノードｊへの通信経路として決定する（ステップＳ１０７）。

尚、ステップＳ１０２で用いるＭ個の中継候補ノードは、管理サーバ２１において、各ノードｉが中継ノードとして選択された頻度、および、各ノードｉが過去において通信可能な状態にあった度合い等の信頼度情報を収集し、収集したこれらの情報を用いて選択される。より詳細には、例えば、上述の第２〜第４の技術を用いて、Ｍ個の中継候補ノードを選択する。

以上、図１〜図４を用いて説明したように、本例では、オーバーレイネットワークにおける通信経路を形成する中継ノードを選択する際、各中継候補ノードの通信品質と共に、各中継候補ノードの信頼度を考慮する。すなわち、Ｍ個の中継候補ノードを選択する際に各ノードの過去の選択実績頻度と信頼度に基づきＭ個の中継候補ノードを選択し、さらに、このＭ個の中継候補ノードから各通信品質に基づき中継ノードとして選択されたノードに関しては、その選択実績頻度と信頼度を高く設定して、次回のＭ個の中継候補ノードの選択時に、過去に中継ノードとして選択された頻度が高く且つ信頼性が高いノードが選択される確率を大きくする。より詳細には、ＩＰネットワークに接続するＮ個のオーバーレイノードによって構成される論理網であるオーバーレイネットワークにおいて、発信元ノードから着信先ノードへの通信経路を決定する際、予めＮ個のノードの中から、各ノードの過去の選択実績頻度と信頼度に基づきＭ個の中継候補ノードを選択し、オーバーレイネットワークに属する各ノードが、自ノードｉ（ｉ＝１〜Ｎ）を発信元ノードとし他ノードｊを着信先ノードｊとして、発信元ノードｉと着信先ノードｊの間の通信品質を測定すると共に、Ｎ個のノードの中から選択されたＭ個の中継候補ノードのそれぞれの着信先ノードｊ間の通信品質測定結果を取得し、取得した各中継候補ノードの着信先ノードｊ間の通信品質測定結果を用いて、自ノードｉから当該中継候補ノードを経由して着信先ノードｊに到達するまでの通信品質を算出し、算出した通信品質と測定した通信品質とを比較して、算出した通信品質の方が良い中継候補ノードｋ（１≦ｋ≦Ｍ）を抽出し、抽出した中継候補ノードｋから、最も通信品質の良いノードを中継ノードｋ＊として選択し、選択した中継ノードｋ＊を中継した着信先ノードｊへの通信経路を、自ノードｉから着信先ノードｊへの通信経路として決定し、また、算出した通信品質が測定した通信品質より良い中継候補ノードｋが存在しない場合、当該中継候補ノードｋは用いずに着信先ノードｊへ直接転送する経路を自ノードｉから着信先ノードｊへの通信経路として決定し、さらに、中継ノードｋ＊として選択したノードの選択実績頻度と信頼度を高く設定して、次回のＭ個の中継候補ノードの選択時に、過去に中継ノードとして選択された頻度が高く且つ信頼性が高いノードが選択される確率を大きくする。

このように、本例では、高品質かつ高信頼な経路を提供した中継ノードが次回の中継候補ノード選択時に選ばれやすくなるようにして、それを繰り返していくことによって、高品質かつ高信頼な経路を提供可能な中継ノードを学習・選択することとなり、高品質かつ高信頼な経路制御が可能となる。

尚、本発明は、図１〜図４を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例では、管理サーバ２１において、Ｍ個の中継候補ノードの選択を行うこととしているが、ノード１〜５において、Ｍ個の中継候補ノードを選択する構成としても良い。この場合、管理サーバ２１においては、Ｍ個の中継候補ノードを選択するために用いる情報（当該ノードが中継ノードとして選択された頻度、および、当該ノードが過去において通信可能な状態にあった度合い等である信頼度）を収集する処理までを行い、収集した情報を、ノード１〜５に送信し、ノード１〜５において、受信した情報を用いてＭ個の中継候補ノードを選択する。

また、本例では、通信品質を評価するＱｏＳメトリックとして「遅延」を用いているが、パケット損失率や帯域等を通信品質を評価するＱｏＳメトリックとして用いても良い。

また、オーバーレイノードや管理サーバのコンピュータ構成として、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良い。また、本例では、光ディスクを記録媒体として用いているが、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）等を記録媒体として用いることでも良い。また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。

本発明に係る通信経路制御システムを形成するオーバーレイノードの構成例を示すブロック図である。 図１におけるオーバーレイノードに接続された管理サーバの構成例を示すブロック図である。 図１におけるオーバーレイノードと図２における管理サーバを有するオーバーレイネットワークの構成例を示すブロック図である。 本発明のオーバーレイノードネットワーク通信経路制御方法に係る処理動作例を示すフローチャートである。 オーバーレイネットワークによるＱｏＳ管理の基本的な概念を例示する説明図である。

符号の説明

１〜５：ノード（「オーバーレイノード」）、１ａ：通信品質測定部、１ｂ：通信品質取得部、１ｃ：中継ノード決定部、１ｄ：中継候補受信部、１ｅ：通信状態返答部、２１：管理サーバ、２１ａ：中継ノード状態管理部、２１ｂ：中継ノード候補選択部、１００ａ〜１００ｃ：オーバーレイノード、１０１ａ〜１０１ｅ：ＩＰルータ、１０２：ＩＰネットワーク。

Claims (6)

1. プログラムされたコンピュータ処理によって、ＩＰネットワークに接続するＮ個のオーバーレイノードによって構成される論理網であるオーバーレイネットワークにおける、発信元ノードから着信先ノードへの通信経路の決定を制御する方法であって、
   プログラムされたコンピュータの処理実行手順として、
   予めＮ個のノードの中から、各ノードの過去の選択実績頻度と信頼度に基づきＭ個の中継候補ノードを選択する手順を含み、
   上記オーバーレイネットワークに属する各ノードが、自ノードｉ（ｉ＝１〜Ｎ）を発信元ノードとし他ノードｊを着信先ノードｊとして、発信元ノードｉと着信先ノードｊの間の通信品質を測定する手順と、
   上記Ｎ個のノードの中から選択されたＭ個の中継候補ノードのそれぞれの着信先ノードｊ間の通信品質測定結果を取得する手順と、
   該手順で取得した各中継候補ノードの着信先ノードｊ間の通信品質測定結果を用いて、自ノードｉから当該中継候補ノードを経由して上記着信先ノードｊに到達するまでの通信品質を算出する手順と、
   該手順で算出した通信品質と上記手順で測定した通信品質とを比較して、該算出した通信品質が上記測定した通信品質より良い中継候補ノードｋ（１≦ｋ≦Ｍ）を抽出する手順と、
   該手順で抽出した中継候補ノードｋから、最も通信品質の良いノードを中継ノードｋ＊として選択する手順と、
   該手順で選択した中継ノードｋ＊を中継した上記着信先ノードｊへの通信経路を、自ノードｉから着信先ノードｊへの通信経路として決定する手順と、
   上記算出した通信品質と上記測定した通信品質との比較において上記算出した通信品質が上記測定した通信品質より良い中継候補ノードｋが存在しない場合、当該中継候補ノードｋは用いずに上記着信先ノードｊへ直接転送する経路を自ノードｉから着信先ノードｊへの通信経路として決定する手順と
   を実行し、
   上記中継ノードｋ＊として選択したノードの選択実績頻度と信頼度を高く設定して、次回のＭ個の中継候補ノードの選択時に、過去に中継ノードとして選択された頻度が高く且つ信頼性が高いノードが選択される確率を大きくすることを特徴とするオーバーレイネットワーク通信経路制御方法。
2. 請求項１に記載のオーバーレイネットワーク通信経路制御方法であって、
   上記Ｍ個の中継候補ノードを選択する手順は、Ｎ個のノードに接続された管理サーバにおいて実行し、
   該管理サーバは、
   Ｎ個のノードの、過去に選択された頻度を含む得点Ｃ（ｋ）情報と、過去の問い合わせ時に稼働していた度合いを含む信頼度ｒ（ｋ）情報を取得して記憶装置に記憶する手順と、
   上記発信元ノードｉが着信先ノードｊへの経路を決定する際、各ノードｋ（ｋ＝１〜Ｎ）の得点Ｃ（ｋ）および信頼度ｒ（ｋ）を用いて、「確率ｐ＿ｋ＝｛Ｃ（ｋ）×ｒ（ｋ）｝÷｛Σ_ｋＣ（ｋ）×ｒ（ｋ）｝」の式により中継候補ノードｋを選択する処理を、Ｍ個の中継候補ノードが決定するまで繰り返し、選択結果を発信元ノードｉへ通知する手順と、
   上記発信元ノードｉにより予め定めた測定期間の間に中継ノードとして選択された回数Ｃ’（ｋ）をカウントし、該カウント値と予め定められた平滑化パラメータα（０＜α＜１）を用いて、Ｎ個の各ノードの得点Ｃ（ｋ）を、「Ｃ（ｋ）←（１−α）Ｃ（ｋ）＋αＣ’（ｋ）」により更新すると共に、Ｎ個の各ノードの信頼度ｒ（ｋ）を、「ｒ（ｋ）＝｛過去ｎ回の測定期間においてノードｋが通信可能な状態であった回数｝÷ｎ」により更新する手順と
   を実行することを特徴とするオーバーレイネットワーク通信経路制御方法。
3. 請求項２に記載のオーバーレイネットワーク通信経路制御方法であって、
   上記管理サーバは、
   上記Ｎ個の各ノードの得点Ｃ（ｋ）を「Ｃ（ｋ）←（１−α）Ｃ（ｋ）＋αＣ’（ｋ）」により更新する手順の代わりに、
   予め定められたパラメータβ（＞０）とｃ（＞１）を用いて、現在の測定期間である測定期間ｎにおいて「γ＝１÷ｍｉｎ｛ｎ＋β，ｃ｝」を算出する手順と、
   測定期間ｎの全ての通信において上記発信元ノードｉがノードｋを中継ノードとして選択する度に、該ノードｋの、次の測定期間ｎ＋１で用いる得点を決定するための準備用の得点としての仮得点Ｃ’’（ｋ）を「Ｃ’’（ｋ）←Ｃ’’（ｋ）＋（１−γ）Ｃ（ｋ）÷｛Ｎ（Ｎ−１）｝＋γ」として更新すると共に、ノードｋ以外の全てのノードｘの仮得点を「Ｃ’’（ｘ）←Ｃ’’（ｘ）＋（１−γ）Ｃ（ｘ）÷｛Ｎ（Ｎ−１）｝として更新する手順と、
   測定期間ｎの全ての通信において上記発信元ノードｉが中継ノードを用いない直通路を選択する度に、全てのノードｘの仮得点を「Ｃ’’（ｘ）←Ｃ’’（ｘ）＋（１−γ）Ｃ（ｘ）÷｛Ｎ（Ｎ−１）｝」と更新する手順と、
   上記測定期間ｎの終了時に、各ノードの得点Ｃ（ｘ）を「Ｃ（ｘ）←Ｃ’’（ｘ）×ｒ（ｋ）」として設定すると共に、次の測定期間用の仮得点を「Ｃ’’（ｘ）←０」として初期化する手順と
   を実行することを特徴とするオーバーレイネットワーク通信経路制御方法。
4. 請求項２もしくは請求項３のいずれかに記載のオーバーレイネットワーク通信経路制御方法であって、
   上記管理サーバは、
   上記Ｎ個の各ノードｋの信頼度ｒ（ｋ）を「｛過去ｎ回の測定期間においてノードｋが通信可能な状態であった回数｝÷ｎ」により更新する手順の代わりに、
   上記Ｎ個の各ノードｋの信頼度ｒ（ｋ）を、「｛過去Ｔ期間においてノードｋが通信可能な状態であった回数｝÷Ｔ」により更新する手順
   を実行することを特徴とするオーバーレイネットワーク通信経路制御方法。
5. コンピュータに、請求項１から請求項４のいずれかに記載のオーバーレイネットワーク通信経路制御方法における各手順を実行させるためのプログラム。
6. プログラムされたコンピュータ処理によって、ＩＰネットワークに接続するＮ個のオーバーレイノードによって構成される論理網であるオーバーレイネットワークにおける、発信元ノードから着信先ノードへの通信経路の決定を制御するシステムであって、
   プログラムされたコンピュータ処理手順を実行する手段として、
   請求項１から請求項４のいずれかに記載のオーバーレイネットワーク通信経路制御方法における各手順を実行する手段を設けたことを特徴とするオーバーレイネットワーク通信経路決定システム。

Images