JP2009141946A - エントロピーに基づく（自己組織化）安定度管理 - Google Patents

Abstract

【課題】ネットワークの制御・管理のためにネットワーク内で、ノードをクラスタに自己組織させる。
【解決手段】いくつかの実施形態において、新種のネットワーク制御（ポリシー）および（状態）管理サービスを構築することにより、フレームワーク内で用いられるべきエントロピーに基づく安定度値を計算することを含む。フレームワークは、分散（メッシュ）ネットワークをサポートする多数の自己管理サービスを構築するよう用いられる。
【選択図】図１

Description

本発明の一実施形態は、概して複雑なコンピュータネットワークに関し、より詳しくは、ネットワークの制御・管理のためにネットワーク内で、ノードをクラスタに自己組織させることに関する。

複雑なネットワークを管理するためのさまざまなメカニズムが存在する。ネットワークの管理・制御のために広く用いられている２つの技術は、集中管理メカニズム、および、分散管理メカニズムである。複雑なネットワークの制御・管理の問題に注目すると、制御は、状態の評価または状態の特徴付けに付随するポリシーまたは設定管理としばしば関連付けられる。今日、多くのネットワーク管理ツールが存在し、さまざまな複雑なネットワークで用いられている。多くのツールは、一般的に集中化した権限および管理者が存在する中央集権化システムの概念に基づく。クライアントは、集中化した権限による状態またはポリシー決定に従う中央システムに入ってくる。

例えば、ピア・ツー・ピアモデルなどには分散ネットワークも用いられるが、ほとんどのネットワーク管理システムは、集中化モデルに基づいている。ネットワークの管理・制御には２つの面がある。自動的なシステムとは、多くの場合、システムの一方の側で、システムの状態が決定され、他方の側で、何らかのポリシーまたは設定を通じてシステムが制御される制御システムモデルのことを指す。システムが自動である場合、ある意味ではループは閉じている。したがって、状態側と制御側とが存在する。一般的には、ネットワーク管理システムは、集中型または分散型である。

今日実装されるような集中および分散モデルのネットワークは、いずれも問題を抱えている。例えば、集中モデルは、非常に大規模な複雑なシステムに合わせて規模を拡大することができない。例えば、分散ネットワークでは、ピア・ツー・ピアおよびメッシュネットワーク、ノード、または、クライアントシステムは、インフラサーバまたはインフラルータとは別個に動作しうる。制御・管理に関して、かなり複雑な環境が生じる。

大規模なシステムの管理における他の問題は、安定度、性能効率、堅固性、および、システムの他の動作上の測定尺度を定義する基準を特定することに関する。システムの動作特性が収集されて分析されることにより、設計者または管理者は、最適な性能および効率のためにシステムを再編成することができる。

本発明の特徴および利点は、以下の本発明の詳細な説明から明らかになるであろう。

本発明の一実施形態における、複数レベルの論理階層で形成されかつ集合したクラスタを示すブロック図である。

本発明の一実施形態における、階層ネットワークの代用表現を示すブロック図である。

本発明の一実施形態における、典型的なノードアーキテクチャのブロック図である。

本発明の一実施形態における、仮想化技術（ＶＴ）アーキテクチャを有する典型的なノードのブロック図である。

本発明の一実施形態における、プラットフォームリソース層（ＰＲＬ）、または、組み込みパーティションアーキテクチャを有する典型的なノードのブロック図である。

仮想マシンモニタ内に昇格エージェントが存在する典型的な仮想化プラットフォームのブロック図である。

本発明の実施形態における、クラスタのサブネットワークの位相構造が外部の影響を受けないクラスタ階層の図である。

本発明の実施形態における、ＯｖｅｒＭｅｓｈノードが環境に出入りするクラスタ階層を示す。

本発明の実施形態における、ノードでの相対的依存のサンプルを示す。

本発明の実施形態における、ノードの信頼度の関係を示す。

メッシュネットワークでは、ローカル（ＯｖｅｒＭｅｓｈ）ノード、または、ネットワーク規模レベルで際限なく起きる変化によって状態は変動しうる。トポロジー、トラフィック制御またはネットワークノードがより集中化した構成または静的機能構造を有する従来の階層ネットワークとは異なり、メッシュネットワークにおけるこれら同じ概念の表現は、はるかにダイナミックでルーズに構築されかつ分散されるので、ネットワーク管理・制御の環境は混乱してしまう。本発明の複数の実施形態は、「ＶＩＲＴＵＡＬ ＣＬＵＳＴＥＲＩＮＧ ＦＯＲ ＳＣＡＬＡＢＬＥ ＮＥＴＷＯＲＫ ＣＯＮＴＲＯＬ ＡＮＤ ＭＡＮＡＧＥＭＥＮＴ」と題された、ジョン・ヴィセンテによって本出願と同時に出願された関連出願シリアルナンバー１１／---，---（代理人明細書Ｐ２５６６６）に開示されるような自己組織化ネットワークを目的とする。

自己組織化のアプローチでは、人に頼らずに上記問題に対処し、組織化されたクラスタリングフレームワークによって複雑さに対処し、さらに、学習および分散知識を強化した統計学的計算方法によって不確実性を管理しなければならない。

不確実性の１つの重要な側面は、ネットワークの安定度の概念である。したがって、メッシュネットワークシステムにおける安定度または不安定度のレベルを認識しかつ把握できるようにすることが重要である。ゆえに、自己組織ネットワークの一側面は、安定度を評価すべく、ネットワークの可用性または信頼性を継続的に管理するクラスタに基づく能力の開発である。本願明細書中に開示される本発明の実施形態は、他の対象領域におけるいくつかの作業で用いられるエントロピーの公式化の適用に基づく。本発明の実施形態では、エントロピーの公式化は、メッシュネットワーク環境におけるそれぞれのクラスタにより示される不確実性または多様性のレベルを特徴付けるために用いられる。より詳しくは、自己組織化プロセスがクラスタ階層、または、より広いネットワークを進行していくにつれて各クラスタが集合する間に、それと同時にエントロピー評価が実行される。したがって、安定度の水準をクリアしているネットワークの領域は高いエントロピーを有することであろうから、より信頼性の高いサービスの配信またはネットワーク制御を実現できる。

本発明の一実施形態は、複雑なシステムにおけるエントロピーに基づく自己組織化安定度管理の適用に関するシステムおよび方法である。計算される安定度の測定尺度は、例えば、制御・管理のための仮想クラスタなどの自己組織ネットワークにおける自己昇格および降格動作に用いられ、また、他のさまざまな用途にも用いられうる。

明細書中の本発明の「１つの実施形態」または「一実施形態」への言及は、特定の実施形態に関連して記載される特定の特長、構造、または、特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、明細書を通じて随所に見られる「一実施形態における」という言い回しは、必ずしも同じ実施形態を指しているわけではない。

本発明の完全なる理解をもたらすべく、説明の目的で特定の構成および詳細が記載される。しかしながら、本発明における実施形態は、本願明細書中に示される特定の詳細がなくても実施できることは当業者にとって明らかであろう。さらに、本発明をあいまいにすることを避けるべく、よく知られた特徴は省略するかまたは簡略化する場合がある。本説明を通じてさまざまな例が挙げられるが、これらは本発明の特定の実施形態の説明に過ぎない。本発明の範囲は、与えられた例に限定されない。

本発明の実施形態は、メッシュネットワーク、または、ピア・ツー・ピアネットワークなどの分散ネットワークに適用されうる。これらのタイプのネットワークは複雑なので、制御・管理のための新たなアプローチが要求される。本発明の実施形態は、集中および分散モデルの両方の測定尺度を利用することにより、既存の大規模な分散ネットワークを管理する上でのいくつかの問題を解消する。自己組織ネットワークについて以下に説明することにより、本発明の実施形態の状況への理解が深まるであろう。エントロピーに基づく安定度管理の実施形態は、他の用途でも同様に用いられうることに留意されたい。

クラスタの概念は、ピア・ツー・ピア、センサ、および、無線メッシュネットワークにおいて以前から用いられてきた。センサネットワークは、例えば、ボディセンサ、環境センサ、設備用センサなどの小型デバイスを用いることにより、情報を収集し、分析のための集中化された場所にその情報を提供する。無線メッシュネットワークは、一般的に、通信用インフラを使用しない。無線メッシュネットワークでは、さまざまなクライアントデバイスが互いに同等な立場でそれぞれと通信している。したがって、１つのデバイスがネットワークから離れても、ネットワーク内の他のデバイスは互いに通信しうる。ピア・ツー・ピアネットワークは、通信の対等性ではなく、コンピュータの対等性に基づく。しかしながら、本発明の実施形態は、集中状態管理および分散状態管理と共に集中制御および分散制御の両方を用いることにより、集中フレームワークと分散フレームワークとの両側面を融合させるこれらのモデルを改良する。複数の実施形態では、自己昇格および自動昇格と、クラスタ階層の再編成とが利用される。

本発明の実施形態は、従来のネットワーク制御・管理への仮想クラスタ化のアプローチと併せて安定度管理を用いる。これは、集中管理・制御と分散管理・制御とのハイブリッドモデルである。クラスタは、図１に示されるような論理階層の複数の段階で形成されかつ集合しうる。図示するように、物理的なネットワークノード１１０は、階層の一番下にあり、このクラスタの概略図には（物理レベルでは）は入らない。物理ネットワーク層１１０におけるノードは、分散したノードとして見える。この層１１０では、ノードは、集中化したシステムまたは制御下にはなく、対等の関係にある。

右の矢印１０１は、状態またはネットワーク管理状態を表す。ネットワーク内で動作が生じ、ノードの階層が上がり、ノードのクラスタとして集まる。左の矢１０３は、ポリシーを表す。例えば、システムが効率的に稼動しない場合、ポリシーは、より上のレベルのクラスタヘッドからノードを強制的に降下させることにより、システムをより効率的に動作させる。自動システムは、例えば状態および制御といった図示されたような表現をしばしば用いる。実際には、検知側１０１および駆動側１０３が存在する。

ネットワークプロバイダは、階層システムを構築するが、これらのシステムの構築する階層は、物理的な階層である。したがって、一旦システムが構築されて静的に定められると、人間が、例えばノードあるいはデバイスを追加するなどしてネットワークに物理的な変更を加えるまでは、システムは現状を維持する。通信システムおよびコンピュータシステムは、多くの場合、物理的階層フレームワークに構築されて、物理的に配向される。分散システムでは、しばしばフラックスが存在するが、制御あるいは権威は存在しない。さらに、今日用いられるクラスタは、ネットワーク階層の制御・管理よりむしろ、データの輸送を目的とされているように見受けられる。

システム内の構造は、物理的モデルよりは仮想モデル、特に、仮想クラスタを用いて形成されうる。仮想クラスタは、さまざまな方法で実現する。本発明の複数の実施形態は、オーバーレイまたは分散仮想マシン（ＤＶＭ）を用いて仮想クラスタを実装しうる。クラスタ化は、分散管理組織戦略のメリットと、完全なる集中組織戦略のメリットとの間でバランスを取るために用いられうる。クラスタの階層における状態管理・制御ポリシーを編成することにより、クラスタの１５０の階層ツリーのルートに向かって進行する過程でピア・ツー・ピア力学、および、より集中化した力学のメリットを得ることができる。

図１を再び参照すると、ネットワークの典型的な階層が５つのクラスタレベルで示されている。５つのクラスタレベルは、クラスタレベル０（ルートレベル）１５０、クラスタレベル１（１４０ａ−ｂ）、クラスタレベル２（１３０ａ−ｃ）、クラスタレベル３（１２０ａ−ｃ）、および、物理ネットワーク層、クラスタレベルｎ＝４ １１０である。各クラスタレベルは、クラスタヘッドを有する。クラスタ内の各ノードは、昇格した場合、下のクラスタにも論理的に属している。ノードが上の階層のクラスタに昇格している場合であっても、クラスタ内の職務的責任は、その下のものである。例えば、クラスタ１４０ａは、１つのリーダ（クラスタヘッド１４１）、および、例えば１３１および１３３などの下のクラスタからのリーダを含むだろう。クラスタヘッド１４１は、その下の階層にあるクラスタ１３０ａ、および、他のそれより低いレベルのクラスタ（図示せず）のクラスタヘッドでもある。この例では、クラスタ１４０ａは、１３０ａ、１３０ｂ、および、１３０ｃ（それぞれ１４１、１３１、および、１３３）からのリーダを含む。ルートクラスタのリーダに昇格したノードは、ネットワーク内で動作する上で最も回復力のあるノードであろう。各クラスタは、分散システム１１０においてノードのサブセットを含むので、クラスタはより簡単に制御されかつ最適化され、混乱を防ぐことができる。これらの概念は、以下でより完全に説明される。

クラスタノードに関連する独立したプロパティ（発生）が存在することに注目されたい。その場合、各クラスタレベルおよびクラスタ（楕円）は、自律的であり、直接のピア、親、および、子クラスタは動作を認識できるが、多数のレベルに昇格したノードでない限りは、多階層のコンテキストを有しない。例えば、クラスタヘッド１４１は、クラスタ１４０ａおよび１３０ａにおけるノードと通信しうるが、クラスタ１４０ｂの直接的な知識および制御は持たない。また、クラスタヘッド１４１は、ルートクラスタ１５０へ昇格しない限り、ルートクラスタ１５０内を見ることができない。ノード１４１は、クラスタ１３０ａおよび１４０ａ両方のクラスタヘッドであると見ることもできる。ノード１３１および１３３は、より高いレベルにおいて、クラスタ１４０ｂにおけるピアノードによってのみクラスタ１３０ｂおよび１３０ｃそれぞれのクラスタヘッドであって、ノード１４１に従属する。

クラスタは、昇格したクラスタヘッドにより代理され、なお、クラスタヘッドは、クラスタの代表として働く。クラスタヘッドは、特定のクラスタを導き、深さ（ツリー）、幅（レベル）および、それらが導いている特定のクラスタに加入している。このことにより、クラスタ外の通信の制御・管理に関与する必要があるのはクラスタヘッドだけになるので、ノード通信における複雑さのレベルは低下する。クラスタヘッドは、あたかも単一のノードであるかのようにクラスタをそのクラスタを表す。

ピア、親（グローバル）、および、子（ローカル）クラスタからのポリシーおよび状態の影響を受けるにも関わらず、状態管理・制御ポリシーをこのように分けることにより、階層の各レベルで自己組織化の特性が導入され、そのような特性は、それぞれのクラスタに対して強化されうる。多数の論理レベルまたはクラスタ化のオーバーレイが存在するので、高位のクラスタおよびクラスタヘッドは、物理的なノードでなく、下位のクラスタヘッドにより形成されるだろう。ルートレベル、および、すべての下位のレベルにおけるクラスタヘッドは、特定の物理的ノードとは関係ないことに留意されたい。動作効率が検知されることにより、システム内のノードの昇格と降格、および、その変動が誘発される。階層内ではより回復力のあるノードが昇格し、回復力の弱いノードは降格する。

収集された状態に基づき変化を起こすために必要な情報は、１つの中央サーバの制御下にある単一のデータベース内に存在するよりむしろクラスタにおけるノード間に分散される。すべてのノードが情報のすべてを有するわけではない。ノードは、関係情報を受信する。ノードｎがクラスタＣに所属する場合、ノードｎは、クラスタＣに関する情報を有するようになる。

クラスタマネージャ（ＣＭ）は、分散オーバーレイ、または、分散仮想マシン（ＤＶＭ）であり、クラスタ階層の奥行きおよび幅を管理する役目を果たす。ＣＭは、ノードのサブセットに分散されうるが、所属する資格はすべてのノードに与えられる。一般的には、信用および真実性は予想されるが、ＣＭの場合、動作における決定は、全体の一致によってではなく、グローバル状態の同期によって１つのエンティティとして扱われる。クラスタアドレス指定の特定の機能、クラスタ化動作、および、クラスタヘッド選択は、ＣＭを介して管理される。ＣＭは、ネットワークノードの物理ドメインをサポートする論理的クラスタ化階層の全体のライフサイクルを円滑にする軽いサービス機能である。このライフサイクルは、必要に応じて、クラスタアドレス指定の促進、クラスタ内のノードの移動、または、クラスタの生成および破壊によってネットワークノードの編成または再編成を調整することを含む。しかしながら、一般的なインターネットサービス（例えばＤＮＳ）と同様に、ＣＭは、クラスタ動作および管理の階層編成を主に調整する制御管理機能を提供する。

クラスタヘッドの選択：動作における優位性

クラスタヘッドの選択は、動作における優位性または階級に基づいてよい。軍隊または企業における階級と同様に、階級の高いクラスタヘッドノードの基準は、高度にネットワーク化され、信頼度が高く、安定したノードの能力と、優れた執行者とにより決定される。換言すると、より高い（ａ）到達可能性、（ｂ）安定度、および、（ｃ）性能効率を示すノードがクラスタヘッドに昇格する。この自己組織化された配置は、従来の階層的な電気通信網におけるネットワークノードでの人間の組織と変わりなく、ここでのネットワークのコアにおけるノードは、高い可用性（例えば９９．９９９％の信頼度を保証）を示し、高い到達可能性および極めて低いレーテンシを実証しなければならない。したがって、ｉ）到達可能性の状態、ii）安定度の状態、および、iii）性能効率の状態は、動作における階級および優位性を決定するための定量的順位付け基準となるだろう。

本発明の実施形態は、ノードおよびシステムにおける安定度のレベルを評価するエントロピーに基づく自己組織化安定度管理エンジンを利用する。このエントロピーに基づく安定度管理を用いることにより、その後昇格および降格の決定に用いられうる有益なノード安定度の測定値を提供する。そのような安定度測定値は、以下にさらに詳しく説明する。

一実施形態では、ネットワークは、まず初めに、最も高い階級となる最高アドレスなどの他の何らかの人工的な基準を用いて仮想クラスタにより形成されうる。昇格および降格を決定する到達可能性、安定度、および、性能効率を自然に使い進めていくことにより、最終的には、少なくともこれらの基準に対して最適化されたネットワークになる。他の基準が用いられてもよく、または、異なるネットワークに対し異なって重み付けされてもよい。

いくつかの実施形態では、システムは、ノードの真実性に依存する。例えば、ノードが自分は優れていると宣言した場合、他のノードは同意するだろう。他の実施形態では、システムは、クラスタにおける他のノードのパフォーマンスを監視しているノードに依存する。この場合、１つのノードが他のノードによってランク付けされうる。ノードは他のノードの到達可能性をランク付けすることができる。

クラスタ階層を１つ昇格すると、時間および空間状態の集合が起き、より高いレベルのクラスタヘッドの選択を変更し、動作における耐用寿命、および、より抽象的な状態管理およびポリシー制御を用いてノードを区別する。 企業または軍隊に例えると、経験豊かな、または、「大物である」人材は、昇格してリーダシップのより高い階級で働き、組織内の影響力を変化させることが多い。

さらに、１０００のノードが各々１つのノードを有する１０００のレベルのクラスタに自己昇格することに対し何の禁止も規則もない。しかしながら、本発明の実施形態では、そんなことは起きないはずである。安定したシステムは、多くのレベルを有し、非対称でありうる。ネットワークで解消されるように設定される問題に応じて、さまざまな階層または異なるレベルが発生する可能性のあることが考えられる。例えば、故障管理を実行するシステムでは、レベルが低いほど効率がいい場合もある。異なる管理・制御システムには異なる戦略が用いられうる。アップタイムでは９９．９９９％の信頼度を保証することを要求する大きいデータセンターでは、昇格のための安安定度の基準でより重み付けされることが望ましい。ＤＮＳサーバシステムでは、到達可能性は、おそらく、昇格のためにより重み付けされるだろう。変数の重み付けにかかわらず、クラスタ化は自然に起きることも考えられる。このタイプのクラスタ化が自然であることは統計体系で示されている。

クラスタ識別：

一実施形態では、クラスタ階層全体で単一のクラスタアドレス指定スキームが存在する。最低レベルの階層（図１の１１０）では、物理ネットワークは、クラスタレベルｎ、クラスタＣ（ｎ、０）とされる。ただし、０＜＝ｎ＜ｙであり、ｙは、現れる階層のレベル数である。ここでの説明のために、ツリーの最低レベルは、クラスタ化管理動作に関与するが、完全性を期すべく、このネットワークのアドレス指定は維持され、例えば、物理ネットワークサービスを広める目的で用いられうる。ネットワーク化されたノードが仮想的に分割されてクラスタレベルｎに集まった場合、次のレベル（上の）は、クラスタレベルｎ−１になり、レベルｎ−１でのクラスタ数に応じて、ｎ−１レベルのクラスタは、ｍ（０＜＝ｍ＜ｙ、（ｙはこの階層レベルでのクラスタ数に等しい）であるクラスタドメインを割り当てられる。図１に示された例では、このレベルに３つのクラスタが示されているので、ｎ＝４であり、クラスタレベル２（１３０ａ−ｃ）では、ｍ＝３である。したがって、階層のいかなるクラスタもＣ（ｎ、ｍ）とされる。これに沿って進めていくと、最終的な最高またはルートクラスタには、Ｃ（０、０）が割り当てられる。クラスタレベルのパーティショニング（およびアドレス指定）の継続的な分離は、必ずしも対照的なツリー階層に従わなくてもまたは反映しなくてもよい。すなわち、各クラスタレベルは、環境のシステム力学に従い、そのレベルの下のクラスタ数より少ないクラスタ数に収束しうる。さらに、特定のクラスタに割り当てられたネットワークノード（最低レベルｎ）またはクラスタヘッド（レベル＜ｎ）は、Ｃ（ｎ、ｍ）を用いてこの特定のクラスタ内のノード（またはクラスタヘッド）、または、特に、Ｃ（ｎ、ｍ）を管理するために割り当てられたクラスタヘッドと通信する。

親クラスタに関連するクラスタノードまたはクラスタヘッドは、ランクを下げてクラスタ動作における通信に応答するためのクラスタアドレスを用いることができるが、グローバルクラスタヘッドだけは、動作における通信を提供するか、または、制御もしくは管理をクラスタ化するクラスタアドレスを利用しうる。要するに、グローバルクラスタヘッドだけがクラスタ間およびクラスタ内通信に参加でき、かつ、クラスタ、ピア、または、子クラスタのグローバルな動作に直接影響を与えうる。（このグローバルクラスタに関連する）他のノードまたはクラスタヘッドは、グローバルクラスタのメンバとしてそれらのクラスタ内（ローカル）に所属することによってのみ間接的に影響を与えうる。

アドレッシング法は、クラスタヘッド全体のマルチキャスティングをサポートする。この場合、Ｃ（ｎ、−）はレベルｎのすべてのピアクラスタヘッドと通信する。さらに、クラスタヘッドは、クラスタ内における、階層のリネージュを知っているノードだけなので、それらのリネージュおよびピアクラスタヘッドを介し通信する。したがって、クラスタヘッドは、それらのレベルおよびリネージュ外のより広いクラスタのことはわからない。または、ルートクラスタＣ（０、０）に至るまでの、そして、ルートクラスタＣ（０、０）を割り当てられた新たに発生した階層内で動作上支配し続けるクラスタヘッドは、通信能力を有し、かつ、階層内のすべてのクラスタの状態またはポリシーにアクセスしうる。したがって、ノードにとって、動作上の優位性を得ようと努めるだけでなく、ピアおよび従属者と共にそれらの真実性を実証することにより生涯を通じて自身の地位を高めるための明らかな利益および誘因が存在する。

クラスタ間およびクラスタ内通信（すなわち、クラスタに特有の制御・管理メッセージの送信）は、上述のごとくクラスタヘッドに割り当てられた特定のアドレスに従い発生する。本開示に目を通した後の当業者には、クラスタ仮想ネットワーク化を実現するオーバーレイ構造は、多くの方式に基づきうることが理解できよう。一般的には、メッセージ送信は、ピア・ツー・ピア型オーバーレイのように見える。しかしながら、論理的には、動作上のメッセージ送信は、状態およびポリシーに基づく通信をサポートし、クラスタ構造に基づく階層またはピア形式でクラスタ内、クラスタ間に生じるだろう。制御（ポリシー）および管理（管理）メッセージは、非同期であり、次節で説明するような協同、集合、および、ピアリングアルゴリムをサポートするだろう。

クラスタ動作

上述のごとく、クラスタの目的は、ピア・ツー・ピアーピアおよび階層的組織制御のバランスによってネットワーク制御・管理を容易にすることである。状態管理機能は、例えば、安定度、最適化、および、接続性の状態管理を含みうる。クラスタヘッドノードは、クラスタ状態を受信してそれぞれのクラスタまたはクラスタノード（例えばレベルｎ以上のクラスタヘッド）内で集合および相関を実行する。クラスタヘッドは、統計的な計算技術によってクラスタ状態分析を実行し、ピアクラスタとの状態レベル同化のためのクラスタ知識を保持する。クラスタ状態は、ローカルクラスタの動作を制御するか、または、ローカルクラスタの動作に影響を及ぼすポリシーに基づいた強化がなされることにより、ローカルおよびグローバルなポリシーの統合を通じて上のレベルのグローバルクラスタヘッドへと伝わるか、または、作用する。

クラスタ化した階層の各レベルでは、時間的かつ空間的な（状態、ポリシー）集合が起きることによって、制御・管理動作の新規性がクラスタレベル間で個別に表される。空間的な集合は、グローバルクラスタに所属する多数のローカルクラスタを表すかまたは当該多数のローカルクラスタからなり、時間的な集合は、ローカルクラスタが続く繰り返し期間からなる。したがって、クラスタ集合が起きると、クラスタ内のクラスタ階層が高くなるほど状態の変化が遅くなる効果が見られ、階層組織における人間の知識または意思決定の経験を通じて普通に見られる動作によく似ている。

情報技術（ＩＴ）ネットワークの制御・管理コミュニティにおける長年にわたる設計の選択は、ネットワーク管理またはポリシーに基づく管理ツールに設計されうる集中または分散制御または管理のレベルである。どちらの設計上の選択にも一長一短があるが、本発明の実施形態は、ピア・ツー・ピアおよびセンサネットワーク化システムに予め適用される「仮想クラスタ化方法論に基づく全く新しいアプローチが要求される。したがって、状態管理およびポリシーに基づく管理の両方に対し、分散組織戦略のメリットと、純粋な集中組織戦略のメリットとの間のバランスを取るために、設計上の選択としてクラスタ化が用いられる（図１を参照のこと）。階層が低い部分での分散力学、および、より集中化した力学のクラスタの階層全体での状態管理・制御ポリシーを編成する一方で、ツリーのルートに向かって進むことにより、ハイブリッドネットワークのメリットを得ることができる。さらに、この階層および分離を通じて、親から子へのクラスタ分離特性が階層の各レベルで生成され、ピア、親、または、子クラスタからのポリシーおよび状態の影響を受けながらも、それぞれのクラスタに対し自己組織化動作が強化される。さらに、分散管理・制御の諸経費は、グローバルな分散制御・管理の恩恵を損なうことなくローカライズされる。クラスタヘッドは、それぞれのクラスタ内の中央管理を容易にする中心機能としての役割を果たすだろう。

図２を参照すると、階層ネットワークの他の表現が示されている。この典型的なシステムは、０乃至３の４つのクラスタレベルによって示され、レベル３のクラスタは、メッシュネットワークである。クラスタレベル０におけるノードのクラスタは、２つのドットがはさまっている破線２０１で囲まれている。クラスタレベル１は、点線２０３で表される。クラスタレベル２は、グレーの点線２０５で表され、メッシュレベル３は、稲妻２０７で表されている。クラスタヘッド、または、リーダが示されている。クラスタ０のリーダ２１０は、クラスタ１（２２０を伴う）および、クラスタ２（２３０ａ、２２０、および、２３０ｂを伴う）のリーダでもある。

別の実施形態では、ネットワーク設計者は、自己昇格を成し遂げるための到達可能性、安定度、および、性能効率、または、それらのサブセットなどに加えて、より多くの基準を用いるよう選択しうる。要因の他の組合せは、いくつかのネットワークにとって最適であってもよいし、コストまたはメンテナンスの理由から好まれるかもしれない。

図３は、典型的なノードアーキテクチャ３００のブロック図である。プロセッサ３１０は、フロントサイドバス３０１を介し、ノースブリッジとしても知られるメモリコントローラハブ（ＭＣＨ）３１４と通信する。ＭＣＨ３１４は、メモリバス３０３を介しシステムメモリ３１２と通信する。ＭＣＨ３１４は、グラフィックバス３０５を介しＡＧＰ（ａｄｖａｎｃｅｄ ｇｒａｐｈｉｃｓ ｐｏｒｔ）３１６とも通信する。ＭＣＨ３１４は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス３０７を介し、サウスブリッジとしても知られるＩ／Ｏコントローラハブ（ＩＣＨ）３２０と通信する。ＩＣＨ３２０は、ローピンカウント（ＬＰＣ）バス３５６を介し、ＰＣＩハードドライブなどの１つ以上の構成要素（図示せず）、ＩＤＥ３２２、ＵＳＢ３２４、ＬＡＮ３２６、および、オーディオ３２８のようなレガシー構成要素、および、スーパーＩ／Ｏ（ＳＩＯ）コントローラ３５６に結合されうる。

プロセッサ３１０は、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラなどのソフトウェアを実行することができるいかなるタイプのプロセッサであってもよい。図３は、１つのプロセッサ３１０しか示していないが、プラットフォームハードウェア３００には１つ以上のプロセッサが存在してよく、１つ以上のプロセッサは、多数のスレッド、または、多数のコアなどを含みうる。

メモリ３１２は、ハードディスク、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、または、プロセッサ３１０により読み取られることができる他のいかなるタイプの媒体であってよい。メモリ３１２は、本発明の方法実施形態を実行する命令を格納しうる。

フラッシュメモリ３５２などの不揮発性メモリは、ローピンカウント（ＬＰＣ）バス３０９を介してＩＯコントローラに結合されうる。ＢＩＯＳファームウェア３５４は、通常はフラッシュメモリ３５２内にあり、ブートアップによってフラッシュまたはファームウェアからの命令を実行する。

いくつかの実施形態では、プラットフォーム３００は、サーバ管理タスクを有効にするサーバである。このプラットフォームの実施形態は、ＬＰＣ３０９を介しＩＣＨ３２０に結合されたベースボードマネジメントコントローラ（ＢＭＣ）３５０を有しうる。他の実施形態では、プラットフォーム３００は、ＩＣＨ３２０に結合されたマイクロプロセッサ、または、ＭＥ（Ｍａｎａｇｅａｂｉｌｉｔｙ Ｅｎｇｉｎｅ）コントローラ３３０を有しうる。このＭＥコントローラ３３０は、インテル（登録商標）アクティブマネジメントテクノロジー（ｉＡＭＴ）アーキテクチャでありうる。いくつかの実施形態では、ＢＭＣ３５０またはｉＡＭＴ３３０は、ネットワークサービスを実行することにより、そのノードはクラスタヘッドに昇格するべきかどうか、そして、どのくらい高い階層まで昇進するのかを識別する助けとなるべく、プラットフォーム３００の（ａ）到達可能性、（ｂ）安定度、（ｃ）性能効率を決定する。階層の各レベルは、より高いレベルに対し個別に動作するが、上のレベルのことは見えないまたはわからないようになっていることに留意されたい。したがって、昇格は、レベルごとに特有である。

図４は、本発明の一実施形態における、仮想化技術（ＶＴ）アーキテクチャを有する典型的なノードのブロック図である。図４は、従来のハイパーバイザ仮想マシンモニタ（ＶＭＭ）アーキテクチャプラットフォーム４００を示すブロック図である。多数のゲスト仮想マシン（ＶＭ）４０１、４０３、４０５、および、４０７は、プラットフォーム４００で同時に動作しうる。ＶＭＮ４１０は、プロセッサ／プラットフォーム仮想化層４１１を介してハードウェア４２０へのゲストＶＭのアクセスを制御する。ＶＭＭ４１０内には多数の仮想デバイスモデル４１３および４１５が存在しうる。ＶＭＭ４１０は、最高特権レベルで動作しうる。ＶＭＭ４１０は、以下にさらに詳しく説明するように、ファイルシステム４１７、メモリ、および、すべてのデバイスへのアクセスを制御する。ＶＭＭ４１０は、通常、プラットフォームにおけるハードウェアデバイスごとにデバイスドライバ４１９を有する。

ＶＭＭ４１０、および、ＶＭ４０１、４０３、４０５、４０７は、プラットフォームハードウェア４２０で実行される。プラットフォームハードウェア４２０は、プロセッサ４２２、メモリ４２４、および、１つ以上のＩ／Ｏデバイス４２６および４２８を含みうる。プラットフォームハードウェア４２０は、パソコン（ＰＣ）、メインフレーム、ハンドヘルドデバイス、ポータブルコンピュータ、セットトップボックス、または、他のいかなるコンピュータシステムでありうる。

プロセッサ４２２は、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラなどのソフトウェアを実行することができるいかなるタイプのプロセッサであってよい。図４は、１つのプロセッサ４２２しか示していないが、プラットフォームハードウェア４２０には１つ以上のプロセッサが存在してよく、１つ以上のプロセッサは、多数のスレッド、または、多数のコアなどを含みうる。

メモリ４２４は、ハードディスク、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、または、プロセッサ４２２により読み取られることができる他のいかなるタイプの媒体であってよい。メモリ４２４は、本発明の方法実施形態を実行する命令を格納しうる。

１つ以上のＩ／Ｏデバイス４２６および４２８は、例えば、ネットワークインターフェースカード、通信ポート、ビデオコントローラ、システムバス（例えばＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）、ＡＧＰ（Ａｄｖａｎｃｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）など）上のディスクコントローラ、チップセットロジックまたはプロセッサに集積されたデバイス（例えば、リアルタイムクロック、プログラマブルタイマ、パフォーマンスカウンタなど）、または、プラットフォームハードウェア４２０における他のいかなるデバイスであってもよい。１つ以上のＩ／Ｏデバイス４２６および４２８は、Ｉ／Ｏ命令、または、メモリマップＩ／Ｏを介してアクセスされるか、あるいは、従来技術で知られている他のいかなる手段によってもアクセスされうる。

本発明の一実施形態では、プラットフォーム４００における仮想マシン（ＶＭ）は、ネットワークサービスを実行することにより、そのノードはクラスタヘッドに昇格するべきかどうか、そして、どのくらい高い階層まで昇進するのかを識別する助けとなるべく、プラットフォームの４００の（ａ）到達可能性、（ｂ）安定度、（ｃ）性能効率を決定する。いくつかの実施形態では、このＶＭは、安全性の高いレベルで動作する仮想機器であってよく、他の実施形態では、単にゲストＶＭで動作するものであってよい。

図５は、本発明の一実施形態における、プラットフォームリソース層（ＰＲＬ）、または、組み込みパーティション、アーキテクチャを有する典型的なノードのブロック図である。プラットフォームリソース層（ＰＲＬ）アーキテクチャ、または、組み込みパーティションアーキテクチャ、および、プラットフォームのさまざまな構成要素は、プロセッサ、メモリ、および、他のリソースのパーティションを可能にするよう改良される。図５を参照すると、本発明の複数の実施形態におけるＰＲＬアーキテクチャの典型的なブロック図が示されている。パーティショニングをよりわかりやすく図示すべく、メインパーティション５１０が利用可能な構成要素は、固体ブロックで描かれている。組み込みまたはシステムパーティション５２０が利用可能な構成要素は、太線の固体ブロックで描かれている。両方のパーティションが利用可能なブロックは、点線と破線を交互に組み合わせたブロックで描かれている。

この典型的な例では、プラットフォームまたはノードは、ソケット０−３（５３１−５３４）における４つのマルチコアプロセッサを有する。この例は、４つのプロセッサソケットしか示していないが、本発明の実施形態は、プロセッサおよびコアのさまざまな構成を用いて実施できることが当業者には明らかであろう。例えば、ソケット０（５３１）は、４つの処理コア５３５ａ−ｄを有しうる。本質的には、この例では、図示された実施形態は、プラットフォーム上に１６の有効なプロセッサを有する（例えば、４つのソケットがそれぞれ４つのコアを有する）。この例では、ソケット０−２（５３１−５３３）は、メインパーティション５１０だけに利用されうる。。ソケット３（５３４）は、メインパーティション５１０および組み込みパーティション５２０の両方に利用されうる。ソケット３（５３４）内では、コア０は、メインパーティション５１０だけに利用され、コア１−３は、組み込みパーティション５２０だけに利用されうる。組み込みパーティション５２０は、上述するように、そして、以下にさらに詳しく説明するように、昇格エージェント、または、クラスタ化マネージャ５２１を有しうる。一実施形態では、組み込みパーティションは、例えば、到達可能性（図示せず）、安定度５２２、および、性能効率（図示せず）を決定するための他のエージェントまたはサービスも含みうる。これらのサービスは、同じ組み込みパーティションの一部であるか、または、１つ以上の別々のパーティションに分割されてもよい。メンバ、または、クラスタヘッドもしくは多数の仮想クラスタであるノードについては、メンバであるノードを有するクラスタごとに動作する昇格エージェント、または、他のサービスなどの多数の例（図示せず）が存在する。

この実施形態では、プラットフォームは、メモリ５０２に結合されたメモリコントローラハブ（ＭＣＨ）５０１（ノースブリッジとしても知られる）を有する。メモリ５０２は、２つのパーティションＭＥＭ１（５０３）およびＭＥＭ２（５０５）を有しうる。メモリパーティションＭＥＭ１（５０３）は、組み込みパーティションだけに利用され、メモリパーティションＭＥＭ２（５０５）は、メインパーティションだけに利用されうる。ＭＣＨを含むチップセットは、ソフトウェア構成を用いるＶＭＭのやり方とは対照的に、ハードウェア構成を用いてメモリを分割する。メモリ５０２は、ハードディスク、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、または、プロセッサにより読み取られることができる他のいかなるタイプの媒体であってよいと理解できよう。メモリ５０２は、本発明の方法実施形態を実行する命令を格納しうる。この例では２つのパーティションしか示していないが、各自のパーティション内で動作する複数のゲストＯＳが存在することが理解できよう。

ＭＣＨ５０１は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスを介し、サウスブリッジとしても知られるＩ／Ｏコントローラハブ（ＩＣＨ）５０７と通信する。ＩＣＨ５０７は、ローピンカウント（ＬＰＣ）バス（図示せず）を介し、ＰＣＩハードドライブなどの１つ以上の構成要素、ＩＤＥ、ＵＳＢ、ＬＡＮ、および、オーディオのようなレガシー構成要素、および、スーパーＩ／Ｏ（ＳＩＯ）に結合されうる。この例では、ＩＣＨ５０７は、ハードディスクドライブ５０９と、ネットワークインターフェースコントローラ（ＮＩＣ）５１１とに結合されているように示されている。

ＭＣＨ５０１は、メモリへのアクセスを制御し、ＩＣＨ５０７は、Ｉ／Ｏアクセスを制御する。組み込みパーティションアーキテクチャでは、チップセットは、ファームウェアにより構成され、ブート時にプラットフォームのさまざまなリソースを分割する。いくつかのケースでは、１つだけ存在するパーティションは、あらゆる点でレガシープラットフォームのように動作する。本例では、メインパーティション５１０、および、組み込みパーティション５２０の２つのパーティションが存在する。指定された各パーティションには、固有のパーティション識別子（ＩＤ）が与えられる。

組み込みパーティションの構成では、デバイスがアラートを送信すると、この情報がブート時にエンコードされるので、チップセットは、アラートを適切なパーティションに正確に転送することができる。ＶＭＭ組み込みシステムでは、ハードウェアはデバイスのアラートをＶＭＭ（仮想デバイス）に送り、ソフトウェアがその情報を正確にさまざまな仮想マシンに転送する。組み込みパーティションは、ハードウェアによる仮想化として機能しうる。

一実施形態では、昇格エージェントは、プラットフォーム上で動作するすべてのゲスト仮想マシン（ＶＭ）およびゲストオペレーティングシステム（ＯＳ）を制御するＶＭＭ内に組み込まれうる。他の実施形態では、昇格エージェントは、個別のＯＳの入出力要求を制御する特権的なパーティション、プロセス、または、ハイパーバイザに組み込まれる。すべての場合において、昇格エージェントは、アクティビティおよびパフォーマンスデータを測定することにより、プラットフォーム５００の（ａ）到達可能性、（ｂ）安定度、および、（ｃ）性能効率を決定する。この決定により、ノード５００は、自己昇格できるか、または、他のノード、おそらくクラスタヘッドのその測定尺度に少なくとも合格でき、それによって、ノード５００がより高いクラスタレベルに昇格するかどうかが決定される。

図６を参照すると、ＶＭＭ内に昇格エージェント６２１が存在する典型的な仮想化プラットフォームが示されている。この典型的な実施形態では、仮想マシン（ＶＭ）６１０は、ゲストＯＳ６１１を有する。さまざまなユーザアプリケーション６１３がゲストＯＳ６１１下で稼動している。ＯＳは、ＶＭＭ６２０内で仮想化されうるデバイスドライバ６１５を有する。プラットフォームハードウェア６３０にアクセスするには、ＶＭＭを使用する必要がある。上述したようなクラスタ環境における階層昇格の場合、ＶＭＭ内の昇格エージェント６２１は、アクティビティおよびパフォーマンスデータを測定することにより、プラットフォーム６００の（ａ）到達可能性、（ｂ）安定度、および、（ｃ）性能効率を測定しうる。この決定により、ノード６００は、自己昇格できるか、または、他のノード、おそらくクラスタヘッドのその測定尺度に少なくとも合格でき、それによって、ノード６００がより高いクラスタレベルに昇格するかどうかが決定される。

同様に、プラットフォームパーティション、または、自分のＯＳ６４１を有するより特権的なパーティション６４０、ユーザアプリケーション６４３、および、デバイスドライバ６４５が示されている。このプラットフォームパーティションは、ＶＭＭ６２０により仮想化されたデバイスも有しうる。

図示された実施形態では、ＶＭＭは昇格エージェントを含んでいるように示されている。他の実施形態では、昇格エージェントは、プラットフォームにおけるＶＭ内で実行されうる。ＶＭＭまたは個別のＶＭＳは、たとえば、到達可能性、安定度、および、性能効率を決定するための他のエージェントまたはサービスを含みうる。これらのサービスは、同じＶＭの一部であるか、または、１つ以上の別々のＶＭに分離されてよい。メンバ、または、クラスタヘッドもしくは多数の仮想クラスタであるノードについては、メンバであるノードを有するクラスタごとに動作する昇格エージェント、または、他のサービスなどの多数の例が存在しうる。

一実施形態では、到達可能性、安定度、および、性能効率サービスは、昇格エージェントの一部であってよく、あるいは、さまざまな管理目的のために用いられる別々のサービスであってもよい。図４を参照すると、例えば、ＶＭＭの一実施形態４００では、ノードは、クラスタレベル０およびクラスタレベル１の両方におけるクラスタの一部でありえる。別の例では、クラスタレベル４５１および４５３ごとに昇格エージェントが存在する。いくつかの実施形態では、これらの昇格エージェントは、異なるＶＭ、または、パーティション４０５および４０７で動作しうる。他の実施形態では、複数の昇格エージェントが同じＶＭ、パーティション、またはＶＭＭで動作しうる。昇格エージェントは、到達可能性４５５、安定度４５７、および、性能効率４５９のデータを提供するために特定のサービスまたはエージェントを使用する必要がありうる。これらのエージェントは、同じパーティション、または、ＶＭで動作しうる。いくつかの実施形態では、サービスは、昇格エージェント、または、それらのサービスを必要とする他の構成要素内に組み込まれうる。

図４に示すように、到達可能性エージェント４５５、安定度エージェント４５７、および、性能効率エージェント４５９は、同じＶＭ４０３内で動作する別々のエージェントとして示されている。本願明細書における記載を検討した後には、開示される発明の範囲内でさまざまな入替えおよび実施形態が実装可能であることが当業者には理解できよう。一実施形態では、仮想化プラットフォームは、仮想機器、または、安全なＶＭ、または、サービスオペレーションシステム（ＳＯＳ）、および、１つ以上の能力オペレーティングシステム（ＣＯＳ）またはユーザ環境を有しうる。これらの実施形態では、エージェントは、同じ仮想機器またはＳＯＳ内ですべて動作する。

上述のようなクラスタ化フレームワークのコンテキスト内では、安定度は、２つの方法によって実現しうる。１つには、１つ以上の測定サイクルにおいてクラスタ全体の静的な位相構成および動作上の均等性を維持することによって、同じクラスタ内の他のノードまたはクラスタヘッドとの動作上の不一致を比較的均等なレベルにすることで、各クラスタは、個別に、安定度のレベルをネットワークのより広い部分まで行き渡らせることができる。あるいは、外部のノード力学は、同じクラスタ内の他のノードまたはクラスタヘッドに関し、安定していないノードを減らすか（出発）またはより安定したノードを増やす（到着）かのいずれかによって不安定度のレベルを下げることができる。したがって、エントロピーの公式化は、熱力学系における孤立した（クラスタ内）システムおよびオープンシステム（クラスタ間）それぞれの均等化および散逸動作をそれぞれ模倣する力学をいずれも考慮することが重要である。図７および８は、これらの影響を示す。

図７を参照すると、クラスタのサブネットワークがその位相構成に外部の影響を受けないクラスタ階層が示されている。この実施形態では、ノード７０３は、クラスタ内のクラスタヘッドであり、ノード７０１ａ−ｇは、従属ノードである。このクラスタは、かなり静的であり、クラスタ内外でのノードの移動はない。図８は、OverMeshノードが交差線で網掛けされたノードにより示された環境（８０１、８０３、８０５、８０７）に入り、斜め平行線で網掛けされたノードにより示される環境（８１１、８１３）に向かうクラスタ階層を示している。どちらの場合も、クラスタの集合体エントロピーは、ノード間の統計的な可用性または信頼性の相対的な尺度に基づき平衡状態のレベルおよび平衡状態にあるノードを反映しうる。

クラスタの安定度またはエントロピーを特徴付けるべく、対象のキーとなる尺度がクラスタノード間の相対的可用性または信頼性となる。それを説明するために以下の説明では一般用語である「信頼度」を用いる。クラスタノード間の相対的な信頼度、または、ノード対ノードのサービスの信頼度を表すためにいくつかの尺度が別々に、または、組み合わせて用いられる。
表１ サービスの信頼度

表１に示すように、サービスの信頼度は、ローカルノードおよびリンクの影響による複数の安定度または環境的制約を有するが、適用およびネットワークサービスにより重要なのは、複数のＯｖｅｒＭｅｓｈノードを横断するということである。自己組織化クラスタの見地からすれば、このような制約がある場合、クラスタ全体の力学または安定度のレベルを特徴付けることが重要である。したがって、測定尺度を組み合わせて用いることにより、ノード間のサービスの信頼度の度合いを特徴づけるか、または、クラスタの安定度またはエントロピーの特徴づけにおいて最も重要な制約（例えばノードの可用性）を選ぶようにできる。

表１は、重要な制約の一例であって、これに限定されない。例えば、安定度の制約は、高いフェーディング条件でありうる。この条件の尺度は損失率であるが、他のものでもよい。過重負担または輻輳の尺度が用いられうるが、他の尺度を用いてもよい。

クラスタエントロピーの公式化においてΔＴのｔ１およびｔ２と、Ｄｍ、ｎ（ΔＴ）との間の期間は、時間ｔ_２におけるノードｎに関するノードｍの平均相対信頼度としてエントロピー期間に定義される。ｍおよびｎは、いずれも同じクラスタＣｉ、ｊのメンバであり、ノードは、エントロピー期間ΔＴの複数のΔτ間隔において相対的な信頼度のサンプルｄ_ｍ、ｎ（Δτ）を交換する。ノード間の相対的な信頼度の差のみが重要なのであって、実際の信頼度の測定尺度および測定単位は、重要でないことに留意されたい。より詳しくは、両方の尺度は、クラスタＣ_ｉ，ｊのエントロピー公式化を最終的に定義することを目的として以下に定められる。

間隔Δｔにおけるノードｎに関するノードｍにおけるサンプルの相対信頼度は、方程式１：
として定義される。

図９にノード変化が示されている。変化デルタτは、変化の間隔を反映し、サービスの信頼度における相対的な変化は、その間隔におけるノードｍおよびノードｎの両方に反映される。

期間ΔＴにおいて平均化されたノードｍとノードｎとの間の絶対相対信頼度は、方程式２：
として定義される。Ｎは、ΔＴにおけるサンプル数に等しく、ｔ_ｉは、各サンプルΔτの端での離散時間である。

図１０にもノード変化が示されている。対象のｎ_ｉ（１００１）の特定のノードがハイライトされてエントロピー評価の期間の単一のノード対ノードだけの信頼度の関係を示している。しかしながら、クラスタＣ_ｉｊに属する他のノードの同じ尺度も交換し、ノードｍｉ（１００３）に関して評価される。Ｃｉｊにおける他のノードの完全な（絶対相対）信頼度は、ノードｍｉのまわりのイベント空間で表現されるはずである。

安定度を特徴付けるべく、イベント空間に適用されるシャノンの統計エントロピーの一般式が用いられうる。特に、方程式３：
であり、ｐｉは、イベント空間Ｅにおけるイベントｅｉの確率である。シャノンの情報理論に関するより詳しい情報は、インターネット上のＵＲＬ、ｅｎ＊ｗｉｋｉｐｅｄｉａ＊ｏｒｇ／ｗｉｋｉ／Ｉｎｆｏｒｍａｔｉｏｎ＿ｔｈｅｏｒｙを含むさまざまなソースから知ることができる。偶然のハイパーリンクを避けるべく、本願明細書ではＵＲＬのピリオドはアスタリスクに変えて表示している。この概念をノードｍの信頼度イベント空間に適用することにより、方程式４：
を設定する。ｘは、クラスタＣ_ｉｊにおけるノードｍのすべてのピアノードで評価される。したがって、方程式５：
となり、Ｃ（Ｃ_ｉｊ）は、クラスタの基数である。

一般的には、Ｈ_ｍ（ｔ、ΔＴ）は、［０、１］の間で正規化されたクラスタＣｉｊにおけるエントロピー測定値ΔＴの特定の期間にノードｍのエントロピーとして計算される。エントロピーのこの表現は、安定度状態評価の期間ΔＴにおける絶対相対信頼度の観点からの、ノードｍに対する安定度の所望の尺度である。より高いエントロピー値は、より高い相対的安定度を示すであろうが、定義されたように、相対信頼度における変化がより高い摂動を示す場合、エントロピーは小さくなる。

最終的に、クラスタ内の単一のノードに対してエントロピーが計算された場合、クラスタＣ_ｉｊにおける他のノードのエントロピー項も同様に評価される。クラスタの総合安定度の測定値を評価すべく、Ｃｉｊに関連したクラスタヘッドにより項ガンマγが定義されて得られる。方程式６：
ＣＨは、Ｃｉｊのクラスタヘッドであり、ｉは、（Ｃｉｊ／ＣＨにおけるすべてのノードである。）（／はバックスラッシュ）

上述の式／方程式は、典型的な実施形態に対応するものであって、限定としてとられるべきでないことに留意されたい。同様のまたは関連するエントロピー式も開示されかつ図示された原理にのっとり他の実施形態に適用されうる。

現在のネットワーク管理システムは、ユーザ管理および人間による制御に負うところが大きい。ダイナミックメッシュネットワークでは、今日、自己組織化システムの商業的入手性はほとんどなく、自己組織化システムは、安定度の状態を管理するためにエントロピーに基づく技術を適用することももちろんない。さらに、新興国の多くでは、情報技術（ＩＴ）のツールおよび活動が不足しているので、人間による制御・管理を求めても無駄である。したがって、自動的なエントロピーに基づく安定度管理エンジンを利用する自己組織化ネットワークを用いることが有益である。

上述のような安定度測定値を提供するサービスは、ルーティング用途をサポートするためにも用いられうる。クラスタ間のこの安定度は、既存のシステムでは不可能な最適化レベルを実現するためにも用いられうる。この安定度サービスは、いかなる数の管理機能をサポートするためにも用いられうる。位相的視野からネットワークを見て、混乱の激しい場所を決定できるようにすれば、ネットワークの混乱した領域（不安定な領域）が生じないように管理することができる。そして、システムは、より安定したノードを介しルート選択されるトラフィックを混乱させることにより、よりバランスをとるか、または、パフォーマンスの目的を達成しうる。

他の実施形態では、サービスまたはオペレーションエージェントは、安定度測定値を用いて、故障管理システム、セキュリティシステム、ネットワーク規模の管理および制御機能、および、複雑なシステムまたはネットワークの他のオペレーションおよび組織的特長をサポートする。本願明細書中に記載された開示を読んだ後の当業者は、安定度サービスまたはエージェント以外のサービスの多くは、安定係数と共に用いられることにより、管理・制御機能を提供することが理解できよう。例えば、上述のネットワーク階層において、到達可能性および性能値を提供するための別々のサービスが存在しうる。
表２ さまざまなネットワークおよび動作の最適化におけるサービスの使用

表２は、ネットワーク管理・制御で用いられる到達可能性、安定度、および、パフォーマンスサービスの使用を示す。安定度、到達可能性、および、性能などの複数の尺度の１つ以上の組合せを用いることにより、分散型ネットワークを最適化しうる。例えば、最も有効なサービス処理は、安定度および性能評価尺度、すなわち、ノードはどれくらい信頼がおけるか（安定度）、また、ノードがどれくらい速く（性能）サービスの要求を処理するかに依存しかつそれによって最適化される。表２の一番目の列は、ネットワークの一般的用途および目的である。次の３つの列は、どの係数が目的に応じてネットワークを最適化するために用いられうるか、または、どの係数が妥当かを示す。最終列は、各用途における安定度の測定値を示す。換言すると、最終列は、「測定」されうる無線メッシュネットワークの特徴に特有であり、上述のように安定度を評価すべく、「エントロピー」フレームワークと共に利用される。例えば、ルーティング用途のいくつかの実施形態では、到達可能性および安定度の測定値のみがネットワークの最適化に用いられ、性能サービスの測定値は用いられない。

本願明細書中に記載される技術は、いかなる特定のハードウェアまたはソフトウェア構成にも限定されず、いかなるコンピュータ、一般電子機器、または、処理環境においても適用可能性を見出しうる。技術は、ハードウェア、ソフトウェア、または、それら２つの組合せに実装されうる。

シミュレーションでは、プログラムコードは、設計されたハードウェアが実行すると予想される方法のモデルを本質的に提供するハードウェア記述言語、または、他の関数的記述言語を用いてハードウェアを表しうる。プログラムコードは、アセンブリもしくは機械言語、または、コンパイルおよび／または翻訳されうるデータでありうる。さらに、ソフトウェアの従来技術では、プログラムコードは、動作を起こすまたは結果を生じるような１つまたは他の形式に共通する。このような表現は、プロセッサに動作を実行させるか、または、結果を生じさせる処理システムによりプログラムコードの実行を開始させる簡便なやり方に過ぎない。

各プログラムは、高水準手続きまたはオブジェクト指向プログラミング言語に実装されることにより、処理システムと通信しうる。しかしながら、プログラムは、必要に応じてアセンブリまたは機械言語に実装されうる。いずれの場合も、言語はコンパイルまたは翻訳されうる。

プログラム命令は、当該命令によりプログラムされる多目的または特殊目的処理システムに本願明細書中に記載される動作を実行させるために用いられうる。あるいは、動作は、動作を実行するハードワイヤードロジックを含む特定のハードウェアコンポーネントにより、または、プログラムされたコンピュータコンポーネントおよびカスタムハードウェアコンポーネントにより実行されうる。本願明細書中に記載される方法は、当該方法を実行する処理システムまたは他の電子デバイスをプログラムするために用いられることができる命令を格納した機械アクセス可能な媒体を含みうるコンピュータプログラム製品として提供されうる。

プログラムコード、または、命令は、例えば、記憶装置などの揮発性および／または不揮発性メモリ、および／または、固体メモリ、ハードドライブ、フロッピーディスク、光記憶装置、テープ、フラッシュメモリ、メモリスティック、デジタルビデオディスク、デジタル多用途ディスク（ＤＶＤ）などに加えて、機械アクセス可能な生物学的状態を保存する記憶装置などのより珍しい媒体を含む、関連する機械可読または機械アクセス可能な媒体に格納されうる。機械可読媒体は、情報を機械で読み取り可能な形式で格納、送信、または、受信するためのあらゆるメカニズムを含み、さらに、媒体は、プログラムコードをエンコードするアンテナ、光ファイバ、通信インターフェースなど、電気、光、アコースティック、または、他の形式の伝播信号または搬送波が通過しうる有形の媒体を含みうる。プログラムコードは、パケット、シリアルデータ、パラレルデータ、伝播信号などの形式で伝送され、圧縮または暗号化されたフォーマットで用いられうる。

移動式または固定のコンピュータ、パーソナル携帯情報機器、セットトップボックス、携帯電話およびポケットベル、（ＤＶＤプレーヤ、パーソナルビデオレコーダ、パーソナルビデオプレーヤ、衛星受信機、ステレオ受信機、ケーブルテレビ受信機を含む）一般電子機器、および、プロセッサ、プロセッサにより読み取られることができる揮発性および／または不揮発性メモリ、少なくとも１つの入力デバイスおよび／または１つ以上の出力デバイスをそれぞれ含む他の電子デバイスなどのプログラム可能な機械で実行されるプログラムに実装されうる。プログラムコードは、入力デバイスを用いて入力されるデータに適用されることにより、所望の実施形態を実行し、かつ、出力情報を生成しうる。出力情報は、１つ以上の出力デバイスに適用されうる。当業者であれば、開示された内容の実施形態は、マルチプロセッサまたはマルチコアプロセッサシステム、ミニコンピュータ、メインフレームコンピュータに加えて、あらゆるデバイスに実質的に組み込まれうる普及しているかまたは小型のコンピュータまたはプロセッサを含むさまざまなコンピュータシステム構成により実施されうることを理解できよう。開示された内容の実施形態は、分散コンピューティング環境で実施されることもでき、その場合、そのタスクまたは一部は、通信ネットワークを介しリンクされる遠隔処理デバイスにより実行されうる。

動作はシーケンシャルプロセスとして説明されうるが、動作のいくつかは、実際には並列に、同時に、および／または、分散環境で、信号またはマルチプロセッサマシンによるアクセスのためにローカルにおよび／またはリモートに格納されたプログラムコードにより実行されてよい。また、いくつかの実施形態では、動作の順序は開示内容の趣旨に逸脱せずに並べ変えられてよい。プログラムコードは、組み込みコントローラにより、または、組み込みコントローラと共に用いられうる。

これまで例示的実施形態と関連して本発明を説明してきたが、この説明は、限定的な意味合いで解釈されることを意図しない。本発明に関係のある当業者であれば、本発明の例示的実施形態および他の実施形態のさまざまな変形例が本発明の趣旨および範囲内にあると考えることは明らかであろう。

Claims (25)

1. エントロピーに基づく安定度管理のためのシステムであって、
   安定度エージェントを実行するネットワークにおけるプロセッサと、
   前記ネットワーク上の少なくとも１つのノードで動作するオペレーションエージェントと、
   を備え、
   前記安定度エージェントは、前記ネットワーク上の複数のノードから安定度情報を収集し、前記複数のノード間の相対信頼度を決定し、前記複数のノードのそれぞれ、および、前記ネットワークの安定度のレベルを計算し、前記安定度のレベルは、エントロピーに基づく統計的方法を用いて計算され、
   前記オペレーションエージェントは、前記安定度エージェントから前記安定度情報を受信し、前記安定度情報に基づき、前記ネットワークの少なくとも１つの側面に対して管理・制御動作を提供する、
   システム。
2. 前記エントロピーに基づく統計学的方法は、統計学的エントロピー方程式のシャノンの法則から導かれる、請求項１に記載のシステム。
3. 前記統計学的エントロピー方程式のシャノンの法則は、前記ネットワーク上のノードのクラスタにおける各ノードに適用され、［０、１］の間で正規化されたクラスタＣｉｊにおけるエントロピー測定の特定の期間ΔＴにおけるノードｍのエントロピーを一部用いて、安定度状態評価の期間における絶対的な相対信頼度の点から、ノードｍに関する安定度の所望の尺度が結果として得られ、前記クラスタの総合安定度γの測定値は、Ｃｉｊに関連するクラスタヘッドにより、
   として定義されかつ得られ、ただし、ＣＨは、前記Ｃｉｊのクラスタヘッドであり、ｉは、（Ｃｉｊ／ＣＨにおけるすべてのノードである）（／はバックスラッシュ）、
   請求項２に記載のシステム。
4. 前記オペレーションエージェントは、仮想クラスタの自己管理ネットワークの管理・制御を提供し、前記安定度情報は、前記ネットワークにおけるノードの到達可能性および性能効率因子と共に用いられることにより、前記ネットワークにおけるノードの昇格および降格を決定することを可能にする、請求項１に記載のシステム。
5. 前記管理・制御動作は、ルーティング制御、セキュリティ管理、および、故障管理の１つ以上を含む、請求項１に記載のシステム。
6. 前記ネットワーク内における複数のコンピュータノードをさらに備え、各ノードは、
   前記ネットワークにおける自主的な自己昇格および降格のためのオペレーションエージェントを含むロジックであって、昇格したノードは、前のクラスタレベルの仮想クラスタに属したまま前記前のクラスタレベルより上のクラスタレベルに上がって前記上のレベルの仮想クラスタの一部となり、降格したノードは、前記前のクラスタレベルより下のクラスタレベルに下がり、それより上のレベルの前記仮想クラスタにはもはや残らないロジックと、
   クラスタｋのクラスタヘッドに昇格したノードにおけるクラスタｋのピアノードに管理・制御サービス機能を提供するロジックと、
   前記昇格したノードの昇格前のクラスタレベルより下のクラスタレベルの他のノードに管理・制御サービス機能を提供するロジックと、を含み、
   前記ネットワークにおける自主的な自己昇格および降格のための前記オペレーションエージェントは、（ａ）到達可能性、（ｂ）安定度、および、（ｃ）性能効率に関するノード動作に基づく情報を用い、前記安定度に関する動作は、前記安定度エージェントにより行われる、
   請求項１に記載のシステム。
7. 前記安定度エージェントは、前記プロセッサにおける組み込みパーティション、仮想マシンモニタ、仮想機器、仮想マシンの１つで実行される、請求項６に記載のシステム。
8. 到達可能性に関する動作情報を提供する到達可能性エージェントは、前記ネットワーク上の前記コンピュータノードの少なくとも１つにおける組み込みパーティション、仮想マシンモニタ、仮想機器、仮想マシンの１つ以上で実行され、性能効率に関する動作情報を提供する性能効率エージェントは、前記ネットワーク上の前記コンピュータノードの少なくとも１つにおける組み込みパーティション、仮想マシンモニタ、仮想機器、仮想マシンの１つ以上で実行され、前記到達可能性エージェント、性能効率エージェント、および、安定度エージェントは、前記ネットワーク上の同じもしくは異なるノード、または、それらの組合せにおいて動作する、請求項７に記載のシステム。
9. 複数のノードを有するネットワークにおけるエントロピーに基づく安定度管理方法であって、
   ネットワーク上の複数のノードからの安定度情報を安定度エージェントにより収集することと、
   前記収集された安定度情報に基づき、前記ネットワーク上の前記複数のノード間の相対信頼度を前記安定度エージェントにより決定することと、
   前記ネットワーク上の前記複数のノードのそれぞれの安定度のレベルを前記安定度エージェントにより計算することと、
   前記安定度エージェントにより、前記安定度のレベルの情報を、管理・制御動作のためのオペレーションエージェントに提供することと、を含み、
   前記安定度のレベルは、エントロピーに基づく統計的方法を用いて計算され、
   前記オペレーションエージェントは、前記ネットワーク上のノードで動作する、
   方法。
10. 前記エントロピーに基づく統計的方法は、統計学的エントロピー方程式のシャノンの法則から導かれる、請求項９に記載の方法。
11. 前記統計学的エントロピー方程式のシャノンの法則は、前記ネットワーク上のノードのクラスタにおける各ノードに適用され、［０、１］の間で正規化されたクラスタＣｉｊにおけるエントロピー測定の特定の期間ΔＴにおけるノードｍのエントロピーを一部用いて、安定度状態評価の期間における絶対的な相対信頼度の点から、ノードｍに関する安定度の所望の尺度が結果として得られ、前記クラスタの総合安定度γの測定値は、Ｃｉｊに関連するクラスタヘッドにより、
    として定義されかつ得られ、ただし、ＣＨは、前記Ｃｉｊのクラスタヘッドであり、ｉは、（Ｃｉｊ／ＣＨにおけるすべてのノードである）（／はバックスラッシュ）、
    請求項１０に記載の方法。
12. 前記オペレーションエージェントにより、仮想クラスタの自己管理ネットワークの管理・制御を提供することをさらに含み、前記安定度情報は、前記ネットワークにおけるノードの到達可能性および性能効率因子と共に用いられることにより、前記ネットワークにおけるノードの昇格および降格を決定することを可能にする、請求項９に記載の方法。
13. 前記管理・制御動作は、ルーティング制御、セキュリティ管理、および、故障管理の１つ以上を含む、請求項９に記載のシステム。
14. 前記ネットワーク上のノードで実行される前記オペレーションエージェントにより、前記ノードを昇格させるか、降格させるか、または、同じレベルに留まらせるかを決定することと、
    前記決定することの結果に基づき、昇格／降格／現状維持動作を実行することと、をさらに含み、
    昇格したノードは、前のクラスタレベルの仮想クラスタに属したまま前記前のクラスタレベルより上のクラスタレベルに上がって前記上のレベルの仮想クラスタの一部となり、降格したノードは、前記前のクラスタレベルより下のクラスタレベルに下がり、それより上のレベルの前記仮想クラスタにはもはや残らない、
    請求項９に記載の方法。
15. クラスタｋのクラスタヘッドに昇格したノードにおける前記クラスタｋのピアノードに管理・制御サービス機能を提供することと、
    前記昇格したノードの昇格前のクラスタレベルより下のクラスタレベルの他のノードに管理・制御サービス機能を提供することと、
    をさらに含み、
    前記オペレーションエージェントは、（ａ）到達可能性、（ｂ）安定度、および、（ｃ）性能効率に関するノード動作に基づく情報を用い、前記安定度に関する動作は、前記安定度情報のレベルを提供することにおいて提供される、
    請求項１４に記載の方法。
16. 前記安定度エージェントは、前記ネットワーク上のノードにおける組み込みパーティション、仮想マシンモニタ、仮想機器、または、仮想マシンの１つで実行される、請求項９に記載の方法。
17. 前記ネットワーク上の前記ノードの少なくとも１つにおける組み込みパーティション、仮想マシンモニタ、仮想機器、または、仮想マシンの１つ以上で実行される到達可能性エージェントにより、到達可能性に関する動作情報を提供することと、
    前記ネットワーク上の前記ノードの少なくとも１つにおける組み込みパーティション、仮想マシンモニタ、仮想機器、または、仮想マシンの１つ以上で実行される性能効率エージェントにより、性能効率に関する動作情報を提供することと、をさらに含み、
    前記到達可能性エージェント、性能効率エージェント、および、安定度エージェントは、前記ネットワーク上の同じもしくは異なるノード、または、それらの組合せにおいて動作する、請求項１６に記載の方法。
18. 複数のノードを有するネットワークにおけるエントロピーに基づく安定度管理のための、命令を有する機械可読記憶媒体であって、前記機械可読記憶媒体に格納された前記命令は、機械において実行されると、前記機械に、
    安定度エージェントにより、ネットワーク上の複数のノードから安定度情報を収集することと、
    前記収集された安定度情報に基づき、前記ネットワーク上の前記複数のノード間の相対信頼度を前記安定度エージェントにより決定することと、
    前記安定度エージェントにより、前記ネットワーク上の前記複数のノードのそれぞれの安定度レベルを計算することと、
    前記安定度エージェントにより、前記安定度レベルの情報を前記ネットワーク上のノードで動作する、管理・制御動作用のオペレーションエージェントに提供することと、
    を実行させ、
    前記安定度レベルは、エントロピーに基づく統計的方法により計算される、
    機械可読記憶媒体。
19. 前記エントロピーに基づく統計学的方法は、統計学的エントロピー方程式のシャノンの法則から導かれる、請求項１８に記載の媒体。
20. 前記統計学的エントロピー方程式のシャノンの法則は、前記ネットワーク上のノードのクラスタにおける各ノードに適用され、［０、１］の間で正規化されたクラスタＣｉｊにおけるエントロピー測定の特定の期間ΔＴにおけるノードｍのエントロピーを一部用いて、安定度状態評価の期間における絶対的な相対信頼度の点から、ノードｍに関する安定度の所望の尺度が結果として得られ、前記クラスタの総合安定度γの測定値は、Ｃｉｊに関連するクラスタヘッドにより、
    として定義されかつ得られ、ただし、ＣＨは、前記Ｃｉｊのクラスタヘッドであり、ｉは、（Ｃｉｊ／ＣＨにおけるすべてのノードである）（／はバックスラッシュ）、
    請求項１９に記載の媒体。
21. 前記オペレーションエージェントに、仮想クラスタの自己管理ネットワークの管理・制御を提供することを実行させる命令をさらに含み、
    前記安定度情報は、前記ネットワークにおけるノードの到達可能性および性能効率因子と共に用いられることにより、前記ネットワークにおけるノードの昇格および降格を決定することを可能にする、請求項１８に記載の媒体。
22. 前記管理・制御動作は、ルーティング制御、セキュリティ管理、および、故障管理の１つ以上を含む、請求項１８に記載の媒体。
23. 前記ネットワーク上のノードで実行される前記オペレーションエージェントに、前記ノードを昇格させるか、降格させるか、または、同じレベルに留めるかどうかを決定することと、
    前記決定することの結果に基づき、昇格／降格／現状維持動作を実行することと、を実行させる命令をさらに含み、
    昇格したノードは、前のクラスタレベルの仮想クラスタに属したまま前記前のクラスタレベルより上のクラスタレベルに上がって前記上のレベルの仮想クラスタの一部となり、降格したノードは、前記前のクラスタレベルより下のクラスタレベルに下がり、それより上のレベルの前記仮想クラスタにはもはや残らない、
    請求項１８に記載の媒体。
24. クラスタｋのクラスタヘッドに昇格したノードにおける前記クラスタｋのピアノードに管理・制御サービス機能を提供することと、
    前記昇格したノードの昇格前のクラスタレベルより下のクラスタレベルの他のノードに管理・制御サービス機能を提供することと、と、
    を実行する命令をさらに含み、
    前記オペレーションエージェントは、（ａ）到達可能性、（ｂ）安定度、および、（ｃ）性能効率に関するノード動作に基づく情報を用い、前記安定度に関する動作は、前記安定度情報のレベルを提供することにおいて提供される、
    請求項２３に記載の媒体。
25. 前記安定度エージェントは、前記ネットワーク上のノードにおける組み込みパーティション、仮想マシンモニタ、仮想機器、または、仮想マシンの１つで実行される、請求項１８に記載の媒体。