JP2017220840A - ネットワーク監視・制御装置、ネットワーク監視・制御方法、及びネットワーク監視・制御プログラム - Google Patents

Abstract

【課題】各機器からの観測情報収集がネットワークにかける負荷を抑制しつつ、ネットワークの制御を可能とする。【解決手段】収集した観測情報に基づいて、経路の決定、及び仮想化されたネットワーク機能の配置を行うネットワーク監視・制御装置において、過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成するモジュールと、前記確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定内容と、当該設定により達成されるネットワーク性能の確率分布とを計算するモジュールと、前記達成されるネットワーク性能の確率分布に基づいて、将来の観測情報の収集対象を決定する観測制御モジュールと、を備え、前記観測制御モジュールは、将来の達成されるネットワーク性能に関する指標を最適化するように前記将来の観測情報の収集対象を決定する。【選択図】図６

Description

本発明は、ネットワーク監視・制御技術に係るものであり、特に、ネットワーク内の各機器で、当該機器を経由した通信需要の統計情報を観測可能で、また、状況に応じて、ネットワーク内の経路や機能配置の制御が可能なネットワークにおいて、各機器からの統計情報収集がネットワークにかける負荷を抑制しつつ、収集した統計情報に基づいてネットワークを制御するネットワーク監視・制御技術に関する。

ネットワーク仮想化技術の研究開発が進められており、中でも、ソフトウェアによりネットワーク内の機器を制御するSDN(Software Defined Network)（非特許文献１参照）、ネットワーク機能をソフトウェアとして実装し汎用サーバ上の仮想マシンとして動作させるNFV(Network Function Virtualization（非特許文献２参照）に関する議論が進められている。これらの仮想化技術を用いることにより、ユーザの需要等の時々刻々変化する環境に合わせて、ネットワーク内の経路とともに、仮想化されたネットワーク機能(vNF)の配置制御をするといった柔軟な制御が可能となる。これらの仮想化技術の進展に伴い、需要が少ない時間帯のネットワーク機能を集約することにより、電力効率の高める制御など、仮想化技術を用いたネットワーク制御手法に関する研究も進められている（非特許文献３参照）。

これらのネットワーク制御を動かすためには、トラヒック需要を正確に把握することが必要とされる。従来トラヒック需要は、各ネットワーク機器で、パケットの送信元・宛先アドレスにより定義されるフローごとにカウンタを準備し、パケットを一定確率でサンプリングすることにより観測を行い、ネットワークを経由して当該観測結果を収集することにより得られていた（特許特許１参照）。あるいは、各機器に投入されたルールに従い、カウントした値を収集することにより得られていた（非特許文献４参照）。

しかしながら、大規模ネットワークに、頻繁にネットワーク制御を行う際に、制御のためのトラヒック情報収集に、これらの既存技術を用いると、これらのカウント値を短い頻度で収集することが求められ、制御のためのトラヒック情報収集がネットワークに大きな負荷をかけてしまう。

Kapoor, Ruchi D., et al. "Sample netflow for network traffic data collection." U.S. Patent No. 7,193,968. 20 Mar. 2007.

Bo Han, et al. "Network function virtualization: Challenges and opportunities for innovations." Communications Magazine, IEEE 53.2 (2015): 90-97. Mijumbi, Rashid, et al. "Network function virtualization: State-of-the-art and research challenges." (2015). Raffaele Bolla, et al. "DROPv2: energy efficiency through network function virtualization." Network, IEEE 28.2 (2014): 26-32. Hu, Zhiming, and Jun Luo. "Cracking Network Monitoring in DCNs with SDN." Proc. IEEE INFOCOM. 2015.

上記のように、近年のネットワーク仮想化技術の進展により、ネットワークを柔軟に制御する基盤となる技術が整いつつある。また、その技術をもとに、ネットワークを頻繁に制御し、需要の変動に追随することにより、電力効率の高めることができることも示されつつある。このような制御を行うためには、制御を行う時刻のトラヒック状況を把握することが必要となる。しかしながら、ネットワークが大規模になると、多数の機器からトラヒック情報を収集することが必要となり、その頻度が高くなると、制御のためのトラヒック情報の収集が、ネットワークへ大きな負荷をかける。

本発明は上記の点に鑑みてなされたものであり、各機器からの観測情報収集がネットワークにかける負荷を抑制しつつ、収集した観測情報に基づいてネットワークの制御を可能とする技術を提供することを目的とする。

本発明の実施の形態によれば、ネットワークを構成するネットワーク機器から当該ネットワーク機器で観測された観測情報を収集し、当該観測情報に基づいて、当該ネットワーク内の経路の決定、及び仮想化されたネットワーク機能の配置を行うネットワーク監視・制御装置であって、
通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成する推定・予測モジュールと、
前記推定・予測モジュールにより生成された、制御時から将来に至る需要の予測値の確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定内容と、当該設定により達成されるネットワーク性能の確率分布とを計算するネットワーク制御モジュールと、
前記ネットワーク制御モジュールの計算結果である達成されるネットワーク性能の確率分布に基づいて、将来の観測情報の収集対象を決定する観測制御モジュールと、を備え、
前記観測制御モジュールは、将来の達成されるネットワーク性能に関する指標を最適化するように前記将来の観測情報の収集対象を決定する
ことを特徴とするネットワーク監視・制御装置が提供される。

本発明の実施の形態により、大規模ネットワークにおいて、例えば、各時刻において観測情報の収集を行う対象を絞ることにより、制御に必要な観測情報の収集がネットワークにかける負荷を抑制しつつ、必要な性能を満たすようにネットワークを制御することが可能となる。その結果、頻繁なネットワーク制御が可能となり、環境変動への追随性を向上させることができる。

本発明の実施の形態に係るシステムの全体構成図である。 従来技術における各時刻での情報収集の概要を示す図である。 本発明の実施の形態における各時刻での情報収集の概要を示す図である。 従来技術において観測情報が収集されるタイミングの例を示す図である。 本発明の実施の形態において観測情報が収集されるタイミングの例を示す図である。 ネットワーク監視・制御装置１００の機能構成図である。 動作概要を示す図である。 ネットワーク監視・制御装置１００のハードウェア構成図である。 リンクとパスを説明するための図である。

以下、図面を参照して本発明の実施形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（実施の形態の概要）
本実施の形態では、後述するネットワーク監視・制御装置１００において、将来の予測される需要の確率分布と、それを入力として制御を行った際に得られるネットワーク性能の確率分布に基づいて、観測対象の選択、それにより予測される需要の確率分布の変化、及び需要の予測を用いたネットワーク制御を行った結果のネットワーク性能の確率分布の関係をモデル化し、ネットワーク性能に関する指標を最適化するように、将来の観測対象を決定する。これにより、観測情報収集にかかる負荷を抑えながら、目標となるネットワーク性能を達成するようなネットワーク制御を実現する。

すなわち、本実施の形態では、各ネットワーク機器から当該機器で観測された観測情報を収集し、当該ネットワーク内の経路の決定や当該ネットワーク内に配置する仮想化されたネットワーク機能の配置を行うネットワーク監視・制御装置において、通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成する推定・予測モジュールと、制御時から将来に至る需要の予測値の確率分布に基づいて、ネットワーク内の経路の決定、及び仮想化されたネットワーク機能の配置の将来にわたる設定変更手順と、その設定により達成されるネットワーク性能の確率分布を計算するネットワーク制御モジュールと、ネットワーク制御モジュールの計算結果である達成されるネットワーク性能の確率分布に基づいて、今後の観測情報の収集対象を決める観測制御モジュールとを配備する。

そして、観測制御モジュールにおいて、観測対象の選択、それによる予測される需要の確率分布の変化、需要の予測を用いたネットワーク制御を行った結果のネットワーク性能の確率分布との関係をモデル化し、ネットワーク性能に関する指標を最適化するように、将来の各時刻における情報収集対象を決定する。

これにより、正確な観測情報を取得しないと制御への影響が大きくなる箇所を優先的に観測情報の収集対象とすることができ、情報収集がネットワークへかける負荷を抑制しつつ、性能目標を達成するようなネットワーク制御を実現することができる。

また、観測情報収集対象を決定するにあたり、各時刻の状況のみを考慮した情報収集対象の決定では、特定の情報収集対象の優先度が低くなり、結果として当該情報収集対象で発生した環境変動を検出できなくなる可能性がある。そこで、本実施の形態では、将来にわたる需要の予測分布を用い、上述の環境変動を検出できなくなる問題を考慮して、将来の各時刻における情報の収集対象を決定する。ただし、将来の需要の予測には誤差が含まれるため、本実施の形態では、次の時刻の情報収集の設定のみをネットワークに投入し、新たな観測情報が収集され、予測分布が修正されたのちに、再度、将来の各時刻における情報の収集対象を決定する。これにより、将来の需要変動を考慮しつつも、予測の修正を行うことにより、予測の誤差にも対応して、情報の収集対象を決めることができる。

以下、本実施の形態におけるシステム構成、及び処理内容を詳細に説明する。

（システム構成、動作概要）
図１に、本実施の形態におけるシステムの構成例を示す。図１に示すように、本実施の形態のシステムは、ネットワーク監視・制御装置１００、及び制御対象のネットワーク（以下、単に"ネットワーク"と呼ぶ場合がある）を有する。

制御対象のネットワークは、複数のノード１０、２０が転送装置３０、５０に接続され、また、転送装置３０〜５０同士が接続された構成を有する。各転送装置は、例えば、ルータやスイッチ等の装置である。各ノードは、例えば汎用サーバ（コンピュータ）であり、当該ノードにおいて、単一、あるいは、複数の仮想化されたネットワーク機能を動作させることができる。

すなわち、本実施の形態に係るシステムでは、ネットワーク機能をソフトウェアとして実装し汎用サーバ上の仮想マシンとして動作させ、ユーザの需要等の時々刻々変化する環境に合わせて、ネットワーク内の経路とともに、仮想化されたネットワーク機能の配置制御をするといった柔軟な制御が可能となっている。

ネットワーク監視・制御装置１００は、上記のような制御を行う装置であり、ネットワークにおける各ノード及び各転送装置と通信可能である。また、ネットワーク監視・制御装置１００は、ネットワークにおけるノードや転送装置で観測された需要の統計情報（これを"観測情報"又は"トラヒック情報"と呼ぶ）を収集し、ノードに対してネットワーク内の経路を設定したり、ノードに対して仮想化されたネットワーク機能の配置の設定を行ったりすることができる。なお、ここでの「経路（パス）」とは、「仮想化されたネットワーク機能」間の物理的経路（どのリンクを経由するか等）であり、後述する経路Rとは異なる。後述する経路Rは、「仮想化されたネットワーク機能」間の物理的経路と、仮想化されたネットワーク機能の配置の両方を含む概念である。

なお、上記の需要の統計情報（観測情報）は、例えば、パケットの送信元・宛先アドレスにより定義されるフローごとにカウンタを準備し、パケットを一定確率でサンプリングすることにより観測されたカウント値である。

上記の経路設定、及び配置設定を行うにあたり、例えば図２に示すように、短い間隔で全転送装置及び全ノードから観測情報を収集することは、ネットワークが大規模になると、収集を行う情報量が多くなり、ネットワークに大きな負荷をかける。

そこで、本実施の形態におけるネットワーク監視・制御装置１００は、将来の需要の予測の確率分布に基づいて、正確な観測情報を取得しないと制御への影響が大きくなる箇所を優先的に観測情報取得の対象とし、各時刻においては、例えば図３に示すように、一部の転送装置やノードからのみ観測情報を取得するように制御する。これにより、観測情報の取得がネットワークにかける負荷を抑制しつつ、必要なネットワーク性能を得る制御を実現する。また、限られた観測リソースをうまく使用して、ネットワークの性能劣化を防ぐ制御に必要な情報を収集することが可能となる。

次に、本実施の形態における観測情報収集のタイミングの例について説明する。比較のために、まず、図４に、従来技術における観測情報収集のタイミングのイメージを示す。図４（図５も同様）において、観測情報はトラヒック量として示されている。また、図４（図５も同様）においてグラフ上の連続する波線が実トラヒック量を示し、グラフ上で上下の幅を持って示される区間は、収集された観測情報から予測される需要の信頼区間（確率分布）であり、その中の横線は期待値を示す。信頼区間と期待値はいずれも区間推定値の例である。図４に示すように、従来技術では、予め定められた固定の周期で全ての機器の観測情報を収集している。

図５に、本実施の形態における観測情報収集のタイミングのイメージを示す。図５（ａ）は、機器Ａから収集可能な観測情報を用いて需要予測を行う場合の例を示し、図５（ｂ）は、機器Ｂから収集可能な観測情報を用いて需要予測を行う場合の例を示す。図５（ａ）のＡに示すように、機器Ａから収集可能な観測情報を用いて需要予測を行う場合、信頼区間の上下幅が広く、予測精度が低い。このような場合、本実施の形態では、機器Ａからの観測情報の収集は頻繁に行うように決定される。一方、図５（ｂ）のＢに示すように、機器Ｂから収集可能な観測情報を用いて需要予測を行う場合、信頼区間の上下幅が狭く、予測精度が高い。このような場合、機器Ｂからの観測情報の収集は、図５（ａ）のように頻繁に行う必要はなく、所定期間毎に収集が行われるように決定される。

（ネットワーク監視・制御装置１００の構成）
図６に、本実施の形態におけるネットワーク監視・制御装置１００の構成例を示す。図６に示すように、ネットワーク監視・制御装置１００は、推定・予測モジュール１１０、ネットワーク制御モジュール１２０、観測制御モジュール１３０を有する。図６には、各モジュールにおける処理の概要も示されている。なお、各モジュール間において、自身の処理に必要な情報であって、他のモジュールで生成される情報は、適宜、当該他のモジュールから取得される。

推定・予測モジュール１１０は、通信需要に関する過去に収集された観測情報を基に、制御時から将来に至る需要の予測値の確率分布を生成する。すなわち、過去の需要（観測情報）から制御時（現在）の需要（未観測の需要）の予測を行い、更に、それ以降の将来の需要の予測を行う。需要の予測値は確率分布として得られる。

ネットワーク制御モジュール１２０は、推定・予測モジュール１１０で生成された将来の需要の予測値の確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定（設定変更手順）を計算し、当該計算結果に基づいて、その次の時刻におけるネットワークの設定をネットワークを構成する装置に投入する。なお、その次の時刻とは、現在の次の時刻である。例えば、５分毎に制御を行っている場合に、現在の５分間の次の５分間に設定すべき設定情報をネットワークを構成する装置に投入する。ネットワーク制御モジュール１２０は、更に、その設定により達成されるネットワーク性能の確率分布を計算する。

観測制御モジュール１３０は、観測対象の選択と、それによる予測される需要の確率分布の変化と、需要の予測を用いたネットワーク制御を行った結果のネットワーク性能の確率分布の関係とをモデル化し、ネットワーク性能に関する指標を最適化するように、将来の各時刻における観測情報収集の対象を決定する。観測情報収集の対象とは、例えば、特定の機器（ノード、転送装置等）である。ネットワーク性能に関する指標とは、例えば、後述するネットワークの性能損失の期待値である。

図７は、図６に示したネットワーク監視・制御装置１００の全体動作概要を示した図である。図７に示すように、観測制御モジュール１３０により決定した観測箇所における需要の観測結果が観測制御モジュール１３０により得られると（ステップＳ１）、推定・予測モジュール１１０は、過去の観測結果に基づいて、現在の需要の推定（ステップＳ２）及び将来の需要の予測を行う（ステップＳ３）。そして、ネットワーク制御モジュール１２０が、制御方法（設定内容）を決定するとともに（ステップＳ４）、当該決定に基づいてネットワーク設定を行い（ステップＳ５）、ネットワーク性能の予測値を算出する（ステップＳ６）。ネットワーク性能の予測値に基づいて、再び観測制御モジュール１３０により観測箇所が決定され、上記処理が繰り返される。

本実施の形態に係るネットワーク監視・制御装置１００は、例えば、１つ又は複数のコンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、ネットワーク監視・制御装置１００が有する機能は、当該コンピュータに内蔵されるＣＰＵやメモリ、ハードディスクなどのハードウェア資源を用いて、ネットワーク監視・制御装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。また、上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

図８は、本発明の実施の形態におけるネットワーク監視・制御装置１００のハードウェア構成例を示す図である。図８のネットワーク監視・制御装置１００は、それぞれバスＢで相互に接続されているドライブ装置１５０、補助記憶装置１５２、メモリ装置１５３、ＣＰＵ１５４、インタフェース装置１５５、表示装置１５６、及び入力装置１５７等を有する。

ネットワーク監視・制御装置１００での処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ又はメモリカード等の記録媒体１５１によって提供される。プログラムを記憶した記録媒体１５１がドライブ装置１５０にセットされると、プログラムが記録媒体１５１からドライブ装置１５０を介して補助記憶装置１５２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１５１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１５２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１５３は、プログラムの起動指示があった場合に、補助記憶装置１５２からプログラムを読み出して格納する。ＣＰＵ１５４は、メモリ装置１５３に格納されたプログラムに従ってネットワーク監視・制御装置１００に係る機能を実現する。インタフェース装置１５５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１５６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１５７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。

（観測情報の収集対象決定処理の具体例）
本実施の形態における観測制御モジュール１３０は、最適化問題を解くことにより将来の各時刻における観測情報の収集対象を決定する。以下、当該最適化問題の一例を説明する。なお、最適化問題を解くこと自体は既存技術である。例えば、市販されている最適化ソフトウェア、あるいはフリーの最適化ソフトウェアをネットワーク監視・制御装置１００（コンピュータ）に実行させ、以下で説明する定式化の式、パラメータ等を入力し、最適化ソフトウェアが有する最適化アルゴリズムを当該コンピュータが実行することにより最適化問題を解くことができる。

本最適化問題において、観測制御モジュール１３０は、制御を行う現在時刻を0とし、時刻1から時刻Hまでの各時刻の観測対象の集合を決定する。

本最適化問題では、ネットワーク監視・制御装置１００への入力となるネットワークの情報として、ネットワーク内のノードの集合N、リンクの集合L、パスの集合Pが与えられる。これらの情報は、例えば、ネットワーク構成管理システム等からネットワーク監視・制御装置１００に提供されるものである。

図９は、パスとリンクの例を示す図である。図９に示すように、パスは、「仮想化されたネットワーク機能」間を結ぶ物理的通信路（経路）である。リンクは、転送装置間の物理的接続である。パスは、ノード間を結ぶ経路が経由するリンクの集合で表される。

以降、集合Aの要素数を|A|で表すこととする。上記のとおり、パスの集合Pの各要素pは当該パスが経由するリンクの集合として表されるものとし、そのパスとリンクの対応を|L|×|P|行列Gで表す。行列要素G(l,p)はパスpがリンクlを経由する場合に1、それ以外は0となるように定義する。

また、ネットワーク内で収集可能な観測情報の集合Sと、各観測情報s∈Sを転送するために必要な帯域C(s)、及び、観測情報収集に利用可能なネットワークの帯域Wが与えられる。また、各観測情報について、その観測情報の収集間隔の上限値T(s)が与えられる。「観測情報s」は、例えば、特定の機器（ノード、又は転送装置）から収集するトラヒック量である。そして、例えば、別の「観測情報s」は、別の特定の機器から収集するトラヒック量である。つまり、「観測情報s」は収集対象を表す情報である。

前述したように、推定・予測モジュール１１０は、通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成するが、より具体的には、各時刻kの通信需要X_kの確率分布P(X_k)を生成する。

観測制御モジュール１３０には、当該推定・予測モジュール１１０が生成した各時刻kの通信需要X_kの確率分布P(X_k)が与えられる。通信需要X_kは全|N|²通りのノードペア間のフローの通信需要を表す|N|²次元のベクトルであり、各要素は一つのフローの通信需要を表す。「一つのフロー」は、あるノードから他のノードへの通信である。例えば、一つのフローには、「ある"仮想化されたネットワーク機能"から他の"仮想化されたネットワーク機能"への通信」が複数個、含まれ得る。

更に、観測制御モジュール１３０には、他のモジュールの動作に関する情報として、推定・予測モジュール１１０が行う予測動作のモデル、ネットワーク制御モジュール１２０の経路（R）設定動作のモデルが与えられる。推定・予測モジュール１１０は、当該予測動作のモデルを用いて予測動作を実行し、ネットワーク制御モジュール１２０は、当該経路設定動作のモデルを用いて経路設定動作を行う。

推定・予測モジュール１１０の予測動作のモデルは、時刻iにおいて新たに観測値が得られた時のkステップ先の通信需要X_i+kの確率分布P(X_i+k|x_i,O_i,R_i)を、時刻iでの観測対象の集合O_iと、その観測値x_i及び、その時の経路R_iの条件付き確率として計算する、というモデルである。

上記の観測対象の集合O_iは、観測可能な情報の集合Sの部分集合であり、時刻iにおいて観測制御モジュール１３０が収集する対象となる観測情報の集合を表す。x_iは|O_i|次元のベクトルであり、各要素は一つの収集された実際の観測値を表す。観測値は例えば時系列トラヒック量（時刻×トラヒック量の行列）である。

経路Rは発着ノードペア間のフローとそのフロー上の通信需要を収容するパスの対応関係を表す|P|×|N|²行列であり、行列要素R(p,f)はf番目のフローの通信需要のうち、パスpに割り当てられる需要の割合を0から1の範囲で表す。なお、経路Rは、「仮想化されたネットワーク機能」の収容ノード、及び「仮想化されたネットワーク機能」間の経路に対応するものであり、経路Rをネットワークに投入することは、「仮想化されたネットワーク機能」の配置設定、「仮想化されたネットワーク機能」間の経路設定を行うことに相当する。

ネットワーク制御モジュール１２０のモデルは、現在を時刻0としたときに、h時刻先まで（つまり、時刻1〜hの各時刻）の経路を求める最適化問題の形式で与えられるモデルである。本実施の形態の最適化問題の目的関数として、ネットワークの性能損失f(R₁,…,R_h,X₁,…X_h)を経路と通信需要の関数として与え、また、その際に満たすべき制約条件の集合を与える。

ここで、ネットワークの性能損失とは、例えば、ノード間の遅延量等である。例えば、観測情報収集が多くの機器から頻繁に行われれば、ネットワークにかかる負荷が過大となり、遅延量等が増加する。よって、ネットワークの性能損失を小さくするような最適化問題を解くことで、ネットワークにかける負荷を抑制できる。

制約条件は、等式制約と不等式制約に分けられ、等式制約の集合をE_eq、不等式制約の集合をE_ineqとして表し、各制約

は、制約関数

として与えられる。なお、制約条件を設けて、最適化問題を解くことによりネットワークの設定内容（例：「仮想化されたネットワーク機能」のノードへの配置、経路等）を求めること自体は既存技術であるため、制約条件の詳細は省略するが、一例として、等式制約は、例えば、"全ての「仮想化されたネットワーク機能」がいずれかのノードに収容される"、といった制約である。不等式制約は、例えば、"各フローの通信需要は、ネットワークで提供可能な帯域より小さい"、といった制約である。

また、観測誤差のモデルとして、設定された経路、情報収集対象の下で、通信需要X_kに対して、観測値x_kを得る確率の分布P(x_k|X_k,O_k,R_k) が観測制御モジュール１３０に与えられる。また、制御時に既に設定されている経路R₀及び、収集対象の集合O₀も合わせて観測制御モジュール１３０に与えられているものとする。

観測制御モジュール１３０により解かれる本最適化問題では、上記の入力を用い、各時刻kにおける収集対象の集合O_kを決定する。

当該最適化問題において、収集対象O_kから、観測値x_kを得ることの損失関数F(x_k, O_k)を、その観測値を用いて需要を予測し、その予測需要を用いて経路を設定するという一連のプロセスの結果として得られるネットワーク性能の損失 f(R_k,X_k) の期待値として定義する。また、以下では、E_P(X)[X]は確率分布P(X)の下での確率変数Xの期待値を表し、AΔBは集合A,Bの対象差(A＼B)∪(B＼A)を表すものとする。

本最適化問題では目的関数として、以下の関数を与える。

本目的関数では、第一項が全時刻における性能損失の期待値の総和を表し、第二項は収集対象の変更数の総和、wは重みパラメータである。確率分布P(x_k│O_k,R_k)は各時点での経路R、収集対象の下で、観測値を収集した場合に得られる観測値の分布を表しており、入力されたP(x_k│X_k,O_k,R_k)、及び、P(X_k)を用いてP(x_k│O_k,R_k)=∫P(X_k)P(x_k│X_k,O_k,R_k)dX_kで定義される。

本目的関数に合わせて観測情報の収集対象を設定することにより、観測値を得た際の一連の制御プロセスで得られるネットワーク性能の損失の期待値を最小化するような情報収集対象を求めつつ、重みパラメータの大小によって収集対象の変更数を調整できる。重みパラメータの値の設定は、例えば、環境変動が頻発する状況では、wを負の値として、積極的に情報収集対象の変更を促し、広範な情報収集対象の候補から観測値の収集を行うことができる。一方、環境変動がほとんど生じない状況では、wを正の値として、継続的な情報収集を実行することで、予測分布の修正に必要な連続した時系列の情報を収集し、より精度の高い予測、及び制御を行うことができる。

また、本最適化問題では、以下の制約条件を満たす範囲内での解の探索を行う。以下では、τ(s,k)を、時刻kにおいて、観測情報sの観測値が最後に収集されてからの経過時間を表すものとする。また、時刻kにおいて、ネットワーク制御モジュール１２０が計算によって求める時刻k+iにおける最適な経路をR_k+i ^(k)と表すものとする。

制約条件１: 観測値の収集に必要となる帯域の総和は、情報収集のために与えられた帯域よりも小さい。

制約条件２: 全ての情報収集対象の候補は、収集間隔の上限値までの間に収集される。

制約条件３: 観測値が収集された時、経過時間を0にリセットする。

制約条件４: 観測値が収集されなかった時、経過時間が1増加する。

制約条件５: 経路の設定は、観測値を得た時、その観測値の下で修正された需要の予測分布（下記のP(X_k+1,... , X_k+h|x_k,O_k,R_k)）に基づいて、経路設定の目的関数（下記のf(R_k+1 ^(k),…, R_k+h ^(k),X_k+1,…, X_k+h)）の期待値を最小化するように決定され、得られる性能の期待値はその最小値に一致する。,

制約条件６: 各時刻において、直前の制御時にネットワーク制御モジュール１２０が計算した、その時刻の経路Rが実際にネットワークに投入される。

制約条件７: ネットワーク制御モジュール１２０において計算される経路は、経路制御の等式制約条件を満たす。

制約条件８: ネットワーク制御モジュール１２０において計算される経路は、経路制御の不等式制約条件を満たす。

上記の最適化問題を解くことにより、時刻1から時刻Hまでの情報の収集対象の集合を計算することができる。そして、観測制御モジュール１３０は、計算された時刻1の収集対象の観測値を該当ネットワーク機器（ノード、転送装置等）から収集し、得られた観測値を推定・予測モジュール１１０に通知し、新たな観測値の下で需要の予測を再度行う。時刻2以降は、この新たな需要予測の下で、観測制御モジュール１３０において情報収集対象を再度計算する。これにより、将来の予測に基づいて情報収集対象を決定しながらも、予測の修正を行うことで、予測誤差にも対応可能となる。

（実施の形態のまとめ）
（１）以上、説明したように、本実施の形態によれば、ネットワークを構成するネットワーク機器から当該ネットワーク機器で観測された観測情報を収集し、当該観測情報に基づいて、当該ネットワーク内の経路の決定、及び仮想化されたネットワーク機能の配置を行うネットワーク監視・制御装置であって、通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成する推定・予測モジュールと、前記推定・予測モジュールにより生成された、制御時から将来に至る需要の予測値の確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定内容と、当該設定により達成されるネットワーク性能の確率分布とを計算するネットワーク制御モジュールと、前記ネットワーク制御モジュールの計算結果である達成されるネットワーク性能の確率分布に基づいて、将来の観測情報の収集対象を決定する観測制御モジュールと、を備え、前記観測制御モジュールは、将来の達成されるネットワーク性能に関する指標を最適化するように前記将来の観測情報の収集対象を決定することを特徴とするネットワーク監視・制御装置が提供される。

推定・予測モジュールが、「通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成する」ことは、例えば、本実施の形態において、推定・予測モジュール１１０が、時刻iにおいて得られた観測値に基づいて、通信需要X_i+kの確率分布P(X_i+k|x_i,O_i,R_i)を、各kについて算出することに対応する。

ネットワーク制御モジュールが、「制御時から将来に至る需要の予測値の確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定内容と、当該設定により達成されるネットワーク性能の確率分布とを計算する」ことは、例えば、本実施の形態において、ネットワーク制御モジュール１２０が、上述した制約条件５を用いて、各時刻（時刻k+1〜時刻k+h）の経路（R）を算出するとともに、f(R_k+1 ^(k),…, R_k+h ^(k),X_k+1,…, X_k+h)を算出することに対応する。つまり、f(R_k+1 ^(k),…, R_k+h ^(k),X_k+1,…, X_k+h)は、"設定により達成されるネットワーク性能の確率分布"に対応する。

観測制御モジュールが、「達成されるネットワーク性能の確率分布に基づいて、将来の観測情報の収集対象を決定する」こと、及び、「将来の達成されるネットワーク性能に関する指標を最適化するように前記将来の観測情報の収集対象を決定する」ことは、いずれも、例えば、本実施の形態において、観測制御モジュール１３０が、［数３］に示される目的関数の最適化問題を解くことに対応する。

（２）前記観測制御モジュールは、前記推定・予測モジュールから得られる制御時から将来に至る需要の予測値の確率分布と、前記ネットワーク制御モジュールから得られるネットワーク性能の確率分布とに基づいて、将来の各時刻のネットワーク性能に関する指標と、各時刻における観測対象の変更の大きさに関する指標との重み付けの和を最適化する最適化問題を解くことにより、前記将来の各時刻における観測情報の収集対象を決定することとしてもよい。

上記の構成は、例えば、本実施の形態において、制約条件５に示されるように、P(X_k+1,…, X_k+h|x_k,O_k,R_k)（制御時から将来に至る需要の予測値の確率分布）の下でのf(R_k+1 ^(k),…, R_k+h ^(k),X_k+1,…, X_k+h)（ネットワーク性能の確率分布）の期待値から求められたF(x_k,O_k,)を用いて、［数３］に示される目的関数の最適化問題を解くことに対応する。

（３）前記観測制御モジュールは、将来の各時刻における観測情報の収集対象を決定した後に、新たな観測結果を取得し、前記推定・予測モジュールにおいて、当該新たな観測結果に基づいて、制御時から将来に至る需要の予測値の確率分布を再計算した後、当該再計算後の需要の予測値の確率分布に基づいて、前記最適化問題を解いて収集対象を決定する、という手順を繰り返し実行することとしてもよい。

上記の構成は、例えば、本実施の形態において、観測制御モジュール１３０が、計算された時刻1の収集対象の観測値を該当ネットワーク機器（ノード、転送装置等）から収集し、得られた観測値を推定・予測モジュール１１０に通知し、新たな観測値の下で需要の予測を再度行い、時刻2以降は、この新たな需要予測の下で、観測制御モジュール１３０において情報収集対象を再度計算することに対応する。

本発明は上記実施形態に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例等が本発明に包含される。

１０、２０ ノード
３０〜５０ 転送装置
１００ ネットワーク監視・制御装置
１１０ 推定・予測モジュール
１２０ ネットワーク制御モジュール
１３０ 観測制御モジュール

Claims (7)

1. ネットワークを構成するネットワーク機器から当該ネットワーク機器で観測された観測情報を収集し、当該観測情報に基づいて、当該ネットワーク内の経路の決定、及び仮想化されたネットワーク機能の配置を行うネットワーク監視・制御装置であって、
   通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成する推定・予測モジュールと、
   前記推定・予測モジュールにより生成された、制御時から将来に至る需要の予測値の確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定内容と、当該設定により達成されるネットワーク性能の確率分布とを計算するネットワーク制御モジュールと、
   前記ネットワーク制御モジュールの計算結果である達成されるネットワーク性能の確率分布に基づいて、将来の観測情報の収集対象を決定する観測制御モジュールと、を備え、
   前記観測制御モジュールは、将来の達成されるネットワーク性能に関する指標を最適化するように前記将来の観測情報の収集対象を決定する
   ことを特徴とするネットワーク監視・制御装置。
2. 前記観測制御モジュールは、
   前記推定・予測モジュールから得られる制御時から将来に至る需要の予測値の確率分布と、前記ネットワーク制御モジュールから得られるネットワーク性能の確率分布とに基づいて、将来の各時刻のネットワーク性能に関する指標と、各時刻における観測対象の変更の大きさに関する指標との重み付けの和を最適化する最適化問題を解くことにより、前記将来の各時刻における観測情報の収集対象を決定する
   ことを特徴とする請求項１に記載のネットワーク監視・制御装置。
3. 前記観測制御モジュールは、
   将来の各時刻における観測情報の収集対象を決定した後に、新たな観測結果を取得し、前記推定・予測モジュールにおいて、当該新たな観測結果に基づいて、制御時から将来に至る需要の予測値の確率分布を再計算した後、当該再計算後の需要の予測値の確率分布に基づいて、前記最適化問題を解いて収集対象を決定する、という手順を繰り返し実行する
   ことを特徴とする請求項２に記載のネットワーク監視・制御装置。
4. ネットワークを構成するネットワーク機器から当該ネットワーク機器で観測された観測情報を収集し、当該観測情報に基づいて、当該ネットワーク内の経路の決定、及び仮想化されたネットワーク機能の配置を行うネットワーク監視・制御装置が実行するネットワーク監視・制御方法であって、
   通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成する推定・予測ステップと、
   前記推定・予測ステップにおいて生成された、制御時から将来に至る需要の予測値の確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定内容と、当該設定により達成されるネットワーク性能の確率分布を計算するネットワーク制御ステップと、
   前記ネットワーク制御ステップにおける計算結果である達成されるネットワーク性能の確率分布に基づいて、将来の観測情報の収集対象を決定する観測制御ステップと、を備え、
   前記観測制御ステップにおいて、前記ネットワーク監視・制御装置は、将来の達成されるネットワーク性能に関する指標を最適化するように前記将来の観測情報の収集対象を決定する
   ことを特徴とするネットワーク監視・制御方法。
5. 前記観測制御ステップにおいて、前記ネットワーク監視・制御装置は、
   前記推定・予測ステップにより得られる制御時から将来に至る需要の予測値の確率分布と、前記ネットワーク制御ステップにより得られるネットワーク性能の確率分布とに基づいて、将来の各時刻のネットワーク性能に関する指標と、各時刻における観測対象の変更の大きさに関する指標との重み付けの和を最適化する最適化問題を解くことにより、前記将来の各時刻における観測情報の収集対象を決定する
   ことを特徴とする請求項４に記載のネットワーク監視・制御方法。
6. 前記観測制御ステップにおいて、前記ネットワーク監視・制御装置は、
   将来の各時刻における観測情報の収集対象を決定した後に、新たな観測結果を取得し、前記推定・予測ステップにおいて、当該新たな観測結果に基づいて、制御時から将来に至る需要の予測値の確率分布を再計算した後、当該再計算後の需要の予測値の確率分布に基づいて、前記最適化問題を解いて収集対象を決定する、という手順を繰り返し実行する
   ことを特徴とする請求項５に記載のネットワーク監視・制御方法。
7. コンピュータを、請求項１乃至３のうちいずれか１項に記載のネットワーク監視・制御装置の各モジュールとして機能させるためのネットワーク監視・制御プログラム。

Images