JP2011082858A - ネットワーク制御システムおよびネットワーク制御方法 - Google Patents

Abstract

【課題】複数階層のレイヤに対し、ＩＰトラフィック品質をモニタし、ＩＰネットワーク内に閉じた高い時間分解能によりＩＰパケット単位でのトラフィックモニタを行い、ＩＰネットワークが最適な状態で運用されるように経路選択をフロー単位で実現すること。
【解決手段】計測装置３０は、時刻情報配信装置５４から配信された時刻情報を受信し、その時刻情報に基づいて計測装置３０間の時刻を同期させ、中央局５０は、トラフィック観測データを収集して解析する観測データ収集装置５１と、リンクに対するトラフィック量、パケットロス量、特定のフローに対するネットワーク遅延量、または遅延ジッタ量を含むネットワーク品質の解析結果およびフロー毎の経路情報を基に、フロー毎に最適経路を探索し、該当するネットワークノード装置１０に対して経路設定を行うネットワークノード制御装置５３と、を備える。
【選択図】図１

Description

本発明は、ネットワーク制御システムおよびネットワーク制御方法に関する。

インターネットの成長により通信事業者ネットワークにおけるＩＰ(Internet Protocol)トラフィックの占める割合が増大している。また、従来の音声または映像伝送サービスのような同期系のアプリケーションについてもＩＰを用いた伝送が提供されている。このことからＩＰを用いた伝送において、トラフィックのより厳密な実時間での計測技術が求められている。

たとえば映像系および無線系のアプリケーショントラフィックのＩＰ伝送を想定すると時間分解能はマイクロ秒の時刻精度が必要になる。また、各計測装置（本明細書においては、パケット情報を取得して中央局に通知する機能を有するトラフィックの計測装置を意味する）からの同期出力を用いる場合には１０^-8以上の周波数精度が要求される。

このようなトラフィック計測には複数地点での計測を想定するのでネットワーク内でサブマイクロ秒単位の短期安定度（パケットのネットワーク滞留時間と比べて十分に長い期間での安定度）および時間分解能が必要である。

たとえばＩＰルータに機能搭載するＮｅｔＦｌｏｗ（非特許文献１参照）またはｓＦｌｏｗ（非特許文献２参照）を実装したＩＰルータでは、ＩＰパケットを時間軸でサンプリングし、パケット数等のトラフィック量または使用帯域に着目した統計的情報を取り扱っている。しかしながら、これでは特定のアプリケーションに対する精緻なＩＰトラフィックの計測はできない。

すなわち、ＮｅｔＦｌｏｗまたはｓＦｌｏｗは、主としてパケットカウントまたはパケットカウントから得られる使用帯域（流量）、もしくはパケット廃棄率などを計測することを目的としている。したがって、個々のパケット単位での遅延ジッタは計測できない。

これに対し、通信事業者においては、ネットワーク利用者への提供サービスの品質を保証する上で、トラフィックの厳密な計測が必要である。

このような通信事業者の要望を満たすために、たとえば非特許文献３に示すように、高精度なＩＰパケット測定の従来技術として、ＧＰＳ(Global Positioning System)と同程度のタイムスタンプを用いるトラフィック計測アナライザがある。このトラフィック計測アナライザは、図２１に示すように、ＩＰネットワーク１００の両端に設置して用いる計測用ソフトウェアを搭載するＩＰトラフィック計測アナライザ１０１，１０２により計測用パケットを送受信する。これによりＩＰトラフィック測定（アクティブ測定）を行うものである。図２１のシステムでは、ＧＰＳ衛星１０３の信号を受信し、ＧＰＳによる高精度な時計１０４，１０５を用いて精密な時刻情報を取得する必要がある。

なお、上述したＩＰルータにおけるルーティング経路探索はＯＳＰＦ(Open Shortest Path Fast)（非特許文献４）、ＢＧＰ(Border Gateway Protocol)（非特許文献５）のルーティングプロトコルを使ってルーティング経路を選択および設定する。

ＲＦＣ３９５４ ＲＦＣ３１７６ ｈｔｔｐ：／／ｗｗｗ．ｚｔｉ−ｔｅｌｅｃｏｍ．ｃｏｍ／ＥＮ／ＩＰＴｒａｆｆｉｃ＿ＴＭ．ｈｔｍｌ ＲＦＣ１５８３ ＲＦＣ２７９６

上述した非特許文献３（図２１）のＩＰトラフィック計測方法では、トラフィック計測アナライザ１０１，１０２間での高精度な時刻同期にはＧＰＳによることで実現している。この場合、計測地点毎に高価なＧＰＳによる高精度な時計を設置する必要があるという新たな課題が生じる。

また、ネットワーク利用者に対するサービス提供品質はＩＰレイヤのみならず、下位レイヤ（たとえばＥｔｈｅｒｎｅｔ）、上位レイヤ（例えばＴＣＰ(Transmission Control Protocol)、ＵＤＰ(User Datagram Protocol)、ＲＴＰ(Real-time Transport Protocol)）に対する品質モニタも必要になる。

このような観点からみたときに、たとえば市販計測器（例えばアンリツＭＤ１２３０）はレイヤ２−７計測ができる。しかしながら遅延計測にはアクティブ計測（計測用トラフィックを用いた計測）が主で、パッシブ計測（ネットワークを流れるトラフィックをイントルーシブに計測）できないという課題がある。

また、このような市販計測器は、ネットワーク装置としては過剰な機能も含まれていることから高価であると共に、装置に閉じたクロック配信機能を有していないことから、ＧＰＳまたはＣＤＭＡ(Code Division Multiple Access)などの外部基準を必要とするという課題がある。

さらに、通信事業者にとっては、厳密なトラフィック計測を行うことに伴い、トラフィック観測データが膨大となり、ネットワーク利用者に対する迅速な品質管理の提示ができなくなるということも避けなければならない。

また、非特許文献４によれば、ＯＳＰＦはＩＰパケットをパケットヘッダに記された送信先ＩＰアドレスとＩＰ−ＴＯＳ(Type Of Service)に基づいて経路制御する。一方、通信事業者が用いるＩＰパケットはそのままの状態で経路制御される。すなわち通信事業者が用いるＩＰパケットは、自律システムを通るために付加的なプロトコルヘッダを使ってカプセル化されるわけではない。また、ＯＳＰＦはルータインタフェースの障害のような自律システム内のトポロジ変化を短時間で検出し、収束するための時間を経た後に新たにループの無い経路を計算する。これによれば、収束までの時間は短く、最小限の経路制御トラフィックしか生じない。よって、これらの方式も通信事業者が要望するＩＰトラフィックの計測には適していない。

さらにＯＳＰＦはＩＰ−ＴＯＳに応じて独立した経路を計算する。よって、送信先までのコストが同じ経路が複数ある場合には、トラフィックはその経路全てに均等に配分される。これによっても、通信事業者が要望するＩＰトラフィックの計測には適していない。

また、非特許文献５によれば、ＢＧＰは自律システム間の経路プロトコルであって、自律システムＡＳ(Autonomous Systems)内のパスを集約し、ＡＳ間をルート集約する機構を導入した中継をおこなっている。

このようなＢＧＰは、ＢＧＰスピーカが隣接するＡＳのピア（ＢＧＰスピーカが通信する相手のＢＧＰスピーカ）に、自分自身が利用可能なルートのみしか広報しない「ホップバイホップ」ルーティングである。すなわち、２つのＡＳがお互いの間に転送プロトコルによりルーティングテーブルの定期的な更新をＫｅｅｐＡｌｉｖｅメッセージによりＡＳ間の接続管理を行っている。したがって、これによっても通信事業者が要望するＩＰトラフィックの計測には適していない。

本発明は、このような背景の下に行われたものであって、複数階層のレイヤに対して、ＩＰトラフィック品質をモニタすることができると共に、設備コストを増大させることなく、ＩＰネットワーク内に閉じた高い時間分解能によりＩＰパケット単位でのトラフィックモニタを行い、ＩＰネットワークが最適な状態で運用されるように経路選択をフロー単位で実現することができるネットワーク制御システムおよびネットワーク制御方法を実現することを目的とする。

なお、ここにフローとは送信元、宛先によって限定するパケット流であり、ＩＰ層ではＩＰアドレスの送信元、宛先のペアによって決定するＩＰパケット流を意図する。本発明が解決しようとする領域は、周波数安定度は１０^-8以上、時刻揺らぎ量はマイクロ秒、また、短期安定度（計測の時間分解能）は１００ナノ秒としており、映像系および無線系トラフィックのＩＰ映像伝送に対して要求を満足することである。

本発明の１つの観点は、ネットワーク制御システムとしての観点である。すなわち、本発明のネットワーク制御システムは、パケットネットワークに配置された複数のトラフィックの計測装置またはトラフィック計測機能を備える複数のネットワークノード装置と、複数の計測装置または複数のネットワークノード装置からのトラフィック観測データの通知を受ける中央局と、時刻情報を複数の計測装置または複数のネットワークノード装置に配信する時刻情報配信装置と、を備え、複数の計測装置または複数のネットワークノード装置は、時刻情報配信装置から配信された時刻情報を受信し、その時刻情報に基づいて複数の計測装置間または複数のネットワークノード装置間の時刻を同期させ、中央局は、トラフィック観測データを収集して解析する観測データ収集装置と、リンクに対するトラフィック量、パケットロス量、特定のフローに対するネットワーク遅延量、または遅延ジッタ量を含むネットワーク品質の解析結果およびフロー毎の経路情報を基に、フロー毎に最適経路を探索し、該当するネットワークノード装置に対して経路設定を行うネットワークノード制御装置と、を備えるものである。

ネットワークノード制御装置は、たとえばネットワークの遅延、遅延ジッタに対して高品質を要求する特定のフローの設定に際し、当該フローの取り得る経路におけるフローの遅延ジッタ量から最適経路として当該遅延ジッタ量が最少となる経路を選択し、該当するネットワークノード装置に対して経路設定を行うことができる。

あるいは、ネットワークノード制御装置は、特定フローのネットワーク品質の観測結果をモニタし、ネットワーク品質を示す値が所定の値を超える前に変更経路の探索を行ない、該当するネットワークノード装置に対して変更経路の設定を行うことができる。

あるいは、ネットワークノード制御装置は、特定フローのネットワーク品質の観測結果をモニタし、ネットワーク品質を示す値が所定の値を超える前に、特定フローを送出または受信する端末に対し、誤り訂正符号の冗長度あるいはバッファ量の設定値を変更することができる。

本発明の他の観点は、ネットワーク制御方法としての観点である。すなわち、本発明のネットワーク制御方法は、パケットネットワークに配備された複数のトラフィックの計測装置またはトラフィック計測機能を備える複数のネットワークノード装置が、トラフィック観測データを中央局に通知するステップを実行し、中央局の観測データ収集装置が、トラフィック観測データを収集して解析するステップを実行し、時刻情報配信装置が、時刻情報を複数の計測装置または複数のネットワークノード装置に配信するステップを実行し、複数の計測装置または複数のネットワークノード装置が、時刻情報配信装置から時刻情報を配信されて複数の計測装置間または複数のネットワークノード装置間の時刻を同期するステップを実行し、中央局のネットワークノード制御装置が、リンクに対するトラフィック量またはパケットロス量または特定のフローに対するネットワーク遅延量または遅延ジッタ量を含むネットワーク品質の解析結果およびフロー毎の経路情報を基に、フロー毎に最適経路を探索し、該当するネットワークノード装置に対して経路設定を行うステップを実行するものである。

本発明によれば、複数階層のレイヤに対して、ＩＰトラフィック品質をモニタすることができると共に、設備コストを増大させることなく、ＩＰネットワーク内に閉じた高い時間分解能によりＩＰパケット単位でのトラフィックモニタを行い、ＩＰネットワークが最適な状態で運用されるように経路選択をフロー単位で実現することができる。

本発明の第一の実施の形態に係るネットワーク制御システムの全体構成図である。 図１の本発明の第一の実施の形態に係るネットワーク制御システムの全体構成図に対し、観測データ収集、制御情報通知、時刻情報配信の様子を加筆した図である。 図１の計測装置における蓄積データの例を示す図である。 図１の観測データ収集装置における蓄積データの例を示す図である。 図１の時刻情報配信装置と計測装置との間の時刻同期の動作を説明するための図であって、時刻情報配信装置と計測装置の内部構成を示す図である。 図１の計測装置におけるＲＴＴフィルタリングの動作を説明するための図である。 図１のＬＡＮ間の新設フローに対するパケットネットワークの経路割当を説明する図である。 図７の計測装置の計測時間を示す図である。 フローＩＤ♯１に係る新設フローを割当てた際のネットワーク品質解析結果を模式的に示す図である。 図１のネットワークノード制御装置が行う経路割当論理適用の手順を示すフローチャートを示す図である。 本発明の第二の実施の形態に係るネットワーク品質解析結果を模式的に示す図である。 本発明の第三の実施の形態に係るネットワーク制御システムにおいてＬＡＮ間の既設フローに対する迂回経路候補を示す図である。 図１２の計測装置の計測時間を示す図である。 図１２のフローＩＤ♯１の既設フローに係るネットワーク品質解析結果を模式的に示す図である。 図１２のフローＩＤ♯２の既設フローに係るネットワーク品質解析結果を模式的に示す図である。 図１２のモニタ対象のフローＩＤ♯１の既設フロー、フローＩＤ♯２，♯３の品質探索用フローに対する計測装置の計測時間を示す図である。 図１２のフローＩＤ♯１の既設フロー、フローＩＤ♯２，♯３の品質探索用フローに係るネットワーク品質解析結果を模式的に示す図である。 本発明の第三の実施の形態に係るネットワーク制御システムにおいてホスト間の既設フローに対するネットワーク品質解析を実施する様子を示す図である。 図１８のホストの構成を示す図であって、パケットロスを観測して誤り訂正符号の冗長度を変更する制御を行う例を示す図である。 図１８のホストの構成を示す図であって、遅延揺らぎを観測してバッファ量を変更する制御を行う例を示す図である。 非特許文献３に係るＩＰトラフィック計測方法を説明するための図である。

（本発明の第一の実施の形態に係るネットワーク制御システム１の構成について）
本発明の第一の実施の形態に係るネットワーク制御システム１の構成について図１および図２を参照して説明する。図１は、ネットワーク制御システム１の全体構成図である。図２は、図１の全体構成図に対し、計測装置３０から観測データ収集装置５１への観測データ収集（破線）、ネットワークノード制御装置５３からネットワークノード装置１０への制御情報通知（二点鎖線）、時刻情報配信装置５４から計測装置３０への時刻情報配信（一点鎖線）の様子を加筆した図である。

ネットワーク制御システム１は、パケットネットワーク２０内のネットワークノード装置１０−１〜１０−４（ネットワークノード装置１０−１〜１０−４をまとめて説明する際にはネットワークノード装置１０とする）にそれぞれ備えられる計測装置３０−１〜３０−１２（計測装置３０−１〜３０−１２をまとめて説明する際には計測装置３０とする）および中央局５０内に備えられる観測データ収集装置５１、観測データ蓄積装置５２、ネットワークノード制御装置５３および時刻情報配信装置５４により構成される。

計測装置３０は、通過トラフィックをもれなく計測できる装置である。また、計測装置３０は、フィルタにより指定のパケットを選択的に計測することもできる。

観測データ収集装置５１は、計測装置３０が計測した通過トラフィックの情報を収集して解析する装置である。

観測データ蓄積装置５２は、観測データ収集装置５１が収集して解析した情報を蓄積して保持する装置である。

ネットワークノード制御装置５３は、観測データ蓄積装置５２に蓄積されている情報に基づいてパケットネットワーク２０内のネットワークノード装置１０−１〜１０−３を制御する装置である。

時刻情報配信装置５４は、計測装置３０に対して時刻情報を配信する装置である。これにより、各計測装置３０には、高精度の時計などを用意する必要がない。

なお、時刻情報配信装置５４は、中央局５０に設置する限りではなく、ネットワーク内における任意の局（ビル）に配置することも可能である。

（ネットワーク制御システム１の動作について）
次に、ネットワーク制御システム１の動作について説明する。

図１および図２では、ネットワークノード装置１０のポートは、それぞれ計測装置３０の測定ポートに接続されている。しかし、実際には、ネットワークノード装置１０には他にも多数のポートがあり、不図示の他の装置と接続されている。したがって、トラフィックの観測を行いたいフローのみが計測装置３０を通過するようにネットワークノード装置１０内でスイッチングが行われる。

また、計測装置３０は、時刻情報配信装置５４と時刻同期パケットの交換を行うことにより内部時刻を時刻情報配信装置５４と一致させる。

また、計測装置３０は、ネットワークノード装置１０から被測定パケットが到着するとその時点の内部時刻と被測定パケットから計算したハッシュ値とを組にして蓄積していく（この処理については後述する）。

計測装置３０は、一定量情報が蓄積するか、一定時間に到達した場合に、観測データ収集装置５１に蓄積データと当該計測装置３０の識別子を送出する。

なお、時刻情報配信装置５４と各計測装置３０との間でパケット交換を行う際には未測定のネットワークの遅延が存在することになる。しかしながら、時刻情報配信装置５４と各計測装置３０との間のＲＴＴ(Round Trip Time)の平均値の近傍のデータ、または、前回のＲＴＴから推定される誤差範囲内に収まるデータだけを用いて時刻同期を実施すれば精確な時刻同期が可能となる。

観測データ収集装置５１は、収集した観測データをまとめて蓄積して情報の解析を行う。観測データ収集装置５１の解析結果は、観測データ蓄積装置５２に蓄積される。

図３は、計測装置３０に蓄積された情報の例を示す図である。被測定パケットが到着するとその時点の内部時刻および被測定パケットから計算したハッシュ値が１行ずつ加えられていく。時刻の有効桁数は時刻情報配信装置５４との同期精度に依存する。計測装置３０は、予め決めておいた行数毎に、もしくは一定時間毎に、測定した計測装置３０−１〜３０−１２を特定するための識別子と共に情報を観測データ収集装置５１に送出する。

図４は、観測データ収集装置５１に蓄積された情報の例を示す。図４では各計測装置３０−１〜３０−１２からの情報を時間でソートした状態を示している。図４の例では、図１および図２で用いた計測装置３０の符号を計測装置３０の識別情報と見なして例示してある。同一のハッシュ値“１２３４”を持つパケットが行３（３０−３）、行７（３０−７）、行１０（３０−８）にあるので、ネットワークノード装置１０−１→１０−３の順に通過したこととそのときの各通過時刻がわかる。したがって、通過時刻の差からそれぞれの区間における遅延時間を計算することが可能である。

ここで、時刻情報配信装置５４および計測装置３０の動作についてさらに詳細に説明する。時刻情報配信装置５４および計測装置３０を用いた時刻同期の構成を図５に示す。計測装置３０は、同期要求パケット送信部３２から送信時刻Ｔ１を書き込んだ同期要求パケットを時刻情報配信装置５４に送信する。

時刻情報配信装置５４は、同期要求パケット受信部６２で同期要求パケットを受信し、同期応答パケット送信部６１から同期応答パケットを計測装置３０に送信する。

同期応答パケットには前述のＴ１の他、同期要求パケット受信部６２が同期要求パケットを受信した時刻Ｔ２と同期応答パケット送信部６１が同期応答パケットを送信した時刻Ｔ３とが書き込まれている。

計測装置３０が同期応答パケット受信部３３で同期応答パケットを受信した時刻をＴ４とする。ここで、Ｔ１およびＴ４はクライアント時刻発生部３１で発生させた時刻であり、Ｔ２およびＴ３はサーバ時刻発生部６０で発生させた時刻である。

クライアント時刻制御部３４はＴ１、Ｔ２、Ｔ３、Ｔ４に基づき、以前の往復遅延時間の平均値ＲＴＴ＿ｍｅａｎを算出し、予め設定したジッタ許容値をδとして、
ＲＴＴｌｉｍ１＝ＲＴＴｍｅａｎ＋δ
ＲＴＴｌｉｍ２＝ＲＴＴｍｅａｎ−δ
ＲＴＴｌｉｍ２＜ＲＴＴ＜ＲＴＴｌｉｍ１
の条件を満足する同期応答信号の時刻差ｄＴだけを透過させ、この時刻差ｄＴに限定して同期クライアントの周波数または時刻の設定に適用するためのＲＴＴフィルタリング処理を行う。

以上のアルゴリズムを詳述すると、以下のようになる。
Ｓ１ ＲＴＴ＿ｍｅａｎ＝｛ＲＴＴ［ｉ−１］＋ＲＴＴ［ｉ−２］＋…＋ＲＴＴ［ｉ−Ｍ］｝／Ｍ
Ｓ２ ＲＴＴ＿ｌｉｍ１＝ＲＴＴ＿ｍｅａｎ＋δ
ＲＴＴ＿ｌｉｍ２＝ＲＴＴ＿ｍｅａｎ−δ
Ｓ３ ＲＴＴ［ｉ］＝Ｔ４［ｉ］−Ｔ３［ｉ］＋Ｔ２［ｉ］−Ｔ１［ｉ］
Ｓ４ ｉｆ（ＲＴＴ＿ｍｅａｎ−δ＜ＲＴＴ［ｉ］＜ＲＴＴ＿ｍｅａｎ＋δ）ｔｈｅｎ
Ｓ５ ｅｌｓｅ Ｓ８
Ｓ５ ｄＴ［ｉ］＝（Ｔ１［ｉ］−Ｔ２［ｉ］−Ｔ３［ｉ］＋Ｔ４［ｉ］）／２
Ｓ６ ｉ＋＋
Ｓ７ →Ｓ１
Ｓ８ ｉ＋＋
Ｓ９ →Ｓ３
δとしては、例えばジッタの標準偏差の１／１０といった値を用いる。

以上のＲＴＴフィルタリングの動作の様子を図６に示す。図６は、横軸に経過時間をとり、縦軸にＲＴＴをとる。なお、図６における黒丸はＲＴＴフィルタを透過（制御に使う）したＲＴＴを示し、白丸はＲＴＴフィルタを非透過（制御に使わない）のＲＴＴを示す。

クライアント時刻制御部３４はｄＴの値が目標値に近づくようにクライアント時刻発生部３１の位相および周波数を制御する。

なお、ｄＴの目標値としては０（時刻同期の場合）も有り得るし、０以外の値（周波数同期の場合）も有り得る。これは、以下の実施例においても同様である。

（ネットワーク制御システム１におけるネットワーク制御の実施形態について）
次に、ネットワーク制御システム１におけるネットワーク制御の実施形態について説明する。図１および図２の全体構成図は、ルータなどのネットワークノード装置１０を含めたリンクによって構成するパケットネットワーク２０においてリンク毎に計測装置３０を設置した系を示している。

また、パケットネットワーク２０の利用者のＬＡＮ(Local Area Network)４０−１〜４０−４間をパケットネットワーク２０で接続する構成を図示している。なお、ＬＡＮ４０−１〜４０−４には、それぞれスイッチ４１、サーバ４２、端末４３が備えられている。サーバ４２および端末４３は、１個ずつしか図示されていないが実際には多数のサーバ４２および端末４３が備えられている。ＬＡＮ４０−１〜４０−３に到着したＩＰパケットは、スイッチ４１によって所定の宛先のサーバ４２または端末４３にスイッチングされる。

また、ＬＡＮ４０−１〜４０−３が接続されているパケットネットワーク２０についても図示されていない多数のパケットネットワーク２０が存在する。サーバ４２および端末４３からパケットネットワーク２０に向けて送出されるＩＰパケットについてもスイッチ４１によって所定の宛先のパケットネットワーク２０に送出される。ＬＡＮ４０−１〜４０−４間のトラフィックは計測装置３０を通過する構成とする。

観測データ収集装置５１は、観測データを元に計測装置３０−１〜３０−１２間での遅延、遅延ジッタ、パケットロス、パケットの順序逆転などのネットワーク指標の観点での解析機能を有する。

また、図２の一点鎖線で示すように中央局５０に設置する時刻配信装置５４から各計測装置３０にパケットネットワーク２０経由で時刻情報が配信される。これにより、パケットネットワーク２０内の各計測装置３０の時刻を同期させることができる。

一方、中央局５０に配置するネットワークノード制御装置５３は、観測データ蓄積装置５２に蓄積されている観測データ収集装置５１の観測データに基づく計測装置３０間での遅延、遅延ジッタ、パケットロス、パケットの順序逆転などのネットワーク指標の観点でのフロー単位での解析結果をもとに各ネットワークノード装置１０に対する設定情報を一元的にデータ管理する。また、ネットワークノード制御装置５３は、図２の二点鎖線で示すように各ネットワークノード装置１０を制御する。

このように、ネットワークノード制御装置５３は、観測データ蓄積装置５２に蓄積されたリンク毎におけるフローの遅延、遅延ジッタ特性、パケットロスなどのトラフィック特性をリンクにおけるフローの集合体の視点でのトラフィック品質をマクロに観測した結果値（例えばフロー毎の平均量、あるいはQoS(Quality of Service)クラスに基づく重量平均量）を基にフロー集合体単位でのパケットネットワーク２０の状況を解析する。

この解析結果に基づいてネットワークノード制御装置５３は、フロー単位の再割り当てを実施することで、パケットネットワーク２０全体でのマクロに観測した結果値をもとにリンク毎にバランスがとれるように再配置を行う。これにより、ネットワークノード制御装置５３は、パケットネットワーク２０全体のトラフィック品質の最適化を図ることができる。

なお、フローの集合体の例としてＭＰＬＳ(Multi Protocol Label Switching)におけるＬＳＰ(Label Switched Path）がある。また、再配置の例として、特定のフローを収容するＬＳＰ１から特定のフローをＬＳＰ２に収容替えする動作を所定の回数、繰り返し実施することなどがある。

計測装置３０は、ネットワークノード装置１０のラインカード等に実装してもよい。あるいは、計測装置３０をトラフィックが透過する形態に加え、ネットワークノード装置１０のミラーポートを使用したタップ型のモニタとしてもよい。また、観測データ収集装置５１および予約機能を備えるトラフィック計測装置制御装置（Reservation/Control）（不図示）はサーバ上で動作するソフトウェアとして実装してもよい。

図７はＬＡＮ４０−１（ないしＬＡＮ４０−２）からＬＡＮ４０−３（ないしＬＡＮ４０−４）へのフローＩＤ＃１の新設フローに対するパケットネットワーク２０の経路割当を説明する図である。

取り得るルート＃Ａおよびルート＃Ｂに対して当該新設フローに対するリンク単位での品質を観測データ収集装置５１によってネットワーク品質解析結果を求める。

図８および図９にネットワーク品質解析結果を模式的に示した。図８は、計測装置３０における計測時間を示す図である。このような計測装置３０における計測時間は、ネットワークノード制御装置５３がネットワークノード装置１０に対して指示を行う。そして計測時間になると、ネットワークノード装置１０は、観測対象のフローが計測装置３０を通過するようにスイッチング制御を実施する。

一方、図９は、図８に示した計測時間内に行われたフローＩＤ♯１の新設フローのルート♯Ａおよびルート♯Ｂに係るリンク（Ｌｉｎｋ♯１〜♯６）における品質解析結果（Ａ♯１〜Ａ♯３，Ｂ♯４〜Ｂ♯６）を示す図である。

図９に示すようにフローＩＤ♯１の新設フローに対し、観測データ収集装置５１のリンク毎のネットワークの品質解析結果（Ａ＃１、Ａ＃２、Ａ＃３、Ｂ＃４、Ｂ＃５、Ｂ＃６）を基に、ネットワークノード制御装置５３は、ルート＃ＡにおけるＡ＃１からＡ＃３までのパケットロス、遅延量、遅延ジッタ量の各平均値、各最悪値を算出し、ルート＃ＢにおけるＢ＃４からＢ＃６までのパケットロス、遅延量、遅延ジッタ量の各平均値、各最悪値を算出する。

ネットワークノード制御装置５３における第一の経路割当論理は、ルート＃Ａおよび＃Ｂでのパケットロスの平均値を比較することで、より優れた経路を選択する第一の経路探索判定と、遅延量の平均値を比較することで、より優れた経路を選択する第二の経路探索判定と、遅延ジッタ量の平均値を比較することで、より優れた経路を選択する第三の経路探索判定とを用い、最適経路を判定するというものである。

ネットワークノード制御装置５３における第二の経路割当論理は、ルート＃Ａおよび＃Ｂでのパケットロスの最悪値を比較することで、より優れた経路を選択する第四の経路探索判定と、遅延量の最悪値を比較することで、より優れた経路を選択する第五の経路探索判定と、遅延ジッタ量の最悪値を比較することで、より優れた経路を選択する第六の経路探索判定とを用い、最適経路を判定するというものである。

ネットワークノード制御装置５３における第三の経路割当論理は、第一の経路割当論理において、第一から第三の経路探索判定において重み付け関数を用いて判定論理の重み付けを与える論理とし、最適経路を判定するというものである。

ネットワークノード制御装置５３における第四の経路割当論理は、第二の経路割当論理において、第四から第六の経路探索判定において重み付け関数を用いて判定論理の重み付けを与える論理とし、最適経路を判定するというものである。

さらに、ネットワークノード制御装置５３は、サービスクラスに応じ、上述の第一から第四の経路割当論理のいずれかを選択的に用い新設フローに対する経路探索を行う。たとえば、ネットワークノード制御装置５３は、平均的な品質として規定するサービス（これを標準サービスという）には第一の経路割当論理を用い、最低品質保証を規定するサービス（これを低品質サービスという）には第二の経路割当論理を用いる。

特に、遅延あるいは遅延ジッタに対してサービス品質のウェイトをおくサービス（これを高品質サービスという）に対しては、ネットワークノード制御装置５３は、第三のあるいは第四の経路割当論理を用いて新設フローの経路割当を行う。

図１０は、ネットワークノード制御装置５３が行う経路割当論理適用の手順を示すフローチャートである。

ＳＴＡＲＴ：ネットワークノード制御装置５３は、観測データ蓄積装置５２に観測データ収集装置５１からネットワーク品質の解析結果が蓄積されると、ステップＳ１の処理へ移行する。

ステップＳ１：ネットワークノード制御装置５３は、これから経路を割当てようとする新設フローが標準サービスか否かを判断する。すなわち、ネットワークノード制御装置５３は、これから経路を割当てようとする新設フローが標準サービスである場合（ステップＳ１でＹｅｓ）、ステップＳ２の処理へ移行する。一方、ネットワークノード制御装置５３は、これから経路を割当てようとする新設フローが標準サービスでない場合（ステップＳ１でＮｏ）、ステップＳ３の処理へ移行する。

ステップＳ２：ネットワークノード制御装置５３は、新設フローに対して第一の経路割当論理を適用して経路を割当て処理を終了する（ＥＮＤ）。

ステップＳ３：ネットワークノード制御装置５３は、これから経路を割当てようとする新設フローが低品質サービスか否かを判断する。すなわち、ネットワークノード制御装置５３は、これから経路を割当てようとする新設フローが低品質サービスである場合（ステップＳ３でＹｅｓ）、ステップＳ４の処理へ移行する。一方、ネットワークノード制御装置５３は、これから経路を割当てようとする新設フローが低品質サービスでない場合（ステップＳ３でＮｏ）、ステップＳ５の処理へ移行する。

ステップＳ４：ネットワークノード制御装置５３は、新設フローに対して第二の経路割当論理を適用して経路を割当て処理を終了する（ＥＮＤ）。

ステップＳ５：ネットワークノード制御装置５３は、新設フローに対して第三または第四の経路割当論理を適用して経路を割当て処理を終了する（ＥＮＤ）。

上述のフローは、例えば、フローの集合体としてＭＰＬＳにおけるＬＳＰのように、ネットワークノード装置１０間のリンクにおけるフローの集合体として扱うことも可能であり、トラフィック品質をマクロに観測した結果（例えばフロー毎の平均量、あるいはＱｏＳクラスに基づく重量平均量）を元にフロー集合体単位での経路設定を行うことが可能である。

（本発明の第二の実施の形態に係るネットワーク制御システム１について）
本発明の第二の実施の形態に係るネットワーク制御システム１について説明する。図７を用いて、ＬＡＮ４０−１（ないしＬＡＮ４０−２）からＬＡＮ４０−３（ないしＬＡＮ４０−４）へのフローＩＤ＃１の新設フローに対するパケットネットワークの経路割当を説明する。なお、システム構成は、第一の実施の形態と同じである。

観測データ収集装置５１は、新設フローの取り得るルート＃Ａないしルート＃Ｂに対して当該新設フローに対するリンク単位での品質ならびに既設フローに対するリンク単位でのネットワーク品質解析結果を求める。

前述したように、図９は、図８の計測時間に観測されたネットワーク品質解析結果を模式的に示している。図９に示すように、フローＩＤ＃１の既設フローに対し、リンク毎のネットワーク品質解析結果（Ａ＃１、Ａ＃２、Ａ＃３、Ｂ＃４、Ｂ＃５、Ｂ＃６）を基に、ネットワークノード制御装置５３は、ルート＃ＡにおけるＡ＃１からＡ＃３までのパケットロス、遅延量、遅延ジッタ量の各平均値、各最悪値を算出し、ルート＃ＢにおけるＢ＃４からＢ＃６までのパケットロス、遅延量、遅延ジッタ量の各平均値、各最悪値を算出する。

さらに、図１１に示すようにフローＩＤ＃２から＃Ｎの各既設フローに対しても同様に、ネットワークノード制御装置５３は、リンク毎のネットワーク品質解析結果（Ａ＃１、Ａ＃２、Ａ＃３、Ｂ＃４、Ｂ＃５、Ｂ＃６）を基に、ルート＃ＡにおけるＡ＃１からＡ＃３までのパケットロス、遅延量、遅延ジッタ量の各平均値、各最悪値を算出し、ルート＃ＢにおけるＢ＃４からＢ＃６までのパケットロス、遅延量、遅延ジッタ量の各平均値、各最悪値を算出する。

上記の試験および計測の操作はフローＩＤ♯１の新設フローとフローＩＤ＃２の既設フローの選択経路を入替え、個々の品質解析結果を求め、フローＩＤ＃２から＃Ｎの各既設フローまで上記の作業を繰り返し実施するものとする。

続いて、第一の実施の形態と同じように、ネットワークノード制御装置５３は、サービスクラスに応じて、上述の第一から第四の経路割当論理のいずれかを選択的に用い新設フローに対する経路探索を行う。ネットワークノード制御装置５３は、平均的な品質として規定するサービス（標準サービス）には第一の経路割当論理を用い、最低品質保証を規定するサービス（低品質サービス）には第二の経路割当論理を用いる。

特に、遅延あるいは遅延ジッタに対してサービス品質のウェイトをおくサービス（高品質サービス）に対しては、ネットワークノード制御装置５３は、第三のあるいは第四の経路割当論理を用いて新設フローの経路割当を行う。なお、当該経路割当論理の適用手順については、図１０のフローチャートに示したとおりである。

（本発明の第三の実施の形態に係るネットワーク制御システム１について）
本発明の第三の実施の形態に係るネットワーク制御システム１について説明する。図１２はＬＡＮ４０−１（ないしＬＡＮ４０−２）からＬＡＮ４０−３（ないしＬＡＮ４０−４）へのフローＩＤ＃１の既設フローに対して迂回経路候補に対するフローＩＤ＃２の品質探索用フローを用いて迂回経路の探索ならびに経路割当を説明する図である。なお、基本的なシステム構成は、第一の実施の形態と同じである。

例として、既設フローはルート♯Ａを使用しているものとして、迂回経路候補のルート♯Ｂおよびルート♯Ｃに対して、フローＩＤ＃２の品質探索用フローにより品質解析を行う。

図１３、図１６は、計測装置３０の計測時間を示す図である。上述したように、このような計測装置３０における計測時間は、ネットワークノード制御装置５３がネットワークノード装置１０に対して指示を行う。そして計測時間になると、ネットワークノード装置１０は、観測対象のフローが計測装置３０を通過するようにスイッチング制御を実施する。

図１４は、フローＩＤ♯１の既設フローに係るネットワーク品質解析結果を模式的に示す図である。また、図１５は、フローＩＤ♯２の品質探索用フローに係る品質解析結果を模式的に示す図である。図１７は、フローＩＤ♯１の既設フロー、フローＩＤ♯２，♯３の品質探索用フローに係るネットワーク品質解析結果を模式的に示す図である。

図１３および図１４に示すように、ネットワークノード制御装置５３は、モニタ対象のフローＩＤ＃１の既設フローに対しては、常時、品質モニタを実施している。ここで、フローＩＤ♯１の既設フローが所定の品質規定値の上限に近い値になると、図１５に示すように、ネットワークノード制御装置５３は、フローＩＤ＃２の品質探索用フローを用いて、迂回経路候補のルート♯Ｂおよびルート♯Ｃのネットワーク品質解析を行ない、その結果に基づき第一から第四の経路割当論理を用いて迂回経路候補の探索を行う。

あるいは、図１６および図１７に示すように、ネットワークノード制御装置５３は、モニタ対象のフローＩＤ＃１の既設フローに対しては、常時、品質モニタを実施している。当該既設フローが所定の品質規定値の上限に近い値になると、ネットワークノード制御装置５３は、フローＩＤ＃２およびフローＩＤ＃３の品質探索用フローを用いて、迂回経路候補のルート♯Ｂおよびルート♯Ｃのネットワーク品質解析を行ない、その結果に基づき第一から第四の経路割当論理を用いて迂回経路候補の探索を行う。

このように、ネットワークノード制御装置５３は、特定の既設フローの品質劣化を未然に防ぐために、品質劣化を来たしてきた場合に、上述の品質探索用フローを用いて遅延または遅延ジッタ特性あるいはトラフィック品質としてのパケットロスなどのサービス品質に応じたネットワーク品質が提供できるルートを探索し、当該ルートに特定の既設フローの経路を切り替える経路切替制御を行うことができる。

（本発明の第四の実施の形態に係るネットワーク制御システム１Ａについて）
本発明の第四の実施の形態に係るネットワーク制御システム１Ａについて図１８〜図２０を参照して説明する。図１８はＬＡＮ４０ａ−１からＬＡＮ４０ａ−３へのホスト４３ａ−１，４３ａ−３間のフローＩＤ＃１の既設フローに対して、ネットワークの品質解析結果を元に、ホスト４３ａ−１，４３ａ−３内の誤り訂正符号の冗長度あるいは送信および／または受信バッファ量を制御することを説明する図である。

ネットワークノード制御装置５３ａは、フローＩＤ＃１の既設フローに対して計測装置３０−１５，３０−１６間のリンク品質を常時モニタしており、規定のネットワーク品質に対して劣化してきた場合に、ホスト４３ａ−１，４３ａ−３に対して誤り訂正符号の冗長度あるいは送信および／または受信バッファ量を制御する。

ホスト４３ａ−１，４３ａ−３の構成を図１９，図２０に示す。図１９の構成では、送信側ホストはＩＰパケット化するＩＰパケット組立回路６０と誤り訂正の符号回路６１によって構成される。また受信側ホストは誤り訂正符号復号回路６２とＩＰパケットを解くＩＰパケット分解回路６３によって構成される。

ネットワークノード制御装置５３ａは、フローＩＤ＃１の既設フローのリンクごとのネットワーク品質解析結果を前述の第一から第四の経路割当論理により算出し、サービス品質としてパケットロスの上限値に近づくことが観測された場合に、送信ホストまたは受信ホストに対して誤り訂正符号の冗長度の変更を指示する制御を行う。

このようにネットワークノード制御装置５３ａは、冗長度の変更指示により、誤り訂正符号化ブロックのサイズを変更し、データパケット（ＩＰパケット）に対する誤り訂正符号パケットの割合を制御する。このようにして誤り訂正符号の冗長度を変更することによりパケットロスに対する再生量を変化させ、受信性能の品質を一定にすることができる。

また、図２０の構成では、送信側ホストはＩＰパケット化するＩＰパケット組立回路６０とバッファ７１によって構成される。また受信側ホストはバッファ７２とＩＰパケットを解くＩＰパケット分解回路６３によって構成される。

ネットワークノード制御装置５３ａは、バッファ７１，７２を観測することより、サービス品質としての遅延揺らぎの上限値に近づくことが観測された場合に、送信ホストないし受信ホストに対して送信側のバッファ７１のバッファ量および／または受信側のバッファ７２のバッファ量の変更を指示する制御を行う。このようにして送信および／または受信バッファ量の制御により遅延ジッタに見合う分散量を吸収し、バッファ溢れを防ぐことが可能となる。

（本発明の実施の形態に係る効果について）
中央局５０，５０ａでフロー単位のネットワーク品質をプローブ毎のパケット情報を用いてリンク品質を解析することで、サービスで規定する品質をフロー単位で制御することが可能となる。また、上述のネットワーク品質解析結果をフロー単位で求めることにより、新設フローの最適な経路割当、特定フローに対し、サービス品質を満足する経路への再配置割当（迂回）、ホストの誤り訂正能力の制御ならびに送信受信バッファ制御によるバッファ溢れの防止、および最適なネットワーク遅延でのサービス提供を実現することが可能となる。

（プログラムを用いた実施の形態について）
中央局５０，５０ａの各部（観測データ収集装置５１の制御機能、観測データ蓄積装置５２の制御機能、ネットワークノード制御装置５３，５３ａの制御機能、時刻情報配信装置５４の制御機能など）は、所定のプログラムにより動作する汎用の情報処理装置（ＣＰＵ(Central Processing Unit)、ＤＳＰ(Digital Signal Processor)、マイクロプロセッサ（マイクロコンピュータ）など）によって構成されてもよい。例えば、汎用の情報処理装置は、メモリ、ＣＰＵ、入出力ポートなどを有する。汎用の情報処理装置のＣＰＵは、メモリなどから所定のプログラムとして制御プログラムを読み込んで実行する。これにより、汎用の情報処理装置には、中央局５０，５０ａの各部の機能が実現される。また、その他の機能についてもソフトウェアにより実現可能な機能については汎用の情報処理装置とプログラムとによって実現することができる。

なお、汎用の情報処理装置が実行する制御プログラムは、中央局５０，５０ａの出荷前に、汎用の情報処理装置のメモリなどに記憶されたものであっても、中央局５０，５０ａの出荷後に、汎用の情報処理装置のメモリなどに記憶されたものであってもよい。また、制御プログラムの一部が、中央局５０，５０ａの出荷後に、汎用の情報処理装置のメモリなどに記憶されたものであってもよい。中央局５０，５０ａの出荷後に、汎用の情報処理装置のメモリなどに記憶される制御プログラムは、例えば、ＣＤ−ＲＯＭなどのコンピュータ読取可能な記録媒体に記憶されているものをインストールしたものであっても、インターネットなどの伝送媒体を介してダウンロードしたものをインストールしたものであってもよい。

また、制御プログラムは、汎用の情報処理装置によって直接実行可能なものだけでなく、ハードディスクなどにインストールすることによって実行可能となるものも含む。また、圧縮されたり、暗号化されたりしたものも含む。

このように、汎用の情報処理装置とプログラムによって中央局５０，５０ａの機能を実現することにより、大量生産や仕様変更（または設計変更）に対して柔軟に対応可能となる。

（その他の実施の形態）
本発明の実施の形態は、その要旨を逸脱しない限り、様々に変更が可能である。たとえば、観測データ収集装置５１の機能と観測データ蓄積装置５２の機能とを一つに集約した装置を構成してもよい。さらに、この装置に、ネットワークノード制御装置５３，５３ａおよび／または時刻情報配信装置５４の機能を集約してもよい。

上述の実施の形態では、説明を分り易くするために、ネットワークノード装置１０と計測装置３０とを別装置として説明したが、ネットワークノード装置１０に計測装置３０の機能を含むようにしてもよい。

ＬＡＮ４０−１〜４０−３の構成要素については、スイッチ４１、サーバ４２、端末４３に限定されることはなく、他の様々な構成要素としてよい。

１，１Ａ…トラフィック観測システム、１０−１〜１０−４…ネットワークノード装置、２０…パケットネットワーク、３０−１〜３０−１２…計測装置、５０，５０ａ…中央局、５１…観測データ収集装置、５２…観測データ蓄積装置、５３，５３ａ…ネットワークノード制御装置、５４…時刻情報配信装置

Claims (5)

1. パケットネットワークに配置された複数のトラフィックの計測装置またはトラフィック計測機能を備える複数のネットワークノード装置と、
   複数の上記計測装置または複数の上記ネットワークノード装置からのトラフィック観測データの通知を受ける中央局と、
   時刻情報を複数の上記計測装置または複数の上記ネットワークノード装置に配信する時刻情報配信装置と、
   を備え、
   複数の上記計測装置または複数の上記ネットワークノード装置は、上記時刻情報配信装置から配信された時刻情報を受信し、その時刻情報に基づいて複数の上記計測装置間または複数の上記ネットワークノード装置間の時刻を同期させ、
   上記中央局は、
   上記トラフィック観測データを収集して解析する観測データ収集装置と、
   リンクに対するトラフィック量、パケットロス量、特定のフローに対するネットワーク遅延量、または遅延ジッタ量を含むネットワーク品質の解析結果およびフロー毎の経路情報を基に、フロー毎に最適経路を探索し、該当するネットワークノード装置に対して経路設定を行うネットワークノード制御装置と、
   を備える、
   ことを特徴とするネットワーク制御システム。
2. 請求項１記載のネットワーク制御システムであって、
   前記ネットワークノード制御装置は、ネットワークの遅延、遅延ジッタに対して高品質を要求する特定のフローの設定に際し、当該フローの取り得る経路におけるフローの遅延ジッタ量から最適経路として当該遅延ジッタ量が最少となる経路を選択し、該当するネットワークノード装置に対して経路設定を行う、
   ことを特徴とするネットワーク制御システム。
3. 請求項１記載のネットワーク制御システムであって、
   前記ネットワークノード制御装置は、特定フローのネットワーク品質の観測結果をモニタし、ネットワーク品質を示す値が所定の値を超える前に変更経路の探索を行ない、該当するネットワークノード装置に対して変更経路の設定を行う、
   ことを特徴とするネットワーク制御システム。
4. 請求項１記載のネットワーク制御システムであって、
   前記ネットワークノード制御装置は、特定フローのネットワーク品質の観測結果をモニタし、ネットワーク品質を示す値が所定の値を超える前に、特定フローを送出または受信する端末に対し、誤り訂正符号の冗長度あるいはバッファ量の設定値を変更する、
   ことを特徴とするネットワーク制御システム。
5. パケットネットワークに配備された複数のトラフィックの計測装置またはトラフィック計測機能を備える複数のネットワークノード装置が、トラフィック観測データを中央局に通知するステップを実行し、
   上記中央局の観測データ収集装置が、上記トラフィック観測データを収集して解析するステップを実行し、
   時刻情報配信装置が、時刻情報を複数の上記計測装置または複数の上記ネットワークノード装置に配信するステップを実行し、
   複数の上記計測装置または複数の上記ネットワークノード装置が、上記時刻情報配信装置から時刻情報を配信されて複数の上記計測装置間または複数の上記ネットワークノード装置間の時刻を同期するステップを実行し、
   上記中央局のネットワークノード制御装置が、リンクに対するトラフィック量またはパケットロス量または特定のフローに対するネットワーク遅延量または遅延ジッタ量を含むネットワーク品質の解析結果およびフロー毎の経路情報を基に、フロー毎に最適経路を探索し、該当する上記ネットワークノード装置に対して経路設定を行うステップを実行する、
   ことを特徴とするネットワーク制御方法。

Images