JP2004072228A - パケット交換網の性能管理閾値設定方法、閾値設定装置、プログラム、およびプログラムを記憶した記憶媒体 - Google Patents
パケット交換網の性能管理閾値設定方法、閾値設定装置、プログラム、およびプログラムを記憶した記憶媒体 Download PDFInfo
- Publication number
- JP2004072228A JP2004072228A JP2002225831A JP2002225831A JP2004072228A JP 2004072228 A JP2004072228 A JP 2004072228A JP 2002225831 A JP2002225831 A JP 2002225831A JP 2002225831 A JP2002225831 A JP 2002225831A JP 2004072228 A JP2004072228 A JP 2004072228A
- Authority
- JP
- Japan
- Prior art keywords
- quality
- event
- quality deterioration
- packet
- deterioration event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【課題】主観品質を一定水準以上に保つように設定できるリソースの負荷量の閾値設定方法、閾値設定装置、プログラム、およびプログラムを記憶した記憶媒体を提供する。
【解決手段】パケット交換網を介して受信されたコンテンツに対するユーザの評点、コンテンツをパケット交換網を介して提供した場合に、パケット交換網の負荷に起因して生起する品質劣化事象およびこの品質劣化事象の出現頻度から、ユーザの主観品質評価値を求め、この主観品質評価値に影響を及ぼす品質劣化事象を特定し、リソースの負荷量と、この負荷量によりリソースを要因として生じる品質劣化事象およびこの品質劣化事象の出現頻度とから、負荷量と品質劣化事象との相関関係をリソース毎に求め、予め設定された主観品質評価値の目標値を満たすリソースにかかる負荷量を求め、この値を管理閾値として設定する。
【選択図】 図１
【解決手段】パケット交換網を介して受信されたコンテンツに対するユーザの評点、コンテンツをパケット交換網を介して提供した場合に、パケット交換網の負荷に起因して生起する品質劣化事象およびこの品質劣化事象の出現頻度から、ユーザの主観品質評価値を求め、この主観品質評価値に影響を及ぼす品質劣化事象を特定し、リソースの負荷量と、この負荷量によりリソースを要因として生じる品質劣化事象およびこの品質劣化事象の出現頻度とから、負荷量と品質劣化事象との相関関係をリソース毎に求め、予め設定された主観品質評価値の目標値を満たすリソースにかかる負荷量を求め、この値を管理閾値として設定する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、インターネット等のパケット交換網を使用したコンテンツ配信等のサービスにおけるネットワーク機器およびサーバ等を管理する技術に関するものであり、特に、パケット交換網およびサーバ等のリソースの負荷量を管理する技術に関する。
【０００２】
【従来の技術】
パケット交換とは、一定形式のパケットを使ってデータを伝送する通信システムである。パケット交換ではパケットの中継ノードとして蓄積送出方式のパケット交換機が使用される。
また、パケット交換では、交換機間の中継回線を多数の利用者のパケットで多重利用するため、回線使用率が高く、その結果通信コストが低下する。また、回線区間が混んでいたり、故障になっているときはパケット単位で自動的に迂回ルートをたどるので、通信の信頼性が高い。しかし、トラフィック状態によってエンド・ツー・エンドの伝送遅延時間が変動し、サービス性能が低下する場合もある。
【０００３】
このため、パケット交換網を介して提供するサービスの品質を劣化させる事象の発生を一定水準に維持するために、パケット交換網を構成する各リソースにかかる負荷量を均衡させるための負荷量の閾値が、各リソースに設けられている。負荷量の閾値を設定することにより、パケット転送遅延やパケット損失など品質劣化の原因を抑えることができ、パケット交換網の負荷に起因して生起する品質劣化事象の出現を抑えている。
この閾値としては、例えばリソース使用率により記述されるＣＰＵ使用率、ＨＤＤ使用率等が用いられる。
【０００４】
【発明が解決しようとする課題】
しかし、従来の技術には、次のような問題があった。
このパケット交換網のリソースの負荷量の閾値は、技術者の経験や勘に頼って設定されており、エンドユーザの体感する品質とは無関係に設定されている。また、多くの場合、個々のリソースの性能や機器等に応じた個別の特性とは無関係に一律に規定されている。
従来のリソースの負荷量の閾値方法では、エンドユーザの体感する品質の尺度である主観品質を考慮して設定されていないため、閾値に基づいた品質管理を行っていても、エンドユーザの体感する品質は大きく乖離し、異なる場合がある。
【０００５】
そこで、本発明は、前述した従来技術の問題点や課題を解決するためになされたものであり、その目的は、主観品質を一定水準以上に保つように設定できるリソースの負荷量の閾値設定方法、閾値設定装置、プログラム、およびプログラムを記憶した記憶媒体を提供することである。
【０００６】
【課題を解決するための手段】
上記の目的を達成するため、本発明にかかるパケット交換網を介して提供するサービスの品質を劣化させる事象の発生を一定水準以下に維持するリソースの負荷量をパケット交換網の性能管理閾値として設定する閾値設定方法は、パケット交換網を介して受信されたコンテンツに対するユーザの評点、コンテンツをパケット交換網を介して提供した場合に、パケット交換網の負荷に起因して生起する品質劣化事象およびこの品質劣化事象の出現頻度から、ユーザの主観品質評価値を求め、この主観品質評価値に影響を及ぼす品質劣化事象を特定する品質劣化事象特定ステップと、リソースの負荷量と、この負荷量によりリソースを要因として生じる品質劣化事象およびこの品質劣化事象の出現頻度とから、負荷量と品質劣化事象との相関関係をリソース毎に求める相関関係分析ステップと、品質劣化事象特定ステップおよび相関関係分析ステップの結果から、予め設定された主観品質評価値の目標値を満たすリソースにかかる負荷量を求め、この値を管理閾値として設定する管理閾値設定ステップとを有するようにしたものである。
【０００７】
そうすることにより、コンテンツに対するユーザの評点、品質劣化事象、およびこの品質劣化事象の出現頻度およびリソースにかかる負荷量、品質劣化事象の出現頻度とから、品質を劣化させる事象の発生を一定水準に維持するリソースの負荷量の閾値を設定できる。
ここで、入力されるコンテンツに対するユーザの評点、品質劣化事象、およびこの品質劣化事象の出現頻度は、主観品質評価実験により求めたデータであり、またリソースにかかる負荷量、品質劣化事象の出現頻度は、負荷実験により求められたデータである。
【０００８】
品質劣化事象特定ステップにおける評点、品質劣化事象およびこの品質劣化事象の出現頻度は、コンテンツに対して、１または複数のユーザにより、最終的にコンテンツを利用する形態で、このコンテンツの品質を評価する主観品質評価実験により求められたデータであってもよい。
そうすることにより、コンテンツに対するユーザの評点と品質劣化事象とを、主観品質評価実験により収集することができ、それらを関係づけることができる。
【０００９】
品質劣化特定ステップについては、品質劣化事象毎に、主観品質評価値と品質劣化事象の出現頻度とを求め、主観品質評価値に最も相関関係を有する品質劣化事象の特定を行うようにしてもよい。
そうすることにより、主観品質評価値に影響のある品質劣化事象の特定ができる。
ここで、特定される主観品質評価値に最も相関関係を有する品質劣化事象は複数であってもよい。
【００１０】
相関関係分析ステップについては、品質劣化事象特定ステップにより特定された品質劣化事象およびリソースの負荷量、品質劣化事象およびこの品質劣化事象の出現頻度から、特定された品質劣化事象について、負荷量と品質劣化事象との相関関係を求めるようにしてもよい。
そうすることにより、品質劣化事象特定ステップにより特定された品質劣化事象についてのみ、負荷量と品質劣化事象との相関関係を求めることができる。
【００１１】
管理閾値設定ステップについては、品質劣化事象特定ステップにより特定された品質劣化事象の出現頻度と主観品質評価値とにより回帰曲線を導出し、予め決定された主観品質評価値の目標値に対応する品質劣化事象の出現頻度を限界頻度として求め、相関関係分析ステップの結果により求められた相関関係から、限界頻度を超えない負荷量をトラフィックパターン毎に求めるようにしてもよい。
【００１２】
さらに、予め決定された品質劣化事象の出現頻度の目標値を、限界頻度が超えた場合にはこの目標値に対する負荷量を求め、トラフィックパターン毎に求めた負荷量の中から、その最小値を管理閾値とするようにしてもよい。
そうすることにより、品質劣化事象の発生を一定水準に維持するリソースの負荷量を求めることができる。
ここで、予め決定された品質劣化事象の出現頻度の目標値を、限界頻度が超えた場合には、品質劣化事象の出現頻度の測定値に対する許容誤差を考慮して、閾値を求めるようにしてもよい。
【００１３】
品質劣化事象特定ステップについては、主観品質評価値と、予め想定した品質劣化事象の発生頻度とにより、主観品質評価値を目的変数Ｙ、品質劣化事象の発生頻度を説明変数Ｘｉ（ｉ＝１，２，・・・）として、回帰曲線を導出し、目的変数Ｙの変動に影響を与える説明変数Ｘｉを、統計的検定を行うことにより求めるようにしてもよい。
そうすることにより、主観品質評価値に影響のある品質劣化事象を求めることができる。
【００１４】
この閾値設定方法では、管理閾値品質劣化事象として、この品質劣化事象に対する品質指標を用いるようにしてもよい。
そうすることにより、品質指標を基にして、管理閾値を求めることができる。ここで、品質指標には、パケット損失率、映像の歪度、レスポンスタイムなどが含まれる。
【００１５】
本発明にかかる閾値設定装置は、パケット交換網を介して提供するサービスの品質を劣化させる事象の発生を一定水準以下に維持するリソースの負荷量をパケット交換網の性能管理閾値として設定する閾値設定装置であって、パケット交換網を介して受信されたコンテンツに対するユーザの評点、このコンテンツをパケット交換網を介して提供した場合に、パケット交換網に生起する品質劣化事象およびこの品質劣化事象の出現頻度を入力する第１の入力手段と、リソースの負荷量と、この負荷量の場合にリソースに生じる品質劣化事象およびこの品質劣化事象の出現頻度とを入力する第２の入力手段と、第１の入力手段により入力された評点からコンテンツ毎に主観品質評価値の計算を行う主観品質評価値計算手段と、第１の入力手段に入力された品質劣化事象およびこの品質劣化事象の出現頻度から品質劣化事象毎に品質劣化事象の出現頻度の計算を行う品質劣化事象出現頻度計算手段と、主観品質評価値計算手段により計算された主観品質評価値と、品質劣化事象出現頻度計算手段により計算された品質劣化事象毎の出現頻度とから、主観品質評価値に影響を及ぼす品質劣化事象を特定する品質劣化事象特定手段と、第２の入力手段により入力された負荷量、品質劣化事象およびこの品質劣化事象の出現頻度から、それらの相関関係をリソース毎に求める相関関係分析手段と、品質劣化事象特定手段および相関関係分析手段の結果から、予め設定された主観品質評価値の目標値を満たすリソースにかかる負荷量を求め、この値を管理閾値として設定する管理閾値設定手段とを備えるようにした装置である。
【００１６】
そうすることにより、コンテンツに対するユーザの評点、品質劣化事象、およびこの品質劣化事象の出現頻度およびリソースにかかる負荷量、品質劣化事象の出現頻度とから、品質を劣化させる事象の発生を一定水準に維持するリソースの負荷量の閾値を設定できる。
ここで、入力されるコンテンツに対するユーザの評点、品質劣化事象、およびこの品質劣化事象の出現頻度は、主観品質評価実験により求めたデータであり、またリソースにかかる負荷量、品質劣化事象の出現頻度は、負荷実験により求められたデータである。
【００１７】
品質劣化事象特定手段については、品質劣化事象毎に、主観品質評価値と品質劣化事象の出現頻度とを求め、主観品質評価値に最も相関関係を有する品質劣化事象の特定を行うようにしてもよい。
そうすることにより、主観品質評価値に影響のある品質劣化事象の特定ができる。
ここで、特定される主観品質評価値に最も相関関係を有する品質劣化事象は複数であってもよい。
【００１８】
相関関係分析手段については、品質劣化事象特定手段により特定された品質劣化事象、負荷量、出現頻度とから、特定された品質劣化事象について、負荷量、出現頻度との相関関係を求めるようにしてもよい。
そうすることにより、品質劣化事象特定ステップにより特定された品質劣化事象についてのみ、負荷量と品質劣化事象との相関関係を求めることができる。
【００１９】
管理閾値設定手段については、品質劣化事象特定手段により特定された品質劣化事象の出現頻度と主観品質評価値とにより回帰曲線を導出し、予め決定された主観品質評価値の目標値に対応する品質劣化事象の出現頻度を限界頻度として求め、相関関係分析手段の結果により求められた相関関係から、限界頻度を超えない負荷量をトラフィックパターン毎に求めるようにしてもよい。
【００２０】
さらに、限界頻度が予め決定された品質劣化事象の出現頻度の目標値を超えた場合には、この目標値に対する負荷量を求め、トラフィックパターン毎に求めた負荷量の中から、その最小値を管理閾値とするようにしてもよい。
そうすることにより、品質劣化事象の発生を一定水準に維持するリソースの負荷量を求めることができる。
ここで、予め決定された品質劣化事象の出現頻度の目標値を、限界頻度が超えた場合には、品質劣化事象の出現頻度の測定値に対する許容誤差を考慮して、閾値を求めるようにしてもよい。
【００２１】
品質劣化事象特定手段については、ユーザの評点から求めた主観品質評価値と、予め想定した品質劣化事象の発生頻度とにより、主観品質評価値を目的変数Ｙ、品質劣化事象の発生頻度を説明変数Ｘｉ（ｉ＝１，２，・・・）として、回帰曲線を導出し、目的変数Ｙの変動に影響を与える説明変数Ｘｉを、統計的検定を行うことにより求めるようにしてもよい。
そうすることにより、主観品質評価値に影響のある品質劣化事象を求めることができる。
【００２２】
この閾値設定装置では、品質劣化事象として、この品質劣化事象に対する品質指標を用いるようにしてもよい。
そうすることにより、品質指標を基にして、管理閾値を求めることができる。ここで、品質指標には、パケット損失率、映像の歪度、レスポンスタイムなどが含まれる。
【００２３】
本発明にかかるリソースの負荷量の閾値設定プログラムおよびプログラムを記憶した記憶媒体は、パケット交換網を介して受信されたコンテンツに対するユーザの評点、このコンテンツをパケット交換網を介して提供した場合に、パケット交換網に生起する品質劣化事象およびこの品質劣化事象の出現頻度を入力する第１の入力手段と、リソースの負荷量と、この負荷量の場合に生じる品質劣化事象およびこの品質劣化事象の出現頻度とを入力する第２の入力手段と、第１の入力手段に入力された評点からコンテンツ毎に主観品質評価値の計算を行う主観品質評価値計算手段と、第１の入力手段により入力された品質劣化事象およびこの品質劣化事象の出現頻度から品質劣化事象毎に品質劣化事象の出現頻度の計算を行う品質劣化事象出現頻度計算手段と、主観品質評価値計算手段により計算された主観品質評価値と、品質劣化事象出現頻度計算手段により計算された品質劣化事象毎の出現頻度とから、主観品質評価値に影響を及ぼす品質劣化事象を特定する品質劣化事象特定手段と、第２の入力手段により入力された負荷量、品質劣化事象およびこの出現頻度とから、少なくとも品質劣化事象特定手段により特定された品質劣化事象について、それらの相関関係をリソース毎に求める相関関係分析手段と、品質劣化事象特定手段および相関関係分析手段の結果から、予め設定された主観品質評価値の目標値を満たすリソースにかかる負荷量を、管理閾値として設定する管理閾値設定手段として、コンピュータを機能させるようにしたものである。
【００２４】
この性能管理閾値設定プログラムでは、品質劣化事象として、この品質劣化事象に対する品質指標を用いるようにしてもよい。
そうすることにより、品質指標を基にして、管理閾値を求めることができる。ここで、品質指標には、パケット損失率、映像の歪度、レスポンスタイムなどが含まれる。
【００２５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００２６】
図１は、本発明にかかるリソース負荷量管理システムの構成を説明するためのブロック図である。
リソース負荷量管理システムは、閾値設定装置１と管理装置２とから構成される。
以下では、パケット通信網６、例えばパケット交換機またはルータからなるノード７Ａ、７Ｂ、７Ｃ、ユーザ端末装置３Ａ、３Ｂ、３Ｃ、３Ｄおよびそれらを結ぶリンクからなるものと仮定した簡単なトポロジを例として説明する。
【００２７】
このパケット交換網６を構成するノード７Ａ、７Ｂ、７Ｃには、ユーザ端末装置３Ａ、３Ｂ、３Ｃ、３Ｄ、サーバ４Ａ、４Ｂ、負荷実験装置５が接続されている。詳細には、ノード７Ａに閾値設定装置１とユーザ端末装置３Ａ、ノード７Ｂにユーザ端末装置３Ｄとサーバ４Ａとサーバ４Ｂ、ノード７Ｃにユーザ端末装置３Ｂとユーザ端末装置３Ｃと負荷装置５が接続されている。また、各ノードは、リンク、例えば通信回線や伝送路を介して接続されている。
ここで、負荷実験装置５は、後述する負荷実験を行う場合に使用される装置であり、必要に応じて接続される。
【００２８】
閾値設定装置１は、入力部１−１と、主観品質評価値計算部１−２と、品質劣化事象出現頻度計算部１−３と、品質劣化事象特定部１−４と、相関関係分析部１−５と、管理閾値設定部１−６とを備え、予め行われる主観品質評価実験および負荷実験の結果を入力として、リソースの負荷量の閾値の計算を行う装置である。
管理装置２は、パケット交換網６を構成するリソース、例えばパケット交換機を管理する装置である。例えば、パケット交換網６を介して提供するサービスの品質を劣化させる事象の発生を一定水準に維持するリソースの負荷量の閾値の設定を行う。
【００２９】
ユーザ端末装置３Ａ、３Ｂ、３Ｃ、３Ｄは、後述する負荷実験装置５からのトラフィックパターンに対する応答パケットを送出する通信装置である。
負荷実験装置４は、パケット交換網５を構成するリソース、例えば、ユーザ端末装置３Ａ、３Ｂ、３Ｃ、３Ｄおよびサーバ４Ａ、４Ｂに対して、予め指定されたトラフィックパターンを加え、このトラフィックパターンの負荷を、品質劣化事象が発生するまで増加させることにより、リソースの負荷量、品質劣化事象、この品質劣化事象の出現頻度を求めることにより、負荷実験を行う。
【００３０】
次に、実施の形態にかかる閾値設定装置１の構成について説明する。
閾値設定装置１の構成は、入出力装置と、表示装置と、ドライブ装置と、記憶媒体と、補助記憶装置と、メモリ装置と、演算処理装置と、ＩＦ装置とにより構成される。また、インターフェース（ＩＦ）装置は、パケット交換網６を介して、ユーザ用端末装置３Ａ、３Ｂ、３Ｃ、３Ｄ、サーバ４Ａ、４Ｂ等に接続される。
【００３１】
入出力装置は、閾値設定装置１の管理者が操作するキーボードおよびマウスなどで構成され、閾値設定装置１に各種操作信号を入力するために用いられる。また、主観品質評価実験データおよび負荷実験データを入力するようにしてもよい。
表示装置は、閾値設定装置１を操作するのに必要な各種ウインドウやデータ等を表示する。
インターフェース装置は、閾値設定装置１をパケット交換網６に接続するためのインターフェースである。
【００３２】
リソースの負荷量の閾値設定プログラムは、ソフトウエアパッケージ、例えばＣＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、フレキシブルディスク、メモリカードなどの情報記憶媒体１１によって提供される。シミュレーション計算サービス提供プログラムを記憶した記憶媒体は、ドライブ装置にセットされ、プログラムが記憶媒体からドライブ装置を介して補助記憶装置にインストールされる。
補助記憶装置は、インストールされたシミュレーション計算サービス提供プログラムを格納するとともに、必要なファイル、データ等を格納する。
メモリ装置は、閾値設定装置の起動時に補助記憶装置からリソースの負荷量の閾値設定プログラムを読み出し、格納する。
また、リソースの負荷量の閾値設定プログラムは、電気通信によって、例えばサーバによって、提供されるものであってもよい。
演算処理装置は、メモリ装置に読み出され格納されたリソースの負荷量の閾値設定プログラムにしたがって、リソースの負荷量の閾値設定にかかる処理を実行する。
【００３３】
次に、本発明にかかるリソース負荷量管理システムにおける閾値設定装置１の動作について、図２を参照して、説明する。
まず、主観品質評価実験により求められた主観品質評価実験データ８、負荷実験により求められた負荷実験データ９、目標とする主観品質評価値Ｄ、およびリソースの負荷量Ｖｍの許容誤差Ｌは、閾値設定装置１の入力部１−１に入力される。
例えば、リソース負荷量管理システムに備えられた操作部（図示なし）、例えばキーボードなどを用いて、直接入力するようにしてもよい。また、ユーザ端末装置３Ａ、３Ｂ、３Ｃ、３Ｄからパケット交換網６を介して入力部１−１に入力するようにしてもよい。また、背景負荷生成装置（図示なし）および負荷実験装置５から、主観品質評価実験データ８、負荷実験データ９、目標とする主観品質評価値Ｄ、およびリソースの負荷量Ｖｍを送信し、パケット交換網６を介して入力するようにしてもよい。
【００３４】
ここで、主観品質評価実験とは、最終的にアプリケーションを利用する形態で、利用者たる人間がその品質を評価する実験である。この主観品質評価実験では、利用者（被験者）Ａｋの評点Ｅ（ｈ、ｋ）ｈ、ｋ、パケット交換網６を介して提供されるアプリケーションの品質劣化事象Ｆｉの出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉが求められ、Ｅ（ｈ、ｋ）ｈ、ｋと、ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉとが主観品質評価実験データとして収集される。
ここで、Ｈ、ｈは品質評価実験において１または複数の被験者に提供する被評価コンテンツの数であり、Ｋ、ｋは品質評価実験の被験者数であり、Ｉ、ｉは品質劣化事象として想定する事象の数である。以下、同様の記号を用いて、説明する。
【００３５】
この主観品質評価実験では、パケット交換網６を介してアプリケーション、例えば映像情報や音声情報などのコンテンツを、ユーザとなる１または複数の被験者に提供し、評価してもらうことにより評点を収集し、そのアプリケーションの品質の評価を行う。
例えば、評点としては、被験者に評価対象アプリケーション、例えばコンテンツに対して、例えば「非常によい」から「非常に悪い」までの５段階評価値を用いる。
この評点から、例えばＤＭＯＳ（Ｄｅｇｒａｄａｔｉｏｎ Ｍｅａｎ Ｏｐｉｎｉｏｎ Ｓｃｏｒｅ） を求め、求めた値を主観品質評価値として用いる。
【００３６】
また、主観品質評価値に最も相関のある品質劣化事象、例えば映像のコマ落ち、ブロックノイズ、映像停止、音声の歪み、音声停止、パケット損失率の一定以上の増加、遅延時間の一定以上の増加、遅延揺らぎの一定以上の増加など客観的に記述でき、また計測でき、予め想定できる品質劣化事象を抽出する。
例えば、ノード７Ａ、７Ｂにそれぞれ背景負荷生成装置（図示なし）を接続し、この背景負荷生成装置により、ユーザ端末装置３Ａとユーザ端末装置３Ｄとの間のリンクに対して、仮想的に所望のネットワーク負荷を与えることができる。これにより、予め種々のネットワーク負荷を発生させてパケットの性能情報を抽出し品質劣化事象を抽出するとともに、被験者による主観評価を行うようにしてもよい。
【００３７】
また、負荷実験とは、パケット交換網６を構成するリソースであるノード７Ａ、７Ｂ、７Ｃ、例えばパケット交換機とサーバ４Ａ、４Ｂなどの負荷量と、品質劣化事象とこの品質劣化事象の出現頻度とを求める実験である。
この負荷実験では、トラフィックパターンｍを負荷し、リソースの負荷量Ｖｍのときの品質劣化事象Ｆｉとこの品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）とトラフィックパターンｍを負荷したときのリソースの負荷量Ｖｍとが、負荷実験データとして、収集される。
ここで、Ｍ、ｍは負荷パターンの総数である。以下同様の記号を用いる。
【００３８】
この負荷実験では、パケット交換網６を構成するリソースに対して、予め指定したトラフィックパターンｍを負荷し、品質劣化事象Ｆｉが発生するまでトラフィックパターンｍの負荷の量を増加させ、リソースにかかる負荷量Ｖｍおよび品質劣化事象Ｆｉとこの品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）を求める。
【００３９】
ここで、トラフィックパターンｍの負荷は前期の品質劣化事象が発生するまで増加させるようにしてもよい。また、トラフィックパターンｍの負荷を品質劣化事象Ｆｉが発生する前後で、繰り返し増減させるようにし、リソースにかかる負荷量Ｖｍおよび品質劣化事象Ｆｉとこの品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）を求めるようにしてもよい。
また、パケット交換網６を構成するリソースに負荷するトラフィックパターンｍは一種類とは限らず、複数指定してもよい。例えば、リソースがボトルネックとするトラフィックパターンｍを、複数指定してもよい。
【００４０】
本実施の形態においては、品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）の目標値を予め決め、この目標値を超えない範囲でトラフィックパターンｍの負荷を変化させ、このときのリソースの負荷量Ｖｍおよび品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）をリソース毎に求める。負荷量Ｖｍとしては、各リソースにおけるＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）の使用率、ＨＤＤ（ｈａｒｄ ｄｉｓｋ
ｄｒｉｖｅ）の使用率を用いる。
【００４１】
例えば、ノード７Ｃの負荷実験を行う場合には、負荷実験装置５をノード７Ｃに接続し、負荷実験装置５から、予め指定したトラフィックパターンｍを負荷し、品質劣化事象Ｆｉが発生するまでトラフィックパターンｍの負荷を量的に増加させ、リソースにかかる負荷量Ｖｍおよび品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）を求めるようにしてもよい。また、他のユーザ端末装置３Ａ、３Ｂ、３Ｃ、３Ｄ、サーバ４Ａ、４Ｂについても同様である。
また、目標とする主観品質評価値Ｄおよびリソースの負荷量の許容誤差Ｌは予め決定される。
【００４２】
次に、入力部１−１は、入力された被験者の評点Ｅ（ｈ、ｋ）ｈ、ｋを、主観品質劣化事象計算部１−２に入力する。主観品質劣化事象計算部１−２では、入力された評点Ｅ（ｈ、ｋ）ｈ、ｋから、主観品質評価値Ｅ１（ｈ）を計算する。例えば、主観品質評価値Ｅ１（ｈ）としてＤＭＯＳ（Ｄｅｇｒａｄａｔｉｏｎ Ｍｅａｎ Ｏｐｉｎｉｏｎ Ｓｃｏｒｅ） を計算する。
例えば、被験者Ａｋの評点Ｅ（ｈ、ｋ）ｈ、ｋに対する主観品質評価値Ｅ１（ｈ）を、例えば、式（１）により、評価対象コンテンツＣｈ毎に評点Ｅ（ｈ、ｋ）ｈ、ｋの平均値を計算し、計算された値を主観品質評価値Ｅ１（ｈ）とすることにより求めてもよい。
【００４３】
【数１】
【００４４】
また、入力部１−１に入力された品質劣化事象Ｆｉの出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉは、品質劣化事象出現頻度計算部１−３に入力される。品質劣化事象出現頻度計算部１−３では、入力された品質劣化事象Ｆｉの出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉから、各被験者に提供したコンテンツＣｈに対する品質劣化事象Ｆｉ毎の出現頻度ＭＡ１（ｈ、ｉ）を計算する。
例えば、品質劣化事象Ｆｉの出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉ に対する品質劣化事象Ｆｉの出現頻度ＭＡ１（ｈ、ｉ）を、例えば、式（２）により評価対象コンテンツＣｈ毎に品質劣化事象Ｆｉの出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉの平均値を計算し、計算された値を品質劣化事象Ｆｉの出現頻度ＭＡ１（ｈ、ｉ）とすることにより求めてもよい。
【００４５】
【数２】
【００４６】
上述した、主観品質評価値Ｅ１（ｈ）および品質劣化事象Ｆｉの出現頻度ＭＡ１（ｈ、ｉ）の計算は、評価対象コンテンツＣｈ毎に行われる。
主観品質評価値計算部１−２および品質劣化事象出現頻度計算部１−３により計算された主観品質評価値Ｅ１（ｈ）および品質劣化事象Ｆｉの出現頻度ＭＡ１（ｈ、ｉ）は、品質劣化事象特定部１−４に入力される。
また、入力部１−１に入力された目標とする主観品質評価値Ｄは品質劣化事象特定部１−４に入力される。
【００４７】
品質劣化事象特定部１−４では、入力された主観品質評価値Ｅ１（ｈ）および品質劣化事象Ｆｉの出現頻度ＭＡ１（ｈ、ｉ）に基づいて、対象とするコンテンツの主観品質評価値に最も影響を与える品質劣化事象の特定が行われる。
例えば、入力された主観品質評価値Ｅ１（ｈ）を目的変数Ｙ、品質劣化事象Ｆｉの出現頻度ＭＡ１（ｈ、ｉ）を説明変数Ｘｉとし、品質劣化事象特定ステップにしたがって、主要な品質劣化事象の特定が行われる。
【００４８】
この品質劣化事象特定ステップについて説明する。
まず、目的変数Ｙと説明変数Ｘｉとの相関係数を計算し、目的変数Ｙと最も相関係数の高い説明変数Ｘｉを選択し、例えば説明変数Ｘ１とする。
次に、選択された説明変数以外の説明変数の中から一つを選択し、例えば説明変数Ｘ２とし、回帰式
Ｙ＝α０＋α１×Ｉｎ（Ｘ１）＋αｉ×Ｉｎ（Ｘｉ）
を導出する。ここで、例えばｉ＝２である。
この回帰式における、回帰係数「αｉ＝０」に対する統計的検定を行う。
【００４９】
この統計的検定の結果、棄却されない場合には、選択された説明変数Ｘ２以外の説明変数の中から一つを選択し、例えば説明変数Ｘ３とし、同様に回帰式
Ｙ＝α０＋α１×Ｉｎ（Ｘ１）＋αｉ×Ｉｎ（Ｘｉ）
を導出する。ここで、例えばｉ＝３である。この回帰式における、回帰係数「αｉ＝０」に対して、同様に、統計的検定を行う。
【００５０】
また、統計的検定の結果棄却される場合には、この説明変数（ここでは説明変数Ｘ２）を回帰式に追加して、選択された説明変数以外の説明変数の中から一つを選択し、この選択された説明変数に対して、回帰式を導出し同様の統計的検定を行う。
全ての説明変数Ｘに対して、同様の統計的検定を行う。
この結果、最終的に導出された回帰式の説明変数のインデックスが主観品質評価値に与える影響の大きい品質劣化事象となる。このインデックスの集合をＩ０とする。また、主観品質評価値に与える影響の大きい品質劣化事象を、ＦＩＯにより表す。
ここで、品質劣化事象特定部１−４により求められる主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯは、複数であってもよい。
【００５１】
主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯに対して、品質劣化事象の出現頻度ＭＡ１（ｈ、ｉ）と主観品質評価値Ｅ１（ｈ）との回帰推定を行い、入力された目標とする主観品質評価値Ｄに対応する品質劣化事象の出現頻度を求め、この値を限界頻度Ｇｉ（Ｄ）とする。
但しｉ∈Ｉ０であり、主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯの中から、選択した品質劣化事象について、限界頻度Ｇｉ（Ｄ）を求める。
品質劣化事象特定部１−４において求められた、主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯおよびこの品質劣化事象ＦＩＯから求められた限界頻度Ｇｉ（Ｄ）は管理閾値設定部１−６に入力される。
【００５２】
また、入力部１−１に入力された品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）とリソースの負荷量Ｖｍの許容誤差Ｌは、相関関係分析部１−５に入力される。
相関分析部１−５では、入力された品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）とリソースの負荷量Ｖｍの許容誤差Ｌとを用いて、トラフィックパターンｍ毎に負荷量Ｖｍと品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）の集計が行われ、この集計結果にしたがって、パケット交換網６を構成するリソース別に、負荷量Ｖｍと品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）との相関関係が求められる。
求められた相関関係およびリソースの負荷量Ｖｍの許容誤差Ｌは、管理閾値設定部１−６に入力される。
【００５３】
ここで、リソースの負荷量Ｖｍの許容誤差Ｌは、入力部１−１から直接、管理閾値設定部１−６に入力されるようにしてもよい。
品質劣化事象特定部１−４において求められた、主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯを相関関係分析部１−５に入力するようにし、各リソースについて、主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯについてのみ負荷量Ｖｍと品質劣化事象ＦＩＯの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）との相関関係を求めるようにしてもよい。
【００５４】
管理閾値設定部１−６では、品質劣化事象特定部１−４から入力された主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯおよびこの品質劣化事象ＦＩＯから求められた限界頻度Ｇｉ（Ｄ）と相関関係分析部１−５から入力された相関関係およびリソースの負荷量Ｖｍの許容誤差Ｌに基づいて、リソースの負荷量の閾値の計算が行われる。
例えば、主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯに含まれる品質劣化事象Ｆｉに対して、Ｘの関数Δを式（３）の様に定義する。
式（３）では、Ｘが限界頻度Ｇｉ（Ｄ）未満である場合に、Δ（Ｇｉ（Ｄ））（Ｘ）は零であり、Ｘが限界頻度Ｇｉ（Ｄ）以上である場合には、Δ（Ｇｉ（Ｄ））（Ｘ）は１である。
【００５５】
この式（３）を用いて、式（４）の計算を行い、主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯに含まれる品質劣化事象Ｆｉに対して、その出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）が限界頻度Ｇｉ（Ｄ）以上である場合の、出現頻度（ｍ、Ｖｍ、ｉ）を求める。言い換えれば、限界頻度Ｇｉ（Ｄ）以上である出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）について、その合計を求め、サンプル数Ｓｉ，ｍで割ることにより、その平均を求める。
【００５６】
【数３】
【００５７】
この式（４）により求めた値が許容誤差Ｌ以下であるか否かを判断する。許容誤差Ｌ以下である場合には、ＸをＱｉ，ｍとし、このＱｉ，ｍに基づいて、リソースの負荷量の閾値の設定が行われる。
この場合、リソース毎に求めたＱｉ，ｍ の最小値をリソース負荷量の閾値として設定する。
【００５８】
また、式（４）により求めた値が許容誤差Ｌ以上である場合には、限界頻度Ｇｉ（Ｄ）に基づいて、リソースの負荷量の閾値の設定が行われる。
この場合、リソース毎に求めた限界頻度Ｇｉ（Ｄ）に対応するリソースの負荷Ｖｍを、リソースの負荷量の閾値として設定する。
【００５９】
上述した実施の形態においては、主観品質評価実験において、アプリケーションの品質劣化事象Ｆｉとこの出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉとを求め、求められた品質劣化事象Ｆｉと出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉに基づいて、管理閾値を求める場合について説明したが、品質劣化事象Ｆｉに対する品質指標とこの出現頻度を求め、求められた品質指標と出現頻度とに基づいて、管理閾値を求めるようにしてもよい。
品質指標は、例えばパケット損失率、映像の歪度、レスポンスタイムなどである。
そうすることにより、品質劣化事象の度合いに応じて、管理閾値を求めることができるため、よりエンドユーザの体感する品質を反映した管理閾値を求めることができる。
【００６０】
【発明の効果】
本発明によれば、主観品質評価実験により、エンドユーザの体感する品質の尺度である主観品質評価値を求め、また、負荷実験により、リソースの負荷量と品質劣化事象とこの品質劣化事象のの出現頻度を求め、これらの結果に基づいて、リソースの負荷量の閾値を求めることにより、エンドユーザの体感する品質と乖離しない品質管理ができるため、主観品質を一定水準以上に保ってサービスを提供することができる。
【００６１】
また、リソースの負荷量の閾値を、対象となるサービスのアプリケーション（コンテンツ）毎に、ユーザの評点を取得する主観品質評価実験結果を行うステップと、各リソース毎に、負荷量と品質劣化事象の出現頻度とを求める負荷実験を個別に実施するステップと、管理閾値を算出するステップとにより設定することにより、リソースの変更が行われた場合には、このリソースについて負荷実験を行うことにより管理閾値の設定を行うことができるため、リソース変更の度に主観品質評価実験を行う必要がない利点もある。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかるリソース負荷量管理システムの構成を説明するためのブロック図である。
【図２】本発明の実施の形態１にかかる閾値設定装置を説明するための機能ブロック図である。
【符号の説明】
１…閾値測定装置、１−１…入力部、１−２…主観品質評価値計算部、１−３…品質劣化事象出現頻度計算部、１−４…品質劣化事象特定部、１−５…相関関係分析部、１−６…管理閾値設定部、２…管理装置、３Ａ、３Ｂ、３Ｃ、３Ｄ…ユーザ端末装置、４Ａ、４Ｂ…サーバ、５…負荷実験装置、６…パケット交換網、７Ａ、７Ｂ、７Ｃ…ノード、８…主観品質評価実験データ、９…負荷実験データ。
【発明の属する技術分野】
本発明は、インターネット等のパケット交換網を使用したコンテンツ配信等のサービスにおけるネットワーク機器およびサーバ等を管理する技術に関するものであり、特に、パケット交換網およびサーバ等のリソースの負荷量を管理する技術に関する。
【０００２】
【従来の技術】
パケット交換とは、一定形式のパケットを使ってデータを伝送する通信システムである。パケット交換ではパケットの中継ノードとして蓄積送出方式のパケット交換機が使用される。
また、パケット交換では、交換機間の中継回線を多数の利用者のパケットで多重利用するため、回線使用率が高く、その結果通信コストが低下する。また、回線区間が混んでいたり、故障になっているときはパケット単位で自動的に迂回ルートをたどるので、通信の信頼性が高い。しかし、トラフィック状態によってエンド・ツー・エンドの伝送遅延時間が変動し、サービス性能が低下する場合もある。
【０００３】
このため、パケット交換網を介して提供するサービスの品質を劣化させる事象の発生を一定水準に維持するために、パケット交換網を構成する各リソースにかかる負荷量を均衡させるための負荷量の閾値が、各リソースに設けられている。負荷量の閾値を設定することにより、パケット転送遅延やパケット損失など品質劣化の原因を抑えることができ、パケット交換網の負荷に起因して生起する品質劣化事象の出現を抑えている。
この閾値としては、例えばリソース使用率により記述されるＣＰＵ使用率、ＨＤＤ使用率等が用いられる。
【０００４】
【発明が解決しようとする課題】
しかし、従来の技術には、次のような問題があった。
このパケット交換網のリソースの負荷量の閾値は、技術者の経験や勘に頼って設定されており、エンドユーザの体感する品質とは無関係に設定されている。また、多くの場合、個々のリソースの性能や機器等に応じた個別の特性とは無関係に一律に規定されている。
従来のリソースの負荷量の閾値方法では、エンドユーザの体感する品質の尺度である主観品質を考慮して設定されていないため、閾値に基づいた品質管理を行っていても、エンドユーザの体感する品質は大きく乖離し、異なる場合がある。
【０００５】
そこで、本発明は、前述した従来技術の問題点や課題を解決するためになされたものであり、その目的は、主観品質を一定水準以上に保つように設定できるリソースの負荷量の閾値設定方法、閾値設定装置、プログラム、およびプログラムを記憶した記憶媒体を提供することである。
【０００６】
【課題を解決するための手段】
上記の目的を達成するため、本発明にかかるパケット交換網を介して提供するサービスの品質を劣化させる事象の発生を一定水準以下に維持するリソースの負荷量をパケット交換網の性能管理閾値として設定する閾値設定方法は、パケット交換網を介して受信されたコンテンツに対するユーザの評点、コンテンツをパケット交換網を介して提供した場合に、パケット交換網の負荷に起因して生起する品質劣化事象およびこの品質劣化事象の出現頻度から、ユーザの主観品質評価値を求め、この主観品質評価値に影響を及ぼす品質劣化事象を特定する品質劣化事象特定ステップと、リソースの負荷量と、この負荷量によりリソースを要因として生じる品質劣化事象およびこの品質劣化事象の出現頻度とから、負荷量と品質劣化事象との相関関係をリソース毎に求める相関関係分析ステップと、品質劣化事象特定ステップおよび相関関係分析ステップの結果から、予め設定された主観品質評価値の目標値を満たすリソースにかかる負荷量を求め、この値を管理閾値として設定する管理閾値設定ステップとを有するようにしたものである。
【０００７】
そうすることにより、コンテンツに対するユーザの評点、品質劣化事象、およびこの品質劣化事象の出現頻度およびリソースにかかる負荷量、品質劣化事象の出現頻度とから、品質を劣化させる事象の発生を一定水準に維持するリソースの負荷量の閾値を設定できる。
ここで、入力されるコンテンツに対するユーザの評点、品質劣化事象、およびこの品質劣化事象の出現頻度は、主観品質評価実験により求めたデータであり、またリソースにかかる負荷量、品質劣化事象の出現頻度は、負荷実験により求められたデータである。
【０００８】
品質劣化事象特定ステップにおける評点、品質劣化事象およびこの品質劣化事象の出現頻度は、コンテンツに対して、１または複数のユーザにより、最終的にコンテンツを利用する形態で、このコンテンツの品質を評価する主観品質評価実験により求められたデータであってもよい。
そうすることにより、コンテンツに対するユーザの評点と品質劣化事象とを、主観品質評価実験により収集することができ、それらを関係づけることができる。
【０００９】
品質劣化特定ステップについては、品質劣化事象毎に、主観品質評価値と品質劣化事象の出現頻度とを求め、主観品質評価値に最も相関関係を有する品質劣化事象の特定を行うようにしてもよい。
そうすることにより、主観品質評価値に影響のある品質劣化事象の特定ができる。
ここで、特定される主観品質評価値に最も相関関係を有する品質劣化事象は複数であってもよい。
【００１０】
相関関係分析ステップについては、品質劣化事象特定ステップにより特定された品質劣化事象およびリソースの負荷量、品質劣化事象およびこの品質劣化事象の出現頻度から、特定された品質劣化事象について、負荷量と品質劣化事象との相関関係を求めるようにしてもよい。
そうすることにより、品質劣化事象特定ステップにより特定された品質劣化事象についてのみ、負荷量と品質劣化事象との相関関係を求めることができる。
【００１１】
管理閾値設定ステップについては、品質劣化事象特定ステップにより特定された品質劣化事象の出現頻度と主観品質評価値とにより回帰曲線を導出し、予め決定された主観品質評価値の目標値に対応する品質劣化事象の出現頻度を限界頻度として求め、相関関係分析ステップの結果により求められた相関関係から、限界頻度を超えない負荷量をトラフィックパターン毎に求めるようにしてもよい。
【００１２】
さらに、予め決定された品質劣化事象の出現頻度の目標値を、限界頻度が超えた場合にはこの目標値に対する負荷量を求め、トラフィックパターン毎に求めた負荷量の中から、その最小値を管理閾値とするようにしてもよい。
そうすることにより、品質劣化事象の発生を一定水準に維持するリソースの負荷量を求めることができる。
ここで、予め決定された品質劣化事象の出現頻度の目標値を、限界頻度が超えた場合には、品質劣化事象の出現頻度の測定値に対する許容誤差を考慮して、閾値を求めるようにしてもよい。
【００１３】
品質劣化事象特定ステップについては、主観品質評価値と、予め想定した品質劣化事象の発生頻度とにより、主観品質評価値を目的変数Ｙ、品質劣化事象の発生頻度を説明変数Ｘｉ（ｉ＝１，２，・・・）として、回帰曲線を導出し、目的変数Ｙの変動に影響を与える説明変数Ｘｉを、統計的検定を行うことにより求めるようにしてもよい。
そうすることにより、主観品質評価値に影響のある品質劣化事象を求めることができる。
【００１４】
この閾値設定方法では、管理閾値品質劣化事象として、この品質劣化事象に対する品質指標を用いるようにしてもよい。
そうすることにより、品質指標を基にして、管理閾値を求めることができる。ここで、品質指標には、パケット損失率、映像の歪度、レスポンスタイムなどが含まれる。
【００１５】
本発明にかかる閾値設定装置は、パケット交換網を介して提供するサービスの品質を劣化させる事象の発生を一定水準以下に維持するリソースの負荷量をパケット交換網の性能管理閾値として設定する閾値設定装置であって、パケット交換網を介して受信されたコンテンツに対するユーザの評点、このコンテンツをパケット交換網を介して提供した場合に、パケット交換網に生起する品質劣化事象およびこの品質劣化事象の出現頻度を入力する第１の入力手段と、リソースの負荷量と、この負荷量の場合にリソースに生じる品質劣化事象およびこの品質劣化事象の出現頻度とを入力する第２の入力手段と、第１の入力手段により入力された評点からコンテンツ毎に主観品質評価値の計算を行う主観品質評価値計算手段と、第１の入力手段に入力された品質劣化事象およびこの品質劣化事象の出現頻度から品質劣化事象毎に品質劣化事象の出現頻度の計算を行う品質劣化事象出現頻度計算手段と、主観品質評価値計算手段により計算された主観品質評価値と、品質劣化事象出現頻度計算手段により計算された品質劣化事象毎の出現頻度とから、主観品質評価値に影響を及ぼす品質劣化事象を特定する品質劣化事象特定手段と、第２の入力手段により入力された負荷量、品質劣化事象およびこの品質劣化事象の出現頻度から、それらの相関関係をリソース毎に求める相関関係分析手段と、品質劣化事象特定手段および相関関係分析手段の結果から、予め設定された主観品質評価値の目標値を満たすリソースにかかる負荷量を求め、この値を管理閾値として設定する管理閾値設定手段とを備えるようにした装置である。
【００１６】
そうすることにより、コンテンツに対するユーザの評点、品質劣化事象、およびこの品質劣化事象の出現頻度およびリソースにかかる負荷量、品質劣化事象の出現頻度とから、品質を劣化させる事象の発生を一定水準に維持するリソースの負荷量の閾値を設定できる。
ここで、入力されるコンテンツに対するユーザの評点、品質劣化事象、およびこの品質劣化事象の出現頻度は、主観品質評価実験により求めたデータであり、またリソースにかかる負荷量、品質劣化事象の出現頻度は、負荷実験により求められたデータである。
【００１７】
品質劣化事象特定手段については、品質劣化事象毎に、主観品質評価値と品質劣化事象の出現頻度とを求め、主観品質評価値に最も相関関係を有する品質劣化事象の特定を行うようにしてもよい。
そうすることにより、主観品質評価値に影響のある品質劣化事象の特定ができる。
ここで、特定される主観品質評価値に最も相関関係を有する品質劣化事象は複数であってもよい。
【００１８】
相関関係分析手段については、品質劣化事象特定手段により特定された品質劣化事象、負荷量、出現頻度とから、特定された品質劣化事象について、負荷量、出現頻度との相関関係を求めるようにしてもよい。
そうすることにより、品質劣化事象特定ステップにより特定された品質劣化事象についてのみ、負荷量と品質劣化事象との相関関係を求めることができる。
【００１９】
管理閾値設定手段については、品質劣化事象特定手段により特定された品質劣化事象の出現頻度と主観品質評価値とにより回帰曲線を導出し、予め決定された主観品質評価値の目標値に対応する品質劣化事象の出現頻度を限界頻度として求め、相関関係分析手段の結果により求められた相関関係から、限界頻度を超えない負荷量をトラフィックパターン毎に求めるようにしてもよい。
【００２０】
さらに、限界頻度が予め決定された品質劣化事象の出現頻度の目標値を超えた場合には、この目標値に対する負荷量を求め、トラフィックパターン毎に求めた負荷量の中から、その最小値を管理閾値とするようにしてもよい。
そうすることにより、品質劣化事象の発生を一定水準に維持するリソースの負荷量を求めることができる。
ここで、予め決定された品質劣化事象の出現頻度の目標値を、限界頻度が超えた場合には、品質劣化事象の出現頻度の測定値に対する許容誤差を考慮して、閾値を求めるようにしてもよい。
【００２１】
品質劣化事象特定手段については、ユーザの評点から求めた主観品質評価値と、予め想定した品質劣化事象の発生頻度とにより、主観品質評価値を目的変数Ｙ、品質劣化事象の発生頻度を説明変数Ｘｉ（ｉ＝１，２，・・・）として、回帰曲線を導出し、目的変数Ｙの変動に影響を与える説明変数Ｘｉを、統計的検定を行うことにより求めるようにしてもよい。
そうすることにより、主観品質評価値に影響のある品質劣化事象を求めることができる。
【００２２】
この閾値設定装置では、品質劣化事象として、この品質劣化事象に対する品質指標を用いるようにしてもよい。
そうすることにより、品質指標を基にして、管理閾値を求めることができる。ここで、品質指標には、パケット損失率、映像の歪度、レスポンスタイムなどが含まれる。
【００２３】
本発明にかかるリソースの負荷量の閾値設定プログラムおよびプログラムを記憶した記憶媒体は、パケット交換網を介して受信されたコンテンツに対するユーザの評点、このコンテンツをパケット交換網を介して提供した場合に、パケット交換網に生起する品質劣化事象およびこの品質劣化事象の出現頻度を入力する第１の入力手段と、リソースの負荷量と、この負荷量の場合に生じる品質劣化事象およびこの品質劣化事象の出現頻度とを入力する第２の入力手段と、第１の入力手段に入力された評点からコンテンツ毎に主観品質評価値の計算を行う主観品質評価値計算手段と、第１の入力手段により入力された品質劣化事象およびこの品質劣化事象の出現頻度から品質劣化事象毎に品質劣化事象の出現頻度の計算を行う品質劣化事象出現頻度計算手段と、主観品質評価値計算手段により計算された主観品質評価値と、品質劣化事象出現頻度計算手段により計算された品質劣化事象毎の出現頻度とから、主観品質評価値に影響を及ぼす品質劣化事象を特定する品質劣化事象特定手段と、第２の入力手段により入力された負荷量、品質劣化事象およびこの出現頻度とから、少なくとも品質劣化事象特定手段により特定された品質劣化事象について、それらの相関関係をリソース毎に求める相関関係分析手段と、品質劣化事象特定手段および相関関係分析手段の結果から、予め設定された主観品質評価値の目標値を満たすリソースにかかる負荷量を、管理閾値として設定する管理閾値設定手段として、コンピュータを機能させるようにしたものである。
【００２４】
この性能管理閾値設定プログラムでは、品質劣化事象として、この品質劣化事象に対する品質指標を用いるようにしてもよい。
そうすることにより、品質指標を基にして、管理閾値を求めることができる。ここで、品質指標には、パケット損失率、映像の歪度、レスポンスタイムなどが含まれる。
【００２５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００２６】
図１は、本発明にかかるリソース負荷量管理システムの構成を説明するためのブロック図である。
リソース負荷量管理システムは、閾値設定装置１と管理装置２とから構成される。
以下では、パケット通信網６、例えばパケット交換機またはルータからなるノード７Ａ、７Ｂ、７Ｃ、ユーザ端末装置３Ａ、３Ｂ、３Ｃ、３Ｄおよびそれらを結ぶリンクからなるものと仮定した簡単なトポロジを例として説明する。
【００２７】
このパケット交換網６を構成するノード７Ａ、７Ｂ、７Ｃには、ユーザ端末装置３Ａ、３Ｂ、３Ｃ、３Ｄ、サーバ４Ａ、４Ｂ、負荷実験装置５が接続されている。詳細には、ノード７Ａに閾値設定装置１とユーザ端末装置３Ａ、ノード７Ｂにユーザ端末装置３Ｄとサーバ４Ａとサーバ４Ｂ、ノード７Ｃにユーザ端末装置３Ｂとユーザ端末装置３Ｃと負荷装置５が接続されている。また、各ノードは、リンク、例えば通信回線や伝送路を介して接続されている。
ここで、負荷実験装置５は、後述する負荷実験を行う場合に使用される装置であり、必要に応じて接続される。
【００２８】
閾値設定装置１は、入力部１−１と、主観品質評価値計算部１−２と、品質劣化事象出現頻度計算部１−３と、品質劣化事象特定部１−４と、相関関係分析部１−５と、管理閾値設定部１−６とを備え、予め行われる主観品質評価実験および負荷実験の結果を入力として、リソースの負荷量の閾値の計算を行う装置である。
管理装置２は、パケット交換網６を構成するリソース、例えばパケット交換機を管理する装置である。例えば、パケット交換網６を介して提供するサービスの品質を劣化させる事象の発生を一定水準に維持するリソースの負荷量の閾値の設定を行う。
【００２９】
ユーザ端末装置３Ａ、３Ｂ、３Ｃ、３Ｄは、後述する負荷実験装置５からのトラフィックパターンに対する応答パケットを送出する通信装置である。
負荷実験装置４は、パケット交換網５を構成するリソース、例えば、ユーザ端末装置３Ａ、３Ｂ、３Ｃ、３Ｄおよびサーバ４Ａ、４Ｂに対して、予め指定されたトラフィックパターンを加え、このトラフィックパターンの負荷を、品質劣化事象が発生するまで増加させることにより、リソースの負荷量、品質劣化事象、この品質劣化事象の出現頻度を求めることにより、負荷実験を行う。
【００３０】
次に、実施の形態にかかる閾値設定装置１の構成について説明する。
閾値設定装置１の構成は、入出力装置と、表示装置と、ドライブ装置と、記憶媒体と、補助記憶装置と、メモリ装置と、演算処理装置と、ＩＦ装置とにより構成される。また、インターフェース（ＩＦ）装置は、パケット交換網６を介して、ユーザ用端末装置３Ａ、３Ｂ、３Ｃ、３Ｄ、サーバ４Ａ、４Ｂ等に接続される。
【００３１】
入出力装置は、閾値設定装置１の管理者が操作するキーボードおよびマウスなどで構成され、閾値設定装置１に各種操作信号を入力するために用いられる。また、主観品質評価実験データおよび負荷実験データを入力するようにしてもよい。
表示装置は、閾値設定装置１を操作するのに必要な各種ウインドウやデータ等を表示する。
インターフェース装置は、閾値設定装置１をパケット交換網６に接続するためのインターフェースである。
【００３２】
リソースの負荷量の閾値設定プログラムは、ソフトウエアパッケージ、例えばＣＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、フレキシブルディスク、メモリカードなどの情報記憶媒体１１によって提供される。シミュレーション計算サービス提供プログラムを記憶した記憶媒体は、ドライブ装置にセットされ、プログラムが記憶媒体からドライブ装置を介して補助記憶装置にインストールされる。
補助記憶装置は、インストールされたシミュレーション計算サービス提供プログラムを格納するとともに、必要なファイル、データ等を格納する。
メモリ装置は、閾値設定装置の起動時に補助記憶装置からリソースの負荷量の閾値設定プログラムを読み出し、格納する。
また、リソースの負荷量の閾値設定プログラムは、電気通信によって、例えばサーバによって、提供されるものであってもよい。
演算処理装置は、メモリ装置に読み出され格納されたリソースの負荷量の閾値設定プログラムにしたがって、リソースの負荷量の閾値設定にかかる処理を実行する。
【００３３】
次に、本発明にかかるリソース負荷量管理システムにおける閾値設定装置１の動作について、図２を参照して、説明する。
まず、主観品質評価実験により求められた主観品質評価実験データ８、負荷実験により求められた負荷実験データ９、目標とする主観品質評価値Ｄ、およびリソースの負荷量Ｖｍの許容誤差Ｌは、閾値設定装置１の入力部１−１に入力される。
例えば、リソース負荷量管理システムに備えられた操作部（図示なし）、例えばキーボードなどを用いて、直接入力するようにしてもよい。また、ユーザ端末装置３Ａ、３Ｂ、３Ｃ、３Ｄからパケット交換網６を介して入力部１−１に入力するようにしてもよい。また、背景負荷生成装置（図示なし）および負荷実験装置５から、主観品質評価実験データ８、負荷実験データ９、目標とする主観品質評価値Ｄ、およびリソースの負荷量Ｖｍを送信し、パケット交換網６を介して入力するようにしてもよい。
【００３４】
ここで、主観品質評価実験とは、最終的にアプリケーションを利用する形態で、利用者たる人間がその品質を評価する実験である。この主観品質評価実験では、利用者（被験者）Ａｋの評点Ｅ（ｈ、ｋ）ｈ、ｋ、パケット交換網６を介して提供されるアプリケーションの品質劣化事象Ｆｉの出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉが求められ、Ｅ（ｈ、ｋ）ｈ、ｋと、ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉとが主観品質評価実験データとして収集される。
ここで、Ｈ、ｈは品質評価実験において１または複数の被験者に提供する被評価コンテンツの数であり、Ｋ、ｋは品質評価実験の被験者数であり、Ｉ、ｉは品質劣化事象として想定する事象の数である。以下、同様の記号を用いて、説明する。
【００３５】
この主観品質評価実験では、パケット交換網６を介してアプリケーション、例えば映像情報や音声情報などのコンテンツを、ユーザとなる１または複数の被験者に提供し、評価してもらうことにより評点を収集し、そのアプリケーションの品質の評価を行う。
例えば、評点としては、被験者に評価対象アプリケーション、例えばコンテンツに対して、例えば「非常によい」から「非常に悪い」までの５段階評価値を用いる。
この評点から、例えばＤＭＯＳ（Ｄｅｇｒａｄａｔｉｏｎ Ｍｅａｎ Ｏｐｉｎｉｏｎ Ｓｃｏｒｅ） を求め、求めた値を主観品質評価値として用いる。
【００３６】
また、主観品質評価値に最も相関のある品質劣化事象、例えば映像のコマ落ち、ブロックノイズ、映像停止、音声の歪み、音声停止、パケット損失率の一定以上の増加、遅延時間の一定以上の増加、遅延揺らぎの一定以上の増加など客観的に記述でき、また計測でき、予め想定できる品質劣化事象を抽出する。
例えば、ノード７Ａ、７Ｂにそれぞれ背景負荷生成装置（図示なし）を接続し、この背景負荷生成装置により、ユーザ端末装置３Ａとユーザ端末装置３Ｄとの間のリンクに対して、仮想的に所望のネットワーク負荷を与えることができる。これにより、予め種々のネットワーク負荷を発生させてパケットの性能情報を抽出し品質劣化事象を抽出するとともに、被験者による主観評価を行うようにしてもよい。
【００３７】
また、負荷実験とは、パケット交換網６を構成するリソースであるノード７Ａ、７Ｂ、７Ｃ、例えばパケット交換機とサーバ４Ａ、４Ｂなどの負荷量と、品質劣化事象とこの品質劣化事象の出現頻度とを求める実験である。
この負荷実験では、トラフィックパターンｍを負荷し、リソースの負荷量Ｖｍのときの品質劣化事象Ｆｉとこの品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）とトラフィックパターンｍを負荷したときのリソースの負荷量Ｖｍとが、負荷実験データとして、収集される。
ここで、Ｍ、ｍは負荷パターンの総数である。以下同様の記号を用いる。
【００３８】
この負荷実験では、パケット交換網６を構成するリソースに対して、予め指定したトラフィックパターンｍを負荷し、品質劣化事象Ｆｉが発生するまでトラフィックパターンｍの負荷の量を増加させ、リソースにかかる負荷量Ｖｍおよび品質劣化事象Ｆｉとこの品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）を求める。
【００３９】
ここで、トラフィックパターンｍの負荷は前期の品質劣化事象が発生するまで増加させるようにしてもよい。また、トラフィックパターンｍの負荷を品質劣化事象Ｆｉが発生する前後で、繰り返し増減させるようにし、リソースにかかる負荷量Ｖｍおよび品質劣化事象Ｆｉとこの品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）を求めるようにしてもよい。
また、パケット交換網６を構成するリソースに負荷するトラフィックパターンｍは一種類とは限らず、複数指定してもよい。例えば、リソースがボトルネックとするトラフィックパターンｍを、複数指定してもよい。
【００４０】
本実施の形態においては、品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）の目標値を予め決め、この目標値を超えない範囲でトラフィックパターンｍの負荷を変化させ、このときのリソースの負荷量Ｖｍおよび品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）をリソース毎に求める。負荷量Ｖｍとしては、各リソースにおけるＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）の使用率、ＨＤＤ（ｈａｒｄ ｄｉｓｋ
ｄｒｉｖｅ）の使用率を用いる。
【００４１】
例えば、ノード７Ｃの負荷実験を行う場合には、負荷実験装置５をノード７Ｃに接続し、負荷実験装置５から、予め指定したトラフィックパターンｍを負荷し、品質劣化事象Ｆｉが発生するまでトラフィックパターンｍの負荷を量的に増加させ、リソースにかかる負荷量Ｖｍおよび品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）を求めるようにしてもよい。また、他のユーザ端末装置３Ａ、３Ｂ、３Ｃ、３Ｄ、サーバ４Ａ、４Ｂについても同様である。
また、目標とする主観品質評価値Ｄおよびリソースの負荷量の許容誤差Ｌは予め決定される。
【００４２】
次に、入力部１−１は、入力された被験者の評点Ｅ（ｈ、ｋ）ｈ、ｋを、主観品質劣化事象計算部１−２に入力する。主観品質劣化事象計算部１−２では、入力された評点Ｅ（ｈ、ｋ）ｈ、ｋから、主観品質評価値Ｅ１（ｈ）を計算する。例えば、主観品質評価値Ｅ１（ｈ）としてＤＭＯＳ（Ｄｅｇｒａｄａｔｉｏｎ Ｍｅａｎ Ｏｐｉｎｉｏｎ Ｓｃｏｒｅ） を計算する。
例えば、被験者Ａｋの評点Ｅ（ｈ、ｋ）ｈ、ｋに対する主観品質評価値Ｅ１（ｈ）を、例えば、式（１）により、評価対象コンテンツＣｈ毎に評点Ｅ（ｈ、ｋ）ｈ、ｋの平均値を計算し、計算された値を主観品質評価値Ｅ１（ｈ）とすることにより求めてもよい。
【００４３】
【数１】
また、入力部１−１に入力された品質劣化事象Ｆｉの出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉは、品質劣化事象出現頻度計算部１−３に入力される。品質劣化事象出現頻度計算部１−３では、入力された品質劣化事象Ｆｉの出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉから、各被験者に提供したコンテンツＣｈに対する品質劣化事象Ｆｉ毎の出現頻度ＭＡ１（ｈ、ｉ）を計算する。
例えば、品質劣化事象Ｆｉの出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉ に対する品質劣化事象Ｆｉの出現頻度ＭＡ１（ｈ、ｉ）を、例えば、式（２）により評価対象コンテンツＣｈ毎に品質劣化事象Ｆｉの出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉの平均値を計算し、計算された値を品質劣化事象Ｆｉの出現頻度ＭＡ１（ｈ、ｉ）とすることにより求めてもよい。
【００４５】
【数２】
上述した、主観品質評価値Ｅ１（ｈ）および品質劣化事象Ｆｉの出現頻度ＭＡ１（ｈ、ｉ）の計算は、評価対象コンテンツＣｈ毎に行われる。
主観品質評価値計算部１−２および品質劣化事象出現頻度計算部１−３により計算された主観品質評価値Ｅ１（ｈ）および品質劣化事象Ｆｉの出現頻度ＭＡ１（ｈ、ｉ）は、品質劣化事象特定部１−４に入力される。
また、入力部１−１に入力された目標とする主観品質評価値Ｄは品質劣化事象特定部１−４に入力される。
【００４７】
品質劣化事象特定部１−４では、入力された主観品質評価値Ｅ１（ｈ）および品質劣化事象Ｆｉの出現頻度ＭＡ１（ｈ、ｉ）に基づいて、対象とするコンテンツの主観品質評価値に最も影響を与える品質劣化事象の特定が行われる。
例えば、入力された主観品質評価値Ｅ１（ｈ）を目的変数Ｙ、品質劣化事象Ｆｉの出現頻度ＭＡ１（ｈ、ｉ）を説明変数Ｘｉとし、品質劣化事象特定ステップにしたがって、主要な品質劣化事象の特定が行われる。
【００４８】
この品質劣化事象特定ステップについて説明する。
まず、目的変数Ｙと説明変数Ｘｉとの相関係数を計算し、目的変数Ｙと最も相関係数の高い説明変数Ｘｉを選択し、例えば説明変数Ｘ１とする。
次に、選択された説明変数以外の説明変数の中から一つを選択し、例えば説明変数Ｘ２とし、回帰式
Ｙ＝α０＋α１×Ｉｎ（Ｘ１）＋αｉ×Ｉｎ（Ｘｉ）
を導出する。ここで、例えばｉ＝２である。
この回帰式における、回帰係数「αｉ＝０」に対する統計的検定を行う。
【００４９】
この統計的検定の結果、棄却されない場合には、選択された説明変数Ｘ２以外の説明変数の中から一つを選択し、例えば説明変数Ｘ３とし、同様に回帰式
Ｙ＝α０＋α１×Ｉｎ（Ｘ１）＋αｉ×Ｉｎ（Ｘｉ）
を導出する。ここで、例えばｉ＝３である。この回帰式における、回帰係数「αｉ＝０」に対して、同様に、統計的検定を行う。
【００５０】
また、統計的検定の結果棄却される場合には、この説明変数（ここでは説明変数Ｘ２）を回帰式に追加して、選択された説明変数以外の説明変数の中から一つを選択し、この選択された説明変数に対して、回帰式を導出し同様の統計的検定を行う。
全ての説明変数Ｘに対して、同様の統計的検定を行う。
この結果、最終的に導出された回帰式の説明変数のインデックスが主観品質評価値に与える影響の大きい品質劣化事象となる。このインデックスの集合をＩ０とする。また、主観品質評価値に与える影響の大きい品質劣化事象を、ＦＩＯにより表す。
ここで、品質劣化事象特定部１−４により求められる主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯは、複数であってもよい。
【００５１】
主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯに対して、品質劣化事象の出現頻度ＭＡ１（ｈ、ｉ）と主観品質評価値Ｅ１（ｈ）との回帰推定を行い、入力された目標とする主観品質評価値Ｄに対応する品質劣化事象の出現頻度を求め、この値を限界頻度Ｇｉ（Ｄ）とする。
但しｉ∈Ｉ０であり、主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯの中から、選択した品質劣化事象について、限界頻度Ｇｉ（Ｄ）を求める。
品質劣化事象特定部１−４において求められた、主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯおよびこの品質劣化事象ＦＩＯから求められた限界頻度Ｇｉ（Ｄ）は管理閾値設定部１−６に入力される。
【００５２】
また、入力部１−１に入力された品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）とリソースの負荷量Ｖｍの許容誤差Ｌは、相関関係分析部１−５に入力される。
相関分析部１−５では、入力された品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）とリソースの負荷量Ｖｍの許容誤差Ｌとを用いて、トラフィックパターンｍ毎に負荷量Ｖｍと品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）の集計が行われ、この集計結果にしたがって、パケット交換網６を構成するリソース別に、負荷量Ｖｍと品質劣化事象Ｆｉの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）との相関関係が求められる。
求められた相関関係およびリソースの負荷量Ｖｍの許容誤差Ｌは、管理閾値設定部１−６に入力される。
【００５３】
ここで、リソースの負荷量Ｖｍの許容誤差Ｌは、入力部１−１から直接、管理閾値設定部１−６に入力されるようにしてもよい。
品質劣化事象特定部１−４において求められた、主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯを相関関係分析部１−５に入力するようにし、各リソースについて、主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯについてのみ負荷量Ｖｍと品質劣化事象ＦＩＯの出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）との相関関係を求めるようにしてもよい。
【００５４】
管理閾値設定部１−６では、品質劣化事象特定部１−４から入力された主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯおよびこの品質劣化事象ＦＩＯから求められた限界頻度Ｇｉ（Ｄ）と相関関係分析部１−５から入力された相関関係およびリソースの負荷量Ｖｍの許容誤差Ｌに基づいて、リソースの負荷量の閾値の計算が行われる。
例えば、主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯに含まれる品質劣化事象Ｆｉに対して、Ｘの関数Δを式（３）の様に定義する。
【００５５】
この式（３）を用いて、式（４）の計算を行い、主観品質評価値に与える影響の大きい品質劣化事象ＦＩＯに含まれる品質劣化事象Ｆｉに対して、その出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）が限界頻度Ｇｉ（Ｄ）以上である場合の、出現頻度（ｍ、Ｖｍ、ｉ）を求める。言い換えれば、限界頻度Ｇｉ（Ｄ）以上である出現頻度ＭＢ（ｍ、Ｖｍ、ｉ）について、その合計を求め、サンプル数Ｓｉ，ｍで割ることにより、その平均を求める。
【００５６】
【数３】
この式（４）により求めた値が許容誤差Ｌ以下であるか否かを判断する。許容誤差Ｌ以下である場合には、ＸをＱｉ，ｍとし、このＱｉ，ｍに基づいて、リソースの負荷量の閾値の設定が行われる。
この場合、リソース毎に求めたＱｉ，ｍ の最小値をリソース負荷量の閾値として設定する。
【００５８】
また、式（４）により求めた値が許容誤差Ｌ以上である場合には、限界頻度Ｇｉ（Ｄ）に基づいて、リソースの負荷量の閾値の設定が行われる。
この場合、リソース毎に求めた限界頻度Ｇｉ（Ｄ）に対応するリソースの負荷Ｖｍを、リソースの負荷量の閾値として設定する。
【００５９】
上述した実施の形態においては、主観品質評価実験において、アプリケーションの品質劣化事象Ｆｉとこの出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉとを求め、求められた品質劣化事象Ｆｉと出現頻度ＭＡ（ｈ、ｋ、ｉ）ｈ、ｋ、ｉに基づいて、管理閾値を求める場合について説明したが、品質劣化事象Ｆｉに対する品質指標とこの出現頻度を求め、求められた品質指標と出現頻度とに基づいて、管理閾値を求めるようにしてもよい。
品質指標は、例えばパケット損失率、映像の歪度、レスポンスタイムなどである。
そうすることにより、品質劣化事象の度合いに応じて、管理閾値を求めることができるため、よりエンドユーザの体感する品質を反映した管理閾値を求めることができる。
【００６０】
【発明の効果】
本発明によれば、主観品質評価実験により、エンドユーザの体感する品質の尺度である主観品質評価値を求め、また、負荷実験により、リソースの負荷量と品質劣化事象とこの品質劣化事象のの出現頻度を求め、これらの結果に基づいて、リソースの負荷量の閾値を求めることにより、エンドユーザの体感する品質と乖離しない品質管理ができるため、主観品質を一定水準以上に保ってサービスを提供することができる。
【００６１】
また、リソースの負荷量の閾値を、対象となるサービスのアプリケーション（コンテンツ）毎に、ユーザの評点を取得する主観品質評価実験結果を行うステップと、各リソース毎に、負荷量と品質劣化事象の出現頻度とを求める負荷実験を個別に実施するステップと、管理閾値を算出するステップとにより設定することにより、リソースの変更が行われた場合には、このリソースについて負荷実験を行うことにより管理閾値の設定を行うことができるため、リソース変更の度に主観品質評価実験を行う必要がない利点もある。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかるリソース負荷量管理システムの構成を説明するためのブロック図である。
【図２】本発明の実施の形態１にかかる閾値設定装置を説明するための機能ブロック図である。
【符号の説明】
１…閾値測定装置、１−１…入力部、１−２…主観品質評価値計算部、１−３…品質劣化事象出現頻度計算部、１−４…品質劣化事象特定部、１−５…相関関係分析部、１−６…管理閾値設定部、２…管理装置、３Ａ、３Ｂ、３Ｃ、３Ｄ…ユーザ端末装置、４Ａ、４Ｂ…サーバ、５…負荷実験装置、６…パケット交換網、７Ａ、７Ｂ、７Ｃ…ノード、８…主観品質評価実験データ、９…負荷実験データ。
Claims (18)
- パケット交換網を介して提供するサービスの品質を劣化させる事象の発生を一定水準以下に維持するリソースの負荷量をパケット交換網の性能管理閾値として設定する閾値設定方法において、
前記パケット交換網を介して受信されたコンテンツに対するユーザの評点、前記コンテンツを前記パケット交換網を介して提供した場合に、前記パケット交換網の負荷に起因して生起する品質劣化事象およびこの品質劣化事象の出現頻度から、前記ユーザの主観品質評価値を求め、この主観品質評価値に影響を及ぼす品質劣化事象を特定する品質劣化事象特定ステップと、
前記リソースの負荷量と、この負荷量により前記リソースを要因として生じる前記品質劣化事象およびこの品質劣化事象の出現頻度とから、前記負荷量と前記品質劣化事象との相関関係を前記リソース毎に求める相関関係分析ステップと、前記品質劣化事象特定ステップおよび前記相関関係分析ステップの結果から、予め設定された主観品質評価値の目標値を満たす前記リソースにかかる負荷量を求め、この値を管理閾値として設定する管理閾値設定ステップと、
を有することを特徴とするパケット交換網の性能管理閾値設定方法。 - 請求項１に記載のパケット交換網の性能管理閾値設定方法において、
前記品質劣化事象特定ステップにおいて、
前記評点、前記品質劣化事象およびこの品質劣化事象の出現頻度は、
前記コンテンツに対して、１または複数の前記ユーザにより、最終的にコンテンツを利用する形態で、このコンテンツの品質を評価する主観品質評価実験により求められたデータであることを特徴とするパケット交換網の性能管理閾値設定方法。 - 請求項１または２に記載のパケット交換網の性能管理閾値設定方法において、
前記品質劣化事象特定ステップは、
前記品質劣化事象毎に、前記主観品質評価値と前記品質劣化事象の出現頻度とを求め、前記主観品質評価値に最も相関関係を有する品質劣化事象の特定を行うことを特徴とするパケット交換網の性能管理閾値設定方法。 - 請求項１ないし３のいずれか１項に記載のパケット交換網の性能管理閾値設定方法において、
前記相関関係分析ステップは、
前記品質劣化事象特定ステップにより特定された品質劣化事象および前記リソースの負荷量、前記品質劣化事象およびこの品質劣化事象の出現頻度から、前記特定された品質劣化事象について、前記負荷量と前記品質劣化事象との相関関係を求めることを特徴とするパケット交換網の性能管理閾値設定方法。 - 請求項１ないし４のいずれか１項に記載のパケット交換網の性能管理閾値設定方法において、
前記管理閾値設定ステップは、
前記品質劣化事象特定ステップにより特定された前記品質劣化事象の出現頻度と前記主観品質評価値とにより回帰曲線を導出し、予め決定された主観品質評価値の目標値に対応する品質劣化事象の出現頻度を限界頻度として求め、
前記相関関係分析ステップの結果により求められた相関関係から、前記限界頻度を超えない負荷量を前記トラフィックパターン毎に求めることを特徴とするパケット交換網の性能管理閾値設定方法。 - 請求項５に記載のパケット交換網の性能管理閾値設定方法において、
予め決定された品質劣化事象の出現頻度の目標値を、前記限界頻度が超えた場合にはこの目標値に対する負荷量を求め、
前記トラフィックパターン毎に求めた前記負荷量の中から、その最小値を管理閾値とすることを特徴とするパケット交換網の性能管理閾値設定方法。 - 請求項１ないし６のいずれか１項に記載のパケット交換網の性能管理閾値設定方法において、
前記品質劣化事象特定ステップは、
前記主観品質評価値と、予め想定した前記品質劣化事象の発生頻度とにより、前記主観品質評価値を目的変数Ｙ、前記品質劣化事象の発生頻度を説明変数Ｘｉ（ｉ＝１，２，・・・）として、回帰曲線を導出し、前記目的変数Ｙの変動に影響を与える説明変数Ｘｉを、統計的検定を行うことにより求めることを特徴とするパケット交換網の性能管理閾値設定方法。 - 請求項１ないし７のいずれか１項に記載のパケット交換網の性能管理閾値設定方法において、
前記品質劣化事象として、この品質劣化事象に対する品質指標を用いたことを特徴とするパケット交換網の性能管理閾値設定方法。 - パケット交換網を介して提供するサービスの品質を劣化させる事象の発生を一定水準以下に維持するリソースの負荷量をパケット交換網の性能管理閾値として設定する閾値設定装置において、
前記パケット交換網を介して受信されたコンテンツに対するユーザの評点、このコンテンツを前記パケット交換網を介して提供した場合に、前記パケット交換網の負荷に起因して生起する品質劣化事象およびこの品質劣化事象の品質劣化事象の出現頻度を入力する第１の入力手段と、
前記リソースの負荷量と、この負荷量の場合に前記リソースを要因として生じる品質劣化事象およびこの品質劣化事象の出現頻度とを入力する第２の入力手段と、
前記第１の入力手段により入力された前記評点から前記コンテンツ毎に主観品質評価値の計算を行う主観品質評価値計算手段と、
前記第１の入力手段に入力された前記品質劣化事象およびこの品質劣化事象の出現頻度から前記品質劣化事象毎に品質劣化事象の出現頻度の計算を行う品質劣化事象出現頻度計算手段と、
前記主観品質評価値計算手段により計算された主観品質評価値と、前記品質劣化事象出現頻度計算手段により計算された前記品質劣化事象毎の前記出現頻度とから、前記主観品質評価値に影響を及ぼす品質劣化事象を特定する品質劣化事象特定手段と、
前記第２の入力手段により入力された前記負荷量、前記品質劣化事象およびこの品質劣化事象の出現頻度から、それらの相関関係を前記リソース毎に求める相関関係分析手段と、
前記品質劣化事象特定手段および前記相関関係分析手段の結果から、予め設定された主観品質評価値の目標値を満たす前記リソースにかかる負荷量を求め、この値を管理閾値として設定する管理閾値設定手段と、
を備えることを特徴とするパケット交換網の性能管理閾値設定装置。 - 請求項９に記載のパケット交換網の性能管理閾値設定装置において、
前記品質劣化事象特定手段は、
前記品質劣化事象毎に、前記主観品質評価値と前記品質劣化事象の出現頻度とを求め、前記主観品質評価値に最も相関関係を有する品質劣化事象の特定を行うことを特徴とするパケット交換網の性能管理閾値設定装置。 - 請求項９または１０に記載のパケット交換網の性能管理閾値設定装置において、
前記相関関係分析手段は、
前記品質劣化事象特定手段により特定された品質劣化事象、前記負荷量、前記出現頻度とから、前記特定された品質劣化事象について、前記負荷量、前記出現頻度との相関関係を求めることを特徴とするパケット交換網の性能管理閾値設定装置。 - 請求項９ないし１１のいずれか１項に記載のパケット交換網の性能管理閾値設定装置において、
前記管理閾値設定手段は、
前記品質劣化事象特定手段により特定された前記品質劣化事象の出現頻度と前記主観品質評価値とにより回帰曲線を導出し、予め決定された主観品質評価値の目標値に対応する品質劣化事象の出現頻度を限界頻度として求め、
前記相関関係分析手段の結果により求められた相関関係から、前記限界頻度を超えない負荷量を前記トラフィックパターン毎に求めることを特徴とするパケット交換網の性能管理閾値設定装置。 - 請求項１２に記載のパケット交換網の性能管理閾値設定装置において、
前記限界頻度が予め決定された品質劣化事象の出現頻度の目標値を超えた場合には、この目標値に対する負荷量を求め、
前記トラフィックパターン毎に求めた前記負荷量の中から、その最小値を管理閾値とすることを特徴とするパケット交換網の性能管理閾値設定装置。 - 請求項９または１３に記載のパケット交換網の性能管理閾値設定装置において、
前記品質劣化事象特定手段は、
前記ユーザの評点から求めた前記主観品質評価値と、予め想定した前記品質劣化事象の発生頻度とにより、前記主観品質評価値を目的変数Ｙ、前記品質劣化事象の発生頻度を説明変数Ｘｉ（ｉ＝１，２，・・・）として、回帰曲線を導出し、前記目的変数Ｙの変動に影響を与える説明変数Ｘｉを、統計的検定を行うことにより求めることを特徴とするパケット交換網の性能管理閾値設定装置。 - 請求項９ないし１４のいずれか１項に記載のパケット交換網の性能管理閾値設定方法において、
前記品質劣化事象として、この品質劣化事象に対する品質指標を用いたことを特徴とするパケット交換網の性能管理閾値設定装置。 - パケット交換網を介して受信されたコンテンツに対するユーザの評点、このコンテンツを前記パケット交換網を介して提供した場合に、前記パケット交換網の負荷に起因して生起する品質劣化事象およびこの品質劣化事象の出現頻度を入力する第１の入力手段と、
リソースの負荷量と、この負荷量により前記リソースを要因として生じる品質劣化事象およびこの品質劣化事象の出現頻度とを入力する第２の入力手段と、
前記第１の入力手段に入力された前記評点から前記コンテンツ毎に主観品質評価値の計算を行う主観品質評価値計算手段と、
前記第１の入力手段により入力された前記品質劣化事象およびこの品質劣化事象の出現頻度から前記品質劣化事象毎に品質劣化事象の出現頻度の計算を行う品質劣化事象出現頻度計算手段と、
前記主観品質評価値計算手段により計算された前記主観品質評価値と、前記品質劣化事象出現頻度計算手段により計算された前記品質劣化事象毎の前記出現頻度とから、前記主観品質評価値に影響を及ぼす品質劣化事象を特定する品質劣化事象特定手段と、
前記第２の入力手段により入力された前記負荷量、前記品質劣化事象およびこの出現頻度とから、少なくとも前記品質劣化事象特定手段により特定された前記品質劣化事象について、それらの相関関係を前記リソース毎に求める相関関係分析手段と、
前記品質劣化事象特定手段および前記相関関係分析手段の結果から、予め設定された主観品質評価値の目標値を満たす前記リソースにかかる負荷量を、管理閾値として設定する管理閾値設定手段として、
コンピュータを機能させることを特徴とするパケット交換網の性能管理閾値設定プログラム。 - 請求項１６に記載のパケット交換網の性能管理閾値設定プログラムにおいて、
前記品質劣化事象として、この品質劣化事象に対する品質指標を用いたことを特徴とするパケット交換網の性能管理閾値設定プログラム。 - 請求項１６または１７に記載されたパケット交換網の性能管理閾値設定プログラムを記憶した記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002225831A JP3790196B2 (ja) | 2002-08-02 | 2002-08-02 | パケット交換網の性能管理閾値設定方法、閾値設定装置、プログラム、およびプログラムを記憶した記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002225831A JP3790196B2 (ja) | 2002-08-02 | 2002-08-02 | パケット交換網の性能管理閾値設定方法、閾値設定装置、プログラム、およびプログラムを記憶した記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004072228A true JP2004072228A (ja) | 2004-03-04 |
| JP3790196B2 JP3790196B2 (ja) | 2006-06-28 |
Family
ID=32013362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002225831A Expired - Lifetime JP3790196B2 (ja) | 2002-08-02 | 2002-08-02 | パケット交換網の性能管理閾値設定方法、閾値設定装置、プログラム、およびプログラムを記憶した記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3790196B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009134358A (ja) * | 2007-11-28 | 2009-06-18 | Fujitsu Ltd | 通信プログラム、通信装置および通信方法 |
| JP2010500837A (ja) * | 2006-08-16 | 2010-01-07 | イパネマ テクノロジー | 遠隔通信ネットワークにおける情報転送の最適化方法 |
-
2002
- 2002-08-02 JP JP2002225831A patent/JP3790196B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010500837A (ja) * | 2006-08-16 | 2010-01-07 | イパネマ テクノロジー | 遠隔通信ネットワークにおける情報転送の最適化方法 |
| JP2009134358A (ja) * | 2007-11-28 | 2009-06-18 | Fujitsu Ltd | 通信プログラム、通信装置および通信方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3790196B2 (ja) | 2006-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1206085B1 (en) | Method and apparatus for automated service level agreements | |
| US7953843B2 (en) | System and method for evaluating a heterogeneous cluster for supporting expected workload in compliance with at least one service parameter | |
| EP2633644B1 (en) | Service performance in communications network | |
| Shaikh et al. | Quality of experience from user and network perspectives | |
| US8060599B2 (en) | System and method for determining a streaming media server configuration for supporting expected workload in compliance with at least one service parameter | |
| US10091675B2 (en) | System and method for estimating an effective bandwidth | |
| JP5612696B2 (ja) | 通信ネットワーク内のサービス品質結果の特定及びアクセスのためのネットワーク管理システム及び方法 | |
| EP2364540B1 (en) | Method for estimating the 'quality of experience' of a user in respect of audio and/or video contents distributed through telecommunications networks | |
| CN106899448A (zh) | 适用于网络状态及性能测量的一体化动态赋权评估方法 | |
| US20220255869A1 (en) | Service quality control device, method, and program | |
| US20100017514A1 (en) | Method for determining service demands in a network load balanced scenario | |
| Lemeshko et al. | Development of the tensor model of multipath qоe-routing in an infocommunication network with providing the required quality rating | |
| CN117221295A (zh) | 一种基于边缘计算和网络切片的低延迟视频传输系统 | |
| JP5373801B2 (ja) | ネットワークのオンラインゲームのためのサービス品質を決定する方法 | |
| EP2816518A2 (en) | Methods and apparatuses to identify user dissatisfaction from early cancelation | |
| CN114244737A (zh) | 网络质量的评估方法、装置和系统 | |
| JP6259779B2 (ja) | Ｗｅｂブラウジング品質管理装置、その方法およびプログラム | |
| CN103825963B (zh) | 虚拟服务迁移方法 | |
| JP3790196B2 (ja) | パケット交換網の性能管理閾値設定方法、閾値設定装置、プログラム、およびプログラムを記憶した記憶媒体 | |
| WO2019244507A1 (ja) | 品質推定装置、品質推定方法及びプログラム | |
| JP4668851B2 (ja) | 品質クラス決定装置、品質クラス決定方法、およびプログラム | |
| KR100673184B1 (ko) | 이동 통신망에서 멀티미디어 서비스 품질 평가 방법 | |
| Zach et al. | Quality of experience of voice services in corporate network | |
| Ominike et al. | A quality of experience hexagram model for mobile network operators multimedia services and applications | |
| EP4422139A1 (en) | System and method for determining mean opinion score for application quality of experience |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040301 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060330 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3790196 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090407 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110407 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120407 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130407 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140407 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |