JP2006352528A - ユーザ体感品質推定モデル生成装置、方法、およびプログラム - Google Patents

Abstract

【課題】品質管理目標値として利用可能なリアルタイム系アプリケーションのユーザ体感品質を推定可能な推定モデルを生成する。
【解決手段】任意の評価期間において送受信されたアプリケーション用パケットに応じた中間パラメータ１３を中間パラメータ算出部１２で算出し、その評価期間におけるリアルタイム系アプリケーションに対するユーザ体感品質評価値１５を品質評価値取得部１４で取得する。同一評価期間における中間パラメータ１３とユーザ体感品質評価値１５との組を複数の組ごとに統計処理部１６で統計処理するとともに、各組の中間パラメータから求めた統計値と各組のユーザ体感品質評価値から求めた所定信頼区間下限値とを含む統計結果を順次算出し、各統計結果に含まれる中間パラメータの統計値と前記ユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式を所望の推定モデルとして品質推定モデル生成部１７で生成する。
【選択図】 図２

Description

本発明は、通信品質推定技術に関し、特にリアルタイム系アプリケーションのユーザ体感品質を推定するための推定モデルを生成する推定モデル生成技術に関する。

近年、パケット通信技術の飛躍的な発展に伴い、パケット通信網が音声や映像等のメディアを１対１あるいは多地点間で通信するリアルタイム系アプリケーションで利用されつつある。パケット通信網のインサービス品質管理では、このようなアプリケーションに対する品質管理も必要とされており、特にリアルタイム系アプリケーションでは、実際にアプリケーションを利用するユーザレベルでの主観的あるいは客観的な品質などのユーザ体感品質を用いた品質管理が重要視されている。

従来、発明者らは、このようなユーザ体感品質を用いた品質管理技術を提案した（例えば、特許文献１等参照）。この技術によれば、ユーザ体感品質の推定モデル（回帰式）を事前に生成し、ＭＯＳ値(Mean Opinion Source)など主観品質値の品質クラスすなわち信頼区間を考慮して、様々な品質管理目的に応じた品質管理目標値を設定できる。

このような品質管理において、品質評価を良い方に誤推定してしまうと、非常に重大な問題に発展してしまう恐れがある。例えば、実際には主観評価値ＭＯＳ＝２であったにも係わらず、実際より品質値の良好なＭＯＳ＝３．５と推定してしまった場合、本来、ユーザが悪い品質であると認識しているにも係わらず、管理者は、問題のない品質であると判断してしまうことになる。このような場合はクレームが多発し、また品質改善の対処もできなくなる。そのため、例えば９５％信頼区間を考慮して、平均値の推定値に信頼区間分を減じて品質推定することで、先のような問題を補うことができる。上記技術では、この９５％信頼区間分を平均値から減じて決定した品質管理目標値を安全側の品質目標値としている。

特開２００４−０２３５９４号公報

しかしながら、リアルタイム系アプリケーションにおける主観品質評価値などのユーザ体感品質は、一様に９５％信頼区間が決定するものではなく、各品質値（例えば、ＭＯＳ＝５付近とＭＯＳ＝３付近）に対して異なる信頼区間を保持するものである。したがって、前述の従来技術では、主観評価を実施した際の評価試験全体の９５％信頼区間を平均値の推定モデル（回帰式）に対して一様に減じていたため、このように信頼区間が変動する現象を考慮して安全側の品質目標値を決定できないという問題点があった。

また、リアルタイム系アプリケーションに対するインサービスでの品質管理技術は、呼毎(Call-by-call)で品質を監視することが望まれているが、ネットワーク品質パラメータよりも上位レイヤのメディア信号でユーザ体感品質を推定する客観評価法であるＩＴＵ−Ｔ勧告Ｐ．８６２ＰＥＳＱ(Perceptual Evaluation of Speech Quality)やＩＴＵ−Ｔ勧告Ｐ．８６１ＰＳＱＭ(Perceptual Speech Quality Measure)であっても、１回の測定でユーザ体感品質を推定するものではなく、数サンプルの平均によって品質を推定するものとされている。
そのため、インサービス品質管理のようなサンプルごとにユーザ体感品質を推定する際、前述の従来技術のように平均値推定を採用してしまっては、品質の良いほうに推定誤差が生じてしまう可能性があった。

本発明はこのような課題を解決するためのものであり、品質管理目標値として利用可能なリアルタイム系アプリケーションのユーザ体感品質を推定可能な推定モデルを生成できるユーザ体感品質推定モデル生成装置、方法、およびプログラムを提供することを目的としている。

このような目的を達成するために、本発明にかかるユーザ体感品質推定モデル生成装置は、パケット通信網を介して接続されたアプリケーション端末間で用いられるリアルタイム系アプリケーションについて、当該リアルタイム系アプリケーションでやり取りされるアプリケーション用パケットの送受信状況からユーザ体感品質を推定するための推定モデルを生成するユーザ体感品質推定モデル生成装置であって、任意の評価期間においてアプリケーション端末で送受信されたアプリケーション用パケットの送受信状況を示す中間パラメータを算出する中間パラメータ算出部と、評価期間において評価されたリアルタイム系アプリケーションに対するユーザ体感品質評価値を取得する品質評価値取得部と、同一評価期間における中間パラメータとユーザ体感品質評価値との組を複数の組ごとに統計処理し、各組の中間パラメータから求めた統計値と各組のユーザ体感品質評価値から求めた所定信頼区間下限値とを含む統計結果を順次算出する統計処理部と、各統計結果に含まれる中間パラメータの統計値とユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式を所望の推定モデルとして生成する品質推定モデル生成部とを備えている。

この際、推定モデル生成の具体例として、統計処理部により、統計値として各中間パラメータの平均値を求め、品質推定モデル生成部により、各統計結果に含まれる中間パラメータの平均値とユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式を所望の推定モデルとして生成するようにしてもよい。

あるいは、品質推定モデル生成部により、統計量が任意の選定範囲にある複数の統計結果のうちユーザ体感品質評価値の所定信頼区間下限値が最も低い統計結果を選定し、選定した中間パラメータの平均値とユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式を所望の推定モデルとして生成するようにしてもよい。

この際、統計処理部により、統計値として各中間パラメータの平均値と所定信頼区間上下限値を求め、品質推定モデル生成部により、統計量が所定信頼区間上下限値の範囲にある複数の統計結果のうちユーザ体感品質評価値の所定信頼区間下限値が最も低い統計結果を選定するようにしてもよい。

また、本発明にかかるユーザ体感品質推定モデル生成方法は、パケット通信網を介して接続されたアプリケーション端末間で用いられるリアルタイム系アプリケーションについて、当該リアルタイム系アプリケーションでやり取りされるアプリケーション用パケットの送受信状況からユーザ体感品質を推定するための推定モデルを情報処理装置で生成するユーザ体感品質推定モデル生成方法であって、任意の評価期間においてアプリケーション端末で送受信されたアプリケーション用パケットの送受信状況を示す中間パラメータを算出する中間パラメータ算出ステップと、評価期間において評価されたリアルタイム系アプリケーションに対するユーザ体感品質評価値を取得する品質評価値取得ステップと、同一評価期間における中間パラメータとユーザ体感品質評価値との組を複数の組ごとに統計処理し、各組の中間パラメータから求めた統計値と各組のユーザ体感品質評価値から求めた所定信頼区間下限値とを含む統計結果を順次算出する統計処理ステップと、各統計結果に含まれる中間パラメータの統計値とユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式を所望の推定モデルとして生成する品質推定モデル生成ステップとを備えている。

また、本発明にかかるプログラムは、パケット通信網を介して接続されたアプリケーション端末間で用いられるリアルタイム系アプリケーションについて、当該リアルタイム系アプリケーションでやり取りされるアプリケーション用パケットの送受信状況からユーザ体感品質を推定するための推定モデルを生成するユーザ体感品質推定モデル生成装置のコンピュータに、任意の評価期間においてアプリケーション端末で送受信されたアプリケーション用パケットの送受信状況を示す中間パラメータを算出する中間パラメータ算出ステップと、評価期間において評価されたリアルタイム系アプリケーションに対するユーザ体感品質評価値を取得する品質評価値取得ステップと、同一評価期間における中間パラメータとユーザ体感品質評価値との組を複数の組ごとに統計処理し、各組の中間パラメータから求めた統計値と各組のユーザ体感品質評価値から求めた所定信頼区間下限値とを含む統計結果を順次算出する統計処理ステップと、各統計結果に含まれる中間パラメータの統計値とユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式を所望の推定モデルとして生成する品質推定モデル生成ステップとを実行させるようにしたものである。

本発明によれば、任意の評価期間において送受信されたアプリケーション用パケットの送受信状況を示す中間パラメータが算出されるとともに、その評価期間において利用者が評価したリアルタイム系アプリケーションに対するユーザ体感品質評価値が取得されて、同一評価期間における中間パラメータとユーザ体感品質評価値との組が複数の組ごとに統計処理されるとともに、各組の中間パラメータから求めた統計値と各組のユーザ体感品質評価値から求めた所定信頼区間下限値とを含む統計結果が順次算出され、各統計結果に含まれる中間パラメータの統計値とユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式が所望の推定モデルとして生成される。

したがって、ユーザ体感品質値のばらつきを考慮してその安全側を推定可能なユーザ体感品質推定モデルを生成でき、品質管理目標値として利用可能なリアルタイム系アプリケーションのユーザ体感品質を推定可能な推定モデルを生成できる。

次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１および図２を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定モデル生成装置について説明する。図１は、本発明の第１の実施の形態にかかるユーザ体感品質推定モデル生成装置が適用される品質管理システムの構成を示すブロック図である。図２は、本発明の第１の実施の形態にかかるユーザ体感品質推定モデル生成装置の構成を示すブロック図である。

この品質管理システムには、アプリケーション端末３Ａ，３Ｂ、品質管理装置２Ａ，２Ｂ、パケット転送装置４Ａ，４Ｂ、およびユーザ体感品質推定モデル生成装置１が設けられている。
アプリケーション端末３Ａおよびアプリケーション端末３Ｂは、ハブ（ＨＵＢ）などのパケット転送装置４Ａ，４Ｂを介してパケット通信網５に接続されて、両端末間でメディアパケット６１や制御パケット６２などのアプリケーション用パケット６をやり取りすることにより、音声や映像等のメディアを通信するリアルタイム系アプリケーションを実行する情報処理端末である。

品質管理装置２Ａ，２Ｂは、各アプリケーション端末３Ａ，３Ｂの内部あるいは外部に設けられて、それぞれのアプリケーション端末３Ａ，３Ｂで実行されているリアルタイム系アプリケーションについて、そのユーザ体感品質を所定の品質管理目標値に基づき管理する情報処理端末である。
ユーザ体感品質推定モデル生成装置１は、パケット転送装置４Ａ，４Ｂを介してキャプチャ（捕捉）したアプリケーション用パケット６Ａ，６Ｂの送受信状況と利用者が評価したリアルタイム系アプリケーションに対するユーザ体感品質評価値とに基づきユーザ体感品質を推定するための推定モデルを生成する情報処理端末である。

図２において、ユーザ体感品質推定モデル生成装置１には、対象パケット抽出部１１、中間パラメータ算出部１２、品質評価値取得部１４、統計処理部１６、品質推定モデル生成部１７、および品質管理目標情報出力部１９が設けられている。

本実施の形態では、ユーザ体感品質推定モデル生成装置１において、任意の評価期間において各アプリケーション端末で送受信されたアプリケーション用パケットの送受信状況を示す所定の中間パラメータ１３を中間パラメータ算出部１２で算出し、その評価期間において利用者が評価したリアルタイム系アプリケーションに対するユーザ体感品質評価値１５を品質評価値取得部１４で取得し、同一評価期間における中間パラメータ１３とユーザ体感品質評価値１５との組を複数の組ごとに統計処理部１６で統計処理するとともに、各組の中間パラメータから求めた統計値と各組のユーザ体感品質評価値から求めた所定信頼区間下限値とを含む統計結果を順次算出し、各統計結果に含まれる中間パラメータの統計値とユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式を所望の推定モデルとして品質推定モデル生成部１７で生成するようにしたものである。

［ユーザ体感品質推定モデル生成装置］
次に、図２を参照して、本実施の形態にかかるユーザ体感品質推定モデル生成装置の構成について詳細に説明する。
このユーザ体感品質推定モデル生成装置１において、上記各機能部は、専用回路部や演算処理部、さらには記憶部により実現される。このうち、演算処理部はＣＰＵおよびその周辺回路を有し、ＣＰＵ内部や周辺回路のメモリあるいは記憶部からプログラムを読み込んで実行することにより各種機能部を実現する。また、記憶部はハードディスクやメモリなどの記憶装置からなり、専用回路部や演算処理部で用いる各種処理情報やプログラムを記憶する。

対象パケット抽出部１１は、専用回路部や演算処理部からなり、任意の評価期間においてアプリケーション端末３Ａで送受信されたアプリケーション用パケット６Ａをパケット転送装置４Ａからキャプチャする機能と、上記評価期間においてアプリケーション端末３Ｂで送受信されたアプリケーション用パケット６Ｂをパケット転送装置４Ｂからキャプチャする機能と、これらアプリケーション用パケット６Ａ，６Ｂからモデル生成の対象となるリアルタイム系アプリケーションのアプリケーション用パケットを抽出する機能とを有している。

中間パラメータ算出部１２は、演算処理部からなり、対象パケット抽出部１１で抽出されたアプリケーション用パケットの送受信状況を抽出する機能と、その送受信状況に応じた所定の中間パラメータ１３を算出し記憶部へ保存する機能とを有している。この中間パラメータとしては、例えば無効パケット率などユーザ体感品質に応じて変化する指標が用いられる。無効パケットとは、一方の端末から一定間隔で送信された各試験用パケットのうち他方の端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットのことであり（例えば、特開2002-064539号公報など参照）、送信した試験パケット数に対する無効パケット数（損失パケット数＋遅着パケット数）の割合で求められる。

品質評価値取得部１４は、専用回路部や演算処理部からなり、対象パケット抽出部１１でアプリケーション用パケット６Ａ，６Ｂをキャプチャした評価期間において、利用者が評価したそのリアルタイム系アプリケーションに対するユーザ体感品質評価値７Ａ，７Ｂを取得する機能と、これらユーザ体感品質評価値７Ａ，７Ｂをユーザ体感品質評価値１５として記憶部へ保存する機能とを有している。

統計処理部１６は、演算処理部からなり、同一評価期間における中間パラメータ１３とユーザ体感品質評価値１５との組を記憶部からそれぞれ取得する機能と、これら複数の組ごとに中間パラメータ１３とユーザ体感品質評価値１５とを統計処理する機能と、各組の中間パラメータから求めた統計値と各組のユーザ体感品質評価値から求めた所定信頼区間下限値とを含む統計結果を上記複数の組ごとに順次算出する機能とを有している。この際、中間パラメータの統計量としては、各組の中間パラメータの平均値や、所定信頼区間上限値、下限値などが用いられる。信頼区間については必要とされる推定精度に応じて９５％信頼区間や９９％信頼区間などが用いられる。

測定で得られた中間パラメータ１３やユーザ体感品質評価値１５の９５％信頼区間は、これら標本抽出を繰り返して得られた各信頼区間のうち、その信頼区間の中に真の母集団（全体）平均が含まれる割合が９５％となる範囲を意味している。これにより、例えば測定で得られた複数のユーザ体感品質評価値１５に対する真の母集団（全体）平均は、これらユーザ体感品質評価値１５から求めた信頼区間で示される範囲でばらつく可能性があると見なすことができる。本実施の形態では、各ユーザ体感品質評価値１５を代表する統計値として、この信頼区間の下限値すなわちユーザ体感品質として品質の低い側の値を用いている。

品質推定モデル生成部１７は、演算処理部からなり、統計処理部１６で得られた各統計結果に含まれる中間パラメータ１３の統計値とユーザ体感品質評価値１５の所定信頼区間下限値との関係を回帰分析する機能と、得られた回帰式をユーザ体感品質推定モデル１８として記憶部へ保存する機能とを有している。

品質管理目標情報出力部１９は、専用回路部や演算処理部からなり、記憶部のユーザ体感品質推定モデル１８に基づき品質管理装置２Ａ，２Ｂで用いる品質目標値を示す品質管理目標情報８Ａ，８Ｂを生成する機能と、得られた品質管理目標情報８Ａ，８Ｂを品質管理装置２Ａ，２Ｂへ出力する機能とを有している。この際、品質管理目標情報出力部１９は、ユーザ体感品質推定モデル１８から算出した所望のユーザ体感品質目標値に対応する中間パラメータを品質管理目標情報８Ａ，８Ｂとして通知する。

［品質管理装置］
次に、図３を参照して、図１の品質管理システムで用いられる品質管理装置の構成について説明する。図３は、図１の品質管理システムで用いられる品質管理装置の構成を示すブロック図である。

この品質管理装置２には、対象パケット抽出部２１、品質管理値算出部２２、品質管理目標情報取得部２４、および品質判定部２６が設けられている。
この品質管理装置２において、上記各機能部は、専用回路部や演算処理部、さらには記憶部により実現される。このうち、演算処理部はＣＰＵおよびその周辺回路を有し、ＣＰＵ内部や周辺回路のメモリあるいは記憶部からプログラムを読み込んで実行することにより各種機能部を実現する。また、記憶部はハードディスクやメモリなどの記憶装置からなり、専用回路部や演算処理部で用いる各種処理情報やプログラムを記憶する。

対象パケット抽出部２１は、専用回路部や演算処理部からなり、任意の評価期間においてアプリケーション端末３Ａで送受信されたアプリケーション用パケット９Ａをアプリケーション端末３Ａからキャプチャする機能と、上記評価期間においてアプリケーション端末３Ｂで送受信されたアプリケーション用パケット９Ｂをアプリケーション端末３Ｂからキャプチャする機能と、これらアプリケーション用パケット９Ａ，９Ｂからモデル生成の対象となるリアルタイム系アプリケーションのアプリケーション用パケットを抽出する機能とを有している。

品質管理値算出部２２は、演算処理部からなり、対象パケット抽出部１１で抽出されたアプリケーション用パケットの送受信状況を抽出する機能と、その送受信状況に応じた品質管理値２３を算出し記憶部へ保存する機能とを有している。この品質管理値２３としては、中間パラメータやユーザ体感品質値が用いられる。

品質管理目標情報取得部２４は、専用回路部や演算処理部からなり、ユーザ体感品質推定モデル生成装置１から品質管理目標情報８を取得する機能と、取得した品質管理目標情報８から品質管理目標値２５を抽出して記憶部へ保存する機能とを有している。この際、品質管理目標情報取得部２４は、品質管理目標となる中間パラメータを品質管理目標値２５として品質管理目標情報８から抽出する。

品質判定部２６は、記憶部から順次取得した品質管理値２３を記憶部の品質管理目標値２５と比較する機能と、その比較結果を品質管理値２３に対する品質判定結果として出力する機能とを有している。

［第１の実施の形態の動作］
次に、図１および図２を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定モデル生成装置の動作として、ユーザ体感品質推定モデルの生成動作について説明する。以下では、リアルタイム系アプリケーションで使用できる通信サービスをパケット通信網５により提供開始する前に品質目標値を設定する段階、もしくは定期的に品質目標値の見直しをはかる段階で、対象アプリケーションをアプリケーション端末３Ａ，３Ｂで実行し、メディア／アプリケーションに対するユーザ体感品質評価試験を繰り返し実行し、得られた品質評価値と中間パラメータとの複数の組からユーザ体感品質推定モデルを生成する場合について説明する。なお、ここでは信頼区間として９５％信頼区間を用いた場合を例として説明する。

ユーザ体感品質推定モデル生成装置１は、対象パケット抽出部１１により、パケット転送装置４Ａ，４Ｂから対象アプリケーションで用いるアプリケーション用パケット６Ａ，６Ｂをキャプチャする。そして、中間パラメータ算出部１２により、対象パケット抽出部１１でキャプチャしたアプリケーション用パケット６Ａ，６Ｂから、例えば数秒の評価期間ごとに中間パラメータ１３を順次算出し記憶部へ保存する。

これと並行して、ユーザ体感品質推定モデル生成装置１は、品質評価値取得部１４により、アプリケーション端末３Ａ，３Ｂからメディア／アプリケーションに対する主観または客観のユーザ体感品質評価値を取得する。この際、被験者がアプリケーション端末３Ａ，３Ｂで、メディア／アプリケーション通信に対して上記評価期間ごとに評価を繰り返し実施する。ユーザ体感品質推定モデル生成装置１は、個々の評価ごとにユーザ体感品質評価値７Ａ，７Ｂを取得し、品質評価値１５として記憶部へ保存する。

ユーザ体感品質評価値の具体的方法の１つとして、主観評価であるオピニオン評価法がある。オピニオン評価法は、系列範疇法（Method of Successive Categories）と呼ばれる心理測定法の一種である。被験者は被試験音声の品質を、日常使用している電話の品質に照らして「非常によい」〜「非常に悪い」まで５段階で評価する。そして、その評価に４〜０点（あるいは５〜１点）の評点を与え、多数の被験者による投票率にしたがって加重平均値を求めたものをＭＯＳ値（Mean Opinion Source：平均オピニオン値）として用いる（例えば、浅谷，「通信ネットワークの品質設計」，社団法人電子情報通信学会，1993,Marなど参照）。

次に、ユーザ体感品質推定モデル生成装置１は、統計処理部１６により、記憶部に保存されている評価期間ごとの中間パラメータ１３とユーザ体感品質評価値１５との組を複数の組ごとに統計処理し、統計結果として出力する。この際、例えば８つの評価期間ごとに得られた中間パラメータ１３とユーザ体感品質評価値１５からなる８個の組を１つのまとまりとし、これら中間パラメータ１３とユーザ体感品質評価値１５の平均値、標準偏差、９５％信頼区間を算出し、１つのまとまりごとに統計結果として出力する。統計結果としては、これら８個の中間パラメータ１３の例えば平均値などの統計量と、８個のユーザ体感品質評価値１５の９５％信頼区間を出力する。なお、１回の接続ごとに平均、標準偏差、９５％信頼区間を算出してもよい。

ユーザ体感品質推定モデル生成装置１は、上記のようにして８個の組ごとに１つの統計結果を順次生成し、品質推定モデル生成部１７により、得られた複数の統計結果に基づき所望の品質推定モデル１８を生成し記憶部へ保存する。この際、品質推定モデル生成部１７は、中間パラメータ１５の統計量（平均値）とユーザ体感品質評価値の９５％信頼区間下限値との関係を示す回帰式を所望の推定モデルとして生成する。これにより、ユーザ体感品質評価値としてその平均値を用いた場合と比較して、より安全側のユーザ体感品質評価値を推定する品質推定モデル１８を生成できる。

この後、ユーザ体感品質推定モデル生成装置１は、品質管理目標情報出力部１９により、記憶部から品質推定モデル１８を取得して品質管理目標情報８Ａ，８Ｂを生成し、品質管理装置２Ａ，２Ｂへ送信する。この際、品質管理目標情報出力部１９は、予め定められたユーザ体感品質目標値、例えばＭＯＳ＝３に対応する中間パラメータを品質推定モデル１８から逆算し、その中間パラメータすなわち品質目標値を用いて品質管理目標情報８Ａ，８Ｂを生成する。これにより、一連のユーザ体感品質推定モデル生成動作を終了する。

［ユーザ体感品質推定モデルの生成］
次に、図４〜図７を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定モデル生成装置でのユーザ体感品質推定モデルの生成について詳細に説明する。図４は、無効パケット率（測定値）と主観品質評価値ＭＯＳ（測定値）の関係を示す説明図である。図５は、ユーザ体感品質評価試験で得られた無効パケット率（平均値）と主観品質評価値ＭＯＳ（平均値）の関係を示す説明図である。図６は、ユーザ体感品質評価試験で得られた無効パケット率（９５％信頼区間下限値）と主観品質評価値ＭＯＳ（平均値）の関係を示す説明図である。図７は、本実施の形態で得られた品質推定モデルと測定データの関係を示す説明図である。

図４に示すように、中間パラメータとして無効パケット率を用い、評価期間ごとに得られた無効パケット率と主観品質評価値ＭＯＳからなる測定データをプロットした場合、同一の無効パケット率に対しても、品質評価値（ＭＯＳ）にばらつきがあることがわかる。したがって、これらのデータを統計処理した後に推定モデルを作成すればよい。統計処理する理由は、音声の客観品質評価法であるＩＴＵ−Ｔ勧告Ｐ．８６１ＰＳＱＭ(Perceptual Speech Quality Measure)にも記載されているが、客観的に品質推定を実施する場合、数サンプル（具体的には８サンプル以上）の平均値により推定することが望ましいとされているためである。例えば、１回の接続時間中に１０秒間の音声品質評価を８回実施した場合、その８回の評価値を統計処理することになる。

８回の評価ごとに得られた無効パケット率と主観品質評価値ＭＯＳの平均値からなる平均データをそれぞれプロットした場合、図５のようになり、図中の曲線１００は、これら無効パケット率と主観品質評価値ＭＯＳの平均値の組から得た回帰式を示す回帰曲線である。
この図５によれば、モデル生成に用いたデータのばらつきが小さく非常に高精度な推定モデルが生成されていることがわかるが、実際には図２に示すように測定データがばらつくため、図５の推定モデルからの推定誤差が大きいデータも多い。インサービス品質管理では、リアルタイムで品質を推定することが望まれるため、図２で示される主観品質評価値ＭＯＳを推定できることが望ましい。また、品質管理では、厳しく品質を推定すれば安全側の品質推定となり、最悪ケースを予測できる。よって、９５％信頼区間などの所定信頼区間の下限値を精度よく推定できれば、そのメリットは大きい。

本実施の形態では、図６に示すように、統計処理部１６により、測定データ（図４）に対して、ＭＯＳの平均値（ここでは８評価平均値）から９５％信頼区間幅（８評価の片側９５％信頼区間幅）を引いたＭＯＳの９５％信頼区間下限値を求め、品質推定モデル生成部１７により、曲線１０１で示される推定モデルを生成した。これにより、図７に示すように、無効パケット率と主観品質評価値ＭＯＳの平均値から生成した推定モデル（曲線１００）と比較して、曲線１０１のほうが測定データの低品質側を推定できることがわかる。したがって、本実施の形態によれば、ユーザ体感品質値のばらつきを考慮してその安全側を推定可能なユーザ体感品質推定モデルを生成できる。

［第２の実施の形態］
次に、図８および図９を参照して、本発明の第２の実施の形態にかかるユーザ体感品質推定モデル生成装置について説明する。図８は、本発明の第２の実施の形態にかかるユーザ体感品質推定モデル生成装置での統計結果選定処理を示す説明図である。図９は、本発明の第２の実施の形態にかかるユーザ体感品質推定モデル生成装置で得られた品質推定モデルと測定データの関係を示す説明図である。

前述の第１の実施の形態では、測定試験でユーザ体感品質値として得られた主観品質評価値ＭＯＳの９５％信頼区間下限値を用いて品質推定モデルを生成する場合について説明した。本実施の形態では、中間パラメータの統計量が同程度にある複数の統計結果についてはそのうちユーザ体感品質評価値の９５％信頼区間下限値が最も低い統計結果を１つ選定し、これら選定した統計結果の中間パラメータの平均値とユーザ体感品質評価値の９５％信頼区間下限値との関係を示す回帰式から品質推定モデルを生成する場合について説明する。

本実施の形態において、ユーザ体感品質推定モデル生成装置１の品質推定モデル生成部１７は、統計処理部１６から出力された各統計結果について、中間パラメータの統計量が任意の範囲にある複数の統計結果のうちユーザ体感品質評価値の９５％信頼区間下限値が最も低い統計結果を選定する機能と、選定した統計結果の中間パラメータの平均値とユーザ体感品質評価値の９５％信頼区間下限値との関係を示す回帰式から品質推定モデルを生成する機能とを有している。なお、このほかの構成については、前述した第１の実施の形態の構成（図２参照）と同様であり、ここでの詳細な説明は省略する。

品質推定モデル生成部１７は、図８に示すように、統計処理部１６から出力された各統計結果のうち、品質推定モデル生成部１７により、無効パケット率の平均値が任意の選定範囲にある複数の統計結果については、そのうち主観品質評価値ＭＯＳの９５％信頼区間下限値が最も低いものを採用とし、それ以外は非採用とする。

選定処理の対象となる複数の統計結果については、前述した第１の実施の形態によれば、統計処理部１６において、８評価の無効パケット率ごとにその平均値（８評価平均値）に加えて９５％信頼区間の上下限値を算出し統計結果として出力し、品質推定モデル生成部１７により、その無効パケット率の９５％信頼区間の上下限値範囲が重複するものを、選定処理の対象となる複数の統計結果としてもよい。この際、９５％信頼区間の上下限値範囲が重複する統計結果のうち、最も広い上下限値範囲が上記範囲選定となる。なお、無効パケット率を所定幅ごとに区切って設けた各区間を選定範囲として用いてもよい。

図９の曲線１１１は、所定の測定データに対して本実施の形態を適用して得られた品質推定モデルｇを示す回帰曲線である。無効パケット率をｒとした場合、
ｇ(r)=2.994×exp(-1×r／0.031)＋1
となる。測定データの平均値から得られた品質推定モデルｆを示す曲線１１０と比較して、ほとんどの測定データの低品質側を推定できていることがわかる。
ｆ(r)=3.242×exp(-1×r／0.044)＋1−0.30

このように、本実施の形態によれば、同程度の無効パケット率に対する主観品質評価値ＭＯＳの９５％信頼区間下限値として、最も評価値の低い９５％信頼区間下限値が選定されて品質推定モデルが生成されるため、品質推定モデルとして、ユーザ体感品質値のばらつきを考慮して、より安全側を推定可能なユーザ体感品質推定モデルを生成できる。

［各実施の形態の拡張］
以上の各実施の形態では、中間パラメータとして無効パケット率を用い、ユーザ体感品質評価値として主観品質評価値（ＭＯＳ）を用いた場合を例として説明したが、これに限定さられるものではなく、他の指標を用いてもよい。
また、評価区間については、９５％評価区間に限定されるものではなく、品質推定モデルに要求される精度に応じて例えば９９％評価区間など、任意の評価区間を用いればよい。

また、ユーザ体感品質推定モデル生成装置１では、ユーザ体感品質推定モデル１８の回帰式そのものを品質管理目標情報８Ａ，８Ｂとして通知してもよい。この際、品質管理装置２Ａ，２Ｂの品質管理目標情報取得部２４では、品質管理目標情報８に含まれているユーザ体感品質推定モデル１８の回帰式を記憶部へ保存し、所望のユーザ体感品質管理目標値に対応する中間パラメータを逆算し品質管理目標値２５として記憶部に保存すればよい。あるいは、品質管理値算出部２２により、アプリケーション用パケットの送受信状況から得た中間パラメータに対応するユーザ体感品質値をユーザ体感品質推定モデル１８から算出して品質管理値２３として記憶部へ保存し、品質管理目標情報取得部２４で取得された所望のユーザ体感品質管理目標値からなる品質管理目標値２５と、品質判定部２６で比較するようにしてもよい。

本発明の第１の実施の形態にかかるユーザ体感品質推定モデル生成装置が適用される品質管理システムの構成を示すブロック図である。 本発明の第１の実施の形態にかかるユーザ体感品質推定モデル生成装置の構成を示すブロック図である。 図１の品質管理システムで用いられる品質管理装置の構成を示すブロック図である。 無効パケット率（測定値）と主観品質評価値ＭＯＳ（測定値）の関係を示す説明図である。 無効パケット率（平均値）と主観品質評価値ＭＯＳ（平均値）の関係を示す説明図である。 無効パケット率（９５％信頼区間下限値）と主観品質評価値ＭＯＳ（平均値）の関係を示す説明図である。 本発明の第１の実施の形態にかかるユーザ体感品質推定モデル生成装置で得られた品質推定モデルと測定データの関係を示す説明図である。 本発明の第２の実施の形態にかかるユーザ体感品質推定モデル生成装置での統計結果選定処理を示す説明図である。 本発明の第２の実施の形態にかかるユーザ体感品質推定モデル生成装置で得られた品質推定モデルと測定データの関係を示す説明図である。

符号の説明

１…ユーザ体感品質推定モデル生成装置、１１…対象パケット抽出部、１２…中間パラメータ算出部、１３…中間パラメータ、１４…品質評価値取得部、１５…品質評価値、１６…統計処理部、１７…品質推定モデル生成部、１８…品質推定モデル、１９…品質管理目標情報出力部、２，２Ａ，２Ｂ…品質管理装置、２１…対象パケット抽出部、２２…品質管理値算出部、２３…品質管理値、２４…品質管理目標情報取得部、２５…品質管理目標値、２６…品質判定部、３Ａ，３Ｂ…アプリケーション端末、４Ａ，４Ｂ…パケット転送装置（ＨＵＢ）、５…パケット通信網、６，６Ａ，６Ｂ…アプリケーション用パケット、６１…メディアパケット、６２…制御パケット、７Ａ，７Ｂ…品質評価値、８，８Ａ，８Ｂ…品質管理目標情報、９Ａ，９Ｂ…アプリケーション用パケット。

Claims (6)

1. パケット通信網を介して接続されたアプリケーション端末間で用いられるリアルタイム系アプリケーションについて、当該リアルタイム系アプリケーションでやり取りされるアプリケーション用パケットの送受信状況からユーザ体感品質を推定するための推定モデルを生成するユーザ体感品質推定モデル生成装置であって、
   任意の評価期間において前記アプリケーション端末で送受信されたアプリケーション用パケットの送受信状況を示す中間パラメータを算出する中間パラメータ算出部と、
   前記評価期間において評価された前記リアルタイム系アプリケーションに対するユーザ体感品質評価値を取得する品質評価値取得部と、
   同一評価期間における前記中間パラメータと前記ユーザ体感品質評価値との組を複数の組ごとに統計処理し、前記各組の中間パラメータから求めた統計値と前記各組のユーザ体感品質評価値から求めた所定信頼区間下限値とを含む統計結果を順次算出する統計処理部と、
   前記各統計結果に含まれる前記中間パラメータの統計値と前記ユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式を所望の推定モデルとして生成する品質推定モデル生成部と
   を備えることを特徴とするユーザ体感品質推定モデル生成装置。
2. 請求項１に記載のユーザ体感品質推定モデル生成装置において、
   前記統計処理部は、前記統計値として前記各中間パラメータの平均値を求め、
   前記品質推定モデル生成部は、前記各統計結果に含まれる前記中間パラメータの平均値と前記ユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式を所望の推定モデルとして生成する
   ことを特徴とするユーザ体感品質推定モデル生成装置。
3. 請求項１に記載のユーザ体感品質推定モデル生成装置において、
   前記品質推定モデル生成部は、前記統計量が任意の選定範囲にある複数の統計結果のうちユーザ体感品質評価値の所定信頼区間下限値が最も低い統計結果を選定し、選定した前記中間パラメータの平均値と前記ユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式を所望の推定モデルとして生成する
   ことを特徴とするユーザ体感品質推定モデル生成装置。
4. 請求項１に記載のユーザ体感品質推定モデル生成装置において、
   前記統計処理部は、前記統計値として前記各中間パラメータの平均値と所定信頼区間上下限値を求め、
   前記品質推定モデル生成部は、前記統計量が所定信頼区間上下限値の範囲にある複数の統計結果のうちユーザ体感品質評価値の所定信頼区間下限値が最も低い統計結果を選定する
   ことを特徴とするユーザ体感品質推定モデル生成装置。
5. パケット通信網を介して接続されたアプリケーション端末間で用いられるリアルタイム系アプリケーションについて、当該リアルタイム系アプリケーションでやり取りされるアプリケーション用パケットの送受信状況からユーザ体感品質を推定するための推定モデルを情報処理装置で生成するユーザ体感品質推定モデル生成方法であって、
   任意の評価期間において前記アプリケーション端末で送受信されたアプリケーション用パケットの送受信状況を示す中間パラメータを算出する中間パラメータ算出ステップと、
   前記評価期間において評価された前記リアルタイム系アプリケーションに対するユーザ体感品質評価値を取得する品質評価値取得ステップと、
   同一評価期間における前記中間パラメータと前記ユーザ体感品質評価値との組を複数の組ごとに統計処理し、前記各組の中間パラメータから求めた統計値と前記各組のユーザ体感品質評価値から求めた所定信頼区間下限値とを含む統計結果を順次算出する統計処理ステップと、
   前記各統計結果に含まれる前記中間パラメータの統計値と前記ユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式を所望の推定モデルとして生成する品質推定モデル生成ステップと
   を備えることを特徴とするユーザ体感品質推定モデル生成方法。
6. パケット通信網を介して接続されたアプリケーション端末間で用いられるリアルタイム系アプリケーションについて、当該リアルタイム系アプリケーションでやり取りされるアプリケーション用パケットの送受信状況からユーザ体感品質を推定するための推定モデルを生成するユーザ体感品質推定モデル生成装置のコンピュータに、
   任意の評価期間において前記アプリケーション端末で送受信されたアプリケーション用パケットの送受信状況を示す中間パラメータを算出する中間パラメータ算出ステップと、
   前記評価期間において評価された前記リアルタイム系アプリケーションに対するユーザ体感品質評価値を取得する品質評価値取得ステップと、
   同一評価期間における前記中間パラメータと前記ユーザ体感品質評価値との組を複数の組ごとに統計処理し、前記各組の中間パラメータから求めた統計値と前記各組のユーザ体感品質評価値から求めた所定信頼区間下限値とを含む統計結果を順次算出する統計処理ステップと、
   前記各統計結果に含まれる前記中間パラメータの統計値と前記ユーザ体感品質評価値の所定信頼区間下限値との関係を示す回帰式を所望の推定モデルとして生成する品質推定モデル生成ステップと
   を実行させるためのプログラム。
   

Images