JP2006080683A - ユーザ体感品質監視方法、ユーザ体感品質監視装置、推定モデルの生成方法および推定モデルの生成装置 - Google Patents
ユーザ体感品質監視方法、ユーザ体感品質監視装置、推定モデルの生成方法および推定モデルの生成装置 Download PDFInfo
- Publication number
- JP2006080683A JP2006080683A JP2004260249A JP2004260249A JP2006080683A JP 2006080683 A JP2006080683 A JP 2006080683A JP 2004260249 A JP2004260249 A JP 2004260249A JP 2004260249 A JP2004260249 A JP 2004260249A JP 2006080683 A JP2006080683 A JP 2006080683A
- Authority
- JP
- Japan
- Prior art keywords
- quality
- application
- delay
- estimation
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【課題】アプリケーション機器の実装特性を考慮してユーザのアプリケーションに対する主観品質を推定することができるユーザ体感品質監視方法、ユーザ体感品質監視装置、推定モデルの生成方法および推定モデルの生成装置を提供する。
【解決手段】評価値・遅延受信部３１は、メディア品質測定部１０から受聴品質とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を受信する。ネットワーク・端末品質情報受信部３２は、ネットワーク・端末品質情報取得部２０からネットワークおよびアプリケーション端末の品質情報を受信する。パラメータ算出部３３は、ネットワークおよびアプリケーション端末の品質情報を、受聴品質推定およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定に必要な情報に変換する。推定モデル算出部３４は、受聴品質とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延およびパラメータ算出部３３により変換された情報に基づいて、品質推定モデルを算出する。
【選択図】 図３
【解決手段】評価値・遅延受信部３１は、メディア品質測定部１０から受聴品質とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を受信する。ネットワーク・端末品質情報受信部３２は、ネットワーク・端末品質情報取得部２０からネットワークおよびアプリケーション端末の品質情報を受信する。パラメータ算出部３３は、ネットワークおよびアプリケーション端末の品質情報を、受聴品質推定およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定に必要な情報に変換する。推定モデル算出部３４は、受聴品質とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延およびパラメータ算出部３３により変換された情報に基づいて、品質推定モデルを算出する。
【選択図】 図３
Description
本発明は、パケット網上でリアルタイム系アプリケーションを呼毎のパッシブ測定によって監視する際に推定モデルを用いる監視方法および監視装置ならびにその推定モデルの生成方法および生成装置に関するものである。
ＩＰ(Internet Protocol)電話や映像配信等のリアルタイム系アプリケーションは、ＩＰ網などのパケット網の品質が保証されないためにアプリケーションの品質管理技術が注目されており、ユーザの体感品質を推定する方法が開発されている。例えば、特許文献１には、パケット網におけるＶｏＩＰ等のリアルタイム系アプリケーションの音声に対する主観品質推定技術が開示されている。また、この技術を利用したネットワーク管理方法が特許文献２に開示されている。近年、このような品質管理技術では、大規模ネットワーク上の中継を保持する機器であるルータなどのコアノードやエッジノードを通過するデータ量や回線使用率等の統計的な情報を用いることより、ネットワーク品質を管理するのみならず、アプリケーションをパッシブ測定によって呼毎に監視する方法が開発されている（例えば、非特許文献１〜３参照。）。
なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
特開２００２−０６４５３９号公報
特開２００４−０２３５９４号公報
ETSI TIPHON TS101 329-5 Annex E, "Method for determinig an equipment impairment factor using passive monitoring," Nov. 2000.
A.Clark,"Modeling the effects of burst packet loss and recency on subjective voice quality,"in IP Telephony Workshop 2001, Apr. 2001.
Timur Friedman, Ramon Caceres, and Alan Clark,"Rtp control protcol extended reports(rtcp xr)," in IETF RFC3611, 2003.
Telchemy Inc., "Vqmon,"［on line］、［平成１６年７月７日検索］、インターネット<URL:http://www.telchemy.com/.>
しかしながら、従来の方法は、アプリケーション機器の実装特性を考慮できる技術ではなく、ユーザ体感品質、すなわち主観品質の推定精度が高い推定技術ではなかった。なお、ＩＴＵ−Ｔ Ｐ．８６２で勧告されているＰＳＱＭアルゴリズムのように機器の実装特性を考慮した品質推定を実施できる客観評価法も存在するが、これらの技術は、アクティブ測定を実施する方法であり、呼毎に品質を監視できる技術ではなく、また、主観品質推定結果をネットワーク品質設計・制御にフィードバックできる技術ではなかった。
このため、リアルタイム系アプリケーションを呼毎のパッシブ測定によって、常時監視する際のユーザのアプリケーションに対する主観品質をアプリケーション機器の実装特性を考慮して推定することができる技術が望まれていた。
そこで、本発明は、上述したような課題を解決するためになされたものであり、アプリケーション機器の実装特性を考慮してユーザのアプリケーションに対する主観品質を監視することができるユーザ体感品質監視方法、ユーザ体感品質監視装置、推定モデルの生成方法および推定モデルの生成装置を提供することを目的とする。
このため、リアルタイム系アプリケーションを呼毎のパッシブ測定によって、常時監視する際のユーザのアプリケーションに対する主観品質をアプリケーション機器の実装特性を考慮して推定することができる技術が望まれていた。
そこで、本発明は、上述したような課題を解決するためになされたものであり、アプリケーション機器の実装特性を考慮してユーザのアプリケーションに対する主観品質を監視することができるユーザ体感品質監視方法、ユーザ体感品質監視装置、推定モデルの生成方法および推定モデルの生成装置を提供することを目的とする。
上述したような課題を解決するために本発明に係るユーザ体感品質監視方法は、パケット網において実行されるアプリケーションのユーザ体感品質を呼毎にパッシブ測定によって監視する監視方法であって、アプリケーションのユーザ体感品質をアプリケーションの実装特性を考慮して推定する推定モデルを生成する生成ステップと、推定モデルおよびパッシブ測定により測定したネットワーク品質情報を含むアプリケーション品質情報に基づいてアプリケーションのユーザ体感品質を推定する推定ステップと、この推定ステップにより推定されたユーザ体感品質を常時監視する監視ステップとを有することを特徴とする。ここで、アプリケーション品質情報には、ネットワークの品質情報とアプリケーション端末の品質情報が含まれるようにしてもよい。
上記ユーザ体感品質監視方法において、生成ステップは、アプリケーションの品質要素毎に品質評価値を算出する算出ステップと、パッシブ測定により測定したネットワーク品質情報を含むアプリケーション品質情報を取得する取得ステップと、アプリケーション品質情報を品質評価値の算出の基礎となる基礎情報に変換する変換ステップと、品質評価値と基礎情報とに基づいて推定モデルを生成するモデル生成ステップとを有するようにしてもよい。
上記ユーザ体感品質監視方法において、生成ステップは、品質評価値と基礎情報との関係に基づいて基礎情報をアプリケーションの実装特性に応じた品質情報に変換する実装特性考慮ステップとをさらに有し、モデル生成ステップは、品質評価値と品質情報とに基づいて推定モデルを生成するようにしてもよい。
上記ユーザ体感品質監視方法において、アプリケーションの品質要素は、受聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延並びに視聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延の何れか一方からなり、モデル生成ステップは、算出された全ての品質評価値を統合した値に基づいて推定モデルを生成するようにしてもよい。
ここで、受聴品質には、音質の意味が含まれるようにしてもよい。また、視聴品質には、画質が含まれるようにしてもよい。
ここで、受聴品質には、音質の意味が含まれるようにしてもよい。また、視聴品質には、画質が含まれるようにしてもよい。
上記ユーザ体感品質監視方法において、アプリケーションの品質要素は、受聴品質および視聴品質の何れか一方からなり、算出ステップは、監視対象となるアプリケーション毎に、品質要素に対する主観および客観の何れか一方の品質評価値を算出し、取得ステップは、監視対象となるアプリケーション毎にアプリケーション品質情報を取得するようにしてもよい。
上記ユーザ体感品質監視方法において、アプリケーションの品質要素は、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延からなり、算出ステップは、パケットがアプリケーションの送信端末から受信端末に到達するまでの時間である片道転送遅延を含む品質評価値を監視対象となるアプリケーション毎に算出し、取得ステップは、アプリケーション品質情報を監視対象となるアプリケーション毎に取得し、基礎情報からｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を推定する遅延推定ステップと、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から片道転送遅延を減じた第１の値と、遅延推定ステップにより推定された推定ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から片道転送遅延を減じた第２の値とを算出する減算ステップとをさらに備え、モデル生成ステップは、第２の値から第１の値を算出する実装特性を考慮した推定モデルを生成するようにしてもよい。
また、本発明にかかるユーザ体感品質監視装置は、パケット網において実行されるアプリケーションのユーザ体感品質を呼毎にパッシブ測定によって監視する監視装置であって、アプリケーションのユーザ体感品質をアプリケーションの実装特性を考慮して推定する推定モデルを生成する生成手段と、推定モデルおよびパッシブ測定により測定したネットワーク品質情報を含むアプリケーション品質情報に基づいてアプリケーションのユーザ体感品質を推定する推定手段と、この推定手段により推定されたユーザ体感品質を常時監視する監視手段とを有することを特徴とする。
上記ユーザ体感品質監視装置において、生成手段は、アプリケーションの品質要素毎に品質評価値を算出する算出手段と、パッシブ測定により測定したネットワーク品質情報を含むアプリケーション品質情報を取得する取得手段と、アプリケーション品質情報を品質評価値の算出の基礎となる基礎情報に変換する変換手段と、品質評価値と基礎情報とに基づいて推定モデルを生成するモデル生成手段とを有するようにしてもよい。
上記ユーザ体感品質監視装置において、生成手段は、品質評価値と基礎情報との関係に基づいて基礎情報をアプリケーションの実装特性に応じた品質情報に変換する実装特性考慮手段とをさらに有し、モデル生成手段は、品質評価値と品質情報とに基づいて推定モデルを生成するようにしてもよい。
上記ユーザ体感品質監視装置において、アプリケーションの品質要素は、受聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延並びに視聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延の何れか一方からなり、モデル生成手段は、算出された全ての品質評価値を統合した値に基づいて推定モデルを生成するようにしてもよい。
上記ユーザ体感品質監視装置において、アプリケーションの品質要素は、受聴品質および視聴品質の何れか一方からなり、算出手段は、監視対象となるアプリケーション毎に、品質要素に対する主観および客観の何れか一方の品質評価値を算出し、取得手段は、監視対象となるアプリケーション毎にアプリケーション品質情報を取得するようにしてもよい。
上記ユーザ体感品質監視装置において、アプリケーションの品質要素は、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延からなり、算出手段は、パケットがアプリケーションの送信端末から受信端末に到達するまでの時間である片道転送遅延を含む品質評価値を監視対象となるアプリケーション毎に算出し、取得手段は、アプリケーション品質情報を監視対象となるアプリケーション毎に取得し、基礎情報からｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を推定する遅延推定手段と、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から片道転送遅延を減じた第１の値と、遅延推定ステップにより推定された推定ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から片道転送遅延を減じた第２の値とを算出する減算手段とをさらに備え、モデル生成手段は、第２の値から第１の値を算出する実装特性を考慮した推定モデルを生成するようにしてもよい。
また、本発明に係る推定モデルの生成方法は、パケット網において実行されるアプリケーションのユーザ体感品質をアプリケーションの実装特性を考慮して推定する推定モデルの生成方法であって、受聴品質、視聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延の少なくとも１つからなるアプリケーションの品質要素毎に、品質評価値を算出する算出ステップと、パッシブ測定により測定したネットワーク品質情報を含むアプリケーション品質情報を取得する取得ステップと、アプリケーション品質情報を品質評価値の算出の基礎となる基礎情報に変換する変換ステップと、品質評価値と基礎情報とに基づいて推定モデルを生成するモデル生成ステップとを有することを特徴とする。
上記推定モデルの生成方法において、アプリケーションの品質要素は、受聴品質および視聴品質の何れか一方からなり、算出ステップは、監視対象となるアプリケーション毎に、品質要素に対する主観および客観の何れか一方の品質評価値を算出し、取得ステップは、監視対象となるアプリケーション毎にアプリケーション品質情報を取得するようにしてもよい。
上記推定モデルの生成方法において、アプリケーションの品質要素は、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延からなり、算出ステップは、パケットがアプリケーションの送信端末から受信端末に到達するまでの時間である片道転送遅延を含む品質評価値を監視対象となるアプリケーション毎に算出し、取得ステップは、アプリケーション品質情報を監視対象となるアプリケーション毎に取得し、基礎情報からｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を推定する遅延推定ステップと、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から片道転送遅延を減じた第１の値と、遅延推定ステップにより推定された推定ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から片道転送遅延を減じた第２の値とを算出する減算ステップとをさらに備え、モデル生成ステップは、第２の値から第１の値を算出する実装特性を考慮した推定モデルを生成するようにしてもよい。
上記推定モデルの生成方法において、品質評価値と基礎情報との関係に基づいて基礎情報をアプリケーションの実装特性に応じた品質情報に変換する実装特性考慮ステップとをさらに有し、モデル生成ステップは、品質評価値と品質情報とに基づいて推定モデルを生成するようにしてもよい。
また、本発明に係る推定モデルの生成装置は、パケット網において実行されるアプリケーションのユーザ体感品質をアプリケーションの実装特性を考慮して推定する推定モデルの生成装置であって、受聴品質、視聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延の少なくとも１つからなるアプリケーションの品質要素毎に、品質評価値を算出する算出手段と、パッシブ測定により測定したネットワーク品質情報を含むアプリケーション品質情報を取得する取得手段と、アプリケーション品質情報を品質評価値の算出の基礎となる基礎情報に変換する変換手段と、品質評価値と基礎情報とに基づいて推定モデルを生成するモデル生成手段とを有することを特徴とする。
上記推定モデルの生成装置において、アプリケーションの品質要素は、受聴品質および視聴品質の何れか一方からなり、算出手段は、監視対象となるアプリケーション毎に、品質要素に対する主観および客観の何れか一方の品質評価値を算出し、取得手段は、監視対象となるアプリケーション毎にアプリケーション品質情報を取得するようにしてもよい。
上記推定モデルの生成装置において、アプリケーションの品質要素は、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延からなり、算出手段は、パケットがアプリケーションの送信端末から受信端末に到達するまでの時間である片道転送遅延を含む品質評価値を監視対象となるアプリケーション毎に算出し、取得手段は、アプリケーション品質情報を監視対象となるアプリケーション毎に取得し、基礎情報からｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を推定する遅延推定手段と、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から片道転送遅延を減じた第１の値と、遅延推定ステップにより推定された推定ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から片道転送遅延を減じた第２の値とを算出する減算手段とをさらに備え、モデル生成手段は、第２の値から第１の値を算出する実装特性を考慮した推定モデルを生成するようにしてもよい。
上記推定モデルの生成装置において、品質評価値と基礎情報との関係に基づいて基礎情報をアプリケーションの実装特性に応じた品質情報に変換する実装特性考慮手段とをさらに有し、モデル生成手段は、品質評価値と品質情報とに基づいて推定モデルを生成するようにしてもよい。
本発明によれば、アプリケーションの実装特性を考慮した推定モデルを生成することにより、アプリケーションの実装特性を考慮した主観品質推定が可能となる。また、本発明によれば、上記推定モデルを用いることにより、アプリケーションのユーザ体感品質を呼毎にパッシブ測定で常時監視することが可能となる。さらに、本発明によれば、既存の品質測定・管理技術を利用して主観品質を推定することもできる。
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
まず、本発明の概要について説明する。図１は、従来のＩＰ電話のパッシブ測定による品質監視システムの構成を示す図、図２は、図１の品質監視システムに本発明を適用した図である。
図１に示すように、従来の品質監視システムは、ネットワーク品質測定部１０１と、アプリケーション端末品質測定部１０２と、端末設定情報取得部１０３と、中間パラメータ推定部１０４と、受聴品質・Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５と、総合会話品質推定部１０６とを有する。
まず、本発明の概要について説明する。図１は、従来のＩＰ電話のパッシブ測定による品質監視システムの構成を示す図、図２は、図１の品質監視システムに本発明を適用した図である。
図１に示すように、従来の品質監視システムは、ネットワーク品質測定部１０１と、アプリケーション端末品質測定部１０２と、端末設定情報取得部１０３と、中間パラメータ推定部１０４と、受聴品質・Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５と、総合会話品質推定部１０６とを有する。
ネットワーク品質測定部１０１は、パケット損失量、遅延量、ジッタ等のパケット毎の性能情報をネットワークから測定し、中間パラメータ推定部１０４に送信する。
アプリケーション端末設定情報取得部１０２は、エコー消去量、Ｓ／Ｎ比等のアプリケーション端末の性能情報をアプリケーション端末から測定し、中間パラメータ推定部１０４に送信する。
端末設定情報取得部１０３は、符号化種別、バッファサイズ等のアプリケーション端末の設定情報を取得し、中間パラメータ推定部１０４に送信する。
アプリケーション端末設定情報取得部１０２は、エコー消去量、Ｓ／Ｎ比等のアプリケーション端末の性能情報をアプリケーション端末から測定し、中間パラメータ推定部１０４に送信する。
端末設定情報取得部１０３は、符号化種別、バッファサイズ等のアプリケーション端末の設定情報を取得し、中間パラメータ推定部１０４に送信する。
中間パラメータ推定部１０４は、中間パラメータ品質要因生成部１０４ａと、アナログ品質要因生成部１０４ｂとを有する。
中間パラメータ要因生成部１０４ａは、ネットワーク品質測定部１０１、アプリケーション端末品質測定部１０２および端末設定情報取得部１０３から受信した情報に基づいて、損失、片道転送遅延、パケット廃棄量、ジッタ損失量、バッファ遅延量、エコー遅延量等の中間パラメータ品質要因を生成し、受聴品質・Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５に送信する。
アナログ品質要因生成部１０４ｂは、ネットワーク品質測定部１０１、アプリケーション端末品質測定部１０２および端末設定情報取得部１０３から受信した情報に基づいて、エコー消去量、Ｓ／Ｎ比等のアナログ品質要因を生成し、総合会話品質推定部１０５に送信する。
中間パラメータ要因生成部１０４ａは、ネットワーク品質測定部１０１、アプリケーション端末品質測定部１０２および端末設定情報取得部１０３から受信した情報に基づいて、損失、片道転送遅延、パケット廃棄量、ジッタ損失量、バッファ遅延量、エコー遅延量等の中間パラメータ品質要因を生成し、受聴品質・Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５に送信する。
アナログ品質要因生成部１０４ｂは、ネットワーク品質測定部１０１、アプリケーション端末品質測定部１０２および端末設定情報取得部１０３から受信した情報に基づいて、エコー消去量、Ｓ／Ｎ比等のアナログ品質要因を生成し、総合会話品質推定部１０５に送信する。
受聴品質・Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５は、Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５ａと、受聴品質推定部１０５ｂとを有する。
Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５ａは、中間パラメータ推定部１０４から受信した中間パラメータ品質要因に基づいてＭｏｕｔｈ−ｔｏ−ｅａｒ遅延を推定し、この推定値を総合会話品質推定部１０６に送信する。
受聴品質推定部１０５ｂは、中間パラメータ推定部１０４から受信した中間パラメータ品質要因に基づいて受聴品質を推定し、この推定値を総合会話品質推定部１０６に送信する。
Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５ａは、中間パラメータ推定部１０４から受信した中間パラメータ品質要因に基づいてＭｏｕｔｈ−ｔｏ−ｅａｒ遅延を推定し、この推定値を総合会話品質推定部１０６に送信する。
受聴品質推定部１０５ｂは、中間パラメータ推定部１０４から受信した中間パラメータ品質要因に基づいて受聴品質を推定し、この推定値を総合会話品質推定部１０６に送信する。
総合会話品質推定部１０６は、中間パラメータ推定部１０４および受聴品質・Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５から受信した情報に基づいて、総合会話品質を推定する。
上述した品質監視システムにおいて、特に、中間パラメータ推定部１０４，受聴品質・Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５および総合会話品質推定部１０６については、従来より様々な製品が開発されている。例えば、中間パラメータ推定部１０４および受聴品質・Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５については、引用文献４に開示されている。また、総合会話品質推定部１０６については、ＩＴＵ−Ｔ 勧告Ｇ．１０７Ｅ−ｍｏｄｅｌが相当する。
なお、図１において符号１００で示すシステム、すなわちネットワーク品質測定部１０１、端末設定情報取得部１０３、中間パラメータ推定部１０４および受聴品質・Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５から構成されるシステムは、引用文献４に開示されたシステムに相当する。
なお、図１において符号１００で示すシステム、すなわちネットワーク品質測定部１０１、端末設定情報取得部１０３、中間パラメータ推定部１０４および受聴品質・Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部１０５から構成されるシステムは、引用文献４に開示されたシステムに相当する。
上述した品質監視システムでは、アプリケーションの実装特性を考慮した品質推定ができない。そこで、本発明では、図２に示すような構成を採ることにより、アプリケーションの実装特性を考慮した品質推定を可能とする。
図２に示す品質監視システムは、推定部２０１，２０２、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延値格納部２０３およびＰＥＳＱ値格納部２０４をさらに設けたものである。よって、図１に示す品質監視システムと同等の構成には、同じ名称および符号を付して、適宜説明を省略する。
図２に示す品質監視システムは、推定部２０１，２０２、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延値格納部２０３およびＰＥＳＱ値格納部２０４をさらに設けたものである。よって、図１に示す品質監視システムと同等の構成には、同じ名称および符号を付して、適宜説明を省略する。
図２に示す品質監視システムでは、中間パラメータ推定部１０４の中間パラメータ品質要因生成部１０４ａは、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延品質情報生成部１０４ｃと、メディア品質情報生成部１０４ｄとを有する。
ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延品質情報生成部１０４ｃは、Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定に必要な品質情報を生成し、推定部２０１に送信する。
メディア品質情報生成部１０４ｄは、メディアの品質推定に必要な品質情報を生成し、推定部２０２に送信する。
ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延品質情報生成部１０４ｃは、Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定に必要な品質情報を生成し、推定部２０１に送信する。
メディア品質情報生成部１０４ｄは、メディアの品質推定に必要な品質情報を生成し、推定部２０２に送信する。
推定部２０１は、中間パラメータ推定部１０４の中間パラメータ品質要因生成部１０４ａから受信した情報と、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延値格納部２０３に格納されているｍｏｕｔｈ−ｔｏ−ｅａｒ遅延値と、推定モデルとに基づいてｍｏｕｔｈ−ｔｏ−ｅａｒ遅延の推定値を生成し、総合会話品質推定部１０６に送信する。
推定部２０２は、中間パラメータ推定部１０４の中間パラメータ品質要因生成部１０４ａから受信した情報と、ＰＥＳＱ値格納部２０４に格納されているＰＥＳＱ（Perceptual Evaluation of SpeechQuality）値と、推定モデルとに基づいて受聴品質の推定値を生成し、総合会話品質推定部１０６に送信する。
なお、図２において符号２００で示すシステム、すなわち推定部２０１，２０２、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延値格納部２０３およびＰＥＳＱ値格納部２０４から構成されるシステムが、後述する本実施の形態の品質推定・監視装置、特に品質推定に関する装置に相当する。
推定部２０２は、中間パラメータ推定部１０４の中間パラメータ品質要因生成部１０４ａから受信した情報と、ＰＥＳＱ値格納部２０４に格納されているＰＥＳＱ（Perceptual Evaluation of SpeechQuality）値と、推定モデルとに基づいて受聴品質の推定値を生成し、総合会話品質推定部１０６に送信する。
なお、図２において符号２００で示すシステム、すなわち推定部２０１，２０２、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延値格納部２０３およびＰＥＳＱ値格納部２０４から構成されるシステムが、後述する本実施の形態の品質推定・監視装置、特に品質推定に関する装置に相当する。
総合会話品質推定部１０６は、推定部２０１から受信したｍｏｕｔｈ−ｔｏ−ｅａｒ遅延の推定値と、推定部２０２から受信した受聴品質の推定値とに基づいて、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延および受聴品質の総合会話品質を推定する。
このように、本発明では、中間パラメータ推定部１０４や総合会話品質推定部１０６については従来の方法を用いるが、アプリケーションの実装特性を考慮した推定モデルを生成し、このモデルをユーザ体感品質推定の段階で用いることにより、ユーザ体感品質推定精度を向上させるものである。
次に、本発明の実施の形態について詳細に説明する。
本実施の形態は、事前にアプリケーションの実装特性を考慮して品質推定を実施する品質推定モデルを算出し、この推定モデルを用いてユーザ体感品質を監視するものである。したがって、まず品質推定モデルを算出する推定モデル生成装置について説明し、続いてユーザ体感品質を監視する品質推定・監視装置について説明する。
本実施の形態は、事前にアプリケーションの実装特性を考慮して品質推定を実施する品質推定モデルを算出し、この推定モデルを用いてユーザ体感品質を監視するものである。したがって、まず品質推定モデルを算出する推定モデル生成装置について説明し、続いてユーザ体感品質を監視する品質推定・監視装置について説明する。
［推定モデル生成装置］
図３は、本実施の形態に係る推定モデル生成装置の構成を示すブロック図である。以下では、ＩＰ網などのパケット網からなるネットワーク２を利用して、このネットワーク２を介して接続される２つのＶｏＩＰ−ｇａｔｅｗａｙ３，４の間で用いられるリアルタイム系アプリケーション、ここではＶｏＩＰ（Voice over IP：インターネットを用いた音声通話など）のユーザ体感品質の監視に用いる品質推定モデルを算出する場合を例として説明する。
本実施の形態に係る推定モデル生成装置１は、受聴品質とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を測定するメディア品質測定部１０と、ネットワークおよびアプリケーション端末の品質情報を取得するネットワーク・端末品質情報取得部２０と、品質推定モデルを生成する推定モデル生成部３０とから構成される。
図３は、本実施の形態に係る推定モデル生成装置の構成を示すブロック図である。以下では、ＩＰ網などのパケット網からなるネットワーク２を利用して、このネットワーク２を介して接続される２つのＶｏＩＰ−ｇａｔｅｗａｙ３，４の間で用いられるリアルタイム系アプリケーション、ここではＶｏＩＰ（Voice over IP：インターネットを用いた音声通話など）のユーザ体感品質の監視に用いる品質推定モデルを算出する場合を例として説明する。
本実施の形態に係る推定モデル生成装置１は、受聴品質とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を測定するメディア品質測定部１０と、ネットワークおよびアプリケーション端末の品質情報を取得するネットワーク・端末品質情報取得部２０と、品質推定モデルを生成する推定モデル生成部３０とから構成される。
メディア品質測定部１０は、パケット送信側となるＶｏＩＰ−ｇａｔｅｗａｙ２に評価音声信号を出力する評価音声出力部１１と、パケット受信側となるＶｏＩＰ−ｇａｔｅｗａｙ３から出力される評価音声信号に基づいて受聴品質とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を測定する評価値・遅延取得部１２とを有する。
ネットワーク・端末品質情報取得部２０は、パケット受信側となるＶｏＩＰ−ｇａｔｅｗａｙ３から出力される評価音声信号に基づいて、ユーザ体感品質推定やｍｏｕｔｈ−ｔｏ−ｅａｒ遅延の推定に必要となるネットワークおよびアプリケーション端末の品質情報を取得する。
推定モデル生成部３０は、評価値・遅延受信部３１と、ネットワーク・端末品質情報受信部３２と、パラメータ算出部３３と、推定モデル算出部３４と、モデル格納ＤＢ３５とを有する。
評価値・遅延受信部３１は、メディア品質測定部１０から受聴品質とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を受信し、推定モデル算出部３４に送信する。
ネットワーク・端末品質情報受信部３２は、ネットワーク・端末品質情報取得部２０からネットワークおよびアプリケーション端末の品質情報を受信し、パラメータ算出部３３に送信する。
パラメータ算出部３３は、ネットワークおよびアプリケーション端末の品質情報を、受聴品質推定およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定に必要な基礎となる情報に変換し、推定モデル算出部３４に送信する。
推定モデル算出部３４は、評価値・遅延受信部３１およびパラメータ算出部３３から受信した情報に基づいて、品質推定モデルを算出する。ここで、推定モデル算出部３４は、評価値・遅延受信部から受信した情報を統合した値に基づいて、品質推定モデルを算出するようにしてもよい。また、推定モデル算出部３４は、パラメータ算出部３３から受信した情報を統合した値に基づいて、品質推定モデルを算出するようにしてもよい。
モデル格納ＤＢ３５は、推定モデル算出部３４により算出された品質推定モデルを格納する。
評価値・遅延受信部３１は、メディア品質測定部１０から受聴品質とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を受信し、推定モデル算出部３４に送信する。
ネットワーク・端末品質情報受信部３２は、ネットワーク・端末品質情報取得部２０からネットワークおよびアプリケーション端末の品質情報を受信し、パラメータ算出部３３に送信する。
パラメータ算出部３３は、ネットワークおよびアプリケーション端末の品質情報を、受聴品質推定およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定に必要な基礎となる情報に変換し、推定モデル算出部３４に送信する。
推定モデル算出部３４は、評価値・遅延受信部３１およびパラメータ算出部３３から受信した情報に基づいて、品質推定モデルを算出する。ここで、推定モデル算出部３４は、評価値・遅延受信部から受信した情報を統合した値に基づいて、品質推定モデルを算出するようにしてもよい。また、推定モデル算出部３４は、パラメータ算出部３３から受信した情報を統合した値に基づいて、品質推定モデルを算出するようにしてもよい。
モデル格納ＤＢ３５は、推定モデル算出部３４により算出された品質推定モデルを格納する。
上述の要素からなる推定モデル生成装置１は、ＣＰＵ等の演算装置、メモリ、HDD等の記憶装置、ＶｏＩＰ−ｇａｔｅｗａｙ３，４と各種情報の送受を行うＩ/Ｆ装置、キーボード、マウス等の入力装置、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、FED(Field Emission Display)または有機EL(Electro Luminescence)等の表示装置などを備えたコンピュータと、このコンピュータにインストールされたプログラムとからそれぞれ構成されており、上記ハードウェア装置がプログラムによって制御されることによって、すなわちハードウェア資源とソフトウェアが協働することによって、推定モデル生成装置１の各要素を実現する。
［品質推定モデルの算出方法］
次に、上述した推定モデル生成装置１による品質推定モデルの算出方法について、説明する。
まず、推定モデル生成装置１は、ネットワーク・端末品質情報取得部２０により、サービス提供の事前に、対象となるＶｏＩＰ−ｇａｔｅｗａｙ製品等のアプリケーション毎、または、符号化の種類毎に、様々なネットワーク品質条件下で、ネットワークおよびアプリケーション端末の品質情報を測定し、推定モデル生成部３０に送信する。また、同時にメディア品質測定部１０により、アプリケーションの品質要素となる受聴品質とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延をパッシブ測定により測定し、推定モデル生成部３０に送信する。
次に、上述した推定モデル生成装置１による品質推定モデルの算出方法について、説明する。
まず、推定モデル生成装置１は、ネットワーク・端末品質情報取得部２０により、サービス提供の事前に、対象となるＶｏＩＰ−ｇａｔｅｗａｙ製品等のアプリケーション毎、または、符号化の種類毎に、様々なネットワーク品質条件下で、ネットワークおよびアプリケーション端末の品質情報を測定し、推定モデル生成部３０に送信する。また、同時にメディア品質測定部１０により、アプリケーションの品質要素となる受聴品質とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延をパッシブ測定により測定し、推定モデル生成部３０に送信する。
ここで、ネットワーク・端末品質情報取得部２０としては、受聴品質推定やｍｏｕｔｈ−ｔｏ−ｅａｒ遅延の推定に必要となるネットワークおよびアプリケーション端末の品質情報を取得できるのであれば、特許文献１に示す無効パケット率や等価バッファサイズ等を用いてもよいが、本実施の形態では、非特許文献５に示すＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙを利用するものとする。ネットワーク・端末品質情報取得部２０は、ＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙを利用して、以下のデータを取得する。
受聴品質推定に利用するデータとしては、「ＧＦＳ（Ｇａｐ ｆｉｌｌｅｄ ｗｉｔｈ ｓｉｌｅｎｃｅ）」、「ＧＦＰ（Ｇａｐ ｆｉｌｌｅｄ ｗｉｔｈ ｐｒｅｄｉｃｔｉｏｎ）」、「ＧＦＩ（Ｇａｐ ｆｉｌｌｅｄ ｗｉｔｈ ｉｎｔｅｒｐｏｌａｔｉｏｎ）」および「ＧＦＲ（Ｇａｐ ｆｉｌｌｅｄ ｗｉｔｈ ｒｅｄｕｎｄａｎｃｙ）」を取得する。
ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定に利用するデータとしては、「ＲＴＴ（Ｒｏｕｎｄ−ｔｒｉｐ ｔｉｍｅ）」および「ＲＤ（Ｒｅｃｅｉｖｅｄ ｄｅｌａｙ）」を取得する。
ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定に利用するデータとしては、「ＲＴＴ（Ｒｏｕｎｄ−ｔｒｉｐ ｔｉｍｅ）」および「ＲＤ（Ｒｅｃｅｉｖｅｄ ｄｅｌａｙ）」を取得する。
これらのデータをネットワーク・端末品質情報取得部２０が取得中に、メディア品質測定部１０は、受聴品質とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を測定する。
ここで、受聴品質とは、ユーザ体感品質評価値のことを意味し、具体的には主観品質評価、または、客観品質評価値のことを表す。なお、本実施の形態では、客観品質評価としてＩＴＵ−Ｔ Ｐ．８６２で勧告されているＰＳＱＭアルゴリズムを用いることとする。
ここで、受聴品質とは、ユーザ体感品質評価値のことを意味し、具体的には主観品質評価、または、客観品質評価値のことを表す。なお、本実施の形態では、客観品質評価としてＩＴＵ−Ｔ Ｐ．８６２で勧告されているＰＳＱＭアルゴリズムを用いることとする。
なお、本実施の形態では、リアルタイムアプリケーションとしてＶｏＩＰを例に説明しているが、例えばストリーミングなどのリアルタイムアプリケーションに適用することも可能である。この場合は、受聴品質の代わりに視聴品質に関する各種パラメータを用いればよい。具体的には、視聴品質評価値には、受聴品質評価値ＰＥＳＱの代わりに、ＭＯＳ（Mean Opinion Score）やＤＭＯＳ（Delay Mean Opinion Score）といった主観評価値、またはＡＮＩのパラメータのような客観評価値を用いる。中間パラメータには、ＶｏＩＰと同様、パケットの転送遅延や損失、遅延ゆらぎ、バッファ溢れの情報を利用し、これらに加えてＩフレーム、Ｂフレーム、Ｐフレーム等の損失したフレームの情報を含める。また、端末設定情報には、ＣＯＤＥＣ種別や画面サイズ情報を含める。このようにすることにより、本実施の形態は、ストリーミング等のリアルタイムアプリケーションにも適用することが可能となる。
次に、推定モデル生成装置１の推定モデル生成部３０は、パラメータ算出部３３によりネットワークおよびアプリケーション端末の品質情報を、受聴品質推定およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定に必要な基礎となる情報に変換し、推定モデル算出部３４に送信する。
まず、受聴品質は、損失率より推定を行うため、上述したＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙにより得られたＧａｐに関するデータより、損失率（ｇａｐＲ:ここでは、Ｇａｐ率に相当する）を求める。Ｇａｐに関する情報は、劣化した音声を補正した時間が出力されるため、Ｇａｐ率は、式（１）で示すように、これらのデータを取得していた時間、すなわち、通話時間（Ｓｐｅｅｃｈ ｔｉｍｅ）で割ることによって算出することができる。
まず、受聴品質は、損失率より推定を行うため、上述したＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙにより得られたＧａｐに関するデータより、損失率（ｇａｐＲ:ここでは、Ｇａｐ率に相当する）を求める。Ｇａｐに関する情報は、劣化した音声を補正した時間が出力されるため、Ｇａｐ率は、式（１）で示すように、これらのデータを取得していた時間、すなわち、通話時間（Ｓｐｅｅｃｈ ｔｉｍｅ）で割ることによって算出することができる。
また、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延は、ＲＴＴがパケット転送の往復転送遅延を出力しているため、ＲＴＴの１／２を片道転送遅延と仮定し、受信端末に届いてから音声に変換されるまでの遅延であるＲＤを加え、それ以外に、パケット化やＣＯＤＥＣのエンコード／デコードにかかる時間を全てまとめてｐｒｏｃｅｓｓ遅延（ＰＤ）と定義する。これらの仮定および定義を用いてｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を式（２）のように定義する。ここで、ＰＤは任意の値を定義する。
次に、推定モデル生成装置１の推定モデル生成部３０は、推定モデル算出部３４により、アプリケーション機器の実装特性を考慮して品質推定を実施する品質推定モデルを算出する。具体的には、推定モデル算出部３４は、パラメータ算出部３３が上式（１）、（２）で算出した値と、メディア品質測定部１０が測定した受聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延とに基づいて「受聴品質推定モデル」および「遅延推定モデル」を算出する。
ここで、ＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙは、得られた値をＩＴＵ−Ｔ 勧告Ｇ．０７Ｅ−ｍｏｄｅｌを利用して、会話品質を推定する技術である。Ｅ−ｍｏｄｅｌは、式（３）によって表され、０から１００までのＲ値で会話品質を決定する。
ここで、ＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙは、得られた値をＩＴＵ−Ｔ 勧告Ｇ．０７Ｅ−ｍｏｄｅｌを利用して、会話品質を推定する技術である。Ｅ−ｍｏｄｅｌは、式（３）によって表され、０から１００までのＲ値で会話品質を決定する。
Ｒは、各要素から構成され、受聴品質はＩｅ，ｅｆｆ、遅延はＩｄによって、その品質を表すため、以下の節では、実装特性を考慮するための推定モデルを提案するが、これらのモデルは、変換したＩｅ，ｅｆｆおよびＩｄを算出するものである。
（受聴品質推定モデル）
まず、受聴品質推定モデルの算出方法について説明する。
機器の実装特性を考慮するために、主観または客観品質評価値とそれらの値を推定するために必要な品質情報との関係を、関係式で表すことによって推定モデルを算出する。まずは、図４のような関係を関係式で示す。図４は、Ｇａｐ率とＰＥＳＱ値の関係を示す図である。
機器の実装特性を考慮した、受聴品質推定モデルを算出する手順を以下に示す。
まず、受聴品質推定モデルの算出方法について説明する。
機器の実装特性を考慮するために、主観または客観品質評価値とそれらの値を推定するために必要な品質情報との関係を、関係式で表すことによって推定モデルを算出する。まずは、図４のような関係を関係式で示す。図４は、Ｇａｐ率とＰＥＳＱ値の関係を示す図である。
機器の実装特性を考慮した、受聴品質推定モデルを算出する手順を以下に示す。
まず、図４より、Ｇａｐ率（ｇａｐＲ）からＰＥＳＱ（ｐｅｓｑest）を推定する回帰式を算出する。この回帰式を式（４）に示す。
例えば、ここでは、式（４）のｆ（ｇａｐＲ）は、式（５）のようになる。
次に、ＩＴＵ−Ｔ 勧告Ｇ．１０７のＭＯＳ（ここではＰＥＳＱ）をＲ（Ｒpesq）値へ変換するＩＴＵ−Ｔ 勧告Ｇ．１０７の定義は、以下の式（６）〜（８）で表される。
次に、式（４）によって推定したｐｅｓｑestを式（６）〜（８）でＲpesqを変換し、これをＩＴＵ−Ｔ 勧告Ｐ．８３３を利用して、式（９）によりＩｅ，ｅｆｆに変換する。
以上の変換過程を以下の式（１０）で表すことができ、この式（１０）を機器の実装特性を考慮した受聴品質推定モデルとして、インサービス品質監視技術に適用する。
図５は、本実施の形態を適用した場合のＩｅ，ｅｆｆの推定値と算出値の関係を示す図、図６は、本実施の形態を適用しなかった場合のＩｅ，ｅｆｆの推定値と算出値の関係を示す図である。
図５，６において、横軸は、推定したＩｅ，ｅｆｆを示し、縦軸は、実際に測定したＰＥＳＱ値から算出したＩｅ，ｅｆｆを示している。図５，６からもわかるように、推定精度が高ければ高いほど、ｙ＝ｘの線上に値がプロットされる。推定誤差を表す尺度であるＲＭＳＥは、図５の場合は５．９、図６の場合は２３．１となり、本実施の形態を適用することにより誤差が約１／４となる。
図５，６において、横軸は、推定したＩｅ，ｅｆｆを示し、縦軸は、実際に測定したＰＥＳＱ値から算出したＩｅ，ｅｆｆを示している。図５，６からもわかるように、推定精度が高ければ高いほど、ｙ＝ｘの線上に値がプロットされる。推定誤差を表す尺度であるＲＭＳＥは、図５の場合は５．９、図６の場合は２３．１となり、本実施の形態を適用することにより誤差が約１／４となる。
（遅延推定モデル）
機器の実装特性を考慮するために、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延とそれらの値を推定するために必要な品質情報との関係を、関係式等で表すことによって推定モデルを算出する。まず、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延は、式（２）に定義したように、いくつかの遅延の和で定義され、また、遅延推定においては、実装特性に影響を受ける遅延と受けない遅延に区別しなければならない。本実施の形態では、実装に依存する遅延を推定する方法および装置を提供することを目的としているため、実装特性に依存しない遅延を省いて、推定モデルを作成する。
機器の実装特性を考慮するために、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延とそれらの値を推定するために必要な品質情報との関係を、関係式等で表すことによって推定モデルを算出する。まず、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延は、式（２）に定義したように、いくつかの遅延の和で定義され、また、遅延推定においては、実装特性に影響を受ける遅延と受けない遅延に区別しなければならない。本実施の形態では、実装に依存する遅延を推定する方法および装置を提供することを目的としているため、実装特性に依存しない遅延を省いて、推定モデルを作成する。
実装に依存しない遅延は、ネットワーク上でパケットがアプリケーションの送信端末から受信端末に到達するまでの時間である片道転送遅延である。したがって、図７に示すネットワーク品質情報によって推定したｍｏｕｔｈ−ｔｏ−ｅａｒ遅延（ＭｔＥＴＤｎｗｑｉ）からパケットの片道転送遅延（ｐＴＤ）を除いた遅延（ｔＰＤｎｗｑｉ）と、実測されたｍｏｕｔｈ−ｔｏ−ｅａｒ遅延（ＭｔＥＴＤａｃｔｕａｌ）からパケットの片道転送遅延（ｐＴＤ）を除いた遅延（ｔＰＤａｃｔｕａｌ）の関係を、関係式に表すことにより実装特性を考慮したｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定を可能とする。
機器の実装特性を考慮したｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定モデルを算出する過程を以下に示す。
まず、ネットワーク品質情報によって推定したｍｏｕｔｈ−ｔｏ−ｅａｒ遅延(ＭｔＥＴＤnwqi)から片道転送遅延（ｐＴＤ）を除いた遅延(ｔＰＤnwqi)と、実測されたｍｏｕｔｈ−ｔｏ−ｅａｒ遅延（ＭｔＥＴＤactual)から片道転送遅延（ｐＴＤ）を除いた遅延(ｔＰＤactual)の関係は式（１１）、（１２）によって表される。
まず、ネットワーク品質情報によって推定したｍｏｕｔｈ−ｔｏ−ｅａｒ遅延(ＭｔＥＴＤnwqi)から片道転送遅延（ｐＴＤ）を除いた遅延(ｔＰＤnwqi)と、実測されたｍｏｕｔｈ−ｔｏ−ｅａｒ遅延（ＭｔＥＴＤactual)から片道転送遅延（ｐＴＤ）を除いた遅延(ｔＰＤactual)の関係は式（１１）、（１２）によって表される。
次に、ｔＰＤnwqiとｔＰＤactualの関係を、例えば回帰式のような関係式で表す。この関係式を式（１３）に示す。
例えば、ここでは、g(ｔＰＤnwqi)は式（１４）のようになる。
次に、推定したｔＰＤestにネットワーク上での片道転送遅延（ｐＴＤ）を加えることで、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延（ＭｔＥＴＤest）を推定する。これを式（１５）に示す。
上述した過程を関係式として表すと、式（１６）のようになり、この式によって、実装特性を考慮したｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を推定することができる。
式（１６）のＭｔＥＴＤestをＥ−ｍｏｄｅｌに適用することで、実装特性を考慮したＩｄを算出することができる。図８は、本実施の形態を適用した場合のＩｄの推定値と算出値の関係を示す図、図９は、本実施の形態を適用しなかった場合のＩｄの推定値と算出値の関係を示す図である。
図８，９において、横軸は、推定したＩｄを示しており、縦軸は、実際に測定したｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から算出したＩｄを示している。図８，９からもわかるように、推定精度が高ければ高いほど、ｙ＝ｘの線上に値がプロットされる。推定誤差を表す尺度であるＲＭＳＥは、図８の場合は２．７、図９の場合は４．６となり、本実施の形態を適用することにより誤差が減少することがわかる。
図８，９において、横軸は、推定したＩｄを示しており、縦軸は、実際に測定したｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から算出したＩｄを示している。図８，９からもわかるように、推定精度が高ければ高いほど、ｙ＝ｘの線上に値がプロットされる。推定誤差を表す尺度であるＲＭＳＥは、図８の場合は２．７、図９の場合は４．６となり、本実施の形態を適用することにより誤差が減少することがわかる。
次に、推定モデル生成装置１は、上述したように推定モデル算出部３４により算出された実装特性を考慮した品質推定モデルを、このモデルを作成した製品およびＣＯＤＥＣの組毎にモデル格納ＤＢ３５に格納し、この製品およびＣＯＤＥＣのが利用されたリアルタイム系アプリケーション実行中に、主観品質を監視する際に、このデータベースから算出した推定モデルを呼び出す。
この格納場所は、ＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙが適用されている製品の中に組み込むようにしてもよく、また、ＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙが出力する値をアプリケーションを実行する端末ではない、第三者の品質を監視する端末上に格納するようにしてもよい。
この格納場所は、ＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙが適用されている製品の中に組み込むようにしてもよく、また、ＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙが出力する値をアプリケーションを実行する端末ではない、第三者の品質を監視する端末上に格納するようにしてもよい。
［品質推定・監視装置］
図１０は、本実施の形態に係る品質推定・監視装置が適用された品質監視システムの構成を示す図である。
本実施の形態に係る品質推定・監視装置５は、サービス開始の事前に、対象アプリケーション機器およびＣＯＤＥＣの組毎に、上述した推定モデル生成装置１によって算出した実装特性を考慮した品質推定モデルを利用して、サービス実行中のリアルタイム系アプリケーションに対するユーザ体感品質（主観品質評価値）を推定するものである。このような品質推定・監視装置５は、ＶｏＩＰ−ｇａｔｅｗａｙ３，４の間で用いられるリアルタイム系アプリケーションのユーザ体感品質を監視する。このため、符号５Ａで示すように、ＶｏＩＰ−ｇａｔｅｗａｙ３，４に組み込まれることにより、ＶｏＩＰ−ｇａｔｅｗａｙ３，４上で品質推定および監視を行うようにしてもよい。また、符号５Ｂで示すように、ＶｏＩＰ−ｇａｔｅｗａｙ３，４の間に設けられ、ＶｏＩＰ−ｇａｔｅｗａｙ３，４から品質推定に必要な情報を取得して、システム全体を集中監視するようにしてもよい。この場合は、上述した推定モデル生成装置１に組み込むようにしてもよい。
図１０は、本実施の形態に係る品質推定・監視装置が適用された品質監視システムの構成を示す図である。
本実施の形態に係る品質推定・監視装置５は、サービス開始の事前に、対象アプリケーション機器およびＣＯＤＥＣの組毎に、上述した推定モデル生成装置１によって算出した実装特性を考慮した品質推定モデルを利用して、サービス実行中のリアルタイム系アプリケーションに対するユーザ体感品質（主観品質評価値）を推定するものである。このような品質推定・監視装置５は、ＶｏＩＰ−ｇａｔｅｗａｙ３，４の間で用いられるリアルタイム系アプリケーションのユーザ体感品質を監視する。このため、符号５Ａで示すように、ＶｏＩＰ−ｇａｔｅｗａｙ３，４に組み込まれることにより、ＶｏＩＰ−ｇａｔｅｗａｙ３，４上で品質推定および監視を行うようにしてもよい。また、符号５Ｂで示すように、ＶｏＩＰ−ｇａｔｅｗａｙ３，４の間に設けられ、ＶｏＩＰ−ｇａｔｅｗａｙ３，４から品質推定に必要な情報を取得して、システム全体を集中監視するようにしてもよい。この場合は、上述した推定モデル生成装置１に組み込むようにしてもよい。
次に、図１１を参照して、ＶｏＩＰ−ｇａｔｅｗａｙ３，４に組み込まれる品質推定・監視装置５Ａの構成について説明する。図１１は、品質推定・監視装置５Ａの構成を示すブロック図である。
品質推定・監視装置５Ａは、ネットワーク・端末品質取得部５１、パラメータ算出部５２、推定モデル読み込み部５３、推定値算出部５４、総合品質推定部５５、推定データ保存部５６および推定モデル格納部５７とから構成される。
品質推定・監視装置５Ａは、ネットワーク・端末品質取得部５１、パラメータ算出部５２、推定モデル読み込み部５３、推定値算出部５４、総合品質推定部５５、推定データ保存部５６および推定モデル格納部５７とから構成される。
ネットワーク・端末品質取得部５１は、ネットワークおよびアプリケーション端末の品質情報を測定し、パラメータ算出部５２および推定データ保存部５６に送信する。
パラメータ算出部５２は、ネットワーク・端末品質取得部により測定された品質情報を、受聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定に必要な情報に変換し、推定モデル読み込み部５３および推定データ保存部５６に送信する。
推定モデル読み込み部５３は、上述した推定モデル生成装置１により算出された品質推定モデルを推定モデル格納部５７から読み込み、パラメータ算出部５２から受信した情報とともに推定値算出部５４に送信する。
推定値算出部５４は、推定モデル読み込み部５７から受信した情報に基づいてユーザ体感品質および遅延を推定し、総合品質推定部５５および推定データ保存部５６に送信する。
総合品質推定部５５は、推定値算出部５４により算出されたユーザ体感品質および遅延を総合品質推定モデルに適用して総合品質推定値を算出し、推定データ保存部５６に送信する。
推定データ保存部５６は、ネットワーク・端末品質取得部５１、パラメータ算出部５２、推定値算出部５４および総合品質推定部５５から受信した情報を保存する。
推定モデル格納部５７は、上述した推定モデル生成装置１により算出された品質推定モデルを格納している。
パラメータ算出部５２は、ネットワーク・端末品質取得部により測定された品質情報を、受聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定に必要な情報に変換し、推定モデル読み込み部５３および推定データ保存部５６に送信する。
推定モデル読み込み部５３は、上述した推定モデル生成装置１により算出された品質推定モデルを推定モデル格納部５７から読み込み、パラメータ算出部５２から受信した情報とともに推定値算出部５４に送信する。
推定値算出部５４は、推定モデル読み込み部５７から受信した情報に基づいてユーザ体感品質および遅延を推定し、総合品質推定部５５および推定データ保存部５６に送信する。
総合品質推定部５５は、推定値算出部５４により算出されたユーザ体感品質および遅延を総合品質推定モデルに適用して総合品質推定値を算出し、推定データ保存部５６に送信する。
推定データ保存部５６は、ネットワーク・端末品質取得部５１、パラメータ算出部５２、推定値算出部５４および総合品質推定部５５から受信した情報を保存する。
推定モデル格納部５７は、上述した推定モデル生成装置１により算出された品質推定モデルを格納している。
上述の要素からなる品質推定・監視装置５Ａは、ＣＰＵ等の演算装置、メモリ、HDD等の記憶装置、ネットワーク２およびアプリケーション端末と各種情報の送受を行うＩ/Ｆ装置、キーボード、マウス等の入力装置、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、FED(Field Emission Display)または有機EL(Electro Luminescence)等の表示装置などを備えたコンピュータと、このコンピュータにインストールされたプログラムとからそれぞれ構成されており、上記ハードウェア装置がプログラムによって制御されることによって、すなわちハードウェア資源とソフトウェアが協働することによって、品質推定・監視装置５Ａの各要素を実現する。
次に、図１２を参照して、ＶｏＩＰ−ｇａｔｅｗａｙ３，４の間に設けられ、ＶｏＩＰ−ｇａｔｅｗａｙ３，４から品質推定に必要な情報を取得して、システム全体を集中監視する品質推定・監視装置５Ｂの構成について説明する。図１２は、品質推定・監視装置５Ｂの構成を示すブロック図である。
なお、品質推定・監視装置５Ｂにおいて、品質推定・監視装置５Ａと同等の構成要素には同じ名称および符号を付して、適宜説明を省略する。
なお、品質推定・監視装置５Ｂにおいて、品質推定・監視装置５Ａと同等の構成要素には同じ名称および符号を付して、適宜説明を省略する。
品質推定・監視装置５Ｂは、ネットワーク・端末品質取得部５１、パラメータ算出部５２、推定モデル読み込み部５３、推定値算出部５４、総合品質推定部５５、推定データ保存部５６、推定モデル格納部５７、ＭＩＢ入力部５８、入力過程判定部５９および品質状態認識部６０とから構成される。
ＭＩＢ入力部５８は、ＶｏＩＰ−ｇａｔｅｗａｙ３，４からアプリケーション端末で処理され、ＭＩＢ情報として端末に残された品質推定に必要な情報をＳＮＭＰ用のプロトコルを用いて取得し、入力過程判定部５９に送信する。
入力過程判定部５９は、ＭＩＢ情報より入力過程を判定するとともに、アプリケーション端末で処理されていない過程を各処理部に行わせる。
品質状態認識部６０は、現状を認識し、次の動作を決定する。
入力過程判定部５９は、ＭＩＢ情報より入力過程を判定するとともに、アプリケーション端末で処理されていない過程を各処理部に行わせる。
品質状態認識部６０は、現状を認識し、次の動作を決定する。
品質推定・監視装置５Ｂにおいて、ネットワーク・端末情報取得部５１は、アプリケーション端末で取得した情報を読み込むものであり、ネットワークおよび端末の品質情報を測定する意味ではない。すなわち、品質推定・監視装置５Ｂは、品質情報を加工前もしくは加工後、品質推定後に情報を取得する。
上述の要素からなる品質推定・監視装置５Ｂは、ＣＰＵ等の演算装置、メモリ、HDD等の記憶装置、ネットワーク２、ＶｏＩＰ−ｇａｔｅｗａｙ３，４およびアプリケーション端末と各種情報の送受を行うＩ/Ｆ装置、キーボード、マウス等の入力装置、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、FED(Field Emission Display)または有機EL(Electro Luminescence)等の表示装置などを備えたコンピュータと、このコンピュータにインストールされたプログラムとからそれぞれ構成されており、上記ハードウェア装置がプログラムによって制御されることによって、すなわちハードウェア資源とソフトウェアが協働することによって、品質推定・監視装置５Ｂの各要素を実現する。
［ユーザ体感品質の監視方法］
次に、上述した品質推定・監視装置５Ａ、５Ｂによるユーザ体感品質の監視方法について説明する。
まず、品質推定・監視装置５Ａ、５Ｂは、ネットワーク・端末品質取得部５１により、ネットワークおよびアプリケーション端末の品質情報を取得し、パラメータ算出部５２に送信する。品質情報としては、上述したＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙを利用して、「ＧＦＳ」、「ＧＦＰ」、「ＧＦＩ」、「ＧＦＲ」、「ＲＴＴ」および「ＲＤ」等を取得する。
このデータの取得は、サービス実行中のアプリケーション端末が行い、そのデータをＭＩＢとして端末に保存する、または、第三者のネットワーク（サービス）を管理する端末に送信して、管理用端末で保存するようにしてもよい。
次に、上述した品質推定・監視装置５Ａ、５Ｂによるユーザ体感品質の監視方法について説明する。
まず、品質推定・監視装置５Ａ、５Ｂは、ネットワーク・端末品質取得部５１により、ネットワークおよびアプリケーション端末の品質情報を取得し、パラメータ算出部５２に送信する。品質情報としては、上述したＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙを利用して、「ＧＦＳ」、「ＧＦＰ」、「ＧＦＩ」、「ＧＦＲ」、「ＲＴＴ」および「ＲＤ」等を取得する。
このデータの取得は、サービス実行中のアプリケーション端末が行い、そのデータをＭＩＢとして端末に保存する、または、第三者のネットワーク（サービス）を管理する端末に送信して、管理用端末で保存するようにしてもよい。
次に、品質推定・監視装置５Ａ、５Ｂは、パラメータ算出部５２により、取得した品質情報を上述した式（１）、（２）により変換し、推定モデル読み込み部５３に送信する。
次に、品質推定・監視装置５Ａ、５Ｂは、推定モデル読み込み部５３により推定モデル格納部５７から推定モデルを読み出す。推定値算出部５４は、パラメータ算出部５２により変換された品質情報と、推定モデル読み込み部５３により読み出された推定モデルとに基づいて、受聴品質（Ｉｅ，ｅｆｆ値）とｍｏｕｔｈ−ｔｏ−ｅａｒ遅延（Ｉｄ値）遅延を算出する。ここで、推定モデル格納部５７は、実行するアプリケーションに装備するようにしてもよく、また、第三者である品質監視用端末に設けるようにしてもよい。
次に、品質推定・監視装置５Ａ、５Ｂは、総合品質推定部５５により、推定値算出部５４が算出したユーザ体感品質と遅延を総合品質推定モデルに適用して、総合品質推定値を算出する。
総合品質推定部５５は、推定値算出部５４により算出された受聴品質（Ｉｅ，ｅｆｆ値）やｍｏｕｔｈ−ｔｏ−ｅａｒ遅延（Ｉｄ値）といった個別の品質推定を統合して、会話品質（総合品質）を推定することにより、よりユーザの体感品質に近い値を推定することができる。例えば、ＩＰ電話では、本実施の形態で使用しているＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙ等は、ＩＴＵ−Ｔ 勧告Ｇ．１０７Ｅ−ｍｏｄｅｌを利用して総合品質（Ｒ値）を推定している。
なお、本実施の形態では、総合品質推定モデルとして、ＩＴＵ−Ｔ 勧告Ｇ．１０７Ｅ−ｍｏｄｅｌを適用して総合品質推定を行うが、他の総合品質推定モデルを利用してもよい。総合品質（総合会話品質（Ｒ値））推定は、式（３）に、推定値算出部５４により算出したＩｅ，ｅｆｆ値およびＩｄ値を適用することによって、算出することができる。式（３）のＩｅ，ｅｆｆ値およびＩｄ値以外の値は、測定値（ここでは、ＩＴＵ−Ｔ勧告Ｇ．１０７記載のデフォルト値）を適用し、図１３に本実施の形態を適用した場合、図１４に本発明を適用しなかった場合を示す。図１３は、本実施の形態を適用した場合のＲ値の推定値と測定値の関係を示す図、図１４は、本実施の形態を適用しなかった場合のＲ値の推定値と測定値の関係を示す図である。
総合品質推定部５５は、推定値算出部５４により算出された受聴品質（Ｉｅ，ｅｆｆ値）やｍｏｕｔｈ−ｔｏ−ｅａｒ遅延（Ｉｄ値）といった個別の品質推定を統合して、会話品質（総合品質）を推定することにより、よりユーザの体感品質に近い値を推定することができる。例えば、ＩＰ電話では、本実施の形態で使用しているＶＱｍｏｎ ｔｅｃｈｎｏｌｏｇｙ等は、ＩＴＵ−Ｔ 勧告Ｇ．１０７Ｅ−ｍｏｄｅｌを利用して総合品質（Ｒ値）を推定している。
なお、本実施の形態では、総合品質推定モデルとして、ＩＴＵ−Ｔ 勧告Ｇ．１０７Ｅ−ｍｏｄｅｌを適用して総合品質推定を行うが、他の総合品質推定モデルを利用してもよい。総合品質（総合会話品質（Ｒ値））推定は、式（３）に、推定値算出部５４により算出したＩｅ，ｅｆｆ値およびＩｄ値を適用することによって、算出することができる。式（３）のＩｅ，ｅｆｆ値およびＩｄ値以外の値は、測定値（ここでは、ＩＴＵ−Ｔ勧告Ｇ．１０７記載のデフォルト値）を適用し、図１３に本実施の形態を適用した場合、図１４に本発明を適用しなかった場合を示す。図１３は、本実施の形態を適用した場合のＲ値の推定値と測定値の関係を示す図、図１４は、本実施の形態を適用しなかった場合のＲ値の推定値と測定値の関係を示す図である。
図１３、１４において、横軸は、推定したＲ値を示しており、縦軸は、実際に測定したｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から算出したＲ値を示している。図１３，１４からわかるように、推定精度が高ければ高いほど、ｙ＝ｘの線上に値がプロットされる。推定誤差を表す尺度であるＲＭＳＥは、図１３の場合は６．２、図１４の場合は２１．０となり、本実施の形態を適用することにより誤差が減することがわかる。
１…推定モデル生成装置、２…ネットワーク、３，４…ＶｏＩＰ−ｇａｔｅｗａｙ、５，５Ａ，５Ｂ…品質推定・監視装置、１０…メディア品質測定部、１１…評価音声出力部、１２…評価値・遅延取得部、２０…ネットワーク・端末品質情報取得部、３０…推定モデル生成部、３１…評価値・遅延受信部、３２…ネットワーク・端末品質情報受信部、３３…パラメータ算出部、３４…推定モデル算出部、３５…モデル格納ＤＢ、５１…ネットワーク・端末品質取得部、５２…パラメータ算出部、５３…推定モデル読み込み部、５４…推定値算出部、５５…総合品質推定部、５６…推定データ保存部、５７…推定モデル格納部、５８…ＭＩＢ入力部、５９…入力過程判定部、６０…品質状態認識部、１００…システム、１０１…ネットワーク品質測定部、１０２…アプリケーション端末品質測定部、１０３…端末設定情報取得部、１０４…中間パラメータ推定部、１０４ａ…中間パラメータ品質要因生成部、１０４ｂ…アナログ品質要因生成部、１０４ｃ…ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延品質情報生成部、１０４ｄ…メディア品質情報生成部、１０５…受聴品質・Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部、１０５ａ…Ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延推定部、１０５ｂ…受聴品質推定部、１０６…総合会話品質推定部、２００…システム、２０１，２０２…推定部、２０３…ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延値格納部、２０４…ＰＥＳＱ値格納部。
Claims (20)
- パケット網において実行されるアプリケーションのユーザ体感品質を呼毎にパッシブ測定によって監視する監視方法であって、
前記アプリケーションのユーザ体感品質を前記アプリケーションの実装特性を考慮して推定する推定モデルを生成する生成ステップと、
前記推定モデルおよびパッシブ測定により測定したネットワーク品質情報を含むアプリケーション品質情報に基づいて前記アプリケーションのユーザ体感品質を推定する推定ステップと、
この推定ステップにより推定されたユーザ体感品質を常時監視する監視ステップと
を有することを特徴とするユーザ体感品質監視方法。 - 前記生成ステップは、
アプリケーションの品質要素毎に品質評価値を算出する算出ステップと、
パッシブ測定により測定したネットワーク品質情報を含むアプリケーション品質情報を取得する取得ステップと、
前記アプリケーション品質情報を前記品質評価値の算出の基礎となる基礎情報に変換する変換ステップと、
前記品質評価値と前記基礎情報とに基づいて推定モデルを生成するモデル生成ステップと
を有することを特徴とする請求項１記載のユーザ体感品質監視方法。 - 前記生成ステップは、
前記品質評価値と前記基礎情報との関係に基づいて前記基礎情報をアプリケーションの実装特性に応じた品質情報に変換する実装特性考慮ステップと
をさらに有し、
前記モデル生成ステップは、前記品質評価値と前記品質情報とに基づいて推定モデルを生成する
ことを特徴とする請求項２記載のユーザ体感品質監視方法。 - 前記アプリケーションの品質要素は、受聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延並びに視聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延の何れか一方からなり、
前記モデル生成ステップは、算出された全ての前記品質評価値を統合した値に基づいて推定モデルを生成する
ことを特徴とする請求項２または３記載のユーザ体感品質監視方法。 - 前記アプリケーションの品質要素は、受聴品質および視聴品質の何れか一方からなり、
前記算出ステップは、監視対象となるアプリケーション毎に、前記品質要素に対する主観および客観の何れか一方の品質評価値を算出し、
前記取得ステップは、監視対象となるアプリケーション毎に前記アプリケーション品質情報を取得する
ことを特徴とする請求項２または３記載のユーザ体感品質監視方法。 - 前記アプリケーションの品質要素は、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延からなり、
前記算出ステップは、パケットがアプリケーションの送信端末から受信端末に到達するまでの時間である片道転送遅延を含む品質評価値を監視対象となるアプリケーション毎に算出し、
前記取得ステップは、前記アプリケーション品質情報を監視対象となるアプリケーション毎に取得し、
前記基礎情報からｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を推定する遅延推定ステップと、
前記ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から前記片道転送遅延を減じた第１の値と、前記遅延推定ステップにより推定された推定ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から前記片道転送遅延を減じた第２の値とを算出する減算ステップと
をさらに備え、
前記モデル生成ステップは、前記第２の値から前記第１の値を算出する実装特性を考慮した推定モデルを生成する
ことを特徴とする請求項２または３記載のユーザ体感品質監視方法。 - パケット網において実行されるアプリケーションのユーザ体感品質を呼毎にパッシブ測定によって監視する監視装置であって、
前記アプリケーションのユーザ体感品質を前記アプリケーションの実装特性を考慮して推定する推定モデルを生成する生成手段と、
前記推定モデルおよびパッシブ測定により測定したネットワーク品質情報を含むアプリケーション品質情報に基づいて前記アプリケーションのユーザ体感品質を推定する推定手段と、
この推定手段により推定されたユーザ体感品質を常時監視する監視手段と
を有することを特徴とするユーザ体感品質監視装置。 - 前記生成手段は、
アプリケーションの品質要素毎に品質評価値を算出する算出手段と、
パッシブ測定により測定したネットワーク品質情報を含むアプリケーション品質情報を取得する取得手段と、
前記アプリケーション品質情報を前記品質評価値の算出の基礎となる基礎情報に変換する変換手段と、
前記品質評価値と前記基礎情報とに基づいて推定モデルを生成するモデル生成手段と
を有することを特徴とする請求項７記載のユーザ体感品質監視装置。 - 前記生成手段は、
前記品質評価値と前記基礎情報との関係に基づいて前記基礎情報をアプリケーションの実装特性に応じた品質情報に変換する実装特性考慮手段と
をさらに有し、
前記モデル生成手段は、前記品質評価値と前記品質情報とに基づいて推定モデルを生成する
ことを特徴とする請求項８記載のユーザ体感品質監視装置。 - 前記アプリケーションの品質要素は、受聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延並びに視聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延の何れか一方からなり、
前記モデル生成手段は、算出された全ての前記品質評価値を統合した値に基づいて推定モデルを生成する
ことを特徴とする請求項８または９記載のユーザ体感品質監視装置。 - 前記アプリケーションの品質要素は、受聴品質および視聴品質の何れか一方からなり、
前記算出手段は、監視対象となるアプリケーション毎に、前記品質要素に対する主観および客観の何れか一方の品質評価値を算出し、
前記取得手段は、監視対象となるアプリケーション毎に前記アプリケーション品質情報を取得する
ことを特徴とする請求項８または９記載のユーザ体感品質監視装置。 - 前記アプリケーションの品質要素は、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延からなり、
前記算出手段は、パケットがアプリケーションの送信端末から受信端末に到達するまでの時間である片道転送遅延を含む品質評価値を監視対象となるアプリケーション毎に算出し、
前記取得手段は、前記アプリケーション品質情報を監視対象となるアプリケーション毎に取得し、
前記基礎情報からｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を推定する遅延推定手段と、
前記ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から前記片道転送遅延を減じた第１の値と、前記遅延推定ステップにより推定された推定ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から前記片道転送遅延を減じた第２の値とを算出する減算手段と
をさらに備え、
前記モデル生成手段は、前記第２の値から前記第１の値を算出する実装特性を考慮した推定モデルを生成する
ことを特徴とする請求項８または９記載のユーザ体感品質監視装置。 - パケット網において実行されるアプリケーションのユーザ体感品質を前記アプリケーションの実装特性を考慮して推定する推定モデルの生成方法であって、
受聴品質、視聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延の少なくとも１つからなるアプリケーションの品質要素毎に、品質評価値を算出する算出ステップと、
パッシブ測定により測定したネットワーク品質情報を含むアプリケーション品質情報を取得する取得ステップと、
前記アプリケーション品質情報を前記品質評価値の算出の基礎となる基礎情報に変換する変換ステップと、
前記品質評価値と前記基礎情報とに基づいて推定モデルを生成するモデル生成ステップと
を有することを特徴とする推定モデルの生成方法。 - 前記アプリケーションの品質要素は、受聴品質および視聴品質の何れか一方からなり、
前記算出ステップは、監視対象となるアプリケーション毎に、前記品質要素に対する主観および客観の何れか一方の品質評価値を算出し、
前記取得ステップは、監視対象となるアプリケーション毎に前記アプリケーション品質情報を取得する
ことを特徴とする請求項１３記載の推定モデルの生成方法。 - 前記アプリケーションの品質要素は、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延からなり、
前記算出ステップは、パケットがアプリケーションの送信端末から受信端末に到達するまでの時間である片道転送遅延を含む品質評価値を監視対象となるアプリケーション毎に算出し、
前記取得ステップは、前記アプリケーション品質情報を監視対象となるアプリケーション毎に取得し、
前記基礎情報からｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を推定する遅延推定ステップと、
前記ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から前記片道転送遅延を減じた第１の値と、前記遅延推定ステップにより推定された推定ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から前記片道転送遅延を減じた第２の値とを算出する減算ステップと
をさらに備え、
前記モデル生成ステップは、前記第２の値から前記第１の値を算出する実装特性を考慮した推定モデルを生成する
ことを特徴とする請求項１４記載の推定モデルの生成方法。 - 前記品質評価値と前記基礎情報との関係に基づいて前記基礎情報をアプリケーションの実装特性に応じた品質情報に変換する実装特性考慮ステップと
をさらに有し、
前記モデル生成ステップは、前記品質評価値と前記品質情報とに基づいて推定モデルを生成する
ことを特徴とする請求項１３乃至１５の何れか１項に記載の推定モデルの生成方法。 - パケット網において実行されるアプリケーションのユーザ体感品質を前記アプリケーションの実装特性を考慮して推定する推定モデルの生成装置であって、
受聴品質、視聴品質およびｍｏｕｔｈ−ｔｏ−ｅａｒ遅延の少なくとも１つからなるアプリケーションの品質要素毎に、品質評価値を算出する算出手段と、
パッシブ測定により測定したネットワーク品質情報を含むアプリケーション品質情報を取得する取得手段と、
前記アプリケーション品質情報を前記品質評価値の算出の基礎となる基礎情報に変換する変換手段と、
前記品質評価値と前記基礎情報とに基づいて推定モデルを生成するモデル生成手段と
を有することを特徴とする推定モデルの生成装置。 - 前記アプリケーションの品質要素は、受聴品質および視聴品質の何れか一方からなり、
前記算出手段は、監視対象となるアプリケーション毎に、前記品質要素に対する主観および客観の何れか一方の品質評価値を算出し、
前記取得手段は、監視対象となるアプリケーション毎に前記アプリケーション品質情報を取得する
ことを特徴とする請求項１７記載の推定モデルの生成装置。 - 前記アプリケーションの品質要素は、ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延からなり、
前記算出手段は、パケットがアプリケーションの送信端末から受信端末に到達するまでの時間である片道転送遅延を含む品質評価値を監視対象となるアプリケーション毎に算出し、
前記取得手段は、前記アプリケーション品質情報を監視対象となるアプリケーション毎に取得し、
前記基礎情報からｍｏｕｔｈ−ｔｏ−ｅａｒ遅延を推定する遅延推定手段と、
前記ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から前記片道転送遅延を減じた第１の値と、前記遅延推定ステップにより推定された推定ｍｏｕｔｈ−ｔｏ−ｅａｒ遅延から前記片道転送遅延を減じた第２の値とを算出する減算手段と
をさらに備え、
前記モデル生成手段は、前記第２の値から前記第１の値を算出する実装特性を考慮した推定モデルを生成する
ことを特徴とする請求項１８記載の推定モデルの生成装置。 - 前記品質評価値と前記基礎情報との関係に基づいて前記基礎情報をアプリケーションの実装特性に応じた品質情報に変換する実装特性考慮手段と
をさらに有し、
前記モデル生成手段は、前記品質評価値と前記品質情報とに基づいて推定モデルを生成する
ことを特徴とする請求項１７乃至１９の何れか１項に記載の推定モデルの生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004260249A JP4327685B2 (ja) | 2004-09-07 | 2004-09-07 | ユーザ体感品質監視方法、ユーザ体感品質監視装置、推定モデルの生成方法および推定モデルの生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004260249A JP4327685B2 (ja) | 2004-09-07 | 2004-09-07 | ユーザ体感品質監視方法、ユーザ体感品質監視装置、推定モデルの生成方法および推定モデルの生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006080683A true JP2006080683A (ja) | 2006-03-23 |
| JP4327685B2 JP4327685B2 (ja) | 2009-09-09 |
Family
ID=36159803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004260249A Active JP4327685B2 (ja) | 2004-09-07 | 2004-09-07 | ユーザ体感品質監視方法、ユーザ体感品質監視装置、推定モデルの生成方法および推定モデルの生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4327685B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007329773A (ja) * | 2006-06-08 | 2007-12-20 | Nippon Telegr & Teleph Corp <Ntt> | パケット損失特性解析装置、方法、およびプログラム |
| JP2014533443A (ja) * | 2011-08-29 | 2014-12-11 | エンパイア テクノロジー ディベロップメント エルエルシー | 推定されたＱｏＥをアプリケーションごとに端末上に出力する方法 |
| JP2017192001A (ja) * | 2016-04-12 | 2017-10-19 | 日本電信電話株式会社 | 音声品質推定装置、音声品質推定方法、及びプログラム |
| US9838892B2 (en) | 2011-12-22 | 2017-12-05 | Empire Technology Development Llc | Apparatus, mobile terminal, and method to estimate quality of experience of application |
-
2004
- 2004-09-07 JP JP2004260249A patent/JP4327685B2/ja active Active
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007329773A (ja) * | 2006-06-08 | 2007-12-20 | Nippon Telegr & Teleph Corp <Ntt> | パケット損失特性解析装置、方法、およびプログラム |
| JP4584870B2 (ja) * | 2006-06-08 | 2010-11-24 | 日本電信電話株式会社 | パケット損失特性解析装置、方法、およびプログラム |
| JP2014533443A (ja) * | 2011-08-29 | 2014-12-11 | エンパイア テクノロジー ディベロップメント エルエルシー | 推定されたＱｏＥをアプリケーションごとに端末上に出力する方法 |
| US9413848B2 (en) | 2011-08-29 | 2016-08-09 | Empire Technology Development Llc | Method of outputting estimated QoEs on a terminal on an application basis |
| US9667744B2 (en) | 2011-08-29 | 2017-05-30 | Empire Technology Development Llc | Method of outputting estimated QoEs on a terminal on an application basis |
| US9838892B2 (en) | 2011-12-22 | 2017-12-05 | Empire Technology Development Llc | Apparatus, mobile terminal, and method to estimate quality of experience of application |
| JP2017192001A (ja) * | 2016-04-12 | 2017-10-19 | 日本電信電話株式会社 | 音声品質推定装置、音声品質推定方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4327685B2 (ja) | 2009-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11223669B2 (en) | In-service quality monitoring system with intelligent retransmission and interpolation | |
| Takahashi et al. | Perceptual QoS assessment technologies for VoIP | |
| US8295191B2 (en) | Endpoint report aggregation in unified communication systems | |
| US8472349B1 (en) | Determining mean opinion scores (MOS) for variable bit rate audio streams | |
| US20150117653A1 (en) | Method and apparatus for evaluating audio stream quality | |
| JP5267416B2 (ja) | 通信装置、通信装置の通信方法及び通信装置の通信制御プログラム | |
| US8787196B2 (en) | Method of providing voice over IP at predefined QOS levels | |
| US11343301B2 (en) | Managing jitter buffer length for improved audio quality | |
| JP2007060475A (ja) | ユーザ体感品質推定装置、方法、およびプログラム | |
| Goudarzi et al. | Modelling speech quality for NB and WB SILK codec for VoIP applications | |
| JP4327685B2 (ja) | ユーザ体感品質監視方法、ユーザ体感品質監視装置、推定モデルの生成方法および推定モデルの生成装置 | |
| JP2006157223A (ja) | ユーザ体感品質推定システムおよび方法、ユーザ体感品質推定装置、受信状況情報送信装置、送信端末、受信端末 | |
| US7298736B1 (en) | Method of providing voice over IP at predefined QoS levels | |
| JP4460523B2 (ja) | ユーザ体感品質推定装置、方法、およびプログラム | |
| JP2006128972A (ja) | 双方向マルチモーダルサービス品質推定装置および方法 | |
| JP5533177B2 (ja) | パケットロス率推定装置、パケットロス率推定方法、パケットロス率推定プログラム、及び、通信システム | |
| Zhang et al. | Perceived QoS assessment for Voip networks | |
| EP3788759B1 (en) | Method and system for determining a quality of experience during a real-time communication session | |
| JP2005244321A (ja) | 音声・映像通信サービス品質推定方法及びその装置 | |
| JP2004222257A (ja) | 総合通話品質推定方法及び装置、その方法を実行するプログラム、及びその記録媒体 | |
| Meddahi et al. | “Packet-E-Model”: E-Model for VoIP quality evaluation | |
| Casas et al. | End-2-end evaluation of ip multimedia services, a user perceived quality of service approach | |
| Han et al. | Accuracy analysis on call quality assessments in voice over IP | |
| Masuda et al. | Non-intrusive quality monitoring method of VoIP speech based on network performance metrics | |
| Rodrigues et al. | QoE assessment of VoIP in next generation networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060801 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090317 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090611 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4327685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140619 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |