JP2006074333A - 双方向通信サービスシステムにおける品質推定方法および品質推定装置 - Google Patents

Abstract

【課題】音声および映像メディアを用いた双方向通信サービスにおける総合的な品質を精度良く推定する。
【解決手段】端末間の双方向通信サービスに際する品質劣化の要因として、映像ビットレートＢｒ、フレームレートＦｒ、映像無効パケット率Ｐν、音声無効パケット率Ｐａ、遅延時間Ｄを監視する。これら品質劣化の要因に基づいてユーザが受ける品質に対する心理要因として美的感の因子得点Ｓ１と躍動感の因子得点Ｓ２を推定する。推定した美的感の因子得点Ｓ１および躍動感の因子得点Ｓ２を、Ａ，Ｂ，Ｃを定数とする下記(１)式に代入して、総合的な品質の評価値ＭＯＳを求める。
ＭＯＳ＝Ａ・Ｓ１＋Ｂ・Ｓ２＋Ｃ ・・・・(１)
【選択図】 図２

Description

この発明は、音声および映像メディアを用いネットワークを介して端末間の双方向通信サービスを行うシステムにおける品質推定方法および品質推定装置に関するものである。

ＩＰ技術の発達によるインターネットアクセス回線の高速・広帯域化に伴い、音声および映像メディアを用いた双方向通信サービスが期待されている。インターネットは必ずしも通信品質が保証されていないネットワークであるため、音声および映像メディアを用いて双方向通信を行う場合、ユーザが使用する端末間のネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声や映像メディアに対してユーザが知覚する品質（主観品質）が劣化してしまう。具体的には、音声に品質劣化が加わると、途切れ・雑音・応答の遅れなどとして知覚され、映像に品質劣化が加わると、ぼけ・にじみ・モザイク状の歪・ぎくしゃく感・応答の遅れなどとして知覚される。

また、音声および映像メディア信号送信時の処理時間（送信バッファ時間，音声および映像のエンコード処理時間など）、ネットワークにおける遅延時間（ネットワーク構成，通信者間の物理的距離など）、音声および映像メディア信号受信時の処理時間（受信バッファ時間，音声および映像のデコード処理時間など）に起因する遅延時間によって、音声や映像の応答の遅れが知覚される場合がある。

音声および映像メディアを用いた双方向通信サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な品質評価技術の開発が必要となる。

従来、音声品質を推定する技術については、非特許文献１に、音声品質客観評価尺度ＰＥＳＱ（Perceptual Evaluation of Speech Quality ）として規定されている。また、映像品質を推定する技術については、非特許文献２に、映像品質客観評価尺度として記載されている。これらの客観評価尺度を用いれば、ある一定の条件下で、主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定することが可能である。

特開平８−２８９３３３号公報、「音声映像総合品質推定方法」。 特開２００２−０６４５３９号公報（特願２０００−２４７４２１号）。 国際標準化機関ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）勧告Ｐ．８６２。 国際標準化機関ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）勧告Ｊ．１４４。 岩下，「ＳＤ法によるイメージの測定」，川島書店（１９８３）。 大串，「画質と音質の評価技術」，昭晃堂（１９９１）。

しかしながら、上記の客観品質評価尺度は、音声メディアあるいは映像メディアなどの個別メディアの品質を取り扱っているのがほとんどであり、音声および映像メディアを用いた双方向通信サービスの総合的な品質評価尺度として利用することができないという問題がある。
なお、特許文献１には、音声品質と映像品質から総合品質を求める方法について記載されているが、テレビ放送のような片方向の音声および映像サービスを前提としており、テレビ電話／会議サービスなどのような音声および映像メディアを用いた双方向通信サービスには対応することができない。
すなわち、テレビ電話／会議サービスなどのような音声および映像メディアを用いた双方向通信サービスの場合には、各メディアの伝送遅延時間がサービスの品質を劣化させる原因となり得るが、特許文献１は片方向の音声および映像サービスを前提としており、各メディアの伝送遅延時間など双方向通信サービス特有の品質劣化の要因については考慮されていない。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、音声および映像メディアを用いた双方向通信サービスにおける総合的な品質を精度良く推定することが可能な双方向通信サービスシステムにおける品質推定方法および品質推定装置を提供することにある。

このような目的を達成するために本発明は、音声および映像メディアを用いネットワークを介して端末間の双方向通信サービスを行うシステムにおいて、端末間の双方向通信サービスに際する品質劣化の要因を監視しメモリに記憶する第１ステップと、メモリに記憶された品質劣化の要因に基づいて端末を利用するユーザが受ける品質に対する心理要因の大きさを推定する第２ステップと、推定された心理要因の大きさに基づいて端末を利用するユーザが受ける総合的な品質を推定する第３ステップとを備えることを要旨とする。なお、本発明は、品質推定装置としても構成することができる。

この発明では、端末間の双方向通信サービスに際する品質劣化の要因として、例えば映像ビットレート（スループット）、フレームレートなどのアプリケーションパラメータ、映像無効パケット率、音声無効パケット率、遅延時間などのネットワークパラメータを監視し、これら品質劣化の要因に基づいてユーザが受ける品質に対する心理要因の大きさを推定する。例えば、心理要因の大きさとして、美的感の因子得点Ｓ１と、躍動感の因子得点Ｓ２を推定する。そして、推定した心理要因の大きさに基づいて、ユーザが受ける総合的な品質を推定する。例えば、推定した美的感の因子得点Ｓ１および躍動感の因子得点Ｓ２を、Ａ，Ｂ，Ｃを定数とする下記(１)式に代入して、総合的な品質の評価値ＭＯＳを求める。
ＭＯＳ＝Ａ・Ｓ１＋Ｂ・Ｓ２＋Ｃ ・・・・(１)

本発明によれば、音声および映像メディアを用いた双方向通信サービスに際する品質劣化の要因を監視し、この品質劣化の要因に基づいてユーザが受ける品質に対する心理要因の大きさを推定し、この推定した心理要因の大きさに基づいてユーザが受ける総合的な品質を推定するようにしたので、双方向通信サービス特有の品質劣化の要因を考慮に入れて、精度良く、ユーザが受ける総合的な品質を推定することが可能となる。

また、本発明によれば、推定した心理要因の大きさなどから、品質を改善するための指針として、音声および映像メディアを用いた双方向通信サービスで用いる品質劣化の要因、例えばアプリケーションパラメータ（映像ビットレート、フレームレートなど）やネットワークパラメータ（映像無効パケット率、音声無効パケット率、遅延時間など）の何を改善すればよいかを把握することも可能であり、これをアプリケーションパラメータやネットワークパラメータの設計に役立てたり、提供中のサービスの品質実体の把握・管理に役立てることが可能となる。

以下、本発明を図面に基づいて詳細に説明する。図１は本発明の実施に用いる音声および映像メディアを用いた双方向通信サービスシステム（音声・映像コミュニケーションサービスシステム）の一例の要部を示すシステム構成図である。

同図において、１はユーザＭＡが使用する通信端末、２はユーザＭＢが使用する通信端末、３はサービス品質推定装置、４はネットワーク（インターネット）であり、通信端末１，２およびサービス品質推定装置３はネットワーク４を介して相互に接続されている。

通信端末１，２は、例えばパーソナルコンピュータ（パソコン）であり、音声および映像メディアの双方向通信機能を備えている。すなわち、この双方向通信サービスシステム１００では、ネットワーク４を介して、通信端末１と通信端末２との間の音声および映像メディアを用いた双方向通信が行われる。

サービス品質推定装置３は、プロセッサや記憶装置からなるハードウェアと、これらのハードウェアと協働してサービス品質推定装置としての機能を実現させるプログラムとによって実現される。このプログラムは、例えばＣＤ−ＲＯＭなどの記録媒体に記録された状態で提供され、この記録媒体から読み出されて記憶装置にインストールされている。

図２にサービス品質推定装置３の機能ブロック図を示す。サービス品質推定装置３は、通信端末１，２間の双方向通信サービスに際する品質劣化の要因を監視する監視部３−１と、監視部３−１が監視する品質劣化の要因のうち映像ビットレート（スループット）ＢｒとフレームレートＦｒをアプリケーションパラメータとして記憶するアプリケーションパラメータ記憶部３−２と、監視部３−１が監視する品質劣化の要因のうち映像無効パケット率Ｐνと音声無効パケット率Ｐａと遅延時間Ｄをネットワークパラメータとして記憶するネットワークパラメータ記憶部３−３と、記憶部３−２に記憶されたアプリケーションパラメータの値（映像ビットレートＢｒ、フレームレートＦｒ）および記憶部３−３に記憶されたネットワークパラメータの値（映像無効パケット率Ｐν、音声無効パケット率Ｐａ、遅延時間Ｄ）を入力とし、これらパラメータの値から所定の算出式に従ってユーザが受ける品質に対する心理要因の大きさとして美的感を示す第１の心理要因の因子得点Ｓ１および躍動感を示す第２の心理要因の因子得点Ｓ２を求める心理要因得点推定部３−４と、心理要因得点推定部３−４で求められた第１の心理要因の因子得点Ｓ１および第２の心理要因の因子得点Ｓ２を入力とし、これら心理要因の因子得点Ｓ１およびＳ２から所定の算出式に従ってユーザが受ける総合的な品質の評価値ＭＯＳを求める総合品質推定部３−５とを備えている。

なお、無効パケット率は、ネットワーク内でのパケット損失、通信端末のバッファ漏れによるパケット損失、遅着パケット損失などのことであり、特許文献２などに関連技術が示されている。

〔心理要因得点推定部３−４で使用する算出式〕
心理要因得点推定部３−４において、美的感を示す第１の心理要因の得点Ｓ１を求める算出式としては、下記の（２）式を使用する。この（２）式において、Ｖ１（Ｂｒ，Ｐν）は下記の（２−１）式を使用して求め、Ａ１（Ｐａ）は下記の（２−４）式を使用して求める。また、（２−１）式において、Ｖ１１（Ｂｒ）は下記の（２−２）式を使用して求め、Ｖ１２（Ｐν）は下記の（２−３）式を使用して求める。なお、これらの式において、α１，β１，γ１，δ１，Ａ１ｍ，Ｂ１ｍ，Ｃ１ｍ（ｍ＝０〜３），Ｄ１０は定数である。

Ｓ１（Ｂｒ，Ｐν，Ｐａ）＝α１・Ｖ１（Ｂｒ，Ｐν）＋β１・Ａ１（Ｐａ）＋γ１・Ｖ１（Ｂｒ，Ｐν）・Ａ１（Ｐａ）＋δ１ ・・・・（２）

Ｖ１（Ｂｒ，Ｐν）＝Ａ１０・Ｖ１１（Ｂｒ）＋Ｂ１０・Ｖ１２（Ｐν）＋Ｃ１０・Ｖ１１（Ｂｒ）・Ｖ１２（Ｐν）＋Ｄ１０ ・・・・（２−１）

Ｖ１１（Ｂｒ）＝Ａ１１・ｅｘｐ（−Ｂｒ／Ｂ１１）＋Ｃ１１ ・・・・（２−２）
Ｖ１２（Ｐν）＝Ａ１２・ｅｘｐ（−Ｐν／Ｂ１２）＋Ｃ１２ ・・・・（２−３）
Ａ１（Ｐａ）＝Ａ１３・ｅｘｐ（−Ｐａ／Ｂ１３）＋Ｃ１３ ・・・・（２−４）

心理要因得点推定部３−４において、躍動感を示す第２の心理要因の得点Ｓ２を求める算出式としては、下記の（３）式を使用する。この（３）式において、Ｖ２（Ｆｒ，Ｂｒ，Ｐν）は下記の（３−１）式を使用して求め、Ｄ２（Ｄ）は下記の（３−５）式を使用して求める。また、（３−１）式において、Ｖ２１（Ｆｒ）は下記の（３−２）式を使用して求め、Ｖ２２（Ｂｒ）は下記の（３−３）式を使用して求め、Ｖ２３（Ｐν）は下記の（３−４）式を使用して求める。なお、これらの式において、α２，β２，γ２，δ２，Ａ２ｍ，Ｂ２ｍ，Ｃ２ｍ（ｍ＝０〜４），Ｄ２０，Ｅ２０，Ｆ２０，Ｇ２０，Ｈ２０は定数である。

Ｓ２（Ｆｒ，Ｂｒ，Ｐν，Ｄ）＝α２・Ｖ２（Ｆｒ，Ｂｒ，Ｐν）＋β２・Ｄ２（Ｄ）＋γ２・Ｖ２（Ｆｒ，Ｂｒ，Ｐν）・Ｄ２（Ｄ）＋δ２ ・・・・(３)

Ｖ２（Ｆｒ，Ｂｒ，Ｐν）＝Ａ２０・Ｖ２１（Ｆｒ）＋Ｂ２０・Ｖ２２（Ｂｒ）＋Ｃ２０・Ｖ２３（Ｐν）＋Ｄ２０・Ｖ２１（Ｆｒ）・Ｖ２２（Ｂｒ）＋Ｅ２０・Ｖ２１（Ｆｒ）・Ｖ２３（Ｐν）＋Ｆ２０・Ｖ２２（Ｂｒ）・Ｖ２３（Ｐν）＋Ｇ２０・Ｖ２１（Ｆｒ）・Ｖ２２（Ｂｒ）・Ｖ２３（Ｐν）＋Ｈ２０ ・・・・（３−１）

Ｖ２１（Ｆｒ）＝Ａ２１・ｅｘｐ（−Ｆｒ／Ｂ２１）＋Ｃ２１ ・・・・（３−２）
Ｖ２２（Ｂｒ）＝Ａ２２・ｅｘｐ（−Ｂｒ／Ｂ２２）＋Ｃ２２ ・・・・（３−３）
Ｖ２３（Ｐν）＝Ａ２３・ｅｘｐ（−Ｐν／Ｂ２３）＋Ｃ２３ ・・・・（３−４）
Ｄ２（Ｄ）＝Ａ２４・ｅｘｐ（−Ｄ／Ｂ２４）＋Ｃ２４ ・・・・（３−５）

〔総合品質推定部３−５において使用する算出式〕
総合品質推定部３−５において、総合的な品質の評価値ＭＯＳを求める算出式としては、下記の（４）式を使用する。なお、この式において、Ａ，Ｂ，Ｃは定数である。
ＭＯＳ＝Ａ・Ｓ１＋Ｂ・Ｓ２＋Ｃ ・・・・(４)

上述した美的感を示す第１の心理要因の得点Ｓ１を求める算出式(２)、（２−１）〜（２−４）、躍動感を示す第２の心理要因の得点Ｓ２を求める算出式(３)、（３−１）〜（３−５）、総合的な品質の評価値ＭＯＳを求める算出式(４)は、下記に例示するような発明者らによる主観評価実験および心理要因分析により求めた式である。

〔主観評価実験〕
１対１の対面会話を行うことができる双方向通信サービスを考え、利用目的を自由会話とし主観評価実験を行った。

（１）実験環境
パソコンを用いて１対１の対面会話を行うことができる評価実験系を構築した。音声／映像符号化方式にはＧ．７２２／ＭＰＥＧ４（画面解像度：ＶＧＡ，劣化隠蔽処理：無）を用い、相手の映像を１７インチのモニタに約１０インチの大きさで表示させた。また、音声の入出力にはマイクとヘッドフォンを用いた。視聴条件は、視距離が５０〜８０ｃｍ、室内照度が約５０ｌｕｘ、室内騒音が３５ｄＢ（Ａ）とした。
（２）評価パラメータ
主観評価実験では、図３に示す４６種類の条件によって音声・映像品質を評価させて、総合品質および心理要因の評価を行った。音声と映像のパケット損失は共にランダム損失とし、片道の遅延時間は同期しているものとした。

（３）評価タスク
双方向通信サービスの利用目的として自由会話を想定し、評価タスクとして自由会話に近い「名前当てタスク」を選定した。具体的には、６０秒間の会話の中で、会話相手が思い浮かべる名前（日用品、食べ物など）を質疑によって当てるタスクとした。
（４）評価尺度
会話による音声・映像に対する総合品質を５段階品質尺度（図４参照）の平均オピニオン評点（ＭＯＳ：Mean Opinion Score）で評価した。また、Osgoodによって提案され印象評価に幅広く使用されているＳＤ法（Semantic Differential technique ：非特許文献３参照）により、会話の中での音声・映像に対する印象を７段階比較尺度の形容詞２５対（図５参照）で評価し、心理要因を抽出した。今回使用した評価尺度の例を図６に示す。主観評価実験により得られたデータを、各比較尺度の評点に印象の良い形容詞側がプラスになるように合わせ、＋３〜−３を付し評点とした。
（５）被験者条件
被験者はインターネットを利用する２０歳〜３９歳までの男女計４０名とした。

〔心理要因分析〕
主観評価実験より得られたデータに因子分析を行い、主要な心理要因を抽出し、心理要因と品質劣化要因との対応関係を明確にする。

（１）心理要因の抽出
形容詞対の評点に因子分析を行い、因子の回転には、心理要因毎の因子負荷量の分散が最大となるようにVarimax 回転を用い心理要因を抽出した。抽出された各心理要因に対する因子負荷量が高い形容詞対を図７に示す。寄与率の高い第１因子（寄与率：５４．３％，１８対）は美的感，第２因子（寄与率：３６．５％，７対）は躍動感を表す形容詞対から構成された。心理要因の意味づけはこれらの形容詞対に基づいて行った。２つの因子の累積寄与率は９０．８％となったことから、双方向通信サービスから受ける印象は、美的感，躍動感の２つの心理要因で説明できることがわかった。
（２）心理要因と品質劣化要因の関係
抽出した美的感，躍動感の２つの心理要因から因子得点を推定することを試みた。因子得点の推定法には様々な解法が提案されているが、ここでは下記（５）式を用いて推定した（非特許文献４参照）。

但し、この（５）式において、ｆｉｋは因子に対する因子得点、ａｉｊは形容詞対の因子負荷量の転置行列、ｘｊｋは平均値が０、標準偏差が１となるように標準化した評価データ、ｉは因子番号、ｊは形容詞番号、ｎは形容詞数、ｋは条件番号である。

上記（５）式で推定した因子得点と総合品質の関係から２つの心理要因と品質劣化要因の対応関係を考察した。この結果、第１因子の美的感は映像ビットレート、映像無効パケット率、音声無効パケット率の影響が強いことが分かった。また、第２因子の躍動感はフレームレート、遅延時間の影響が強く、映像ビットレート、映像無効パケット率の影響も多少受けることが分かった。

（３）因子得点による総合品質の推定
抽出した美的感，躍動感の２つの心理要因を独立変数（Ｓ１，Ｓ２）、ＭＯＳを従属変数とし、重回帰分析を行い、下記の（６）式を得た。
ＭＯＳ＝０．６１・Ｓ１＋０．３５・Ｓ２＋２．４５ ・・・・（６）
この（５）式が実測ＭＯＳを説明するのに十分であるかについて、分散分析を行い検定し、有意水準１％で重回帰式は有意となることを確認した。
これにより、双方向通信サービスにおける利用目的を自由会話としたときの総合品質は美的感と躍動感の２つの心理要因で説明できることが明らかとなった。総合品質推定部２−５において使用する（４）式は、この（６）式より導かれたものである。

（４）品質劣化要因による心理要因の因子得点の推定
抽出した美的感，躍動感の心理要因と品質劣化要因との関係を利用し因子得点の推定式を導出した。初めに、各品質劣化要因と因子得点の関係を定式化した（ステップ１）。次に、重回帰分析により、各メディアに対する因子得点を交互作用も考慮し、定式化した（ステップ２）。最後に、重回帰分析により、因子得点をメディア間の交互作用も考慮し定式化した（ステップ３）。

〔美的感〕
美的感の因子得点Ｓ１は、第１因子の美的感と関連が高い映像ビットレート（Ｂｒ）、映像無効パケット率（Ｐν）、音声無効パケット率（Ｐａ）を変数とし、上記ステップ１〜３の過程を経て、下記の（７）式として得られた。なお、下記の（７），（７−１）〜（７−４）式において、α１，β１，γ１，δ１，Ａ１ｍ，Ｂ１ｍ，Ｃ１ｍ（ｍ＝０〜３），Ｄ１０は定数である。美的感の因子得点Ｓ１は、３つの品質劣化要因Ｂｒ，Ｐν，Ｐａでほゞ説明でき、分散分析の結果も有意水準１％を満たした。

〔ステップ１〕
Ｖ１１（Ｂｒ）＝Ａ１１・ｅｘｐ（−Ｂｒ／Ｂ１１）＋Ｃ１１ ・・・・（７−２）
Ｖ１２（Ｐν）＝Ａ１２・ｅｘｐ（−Ｐν／Ｂ１２）＋Ｃ１２ ・・・・（７−３）
Ａ１（Ｐａ）＝Ａ１３・ｅｘｐ（−Ｐａ／Ｂ１３）＋Ｃ１３ ・・・・（７−４）
〔ステップ２〕
Ｖ１（Ｂｒ，Ｐν）＝Ａ１０・Ｖ１１（Ｂｒ）＋Ｂ１０・Ｖ１２（Ｐν）＋Ｃ１０・Ｖ１１（Ｂｒ）・Ｖ１２（Ｐν）＋Ｄ１０ ・・・・（７−１）
〔ステップ３〕
Ｓ１（Ｂｒ，Ｐν，Ｐａ）＝α１・Ｖ１（Ｂｒ，Ｐν）＋β１・Ａ１（Ｐａ）＋γ１・Ｖ１（Ｂｒ，Ｐν）・Ａ１（Ｐａ）＋δ１ ・・・・（７）

〔躍動感〕
躍動感の因子得点Ｓ２は、第２因子の躍動感と関連が高いフレームレート（Ｆｒ）、遅延時間（Ｄ）および、多少影響を受ける映像ビットレート（Ｂｒ）、映像無効パケット率（Ｐν）を変数とし、上記ステップ１〜３の過程を経て、下記の（８）式として得られた。なお、下記の（８），（８−１）〜（８−５）式において、α２，β２，γ２，δ２，Ａ２ｍ，Ｂ２ｍ，Ｃ２ｍ（ｍ＝０〜４），Ｄ２０，Ｅ２０，Ｆ２０，Ｇ２０，Ｈ２０は定数である。躍動感の因子得点Ｓ２は、４つの品質劣化要因Ｆｒ，Ｄ，Ｂｒ，Ｐνでほゞ説明でき、分散分析の結果も有意水準１％を満たした。

〔ステップ１〕
Ｖ２１（Ｆｒ）＝Ａ２１・ｅｘｐ（−Ｆｒ／Ｂ２１）＋Ｃ２１ ・・・・（８−２）
Ｖ２２（Ｂｒ）＝Ａ２２・ｅｘｐ（−Ｂｒ／Ｂ２２）＋Ｃ２２ ・・・・（８−３）
Ｖ２３（Ｐν）＝Ａ２３・ｅｘｐ（−Ｐν／Ｂ２３）＋Ｃ２３ ・・・・（８−４）
Ｄ２（Ｄ）＝Ａ２４・ｅｘｐ（−Ｄ／Ｂ２４）＋Ｃ２４ ・・・・（８−５）

〔ステップ２〕
Ｖ２（Ｆｒ，Ｂｒ，Ｐν）＝Ａ２０・Ｖ２１（Ｆｒ）＋Ｂ２０・Ｖ２２（Ｂｒ）＋Ｃ２０・Ｖ２３（Ｐν）＋Ｄ２０・Ｖ２１（Ｆｒ）・Ｖ２２（Ｂｒ）＋Ｅ２０・Ｖ２１（Ｆｒ）・Ｖ２３（Ｐν）＋Ｆ２０・Ｖ２２（Ｂｒ）・Ｖ２３（Ｐν）＋Ｇ２０・Ｖ２１（Ｆｒ）・Ｖ２２（Ｂｒ）・Ｖ２３（Ｐν）＋Ｈ２０ ・・・・（８−１）

〔ステップ３〕
Ｓ２（Ｆｒ，Ｂｒ，Ｐν，Ｄ）＝α２・Ｖ２（Ｆｒ，Ｂｒ，Ｐν）＋β２・Ｄ２（Ｄ）＋γ２・Ｖ２（Ｆｒ，Ｂｒ，Ｐν）・Ｄ２（Ｄ）＋δ２ ・・・・(８)

心理要因得点推定部３−４において使用する式（２）は上記（７）式に対応する。また、式（２−１）〜（２−４）は上記（７−１）〜（７−４）式に対応する。
心理要因得点推定部３−４において使用する式（３）は上記（８）式に対応する。また、式（３−１）〜（３−５）は上記（８−１）〜（８−５）式に対応する。

図８に心理要因得点推定部３−４の機能ブロック図を示す。心理要因得点推定部３−４は、第１の心理要因として美的感の因子得点Ｓ１の計算を行う第１心理要因得点計算部３−４Ａと、第２の心理要因として躍動感の因子得点Ｓ２の計算を行う第２心理要因得点計算部３−４Ｂとを備えている。

第１心理要因得点計算部３−４Ａは、前記（２−２）式の計算を行うＶ１１計算部４Ａ１と、前記（２−３）式の計算を行うＶ１２計算部４Ａ２と、前記（２−４）式の計算を行うＡ１計算部４Ａ３と、前記（２−１）の計算を行うＶ１計算部４Ａ４と、前記（２）式の計算を行うＳ１計算部４Ａ５とを有している。

第２心理要因得点計算部４Ｂは、前記（３−２）式の計算を行うＶ２１計算部４Ｂ１と、前記（３−３）式の計算を行うＶ２２計算部４Ｂ２と、前記（３−４）式の計算を行うＶ２３計算部４Ｂ３と、前記（３−５）式の計算を行うＤ２計算部４Ｂ４と、前記（３−１）の計算を行うＶ２計算部４Ｂ５と、前記（３）式の計算を行うＳ２計算部４Ｂ６とを有している。

図９に総合品質推定部３−５の機能ブロック図を示す。総合品質推定部３−５は、心理要因得点推定部３−４からの美的感の因子得点Ｓ１に定数Ａを乗じて出力するＡＳ１計算部３−５Ａと、心理要因得点推定部３−４からの躍動感の因子得点Ｓ２に定数Ｂを乗じて出力するＢＳ２計算部３−５Ｂと、ＡＳ１計算部３−５ＡからのＡ・Ｓ１とＢＳ２計算部３−５ＢからのＢ・Ｓ２と定数Ｃとを入力し前記（４）式の計算を行うＭＯＳ計算部３−５Ｃとを有している。

〔サービス品質の推定〕
今、図１において、ネットワーク４を介し、通信端末１と通信端末２との間で音声および映像メディアを用いた双方向通信が行われているものとする。ここで、一例として、サービス品質推定装置３において、通信端末２を利用するユーザＭＢが受ける総合的な品質を推定する場合の処理動作について説明する。

サービス品質推定装置３において、監視部３−１は、通信端末１，２間の双方向通信サービスに際する品質劣化の要因として、通信端末１から通信端末２への映像ビットレートＢｒと、フレームレートＦｒと、映像無効パケット率Ｐνと、音声無効パケット率Ｐａと、遅延時間Ｄを監視し、映像ビットレートＢｒとフレームレートＦｒをアプリケーションパラメータとして記憶部３−２に記憶させ、映像無効パケット率Ｐνと音声無効パケット率Ｐａと遅延時間Ｄをネットワークパラメータとして記憶部３−３に記憶させる。

記憶部３−２に記憶された映像ビットレートＢｒとフレームレートＦｒ、記憶部３−３に記憶された映像無効パケット率Ｐνと音声無効パケット率Ｐａと遅延時間Ｄは、心理要因得点推定部３−４へ与えられる。心理要因得点推定部３−４において、第１心理要因得点計算部３−４Ａは、映像ビットレートＢｒと映像無効パケット率Ｐνと音声無効パケット率Ｐａとから、美的感の因子得点Ｓ１の計算を行う。第２心理要因得点計算部３−４Ｂは、フレームレートＦｒと遅延時間Ｄと映像ビットレートＢｒと映像無効パケット率Ｐνとから、躍動感の因子得点Ｓ２の計算を行う。

〔第１心理要因得点計算部３−４Ａでの美的感の因子得点Ｓ１の計算〕
第１心理要因得点計算部３−４Ａにおいて、映像ビットレートＢｒはＶ１１計算部４Ａ１へ与えられ、映像無効パケット率ＰνはＶ１２計算部４Ａ２へ与えられ、音声無効パケット率ＰａはＡ１計算部４Ａ３へ与えられる。
Ｖ１１計算部４Ａ１は、前記（２−２）式を使用して、Ｖ１１（Ｂｒ）を算出する。Ｖ１２計算部４Ａ２は、前記（２−３）式を使用して、Ｖ１２（Ｐν）を算出する。Ａ１計算部４Ａ３は、前記（２−４）式を使用して、Ａ（Ｐａ）を算出する。

Ｖ１計算部４Ａ４は、Ｖ１１計算部４Ａ１が算出したＶ１１（Ｂｒ）およびＶ１２計算部４Ａ２が算出したＶ１２（Ｐν）を入力とし、前記（２−１）式を使用して、Ｖ１（Ｂｒ，Ｐν）を算出する。
Ｓ１計算部４Ａ５は、Ｖ１計算部４Ａ４が算出したＶ１（Ｂｒ，Ｐν）とＡ１計算部４Ａ３が算出したＡ１（Ｐａ）を入力とし、前記（２）式を使用して、ユーザＭＢが受ける品質に対する美的感の因子得点Ｓ１（Ｂｒ，Ｐν，Ｐａ）を算出する。

〔第２心理要因得点計算部３−４Ｂでの躍動感の因子得点Ｓ２の計算〕
第２心理要因得点計算部３−４Ｂにおいて、フレームレートＦｒはＶ２１計算部４Ｂ１へ与えられ、映像ビットレートＢｒはＶ２２計算部４Ｂ２へ与えられ、映像無効パケット率ＰνはＶ２３計算部４Ｂ３へ与えられ、遅延時間ＤはＤ２計算部４Ｂ４へ与えられる。
Ｖ２１計算部４Ｂ１は、前記（３−２）式を使用して、Ｖ２１（Ｆｒ）を算出する。Ｖ２２計算部４Ｂ２は、前記（３−３）式を使用して、Ｖ２２（Ｂｒ）を算出する。Ｖ２３計算部４Ｂ３は、前記（３−４）式を使用して、Ｖ２３（Ｐν）を算出する。Ｄ２計算部４Ｂ４は、前記（３−５）式を使用して、Ｄ２（Ｄ）を算出する。

Ｖ２計算部４Ｂ５は、Ｖ２１計算部４Ｂ１が算出したＶ２１（Ｆｒ）、Ｖ２２計算部４Ｂ２が算出したＶ２２（Ｂｒ）およびＶ２３計算部４Ｂ３が算出したＶ２３（Ｐν）を入力とし、前記（３−１）式を使用して、Ｖ２（Ｆｒ，Ｂｒ，Ｐν）を算出する。
Ｓ２計算部４Ｂ６は、Ｖ２計算部４Ｂ５が算出したＶ２（Ｆｒ，Ｂｒ，Ｐν）とＤ２計算部４Ｂ４が算出したＤ２（Ｄ）を入力とし、前記（３）式を使用して、ユーザＭＢが受ける品質に対する躍動感の因子得点Ｓ２（Ｆｒ，Ｂｒ，Ｐν，Ｄ）を算出する。

〔総合品質推定部３−５での総合的な品質の評価値ＭＯＳの計算〕
心理要因得点推定部３−４で算出された美的感の因子得点Ｓ１（Ｂｒ，Ｐν，Ｐａ）および躍動感の因子得点Ｓ２（Ｆｒ，Ｂｒ，Ｐν，Ｄ）は総合品質推定部３−５へ与えられる。
総合品質推定部３−５において、ＡＳ１計算部３−５Ａは、心理要因得点推定部３−４からの美的感の因子得点Ｓ１（Ｂｒ，Ｐν，Ｐａ）に定数Ａを乗じ、Ａ・Ｓ１（Ｂｒ，Ｐν，Ｐａ）としてＭＯＳ計算部３−５Ｃへ与える。

ＢＳ２計算部３−５Ｂは、心理要因得点推定部３−４からの躍動感の因子得点Ｓ２に定数Ｂを乗じて、Ｂ・Ｓ２（Ｆｒ，Ｂｒ，Ｐν，Ｄ）としてＭＯＳ計算部５−５Ｃへ与える。
ＭＯＳ計算部５−５Ｃは、ＡＳ１計算部３−５ＡからのＡ・Ｓ１（Ｂｒ，Ｐν，Ｐａ）とＢＳ２計算部３−５ＢからのＢ・Ｓ２（Ｆｒ，Ｂｒ，Ｐν，Ｄ）と定数Ｃを入力とし、前記（４）式を使用して、ユーザＭＢが受ける総合的な品質の評価値ＭＯＳを算出する。

心理要因得点推定部３−４において使用する算出式において、定数であるＡ，Ｂ，Ｃ，α１，β１，γ１，δ１，α２，β２，γ２，δ２，Ａ１ｎ，Ｂ１ｎ，Ｃ１ｎ（ｎ＝０〜３），Ａ２ｍ，Ｂ２ｍ，Ｃ２ｍ（ｍ＝０〜４），Ｄ２０，Ｅ２０，Ｆ２０，Ｇ２０，Ｈ２０は、双方向通信サービス（音声・映像コミュニケーションサービス）をどのような利用シーンで利用するのか、どのような会話を行うかなどにより変化する値である。

想定するサービス利用シーンを決定し、一度主観評価実験を行うことで、これらの定数は求めることが可能である。本式の関数系は一例であり、Ｖ１１（Ｂｒ），Ｖ１２（Ｐν），Ａ１（Ｐａ），Ｖ２１（Ｆｒ），Ｖ２２（Ｂｒ），Ｖ２３（Ｐｒ），Ｄ２（Ｄ）も前記同様に主観評価実験を行うことで得ることができる。また、Ｓ１，Ｓ２，Ｖ１，Ｖ２は前記関数の交互作用を考慮した式で定式化されるが、どのような会話を行うかなどにより考慮される交互作用の項も変化し、全ての項を考慮する必要はない。交互作用を考慮しない推定式やある特定の交互作用のみを考慮した推定式も本発明の範疇に含まれる。

具体的に各定数を求める方法は、まず、音声／映像品質の異なる複数の実験条件を設定し、これらに対し主観評価実験を行う。各品質は音声／映像通信サービス環境（無効パケット率，パケット遅延時間／ゆらぎ時間などのネットワークパラメータ）が制御できる実験系（例えば、ネットワークエミュレータ装置を介して、音声・映像コミュニケーションサービスを用いる端末／アプリケーションを接続する）を用いることで制御可能である。

主観品質実験では、被験者に想定するサービス利用シーンを模擬する会話を実施してもらい、ＭＯＳ〔５段階尺度（非常に良い、良い、どちらともいえない、悪い、非常に悪い）〕、Ｓ１，Ｓ２（ＳＤ法による心理要因評価を実施することにより得られる）の値を求める。これらのデータからＭＯＳを目的変数、Ｓ１，Ｓ２を説明変数とし、重回帰分析を行うことにより定数Ａ，Ｂ，Ｃの値を求める。その他定数も同様に重回帰分析により求められる。具体的な主観評価実験方法は前述した通りである。

自由に会話をする場合を想定した評価結果に本推定関数を適用した結果を図１０に示す。横軸は実測により求めた総合的な品質の評価値ＭＯＳｓ，縦軸は心理要因得点を利用して求めた総合的な品質の評価値ＭＯＳｅを示している。ほとんどのデータが４５度の線上に位置することから、前記推定式は非常に精度良く総合品質を推定していることが分かる。

以上の説明から明らかなようにうに、本実施の形態によれば、音声および映像メディアを用いた双方向通信サービスに際する品質劣化の要因を監視し、この品質劣化の要因に基づいてユーザが受ける品質に対する心理要因の因子得点を推定し、この推定した心理要因の因子得点に基づいてユーザが受ける総合的な品質を推定するようにしたことにより、双方向通信サービス特有の品質劣化の要因を考慮に入れて、精度良く、ユーザが受ける総合的な品質を推定することができるようになる。

また、本実施の形態によれば、推定した心理要因の因子得点などから、品質を改善するための指針として、音声および映像メディアを用いた双方向通信サービスで用いる品質劣化の要因、すなわちアプリケーションパラメータ（映像ビットレート、フレームレートなど）やネットワークパラメータ（映像無効パケット率、音声無効パケット率、遅延時間など）の何を改善すればよいかを把握することも可能であり、これをアプリケーションパラメータやネットワークパラメータの設計に役立てたり、提供中のサービスの品質実体の把握・管理に役立てることができるようになる。

なお、この実施の形態では、品質劣化の要因としては例示しなかったが、音声符号化器や映像符号化器を考慮して、品質推定を行うようにしてもよい。また、本実施の形態では、心理要因を美的感と躍動感の２つとしたが、心理的要因はこの２つに限られるものでもない。

本発明の実施に用いる音声および映像メディアを用いた双方向通信サービスシステム（音声・映像コミュニケーションサービスシステム）の一例の要部を示すシステム構成図である。 この双方向通信サービスシステムにおけるサービス品質推定装置の機能ブロック図である。 主観評価実験で用いた条件を示す図である。 会話による音声・映像に対する総合評価の５段階品質尺度を示す図である。 会話の中での音声・映像に対する印象の７段階比較尺度の形容詞２５対を例示する図である。 形容詞対の７段階評価尺度の例を示す図である。 抽出された各心理要因に対する因子負荷量が高い形容詞対を示す図である。 サービス品質推定装置における心理要因得点推定部の機能ブロック図である。 サービス品質推定装置における総合品質推定部の機能ブロック図である。 自由に会話をする場合を想定した評価結果に本推定関数を適用した結果を示す図である。

符号の説明

１，２…通信端末、３…サービス品質推定装置、４…ネットワーク（インターネット）、３−１…監視部、３−２…アプリケーションパラメータ記憶部、３−３…ネットワークパラメータ記憶部、３−４…心理要因得点推定部、３−４Ａ…第１心理要因得点計算部、４Ａ１…Ｖ１１計算部、４Ａ２…Ｖ１２計算部、４Ａ３…Ａ１計算部、４Ａ４…Ｖ１計算部、４Ａ５…Ｓ１計算部、３−４Ｂ…第２心理要因得点計算部、４Ｂ１…Ｖ２１計算部、４Ｂ２…Ｖ２２計算部、４Ｂ３…Ｖ２３計算部、４Ｂ４…Ｄ２計算部、４Ｂ５…Ｖ２計算部、４Ｂ６…Ｓ２計算部、３−５…総合品質推定部、３−５Ａ…ＡＳ１計算部、３−５Ｂ…ＢＳ２計算部、３−５Ｃ…ＭＯＳ計算部、１００…双方向通信サービスシステム（音声・映像コミュニケーションサービスシステム）。

Claims (8)

1. 音声および映像メディアを用いネットワークを介して端末間の双方向通信サービスを行うシステムにおいて、
   前記端末間の双方向通信サービスに際する品質劣化の要因を監視しメモリに記憶する第１ステップと、
   前記メモリに記憶された品質劣化の要因に基づいて前記端末を利用するユーザが受ける品質に対する心理要因の大きさを推定する第２ステップと、
   前記推定した心理要因の大きさに基づいて前記端末を利用するユーザが受ける総合的な品質を推定する第３ステップと
   を備えることを特徴とする双方向通信サービスシステムにおける品質推定方法。
2. 請求項１に記載された双方向通信サービスシステムにおける品質推定方法において、
   前記第２ステップは、前記心理要因の大きさとして、美的感の因子得点Ｓ１と躍動感の因子得点Ｓ２を推定する
   ことを特徴とする双方向通信サービスシステムにおける品質推定方法。
3. 請求項２に記載された双方向通信サービスシステムにおける品質推定方法において、
   前記第３ステップは、前記推定された美的感の因子得点Ｓ１および躍動感の因子得点Ｓ２を、Ａ，Ｂ，Ｃを定数とする下記(１)式に代入して、前記総合的な品質の評価値ＭＯＳを求める
   ことを特徴とする双方向通信サービスシステムにおける品質推定方法。
   ＭＯＳ＝Ａ・Ｓ１＋Ｂ・Ｓ２＋Ｃ ・・・・(１)
4. 請求項１〜３の何れか１項に記載された双方向通信サービスシステムにおける品質推定方法において、
   前記第１ステップは、前記品質劣化の要因として、映像ビットレート、フレームレート、映像無効パケット率、音声無効パケット率および遅延時間を監視することを特徴とする双方向通信サービスシステムにおける品質推定方法。
5. 音声および映像メディアを用いネットワークを介して端末間の双方向通信サービスを行うシステムにおける品質推定装置において、
   前記端末間の双方向通信サービスに際する品質劣化の要因を監視しメモリに記憶する品質劣化要因監視手段と、
   前記メモリに記憶された品質劣化の要因に基づいて前記端末を利用するユーザが受ける品質に対する心理要因の大きさを推定する心理要因推定手段と、
   前記推定された心理要因の大きさに基づいて前記端末を利用するユーザが受ける総合的な品質を推定する総合品質推定手段と
   を備えることを特徴とする双方向通信サービスシステムにおける品質推定装置。
6. 請求項５に記載された双方向通信サービスシステムにおける品質推定装置において、
   前記心理要因推定手段は、前記心理要因の大きさとして、美的感の因子得点Ｓ１と躍動感の因子得点Ｓ２を推定する
   ことを特徴とする双方向通信サービスシステムにおける品質推定装置。
7. 請求項６に記載された双方向通信サービスシステムにおける品質推定装置において、
   前記総合品質推定手段は、前記推定された美的感の因子得点Ｓ１および躍動感の因子得点Ｓ２を、Ａ，Ｂ，Ｃを定数とする下記(２)式に代入して、前記総合的な品質の評価値ＭＯＳを求める
   ことを特徴とする双方向通信サービスシステムにおける品質推定装置。
   ＭＯＳ＝Ａ・Ｓ１＋Ｂ・Ｓ２＋Ｃ ・・・・(２)
8. 請求項５〜７の何れか１項に記載された双方向通信サービスシステムにおける品質推定装置において、
   前記品質劣化要因監視手段は、前記品質劣化の要因として、映像ビットレート、フレームレート、映像無効パケット率、音声無効パケット率および遅延時間を監視することを特徴とする双方向通信サービスシステムにおける品質推定装置。
   

Images