JP2007258919A - 映像品質推定装置および映像品質推定方法 - Google Patents

Abstract

【課題】精度よく映像品質を推定する。
【解決手段】測定区間Ｔの始端から１ＧＯＰ時間の区間を先頭領域ＴＳとする。先頭領域ＴＳをｎ分割（ｎ≧２）してｎ個のＧＯＰ開始パケット位置（Ｐ１〜Ｐｎ）を定める。ｎ個のＧＯＰ開始パケット位置毎に、１ＧＯＰ時間中の映像フレームの構成情報（Ｍ，Ｎ）を含む映像符号化情報に基づいて、測定区間Ｔの終端までの各映像フレームの位置および種別を仮に定める。ｎ個のＧＯＰ開始パケット位置毎に、仮に定めた映像フレームの位置および種別に基づいて、無効パケットがどの種別の映像フレームに属しているのかを判断し、測定時間Ｔの終端までの無効フレーム数を算出する。このｎ個のＧＯＰ開始パケット位置毎に算出された無効フレーム数に基づいて測定区間Ｔ内の映像品質を推定する。
【選択図】 図７

Description

この発明は、ネットワークを介する通信端末間の映像通信サービスにおける映像品質を推定する映像品質推定装置および映像品質推定方法に関するものである。

近年、インターネット網など通信ネットワークが広帯域化する中、映像配信サービスやテレビ会議などの映像系のサービス（映像通信サービス）が普及しつつある。これらの映像通信サービスでは、映像信号を高能率圧縮符号化し、パケット列に変換して、映像配信クライアントや双方向映像通信サービスクライアントなどの通信端末へ送るようにしている。

例えば、フレーム間予測を用いずフレーム内で符号化処理を行うＩ（Intra Picture ）フレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うＰ（Predictive Picture）フレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行う（Bidirectionally Predictive Picture）Ｂフレームという３種類のフレームにより映像信号を高能率圧縮符号化し、この高能率圧縮符号化した映像信号をパケット列に変換し、ネットワークを介して映像配信クライアントや双方向映像通信サービスクライアントへ送るようにしている。

この場合、例えば、ネットワークでパケット損失が生じると、映像配信クライアントや双方向映像通信サービスクライアントなどの通信端末での復号に際し前後のフレーム情報を使うことから、１パケットの損失による映像品質の劣化が１映像フレームにとどまらず、複数の映像フレームに及ぶことがある。このような場合、次の映像フレームではパケット損失が生じていないにも拘わらず、復号された映像では品質劣化が生じており、ユーザが実際に体感する映像品質（ユーザ体感品質）が大きく低下する。これは、Ｉ，Ｐ，ＢフレームのＧＯＰ（Group of pictures ）構成、すなわち符号化された一群の映像フレームに対応する１構成単位時間中の映像フレームの構成に依存する。

ＧＯＰ構成は、ＩまたはＰの出現周期Ｍと、Ｉの出現周期Ｎとの組み合わせで表現される。ＧＯＰ構成の一例を図１１に示す。この例は、Ｍ＝３，Ｎ＝１５の場合のＧＯＢ構成を示したものであり、１秒間３０フレームの映像の場合、１ＧＯＰ構成のフレーム数は１５であるので、１ＧＯＰ時間（１構成単位時間）は０．５秒となる。

このように、１パケットの損失であっても、ユーザ体感品質は劣化した映像フレームの種別によって異なる。そこで、ユーザ体感品質を精度よく推定する方法として、ネットワークおよび通信端末での無効パケット（損失パケット，順序逆転パケット，遅着パケット）を検出し、無効パケットが属する映像フレームおよびその映像フレームの影響を受けて劣化する映像フレームの数を無効フレーム数として算出し、この無効フレーム数の測定対象区間（例えば、１０秒）内の総送信フレーム数に対する割合を無効フレーム率として求め、この無効フレーム率からユーザ体感品質を推定する方法が考えられている（非特許文献１，２，３参照）。この方法を用いれば、非特許文献３で報告されているように、無効パケット率でユーザ体感品質を推定する場合に比べ、品質推定精度が向上する。

この方法では、無効パケットが属する映像フレームの情報を無効パケットのヘッダ情報やペイロード情報から得ている。無効パケットを構成する損失パケット，順序逆転パケットおよび遅着パケットのうち、順序逆転パケットおよび遅着パケットについては、パケット自体は存在するため、そのパケットが属する映像フレームの情報をヘッダ情報やペイロード情報から得ることは可能である。

増田，富永："無効パケット率による映像品質推定方法"，信総大，B-11-15,March 2004. 富永，増田，林："映像フレーム情報を考慮したネットワーク品質尺度による映像品質推定"，信総大，BS-6-2,March 2005. 増田，富永，林："無効フレーム率を用いたインサービス映像品質管理法"，信学技報，CQ2005-59,September 2005.

しかしながら、上述した方法において、損失パケットについては、パケットが損失しているために、そのパケットが属する映像フレームの情報をヘッダ情報やペイロード情報から得ることはできない。この場合、損失パケットの前後のパケットからそのパケットが属する映像フレームの情報を類推することになるが、例えば前後のパケットも損失しているような場合は推定が困難であり、映像品質（ユーザ体感品質）の推定精度が低下する。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、無効パケットが属する映像フレームの情報をヘッダ情報やペイロード情報から得ることなく、また損失パケットの前後のパケットが損失しているような場合であっても、精度よく映像品質を推定することができる映像品質推定装置および映像品質推定方法を提供することにある。

このような目的を達成するために本発明は、ネットワークを介する通信端末間の映像通信サービスにおける映像品質を推定する映像品質推定装置において、符号化された１群の映像フレームに対応する１構成単位時間中の映像フレームの構成情報を含む映像符号化情報を通信端末より収集する映像符号化情報収集手段と、映像品質の測定対象区間の始端から１構成単位時間幅の区間を先頭領域とし、この先頭領域をｎ分割（ｎ≧２）してｎ個の１構成単位時間の開始位置を仮に定める１構成単位時間開始位置決定手段と、ｎ個の１構成単位時間の開始位置毎に、映像符号化情報に基づいて、その開始位置以降の各映像フレームの位置および種別を仮に定める仮設定手段と、ネットワークおよび通信端末での無効パケットの発生情報を収集する無効パケット発生情報収集手段と、ｎ個の１構成単位時間の開始位置毎に、仮設定手段によって仮に定められた映像フレームの位置および種別に基づいて、その開始位置以降に発生した無効パケットがどの種別の映像フレームに属しているのかを判断し、その無効パケットが属する映像フレームおよびその映像フレームの影響を受けて劣化する映像フレームの数を無効フレーム数として算出する無効フレーム数算出手段と、ｎ個の１構成単位時間の開始位置毎に算出された無効フレーム数に基づいて測定対象区間内の映像品質を推定する映像品質推定手段とを設けたものである。

この発明において、通信端末を双方向映像通信サービスクライアント、映像信号を符号化する際の１構成単位をＧＯＰとした場合、双方向映像通信サービスクライアントより１ＧＯＰ時間中の映像フレームの構成情報を含む映像符号化情報（符号化方式、帯域、ＩまたはＰの出現周期Ｍ、Ｉの出現周期Ｎ、映像フレームの種別毎の構成パケット数など）を収集する。そして、映像品質の測定対象区間（例えば、１０秒）の始端から１ＧＯＰ時間幅の区間を先頭領域とし、この先頭領域をｎ分割（例えば、１０分割）してｎ個のＧＯＰ時間の開始位置（１構成単位時間の開始位置）を仮に定める。なお、１ＧＯＰ時間は、映像符号化情報から、例えばＧＯＰ構成をＭ＝３，Ｎ＝１５、１秒間３０フレームの映像の場合、０．５秒というようにして求められる。

そして、このｎ個のＧＯＰ時間の開始位置毎に、１ＧＯＰ時間中の映像フレームの構成情報を含む映像符号化情報に基づいて、その開始位置以降の各映像フレームの位置および種別を仮に定める。例えば、１ＧＯＰ時間内の総パケット数に対する映像フレームの種別毎の総パケット数の比率を映像フレーム種類別構成パケット比率として求め、１ＧＯＰ時間内の総パケット数、映像フレーム種類別構成パケット比率および１ＧＯＰ時間中の映像フレームの配列（Ｉ，Ｐ，Ｂフレームの配列）に基づいて、ｎ個のＧＯＰ時間の開始位置毎にそれ以降の各映像フレームの位置および種別を仮に定める。

この場合、映像フレーム種類別構成パケット比率は、映像符号化情報から得られる映像フレームの種別毎の構成パケット数およびＧＯＰ構成から映像フレームの種別毎の総パケット数を求め、この映像フレームの種別毎の総パケット数をトータルしてＧＯＰ内の総パケット数を求め、映像フレームの種別毎の総パケット数をＧＯＰ内の総パケット数で除して求めるようにしてもよいし、ＧＯＰ内の総パケット数もしくは帯域と映像フレーム種類別構成パケット比率との関係を定めたテーブルを用意しておき、このテーブルから求めるようにしてもよい。また、ＧＯＰ内の総パケット数もしくは帯域と映像フレーム種類別構成パケット比率との関係を表す推定式を予め作成しておき、この推定式から求めるようにしてもよい。

そして、ｎ個のＧＯＰ時間の開始位置毎に、仮に定められた映像フレームの位置および種別に基づいて、無効パケットがどの種別の映像フレームに属しているのかを判断し、その無効パケットが属する映像フレームおよびその映像フレームの影響を受けて劣化する映像フレームの数を無効フレーム数として算出する。これにより、ｎ個のＧＯＰ時間の開始位置を１つずつずらしながら、合計ｎ個の無効フレーム数が算出される。

ここで、無効フレーム数の算出に際しては、ＧＯＰ時間の開始位置毎に、そのＧＯＰ時間の開始位置から測定対象区間の終端までの区間を算出対象区間とする方式（方式１）と、ＧＯＰ時間の開始位置毎に、そのＧＯＰ時間の開始位置から測定対象区間の時間幅の区間を算出対象区間とする方式（方式２）とが考えられる。

方式１の場合、ＧＯＰ時間の開始位置を１つずつずらすと、無効フレーム数の算出対象区間が少しずつ短くなる。しかし、１ＧＯＰ時間が０．５秒、測定対象区間が１０秒というように、測定対象区間が１ＧＯＰ時間に対してかなり長いような場合、ＧＯＰ時間の開始位置毎に算出される無効フレーム数の誤差は小さく、映像品質の推定精度への影響は少ない。

方式２の場合、ＧＯＰ時間の開始位置を１つずつずらしても、無効フレーム数の算出対象区間は短くなることがなく、常に一定の時間幅（測定対象区間の時間幅）が確保される。したがって、方式２とすることにより、方式１とする場合よりも、映像品質の推定精度のアップが望める。測定対象区間が短い場合には方式２とするとよい。

本発明において、測定対象区間は原理的には１ＧＯＰ時間以上あればよいが、１ＧＯＰ時間が例えば０．５秒というように短い場合には、１ＧＯＰ時間に対して測定対象期間をかなり長くした方がよい。また、１ＧＯＰ時間が例えば８秒というように長い場合には、２ＧＯＰ時間以上とすることが望ましい。

本発明において、測定対象区間内の映像品質の推定は、ｎ個のＧＯＰ時間の開始位置毎に算出された無効フレーム数に基づいて行われる。例えば、ｎ個のＧＯＰ時間の開始位置毎に算出された無効フレーム数の平均値を無効フレーム数期待値とし、この無効フレーム数期待値の測定対象区間内の総送信フレーム数に対する割合を無効フレーム率期待値として求め、この無効フレーム率期待値を予め定められている無効フレーム率と映像品質との関係を示す映像品質推定モデルに代入して、測定対象区間内の映像品質の推定値を得る。

なお、無効フレーム数期待値は、ｎ個のＧＯＰ時間の開始位置毎に算出された無効フレーム数の最大値としたり、７５％値（最大値の７５％）とするなどとしてもよい。無効フレーム数の最大値を無効フレーム数期待値とすることによって、最悪時を想定して、品質管理を行うことが可能となる。７５％値を無効フレーム数期待値とすることによって、安全側に品質管理を行うことが可能となる。また、無効フレーム率と映像品質との関係を示す映像品質推定モデルは、サービス帯域，コンテンツの違い毎に求めておいてもよい。また、映像品質推定モデルは、モデル式として作成しておくようにしてもよいし、テーブルとして用意しておくようにしてもよい。

また、本発明において、符号化する際の１構成単位はＧＯＰに限られるものではない。なお、ＧＯＰは、ＧＯＶ（Group of video）と呼ばれることもある。また、本発明は、映像品質推定装置としてではなく、映像品質推定方法として実現することも可能である。

本発明によれば、符号化された一群の映像フレームに対応する１構成単位時間中の映像フレームの構成情報を含む映像符号化情報を通信端末より収集し、映像品質の測定対象区間の始端から１構成単位時間幅の区間を先頭領域とし、この先頭領域をｎ分割してｎ個の１構成単位時間の開始位置を仮に定め、このｎ個の１構成単位時間の開始位置毎に、１構成単位時間中の映像フレームの構成情報を含む映像符号化情報に基づいて、その開始位置以降の各映像フレームの位置および種別を仮に定め、無効パケットがどの種別の映像フレームに属しているのかを判断し、無効パケットが属する映像フレームおよびその映像フレームの影響を受けて劣化する映像フレームの数を無効フレーム数として算出し、このｎ個の１構成単位時間の開始位置毎に算出された無効フレーム数に基づいて測定対象区間内の映像品質を推定するようにしたので、無効パケットが属する映像フレームの情報をヘッダ情報やペイロード情報から得ることなく、また損失パケットの前後のパケットが損失しているような場合であっても、精度よく映像品質を推定することができるようになる。

以下、本発明を図面に基づいて詳細に説明する。図１はこの発明に係る映像品質推定装置を利用した映像通信サービスシステムの一例を示すシステム構成図である。なお、本実施の形態において、映像品質とはユーザ体感品質を表し、主観評価実験によって得られた主観評価値（例えば、ＭＯＳ：Mean Opinion Score）のことを指す。

図１において、１０は本発明に係る映像品質推定装置、２０（２０−１，２０−２）は双方向映像通信サービスクライアント（以下、双方向ユーザ端末と呼ぶ）、３０は映像配信サーバ、４０は映像配信サーバ３０からの映像の配信を受ける映像配信クライアント（以下、映像配信端末と呼ぶ）であり、これらの装置はネットワーク５０を介して相互に接続されている。

図２は映像品質推定装置１０の内部構成の要部を示すブロック図である。映像品質推定装置１０は、双方向ユーザ端末２０や映像配信サーバ３０から映像符号化情報（符号化方式，帯域，映像フレームの構成情報，映像フレームの種別毎の構成パケット数など）を収集する映像符号化情報収集部１１と、双方向ユーザ端末２０や映像配信端末４０から無効パケット（損失パケット，順序逆転パケット，遅着パケット）の発生情報を収集する無効パケット発生情報収集部１２と、映像符号化情報収集部１１が収集した映像符号化情報に基づいて後述する映像フレーム種類別構成パケット比率を算出する映像フレーム種類別構成パケット比率算出部１３と、映像符号化情報収集部１１が収集した映像符号化情報、映像フレーム種類別構成パケット比率算出部１３で算出された映像フレーム種類別構成パケット比率および無効パケット発生情報収集部１２が収集した無効パケットの発生情報に基づいて後述する無効フレーム率期待値を算出する無効フレーム率期待値算出部１４と、無効フレーム率と映像品質との関係を映像品質推定モデルとして格納した映像品質推定モデルＤＢ１５と、無効フレーム率期待値算出部１４で算出された無効フレーム率期待値から映像品質推定モデルＤＢ１５に格納されている映像品質推定モデルに従って映像品質推定値を求める映像品質推定部１６とを備えている。

なお、映像品質推定装置１０は、プロセッサや記憶装置からなるハードウェアと、これらのハードウェアと協働して図２に示した各部の機能を実現させるプログラムとによって実現される。また、この例では、映像品質推定モデルＤＢ１５に、符号化方式，コンテンツ，帯域などの条件毎に無効フレーム率と映像品質との関係を示すモデル式を作成し、これを映像品質推定モデルとして格納している。

図３は、映像品質推定モデルの例であり、無効フレーム率が求まると、映像品質（ＭＯＳ）を算出することができる。無効フレーム率に対する映像品質推定モデルとしては、例えば、次式のような指数関数で表されることが分かっている。
Ｙ＝ｙ０＋Ａ１*ｅｘｐ（−ｘ／ｔ１）＋Ａ２*ｅｘｐ（−ｘ／ｔ２） ・・・・(１)
Ｙ：ユーザ体感品質（ＭＯＳ）、ｘ：無効フレーム率、ｙ０，Ａ１，Ａ２，ｔ１，ｔ２：定数。

〔実施の形態１（方式１）〕
以下、図５に示すフローチャートに従って、映像品質推定装置１０が有する本実施の形態特有の機能について、双方向ユーザ端末２０における映像品質を推定する場合を例にとって説明する。

〔映像符号化情報収集部〕
映像品質推定装置１０において、映像符号化情報収集部１１は、双方向ユーザ端末２０から映像信号を符号化する際の符号化方式，帯域，映像フレームの構成情報，映像フレームの種別毎の構成パケット数などの映像符号化情報を収集する（ステップ１０１）。この例では、双方向ユーザ端末２０での符号化方式を高能率圧縮符号化とし、映像フレームの構成情報としてＧＯＰ構成（Ｍ，Ｎ）が収集されるものとする。

なお、映像フレームの種別毎の構成パケット数は、映像配信サービスの場合には、予め想定されるジャンルの映像コンテンツについてデータ収集してもよいし、サービスで実際に利用されるコンテンツの情報をデータ収集してもよい。また、双方向映像通信サービスの場合には、予め想定されるジャンルの映像コンテンツ（例えば、遠隔授業，自由会話など）のサンプル映像を用いて、映像フレームの種別毎のパケット数情報を収集しておいてもよい。

〔映像フレーム種類別構成パケット比率算出部〕
映像フレーム種類別構成パケット比率算出部１３は、映像符号化情報収集部１１が収集した映像符号化情報を入力とし、この映像符号化情報に基づいて映像フレーム種類別構成パケット比率を算出する（ステップ１０２）。

この例では、映像符号化情報から得られる映像フレームの種別毎の構成パケット数（Ｉ，Ｐ，Ｂの各フレームを構成するパケット数）およびＧＯＰ構成から映像フレームの種別毎の総パケット数を求め、この映像フレームの種別毎の総パケット数をトータルしてＧＯＰ内の総パケット数を求め、映像フレームの種別毎の総パケット数をＧＯＰ内の総パケット数で除して、Ｉフレームの映像フレーム種類別構成パケット比率、Ｐフレームの映像フレーム種類別構成パケット比率、Ｂフレームの映像フレーム種類別構成パケット比率を求める。

なお、ＧＯＰ内の総パケット数もしくは帯域と映像フレーム種類別構成パケット比率との関係（図４参照）を定めたテーブルを用意しておき、このテーブルからＩ，Ｐ，Ｂ各フレームの映像フレーム種類別構成パケット比率を求めるようにしてもよい。また、ＧＯＰ内の総パケット数もしくは帯域と映像フレーム種類別構成パケット比率との関係を表す推定式を予め作成しておき、この推定式からＩ，Ｐ，Ｂ各フレームの映像フレーム種類別構成パケット比率を求めるようにしてもよい。

〔無効パケット発生情報収集部〕
無効パケット発生情報収集部１２は、１０秒を測定区間（測定対象区間）とし、この測定区間内の無効パケットの発生情報を双方向ユーザ端末２０から収集する（ステップ１０３）。無効パケットとは、ネットワーク５０における損失パケットおよび順序逆転パケットならびに双方向ユーザ端末２０におけるバッファ溢れによる遅着パケットを合計したものである。本実施の形態では、双方向ユーザ端末２０で無効パケットの発生情報を収集し、この収集した無効パケットの発生情報を映像品質推定装置１０からの要求に応じて映像品質推定装置１０へ転送するという方法をとる。なお、この転送には、制御パケットとして、例えば「ＩＥＴＦ ＲＦＣ３６１１」に記載されているＲＴＣＰＸＲを用いる。

〔無効フレーム率期待値算出部〕
無効フレーム率期待値算出部１４は、映像符号化情報と映像フレーム種類別構成パケット比率と無効パケットの発生情報に基づいて、次のようにして無効フレーム率期待値を算出する（ステップ１０４）。図６にステップ１０４における無効フレーム率期待値の算出処理の詳細を示す。

先ず、測定区間（図７（ａ）に示すＴ（Ｔ１））の始端から１ＧＯＰ時間の区間（図７（ｂ）に示すＴＳ）を先頭領域とする（ステップ２０１）。１ＧＯＰ時間は、イントラリフレッシュ時間ともいい、映像符号化情報から求められる。ＭＰＥＧ−２の場合、１ＧＯＰ時間は０．５秒以内が望ましいとされており、Ｍ＝３，Ｎ＝１５というＧＯＰ構成であれば、ＩまたはＰの出現周期Ｍが３フレーム、Ｉの出現周期Ｎが１５フレームであることが分かるので、１秒間３０フレームの映像の場合、１ＧＯＰ時間は０．５秒として求められる。リアルタイムかつ双方向の映像通信サービスなど、遅延に厳しいアプリケーションの場合は、１ＧＯＰ時間を短くとる場合が多い。一方、遅延にそれほど厳しくないアプリケーションの場合には、１ＧＯＰ時間が３秒あるいはそれ以上の場合もあり得る。

次に、ステップ２０１で定めた先頭領域ＴＳをパケット数によりｎ分割（この例では、ｎ＝１０）して、ｎ個のＧＯＰ開始パケット位置（ＧＯＰ時間の開始位置）Ｐ１〜Ｐｎを仮に定める（図７（ｃ）：ステップ２０２）。すなわち、１ＧＯＰ時間内の総パケット数より、１０個のＧＯＰ開始パケット位置を仮に決定する。例えば、１ＧＯＰ時間内の総パケット数が１０００個である場合、１０個のＧＯＰ開始パケット位置は、「１」，「１０１」，「２０１」，「３０１」，「４０１」，「５０１」，「６０１」，「７０１」，「８０１」，「９０１」番目のパケットとされる。

そして、ＧＯＰ開始パケット位置の順番を示すパラメータをｍ＝１とし（ステップ２０３）、ｍ＝１番目のＧＯＰ開始パケット位置Ｐ１より、１ＧＯＰ時間内の総パケット数，映像フレーム種類別パケット比率およびＧＯＰ構成（１ＧＯＰ時間中の映像フレームの配列）に基づいて、測定区間Ｔの終端までの各映像フレームの位置および種別を仮に定める（ステップ２０４）。

例えば、ＧＯＰ構成がＭ＝３，Ｎ＝１５である場合には、１ＧＯＰ時間中の映像フレームの配列が「ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ」となる。ここで、１ＧＯＰ時間内の総パケット数が１０００個であり、そのときのＩフレームの映像フレーム種類別パケット比率が例えば１０％として求められていると、Ｉフレームとなるパケット番号は１番から１００番となる。同様にして、Ｐフレーム、Ｂフレームについて、パケット番号を求める。

そして、このＧＯＰ開始パケット位置Ｐ１に対して仮に定められた映像フレームの位置および種別に基づいて、ＧＯＰ開始パケット位置Ｐ１から測定期間Ｔの終端までの区間で発生した無効パケットがどの種別の映像フレームに属しているのかを判断し（ステップ２０５）、その無効パケットが属する映像フレームおよびその映像フレームの影響を受けて劣化する映像フレームの数をＧＯＰ開始パケット位置Ｐ１での無効フレーム数Ｆ_NG1 として算出する（ステップ２０６）。

例えば、発生した無効パケットが９０番目のパケットであれば、Ｉフレームに属していると判断し、１０１番目のパケットであればＢフレームに属していると判断し、その映像フレームの種別とＧＯＰ構成に基づいて無効フレーム数を算出し、測定区間Ｔの終端までの無効パケットに対する無効フレーム数を積算する。

そして、ｍ＝ｍ＋１＝２としてステップ２０４へ戻り（ステップ２０８）、ステップ２０７においてｍ＝ｎとなるまで、ステップ２０４〜２０６の処理を繰り返す。これにより、２番目のＧＯＰ開始パケット位置Ｐ２での無効フレーム数Ｆ_NG2 、３番目のＧＯＰ開始パケット位置Ｐ３での無効フレーム数Ｆ_NG3 というように、ＧＯＰ開始パケット位置を１つずつずらしながら、ｎ番目のＧＯＰ開始パケット位置Ｐｎまで、合計ｎ個の無効フレーム数（Ｆ_NG1 〜Ｆ_NGn）が算出される。

全てのＧＯＰ開始パケット位置での無効フレーム数が算出されると（ステップ２０７のＹＥＳ）、すなわちＧＯＰ開始パケット位置Ｐ１〜Ｐｎでの無効フレーム数Ｆ_NG1 〜Ｆ_NGn が算出されると、この無効フレーム数Ｆ_NG1 〜Ｆ_NGn より無効フレーム数期待値を求める（ステップ２０９）。この例では、無効フレーム数Ｆ_NG1 〜Ｆ_NGn の平均値を無効フレーム数期待値として求める。そして、測定区間Ｔ内の総送信フレーム数を求め、この測定区間Ｔ内の総送信フレーム数に対する無効フレーム数期待値の割合を無効フレーム率期待値として算出する（ステップ２１０）。

なお、この例では、無効フレーム数Ｆ_NG1 〜Ｆ_NGn の平均値を無効フレーム数期待値として求めるようにしたが、無効フレーム数Ｆ_NG1 〜Ｆ_NGn の最大値を無効フレーム数期待値として求めるようにしてもよく、７５％値（最大値の７５％）を無効フレーム数期待値として求めるようにしてもよい。無効フレーム数の最大値を無効フレーム数期待値とすることによって、最悪時を想定して、品質管理を行うことが可能となる。７５％値を無効フレーム数期待値とすることによって、安全側に品質管理を行うことが可能となる。

〔映像品質推定部〕
映像品質推定部１６は、無効フレーム率期待値算出部１４で算出された無効フレーム率期待値を入力とし、映像品質推定モデルＤＢ１５に格納されている映像品質推定モデルに従って測定区間Ｔ内の映像品質推定値を求める。

この場合、映像品質推定部１６は、映像符号化情報収集部１１からの映像符号化情報を参照し、その映像符号化情報に含まれる符号化方式，コンテンツ，帯域などの条件に合致した映像品質推定モデルを映像品質推定モデルＤＢ１５から選択する（図５：ステップ１０５）。

そして、この選択した映像品質推定モデルに無効フレーム率期待値算出部１４からの無効フレーム率期待値を代入して、測定区間Ｔ（Ｔ１）内の映像品質の推定値を求める（ステップ１０６）。

以下同様にして、次の測定区間Ｔ（Ｔ２）についても、映像品質の推定を行う。この場合、ステップ１０７のＹＥＳに応じてステップ１０３へ戻り、測定区間Ｔ内の無効パケット発生情報の収集（ステップ１０３）、測定区間Ｔにおける無効フレーム率期待値の算出（ステップ１０４）、映像品質推定モデルの選択（ステップ１０５）、映像品質推定モデルに無効フレーム率期待値を代入しての映像品質推定値の算出（ステップ１０６）を繰り返す。なお、この例では、映像品質推定モデルをモデル式としたが、無効フレーム率と映像品質との関係をテーブルとして用意しておくようにしてもよい。

このようにして、本実施の形態では、ｎ個のＧＯＰ開始パケット位置毎に測定区間Ｔの終端までの各映像フレームの位置および種別を仮に定め、この仮に定めた各映像フレームの位置および種別から無効パケットがどの種別の映像フレームに属しているのか判断し、測定区間Ｔ内の映像品質の推定を行うので、無効パケットが属する映像フレームの情報をヘッダ情報やペイロード情報から得ることなく、また損失パケットの前後のパケットが損失しているような場合であっても、精度よく映像品質を推定することができるようになる。

〔実施の形態２（方式２）〕
実施の形態１（方式１）では、図７の説明図からも分かるように、ＧＯＰ開始パケット位置を１つずつずらすと、無効フレーム数の算出対象区間Ｔｘが少しずつ短くなる。これは、無効フレーム数の算出対象区間ＴｘをＧＯＰ開始パケット位置から測定区間Ｔの終端までとしているためである。１ＧＯＰ時間が０．５秒、測定区間Ｔが１０秒というように、測定区間Ｔが１ＧＯＰ時間に対してかなり長いような場合、ＧＯＰ開始パケット位置毎に算出される無効フレーム数の誤差は小さく、映像品質の推定精度への影響は少ない。しかし、測定区間Ｔが短くなると、映像品質の推定精度への影響が心配される。

これに対して、実施の形態２（方式２）では、図１０に示すように、全てのＧＯＰ開始パケット位置について、そのＧＯＰ開始パケット位置から測定区間Ｔの時間幅の区間を無効フレーム数の算出対象区間Ｔｘとする。すなわち、ＧＯＰ開始パケット位置毎に、そのＧＯＰ開始パケット位置から測定区間Ｔの時間幅の区間を算出対象区間Ｔｘとし、この算出対象区間Ｔｘ内の無効フレーム数を算出する。この場合、次の測定区間Ｔの一部が無効フレーム数の算出対象区間Ｔｘに含まれることになるが、無効フレーム数の算出対象区間Ｔｘは短くなることがなく、常に一定の時間幅（測定区間Ｔの時間幅）が確保される。したがって、方式２とすることにより、方式１とする場合よりも、映像品質の推定精度のアップが望める。測定区間Ｔが短い場合には方式２とするとよい。

図８に図５に対応する実施の形態２のフローチャートを示す。図９に図６に対応する実施の形態２のフローチャートを示す。実施の形態２では、ステップ１０３’において「測定区間＋１ＧＯＰ時間」の無効パケット発生情報を収集する。また、ステップ２０４’において、ＧＯＰ開始パケット位置毎に、測定区間Ｔの時間幅の区間の各映像フレームの位置および種別を仮に定めるようにする。また、ステップ２０５’において、ＧＯＰ開始パケット位置毎に、測定区間Ｔの時間幅の区間の無効パケットがどの種類の映像フレームに属しているのかを判断する。また、ステップ２０６’において、ＧＯＰ開始パケット位置毎に、測定区間Ｔの時間幅の区間内の無効フレーム数を算出する。

なお、上述した実施の形態では、測定区間Ｔを１０秒としたが、原理的には１ＧＯＰ時間以上あればよい。１ＧＯＰ時間が例えば０．５秒というように短い場合には、１ＧＯＰ時間に対して測定対象期間をかなり長くした方がよい。また、１ＧＯＰ時間が例えば８秒といように長い場合には、２ＧＯＰ時間以上とすることが望ましい。
また、上述した実施の形態では、先頭領域ＴＳを１０分割するようにしたが、１０分割に限られるものではなく、２分割以上であればよい。
また、上述した実施の形態では、双方向ユーザ端末２０における映像品質を推定する場合を例にとって説明したが、映像配信端末４０における映像品質も同様にして推定される。
また、図５，図６、図８，図９に示したフローチャートは一例であり、各種の変形が自在であることは言うまでもない。

本発明に係る映像品質推定装置を含む映像通信サービスシステムの一例を示すシステム構成図である。 この映像通信サービスシステムにおける映像品質推定装置の内部構成の要部を示すブロック図である。 映像品質推定モデル（無効フレーム率と映像品質との関係）の一例を示す図である。 ＧＯＰ内の総パケット数もしくは帯域と映像フレーム種類別構成パケット比率との関係を示す図である。 映像品質推定装置における映像品質の推定処理（実施の形態１（方式１））の過程を示すフローチャートである。 映像品質の推定処理（実施の形態１（方式１））における無効フレーム率期待値の算出処理の詳細を示すフローチャートである。 映像品質の推定処理（実施の形態１（方式１））における無効フレーム率期待値の算出処理を説明するためのタイムチャートである。 映像品質推定装置における映像品質の推定処理（実施の形態２（方式２））の過程を示すフローチャートである。 映像品質の推定処理（実施の形態２（方式２））における無効フレーム率期待値の算出処理の詳細を示すフローチャートである。 映像品質の推定処理（実施の形態２（方式２））における無効フレーム率期待値の算出処理を説明するためのタイムチャートである。 ＧＯＰ構成の一例（Ｍ＝３，Ｎ＝１５の場合）を示す図である。

符号の説明

１０…映像品質推定装置、１１…映像符号化情報収集部、１２…無効パケット発生情報収集部、１３…映像フレーム種類別構成パケット比率算出部、１４…無効フレーム率期待値算出部、１５…映像品質推定モデルＤＢ、１６…映像品質推定部、Ｔ…測定区間（測定対象区間）、ＴＳ…先頭領域、Ｔｘ…算出対象区間、Ｐ１〜Ｐｎ…ＧＯＰ開始パケット位置。

Claims (7)

1. ネットワークを介する通信端末間の映像通信サービスにおける映像品質を推定する映像品質推定装置において、
   符号化された１群の映像フレームに対応する１構成単位時間中の映像フレームの構成情報を含む映像符号化情報を前記通信端末より収集する映像符号化情報収集手段と、
   映像品質の測定対象区間の始端から前記１構成単位時間幅の区間を先頭領域とし、この先頭領域をｎ分割（ｎ≧２）してｎ個の１構成単位時間の開始位置を仮に定める１構成単位時間開始位置決定手段と、
   前記ｎ個の１構成単位時間の開始位置毎に、前記映像符号化情報に基づいて、その開始位置以降の各映像フレームの位置および種別を仮に定める仮設定手段と、
   前記ネットワークおよび前記通信端末での無効パケットの発生情報を収集する無効パケット発生情報収集手段と、
   前記ｎ個の１構成単位時間の開始位置毎に、前記仮設定手段によって仮に定められた映像フレームの位置および種別に基づいて、その開始位置以降に発生した前記無効パケットがどの種別の映像フレームに属しているのかを判断し、その無効パケットが属する映像フレームおよびその映像フレームの影響を受けて劣化する映像フレームの数を無効フレーム数として算出する無効フレーム数算出手段と、
   前記ｎ個の１構成単位時間の開始位置毎に算出された無効フレーム数に基づいて前記測定対象区間内の映像品質を推定する映像品質推定手段と
   を備えることを特徴とする映像品質推定装置。
2. 請求項１に記載された映像品質推定装置において、
   前記無効フレーム数算出手段は、
   前記１構成単位時間の開始位置毎に、その開始位置から前記測定対象区間の終端までの区間を算出対象区間とし、この算出対象区間内の無効フレーム数を算出する
   ことを特徴とする映像品質推定装置。
3. 請求項１に記載された映像品質推定装置において、
   前記無効フレーム数算出手段は、
   前記ｎ個の１構成単位時間の開始位置毎に、その開始位置から前記測定対象区間の時間幅の区間を算出対象区間とし、この算出対象区間内の無効フレーム数を算出する
   ことを特徴とする映像品質推定装置。
4. 請求項１〜３の何れか１項に記載された映像品質推定装置において、
   前記仮設定手段は、
   １構成単位時間内の総パケット数に対する映像フレームの種別毎の総パケット数の比率を映像フレーム種類別構成パケット比率として求め、その１構成単位時間内の総パケット数、前記フレーム種類別構成パケット比率および前記１構成単位時間中の映像フレームの配列に基づいて、前記ｎ個の１構成単位時間の開始位置毎にそれ以降の各映像フレームの位置および種別を仮に定める
   ことを特徴とする映像品質推定装置。
5. 請求項１〜３の何れか１項に記載された映像品質推定装置において、
   前記映像品質推定手段は、
   前記ｎ個の１構成単位時間の開始位置毎に算出された無効フレーム数の平均値を無効フレーム数期待値とし、この無効フレーム数期待値の前記測定対象区間内の総送信フレーム数に対する割合を無効フレーム率期待値として求め、この無効フレーム率期待値を予め定められている無効フレーム率と映像品質との関係を示す映像品質推定モデルに代入して、前記測定対象区間内の映像品質の推定値を得る
   ことを特徴とする映像品質推定装置。
6. 請求項１〜３の何れか１項に記載された映像品質推定装置において、
   前記映像品質推定手段は、
   前記ｎ個の１構成単位時間の開始位置毎に算出された無効フレーム数の最大値を無効フレーム数期待値とし、この無効フレーム数期待値の前記測定対象区間内の総送信フレーム数に対する割合を無効フレーム率期待値として求め、この無効フレーム率期待値を予め定められている無効フレーム率と映像品質との関係を示す映像品質推定モデルに代入して、前記測定対象区間内の映像品質の推定値を得る
   ことを特徴とする映像品質推定装置。
7. ネットワークを介する通信端末間の映像通信サービスにおける映像品質を推定する映像品質推定方法において、
   符号化された１群の映像フレームに対応する１構成単位時間中の映像フレームの構成情報を含む映像符号化情報を前記通信端末より収集する第１ステップと、
   映像品質の測定対象区間の始端から前記１構成単位時間幅の区間を先頭領域とし、この先頭領域をｎ分割（ｎ≧２）してｎ個の１構成単位時間の開始位置を仮に定める第２ステップと、
   前記ｎ個の１構成単位時間の開始位置毎に、前記映像符号化情報に基づいて、その開始位置以降の各映像フレームの位置および種別を仮に定める第３ステップと、
   前記ネットワークおよび前記通信端末での無効パケットの発生情報を収集する第４ステップと、
   前記ｎ個の１構成単位時間の開始位置毎に、前記仮設定手段によって仮に定められた映像フレームの位置および種別に基づいて、その開始位置以降に発生した前記無効パケットがどの種別の映像フレームに属しているのかを判断し、その無効パケットが属する映像フレームおよびその映像フレームの影響を受けて劣化する映像フレームの数を無効フレーム数として算出する第５ステップと、
   前記ｎ個の１構成単位時間の開始位置毎に算出された無効フレーム数に基づいて前記測定対象区間内の映像品質を推定する第６ステップと
   を備えることを特徴とする映像品質推定装置。

Images