JP2006033722A - 映像品質管理方法および映像品質管理システム - Google Patents

Abstract

【課題】簡単な構成で、パケット損失時の映像品質推定の精度向上を図る。
【解決手段】ユーザ端末ＵＴへ送る映像パケット毎にそのパケットが属する高能率圧縮符号化時のフレーム種別（Ｉ、Ｐ、Ｂ）およびフレーム発生規則（ＧＯＰのパラメータ（Ｍ，Ｎ））を埋め込む。ユーザ端末ＵＴにおいて、損失パケット（ネットワークにおける損失パケット、端末における損失パケット）の生成番号から１映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末ＵＴにおいて復号される映像の主観品質を推定する。
【選択図】 図１

Description

この発明は、通信ネットワークを介する映像サービスの品質管理技術に関し、特に高能率圧縮符号化した映像信号をパケット列に変換しネットワークを介してユーザ端末へ送る際の映像品質管理方法および映像品質管理システムに関するものである。

近年、インターネット網など通信ネットワークが広帯域化する中、映像配信サービスやテレビ会議などの映像系のサービス（映像アプリケーション）が普及しつつある。これらの映像系のサービスでは、映像信号を高能率圧縮符号化し、パケット列に変換して、ユーザ端末へ送るようにしている。

例えば、フレーム間予測を用いずフレーム内で符号化処理を行うＩ（Intra Picture ）フレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うＰ（Predictive Picture）フレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行う（Bidirectionally Predictive Picture）Ｂフレームという３種類のフレームにより映像信号を高能率圧縮符号化し、この高能率圧縮符号化した映像信号をパケット列に変換し、ネットワークを介してユーザ端末へ送るようにしている。

この場合、例えば、ネットワークでパケット損失が生じると、ユーザ端末での復号に際し前後のフレーム情報を使うことから、１パケットの損失による映像品質の劣化が１映像フレームにとどまらず、複数の映像フレームに及ぶことがある。このような場合、次の映像フレームではパケット損失が生じていないにも拘わらず、復号された映像では品質劣化が生じており、ネットワーク上のパケット損失の発生状況（ネットワーク品質）と映像アプリケーションでの品質劣化の発生状況（アプリケーション品質）とは必ずしも一致しない。

そこで、特許文献１では、品質推定の精度向上を図るべく、動画符号の特定の一部の復号において、他の部分の復号値を参照する場合、この特定の一部の動画符号の復号値へ、他の部分の復号値の任意の異常が波及することを検出するようにし、映像フレーム毎に品質劣化の面積を算出するようにしている。

特開２０００−３４１６８８号公報（段落〔００４９〕、〔００８３〕〜〔００８９〕、〔０１１１〕などの記載参照）

しかしながら、上述した特許文献１に示された技術では、復号器において、パケットの動画符号の状況を細かく追う必要があり、構成が複雑となる。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、簡単な構成で、品質推定の精度向上を図ることができる映像品質管理方法および映像品質管理システムを提供することにある。

このような目的を達成するために本発明は、映像信号を高能率圧縮符号化する第１ステップと、高能率圧縮符号化された映像信号をパケット列に変換する第２ステップと、パケット列に変換された映像信号をネットワークを介してユーザ端末に送る第３ステップと、ネットワークおよびユーザ端末における損失パケットを検出する第４ステップと、損失パケットを特定する情報、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいてユーザ端末において復号される映像の品質を推定する第５ステップとを設けたものである。

この発明では、ネットワークやユーザ端末における損失パケットを特定する情報（例えば、損失パケットの生成番号）、損失パケットが属する高能率圧縮符号化時のフレーム種別（例えば、Ｉフレーム，Ｐフレーム，Ｂフレーム）およびフレーム発生規則（例えば、ＧＯＰ（Group of pictures ）のパラメータ：Ｉピクチャの繰り返し周期Ｎ、およびＰまたはＩの繰り返し周期Ｍ）に基づいて、ユーザ端末において復号される映像の品質（ユーザの体感品質に対応した品質（主観品質））が推定される。

例えば、損失パケットを特定する情報から１映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質を推定する。この場合、１映像フレーム内の品質劣化の度合いは、損失パケットを特定する情報から１映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と１映像フレームの平均情報量から推定することが可能である。また、１映像フレームを構成する全映像パケット数に対する損失パケットの割合として求めることも可能である。また、映像品質劣化の継続時間長は、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から推定することが可能である。

この発明において、損失パケットを特定する情報は、例えば損失パケットの生成番号である。この損失パケットの生成番号は、ネットワーク内で廃棄されたパケットの場合、そのパケットの生成番号としてネットワーク内で知ることができる。また、ネットワーク内で消失したパケットの場合、そのパケットの前後のパケットの生成番号から知ることができる。また、ユーザ端末内で廃棄されるパケットの場合、そのパケットの生成番号としてユーザ端末内で知ることができる。また、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則は、例えば次のような方式で知ることが可能である。

(１)方式１
ユーザ端末へ送るパケット（映像パケット）毎にそのパケットが属する高能率圧縮符号化時のフレーム種別（Ｉ、Ｐ、Ｂ）およびフレーム発生規則（ＧＯＰのパラメータ（Ｍ，Ｎ））埋め込む。この方式１では、ユーザ端末において、損失パケットに埋め込まれたフレーム種別およびフレーム発生規則から直接、あるいは損失パケットの前後の映像パケットに埋め込まれたフレーム種別およびフレーム発生規則から間接的に、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。

（２）方式２
ユーザ端末へ送るパケット（映像パケット）毎にそのパケットを特定する情報（パケットの生成番号）、そのパケットが属する高能率圧縮符号化時のフレーム種別（Ｉ、Ｐ、Ｂ）およびフレーム発生規則（ＧＯＰのパラメータ（Ｍ，Ｎ））を記したテーブルを制御パケットに埋め込み、ネットワークを介してユーザ端末に送る。この方式２では、ユーザ端末において、ネットワークを介して送られてくる制御パケットに埋め込まれたテーブルを参照することにより、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。

（３）方式３
ユーザ端末へ送るパケット（映像パケット）毎にそのパケットを特定する情報（パケットの生成番号）、そのパケットが属する高能率圧縮符号化時のフレーム種別（Ｉ、Ｐ、Ｂ）およびフレーム発生規則（ＧＯＰのパラメータ（Ｍ，Ｎ））を記したテーブルを映像パケットの送信元の端末に記憶させる。損失パケットを特定する情報を埋め込んだ制御パケットをユーザ端末からネットワークを介して送信元の端末に送る。この方式３では、映像パケットの送信元の端末において、その送信元の端末に記憶されたテーブルを参照することにより、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。

なお、本発明において、ネットワークにおける損失パケットは、ネットワーク内で廃棄されたり消失した映像パケットとして検出することが可能である。また、ユーザ端末における損失パケットは、ユーザ端末に到着したにも拘わらず、ユーザ端末のゆらぎ吸収バッファにおいて廃棄された映像パケットとして検出することが可能である。

また、本発明は、上述した方法を適用した映像品質管理システムとしても実現することができる。この場合、品質推定手段は、ユーザ端末に設けてもよいし、ネットワークに接続された管理端末に設けてもよい。また、映像パケットの送信元の端末に設けてもよい。管理端末に設ける場合には、ユーザ端末からネットワークを介して管理端末へ、損失パケットを特定する情報、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込んだ制御パケットを送るようにすればよい。送信元の端末に設ける場合には、例えば上述した方式３を採用し、損失パケットを特定する情報を埋め込んだ制御パケットをユーザ端末からネットワークを介して送信元の端末に送るようにすればよい。

本発明によれば、ネットワークやユーザ端末における損失パケットを特定する情報、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいて、ユーザ端末において復号される映像の主観品質が推定されるものとなり、簡単な構成で、品質推定の精度向上を図ることができるようになる。

以下、本発明を図面に基づいて詳細に説明する。
〔実施の形態１〕
図１は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの一例（実施の形態１）を示すブロック構成図である。

同図において、１はカメラや録画映像の再生装置などの映像入力装置、２は映像入力装置１からの映像信号を高能率圧縮符号化しパケット列に変換する映像符号化装置、３は映像符号化装置２から送られてくるパケット列に変換された映像信号をネットワーク（インターネット網）４を介してユーザ端末ＵＴへ配信する映像配信サーバ、５は映像品質を管理する映像品質管理装置である。

このシステムにおいて、映像配信サーバ３は配信端末ＤＴに設けられ、映像品質管理装置５は管理端末ＣＴに設けられ、配信端末ＤＴとユーザ端末ＵＴと管理端末ＣＴとはネットワーク４を介して相互に接続されている。ユーザ端末ＵＴは、復号装置６と、品質情報通信装置７と、映像品質推定装置８とを備えている。

図２に映像符号化装置２の概略構成を示す。映像符号化装置２は、高能率圧縮符号化部２１と、パケット変換部２２と、情報埋込部２３とを備えている。高能率圧縮符号化部２１は、映像入力装置１からの映像信号をＩフレーム、Ｐフレーム、Ｂフレームにより高能率圧縮符号化する。これら３種類のフレームは、規則性をもって生成され、符号化される。パケット変換部２２は、高能率圧縮符号化部２１により高能率圧縮符号化された映像信号をパケット列（パケットＰ１，Ｐ２，Ｐ３・・・・）に変換し、情報埋込部２３へ送る。

情報埋込部２３は、パケット変換部２２からのパケット（映像パケット）Ｐのそれぞれのヘッダ内のＴＯＳビットもしくはペイロード内に、その映像パケットＰが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。この実施の形態では、高能率圧縮符号化時のフレーム種別としてＩフレーム、Ｐフレーム、Ｂフレームの種別（Ｉ，Ｐ，Ｂ）を、フレーム発生規則としてＩフレーム、Ｐフレーム、Ｂフレームの発生規則であるＧＯＰのパラメータを埋め込む。具体的には、Ｉピクチャの繰り返し周期Ｎ、およびＰまたはＩの繰り返し周期Ｍを映像パケットＰに埋め込む。

なお、映像パケットＰのヘッダ内には、その映像パケットＰを特定する情報として、その映像パケットＰの生成番号が書き込まれることは言うまでもない。また、この実施の形態では、パケット変換部２２の後段に情報埋込部２３を設けたが、パケット変換部２２の前段に情報埋込部２３を設けるようにしてもよい。すなわち、高能率圧縮符号化に際する各フレームの符号化データにフレーム種別やフレーム発生規則を付すことにより、各映像パケットにフレーム種別やフレーム発生規則が埋め込まれるようにしてもよい。

情報埋込部２３からの高能率圧縮符号化時のフレーム種別およびフレーム発生規則が埋め込まれた映像パケットＰは映像配信サーバ３へ送られる。映像配信サーバ３は映像符号化装置２からの映像パケットＰをネットワーク４を介してユーザ端末ＵＴへ送る。ユーザ端末ＵＴは映像配信サーバ３からの映像パケットＰを復号装置６において受信する。復号装置６は、映像配信サーバ３からの映像パケットＰを次々に受信し、その映像パケットＰのデータを復号して行く。

図３に復号装置６の内部構成の概略を示す。復号装置６にはゆらぎ吸収バッファ６１とパケット復号部６２と遅着パケット情報出力部６３が設けられている。ゆらぎ吸収バッファ６１は、遅着パケットを廃棄しながら、入力される映像パケットＰを取り込む。例えば、映像パケットＰがＰ１，Ｐ２，Ｐ３の順で入力された場合、映像パケットＰ３の入力タイミングが所定のタイミングよりも遅れて入力されると、この映像パケットＰ３を遅着パケットとして廃棄する。正常なタイミングで入力された映像パケットＰ１，Ｐ２は取り込む。

廃棄された映像パケットＰは遅着パケット情報出力部６３へ送られる。遅着パケット情報出力部６３は、廃棄された映像パケットＰの生成番号、廃棄された映像パケットＰに埋め込まれている高能率圧縮符号化時のフレーム種別およびフレーム発生規則を端末における損失パケット情報として品質情報通信装置７へ送る。

ゆらぎ吸収バッファ６１に取り込まれた映像パケットＰはパケット復号部６２に送られる。パケット復号部６２は、ゆらぎ吸収バッファ６１からの映像パケットＰを次々に受信し、その映像パケットＰのデータを復号して行く。この際、パケット復号部６２は、パケット損失により映像劣化となるフレームを検出し、そのフレーム情報を品質情報通信装置７へ送る。

品質情報通信装置７にはネットワークにおける損失パケット情報も与えられる。この場合、ネットワーク４内で廃棄されたパケットが損失パケットとされ、その損失パケットの生成番号、その損失パケットに埋め込まれている高能率圧縮符号化時のフレーム種別およびフレーム発生規則が品質情報通信装置７へ与えられる。また、ネットワーク４内で消失したパケットが損失パケットとされ、その損失パケットの前後のパケットの生成番号から推測される損失パケットの生成番号、その損失パケットの前後のパケットに埋め込まれている高能率圧縮符号化時のフレーム種別およびフレーム発生規則から推測される損失パケットの高能率圧縮符号化時のフレーム種別およびフレーム発生規則が品質情報通信装置７へ与えられる。

品質情報通信装置７は、パケット復号部６２からの映像劣化となるフレーム情報と損失パケットとを対応づけ、復号装置６およびネットワーク４からの損失パケット情報（損失パケットの生成番号、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則）を品質推定装置８へ送る。図５にユーザ端末ＵＴ内の情報の流れを示す。

映像品質推定装置８は損失パケット情報収集部８１と劣化範囲推定部８２と主観品質データベース８３と主観品質推定部８４とを備えている。品質情報通信装置７からの損失パケット情報は損失パケット情報収集部８１へ与えられる。損失パケット情報収集部８１は、品質情報通信装置７からの損失パケット情報のうち損失パケットの生成番号を劣化範囲推定部８２の劣化度合推定手段８２１へ送り、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を劣化継続時間長推定手段８２２へ送る。

劣化度合推定手段８２１は、損失パケットの生成番号から１映像フレーム内の品質劣化の度合いを推定する。例えば、損失パケットの生成番号から１映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と１映像フレームの平均情報量から１映像フレーム内の品質劣化の度合いを推定する。また、１映像フレームを構成する全映像パケット数に対する損失パケットの割合として求めるなどしてもよい。この場合、例えば、１映像フレームを構成する全映像パケット数が６０パケット、損失パケットが２０パケットであった場合、劣化度合いは２０／６０＝１／３として求める。この劣化度合いにより、主観品質への影響が異なり、この劣化度合いと劣化現象との関係を予め実験で求めておき、設定しておくようにしてもよい。例えば、Ｉフレームについて、劣化度合いが１％まではブロック歪み、１０％以上ならば映像停止（フリーズ）、Ｐフレームについて、劣化度合いが２０％まではブロック歪み、２０％以上ならば映像停止（フリーズ）、Ｂフレームについて、劣化度合いが３０％まではブロック歪み、２０％以上ならば映像停止（フリーズ）というように設定しておくようにしてもよい。

劣化継続時間長推定手段８２２は、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定する。例えば、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から映像品質劣化の継続時間長を推定する。

劣化範囲推定部８２において推定された１映像フレーム内の品質劣化の度合いおよび映像品質劣化の継続時間長は主観品質推定部８４へ送られる。なお、主観品質推定部８４には、図示してはいないが、コンテンツの内容や帯域などの原画情報も与えられる。この原画情報は、予めユーザ端末ＵＴ内に設定しておくようにしてもよく、配信端末ＤＴからユーザ端末ＵＴへ送る制御パケットに挿入するなどして提供するようにしてもよい。また、主観品質データベース８３には、予め実験などで得られた品質劣化の度合い、品質劣化の継続時間長および原画情報をパラメータとした主観品質の値が格納されている。

主観品質推定部８４は、劣化範囲推定部８２より送られてくる１映像フレーム内の品質劣化の度合いおよび映像品質劣化の継続時間長と上述した原画情報とに基づいて、それに対応する主観品質の値を主観品質データベース８３より得る。主観品質推定部８４は、主観品質データベース８３より取得した主観品質の値（主観品質の推定値）を品質情報通信装置７へ送る。品質情報通信装置７は、主観品質推定部８４からの主観品質の推定値を制御パケットに埋め込み、この主観品質の推定値が埋め込まれた制御パケットをネットワーク４を介し、管理端末ＣＴの映像品質管理装置５へ送る。

なお、この実施の形態において、配信端末ＤＴとユーザ端末ＵＴとの間の制御パケットやユーザ端末ＵＴと管理端末ＣＴとの間の制御パケットなどにはＲＴＣＰ（RTP Control Protocol）が用いられ、これら制御パケットはＲＴＰ（Real-time Transport Protocol）に基づいて送受信される。

映像品質管理装置５には、図４に示すように、映像品質管理目標値テーブル５１と映像品質判定部５２が設けられている。映像品質判定部５２は、ユーザ端末ＵＴから主観品質の推定値が埋め込まれた制御パケットが送られてくると、この制御パケットから主観品質の推定値を抽出する。そして、抽出した主観品質の推定値に対応する映像品質管理目標値を映像品質管理目標値テーブル５１より取り出し、両者を比較することによって映像品質の劣化を判定し、その判定結果に応じた品質管理のアクションをとる。

なお、この実施の形態では、ユーザ端末ＵＴへ送る映像パケット毎にその映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込むようにしたが、ユーザ端末ＵＴへ送る映像パケット毎にその映像パケットの生成番号、その映像パケットＰが属する高能率圧縮符号化時のフレーム種別（Ｉ、Ｐ、Ｂ）およびフレーム発生規則（ＧＯＰのパラメータ（Ｍ，Ｎ））を記したテーブル（パケット情報テーブル）を制御パケットに埋め込み、ネットワーク４を介してユーザ端末ＵＴに送るようにしてもよい。この場合、ユーザ端末ＵＴでは、ネットワーク４を介して送られてくる制御パケットに埋め込まれたテーブルを参照することにより、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。

〔実施の形態２〕
図６は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例（実施の形態２）を示すブロック構成図である。実施の形態１ではユーザ端末ＵＴに映像品質推定装置８を設けていたが、実施の形態２では管理端末ＣＴに映像品質推定装置８を設けている。このようにすると、ユーザ端末ＵＴでの処理負担を軽減することができる。また、映像品質推定装置８を管理端末ＣＴに設けることにより、主観品質の推定結果をネットワーク品質管理にすぐに役立てることができる。

図７に管理端末ＣＴ内の情報の流れを示す。この場合、ユーザ端末ＵＴからネットワーク４を介して管理端末ＣＴへ、損失パケットの生成番号、損失パケットが属する高能率圧縮符号化時のフレーム種別（Ｉ、Ｐ、Ｂ）およびフレーム発生規則（ＧＯＰのパラメータ（Ｍ，Ｎ））を埋め込んだ制御パケットを送るようにする。これにより、実施の形態１と同様にして、映像品質推定装置８において主観品質の推定値が求められる。また、映像品質管理装置５において、映像品質の劣化の判定が行われる。この実施の形態２では、映像品質推定装置８と映像品質管理装置５とが同一の管理装置ＣＴ内に設けられるので、制御パケットによる情報の遣り取りは発生しない。

〔実施の形態３〕
図８は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例（実施の形態３）を示すブロック構成図である。実施の形態１ではユーザ端末ＵＴに映像品質推定装置８を設け、管理端末ＣＴに映像品質管理装置５を設けていたが、実施の形態３では映像品質推定装置８および映像品質管理装置５を配信端末ＤＴに設けている。この構成例はサーバでの個別ユーザ管理に有用である。

図９に配信端末ＤＴ内の情報の流れを示す。この場合、配信端末ＤＴでは、ユーザ端末ＵＴへの映像パケット毎にその映像パケットの生成番号、その映像パケットが属する高能率圧縮符号化時のフレーム種別（Ｉ、Ｐ、Ｂ）およびフレーム発生規則（ＧＯＰのパラメータ（Ｍ，Ｎ））を記したパケット情報テーブルＴＢ１を作成し、メモリへ記憶させておく。また、損失パケットの生成番号を埋め込んだ制御パケットをユーザ端末ＵＴからネットワーク４を介して配信端末ＤＴに送るようにする。

配信端末ＤＴにおいて、損失パケット情報収集部８１は、ユーザ端末ＵＴから送られてくる損失パケットの生成番号が埋め込まれた制御パケットを受信すると、その制御パケットから損失パケットの生成番号を抽出し、劣化度合推定手段８２１へ送る。また、抽出した損失パケットの生成番号を検索キーとしてパケット情報テーブルＴＢ１にアクセスし、その損失パケットの高能率圧縮符号化時のフレーム種別およびフレーム発生規則を取得し、劣化継続時間長推定手段８２２へ送る。これにより、実施の形態１と同様にして、映像品質推定装置８において主観品質の推定値が求められる。また、映像品質管理装置５において、映像品質の劣化の判定が行われる。

〔実施の形態４〕
図１０は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例（実施の形態４）を示すブロック構成図である。この実施の形態４は、テレビ会議のような双方向映像通信サービスの品質管理を行う場合の構成例であり、ネットワーク４にはユーザ端末ＵＴ１，ＵＴ２が接続されている。

ユーザ端末ＵＴ１は、映像符号化装置２−１と復号装置６−１と品質情報通信装置７−１と映像品質推定装置８−１とを有している。ユーザ端末ＵＴ２もユーザ端末ＵＴ１と同様に、映像符号化装置２−２と復号装置６−２と品質情報通信装置７−２と映像品質推定装置８−２とを有している。

映像符号化装置２−１は、ユーザ端末ＵＴ２へ送る映像パケットに、その映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。映像符号化装置２−２は、ユーザ端末ＵＴ１へ送る映像パケットに、その映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。

映像品質推定装置８−１は、図１に示した映像品質推定装置８と同様にして主観品質の推定値を求め、この主観品質の推定値を埋め込んだ制御パケットを品質情報通信装置７−１を介して管理装置ＣＴ内の映像品質管理装置５に送る。映像品質推定装置８−２も、映像品質推定装置８−１と同様にして主観品質の推定値を求め、この主観品質の推定値を埋め込んだ制御パケットを管理装置ＣＴ内の映像品質管理装置５に送る。

なお、上述した実施の形態１〜４では、映像品質管理装置５を管理端末ＣＴや配信端末ＤＴに設けるようにしたが、ユーザ端末ＵＴに組み込むようにしてもよい。映像品質管理装置５をユーザ端末ＵＴに組み込むようにすると、苦情時のユーザ端末の品質把握に素早く対応することが可能となる。

以上の説明から明らかなように、本実施の形態の映像品質管理システムによれば、損失パケットの生成番号から１映像フレーム内の品質劣化の度合いが推定され、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長が推定され、この推定された映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質が推定されるものとなり、簡単な構成で、品質推定の精度向上を図ることができるようになる。

また、本実施の形態の映像品質管理システムによれば、ネットワークにおける損失パケットだけではなく、ユーザ端末で生じるゆらぎ吸収バッファによるパケット廃棄の情報を復号装置で出力することにより、パケットとして廃棄される全ての品質情報を得ることができ、正確なパケット品質が把握できるようになる。これらの品質情報を制御パケットに搭載してリアルタイムで遣り取りすることにより、任意の場所における品質管理がリアルタイムかつユーザ毎に高精度に品質推定できることで高度な映像品質管理が可能となる。

本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの一例（実施の形態１）を示すブロック構成図である。 この映像品質管理システムにおける映像符号化装置の概略構成を示す図である。 この映像品質管理システムにおける復号装置の概略構成を示す図である。 この映像品質管理システムにおける映像品質管理装置の概略構成を示す図である。 この映像品質管理システムにおけるユーザ端末内の情報の流れを示す図である。 本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例（実施の形態２）を示すブロック構成図である。 この映像品質管理システムにおける管理端末内の情報の流れを示す図である。 本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例（実施の形態３）を示すブロック構成図である。 この映像品質管理システムにおける配信端末内の情報の流れを示す図である。 本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例（実施の形態４）を示すブロック構成図である。

符号の説明

１…映像入力装置、２…映像符号化装置、２１…高能率圧縮符号化部、２２…パケット変換部、２３…情報埋込部、３…映像配信サーバ、４…ネットワーク（インターネット網）、５…映像品質管理装置、５１…映像品質管理目標値テーブル、５２…映像品質判定部、６…復号装置、６１…ゆらぎ吸収バッファ、６２…パケット復号部、６３…遅着パケット情報出力部、７…品質情報通信装置、８…映像品質推定装置、８１…損失パケット情報収集部、８２…劣化範囲推定部、８２１…劣化度合推定手段、８２２…劣化継続時間長推定手段、８３…主観品質データベース、８４…主観品質推定部、ＴＢ１…パケット情報テーブル、ＵＴ…ユーザ端末、ＣＴ…管理端末、ＤＴ…配信装置、Ｐ（Ｐ１，Ｐ２，Ｐ３）…映像パケット、ＵＴ１，ＵＴ２…ユーザ端末、２−１，２−２…映像復号化装置、６−１，６−２…復号装置、７−１，７−２…品質情報通信装置、８−１，８−２…映像品質推定装置。

Claims (19)

1. 映像信号を高能率圧縮符号化する第１ステップと、
   前記高能率圧縮符号化された映像信号をパケット列に変換する第２ステップと、
   前記パケット列に変換された映像信号をネットワークを介してユーザ端末に送る第３ステップと、
   前記ネットワークおよび前記ユーザ端末における損失パケットを検出する第４ステップと、
   前記損失パケットを特定する情報、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいて前記ユーザ端末において復号される映像の品質を推定する第５ステップと
   を備えることを特徴とする映像品質管理方法。
2. 請求項１に記載された映像品質管理方法において、
   前記ユーザ端末へ送るパケット毎にそのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込むステップ
   を備えることを特徴とする映像品質管理方法。
3. 請求項１に記載された映像品質管理方法において、
   前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを制御パケットに埋め込み、前記ネットワークを介して前記ユーザ端末に送るステップ
   を備えることを特徴とする映像品質管理方法。
4. 請求項１に記載された映像品質管理方法において、
   前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを前記パケットの送信元の端末に記憶させるステップと、
   前記損失パケットを特定する情報を埋め込んだ制御パケットを前記ユーザ端末から前記ネットワークを介して前記パケットの送信元の端末に送るステップと
   を備えることを特徴とする映像品質管理方法。
5. 請求項１〜４の何れか１項に記載された映像品質管理方法において、
   前記第５ステップは、
   前記損失パケットを特定する情報から１映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
   ことを特徴とする映像品質管理方法。
6. 請求項１〜４の何れか１項に記載された映像品質管理方法において、
   前記第５ステップは、前記損失パケットを特定する情報から１映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と１映像フレームの平均情報量から１映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
   ことを特徴とする映像品質管理方法。
7. 請求項１〜６の何れか１項に記載された映像品質管理方法において、
   前記第４ステップは、
   前記ユーザ端末のゆらぎ吸収バッファにおいて廃棄されたパケットを前記ユーザ端末における損失パケットとして検出する
   ことを特徴とする映像品質管理方法。
8. 請求項１〜７の何れか１項に記載された映像品質管理方法において、
   前記高能率圧縮符号化時のフレーム種別は、
   フレーム間予測を用いずフレーム内で符号化処理を行うＩフレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うＰフレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行うＢフレームの３種類であり、
   前記フレーム発生規則は、
   前記Ｉフレーム、Ｐフレーム、Ｂフレームの発生規則である
   ことを特徴とする映像品質管理方法。
9. 映像信号を高能率圧縮符号化する高能率圧縮符号化手段と、
   前記高能率圧縮符号化された映像信号をパケット列に変換するパケット変換手段と、
   前記パケット列に変換された映像信号をネットワークを介してユーザ端末に送る送信手段と、
   前記ネットワークおよび前記ユーザ端末における損失パケットを検出する損失パケット検出手段と、
   前記損失パケットを特定する情報、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいて前記ユーザ端末において復号される映像の品質を推定する品質推定手段と
   を備えることを特徴とする映像品質管理システム。
10. 請求項９に記載された映像品質管理システムにおいて、
    前記ユーザ端末へ送るパケット毎にそのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む手段
    を備えることを特徴とする映像品質管理システム。
11. 請求項９に記載された映像品質管理システムにおいて、
    前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを制御パケットに埋め込み、前記ネットワークを介して前記ユーザ端末に送る手段
    を備えることを特徴とする映像品質管理システム。
12. 請求項９に記載された映像品質管理システムにおいて、
    前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを前記パケットの送信元の端末に記憶させる手段と、
    前記損失パケットを特定する情報を埋め込んだ制御パケットを前記ユーザ端末から前記ネットワークを介して前記パケットの送信元の端末に送る手段と
    を備えることを特徴とする映像品質管理システム。
13. 請求項９〜１２の何れか１項に記載された映像品質管理システムにおいて、
    前記品質推定手段は、
    前記損失パケットを特定する情報から１映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
    ことを特徴とする映像品質管理システム。
14. 請求項９〜１２の何れか１項に記載された映像品質管理システムにおいて、
    前記品質推定手段は、
    前記損失パケットを特定する情報から１映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と１映像フレームの平均情報量から１映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
    ことを特徴とする映像品質管理システム。
15. 請求項９〜１４の何れか１項に記載された映像品質管理システムにおいて、
    前記損失パケット検出手段は、
    前記ユーザ端末のゆらぎ吸収バッファにおいて廃棄されたパケットを前記ユーザ端末における損失パケットとして検出する
    ことを特徴とする映像品質管理システム。
16. 請求項９〜１５の何れか１項に記載された映像品質管理システムにおいて、
    前記高能率圧縮符号化時のフレーム種別は、
    フレーム間予測を用いずフレーム内で符号化処理を行うＩフレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うＰフレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行うＢフレームの３種類であり、
    前記フレーム発生規則は、
    前記Ｉフレーム、Ｐフレーム、Ｂフレームの発生規則である
    ことを特徴とする映像品質管理システム。
17. 請求項９に記載された映像品質管理システムにおいて、
    前記品質推定手段は、前記ユーザ端末に設けられていることを特徴とする映像品質管理システム。
18. 請求項９に記載された映像品質管理システムにおいて、
    前記品質推定手段は、前記ネットワークに接続された管理端末に設けられていることを特徴とする映像品質管理システム。
19. 請求項９に記載された映像品質管理システムにおいて、
    前記品質推定手段は、前記ネットワークに接続された前記パケットの送信元の端末に設けられていることを特徴とする映像品質管理システム。
    

Images