JP2006157668A - 映像品質測定装置および映像品質測定方法ならびにそのプログラム - Google Patents

Abstract

【課題】 そこでこの発明は、ユーザ側の端末で入手できるビットストリームの解析結果に基づいて、精度良く通信ネットワークを介して配信される映像の品質を評価できる、映像品質測定装置を提供する。
【解決手段】 受信した映像データのビットストリームを部分デコードする部分デコード処理部１０１と、部分デコードによって得られた各フレームのエラーコンディション値を算出し、前記エラーコンディション値から推定評価値を算出する映像品質測定処理部１０２とを備える。
【選択図】 図１

Description

本発明は、映像がエンコードされた後、通信ネットワークなどを介して転送された該映像のビットストリームのデコード情報に基づいて、デコード後の映像の品質を推定する、映像品質測定装置および映像品質測定方法ならびにそのプログラムに関する。

インターネットなどの通信ネットワーク回線にエンコードした映像のビットストリームを送信して、映像を配信するサービスが近年多くなっている。この映像配信サービスにおいて、映像の品質の評価を行う技術が非特許文献１に公開されている。この技術においては、評価する映像と原画像とを比較することで映像の品質を測定する技術である。
ITU-T Recommendation J.144，"Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference，"2000.

しかしながら、通常、通信ネットワークを介して配信される際にクライアント側の端末が原画像を保持していることはありえないので、インターネットにおいてユーザ側の端末に原画像を保持させることは現実的ではない。したがって原画像と最終的に再生される映像とを比較することによる評価方法は、映像配信時の評価方法としては適切ではない。

そこでこの発明は、そこでこの発明は、ユーザ側の端末で入手できるビットストリームの解析結果に基づいて、原画像のデータを用いることなく精度良く通信ネットワークを介して配信される映像の品質を評価できる、映像品質測定装置および映像品質測定方法ならびにそのプログラムを提供することを目的としている。

本発明は、上述の課題を解決すべくなされたもので、受信した映像データのビットストリームを部分デコードする部分デコード手段と、前記部分デコードによって得られた各フレームのエラーコンディション値を算出するエラーコンディション値算出手段と、前記エラーコンディション値から推定評価値を算出する推定評価値算出手段と、を備えることを特徴とする映像品質測定装置である。

また本発明は、上述の映像品質測定装置において、前記エラーコンディション値算出手段は、エラーを検出したマクロブロックがＩフレームのマクロブロックでない場合には、当該マクロブロックを中心とした範囲に対応する、直前および直後のＩフレーム内の範囲に重なる各マクロブロックのデコード情報に基づいて、該エラーを検出したマクロブロックのエラーコンディション値を算出し、前記エラーを検出したマクロブロックがＩフレームのマクロブロックである場合には、当該Ｉフレームのマクロブロックを中心とした範囲の各マクロブロックと当該範囲に対応する直前のＩフレーム内の範囲に重なる各マクロブロックのデコード情報に基づいて、該エラーを検出したマクロブロックのエラーコンディション値を算出し、前記エラーを検出しなかったイントラマクロブロックのエラーコンディション値を０とし、前記エラーを検出しなかったインターマクロブロックのエラーコンディション値は、当該インターマクロブロックの参照先のフレームにおける、前記インターマクロブロックのフレーム内の参照範囲に重なる各マクロブロックの面積割合に基づいて算出し、前記フレームのエラーコンディション値を、該フレーム内のすべてのマクロブロックについて算出されたエラーコンディション値の平均により算出することを特徴とする。

また本発明は、上述の映像品質測定装置において、推定評価値算出手段は、算出された前記フレームのエラーコンディション値の値に基づいて、所定の推定値算出式を用いて１〜５の値を示す前記映像データの品質を示す推定評価値を算出することを特徴とする。

また本発明は、映像品質測定装置における映像品質測定方法であって、前記映像品質測定装置の部分デコード手段が、受信した映像データのビットストリームを部分デコードし、前記映像品質測定装置のエラーコンディション値算出手段が、前記部分デコードによって得られた各フレームのエラーコンディション値を算出し、前記映像品質測定装置の推定評価値算出手段が、前記エラーコンディション値から推定評価値を算出することを特徴とする映像品質測定方法である。

また本発明は、上述の映像品質測定方法は、前記エラーコンディション値算出手段において、エラーを検出したマクロブロックがＩフレームのマクロブロックでない場合には、当該マクロブロックを中心とした範囲に対応する、直前および直後のＩフレーム内の範囲に重なる各マクロブロックのデコード情報に基づいて、該エラーを検出したマクロブロックのエラーコンディション値を算出し、前記エラーを検出したマクロブロックがＩフレームのマクロブロックである場合には、当該Ｉフレームのマクロブロックを中心とした範囲の各マクロブロックと当該範囲に対応する直前のＩフレーム内の範囲に重なる各マクロブロックのデコード情報に基づいて、該エラーを検出したマクロブロックのエラーコンディション値を算出し、前記エラーを検出しなかったイントラマクロブロックのエラーコンディション値を０とし、前記エラーを検出しなかったインターマクロブロックのエラーコンディション値は、当該インターマクロブロックの参照先のフレームにおける、前記インターマクロブロックのフレーム内の参照範囲に重なる各マクロブロックの面積割合に基づいて算出し、前記フレームのエラーコンディション値を、該フレーム内のすべてのマクロブロックについて算出されたエラーコンディション値の平均により算出することを特徴とする。

また本発明は、上述の映像品質測定方法は、推定評価値算出手段において、算出された前記フレームのエラーコンディション値の値に基づいて、所定の推定値算出式を用いて１〜５の値を示す前記映像データの品質を示す推定評価値を算出することを特徴とする。

また本発明は、映像品質測定装置のコンピュータに実行させるプログラムであって、受信した映像データのビットストリームを部分デコードする処理と、前記部分デコードにおいてエラーを検出したマクロブロックがＩフレームのマクロブロックでない場合に、当該マクロブロックを中心とした範囲に対応する、直前および直後のＩフレーム内の範囲に重なる各マクロブロックのデコード情報に基づいて、該エラーを検出したマクロブロックのエラーコンディション値を算出する処理と、前記部分デコードにおいて前記エラーを検出したマクロブロックがＩフレームのマクロブロックである場合に、当該Ｉフレームのマクロブロックを中心とした範囲の各マクロブロックと当該範囲に対応する直前のＩフレーム内の範囲に重なる各マクロブロックのデコード情報に基づいて、該エラーを検出したマクロブロックのエラーコンディション値を算出する処理と、前記部分デコードにおいて前記エラーを検出しなかったイントラマクロブロックのエラーコンディション値を０と決定する処理と、前記部分デコードにおいて前記エラーを検出しなかったインターマクロブロックのエラーコンディション値を、当該インターマクロブロックの参照先のフレームにおける、前記インターマクロブロックのフレーム内の参照範囲に重なる各マクロブロックの面積割合に基づいて算出する処理と、前記フレームのエラーコンディション値を、該フレーム内のすべてのマクロブロックについて算出されたエラーコンディション値の平均により算出する処理と、算出された前記フレームのエラーコンディション値の値に基づいて、所定の推定値算出式を用いて１〜５の値を示す前記映像データの品質を示す推定評価値を算出する処理と、をコンピュータに実行させるプログラムである。

本発明によれば、原画像を用いることなく、送信されてきたビットストリームをデコードしてその際に得られたデコード情報から推定を行っているので、原画像やそのパラメータがなくとも映像品質を推定することができる。またデコード処理が部分デコードで済むために処理負荷を軽減することができる。

以下、本発明の一実施形態による映像品質測定装置を図面を参照して説明する。図１は本実施形態による映像品質測定装置の構成を示すブロック図である。この図において、符号１は映像品質測定装置である。そして映像品質測定装置１において、符号１０１は通信ネットワークを介して送られてきた映像のビットストリームを用いて部分デコードの処理を行う部分デコード処理部である。また１０２は部分デコード処理部１０１においてデコードされた映像の推定評価値を算出する映像品質測定処理部である。

本実施形態における映像品質測定装置１は、通信ネットワークを介して接続されたサーバなどの他のコンピュータのエンコーダでエンコードされた映像を受信し、デコードした映像の品質を測定するために、後述する推定評価値を算出する処理を行う。

図２は部分デコード処理部の機能概要を示す図である。
部分デコード処理部１０１は、映像のビットストリームを受信バッファに蓄積していき、ＶＬＣデコーダ（可変長符号デコーダ）において、各種デコード情報を取り出す。部分デコードとは、デコード処理において、図２の機能ブロック図においてＶＬＣデコーダが処理行うまでのデコード処理のことを言う。ここでデコード情報は、画像タイプ、動きベクトル、マクロブロックタイプ、ＤＣＴ（Discrete Cosine Transform）係数、量子化係数などである。

図３は映像品質測定装置の処理フローを示す図である。
次に映像品質測定装置１の処理フローについて説明する。
映像品質測定装置１においては、まず、部分デコード処理部１０１が映像のビットストリームを部分デコードする（ステップＳ１）。この部分デコードの処理においては、部分デコード処理部１０１のＶＬＣデコーダがデコード情報（各フレームごとの、画像タイプ、マクロブロックごとの動きベクトル、マクロブロックタイプ、ＤＣＴ係数、量子化係数）を取得し、映像品質測定処理部１０２に送信する。

ここで、図４（エラーコンディション値の算出の処理概要を示す第１の図）で示すように、部分デコード処理部１０１がデコードした映像の情報においては、部分的な映像の各フレームに関する情報が含まれるが、これらのフレームには、Ｉフレーム＜フレーム内(Intra frame)符号化画面。このフレームでは、すべてのマクロブロックがIntra符号化される＞、Ｐフレーム＜フレーム間(Predictive)予測符号化画面。マクロブロック毎Intra符号化とInter符号化が選択できるフレームタイプである＞、Ｂフレーム＜双方向 (Bidirectional)予測符号化画面。過去のＩまたはＰフレームを予測に使うだけでなく未来のＩまたはＰフレームをも予測に使うことができる画面である＞、の３つの種類の各フレームに関するデコード情報が含まれている。

そして、映像品質測定処理部１０２は、エラーの含まれているマクロブロックを検出した場合には、そのエラーを検出したマクロブロックを含むフレームがＩフレームか否かを判断する。そして、エラーを検出したマクロブロックを含むフレームがＩフレームでない場合には、図５（エラーコンディション値の算出の処理概要を示す第２の図）で示すように、当該エラーを検出したマクロブロックを中心とした３×３＝９個のマクロブロックの範囲に対応する、直前および直後のＩフレームにおけるマクロブロックの範囲のデコード情報を特定する。また、エラーを検出したマクロブロックを含むフレームがＩフレームである場合には、当該Ｉフレームのマクロブロックを中心とした３×３＝９個のマクロブロックと当該各マクロブロックの範囲に対応する直前のＩフレームにおける各マクロブロック９個のデコード情報を特定する。なお映像品質測定処理部１０２は、マクロブロックのデコード情報を１つずつ読み取っていき、当該デコード情報の中に予期しない情報が含まれている場合などにおいて、そのマクロブロックをエラーとして検出している。例えば、マクロブロックタイプのビット部分でＶＬＣデコードに失敗した場合は当該マクロブロックをエラーのあるマクロブロックと特定している。

また映像品質測定処理部１０２は、特定した直前のＩフレームのマクロブロックをｍｂ_ｎ、直後のＩフレーム（エラーを検出したマクロブロックを含むフレームがＩフレームである場合にはそのＩフレーム）のマクロブロックをＭＢ_ｎ、ｍｂ_ｎの量子化係数をｍｂｑｐ_ｎ、ｍｂ_ｎのＤＣＴ係数直流成分をｍｂｄｃｔ０_ｎ、ＭＢ_ｎの量子化係数をＭＢｑｐ_ｎ、ＭＢ_ｎのＤＣＴ係数直流成分をＭＢｄｃｔ０_ｎ、２つのＩフレームそれぞれの前記特定した各９個のマクロブロックのうち、エラーでないマクロブロック個数をｍとして、エラーを検出したマクロブロックのエラーコンディション値を、

により算出する。

また、映像品質測定処理部１０２は、エラーの検出されなかったイントラマクロブロック（ＩフレームまたはＰフレーム内にあるイントラマクロブロック）については、エラーコンディション値ＭＢｖａｌ＝０とする。また映像品質測定処理部１０２は、エラーの検出されなかったインターマクロブロック（ＰフレームまたはＢフレーム内にあるインターラマクロブロック）については、図６（エラーコンディション値の算出の処理概要を示す第３の図）に示すように、当該インターマクロブロックの範囲に対応する参照先フレーム内の範囲ｆを特定し、当該範囲ｆに含まれる複数のマクロブロック（ｍｂ１，ｍｂ２，ｍｂ３，ｍｂ４）の前記範囲ｆに重なる面積割合（ａ，ｂ，ｃ，ｄ）に応じた各エラーコンディション値（mbval_１，mbval_２，mbval_３，mbval_４）を用いて、前記エラーを検出しなかったインターマクロブロックのエラーコンディション値を、

により算出する。これにより、映像品質測定処理部１０２は各フレーム内のすべてのマクロブロック（インターマクロブロック、イントラマクロブロック）のエラーコンディション値を算出する（ステップＳ２）。そして１つのフレームのエラーコンディション値ｆｒａｍｅｖａｌを、当該フレーム内全てのマクロブロックのエラーコンディション値の平均により算出する（ステップＳ３）。

エラーコンディション値はそのままの値では主観評価の値と結びつきにくいため、分散比を利用した値（Baseval）に置き換える。置き換えの式はＰＳＮＲ（Peak Signal to Noise Ratio）の計算式を参考にし、映像のフレーム数をframenumとすると、映像品質測定処理部１０２はBasevalの値を

により算出する（ステップＳ４）。そして、

の計算式により、１〜５までの間の数値により推定評価値（InferMOS）を算出する（ステップＳ５）。これにより、１〜５までの間の数値を示す推定評価値を得ることができ、これにより、映像の評価を行うことができる。なお、推定評価値（InferMOS）を得る式（４）は、実際に映像をユーザに視聴させて１〜５までの数値で当該映像を評価させ、そのときの式（３）で得られたBasevalの値との関係を実験により複数取得したデータによって決定されたものである。

なお、映像品質の測定の方法としては、
＜１＞完全な原画像を使用する方法(ＦＲ法)
＜２＞原画像中のパラメータを使用する方法(ＲＲ法)
＜３＞原画像を一切使用しない方法(ＮＲ法)
の３つの方法が提案されているが、本願発明の映像品質測定装置１による測定方法は上記＜３＞の方法に属する。上記＜３＞の方法の技術は現在、ほとんど開発が進んでいない技術の領域である。この技術を用いることにより、例えば映像を再生するクライアント端末で映像の品質評価をする際に、原画像や原画像中のパラメータを保持していなくても測定を行うことが可能となる。例えばインターネットを利用してリアルタイムに配信する際には、原画像をクライアント端末に保持させることは困難である。本願発明の映像品質測定装置１による測定方法では原画像を用いることなく、送信されてきたビットストリームをデコードしてその際に得られた情報から測定を行っているので、原画像やそのパラメータがなくとも映像品質を測定することができる。

また本願発明の映像品質測定装置１を端末に備えておき、映像品質が悪いと判断した場合（所定の推定評価値以下で合った場合）には、管理者にその旨のメッセージを通知したり、また、ルータなどのネットワーク中継器に映像品質測定装置１の機能を備えておき、当該ネットワーク中継器において映像品質が悪いと判断した場合（所定の推定評価値以下で合った場合）には、ルーティングを変更する処理を行うことによって、映像品質の劣化を防ぐような技術に応用することができる。

また本願発明の映像品質測定装置１による映像品質測定方法によれば、デコード処理が部分デコードで済むために処理負荷が軽減することができる。従来の他の方式においてはビットストリーム全てのデコードを行う計算コストが必要であるが、本方法では部分デコード（処理負荷は通常法のデコード処理の２０〜３０％）のみで良いために大幅な処理負荷を軽減することができる。そのため様々なネットワーク機器に本方式を導入することでネットワークノードにおける映像品質を管理・把握することができるようになると考えられる。

なお上述の映像品質測定装置は内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の一実施形態による映像品質測定装置の構成を示すブロック図である。 本発明の一実施形態による部分デコード処理部の機能概要を示す図である。である。 本発明の一実施形態による映像品質測定装置の処理フローを示す図である。 本発明の一実施形態によるエラーコンディション値の算出の処理概要を示す第１の図である。 本発明の一実施形態によるエラーコンディション値の算出の処理概要を示す第２の図である。 本発明の一実施形態によるエラーコンディション値の算出の処理概要を示す第３の図である。

符号の説明

１・・・映像品質測定装置
１０１・・・部分デコード処理部
１０２・・・映像品質測定処理部

Claims (7)

1. 受信した映像データのビットストリームを部分デコードする部分デコード手段と、
   前記部分デコードによって得られた各フレームのエラーコンディション値を算出するエラーコンディション値算出手段と、
   前記エラーコンディション値から推定評価値を算出する推定評価値算出手段と、
   を備えることを特徴とする映像品質測定装置。
2. 前記エラーコンディション値算出手段は、
   エラーを検出したマクロブロックがＩフレームのマクロブロックでない場合には、当該マクロブロックを中心とした範囲に対応する、直前および直後のＩフレーム内の範囲に重なる各マクロブロックのデコード情報に基づいて、該エラーを検出したマクロブロックのエラーコンディション値を算出し、
   前記エラーを検出したマクロブロックがＩフレームのマクロブロックである場合には、当該Ｉフレームのマクロブロックを中心とした範囲の各マクロブロックと当該範囲に対応する直前のＩフレーム内の範囲に重なる各マクロブロックのデコード情報に基づいて、該エラーを検出したマクロブロックのエラーコンディション値を算出し、
   前記エラーを検出しなかったイントラマクロブロックのエラーコンディション値を０とし、
   前記エラーを検出しなかったインターマクロブロックのエラーコンディション値は、当該インターマクロブロックの参照先のフレームにおける、前記インターマクロブロックのフレーム内の参照範囲に重なる各マクロブロックの面積割合に基づいて算出し、
   前記フレームのエラーコンディション値を、該フレーム内のすべてのマクロブロックについて算出されたエラーコンディション値の平均により算出する
   ことを特徴とする請求項１に記載の映像品質測定装置。
3. 推定評価値算出手段は、
   算出された前記フレームのエラーコンディション値の値に基づいて、所定の推定値算出式を用いて１〜５の値を示す前記映像データの品質を示す推定評価値を算出する
   ことを特徴とする請求項２に記載の映像品質測定装置。
4. 映像品質測定装置における映像品質測定方法であって、
   前記映像品質測定装置の部分デコード手段が、受信した映像データのビットストリームを部分デコードし、
   前記映像品質測定装置のエラーコンディション値算出手段が、前記部分デコードによって得られた各フレームのエラーコンディション値を算出し、
   前記映像品質測定装置の推定評価値算出手段が、前記エラーコンディション値から推定評価値を算出する
   ことを特徴とする映像品質測定方法。
5. 前記エラーコンディション値算出手段において、
   エラーを検出したマクロブロックがＩフレームのマクロブロックでない場合には、当該マクロブロックを中心とした範囲に対応する、直前および直後のＩフレーム内の範囲に重なる各マクロブロックのデコード情報に基づいて、該エラーを検出したマクロブロックのエラーコンディション値を算出し、
   前記エラーを検出したマクロブロックがＩフレームのマクロブロックである場合には、当該Ｉフレームのマクロブロックを中心とした範囲の各マクロブロックと当該範囲に対応する直前のＩフレーム内の範囲に重なる各マクロブロックのデコード情報に基づいて、該エラーを検出したマクロブロックのエラーコンディション値を算出し、
   前記エラーを検出しなかったイントラマクロブロックのエラーコンディション値を０とし、
   前記エラーを検出しなかったインターマクロブロックのエラーコンディション値は、当該インターマクロブロックの参照先のフレームにおける、前記インターマクロブロックのフレーム内の参照範囲に重なる各マクロブロックの面積割合に基づいて算出し、
   前記フレームのエラーコンディション値を、該フレーム内のすべてのマクロブロックについて算出されたエラーコンディション値の平均により算出する
   ことを特徴とする請求項４に記載の映像品質測定方法。
6. 推定評価値算出手段において、
   算出された前記フレームのエラーコンディション値の値に基づいて、所定の推定値算出式を用いて１〜５の値を示す前記映像データの品質を示す推定評価値を算出する
   ことを特徴とする請求項５に記載の映像品質測定方法。
7. 映像品質測定装置のコンピュータに実行させるプログラムであって、
   受信した映像データのビットストリームを部分デコードする処理と、
   前記部分デコードにおいてエラーを検出したマクロブロックがＩフレームのマクロブロックでない場合に、当該マクロブロックを中心とした範囲に対応する、直前および直後のＩフレーム内の範囲に重なる各マクロブロックのデコード情報に基づいて、該エラーを検出したマクロブロックのエラーコンディション値を算出する処理と、
   前記部分デコードにおいて前記エラーを検出したマクロブロックがＩフレームのマクロブロックである場合に、当該Ｉフレームのマクロブロックを中心とした範囲の各マクロブロックと当該範囲に対応する直前のＩフレーム内の範囲に重なる各マクロブロックのデコード情報に基づいて、該エラーを検出したマクロブロックのエラーコンディション値を算出する処理と、
   前記部分デコードにおいて前記エラーを検出しなかったイントラマクロブロックのエラーコンディション値を０と決定する処理と、
   前記部分デコードにおいて前記エラーを検出しなかったインターマクロブロックのエラーコンディション値を、当該インターマクロブロックの参照先のフレームにおける、前記インターマクロブロックのフレーム内の参照範囲に重なる各マクロブロックの面積割合に基づいて算出する処理と、
   前記フレームのエラーコンディション値を、該フレーム内のすべてのマクロブロックについて算出されたエラーコンディション値の平均により算出する処理と、
   算出された前記フレームのエラーコンディション値の値に基づいて、所定の推定値算出式を用いて１〜５の値を示す前記映像データの品質を示す推定評価値を算出する処理と、
   をコンピュータに実行させるプログラム。
   

Images