JP2009044393A - 映像品質推定装置、方法、およびプログラム - Google Patents

Abstract

【課題】圧縮符号化複雑度に起因する映像品質の変化を考慮して主観映像品質を推定する。
【解決手段】映像品質推定部１５Ｂにより、記憶部１４の映像品質推定モデルに基づいて品質パラメータ１４Ａに対応する平均主観映像品質値１４Ｃを推定し、圧縮符号化複雑度算出部１５Ｃにより、品質パラメータ１４Ａに基づいて、映像メディアの圧縮符号化処理に関する品質評価区間における複雑性を示す評価圧縮符号化複雑度１４Ｆを算出し、映像品質補正部１５Ｄにより、記憶部１４の平均圧縮符号化複雑度１４Ｅと圧縮符号化複雑度算出部１５Ｃで算出された評価圧縮符号化複雑度１４Ｆとの差からなる差分圧縮符号化複雑度に基づいて平均主観映像品質値１４Ｃを補正する。
【選択図】 図１

Description

本発明は、映像通信技術に関し、特に複数のフレームに符号化した映像メディアを端末で受信再生した際に視聴者が実感する主観映像品質に関する映像品質を推定する映像品質推定技術に関する。

インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像さらには音声を含む映像メディアを端末間あるいはサーバ−端末間で転送する映像通信サービスの普及が期待されている。

映像通信サービスに利用されるインターネットなどのベスト・エフォート型ネットワークでは、必ずしも通信品質が保証されているわけではない。このため、インターネットを介して映像メディアなどの時間的連続性を有するストリーミング系コンテンツを転送する際、通信回線の帯域が狭い場合や通信回線が輻輳した場合には、通信回線を介して受信再生した映像メディアに対して視聴者が実感する品質、すなわち主観映像品質の劣化として知覚されやすい。具体的には、映像メディアに品質劣化が加わると、映像のぼけ、にじみ、モザイク状の歪み、ぎくしゃく感として知覚される。

このように、映像メディアを転送する映像通信サービスでは、品質劣化が知覚されやすく、映像通信サービスを良好な品質で提供するためには、サービス提供に先立ったネットワークの品質設計やサービス開始後の品質管理が重要となる。したがって、視聴者が享受する映像品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要とされる。

従来、映像メディアの品質を推定する技術としては、映像信号を入力とする映像品質客観評価法が勧告として提案されている（例えば、非特許文献１参照）。また、ＶｏＩＰ(Voice over IP)をベースとして、音声パケットのパケット損失や遅延時間などの音声品質に関わる品質パラメータから、ＩＰ電話の平均的な会話品質を推定する技術が勧告として提案されている（例えば、非特許文献２参照）。また、映像メディアに関する単位時間当たりの符号化ビット数を示す符号化ビットレートと単位時間当たりのフレーム数を示すフレームレートとパケット損失率とから、所定の推定モデルを用いて視聴者が実感する主観映像品質を推定する技術が勧告として提案されている（例えば、非特許文献３参照）。

ＩＴＵ−Ｔ勧告Ｊ．１４４ ＩＴＵ−Ｔ勧告Ｇ．１０７ ＩＴＵ−Ｔ勧告Ｇ．１０７０

しかしながら、このような従来技術では、映像品質を推定する際、映像の圧縮符号化複雑度に起因する映像品質の変化について考慮されていないため、個々の映像品質を推定できないという問題点があった。
この種の映像通信サービスでは、映像メディアの転送効率を改善するため、映像メディアが持つ画素間あるいは画像間の自己相関性や人間の視覚特性を利用して、映像メディアを複数のフレームに圧縮符号化して転送するという圧縮符号化通信方式が用いられる。

一般的な圧縮符号化処理では、符号化対象となる映像の複雑性によって圧縮符号化効率が変化するため、主観映像品質も変化する。例えば、映像の圧縮符号化に広く用いられているＤＣＴ（Discrete Cosine Transform）変換処理では、元の画像信号を画像上の水平方向と垂直方向について二次元の空間周波数分布に分解し、そのうち画質にあまり影響を与えない高周波成分を除去することにより、画像を効率よく圧縮している。

したがって、このような圧縮符号化処理は、圧縮符号化処理の複雑性、すなわち圧縮符号化複雑度に応じて圧縮効率が異なる。自然画像など隣接画素間で画素値変化が小さい画像すなわち圧縮符号化複雑度が低い画像では、高周波のＡＣ成分が少なくなる傾向があるため効率よく圧縮できるものの、隣接画素間で画素値変化が大きい画像すなわち圧縮符号化複雑度が高い画像では、高周波のＡＣ成分が大きくなる傾向があるため効率よく圧縮できない。

この際、例えば映像メディアの符号化ビットレートが低い場合、高い圧縮効率が要求されるため、比較的低い周波数のＡＣ成分まで除去する必要がある。このため除去されるＡＣ成分量が多い場合には、映像の荒さなどに影響が発生し、結果として映像品質が低下することになる。
また、符号化ビットレートが同一であっても、処理対象となる映像の圧縮符号化複雑度に応じて、すなわち元の画像に含まれる高周波ＡＣ成分量に応じて、圧縮符号化時に除去される量が変化する。

図１０は、圧縮符号化複雑度による映像品質の変化を示す説明図であり、横軸は映像メディアの符号化ビットレートを示し、縦軸は主観映像品質値を示している。図１０には、３つの映像Ａ〜映像Ｃについて、符号化ビットレートに応じた主観映像品質値の変化を示す特性９Ａ〜９Ｃが示されている。これら映像Ａ〜映像Ｃのうち、映像Ｃは圧縮符号化複雑度が最も低く、映像Ａは圧縮符号化複雑度が最も高い。

したがって、映像Ｃは、圧縮符号化複雑度が低くて高周波ＡＣ成分量が元々少ないため、符号化ビットレートが低い場合でも、除去される高周波ＡＣ成分量が少なく、主観映像品質値の低下はあまり顕著ではない。
これに対して、映像Ａは、圧縮符号化複雑度が高く高周波ＡＣ成分量が元々多いため、符号化ビットレートが低い場合には、除去される高周波ＡＣ成分量が多くなり、主観映像品質値の低下が顕著となっている。

このように、主観映像品質値は映像の圧縮符号化複雑度に応じて変化する性質を持っているものの、従来技術では、圧縮符号化複雑度に起因する映像品質の変化について考慮されていない。
本発明はこのような課題を解決するためのものであり、圧縮符号化複雑度に起因する映像品質の変化を考慮して主観映像品質を推定することができる映像品質推定装置、方法、およびプログラムを提供することを目的としている。

このような目的を達成するために、本発明にかかる映像品質推定装置は、複数のフレームに圧縮符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、端末で再生された当該映像メディアから視聴者が実感する主観映像品質の推定値を算出する映像品質推定装置であって、映像メディアに関係するパケットに含まれている当該映像品質に関する品質パラメータと当該映像メディアの平均主観映像品質推定値との対応関係を示す映像品質推定モデルと、映像メディアの圧縮符号化処理に関する平均的な複雑性を示す平均圧縮符号化複雑度とを記憶する記憶部と、推定対象となる映像メディアに関係するパケットから品質パラメータを取得する品質パラメータ取得部と、記憶部の映像品質推定モデルに基づいて品質パラメータに対応する平均主観映像品質値を推定する映像品質推定部と、品質パラメータに基づいて、映像メディアの圧縮符号化処理に関する品質評価区間における複雑性を示す評価圧縮符号化複雑度を算出する圧縮符号化複雑度算出部と、記憶部の平均圧縮符号化複雑度と圧縮符号化複雑度算出部で算出された評価圧縮符号化複雑度との差からなる差分圧縮符号化複雑度に基づいて、映像品質推定部で推定された平均主観映像品質値を補正する映像品質補正部とを備えている。

この際、品質パラメータ取得部で、パケットから任意のフレームに設けられた画素ブロックに対応する各変換係数の量子化値とこれら変換係数に対応する量子化ステップ幅とをそれぞれ取得し、圧縮符号化複雑度算出部で、任意のフレームに設けられた画素ブロックの変換係数ごとに、当該変換係数の量子化値と当該変換係数に対応する量子化ステップ幅との積を算出して平均することにより、当該画素ブロックの圧縮符号化複雑度を算出し、この画素ブロックの圧縮符号化複雑度を映像メディアの所望区間における各フレームの各画素ブロックで平均することにより、所望区間における圧縮符号化複雑度を算出するようにしてもよい。

また、記憶部で、映像メディアの平均的な圧縮符号化複雑度と映像メディアのうち品質評価区間における圧縮符号化複雑度との差を示す差分圧縮符号化複雑度と、この差分圧縮符号化複雑度に対応する補正率との対応関係を示す映像品質補正モデルを記憶し、圧縮符号化複雑度算出部で、映像メディアのうち品質推定期間における評価圧縮符号化複雑度を算出し、映像品質補正部で、映像品質補正モデルに基づいて記憶部の平均圧縮符号化複雑度と圧縮符号化複雑度算出部で算出された評価圧縮符号化複雑度との差からなる差分圧縮符号化複雑度に対応する補正率を算出し、この補正率に基づいて映像品質推定部で推定された平均主観映像品質値を補正するようにしてもよい。

また、映像品質補正モデルとして、差分圧縮符号化複雑度の増加に応じて補正率が単調増加し、かつ差分圧縮符号化複雑度が０のときに補正率が１となる関数式を用いてもよい。

また、本発明にかかる映像品質推定方法は、演算処理部と記憶部とを有し、複数のフレームに圧縮符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、端末で再生された当該映像メディアから視聴者が実感する主観映像品質の推定値を算出する映像品質推定装置で用いられる映像品質推定方法であって、記憶部により、映像メディアの圧縮符号化処理に関する平均的な複雑性を示す平均圧縮符号化複雑度を記憶するステップと、演算処理部により、品質パラメータに基づいて、映像メディアの圧縮符号化処理に関する品質評価区間における複雑性を示す評価圧縮符号化複雑度を算出する圧縮符号化複雑度算出ステップと、演算処理部により、記憶部の平均圧縮符号化複雑度と圧縮符号化複雑度算出ステップで算出された評価圧縮符号化複雑度との差からなる差分圧縮符号化複雑度に基づいて、映像メディアの平均主観映像品質値を補正する映像品質補正ステップとを備えている。

この際、品質パラメータ取得ステップに、パケットから任意のフレームに設けられた画素ブロックに対応する各変換係数の量子化値とこれら変換係数に対応する量子化ステップ幅とをそれぞれ取得するステップを設け、圧縮符号化複雑度算出ステップに、任意のフレームに設けられた画素ブロックの変換係数ごとに、当該変換係数の量子化値と当該変換係数に対応する量子化ステップ幅との積を算出して平均することにより、当該画素ブロックの圧縮符号化複雑度を算出するステップと、この画素ブロックの圧縮符号化複雑度を映像メディアの所望区間における各フレームの各画素ブロックで平均することにより、所望区間における圧縮符号化複雑度を算出するステップとを設けてもよい。

また、記憶部により、映像メディアの平均的な圧縮符号化複雑度と映像メディアのうち品質評価区間における圧縮符号化複雑度との差を示す差分圧縮符号化複雑度と、この差分圧縮符号化複雑度に対応する補正率との対応関係を示す映像品質補正モデルとを記憶するステップをさらに備え、圧縮符号化複雑度算出ステップに、映像メディアのうち品質推定期間における評価圧縮符号化複雑度を算出するステップを設け、映像品質補正ステップに、映像品質補正モデルに基づいて記憶部の平均圧縮符号化複雑度と圧縮符号化複雑度算出ステップで算出された評価圧縮符号化複雑度との差からなる差分圧縮符号化複雑度に対応する補正率を算出するステップと、この補正率に基づいて映像品質推定ステップで推定された平均主観映像品質値を補正するステップとを設けてもよい。

また、映像品質補正モデルとして、差分圧縮符号化複雑度の増加に応じて補正率が単調増加し、かつ差分圧縮符号化複雑度が０のときに補正率が１となる関数式を用いてもよい。

また、本発明にかかるプログラムは、演算処理部と記憶部とを有し、複数のフレームに圧縮符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、端末で再生された当該映像メディアから視聴者が実感する主観映像品質の推定値を算出する映像品質推定装置のコンピュータに、演算処理部により、推定対象となる映像メディアに関係するパケットから得られた当該映像品質に関する品質パラメータに基づいて、映像メディアの圧縮符号化処理に関する平均的な複雑性を示す平均圧縮符号化複雑度を算出する平均圧縮符号化複雑度算出ステップと、演算処理部により、品質パラメータに基づいて、映像メディアの圧縮符号化処理に関する品質評価区間における複雑性を示す評価圧縮符号化複雑度を算出する圧縮符号化複雑度算出ステップと、演算処理部により、平均圧縮符号化複雑度と評価圧縮符号化複雑度との差からなる差分圧縮符号化複雑度に基づいて、映像メディアの平均主観映像品質値を補正する映像品質補正ステップとを実行させる。

本発明によれば、映像メディアが持つ圧縮符号化処理の複雑性、すなわち圧縮符号化複雑度に応じて変化する主観映像品質の特性を考慮して、より正確な主観映像品質を推定することが可能となる。また、圧縮符号化複雑度により平均主観映像品質値の補正については、対象映像メディアに関係するパケットから取得した品質パラメータに基づき行うことができる。このため、圧縮符号化された映像メディアを復号するための処理や構成を必要とすることなく、圧縮符号化複雑度に応じて変化する主観映像品質の特性を考慮した主観映像品質値を、極めて容易に推定できる。

これにより、映像配信サービスを利用するユーザに対して、ある一定以上の品質を保っているかどうかを、容易かつ正確に判断することが可能となる。このため、映像配信サービスで用いる品質パラメータの設計や、提供中の映像配信サービスに関する品質実態を、極めて容易に把握し、管理することが可能となる。

次に、本発明の実施の形態について図面を参照して説明する。
［映像品質推定装置］
まず、図１を参照して、本発明の一実施の形態にかかる映像品質推定装置について説明する。図１は、本発明の一実施の形態にかかる映像品質推定装置の構成を示すブロック図である。

映像品質推定装置１０は、入力された情報を演算処理するコンピュータなどの情報処理装置からなり、複数のフレームに符号化した映像メディアを通信端末２Ａから通信端末２Ｂ端末へ、インターネットなどのパケット通信網３を介して送信する映像通信について、その映像メディアと通信網に関する推定条件を入力として、通信端末２Ｂで再生された当該映像メディアから視聴者が実感する主観映像品質の推定値を算出する装置である。

この映像品質推定装置１０には、主な機能部として、通信インターフェース部（以下、通信Ｉ／Ｆ部という）１１、操作入力部１２、画面表示部１３、記憶部１４、および演算処理部１５が設けられている。また演算処理部１５には、主な処理部として、品質パラメータ取得部１５Ａ、映像品質推定部１５Ｂ、圧縮符号化複雑度算出部１５Ｃ、および映像品質補正部１５Ｄが設けられている。

本実施の形態は、記憶部１４により、映像メディアに関係するパケットに含まれている当該映像品質に関する品質パラメータと当該映像メディアの平均主観映像品質推定値との対応関係を示す映像品質推定モデルと、映像メディアの圧縮符号化処理に関する平均的な複雑性を示す平均圧縮符号化複雑度とを記憶し、品質パラメータ取得部１５Ａにより、推定対象となる映像メディアに関係するパケットから品質パラメータを取得し、映像品質推定部１５Ｂにより、記憶部１４の映像品質推定モデルに基づいて品質パラメータに対応する平均主観映像品質値を推定し、圧縮符号化複雑度算出部１５Ｃにより、品質パラメータに基づいて、映像メディアの圧縮符号化処理に関する品質評価区間における複雑性を示す評価圧縮符号化複雑度を算出し、映像品質補正部１５Ｄにより、記憶部１４の平均圧縮符号化複雑度と圧縮符号化複雑度算出部１５Ｃにより算出された評価圧縮符号化複雑度との差からなる差分圧縮符号化複雑度に基づいて、映像品質推定部１５Ｂで推定された平均主観映像品質値を補正するようにしたものである。

［映像品質推定装置の構成］
次に、図１を参照して、本発明の一実施の形態にかかる映像品質推定装置の構成について詳細に説明する。
映像品質推定装置１０の通信Ｉ／Ｆ部は、専用の通信回路からなり、パケット通信網３を介してパケットを送受信する機能を有している。
操作入力部１２は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部１５へ出力する機能を有している。
画面表示部１３は、ＬＣＤやＰＤＰなどの画面表示装置からなり、演算処理部１５から出力された、操作メニューや映像品質推定値などの表示データを画面表示する機能を有している。

記憶部１４は、ハードディスクやメモリなどの記憶装置からなり、演算処理部１５での処理動作に用いる各種処理情報とプログラム１４Ｐとを記憶する機能を有している。プログラム１４Ｐは、映像品質推定装置１０に設けられている通信Ｉ／Ｆ部１１などのデータ入出力機能を介して外部装置や記録媒体（図示せず）から予め読み込まれて記憶部１４に格納されている。
記憶部１４で記憶される主な処理情報としては、品質パラメータ１４Ａ、映像品質推定モデル１４Ｂ、平均主観映像品質値１４Ｃ、映像品質補正モデル１４Ｄ、平均圧縮符号化複雑度１４Ｅ、評価圧縮符号化複雑度１４Ｆ、および補正主観映像品質値１４Ｇがある。

品質パラメータ１４Ａは、推定対象となる対象映像メディアの映像品質を左右するパラメータであり、映像品質の推定や圧縮符号化複雑度の算出に用いられる。品質パラメータ１４Ａの具体例としては、符号化方式、映像フォーマット、符号化ビットレート、フレーム情報、およびパケット損失情報などのパラメータがある。

対象映像メディアがＭＰＥＧ２などの圧縮符号化方式を用いる場合、フレーム情報としては、フレームレート、イントラフラッシュレート、ＧＯＰ、フレームタイプ、残差情報などのパラメータを用いればよい。この残差情報は、動き補償以降の残差信号に対する情報であり、具体的には、ＤＣＴ係数、整数変換係数、ウェーブレット係数などの変換係数（空間圧縮変換係数）の量子化値や、量子化ステップ幅などのパラメータを用いればよい。また、パケット損失情報としては、パケット損失率、パケット損失パターン、パケット遅延時間などのパラメータを用いればよい。

これら品質パラメータ１４Ａは、対象映像メディアに関係するパケットのヘッダ部や、これらパケットに分散して送信される符号化データ、例えばＭＰＥＧ２の場合にはトランスポートストリーム(ＴＳ：Transport Stream)や、エレメンタリーストリーム（ＥＳ：Elementary Stream）などの符号化データに格納されており、品質パラメータ取得部１５Ａにより、これらパケットから取得されて記憶部１４に格納される。また、これらパラメータは、必要に応じて当該パラメータが取得された映像メディア上の時間位置情報、例えばフレームや画像ブロックを示す識別情報と関連付けて格納される。

映像品質推定モデル１４Ｂは、品質パラメータ１４Ａのうち映像品質推定用のパラメータと当該映像メディアの平均的な主観映像品質値、すなわち平均主観映像品質値との対応関係を示す推定用モデルであり、具体的には、これら対応関係を示す関数式のほか、表形式やデータベースなどの公知の形式で構成すればよい。
平均主観映像品質値１４Ｃは、対象映像メディアに関する平均的な主観映像品質値である。

平均圧縮符号化複雑度１４Ｅは、予め算出されて格納されている圧縮符号化処理に関する平均的な複雑性を示す圧縮符号化複雑度である。
評価圧縮符号化複雑度１４Ｆは、品質パラメータ１４Ａのうち圧縮符号化複雑度算出用のパラメータから算出した、対象映像メディアの圧縮符号化処理に関する品質評価区間における複雑性を示す圧縮符号化複雑度である。

映像品質補正モデル１４Ｄは、映像メディアの平均圧縮符号化複雑度と評価圧縮符号化複雑度との差からなる差分圧縮符号化複雑度と、映像メディアの平均主観映像品質値に対する補正率との対応関係を示す補正用モデルであり、具体的には、これら対応関係を示す関数式のほか、表形式やデータベースなどの公知の形式で構成すればよい。
補正主観映像品質値１４Ｇは、映像品質補正モデル１４Ｄから得られた、平均圧縮符号化複雑度１４Ｅと評価圧縮符号化複雑度１４Ｆの差分圧縮符号化複雑度に対応する補正率により、平均主観映像品質値１４Ｃを補正した主観映像品質値である。

演算処理部１５は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部１４のプログラム１４Ｐを読み込んでマイクロプロセッサで実行することにより、上記ハードウェアとプログラムを協働させることにより、品質パラメータ取得部１５Ａ、映像品質推定部１５Ｂ、圧縮符号化複雑度算出部１５Ｃ、映像品質補正部１５Ｄなどの各種処理部を実現する機能を有している。

品質パラメータ取得部１５Ａは、対象映像メディアに関係する各種パケットから、映像品質の推定や圧縮符号化複雑度の算出に用いられる各種の品質パラメータ１４Ａを取得する機能を有している。品質パラメータ１４Ａは、対象映像メディアに関係するパケットのヘッダ部や、これらパケットに分散して送信される符号化データに格納されている。品質パラメータ取得部１５Ａは、これらパケットから品質パラメータ１４Ａ取得して記憶部１４に格納する。例えばＭＰＥＧ２の場合、トランスポートストリームや、エレメンタリーストリームなど符号化データが品質パラメータ取得部１５Ａで解析され、必要な品質パラメータ１４Ａが抽出される。

映像品質推定部１５Ｂは、記憶部１４の映像品質推定モデル１４Ｂに基づいて、品質パラメータ１４Ａのうちの映像品質推定用パラメータに対応する平均主観映像品質値１４Ｃを推定する機能を有している。映像品質推定部１５Ｂで用いる映像品質推定モデル１４Ｂや映像品質推定用パラメータの具体例としては、前述の非特許文献３などに記載されている公知のものを利用すればよい。
圧縮符号化複雑度算出部１５Ｃは、記憶部１４の品質パラメータ１４Ａのうちの圧縮符号化複雑度算出用パラメータに基づいて、映像メディアの圧縮符号化処理に関する品質評価区間における複雑性を示す評価圧縮符号化複雑度１４Ｆを算出する機能とを有している。

映像品質補正部１５Ｄは、記憶部１４の映像品質補正モデル１４Ｄに基づいて、平均圧縮符号化複雑度１４Ｅと評価圧縮符号化複雑度１４Ｆとの差からなる差分圧縮符号化複雑度に対応する補正率を算出する機能と、得られた補正率に基づいて、映像品質推定部１５Ｂで推定された平均主観映像品質値１４Ｃを補正することにより、補正主観映像品質値１４Ｇを算出する機能とを有している。

［映像品質推定装置の動作］
次に、図２および図３を参照して、本発明の一実施の形態にかかる映像品質推定装置の動作について説明する。図２は、本発明の一実施の形態にかかる映像品質推定装置の主観映像品質推定動作を示すフロー図である。図３は、本発明の一実施の形態にかかる映像品質推定装置の主観映像品質推定処理を示すフローチャートである。

［主観映像品質推定処理］
図２および図３を参照して、映像品質推定装置１０での主観映像品質推定処理について説明する。
映像品質推定装置１０の演算処理部１５は、操作入力部１２で検出された主観映像品質推定の開始を指示するオペレータ操作に応じて、図３に示した主観映像品質推定処理を開始する。
演算処理部１５は、まず、通信Ｉ／Ｆ部１１を制御して対象となる映像メディアに関係する各種パケットを、パケット通信網３を介した通信端末２Ａ，２Ｂ間の通信経路からキャプチャし（ステップ１００）、品質パラメータ取得部１５Ａにより、映像品質の推定や圧縮符号化複雑度の算出に用いる各種の品質パラメータ１４Ａを取得して記憶部１４へ保存する（ステップ１０１）。

次に、演算処理部１５は、映像品質推定部１５Ｂにより、記憶部１４の品質パラメータ１４Ａと映像品質推定モデル１４Ｂを用いて、対象映像メディアの平均主観映像品質値１４Ｃを算出する。
この際、映像品質推定部１５Ｂは、記憶部１４から映像品質推定モデル１４Ｂを読み出し（ステップ１０２）、この映像品質推定モデル１４Ｂに基づいて、記憶部１４の品質パラメータ１４Ａのうち映像品質推定用パラメータに対応する映像品質推定値を平均主観映像品質値ν（１４Ｃ）として算出し、記憶部１４へ保存する（ステップ１０３）。

続いて、演算処理部１５は、圧縮符号化複雑度算出部１５Ｃにより、後述する圧縮符号化複雑度算出処理を実行して、評価圧縮符号化複雑度γ_est（１４Ｆ）を算出する（ステップ１０４）。

次に、演算処理部１５は、映像品質補正部１５Ｄにより、後述する映像品質補正処理を実行することにより、平均圧縮符号化複雑度γ_avgと評価圧縮符号化複雑度γ_estとの差からなる差分圧縮符号化複雑度Δγに対応する補正率Ｒで、記憶部１４の平均主観映像品質値νを補正して、補正主観映像品質値Ｖ（１４Ｇ）を算出する（ステップ１０５）。
この後、演算処理部１５は、補正主観映像品質値Ｖを主観映像品質値として記憶部１４へ保存し、あるいは画面表示部１３へ推定評価結果として画面表示し（ステップ１０６）、一連の主観映像品質推定処理を終了する。

［圧縮符号化複雑度算出処理］
次に、図４〜図７を参照して、映像品質推定装置１０での圧縮符号化複雑度算出処理について説明する。図４は、本発明の一実施の形態にかかる映像品質推定装置の圧縮符号化複雑度算出処理を示すフローチャートである。図５は、映像フレーム内のブロックにおける画素分布を示す説明図である。図６は、映像フレーム内のブロックにおける空間周波数分布を示す説明図である。図７は、量子化ステップ幅を示す説明図である。

演算処理部１５の圧縮符号化複雑度算出部１５Ｃは、前述した図３のステップ１０５において、図４の圧縮符号化複雑度算出処理を実行する。この際、ステップ１０５において評価圧縮符号化複雑度γ_estを算出する場合、対象区間として品質評価区間が用いられる。これら品質評価区間については、予めオペレータにより指定され記憶部１４に保存されているものとする。

圧縮符号化複雑度算出部１５Ｃは、まず、対象区間を構成するＦ個のフレームから圧縮符号化複雑度を算出していない未処理のフレーム（ｆ）（但し、ｆは１〜Ｆの整数）を選択し（ステップ１１０）、このフレーム（ｆ）を構成するＭ×Ｎ個の画像ブロックから圧縮符号化複雑度を算出していない未処理の画像ブロック（ｍ，ｎ）（但し、ｍは１〜Ｍの整数、ｎは１〜Ｎの整数）を選択する（ステップ１１１）。

図５に示すように、映像を圧縮符号化する場合には、通常、個々のフレームの画像をＭ×Ｎ個の画像ブロックに分割し、これら画像ブロックごとに圧縮符号化処理が行われる。画像ブロックの画素値は、水平方向ｘと垂直方向ｙにマトリクス状に配置されたＩ×Ｊ個の画素から構成されている。これら画素は、輝度信号値（Ｙ）を画素値として有しており、カラー画像の場合には、色差信号値（Ｃｒ，Ｃｂ）が加わる。

圧縮符号化処理では、このような画像ブロックの画素分布が、ＤＣＴなどの直交変換処理により、図６に示すような空間周波数分布に変換される。この空間周波数分布は、水平方向ｘと垂直方向ｙに予め設定された空間周波数を持つマトリクス状のＩ×Ｊ個の基本パターンについて、それぞれの基本パターンに対応する画素の発生頻度を示すもので、この発生頻度が変換係数となる。ここでは、フレーム（ｆ）の画像ブロック（ｍ，ｎ）の基本パターン（ｉ，ｊ）の変換係数をｃ_fmnijと表現する。
また、圧縮符号化処理では、変換係数ｃ_fmnijを量子化することにより、情報量の少ない量子化値ｑ_fmnijに変換する。この際、図７に示すように、変換係数ｃ_fmnijと同一の量子化値ｑ_fmnijに変換される変換係数の幅を量子化ステップ幅ｈ_fmnijという。

圧縮符号化複雑度算出部１５Ｃは、選択した画像ブロック（ｍ，ｎ）を構成するＩ×Ｊ個の変換係数ｃ_fmnijに対応する量子化値ｑ_fmnijを記憶部１４の品質パラメータ１４Ａから取得するとともに（ステップ１１２）、これら変換係数ｃ_mnijに対応する量子化ステップ幅ｈ_fmnijも記憶部１４の品質パラメータ１４Ａから取得する（ステップ１１３）。そして、次の式（１）に基づいて、対応する変換係数ｃ_fmnijを量子化値_qfmnijと量子化ステップ幅ｈ_fmnijとの積により算出し、これらをＩ×Ｊ個の基本パターンについて平均することにより、選択した画像ブロック（ｍ，ｎ）に関する圧縮符号化複雑度γ_fmnを算出する。この際、式（２）のように、上記積の２乗を用いて圧縮符号化複雑度γ_fmnを算出してもよい。

その後、圧縮符号化複雑度算出部１５Ｃは、選択したフレーム（ｆ）内の画像ブロックのすべてについて圧縮符号化複雑度の算出処理を行ったか判断し（ステップ１１５）、未処理の画像ブロックがある場合には（ステップ１１５：ＮＯ）、ステップ１１１へ戻って処理を継続する。
一方、選択したフレーム（ｆ）内の画像ブロックのすべてについて圧縮符号化複雑度の算出処理が終了した場合（ステップ１１５：ＹＥＳ）、圧縮符号化複雑度算出部１５Ｃは、次の式（３）に基づいて、選択したフレーム（ｆ）内の各画像ブロックに関する圧縮符号化複雑度γ_fmnを平均することにより、選択したフレーム（ｆ）に関する圧縮符号化複雑度γ_fを算出する（ステップ１１６）。

その後、圧縮符号化複雑度算出部１５Ｃは、対象区間内のフレーム（ｆ）のすべてについて圧縮符号化複雑度の算出処理を行ったか判断し（ステップ１１７）、未処理のフレームがある場合には（ステップ１１７：ＮＯ）、ステップ１１０へ戻って処理を継続する。
一方、対象区間内のフレーム（ｆ）のすべてについて圧縮符号化複雑度の算出処理が終了した場合（ステップ１１７：ＹＥＳ）、圧縮符号化複雑度算出部１５Ｃは、次の式（４）に基づいて、対象区間内の各フレーム（ｆ）に関する圧縮符号化複雑度γ_fを平均することにより、対象区間に関する圧縮符号化複雑度γを算出し（ステップ１１８）、一連の圧縮符号化複雑度算出処理を終了する。

［映像品質補正処理］
次に、図８および図９を参照して、本発明の一実施の形態にかかる映像品質推定装置の映像品質補正処理について説明する。図８は、本発明の一実施の形態にかかる映像品質推定装置の映像品質補正処理を示すフローチャートである。図９は、映像品質補正モデルを示す説明図である。

演算処理部１５の映像品質補正部１５Ｄは、前述した図３のステップ１０６において、図８の圧縮符号化複雑度算出処理を実行する。
映像品質補正部１５Ｄは、まず、記憶部１４から平均圧縮符号化複雑度γ_avg（１４Ｅ）と圧縮符号化複雑度算出部１５Ｃで算出された評価圧縮符号化複雑度γ_est（１４Ｆ）とを読み出し（ステップ１２０）、次の式（５）に基づいて、差分圧縮符号化複雑度Δγを算出する（ステップ１２１）。

次に、映像品質補正部１５Ｄは、記憶部１４から映像品質補正モデル１４Ｄを読み出し（ステップ１２２）、映像品質補正モデル１４Ｄの式（６）に基づいて、差分圧縮符号化複雑度Δγに対応する補正率Ｒを算出する（ステップ１２３）。ここで、式（６）のｂは、映像メディアの符号化・復号処理を実現するコーデックや、映像フォーマットにより決定される係数である。

図９の映像品質補正モデル１４Ｄは、指数関数式から構成した例であるが、差分圧縮符号化複雑度Δγの増加に応じて補正率Ｒが単調増加し、かつ差分圧縮符号化複雑度Δγが０のときに補正率Ｒが１となる関数式であれば映像品質補正モデル１４Ｄとして用いることができる。例えば、図９の破線に相当する、式（７）のような直線関数式を用いて補正率Ｒを算出してもよい。

続いて、映像品質補正部１５Ｄは、記憶部１４から映像品質推定部１５Ｂで算出された平均主観映像品質値ν（１４Ｃ）を読み出し（ステップ１２４）、次の式（８）に基づいて、差分圧縮符号化複雑度Δγを補正率Ｒで補正し、補正主観映像品質値Ｖを算出する（ステップ１２５）。

その後、映像品質補正部１５Ｄは、算出した補正主観映像品質値Ｖを記憶部１４へ保存して（ステップ１２１）、一連の映像品質補正処理を終了する。

［映像品質推定装置の効果］
このように、本実施の形態は、品質パラメータ取得部１５Ａにより、推定対象となる映像メディアに関係するパケットから品質パラメータ１４Ａを取得し、映像品質推定部１５Ｂにより、記憶部１４の映像品質推定モデル１４Ｂに基づいて品質パラメータに対応する平均主観映像品質値１４Ｃを推定し、圧縮符号化複雑度算出部１５Ｃにより、品質パラメータに基づいて、映像メディアの圧縮符号化処理に関する品質評価区間における複雑性を示す評価圧縮符号化複雑度１４Ｆを算出し、映像品質補正部１５Ｄにより、記憶部１４の平均圧縮符号化複雑度１４Ｅと圧縮符号化複雑度算出部１５Ｃにより算出された評価圧縮符号化複雑度１４Ｆとの差からなる差分圧縮符号化複雑度に基づいて、映像品質推定部１５Ｂで推定された平均主観映像品質値１４Ｃを補正している。

したがって、映像メディアが持つ圧縮符号化処理の複雑性、すなわち圧縮符号化複雑度に応じて変化する主観映像品質の特性を考慮して、より正確な主観映像品質を推定することが可能となる。また、圧縮符号化複雑度により平均主観映像品質値の補正については、対象映像メディアに関係するパケットから取得した品質パラメータに基づき行うことができる。このため、圧縮符号化された映像メディアを復号するための処理や構成を必要とすることなく、圧縮符号化複雑度に応じて変化する主観映像品質の特性を考慮した主観映像品質値を、極めて容易に推定できる。

これにより、映像配信サービスを利用するユーザに対して、ある一定以上の品質を保っているかどうかを、容易かつ正確に判断することが可能となる。このため、映像配信サービスで用いる品質パラメータの設計や、提供中の映像配信サービスに関する品質実態を、極めて容易に把握し、管理することが可能となる。

また、本実施の形態において、品質パラメータ取得部１５Ａにより、パケットから任意のフレームに設けられた画素ブロックに対応する各変換係数の量子化値とこれら変換係数に対応する量子化ステップ幅とをそれぞれ取得し、圧縮符号化複雑度算出部１５Ｃにより、任意のフレームに設けられた画素ブロックの変換係数ごとに、当該変換係数の量子化値と当該変換係数に対応する量子化ステップ幅との積を算出して平均することにより、当該画素ブロックの圧縮符号化複雑度を算出し、この画素ブロックの圧縮符号化複雑度を映像メディアの所望区間における各フレームの各画素ブロックで平均することにより、所望区間における圧縮符号化複雑度を算出するようにしたので、圧縮符号化複雑度を精度よく算出することができる。

また、本実施の形態では、圧縮符号化複雑度算出部１５Ｃにより、映像メディアのうち品質推定期間における評価圧縮符号化複雑度１４Ｆを算出し、映像品質補正部１５Ｄにより、映像品質補正モデル１４Ｄに基づいて、記憶部１４の平均圧縮符号化複雑度１４Ｅと圧縮符号化複雑度算出部１５Ｃで算出された評価圧縮符号化複雑度１４Ｆとの差からなる差分圧縮符号化複雑度に対応する補正率を算出し、この補正率に基づいて平均主観映像品質値１４Ｃを補正するようにしたので、圧縮符号化複雑度に基づいて平均圧縮符号化複雑度を容易に補正することができる。

また、本実施の形態では、映像品質補正モデルとして、差分圧縮符号化複雑度の増加に応じて単調増加し、かつ差分圧縮符号化複雑度が０のときに補正率が１となる関数式を用いるようにしたので、例えば高周波ＡＣ成分量が多く圧縮符号化複雑度が高い場合には、平均主観映像品質値に対する主観映像品質値の低下が顕著となるという、主観映像品質の特性を、正確かつ容易に映像品質補正モデルで表現することが可能となる。

［実施の形態の拡張］
以上の実施の形態では、図４の圧縮符号化複雑度算出処理において、選択したフレーム（ｆ）内の各画像ブロックに関する圧縮符号化複雑度γ_fmnを平均することにより、選択したフレーム（ｆ）に関する圧縮符号化複雑度γ_fを算出する場合について説明したが、パケット損失が発生して、任意の画像ブロックの圧縮符号化複雑度γ_fmnを算出できない場合もある。このような場合には、例外処理として、当該画像ブロックの圧縮符号化複雑度γ_fmnをゼロとし、式（３）の画像ブロック数Ｍ×Ｎから圧縮符号化複雑度γ_fmnを算出できなかった画像ブロック数を減算して平均を算出すればよい。

本発明の一実施の形態にかかる映像品質推定装置の構成を示すブロック図である。 本発明の一実施の形態にかかる映像品質推定装置の主観映像品質推定動作を示すフロー図である。 本発明の一実施の形態にかかる映像品質推定装置の主観映像品質推定処理を示すフローチャートである。 本発明の一実施の形態にかかる映像品質推定装置の圧縮符号化複雑度算出処理を示すフローチャートである。 映像フレーム内のブロックにおける画素分布を示す説明図である。 映像フレーム内のブロックにおける空間周波数分布を示す説明図である。 量子化ステップ幅を示す説明図である。 本発明の一実施の形態にかかる映像品質推定装置の映像品質補正処理を示すフローチャートである 映像品質補正モデルを示す説明図である。 圧縮符号化複雑度による映像品質の変化を示す説明図である。

符号の説明

１０…映像品質推定装置、１１…通信Ｉ／Ｆ部、１２…操作入力部、１３…画面表示部、１４…記憶部、１４Ａ…品質パラメータ、１４Ｂ…映像品質推定モデル、１４Ｃ…平均主観映像品質値、１４Ｄ…映像品質補正モデル、１４Ｅ…平均圧縮符号化複雑度、１４Ｆ…評価圧縮符号化複雑度、１４Ｇ…補正主観映像品質値、１４Ｐ…プログラム、１５…演算処理部、１５Ａ…品質パラメータ取得部、１５Ｂ…映像主観品質推定部、１５Ｃ…圧縮符号化複雑度算出部、１５Ｄ…映像品質補正部、２Ａ，２Ｂ…通信端末、３…パケット通信網。

Claims (9)

1. 複数のフレームに圧縮符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質の推定値を算出する映像品質推定装置であって、
   映像メディアに関係するパケットに含まれている当該映像品質に関する品質パラメータと当該映像メディアの平均主観映像品質推定値との対応関係を示す映像品質推定モデルと、当該映像メディアの圧縮符号化処理に関する平均的な複雑性を示す平均圧縮符号化複雑度とを記憶する記憶部と、
   推定対象となる映像メディアに関係するパケットから前記品質パラメータを取得する品質パラメータ取得部と、
   前記記憶部の映像品質推定モデルに基づいて前記品質パラメータに対応する平均主観映像品質値を推定する映像品質推定部と、
   前記品質パラメータに基づいて、前記映像メディアの圧縮符号化処理に関する品質評価区間における複雑性を示す評価圧縮符号化複雑度を算出する圧縮符号化複雑度算出部と、
   前記記憶部の平均圧縮符号化複雑度と前記圧縮符号化複雑度算出部で算出された評価圧縮符号化複雑度との差からなる差分圧縮符号化複雑度に基づいて、前記映像品質推定部で推定された平均主観映像品質値を補正する映像品質補正部と
   を備えることを特徴とする映像品質推定装置。
2. 請求項１に記載の映像品質推定装置において、
   前記品質パラメータ取得部は、前記パケットから任意のフレームに設けられた画素ブロックに対応する各変換係数の量子化値とこれら変換係数に対応する量子化ステップ幅とをそれぞれ取得し、
   前記圧縮符号化複雑度算出部は、任意のフレームに設けられた画素ブロックの変換係数ごとに、当該変換係数の量子化値と当該変換係数に対応する量子化ステップ幅との積を算出して平均することにより、当該画素ブロックの圧縮符号化複雑度を算出し、この画素ブロックの圧縮符号化複雑度を前記映像メディアの所望区間における各フレームの各画素ブロックで平均することにより、所望区間における圧縮符号化複雑度を算出することを特徴とする映像品質推定装置。
3. 請求項１に記載の映像品質推定装置において、
   前記記憶部は、映像メディアの平均的な圧縮符号化複雑度と映像メディアのうち品質評価区間における圧縮符号化複雑度との差を示す差分圧縮符号化複雑度と、この差分圧縮符号化複雑度に対応する補正率との対応関係を示す映像品質補正モデルを記憶し、
   前記圧縮符号化複雑度算出部は、前記映像メディアのうち品質推定期間における評価圧縮符号化複雑度を算出し、
   前記映像品質補正部は、前記映像品質補正モデルに基づいて前記記憶部の平均圧縮符号化複雑度と前記圧縮符号化複雑度算出部で算出された評価圧縮符号化複雑度との差からなる差分圧縮符号化複雑度に対応する補正率を算出し、この補正率に基づいて前記映像品質推定部で推定された平均主観映像品質値を補正する
   ことを特徴とする映像品質推定装置。
4. 請求項３に記載の映像品質推定装置において、
   前記映像品質補正モデルは、前記差分圧縮符号化複雑度の増加に応じて補正率が単調増加し、かつ前記差分圧縮符号化複雑度が０のときに補正率が１となる関数式からなることを特徴とする映像品質推定装置。
5. 演算処理部と記憶部とを有し、複数のフレームに圧縮符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質の推定値を算出する映像品質推定装置で用いられる映像品質推定方法であって、
   前記記憶部により、前記映像メディアの圧縮符号化処理に関する平均的な複雑性を示す平均圧縮符号化複雑度を記憶するステップと、
   前記演算処理部により、前記品質パラメータに基づいて、前記映像メディアの圧縮符号化処理に関する品質評価区間における複雑性を示す評価圧縮符号化複雑度を算出する圧縮符号化複雑度算出ステップと、
   前記演算処理部により、前記記憶部の平均圧縮符号化複雑度と圧縮符号化複雑度算出ステップで算出された前記評価圧縮符号化複雑度との差からなる差分圧縮符号化複雑度に基づいて、前記映像メディアの平均主観映像品質値を補正する映像品質補正ステップと
   を備えることを特徴とする映像品質推定方法。
6. 請求項５に記載の映像品質推定方法において、
   前記品質パラメータ取得ステップは、前記パケットから任意のフレームに設けられた画素ブロックに対応する各変換係数の量子化値とこれら変換係数に対応する量子化ステップ幅とをそれぞれ取得するステップを有し、
   前記圧縮符号化複雑度算出ステップは、任意のフレームに設けられた画素ブロックの変換係数ごとに、当該変換係数の量子化値と当該変換係数に対応する量子化ステップ幅との積を算出して平均することにより、当該画素ブロックの圧縮符号化複雑度を算出するステップと、この画素ブロックの圧縮符号化複雑度を前記映像メディアの所望区間における各フレームの各画素ブロックで平均することにより、所望区間における圧縮符号化複雑度を算出するステップとを有する
   ことを特徴とする映像品質推定方法。
7. 請求項５に記載の映像品質推定方法において、
   前記記憶部により、映像メディアの平均的な圧縮符号化複雑度と映像メディアのうち品質評価区間における圧縮符号化複雑度との差を示す差分圧縮符号化複雑度と、この差分圧縮符号化複雑度に対応する補正率との対応関係を示す映像品質補正モデルとを記憶するステップをさらに備え、
   前記圧縮符号化複雑度算出ステップは、前記映像メディアのうち品質推定期間における評価圧縮符号化複雑度を算出するステップを有し、
   前記映像品質補正ステップは、前記映像品質補正モデルに基づいて前記記憶部の平均圧縮符号化複雑度と前記圧縮符号化複雑度算出ステップで算出された評価圧縮符号化複雑度との差からなる差分圧縮符号化複雑度に対応する補正率を算出するステップと、この補正率に基づいて前記映像品質推定ステップで推定された平均主観映像品質値を補正するステップとを有する
   ことを特徴とする映像品質推定方法。
8. 請求項７に記載の映像品質推定方法において、
   前記映像品質補正モデルは、前記差分圧縮符号化複雑度の増加に応じて補正率が単調増加し、かつ前記差分圧縮符号化複雑度が０のときに補正率が１となる関数式からなることを特徴とする映像品質推定方法。
9. 演算処理部と記憶部とを有し、複数のフレームに圧縮符号化した映像メディアを任意の端末へ通信網を介して送信する映像通信について、前記端末で再生された当該映像メディアから視聴者が実感する主観映像品質の推定値を算出する映像品質推定装置のコンピュータに、
   前記記憶部により、前記映像メディアの圧縮符号化処理に関する平均的な複雑性を示す平均圧縮符号化複雑度を記憶するステップと、
   前記演算処理部により、前記品質パラメータに基づいて、前記映像メディアの圧縮符号化処理に関する品質評価区間における複雑性を示す評価圧縮符号化複雑度を算出する圧縮符号化複雑度算出ステップと、
   前記演算処理部により、前記記憶部の平均圧縮符号化複雑度と前記評価圧縮符号化複雑度との差からなる差分圧縮符号化複雑度に基づいて、前記映像メディアの平均主観映像品質値を補正する映像品質補正ステップと
   を実行させるプログラム。

Images