JP2012142848A - 映像品質推定装置及び方法及びプログラム - Google Patents

Abstract

【課題】 原映像信号を用いずに、劣化映像信号のみからコンテンツ依存性を多面的に考慮して映像品質を推定する。
【解決手段】 本発明は、映像配信で用いるパケットのヘッダ情報及びパケットに含まれる映像ビットストリームを復号し得られる映像信号から特徴量を算出する。具体的には、映像配信で用いるパケットのヘッダ情報から単位時間あたりのパケットもしくはビットレートを算出する、もしくは、映像ビットストリームを復号して得られる映像信号から動き量を算出する、もしくは、映像ビットストリームを復号して得られる映像信号からブロックノイズ量を算出する、もしくは、これらの組み合わせにより特徴量を算出する。算出されたビットレートから平均映像品質を算出し、平均映像品質と、ブロックノイズ量と、動き量を基に、映像品質を算出する。
【選択図】 図１

Description

本発明は、映像品質推定装置及び方法及びプログラムに係り、特に、ＩＰネットワーク経由で行う映像通信の映像品質を推定する映像品質推定装置及び方法及びプログラムに関する。

ＩＰ網の広帯域化、端末機器の高性能化，映像符号化技術の進歩に伴い、映像メディアを用いた映像通信サービス（例えば、IPTVサービス、TV電話サービスなど）が普及してきている。

映像メディアを用いた通信では、ネットワークの利用効率を向上させるため映像メディアの情報量の圧縮（映像符号化）が行われる。映像符号化による映像情報の削減により、映像信号にモザイク状の歪（ブロックノイズ）、ぼけ、にじみ、ぎくしゃく感などの現象が発生し、ユーザが知覚する品質（ユーザ体感品質：QoE（Quality of Experience））が低下する。

上記サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス提供中の品質管理が重要となり、このためには、ユーザが享受する品質を適切に定量化し、しかも簡便かつ効率的な映像品質評価技術が必要となる。

従来、劣化のない映像信号（原映像信号）と符号化劣化やパケット損失劣化が発生した映像信号（劣化映像信号）の画素情報を比較することで映像品質を推定する映像品質評価法がある（例えば、特許文献１、非特許文献１，２参照）。

また、パケットのヘッダ情報から映像品質に影響を与える品質パラメータ（ビットレート，パケット損失率など）を算出し、品質パラメータから映像品質を推定する映像品質評価法がある（例えば、特許文献２参照）。

さらに、品質パラメータと、画素情報から算出される映像コンテンツの特徴量を用いることで映像品質を推定する映像品質評価法がある（例えば、非特許文献３参照）。

特許４２５７３３３号公報 特許４４９０４８３号公報

ITU-T勧告J。144 ITU-T勧告J。247 K. Yamagishi, T。 Kawano, and T. Hayashi, "Hybrid video-quality-estimation model for IPTV services," IEEE GLOBECOM 2009, CQPRM13-1, Nov. 2009.

しかしながら、特許文献１及び非特許文献１、２の技術は、原映像信号を必要とするため、原映像信号を入手できない環境では適用できないという制限がある。

また、特許文献２の技術は、原映像信号を必要としない技術であるが、映像コンテンツの特徴（例えば、動きの多い映像など）の違いによる品質のゆらぎ（コンテンツ依存性）は考慮できない。図１は、主観品質評価実験の結果を基に、ビットレートと映像品質の関係をグラフ化したものである。図１のように、同じビットレート条件でも、映像コンテンツの違いにより映像品質が異なる。映像品質を正確に推定するためには、コンテンツ依存性を加味する必要がある。

さらに、非特許文献３の技術はコンテンツ依存性を考慮するために、品質パラメータに加え、画素情報から算出されるコンテンツの特徴を定量化した特徴量（コンテンツ特徴量）を用いている。しかし、多種多様なコンテンツの特徴を画素情報に基づくコンテンツ特徴量のみで表現するのは難しく、コンテンツ特徴量だけでは、完全にコンテンツ依存性を考慮したとはいい難い。

本発明は、上記に鑑みてなされたもので、その目的とするところは、原映像信号を用いずに、劣化映像信号のみからコンテンツ依存性を多面的に考慮して映像品質を推定する装置及び方法及びプログラムを提供することである。

上記の課題を解決するため、本発明は、ネットワークを介して映像を配信するサービスに対してユーザが体感する映像品質を推定する映像品質推定装置であって、
映像配信で用いるパケットのヘッダ情報及び前記パケットに含まれる映像ビットストリームを復号し得られる映像信号から、特徴量を算出する特徴量導出手段と、
前記特徴量から映像品質を算出する映像品質導出手段と、
を有し、
前記特徴量導出手段は、
前記映像配信で用いるパケットのヘッダ情報から単位時間あたりのパケットもしくは映像ビットストリームのビット量（ビットレート）を算出するビットレート算出手段、
もしくは、
前記映像ビットストリームを復号して得られる映像信号から動き量を算出する動き量算出手段、
もしくは、
前記映像ビットストリームを復号して得られる映像信号からブロックノイズ量を算出するブロックノイズ量算出手段、
もしくは、
これらの組み合わせを備え、
前記映像品質導出手段は、
前記ビットレートと、前記ブロックノイズ量と、前記動き量から映像品質を推定する映像品質推定手段を備えることを特徴とする。

上記にように、本発明によれば、パケットヘッダ情報と映像信号からコンテンツの特徴及び符号化劣化を定量化した特徴量を抽出し映像通信サービスの映像品質値を推定できる。そのため、サービスを利用するユーザに対してある一定以上の品質を保っているかどうかをより正確に判断することができる。これにより、提供中のサービスの品質実態を把握・管理することが可能となる。

映像品質のコンテンツ依存性を示す図である。 動き量の品質特性を示す図である。 本発明の一実施の形態における映像品質推定装置の構成図である。 本発明の一実施の形態におけるブロックノイズ量算出部における符号化ブロック境界領域を示す図である。 本発明の一実施の形態におけるビットレートと平均映像品質の関係を示す図である。

以下図面と共に、本発明の実施の形態を説明する。

本発明では、パケットヘッダ情報から得られる品質パラメータと画素情報から得られるコンテンツの特徴量に、画素情報から得られる符号化劣化を定量化した特徴量をコンテンツ依存性を評価する項目に加えることで、コンテンツの特徴だけではなく、コンテンツの違いによる劣化も考慮することで、コンテンツ依存性を多面的に捉え、映像品質を推定する精度を向上させる。

具体的には、パケットヘッダ情報から得られる品質パラメータとして「ビットレート」、画素情報から得られるコンテンツの特徴量として「動き量」、画素情報から得られる符号化劣化を定量化した特徴量として「ブロックノイズ量」を用いてコンテンツ依存性を考慮し、映像品質を推定する。

（１）ビットレート（パケットヘッダ情報）
ビットレートとは、パケットもしくは、パケットに含まれる映像ビットストリームの時間単位あたりのビット量を表す。パケットのヘッダ情報（例えば、ＩＰパケットヘッダに含まれるパケット長とＲＴＰパケットのヘッダに含まれるタイムスタンプ）を用いて単位時間あたりのビット量を計算することで、ビットレートは算出される。

映像符号化は情報量の圧縮のために映像情報を削減している。そのため、ビットレートが高い／低いは、映像情報の削減量の少ない／多いを意味し、同じ映像コンテンツに限れば、ビットレートが高いほど品質は高く、逆に、ビットレートが低くなるほど映像情報の削減量が多くなり、品質は低くなる。このことから、映像品質に影響を与える特徴量の一つとして符号化劣化を定量化したビットレートを用いる。

（３）動き量（コンテンツ特徴量）
映像情報の中には、冗長性のあるものや、人間の知覚的に認識されないものもあり、そういった映像情報は削減しても、品質はあまり低下しない。このように、映像情報の削減量が品質に及ぼす影響の大小に作用する。映像情報が有するコンテンツの特徴の一つとして、品質に及ぼす影響の大きい「動き」を用い、「動き」を定量化した特徴量をコンテンツ依存性の評価項目とする。

動きを定量化した動き量の算出方法を以下で説明する、全ての隣接する２つフレームの組に対し、フレーム間の同じ画素位置の輝度値の差分値を全ての画素において求め、その差分値の標準偏差を算出する。このように求めた標準偏差を全ての隣接するフレームの組で平均した値を動き量とする。

映像符号化は画素値の時間的な冗長性を削減して情報量を圧縮している。そのため、画素の時間的変化、つまり、動きが多い映像は、画素値の時間的冗長性が低くなり、品質を保って情報を圧縮するのが難しくなる。逆に、動きが少ない映像は、画素値の時間的冗長性が高くなり、品質を保って情報を圧縮し易くなる。図２は、ビットレートと映像品質の関係を示しており、プロット点が濃いほど、動き量が小さいことを示し、プロット点が薄いほど、動き量が大きいことを示す。同じビットレート条件では、動き量が大きいほど、品質が低くなる傾向がある。

（３）ブロックノイズ量（劣化特徴量）
劣化映像信号において発生した「劣化」の中でも主要な符号化劣化である「ブロックノイズ」を定量化した「ブロックノイズ量」をコンテンツ依存性の評価項目とする。

映像符号化は、フレームもしくはフィールドを矩形ブロック（符号化ブロック）に区分し、符号化ブロック毎に情報を削減しているため、符号化ブロックの境界付近に原映像信号には存在しない画素値（輝度値及び色差値）の不自然な段差が生じる。こうした劣化をブロックノイズという。ブロックノイズを定量化したブロックノイズ量の算出方法を以下で説明する。

対象とする映像信号にエッジ抽出フィルタを適用する。このとき、符号化ブロックの境界付近（符号化ブロック境界領域）にブロックノイズにより発生したエッジが抽出される。

次に、フレーム毎に符号化ブロック境界領域のエッジ量を算出する。符号化ブロック境界領域には、原映像信号のエッジも含まれるため、符号化ブロック境界領域以外の領域のエッジ量で符号化ブロック境界領域のエッジ量を除算し、正規化する。正規化した値を全フレームで平均した値をブロックノイズ量とする。

ブロックノイズ量が増加すると、符号化ブロックの境界付近にブロックノイズが発生し、映像品質が低下する。

図３は、本発明の一実施の形態における映像品質推定装置の構成図である。

同図に示す映像品質推定装置は、特徴導出部１０と映像品質導出部２０から構成される。

特徴導出部１０は、ビットレート算出部１００、ブロックノイズ量算出部１０１、動き量算出部１０２から構成される。

特徴量導出部１０は、映像通信に用いるＩＰパケット及びＩＰパケットに含まれる映像ビットストリームを復号した映像信号を入力とする。ＩＰパケットをビットレート算出部１００に、映像信号をブロックノイズ量算出部１０１と動き量算出部１０２に入力する。

ビットレート算出部１００は、入力されたＩＰパケットから、単位時間あたりのＩＰパケットもしくは映像ビットストリームのビット量（ビットレートＢｒ）を算出する。例えば、ＩＰパケットのヘッダに含まれるパケット長とＲＴＰ（Real time Transport Protocol）ヘッダに含まれるタイムスタンプを用いて算出することができる。ビットレートBrを映像品質導出部２０に入力する。

ブロックノイズ量算出部１０１は、入力された映像信号（本実施の形態では映像信号に含まれる輝度信号に適用するが，色差信号でもよい）からブロックノイズ量Bを算出する。ブロックノイズ量Bは、文献１（河野，山岸，岡本，"IPTVサービスを対象としたNR型メディアレイヤモデルの提案," 信学技報, CQ 109(373), pp.137-142, Jan. 2010）に記載のブロックノイズ量を用いる。

まず，入力された映像信号に、エッジ抽出フィルタを適用する．このとき，適用後の信号をエッジ映像信号とする。本実施の形態では、エッジ抽出フィルタとしてCanny Edge Detector（文献２："A Computational Approach to Edge Detection," by J.F. Canny, IEEE Transactions on Pattern Analysis and Machine Intelligence, 8, pp.769-798, 1986）を使用する。エッジ抽出フィルタとしては、Sobelフィルタやラプラスフィルタを適用することができるが、Canny Edge Detectorを利用すると、精度良くブロックノイズを抽出できる。

次に、符号化ブロック境界領域と非符号化ブロック境界領域を定義する。符号化ブロック境界領域は、離散コサイン変換及び量子化の処理単位である符号化ブロックの境界付近の画素の集合である。本実施の形態では、図４のように、符号化ブロック境界線（図の黒の線）に隣接する画素の集合、ブロック境界線を含む画素及びその画素に隣接する画素の集合を符号化ブロック境界領域とする。なお、符号化ブロック境界線の位置はコーデックの種類により異なる。また、解像度変換などの画像処理により、コーデックで定義されているブロック境界位置と一致しないことがある。例えば、解像度1440×1080の符号化映像を、解像度1920×1080の映像にサイズ変換する場合、8×8のブロックサイズは10.66×8のブロックサイズとなる。符号化ブロック境界線の位置についてはシステムに基づいて予め設定しておくか、推定する必要があり、本実施の形態では、ブロック境界位置が予め設定されている場合の例を示す。一方、非符号化ブロック境界領域は、符号化ブロック境界領域以外の全ての画素の集合を示す。

次に、フレーム毎にエッジ映像信号の符号化ブロック境界領域内に位置する画素値の合計を符号化ブロック境界領域の総画素数で除算した値B₁(f)を算出する。ここでfはフレーム番号を示す。ブロックノイズのエッジは、符号化ブロック境界領域に発生するため、ブロックノイズが強くなると、B₁(f)が大きくなる。しかし、原映像信号のエッジも符号化ブロック境界領域に含まれるため、フレーム毎にエッジ映像信号の非符号化ブロック境界領域内に位置する画素値の合計を非符号化ブロック境界領域の総画素数で除算した値
B₂(f)を算出し、B₁(f)をB₂(f)で除算し原映像信号のエッジの影響を取り除く。次式のように、
B₁(f)／B₂(f)
を全てのフレームで平均した値をブロックノイズ量Bとする。

ここでNは総フレーム数を示す。

動き量算出部１０２は，入力された映像信号から，動き量Ｍを算出する．動き量Ｍは文献３（ＩＴＵ−Ｔ勧告Ｐ．９１０）に記載のＴＩ（Temporal perceptual information）をベースとしている。

まず、隣接するフレーム間の同じ画素位置の輝度値の差分値ｍ（ｆ，ｗ，ｈ）を次式のように算出する。

M(f，w，h) = y(f，w，h) − y(f−1，w，h)
ここでｙ（ｆ，ｗ，ｈ）は映像信号のｆフレーム目の画素位置（ｗ，ｈ）の輝度値を示す。

次に、次式のように隣接するフレームの組毎にｍ（ｆ，ｗ，ｈ）の標準偏差を算出し、全ての隣接するフレームの組で平均した値を動き量Ｍとする。

上記において、std_space(m(f,w,h))は、m(f,w,h)の標準偏差をフレームｆ毎に出力する関数、Ｎは総フレーム数を示す。

映像品質導出部２０は平均映像品質算出部２００と映像品質算出部２０１から構成される。映像品質導出部２０は、入力されたビットレートを平均映像品質算出部２００に入力し、入力されたブロックノイズ量と動き量を映像品質算出部２０１に入力する。

平均映像品質算出部２００は、入力されたビットレートBrから平均映像品質を算出する。平均映像品質は、特許文献２の平均映像品質を用いる。図５は、ビットレートBrと、ビットレート毎のある映像コンテンツ群の平均映像品質（平均映像品質Ｖq_ave)の関係を示す。ビットレートBrの増加に伴い、平均映像品質Ｖq_aveも増加し、品質の上限値に収束する．一方，ビットレートBrの減少に伴い，平均映像品質Ｖq_aveも減少し、品質の下限値に収束する。この品質特性を数式化し、その数式にビットレートBrを入力することで、平均映像品質を算出する。本実施の形態では以下の数式を用いる。

但し、v₁，v₂，v₃はコーデック種別、サービス種別、映像解像度などにより決まる係数である。表１のように、予め，コーデック種別（H.264，MPEG-2など）、サービス種別（IPTV，テレビ電話など）、映像解像度（1080i，720pなど）の組み合わせ毎に、モデル係数のテーブルとして保持する必要がある。これらのテーブルは主観品質評価実験の結果に基づいて作成される。

映像品質算出部２０１は、入力された平均映像品質Ｖq_ave，ブロックノイズ量B，動き量Mから映像品質Vｑを算出する。次式のように、映像品質Vｑは、平均映像品質Ｖq_ave，ブロックノイズ量B，動き量M，及び、それらをかけ合わせたものの線形和として算出される。

Ｖq=ｖ₄ Ｖq_ave＋ｖ₅ B + ｖ₆ M + v7 Ｖq_ave B + ｖ₈ Ｖq_ave M + ｖ₉ B M+ｖ₁₀
但し、ｖ₄，ｖ_５，ｖ_６，ｖ_７，ｖ_８，ｖ_９，ｖ_１０はコーデック種別，サービス種別，映像解像度などにより決まる係数で表１のように、予め、コーデック種別（H.264，MPEG-2など）、サービス種別（IPTV，テレビ電話など）、映像解像度（1080i，720pなど）の組み合わせ毎に，モデル係数のテーブルとして保持する必要がある。これらのテーブルは主観品質評価実験の結果に基づいて作成される。

なお、図３に示す映像品質推定装置の構成要素の各動作をプログラムとして構築し、映像品質推定装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

１０ 特徴量導出部
２０ 映像品質導出部
１００ ビットレート算出部
１０１ ブロックノイズ量算出部
１０２ 動き量算出部
２００ 平均映像品質算出部
２０１ 映像品質算出部

Claims (10)

1. ネットワークを介して映像を配信するサービスに対してユーザが体感する映像品質を推定する映像品質推定装置であって、
   映像配信で用いるパケットのヘッダ情報及び前記パケットに含まれる映像ビットストリームを復号し得られる映像信号から、特徴量を算出する特徴量導出手段と、
   前記特徴量から映像品質を算出する映像品質導出手段と、
   を有し、
   前記特徴量導出手段は、
   前記映像配信で用いるパケットのヘッダ情報から単位時間あたりのパケットもしくは映像ビットストリームのビット量（ビットレート）を算出するビットレート算出手段、
   もしくは、
   前記映像ビットストリームを復号して得られる映像信号から動き量を算出する動き量算出手段、
   もしくは、
   前記映像ビットストリームを復号して得られる映像信号からブロックノイズ量を算出するブロックノイズ量算出手段、
   もしくは、
   これらの組み合わせを備え、
   前記映像品質導出手段は、
   前記ビットレートと、前記ブロックノイズ量と、前記動き量から映像品質を推定する映像品質推定手段を備える
   ことを特徴とする映像品質推定装置。
2. 前記動き量算出手段は、
   前記映像信号に基づき，映像コンテンツの画素値の時間方向の変化を定量化した動き量を算出する手段と、
   前記映像信号に基づき，隣接する２つのフレーム間の同じ画素位置の画素値の差分値の標準偏差を、隣接する２つのフレーム組毎に算出し、前記標準偏差を全ての隣接する２つのフレーム組で平均した値を動き量として算出する手段と、
   を含む請求項１記載の映像品質推定装置。
3. 前記ブロックノイズ量算出手段は、
   前記映像信号にエッジ抽出フィルタを適用し、エッジ映像信号を生成する手段と、
   前記エッジ映像信号について、映像符号化方式における離散コサイン変換の適用単位である矩形ブロックに関する境界線の近隣領域の画素の集合を符号化ブロック境界領域とし、符号化ブロック境界領域以外の画素の集合を非符号化ブロック境界領域として、フレーム毎に分類する手段と、
   前記エッジ映像信号からフレーム毎に符号化ブロック境界領域のエッジ量（符号化ブロック境界領域エッジ量）を算出する手段と、
   前記エッジ映像信号からフレーム毎に非符号化ブロック境界領域のエッジ量（非符号化ブロック境界領域エッジ量）を算出する手段と、
   フレーム毎に前記符号化ブロック境界領域エッジ量を前記非符号化ブロック境界領域エッジ量で除算し、除算した値を全フレームで平均した値をブロックノイズ量として算出する手段と、
   を含む請求項２記載の映像品質推定装置。
4. 前記映像品質推定手段は、
   前記ビットレートから平均映像品質（ビットレート毎の複数コンテンツの映像品質の平均値）を算出する平均映像品質算出手段と、
   前記平均映像品質算出手段で算出された当該平均映像品質と、前記ブロックノイズ量算出手段で算出された前記ブロックノイズ量と、前記動き量算出手段で算出された前記動き量を基に，映像品質を算出する映像品質算出手段と、
   を含む請求項１記載の映像品質推定装置。
5. 前記平均映像品質算出手段は、
   前記ビットレートから平均映像品質を算出するモデル式と、
   コーデック種別、サービス種別、映像解像度といった品質特性に対応して、予め，その品質特性に応じたモデル式の係数のテーブルと、
   を備える請求項４記載の映像品質推定装置。
6. 前記映像品質推定手段は、
   前記平均映像品質、前記動き量、前記ブロックノイズ量から映像品質を算出するモデル式と、
   コーデック種別、サービス種別、映像解像度といった品質特性に対応して、予め、その品質特性に応じたモデル式の係数のテーブルと、
   を備える請求項４記載の映像品質推定装置。
7. ネットワークを介して映像を配信するサービスに対してユーザが体感する映像品質を推定する映像品質推定方法であって、
   特徴量導出手段が、映像配信で用いるパケットのヘッダ情報及び前記パケットに含まれる映像ビットストリームを復号し得られる映像信号から、コンテンツの特徴及び符号化劣化を定量化した特徴量を算出する特徴量導出ステップと、
   映像品質導出手段が、前記特徴量から映像品質を算出する映像品質導出ステップと、
   を行うことを特徴とする映像品質推定方法。
8. 前記特徴量導出ステップにおいて、
   前記映像配信で用いるパケットのヘッダ情報から単位時間あたりのパケットもしくは映像ビットストリームのビット量（ビットレート）を算出する、
   もしくは、
   前記映像ビットストリームを復号して得られる映像信号から動き量を算出する、
   もしくは、
   前記映像ビットストリームを復号して得られる映像信号からブロックノイズ量を算出する、
   もしくは、
   これらの組み合わせにより前記特徴量を算出し、
   前記映像品質導出ステップにおいて、
   前記ビットレートと、前記ブロックノイズ量と、前記動き量から映像品質を推定する
   請求項７記載の映像品質推定方法。
9. 前記映像品質導出ステップにおいて、
   前記ビットレートから平均映像品質（ビットレート毎の複数コンテンツの映像品質の平均値）を算出し、
   前記平均映像品質と、前記ブロックノイズ量と、前記動き量を基に、映像品質を算出する、
   請求項８記載の映像品質推定方法。
10. 請求項１乃至６のいずれか１項に記載の映像品質推定装置を構成する各手段としてコンピュータを機能させるためのプログラム。

Images