JP2015026879A

JP2015026879A - 映像品質推定装置、映像品質推定方法及びプログラム

Info

Publication number: JP2015026879A
Application number: JP2013153252A
Authority: JP
Inventors: 和久山岸; Kazuhisa Yamagishi
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-07-24
Filing date: 2013-07-24
Publication date: 2015-02-05
Anticipated expiration: 2033-07-24
Also published as: JP6078431B2

Abstract

【課題】客観的な映像品質評価値推定に用いる特徴量種別に応じてダウンサンプリングされた映像から算出した特徴量を用いて映像品質評価値を導出する映像品質推定技術を提供する。
【解決手段】映像の品質を評価する映像品質推定装置は、入力された画素信号をダウンサンプリングするダウンサンプリング部と、ダウンサンプリングされた画素信号から導出された特徴量を用いて、映像品質評価値を導出する映像品質推定部とを有する。また、映像の品質を評価する映像品質推定装置における映像品質推定方法は、前記映像品質推定装置のダウンサンプリング部が、入力された画素信号をダウンサンプリングするステップと、前記映像品質推定装置の映像品質推定部が、ダウンサンプリングされた画素信号から導出された特徴量を用いて、映像品質評価値を導出するステップとを有する。
【選択図】図３

Description

本発明は、映像品質推定装置、映像品質推定方法及びプログラムに係り、特に、ネットワーク経由で行う映像配信サービスにおいて映像の品質の客観的評価を効率的に実行するための映像品質推定技術に係る。

放送波及びインターネットアクセス回線の高速・広帯域化に伴い、放送波やインターネットを介して映像メディアを端末間あるいはサーバと端末との間で転送する映像通信サービスが普及している。

放送、CATVやインターネットにおいては、原映像を符号化して映像を送信するため、符号化による劣化が生じる。このため、映像メディアなどに対してユーザが知覚する品質（ユーザ体感品質：QoE（Quality of Experience））が劣化してしまう。

具体的には、原映像を符号化する場合、フレーム内の映像信号にブロック単位の処理による劣化が生じたり、映像信号の高周波成分が失われることにより、映像全体の精細感が低くなる。

結果として、ユーザは受信した映像に、ぼけ、にじみ、モザイク状の歪みを知覚する。

上記のような特性を有する映像通信サービスを良好な品質でユーザに提供していることを確認するためには、映像通信サービス提供前もしくは提供中に、ユーザが体感する映像の品質を測定し、ユーザに対して提供される映像の品質を監視する必要がある。

したがって、ユーザが体感する映像の品質を適切に評価することができる映像品質客観評価技術が必要とされている。

これに対し、従来から様々な主観品質評価法や客観品質評価法が提案されており、客観品質評価法には、映像の画素信号から抽出される特徴量から映像品質評価値を導出する技術（例えば、非特許文献１−３参照）がある。

ITU-T勧告J.341，2011年1月 ITU-T勧告J.247，2008年8月 ITU-T勧告J.144，2004年3月 ITU-T勧告P.910，2008年4月

非特許文献１−３に示されている従来技術は、映像フレーム（ピクチャ）単位に特徴量を導出し、それらを基に統計処理（平均化処理など）を施した値を、一定時間（例えば、１０秒など）の映像品質評価値として導出している。

しかしながら、映像サイズが大きくなればなるほど、特徴量の算出に必要な演算量が増大していくという問題がある。例えば、非特許文献２や３ではオリジナルの映像サイズで特徴量を算出しており、これら特徴量を4K（3840x2160）や8K（7680x4320）などの大きな映像サイズに対し算出すると、演算量は膨大になる。このように、従来技術はオリジナルの映像サイズで特徴量を計算しており、映像サイズが大きくなればなるほど演算量が膨大になる問題がある。

非特許文献１では、HDサイズ（1920x1080や1280x720）を960x540に変換し、特徴量を計算している。非特許文献１のように映像サイズを縮小し特徴量を計算する場合、4Kや8Kの映像を960x540のように極端に小さな映像とした場合、オリジナルのサイズで計算した特徴量と960x540のサイズで計算した特徴量は必ずしも相関が高くなるとは言えず、結果的に、品質推定精度が低下してしまう問題がある。

上記問題点を詳述するため、映像サイズをダウンサイズし、特徴量を計算した場合とオリジナルのサイズに対し、計算した場合の特徴量例を図１及び図２に示す。図１は、10秒の3840x2160/60fpsの原映像をあるビットレートで符号化した映像（劣化映像）に、ITU-T勧告P.910（非特許文献４参照）で定義されるSI（垂直水平方向に3x3のSobelフィルタを原映像に施し、垂直水平方向のエッジ量の二乗和の平方根を画素ごとに算出し、そのエッジ量の標準偏差を算出）を映像フレーム毎に算出し、映像フレーム数（600枚）で平均した値（SI_i_Lx）を示している。図２は、TI（2枚の隣接映像フレームの差分画像の標準偏差を算出）を映像フレーム毎に算出し、差分映像フレーム数（599枚）で平均した値（TI_i_Lx）を算出した結果を示している。ここで、ITU-T勧告P.910の定義では、SIおよびTIは映像フレーム毎に算出されたSI値およびTI値に対し、測定区間内で最大の値を持つものと定義されているが、ここでは、全映像フレームのSIとTIを映像フレーム数で平均している。また、iはR（原映像）、D（劣化映像）を表し、L1はオリジナルの映像サイズ（3840x2160）、L2は1920x1080、L3は960x540、L4は480x270、L5は240x135である。これらの図よりわかるように、SIはL1とL2の解像度から算出される特徴量の対応が良い（つまり、曲線近似可能である）がその他の解像度とは対応が悪い。TIはL1、L2、L3の解像度から算出される特徴量の対応が良いがその他の解像度とは対応が悪い。つまり、特徴量によって、縮小できる解像度のレベルが異なるといえる。

縮小した解像度から算出された特徴量とオリジナルのサイズから算出された特徴量が高い相関で近似できる場合には、非特許文献２、３のようにオリジナルの解像度から特徴量を算出するのは演算量削減の観点からは非効率であることがわかる。また、非特許文献１のように特徴量によらず、特徴量を固定サイズで算出することは演算量の観点からは非効率な場合がある。更に、大きな解像度の映像から特定の解像度にダウンサンプリングすると、ダウンサンプリングされた映像から算出された特徴量がオリジナルのサイズから算出された特徴量と対応が悪く、品質推定精度が低下してしまう。

上記特徴量はオリジナルの映像サイズが3840x2160のものを例に説明しているが、オリジナルの映像サイズが変われば、どの程度ダウンサンプリングできるかも変わる。例えば、7680x4320の映像サイズからある特徴量を算出する場合では３段階のダウンサンプリングができるが、オリジナルの映像サイズが640x480の映像サイズからある特徴量を算出する場合では2段階のダウンサンプリングしかできないなど、オリジナルの映像サイズによってダウンサンプリングのサイズが異なる。そのため、特徴量導出時には、オリジナルの映像サイズを加味し、画素の間引き数を変化させ特徴量を導出することが品質推定精度の観点で重要である。

本発明は、上記の点に鑑みなされたもので、客観的な映像品質評価値推定に用いる特徴量種別に応じてダウンサンプリングされた映像から算出した特徴量を用いて映像品質評価値を導出する映像品質推定技術を提供することを目的とする。具体的には、オリジナルの映像サイズを、算出する特徴量に応じ、適切な解像度にダウンサンプリングして特徴量を算出し、映像品質評価値を導出することにより、演算量を削減することが可能な映像品質推定装置、方法及びプログラムを提供することである。

本発明の一形態に係る映像品質推定装置は、
映像の品質を評価する映像品質推定装置であって、
入力された画素信号をダウンサンプリングするダウンサンプリング部と、
ダウンサンプリングされた画素信号から導出された特徴量を用いて、映像品質評価値を導出する映像品質推定部と、
を有することを特徴とする。

また、本発明の一形態に係る映像品質推定方法は、
映像の品質を評価する映像品質推定装置における映像品質推定方法であって、
前記映像品質推定装置のダウンサンプリング部が、入力された画素信号をダウンサンプリングするステップと、
前記映像品質推定装置の映像品質推定部が、ダウンサンプリングされた画素信号から導出された特徴量を用いて、映像品質評価値を導出するステップと、
を有することを特徴とする。

また、本発明の一形態に係るプログラムは、
映像の品質を評価する映像品質推定装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを
入力された画素信号をダウンサンプリングするダウンサンプリング手段、及び
ダウンサンプリングされた画素信号から導出された特徴量を用いて、映像品質評価値を導出する映像品質推定手段、
として機能させることを特徴とする。

本発明によれば、客観的な映像品質評価値推定に用いる特徴量種別に応じてダウンサンプリングされた映像から算出した特徴量を用いて映像品質評価値を導出することが可能になる。オリジナルの映像サイズを適切な解像度にダウンサンプリングした映像を用いて映像品質評価値を推定することから、品質評価の精度を落とさず演算量を削減することが可能となる。

オリジナルの映像サイズにおける映像フレームから算出された特徴量（SI）とダウンサンプリングされた映像フレームから算出された特徴量（SI）との関係を示す図オリジナルの映像サイズにおける映像フレームから算出された特徴量（TI）とダウンサンプリングされた映像フレームから算出された特徴量（TI）との関係を示す図本発明の第１実施例に係る映像品質推定装置の構成図本発明の第１実施例に係る映像品質推定方法のフローチャートオリジナルの映像サイズにおける映像フレームから算出された特徴量（PSNR）とダウンサンプリングされた映像フレームから算出された特徴量（PSNR）との関係を示す図本発明の第２実施例に係る映像品質推定装置の構成図本発明の第２実施例に係る映像品質推定方法のフローチャート本発明の第３実施例に係る映像品質推定方法のフローチャート

以下、本発明の実施例について詳細に説明する。

＜第１実施例＞
図３は、本発明の第１実施例に係る映像品質推定装置１００の構成図である。映像品質推定装置１００は、映像の品質を客観的に評価する装置である。以下に説明するように、映像品質推定装置１００は、オリジナルの映像サイズを適切な解像度にダウンサンプリングした映像を用いて映像品質評価値を推定することにより、映像品質を評価する際の演算量を削減することができる。

映像品質推定装置１００は、ダウンサンプリング部１０１と、映像品質推定部１０２とを有する。

ダウンサンプリング部１０１は、入力された信号（画素信号）をダウンサンプリングする。例えば、ダウンサンプリング部１０１は、水平垂直方向に偶数番目又は奇数番目の画素を間引くことにより、オリジナルの映像サイズを半分にダウンサンプリングしてもよい。

映像品質推定部１０２は、ダウンサンプリングされた画素信号から所望の測定区間の映像品質評価値を推定する。映像品質推定部１０２は、映像フレーム品質推定部１０３と、映像品質評価部１０４とを有する。映像フレーム品質推定部１０３は、映像フレーム単位の特徴量F_ij（i：特徴量番号、j：映像フレーム番号）を導出する。次に、映像品質評価部１０４は、導出された特徴量F_ijを重みづけ処理などし、映像品質評価値Vを導出する。
具体的な計算処理例は以下のようになる。

ただし、a_j、b_iは重み係数、Jは測定区間の映像フレーム数、Iは特徴量の数である。

次に、第１実施例に係る映像品質推定装置１００の動作について説明する。図４は、本発明の第１実施例に係る映像品質推定方法のフローチャートである。

ダウンサンプリング部１０１は、オリジナルの映像サイズの画素情報をダウンサンプリングする。例えば、3840x2160の解像度を水平垂直方向に、偶数番目の画素を間引き、1920x1080の解像度の映像に変換する（Ｓ１０１）。本実施例では、偶数番目の画素を間引くとしているが、奇数番目の画素を間引いても良いし、水平垂直方向に半分にダウンサンプリングするのではなく、3画素や4画素などに対し1画素ずつ残し、ダウンサンプリングしても良い。

映像フレーム品質推定部１０３は、ダウンサンプリングされた映像から映像フレーム毎の特徴量を導出する（Ｓ１０２）。特徴量の例および算出方法は以下に詳細に説明する。

映像品質評価部１０４は映像フレーム毎に算出された特徴量を重みづけ処理し、映像品質評価値Vを導出し、処理を終了する。（Ｓ１０３）。本実施例は特徴量を重みづけ処理し、映像品質評価値を導出する例を示したが、本発明の範囲はこの導出方法に限るものではない。

映像フレーム品質推定部１０３における特徴量の導出について説明する。ここでは、映像フレームごとの特徴量として、PSNR（Peak-Signal-to-Noise Ratio）を例に説明する。図１及び図２と同様に、オリジナルのL1の解像度に対し算出したPSNRに対するL2−L5の解像度から算出したPSNRの相関図を図５に示す。図５で示すように、L1とL2の解像度から算出されたPSNRは近似が可能であり、水平垂直方向に半分にダウンサンプリング（つまり、L2レベルの映像に）して算出しても良いことがわかる。これより、ダウンサンプリング部１０１は水平垂直方向に半分に解像度をダウンサンプリングし、映像フレーム品質推定部１０３はL2（1920x1080）の解像度から映像フレームごとのPSNRを算出し、映像品質評価部１０４が映像品質評価値を算出する。これより、品質推定精度の低下を招かず、演算量を削減できる。
具体的な計算処理例は以下のようになる。

ただし、PSNR_L2_jはjフレーム番目の映像フレームに対し，L2（1920x1080）の解像度から算出したPSNR、a_jは重み係数、Jは測定区間の映像フレーム数である。

次に、図１に示したSIを用いた特徴量の例を示す。図１の結果より映像サイズをL2レベルまでダウンサンプリングし、以下の数式で特徴量を算出する。

ただし、SI_R_L2_jとSI_D_L2_jは原映像と劣化映像のjフレーム番目の映像フレームに対し、L2（1920x1080）の解像度から算出したSI_R_L2とSI_D_L2、a_jは重み係数、Jは測定区間の映像フレーム数である。

ここでは、PSNR、SIに基づく特徴量を一例に、ダウンサンプリングした映像から特徴量を算出し、映像品質評価値を導出する例を示したが、ダウンサンプリングした映像から他の特徴量を導出し、映像品質評価値を導出する方法も本発明の範囲とする。

＜第２実施例＞
本発明の第２実施例では、ダウンサンプリング部１０１の前にローパスフィルタ部１１０を追加した構成について説明する。

図６は、本発明の第２実施例に係る映像品質推定装置１００の構成図である。図６に示すように、ダウンサンプリング部１０１の前に、ローパスフィルタ部１１０が追加される。他の構成は、図３に示す第１実施例に係る映像品質推定装置１００と同じである。

ローパスフィルタ部１１０は、画素値の不連続性を解消し、映像を滑らかにする。また、一般に、カメラで撮像された原映像は微小なノイズがのっている。そのため、ローパスフィルタ部１１０においてフィルタリングを施すことでこれらノイズを除去することも可能である。

次に、第２実施例に係る映像品質推定装置１００の動作について説明する。図７は、本発明の第２実施例に係る映像品質推定方法のフローチャートである。本実施例に係る映像品質推定装置１００では、単に、映像をダウンサンプリングするのではなく、映像をフィルタにより滑らかにした後に、ダウンサンプリングする（Ｓ１００）。

なお、ダウンサンプリング以降の処理は、第１実施例と同様である。前述のように、単にダウンサンプリング部で画素を間引くと、画素値の不連続性が顕著になるため、フィルタ部１１０で画素値をフィルタリングすることで、画素の不連続性を解消できる。

例えば、ローパスフィルタ部１１０は、水平垂直2x2の4画素の平均値を、画素値とする。ローパスフィルタ部１１０における別のフィルタリング処理として、例えば、ガウシアンフィルタを施したり、他のフィルタリング処理を施すことも本発明の範囲とする。

＜第３実施例＞
本発明の第３実施例では、ダウンサンプリング部１０１においてオリジナルの映像サイズによってダウンサンプリングする画素数を決定する構成について説明する。

本発明の第３実施例に係る映像品質推定装置１００は、図３に示す第１実施例に係る映像品質推定装置１００あるいは図６に示す第２実施例に係る映像品質推定装置１００と同じである。

ただし、本実施例のダウンサンプリング部１０１は、入力された画素信号のオリジナルの映像サイズに基づき、ダウンサンプリングする画素数を決定する。ダウンサンプリングする画素数は、客観的な映像品質評価推定に用いる特徴量種別に応じて異なり、オリジナルの映像サイズにおける画素信号から導出された特徴量と、ダウンサンプリングされた画素信号から導出された特徴量との相関関係に基づいて決定されてもよい。例えば、図１に示すように、SIに基づく特徴量はL1とL2の解像度から算出される特徴量の対応が良いため、特徴量の算出に際し、L2の映像サイズに間引いてもよい。また、図２に示すように、TIに基づく特徴量はL1、L2、L3の解像度から算出される特徴量の対応が良いため、特徴量の算出に際し、L3の映像サイズに間引いてもよい。

次に、第３実施例に係る映像品質推定装置１００の動作について説明する。図８は、本発明の第３実施例に係る映像品質推定方法のフローチャートである。ダウンサンプリング部１０１にオリジナルの映像サイズを入力し、オリジナルの映像サイズに基づき、各特徴量導出の前にダウンサンプリングする画素数を決定する（S１０４）。

なお、ダウンサンプリングする画素数の決定以降の処理は、第１実施例又は第２実施例と同様であり、その後、ダウンサンプリング部は、ダウンサンプリングする画素数に基づきダウンサンプリングする（Ｓ１０１）。例えば、第１実施例ではダウンサンプリングする画素数は固定であり、3840x2160の映像サイズをL1とし、PSNRとSIに基づく特徴量は、水平垂直に対し、半分に画素を間引き、L2の映像サイズ（1920x1080）から特徴量を算出した。例えば、第３実施例では入力映像が7680x4320の映像サイズが入力された際には、7680x4320の映像サイズをL1とし、PSNRとSIに基づく特徴量は、L2（3840x2160）の映像サイズから特徴量を算出するなど、画素数の間引き方を、入力信号に対し、特徴量毎に決定し、ダウンサンプリングを施す。

＜本発明の実施例の効果＞
このように、本発明の実施例によれば、入力映像をダウンサンプリングし、映像フレーム単位の特徴量を導出し、特徴量を重みづけ処理などを行い、複数映像フレームの映像品質評価値を導出するため、映像品質評価値を適切に評価できることに加え、特徴量導出時の演算量の低減に貢献できる。

したがって、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。また、低演算量化により、装置をスリム化でき、装置コストを低減できる。

なお、上記の実施例における映像品質推定装置１００は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像品質推定装置１００の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム（ソフトウェア）とが協働して実現される。

図３又は図６に示す映像品質推定装置１００の構成要素の動作をプログラムとして構築し、当該映像品質評価装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

さらに、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

ＩＰネットワーク経由で行うIPTVサービス、映像配信サービスなどの映像通信の映像品質評価値を推定する映像品質推定装置に利用できる。

１００映像品質推定装置
１０１ダウンサンプリング部
１０２映像品質推定部
１０３映像フレーム品質推定部
１０４映像品質評価部
１１０ローパスフィルタ部

Claims

映像の品質を評価する映像品質推定装置であって、
入力された画素信号をダウンサンプリングするダウンサンプリング部と、
ダウンサンプリングされた画素信号から導出された特徴量を用いて、映像品質評価値を導出する映像品質推定部と、
を有する映像品質推定装置。
前記映像品質推定部は、映像フレーム単位の特徴量を導出する映像フレーム品質推定部を有する、請求項１に記載の映像品質推定装置。
入力された画素信号をフィルタリングするローパスフィルタ部を更に有する、請求項１又は２に記載の映像品質推定装置。
前記ダウンサンプリング部は、入力された画素信号のオリジナルの映像サイズに基づき、ダウンサンプリングする画素数を決定する、請求項１乃至３のうちいずれか１項に記載の映像品質推定装置。
前記ダウンサンプリング部は、オリジナルの映像サイズにおける画素信号から導出された特徴量と、ダウンサンプリングされた画素信号から導出された特徴量との相関関係に基づいて、ダウンサンプリングする画素数を決定する、請求項４に記載の映像品質推定装置。
映像の品質を評価する映像品質推定装置における映像品質推定方法であって、
前記映像品質推定装置のダウンサンプリング部が、入力された画素信号をダウンサンプリングするステップと、
前記映像品質推定装置の映像品質推定部が、ダウンサンプリングされた画素信号から導出された特徴量を用いて、映像品質評価値を導出するステップと、
を有する映像品質推定方法。
映像の品質を評価する映像品質推定装置として、コンピュータを機能させるためのプログラムであって、当該コンピュータを
入力された画素信号をダウンサンプリングするダウンサンプリング手段、及び
ダウンサンプリングされた画素信号から導出された特徴量を用いて、映像品質評価値を導出する映像品質推定手段、
として機能させるためのプログラム。