JP2016510567A - コンテキスト・ベースのビデオ品質評価のための方法および装置 - Google Patents

Abstract

空間的歪み（すなわち、フレームがビデオ・シーケンス中の他のフレームとは独立に見られるときのもの）は、時間的歪み（すなわち、諸フレームが連続的に見られるときのもの）とは全く異なることがありうる。時間的歪みを推定するために、スライディング窓アプローチが使われる。具体的には、現在フレームのまわりの複数のスライディング窓が考慮される。各スライディング窓内で、大きな歪みの密度が計算され、最高の大きな歪みの密度をもつスライディング窓が選択される。現在フレームと、選択された窓内の大きな歪みをもつ最も近いフレームとの間の距離が計算される。その後、時間的歪みは、最高の大きな歪みの比、現在フレームについての空間的歪みおよび前記距離の関数として推定される。別の実施形態では、各スライディング窓について空間的歪み値のメジアンが計算され、メジアン空間的歪み値のうちの最大のものが、時間的歪みを推定するために使われる。

Description

本発明は、ビデオ品質測定に、より詳細には客観的なビデオ品質メトリックを決定するための方法および装置に関する。

ビデオ・シーケンス中の個々のフレームの品質レベルを推定するために種々の方法が開発されてきた。ビデオ・シーケンス中の個々のフレームの推定された品質レベルが与えられたとき、該ビデオ・シーケンスの知覚される品質とよく一致する、客観的な全体的なビデオ品質メトリックを得る諸方法は、時間的プール戦略の部門のもとで研究されてきた。

本願の原理は、後述するように、ビデオ・シーケンスの視覚的品質を推定する方法であって：前記ビデオ・シーケンス中の現在フレームを含む複数のスライディング窓内の諸フレームについての空間的歪みにアクセスする段階と；各スライディング窓についての大きな歪みの密度および代表的アーチファクト・レベルの少なくとも一方を示す因子を、該各スライディング窓内の諸フレームについてのそれぞれの空間的歪みに応じて決定する段階と；現在フレームについての時間的歪みを、決定された前記因子に応じて決定する段階と；前記ビデオ・シーケンスの視覚的品質を、現在フレームの時間的歪みに応じて決定する段階とを含む方法を提供する。本願の原理はまた、これらの段階を実行するための装置をも提供する。

本願の原理は、後述するように、ビデオ・シーケンスの視覚的品質を推定する方法であって：前記ビデオ・シーケンス中の現在フレームを含む複数のスライディング窓内の諸フレームについての空間的歪みにアクセスする段階と；各スライディング窓についての大きな歪みの密度および代表的アーチファクト・レベルの少なくとも一方を示す因子を、該各スライディング窓内の諸フレームについてのそれぞれの空間的歪みに応じて決定する段階と；前記複数のスライディング窓についての前記因子のうちの最大を決定する段階と；現在フレームについての時間的歪みを、前記最大の因子に応じて決定する段階と；前記ビデオ・シーケンスの視覚的品質を、現在フレームの時間的歪みに応じて決定する段階とを含む方法を提供する。本願の原理はまた、これらの段階を実行するための装置をも提供する。

本願の原理は、上記の方法に従ってビデオ・シーケンスの視覚的品質を推定するための命令を記憶しているコンピュータ可読記憶媒体をも提供する。

Ａは、例示的なビデオ・シーケンスにおける個々のフレームについての空間的アーチファクト・レベルを描く絵的な例である。Ｂは、前記例示的なビデオ・シーケンスにおける個々のフレームについての知覚される時間的品質を描く絵的な例である。 Ａ、Ｂ、Ｃは、本願の原理のある実施形態に基づく、ビデオ品質モデル化において使用されるスライディング窓を描いている絵的な例である。 Ａは、別の例示的なビデオ・シーケンスにおける個々のフレームについての空間的アーチファクト・レベルを描く絵的な例である。Ｂ、Ｃは、本願の原理のある実施形態に基づく、それぞれフレームの近傍における優勢な歪みおよび推定される時間的歪みを描く絵的な例である。 Ａは、別の例示的なビデオ・シーケンスにおける個々のフレームについての空間的アーチファクト・レベルを描く絵的な例である。Ｂ、Ｃは、本願の原理のある実施形態に基づく、それぞれフレームの近傍における最高の大きな歪みおよび推定される時間的歪みを描く絵的な例である。 Ａは、別の例示的なビデオ・シーケンスにおける個々のフレームについての空間的アーチファクト・レベルを描く絵的な例である。Ｂ、Ｃは、本願の原理のある実施形態に基づく、それぞれフレームの近傍における最高の大きな歪みおよび推定される時間的歪みを描く絵的な例である。 本願の原理のある実施形態に基づく、フレームnにおける時間的歪みをモデル化するための例示的な方法を描く流れ図である。 本願の原理のある実施形態に基づく、例示的なビデオ品質モニタを描くブロック図である。 一つまたは複数の実装とともに使用されうる例示的なビデオ処理システムを描くブロック図である。

本願では、「空間的アーチファクト」は、ビデオ・シーケンス中のピクチャがそのビデオ・シーケンス中の他のピクチャとは独立に見られるときに該ピクチャにおいて知覚されるアーチファクトを表わすために使い、「時間的アーチファクト」は、ビデオ・シーケンス中の諸ピクチャが連続的に表示されるときにそのビデオ・シーケンスのあるピクチャにおいて知覚されるアーチファクトを表わすために使う。同様に、「空間的歪み」または「空間的品質」は、ピクチャがビデオ・シーケンス中の他のピクチャとは独立に見られるときに該ピクチャにおいて知覚される歪みまたは品質を表わすために使い、「時間的歪み」または「時間的品質」は、ビデオ・シーケンス中の諸ピクチャが連続的に表示されるときにそのビデオ・シーケンスのあるピクチャにおいて知覚される歪みまたは品質を表わすために使う。

空間的歪みを評価するときは、ピクチャは、見る者が画像内容および歪みを認識するために十分長い時間期間にわたって、ビデオ・シーケンス中の他のピクチャとは独立に見られる。これは、諸ピクチャが連続的に表示される時間的歪みの評価とは異なる。

本願では、用語「フレーム」は、用語「ピクチャ」と交換可能に使用される。用語「歪み」および「アーチファクト」はいずれもフレームにおける品質劣化を指し、しばしば交換可能に使われる。

ds(n)として表わされるフレームnの空間的歪みは、さまざまな画像品質評価方法によって得ることができる。そうした方法は、これに限られないがたとえば、フル参照または参照なし方法およびピクセル・ドメインにおけるまたはビットストリーム・レベルでの方法である。ある実施形態では、空間的歪みは、N.Liao, Z.Chen, and K.Xieによる「ビットストリーム・レベルでのビデオ品質評価」と題する本願と共通の所有者のPCT出願（PCT/CN2012/078766、代理人整理番号PA120027）において開示される初期のおよび／または伝搬された可視的アーチファクトによって引き起こされる全体的な可視のアーチファクト・レベルとして推定されることができる。同出願の教示はここに参照によって具体的に組み込まれる。

諸ピクチャにおける空間的アーチファクトは、視線がそこに留まりそれをアーチファクトとして認識することができるにはある時間期間にわたって続く必要がある。ピクチャがビデオ・シーケンスの一部であり、それぞれが非常に短い時間期間（たとえばビデオがリアルタイムで再生されるときのフレーム・レート分の一の期間）しか表示されないときは、フレームnの時点における知覚されるビデオ歪み、すなわちフレームnにおける時間的歪みdt(n)は、フレームnの空間的歪みds(n)とは全く異なることがある。これは、時間的歪みdt(n)が内容およびその近隣フレームの歪みによって影響されるためでありうる。

例示的なビデオ・シーケンスとして、図１のＡは、ビデオ・シーケンス内の個々のフレームの空間的アーチファクト・レベルを示しており、図１のＢはビデオ・シーケンス内の個々のフレームの時間的品質を示している。より具体的には、図１のＡは、例示的なビデオ・シーケンスがパケット損失を被るときの諸フレームの空間的アーチファクト・レベルを示している。空間的アーチファクトはビデオ・シーケンスにおいて散発的であることがある。たとえば、フレーム74、77、215、261および262において見られる空間的アーチファクトである。空間的アーチファクトは、フレーム106〜111あたりに見られるアーチファクトのように、バーストで起こることもある。

図１のＢは、ビデオ・シーケンスの諸フレームが連続的に表示されるときの時間的品質を示している。ここで、スコア100が最良品質に対応する。品質測定方法に依存して、品質スコアは、異なるスケールにあってもよい。時間的品質の正確な曲線は、主観的な試験方法を使って得られてもよい。そうした方法は、これに限られないがたとえば、ITU-R BT500において定義されているような単一刺激連続品質評価（SSCQE: Single Stimulus Continuous Quality Evaluation）である。

図１のＡから、フレーム74および77が、これら二つのフレームが独立して見られるときは、強い空間的アーチファクトをもつことが見て取れる。しかしながら、これら二つのフレームにおけるアーチファクトは、ビデオが連続的に表示されるときには見えなくなり、よってフレーム74および77は、図１のＢに示されるように、連続的に見られるときは、最良品質レベルにある。このように、強い空間的アーチファクトがいつも高い時間的歪みに対応するのではないことがある。他方、ビデオ・シーケンスの一つのフレームが、他のフレームと独立して見られるときには良好な品質をもつように見えることがあるが、ビデオ・シーケンスが連続的に表示されるときは非常に強い時間的歪み（たとえば動きジッタ）を呈することがある。すなわち、小さな空間的歪みがいつも小さな知覚される時間的歪み（すなわち、より高い時間的品質）に対応するのではないことがある。

このように、空間的歪み（すなわち、ピクチャがビデオ・シーケンス中の他のピクチャとは独立に見られるときのもの）は、時間的歪み（すなわち、諸ピクチャが連続的に見られるときのもの）とは全く異なることがありうる。本願の原理は、個々のフレームについての空間的歪みから時間的品質を正確にモデル化するための方法および装置を提供する。特に、本願の原理は、見る者が時間的歪みをどのように識別するかに影響するコンテキストを考慮する。ここで、コンテキストは、たとえば、歪みの継続時間およびパターンならびに近隣フレームを見ることにより見る者が認識するテクスチャおよびオブジェクトの動きを含むがそれに限られない。

ある実施形態では、空間的歪みを与えられたとき、知覚される時間的歪みは、スライディング窓アプローチを使ってモデル化されることができる。図２のＡ〜Ｃに示されるように、フレームnを含むL₀個のフレームのスライディング窓（S_i,nと表わされる）はフレーム(n−i)において始まり、フレーム(n−i＋L₀−1)において終わる。0≦i＜L₀である。見る者の目が歪みを認識するために必要とされる時間期間を近似する窓長を選んでもよい。よって、スライディング窓は、L₀＝round(T₀×frame_rate)個のフレームを含む。ここで、T₀は見る者が歪みを認識するために必要とされる時間期間であり、frame_rateはビデオ・シーケンスのフレーム・レートである。スライディング窓の外に存在するアーチファクトは、現在フレームの時間的アーチファクトの可視性にほとんど寄与をもたないと見なされる。

現在フレームの知覚される時間的歪みは主として、大きな歪みをもつ（すなわち歪みレベルがある閾値を超える）近くにあるフレームによって影響されることが観察される。本願の原理において、我々は、あるフレームの近傍におけるそのようなクラスタリングされた大きな空間的歪みの影響を推定するための種々の実施形態を提供する。

ある実施形態では、時間的歪みを推定するために、諸スライディング窓における諸メジアン歪み値のうちの最大を使ってもよい。数学的には、各スライディング窓S_i,nについて、S_i,n内のフレームのメジアン歪みを
MD_i,n＝median{ds(j),frame j∈S_i,n} (1)
として計算できる。メジアン関数は、近隣の諸フレームを調べて、現在フレームの空間的歪みがその周囲の代表的なものであるか否かを決定し、極端な歪みレベル（外れ値）を拒否する。すなわち、MD_i,nを、スライディング窓S_i,nについての代表的な歪みレベルと考えてもよい。他の実施形態では、MD_i,nを得るために平均または他のフィルタリングを使ってもよい。

フレームnを含むすべてのスライディング窓において、より大きな歪みをもつスライディング窓は通例、視覚的品質に、より有意に影響する。よって、諸スライディング窓{S_i,n, 0≦i＜L₀}のうちのメジアン歪み値の最大として優勢な歪みを同定するために、最大関数が使用されることができる：
m_n＝max{MD_i,n, 0≦i＜L₀} (2)
。

現在フレームについての知覚される時間的歪みは、概して、現在フレームの空間的歪みの強さよりは、その近傍における優勢な歪みによって決定されることが観察される。たとえば、フレームnが、認識されるのに十分長く続かない深刻な空間的歪みds(n)をもつとき、知覚される時間的歪みは主として、その近傍における歪みによって影響される。よって、現在フレームについての時間的歪みを設定するために最小関数が使用されることができる。すなわち、時間的歪みdt(n)を：
dt(n)＝min{m_n,ds(n)} (3)
のように、フレームnについての空間的歪み値とメジアン歪み値の最大m_nとのうちの小さいほうに設定してもよい。

図３のＡは、例示的なビデオ・シーケンス内のフレームについての空間的アーチファクト・レベルを示しており、図３のＢ、Ｃは、それぞれ式(2)および(3)を適用した後の結果を示している。メジアン関数を使うことにより、メジアン歪み値の最大は、図３のＢに示されるように、極端な値を回避する。結果として、図３から見て取れるように、たとえばフレーム86、125、166にある、近隣のものよりずっと大きな空間的アーチファクト・レベルは、推定される時間的歪みには存在しない。加えて、推定される時間的歪みレベルは、空間的歪みレベルよりも、フレームからフレームにかけてより小さな変動をもつ。

もう一つの実施形態では、時間的歪みを推定するために、すべてのスライディング窓{S_i,n, 0≦i＜L₀}における、大きな歪みをもつ（すなわち、歪みレベルがある閾値を超える）フレームの比のうちの最大値を使ってもよい。より小さな歪みは通例、ビデオ・シーケンスが連続的に再生されるときは見えなくなるので、大きな歪みをもつフレームのみを考える。数学的には、各スライディング窓S_i,nについて、S_i,n中の大きな歪みをもつフレームの数とS_i,n中のフレームの総数との比を

として、計算することができる。ここで、

であり、Uは空間的歪み閾値である。記法の簡単のため、スライディング窓内の大きな空間的歪みをもつフレームの数と該スライディング窓内のフレームの総数との比を、そのスライディング窓についての大きな歪みの密度（large distortion density）と記す。

大きな歪みの密度がより高いスライディング窓は通例、視覚的品質により有意に影響することが観察される。よって、すべてのスライディング窓のうちでの最高の比を：
w_n＝max{R_i,n, 0≦i＜L₀} (5)
として計算する。すると、フレームnにおける知覚される時間的歪みを、重み付けされた歪み：
dt(n)＝w_n×ds(n) (6)
として推定することができる。

加えて、大きな歪みをもつ二つの最も近いフレームの間の距離も知覚される時間的歪みに影響することが観察される。すなわち、大きな歪みをもつ二つのフレームがより近いとき、歪みは人間の目にとってより可視になる。よって、時間的歪みの推定は、フレームnと、最も近い、大きな歪みをもつフレームとの間の距離をも考慮することにより、改善されうる。ある実施形態では、式(6)を修正して次のようにしてもよい。

dt(n)＝w_n×ds(n)/f(dist(n)) (7)
ここで、dist(n)はフレームnと、最高の大きな歪みの密度に対応するスライディング窓内の大きな歪みをもつ最も近いフレームとの間の距離である。対応するスライディング窓内に大きな歪みをもつ他のフレームがなければ、dist(n)は非常に大きな値、たとえば1000に設定する。すなわち、スライディング窓内に大きな歪みをもつフレームが一つしかないときは、その歪みはそれほど可視ではないと考え、dt(n)を非常に小さな値に設定するのである。f(dist(n))を定義するためには種々の関数を使うことができ、たとえばf(dist(n))＝dist(n)またはf(dist(n))＝(dist(n))^αである。ここで、αは定数である。

図４のＡは、例示的なビデオ・シーケンスにおける諸フレームについての空間的アーチファクト・レベルを示している。図４のＢおよびＣは、それぞれ式(5)および式(7)を適用した後の結果を示している。ここで、L₀＝1秒、U＝(フレーム当たりのマクロブロック数)／100である。L₀およびUの値は、構成設定とともに、たとえばGOP長、ビデオ解像度およびフレーム・レートとともに変わりうる。図５のＡは、別の例示的なビデオ・シーケンスにおける諸フレームについての空間的アーチファクト・レベルを示しており、図５のＢおよびＣは、それぞれ式(5)および式(7)を適用した後の結果を示している。

図４のＢおよび図５のＢから、大きな歪みがよりクラスタリングされているときは比がより大きくなることが観察される。すなわち、比は、近隣のフレームが現在フレームの知覚される品質に影響するかどうかおよびどの程度影響するかを効果的に反映する。結果として、図４のＣおよび図５のＣから見て取れるように、クラスタリングされた大きな歪みをもつ諸フレーム（たとえば図４のＡではフレーム106付近、図５のＡではフレーム105および200付近）の継続時間は推定される時間的歪みレベルに影響する。すなわち、図４のＡに示されるような、より短い歪み継続時間は結果として、空間的歪みよりずっと小さい推定された時間的歪みを与え、一方、図５のＡに示されるような、より長い歪み継続時間は結果として、空間的歪みと同じオーダーの推定される時間的歪みを与える。このことは、持続的な歪みが知覚される品質に対してよりマイナスの影響をもつ人間の知覚と整合する。

上記で論じたように、フレームnについての時間的歪みを推定するために、近隣フレームにおいて与えられるコンテキストを考慮する。ある実施形態では、式(1)〜式(3)に示されるように、メジアン歪み値を使う。もう一つの実施形態では、式(4)〜式(7)に示されるように、大きな歪みの密度を使う。さらにもう一つの実施形態では、メジアン歪み値と大きな歪みの密度のアプローチが組み合わされて、フレームnについての時間的歪みを：
dt(n)＝w_n×min(m_n,ds(n)) (8)
として推定することができる。

上記では、目がアーチファクトを認識するために十分に長い時間期間を必要とするという人間の視覚属性に基づいて時間的歪みを推定している。時間的歪みは、他の因子、たとえばこれに限られないが動きががたがたしていること（motion jerkiness）によって影響されてもよい。結果として、上記のようにして推定された時間的歪みは、他の因子を考慮するために調整される必要があることがある。ある例示的な組み合わせはdt'(n)＝dt(n)＋c×dt₂(n)であることができる。ここで、dt₂(n)は動きががたがたしていることによって引き起こされる歪みである。

ビデオ・シーケンス中の個々のフレームについての時間的歪み{dt(n)}に基づいて、ビデオ・シーケンスの全体的な知覚される歪みが、時間的プール（temporal pooling）戦略を使って導出されることができる。たとえば、単純な平均演算が使われることができる。すなわち、全体的な歪み＝(1/N)Σ_n=1 ^Ndt(n)である。

図６は、本願の原理に基づく、フレームnにおける時間的歪みをモデル化する例示的な方法６００を示している。方法６００はステップ６０５で始まる。スライディング窓S_i,nについて、ステップ６１０においてたとえば式(1)を使ってメジアン歪み値を計算し、ステップ６２０においてたとえば式(4)を使って大きな歪みの密度を計算する。ステップ６３０において、さらなるスライディング窓が処理される必要があるかどうかを検査する。そうであれば、ステップ６１０に制御を戻す。そうでなければ、ステップ６４０において、フレームnについてのすべてのスライディング窓におけるメジアン歪み値の最大を、たとえば式(2)を使って計算する。ステップ６５０では、フレームnについてのすべてのスライディング窓における最高の大きな歪みの密度を、たとえば式(5)を使って計算する。ステップ６６０では、フレームnについての時間的歪みを、たとえば式(3)、(6)または(8)を使って推定する。フレームnと大きな歪みをもつ最も近いフレームとの間の距離がステップ６６０においてたとえば式(7)を使って考慮されてもよい。方法６００はステップ６９９で終了する。

方法６００では、メジアン歪み値の最大および最高の大きな歪みの密度の両方が時間的歪みを推定するために使われる。もう一つの実施形態では、メジアン歪み値の最大だけが時間的歪みを推定するために使われる。すなわち、ステップ６２０および６５０は必要とされず、ステップ６６０は時間的歪みをメジアン歪み値の最大に基づいて、たとえば式(3)を使って推定する。もう一つの実施形態では、最高の大きな歪みの密度だけが時間的歪みを推定するために使われる。すなわち、ステップ６１０および６４０は必要とされず、ステップ６６０は最高の大きな歪みの密度に基づいて、たとえば式(6)または式(7)を使って、時間的歪みを推定する。

方法６００またはその変形は、ステップの異なる順序で進行してもよい。たとえば、ステップ６２０はステップ６１０の前に実行されてもよく、ステップ６５０はステップ６４０の前に実行されてもよい。

本願の原理に基づくビデオ品質モデリング方法は、ビデオ・シーケンスが圧縮アーチファクトおよび／またはパケット損失を被るときのビデオ品質を測定するために適用されることができる。本願の方法は、ビットストリーム・レベルまたはピクセル・レベルで得られる空間的アーチファクトとの関連で使用されてもよい。すなわち、本願の方法は、ビットストリーム・レベルおよびピクセル・レベルの両方で適用されることができる。

本願の原理は、ビデオ品質を測定するためにビデオ品質モニタにおいて使用されてもよい。図７は、例示的なビデオ品質モニタ７００のブロック図を描いている。装置７００の入力は、ビットストリームを含むトランスポート・ストリームを含んでいてもよい。この入力は、ビットストリームを含む他のフォーマットであってもよい。

デマルチプレクサ７１０は、ビットストリームからのパケット層情報を得る。デコーダ７２０は入力ストリームをパースしてさらなる情報を得る。デコーダ７２０はピクチャを再構成してもしなくてもよい。他の実施形態では、デコーダがデマルチプレクサの機能を実行してもよい。

デコードされた情報を使って、空間的アーチファクト・レベル推定器７３０において空間的アーチファクト・レベルが推定される。推定されたパラメータに基づいて、時間的歪み推定器７４０において、たとえば方法６００を使って、時間的歪みレベルが推定される。次いで、品質予測器７５０は、個々のフレームについての時間的歪みレベルを、当該ビデオ・シーケンスについての品質スコア中にプールする。品質予測器７５０は、他の型のアーチファクトおよび人間の視覚的属性の属性を考慮してもよい。

ビデオ品質モニタ７００はたとえばITU-T P.NBAMS（parametric non-intrusive bitstream assessment of video media streaming quality［ビデオ・メディア・ストリーミング品質のパラメトリックな非侵襲的ビットストリーム評価］）規格において使われてもよい。同規格は、二つの応用シナリオ、つまりそれぞれHR（High Resolution［高分解能］）シナリオおよびLR（Low Resolution［低分解能］）シナリオとも呼ばれるIPTVおよびモバイル・ビデオ・ストリーミングにおけるビデオ品質評価モデルに基づいて機能する。二つのシナリオの間の相違は、ビデオ・コンテンツの空間時間的分解能および符号化構成からトランスポート・プロトコルおよび閲覧条件にまで及ぶ。

P.NBAMS VQM（Video Quality Model［ビデオ品質モデル］）への入力は、すべての伝送パケット・ヘッダ（UDP/IP/RTPまたはUDP/IP/RTP/TS）をもつ符号化されたビデオ・ビットストリームである。出力は、客観的なMOSスコア（Mean Opinion Score［平均意見スコア］）である。P.NBAMS作業の主要な目標用途は、セットトップボックス（STB）またはゲートウェイにおいてビデオ品質をモニタリングすることである。P.NBAMSモード１モデルはビットストリーム情報のみを使い、モード２モデルはビデオ・シーケンスの一部または全部をデコードしてもよく、予測精度を改善するために、ビットストリーム情報をパースすることに加え、ピクセル情報が視覚的品質予測のために使われる。

図８を参照するに、上記の特徴および原理が適用されうるビデオ伝送システムまたは装置８００が示されている。プロセッサ８０５はビデオを処理し、エンコーダ８１０はビデオをエンコードする。エンコーダから生成されるビットストリームは、配送ネットワーク８２０を通じてデコーダ８３０に伝送される。種々の段階においてビデオ品質モニタが使用されうる。

ある実施形態では、ビデオ品質モニタ８４０が、コンテンツ・クリエーターによって使用されてもよい。たとえば、推定されたビデオ品質は、エンコーダによって、モード決定またはビットレート割り当てのようなエンコード・パラメータを決定する際に使用されてもよい。もう一つの例では、ビデオがエンコードされた後、コンテンツ・クリエーターは、エンコードされたビデオの品質をモニタリングするためにビデオ品質モニタを使う。品質メトリックがあらかじめ定義された品質レベルを満たさない場合には、コンテンツ・クリエーターは、ビデオ品質を改善するためにビデオをエンコードし直すことを選んでもよい。コンテンツ・クリエーターは、品質に基づいてエンコードされたビデオをランク付けしてもよく、コンテンツにしかるべく課金する。

もう一つの実施形態では、ビデオ品質モニタ８５０が、コンテンツ配送者によって使用されてもよい。ビデオ品質モニタは配送ネットワーク内に置かれてもよい。ビデオ品質モニタは品質メトリックを計算し、それをコンテンツ配送者に報告する。ビデオ品質モニタからのフィードバックに基づいて、コンテンツ配送者は、帯域幅割り当ておよびアクセス・コントロールを調整することによってそのサービスを改善してもよい。

コンテンツ配送者は、該フィードバックを、エンコードを調整するためにコンテンツ・クリエーターにも送ってもよい。エンコーダにおけるエンコード品質の改善は必ずしもデコーダにおける品質を改善しないことがあることを注意しておく。高品質のエンコードされたビデオは通例、より大きな帯域幅を必要とし、伝送保護のために残される帯域幅をより少なくするからである。よって、デコーダにおける最適な品質に達するために、エンコード・ビットレートとチャネル保護のための帯域幅との間のバランスが考慮されるべきである。

もう一つの実施形態では、ビデオ品質モニタ８６０が、ユーザー装置によって使用されてもよい。たとえば、ユーザー装置がインターネットにおけるビデオを探索するとき、検索結果は、要求されたビデオ・コンテンツに対応する多くのビデオまたはビデオへのリンクを返すことがある。検索結果内のビデオは種々の品質レベルをもつことがある。ビデオ品質モニタは、これらのビデオについての品質メトリックを計算し、どのビデオを記憶するかを選択することを決定することができる。もう一つの例では、ユーザー装置はいくつかの誤り隠蔽技法へのアクセスをもつことがある。ビデオ品質モニタは、種々の誤り隠蔽技法のための品質メトリックを計算し、計算された品質メトリックに基づいて、使用する隠蔽技法を自動的に選ぶことができる。

本稿に記載される実装は、たとえば、方法またはプロセス、装置、ソフトウェア・プログラム、データ・ストリームまたは信号において実装されてもよい。たとえ単一の形の実装のコンテキストで論じられるだけであったとしても（たとえば方法としてのみ論じられるとしても）、論じられる特徴の実装は、他の形（たとえば装置またはプログラム）で実装されてもよい。装置は、たとえば、適切なハードウェア、ソフトウェアおよびファームウェアで実装されてもよい。方法は、たとえば、装置において実装されてもよい。装置はたとえば、コンピュータ、マイクロプロセッサ、集積回路またはプログラム可能型論理デバイスなどを含む、処理装置一般を指すプロセッサなどである。プロセッサは、たとえばコンピュータ、携帯電話、ポータブル／パーソナル・デジタル・アシスタント（「PDA」）およびエンドユーザー間の情報の通信を容易にする他の装置のような通信装置をも含む。

本願の原理の「一つの実施形態」または「ある実施形態」または「一つの実装」または「ある実装」およびそれらのその他の変形への言及は、その実施形態との関連で記載されている特定の特徴、構造、特性などが本願の原理の少なくとも一つの実施形態に含まれることを意味する。よって、「一つの実施形態において」または「ある実施形態において」または「一つの実装において」または「ある実装において」という句および他の任意の変形が本明細書を通じた随所に現われることは、必ずしもみなが同じ実施形態を指しているのではない。

さらに、本願またはその請求項がさまざまな情報を「決定」することに言及することがある。該情報を決定するとは、たとえば該情報を推定すること、該情報を計算すること、該情報を予測することまたは該情報をメモリから取り出すことの一つまたは複数を含みうる。

さらに、本願またはその請求項がさまざまな情報に「アクセスする」ことに言及することがある。該情報にアクセスするとは、たとえば、該情報を受領すること、該情報を（たとえばメモリから）取得すること、該情報を記憶すること、該情報を処理すること、該情報を送信すること、該情報を移すこと、該情報をコピーすること、該情報を消去すること、該情報を計算すること、該情報を決定すること、該情報を予測することまたは該情報を推定することの一つまたは複数を含みうる。

さらに、本願またはその請求項がさまざまな情報を「受信／受領する」ことに言及することがある。受信／受領は、「アクセス」と同様に、広義の用語であることが意図されている。該情報を受信／受領するとは、たとえば、該情報にアクセスすることまたは該情報を（たとえばメモリから）取得することを含みうる。さらに、「受信／受領」は典型的には、たとえば該情報を記憶すること、該情報を処理すること、該情報を送信すること、該情報を移すこと、該情報をコピーすること、該情報を消去すること、該情報を計算すること、該情報を決定すること、該情報を予測することまたは該情報を推定することのような動作の間に何らかの仕方で関わる。

当業者には明白であろうが、実装は、たとえば記憶または伝送されうる情報を担持するようフォーマットされた多様な信号を生成することがある。該情報はたとえば、方法を実行するための命令または記載される実装の一つによって生成されるデータを含みうる。たとえば、信号が、記載される実施形態のビットストリームを担持するようフォーマットされてもよい。そのような信号は、たとえば、電磁波（たとえばスペクトルの電波周波数部分を使う）としてまたはベースバンド信号としてフォーマットされてもよい。フォーマットすることはたとえば、データ・ストリームをエンコードすることおよびエンコードされたデータ・ストリームで搬送波を変調することを含みうる。信号が担持する情報は、たとえば、アナログまたはデジタル情報であってもよい。信号は、知られているように、多様な異なる有線または無線リンクを通じて伝送されてもよい。信号は、プロセッサ読み取り可能な媒体上に記憶されてもよい。

Claims (15)

1. ビデオ・シーケンスの視覚的品質を推定する方法であって、
   前記ビデオ・シーケンス中の現在フレームを含む複数のスライディング窓内の諸フレームについての空間的歪みにアクセスするステップと、
   各スライディング窓についての大きな歪みの密度および代表的アーチファクト・レベルの少なくとも一方を示す因子を、該各スライディング窓内の諸フレームについてのそれぞれの空間的歪みに応じて決定するステップと、
   現在フレームについての時間的歪みを、決定された前記因子に応じて決定するステップと、
   前記ビデオ・シーケンスの視覚的品質を、現在フレームの時間的歪みに応じて決定するステップとを含む、
   方法。
2. 前記複数のスライディング窓についての前記因子のうちの最大を決定するステップをさらに含み、現在フレームについての前記時間的歪みが、前記最大の因子に応じて決定される、請求項１記載の方法。
3. 前記大きな歪みの密度は、前記各スライディング窓内の大きな歪みをもつフレームの数と前記各スライディング窓内のフレームの総数との比に応じて決定される、請求項１記載の方法。
4. 現在フレームについての前記時間的歪みが、現在フレームについての空間的歪みと前記最大の因子との積として決定される、請求項１記載の方法。
5. 前記代表的アーチファクト・レベルが、前記各スライディング窓についての空間的歪みのメジアン関数に応じて決定される、請求項１記載の方法。
6. 現在フレームについての前記時間的歪みが、現在フレームについての空間的歪みと前記最大の因子とのうちの小さいほうとして決定される、請求項１記載の方法。
7. ビットストリームの品質をモニタリングすること、決定された前記視覚的品質に応答して前記ビットストリームを調整すること、決定された前記視覚的品質に基づいて新たなビットストリームを生成すること、前記ビットストリームを送信するために使われる配送ネットワークのパラメータを調整すること、決定された前記視覚的品質に基づいて前記ビットストリームを保持するかどうかを決定することおよびデコーダにおいて誤り隠蔽モードを選ぶことのうちの少なくとも一つを実行するステップをさらに含む、請求項１記載の方法。
8. ビデオ・シーケンスの視覚的品質を推定する装置であって：
   前記ビデオ・シーケンス中の現在フレームを含む複数のスライディング窓内の諸フレームについての空間的歪みにアクセスする空間的アーチファクト・レベル推定器と；
   各スライディング窓についての大きな歪みの密度および代表的アーチファクト・レベルの少なくとも一方を示す因子を、該各スライディング窓内の諸フレームについてのそれぞれの空間的歪みに応じて決定し、現在フレームについての時間的歪みを、前記複数のスライディング窓についての決定された前記因子に応じて決定する時間的歪み推定器と；
   前記ビデオ・シーケンスの視覚的品質を、現在フレームの時間的歪みに応じて決定する品質予測器とを有する、
   装置。
9. 前記時間的歪み推定器が前記複数のスライディング窓についての前記因子のうちの最大を決定し、現在フレームについての前記時間的歪みが、前記最大の因子に応じて決定される、請求項８記載の装置。
10. 前記時間的歪み推定器が、前記大きな歪みの密度を、前記各スライディング窓内の大きな歪みをもつフレームの数と前記各スライディング窓内のフレームの総数との比に応じて決定する、請求項８記載の装置。
11. 前記時間的歪み推定器が、現在フレームについての前記時間的歪みを、前記空間的歪みと前記最大の因子との積として決定する、請求項８記載の装置。
12. 前記時間的歪み推定器が、前記代表的アーチファクト・レベルを、前記各スライディング窓についての空間的歪みのメジアン関数に応じて決定する、請求項８記載の装置。
13. 前記時間的歪み推定器が、現在フレームについての前記時間的歪みを、前記空間的歪みと前記最大の因子とのうちの小さいほうとして決定する、請求項８記載の装置。
14. ビットストリームの品質をモニタリングすること、決定された前記視覚的品質に応答して前記ビットストリームを調整すること、決定された前記視覚的品質に基づいて新たなビットストリームを生成すること、前記ビットストリームを送信するために使われる配送ネットワークのパラメータを調整すること、決定された前記視覚的品質に基づいて前記ビットストリームを保持するかどうかを決定することおよびデコーダにおいて誤り隠蔽モードを選ぶことのうちの少なくとも一つを実行するビデオ品質モニタ（８４０、８５０、８６０）をさらに有する、請求項８記載の装置。
15. 請求項１ないし７のうちいずれか一項記載の方法に従ってビデオ・シーケンスの視覚的品質を推定するための命令を記憶しているコンピュータ可読記憶媒体。

Images