JP2015528247A - ビットストリームレベルにおけるビデオ品質評価 - Google Patents

Abstract

ビデオシーケンス内のマクロブロックは、対応する圧縮データが失われているか、または構文が一致していないために、復号不可能となりうる。復号不可能なマクロブロックは、誤り隠蔽技法を使用して隠蔽されてもよい。復号不可能なマクロブロックによって生じた初期可視アーティファクトのレベルは、動き大きさ、誤り隠蔽距離、および／または残余エネルギーの関数として推定されてもよい。初期可視アーティファクトは、予測を通じてその他のマクロブロックに空間的または時間的に伝搬することがある。初期可視アーティファクトおよび伝搬済みアーティファクトを共に考慮することで、全体的なアーティファクトが個々のマクロブロックについて推定されてもよい。次いで、ビデオシーケンスのビジュアル品質は、マクロブロックレベルのアーティファクトレベルをプールすることによって推定されてもよい。

Description

本発明は、ビデオ品質測定に関し、さらに詳細には、客観的なビデオ品質メトリックを決定するための方法および装置に関する。

ＩＰネットワークの開発に伴って、有線および無線ＩＰネットワークを介するビデオ通信（たとえば、ＩＰＴＶサービス）が普及してきた。ケーブルネットワークを介する従来のビデオ送信とは異なり、ＩＰネットワークを介するビデオ搬送は、信頼性があまり高くはない。その結果、ビデオ圧縮による品質損失に加えて、ビデオ品質は、ビデオがＩＰネットワークを通じて送信される場合に、さらに低下する。成功に至るビデオ品質モデリングツールは、ビデオ圧縮により生じる品質低下に加えて、（たとえば、パケット損失、送信遅延、および送信ジッターのような）ネットワーク送信の障害により生じる品質低下を評価する必要がある。

国際公開第２０１３／０７５３３５号 国際公開第２０１３／１５９２７５号

本発明の原理は、ビットストリームにより表されるビデオシーケンスのビジュアル品質を推定するための方法であって、スライシングモード誤り隠蔽が、前記ビデオシーケンスの復号不可能ブロックを隠蔽するために使用される方法を提供し、前記方法は、復号不可能である、前記ビデオシーケンスのフレーム内のブロックの動き大きさを推定するステップと、前記フレームと前記ブロックを隠蔽するために使用される別のフレームとの間の距離を決定するステップと、後段において説明されるように前記動き大きさおよび前記距離に応じて前記ビデオシーケンスの前記ビジュアル品質を推定するステップとを備える。本発明の原理はまた、上記のステップを実行するための装置を提供する。

本発明の原理はまた、ビットストリームにより表されるビデオシーケンスのビジュアル品質を推定するための方法であって、スライシングモード誤り隠蔽が、前記ビデオシーケンスの復号不可能ブロックを隠蔽するために使用される方法を提供し、前記方法は、復号不可能である、前記ビデオシーケンスのフレーム内のブロックの動き大きさを推定するステップと、前記フレームと前記ブロックを隠蔽するために使用される別のフレームとの間の距離を決定するステップと、前記動き大きさおよび前記距離に応じて初期可視アーティファクトを決定するステップと、前記ブロックの参照ブロックとして使用される別のブロック内のピクセルのアーティファクトレベルに応じて、前記ブロック内のピクセルの伝搬済み可視アーティファクトを決定するステップと、前記ブロックの前記初期可視アーティファクトレベルおよび前記ブロック内の前記ピクセルの前記伝搬済み可視アーティファクトレベルに応じて前記ブロック内の前記ピクセルのアーティファクトレベルを決定するステップと、前記ブロック内の前記ピクセルの前記アーティファクトレベルに応じて前記ブロックの全体的可視アーティファクトレベルを推定するステップであって、前記ビデオシーケンスの前記ビジュアル品質は、後段において説明される前記ブロックの前記全体的可視アーティファクトレベルに応じて推定されるステップとを備える。本発明の原理はまた、上記のステップを実行するための装置を提供する。

本発明の原理はまた、上記で説明される方法に従って、ビットストリームにより表されるビデオシーケンスのビジュアル品質を推定するための命令を格納したコンピュータ可読記憶媒体であって、スライシングモード誤り隠蔽が前記ビデオシーケンスの復号不可能ブロックを隠蔽するために使用される、前記記憶媒体を提供する。

本発明の原理の実施形態による、ビデオ品質モデリングの例を示す流れ図である。 本発明の原理の実施形態による、初期可視アーティファクトレベルを推定するステップの例を示す流れ図である。 フレームｎ−１におけるマクロブロック（ＭＢ）の例を示す図である。 フレームｎにおけるマクロブロック（ＭＢ）の例を示す図である。 フレームｎ＋１におけるマクロブロック（ＭＢ）の例を示す図である。 本発明の原理の実施形態による、ビデオ品質モニターの例を示すブロック図である。 １または複数の実装形態と共に使用されうるビデオ処理システムの例を示すブロック図である。

ビデオ品質測定ツールは、さまざまなレベルにおいて動作することができる。たとえば、ツールは、受信したビットストリームを取り込んで、ビデオを再構築することなくビデオ品質を測定することができる。そのような方法は通常、ビットストリームレベルビデオ品質測定と称される。余分な計算の複雑さが許容される場合、ビデオ品質測定は、ビットストリームから一部または全部の画像を再構築し、再構築された画像を使用してビデオ品質をより正確に推定することができる。

本発明の原理は、ビデオを再構築することなく、ビデオ品質をビットストリームレベルで評価する客観的なビデオ品質モデルに関する。

たとえば、Ｈ．２６４およびＭＰＥＧ−２のような、多くの既存のビデオ圧縮規格は、マクロブロックを基本符号化単位として使用する。したがって、以下の実施形態では、マクロブロックを基本処理単位として使用する。しかし、本原理は、たとえば、８×８ブロック、１６×８ブロック、３２×３２ブロック、または６４×６４ブロックのような、さまざまなサイズにおいてブロックを使用するように適合されうる。

ビデオの一部分が適切に復号されない場合、誤り隠蔽技法、たとえば、スライシングモード誤り隠蔽およびフリージングモード誤り隠蔽が、復号済みビデオを隠蔽するために使用されてもよい。

スライシングモード誤り隠蔽技法において、フレームに対応する一部のデータが失われた場合、復号器は、すでに再構築されているピクセルを使用して失われたマクロブロックを修復しようと試みる。可視アーティファクトは、修復後にピクチャ内に残存することがあり、隠蔽済みマクロブロックを参照として使用する後続のピクチャに伝搬することもある。

フリージングモード誤り隠蔽技法において、参照フレーム、たとえば、Ｉ、Ｐ、または参照Ｂフレームに対応する一部のデータが失われた場合、復号器は、復号をフリーズして、失われたフレームを（直接または間接的に）参照することなく、フレームが正しく受信されるまで、以前正しく復号されたフレームを繰り返す。非参照フレーム、たとえば、非参照Ｂフレームがデータを損失した場合、後続のフレームが非参照フレームを参照することなく復号されうるので、復号器は、損失したフレームの復号のみをフリーズする。フリージングモード誤り隠蔽は、任意の誤り隠蔽方策によって得られる最悪の知覚的品質を反映することがある。

符号化ビデオビットストリームの一部分がネットワーク送信中に失われた場合、失われた部分に対応するマクロブロックが失われたマクロブロックと示され、これらは復号不可能である。一部のマクロブロックはまた、たとえ正しく受信されたとしても、たとえばマクロブロックの構文が一致していないために、復号不可能となることがある。対応する圧縮データが失われているか、または構文が一致していないために、復号不可能なマクロブロックは、ＥＣ ＭＢと示される。復号可能なマクロブロックは、非ＥＣ ＭＢと示される。

スライシングモード誤り隠蔽技法において、非ＥＣ ＭＢが復号されてもよく、ＥＣ ＭＢは、たとえば、以前復号済みのフレームからの連結されたマクロブロックのピクセルを使用して、隠蔽されてもよい。ＥＤと示される、誤り隠蔽距離は、将来隠蔽されるフレームと隠蔽中のフレーム（つまり、誤り隠蔽に使用されるフレーム）との間の、表示順序の、距離として定義される。２つのフレーム間の距離が、２つのフレーム間の時間間隔もしくは時間差、または２つのフレーム間のフレームの数として計算されうることに留意されたい。誤り隠蔽距離パラメータは、いずれの誤り隠蔽技法が使用されるかによって異なる。誤り隠蔽技法が不明である場合、誤り隠蔽距離は、将来隠蔽されるフレームと直前の復号済みフレームとの間の距離として設定されてもよい。

一般に、誤り隠蔽の目標は、知覚的品質の低下を最小化するために、ＥＣ ＭＢを推定することである。送信誤りによって生成されるアーティファクトの知覚される強度は、採用される誤り隠蔽技法に大きく依存する。たとえば、現在のフレームから遠く離れたフレームが現在のマクロブロックを隠蔽するために使用される場合、隠蔽されたマクロブロックは、可視のアーティファクトを有する可能性がさらに高くなる。加えて、アーティファクト強度はまた、ビデオコンテンツにも関連する。たとえば、動きの遅いビデオの方が、容易に隠蔽される。したがって、動きベクトルおよび誤り隠蔽距離などのパラメータは、誤り隠蔽の有効性および隠蔽されたビデオの品質をビットストリームレベルで評価するために使用されてもよい。

所与の動きベクトル（ＭＶ_x，ＭＶ_y）について、その動き大きさ（ＭＶ）は、動きがどの程度大きいかを測定するために使用される。１つの例において、これは以下のように計算されうる。

これはまた、たとえば以下のように、他の形式で計算されてもよい。

ＭＶ＝｜ＭＶ_x｜＋｜ＭＶ_y｜ （２）
残余情報は、動き補償済み予測からもたらされる。マクロブロックの残余情報のエネルギー（残余エネルギー、ＲＳＤとも称される）が、マクロブロックのテクスチャー複雑性および動き複雑性を反映することが観察される。

たとえば、通常は容易に隠蔽される空および草地における、一部のビデオシーケンスの平滑な領域では、たとえピクチャ間の動きが小さくても、推定される動きベクトルは大きくなりうる。その結果、動きベクトルに基づくビデオ品質測定は、たとえ隠蔽された領域が良好なビジュアル品質を有していても、強い可視アーティファクトを誤って推定することがある。対照的に、平滑な領域の残余エネルギーは、比較的小さくなり、知覚されるビジュアル品質に関するより良好な指示をもたらすことができる。したがって、残余エネルギーは、アーティファクトレベルを推定する際にもう１つのパラメータとして使用されうる。

１つの実施形態において、非ＥＣ ＭＢの残余エネルギーは、逆量子化変換係数のエネルギーの和、または逆量子化ＡＣ変換係数のエネルギーの和として計算されうる。ＥＣ ＭＢの残余エネルギーは、以前の参照フレーム内の連結されたマクロブロックの残余エネルギーに設定されてもよい。

残余エネルギー、ならびに動き大きさおよび誤り隠蔽距離が、ビデオを再構築することなく導き出されることに留意されたい。つまり、ここでパラメータはビットストリームレベルで導き出されうる。

上記で説明されるように、ビジュアルアーティファクトは、誤り隠蔽後も引き続き知覚されることがある。ビジュアルアーティファクトは、誤り隠蔽がそこで効果的ではないために、ＥＣ ＭＢにおいて生じる場合がある。復号不可能マクロブロックによって生じるそのようなビジュアルアーティファクトは、初期可視アーティファクトと示される。たとえば、イントラ予測またはインター予測のために、初期可視アーティファクトを有するブロックが参照として使用される場合、初期可視アーティファクトは、予測を通じて同一または別のフレーム内で他のマクロブロックに空間的または時間的に伝搬することがある。そのような伝搬されたアーティファクトは、伝搬可視アーティファクトと示される。初期および／または伝搬可視アーティファクトによって生じた、全体的なアーティファクトは、全体的可視アーティファクトと示される。

本発明の原理は、スライシングモード誤り隠蔽が使用される場合のビジュアル品質測定を対象とする。スライシングモードによって生じるアーティファクトは、フリージングモード誤り隠蔽またはその他の誤り隠蔽技法によって生じるアーティファクトと合わせて考慮されてもよい。

例示的なビデオ品質モデリングの方法１００は、図１に示される。方法１００において、ビデオビットストリームは、ステップ１１０で入力され、ビットストリームに対応するビデオシーケンスの客観的品質が推定される。ステップ１２０において、初期可視アーティファクトレベルは、個々のマクロブロックについて推定される。初期可視アーティファクトのレベルは、アーティファクトタイプ、フレームタイプ、およびビットストリームから得られるその他のフレームレベルまたはマクロブロックレベルの特徴から推定されてもよい。ステップ１３０において、初期および伝搬可視アーティファクトは共に、個々のマクロブロックに対する全体的可視アーティファクトレベルを推定するために考慮される。ステップ１４０において、空間−時間アーティファクトプーリングアルゴリズムは、アーティファクトをマクロブロックレベルで１つの客観的ＭＯＳ（Mean Opinion Score：平均オピニオン評点）に変換するために使用されてもよく、これは入力されたビットストリームに対応するビデオシーケンスの全体的ビジュアル品質を推定する。空間−時間プーリング中、その他のアーティファクトタイプが考慮されてもよく、ＭＯＳ評点をさらに正確に推定するために人間の視覚系の特性が考慮されてもよい。ステップ１５０において、推定されたＭＯＳが出力される。

初期可視アーティファクトレベル推定（１２０）は、図２に示される例示の方法を使用して実行されてもよい。初期可視アーティファクトレベルを推定するため、方法はステップ１２１において、マクロブロックがＥＣ ＭＢであるかどうかを検査する。マクロブロックがＥＣ ＭＢではない場合、初期可視アーティファクトレベルは、たとえば、０の定数値に設定されて、初期可視アーティファクトが存在しないことを指示する。それ以外の場合、ステップ１２２、１２３、および１２４において、たとえば、動き大きさ（ＭＶ）、残余エネルギー（ＲＳＤ）、および誤り隠蔽距離（ＥＤ）のような、ＥＣ ＭＢのパラメータが推定される。パラメータは、図２に示される順序とは異なる順序で推定されていてもよい。たとえば高ビットレートアプリケーションのような、一部のアプリケーションにおいて、パラメータのサブセットのみが推定される必要がある。推定されたパラメータを使用し、ステップ１２５において、ＥＣ ＭＢについて初期可視アーティファクトレベルが推定される。

アプリケーションが高ビットレートアプリケーションまたは低ビットレートアプリケーションのいずれとして考慮されるかは、ビデオ解像度、使用されるビデオ圧縮規格、およびターゲットアプリケーションに依存する。たとえば、ＩＴＵ−Ｔ Ｐ．ＮＢＡＭＳ（ビデオストリーミングのパフォーマンスの評価のための非侵入型ビットストリームモデル）テストプランで定義されているように、ビットレートは、以下のようにモバイルアプリケーションおよびＩＰＴＶアプリケーションについて選択される。

モバイルアプリケーション向けＭＰＥＧ４およびＨ．２６４：
ＱＣＩＦ：３２〜２５６ｋｂｐｓ（非常に高いビットレート：１．５Ｍｂｐｓ）
ＱＶＧＡ：１００〜７６８ｋｂｐｓ（非常に高いビットレート：３．５Ｍｂｐｓ）
ＨＶＧＡ：１５０〜２０００ｋｂｐｓ（非常に高いビットレート：６Ｍｂｐｓ）
ＩＰＴＶアプリケーション向けＭＰＥＧ２：
ＳＤ（ＰＡＬ（５７６ｉ）およびＮＴＳＣ（４８０ｉ））：２〜１６Ｍｂｐｓ
ＩＰＴＶアプリケーション向けＨ．２６４：
１０８０ｉ／ｐ：１〜１５Ｍｂｐｓ（非常に高いビットレート：３０Ｍｂｐｓ）
７２０ｐ：０．５〜１５Ｍｂｐｓ（非常に高いビットレート：３０Ｍｂｐｓ）
ＳＤ（ＰＡＬおよびＮＴＳＣ）：０．５〜９Ｍｂｐｓ（非常に高いビットレート：９Ｍｂｐｓ）
特に、ＩＴＵ−Ｔ Ｐ．ＮＢＡＭＳの場合、ＳＤまたはＨＤ（７２０ｐおよび１０８０ｉ／ｐ）解像度を使用するＩＰＴＶアプリケーションは、高ビットレートアプリケーションと見なされ、ＨＶＧＡまたはより低い（たとえば、ＱＶＧＡ、ＱＣＩＦ）解像度を使用するモバイルアプリケーションは、低ビットレートアプリケーションと見なされる。

後段において、マクロブロックについて動き大きさを決定するステップ（１２２）、初期可視アーティファクトレベルを推定するステップ（１２５）、および全体的可視アーティファクトレベルを推定するステップ（１３０）がさらに詳細に説明される。
動き大きさ（ＭＶ）
ＥＣ ＭＢは復号不可能であるので、ＥＣ ＭＢの動きベクトルおよび残余情報は直接ビットストリームからは使用可能ではなく、したがって、動き大きさおよび残余エネルギーは推定される必要がある。

図３Ｂは、ＭＢ（ｎ，ｉ，ｊ）およびその８つの近傍マクロブロックを伴う現在のビデオフレームｎの部分を示す。図３Ａは、以前のビデオフレームｎ−１の同じ部分を示し、図３Ｃは、後続のビデオフレームｎ＋１の一部を示す。

マクロブロックの動き大きさの推定は、マクロブロックが属するフレームのフレームタイプによって異なる。ＥＣ ＭＢがイントラフレームである場合、ＥＣ ＭＢの動き大きさは、最も近い復号済み参照フレームの連結されたマクロブロックの動き大きさに設定されてもよい。つまり、フレームｎがイントラフレームである場合、ＥＣ ＭＢ（ｎ，ｉ，ｊ）の動きベクトルは、以下のように推定される。

ＭＶ（ｎ，ｉ，ｊ）＝ＭＶ（ｎ−ｋ，ｉ，ｊ） （３）
ただし、フレームｎ−ｋは最も近い参照フレームである。

ＥＣ ＭＢが非イントラフレーム（たとえば、ＢまたはＰフレーム）である場合、その４つの直近隣接近傍の使用可能な動きベクトルの中央値が、ＥＣ ＭＢの動きベクトルを推定するため、および動き大きさを計算するために使用されてもよい。「使用可能な動きベクトル」という用語は、対応するマクロブロックが、正しく復号されており、インター予測されたマクロブロックであることを意味する。したがって、フレームｎが非イントラフレームであり、すべての４つの直近近傍マクロブロックの動きベクトルが使用可能である場合、ＥＣ ＭＢ（ｎ，ｉ，ｊ）の動きベクトルは、以下のように推定されうる。

ＭＶ（ｎ，ｉ，ｊ）＝ｍｅｄｉａｎ（ＭＶ（ｎ，ｉ，ｊ−１），ＭＶ（ｎ，ｉ，ｊ＋１），ＭＶ（ｎ，ｉ−１，ｊ），ＭＶ（ｎ，ｉ＋１，ｊ）） （４）
非イントラフレームのマクロブロックが使用可能な近傍動きベクトルを有していない場合、式（４）で説明される上記の動き大きさを使用することができないので、動き大きさは異なる方法で推定される必要がある。１つの例示的な実施形態において、マクロブロックが正しく復号されており、イントラマクロブロックである場合、その動きベクトルはゼロに設定される。それ以外の場合、スライス境界におけるマクロブロックの動きベクトルは、空間的に最も近いマクロブロックの動きベクトルに設定され、スライス内の内部マクロブロックの動きベクトルは、以前の参照フレームの動きベクトルに設定される。たとえば、フレームがスライスあたり１つのＭＢ行で符号化されている場合、マクロブロックの動きベクトルは、空間的に最も近い上位マクロブロックの動きベクトルに設定される。フレームがスライスあたり１つのフレームで符号化されている場合、マクロブロックの動きベクトルは、以前の参照フレームの連結されたマクロブロックの動きベクトルに設定され、以前の参照フレームは表示順で最も近い以前復号された参照フレームとして定義される。

表１において、例示の擬似コードは、非イントラフレームのＥＣ ＭＢの動きベクトルがどのように導き出されうるかを示すために提供される。

非ＥＣマクロブロックの場合、動きベクトルが使用可能である。しかし、異常な動きベクトルを回避するため、その４つの直近隣接マクロブロックおよびそれ自身の使用可能な動きベクトルの中央値は、マクロブロックの詳細化された動きベクトルとして計算されてもよく、これは後のフレームの連結されたＥＣ ＭＢによって使用されうる。したがって、フレームｎが非イントラフレームであり、４つの直近近傍マクロブロックの動きベクトルが使用可能である場合、非ＥＣ ＭＢ（ｎ，ｉ，ｊ）の詳細化された動きベクトルは、以下のように推定されうる。

ＭＶ（ｎ，ｉ，ｊ）＝ｍｅｄｉａｎ（ＭＶ（ｎ，ｉ，ｊ−１），ＭＶ（ｎ，ｉ，ｊ＋１），ＭＶ（ｎ，ｉ，ｊ），ＭＶ（ｎ，ｉ−１，ｊ），ＭＶ（ｎ，ｉ＋１，ｊ）） （５）
１つの実装形態において、非ＥＣ ＭＢの実際の動きベクトルを使用して高ビットレートアプリケーションの動き大きさを計算し、低ビットレートアプリケーションには詳細化された動きベクトルを使用する。

圧縮されたビットストリームから復号された動きベクトルは常に真の動きを反映するとは限らないので、動きベクトルを推定または詳細化する際の中央値演算は、異常な動きベクトルを回避すること、および概ね真の動きを取得することが意図される。

上記で説明される動きベクトルの推定の場合、マクロブロックあたり１つの動きベクトルがあると仮定する。方法は、マクロブロックに対して複数の動きベクトルがある場合に容易に拡張されうる。たとえば、Ｈ．２６４／ＡＶＣにおいて、マクロブロックはさらにブロックまたはサブブロックに分割されてもよく、インター予測フレームにはさまざまなマクロブロック分割モードがあってもよい。１つの実施形態において、インター予測マクロブロックの１６の４×４ブロックに対応する１６の動きベクトルが、中央値を計算するために使用される。

Ｂフレームのインター予測マクロブロックの場合、さまざまな予測方向を有するか、またはさまざまな予測リストを参照することができる。たとえば、Ｂフレームのマクロブロックは、順方向予測のみ、逆方向予測のみ、または双方向予測を使用することができる。１つのフレーム内のマクロブロックはまた、複数の参照フレームを使用するので、さまざまな参照フレームを有することができる。したがって、ＢフレームおよびＰフレーム内の動きベクトルの意味を統一するため、動きベクトルを、参照方向および現在のフレームと参照フレームとの間の距離で正規化する。参照フレームが完全に失われた場合、距離は、失われた参照フレームの表示順序、またはＰＯＣ（Picture Order Count：ピクチャオーダーカウント）値を推論することによって計算される。たとえば、インター予測マクロブロックのブロックの場合、その復号されたＭＶは、以下のように正規化されうる。

ただし、ＭＶ₀およびＭＶ₁はそれぞれ、順方向予測および逆方向予測の動きベクトルであり、ｄｉｓｔ₀およびｄｉｓｔ₁はそれぞれ、現在のフレームとその順方向参照フレームと逆方向参照フレームの間の距離である。
初期可視アーティファクトレベル推定
上記で説明されるように、フレームｎの非ＥＣ ＭＢの場合、初期アーティファクト可視性レベルＬｏＶＡ_initは、たとえば０のような、定数に設定される。

部分的に受信されたフレームのＥＣ ＭＢの場合、動き大きさおよび誤り隠蔽距離が通常、可視アーティファクトレベルに緊密に関連することが観察される。ＭＶとＥＤの積、ＭＶ×ＥＤが、多くの場合、隠蔽フレームから現在のフレームまでのオブジェクトの変位を反映することを、我々は観察している。一般に、値が大きくなれば、それに応じて、マクロブロックにおいて可視アーティファクトがある可能性も高くなる。

したがって、初期アーティファクト可視レベルは、動き大きさおよび誤り隠蔽距離の関数として計算されてもよい。１つの例において、ＬｏＶＡ_initは以下のように計算されてもよい。

ただし、

式（７）のＭＶが、ピクセルの単位となるように正規化されてもよいが、ビットストリームから解析された動きベクトルが、たとえばＨ．２６４／ＡＶＣ準拠ビットストリームの場合の４分の１ピクセルの単位のように、分数ピクセルの単位となりうることに留意されたい。

もう１つの例示的な実施形態において、我々は、初期アーティファクトレベルの推定が、ビットレートまたはアプリケーションに適応できることに気付いた。たとえば、高ビットレートアプリケーションにおいて、

を使用することだけで、すでに正確な推定をもたらすことができる。しかし、低ビットレートアプリケーションにおいて、動き推定はあまり正確ではなく、

のみでは常に正確な推定をもたらすわけではない。低ビットレートアプリケーションの場合の正確性を高めるために、残余エネルギーが使用されてもよい。たとえば、ＥＣ ＭＢについて、ＬｏＶＡ_initは以下のように計算されてもよい。

ただし、

あるいは、式（９）のｍｉｎ（．）関数は、たとえば

のような他の関数で置き換えられてもよい、ただし、ａ、ｂ、およびｃは定数である。

ｆ₁（ｘ）について、定数は、０〜２５５のアーティファクトスケールで、ｖ₁＝０、ｖ₂＝１００、Ｓ₁＝１ピクセル、およびＳ₂＝８ピクセルとして設定されてもよい。ｆ₂（ｘ）について、定数は、０〜２５５のアーティファクトスケールで、ｕ₁＝０、ｕ₂＝１００、Ｔ₁＝１ピクセル、およびＴ₂＝６４として設定されてもよい。定数は、たとえば、さまざまなアプリケーションおよびアーティファクトスケールのその他の範囲をサポートするように、調整されてもよい。

参照フレームが失われた場合、マクロブロック（ｎ，ｉ，ｊ）のすべての動きベクトルのスケーラ平均が計算され、ＭＶ_mgntと示される。もう１つの実施形態において、失われた参照フレームを指し示す動きベクトルのスケーラ平均は、ＭＶｍｇｎｔを計算するために使用される。マクロブロックに対応する動きベクトルがない場合は、ＭＶ_mgntが０に設定される。ＭＶｍｇｎｔを使用して、初期アーティファクトレベルは以下のように計算されてもよい。

もう１つの実施形態において、以下のように計算されうるｓｐａｔｉａｌｕｎｉｆｏｒｍＭＶが、ＭＶ_mgntの代わりに使用される。
ｓｐａｔｉａｌｕｎｉｆｏｒｍＭＶ_x（ｎ，ｉ，ｊ）＝ｓｔａｎｄａｒｄｖａｒｉａｎｃｅ｛ｍｖ_x（ｎ，ｉ−１，ｊ−１），ｍｖ_x（ｎ，ｉ，ｊ−１），ｍｖ_x（ｎ，ｉ＋１，ｊ−１），ｍｖ_x（ｎ，ｉ−１，ｊ），ｍｖ_x（ｎ，ｉ＋１，ｊ），ｍｖ_x（ｎ，ｉ−１，ｊ＋１），ｍｖ_x（ｎ，ｉ，ｊ＋１），ｍｖ_x（ｎ，ｉ＋１，ｊ＋１）｝、
ｓｐａｔｉａｌｕｎｉｆｏｒｍＭＶ_y（ｎ，ｉ，ｊ）＝ｓｔａｎｄａｒｄｖａｒｉａｎｃｅ｛ｍｖ_y（ｎ，ｉ−１，ｊ−１），ｍｖ_y（ｎ，ｉ，ｊ−１），ｍｖ_y（ｎ，ｉ＋１，ｊ−１），ｍｖ_y（ｎ，ｉ−１，ｊ），ｍｖ_y（ｎ，ｉ＋１，ｊ），ｍｖ_y（ｎ，ｉ−１，ｊ＋１），ｍｖ_y（ｎ，ｉ，ｊ＋１），ｍｖ_y（ｎ，ｉ＋１，ｊ＋１）｝、
ｓｐａｔｉａｌｕｎｉｆｏｒｍＭＶ（ｎ，ｉ，ｊ）＝ｍａｘ（ｓｐａｔｉａｌｕｎｉｆｏｒｍＭＶ_x（ｎ，ｉ，ｊ），ｓｐａｔｉａｌｕｎｉｆｏｒｍＭＶ_y（ｎ，ｉ，ｊ）） （１２）
さらなるもう１つの実施形態において、低ビットレートアプリケーションにＭＶ_mgntを使用し、高ビットレートアプリケーションにｓｐａｔｉａｌｕｎｉｆｏｒｍＭＶを使用する。

参照フレームが失われない場合、

は０に設定される。参照フレームが失われるかどうかは、ビットストリームで受信された構文要素を解析することによって決定されうる。

現在のフレームの失われたマクロブロックおよび参照フレームの損失を共に考慮して、初期可視アーティファクトレベルは以下のように計算されてもよい。

たとえば、順方向予測および逆方向予測という２つの参照ピクチャリストがある場合、マクロブロックの初期可視アーティファクトレベルは以下のように拡張されてもよい。

ただし、

および

は異なる参照ピクチャリストに対応する。式（１３）および式（１４）のｍａｘ（．）関数は、たとえば加重和のような他の関数で置き換えられてもよい。

上記で説明されているように、動きフィールドおよび予測残余が時間的に首尾一貫していると仮定して、以前の参照フレームからのＥＣ ＭＢの動きベクトルおよび残余エネルギーを推定することができる。しかし、この仮定は、ＥＣ ＭＢがシーンカットフレームで生じる場合には、適用することができない。事実、パケット損失がシーンカットフレームで生じる場合、時間的誤り隠蔽の方法は適正に機能しなくなり、強い可視アーティファクトを生成することもある。シーンカットフレームでパケット損失が生じる場合にビジュアル品質を評価する方法は、所有者共通のＰＣＴ出願、Ｎ．Ｌｉａｏ、Ｚ．Ｃｈｅｎ、Ｆ．Ｚｈａｎｇ、およびＫ．Ｘｉｅの特許文献１、名称「Ｖｉｄｅｏ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ Ｃｏｎｓｉｄｅｒｉｎｇ Ｓｃｅｎｅ Ｃｕｔ Ａｒｔｉｆａｃｔｓ」において開示されており、その教示は参照により本明細書に明確に組み入れられる。

全体的可視アーティファクトレベル推定
ビデオ圧縮に使用されるイントラまたはインター予測により、ＥＣ ＭＢの初期可視アーティファクトは、その他のマクロブロックまたはその他のフレームに空間的および時間的に伝搬することができる。マクロブロックの個々のピクセルについて、マクロブロックが復号不可能であるため、および／または誤り伝搬により、可視アーティファクトが導入されうる。Ｈ．２６４／ＡＶＣを一例として使用して、初期アーティファクトおよび伝搬されたアーティファクトを共に考慮して全体的可視アーティファクトレベルを推定する方法を説明する。

ピクセルのアーティファクトレベルをｄ_n,x,yと示す、ただしｎはフレームインデックスであり、（ｘ，ｙ）はピクセルのフレーム内の座標である。ｄ_n,x,yは、最初に０に設定されてもよい。１つの実施形態において、ｄ_n,x,yは以下のように計算されてもよい。

ｄ_n,x,y＝ｍｉｎ（２５５，ｍａｘ（ｄ_{n-k,x’,y’}，ＬｏＶＡ_init（ｎ，ｘ／１６，ｙ／１６））） （１５）
ただし、ｄ_{n-k,x’,y’}はピクセル（ｎ，ｘ，ｙ）の伝搬された可視アーティファクトであり、現在のピクセルの参照ピクセル（ｎ−ｋ，ｘ’，ｙ’）におけるアーティファクトレベルとして推定されうる。つまり、アーティファクトレベルがどのように伝搬するかは、動きベクトルを通じて追跡されてもよい。計算を簡単にするため、分数ピクセル精度ではなく整数ピクセル精度で参照ピクセルにおけるアーティファクトレベルを使用することができる。式（１５）で使用される定数（つまり、２５５および１６）は、その他のアーティファクトスケールまたはブロックサイズが使用される場合に適応されてもよい。ｍｉｎ（．）またはｍａｘ（．）関数はまた、たとえばｄ_{n-k,x’,y’}およびＬｏＶＡ_init（ｎ，ｘ／１６，ｙ／１６）の積または加重和のような他の関数で置き換えられてもよい。

式（１５）において、参照フレーム内のピクセル（ｄ_{n-k,x’,y’}）のアーティファクトレベルは、現在のフレーム内のピクセルのアーティファクトレベルを推定するために使用される。参照フレーム（たとえば、Ｉ、Ｐ、または参照Ｂフレーム）が完全に失われる場合、参照フレーム内のピクセルのアーティファクトレベルは使用可能ではないことがあり、推定のために隣接する使用可能な参照フレームを使用することができる。

ピクセルのアーティファクトレベルが推定された後、フレーム内の個々のマクロブロックの全体的可視アーティファクトレベルは、マクロブロック内のピクセルのアーティファクトレベルを平均化することによって推定されてもよい。

このプロセスにおいて、ピクセルアーティファクトレベルを平均化すること、および演算を切り取ることは、ある程度空間的クラスタリングの役割を果たす。

アーティファクトの知覚される強度はまた、人間の視覚系の特性に依存する。教示は参照により本明細書に明確に組み入れられる所有者共通のＰＣＴ出願、Ｘ．Ｇｕ、Ｄ．Ｌｉｕ、およびＺ．Ｃｈｅｎの特許文献２、名称「Ｐｅｒｃｅｉｖｅｄ Ｖｉｄｅｏ Ｑｕａｌｉｔｙ Ｅｓｔｉｍａｔｉｏｎ Ｃｏｎｓｉｄｅｒｉｎｇ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ」において開示されるように、マクロブロックのアーティファクトレベルは、知覚されるアーティファクト強度をより正確に推定するために視覚感度因数で重み付けされてもよい。

マクロブロックレベルで推定されたアーティファクトレベルを所与として、空間−時間プーリングは、対数関数を使用して操作され、以下のようにビデオシーケンスのスライシングアーティファクトレベルを生成することができる。

ＬｏＶＡ_seq＝ｌｏｇ₁₀（（Σ_nＬｏＶＡ（ｎ））／Ｆ_fps＋１） （１７）
ただし、Ｆ_fpsはフレームレートである。次いで、式（１７）から計算されるアーティファクトレベルは、たとえば、以下のような、スライシングアーティファクトに対応する品質メトリックにマップされてもよい。

ただし、Ｃ₁、Ｃ₂、およびＣ₃は定数であり、これらはスライシングアーティファクトのみを有するサンプルでトレーニングされてもよい、つまり知覚的品質への符号化アーティファクトの影響がほぼゼロと等しくなる。これは、Ｑ_c（圧縮アーティファクトに対応する推定される品質）が、たとえば１つの例示的な実装形態において３．５のようなしきい値よりも大きいサンプルを選択することにより行われてもよい。

スライシングアーティファクトに対応する推定された品質Ｑ_sに基づいて、入力ビットストリームに対応するビデオシーケンスの全体的ビジュアル品質メトリックが推定されうる。たとえばフリージングアーティファクトおよび圧縮アーティファクトのような、その他のタイプのアーティファクトは、ビデオシーケンスの全体的ビジュアル品質メトリックを生成する場合に考慮されてもよい。

本発明の原理は、ビデオ品質を測定するためにビデオ品質モニターにおいて使用されてもよい。図４は、例示のビデオ品質モニター４００を示すブロック図である。装置４００の入力は、ビットストリームを含むトランスポートストリームを含むことができる。入力は、ビットストリームを含むその他のフォーマットであってもよい。

デマルチプレクサ４１０は、たとえばパケットの数、バイトの数、およびフレームサイズのような、パケットレイヤ情報をビットストリームから取得する。復号器４２０は、入力ストリームを解析して、たとえば、フレームタイプ、予測残余、および動きベクトルのような、さらに多くの情報を取得する。復号器４２０は、ピクチャを再構築することも、再構築しないこともある。その他の実施形態において、復号器は、デマルチプレクサの機能を実行することができる。

復号された情報を使用して、たとえば、動き大きさ、残余エネルギー、および誤り隠蔽距離のような、アーティファクトレベル推定に必要とされるパラメータが、パラメータ推定器４３０において推定される。推定されたパラメータに基づいて、個々のマクロブロックに対する初期可視アーティファクトレベルが、たとえば方法１２０を使用して、初期可視アーティファクトレベル推定器４４０において推定される。初期アーティファクトおよび誤り伝搬を考慮して、個々のマクロブロックに対する全体的アーティファクトレベルが、全体的アーティファクトレベル推定器４５０において推定される。次いで、品質予測器４６０は、マクロブロックレベルのアーティファクトレベルを品質評点にプールする。品質予測器４６０は、アーティファクトのその他のタイプおよび人間の視覚特性を考慮することができる。

ビデオ品質モニター４００は、たとえばＩＴＵ−Ｔ Ｐ．ＮＢＡＭＳ規格において使用されてもよく、この規格は、２つのアプリケーションシナリオ、つまりそれぞれＨＢＲシナリオおよびＬＢＲシナリオとも称される、ＩＰＴＶおよびモバイルビデオストリーミングにおいてビデオ品質評価モデルに取り組むものである。２つのシナリオの相違は、ビデオコンテンツの空間−時間解像度および符号化構成からトランスポートプロトコルおよび表示条件まで多岐にわたる。

Ｐ．ＮＢＡＭＳ ＶＱＭ（ビデオ品質モデル）への入力は、すべての送信パケットヘッダ（ＵＤＰ／ＩＰ／ＲＴＰまたはＵＤＰ／ＩＰ／ＲＴＰ／ＴＳ）を伴う符号化ビデオビットストリームである。出力は、客観的なＭＯＳ評点である。ビデオ品質をモニターするためにセットトップボックス（ＳＴＢ）またはゲートウェイに組み込まれることは、Ｐ．ＮＢＡＭＳ機能の主要なターゲットアプリケーションである。Ｐ．ＮＢＡＭＳモード１モデルでは、Ｈ．２６４構文を解析することによってビットストリーム情報を使用するのみであり、モード２モデルでは、ビデオシーケンスの一部または全部を復号することができ、ピクセル情報は、予測精度を高めるためにビットストリーム情報を解析することに加えてビジュアル品質予測のために使用される。

図５を参照すると、上記で説明される特徴および原理が適用されうるビデオ送信システムまたは装置５００が示される。プロセッサ５０５はビデオを処理し、符号化器５１０はビデオを符号化する。符号化器から生成されたビットストリームは、分散ネットワーク５２０を通じて復号器５３０に送信される。ビデオ品質モニターは、さまざまな段階において使用されてもよい。

１つの実施形態において、ビデオ品質モニター５４０は、コンテンツクリエイターによって使用されてもよい。たとえば、推定されるビデオ品質は、モード決定またはビットレート割り振りのような符号化パラメータを決定する際に符号化器によって使用されてもよい。もう１つの例において、ビデオが符号化された後、コンテンツクリエイターは、ビデオ品質モニターを使用して、符号化されたビデオの品質をモニターする。品質メトリックが事前定義の品質レベルを満たさない場合、コンテンツクリエイターは、ビデオ品質を高めるためにビデオを再符号化するように選択することができる。コンテンツクリエイターはまた、品質に基づいて符号化されたビデオをランク付けすることもでき、それに応じてコンテンツに課金する。

もう１つの実施形態において、ビデオ品質モニター５５０は、コンテンツディストリビューターによって使用されてもよい。ビデオ品質モニターは、流通ネットワークに配置されてもよい。ビデオ品質モニターは、品質メトリックを計算し、それらをコンテンツディストリビューターにレポートする。ビデオ品質モニターからのフィードバックに基づいて、コンテンツディストリビューターは、帯域幅割り振りおよびアクセス制御を調整することによってそのサービスを向上させることができる。

コンテンツディストリビューターはまた、符号化を調整するためにフィードバックをコンテンツクリエイターに送信することができる。高品質の符号化ビデオが通常はより多くの帯域幅を必要とし、送信保護に使用できる帯域幅を少なくしてしまうので、符号化器において符号化品質を向上させることが、必ずしも復号器側において品質を向上させることにはならないことに留意されたい。したがって、復号器において最適な品質に達するには、符号化ビットレートとチャネル保護のための帯域幅とのバランスが考慮される必要がある。

もう１つの実施形態において、ビデオ品質モニター５６０は、ユーザデバイスによって使用されてもよい。たとえば、ユーザデバイスがインターネットでビデオを検索する場合、検索結果は、要求されたビデオコンテンツに対応する多くのビデオまたはビデオへの多くのリンクを返すことができる。検索結果のビデオは、さまざまな品質レベルを有することができる。ビデオ品質モニターは、これらのビデオについて品質メトリックを計算し、どのビデオを格納するかを選択するように決定することができる。もう１つの例において、ユーザデバイスは、複数の誤り隠蔽技法にアクセスすることができる。ビデオ品質モニターは、さまざまな誤り隠蔽技法について品質メトリックを計算し、計算された品質メトリックに基づいてどの隠蔽技法を使用するかを自動的に選択することができる。

本明細書において説明される実装形態は、たとえば、方法、またはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号において実施されてもよい。たとえ、（たとえば、方法として説明されているだけなど）単一の実装形態の形式のコンテキストにおいて説明されているだけであっても、説明される特徴の実装形態はまた、その他の形式（たとえば、装置またはプログラム）において実施されてもよい。装置は、たとえば、適切なハードウェア、ソフトウェア、およびファームウェアにおいて実施されてもよい。たとえば方法は、たとえば一般にコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを含む処理デバイスを示す、たとえばプロセッサなどの装置において実施されてもよい。プロセッサはまた、たとえば、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にするその他のデバイスなどの、通信デバイスを含む。

本発明の原理の「１つの実施形態（one embodiment）」もしくは「実施形態（an embodiment）」または「１つの実装形態（one implementation）」もしくは「実装形態（an implementation）」、ならびにその他のその変形は、実施形態に関連して説明される特定の特徴、構造、特性などが、本発明の原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通じてさまざまな箇所に出現する、語句「１つの実施態様において」もしくは「実施態様において」または「１つの実装形態において」もしくは「実装形態において」、ならびに任意のその他の変形の出現は、必ずしもすべてが同一の実施形態を示すものではない。

加えて、この出願またはその特許請求の範囲は、さまざまな情報を「決定すること」について言及することがある。情報を決定することは、たとえば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリから情報を取り出すことのうちの１または複数を含むことができる。

さらに、この出願またはその特許請求の範囲は、さまざまな情報に「アクセスすること」について言及することがある。情報にアクセスすることは、たとえば、情報を受信すること、情報を（たとえばメモリから）取り出すこと、情報を格納すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１または複数を含むことができる。

加えて、この出願またはその特許請求の範囲は、さまざまな情報を「受信すること」について言及することがある。受信することは、「アクセスすること」の場合と同様に、広義な用語であることが企図される。情報を受信することは、たとえば、情報にアクセスすること、または情報を（たとえばメモリから）取り出すことのうちの１または複数を含むことができる。さらに、「受信すること」は通常、たとえば、情報を格納する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を決定する、情報を予測する、または情報を推定するなどのような操作中に、さまざまな方法で関与する。

当業者には明らかであろうように、実装形態は、たとえば、格納または送信されうる情報を搬送するためにフォーマットされたさまざまな信号を生成することができる。情報は、たとえば、方法を実行するための命令、または説明される実装形態の１つによって生成されるデータを含むことができる。たとえば、信号は、説明される実施形態のビットストリームを搬送するためにフォーマットされてもよい。そのような信号は、たとえば、（たとえば、スペクトルの無線周波数部分を使用する）電磁波として、またはベースバンド信号として、フォーマットされてもよい。フォーマットすることは、たとえば、データストリームを符号化すること、および符号化されたデータストリームで搬送波を変調することを含むことができる。信号が搬送する情報は、たとえば、アナログまたはディジタル情報であってもよい。信号は、周知のように、多種多様な有線または無線リンクを介して送信されてもよい。信号は、プロセッサ可読媒体に格納されてもよい。

当業者には明らかであろうように、実装形態は、たとえば、格納または送信されうる情報を搬送するためにフォーマットされたさまざまな信号を生成することができる。情報は、たとえば、方法を実行するための命令、または説明される実装形態の１つによって生成されるデータを含むことができる。たとえば、信号は、説明される実施形態のビットストリームを搬送するためにフォーマットされてもよい。そのような信号は、たとえば、（たとえば、スペクトルの無線周波数部分を使用する）電磁波として、またはベースバンド信号として、フォーマットされてもよい。フォーマットすることは、たとえば、データストリームを符号化すること、および符号化されたデータストリームで搬送波を変調することを含むことができる。信号が搬送する情報は、たとえば、アナログまたはディジタル情報であってもよい。信号は、周知のように、多種多様な有線または無線リンクを介して送信されてもよい。信号は、プロセッサ可読媒体に格納されてもよい。
本発明は以下の態様を含む。
（付記１）
ビットストリームにより表されるビデオシーケンスのビジュアル品質を推定するための方法であって、スライシングモード誤り隠蔽が前記ビデオシーケンスの復号不可能ブロックを隠蔽するために使用される方法において、
復号不可能である、前記ビデオシーケンスのフレーム内のブロックの動き大きさを推定するステップ（１２２）と、
前記フレームと前記ブロックを隠蔽するために使用される別のフレームとの間の距離を決定するステップ（１２４）と、
前記動き大きさおよび前記距離に応じて前記ビデオシーケンスの前記ビジュアル品質を推定するステップ（１３０、１４０）と、
を含む、前記方法。
（付記２）
前記動き大きさおよび前記距離に応じて初期可視アーティファクトレベルを決定するステップ（１２５）であって、前記ビデオシーケンスの前記ビジュアル品質は前記初期可視アーティファクトレベルに応じて推定される前記ステップをさらに含む、付記１に記載の方法。
（付記３）
前記初期可視アーティファクトレベルは、前記動き大きさおよび前記距離の積に対応する、付記２に記載の方法。
（付記４）
前記ブロックの残余エネルギーを推定するステップ（１２３）であって、前記初期可視アーティファクトレベルは前記残余エネルギーにさらに応じて決定される前記ステップをさらに含む、付記２に記載の方法。
（付記５）
前記初期可視アーティファクトレベルは、前記動き大きさおよび前記距離の関数および前記残余エネルギーの別の関数のうちの小さい方に応じて決定される、付記４に記載の方法。
（付記６）
前記決定するステップは、高ビットレートアプリケーションの場合には前記動き大きさおよび前記距離の関数のみに対応し、低ビットレートアプリケーションの場合には前記動き大きさおよび前記距離の前記関数と前記残余エネルギーの別の関数の両方に対応する、付記４に記載の方法。
（付記７）
前記ブロックの参照ブロックとして使用される別のブロック内のピクセルのアーティファクトレベルに応じて、前記ブロック内のピクセルの伝搬済み可視アーティファクトを決定するステップと、
前記ブロック内の前記ピクセルの前記伝搬済み可視アーティファクトレベルに応じて前記ブロック内の前記ピクセルのアーティファクトレベルを決定するステップ（１３０）と、
前記ブロック内の前記ピクセルの前記アーティファクトレベルに応じて前記ブロックの全体的可視アーティファクトレベルを推定するステップ（１３０）であって、前記ビデオシーケンスの前記ビジュアル品質は、前記ブロックの前記全体的可視アーティファクトレベルに応じて推定される前記ステップとをさらに含む、付記１に記載の方法。
（付記８）
前記ブロックの前記全体的可視アーティファクトレベルは、前記ブロック内のピクセルのアーティファクトレベルの平均に応じて推定される、付記７に記載の方法。
（付記９）
前記動き大きさおよび前記距離に応じて初期可視アーティファクトレベルを決定するステップ（１２５）であって、前記ブロック内の前記ピクセルの前記アーティファクトレベルを決定する前記ステップは前記ブロックの前記初期可視アーティファクトレベルにさらに応じる前記ステップをさらに含む、付記７に記載の方法。
（付記１０）
前記ブロック内の前記ピクセルの前記アーティファクトレベルは、前記初期可視アーティファクトレベルおよび前記伝搬済み可視アーティファクトレベルのうちの大きい方に応じて決定される、付記９に記載の方法。
（付記１１）
前記ビジュアル品質はビットストリームレベルで推定される、付記１に記載の方法。
（付記１２）
ビットストリームにより表されるビデオシーケンスのビジュアル品質を推定するための装置であって、スライシングモード誤り隠蔽が前記ビデオシーケンスの復号不可能ブロックを隠蔽するために使用される装置において、
前記ビデオシーケンスのフレーム内の復号不可能ブロックの動き大きさを推定し、前記フレームと前記復号不可能ブロックを隠蔽するために使用される別のフレームとの間の距離を推定するパラメータ推定器（４３０）と、
前記動き大きさおよび前記距離に応じて前記ビデオシーケンスの前記ビジュアル品質を推定する品質予測器（４６０）と、
を含む、前記装置。
（付記１３）
前記動き大きさおよび前記距離に応じて初期可視アーティファクトレベルを決定する初期可視アーティファクトレベル推定器（４４０）であって、前記品質予測器（４６０）は前記初期可視アーティファクトレベルに応じて前記ビデオシーケンスの前記ビジュアル品質を推定する前記推定器をさらに含む、付記１２に記載の装置。
（付記１４）
前記初期可視アーティファクトレベル推定器（４４０）は、前記動き大きさおよび前記距離の積に応じて前記初期可視アーティファクトレベルを決定する、付記１３に記載の装置。
（付記１５）
前記パラメータ推定器（４３０）は、前記ブロックの残余エネルギーをさらに推定し、前記初期可視アーティファクトレベル推定器（４４０）は、前記残余エネルギーにさらに応じて前記初期可視アーティファクトレベルを決定する、付記１３に記載の装置。
（付記１６）
前記初期可視アーティファクトレベル推定器（４４０）は、前記動き大きさおよび前記距離の関数および前記残余エネルギーの別の関数のうちの小さい方に応じて前記初期可視アーティファクトレベルを決定する、付記１５に記載の装置。
（付記１７）
前記初期可視アーティファクトレベル推定器（４４０）は、高ビットレートアプリケーションの場合には前記動き大きさおよび前記距離の関数のみに対応し、低ビットレートアプリケーションの場合には前記動き大きさおよび前記距離の前記関数と前記残余エネルギーの別の関数の両方に対応して前記初期可視アーティファクトレベルを決定する、付記１５に記載の装置。
（付記１８）
前記ブロックの参照ブロックとして使用される別のブロック内のピクセルのアーティファクトレベルに応じて、前記ブロック内のピクセルの伝搬済み可視アーティファクトレベルを決定し、前記ブロック内のピクセルの前記伝搬済み可視アーティファクトレベルに応じて前記ブロック内の前記ピクセルのアーティファクトレベルを決定し、前記ブロック内の前記ピクセルの前記アーティファクトレベルに応じて前記ブロックの全体的可視アーティファクトレベルを推定する、全体的アーティファクトレベル推定器（４５０）をさらに含む、付記１２に記載の装置。
（付記１９）
前記全体的アーティファクトレベル推定器（４５０）は、前記ブロック内のピクセルのアーティファクトレベルの平均に応じて前記ブロックの前記全体的可視アーティファクトレベルを推定する、付記１８に記載の装置。
（付記２０）
前記動き大きさおよび前記距離に応じて初期可視アーティファクトレベルを決定する初期可視アーティファクトレベル推定器（４４０）であって、前記全体的アーティファクトレベル推定器（４５０）は前記ブロックの前記初期可視アーティファクトレベルにさらに応じて前記ブロック内の前記ピクセルの前記アーティファクトレベルを決定する前記推定器をさらに含む、付記１８に記載の装置。
（付記２１）
前記全体的アーティファクトレベル推定器（４５０）は、前記初期可視アーティファクトレベルおよび前記伝搬済み可視アーティファクトレベルのうちの大きい方に応じて前記ブロック内の前記ピクセルの前記アーティファクトレベルを決定する、付記２０に記載の装置。
（付記２２）
前記ビジュアル品質はビットストリームレベルで推定される、付記１２に記載の装置。
（付記２３）
付記１乃至１１に従って、ビットストリームにより表されるビデオシーケンスのビジュアル品質を推定するための命令を格納したコンピュータ可読記憶媒体であって、スライシングモード誤り隠蔽が前記ビデオシーケンスの復号不可能ブロックを隠蔽するために使用される、前記コンピュータ可読記憶媒体。

Claims (23)

1. ビットストリームにより表されるビデオシーケンスのビジュアル品質を推定するための方法であって、スライシングモード誤り隠蔽が前記ビデオシーケンスの復号不可能ブロックを隠蔽するために使用される方法において、
   復号不可能である、前記ビデオシーケンスのフレーム内のブロックの動き大きさを推定するステップ（１２２）と、
   前記フレームと前記ブロックを隠蔽するために使用される別のフレームとの間の距離を決定するステップ（１２４）と、
   前記動き大きさおよび前記距離に応じて前記ビデオシーケンスの前記ビジュアル品質を推定するステップ（１３０、１４０）と、
   を含む、前記方法。
2. 前記動き大きさおよび前記距離に応じて初期可視アーティファクトレベルを決定するステップ（１２５）であって、前記ビデオシーケンスの前記ビジュアル品質は前記初期可視アーティファクトレベルに応じて推定される前記ステップをさらに含む、請求項１に記載の方法。
3. 前記初期可視アーティファクトレベルは、前記動き大きさおよび前記距離の積に対応する、請求項２に記載の方法。
4. 前記ブロックの残余エネルギーを推定するステップ（１２３）であって、前記初期可視アーティファクトレベルは前記残余エネルギーにさらに応じて決定される前記ステップをさらに含む、請求項２に記載の方法。
5. 前記初期可視アーティファクトレベルは、前記動き大きさおよび前記距離の関数および前記残余エネルギーの別の関数のうちの小さい方に応じて決定される、請求項４に記載の方法。
6. 前記決定するステップは、高ビットレートアプリケーションの場合には前記動き大きさおよび前記距離の関数のみに対応し、低ビットレートアプリケーションの場合には前記動き大きさおよび前記距離の前記関数と前記残余エネルギーの別の関数の両方に対応する、請求項４に記載の方法。
7. 前記ブロックの参照ブロックとして使用される別のブロック内のピクセルのアーティファクトレベルに応じて、前記ブロック内のピクセルの伝搬済み可視アーティファクトを決定するステップと、
   前記ブロック内の前記ピクセルの前記伝搬済み可視アーティファクトレベルに応じて前記ブロック内の前記ピクセルのアーティファクトレベルを決定するステップ（１３０）と、
   前記ブロック内の前記ピクセルの前記アーティファクトレベルに応じて前記ブロックの全体的可視アーティファクトレベルを推定するステップ（１３０）であって、前記ビデオシーケンスの前記ビジュアル品質は、前記ブロックの前記全体的可視アーティファクトレベルに応じて推定される前記ステップとをさらに含む、請求項１に記載の方法。
8. 前記ブロックの前記全体的可視アーティファクトレベルは、前記ブロック内のピクセルのアーティファクトレベルの平均に応じて推定される、請求項７に記載の方法。
9. 前記動き大きさおよび前記距離に応じて初期可視アーティファクトレベルを決定するステップ（１２５）であって、前記ブロック内の前記ピクセルの前記アーティファクトレベルを決定する前記ステップは前記ブロックの前記初期可視アーティファクトレベルにさらに応じる前記ステップをさらに含む、請求項７に記載の方法。
10. 前記ブロック内の前記ピクセルの前記アーティファクトレベルは、前記初期可視アーティファクトレベルおよび前記伝搬済み可視アーティファクトレベルのうちの大きい方に応じて決定される、請求項９に記載の方法。
11. 前記ビジュアル品質はビットストリームレベルで推定される、請求項１に記載の方法。
12. ビットストリームにより表されるビデオシーケンスのビジュアル品質を推定するための装置であって、スライシングモード誤り隠蔽が前記ビデオシーケンスの復号不可能ブロックを隠蔽するために使用される装置において、
    前記ビデオシーケンスのフレーム内の復号不可能ブロックの動き大きさを推定し、前記フレームと前記復号不可能ブロックを隠蔽するために使用される別のフレームとの間の距離を推定するパラメータ推定器（４３０）と、
    前記動き大きさおよび前記距離に応じて前記ビデオシーケンスの前記ビジュアル品質を推定する品質予測器（４６０）と、
    を含む、前記装置。
13. 前記動き大きさおよび前記距離に応じて初期可視アーティファクトレベルを決定する初期可視アーティファクトレベル推定器（４４０）であって、前記品質予測器（４６０）は前記初期可視アーティファクトレベルに応じて前記ビデオシーケンスの前記ビジュアル品質を推定する前記推定器をさらに含む、請求項１２に記載の装置。
14. 前記初期可視アーティファクトレベル推定器（４４０）は、前記動き大きさおよび前記距離の積に応じて前記初期可視アーティファクトレベルを決定する、請求項１３に記載の装置。
15. 前記パラメータ推定器（４３０）は、前記ブロックの残余エネルギーをさらに推定し、前記初期可視アーティファクトレベル推定器（４４０）は、前記残余エネルギーにさらに応じて前記初期可視アーティファクトレベルを決定する、請求項１３に記載の装置。
16. 前記初期可視アーティファクトレベル推定器（４４０）は、前記動き大きさおよび前記距離の関数および前記残余エネルギーの別の関数のうちの小さい方に応じて前記初期可視アーティファクトレベルを決定する、請求項１５に記載の装置。
17. 前記初期可視アーティファクトレベル推定器（４４０）は、高ビットレートアプリケーションの場合には前記動き大きさおよび前記距離の関数のみに対応し、低ビットレートアプリケーションの場合には前記動き大きさおよび前記距離の前記関数と前記残余エネルギーの別の関数の両方に対応して前記初期可視アーティファクトレベルを決定する、請求項１５に記載の装置。
18. 前記ブロックの参照ブロックとして使用される別のブロック内のピクセルのアーティファクトレベルに応じて、前記ブロック内のピクセルの伝搬済み可視アーティファクトレベルを決定し、前記ブロック内のピクセルの前記伝搬済み可視アーティファクトレベルに応じて前記ブロック内の前記ピクセルのアーティファクトレベルを決定し、前記ブロック内の前記ピクセルの前記アーティファクトレベルに応じて前記ブロックの全体的可視アーティファクトレベルを推定する、全体的アーティファクトレベル推定器（４５０）をさらに含む、請求項１２に記載の装置。
19. 前記全体的アーティファクトレベル推定器（４５０）は、前記ブロック内のピクセルのアーティファクトレベルの平均に応じて前記ブロックの前記全体的可視アーティファクトレベルを推定する、請求項１８に記載の装置。
20. 前記動き大きさおよび前記距離に応じて初期可視アーティファクトレベルを決定する初期可視アーティファクトレベル推定器（４４０）であって、前記全体的アーティファクトレベル推定器（４５０）は前記ブロックの前記初期可視アーティファクトレベルにさらに応じて前記ブロック内の前記ピクセルの前記アーティファクトレベルを決定する前記推定器をさらに含む、請求項１８に記載の装置。
21. 前記全体的アーティファクトレベル推定器（４５０）は、前記初期可視アーティファクトレベルおよび前記伝搬済み可視アーティファクトレベルのうちの大きい方に応じて前記ブロック内の前記ピクセルの前記アーティファクトレベルを決定する、請求項２０に記載の装置。
22. 前記ビジュアル品質はビットストリームレベルで推定される、請求項１２に記載の装置。
23. 請求項１乃至１１に従って、ビットストリームにより表されるビデオシーケンスのビジュアル品質を推定するための命令を格納したコンピュータ可読記憶媒体であって、スライシングモード誤り隠蔽が前記ビデオシーケンスの復号不可能ブロックを隠蔽するために使用される、前記コンピュータ可読記憶媒体。