JP2015502713A - シーンカットアーチファクトを考慮するビデオ品質評価 - Google Patents

Abstract

特定の実装が、ビデオを再構築することなしにビットストリーム内のシーンカットアーチファクトを検出する。シーンカットアーチファクトは、通常、（１）元のビデオ内のシーンカットピクチャが部分的に受信されたとき、または（２）ピクチャが元のビデオ内の失われたシーンカットピクチャを参照するとき、復号されたビデオ内で観察される。シーンカットアーチファクトを検出するために、まずシーンカットピクチャ候補が選択され、次いでそのピクチャ候補に対してシーンカットアーチファクト検出が実施される。ブロックがシーンカットアーチファクトを有すると決定されたとき、最も低い品質レベルがそのブロックに割り当てられる。

Description

本発明は、ビデオ品質測定に関し、より詳細には、客観ビデオ品質メトリックを決定するための方法および装置に関する。

ＩＰネットワークの開発に伴って、有線および無線ＩＰネットワーク（たとえば、ＩＰＴＶサービス）を介したビデオ通信が普及している。ケーブルネットワークを介した従来のビデオ送信とは異なり、ＩＰネットワークを介したビデオ送達は、あまり信頼性が高くない。したがって、ビデオ圧縮からの品質損失に加えて、ビデオ品質は、ビデオがＩＰネットワークを通じて送信されたとき、さらに劣化する。成功するビデオ品質モデリングツールは、ビデオ圧縮によって引き起こされる品質劣化に加えて、ネットワーク送信の悪化（たとえば、パケット損失、送信遅延、および送信ジッター）によって引き起こされる品質劣化を評価する必要がある。

一般的な態様によれば、符号化されたピクチャを含むビットストリームがアクセスされ、ピクセル情報を導出するためにビットストリームを復号することなしにビットストリームからの情報を使用してビットストリーム内のシーンカットピクチャが決定される。

別の一般的な態様によれば、符号化されたピクチャを含むビットストリームがアクセスされ、フレームサイズ、予測残さ、および動きベクトルのうちの少なくとも１つに応答して、ビットストリームからの一組のピクチャ間で、それぞれの差測度（ｄｉｆｆｅｒｅｎｃｅ ｍｅａｓｕｒｅｓ）が決定され、その一組のピクチャは、シーンカットピクチャ候補、シーンカットピクチャ候補に先立つピクチャ、およびシーンカットピクチャ候補に続くピクチャのうちの少なくとも１つを含む。シーンカットピクチャ候補は、差測度の１または複数がそれらのそれぞれの所定の閾値を超えた場合、シーンカットピクチャになると決定される。

別の一般的な態様によれば、符号化されたピクチャを含むビットストリームがアクセスされる。イントラピクチャ内の少なくとも１つのブロックについて圧縮されたデータが失われた場合、イントラピクチャがシーンカットピクチャ候補として選択され、または失われたピクチャを参照するピクチャがシーンカットピクチャ候補として選択される。フレームサイズ、予測残さ、およびビットストリームからの一組のピクチャ間の動きベクトルのうちの少なくとも１つに応答して、それぞれの差測度が決定され、その一組のピクチャは、シーンカットピクチャ候補、シーンカットピクチャ候補に先立つピクチャ、およびシーンカットピクチャ候補に続くピクチャのうちの少なくとも１つを含む。シーンカットピクチャ候補は、差測度の１または複数がそれらのそれぞれの所定の閾値を超えた場合、シーンカットピクチャになると決定される。

１または複数の実装の詳細が、添付の図面および下記の説明に記載されている。１つの特定の方法で示されている場合でさえ、様々な方法で実装を構成または実施することができることは明らかなはずである。たとえば、実装は、方法として実施することも、たとえば一組の動作を実施するように構成された装置、または一組の動作を実施するための命令を記憶する装置など、装置として実施することも、信号として実施することもできる。他の態様および特徴は、添付の図面および特許請求の範囲と共に考察して、以下の詳細な説明から明らかになろう。

シーンカットフレームにおいてシーンカットアーチファクトを有するピクチャを示す図例である。 シーンカットアーチファクトがないピクチャを示す図例である。 シーンカットフレームでないフレームにおいてシーンカットアーチファクトを有するピクチャを示す図例である。 本原理の一実施形態による、シーンカットアーチファクトがどのようにシーンカットに関連するかを示す図例である。 本原理の一実施形態による、シーンカットアーチファクトがどのようにシーンカットに関連するかを示す図例である。 本原理の一実施形態による、ビデオ品質モデリングの例を示す流れ図である。 本原理の一実施形態による、シーンカットアーチファクト検出の例を示す流れ図である。 変数ｎ_ｌｏｓｓを計算する方法を示す図例である。 本原理の一実施形態による、変数ｐｋ＿ｎｕｍがどのようにフレームインデックスと共に変わるかを示す図例である。 本原理の一実施形態による、変数ｂｙｔｅｓ＿ｎｕｍがどのようにフレームインデックスと共に変わるかを示す図例である。 本原理の一実施形態による、変数ｐｋ＿ｎｕｍがどのようにフレームインデックスと共に変わるかを示す図例である。 本原理の一実施形態による、変数ｂｙｔｅｓ＿ｎｕｍがどのようにフレームインデックスと共に変わるかを示す図例である。 本原理の一実施形態による、シーンカットアーチファクト場所候補を決定する例を示す流れ図である。 ９９個のマクロブロックを有するピクチャを示す図例である。 本原理の一実施形態による、隣接するフレームがどのようにシーンカットアーチファクト検出に使用されるかを示す図例である。 本原理の一実施形態による、隣接するフレームがどのようにシーンカットアーチファクト検出に使用されるかを示す図例である。 本原理の一実施形態による、シーンカット検出の例を示す流れ図である。 本原理の一実施形態による、隣接するＩフレームがどのようにアーチファクト検出に使用されるかを示す図例である。 本原理の一実施形態による、隣接するＩフレームがどのようにアーチファクト検出に使用されるかを示す図例である。 本原理の一実施形態による、ビデオ品質モニターの例を示すブロック図である。 １または複数の実装と共に使用することができるビデオ処理システムの例を示すブロック図である。

ビデオ品質測定ツールが、異なるレベルで動作することができる。一実施形態では、このツールは、受信されたビットストリームを取り、ビデオを再構築することなしにビデオ品質を測定することができる。そのような方法は、通常、ビットストリームレベルビデオ品質測定と呼ばれる。計算複雑さに余裕があるとき、ビデオ品質測定は、ビットストリームから一部またはすべての画像を再構築し、再構築された画像を使用しビデオ品質をより正確に推定してもよい。

本実施形態は、（１）ビデオを再構築することなしに、また（２）部分的に再構築されたビデオを用いてビデオ品質を評価する客観ビデオ品質モデルに関する。具体的には、本原理は、シーンカットアーチファクトとして示される、シーンカット周りで観察される特定のタイプのアーチファクトについて考慮する。

大抵の既存のビデオ圧縮標準、たとえばＨ．２６４およびＭＰＥＧ−２は、マクロブロック（ＭＢ）を基本符号化単位として使用する。したがって、以下の実施形態は、マクロブロックを基本処理単位として使用する。しかし、本原理は、異なるサイズのブロック、たとえば８×８ブロック、１６×８ブロック、３２×３２ブロック、および６４×６４ブロックを使用するように適合されてもよい。

符号化ビデオビットストリームの一部分がネットワーク送信中に失われたとき、復号器は、誤り隠蔽（ｅｒｒｏｒ ｃｏｎｃｅａｌｍｅｎｔ）技法を採用し、失われた部分に対応するマクロブロックを隠蔽することができる。誤り隠蔽の目標は、知覚品質劣化を最小限に抑えるために、欠けているマクロブロックを推定することである。送信誤差によって生成されるアーチファクトの知覚強度は、使用される誤り隠蔽技法に大きく依存する。

空間的方法または時間的方法を誤り隠蔽に使用することができる。空間的方法では、ピクセル間の空間的相関が利用され、欠けているマクロブロックが、隣接するピクセルからの補間技法によって回復される。時間的方法では、動きフィールドのコヒーレンスとピクセルの空間的滑らかさが共に利用され、失われたマクロブロックの動きベクトル（ＭＶ）または各失われたピクセルのＭＶを推定し、次いで、推定された動きベクトルに従って前フレーム内の基準ピクセルを使用して、失われたピクセルが隠蔽される。

誤り隠蔽後、視覚的アーチファクトが依然として知覚される可能性がある。図１Ａ〜図１Ｃは、例示的な復号されたピクチャを示し、符号化ビットストリームのいくつかのパケットが送信中に失われている。これらの例では、復号器において、時間的誤り隠蔽法を使用し、失われたマクロブロックを隠蔽する。具体的には、前フレーム内の共通位置の（ｃｏｌｌｏｃａｔｅｄ）マクロブロックが、失われたマクロブロックにコピーされる。

図１Ａでは、たとえば送信誤差によるパケット損失がシーンカットフレーム（すなわち、新しいシーンにおける最初のフレーム）で発生する。現在のフレームと（別のシーンからの）前フレームとの間における劇的なコンテンツ変化により、隠蔽されたピクチャは、隠蔽されたピクチャ内で目立つ領域を含む。すなわち、この領域は、その隣接するマクロブロックとは非常に異なるテクスチャを有する。したがって、この領域は、視覚的アーチファクトとして容易に知覚されることになる。表記を簡単にするために、シーンカットピクチャ周りのこのタイプのアーチファクトは、シーンカットアーチファクトとして示される。

対照的に、図１Ｂは、シーン内に位置する別のピクチャを示す。現在のフレーム内の失われたコンテンツが、現在のフレームを隠蔽するために使用される、前フレーム内の共通位置のマクロブロック内のものと同様であるため、時間的誤り隠蔽は適正に機能し、図１Ｂでは視覚的アーチファクトをほとんど知覚することができない。

シーンカットアーチファクトは、必ずしもシーンの最初のフレームで発生するとは限らない可能性があることに留意されたい。それどころか、図２Ａおよび図２Ｂにおける例によって示されているように、シーンカットフレームで、または失われたシーンカットフレーム後に見られることがあり得る。

図２Ａの例では、ピクチャ２１０とピクチャ２２０は、異なるシーンに属する。ピクチャ２１０は正しく受信され、ピクチャ２２０は、部分的に受信されたシーンカットフレームである。ピクチャ２２０の受信された部分は適正に復号され、失われた部分は、ピクチャ２１０からの共通位置のマクロブロックで隠蔽される。ピクチャ２１０とピクチャ２２０の間に著しい変化があるとき、隠蔽されたピクチャ２２０は、シーンカットアーチファクトを有することになる。したがって、この例では、シーンカットアーチファクトがシーンカットフレームで発生する。

図２Ｂの例では、ピクチャ２５０、２６０は１つのシーンに属し、ピクチャ２７０、２８０は別のシーンに属する。圧縮中、ピクチャ２７０は、動き補償のためにピクチャ２８０用の基準として使用される。送信中、ピクチャ２６０、２７０に対応する圧縮されたデータが失われる。失われたピクチャを復号器で隠蔽するために、復号されたピクチャ２５０をピクチャ２６０、２７０にコピーすることができる。

ピクチャ２８０のための圧縮されたデータが正しく受信される。しかし、今や別のシーンからの復号されたピクチャ２５０のコピーであるピクチャ２７０を参照するので、復号されたピクチャ２８０もまた、シーンカットアーチファクトを有することがあり得る。したがって、シーンカットアーチファクトは、失われたシーンカットフレーム（２７０）後、この例ではシーンの第２のフレームで発生する可能性がある。シーンカットアーチファクトはシーンの他の場所でも発生し得ることに留意されたい。シーンカットフレーム後に発生するシーンカットアーチファクトを有する例示的なピクチャが図１Ｃに示されている。

実際、元のビデオではシーンがピクチャ２７０で変化するが、復号されたビデオでは、シーンは、シーンカットアーチファクトをピクチャ２８０で変化するように見える可能性がある。明示的に述べない限り、本願におけるシーンカットは、元のビデオ内のものを指す。

図１Ａに示されている例では、前フレーム内の共通位置のブロック（すなわち、ＭＶ＝０）を使用し、現在のフレーム内の失われたブロックを隠蔽する。他の時間的誤り隠蔽法は、他の動きベクトルを有するブロックを使用することができ、異なる処理単位、たとえばピクチャレベルまたはピクセルレベルで処理することができる。シーンカットアーチファクトは、どの時間的誤り隠蔽法についてもシーンカット周りで発生する可能性があることに留意されたい。

図１Ａおよび図１Ｃに示されている例から、シーンカットアーチファクトは知覚ビデオ品質に対して強い悪影響を有することがわかる。したがって、客観ビデオ品質を正確に予測するために、ビデオ品質をモデリングするときシーンカットアーチファクトの作用を測定することが重要である。

シーンカットアーチファクトを検出するためには、最初に、シーンカットフレームが正しく受信されていないかどうか、またはシーンカットピクチャが失われたかどうか検出することが必要となり得る。これは、アーチファクトを検出するとき（ピクチャを再構築することなしに）ビットストリームをパースすることしかできないことを考えると、困難な問題である。これは、シーンカットフレームに対応する圧縮データが失われているとき、より困難になる。

明らかに、ビデオ品質モデリングに関するシーンカットアーチファクト検出問題は、通常ピクセル領域で機能し、ピクチャにアクセスする従来のシーンカットフレーム検出問題とは異なる。

シーンカットアーチファクトを考慮する例示的なビデオ品質モデリング方法３００が図３に示されている。初期の可視アーチファクトとして、失われたデータ、たとえば図１Ａおよび図２Ａに示されているものに由来するアーチファクトを示す。さらに、初期の可視アーチファクトとして、シーン内の最初に受信されたピクチャ、たとえば図１Ｃおよび図２Ｂに示されているものからのタイプのアーチファクトをも分類する。

初期の可視アーチファクトを有するブロックがたとえばイントラ予測またはインター予測のための基準として使用される場合、初期の可視アーチファクトは、予測を介して同じ、または他のピクチャ内の他のマクロブロックに空間的または時間的に伝播する可能性がある。そのような伝播されたアーチファクトは、伝播可視アーチファクトとして示される。

方法３００では、ステップ３１０でビデオビットストリームが入力され、そのビットストリームに対応するビデオの客観品質が推定されることになる。ステップ３２０では、初期の可視アーチファクトのレベルが計算される。初期の可視アーチファクトは、シーンカットアーチファクトおよび他のアーチファクトを含む可能性がある。初期の可視アーチファクトレベルは、アーチファクトタイプ、フレームタイプ、およびビットストリームから得られる他のフレームレベルまたはＭＢレベルの特徴から推定されてもよい。一実施形態では、シーンカットアーチファクトがマクロブロックで検出された場合、そのマクロブロックについての初期の可視アーチファクトレベルが、最も高いアーチファクトレベル（すなわち、より低い品質レベル）に設定される。

ステップ３３０では、伝播アーチファクトレベルが計算される。たとえば、シーンカットアーチファクトを有するとしてマクロブロックがマークされた場合、このマクロブロックを参照する他のピクセルすべての伝播アーチファクトレベルもまた、最も高いアーチファクトレベルに設定されることになる。ステップ３４０では、時空間的アーチファクトプーリング（ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ ａｒｔｉｆａｃｔ ｐｏｏｌｉｎｇ）アルゴリズムを使用し、異なるタイプのアーチファクトを１つの客観ＭＯＳ（平均オピニオン評点）に変換することができ、この客観ＭＯＳは、入力ビットストリームに対応するビデオの視覚的品質全体を推定する。ステップ３５０では、推定されたＭＯＳが出力される。

図４は、シーンカットアーチファクト検出のための例示的な方法４００を示す。ステップ４１０では、ビットストリームを走査し、シーンカットアーチファクトについて場所候補を決定する。場所候補が決定された後、ステップ４２０で、シーンカットアーチファクトが場所候補に存在するかどうか判定する。

たとえばパケット損失がない場合、ステップ４２０だけをビットストリームレベルのシーンカットフレーム検出に使用してもよいことに留意されたい。これは、シーンレベルの特徴を決定するべきとき必要とされるシーン境界を得るために使用することができる。ステップ４２０が別々に使用されるとき、各フレームをシーンカットピクチャ候補とみなしてもよく、またはどのフレームを場所候補とみなすべきかを指定することができる。

以下では、シーンカットアーチファクト場所候補を決定し、シーンカットアーチファクト場所を検出するステップについてさらに詳細に論じる。
シーンカットアーチファクト場所候補を決定する
図２Ａおよび図２Ｂにおいて論じたように、シーンカットアーチファクトは、部分的に受信されたシーンカットフレーム、または失われたシーンカットフレームを参照するフレームで発生する。したがって、パケット損失を有するフレームまたはパケット損失を囲んでいるフレームは、潜在的なシーンカットアーチファクト場所とみなすことができる。

一実施形態では、ビットストリームをパースするとき、受信されたパケットの数、失われたパケットの数、および各フレームごとの受信されたバイトの数が、タイムスタンプ、たとえばＲＴＰタイムスタンプおよびＭＰＥＧ−２ ＰＥＳタイムスタンプに基づいて得られ、または圧縮されたビットストリーム内のシンタックス要素「ｆｒａｍｅ＿ｎｕｍ」および復号されたフレームのフレームタイプもまた、記録される。得られたパケットの数、バイトの数、およびフレームタイプは、アーチファクト場所候補決定を洗練するために使用することができる。

以下では、ＲＴＰを介したＨ．２６４のためのＲＦＣ３９８４を例示的なトランスポートプロトコルとして使用して、シーンカットアーチファクト場所候補を決定する方法を示す。

各受信されたＲＴＰパケットについて、どのビデオフレームに属するかを、タイムスタンプに基づいて決定することができる。すなわち、同じタイムスタンプを有するビデオパケットは、同じビデオフレームに属するとみなされる。部分的または完全に受信されているビデオフレームｉについて、以下の変数が記録される。すなわち、
（１）．ｓｎ_ｓ（ｉ）として示される、フレームｉに属する最初に受信されたＲＴＰパケットのシーケンス番号
（２）．ｓｎ_ｅ（ｉ）として示される、フレームｉについての最後に受信されたＲＴＰパケットのシーケンス番号
（３）．ｎ_ｌｏｓｓ（ｉ）として示される、フレームｉについての最初に受信されたＲＴＰパケットと最後に受信されたＲＴＰパケットとの間の失われたＲＴＰパケットの数。

シーケンス番号はＲＴＰプロトコルヘッダ内に定義され、ＲＴＰパケット当たり１だけ増分される。したがって、ｎ_ｌｏｓｓ（ｉ）は、そのシーケンス番号がｓｎ_ｓ（ｉ）とｓｎ_ｅ（ｉ）の間にある失われたＲＴＰパケットの数を、シーケンス番号の不連続性に基づいて計数することによって計算される。ｎ_ｌｏｓｓ（ｉ）を計算する例が図５に示されている。この例では、ｓｎ_ｓ（ｉ）＝１０５およびｓｎ_ｅ（ｉ）＝１１０である。フレームｉについての開始パケット（シーケンス番号１０５を有する）と終了パケット（シーケンス番号１１０を有する）との間で、シーケンス番号１０７、１０９を有するパケットが失われている。したがって、この例では、ｎ_ｌｏｓｓ（ｉ）＝２である。

フレームｉについて送信されたパケットの数を推定するために、パラメタｐｋ＿ｎｕｍ（ｉ）が定義され、
ｐｋ＿ｎｕｍ（ｉ）＝［ｓｎ_ｅ（ｉ）−ｓｎ_ｅ（ｉ−ｋ）］／ｋ （１）
として計算することができ、式中、フレームｉ−ｋは、フレームｉの直前のフレームである（すなわち、フレームｉとフレームｉ−ｋの間の他のフレームが失われている）。パケット損失を有する、または直前の（１または複数の）フレームが失われているフレームｉについて、前（ｉでない）フレームのｐｋ＿ｎｕｍを長さＮ（たとえば、Ｎ＝６）のスライディングウィンドウ内で平均することによってパラメタｐｋ＿ｎｕｍ＿ａｖｇ（ｉ）を計算する。すなわち、ｐｋ＿ｎｕｍ＿ａｖｇ（ｉ）は、現在のフレームに先立つ送信されたパケットの平均（推定）数として定義される。すなわち

さらに、パケット当たりのバイトの平均数（ｂｙｔｅｓ＿ｎｕｍ_{ｐａｃｋｅｔ}（ｉ））を、Ｎ個のフレームのスライディングウィンドウ内で直前フレームの受信されたパケット内のバイトの数を平均することによって計算することができる。フレームｉについて送信されたバイトの数を推定するために、パラメタｂｙｔｅｓ＿ｎｕｍ（ｉ）が定義され、
ｂｙｔｅｓ＿ｎｕｍ（ｉ）＝ｂｙｔｅｓ_{ｒｅｃｖｄ}（ｉ）＋［ｎ_ｌｏｓｓ（ｉ）＋ｓｎ_ｓ（ｉ）−ｓｎ_ｅ（ｉ−ｋ）−１］＊ｂｙｔｅｓ＿ｎｕｍ_{ｐａｃｋｅｔ}（ｉ）／ｋ （３）
として計算することができ、式中、ｂｙｔｅｓ_{ｒｅｃｖｄ}（ｉ）は、フレームｉについて受信されたバイトの数であり、［ｎ_ｌｏｓｓ（ｉ）＋ｓｎ_ｓ（ｉ）−ｓｎ_ｅ（ｉ−ｋ）−１］＊ｂｙｔｅｓ＿ｎｕｍ_{ｐａｃｋｅｔ}（ｉ）／ｋは、フレームｉについての失われたバイトの推定数である。式（３）は、ＲＴＰプロトコルのために特に設計されていることに留意されたい。他のトランスポートプロトコルが使用されるとき、式（３）は、たとえば失われたパケットの推定数を調整することによって調整されるべきである。

パラメタｂｙｔｅｓ＿ｎｕｍ＿ａｖｇ（ｉ）が、現在のフレームに先立つ送信されたバイトの平均（推定）数として定義され、スライディングウィンドウ内で前（ｉでない）フレームのｂｙｔｅｓ＿ｎｕｍを平均することによって計算することができる。すなわち、

上記で論じたように、スライディングウィンドウを使用し、ｐｋ＿ｎｕｍ＿ａｖｇ、ｂｙｔｅｓ＿ｎｕｍ_{ｐａｃｋｅｔ}、およびｂｙｔｅｓ＿ｎｕｍ＿ａｖｇを計算することができる。スライディングウィンドウ内に含まれるピクチャは、完全または部分的に受信される（すなわち、完全に失われてはいない）ことに留意されたい。ビデオシーケンス内のピクチャが一般に同じ空間分解能を有するとき、フレームについてのｐｋ＿ｎｕｍは、ピクチャコンテンツ、および圧縮に使用されたフレームタイプに大きく依存する。たとえば、図６Ａに示されているように、ＱＣＩＦビデオのＰフレームは１つのパケットに対応し、Ｉフレームは、より多くのビットを必要とする可能性があり、したがってより多くのパケットに対応する。

図２Ａに示されているように、シーンカットアーチファクトは、部分的に受信されたシーンカットフレームで発生する可能性がある。シーンカットフレームは、通常、Ｉフレームとして符号化されるので、部分的に受信されたＩフレームは、シーンカットアーチファクトについての場所候補としてマークされる可能性があり、そのフレームインデックスがｉｄｘ（ｋ）として記録され、ここでｋは、そのフレームがｋ番目の場所候補であることを示す。

シーンカットフレームは、イントラでないもの（たとえば、Ｐフレーム）として符号化されることもある。シーンカットアーチファクトは、そのようなフレームにおいても、部分的に受信されたとき発生し得る。また、フレームは、図２Ｂで論じたように、失われたシーンカットフレームを参照する場合、シーンカットアーチファクトを含む可能性がある。これらのシナリオでは、上記で論じたパラメタを使用し、フレームを場所候補にするべきかどうか、より正確に判定することができる。

図６Ａ〜図６Ｄは、例として、上記で論じたパラメタを使用しシーンカットアーチファクト場所候補を識別する方法を示す。これらのフレームは、復号順序で順序付けられても表示順序でもよい。図６Ａ〜図６Ｄの例すべてにおいて、フレーム６０、１２０は、元のビデオにおけるシーンカットフレームである。

図６Ａおよび図６Ｂの例では、フレーム４７、１０９、１３７、２３５および２７１が完全に失われており、フレーム１２０および２１０は、部分的に受信されている。フレーム４９、１１０、１３８、２３６、２７２、１２０および２１０については、ｐｋ＿ｎｕｍ（ｉ）をｐｋ＿ｎｕｍ＿ａｖｇ（ｉ）と比較することができる。ｐｋ＿ｎｕｍ（ｉ）がｐｋ＿ｎｕｍ＿ａｖｇ（ｉ）よりはるかに大きい、たとえば３であるとき、フレームｉを、復号されたビデオにおけるシーンカットフレーム候補として識別することができる。図６Ａの例では、フレーム１２０がシーンカットアーチファクト場所候補として識別される。

また、ｂｙｔｅｓ＿ｎｕｍ（ｉ）とｂｙｔｅｓ＿ｎｕｍ＿ａｖｇ（ｉ）の間で比較を行うことができる。ｂｙｔｅｓ＿ｎｕｍ（ｉ）がｂｙｔｅｓ＿ｎｕｍ＿ａｖｇ（ｉ）よりはるかに大きい場合、フレームｉを、復号されたビデオにおけるシーンカットフレーム候補として識別することができる。図６Ｂの例では、この場合もフレーム１２０が場所候補として識別される。

図６Ｃおよび図６Ｄの例では、シーンカットフレーム１２０が完全に失われている。その次のフレーム１２１について、ｐｋ＿ｎｕｍ（ｉ）をｐｋ＿ｎｕｍ＿ａｖｇ（ｉ）と比較することができる。図６Ｃの例では、３である。したがって、フレーム１２０は、シーンカットアーチファクト場所候補として識別されない。対照的に、ｂｙｔｅｓ＿ｎｕｍ（ｉ）をｂｙｔｅｓ＿ｎｕｍ＿ａｖｇ（ｉ）と比較するとき、３およびフレーム１２０は、場所候補として識別される。

一般に、送信されたバイトの推定数を使用する方法は、送信されたパケットの推定数を使用する方法より良好な性能を有することがわかる。

図７は、｛ｉｄｘ（ｋ）｝によって示されるデータセット内で記録されることになるシーンカットアーチファクト場所候補を決定するための例示的な方法７００を示す。ステップ７１０では、ｋ＝０を設定することによってプロセスを初期化する。次いで、ステップ７２０で入力ビットストリームがパースされ、現在のフレームについてフレームタイプ、ならびに変数ｓｎ_ｓ、ｓｎ_ｅ、ｂｙｔｅｓ＿ｎｕｍ_{ｐａｃｋｅｔ}、およびｂｙｔｅｓ_{ｒｅｃｖｄ}を得る。

ステップ７３０で、パケット損失があるかどうか判定される。フレームが完全に失われているとき、完全に失われてはいないその最も近い次のフレームが調べられ、それがシーンカットアーチファクト場所候補であるかどうか判定する。フレームが部分的に受信されている（すなわち、すべてではないがフレームの一部のパケットが失われている）とき、このフレームが調べられ、それがシーンカットアーチファクト場所候補であるかどうか判定する。

パケット損失がある場合、現在のフレームがＩＮＴＲＡフレームであるかどうか検査する。現在のフレームがＩＮＴＲＡフレームである場合、現在のフレームがシーンカット場所候補とみなされ、制御がステップ７８０に渡される。そうでない場合には、ステップ７４０で、たとえば式（１）および式（２）で述べたように、ｐｋ＿ｎｕｍおよびｐｋ＿ｎｕｍ＿ａｖｇを計算する。ステップ７５０で、ｐｋ＿ｎｕｍ＞Ｔ_１＊ｐｋ＿ｎｕｍ＿ａｖｇであるかどうか検査される。この不等式が成り立つ場合、現在のフレームが、シーンカットアーチファクトについてのフレーム候補とみなされ、制御はステップ７８０に渡される。

そうでない場合には、ステップ７６０で、たとえば式（３）および式（４）で述べたように、ｂｙｔｅｓ＿ｎｕｍおよびｂｙｔｅｓ＿ｎｕｍ＿ａｖｇを計算する。ステップ７７０で、ｂｙｔｅｓ＿ｎｕｍ＞Ｔ_２＊ｂｙｔｅｓ＿ｎｕｍ＿ａｖｇであるかどうか検査される。この不等式が成り立つ場合、現在のフレームが、シーンカットアーチファクトについてのフレーム候補とみなされ、ステップ７８０で、現在のフレームインデックスがｉｄｘ（ｋ）として記録され、ｋが１だけ増分される。そうでない場合には、ステップ７９０に制御を渡し、ステップ７９０は、ビットストリームが完全にパースされたかどうか検査する。パースが完了している場合、制御が最終ステップ７９９に渡される。そうでない場合には、制御がステップ７２０に戻る。

図７では、送信されたパケットの推定数と送信されたバイトの推定数を共に使用し、場所候補を決定する。他の実装では、これらの２つの方法を、別の順序で調べることができ、または別々に適用することもできる。
シーンカットアーチファクト場所を決定する
シーンカットアーチファクトは、場所候補セット｛ｉｄｘ（ｋ）｝が決定された後で検出することができる。本実施形態は、シーンカットアーチファクト検出時に、パケットレイヤ情報（フレームサイズなど）およびビットストリーム情報（予測残さおよび動きベクトルなど）を使用する。シーンカットアーチファクト検出は、ビデオを再構築することなしに、すなわちビデオのピクセル情報を再構築することなしに実施することができる。ビットストリームは、ビデオに関する情報、たとえば予測残さおよび動きベクトルを得るために、部分的に復号されてもよいことに留意されたい。

フレームサイズを使用しシーンカットアーチファクト場所を検出するとき、シーンカット位置候補前後の（部分的または完全に）受信されたＰフレームのバイトの数間の差が計算される。その差が閾値を超えた、たとえば３倍または３分の１である場合、そのシーンカットフレーム候補がシーンカットフレームとして決定される。

一方、予測残さエネルギー変化は、シーン変化があるとき、しばしば大きくなることに気付く。一般に、ＰフレームとＢフレームの予測残さエネルギーは、桁が同じでなく、Ｂフレームの予測残さエネルギーは、Ｐフレームの予測残さエネルギーほどビデオコンテンツ情報を示すのに確実でない。したがって、Ｐフレームの残さエネルギーの方を使用したい。

図８を参照すると、１１＊９＝９９個のマクロブロックを含む例示的なピクチャ８００が示されている。その場所（ｍ，ｎ）によって示された各マクロブロックについて、残さエネルギー係数が、逆量子化変換係数（ｄｅ−ｑｕａｎｔｉｚｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）から計算される。一実施形態では、残さエネルギー係数は、

として計算され、式中、Ｘ_ｐ，ｑ（ｍ，ｎ）は、マクロブロック（ｍ，ｎ）内の場所（ｐ，ｑ）での逆量子化変換係数である。別の実施形態では、ＡＣ係数だけを使用し、残さエネルギー係数を計算する。すなわち、

別の実施形態では、４×４変換が使用されるとき、残さエネルギー係数は、

として計算することができ、式中、Ｘ_ｕ，１（ｍ，ｎ）はＤＣ係数を表し、Ｘ_ｕ，ｖ（ｍ，ｎ）（ｖ＝２，．．．，１６）は、ｕ番目の４×４ブロックについてのＡＣ係数を表し、αは、ＤＣ係数のための重み付け係数である。１６×１６マクロブロック内に１６個の４×４ブロックがあり、各４×４ブロック内に１６個の変換係数があることに留意されたい。次いで、ピクチャについての予測残さエネルギー係数は、マトリックスによって表すことができる。すなわち

マクロブロックではなく他の符号化単位が使用されるとき、予測残さエネルギーの計算を容易に適合させることができる。

ｋ番目のフレーム場所候補についての差測度マトリックスは、

によって表すことができ、式中、Δｅ_{ｍ，ｎ，ｋ}は、マクロブロック（ｍ，ｎ）におけるｋ番目の場所候補について計算された差測度である。フレーム内のマクロブロックすべてにわたって差を合計して、フレーム場所候補について差測度は、

として計算することができる。

また、Ｄ_ｋを計算するためにマクロブロックのサブセットを使用し、計算を速めることができる。たとえば、マクロブロックの１つ置きの行、またはマクロブロックの１つ置きの列を計算に使用することができる。

一実施形態では、Δｅ_{ｍ，ｎ，ｋ}は、場所候補に最も近い２つのＰフレーム、すなわち場所候補直前の一方と直後の他方との差として計算されてもよい。図９Ａおよび図９Ｂを参照すると、ピクチャ９１０、９２０、またはピクチャ９５０、９６０を使用し、両ピクチャにおけるマクロブロック（ｍ，ｎ）での予測残さエネルギー係数間で減算を適用することによって、Δｅ_{ｍ，ｎ，ｋ}を計算することができる。

また、パラメタΔｅ_{ｍ，ｎ，ｋ}は、ガウス関数の差（ＤｏＧ）フィルターをより多くのピクチャに適用することによって計算することもできる。たとえば、１０点ＤｏＧフィルターを、フィルターの中心がシーンカットアーチファクト場所候補に位置する状態で使用してもよい。図９Ａおよび図９Ｂに戻ると、図９Ａにおけるピクチャ９１０〜９１５、９２０〜９２５、または図９Ｂにおけるピクチャ９５０〜９５５、９６０〜９６５が使用されてもよい。各マクロブロック場所（ｍ，ｎ）について、ガウス関数の差フィルタリング機能をフレームのウィンドウのｅ_ｍ，ｎに適用し、パラメタΔｅ_{ｍ，ｎ，ｋ}を得る。

予測残さエネルギーを使用して計算された差が閾値を超えたとき、そのフレーム候補を、シーンカットアーチファクトを有するものとして検出することができる。

また、動きベクトルをシーンカットアーチファクト検出に使用することができる。たとえば、フレームのウィンドウ内の動きベクトルの平均の大きさ、動きベクトルの分散、および動きベクトルのヒストグラムを計算し、動きのレベルを示すことができる。Ｐフレームの動きベクトルがシーンカットアーチファクト検出に好ましい。動きレベルの差が閾値を超えた場合、そのシーンカット位置候補をシーンカットフレームとして決定することができる。

フレームサイズ、予測残さエネルギー、および動きベクトルなどの特徴を使用して、シーンカットフレームを、復号されたビデオにおいて場所候補で検出することができる。復号されたビデオでシーン変化が検出された場合、その場所候補が、シーンカットアーチファクトを有するものとして検出される。より具体的には、場所候補が部分的に失われたシーンカットフレームに対応する場合、検出されたシーンカットフレームの失われたマクロブロックがシーンカットアーチファクトを有するものとしてマークされ、場所候補が失われたシーンカットフレームを参照するＰフレームまたはＢフレームに対応する場合、失われたシーンカットフレームを参照するマクロブロックがシーンカットアーチファクトを有するものとしてマークされる。

元のビデオにおけるシーンカットは、復号されたビデオに見られるものと重なり合っても重なり合わなくてもよいことに留意されたい。先に論じ、たとえば図２Ｂに示されているように、シーン変化は、復号されたビデオではピクチャ２８０で観察され、一方、シーン変化は、元のビデオではピクチャ２７０で観察される。

図９Ａおよび図９Ｂの例に示されているように、場所候補にあり、またその周りのフレームを使用し、フレームサイズ変化、予測残さエネルギー変化、および動き変化を計算することができる。場所候補が部分的に受信されたシーンカットフレーム９０５に対応するとき、その場所候補を囲んでいるＰフレーム（９１０．．．９１５、９２０．．．９２５）を使用することができる。場所候補が失われたシーンカットフレーム９４０を参照するフレームに対応するとき、失われたフレームを囲んでいるＰフレーム（９５０．．．９５５、９６０．．．９６５）を使用することができる。場所候補がＰフレームに対応するとき、場所候補それ自体（９６０）を、予測残さエネルギー差を計算するために使用することができる。フレームサイズ、予測残さ、および動きレベルの変化を計算するために、異なる数のピクチャが使用されてもよいことに留意されたい。

図１０は、場所候補からシーンカットフレームを検出するための例示的な方法１０００を示す。ステップ１００５では、ｙ＝０を設定することによってプロセスを初期化する。ステップ１０１０で、場所候補周りのＰフレームが選択され、予測残さ、フレームサイズ、および動きベクトルがパースされる。

ステップ１０２０では、フレーム場所候補についてフレームサイズの差測度を計算する。ステップ１０２５では、閾値と比較することによってなど、大きなフレームサイズ変化が場所候補においてあるかどうか検査する。差が閾値よりも小さいである場合、制御をステップ１０３０に渡す。

そうでない場合には、ステップ１０１０で選択されたＰフレームについて、ステップ１０３０で、予測残さエネルギーが個々のマクロブロックについて計算される。次いでステップ１０４０で、個々のマクロブロック場所について差測度を計算し、予測残さエネルギーの変化を示し、ステップ１０５０で、フレーム場所候補について、予測残さエネルギーの差測度を計算することができる。ステップ１０６０では、場所候補において大きな予測残さエネルギー変化があるかどうか検査する。一実施形態では、Ｄ_ｋが大きい、たとえばＤ_ｋ＞Ｔ_３であり、Ｔ_３が閾値である場合には、その場所候補は、復号されたビデオ内のシーンカットフレームとして検出され、制御をステップ１０８０に渡す。

そうでない場合には、ステップ１０６５で、場所候補について動きの差測度を計算する。ステップ１０７０では、場所候補において大きな動き変化があるかどうか検査する。大きな差がある場合、制御をステップ１０８０に渡す。

ステップ１０８０では、対応するフレームインデックスが｛ｉｄｘ’（ｙ）｝として記録され、ｙが１だけ増分され、ここでｙは、そのフレームが復号されたビデオ内のｙ番目の検出されたシーンカットフレームであることを示す。１０９０で、場所候補すべてが処理されたかどうか判定する。場所候補すべてが処理されている場合、制御が最終ステップ１０９９に渡される。そうでない場合には、制御がステップ１０１０に戻る。

別の実施形態では、シーンカットフレーム候補がＩフレームであるとき（７３５）、ピクチャと前のＩフレームとの間の予測残さエネルギー差が計算される。予測残さエネルギー差は、ピクチャ内の正しく受信されたＭＢのエネルギーと、前のＩフレーム内の共通位置のＭＢとを使用して計算される。エネルギー係数間の差が、大きい方のエネルギー係数よりＴ_４倍大きい場合（たとえば、Ｔ_４＝１／３）、そのＩフレーム候補は、復号されたビデオ内のシーンカットフレームとして検出される。これは、復号器が次のピクチャの復号に進む前にシーンカットフレーム候補のシーンカットアーチファクトを決定することが必要である、すなわち、次のピクチャの情報がアーチファクト検出時にまだ使用可能でないとき有用である。

これらの特徴は異なる順序で考慮することができることに留意されたい。たとえば、ビデオシーケンスの大規模なセットを様々な符号化／送信条件でトレーニングすることを介して、各特徴の有効性を学習することができる。トレーニング結果に基づいて、特徴の順序を、ビデオコンテンツおよび符号化／送信条件に基づいて選択することができる。また、シーンカットアーチファクト検出を速めるために、１つ、または２つの最も効果的な特徴をテストしようとだけ決めることができる。

様々な閾値、たとえばＴ_１、Ｔ_２、Ｔ_３、Ｔ_４が方法９００および方法１０００で使用される。これらの閾値は、たとえばピクチャプロパティまたは他の条件に適応可能なものとすることができる。

別の実施形態では、計算複雑さに余裕があるとき、いくつかのＩピクチャが再構築されることになる。一般に、ピクセル情報は、ビットストリームからパースされるパラメタ（たとえば、予測残さ、および動きベクトル）よりよくテクスチャコンテンツを反映することができ、したがって、再構築されたＩピクチャをシーンカット検出に使用することにより、検出精度を改善することができる。Ｉフレームを復号することはＰフレームまたはＢフレームを復号することほど計算コストがかからないので、この検出精度の改善は、少しの計算オーバーヘッドという代価を払ってもたらされる。

図１１は、例として、隣接するＩフレームをどのようにシーンカット検出に使用することができるかを示す。図１１Ａに示されている例の場合、シーンカットフレーム候補（１１２０）が部分的に受信されたＩフレームであるとき、そのフレームの受信された部分は、他のフレームを参照しないので、ピクセル領域に適正に復号することができる。同様に、隣接するＩフレーム（１１１０、１１３０）もまた、甚だしい復号の複雑さを招くことなしに、ピクセル領域に復号することができる（すなわち、ピクチャが再構築される）。Ｉフレームが再構築された後で、従来のシーンカット検出方法を、たとえばフレーム（１１２０）の部分的に復号されたピクセルと、隣接するＩフレーム（１１１０、１１３０）の共通位置のピクセルとの間で輝度のヒストグラムの差を比較することによって適用することができる。

図１１Ｂに示されている例の場合、シーンカットフレーム候補（１１６０）が完全に失われている可能性がある。この場合、隣接するＩフレーム（１１５０、１１７０）間の画像特徴差（たとえば、ヒストグラム差）が小さい場合、場所候補を、シーンカット場所ではないものとして識別することができる。これは、ＧＯＰ長が通常０．５秒または１秒であり、その間に複数のシーン変化が発生しそうもないＩＰＴＶシナリオに特に当てはまる。

再構築されたＩフレームをシーンカットアーチファクト検出に使用することは、Ｉフレーム間の距離が大きいとき使用が制限される。たとえば、モバイルビデオストリームのシナリオでは、ＧＯＰ長が５秒に上昇する可能性があり、フレームレートは、１５ｆｐｓと同程度の低いものになり得る。したがって、シーンカット場所候補と前のＩフレームとの間の距離が大きすぎ、ロバストな検出性能が得られない。

いくつかのＩピクチャを復号する実施形態を、ビットストリームレベルの実施形態（たとえば、方法１０００）と組み合わせて使用し、互いに補い合うことができる。一実施形態では、いつそれらを共に展開するべきかは、符号化構成（たとえば、解像度、フレームレート）から判断されてもよい。

本原理をビデオ品質モニターで使用し、ビデオ品質を測定することができる。たとえば、ビデオ品質モニターは、シーンカットアーチファクト、および他のタイプのアーチファクトを検出および測定することができ、また伝播によって引き起こされるアーチファクトを考慮し、全体的な品質メトリックを提供することができる。

図１２は、例示的なビデオ品質モニター１２００のブロック図を示す。装置１２００の入力は、ビットストリームを含むトランスポートストリームを含むことができる。この入力は、ビットストリームを含む他のフォーマットであってもよい。

デマルチプレクサ１２０５は、パケットレイヤ情報、たとえばパケットの数、バイトの数、フレームサイズをビットストリームから得る。復号器１２１０は、入力ストリームをパースし、より多くの情報、たとえばフレームタイプ、予測残さ、および動きベクトルを得る。復号器１２１０は、ピクチャを再構築してもしなくてもよい。他の実施形態では、復号器は、デマルチプレクサの機能を実施してもよい。

復号された情報を使用して、シーンカットアーチファクト場所候補がシーンカットアーチファクト候補検出器１２２０内で検出され、シーンカットアーチファクト候補検出器１２２０では、方法７００を使用することができる。検出された場所候補について、シーンカットアーチファクト検出器１２３０は、復号されたビデオ内にシーンカットがあるかどうか判定し、したがって場所候補がシーンカットアーチファクトを含むかどうか判定する。たとえば、検出されたシーンカットフレームが部分的に失われたＩフレームであるとき、そのフレーム内の失われたマクロブロックが、シーンカットアーチファクトを有するものとして検出される。別の例では、検出されたシーンカットフレームが失われたシーンカットフレームを参照するとき、その失われたシーンカットフレームを参照するマクロブロックが、シーンカットアーチファクトを有するものとして検出される。方法１０００がシーンカット検出器１２３０によって使用されてもよい。

シーンカットアーチファクトがマクロブロックレベルで検出された後、品質予測器１２４０がアーチファクトを品質ストア内にマップする。品質予測器１２４０は、他のタイプのアーチファクトを考慮してもよく、また誤り伝播によって引き起こされるアーチファクトを考慮してもよい。

図１３を参照すると、上述の特徴および原理を適用することができるビデオ送信システムまたは装置１３００が示されている。プロセッサー１３０５はビデオを処理し、符号化器１３１０はビデオを符号化する。符号化器から生成されたビットストリームは、分散ネットワーク１３２０を介して復号器１３３０に送信される。ビデオ品質モニターは、異なる段階で使用されてもよい。

一実施形態では、ビデオ品質モニター１３４０がコンテンツクリエータによって使用されてもよい。たとえば、モード判断またはビットレート割振りなど符号化パラメタを決める際に、推定されたビデオ品質が符号化器によって使用されてもよい。別の例では、ビデオが符号化された後で、コンテンツクリエータは、ビデオ品質モニターを使用し、符号化されたビデオの品質をモニターする。品質メトリックが予め定義された品質レベルを満たさない場合、コンテンツクリエータは、ビデオ品質を改善するために、ビデオを再符号化することを選択してもよい。また、コンテンツクリエータは、品質に基づいて符号化されたビデオをランク付けしてもよく、それに応じてコンテンツをチャージする。

別の実施形態では、ビデオ品質モニター１３５０がコンテンツディストリビュータによって使用されてもよい。ビデオ品質モニターは、分散ネットワーク内に配置されてもよい。ビデオ品質モニターは、品質メトリックを計算し、それらをコンテンツディストリビュータにレポートする。コンテンツディストリビュータは、ビデオ品質モニターからのフィードバックに基づいて、帯域幅割振りおよびアクセス制御を調整することによってそのサービスを改善することができる。

また、コンテンツディストリビュータは、符号化を調整するために、フィードバックをコンテンツクリエータに送ることができる。高品質で符号化されたビデオは、通常、より多くの帯域幅を必要とし、送信保護のためにあまり多くの帯域幅を残さないので、符号化品質を符号化器で改善することは、必ずしも復号器側での品質を改善しない可能性があることに留意されたい。したがって、復号器において最適な品質に達するために、符号化ビットレートとチャネル保護のための帯域幅との間のバランスを考慮するべきである。

別の実施形態では、ビデオ品質モニター１３６０がユーザデバイスによって使用されてもよい。たとえば、ユーザデバイスがインターネット内で検索するとき、検索結果は、要求されたビデオコンテンツに対応する多数のビデオまたはビデオに対する多数のリンクを返す可能性がある。検索結果内のビデオは、異なる品質レベルを有する可能性がある。ビデオ品質モニターは、これらのビデオについて品質メトリックを計算し、どのビデオを記憶するために選択するか判断することができる。別の例では、ユーザは、いくつかの誤り隠蔽技法にアクセスすることができてもよい。ビデオ品質モニターは、異なる誤り隠蔽技法について品質メトリックを計算し、計算された品質メトリックに基づいてどの隠蔽技法を使用するか自動的に選択することができる。

本明細書に記載の実装は、たとえば方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実現することができる。単一の形態の実装の状況でのみ論じられている（たとえば、方法としてのみ論じられている）場合でさえ、論じられている特徴の実装は、他の形態（たとえば、装置またはプログラム）で実現されてもよい。装置は、たとえば適切なハードウェア、ソフトウェア、およびファームウェアで実現することができる。方法は、たとえばプロセッサーなど、たとえば装置で実現することができ、プロセッサーは、たとえばコンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能な論理デバイスを含めて、一般的な処理デバイスを指す。また、プロセッサーは、たとえばコンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、およびエンドユーザ間での情報の通信を容易にする他のデバイスなど、通信デバイスを含む。

本明細書に記載の様々なプロセスおよび特徴の実装は、様々な異なる機器またはアプリケーション、特に、たとえばデータ符号化、データ復号、シーンカットアーチファクト検出、品質測定、および品質モニタリングに関連する機器またはアプリケーションで実施することができる。そのような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサー、符号化器に入力を提供するプリプロセッサ、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバー、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、ゲームコンソール、および他の通信デバイスを含む。明らかであるように、機器はモバイルとすることができ、さらに移動車両に設置されてもよい。

さらに、方法は、プロセッサーによって実施される命令によって実現されてもよく、そのような命令（および／または実装によって生成されるデータ値）は、たとえば集積回路、ソフトウェア担持体、または、たとえばハードディスク、コンパクトディスク（「ＣＤ」）、光ディスク（たとえば、しばしばディジタル多用途ディスクまたはディジタルビデオディスクと呼ばれるＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）、もしくは読出し専用メモリ（「ＲＯＭ」）など他の記憶デバイスなど、プロセッサー可読媒体上に記憶されてもよい。命令は、プロセッサー可読媒体上で有形に実施されるアプリケーションプログラムを形成することができる。命令は、たとえばハードウェア、ファームウェア、ソフトウェア、または組合せ内にあってもよい。命令は、たとえばオペレーティングシステム、別個のアプリケーション、またはそれら２つの組合せ内に見出されてもよい。したがって、プロセッサーは、たとえば、プロセスを実施するように構成されたデバイスとしても、プロセスを実施するための命令を有するプロセッサー可読媒体（記憶デバイスなど）を含むデバイスとしても特徴付けることができる。さらに、プロセッサー可読媒体は、命令に加えて、または命令の代わりに、実装によって生成されるデータ値を記憶してもよい。

当業者には明らかであるように、実装は、たとえば記憶または送信することができる情報を担持するようにフォーマット化された様々な信号を生成することができる。この情報は、たとえば、方法を実施するための命令、または記載の実装の１つによって生成されるデータを含むことができる。たとえば、信号は、記載の実施形態のシンタックスを書き込む、または読み出すための規則をデータとして担持するようにフォーマット化されても、記載の実施形態によって書き込まれた実際のシンタックス値をデータとして担持するようにフォーマット化されてもよい。そのような信号は、たとえば、（たとえばスペクトルの無線周波数部分を使用して）電磁波として、またはベースバンド信号としてフォーマット化されてもよい。フォーマット化することは、たとえば、データストリームを符号化すること、および搬送波を符号化されたデータストリームで変調することを含むことができる。信号が担持する情報は、たとえばアナログ情報でもディジタル情報でもよい。信号は、知られているように、様々な異なる有線リンクまたは無線リンクを介して送信されてもよい。信号は、プロセッサー可読媒体上に記憶されてもよい。

いくつかの実装について述べた。しかし、様々な修正を加えることができることを理解されたい。たとえば、異なる実装の要素を組み合わせ、補足し、修正し、または除去し、他の実装を作り出すことができる。さらに、他の構造またはプロセスを、開示されているものの代わりにすることができ、得られる実装は、少なくとも実質的に同じ（１または複数の）機能を、少なくとも実質的に同じ（１または複数の）方法で実施し、開示されている実装と実質的に同じ（１または複数の）結果を達成することになることを当業者なら理解するであろう。したがって、これらの、および他の実装は、本願によって企図されている。

いくつかの実装について述べた。しかし、様々な修正を加えることができることを理解されたい。たとえば、異なる実装の要素を組み合わせ、補足し、修正し、または除去し、他の実装を作り出すことができる。さらに、他の構造またはプロセスを、開示されているものの代わりにすることができ、得られる実装は、少なくとも実質的に同じ（１または複数の）機能を、少なくとも実質的に同じ（１または複数の）方法で実施し、開示されている実装と実質的に同じ（１または複数の）結果を達成することになることを当業者なら理解するであろう。したがって、これらの、および他の実装は、本願によって企図されている。
(付記１)
符号化されたピクチャを含むビットストリームにアクセスするステップと、
ピクセル情報を導出するために前記ビットストリームを復号することなしに前記ビットストリームからの情報を使用して前記ビットストリーム内のシーンカットピクチャを決定するステップ（１０８０）と、
を含む方法。
(付記２)
前記決定するステップは、
フレームサイズ、予測残さ、および動きベクトルのうちの少なくとも１つに応答して、前記ビットストリームからの一組のピクチャ間で、それぞれの差測度を決定するステップ（１０２０、１０５０、１０６５）であって、前記一組のピクチャは、シーンカットピクチャ候補、前記シーンカットピクチャ候補に先立つピクチャ、および前記シーンカットピクチャ候補に続くピクチャのうちの少なくとも１つを含む、ステップと、
前記差測度の１または複数がそれらのそれぞれの所定の閾値を超えた場合（１０２５、１０６０、１０７０）、前記シーンカットピクチャ候補が前記シーンカットピクチャであると決定するステップ（１０８０）と、
を含む、付記１に記載の方法。
(付記３)
前記それぞれの差測度を決定するステップは、
前記一組のピクチャのピクチャについてのブロック場所に対応する予測残さエネルギー係数を計算するステップ（１０３０）と、
前記予測残さエネルギー係数を使用して、前記ブロック場所についての差測度を計算するステップ（１０４０）であって、前記ブロック場所についての前記差測度は、前記シーンカットピクチャ候補についての前記差測度を計算するために使用される、ステップと、
をさらに含む、付記２に記載の方法。
(付記４)
イントラピクチャ内の少なくとも１つのブロックについて圧縮されたデータが失われた場合（７３０）、前記イントラピクチャを前記シーンカットピクチャ候補として選択するステップ（７３５、７８０）をさらに含む、付記２に記載の方法。
(付記５)
前記シーンカットピクチャ内の前記少なくとも１つのブロックがシーンカットアーチファクトを有すると決定するステップをさらに含む、付記４に記載の方法。
(付記６)
前記シーンカットアーチファクトを有すると決定された前記少なくとも１つのブロックに、最も低い品質レベルを割り当てるステップをさらに含む、付記５に記載の方法。
(付記７)
失われたピクチャを参照するピクチャを前記シーンカットピクチャ候補として選択するステップをさらに含む、付記２に記載の方法。
(付記８)
ピクチャの送信されたパケットの推定数、および前記ピクチャに先立つピクチャの送信されたパケットの平均数を決定するステップ（７４０）をさらに含み、前記ピクチャの送信されたパケットの前記推定数と前記ピクチャに先立つピクチャの送信されたパケットの前記平均数との比が所定の閾値を超えたとき、前記ピクチャが前記シーンカットピクチャ候補として選択される（７５０、７８０）、付記７に記載の方法。
(付記９)
ピクチャの送信されたバイトの推定数、および前記ピクチャに先立つピクチャの送信されたバイトの平均数を決定するステップ（７６０）をさらに含み、前記ピクチャの送信されたバイトの前記推定数と前記ピクチャに先立つピクチャの送信されたバイトの前記平均数との比が所定の閾値を超えたとき、前記ピクチャが前記シーンカットピクチャ候補として選択される（７７０、７８０）、付記７に記載の方法。
(付記１０)
前記ピクチャの送信されたバイトの前記推定数は、前記ピクチャの受信されたバイトの数、および失われたバイトの推定数に応答して決定される、付記９に記載の方法。
(付記１１)
前記シーンカットピクチャ内のブロックが前記失われたピクチャを参照するとき、前記ブロックがシーンカットアーチファクトを有すると決定するステップをさらに含む、付記７に記載の方法。
(付記１２)
前記ブロックに最も低い品質レベルを割り当てるステップをさらに含み、前記ブロックは、前記シーンカットアーチファクトを有すると決定される、付記１１に記載の方法。
(付記１３)
前記一組のピクチャ内のピクチャは、Ｐピクチャである（１０１０）、付記２に記載の方法。
(付記１４)
符号化されたピクチャを含むビットストリームにアクセスする復号器（１２１０）と、
ピクセル情報を導出するために前記ビットストリームを復号することなしに前記ビットストリームからの情報を使用して前記ビットストリーム内のシーンカットピクチャを決定するシーンカットアーチファクト検出器（１２３０）と、
を備える装置。
(付記１５)
前記復号器（１２１０）は、前記ビットストリームからの一組のピクチャについて、フレームサイズ、予測残さ、および動きベクトルのうちの少なくとも１つを復号し、前記一組のピクチャは、シーンカットピクチャ候補、前記シーンカットピクチャ候補に先立つピクチャ、および前記シーンカットピクチャ候補に続くピクチャのうちの少なくとも１つを含み、前記シーンカットアーチファクト検出器（１２３０）は、前記シーンカットピクチャ候補について、前記フレームサイズ、前記予測残さ、および前記動きベクトルのうちの前記少なくとも１つに応答して、それぞれの差測度を決定し、前記差測度の１または複数がそれらのそれぞれの所定の閾値を超えた場合、前記シーンカットピクチャ候補が前記シーンカットピクチャであると決定する、付記１４に記載の装置。
(付記１６)
イントラピクチャ内の少なくとも１つのブロックについて圧縮されたデータが失われた場合（７３０）、前記イントラピクチャを前記シーンカットピクチャ候補として選択するシーンカットアーチファクト候補検出器（１２２０）をさらに備える、付記１５に記載の装置。
(付記１７)
前記シーンカットアーチファクト検出器（１２３０）は、前記シーンカットピクチャ内の前記少なくとも１つのブロックがシーンカットアーチファクトを有すると決定する、付記１６に記載の装置。
(付記１８)
前記シーンカットアーチファクトを有すると決定された前記少なくとも１つのブロックに、最も低い品質レベルを割り当てる品質予測器（１２４０）をさらに備える、付記１７に記載の装置。
(付記１９)
失われたピクチャを参照するピクチャを前記シーンカットピクチャ候補として選択するシーンカットアーチファクト候補検出器（１２２０）をさらに備える、付記１５に記載の装置。
(付記２０)
前記シーンカットアーチファクト候補検出器（１２２０）は、ピクチャの送信されたパケットの推定数、および前記ピクチャに先立つピクチャの送信されたパケットの平均数を決定し、前記ピクチャの送信されたパケットの前記推定数と前記ピクチャに先立つ前記ピクチャの送信されたパケットの前記平均数との比が所定の閾値を超えたとき、前記ピクチャを前記シーンカットピクチャ候補として選択する、付記１９に記載の装置。
(付記２１)
前記シーンカットアーチファクト候補検出器（１２２０）は、ピクチャの送信されたバイトの推定数、および前記ピクチャに先立つピクチャの送信されたバイトの平均数を決定し、前記ピクチャの送信されたバイトの前記推定数と前記ピクチャに先立つ前記ピクチャの送信されたバイトの前記平均数との比が所定の閾値を超えたとき、前記ピクチャを前記シーンカットピクチャ候補として選択する、付記１９に記載の装置。
(付記２２)
前記シーンカットアーチファクト候補検出器（１２２０）は、前記ピクチャの送信されたバイトの前記推定数を、前記ピクチャの受信されたバイトの数、および失われたバイトの推定数に応答して決定する、付記２１に記載の装置。
(付記２３)
前記シーンカットアーチファクト検出器（１２３０）は、前記シーンカットピクチャ内のブロックが前記失われたピクチャを参照するとき、前記ブロックがシーンカットアーチファクトを有すると決定する、付記１９に記載の装置。
(付記２４)
前記ブロックに最も低い品質レベルを割り当てる品質予測器（１２４０）であって、前記ブロックは、前記シーンカットアーチファクトを有すると決定される、品質予測器をさらに備える、付記２３に記載の装置。
(付記２５)
１または複数のプロセッサーに、
符号化されたピクチャを含むビットストリームにアクセスすることと、
ピクセル情報を導出するために前記ビットストリームを復号することなしに前記ビットストリームからの情報を使用して前記ビットストリーム内のシーンカットピクチャを決定すること（１０８０）と、
を共同で実施させるための命令を記憶しているプロセッサー可読媒体。

Claims (25)

1. 符号化されたピクチャを含むビットストリームにアクセスするステップと、
   ピクセル情報を導出するために前記ビットストリームを復号することなしに前記ビットストリームからの情報を使用して前記ビットストリーム内のシーンカットピクチャを決定するステップ（１０８０）と、
   を含む方法。
2. 前記決定するステップは、
   フレームサイズ、予測残さ、および動きベクトルのうちの少なくとも１つに応答して、前記ビットストリームからの一組のピクチャ間で、それぞれの差測度を決定するステップ（１０２０、１０５０、１０６５）であって、前記一組のピクチャは、シーンカットピクチャ候補、前記シーンカットピクチャ候補に先立つピクチャ、および前記シーンカットピクチャ候補に続くピクチャのうちの少なくとも１つを含む、ステップと、
   前記差測度の１または複数がそれらのそれぞれの所定の閾値を超えた場合（１０２５、１０６０、１０７０）、前記シーンカットピクチャ候補が前記シーンカットピクチャであると決定するステップ（１０８０）と、
   を含む、請求項１に記載の方法。
3. 前記それぞれの差測度を決定するステップは、
   前記一組のピクチャのピクチャについてのブロック場所に対応する予測残さエネルギー係数を計算するステップ（１０３０）と、
   前記予測残さエネルギー係数を使用して、前記ブロック場所についての差測度を計算するステップ（１０４０）であって、前記ブロック場所についての前記差測度は、前記シーンカットピクチャ候補についての前記差測度を計算するために使用される、ステップと、
   をさらに含む、請求項２に記載の方法。
4. イントラピクチャ内の少なくとも１つのブロックについて圧縮されたデータが失われた場合（７３０）、前記イントラピクチャを前記シーンカットピクチャ候補として選択するステップ（７３５、７８０）をさらに含む、請求項２に記載の方法。
5. 前記シーンカットピクチャ内の前記少なくとも１つのブロックがシーンカットアーチファクトを有すると決定するステップをさらに含む、請求項４に記載の方法。
6. 前記シーンカットアーチファクトを有すると決定された前記少なくとも１つのブロックに、最も低い品質レベルを割り当てるステップをさらに含む、請求項５に記載の方法。
7. 失われたピクチャを参照するピクチャを前記シーンカットピクチャ候補として選択するステップをさらに含む、請求項２に記載の方法。
8. ピクチャの送信されたパケットの推定数、および前記ピクチャに先立つピクチャの送信されたパケットの平均数を決定するステップ（７４０）をさらに含み、前記ピクチャの送信されたパケットの前記推定数と前記ピクチャに先立つピクチャの送信されたパケットの前記平均数との比が所定の閾値を超えたとき、前記ピクチャが前記シーンカットピクチャ候補として選択される（７５０、７８０）、請求項７に記載の方法。
9. ピクチャの送信されたバイトの推定数、および前記ピクチャに先立つピクチャの送信されたバイトの平均数を決定するステップ（７６０）をさらに含み、前記ピクチャの送信されたバイトの前記推定数と前記ピクチャに先立つピクチャの送信されたバイトの前記平均数との比が所定の閾値を超えたとき、前記ピクチャが前記シーンカットピクチャ候補として選択される（７７０、７８０）、請求項７に記載の方法。
10. 前記ピクチャの送信されたバイトの前記推定数は、前記ピクチャの受信されたバイトの数、および失われたバイトの推定数に応答して決定される、請求項９に記載の方法。
11. 前記シーンカットピクチャ内のブロックが前記失われたピクチャを参照するとき、前記ブロックがシーンカットアーチファクトを有すると決定するステップをさらに含む、請求項７に記載の方法。
12. 前記ブロックに最も低い品質レベルを割り当てるステップをさらに含み、前記ブロックは、前記シーンカットアーチファクトを有すると決定される、請求項１１に記載の方法。
13. 前記一組のピクチャ内のピクチャは、Ｐピクチャである（１０１０）、請求項２に記載の方法。
14. 符号化されたピクチャを含むビットストリームにアクセスする復号器（１２１０）と、
    ピクセル情報を導出するために前記ビットストリームを復号することなしに前記ビットストリームからの情報を使用して前記ビットストリーム内のシーンカットピクチャを決定するシーンカットアーチファクト検出器（１２３０）と、
    を備える装置。
15. 前記復号器（１２１０）は、前記ビットストリームからの一組のピクチャについて、フレームサイズ、予測残さ、および動きベクトルのうちの少なくとも１つを復号し、前記一組のピクチャは、シーンカットピクチャ候補、前記シーンカットピクチャ候補に先立つピクチャ、および前記シーンカットピクチャ候補に続くピクチャのうちの少なくとも１つを含み、前記シーンカットアーチファクト検出器（１２３０）は、前記シーンカットピクチャ候補について、前記フレームサイズ、前記予測残さ、および前記動きベクトルのうちの前記少なくとも１つに応答して、それぞれの差測度を決定し、前記差測度の１または複数がそれらのそれぞれの所定の閾値を超えた場合、前記シーンカットピクチャ候補が前記シーンカットピクチャであると決定する、請求項１４に記載の装置。
16. イントラピクチャ内の少なくとも１つのブロックについて圧縮されたデータが失われた場合（７３０）、前記イントラピクチャを前記シーンカットピクチャ候補として選択するシーンカットアーチファクト候補検出器（１２２０）をさらに備える、請求項１５に記載の装置。
17. 前記シーンカットアーチファクト検出器（１２３０）は、前記シーンカットピクチャ内の前記少なくとも１つのブロックがシーンカットアーチファクトを有すると決定する、請求項１６に記載の装置。
18. 前記シーンカットアーチファクトを有すると決定された前記少なくとも１つのブロックに、最も低い品質レベルを割り当てる品質予測器（１２４０）をさらに備える、請求項１７に記載の装置。
19. 失われたピクチャを参照するピクチャを前記シーンカットピクチャ候補として選択するシーンカットアーチファクト候補検出器（１２２０）をさらに備える、請求項１５に記載の装置。
20. 前記シーンカットアーチファクト候補検出器（１２２０）は、ピクチャの送信されたパケットの推定数、および前記ピクチャに先立つピクチャの送信されたパケットの平均数を決定し、前記ピクチャの送信されたパケットの前記推定数と前記ピクチャに先立つ前記ピクチャの送信されたパケットの前記平均数との比が所定の閾値を超えたとき、前記ピクチャを前記シーンカットピクチャ候補として選択する、請求項１９に記載の装置。
21. 前記シーンカットアーチファクト候補検出器（１２２０）は、ピクチャの送信されたバイトの推定数、および前記ピクチャに先立つピクチャの送信されたバイトの平均数を決定し、前記ピクチャの送信されたバイトの前記推定数と前記ピクチャに先立つ前記ピクチャの送信されたバイトの前記平均数との比が所定の閾値を超えたとき、前記ピクチャを前記シーンカットピクチャ候補として選択する、請求項１９に記載の装置。
22. 前記シーンカットアーチファクト候補検出器（１２２０）は、前記ピクチャの送信されたバイトの前記推定数を、前記ピクチャの受信されたバイトの数、および失われたバイトの推定数に応答して決定する、請求項２１に記載の装置。
23. 前記シーンカットアーチファクト検出器（１２３０）は、前記シーンカットピクチャ内のブロックが前記失われたピクチャを参照するとき、前記ブロックがシーンカットアーチファクトを有すると決定する、請求項１９に記載の装置。
24. 前記ブロックに最も低い品質レベルを割り当てる品質予測器（１２４０）であって、前記ブロックは、前記シーンカットアーチファクトを有すると決定される、品質予測器をさらに備える、請求項２３に記載の装置。
25. １または複数のプロセッサーに、
    符号化されたピクチャを含むビットストリームにアクセスすることと、
    ピクセル情報を導出するために前記ビットストリームを復号することなしに前記ビットストリームからの情報を使用して前記ビットストリーム内のシーンカットピクチャを決定すること（１０８０）と、
    を共同で実施させるための命令を記憶しているプロセッサー可読媒体。