JP2015508250A - 適応低解像度アップデートモードを提供するための方法および機器 - Google Patents

Abstract

適応低解像度アップデート（ＲＲＵ）処理を適用するための方法および機器が本明細書で開示される。機器は、ビデオ信号を受信し、ビデオ信号の第１の成分を第１のＲＲＵ符号化モードに従って、かつ、ビデオ信号の第２の成分を第２のＲＲＵ符号化モードに従って、そのビデオ信号の第１および第２の成分のそれぞれのタイプに基づき、選択的にダウンサンプリングするように構成された符号器を含み得る。機器は、符号化ビットストリームを受信し、その符号化ビットストリームに基づいて、回復された残差を提供するように構成された復号器を含み得る。復号器は、符号化ビットストリームのシグナル機構に基づき、復元された信号を提供するために、回復された残差の第１の成分を第１のＲＲＵモードに従って選択的にアップサンプリングし、かつ、回復された残差の第２の成分を第２のＲＲＵモードに従って選択的にアップサンプリングするようにさらに構成され得る。

Description

相互参照
本出願は、２０１２年１月１９日に出願された米国仮出願第６１／５８８，６１３号に対する優先権を主張し、それは、いかなる目的に対しても、参照によりその全体において本明細書に組み込まれる。

開示する発明の実施形態は、一般に、ビデオ信号の符号化および／または復号に関し、より詳細には、１つまたは複数の図示した実施形態における、低解像度符号化に関する。

ビデオ符号化規格が発展するにつれて、主観的および／または客観的品質における低下を最小限にしながら、データ圧縮を高めようとして、様々なアルゴリズムおよび機能が使用されてきた。例えば、ＩＴＵ−Ｔビデオ符号化規格Ｈ．２６３に導入された低解像度アップデートモードは、十分な主観的品質を維持しながら、改善された符号化効率を可能にするために開発された。このモードで符号化されたビットストリームの構文は、フル解像度で符号化されたビットストリームと本質的に同一であるが、Ｈ．２６３規格は、動き補償またはイントラ予測後のその残差の使用および予測信号へのその追加において異なった。例えば、このモードでの画像は、フル解像度の符号化ピクチャに比べて４分の１の数のマクロブロックを含み、動きベクトルデータが、それぞれ、１６×１６および８×８の代わりに、フル解像度ピクチャの３２×３２および１６×１６のブロックサイズに関連付けられた。ＤＣＴおよびテクスチャデータが低解像度ピクチャの８×８ブロックに関連付けられるので、最終的なフル解像度表現を生成するために、アップサンプリング方式が使用される必要がある。

このプロセスは客観的品質を著しく低下させたが、符号化される必要のあるビット数が、より少ないモード数（４により）、動きデータ、および残差に起因して減らされたので、損失は補われた。客観的品質に比べて、主観的品質は、このデータ削減の結果としてほとんど損なわれていない。

機器の例が提供される。機器例は、符号器を含み得る。符号器は、ビデオ信号を受信し、ビデオ信号の第１および第２の成分のそれぞれのタイプの少なくとも一部に基づき、ビデオ信号の第１の成分を第１のＲＲＵ符号化モードに従って、かつ、ビデオ信号の第２の成分を第２のＲＲＵ符号化モードに従って選択的にダウンサンプリングするように構成され得る。

符号器は、第１および第２の成分を、シーケンスレベル、フレームレベル、マクロブロックレベル、またはそれらの任意の組合せで、選択的にダウンサンプリングするように構成され得る。
符号器は、フル解像度基準を使用して、動き予測を実行するように構成され得る。

符号器は、ビデオ信号の第１の成分を、ビデオ信号の第１の成分の時空間解析の少なくとも一部に基づいて、選択的にダウンサンプリングするように構成され得る。

機器例は、復号器を含み得る。復号器は、符号化ビットストリームを受信し、符号化ビットストリームの少なくとも一部に基づいて、回復された残差を提供するように構成され得、復号器は、符号化ビットストリームの１つまたは複数のシグナル機構の少なくとも一部に基づき、復元されたビデオ信号を提供するために、回復された残差の第１の成分を第１のＲＲＵモードに従って選択的にアップサンプリングし、回復された残差の第２の成分を第２のＲＲＵモードに従って選択的にアップサンプリングするようにさらに構成され得る。

復号器は、第１および第２の成分を、シーケンスレベル、フレームレベル、マクロブロックレベル、またはそれらの任意の組合せで、選択的にアップサンプリングするように構成され得る。

いくつかの例では、第１および第２の成分は、各々、赤のクロミナンス差（ｒｅｄ−ｄｉｆｆｅｒｅｎｃｅ ｃｈｒｏｍｉｎａｎｃｅ）成分、青のクロミナンス差成分、輝度成分、またはそれらの組合せを含み得る。

符号器の例が提供される。符号器例は、モード決定ブロックおよびエントロピー符号器を含み得る。モード決定ブロックは、ビデオ信号を受信し、ビデオ信号の成分に対応した信号をビデオ信号内に提供するように構成され得、その信号は、ＲＲＵ符号化モードを含む。エントロピー符号器は、モード決定ブロックに結合され得、信号を受信するように構成され得る。エントロピー符号器は、成分および信号の少なくとも一部に基づいて、符号化ビットストリームを提供するようにさらに構成され得る。

符号器例は、ダウンサンプラを含み得る。ダウンサンプラは、モード決定ブロックに結合され得、ＲＲＵ符号化モードに従ってビデオ信号の成分をダウンサンプリングするように構成され得る。

いくつかの例では、ダウンサンプラは、アップサンプリング方式の少なくとも一部に基づいて、残差をダウンサンプリングするように構成され得る。

いくつかの例では、成分は、輝度成分を含み得、ＲＲＵ符号化モードは、フル解像度に対応し得る。

符号化の方法が提供される。方法例は、ビデオ信号を受信すること、ＲＲＵモードで動作しながらビデオ信号を解析すること、およびビデオ信号の解析の後、ビデオ信号の成分のタイプの少なくとも一部に基づいて、ビデオ信号の成分を選択的にダウンサンプリングすることを含む。

いくつかの方法例では、ＲＲＵモードで動作しながらビデオ信号を解析することが、複数の領域の各々について時空間解析を実行することを含み得る。

いくつかの方法例では、成分は、赤のクロミナンス差成分、青のクロミナンス差成分、輝度成分、またはそれらの組合せを含む。

いくつかの方法例では、ビデオ信号の成分を選択的にダウンサンプリングすることが、ビデオ信号の第１の成分を第１のＲＲＵ符号化モードに従って選択的にダウンサンプリングすること、およびビデオ信号の第２の成分を第２のＲＲＵ符号化モードに従って選択的にダウンサンプリングすることを含み得る。

いくつかの方法例では、ビデオ信号の成分を選択的にダウンサンプリングすることが、規範的アップサンプリング方式の少なくとも一部に基づいて、成分をダウンサンプリングすることを含み得る。

方法例が提供される。一方法例は、復号器で、ＲＲＵタイプを示すシグナル機構を含む符号化ビットストリームを受信すること、符号化ビットストリームの少なくとも一部に基づいて、残差を生成すること、およびシグナル機構の少なくとも一部に基づいて、残差の成分を選択的にアップサンプリングすることを含み得る。

いくつかの方法例では、残差の成分を選択的にアップサンプリングすることが、シーケンスレベル、フレームレベル、マクロブロックレベル、またはそれらの任意の組合せで、成分を選択的にアップサンプリングすることを含み得る。

一方法例は、シーケンスレベル低解像度アップデートモードが有効かどうかを判断するためにシーケンスを解析すること、シーケンスレベル低解像度アップデートモードが有効な場合に、フレームレベル低解像度アップデートモードが有効かどうかを判断するためにシーケンスのフレームを解析すること、およびフレームレベル低解像度アップデートモードが有効な場合に、成分のタイプの少なくとも一部に基づいて、マクロブロックの成分をダウンサンプリングするかどうかを判断するために、フレームのマクロブロックを解析することを含み得る。

いくつかの方法例は、マクロブロックの解析後に、マクロブロックの成分に対応するＲＲＵ符号化モードを提供することを含み得る。

いくつかの方法例は、シーケンスレベル低解像度アップデートモードが有効でない場合に、シーケンスをフル解像度で符号化すること、およびフレームレベル低解像度アップデートモードが有効でない場合に、フレームをフル解像度で符号化することを含み得る。

一方法例は、マクロブロックについて時空間解析を実行すること、時空間解析の前記実行の少なくとも一部に基づいて、予備低解像度アップデート符号化決定を生成すること、その予備低解像度アップデート符号化決定を使用してマクロブロックのブロックを符号化すること、その符号化されたブロックが基準を満足するかどうかを判断すること、および符号化されたブロックが基準を満足しない場合に、フォールバック低解像度アップデート決定を使用してブロックを符号化することを含み得る。

いくつかの方法例では、予備低解像度アップデート符号化決定を使用してマクロブロックのブロックを符号化することが、第１の解像度でブロックを符号化することを含み得、符号化されたブロックが基準を満足しない場合に、フォールバック低解像度アップデート決定を使用してブロックを符号化することが、第２の解像度でブロックを符号化することを含み得、第２の解像度は第１の解像度よりも低い。

いくつかの方法例は、予備低解像度アップデート決定を前記生成前に、マクロブロックをブロックに分割することを含み得る。

本発明の実施形態による符号器のブロック図である。 本発明の実施形態による符号器のブロック図である。 本発明の実施形態によるビデオストリームのシーケンスを符号化するためのプロセスの流れ図である。 本発明の実施形態による領域の解析および符号化のためのプロセスの流れ図である。 本発明の実施形態に従って、異なるＲＲＵ符号化モードにフレームを割り当てる例の概略図である。 本発明の実施形態に従って、様々なＲＲＵ符号化モードで符号化されたマクロブロックのブロック図である。 本発明の実施形態による、ブロック境界に対するアップサンプリング方式の概略図である。 本発明の実施形態による、内側位置に対するアップサンプリング方式の概略図である。 本発明の実施形態による復号器の概略図である。 本発明の実施形態によるメディア配信システムの概略図である。 本明細書に記載する符号器を利用し得るビデオ配信システムの概略図である。

適応低解像度アップデート（ＲＲＵ）モードを提供するための方法および機器が本明細書で記述される。少なくとも１つの実施形態では、ＲＲＵモードに従って、ビデオ信号の１つまたは複数の成分（例えば、色成分）が選択的にダウンサンプリングされ得る。本発明の実施形態の十分な理解を提供するために、ある詳細が以下に記述される。しかし、本発明の実施形態は、これらの特定の詳細なしで、または追加もしくは異なる詳細とともに、実施され得ることが当業者には明らかであろう。その上、本明細書に記載する本発明の特定の実施形態は、例として提供され、本発明の範囲をこれら特定の実施形態に制限するために使用されるべきではない。他の事例では、本発明を不必要に分かりにくくするのを回避するために、周知のビデオ構成要素、符号器または復号器構成要素、回路、制御信号、タイミングプロトコル、およびソフトウェア動作が、詳細には示されていない。

本発明の実施形態は、ダウンサンプリングを対象とする。ダウンサンプリングは、一般に、画像の事例に対して、隣接するサンプル（例えば、画素または画素成分）を平均化することにより解像度が下げられ得るプロセスである。多くの場合、平均値は、エッジまたは角に対するサンプルの位置に基づき、重みを加えられて変動し得る。解像度は、サブサンプリングを使用しても下げられ得る。サブサンプリングは、一般に、元のサンプルのほんの一部だけが残るように、サンプルが、例えば、画像から、除去され得るプロセスである。４：４：４サンプリングレートの画像のクロミナンス成分が、例えば、クロミナンスサンプルの数を、垂直および水平の両方で半分だけ減らすことにより、４：２：０解像度にサブサンプリングされ得る。本明細書では成分および／または残差のダウンサンプリングに対する参照が行われているが、ダウンサンプリングまたはサブサンプリングのいずれかが、本明細書に記載する任意の実施形態に適用され得ることが当業者によって理解されるであろう。

本発明の実施形態は、ＲＲＵ符号化モードを提供するための方法および機器を含む。ＲＲＵ符号化は、一般に、ビデオ信号から生成された残差が、符号化ビットストリームに符号化される前に、それによってダウンサンプリングされ得るが、予測（例えば、動き予測）が依然としてフル解像度基準を使用して実行され得る、機構を指す。これは、例えば、ビットストリーム内で符号化されたマクロブロックまたは符号化ユニットの数を減らし得、それにより、ビットストリームのビットレートを減らし得る。ＲＲＵ符号化は一般に、残差のダウンサンプリングを対象とするが、本明細書では、ビデオ信号の特定の成分のダウンサンプリングに対する参照が行われる。これは、いくつかの例では、特定の成分に対応するビデオ信号の任意の部分を、それから生成された任意の残差を含めて、ダウンサンプリングすることを包含することを意図する。

図１は、本発明の実施形態による符号器１００のブロック図である。符号器１００は、１つまたは複数の論理回路、制御論理、論理ゲート、プロセッサ、メモリ、および／または同じもの任意の組合せもしくは部分的組合せを含み得、１つまたは複数の符号化技術を使用してビデオ信号の符号化および／または圧縮を行い得、その例が以下でさらに記述される。符号器１００は、例えば、可変のビットレート信号および／または一定のビットレート信号を符号化し得、一般に、レートに依存しない方法で生成され得るビットストリームを出力するために、固定レートで動作し得る。符号器１００は、テレビ、放送システム、モバイル機器、ならびにラップトップおよびデスクトップの両方のコンピュータを含むが、それらに制限されず、ビデオ符号化を採用する任意の様々な装置で実装され得る。

少なくとも１つの実施形態では、符号器１００は、可変長符号化符号器（例えば、ハフマン符号器、ランレングス符号器、またはＣＡＶＬＣ符号器）などの、エントロピー符号器を含み得、かつ／または、データを、例えば、マクロブロックレベルで符号化し得る。各マクロブロックは、イントラ符号化モード、インター符号化モード、双方向で、または同じものの任意の組合せもしくは部分的組合せで符号化され得る。

動作例において、符号器１００は、一実施形態では、ビデオデータ（例えば、フレーム）を含み得る、ビデオ信号を受信および符号化し得る。符号器１００は、符号化ビットストリームを提供するために、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４、Ｈ．ＨＥＶＣ、またはそれらの任意の組合せなどの、１つまたは複数の符号化規格に部分的または完全に従って、ビデオ信号を符号化し得る。符号化ビットストリームは、データバスおよび／または、復号器もしくはトランスコーダ（図示せず）などの装置に提供され得る。

以下でさらに説明するように、符号器１００は、ＲＲＵ符号化モードで動作し得、それに応じて、ビデオ信号の１つまたは複数の成分を選択的にダウンサンプリングし得る。一実施形態では、成分は、成分のそれぞれのタイプ（例えば、輝度、青のクロミナンス差、赤のクロミナンス差）および／または特定のビデオ、場面、画像、マクロブロック、もしくは任意の他の符号化ユニットにおける成分の重要性に基づいて、選択的にダウンサンプリングされ得る。例として、１つまたは複数のシーケンスが比較的高い量の動きおよび／または青色画素を含む、ビデオ信号のクロミナンス成分が、信号の一部でダウンサンプリングされ得る。この方法でのダウンサンプリングは、シーケンス、ピクチャ、スライス、およびマクロブロック構文レベルを含むが、それらに限定されず、任意の構文レベルで適用され得る。

図２は、本発明の実施形態による符号器２００のブロック図である。符号器２００は、図１の符号器１００の少なくとも一部を実装するために使用され得、さらに、Ｈ．２６４符号化規格に一部または完全に準拠し得る。いくつかの実施形態では、符号器２００は、追加または代替として、Ｈ．２６３符号化規格などの、当技術分野で周知の１つまたは複数の他の符号化規格に一部または完全に準拠し得る。符号器２００は、モード決定ブロック２３０、予測ブロック２２０、遅延バッファ２０２、変換２０６、ダウンサンプラ２６０、量子化ブロック２５０、エントロピー符号器２０８、逆量子化ブロック２１０、逆変換ブロック２１２、アップサンプラ２６２、加算器２１４、非ブロック化フィルタ２１６、およびピクチャバッファ２１８を含み得る。

モード決定ブロック２３０は、以下でさらに記述される、着信ベースバンドビデオ信号および復号されたピクチャバッファ信号の少なくとも一部に基づき、適切な動作モードを決定し得、かつ／またはフレーム毎および／もしくはマクロブロックベースで、適切な動作モードを決定し得る。加えて、モード決定ブロック２３０は、ビデオ信号の動きおよび／または視差推定を採用し得る。モード決定は、マクロブロックタイプ、イントラモード、インターモード、構文要素（例えば、動きベクトル）、および量子化パラメータを含み得る。

符号器２００がＲＲＵモードで動作する場合、モード決定ブロック２３０は、ビデオ信号の１つまたは複数の成分がダウンサンプリングされるべきかどうかを判断するために、ビデオ信号をさらに解析し得る。すなわち、モード決定ブロック２３０は、ビデオ信号を解析して、１つまたは複数のＲＲＵ符号化モードを含む信号をビデオ信号内に提供し得る。ＲＲＵ符号化モードは、ビデオ信号がダウンサンプリングされ得、ビデオ信号の個々の成分および／または任意の構文レベルに適用され得る方法を示し得る。一例として、ＲＲＵ符号化モードは、シーケンスの全てではない成分がダウンサンプリングされ得ること、全ての成分がダウンサンプリングされ得ること、または全ての成分がフル解像度で符号化され得ることを示し得る。いくつかの例では、成分に対応する残差が、モード決定ブロック２３０によりビデオ信号内に信号通知されたＲＲＵ符号化モードを使用して、選択的にダウンサンプリングされ得る。その結果、ダウンサンプリングされた解像度で符号化される残差がダウンサンプラ２６０に提供され得、フル解像度で符号化される残差が変換２０６に直接提供され得る。

モード決定ブロック２３０の出力が、Ｈ．２６４符号化規格などの符号化規格および／または他の予測方法論に従って予測因子（ｐｒｅｄｉｃｔｏｒ）を生成するために予測ブロック２２０によって利用され得、少なくとも１つの実施形態では、予測ブロック２２０は、フル解像度基準に基づいて予測因子を生成し得る。予測因子は、減算器２０４でビデオ信号の遅延バージョンから減算され得る。ビデオ信号の遅延バージョンを使用すると、モード決定ブロック２３０に動作する時間を提供し得る。減算器２０４の出力は、残差（例えば、ブロックと予測されたブロックとの間の差）であり得、残差は、ダウンサンプラ２６０またはＤＣＴ変換２０８に提供され得る。

前述のように、成分に対する信号が、成分がダウンサンプリングされることを示しているＲＲＵ符号化モードを含む場合、その成分に対応する任意の残差がダウンサンプラ２６０に提供され得る。ダウンサンプラ２６０は、ＲＲＵ符号化モードに従って各残差をダウンサンプリングし得るか、かつ／または固定のアップサンプリングプロセスに基づいて解像度を下げ得る。すなわち、また、以下で説明するように、復元された低解像度残差がアップサンプラ２６２によってアップサンプリングされ得る。いくつかの実施形態では、このアップサンプリングは、固定された、規範的変換であるアップサンプリング方式を使用し得、その方式に基づいて、複数のダウンサンプリングフィルタがダウンサンプラ２６０によって残差に適用され得る。特定の基準を最も良く満足するダウンサンプリングされた残差が選択されて、変換２０６に提供され得る。例えば、ダウンサンプラ２６０は、アップサンプリング方式の適用後、（例えば、絶対誤差計算の合計に基づいて）元の信号に最も近い表現を生成するダウンサンプリングされた残差を提供し得る。

変換２０６は、残差を周波数領域に変換するために、フル解像度残差を減算器２０４から受信し得るか、または低解像度残差をダウンサンプラ２６０から受信して、離散コサイン変換（ＤＣＴ）などの変換を実行し得る。結果として、変換２０６は、例えば、ビデオ信号内のデータのスペクトル成分に対応し得る、係数ブロックを提供し得る。量子化ブロック２５０は、係数ブロックを受信して、量子化された係数ブロックを生成するために係数ブロックの係数を量子化し得る。量子化ブロック２５０によって採用された量子化は、損失の多いものであり得るが、量子化された係数ブロックの１つまたは複数の係数を、例えば、ラグランジュ評価関数に基づいて、調整および／または最適化し得る。

次いで、エントロピー符号器２０８が、符号化ビットストリームを提供するために量子化された係数ブロックを符号化し得る。符号化ビットストリームは、例えば、モード決定２３０によって提供された１つまたは複数の信号を含み得る。一実施形態では、特定の構文レベルに対する信号のみがビットストリーム内に含まれ得る。一例として、ＲＲＵ符号化モードは、ブロック、マクロブロック、フレームおよび／またはピクチャに対してのみビットストリーム内に含まれ得る。エントロピー符号器２０８は、可変長符号化（ＶＬＣ）符号器などの、当業者によって周知の任意のエントロピー符号器であり得る。量子化された係数ブロックは、逆量子化ブロック２１０によって逆スケーリングおよび量子化もされ得る。逆スケーリングおよび量子化された係数は、復元された残差を生成するために、逆変換ブロック２１２によって逆変換され得る。

アップサンプラ２６２は、１つまたは複数の残差を選択的にアップサンプリングし得る。例えば、残差がダウンサンプラ２６０によってダウンサンプリングされた場合、対応する復元された残差は、アップサンプラ２６２によってアップサンプリングされ得る。いくつかの実施形態では、アップサンプラ２６２は、復元された残差を一定の方法でアップサンプリングし得るか、または、前述のように、ダウンサンプラ２６０のダウンサンプリングに基づいてアップサンプリングし得る。アップサンプラ２６２は、ビデオ信号内に提供された信号を受信し、ダウンサンプリングが逆にされるように復元された残差をアップサンプリングし得る。アップサンプラ２６２は、双線形、双三次、およびランツォシュ補間フィルタを含むが、それらに限定されず、現在または将来において、当技術分野で周知の任意の補間フィルタを含み得る。

復元された残差は、復元されたビデオを生成するために、加算器２１４で予測因子に加算され得、その復元されたビデオは次いで、非ブロック化フィルタ２１６によって非ブロック化され、将来のフレーム内で使用するためにピクチャバッファ２１８に書き込まれて、さらなるマクロブロック内イントラ予測または他のモード決定方法論のためにモード決定ブロック２３０にフィードバックされ得る。

前述のように、符号器２００は、Ｈ．２６４符号化規格を含む、任意の既知のビデオ符号化規格にしたがって動作し得る。従って、様々なビデオ符号化規格が動き予測および／または動き補償を採用するので、符号器２００は、逆量子化ブロック２１０、逆変換２１２、アップサンプラ２６２、復元加算器２１４、および非ブロック化フィルタ２１６を含むフィードバックループをさらに含み得る。これらの要素は、符号器２００によって実行される符号化プロセスを、少なくとも一部は逆にし得る、復号器に含まれる要素を反映し得る。加えて、符号器のフィードバックループは、予測ブロック２２０およびピクチャバッファ２１８を含み得る。

符号器２００の動作例では、ビデオ信号（例えば、ベースバンドビデオ信号）が、符号器２００に提供され得る。ビデオ信号は、遅延バッファ２０２およびモード決定ブロック２３０に提供され得る。モード決定ブロック２３０は、ビデオ信号を解析し得、それにより、ビデオ信号の１つまたは複数の成分を選択的にダウンサンプリングし得る。モード決定ブロック２３０は、１つまたは複数の成分が、信号内に含まれる１つまたは複数のＲＲＵ符号化モードを使用してダウンサンプリングされることを示す信号を提供し得、成分のタイプ、および／または特定の符号化ユニット（例えば、マクロブロック、場面、画像）に対する成分の重要性に基づいて、成分をダウンサンプリングするかどうかを判断し得る。例として、クロミナンス成分が、第１のＲＲＵ符号化モード（例えば、４：４：４から４：２：０へのダウンサンプリング）で信号通知され得、輝度成分が第２のＲＲＵ符号化モード（例えば、ダウンサンプリングなし）で信号通知され得る。

減算器２０４は、ビデオ信号を遅延バッファ２０２から受信し得、残差を生成するために、動き予測信号をビデオ信号から減算し得る。残差は、モード決定ブロック２３０の信号通知に基づいて、変換２０６またはダウンサンプラ２６０のいずれかに提供され得る。残差（例えば、フル解像度残差またはダウンサンプリングされた残差）は、変換２０６に提供され、ＤＣＴなどの順変換を使用して処理され得る。前述のように、変換２０６は、量子化ブロック２５０に提供され得る係数ブロックを生成し得、量子化ブロック２５０は、その係数ブロックを量子化および／または最適化し得る。エントロピー符号器は、符号化ビットストリームを提供するために、モード決定ブロック２３０によって提供された任意の信号を含め、量子化された係数ブロックおよび対応する構文要素を符号化し得る。

量子化された係数ブロックは、符号器２００のフィードバックループにさらに提供され得る。すなわち、量子化された係数ブロックは、復元されたビデオ信号を生成するために、逆量子化ブロック２１０、逆変換２１２、アップサンプラ２６２、および復元加算器２１４によって、それぞれ、逆量子化され、逆変換され、（例えば、以前にダウンサンプリングされた場合）アップサンプリングされて、動き予測信号に追加され得る。非ブロック化フィルタ２１６は、復元されたビデオ信号を受信し得、ピクチャバッファ２１８は、フィルタ処理されたビデオ信号を非ブロック化フィルタ２１６から受信し得る。一実施形態では、非ブロック化フィルタ２１６によって採用された非ブロック化のレベルは、それぞれの成分に対してモード決定２３０による信号に基づき得る。フィルタ処理されたビデオ信号を使用して、予測ブロック２２０は動き予測信号を加算器２０４に提供し得る。

周知のように、非ブロック化フィルタ２１６などの非ブロック化フィルタは、復号されたビデオ信号のエッジを平滑にし得る。符号器２００は、符号器２００がＨＥＶＣ符号化規格に従って符号化し得る少なくとも１つの実施形態では、非ブロック化フィルタ２１６を含むとして示されているが、非ブロック化フィルタ２１６は、非ブロック化フィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ、および適応ループフィルタ（ＡＦＬ）を含み得る。これらのフィルタは、現在および将来において、当技術分野で周知の任意の符号化パラメータを使用し得、ビデオ信号および／またはビットストリーム内で信号通知されたＲＲＵ符号化モードに基づいて復号された信号をさらにフィルタ処理し得る。いくつかの実施形態では、符号化パラメータは、追加または代替として、ビデオストリーム内で事前決定かつ／または信号通知され得る。一例として、＋２の非ブロック化強度および＋１のＳＡＯオフセットが、ＲＲＵ符号化成分に対応する残差に対して使用され得る。

さらに、符号器２００は、ダウンサンプリングされた残差を変換し、フル解像度基準で動き予測を採用することを示しているが、いくつかの実施形態では、予測および残差符号化の両方が、低解像度基準を使用して採用され得る。一実施形態では、これは、予測因子をダウンスケーリングし、任意のフィルタ処理プロセスの前または後に、復元されたビデオ信号をアップスケーリングすることにより実装され得る。

その結果、図２の符号器２００は、１つまたは複数の構文レベルにおいて１つまたは複数のダウンサンプリングされた成分を有する符号化ビットストリームを提供するために、ＲＲＵモードで動作し得る。符号器２００は、半導体技術で作動され得、ハードウェア、ソフトウェア、またはそれらの組合せで実装され得る。いくつかの例では、符号器２００は、ソフトウェアで実装され得るモード決定ブロック２３０を除いて、ハードウェアで実装され得る。他の例では、他のブロックもソフトウェアで実装され得るが、いくつかの事例におけるソフトウェア実施態様は、リアルタイム動作を達成し得ない。

図３は、本発明の実施形態によるビデオストリームのシーケンスを符号化するためのプロセスの流れ図である。プロセス３００は、図１の符号器１００および図２の符号器２００を含め、本明細書に記載する任意の符号器を使用して実装され得る。特に、プロセス３００の実施態様は、図２のモード決定ブロック２３０とともに記述されるが、当業者によって、図２の符号器２００の任意の数の他の要素が、プロセス３００の１つまたは複数のステップを実装するために使用され得ることが理解されるであろう。

ステップ３０５で、ビデオ信号のシーケンスが、例えば、モード決定ブロック２３０によって解析され得、その解析に基づき、シーケンスレベルＲＲＵモードが有効にされ得る。シーケンスレベルＲＲＵモードが有効にされるかどうかは、例えば、コンテンツ（例えば、映画、生放送など）、動き、および／またはシーケンスの各成分のサンプリングレートを含むが、それらに限定されず、シーケンスの様々な測定基準に基づき得る。

ステップ３１０で、モード決定ブロック２３０が、シーケンスレベルＲＲＵモード処理が有効にされているかどうかをさらに判断し得る。シーケンスレベルＲＲＵモード処理が無効な場合、ステップ３１５でシーケンスの第１のフレームがフル解像度で符号化され得る。フレームをフル解像度で符号化することは、例えば、フレームの全ての成分に対する残差を減算器２０４からＤＣＴ変換２０６に提供することを含み得、それにより、ダウンサンプラ２６０を迂回する。少なくとも１つの実施形態では、フレームをフル解像度で符号化することは、フレームがフル解像度で符号化されることを示すＲＲＵ符号化モードを含む１つまたは複数の信号を提供することをさらに含み得る。ステップ３２０で、シーケンス内に符号化されていないフレームが残っている場合、ステップ３１５で、シーケンスの次のフレームがフル解像度で符号化され得る。ステップ３１５および３２０は、シーケンスの全てのフレームがフル解像度で符号化されるまで反復して繰り返され得る。

そうでなく、シーケンスレベルＲＲＵモードが有効な場合、ステップ３２５で、プロセス３００は、シーケンスの第１のフレームを解析し得る。この解析に従って、フレームレベルＲＲＵモードが有効にされ得る。シーケンスレベルＲＲＵモードに対する判断と同様に、モード決定ブロック２３０は、フレームレベルＲＲＵモードを、例えば、シーケンスのフレームの様々な測定基準に基づいて、有効にするかどうかを判断し得る。ステップ３３０で、モード決定ブロック２３０が、フレームレベルＲＲＵモードが有効にされているかどうかを判断し得、フレームレベルＲＲＵモードが無効な場合、ステップ３３５で、フレームがフル解像度で符号化され得る。ステップ３４０で、シーケンス内に符号化されていないフレームが残っている場合、ステップ３４０で、フレームレベルＲＲＵモードが有効にされるべきかを判断するために、次のフレームがモード決定ブロック２３０によって解析され得る。

フレームレベルＲＲＵモードがフレームに対して有効な場合、ステップ３４５で、フレームの、マクロブロックまたはマクロブロックのグループなどの領域が識別され得る。一実施形態では、領域は、モード決定ブロック２３０によって識別され得る。ステップ３５０で、マクロブロックの任意の成分がダウンサンプリングされるべきかどうかを判断し、そうである場合は、どの方法で行われるべきかを判断するために、第１のマクロブロックが、例えば、モード決定ブロック２３０によって解析され得る。以下で説明するように、この判断は、成分のそれぞれのタイプ、マクロブロックのエッジに対する近接度、コード性能（例えば、速度歪みコスト）検査、時空間解析、またはそれらの組合せに基づき得る。一例として、エッジを有するマクロブロックに応答して、モード決定ブロック２３０は、第１のＲＲＵ符号化モード（例えば、４：２：０へのダウンサンプリング）で解析されたマクロブロックのクロミナンス成分の１つまたは複数に対応する信号、および第２のＲＲＵ符号化モード（例えば、ダウンサンプリングなし）で解析されたマクロブロックの輝度成分に対応する信号を提供し得る。

この方法で提供された信号は、１つまたは複数のＲＲＵ符号化モードを含む構文要素であり得、任意の構文レベルでさらに適用され得る。例えば、信号は、シーケンスの成分がＲＲＵ符号化モードに従ってダウンサンプリングされることを示すＲＲＵ符号化モードを含み得るか、またはマクロブロックの成分がＲＲＵ符号化モードに従ってフル解像度で符号化されることを示し得る。モード決定ブロック２３０により信号通知の結果として任意のダウンサンプリングが採用されると、各成分に対する残差（例えば、ダウンサンプリングされたか、またはフル解像度）が、例えば、エントロピー符号器２０８によって符号化されて、ビットストリーム内に提供され得る。前述のように、信号は、ビットストリーム内でも符号化され得、いくつかの実施形態では、特定の構文レベルに対応する信号だけがビットストリーム内で符号化され得る。信号は、各残差が動的に切り替え得る解像度をさらに含み得る。いくつかの実施形態では、信号は、ダウンサンプリングされた残差に対してのみ提供され得、かつ／またはフル解像度で符号化された残差に対して提供され得る。さらに、いくつかの実施形態では、信号は、複数の成分に対応し得る。例えば、少なくとも１つの実施形態では、複数の成分が、単一の信号および／またはＲＲＵ符号化モードを使用してダウンサンプリングされ得る。ステップ３５５で、現在のフレーム内にマクロブロックが残っている場合、ステップ３５０で、次のマクロブロックが検討され得る。

いくつかの実施形態では、信号通知は、例えば、１つまたは複数の構文要素を符号化規格に導入することにより、明示的であり得るか、または、例えば、信号を、ＨＥＶＣまたはＨ．２６４などの、既知の符号化規格に既に存在している構文要素に関連付けることにより暗黙的であり得る。表１は、例えば、本発明の少なくとも１つの実施形態で使用するためのパラメータを含み得る。特に、ＨＥＶＣなどの符号化規格では、ＲＲＵのシーケンスレベルサポートを提供する新しいパラメータ（例えば、ｒｒｕ＿ｃｏｄｉｎｇ＿ｍｏｄｅ）およびＲＲＵタイプ指定（例えば、ＲＲＵクロミナンスなしのみ、全成分、補間フィルタなど）が、様々なレベルで信号通知するために使用され得る。表１は、シーケンスレベルＲＲＵ処理に対応するパラメータ例を示す。

表２は、本明細書に記載する発明の少なくとも１つの実施形態で使用するための符号化フラグを含む。符号化フラグは、例えば、スライスレベルでのオーバーヘッドを削減するために使用され得る。「ｒｒｕ＿ｃｏｄｉｎｇ＿ｆｌａｇ」が設定されない場合には、例えば、通常の符号化が使用され得る。そうでなければ、ＲＲＵモードを示すために、１つまたは複数のレベルで追加の情報が要求され得る。

表３は、本明細書に記載する発明の少なくとも１つの実施形態で使用され得るＲＲＵタイプの例を含む。一例として、ＲＲＵタイプの表は、ＲＲＵタイプをインデックスの参照リストと関連付けるためにスライスレベルで使用され得る。

表４は、本発明の実施形態に従った符号化表構文例を示す。示すように、一実施形態では、３つのモード：ＲＲＵオフ、全色成分に対するＲＲＵ、およびクロミナンス成分のみに対するＲＲＵがサポートされ得る。さらに、１つまたは複数の補間回路が信号通知され得る。

少なくとも１つの実施形態では、信号は、参照ピクチャインデックス指標を含み得る。Ｈ．２６４では、参照ピクチャインデックスは、コーデックが、以前に復号されている可能性のある複数のピクチャを参照することを可能にし得るが、重み付けおよび照度変更パラメータなどの、これらの参照に関連付けられ得る他の情報にアクセスするためにも使用され得る。このようにして、少なくとも１つの実施形態では、ピクチャリスト並べ換え／修正命令が、異なる参照インデックスに同じ実際の参照ピクチャを複数回、しかし、その都度異なる重み付けパラメータで、割り当てるために使用され得る。本明細書に記載する例では、ＲＲＵ符号化モードおよび／またはダウンサンプリングのタイプ／方法が、異なるＲＲＵパラメータを有する異なる参照インデックスを使用して示され得る。一例として、いくつかの領域（例えば、エッジ近くのエリア）がＲＲＵ符号化モードに従ってダウンサンプリングされず、残りの領域がクロミナンス成分に対してのみ１つまたは複数のＲＲＵ符号化モードに従ってダウンサンプリングされることは、望ましくあり得る。加えて、各１つが、それぞれのダウンサンプリング方法論に割り当てられるのではなく、同じ参照をポイントする、３つの参照インデックスを割り当てることが望ましくあり得る。信号が提供され得、重み付きの予測情報が割り当てられる方法に類似した方法で参照インデックスが割り当てられる。

それに応じて、符号器２００は、ビデオ信号の１つまたは複数の成分がＲＲＵ符号化モードに従ってダウンサンプリングされるべきかどうかを判断するために、シーケンス、フレーム、および／またはマクロブロックレベルでビデオ信号を解析するためにプロセス３００を実装し得る。他の実施形態では、ビデオ信号の他の構文レベルが使用され得る。すなわち、プロセス３００は、ブロックのグループ、マクロブロック、スライス、フレーム、ピクチャ、シーケンスおよび／またはピクチャのグループ（ＧＯＰ）を解析し得る。

図３のステップ３５０に関して、ビデオ信号の１つまたは複数の成分をダウンサンプリングするかどうかを判断するために、１つまたは複数の方法論が使用され得る。成分がダウンサンプリングされるかどうかは、例えば、速度歪みコストまたは時空間解析に基づき得る。歪みコストは、平方差の合計、絶対誤差の合計、および／または構造類似性指標（ＳＳＩＭ）、または他の客観的計測値を使用して測定され得、速度コストは、例えば、動きベクトルおよび各予定される符号化モードに対する他の符号化要素コストに基づき、予測されたビットレートまたは実際のビットレートを使用して測定され得る。

図４は、本発明の実施形態による領域の解析および符号化のためのプロセス４００の流れ図である。プロセス４００は、図３のステップ３５０を実装するために使用され得る。本明細書に記載するプロセス４００は、ビデオ信号のマクロブロックに関して記述されているが、当業者によって、プロセス４００はビデオ信号の任意の構文レベルで適用され得ることが理解されるであろう。

ステップ４０５で、時空間解析が、例えば、モード決定ブロック２３０によってマクロブロックについて実行され得る。この解析は、例えば、テクスチャ、動き、残差特性、ＡＣ係数、１つもしくは複数の事前定義された条件（例えば、画像内での相対位置）、またはそれらの組合せに基づき得る。解析に基づき、ステップ４１０で、予備のＲＲＵ符号化決定がマクロブロックに対して判断され得る。すなわち、１つまたは複数の符号化規格に従って、マクロブロックの任意の成分がダウンサンプリングされるべきかどうか、およびそうである場合は、その方法が判断され得る。加えて、マクロブロックは、例えば、複数のブロックに分割され得る。

ステップ４１５で、マクロブロックの第１のブロックが、予備ＲＲＵ決定に従い、例えば、ダウンサンプラ２６０によって符号化され得る。ステップ４２０で、符号化ブロックが１つまたは複数の特定の基準を満足するかどうかが判断され得る。例えば、符号化ブロックが、特定の閾値を満足するビットレートを有するかどうかが判断され得る。ステップ４２５で、符号化ブロックが基準を満足する場合、ブロックは、例えば、エントロピー符号器２０８によって符号化されて、符号化ビットストリーム内に提供され得る。ブロックに対応する信号も、符号化ビットストリーム内に提供され得る。

ステップ４２５で、符号化ブロックが特定の基準を満足しない場合、ステップ４３５で、ブロックを符号化するためにフォールバックＲＲＵ符号化決定が使用され得、基準を最も良く満足するＲＲＵ決定が現在のブロックに対して選択され得る。少なくとも１つの実施形態では、フォールバックＲＲＵ符号化決定は、ブロックの解像度を、予備ＲＲＵ符号化決定の解像度よりも低い解像度に下げることを含み得る。ブロックの解像度を予備ＲＲＵ符号化決定の解像度よりも高い解像度に上げるＲＲＵ符号化決定などの、他のＲＲＵ符号化決定も使用され得る。マクロブロックの各ブロックが検討されるまで、残りのブロックが、ステップ４１５、４２０、４２５、および４３０を使用して反復して符号化され得る。

図５は、本発明の実施形態に従って、異なるＲＲＵ符号化モードをフレームに割り当てる例の概略図５００である。フレーム５０２は、例えば、全ての成分がフル解像度で符号化されるＲＲＵ符号化モードに対応し得る。フレーム５０４は、青のクロミナンス差成分および赤のクロミナンス差成分が低解像度で符号化されるＲＲＵ符号化モードに対応し得る。フレーム５０６は、全ての成分が低解像度で符号化されるＲＲＵ符号化モードに対応し得る。

図６は、本発明の実施形態に従って、様々なＲＲＵ符号化モードで符号化されたマクロブロック６００のブロック図である。マクロブロック６００は、３つのエリア６０１、６０２、６０３のうちの１つに対応する複数のブロックを含み得る。エリア６０１に対応するブロックは、青のクロミナンス差成分および赤のクロミナンス差成分が低解像度で符号化されている（例えば、ダウンサンプリングされている）ＲＲＵ符号化モードに対応する。エリア６０２に対応するブロックは、全ての成分が低解像度で符号化されているＲＲＵ符号化モードに対応する。エリア６０３に対応するブロックは、どの成分も低解像度で符号化されていないＲＲＵ符号化モードに対応する。他の例では、異なるブロックが、それぞれの成分に対して任意の組合せの低解像度を使用し得る。

図７ａは、本発明の実施形態による、ブロック境界に対するアップサンプリング方式７００の概略図である。図のように、アップサンプリング方式７００は、アップサンプル画素７０１の各々に対して、それぞれの値を計算するために、ダウンサンプル画素７０２を使用し得る。さらに、アップサンプル画素７０１の各々は、画素７０１に対する値がそれによってアップサンプリングプロセス中に計算され得る、それぞれの計算式に対応し得る。例えば、画素７０１ｂは、画素の値がｂ＝（３×Ａ＋Ｂ＋２）／４によって決定され得る、計算式に対応し、式中、ＡおよびＢは、ダウンサンプル画素７０２ａおよび７０２ｂのそれぞれの値に対応する。アップサンプリングのための他の画素値定式化が他の例で使用され得る。

図７ｂは、本発明の実施形態による、内側位置に対するアップサンプリング方式７５０の概略図７５０である。図のように、アップサンプリング方式７５０は、アップサンプル画素７５１の各々に対する値を計算するために、ダウンサンプル画素７５２を使用する。図７ａの画素７０１と同様に、アップサンプル画素７５１の各々に対する値が、ダウンサンプリングされた画素７５２の値を使用してそれぞれの計算式で決定され得る。

図８は、本発明の実施形態による復号器８００の概略図である。復号器８００は、１つまたは複数の論理回路、制御論理、論理ゲート、プロセッサ、メモリ、および／または同じもの任意の組合せもしくは部分的組合せを含み得、現在または将来において当技術分野で周知の１つまたは複数の復号技術を使用して、ビデオ信号の復号および／または圧縮を行い得る。復号器８００は、例えば、図１の符号器１００などの符号器によって提供されたビットストリーム（例えば、符号化ビットストリーム）を復号し得る。復号器８００は、テレビ、放送システム、モバイル機器、ならびにラップトップおよびデスクトップの両方のコンピュータを含むが、それらに制限されず、ビデオ符号化を採用する様々な装置のいずれかで実装され得る。復号器８００は、さらに、Ｈ．２６４符号化規格に一部または完全に準拠し得、いくつかの実施形態では、追加または代替として、Ｈ．２６３およびＨＥＶＣ符号化規格などの、当技術分野で周知の１つまたは複数の他の符号化規格に一部または完全に準拠し得る。

復号器８００は、図２の符号器２００に関して以前に記述されている要素を含む。これらの要素は、図２で使用された同じ参照番号を使用して図８内で識別されており、共通要素の動作は、前述のとおりである。それ故、これらの要素の動作の詳細な記述は簡略にするために繰り返されない。

復号器８００は、符号化ビットストリームを復号し得るエントロピー復号器８０８を含み得る。符号化ビットストリームの復号後、結果として生じる量子化された係数ブロックは、前述のように、逆量子化されて、逆変換され得、各回復された残差は、アップサンプラ２６２に、または加算器２１４に提供され得る。少なくとも１つの実施形態では、エントロピー復号器８０８は、残差がアップサンプラ２６２に提供され得るか、または加算器２１４に提供され得るかを判断し得る。エントロピー復号器８０８は、この判断を、例えば、符号化ビットストリーム内に含まれるシグナル機構および／または他のデータに基づいて行い得る。それに応じて、復元されたビデオ信号を提供するために、ダウンサンプリングされた残差がアップサンプリングされ、かつ／または加算器２１４に提供され得る。

図９は、本発明の実施形態によるメディア配信システムの概略図である。メディア配信システム９００は、メディアソース９０２を様々なメディア出力（複数可）９０４の１つまたは複数に配信するための機構を提供し得る。図９では、１つだけのメディアソース９０２およびメディア出力９０４が示されているが、任意の数が使用され得、本発明の例は、メディアコンテンツを任意の数のメディア出力にブロードキャストおよび／または他の方法で配信するために使用され得ることを理解されたい。

メディアソースデータ９０２は、ビデオ、音声、データ、またはそれらの組合せを含むが、それらに限定されず、メディアコンテンツの任意のソースであり得る。メディアソースデータ９０２は、例えば、カメラ、マイクロホン、および／もしくは他の捕捉装置を使用して捕捉され得るか、または処理装置によって生成もしくは提供され得る音声および／またはビデオデータであり得る。メディアソースデータ９０２は、アナログまたはデジタルであり得る。メディアソースデータ９０２がアナログデータである場合、メディアソースデータ９０２は、例えば、アナログ／デジタル変換器（ＡＤＣ）を使用して、デジタルデータに変換され得る。通常、メディアソースデータ９０２を伝送するために、あるタイプの圧縮および／または暗号化が望ましくあり得る。それに応じて、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４、ＨＥＶＣ、またはこれらもしくは他の符号化規格の組合せなどであるがそれらに限定されない、符号化規格に従った符号化方法を含む、現在または将来において当技術分野で周知の任意の符号化方法を使用して、メディアソースデータ９０２を符号化し得る、符号器９１０が提供され得る。符号器９１０は、本明細書に記載された本発明の実施形態で実装され得る。例えば、符号器９１０は、図１の符号器１００および／または図２の符号器２００で実装され得る。

符号化データ９１２は、人工衛星９１４、アンテナ９１６、および／またはネットワーク９１８などの、通信リンクに提供され得る。ネットワーク９１８は、有線または無線であり得、電気的および／または光学的伝送を使用してさらに通信し得る。アンテナ９１６は、地上波アンテナであり得、例えば、従来のＡＭおよびＦＭ信号、衛星信号、または当技術分野で周知の他の信号を受信および送信し得る。通信リンクは、符号化データ９１２をブロードキャストし得、いくつかの例では、符号化データ９１２を変更し、（例えば、符号化データ９１２の再符号化、符号化データ９１２に対する加算または減算によって）その変更された符号化データ９１２をブロードキャストし得る。通信リンクから提供された符号化データ９２０は、図８の復号器８００などの復号器を含み得るか、またはそれに結合され得る受信器９２２によって受信され得る。復号器は、１つまたは複数のメディア出力を、図９に示すメディア出力９０４で提供するために、符号化データ９２０を復号し得る。

受信器９２２は、モデム、ルーター、サーバー、セットトップボックス、ラップトップ、デスクトップ、コンピュータ、タブレット、携帯電話などを含むがそれらに限定されない、任意の数の装置内に含まれ得るか、またはそれらの装置と通信し得る。

図９のメディア配信システム９００および／または符号器９１０は、コンテンツ配信業界の様々なセグメントで利用され得る。

図１０は、本明細書に記載する符号器を利用し得るビデオ配信システム１０００の概略図である。ビデオ配信システム１０００は、ビデオ配信者（ｖｉｄｅｏ ｃｏｎｔｒｉｂｕｔｅｒ）１００５を含む。ビデオ配信者１００５は、デジタル衛星ニュース収集システム１００６、イベントブロードキャスト１００７、およびリモートスタジオ１００８を含み得るが、それらに限定されない。これらビデオ配信者１００５の各々またはいずれかは、メディアソースデータを符号化して、符号化データを通信リンクに提供するために、図９の符号器９１０などの、本明細書に記載の符号器を利用し得る。デジタル衛星ニュース収集システム１００６は、符号化データを人工衛星１００２に提供し得る。イベントブロードキャスト１００７は、符号化データをアンテナ１００１に提供し得る。リモートスタジオ１００８は、符号化データをネットワーク１００３を経由して提供し得る。

製作セグメント１０１０は、コンテンツ発信者（ｃｏｎｔｅｎｔ ｏｒｉｇｉｎａｔｏｒ）１０１２を含み得る。コンテンツ発信者１０１２は、符号化データをビデオ配信者１００５のいずれかまたは組合せから受信し得る。コンテンツ発信者１０１２は、受信したコンテンツを利用可能にし得、受信したコンテンツのいずれかを編集、結合、および／または操作して、そのコンテンツを利用可能にし得る。コンテンツ発信者１０１２は、符号化データを人工衛星１０１４（または別の通信リンク）に提供するために、図１の符号器１００または図２の符号器２００などの、本明細書に記載の符号器を利用し得る。コンテンツ発信者１０１２は、ネットワークまたは他の通信リンクを経由して、符号化データを地上デジタルテレビ放送システム１０１６に提供し得る。いくつかの例では、コンテンツ発信者１０１２は、配信者（複数可）１００５から受信したコンテンツを復号するために、図８に関連して記述された復号器８００などの、復号器を利用し得る。コンテンツ発信者１０１２は、次いで、データを再符号化し、符号化されたデータを人工衛星１０１４に提供し得る。他の例では、コンテンツ発信者１０１２は、受信したデータを復号しない可能性があり、受信したデータの符号化フォーマットを変更するために、トランスコーダを利用し得る。

一次配信セグメント１０２０は、デジタル放送システム１０２１、地上デジタルテレビ放送システム１０１６、および／またはケーブルシステム１０２３を含み得る。デジタル放送システム１０２１は、符号化データを人工衛星１０１４から受信するため、図９に関連して記述された受信器９２２などの、受信器を含み得る。地上デジタルテレビ放送システム１０１６は、符号化データをコンテンツ発信者１０１２から受信するため、図９に関連して記述した受信器９２２などの、受信器を含み得る。ケーブルシステム１０２３は、それ自身のコンテンツをホストし得、それは、製作セグメント１０１０および／または配信者セグメント１００５から受信していることもあれば、受信していないこともあり得る。例えば、ケーブルシステム１０２３は、それ自身のメディアソースデータ９０２を、図９に関連して記述されたように提供し得る。

デジタル放送システム１０２１は、符号化データを人工衛星１０２５に提供するために、図９に関連して記述された符号器９１０などの、符号器を含み得る。ケーブルシステム１０２３は、ネットワークまたは他の通信リンクを経由して、符号化データをケーブルローカルヘッドエンド１０３２に提供するために、図１の符号器１００または図２の符号器２００などの符号器を含み得る。二次配信セグメント１０３０は、例えば、人工衛星１０２５および／またはケーブルローカルヘッドエンド１０３２を含み得る。

ケーブルローカルヘッドエンド１０３２は、ネットワークまたは他の通信リンクを経由して、符号化データをクライアントセグメント９４０内のクライアントに提供するために、図１の符号器１００または図２の符号器２００などの符号器を含み得る。人工衛星１０２５は、信号をクライアントセグメント１０４０内のクライアントにブロードキャストし得る。クライアントセグメント１０４０は、コンテンツを復号し、最終的にコンテンツをユーザーに対して利用可能にするため、図９に関連して記述された受信器９２２および関連した復号器などの、受信器を含み得る、任意の数の装置を含み得る。クライアントセグメント１０４０は、セットトップボックス、タブレット、コンピュータ、サーバー、ラップトップ、デスクトップ、携帯電話などの装置を含み得る。

それに応じて、符号化および／または復号が、ビデオ配信システム内のいくつかのポイントのいずれでも利用され得る。本発明の実施形態は、これらのセグメントのいずれか、またはいくつかの例全部内で利用法を見つけ得る。

前述から、本明細書では、本発明の特定の実施形態が説明のために記述されているが、様々な修正が、本発明の精神および範囲から逸脱することなく、行われ得ることが理解されるであろう。その結果、本発明は、添付の請求項による場合を除いて、制限されない。

Claims (24)

1. ビデオ信号を受信し、前記ビデオ信号の第１および第２の成分のそれぞれのタイプの少なくとも一部に基づいて、第１のＲＲＵ符号化モードに従ってダウンサンプリングされる前記ビデオ信号の第１の成分、および第２のＲＲＵ符号化モードに従ってダウンサンプリングされる前記ビデオ信号の第２の成分を選択的にダウンサンプリングするように構成された符号器、
   を備える機器。
2. 前記符号器が、シーケンスレベル、フレームレベル、マクロブロックレベル、またはそれらの任意の組合せで、前記第１および第２の成分を選択的にダウンサンプリングするようにさらに構成されている、
   請求項１に記載の機器。
3. 前記符号器が、フル解像度基準を使用して動き予測を実行するようにさらに構成されている、
   請求項１に記載の機器。
4. 前記符号器が、前記ビデオ信号の前記第１の成分の時空間解析の少なくとも一部に基づいて、前記ビデオ信号の前記第１の成分を選択的にダウンサンプリングするようにさらに構成されている、
   請求項１に記載の機器。
5. 符号化ビットストリームを受信し、前記符号化ビットストリームの少なくとも一部に基づいて、回復された残差を提供するように構成された復号器であって、前記復号器が、前記符号化ビットストリームの１つまたは複数のシグナル機構の少なくとも一部に基づいて、復元されたビデオ信号を提供するために、第１のＲＲＵモードに従ってアップサンプリングされる前記回復された残差の第１の成分、および第２のＲＲＵモードに従ってアップサンプリングされる前記回復された残差の第２の成分を選択的にアップサンプリングするように構成された復号器、
   を備える機器。
6. 前記復号器が、シーケンスレベル、フレームレベル、マクロブロックレベル、またはそれらの任意の組合せで、前記第１および第２の成分を選択的にアップサンプリングするようにさらに構成されている、
   請求項５に記載の機器。
7. 前記第１および第２の成分が、各々、赤のクロミナンス差成分、青のクロミナンス差成分、輝度成分、またはそれらの組合せを含む、
   請求項５に記載の機器。
8. ビデオ信号を受信し、前記ビデオ信号の成分に対応しＲＲＵ符号化モードを含む信号を前記ビデオ信号内に提供するように構成されたモード決定ブロックと、
   前記モード決定ブロックに結合され、前記信号を受信するように構成されたエントロピー符号器であって、前記成分および前記信号の少なくとも一部に基づいて、符号化ビットストリームを提供するように構成されているエントロピー符号器と、
   を備える符号器。
9. 前記モード決定ブロックに結合され、前記ＲＲＵ符号化モードに従って前記ビデオ信号の前記成分をダウンサンプリングするように構成されたダウンサンプラをさらに備える、
   請求項８に記載の符号器。
10. 前記ダウンサンプラが、アップサンプリング方式の少なくとも一部に基づいて、前記残差をダウンサンプリングするようにさらに構成されている、
    請求項９に記載の符号器。
11. 前記成分は輝度成分を含み、
    前記ＲＲＵ符号化モードはフル解像度に対応する、
    請求項８に記載の符号器。
12. ビデオ信号を受信するステップと、
    ＲＲＵモードで動作中に前記ビデオ信号を解析するステップと、
    前記ビデオ信号の解析後に、前記ビデオ信号の前記成分のタイプの少なくとも一部に基づいて、前記ビデオ信号の成分を選択的にダウンサンプリングするステップと、
    を含む符号化の方法。
13. 前記ＲＲＵモードで動作中に前記ビデオ信号を解析するステップが、複数の領域の各々について時空間解析を実行するステップを含む、
    請求項１２に記載の方法。
14. 前記成分が、赤のクロミナンス差成分、青のクロミナンス差成分、輝度成分、またはそれらの組合せを含む、
    請求項１２に記載の方法。
15. 前記ビデオ信号の成分を選択的にダウンサンプリングするステップが、
    前記ビデオ信号の第１の成分を第１のＲＲＵ符号化モードに従って選択的にダウンサンプリングするステップと、
    前記ビデオ信号の第２の成分を第２のＲＲＵ符号化モードに従って選択的にダウンサンプリングするステップと、
    を含む、請求項１２に記載の方法。
16. 前記ビデオ信号の成分を前記選択的にダウンサンプリングするステップが、前記成分を、規範的アップサンプリング方式の少なくとも一部に基づいて、ダウンサンプリングするステップ、
    を含む、請求項１２に記載の方法。
17. ＲＲＵタイプを示すシグナル機構を含む符号化ビットストリームを復号器で受信するステップと、
    前記符号化ビットストリームの少なくとも一部に基づいて、残差を生成するステップと、
    前記シグナル機構の少なくとも一部に基づいて、前記残差の成分を選択的にアップサンプリングするステップと、
    を含む、方法。
18. 前記残差の成分を選択的にアップサンプリングするステップが、
    シーケンスレベル、フレームレベル、マクロブロックレベル、またはそれらの任意の組合せで、前記成分を選択的にアップサンプリングするステップ、
    を含む、請求項１７に記載の方法。
19. シーケンスレベル低解像度アップデートモードが有効かどうかを判断するために、シーケンスを解析するステップと、
    前記シーケンスレベル低解像度アップデートモードが有効な場合に、フレームレベル低解像度アップデートモードが有効かどうかを判断するために、前記シーケンスのフレームを解析するステップと、
    前記フレームレベル低解像度アップデートモードが有効な場合に、前記成分のタイプの少なくとも一部に基づいて、マクロブロックの成分をダウンサンプリングするかどうかを判断するために、前記フレームのマクロブロックを解析するステップと、
    を含む、方法。
20. マクロブロックの解析後に、前記マクロブロックの前記成分に対応するＲＲＵ符号化モードを提供するステップ、
    をさらに含む、請求項１９に記載の方法。
21. 前記シーケンスレベル低解像度アップデートモードが有効でない場合に、前記シーケンスをフル解像度で符号化するステップと、
    前記フレームレベル低解像度アップデートモードが有効でない場合に、前記フレームをフル解像度で符号化するステップと、
    をさらに含む、請求項１９に記載の方法。
22. マクロブロックについて時空間解析を実行するステップと、
    時空間解析の少なくとも一部に基づいて、予備低解像度アップデート符号化決定を生成するステップと、
    前記予備低解像度アップデート符号化決定を使用して前記マクロブロックのブロックを符号化するステップと、
    前記符号化されたブロックが基準を満足するかどうかを判断するステップと、
    前記符号化されたブロックが前記基準を満足しない場合に、フォールバック低解像度アップデート決定を使用して前記ブロックを符号化するステップと、
    を含む、方法。
23. 前記予備低解像度アップデート符号化決定を使用して前記マクロブロックのブロックを前記符号化するステップが、前記ブロックを第１の解像度で符号化するステップを含み、
    前記符号化されたブロックが前記基準を満足しない場合に、フォールバック低解像度アップデート決定を使用して前記ブロックを符号化するステップが、前記ブロックを第２の解像度で符号化するステップであって、前記第２の解像度が前記第１の解像度よりも低い、前記ブロックを第２の解像度で符号化するステップ、
    を含む、請求項２２に記載の方法。
24. 予備低解像度アップデート決定を生成する前に、前記マクロブロックをブロックに分割するステップ、
    をさらに含む、請求項２２に記載の方法。