JP2015530832A - 構文要素のレート歪みを最適化するための装置および方法 - Google Patents

Abstract

構文要素のレート歪みを最適化するための方法および装置が本明細書に開示される。最適化ブロックは、ビデオ符号器で用いられ得、候補生成ブロックおよび最良費用ブロックを含み得る。最適化ブロックは、それぞれの差動水準に対応する複数の候補を生成するように構成され得る。複数の候補の各々は、ＤＣ係数に少なくとも部分的に基づき得、それぞれのレート歪み費用を提供し得る。最良費用ブロックは、候補生成ブロックに結合され得、複数の候補から一候補を基準に従って選択するように構成され得る。

Description

本発明の実施形態は、概して、ビデオ符号化に関し、より具体的には、構文要素のレート歪み最適化に関する。

ビデオ信号または他の媒体信号は、テレビ、放送システム、携帯機器、およびラップトップとデスクトップとの双方のコンピュータを含む様々なデバイスによって用いられ得る。典型的には、デバイスは、多くの場合、信号を符号化された形態から復号化した後にビデオ信号または他の媒体信号の受信に応答してビデオを表示し得る。デバイス間で提供されるビデオ信号は、多くの場合、様々な符号化および／または圧縮の技法のうちの１つ以上を用いて符号化され、ビデオ信号は、典型的には、ＭＰＥＧ−２、ＭＰＥＧ−４、およびＨ．２６４／ＭＰＥＧ−４のパート１０などの特定の規格に従って復号化されるような様式で符号化される。ビデオ信号または他の媒体信号を符号化して、次に、受信された信号を復号化することによって、デバイス間で伝達する必要のあるデータの量がかなり削減させ得る。

ビデオ符号化は、典型的には、マクロブロックと呼ばれる１６×１６画素ブロックまたは他の単位のビデオデータを符号化することによって実施される。予測符号化が、予測ブロックおよび残留ブロックを生成するために用いられ得るが、ここで残留ブロックは、予測ブロックと符号化されているブロックとの間の差を表す。予測符号化は、ビデオ信号中の冗長データを除去し、それにより、送出または記憶される必要のあるデータの削減をさらに増進させるために、空間的および／または時間的予測を含み得る。例えば、イントラ符号化は、空間的予測と、フレームまたはスライス中のブロック間での空間的冗長量の減少を対象とする。その一方で、インター符号化は、時間的予測と、連続するフレームまたはスライス内のブロック間の時間的冗長性の量を削減することとを対象とする。インター符号化は、連続するフレームまたはスライスの対応するブロック間での運動を追跡しようとする運動予測を利用し得る。

一般的に、係数および運動ベクトルなどの構文要素は、様々な符号化技法のうちの１つ（例えば、エントロピー符号化）を用いて符号化し、次いで、符号化デバイスと復号化デバイスとの間で伝送され得る。くわえて、いくつかの方式が、構文要素を最適化することをさらに試行し得る。すなわち、多くのビデオ符号化方法が、達成可能なデータレートと復号化された信号中に存在する歪みの量との間での何らかの形態のトレードオフを利用し得る。最も知られている方法は、しかしながら、特定の構文要素しか最適化することが可能である、または、すなわち、リアルタイムの実装に用いることは不可能である。結果として、またとくにより複雑な符号化アルゴリズムの場合、リアルタイムでの構文要素の最適化は、難問を提示している。

概要
構文要素のレート歪みを最適化するための例としての方法、装置、符号器、および最適化ブロックが本明細書に開示される。例としての最適化ブロックは、ビデオ符号器中で用いられ得、候補生成ブロックおよび最良費用ブロックを含み得る。候補生成ブロックは、それぞれの差動水準に対応する複数の候補を生成するように構成され得る。複数の候補の各々は、ＤＣ係数に少なくとも部分的に基づき得、それぞれのレート歪み費用を提供し得る。最良費用ブロックは、候補生成ブロックに結合され得、複数の候補から基準に対応する候補を選択するように構成し得る。

例としての符号器は、ＤＣ係数を受信し、ＤＣ係数に少なくとも部分的に基づいて複数の候補を生成するように構成されるＤＣ最適化ブロックを含み得る。ＤＣ最適化ブロックは、複数の候補から基準に対応する候補を選択するようにさらに構成され得る。例としての符号器は、複数のＡＣ係数を受信し、この複数のＡＣ係数を量子化するように構成されるＡＣ量子化ブロックをさらに含み得る。この複数の候補の各々は、それぞれの差動水準に対応し得る。

係数を最適化する方法を含む例としての方法を、本明細書中に開示する。この例としての方法は、差動符号化された構成要素を受信することと、この差動符号化された構成要素に少なくとも部分的に基づいてこの複数の候補を生成することとを含み得る。この複数の候補の各々は、それぞれの差分水準を有し得る。この例としての方法は、複数の候補の各々に対するそれぞれのＲＤスコアを生成することと、この複数の候補から基準に対応する１つを選択することとをさらに含み得る。

候補を生成する方法を含む例としての方法も、本明細書中に開示する。この例としての方法は、差動符号化された構文要素の差を受信することと、この差動符号化された構文要素の差のビット長を決定することとを含み得る。この例としての方法は、この差動符号化された構文要素の差のビット長に少なくとも部分的に基づいて複数の候補を生成することをさらに含み得る。この例としての方法は、複数の候補に対するそれぞれの複数のレート歪み費用を生成することと、このそれぞれの複数のレート歪み費用に少なくとも部分的に基づいて複数の候補から１つを選択することとをさらに含み得る。

本発明の実施形態に従う符号器のブロック図である。 本発明の実施形態に従う符号器の略ブロック図である。 本発明の実施形態に従う最適化ブロックの略ブロック図である。 本発明の実施形態に従う候補差を生成するための方法のフローチャートである。 本発明の実施形態に従う媒体送達システムの略図である。 本明細書に説明する符号器を利用し得るビデオ分配システムの略図である。

構文要素のレート歪みトレードオフを最適化するための方法および装置を、本明細書中に説明する。レート歪みトレードオフは、例えば、１つ以上の符号化規格にしたがって構文要素に対して最適化され得るおよび／またはこれらの構文要素に対して複数の生成された候補に基づいて最適化され得る。ある詳細を、本発明の実施形態の十分な理解を提供するために以下に記載する。しかしながら、本発明の実施形態が、これらの特定的な詳細なしで、またはさらなるもしくは異なる詳細を以って実行され得ることが当業者にとっては明瞭であろう。そのうえ、本明細書に説明する本発明の特定の実施形態は、例として提供され、したがって、本発明の範囲をこれらの特定的な実施形態に制限するために用いられるべきではない。他の例では、周知のビデオコンポーネント、符号器もしくは復号器のコンポーネント、回路、制御信号、タイミングプロトコル、およびソフトウエア動作は、本発明を不必要に曖昧化することを避けるために詳細には示していない。

図１は、本発明の実施形態に従う符号器１００のブロック図である。符号器１００は、１つ以上の論理回路、制御論理、論理ゲート、プロセッサ、メモリ、および／またはこれらのなんらかの組み合わせもしくはサブ組み合わせを含み得、例を以下にさらに説明する１つ以上の符号化技法を用いてビデオ信号を符号化および／または圧縮するように構成され得る。符号器１００は、例えば、可変ビットレート信号および／または一定ビットレート信号を符号化するように構成され得、一般に、レートには依存しない様式で生成され得るビットストリームを出力するように固定レートで動作し得る。符号器１００は、これには限られないが、テレビ、放送システム、携帯デバイス、およびラップトップとデスクトップとの双方のコンピュータを含むビデオ符号化を用いる様々なデバイスのうちの任意のものに実装され得る。少なくとも１つの実施形態では、符号器１００は、可変長符号化用符号器（例えば、Ｈｕｆｆｍａｎ符号器もしくはＣＡＶＬＣ符号器）などのエントロピー符号器を含み得るおよび／または例えばマクロブロック水準でデータを符号化するように構成され得る。各々のマクロブロックは、イントラ符号化モード、インター符号化モード、双方向、または、これらの任意の組み合わせもしくはサブ組み合わせで符号化され得る。

例として、符号器１００は、１つの実施形態ではビデオデータ（例えば、フレーム）を含み得るビデオ信号を受信して、符号化し得る。このビデオ信号は、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４、および／またはＨ．ＨＥＶＣなどの１つ以上の符号化規格に従って符号化されて、符号化されたビットストリームを提供し得るが、これは、次に、データバスおよび／または、復号器またはコード変換器（図示せず）などのデバイスに提供され得る。以下により詳細に説明されるように、ビデオ信号は、構文要素のレート歪みトレードオフが最適化されるように、符号器１００によって符号化され得る。１つの実施形態では、例えば、ＤＣ係数のレート歪みトレードオフは、ビデオ信号の１つ以上の成分（例えば、輝度および／またはクロミナンス成分）に対して最適化され得る。

周知なように、構文要素は、例えば、ビデオ信号の圧縮表示を提供するためにビットストリーム中で用いられ得る記号を含み得る。構文要素は、係数、運動ベクトル、および構文階層の様々な水準（例えば、シーケンス、フレーム、またはブロック）などの１つ以上の符号化規格に従って構文を有するビデオ信号の１つ以上の要素を含み得る。そのうえ、レート歪み最適化とは、十分なレートが許容可能な歪み量と共に保たれる特定のレート歪みトレードオフを選択するように設計されたプロセスのことであり得る。レート歪み費用関数は、典型的には、次式で例示されるように、ラムダ因数λ、すなわちλにレートを乗算して、積を歪みに加算したもので表され得る：

式中、Ｊは、係数などの１つ以上の構文要素に対するレート歪み費用、すなわち「ＲＤスコア」を表す。あるいは、この式は、以下ように表され得る：

一般に、符号化方法は、例えば、所与のビットレートに対するＲＤスコアを最小化することを目的とし得る。ラムダは、符号器１００によって決定され得る、復号器、コード変換器、もしくは論理回路（図示せず）などのデバイスによって提供され得る、またはユーザによって指定され得る。

図２は、本発明の実施形態に従う符号器２００の略ブロック図である。符号器２００は、図１の符号器１００を少なくとも部分的に実装するために用いられ得、ＭＰＥＧ−２符号化規格にさらに準拠し得る。一部の実施形態では、符号器２００は、さらに、またはあるいは、Ｈ．２６４符号化規格などの技術上周知の１つ以上の他の符号化規格に準拠し得る。

符号器２００は、モード判断ブロック２３０、予測ブロック２２０、遅延バッファ２０２、変換２０６、量子化ブロック２５０、エントロピー符号器２０８、逆量子化ブロック２１０、逆変換ブロック２１２、加算器２１４、および符号化ピクチャバッファ２１８を含み得る。モード判断ブロック２３０は、以下に説明するように、入力ベースバンドビデオ信号および復号化ピクチャバッファ信号に少なくとも部分的に基づいて適切な符号化モードを決定するように構成され得るおよび／またはフレームおよび／またはマクロブロックベースで適切な符号化モードを決定し得る。モード判断は、マクロブロックタイプ、イントラモード、インターモード、構文要素（たとえば、運動ベクトル）、および／または量子化パラメータを含み得る。本発明の一部の例では、モード判断ブロック２３０は、以下にさらに説明するように、量子化ブロック２５０によって用いられるラムダを提供し得る。モード判断ブロック２３０はまた、本発明の例に従ってモード判断をする際にラムダを利用し得る。一部の実施形態では、ラムダは、モード判断ブロック２３０および量子化ブロック２５０の全体にわたって共通であり得る。

モード判断ブロック２３０は、ＭＰＥＧ−２符号化規格および／または他の予測方法に従って予測変数を生成するために、予測ブロック２２０によって利用され得る。予測変数は、減算器２０４によって、ビデオ信号の遅延バージョンから減算され得る。ビデオ信号の遅延バージョンを用いることで、モード判断ブロック２３０が動作する時間が提供され得る。減算器２０４の出力は、剰余、例えば、ブロックとブロックの予測との差であり得る。

変換２０６は、離散コサイン変換（ＤＣＴ）などの変換を剰余に実施して、剰余を周波数ドメインに変換するように構成され得る。結果として、変換２０６は、例えば、ビデオ信号中のデータのスペクトル成分に対応し得る係数ブロックを提供し得る。例えば、係数ブロックは、例えば、ブロックの平均値に対応し得る係数ブロックのゼロ周波数成分に対応するＤＣ係数を含み得る。係数ブロックは、係数ブロックのより高い（非ゼロ）周波数部分に対応する複数のＡＣ係数をさらに含み得る。

量子化ブロック２５０は、係数ブロックを受信して、係数ブロックの係数（例えば、ＤＣ係数およびＡＣ係数）を量子化して、量子化された係数ブロックを生成するように構成され得る。量子化ブロック２５０によって提供される量子化は、損失が多くあり得るおよび／またはさらにラムダを利用して、係数ブロックの１つ以上の係数に対してレート歪みトレードオフを調整および／または最適化し得る。ラムダは、モード判断ブロック２３０によって受信され得る、ユーザによって指定され得る、または符号器２００の別の要素によって提供され得る。ラムダは、各々のマクロブロックもしくはいずれかの他の単位に対して調整され得、また、符号器２００によって符号化された情報に基づき得る（例えば、広告を符号化するビデオ信号は、詳細な場面を符号化するビデオ信号よりも一般に大きいラムダまたは小さいラムダの逆関数を利用し得る）。

すると、エントロピー符号器２０８は、量子化された係数ブロックを符号化して、符号化されたビットストリームを提供し得る。エントロピー符号器２０８は、可変長符号化（ＶＬＣ）符号器などの、当業者には周知のまたは将来開発されるいずれかのエントロピー符号器であり得る。量子化された係数ブロックはまた、逆スケーリングされ、逆量子化ブロック２１０によって量子化され得る。逆スケーリングされ、量子化された係数は、逆変換ブロック２１２によって逆変換されて、再構築された剰余を生成するが、これは、加算器２１４で予測変数に加算されて、再構築されたビデオを生成し得る。再構築されたビデオは、将来のフレーム中で用いられるように符号化ピクチャバッファ２１８に提供され、さらに、さらなるマクロブロック中イントラ予測または他のモード判断方法のために、符号化ピクチャバッファ２１８からモード判断ブロック２３０に提供され得る。

少なくとも１つの実施形態では、量子化ブロック２５０は、ＤＣ最適化ブロック２５２およびＡＣ量子化ブロック２５４を含み得る。ＡＣ量子化ブロック２５４は、係数ブロックの１つ以上のＡＣ係数を受信して、現在または将来に技術上周知の任意の数の量子化方法を用いてこのＡＣ係数を量子化するように構成され得る。以下により詳しく説明するように、ＤＣ最適化ブロック２５２は、係数ブロックのＤＣ係数を受信して、ＤＣ係数を最適化するように構成され得る。例として、ＤＣ最適化ブロック２５２は、ＤＣ係数に基づいて複数の候補を生成して、この複数の候補から１つ以上の基準に従って１つを選択して、最適化されたＤＣ係数を提供するように構成され得る。１つの実施形態では、ＤＣ係数を最適化することは、最低のレート歪み費用を有する候補を選択することを含み得る。別の実施形態では、ＤＣ係数を最適化することは、所与のブロック集合に対して最低のレート歪み費用を有するＤＣ係数の集合に対応する候補を選択することを含み得る。この最適化は、ラムダなどのラングラジアン費用関数に少なくとも部分的に基づき得る、または、ラムダの逆数、すなわち逆ラムダに少なくとも部分的に基づき得る。ラムダは、例えば、信号の費用（例えば、レート歪み費用）を決定するためのレート倍率であり得る。そのうえ、ラムダは、ビデオ信号に少なくとも部分的に基づいてモード判断ブロック２３０によって生成され得る、または、リアルタイムで固定化もしくは調整され得る。一部の実施形態では、ラムダは、適応的な様式で（例えば、符号器２００の利用可能なリソース、符号化されたビットストリーム、またはビデオ信号に基づいて）調整され得る。

説明されるように、符号器２００は、ＭＰＥＧ−２ビデオ符号化規格に従って動作し得る。したがって、ＭＰＥＧ−２ビデオ符号化規格は運動予測および／または補償を用いるため、符号器２００は、逆量子化ブロック２１０、逆変換２１２、および再構築加算器２１４を含む帰還ループをさらに含み得る。これらの要素は、符号器２００によって実施される符号化プロセスを少なくとも部分的に逆にするように構成される復号器（図示せず）に含まれる要素をミラーリングし得る。くわえて、符号器の帰還ループは、予測ブロック２２０および復号化ピクチャバッファ２１８を含み得る。

符号器２００の例としての動作では、ビデオ信号（例えば、ベースバンドビデオ信号）は、符号器２００に提供され得る。ビデオ信号は、遅延バッファ２０２およびモード判断ブロック２３０に提供され得る。減算器２０４は、遅延バッファ２０２からビデオ信号を受信して、ビデオ信号から運動予測信号を減算して、剰余信号を生成し得る。剰余信号は、変換２０６に提供され、ＤＣＴなどの順方向変換を用いて処理され得る。説明されるように、変換２０６は、量子化ブロック２５０に提供され得る係数ブロックを生成し得るが、量子化ブロック２５０は、係数ブロックのＤＣ係数を量子化および／または最適化し得る。係数ブロックの量子化は、ラムダまたは逆ラムダに少なくとも部分的に基づき得、量子化された係数は、エントロピー符号器２０８に提供され、それにより、符号化ビットストリームに符号化され得る。

量子化された係数ブロックは、符号器２００の帰還ループにさらに提供され得る。すなわち、量子化された係数ブロックは、それぞれ逆量子化ブロック２１０、逆変換２１２、および再構築加算器２１４で逆量子化され、逆変換され、および加算されて、再構築されたビデオ信号を生成し得る。復号化されたピクチャバッファ２１８は、再構築されたビデオ信号を受信して、バッファされた再構築ビデオ信号を、モード判断ブロック２３０および予測ブロック２２０に提供し得る。再構築されたビデオ信号に少なくとも部分的に基づいて、予測ブロック２２０は、運動予測信号を加算器２０４に提供し得る。

したがって、図２の符号器２００は、符号化されたビットストリームをビデオ信号に基づいて提供し得るが、この場合、符号化されたビットストリームは、本発明の実施形態に従って最適化されたＤＣ係数を部分的に用いて生成される。符号器２００は、半導体技術で動作され、ハードウエア、ソフトウエア、またはこれらの組み合わせで実装され得る。一部の例では、符号器２００は、ソフトウエアに実装され得るモード判断ブロック２３０を例外として、ハードウエアに実装され得る。他の例では、他のブロックもまた、ソフトウエアに実装され得るが、しかしながら、一部の場合、ソフトウエア実装は、リアルタイム動作を達成し得ない。

図３は、本発明の実施形態に従う最適化ブロック３００の略ブロック図である。最適化ブロック３００は、図２のＤＣ最適化ブロック２５２を少なくとも部分的に実装するために用いられ得、例えば、ＭＰＥＧ−２、Ｈ．２６４、およびＨ．ＨＥＶＣ符号化規格のいずれかに準拠し得る。最適化ブロック３００は、半導体技術で実装され得、ハードウエア、ソフトウエア、またはこれらの組み合わせで実装され得る。

説明されるように、最適化ブロック３００は係数ベクトルのＤＣ係数を受信し、このＤＣ係数の複数の候補を生成し得る。一般に、最適化ブロック３００は、ＤＣ係数に対して順方向量子化を実施するように動作し得る。この量子化は、例えば、規範的量子化であり得るおよび／またはＤＣ係数を、整数値（例えば、１、２、４、８など）の値で除算することを含み得る。以前の量子化されたＤＣ係数を、現在の量子化されたＤＣ係数から減算して、ＤＣ係数差を提供し得る。候補はＤＣ係数差に基づいて生成され得るが、各々の候補は、以前に量子化されたＤＣ係数に加算され、逆量子化され、自乗され、および逆ラムダによって乗算されて、各々の候補の歪み費用を提供し得る。各々の歪み費用は、それぞれのレート費用に加算されて、それぞれのＲＤスコアを生成し得る。上述したように、別の実施形態では、各々のＲＤスコアは、それぞれの候補を符号化するレートにラムダを乗算して、そのそれぞれの候補の歪みを加算することによって生成され得る。候補のＲＤスコアに少なくとも部分的に基づいて、候補が選択されて、最適化されたＤＣ係数として最適化ブロック３００から提供され得る。

最適化ブロック３００の例としての動作では、係数ブロックのＤＣ係数は最適化ブロック３００に、とくに、順方向量子化ブロック３０２に提供され得る。周知なように、順方向量子化ブロック３０２は、ＤＣ係数を量子化し、一部の実施形態では、符号化規格（例えば、ＭＰＥＧ−２符号化規格）に従っておよび／または量子化パラメータに基づいてＤＣ係数を量子化し得る。このように、量子化された係数は、１つ以上の量子化方法に従って生成され得る。ＤＣ係数の量子化は、係数を整数値などの値で除算することを含み得るが、この値の大きさが、ＤＣ係数の量子化の精度を決め得る。

量子化されたＤＣ係数は減算器３０４に提供されるが、ここで、以前のＤＣ係数を受信されたＤＣ係数から減算して、係数差を提供し得る。以前のＤＣ係数は、例えば、レジスタ（図３には図示せず）に記憶され得る、または、外部デバイスから受信され得る。係数差に少なくとも部分的に基づいて、候補生成ブロック３５０は、複数の候補を生成し得る。説明するように、この複数の候補は、量子化ブロック３００がどの候補が最適化されたＲＤスコアを有するかを決定し得る際に基づくＤＣ係数差の様々な水準に少なくとも部分的に基づいて生成され得る。任意の数の候補が、最適化ブロック３００によって同時に考慮され得、少なくとも１つの実施形態では、各々の候補は、異なる差動水準に対応し得る。そのうえ、１つの実施形態では、最大で１２の候補が、同時に考慮され得る。

各々の候補のＲＤスコアを計算するために、量子化ブロック３００は、各々の候補のレート費用および歪み費用を計算して、この２つの費用を一緒に合計するように構成され得る。特に、各々の候補は、受信された候補のレートを決定し得るそれぞれのレート費用ブロック３１４に提供され得る。１つの実施形態では、レート費用ブロックは、レートルックアップテーブルを用いておよび／またはＤＣ係数を符号化して、結果得られる符号化されたＤＣ係数のビットカウントを決定することによって、それぞれのレート費用ブロックを決めるように構成され得る。

各々の候補は、歪み費用を計算するためにさらに用いられ得る。最初に、各々の候補はそれぞれの加算器３０６に提供され得るが、この加算器はこの候補を以前の量子化されたＤＣ係数差に加算し得る。この候補は、次に、それぞれの逆量子化ブロック３０８に提供され得るが、このブロックは量子化ブロック３０２の量子化を逆にし得る。例えば、量子化ブロック３０２が係数を整数で除算する実施形態では、逆量子化ブロック３０８は、候補を同じ整数で乗算するように構成され得る。他の実施形態では、逆量子化ブロック３０８は、量子化ブロック３０２によって実施される量子化を逆にしない様式で候補を逆量子化するように構成され得る。

いったん候補が逆量子化されると、それを量子化されたＤＣ係数から減算して、この減算の結果を、自乗ブロック３１０を用いて自乗し得る。自乗された結果に、歪みブロック３１２を用いて逆ラムダを乗算し、それにより、それぞれの候補の歪み費用を提供し得る。加算器３１６で、それぞれの候補のレートおよび歪み費用を加算してＲＤスコアを提供し得るが、このスコアは、次いで最良費用ブロック３２０に提供され得る。最良費用ブロック３２０は、各々の候補のＲＤスコアを受信して候補を選択し、最適化されたＤＣ係数として提供し得る。最良費用ブロック３２０は、例えば、所与のレートに対する最低のＲＤスコアおよび／または最低の歪みを有する差動候補を選択し得る、すなわち、以下に説明するように、あるブロック集合に対して最低のレート歪み費用を有するＤＣ係数の集合に対応する候補を選択し得る。

したがって、最適化ブロック３００は、最適化されたＤＣ係数を、例えば、図２の変換２０６などの変換から受信されたＤＣ係数に基づいて提供するために用いられ得る。１つの実施形態では、最適化ブロック３００は、ビデオ信号中の各々の成分（例えば、輝度、青色色差（ｂｌｕｅ−ｄｉｆｆｅｒｅｎｃｅ ｃｈｒｏｍｉｎａｎｃｅ）、および／または赤色色差（ｒｅｄ−ｄｉｆｆｅｒｅｎｃｅ ｃｈｒｏｍｉｎａｎｃｅ）の最適化されたＤＣ係数を直列に提供するために用いられ得る。他の実施形態では、複数のＤＣ係数を同時に最適化し得る。例えば、１つの実施形態では、図２のＤＣ最適化ブロック２５２などのＤＣ最適化ブロックは、各々がビデオ信号成分に対応し得る複数の最適化ブロック３００を含み得る。これらの最適化ブロック３００の各々は、最適化されたＤＣ係数を同時に提供するため並列に動作するように構成され得る。

そのうえ、複数の最適化ブロック３００は、スライスの任意の数のブロックおよび／またはマクロブロックを同時に最適化するために用いられ得る。１つの実施形態では、あらゆるブロック間依存性を克服するために、複数の最適化ブロックを動的プログラミングおよび／またはトレリス構成にしたがって用いて、あるブロック集合に対する最低のレート歪み費用を有するＤＣ係数の集合を同時に発見し得る。こうすることにくわえてまたはこうする代わりに、複数の最適化ブロック３００は、動的プログラミングを実装するために、デイジーチェーン構成で配列され得る。一部の例では、ＤＣ係数の集合の１つ以上のＤＣ係数は、ＤＣ係数の集合がブロックの集合に対するＤＣ係数のあらゆる考えられる組み合わせの最低のＲＤスコアを有するにもかかわらず、そのそれぞれのブロックの全ての候補のうちの最低のＲＤスコアを有しないかも知れない。

最適化ブロック３００をそれぞれの変換ブロックのＤＣ係数を最適化することに関連して説明されているが、最適化ブロック３００は、他の構文要素を最適化するためにもさらに用いられ得ることが当業者には理解されるであろう。すなわち、最適化ブロック３００は、例えば、任意の差動符号化された構文要素を含む任意のタイプの構文要素の複数の候補を生成して、次いで、この複数の候補から最低のＲＤスコアを有する１つを選択するために用いられ得る。例として、最適化ブロック３００は、図２のＡＣ量子化ブロック２５４などのＡＣ量子化ブロックに提供された１つ以上のＡＣ係数を最適化するために用いられ得る。そのうえ、一部の実施形態では、運動ベクトルのレート歪みは、例えば、差動符号化された構文要素を量子化することなくまたはそれから生成された候補を逆量子化することなく、最適化され得る。

最適化ブロック３００は、運動ベクトルを最適化するためにさらに用いられ得る。例えば、最適化ブロック３００は、ＭＰＥＧ−２規格に従って運動ベクトルのレート歪みを最適化するために用いられ得る。最適化ブロック３００をこのように用いることで、例えば、それぞれの運動ベクトル間の差を示す運動ベクトル剰余を伝達するために必要なビットの数および／またはそれぞれの運動ベクトル剰余を符号化するために用いられるビットの数を示す運動符号を削減し得る。同様に、最適化ブロック３００はまた、運動ベクトル（例えば、Ｅｘｐ−Ｇｏｌｏｍｂ符号化された運動ベクトル）および／または量子化パラメータを、Ｈ．２６４符号化規格に従って最適化するためにも用いられ得る。

図４は、本発明の実施形態に従う候補を生成するための方法のフローチャート４００である。フローチャート４００が示す方法は、図３の候補生成ブロック３５０によって用いられ得る。少なくとも１つの実施形態では、各々の生成された候補は、候補の配列Ｃａｎｄに加算され得るが、いったん全ての候補が生成されると、配列Ｃａｎｄに含まれる各々の候補は、候補生成ブロック３５０によって以下に説明するように考慮され得る。以下説明はＤＣ係数差に基づいて候補を生成することに関してなされるとはいえ、フローチャート４００に示す方法は、例えば、運動ベクトルもしくは量子化パラメータに対応する任意の構文要素または構文要素の差の候補を生成するために用いられ得ることが当業者には理解されるであろう。

ステップ４０５で、係数差が、例えば、図３の加算器３０４から受信され得る。可変長ｊが、Ｈｕｆｆｍａｎ符号化、ＣＡＶＬＣ、およびＣＡＢＡＣなどの現在または将来に技術上周知の任意のエントロピー符号化方法を用いて係数差を表すために必要とされるビットの数に等しい値で初期化され、指数変数ｉが０に初期化され得る。少なくとも１つの実施形態では、指数変数ｉは、配列Ｃａｎｄ中の位置に対応し得る。ステップ４１０で、候補生成ブロック３５０は、ｊが１を超える値を有するかを決定し得る。すなわち、候補生成ブロック３５０は、係数差のビット長が１ビットを超えるかを決定し得る。ｊの値が１を超えない場合、ステップ４１５で、候補生成ブロック３５０は、ｊがゼロの値を有するかを決定し得る。ｊがゼロに等しければ、ゼロの値を含む候補はステップ４３５で、候補の配列Ｃａｎｄのｉ番目の位置に追加され得る。配列Ｃａｎｄは、次に、ステップ４４０で、候補生成ブロック３５０から提供され得る。

ｊの値がゼロを超える場合、候補がステップ４２０で生成され得る。この候補は、ｊの値に等しいビット長を有する二進法の値であり得、すべて「１」をさらに含み、それにより、特定のビット長に対して可能な限り高いビット値を有する候補を提供し得る。例えば、ｊが４の値を有する場合、候補「１１１１」が生成され得る。以下にさらに説明されるように、ｊが１を超える値として初期化される場合、候補をこのように生成することで、ビット長をさらに減少させながらも、以前に生成された候補にできる限り近い２進値を有する候補を提供し得る。これは、例えば、ビットカウントを減少させることなく、増大する歪み費用を有する候補を生成することを回避し得る。

ステップ４２５で、生成された候補は、配列Ｃａｎｄに対して、例えば、この配列のｉ番目の位置に追加され得るが、ステップ４３０で、ｊおよびｉの値はそれぞれデクリメントおよびインクリメントされ得る。ステップ４１５、４２０、４２５、および４３０は、ｊが０にデクリメントされるまで反復的に繰り返されるが、この場合、ゼロ含む候補は、上述したように、それぞれステップ４３５および４４０で配列Ｃａｎｄと、候補生成ブロック３５０から提供された配列とに追加され得る。

ｊが１を超える値を有するとステップ４１０で決定された場合、すなわち、受信された係数差のビット長が２ビット以上であれば、ステップ４４５で、係数差と、１だけインクリメントされた係数差とが、配列Ｃａｎｄに候補として追加され得る。ステップ４５０で、係数差を１だけデクリメントすることでそのビット長が変化するに応じて決定が行われ得る。ビット長が変化しなければ、１だけデクリメントされた係数差を含む候補はステップ４５５で配列Ｃａｎｄに追加され、候補生成ブロック３５０は、上述したようにステップ４３０に進み得る。係数差を１だけデクリメントすることでビット長が変化する場合、ｊはステップ４６０でデクリメントされ、ｊの大きさに等しいビット長を有する候補が、上述したようにステップ４２０で生成され得る。

したがって、複数の候補が候補生成ブロック３５０によって生成され得るが、生成された候補の各々は、次いで、図３の最適化ブロック３００などの最適化ブロックによって評価されて、どの候補が最適化されたレート歪み費用を提供するかを決定し得る。候補は、係数差に基づいたそれぞれの複数の差動水準であり得る。すなわち、説明されるように、候補の差動水準は、例えば、係数差、１だけインクリメントされた係数差、１、０だけデクリメントされた係数差、および／または係数差のビット長未満の全ての可能なビット長に対する可能な限り高い２進値を含み得る。

候補の生成を方法４００に関して説明されているが、他の実施形態では、方法４００の変更例を含むさらなるおよび／または代替の方法が、候補を生成するために用いられ得る。例えば、１つの実施形態では、方法４００はステップ４５５を省略し、それにより、０の２進値を有する候補を配列Ｃａｎｄに追加することを解消し得る。

候補の数は、適応的にさらに決定し得る。１つの実施形態では、候補の数は、特定のマクロブロック中でＡＣ係数を量子化するために用いられる量子化器の規模に依存し得る。量子化器の規模は、例えば、量子化パラメータによって決定され得る。例えば、量子化パラメータはＡＣ係数の精度を決め得、この精度は、候補が係数差から変位し得る最大偏差を決定するために用いられ得る。別の実施形態では、候補の数は、特定の符号化単位（例えば、ブロック、マクロブロック、フレーム）の特徴に依存し得る。この決定で考慮される符号化単位の特徴は、これに限られないが、テクスチャ、明るさ、運動、分散またはこれらのいずれかの組み合わせを含み得る。例として、高い運動コンテンツではより多い歪みが許容され得るが、その結果、係数差からのより大きい偏差を有する候補が評価され得る。

候補の数が適応的に決定される各々の場合において、候補が１つ以上の基準を満たすは、方法４００の任意の時点、例えば、ステップ４４５で決定され得る。候補が、例えば許容可能偏差を満たす場合、この候補は、配列Ｃａｎｄに追加され得る。候補が許容可能偏差を満たさない場合、この候補は配列Ｃａｎｄには追加されず、したがって、上述したように最適化ブロックによっては評価され得ない。

そのうえ、少なくとも１つの実施形態では、候補の許容数は、図１の符号器１００などの符号器、または、符号器と電子通信している１つ以上のデバイスの利用可能なリソースに基づき得る。この決定は、本明細書に説明するあらゆる適応的プロセスを含む適応プロセスの一部として、符号化に先立ってまたは符号化中になされ得る。

図５は、本発明の実施形態に従う媒体送達システムの略図である。媒体送達システム５００は、様々な媒体出力部（複数可）５０４に媒体ソース５０２を送達するための機構を提供し得る。たった１つの媒体ソース５０２および媒体出力５０４を図５に示しているが、任意の数を用い得、本発明の例は、媒体コンテンツを任意の数の媒体出力部に放送するおよび／または別様に送達するために用いられ得ることを理解すべきである。

媒体ソースデータ５０２は、これに限られないが、ビデオ、オーディオ、データ、またはこれらの組み合わせを含む媒体コンテンツの任意のソースであり得る。媒体ソースデータ５０２は、カメラ、マイクロフォン、および／または他のキャプチャデバイスを用いてキャプチャされ得る、例えば、オーディオおよび／またはビデオのデータであり得る、または、処理デバイスによって生成もしくは提供され得る。媒体ソースデータ５０２は、アナログまたはデジタルであり得る。媒体ソースデータ５０２がアナログデータであるとき、媒体ソースデータ５０２は、例えば、アナログツーデジタルコンバータ（ＡＤＣ）を用いてデジタルデータに変換され得る。典型的には、媒体ソースデータ５０２を伝達するために、あるタイプの圧縮および／または暗号化が望ましいことがあり得る。したがって、これに限られないが、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４、Ｈ．ＨＥＶＣ、もしくはこれらの組み合わせ、または他の符号化規格などのビデオ規格に準拠する符号化方法を含む、現在または将来に技術上周知のいずれかの符号化方法を用いて、媒体ソースデータ５０２を符号化し得る符号器５１０が提供され得る。符号器５１０は、図１の符号器１００および図２の符号器２００を含む本明細書に説明する任意の符号器を用いて実装され得、図４の方法４００を実装するためにさらに用いられ得る。

符号化されたデータ５１２は、衛星５１４、アンテナ５１６、および／またはネットワーク５１８などの通信リンクに提供され得る。ネットワーク５１８は有線または無線であり得、電気伝送および／または光伝送を用いてさらに通信し得る。アンテナ５１６は地上アンテナであり得、例えば、従来のＡＭ信号およびＦＭ信号、衛星信号、または技術上周知の他の信号を受信して送信し得る。通信リンクは、符号化されたデータ５１２を放送し得、一部の例では、符号化されたデータ５１２を（例えば、再符号化、追加、または符号化されたデータ５１２から減算することによって）変更して、変更された符号化データ５１２を放送し得る。通信リンクから提供された符号化データ５２０は、復号器を含み得るか、またはこれに結合され得る受信機５２２によって受信され得る。復号器は、符号化されたデータ５２０を復号化して、図５に示す出力部５０４で、１つ以上の媒体出力を提供し得る。

受信機５２２は、これに限られないが、モデム、ルータ、サーバ、セットトップボックス、ラップトップ、デスクトップ、コンピュータ、タブレット、携帯電話などを含む任意の数のデバイスに含まれ得るまたはこれらと通信状態にあり得る。

図５の媒体送達システム５００および／または符号器５１０は、コンテンツ分配業界の様々なセグメントで利用され得る。

図６は、本明細書に説明する符号器を利用し得るビデオ分配システム６００の略図である。ビデオ分配システム６００は、ビデオ分配業者６０５を含む。ビデオ分配業者６０５は、これに限られないが、デジタル衛星ニュース収集システム６０６、イベント放送６０７、および遠隔スタジオ６０８を含み得る。これらのビデオ分配業者６０５の各々または任意のものは、図５の符号器５１０などの本明細書に説明する符号器を利用して、媒体ソースデータを符号化して、符号化されたデータを通信リンクに提供し得る。デジタル衛星ニュース収集システム６０６は、符号化されたデータを衛星６０２に提供し得る。イベント放送６０７は、符号化されたデータをアンテナ６０１に提供し得る。遠隔スタジオ６０８は、符号化されたデータをネットワーク６０３上に提供し得る。

プロダクションセグメント６１０は、コンテンツ発信元６１２を含み得る。コンテンツ発信元６１２は、ビデオ分配業者６０５の任意のものまたは組み合わせから符号化されたデータを受信し得る。コンテンツ発信元６１２は、受信したコンテンツを利用可能とし得、受信したコンテンツのどれでも編集、組み合わせ、および／または操作して、コンテンツを利用可能とし得る。コンテンツ発信元６１２は、図５の符号器５１０などの本明細書に説明する符号器を利用して、符号化されたデータを衛星６１４（または別の通信リンク）に提供し得る。コンテンツ発信元６１２は、符号化されたデータをデジタル地上テレビシステム６１６に対して、ネットワークまたは他の通信リンク上で提供し得る。一部の例では、コンテンツ発信元６１２は、復号器を利用して、寄稿者（複数可）６０５から受信されたコンテンツを復号化し得る。コンテンツ発信元６１２は、次に、データを再復号化して、再復号化されたデータを衛星６１４に提供し得る。他の例では、コンテンツ発信元６１２は、受信したデータを復号化せずに、コード変換器を利用して、受信されたデータの復号化形式を変更し得る。

一次分配セグメント６２０は、デジタル放送システム６２１、デジタル地上テレビシステム６１６、および／または顧客システム６２３を含み得る。デジタル放送システム６２１は、図５を参照して説明される受信機５２２などの受信機を含んで、符号化されたデータを衛星６１４から受信し得る。デジタル地上テレビシステム６１６は、図５を参照して説明される受信機５２２などの受信機を含んで、符号化されたデータをコンテンツ発信元６１２から受信し得る。ケーブルシステム６２３は、プロダクションセグメント６１０および／または分配セグメント６０５から受信され得たまたはされ得なかったそれ自身のコンテンツをホストし得る。例えば、ケーブルシステム６２３は、それ自身の媒体データ５０２を、図５を参照して説明されるものとして提供し得る。

デジタル放送システム６２１は、図５を参照して説明される符号器５１０などの符号器を含んで、符号化されたデータを衛星６２５に提供し得る。ケーブルシステム６２３は、図５を参照して説明される符号器５１０などの符号器を含んで、符号化されたデータをネットワークまたは他の通信リンク上でケーブルローカルヘッドエンド６３２に提供し得る。二次分配セグメント６３０は、例えば、衛星６２５および／またはケーブルローカルヘッドエンド６３２を含み得る。

ケーブルローカルヘッドエンド６３２は、図５を参照して説明される符号器５１０などの符号器を含んで、符号化されたデータをネットワークまたは他の通信リンク上で、顧客セグメント５４０中の顧客に提供し得る。衛星６２５は、信号を顧客セグメント６４０中の顧客に放送し得る。顧客セグメント６４０は、コンテンツを復号化し、究極的にはコンテンツをユーザに対して利用可能とするために、受信機５２２などの受信機と、図５を参照して説明される関連付けられた復号器とを含み得る任意の数のデバイスを含み得る。顧客セグメント６４０は、セットトップボックス、タブレット、コンピュータ、サーバ、ラップトップ、デスクトップ、携帯電話などのデバイスを含み得る。

したがって、符号化、コード変換、および／または復号化は、ビデオ分配システムのいくつかの時点のうちのいずれかで利用され得る。本発明の実施形態は、これらのセグメントのいずれか、または一部の例では全てで利用され得る。

前述から、本発明の特定の実施形態が例示目的で本明細書に説明されているが、本発明の精神および範囲から逸脱することなく様々な修正がなされ得ることが理解されるであろう。したがって、本発明は、添付の特許請求の範囲を除いて限定されない。

Claims (36)

1. ビデオ符号器で用いられる最適化ブロックであって、
   それぞれの差動水準に対応する複数の候補を生成するように構成される候補生成ブロックであって、前記複数の候補の各々が、差動符号化された構文要素に少なくとも部分的に基づき、かつそれぞれのレート歪み費用を提供する、候補生成ブロックと、
   前記候補生成ブロックに結合され、前記複数の候補から一候補を基準に従って選択するように構成される最良の費用ブロックと、を備える、最適化ブロック。
2. 前記基準が、最小のレート歪み費用を含む、請求項１に記載の最適化ブロック。
3. 前記差動符号化された構文要素を、ＭＰＥＧ−２符号化規格、Ｈ．２６４符号化規格、またはこれらの組み合わせに従って量子化するように構成される順方向量子化ブロックをさらに備える、請求項１に記載の最適化ブロック。
4. 前記それぞれのレート歪み費用が、ラグランジアン費用関数に少なくとも部分的に基づく、請求項１に記載の最適化ブロック。
5. 前記複数の候補が、前記差動符号化された構文要素の長さに少なくとも部分的に基づく、請求項１に記載の最適化ブロック。
6. 前記第１の構文要素が、輝度、青色色差、赤色色差、またはこれらの組み合わせに対応する、請求項１に記載の最適化ブロック。
7. 前記差動符号化された構文要素が、ＤＣ係数を含む、請求項１に記載の最適化ブロック。
8. 前記候補生成ブロックが、前記複数の候補を適応的に生成するように構成される、請求項１に記載の最適化ブロック。
9. ＤＣ係数を受信して、前記ＤＣ係数に少なくとも部分的に基づいて複数の候補を生成するように構成されるＤＣ最適化ブロックであって、前記複数の候補から一候補を基準に従って選択するようにさらに構成される、ＤＣ最適化ブロックと、
   複数のＡＣ係数を受信して、前記複数のＡＣ係数を量子化するように構成されるＡＣ量子化ブロックと、を備え、
   前記複数の候補の各々がそれぞれの差動水準に対応する、符号器。
10. 前記基準が、最小のレート歪み費用を含む、請求項９に記載の符号器。
11. 前記ＤＣ最適化ブロックが、前記ＤＣ係数を前記ＭＰＥＧ−２符号化規格に従って量子化するようにさらに構成される、請求項９に記載の符号器。
12. 前記ＤＣ最適化ブロックが、前記ＤＣ係数を前記Ｈ．２６４符号化規格に従って量子化するようにさらに構成される、請求項９に記載の符号器。
13. 前記ＤＣ最適化ブロックおよび前記ＡＣ量子化ブロックに結合され、前記候補および量子化された複数のＡＣ係数を受信するように構成されるエントロピー符号器であって、前記候補および量子化された複数のＡＣ係数を１つ以上の符号化規格に従って符号化するようにさらに構成される、エントロピー符号器をさらに備える、請求項９に記載の符号器。
14. 前記ＤＣ係数が、輝度係数、青色色差係数、赤色色差係数、またはこれらの組み合わせを含む、請求項９に記載の符号器。
15. 前記複数の候補のうちの１つが、そのそれぞれのビット長に対する最も高い２進値を含み、前記複数の候補のうちの前記１つの前記ビット長が、前記ＤＣ係数のビット長未満である、請求項９に記載の符号器。
16. 前記係数がイントラ符号化されたマクロブロックに対応する、請求項９に記載の符号器。
17. 前記複数の候補のうちの１つが前記ＤＣ係数を含む、請求項９に記載の符号器。
18. 前記ＤＣ係数ブロックが第１のＤＣ係数ブロックであり、前記ＤＣ係数が第１のＤＣ係数であり、前記複数の候補が第１の複数の候補であり、前記第１のＤＣ係数がビデオデータの第１のブロックに対応し、前記符号器が、
    第２のＤＣ係数を受信して、前記第２のＤＣ係数に少なくとも部分的に基づいて第２の複数の係数を生成するように構成される第２のＤＣ係数ブロックであって、前記第２のＤＣ係数がビデオデータの第２のブロックに対応する、第２のＤＣ係数ブロックをさらに備え、
    前記第１のＤＣ係数ブロックが、前記第１および第２の複数の候補に少なくとも部分的に基づいて前記第１の複数の候補のうちの１つを選択するように構成される、請求項９に記載の符号器。
19. 係数を最適化するための方法であって、
    差動符号化された構文要素を受信することと、
    前記差動符号化された構文要素に少なくとも部分的に基づいて複数の候補を生成することであって、前記複数の候補の各々がそれぞれの差動水準を有する、複数の候補を生成することと、
    前記複数の候補の各々に対するそれぞれのＲＤスコアを生成することと、
    前記複数の候補のうちの１つを基準に従って選択することと、を含む、方法。
20. 前記選択することが、最小のＲＤスコアを有する前記複数の候補のうちの１つを選択することを含む、請求項１９に記載の方法。
21. 前記差動符号化された構文要素がＤＣ係数を含む、請求項１９に記載の方法。
22. 前記複数の候補が、ＭＰＥＧ−２符号化規格、Ｈ．２６４符号化規格、またはこれらの組み合わせに従って生成される、請求項１９に記載の方法。
23. 前記複数の候補の各々に対するそれぞれのＲＤスコアを前記生成することが、
    前記複数の候補の各々に対する歪み費用を生成することと、
    前記複数の候補の各々に対するレート費用を生成することと、を含む、請求項１９に記載の方法。
24. 前記複数の候補が、前記差動符号化される構文要素の長さに少なくとも部分的に基づく、請求項１９に記載の方法。
25. 前記差動符号化された構文要素が、第１の差動符号化された構文要素であり、前記方法が、
    第２の差動符号化された構文要素を前記第１の差動符号化された構文要素から減算して、係数差を生成することをさらに含む、請求項１９に記載の方法。
26. 各それぞれのＲＤスコアが、ラグランジアン費用関数の逆数に少なくとも部分的に基づく、請求項１９に記載の方法。
27. 前記複数の候補が、量子化パラメータ、符号化単位の特徴、またはこれらの組み合わせに基づく、請求項１９に記載の方法。
28. 候補を生成するための方法であって、
    差動符号化された構文要素の差を受信することと、
    前記差動符号化された構文要素の差のビット長を決定することと、
    前記差動符号化された構文要素の差の前記長さに少なくとも部分的に基づいて複数の候補を生成することと、
    前記複数の候補に対するそれぞれの複数のレート歪み費用を生成することと、
    前記それぞれの複数のレート歪み費用に少なくとも部分的に基づいて前記複数の候補のうちの１つを選択することと、を含む、方法。
29. 前記複数の候補のうちの１つが、そのそれぞれのビット長に対する可能な限り高い２進値を含む、請求項２８に記載の方法。
30. 前記複数のレート歪み費用が、ラグランジアン費用関数に少なくとも部分的に基づく、請求項２８に記載の方法。
31. 前記それぞれの複数のレート歪み費用に少なくとも部分的に基づいて前記複数の候補のうちの１つを前記選択することが、
    輝度成分に対応する係数を選択することを含む、請求項２８に記載の方法。
    
32. 前記複数の候補が第１の複数の候補であり、前記方法が、
    クロミナンス成分に対応する係数に基づいて第２の複数の候補を生成することであって、前記第１および第２の複数の候補が同時に生成される、生成することをさらに含む、請求項３１に記載の方法。
33. 前記差動符号化された構文要素がＤＣ係数を含む、請求項２８に記載の方法。
34. 前記それぞれの複数のレート歪み費用の各々が、ＭＰＥＧ−２符号化規格に少なくとも部分的に基づく、請求項２８に記載の方法。
35. 前記それぞれの複数のレート歪み費用の各々が、Ｈ．２６４符号化規格に少なくとも部分的に基づく、請求項２８に記載の方法。
36. 前記複数の候補が、テクスチャ、明るさ、運動、分散、またはこれらの組み合わせに少なくとも部分的に基づく、請求項２８に記載の方法。
    

Images