JP2010525677A - イントラコーディングのためのモード一様性シグナリング - Google Patents

Abstract

マクロブロック中のブロックに対する１つ以上の予測モードを効率的に信号で伝えるための技術。モード一様性インジケータを各マクロブロックに提供して、マクロブロック中のすべてのブロックが同じ予測モードを使用して予測されることになるかどうかを示す。１つの実施形態において、エンコーダが、モード一様性インジケータと予測モードとを信号で伝える。別の実施形態において、デコーダが、モード一様性インジケータと予測モードとを受信し、モード一様性インジケータが真である場合、予測モードを使用して、マクロブロックの、少なくとも２つのブロックを予測する。

Description

本開示はデジタルビデオ処理に関し、より詳細には、フレーム内ビデオエンコーディングおよびデコーディングに対する技術に関する。

優先権の主張

本特許出願は、２００７年４月１７日に出願され、本発明の譲受人に譲渡された米国特許出願シリアル番号第６０／９１２，３６４号に対する優先権に基づいており、その優先権を主張し、その内容は、参照により明白にここに組み込まれている。

背景

ビデオエンコーディングにおいて、ビデオシーケンスのフレームは、矩形の領域またはブロックに分割してもよく、ビデオブロックは、イントラモード（Ｉ−ｍｏｄｅ）またはインターモード（Ｐ−ｍｏｄｅ）においてエンコード化してもよい。

図１は、Ｉ−ｍｏｄｅに対する先行技術のビデオエンコーダの図を示す。エンコーダは、フレームを複数のブロックに分割し、別々に、ブロックのそれぞれをエンコード化するように構成されていてもよい。一例として、エンコーダは、フレームを複数の１６×１６“マクロブロック”に分割してもよく、１６×１６マクロブロックは、１６行の画素と１６列の画素とを含む。マクロブロックは、（ここでは“ブロック”と呼ばれる）サブ分割ブロックのグループを含んでいてもよい。一例として、１６×１６マクロブロックは、１６個の４×４ブロック、または他のサイズのサブ分割ブロックを含んでいてもよい。

図１において、空間予測器１０２は、同じフレーム中の近傍ブロックからの画素を使用することにより、ビデオブロック１００から、予測されたブロック１０３を形成する。予測のために使用される近傍ブロックは、予測モード１０１によって指定してもよい。加算器１０４は、予測誤差１０６、すなわち、画像ブロック１００と予測ブロック１０３との間の差を計算する。変換モジュール１０８は、予測誤差１０６を１組の基底関数または変換関数に投影する。通常の構成において、変換関数は、離散コサイン変換（ＤＣＴ）、カルフーネン−レーヴ変換（ＫＬＴ）、または他の任意の変換から導出できる。例えば、１組の変換関数は、｛ｆ₀、ｆ₁、ｆ₂、．．．、ｆ_N｝として表現でき、各ｆ_nは、個々の変換関数を表す。

変換モジュール１０８は、変換関数のそれぞれに割り当てられている重みに対応する１組の変換係数１１０を出力する。例えば、１組の変換関数｛ｆ₀、ｆ₁、ｆ₂、．．．、ｆ_N｝に対応する１組の係数｛ｃ₀、ｃ₁、ｃ₂、．．．、ｃ_N｝を計算してもよい。変換係数１１０はその後、量子化器１１２によって量子化されて、量子化された変換係数１１４が生成される。量子化された係数１１４および予測モード１０１をデコーダに送信してもよい。

図１Ａは、Ｉ−ｍｏｄｅに対するビデオデコーダを描写する。図１Ａにおいて、量子化された係数１０００がエンコーダによってデコーダに提供され、逆変換モジュール１００４に供給される。逆変換モジュール１００４は、係数１０００と、固定された１組の変換関数、例えば、｛ｆ₀、ｆ₁、ｆ₂、．．．、ｆ_N｝とに基づいて、予測誤差１００３を再構築する。予測モード１００２が逆空間的予測モジュール１００６に供給され、逆空間予測モジュール１００６は、すでにデコードされた近傍ブロックの画素値に基づいて、予測されたブロック１００７を発生させる。予測ブロック１００７は、予測誤差１００３と組み合わされて、再構築されたブロック１０１０が発生される。再構築されたブロック１０１０と、図１中のオリジナルブロック１００との間の差は、再構築誤差として知られている。

図１中の空間予測器１０２の例は、２００５年３月にＩＴＵ−電気通信標準化部門によって刊行された、ＩＴＵ−Ｔ勧告Ｈ．２６４のセクション８．３．１（以下Ｈ．２６４−２００５）に関してここで記述する。Ｈ．２６４−２００５において、コーダは、図２中で示すように、ＤＣ予測（モード２）と、０ないし８でラベル表示された８方向のモードとを含む、４×４ブロックの予測のための９個の予測モードを提供する。図３中で図示するように、各予測モードは、各画素をエンコード化するための１組の近傍画素を指定する。図３において、ａからｐまでの画素がエンコード化されることになり、近傍画素ＡないしＬ、およびＸが、画素ａないしｐを予測するために使用される。例えば、モード０が選択される場合、画素ａ、ｅ、ｉおよびｍは、それらを画素Ａに等しく設定することにより予測され、画素ｂ、ｆ、ｊおよびｎは、それらを画素Ｂに等しく設定することにより予測されるなどである。同様に、モード１が選択される場合、画素ａ、ｂ、ｃおよびｄは、それらを画素Ｉに等しく設定することにより予測され、画素ｅ、ｆ、ｇおよびｈは、それらを画素Ｊに等しく設定することにより予測されるなどである。したがって、モード０は、垂直方向における予測因子であり、モード１は、水平方向における予測因子である。

１６×１６マクロブロックは、同じ予測モードを使用してすべてエンコード化された４×４ブロックを含むことが多い。マクロブロック中のすべてのブロックが同じ予測モードを使用してエンコード化されていることをデコーダに信号で伝えるための効率的な方法を提供することが望まれる。

概要

本開示の観点は、複数のブロックを含むマクロブロックをエンコード化し、各ブロックは１組の画素値を含む方法を提供し、方法は、各ブロックに対して、近傍画素に基づいてブロック中の画素を予測する予測モードを選択することと、マクロブロックに対してモード一様性インジケータを提供することとを含み、モード一様性インジケータは、マクロブロック中の複数のブロックが同じ選択された予測モードを有するかどうかを示す。

本開示の別の観点は、複数のブロックを含むマクロブロックを予測し、各ブロックは１組の画素値を含む方法を提供し、方法は、マクロブロックに対する、予測モードとモード一様性インジケータとを受信することと、モード一様性インジケータが真である場合、受信された予測モードにしたがって、マクロブロックの、少なくとも２つのブロックを予測することとを含む。

本開示の別の観点は、複数のブロックを含む、エンコード化されたマクロブロックを発生させ、各ブロックは１組の画素値を含む装置を提供し、エンコード化されたマクロブロックは、マクロブロック中の少なくとも１つのブロックに対応する予測モードと、マクロブロック中の複数のブロックが同じ予測モードを有するかどうかを示すモード一様性インジケータとを含み、予測モードは、ブロック中の画素を予測するために使用される近傍画素の組み合わせを指定する。

本開示のさらに別の観点は、複数のブロックを含むマクロブロックを予測し、各ブロックは１組の画素値を含む装置を提供し、装置は、マクロブロックに対する、予測モードとモード一様性インジケータとを受信し、モード一様性インジケータが真である場合、装置は、受信された予測モードにしたがって、マクロブロックの、少なくとも２つのブロックを予測する。

本開示のさらに別の観点は、複数のブロックを含むマクロブロックを予測し、各ブロックは１組の画素値を含むコンピュータプログラムプロダクトを提供し、プロダクトは、マクロブロックに対する、予測モードとモード一様性インジケータとをコンピュータに受信させるためのコードと、モード一様性インジケータが真である場合、受信された予測モードにしたがって、マクロブロックの、少なくとも２つのブロックをコンピュータに予測させるためのコードとを含むコンピュータ読み取り可能媒体を備える。

図１は、Ｉ−モードに対する先行技術のビデオエンコーダの図を示す。 図１Ａは、Ｉ−モードに対する先行技術のビデオデコーダを描写する。 図２は、Ｈ．２６４−２００５において記述されている予測モードを示す。 図３は、予測モードを使用する画素予測を図示する。

詳細な説明

マクロブロック中のブロックをエンコード化するために使用される予測モードを効率的に信号で伝えるための技術をここで開示する。

Ｈ．２６４−２００５において、予測モードが、１６×１６マクロブロック中の各４×４ブロックに対して得られる。予測モードは、各ブロックに対して、すなわち、マクロブロックにつき１６のモードが、エンコーダからデコーダに信号で伝えられる。

本開示にしたがうと、“モード一様性”インジケータをマクロブロックレベルで信号で伝えて、マクロブロック内のすべての４×４ブロックが同じ予測モードを使用しているかどうかを示すことができる。１つの実施形態において、モード一様性インジケータはビットである。ビットが真である場合、予測モードが所定のマクロブロック中のすべての４×４ブロックに対して１度だけ信号で伝えられる。１つの実施形態において、予測モードは、左上の４×４ブロックに対してだけ信号で伝えられる。ビットが偽である場合、Ｈ．２６４−２００５によって規定されているように、予測モードは各４×４ブロックに対して信号で伝えられる。

モード一様性インジケータはまた、マクロブロック中のブロックの任意のサブセットに対するモードの一様性を信号で伝えるように規定されてもよいことに注目すべきである。したがって、柔軟性のために、単一のマクロブロックに対して複数のモード一様性インジケータを提供してもよい。例えば、第１のモード一様性インジケータを、マクロブロックの上部半分の８個の４×４ブロックに対して提供してもよく、第２のモード一様性インジケータを、マクロブロックの下部半分の８個の４×４ブロックに対して提供してもよい。

開示した技術は、１６×１６画素を有するマクロブロック、および／または４×４画素を有するブロックに対して適用する必要がないことに注目すべきである。マクロブロックおよびブロックのサイズの他の組み合わせが、記述したシグナリングを採り入れてもよい。

ここで記述した教示に基づいて、ここで開示した観点は、他の任意の観点とは無関係に実現してもよく、これらの観点のうちの２以上をさまざまな方法で組み合わせてもよいことが明らかであるはずである。ここで記述した技術は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせにおいて実現してもよい。ハードウェアにおいて実現される場合、デジタルハードウェア、アナログハードウェア、またはこれらの組み合わせを使用して技術を実現してもよい。ソフトウェアにおいて実現される場合、１つ以上の命令またはコードが記憶されているコンピュータ読み取り可能媒体を含むコンピュータプログラムプロダクトによって少なくとも部分的に技術を実現してもよい。

一例として、限定ではないが、そのようなコンピュータ読み取り可能媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）のようなＲＡＭ、読み出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、ＲＯＭ、電気的に消去可能なプログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、フラッシュメモリ、ＣＤＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、命令またはデータ構造の形態で所望のプログラムコードを搬送または記憶するために使用でき、コンピュータによってアクセスできる他の任意のタンジブル媒体を備えることができる。

コンピュータプログラムプロダクトのコンピュータ読み取り可能媒体に関係付けられる命令またはコードは、コンピュータによって、例えば、１つ以上の、デジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、あるいは、他の等価集積回路またはディスクリート論理回路のような、１つ以上のプロセッサにより実行してもよい。

多数の観点および例を記述してきた。しかしながら、これらの例に対するさまざまな修正が可能であり、ここで表した原理を他の観点に適用してもよい。これらの、および他の観点は、特許請求の範囲内である。

Claims (25)

1. 複数のブロックを含むマクロブロックをエンコード化し、各ブロックは１組の画素値を含む方法において、
   前記方法は、
   各ブロックに対して、近傍画素に基づいて前記ブロック中の画素を予測する予測モードを選択することと、
   前記マクロブロックに対してモード一様性インジケータを提供することとを含み、
   前記モード一様性インジケータは、前記マクロブロック中の複数のブロックが同じ選択された予測モードを有するかどうかを示す方法。
2. 前記モード一様性インジケータは、前記マクロブロック中のすべてのブロックが同じ選択された予測モードを有するかどうかを示す請求項１記載の方法。
3. 前記モード一様性インジケータは、モード一様性ビットである請求項１記載の方法。
4. 各ブロックは４×４画素で構成され、前記マクロブロックは１６×１６画素で構成されている請求項１記載の方法。
5. 複数のブロックを含むマクロブロックを予測し、各ブロックは１組の画素値を含む方法において、
   前記方法は、
   前記マクロブロックに対する、予測モードとモード一様性インジケータとを受信することと、
   前記モード一様性インジケータが真である場合、前記受信された予測モードにしたがって、前記マクロブロックの、少なくとも２つのブロックを予測することとを含む方法。
6. 前記モード一様性インジケータが真である場合、前記受信された予測モードにしたがって、前記マクロブロックの、すべてのブロックを予測することをさらに含む請求項５記載の方法。
7. 前記モード一様性インジケータは、モード一様性ビットである請求項５記載の方法。
8. 各ブロックは４×４画素で構成され、前記マクロブロックは１６×１６画素で構成されている請求項５記載の方法。
9. 複数のブロックを含む、エンコード化されたマクロブロックを発生させ、各ブロックは１組の画素値を含む装置において、
   前記エンコード化されたマクロブロックは、
   前記マクロブロック中の少なくとも１つのブロックに対応する予測モードと、
   前記マクロブロック中の複数のブロックが同じ予測モードを有するかどうかを示すモード一様性インジケータとを含み、
   前記予測モードは、前記ブロック中の画素を予測するために使用される近傍画素の組み合わせを指定する装置。
10. 前記モード一様性インジケータは、前記マクロブロック中のすべてのブロックが同じ予測モードを有するかどうかを示す請求項９記載の装置。
11. 前記モード一様性インジケータは、モード一様性ビットである請求項９記載の装置。
12. 各ブロックは４×４画素で構成され、前記マクロブロックは１６×１６画素で構成されている請求項９記載の装置。
13. 前記装置は集積回路である請求項９記載の装置。
14. 前記装置はハンドセットである請求項９記載の装置。
15. 複数のブロックを含むマクロブロックを予測し、各ブロックは１組の画素値を含む装置において、
    前記装置は、前記マクロブロックに対する、予測モードとモード一様性インジケータとを受信し、
    前記モード一様性インジケータが真である場合、前記装置は、前記受信された予測モードにしたがって、前記マクロブロックの、少なくとも２つのブロックを予測する装置。
16. 前記装置は、前記モード一様性インジケータが真である場合、前記受信された予測モードにしたがって、前記マクロブロックの、すべてのブロックをさらに予測する請求項１５記載の装置。
17. 前記モード一様性インジケータは、モード一様性ビットである請求項１５記載の装置。
18. 各ブロックは４×４画素で構成され、前記マクロブロックは１６×１６画素で構成されている請求項１５記載の装置。
19. 前記装置は集積回路である請求項１５記載の装置。
20. 前記装置はハンドセットである請求項１５記載の装置。
21. 複数のブロックを含むマクロブロックを予測し、各ブロックは１組の画素値を含むコンピュータプログラムプロダクトにおいて、
    前記プロダクトは、
    前記マクロブロックに対する、予測モードとモード一様性インジケータとをコンピュータに受信させるためのコードと、
    前記モード一様性インジケータが真である場合、前記受信された予測モードにしたがって、前記マクロブロックの、少なくとも２つのブロックをコンピュータに予測させるためのコードと、
    を含むコンピュータ読み取り可能媒体を備えるコンピュータプログラムプロダクト。
22. 前記モード一様性インジケータが真である場合、前記受信された予測モードにしたがって、前記マクロブロックの、すべてのブロックをコンピュータに予測させるためのコードを含む請求項２１記載のコンピュータプログラムプロダクト。
23. 前記モード一様性インジケータは、モード一様性ビットである請求項２１記載のコンピュータプログラムプロダクト。
24. 各ブロックは４×４画素で構成され、前記マクロブロックは１６×１６画素で構成されている請求項２１記載のコンピュータプログラムプロダクト。
25. 前記プロダクトはハンドセットである請求項２１記載のコンピュータプログラムプロダクト。

Images