JP2010525675A - イントラコーディングのための方向変換 - Google Patents

Abstract

モード依存型の変換関数を使用して、イントラコード化ブロックの予測誤差を変換する技術。１つの実施形態において、エンコーダが、予測のために使用される空間モードに基づいて予測誤差を表す、１組の変換関数を選択する。代替の実施形態において、デコーダが、信号で伝えられた空間モードを使用して、対応する１組の変換関数を導出することによって、画像ブロックを再構築する。先行技術の構成と比較して、エンコーダとデコーダとの間にいかなる追加のシグナリングも必要としない。

Description

本開示は、デジタルビデオ処理に関し、より詳細には、フレーム内ビデオエンコーディングおよびデコーディングに対する技術に関する。

優先権の主張

本特許出願は、２００７年４月１７日に出願され、本発明の譲受人に譲渡された米国特許出願シリアル番号第６０／９１２，３６４号に対する優先権に基づいており、その優先権を主張し、その内容は、参照により明白にここに組み込まれている。

背景

ビデオエンコーディングにおいて、ビデオシーケンスのフレームは、矩形の領域またはブロックに分割してもよく、ビデオブロックは、イントラモード（Ｉ−ｍｏｄｅ）またはインターモード（Ｐ−ｍｏｄｅ）においてエンコード化してもよい。

図１は、Ｉ−ｍｏｄｅに対する先行技術のビデオエンコーダの図を示す。図１において、空間予測器１０２は、同じフレーム中の近傍ブロックからの画素を使用することにより、ビデオブロック１００から、予測されたブロック１０３を形成する。予測のために使用される近傍ブロックは、空間モード１０１によって指定してもよい。加算器１０４は、予測誤差１０６、すなわち、画像ブロック１００と予測ブロック１０３との間の差を計算する。変換モジュール１０８は、予測誤差１０６を１組の基底関数または変換関数に投影する。通常の構成において、変換関数は、離散コサイン変換（ＤＣＴ）、カルフーネン−レーヴ変換（ＫＬＴ）、または他の任意の関数から導出できる。１組の変換関数は、｛ｆ₀、ｆ₁、ｆ₂、．．．、ｆ_N｝として表現でき、各ｆ_nは、個々の変換関数を表す。

変換モジュール１０８は、変換関数のそれぞれに割り当てられている重みに対応する１組の変換係数１１０を出力する。例えば、１組の変換関数｛ｆ₀、ｆ₁、ｆ₂、．．．、ｆ_N｝に対応する１組の係数｛ｃ₀、ｃ₁、ｃ₂、．．．、ｃ_N｝を計算してもよい。変換係数１１０はその後、量子化器１１２によって量子化されて、量子化された変換係数１１４が生成される。量子化された係数１１４および空間モード１０１をデコーダに送信してもよい。

図１Ａは、Ｉ−ｍｏｄｅに対するビデオデコーダを描写する。図１Ａにおいて、量子化された係数１０００がエンコーダによってデコーダに提供され、逆変換モジュール１００４に供給される。逆変換モジュール１００４は、係数１０００と、固定された１組の変換関数、例えば、｛ｆ₀、ｆ₁、ｆ₂、．．．、ｆ_N｝とに基づいて、予測誤差１００３を再構築する。空間モード１００２が、逆空間的予測モジュール１００６に供給され、逆空間的予測モジュール１００６は、すでにデコードされた近傍ブロックの画素値に基づいて、予測されたブロック１００７を発生させる。予測ブロック１００７は、予測誤差１００３と組み合わされて、再構築されたブロック１０１０が発生される。再構築されたブロック１０１０と、図１中のオリジナルブロック１００との間の差は、再構築誤差として知られている。

図１中の空間予測器１０２の例は、２００１年９月にビデオコーディング専門グループ（ＶＣＥＧ）のＩＴＵ−電気通信標準化部門によって刊行された文書ＶＣＥＧ−Ｎ５４に関してここで記述する。実施形態において、コーダは、図２中で示すように、ＤＣ予測（モード２）と、０ないし８でラベル表示された８方向のモードとを含む、４×４ブロックの予測のための９個の空間モードを提供する。図３中で図示するように、各空間モードは、使用する、１組のすでにエンコード化された画素を指定して、近傍画素をエンコード化する。図３において、ａからｐまでの画素がエンコード化されることになり、すでにエンコード化された画素ＡないしＬ、およびＸが、画素ａないしｐを予測するために使用される。例えば、モード０が選択される場合、画素ａ、ｅ、ｉおよびｍは、それらを画素Ａに等しく設定することにより予測され、画素ｂ、ｆ、ｊおよびｎは、それらを画素Ｂに等しく設定することにより予測されるなどである。同様に、モード１が選択される場合、画素ａ、ｂ、ｃおよびｄは、それらを画素Ｉに等しく設定することにより予測され、画素ｅ、ｆ、ｇおよびｈは、それらを画素Ｊに等しく設定することにより予測されるなどである。したがって、モード０は、垂直方向における予測因子であり、モード１は、水平方向における予測因子である。エンコーダは、上述の文書と、２００２年２月にＩＳＯ／ＩＥＣ ＭＰＥＧおよびＩＴＵ−Ｔ ＶＣＥＧの共同のビデオチームによって刊行された文書ＪＶＴ−Ｂ１１８ｒ４とにおいてさらに説明されている。

上述したモードベースの空間的予測を実行するとき、再構築誤差が規則的な空間パターンを示すかもしれないことが注目されている。例えば、再構築誤差は、予測に対して使用されるモードに対応する方向に強い相関を有するかもしれない。再構築誤差において方向依存型の空間パターンを低減させることにより、再構築誤差を低減させることが望ましい。

概要

本開示の観点は、１組の画素値を含む画像ブロックをエンコード化する方法を提供し、
方法は、近傍画素に基づいて画像ブロック中の画素を予測する空間モードを選択することと、近傍画素と選択された空間モードとに基づいて、画像ブロックに対して予測されたブロックを発生させることと、画像ブロックと予測されたブロックとの間の予測誤差を計算することと、選択された空間モードに基づいて、予測誤差を表すための少なくとも１つの変換関数を選択することと、少なくとも１つの変換関数を使用して前記予測誤差を変換して、少なくとも１つの変換係数を導出することとを含む。

本開示の別の観点は、１組の画素値を含む画像ブロックを再構築する方法を提供し、方法は、近傍画素に基づいて画像ブロック中の画素を予測する空間モードを受信することと、空間モードと近傍画素とに基づいて、予測されたブロックを発生させることと、空間モードに基づいて、予測誤差を表すための少なくとも１つの変換関数を選択することと、少なくとも１つの変換関数に対応する少なくとも１つの変換係数を受け取ることと、少なくとも１つの変換関数と、少なくとも１つの変換係数とに基づいて、前記予測誤差を発生させることと、予測されたブロックと前記予測誤差とを組み合わせて、再構築されたブロックを発生させることとを含む。

本開示のさらに別の観点は、１組の画素値を含む画像ブロックをエンコード化する装置を提供し、装置は、近傍画素に基づいて画像ブロック中の画素を予測する空間モードを選択し、予測されたブロックを発生させる空間予測器であって、予測されたブロックと画像ブロックとの間の差は予測誤差を含む空間予測器と、少なくとも１つの変換関数を使用して前記予測誤差を変換し、少なくとも１つの変換関数に対応する少なくとも１つの変換係数を発生させる変換モジュールとを備え、変換モジュールは、空間モードに基づいて、少なくとも１つの変換関数を選択する。

本開示のさらに別の観点は、１組の画素値を含む画像ブロックを再構築する装置を提供し、装置は、予測されたブロックを発生させ、予測されたブロック中の画素を近傍画素に基づいて発生させる空間モードを受信する逆空間予測器と、予測誤差を発生させ、空間モードと、少なくとも１つの変換関数に対応する少なくとも１つの変換係数とを受取り、さらに、空間モードに基づいて前記少なくとも１つの変換関数を選択する逆変換モジュールとを備え、装置は、予測されたブロックと予測誤差とを組み合わせることによって、画像ブロックを再構築する。

本開示のさらに別の観点は、１組の画素値を含む画像ブロックをエンコード化する装置を提供し、装置は、予測されたブロックを近傍画素に基づいて発生させる空間モードを選択する手段であって、前記画像ブロックと前記予測されたブロックとの間の差は予測誤差を含む手段と、少なくとも１つの変換関数を使用して、予測誤差を少なくとも１つの変換係数に変換する手段であって、少なくとも１つの変換関数は、前記空間モードに基づいて選択される手段とを備える。

図１は、Ｉ−モードに対する先行技術のビデオエンコーダの図を示す。 図１Ａは、Ｉ−モードに対する先行技術のビデオデコーダを描写する。 図２は、２００１年９月にビデオコーディング専門グループ（ＶＣＥＧ）のＩＴＵ−電気通信標準化部門によって刊行された文書ＶＣＥＧ−Ｎ５４に記載されている空間モードを示す。 図３は、空間モードを使用する画素予測を図示する。 図４は、本開示にしたがった、エンコーダの実施形態を描写する。 図５は、本開示にしたがった、デコーダの実施形態を描写する。

詳細な説明

モード依存型の変換関数を提供して予測誤差を表す技術をここで開示する。

１つの実施形態において、変換モジュールが、空間モードに基づいて選択される変換関数に、空間予測器からの予測誤差を投影する。変換モジュールは、各空間モードに対して固有の１組の変換関数を選択してもよい。例えば、モード依存型の変換関数を、次の表において示すように特徴付けてもよい。

表１において、ｆ_xyは、ｙ番目の空間モードに対応するｘ番目の変換関数を表す。

本開示にしたがうと、空間予測器によって選ばれるモードは、そのモードに関係付けられている予測誤差を表すために使用される、特定の組の変換関数を一意的に指定する。したがって、デコーダが適切な変換関数を回復することを可能にするために、エンコーダからデコーダにモードだけを信号で伝えることを必要とする。したがって、図１および図１Ａで示した構成と比較して、エンコーダとデコーダとの間にいかなる追加のシグナリングも必要としない。

表１は、（Ｎ＋１）個の関数が各モードに割り当てられる実施形態を示しているが、各モードに割り当てられる関数の数は同じである必要はないことに注目すべきである。例えば、１つの実施形態において、モード０は、（Ｎ＋１）個の割り当てられた変換関数を有してもよく、一方、モード１は、Ｎ個の割り当てられた変換関数を有してもよく、モード２は、（Ｎ−１）個の割り当てられた変換関数を有してもよいなどである。

図４は、本開示にしたがった、エンコーダの実施形態を描写する。図４中の番号が付けられた要素は、図１中の、同様の番号が付けられた要素に対応する。空間予測器１０２によって選択される空間モード１０１が、修正された変換モジュール４０８に提供されることを除いて、図４中のエンコーダの動作は、図１のエンコーダの動作と類似している。本開示にしたがうと、空間モード１０１は、予測誤差１０６を変換するためにどの組の変換関数を使用するのかを変換モジュール４０８に示す。

図５は、本開示にしたがった、デコーダの実施形態を描写する。量子化された係数５００および空間モード５０２が、エンコーダからデコーダに信号で伝えられる。係数５００および空間モード５０２が与えられると、逆変換モジュール５０４は、予測誤差５０５を再構築する。逆変換モジュール５０４は、各モードに対応する１組の変換関数に関する事前の知識を有しており、したがって、モード５０４が与えられると、係数５００に対応する適切な変換関数を発生させることができる。

モード５０２はまた、逆空間予測器５０６に提供され、逆空間予測器５０６は、予測されたブロック５０７を導出する。予測ブロック５０７および予測誤差５０５は加算器５０８によって組み合わされて、再構築されたビデオブロック５１０が発生される。

本開示の観点は、変換関数への、モードの何らかの特定のマッピングに限定する必要はないことに注目すべきである。１つの実施形態において、各モードに対する１組の変換関数を経験的に導出して、そのモードでエンコード化されるブロックの再構築誤差を最小にしてもよい。例えば、適切に多数の“トレーニング”ビデオブロックをとり、各モードに対する予測誤差を最小にする１組の変換関数を見つけることにより、各モードに対する１組の変換関数を導出してもよい。例えば、モード０に対する１組の変換関数は、モード０でエンコード化すべき１０，０００のトレーニングブロックの予測誤差を表す、最良の組の変換関数を見つけることにより決定してもよい。変換関数は、カルフーネン−レーヴ変換（ＫＬＴ）、離散コサイン変換（ＤＣＴ）または技術的に知られている他の任意の変換に基づいていてもよい。

ここで記述した教示に基づいて、ここで開示した観点は、他の任意の観点とは無関係に実現してもよく、これらの観点のうちの２以上をさまざまな方法で組み合わせてもよいことが明らかであるはずである。ここで記述した技術は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせにおいて実現してもよい。ハードウェアにおいて実現される場合、デジタルハードウェア、アナログハードウェア、またはこれらの組み合わせを使用して技術を実現してもよい。ソフトウェアにおいて実現される場合、１つ以上の命令またはコードが記憶されているコンピュータ読み取り可能媒体を含むコンピュータプログラムプロダクトによって少なくとも部分的に技術を実現してもよい。

一例として、限定ではないが、そのようなコンピュータ読み取り可能媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）のようなＲＡＭ、読み出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、ＲＯＭ、電気的に消去可能なプログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能読み出し専用メモリ（ＥＰＲＯＭ）、フラッシュメモリ、ＣＤＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、命令またはデータ構造の形態で所望のプログラムコードを搬送または記憶するために使用でき、コンピュータによってアクセスできる他の任意のタンジブル媒体を備えることができる。

コンピュータプログラムプロダクトのコンピュータ読み取り可能媒体に関係付けられる命令またはコードは、コンピュータによって、例えば、１つ以上の、デジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、あるいは、他の等価集積回路またはディスクリート論理回路のような、１つ以上のプロセッサにより実行してもよい。

多数の観点および例を記述してきた。しかしながら、これらの例に対するさまざまな修正が可能であり、ここで表した原理を他の観点に適用してもよい。これらの、および他の観点は、特許請求の範囲内である。

Claims (18)

1. １組の画素値を含む画像ブロックをエンコード化する方法において、
   前記方法は、
   近傍画素に基づいて前記画像ブロック中の画素を予測する空間モードを選択することと、
   前記近傍画素と前記選択された空間モードとに基づいて、前記画像ブロックに対して予測されたブロックを発生させることと、
   前記画像ブロックと前記予測されたブロックとの間の予測誤差を計算することと、
   前記選択された空間モードに基づいて、前記予測誤差を表すための少なくとも１つの変換関数を選択することと、
   前記少なくとも１つの変換関数を使用して前記予測誤差を変換して、少なくとも１つの変換係数を導出することとを含む方法。
2. 前記少なくとも１つの変換関数は、複数の変換関数を含む請求項１記載の方法。
3. 第１の空間モードに対する１組の変換関数は、第２の空間モードに対する１組の変換関数とは異なる請求項１記載の方法。
4. １組の画素値を含む画像ブロックを再構築する方法において、
   前記方法は、
   近傍画素に基づいて前記画像ブロック中の画素を予測する空間モードを受信することと、
   前記空間モードと前記近傍画素とに基づいて、予測されたブロックを発生させることと、
   前記空間モードに基づいて、前記予測誤差を表すための少なくとも１つの変換関数を選択することと、
   前記少なくとも１つの変換関数に対応する少なくとも１つの変換係数を受け取ることと、
   前記少なくとも１つの変換関数と、前記少なくとも１つの変換係数とに基づいて、前記予測誤差を発生させることと、
   前記予測されたブロックと前記予測誤差とを組み合わせて、再構築されたブロックを発生させることとを含む方法。
5. 第１の空間モードに対する１組の変換関数は、第２の空間モードに対する１組の変換関数とは異なる請求項４記載の方法。
6. １組の画素値を含む画像ブロックをエンコード化する装置において、
   前記装置は、
   近傍画素に基づいて前記画像ブロック中の画素を予測する空間モードを選択し、予測されたブロックを発生させる空間予測器であって、前記予測されたブロックと前記画像ブロックとの間の差は予測誤差を含む空間予測器と、
   少なくとも１つの変換関数を使用して前記予測誤差を変換し、前記少なくとも１つの変換関数に対応する少なくとも１つの変換係数を発生させる変換モジュールとを具備し、
   前記変換モジュールは、前記空間モードに基づいて、前記少なくとも１つの変換関数を選択する装置。
7. 第１の空間モードに対する１組の変換関数は、第２の空間モードに対する１組の変換関数とは異なる請求項６記載の装置。
8. 前記装置は集積回路である請求項６記載の装置。
9. 前記装置はワイヤレスハンドセットである請求項６記載の装置。
10. １組の画素値を含む画像ブロックを再構築する装置において、
    前記装置は、
    予測されたブロックを発生させ、前記予測されたブロック中の画素を近傍画素に基づいて発生させる空間モードを受信する逆空間予測器と、
    予測誤差を発生させ、前記空間モードと、少なくとも１つの変換関数に対応する少なくとも１つの変換係数とを受け取り、さらに、前記空間モードに基づいて前記少なくとも１つの変換関数を選択する逆変換モジュールとを具備し、
    前記装置は、前記予測されたブロックと前記予測誤差とを組み合わせることによって、前記画像ブロックを再構築する装置。
11. 第１の空間モードに対する１組の変換関数は、第２の空間モードに対する１組の変換関数とは異なる請求項１０記載の装置。
12. 前記装置は集積回路である請求項１０記載の装置。
13. 前記装置はワイヤレスハンドセットである請求項１０記載の装置。
14. １組の画素値を含む画像ブロックをエンコード化する装置において、
    前記装置は、
    予測されたブロックを近傍画素に基づいて発生させる空間モードを選択する手段であって、前記画像ブロックと前記予測されたブロックとの間の差は予測誤差を含む手段と、
    少なくとも１つの変換関数を使用して、前記予測誤差を少なくとも１つの変換係数に変換する手段であって、前記少なくとも１つの変換関数は、前記空間モードに基づいて選択される手段とを具備する装置。
15. 前記装置は集積回路である請求項１４記載の装置。
16. 前記装置はワイヤレスハンドセットである請求項１４記載の装置。
17. １組の画素値を含む画像ブロックをエンコード化するコンピュータプログラムプロダクトにおいて、
    前記プロダクトは、
    近傍画素に基づいて前記画像ブロック中の画素を予測する空間モードをコンピュータに選択させるためのコードと、
    前記近傍画素と前記選択された空間モードとに基づいて、前記画像ブロックに対して予測されたブロックをコンピュータに発生させるためのコードと、
    前記画像ブロックと前記予測されたブロックとの間の予測誤差をコンピュータに計算させるためのコードと、
    前記選択された空間モードに基づいて、前記予測誤差を表すための少なくとも１つの変換関数をコンピュータに選択させるためのコードと、
    前記少なくとも１つの変換関数を使用して前記予測誤差を変換して、少なくとも１つの変換係数をコンピュータに導出させるためのコードと、
    を含むコンピュータ読み取り可能媒体を備えるコンピュータプログラムプロダクト。
18. １組の画素値を含む画像ブロックを再構築するコンピュータプログラムプロダクトにおいて、
    前記プロダクトは、
    近傍画素に基づいて前記画像ブロック中の画素を予測する空間モードをコンピュータに受信させるためのコードと、
    前記空間モードと近傍画素とに基づいて、予測されたブロックをコンピュータに発生させるためのコードと、
    前記空間モードに基づいて、前記予測誤差を表すための少なくとも１つの変換関数をコンピュータに選択させるためのコードと、
    前記少なくとも１つの変換関数に対応する少なくとも１つの変換係数をコンピュータに受け取らせるためのコードと、
    前記少なくとも１つの変換関数と、前記少なくとも１つの変換係数とに基づいて、前記予測誤差をコンピュータに発生させるためのコードと、
    前記予測されたブロックと前記予測誤差とを組み合わせて、再構築されたブロックをコンピュータに発生させるためのコードと、
    を含むコンピュータ読み取り可能媒体を備えるコンピュータプログラムプロダクト。

Images