JP2009545935A

JP2009545935A - 符号化及び復号方法、その方法を実行する装置、並びにビットストリーム

Info

Publication number: JP2009545935A
Application number: JP2009523130A
Authority: JP
Inventors: クーチンチェン; シャオドング; ジーボチェン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2006-08-04
Filing date: 2006-08-04
Publication date: 2009-12-24
Also published as: EP2047603A4; BRPI0621892A2; CN101501998A; WO2008017209A1; US20090304292A1; EP2047603A1

Abstract

本発明は、画像内の重なり合わない複数のブロックを符号化する方法に関する。前記方法は以下のステップを備える。即ち、予め定義された変換を実行することにより、周波数領域内でブロックの各々を係数の変換ブロックに変換するステップ（１０）と、予め定義された走査パターンにより、最低周波数から最高周波数まで、少なくとも２つの隣接した変換ブロックを一緒に走査するステップであって、前記少なくとも２つの隣接した変換ブロックのグループはスーパーブロックと呼ばれるステップ（４０）と、前記走査されたスーパーブロックの係数を、エントロピー符号化されたビットのグループに、エントロピー符号化するステップ（５０）である。

Description

本発明は、画像のシーケンスを符号化するための方法に関する。また、この方法を実行する符号化装置に関する。

重なり合わない画素のブロックに分割された画像のシーケンスを符号化するための方法のほとんどが、各ブロックに対する以下のステップを含む。すなわち、
予め定義された変換を実行することにより、そのブロックを係数の変換ブロックに変換するステップと、
ジグザグパターンにより、変換ブロックの係数を走査するステップと、
走査された変換ブロックの係数を、エントロピー符号化されたビットのグループにエントロピー符号化するステップとである。
この変換ステップは通常、予測ステップに続いて実行される。予測ステップの後、ＤＣＴ（離散コサイン変換）又は簡略化した整数変換を適用することにより、残余のブロックが係数の変換ブロックに変換される。残余は空間領域（spatial domain）にあるが、係数は周波数領域（frequency domain）にある。変換ステップの後は通常、量子化された係数のブロックを取得するための量子化ステップが続いて実行される。量子化された係数は次いで、更に係数内部で統計的な余分な分を取り除くため、エントロピー符号化される。結局「変換ブロック」という単語は、単に変換されたブロックか、又は、変換され及び量子化されたブロックのいずれかを意味する。各変換ブロックの係数は通常、４×４の係数の１つのブロックについて図１で示すようなジグザグパターンに従って、エントロピー符号化の前に走査される。この走査パターンによると、より低いエネルギーを有する係数、即ち、高周波数係数が最後に走査されるのに対して、より高いエネルギーを有する低周波数係数は最初に走査される。ジグザグパターンはこのように、変換ブロック内部の係数のリスト内で、左上の係数から右下の係数まで、係数を再配置する。統計学的に０より大きい係数がリストの最後に配置され、その結果符号化されないので、エントロピー符号化ステップにおいてこの走査パターンを用いることは有益である。

本発明は、画像内の重なり合わない複数のブロックを符号化する方法に関する。この方法は以下のステップを含む。即ち、
周波数領域内で予め定義された変換を実行することにより、ブロックの各々を係数の変換ブロックに変換するステップと、
予め定義された走査パターンにより、最低周波数から最高周波数まで、スーパーブロックと呼ばれる少なくとも２つの隣接した変換ブロックにわたって走査するステップと、
走査されたスーパーブロックの係数を、エントロピー符号化されたビットのグループにエントロピー符号化するステップである。

有利に、この符号化の方法は、画像の所与のシーケンスを符号化するときに、より効果的に係数を走査することにより、ビットを保存することを可能にする。より詳細には、複数の変換ブロックにわたって係数を走査することにより、より多くの統計上の余分な分を取り除く。

一実施形態によると、スーパーブロックの各ブロックに適用される予め定義された変換は、最高周波数係数がスーパーブロックの外側に置かれるのに対し、最低周波数係数がスーパーブロックの中心に置かれるというものである。

別の実施形態によると、予め定義された同じ変換はスーパーブロックの各ブロックに適用され、この変換ステップは続いて、スーパーブロック内部で係数を再配置するための転置ステップがあり、最高周波数係数がスーパーブロックの外側に置かれるのに対して、最低周波数係数がスーパーブロックの中心に置かれる。

ある明確な特徴によれば、走査パターンはらせんパターンである。他の特徴によれば、予め定義された変換は離散コサイン変換であって、スーパーブロックは２つのブロックの２列から構成される。

本発明はまた、重なり合わない画素のブロックに分割された画像のシーケンスを符号化するための装置にも関し、その装置は以下を備える。即ち、
周波数領域内で予め定義された変換を実行することにより、ブロックの各々を係数の変換ブロックに変換する手段と、
係数を走査する手段と、
走査された係数を、エントロピー符号化されたビットのグループに符号化するエントロピー符号化手段とである。
一実施形態によると、走査手段は、予め定義された走査パターンにより、最低周波数から最高周波数まで、少なくとも２つの隣接した変換ブロックにわたって係数を走査するように構成されている。

本発明は、ＭＰＥＧタイプのビットストリームに関係する。最初の実施形態によると、ビットストリームは、一画像の少なくとも一部分の符号化のために使用される予め定義された走査パターンのサイズが変換ブロックのサイズより大きいかどうか、又は予め定義された走査パターンのサイズが変換ブロックのサイズと等しいかどうかを示す、少なくとも一つのビットを含む。別の実施形態によると、ビットストリームは、画像のグループの符号化のために使用される予め定義された走査パターンのサイズが変換ブロックのサイズより大きいかどうか、又は予め定義された走査パターンのサイズが変換ブロックのサイズと等しいかどうかを示す、少なくとも一つのビットを含む。

本発明の他の特徴及び有利な点が、いくつかの本発明の実施形態に関する以下の説明とともに明らかになり、この説明は、以下の図と関連して作成されている。

現在の技術水準による４×４ピクセルのブロックに対する走査パターンを示す図である。４×４ピクセルの２つのブロックの２列から構成されるスーパーブロックを示す図である。本発明による４×４ピクセルの２つのブロックの２列から構成されるスーパーブロックの、左上の４×４ピクセルのブロックの転置を示す図である。本発明による４×４ピクセルの２つのブロックの２列から構成されるスーパーブロックの、右上の４×４ピクセルのブロックの転置を示す図である。本発明による４×４ピクセルの２つのブロックの２列から構成されるスーパーブロックの、左下の４×４ピクセルのブロックの転置を示す図である。本発明により係数が再配置されたスーパーブロックを示す図である。本発明による走査パターンと同様の第一のらせんを示す図である。本発明による走査パターンと同様の第二のらせんを示す図である。本発明による走査パターンと同様の第三のらせんを示す図である。本発明による走査パターンと同様の第四のらせんを示す図である。本発明による走査パターンと同様の第五のらせんを示す図である。本発明による走査パターンと同様の第六のらせんを示す図である。本発明による走査パターンと同様の第七のらせんを示す図である。本発明による走査パターンと同様の第八のらせんを示す図である。本発明による走査パターンを示す図である。本発明の第一の実施形態による符号化方法の流れ図を示す図である。本発明の第二の実施形態による符号化方法の流れ図を示す図である。本発明の第三の実施形態による符号化方法の流れ図を示す図である。本発明の一実施形態による復号方法の流れ図を示す図である。本発明による符号化装置を示す図である。本発明による復号装置を示す図である。

ＭＰＥＧ２ビデオ符号化標準において、変換ステップを８×８ピクセルの各ブロックに適用して、エントロピー符号化ステップを８×８係数の各変換ブロックに適用する。Ｈ．２６４／ＡＶＣベースラインプロファイル、メインプロファイル、及び拡張プロファイルにおいて、変換ステップを４×４ピクセルの各ブロックに適用して、エントロピー符号化ステップを４×４係数の各変換ブロックに適用する。以上の符号化方法は、異なる隣接の変換ブロック間の統計的な相互関係を切り離し、それ故にエントロピー符号化ステップの符号化効率の更なる向上を制限する。

この目的のため、本発明によると、エントロピー符号化ステップは少なくとも２つの隣接した変換ブロックから構成されるスーパーブロックに関し実行される。従って、エントロピー符号化ステップは改良され、圧縮効率も改良される。係数は従って、４つの隣接した変換ブロックＡ、Ｂ、Ｃ、及びＤに関する図７から図１４に示すように、変換ブロックにわたって走査される。以下の実施形態の詳細な説明において、本発明を実行することが可能な具体的な実施形態を例示として示す添付図面に対して、参照がなされる。これらの図の同様の要素（ステップ又はモジュール）には、同じ参照番号を付与する。

好ましい一実施形態によると、図１６に示す方法は以下のステップを含み、そのステップはスーパーブロックに適用される。即ち、
周波数領域内で予め定義された変換Ｍを適用することにより、スーパーブロックのブロックの各々を係数の変換ブロックに変換するステップ１０と、
最高周波数係数がスーパーブロックの外側に置かれる一方で、最低周波数係数がスーパーブロックの中心に集まることができるように、必要な場合、係数のブロックの各々を転置するステップ２０と、
図７に示すように、最低周波数係数を有するスーパーブロックの中心から始まり、最高周波数係数を有するスーパーブロックの外側まで、らせんパターンにより前記スーパーブロックの係数を走査するステップ４０と、
前記スーパーブロックの走査された係数を、エントロピー符号化されたビットのグループにエントロピー符号化するステップ５０である。
量子化ステップ３０はもしあれば、図１６に示すように転置ステップの後、又は図１７で示すように転置ステップの前で実行される。

図１８の別の実施形態によると、専用の転置された変換Ｍ^tを各ブロックに直接適用することにより、スーパーブロックの各ブロックはステップ１１単独で変換及び転置されて、生成された係数は図７に示すようにスーパーブロック内の正しい場所に直接置かれる。即ち、最高周波数係数がスーパーブロックの外側に置かれるのに対して、最低周波数係数はスーパーブロックの中心に集められる。

具体的な一実施形態によると、図２に示すようにスーパーブロックは４つの変換ブロックから構成される。即ち、第１の変換ブロックＡ（左上のブロック）、第２の変換ブロックＢ（右上のブロック）、第３の変換ブロックＣ（左下のブロック）、第４の変換ブロックＤ（右下のブロック）である。この図には、最新技術によるジグザグパターンもまた示されている。各ブロックの最低周波数係数をスーパーブロックの中心に集めるために、ブロックＤは変化しないままであるが、ブロックＡ、Ｂ、及びＣが転置される（ステップ２０）。図３に示すブロックＡの中での係数の転置は、点対称である。図４に示すブロックＢの中での係数の転置は、本質的に、第１と第４の行を交換すること、及び第２と第３の行を交換することである。図５に示すブロックＣの中での係数の転置は、本質的に、第１と第４の列を交換すること、及び第２と第３の列を交換することである。転置ステップ２０の後で、図６に示すように、最高周波数係数がスーパーブロックの外側に置かれるのに対して、４つのブロックＡ、Ｂ、Ｃ、及びＤの最低周波数係数はスーパーブロックの中心に集められる。

好ましい一実施形態によると、スーパーブロック内部の係数は、図７から図１４に示すように、らせん走査パターンにより最低周波数係数から最高周波数係数まで走査される（ステップ４０）。この過程は輝度ブロック及びクロミナンスブロックに別々に適用される。

別の実施形態によると、係数は、明示的には、転置されない。最低周波数係数は最初に走査され、最高周波数係数は最後に走査されるように、図２、即ち変換ステップ１０の後の係数は、図１５に示す係数のように、スーパーブロック内部で１つの走査パターンにより走査される。この図に関し、理解しやすいように、変換ステップ１０の後の係数の走査順を示すのに、矢印のかわりに番号を使用する。

より一般的に、本発明では、最低周波数係数から開始し最高周波数係数で終わる２個以上の変換ブロックの範囲にわたる走査パターンのような任意のらせんも用いる。従って、らせんパターンは、図７から図８に示すように、時計回りの方向に向きを変えることが可能であり、反時計回りの方向に、又は図９に示すように一部は時計回りの方向、一部は反時計回りの方向に向きを変えることが可能である。走査パターンはまた、垂直方向と水平方向の間で異なる優先度を付与することも可能である。例えば、画像のインターレースシーケンスを符号化するための走査パターンは、水平方向の係数の間により高い相互関係が存在するので、符号化効率を改善するために、垂直方向により高い優先度を付与することが可能である。図１０では、理解しやすいように、転置ステップ２０後の係数の走査順を示すのに、矢印のかわりに番号を使用する。本発明は、４×４画素のブロックに関して説明されるが、８×８画素のブロック、又はさらに大きいブロックにも適用することが可能である。加えて、スーパーブロックはまた、４つのブロックよりも多くのブロックから構成することもできる。スーパーブロックが変換ブロックよりも大きいことが、唯一の制限である。

本発明の別の実施態様によると、スーパーブロック内部のブロックのいくつかがオールゼロのブロックとなる、即ちブロックの全ての係数がゼロと等しくなる場合、走査パターンが変更される。例えば、変換ブロックＡ及びＤがオールゼロブロックになると、図７に示すスキャンパターンは、図１１に示す走査パターンに変えられる。即ちブロックＡ及びＤの係数が走査ステップ４０の間、スキップされる。このように走査パターンが変更されると、これらの２個のブロックのゼロ係数がもはや符号化されないため、より多くのビットを保存することが可能になる。走査パターンを変更した別の例を、図１２に示す。この走査パターンの変更は、ブロックＣ及びＤがオールゼロブロックの場合に、有効である。Ｂ及びＣがオールゼロブロックの場合並びにＢ及びＤがオールゼロブロックの場合、図１３並びに１４はそれぞれ変更された走査パターンを示す。

好ましい一実施形態によると、画像のシーケンスは、らせん型の走査パターンを有する転置変換、及び従来の走査パターンを有する従来の変換の両方を使用して符号化され、いずれを使用するかはマクロブロック、スライス、画像又はＧＯＰ（ＧＯＰは画像のグループを表す）レベルで選択される。これを目的として、走査パターン４０を、変換されるブロックより大きいスーパーブロックに適用するかどうか、又は変換されるブロックの各々に適用するかどうかを示すための、１又は複数のビットがビットストリームに挿入される。より詳細には、従来の変換及び走査パターンを使用するかどうか、又は本発明による転置変換及び走査パターンを使用して画像データを符号化するのかどうかを示すため、１または複数のビットが挿入される。このビットは、マクロブロック、スライス、画像又はＧＯＰレベルで挿入され、従って、１つの変換／走査処理から他方への切り替えは、マクロブロック、スライス、画像又はＧＯＰレベルでそれぞれ実行される。いずれで処理するかは、例えばレート歪み基準に基づく符号化装置により選択される。

本発明はまた、図１９に示す復号方法も用いる。この方法が適用され、本発明による符号化方法により生成されたビットのグループが復号される。この復号方法は以下のステップを含む。即ち、
周波数領域内で係数の組において少なくとも一つのビットのグループを復号するステップ６０と、
符号化方法のステップ４０の過程を逆にすることにより、係数のブロック内で係数を再配置するステップ７０と、
符号化方法の転置ステップ２０の過程を逆にするために、係数を転置するステップ８０と、
逆変換Ｍ^-1を適用することにより、係数の前記ブロックを変換するステップ１００である。
別の実施形態によると、復号方法はまた、係数を逆量子化するステップ９０も含む。このステップ９０は、転置ステップ８０の前あるいは、転置ステップ８０の後に実行される。

本発明はまた、本発明による方法を実行する図２０に示す符号化装置１も用いることができる。その符号化装置は以下のモジュールを備える。即ち、
変換、及び変換ブロック内で画素のブロックを可能な限り量子化するモジュール１００と、
係数の変換ブロックを転置するモジュール１１０と、
本発明による係数を走査するモジュール１２０と、
本発明により走査された係数をエントロピー符号化するモジュール１３０である。
明示的に係数が転置されない場合、及び図１５の走査パターンにより係数が直接に走査される場合、モジュール１１０は必要ない。符号化装置は更に以下のモジュールを備えることができる。即ち、
残差のブロックＲ_nを計算するために使用する予測ブロックＰを計算するイントラ／インター予測モジュール１４０と、
この予測モジュール１４０によって使用される、運動ベクトルを見積もるモジュール１５０と、
逆変換を実行し可能な限り係数を逆量子化して、残差のブロックＲ'_nを再構成するモジュール１６０と、
再構成されたブロックＩ'_nを格納するためのメモリ１７０である。
本発明は、図２１に示すように復号装置２にも適用することができる。復号装置２は、符号化装置１により生成されたビットのグループを復号するために使用し、本発明による復号方法を実行する。復号装置２は以下のモジュールを備える。即ち、
周波数領域内で、係数の組においてビットのグループを復号するモジュール２００と、
符号化方法のステップ４０の過程を逆にすることにより、係数のブロックにおいて係数を再配置するモジュール２１０と、
符号化方法の転置ステップ２０の過程を逆にするために、係数を転置するモジュール２２０と、
逆変換Ｍ^-1を適用することにより、係数の前記ブロックを変換し、可能な限り係数を逆量子化するモジュール２３０である。

図２０及び図２１において示すモジュールは機能ユニットであり、そのユニットは物理的に別個のユニットに対応してもよいし、又は対応しなくてもよい。例えば、これらのモジュール又はユニットのいくつかは、単一のコンポーネントに一緒にすることが可能であり、又は同一のソフトウェアの機能を構成することが可能である。反対に、一定のモジュールは、場合によって、別々の物理的要素から構成することが可能である。

Claims

予め定義された変換を実行することにより、周波数領域内でブロックの各々を係数の変換ブロックに変換するステップ（１０）と、
予め定義された走査パターンにより、最低周波数から最高周波数まで、少なくとも２つの隣接した変換ブロックにわたって前記係数を走査するステップ（４０）であって、前記少なくとも２つの隣接した変換ブロックのグループはスーパーブロックと呼ばれるステップと、
前記スーパーブロックの前記走査された係数を、エントロピー符号化されたビットのグループに、エントロピー符号化するステップ（５０）と
を備えることを特徴とする画像内の重なり合わない複数の前記ブロックを符号化する方法。
請求項１に記載の方法において、前記スーパーブロック（１１）の各ブロックに対し実行される前記予め定義された変換は、最高周波数係数が前記スーパーブロックの外側に置かれるのに対し、最低周波数係数が前記スーパーブロックの中心に置かれるようにする変換であることを特徴とする方法。
請求項１に記載の方法において、前記予め定義された変換と同一の変換は前記スーパーブロックの各ブロックに対し実行され、前記変換ステップ（１０）の後に、最高周波数係数が前記スーパーブロックの外側に置かれる一方、最低周波数係数が前記スーパーブロックの中心に置かれるように、前記スーパーブロック内部で前記係数を再配置するための転置ステップ（２０）を実行することを特徴とする方法。
請求項２又は３に記載の方法において、前記走査パターンは、らせんパターンであることを特徴とする方法。
請求項４に記載の方法において、前記予め定義された変換は、離散コサイン変換であることを特徴とする方法。
請求項１乃至５のいずれかに記載の方法において、前記スーパーブロックは、２つのブロックの２列から構成されることを特徴とする方法。
重なり合わないブロックに分割された画像のシーケンスを符号化する装置（１）であって、
予め定義された変換を実行することにより、周波数領域内で前記ブロックの各々を変換ブロックに変換する手段（１００）と、
前記係数を走査する手段（１２０）と、
前記走査された係数をエントロピー符号化されたビットのグループに符号化するエントロピー符号化手段（１３０）と
を備え、
前記走査する手段（１２０）は、予め定義された走査パターンにより、最低周波数から最高周波数まで、少なくとも２つの隣接した変換ブロックにわたって係数を走査するように構成されることを特徴とする装置。
ＭＰＥＧのビットストリームにおいて、前記ビットストリームは、一画像の少なくとも一部分の符号化のために使用される予め定義された走査パターンのサイズが変換ブロックのサイズより大きいかどうか、又は予め定義された走査パターンの前記サイズが変換ブロックのサイズと等しいかどうかを示す、少なくとも１つのビットを備えることを特徴とするビットストリーム。
ＭＰＥＧのビットストリームにおいて、前記ビットストリームは、画像のグループの符号化のために使用される予め定義された走査パターンのサイズが変換ブロックのサイズより大きいかどうか、又は予め定義された走査パターンの前記サイズが変換ブロックのサイズと等しいかどうかを示す、少なくとも１つのビットを備えることを特徴とするビットストリーム。