JP2012124896A - 低遅延階層のｂグループを有するピクチャ構造を用いた動画像符号化の方法及び装置 - Google Patents

Abstract

【課題】低遅延階層Ｂ ＧＯＰ構造を提供する。
【解決手段】複数のピクチャを有するビデオシーケンスを符号化する方法であって、複数のピクチャを１セットのグループオブピクチャに分割するステップ、各グループオブピクチャを階層構造で少なくとも２つの時間層に分割するステップ、及びＩピクチャ、またはＢピクチャとして各ピクチャをグループオブピクチャに符号化するステップを含み、低遅延Ｂピクチャは、参照ピクチャリスト０及び参照ピクチャリスト１からの参照ピクチャを用い、リスト０及びリスト１からの参照ピクチャは、表示順序で低遅延Ｂピクチャより前のピクチャのみを含み、Ｉピクチャは、最も低い時間層にのみ用いられ、少なくとも１つの低遅延Ｂピクチャは、最も低い時間層でなく用いられ、且つ第１時間層第１ピクチャは、第１時間層より高いどの時間層のどのピクチャも参照しない方法。
【選択図】図４

Description

本発明は、動画像符号化に関し、特に、本発明は、動き補償符号化のピクチャ（ｐｉｃｔｕｒｅ）構造と関連した符号化技術に関するものである。

動画像符号化システムでは、時間冗長性は、時間予測を用いて有効に使用され、伝送または保存される画像データを減らす、ことが知られている。ビデオシーケンスの隣接のピクチャは、しばしば大きな類似点を有し、ピクチャ差分（ｐｉｃｔｕｒｅ ｄｉｆｆｅｒｅｎｃｅ）を単に用いるだけで、静的な背景（ｂａｃｋｇｒｏｕｎｄ）領域と関連する伝送情報を効果的に減らすことができる。しかしながら、ビデオシーケンスの移動物体またはパン／ズームシーンは、実質的な残差となり、残差を符号化するためにはより高いビットレートを必要とする。その結果、ビデオシーケンスの時間的相関関係を活用するように動き補償予測（ＭＣＰ）がしばしば用いられる。ＭＣＰシステムでは、イントラ符号化は、最初のピクチャ（またはイントラピクチャ；Ｉピクチャ）を伝送するように用いられ、Ｉピクチャは、周期的に挿入されて、圧縮されたビデオデータに迅速にアクセスさせる、またはエラー伝播を低減するようにさせる。

例えば、ＭＰＥＧ−１／２の古い符号化システムでは、ビデオシーケンスは、グループオブピクチャ（ＧＯＰ）にまとめられ、異なるタイプのＧＯＰは、異なるアプリケーションに用いられる。ビデオシーケンスは、圧縮した画像に完全なランダムアクセスできるＩピクチャのみを用いて符号化される。しかしながら、このようなシステムが低い計算量を有する時、符号化効率は低い。ＩＰＰＰ ＧＯＰ構造は、Ｉピクチャ及び予測ピクチャ（Ｐピクチャ）で構成され、Ｐピクチャは前方向動き予測を用いて行われる。ＩＰＰＰ ＧＯＰ構造は、通常、Ｉピクチャのみの処理よりも、はるかに良い符号化効率を実現する。しかしながら、ＩＰＰＰ ＧＯＰ構造と関連した計算量は、必要な動き推定処理による、Ｉピクチャのみの処理よりも、はるかに高い。ＩＰＰＰ ＧＯＰ構造に基づいたシステムは、現在のピクチャの処理が以前に符号化されたピクチャのみによって決まり、且つ未来のピクチャを待つ必要がないため、低処理遅延となる。従って、ＩＰＰＰ ＧＯＰ構造は、テレビ会議などの低遅延アプリケーションに適する。ＩＢＢＰ ＧＯＰ構造は、ＭＰＥＧ−１／２標準で広く用いられている別のＧＯＰ構造である。Ｉピクチャ及びＰピクチャの他に、ＩＢＢＰ ＧＯＰ構造は、ＩピクチャとＰピクチャとの間または２つのＰピクチャとの間に、１つ以上のＢピクチャを用いている。ＭＰＥＧ−１／２標準では、Ｂピクチャは、表示順序の１つの過去のピクチャ及び１つの未来のピクチャに基づく双方向予測のピクチャである。ＩＢＢＰ ＧＯＰ構造は、双方向動き推定のため、より高い計算量を要する。しかしながら、ＩＢＢＰ ＧＯＰ構造は、ＩＰＰＰ ＧＯＰ構造を上回る、更なるビットレート低減を実現できる。

Ｈ．２６４／ＡＶＣでは、予測タイプの構築（ｅｓｔａｂｌｉｓｈｍｅｎｔ）の粒度がスライスと呼ばれる下位レベルに基づいて適用される。スライスは、同じ画像の任意の他の領域から離してエンコードされた画像の空間的に異なる領域である。Ｈ．２６４／ＡＶＣでは、Ｉスライス、Ｐスライス、及びＢスライスは、Ｉピクチャ、Ｐピクチャ、及びＢピクチャの代わりに、それぞれの予測タイプで符号化された領域を指すのに用いられる。通常、画像は、マクロブロックに分割され、個別の予測タイプがマクロブロックに基づいて選択され得る。Ｈ．２６４／ＡＶＣでは、Ｉピクチャは、イントラマクロブロックのみを含むことができ、Ｐピクチャは、イントラマクロブロックまたは予測のマクロブロックを含むことができ、双（Ｂｉ）方向予測ピクチャ（Ｂピクチャ）は、イントラマクロブロック、予測マクロブロック、または、双方向マクロブロックを含むことができる。Ｈ．２６４／ＡＶＣ及び新規高効率動画像圧縮符号化（ＨＥＶＣ）では、予測ピクチャは、参照用に従前に復号された複数のピクチャを用いることができ、予測フレームは、予測に用いられるピクチャに対して任意の表示順序の関係を有することができる。ＭＰＥＧ−１／２標準のＢピクチャは、双方向予測を用いて符号化されたピクチャを参照し、Ｈ．２６４及びＨＥＶＣのＢピクチャは、参照ピクチャリスト０及び参照ピクチャリスト１の両方の参照ピクチャを用いることが可能な双予測ピクチャを参照する。

Ｈ．２６４及びＨＥＶＣでは、階層Ｐ ＧＯＰ構造及び階層Ｂ ＧＯＰ構造を含む階層ＧＯＰ構造は、時間スケーラビリティを可能にするように用いられている。一方、低遅延Ｂ ＧＯＰ構造において、用いられる全てのＢピクチャは、リスト０及びリスト１からの参照ピクチャを用いる低遅延Ｂピクチャであること、及び、リスト０及びリスト１からの参照ピクチャが表示順序でＢピクチャより前のピクチャのみを含むこと、が開示されている。階層ＧＯＰ構造及び低遅延Ｂピクチャの低遅延特徴によって提供される高い符号化効率及び時間スケーラビリティを生かすことができる新しいＧＯＰ構造を開発することが望ましい。よって、本発明は、低遅延階層Ｂ ＧＯＰ構造を開示する。

低遅延階層Ｂ ＧＯＰ構造を提供する。

複数のピクチャを有するビデオシーケンスを符号化する方法及び装置が開示される。本発明に基づく１つの実施形態では、複数のピクチャを有するビデオシーケンスを符号化する方法及び装置は、複数のピクチャを１セットのグループオブピクチャに分割するステップ、各グループオブピクチャを階層構造で少なくとも２つの時間層に分割するステップ、及びＩピクチャ、低遅延Ｂピクチャ、またはＰピクチャとして各ピクチャをグループオブピクチャに符号化するステップを含む。Ｉピクチャは、最も低い時間層にのみ用いられ、且つグループオブピクチャに用いられる少なくとも１つの低遅延Ｂピクチャがある。時間階層構造に基づき、より低い時間層のピクチャは、より高い時間層のどのピクチャも参照しない。より良いシステムパフォーマンスを実現するために、本発明に基づく実施形態は、より高い時間層のピクチャの量子化パラメータよりも、より低い時間層のピクチャのより小さい量子化パラメータを用いる。最も低い時間層では、Ｉピクチャは、周期的に挿入される。最も高い時間層では、符号化されたピクチャは、参照ピクチャまたは非参照ピクチャである。

本発明は、高い符号化効率及び時間スケーラビリティを生かすＧＯＰ構造を提供することができる。

図１は２つの参照ピクチャを用いた低遅延ＩＰＰＰ ＧＯＰ構造を示している。 図２は２つの参照ピクチャを用いた低遅延ＩＢＢＢ ＧＯＰ構造を示している。 図３は１つまたは２つの参照ピクチャを用いた低遅延階層Ｐ ＧＯＰ構造を示している。 図４は本発明の実施の形態に基づいた１つまたは２つの参照ピクチャを用いた低遅延階層Ｂ ＧＯＰ構造の例を示している。 図５は図４のビデオシーケンスに対応した時間階層構造を示している。

動画像符号化システムでは、時間冗長性は、保存又は伝送される画像データを減らすために、時間予測を用いる。ビデオシーケンスの隣接のピクチャは、しばしば大きな類似点を有し、ピクチャ差分（ｐｉｃｔｕｒｅ ｄｉｆｆｅｒｅｎｃｅ）を用いるだけで、静的な背景（ｂａｃｋｇｒｏｕｎｄ）領域と関連する伝送情報を効果的に減少できる。しかしながら、ビデオシーケンスの移動物体及びパン／ズームシーンは、実質的な予測残差となり、その結果、残差を符号化するためにより高いビットレートを必要とする。従って、ビデオシーケンスの時間的相関関係を活用するように動き補償予測（ＭＣＰ）がしばしば用いられる。ＭＣＰシステムでは、イントラ符号化は、初期ピクチャ（またはＩピクチャ）を伝送するように用いられ、Ｉピクチャは、圧縮されたビデオデータに迅速にアクセスするために、または、エラー伝播を低減するために、周期的に挿入される。

動き補償予測は、現在のピクチャのブロックが、表示順序で現在のピクチャの前にある復号されたピクチャまたはピクチャを用いて予測される、前方向予測方法に用いられる。前方向予測に加えて、後方向予測も動き補償予測の性能を改善するために用いられる。後方向予測は、表示順序で現在のピクチャの後の復号されたピクチャまたはピクチャを用いる。Ｈ．２６４／ＡＶＣの第１版が２００３年に終了されるため、前方向予測及び後方向予測は、参照ピクチャリスト０予測及び参照ピクチャリスト１予測にそれぞれ拡張される。リスト０及びリスト１の両方は、表示順序で現在のピクチャより前または後の複数の参照ピクチャを含み得る。

“フレーム”及び“ピクチャ”の用語は、この分野ではしばしば区別しないで用いられるが、厳密に言えば、用語“ピクチャ”は、フレームまたはフィールドのいずれかと呼ばれ、より一般的な概念である。一方、フレームは、フレーム周期中に取り込まれる完全な画像であり、フィールドは、奇数フィールドと呼ばれる奇数のスキャニングライン、または偶数フィールドと呼ばれる偶数のスキャニングラインを含む。ビデオがインターレースフォーマットで形成された時、ビデオの各フレームは、奇数フィールド及び偶数フィールドとして伝送される。他のピクチャを予測するために参照として用いられるピクチャは、参照ピクチャと呼ばれる。他のピクチャを予測するために参照として用いられないピクチャは、非参照ピクチャと呼ばれる。ピクチャが他のピクチャを参照することなく符号化される時、ピクチャはＩピクチャと呼ばれる。単一の動きベクトルを用いて各領域の予測をするピクチャは、Ｐピクチャと呼ばれる。同様に、２つの動きベクトルに各領域の予測をさせるピクチャは、Ｂピクチャと呼ばれる。

Ｈ．２６４／ＡＶＣでは、予測タイプの構築（ｅｓｔａｂｌｉｓｈｍｅｎｔ）の粒度がスライスと呼ばれる下位レベルに基づいて適用される。スライスは、同じ画像の任意の他の領域から離してエンコードされた画像の空間的に異なる領域である。Ｈ．２６４／ＡＶＣでは、Ｉスライス、Ｐスライス、及びＢスライスは、Ｉピクチャ、Ｐピクチャ、及びＢピクチャの代わりに、それぞれの予測タイプで符号化された領域を指すのに用いられる。通常、画像は、マクロブロックに分割され、個別の予測タイプがマクロブロックに基づいて選択され得る。ピクチャと関連した予測タイプは、以下のようにＨ．２６４／ＡＶＣに定義される。
Ｉピクチャは、イントラマクロブロックのみを含み得る。
Ｐピクチャは、イントラマクロブロックまたは予測のマクロブロックを含み得る。
Ｂピクチャは、イントラ、予測、または双方向マクロブロックを含み得る。
同様に、フレームは、フレームに用いる予測タイプに従って、Ｉフレーム、Ｐフレーム、及びＢフレームと表される。

例えば、ＭＰＥＧ−１／２のような、従前の動画像符号化標準の予測フレーム（またはＰフレーム／ピクチャ／スライス）では、表示順序で１つの以前に復号されたピクチャのみが参照される。しかしながら、Ｈ．２６４／ＡＶＣでは、予測フレームは、複数の以前に復号されたピクチャを参照として用いることができ、予測フレームは、予測に用いられるピクチャに関する任意の表示順序の関係を有することができる。双方向予測フレーム（またはＢフレーム／ピクチャ／スライス）では、双方向予測フレームは、２つの異なる以前に復号された参照領域を用いて得られた予測を平均することによって、動き領域（例えば、マイクロブロック、またはより小さい領域）の予測を形成する予測モードを更に含むことができる。例えば、ＭＰＥＧ−１／２などのような、従前の動画像符号化標準では、前の表示順序に対応する１つのピクチャと、現在のピクチャに対して後の表示に対応する１つのピクチャとの２つの既に復号されたピクチャのみが参照として用いられる。更に、ＭＰＥＧ−１／２では、Ｂフレームは、他のピクチャを復号するための参照として用いられない。しかしながら、Ｈ．２６４／ＡＶＣでは、Ｂフレームは、復号中、参照として２つ以上の既に復号されたピクチャを用いることができ、Ｂフレームは、その予測に用いられるピクチャに対して任意の表示順序の関係を有することができる。Ｂフレームは、Ｈ．２６４／ＡＶＣの他のピクチャを復号するために参照として用いられることもできる。

種々の予測タイプの中で、Ｉフレーム（またはＩフレーム／ピクチャ／スライス）には、Ｐフレーム（またはＰフレーム／ピクチャ／スライス）及びＢフレーム（またはＢフレーム／ピクチャ／スライス）より、より高いビットレートが割り当てられ、より良いシステムパフォーマンスを実現する。また、Ｐフレーム（またはＰフレーム／ピクチャ／スライス）には、通常、Ｂフレーム（またはＢフレーム／ピクチャ／スライス）より、より高いビットレートが割り当てられ、より良いシステムパフォーマンスを実現する。ビットレート割り当ての構造は、通常、量子化パラメータ（ＱＰ）の調整により達成され、より大きいＱＰは、粗い量子化のため、低ビットレートとなり、より小さいＱＰは、細かい量子化のため、高ビットレートとなる。

動画像符号化システムでは、ピクチャは、しばしばグループオブピクチャ（ＧＯＰ）にまとめられ、ピクチャの各グループは、内蔵ユニット（ｓｅｌｆ−ｃｏｎｔａｉｎ ｕｎｉｔ）に送信されるか、または、保存される。動画像符号化システムに共通して実行されるいくつかのタイプのＧＯＰ構造が存在する。異なるＧＯＰ構造は、異なる符号化効率を実現することができ、計算量、記憶貯蔵、及び記憶アクセスにおいて異なるリソースを必要とする。例えば、イントラＧＯＰ構造では、全てのピクチャは、Ｉピクチャとして符号化される。イントラＧＯＰ構造は、低符号化効率を有し、且つ動き補償が用いられないため、低い計算量を必要とする。イントラＧＯＰ構造は、隣接のピクチャを復号する必要なくグループのどのピクチャにもランダムアクセスできる。ＩＰＰＰ ＧＯＰ構造は、Ｉピクチャとしてグループの最初のピクチャを処理し、Ｐピクチャとして順次に全てのピクチャを連続的に処理する。ＩＰＰＰ ＧＯＰ構造の最初のピクチャは、前のＧＯＰで復号されたピクチャを指すＰピクチャでもよい。Ｉピクチャは、周期的に挿入され、ビットストリームでのエラーの場合にエラー伝播を軽減するだけでなく、ピクチャへのアクセスのしやすさを改善する。ＩＰＰＰ ＧＯＰ構造は、高い計算量を含み、イントラＧＯＰ構造に比べてより良い圧縮効率となる。Ｐピクチャの複合は、表示順序でどの未来のピクチャにも頼らないため、低遅延のアプリケーションに適する。例えば、ＭＰＥＧ−１／２などの従前の動画像符号化標準で用いられる他の一般的なＧＯＰ構造は、ＩＢＢＰ ＧＯＰ構造であり、ＩピクチャとＰピクチャとの間、または２つのＰピクチャとの間に１つ以上の双方向ピクチャ（Ｂピクチャ）が用いられている。例えば、ＩＢＢＰ ＧＯＰは、Ｉ_０、ｂ_１、ｂ_２、Ｐ_３、ｂ_４、ｂ_５、Ｐ_６、ｂ_７、ｂ_８、…で構成されることができる。なお数値的指標は、表示順序のピクチャ数である。上述の例では、２つのＢピクチャは、ＩピクチャとＰピクチャとの間、または２つのＰピクチャとの間で用いられる。ＭＰＥＧ−１／２に用いられるＢピクチャは、非参照ピクチャである。小文字“ｂ”は、非参照ピクチャを指すのに用いられている。上述のＩＢＢＰ ＧＯＰの符号化順序は、Ｉ_０、Ｐ_３、ｂ_１、ｂ_２、Ｐ_６、ｂ_４、ｂ_５、Ｐ_９、ｂ_７、ｂ_８、…であり、通常、ＩＢＢＰ ＧＯＰ構造は、計算量がＩＰＰＰ ＧＯＰ構造より高い時、ＩＰＰＰ ＧＯＰ構造よりも、よい符号化効率を実現する。

上述のイントラＧＯＰ、ＩＰＰＰ ＧＯＰ、及びＩＢＢＰ ＧＯＰ構造の他に、時間スケーラビリティを提供できる、階層Ｂ ＧＯＰ構造及び階層Ｐ ＧＯＰ構造もある。階層Ｂ ＧＯＰ構造は、ＩピクチャとＰピクチャとの間、または２つのＰピクチャとの間に、複数のＢピクチャを含む。複数のＢピクチャは、階層構造にまとめられる。例えば、８のＧＯＰ長さを有する階層Ｂ ＧＯＰでは、ＧＯＰは、Ｉ_０、ｂ_１、Ｂ_２、ｂ_３、Ｂ_４、ｂ_５、Ｂ_６、ｂ_７、Ｐ_８、…、Ｐ_１６、…、Ｐ_２４、…で構成される。なお、小文字“ｂ”は、非参照Ｂピクチャを指し、大文字“Ｂ”は、参照Ｂピクチャを指す。また、Ｉピクチャを、周期的に挿入することができる。上述の階層Ｂ ＧＯＰ構造の符号化順序は、Ｉ_０、Ｐ_８、Ｂ_４、Ｂ_２、Ｂ_６、ｂ_１、ｂ_３、ｂ_５、Ｐ_１６、…、Ｐ_２４、…またはＩ_０、Ｐ_８、Ｂ_４、Ｂ_２、ｂ_１、ｂ_３、Ｂ_６、ｂ_５、ｂ_７、Ｐ_１６、…、Ｐ_２４、…でもよい。上述の例では、ピクチャ８Ｎ（即ち、Ｉ_０、Ｐ_８、Ｐ_１６、Ｐ_２４、…）は、時間層（ｔｅｍｐｏｒａｌ ｌａｙｅｒ）０として示され、Ｎは整数である。ピクチャ（８Ｎ＋４）は、時間層１として示され、ピクチャ（８Ｎ＋２）及び（８Ｎ＋６）は、時間層２として示される。ピクチャ（８Ｎ＋１）、（８Ｎ＋３）、（８Ｎ＋５）及び（８Ｎ＋７）は、時間層３として示される。現在のピクチャは、時間スケーラビリティをサポートするため、現在のピクチャの時間層より高い時間層に属するどのピクチャも参照することができない。イントラピクチャの後のインターピクチャは、エントリポイントとして任意のイントラピクチャでランダムアクセスをサポートするため、表示順序でイントラピクチャの前のどのピクチャも参照することはできない。よりよいシステムパフォーマンスを実現するために、符号化システムは、Ｐピクチャよりも、より小さい量子化パラメータをＩピクチャに用いる。符号化システムは、Ｂピクチャよりも、より小さい量子化パラメータをＰピクチャに用いる。Ｂピクチャの間では、より小さい量子化パラメータが低い時間層のＢピクチャに用いられる。８の長さのＧＯＰが上述で用いられているが、より多い時間層を提供するために、より長いＧＯＰを用いてもよい。例えば、１６または３２の長さのＧＯＰを用いてもよい。上述の例の最も高い時間層のピクチャは、非参照ピクチャであるが、最も高い時間層のピクチャは、参照ピクチャでもよい。

上述の時間階層構造は、ＩＰＰＰ ＧＯＰ構造にも用いることができる。例えば、４の長さのＧＯＰを有する階層Ｐ ＧＯＰは、Ｉ_０、ｐ_１、Ｐ_２、ｐ_３、Ｐ_４、ｐ_５、Ｐ_６、ｂ_７、Ｐ_８、…で構成されることができる。なお、小文字“ｐ”は、非参照ｐピクチャを指し、大文字“Ｐ”は、参照Ｐピクチャを指す。また、Ｉピクチャを、周期的に挿入することができる。上述の階層Ｐ ＧＯＰの符号化順序は、Ｉ_０、ｐ_１、Ｐ_２、ｐ_３、Ｐ_４、ｐ_５、Ｐ_６、ｂ_７、Ｐ_８、…とすることができる。上述の例では、ピクチャ４Ｎ（即ち、Ｉ_０、Ｐ_４、Ｐ_８、…）は、時間層（ｔｅｍｐｏｒａｌ ｌａｙｅｒ）０として示される。ピクチャ（４Ｎ＋２）は、時間層１として示され、ピクチャ（４Ｎ＋１）及び（４Ｎ＋３）は、時間層２として示される。時間スケーラビリティをサポートするために、現在のピクチャは、現在のピクチャの時間層よりも、高い時間層に属するどのピクチャも参照することができない。エントリポイントとして任意のイントラピクチャでランダムアクセスをサポートするために、イントラピクチャの後のインターピクチャは、表示順序でイントラピクチャの前のどのピクチャも参照することはできない。よりよいシステムパフォーマンスを実現するために、符号化システムは、Ｐピクチャよりも、より小さい量子化パラメータをＩピクチャに用いる。Ｐピクチャの間では、より小さい量子化パラメータが、高い時間層のＰピクチャよりも、低い時間層のＰピクチャに用いられる。上述の例では、非参照Ｐピクチャが最も高い時間層で用いられているが、参照Ｐピクチャを最も高い時間層に用いてもよい。４の長さのＧＯＰが上述で用いられているが、より長い長さのＧＯＰがより多い時間層を提供するために用いられてもよい。例えば、８または１６の長さのＧＯＰが用いられてもよい。

ＨＥＶＣの進展では、従来のＩＰＰＰ ＧＯＰ構造と同じ低遅延ＩＰＰＰ ＧＯＰ構造が用いられる。例示の低遅延ＩＰＰＰ ＧＯＰは、図１に示されるように、Ｉ_０、Ｐ_１，ＬＤ、Ｐ_２，ＬＤ、Ｐ_３，ＬＤ、Ｐ_４，ＬＤ、Ｐ_５，ＬＤ、Ｐ_６，ＬＤ、Ｐ_７，ＬＤ、Ｐ_８，ＬＤ、…で構成される。なお、下付き文字“ＬＤ”は、“低遅延”を指す。低遅延Ｐピクチャは、参照ピクチャリスト０からのピクチャに依存するＰピクチャであり、リスト０は、表示順序でＰピクチャより前のピクチャのみを含む。図１に示された低遅延ＩＰＰＰ ＧＯＰ構造の例は、２つの参照ピクチャを用いる。ＰＯＣは、図表のピクチャオーダカウントの省略であり、表示順序を示している。ＨＥＶＣの発展系では、低遅延ＩＢＢＢ ＧＯＰ構造が開示されている。例示の低遅延ＩＢＢＢ ＧＯＰは、図２に示されるように、Ｉ_０、Ｂ_１，ＬＤ、Ｂ_２，ＬＤ、Ｂ_３，ＬＤ、Ｂ_４，ＬＤ、Ｂ_５，ＬＤ、Ｂ_６，ＬＤ、Ｂ_７，ＬＤ、Ｂ_８，ＬＤ、…で構成される。なお、下付き文字“ＬＤ”は、“低遅延”を指す。低遅延Ｂピクチャは、参照ピクチャリスト０及び参照ピクチャリスト１からの参照ピクチャを用い、リスト０及びリスト１からの参照ピクチャは、表示順序でＢピクチャより前のピクチャのみを含み、即ち、順方向予測のみが用いられる。図２に示された低遅延ＩＢＢＢ ＧＯＰの例は、２つの参照ピクチャを用いる。大文字“Ｂ”は、参照Ｂピクチャを指す。また、Ｉピクチャを周期的に挿入することができる。Ｉピクチャに用いる量子化パラメータは、通常、Ｐピクチャに用いる量子化パラメータより小さい。図２では、ＧＰＢは汎用Ｂを表し、ＨＥＶＣの発展系では、低遅延Ｂピクチャに一時的に用いられた名前である。

低遅延階層Ｐ ＧＯＰ構造は、従来の階層Ｐ ＧＯＰ構造と同じであり、ＨＥＶＣの発展系に用いられる。長さ４のＧＯＰを有する低遅延階層Ｐ ＧＯＰ構造の例は、図３に示される。図３の例では、Ｐ_４は、Ｉ_０を参照ピクチャとして用い、Ｐ_８は、Ｐ_４を参照ピクチャとして用い、Ｐ_２は、Ｉ_０を参照ピクチャとして用い、Ｐ_６は、Ｐ_４及びＰ_２を参照ピクチャとして用いている。最も高い層では、Ｐ_１は、Ｉ_０を参照ピクチャとして用い、Ｐ_３は、Ｐ_２ 及びＩ_０を参照ピクチャとして用い、Ｐ_５は、Ｐ_４及びＰ_２を参照ピクチャとして用い、Ｐ_７は、Ｐ_６及びＰ_４を参照ピクチャとして用いている。複合化順序は、表示順序と同じである０、１、２、３、４、５、６、７、８、…とすることができる。また、よりよいシステムパフォーマンスを実現するために、符号化システムは、Ｐピクチャよりも、より小さい量子化パラメータをＩピクチャに用いる。Ｐピクチャの間では、より小さい量子化パラメータが、高い時間層のＰピクチャよりも低い時間層のＰピクチャに用いられる。

上述のように低遅延Ｂピクチャは、ＩＢＢＢ ＧＯＰ構造に用いることができ、低遅延Ｂピクチャは、ＨＥＶＣの発展系の階層Ｂ ＧＯＰ構造の最も低い時間層のＢピクチャにも用いることができる。例えば、階層Ｂ ＧＯＰは、Ｉ_０、ｂ_１、Ｂ_２、ｂ_３、Ｂ_４、ｂ_５、Ｂ_６、ｂ_７、Ｂ_８，ＬＤ…、Ｐ_８，ＬＤ、…、Ｐ_{２４，ＬＤ}、…で構成される。なお、小文字“ｂ”は、非参照Ｂピクチャを指すのに用いられ、大文字“Ｂ”は、参照Ｂピクチャを指すのに用いられる。例示の階層Ｂ ＧＯＰ構造は、長さ８のＧＯＰを有する。下付きの“ＬＤ”文字は、“低遅延”のＢピクチャを指す。上述の階層Ｂ ＧＯＰの符号化順序は、Ｉ_０、Ｂ_８，ＬＤ、Ｂ_４、Ｂ_２、Ｂ_６、ｂ_１、ｂ_３、ｂ_５、ｂ_７、Ｐ_{１６，ＬＤ}、…、Ｐ_{２４，ＬＤ}、…またはＩ_０、Ｂ_８，ＬＤ、Ｂ_４、Ｂ_２、ｂ_１、ｂ_３、Ｂ_６、ｂ_５、ｂ_７、Ｂ_{１６，ＬＤ}、…、Ｂ_{２４，ＬＤ}、…でもよい。上述の例では、ピクチャ８Ｎ（即ち、Ｉ_０、Ｂ_８，ＬＤ、Ｂ_{１６，ＬＤ}、…、Ｂ_{２４，ＬＤ}、…）は、時間層（ｔｅｍｐｏｒａｌ ｌａｙｅｒ）０として示され、Ｎは整数である。ピクチャ（８Ｎ＋４）は、時間層１として示され、ピクチャ（８Ｎ＋２）及び（８Ｎ＋６）は、時間層２として示される。ピクチャ（８Ｎ＋１）、（８Ｎ＋３）、（８Ｎ＋５）及び（８Ｎ＋７）は、時間層３として示される。時間スケーラビリティをサポートするために、現在のピクチャは、現在のピクチャの時間層より高い時間層に属するどのピクチャも参照することができない。エントリポイントとして任意のイントラピクチャでランダムアクセスをサポートするために、イントラピクチャの後のインターピクチャは、表示順序でイントラピクチャの前のどのピクチャも参照することはできない。また、よりよいシステムパフォーマンスを実現するために、符号化システムは、Ｂピクチャよりも、より小さい量子化パラメータをＩピクチャに用いる。Ｂピクチャの間では、より小さい量子化パラメータが低い時間層のＢピクチャに用いられる。８の長さのＧＯＰが上述で用いられているが、より多い時間層を提供するために、より大きな長さのＧＯＰが用いられてもよい。例えば、１６または３２の長さのＧＯＰが用いられてもよい。上述の例の最も高い時間層のピクチャは、非参照ピクチャであるが、最も高い時間層のピクチャは、非参照ピクチャでもよい。

図２のＩＢＢＢ ＧＯＰ構造に用いられる全てのＢピクチャは、低遅延Ｂピクチャである。一方、上述の階層Ｂ ＧＯＰ構造では、低遅延Ｂピクチャは、最も低い時間層にのみ用いられる。本発明は、ピクチャが時間的に階層的な層に構造化され、且つ低遅延Ｂピクチャが最も低い時間層を超えて用いられる低遅延階層Ｂ ＧＯＰ構造を開示している。本発明の一実施形態に基づく、例示の低遅延階層Ｂ ＧＯＰ構造は、図４に示される。本例のグループのピクチャタイプは、Ｉ_０、ｂ_１，ＬＤ、Ｂ_２，ＬＤ、ｂ_３，ＬＤ、Ｂ_４，ＬＤ、ｂ_５，ＬＤ、Ｂ_６，ＬＤ、ｂ_７，ＬＤ、Ｂ_８，ＬＤ、…である。数字で表した下付き文字は、表示順序のピクチャ数を指しており、ＧＯＰの長さは４である。ピクチャは、３つの時間層で構成されており、ピクチャ（４Ｎ）は、時間層０に属し、ピクチャ（４Ｎ＋２）は、時間層０に属し、ピクチャ（４Ｎ＋１）及び（４Ｎ＋３）は、時間層２に属する。図５は、図４のＧＯＰ構造に対応した時間階層構造を示している。時間スケーラビリティをサポートするために、現在のピクチャは、現在のピクチャより高い時間層に属するどのピクチャも参照することができない。エントリポイントとして任意のイントラピクチャでランダムアクセスをサポートするために、イントラピクチャの後の任意のインターピクチャは、表示順序でイントラピクチャの前のどのピクチャも参照することはできない。Ｂピクチャは、参照ピクチャまたは非参照ピクチャでもよく、大文字“Ｂ”及び小文字“ｂ”は、参照Ｂピクチャ及び非参照Ｂピクチャをそれぞれ指す。本例に示された３層ピクチャ（ｂ_１，ＬＤ、ｂ_３，ＬＤ、ｂ_５，ＬＤ、及びｂ_７，ＬＤ、）は、全て非参照ピクチャであるが、最も高い時間層のピクチャは、参照ピクチャでもよい。

低遅延階層Ｂ ＧＯＰ構造では、低遅延階層Ｂ ＧＯＰ構造の複合化プロセスは、低遅延Ｂピクチャのみが用いられるため、表示順序と同じにすることができる。また、各現在のピクチャは、任意の未来のピクチャに依存することなく符号化され、低遅延階層Ｂ ＧＯＰ構造は、低遅延アプリケーションに適用される。しかしながら、低遅延階層Ｂ ＧＯＰ構造は、処理順序を表示順序と同じにすることができ、エンコーダは、他の処理順序を選択して本発明を実行することもできる。システムパフォーマンスを実現するために、本実施例のＩピクチャの量子化パラメータは、Ｂ_{４Ｎ，ＬＤ}ピクチャの量子化パラメータより、通常小さい。Ｎは、任意の整数であり得る。同様に、Ｂ_{４Ｎ，ＬＤ}ピクチャの量子化パラメータは、Ｂ_{４Ｎ＋２，ＬＤ}ピクチャの量子化パラメータより通常小さく、Ｂ_{４Ｎ＋２，ＬＤ}ピクチャの量子化パラメータは、ｂ_{４Ｎ＋１，ＬＤ}ピクチャ及びｂ_{４Ｎ＋３，ＬＤ}ピクチャの量子化パラメータより通常小さい。低遅延階層Ｂ ＧＯＰ構造では、符号化効率は、階層Ｐ ＧＯＰ構造のよりも通常よい。圧縮効率、低遅延ＩＢＢＢ ＧＯＰ（ＬＤ−ＩＢＢＢ）の符号化時間及び復号化時間、低遅延階層Ｐ ＧＯＰ（ＬＤ−ＨＰ）、及び低遅延階層ＩＰＰＰ ＧＯＰ（ＬＤ−ＩＰＰＰ）に対する低遅延階層Ｂ ＧＯＰ（ＬＤ−ＨＢ）の比較は、以下の表に示される。ＢＤ−Ｒａｔｅの負の数は、ビットレート低減を示す。表に示されるように、ＬＤ−ＩＢＢＢは、ＬＤ−ＩＰＰＰより更に効率的であり、ＬＤ−ＨＰは、ＬＤ−ＩＢＢＢより更に効率的である。本発明の一実施形態に基づく全体の符号化効率は、ＬＤ−ＨＰよりよい。ＢＤ−Ｒａｔｅ（Ｙ）の場合、ＬＤ−ＨＢは、ＬＤ−ＨＰよりも圧縮効率で更に７．２％の向上を実現するが、ＢＤ−Ｒａｔｅ（Ｕ）とＢＤ−Ｒａｔｅ（Ｖ）の圧縮効率は、ほぼ同じである。Ｕ及びＶの構成要素は、通常、低下した空間分解能で符号化され、全システムのビットレートでごく一部を示す。Ｙの構成要素の７．２０％の更なるビットレートの低減は、先進の動画像符号化の分野における性能面で大きな改善である。

上述の本発明に基づく、低遅延階層Ｂ ＧＯＰ構造を有する符号化システムの実施形態は、種々のハードウェア、ソフトウェアコード、またはその両方の組み合わせに適用してもよい。例えば、本発明は、ここに述べられた処理を実行する、ビデオ圧縮チップに統合された回路またはビデオ圧縮ソフトウェアに統合されたプログラムコードでもよい。本発明の実施形態は、ここに述べられた処理を実行する、デジタルシグナルプロセッサ（ＤＳＰ）で実行されるプログラムコードでもよい。本発明は、コンピュータプロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって実行される複数の機能も含む。これらのプロセッサは、本発明によって統合された特定の方法を定義する機械的に可読できるソフトウェアコードまたはファームウェアコードを実行することで、本発明に基づいて特定のタスクを行うように構成されてもよい。ソフトウェアコードまたはファームウェアコードは、異なるプログラミング言語及び異なるフォーマットまたはスタイルで開発される。ソフトウェアコードは、異なるターゲットプラットフォームにコンパイルされてもよい。しかしながら、異なるコードフォーマット、スタイル、及びソフトウェアコードのスタイル及び言語、及び本発明に基づくタスクを実行するコードを構成する他の手段は、本発明の思想及び範囲から逸脱しない。

本発明は、その思想と基本的な特徴から逸脱することなく他の特定のフォームに統合されてもよい。上述の例は、本明細書中に記述される発明を限定するものでなく、あらゆる局面において例示的である。よって本発明の範囲は、前述の説明に限定されず、添付の請求の範囲によって示され、請求の範囲と等価な意義と範囲内にある全ての変更は、この中に含まれる。

Claims (14)

1. 複数のピクチャを有するビデオシーケンスを符号化する方法であって、
   前記方法は、
   前記複数のピクチャを１セットのグループオブピクチャに分割するステップ、
   各グループオブピクチャを階層構造で少なくとも２つの時間層に分割するステップ、及び
   イントラ符号化ピクチャ（以下、Ｉピクチャと称す）、または低遅延双方向予測ピクチャ（以下、低遅延Ｂピクチャと称す）として各ピクチャを前記グループオブピクチャに符号化するステップを含み、
   前記低遅延Ｂピクチャは、参照ピクチャリスト０及び参照ピクチャリスト１からの参照ピクチャを用い、
   参照ピクチャリスト０及び参照ピクチャリスト１からの前記参照ピクチャは、表示順序で前記低遅延Ｂピクチャより前のピクチャのみを含み、
   前記Ｉピクチャは、最も低い時間層にのみ用いられ、
   少なくとも１つの前記低遅延Ｂピクチャは、最も低い時間層でない時間層に用いられ、且つ、
   第１時間層の第１ピクチャは、前記第１時間層より高いどの時間層のどのピクチャも参照しない方法。
2. 前記第１時間層の前記第１ピクチャの第１量子化パラメータは、前記第１時間層よりもより高い第２時間層の第２ピクチャの第２量子化パラメータより小さい
   請求項１に記載の方法。
3. 最も高い時間層でないピクチャは、前記参照ピクチャとして用いられる
   請求項１に記載の方法。
4. 最も高い時間層のピクチャは、非参照ピクチャである
   請求項１に記載の方法。
5. 前記Ｉピクチャは、前記最も低い時間層に周期的に挿入される
   請求項１に記載の方法。
6. 前記グループオブピクチャのピクチャは、予測ピクチャ（Ｐピクチャ）として符号化される
   請求項１に記載の方法。
7. 前記グループオブピクチャのピクチャを符号化する符号化順序は、前記表示順序である
   請求項１に記載の方法。
8. 複数のピクチャを有するビデオシーケンスを符号化する装置であって、
   前記装置は、
   前記複数のピクチャを１セットのグループオブピクチャに分割する手段、
   各グループオブピクチャを階層構造で少なくとも２つの時間層に分割する手段、及び
   Ｉピクチャ、または低遅延Ｂピクチャとして各ピクチャを前記グループオブピクチャに符号化する手段を含み、
   前記低遅延Ｂピクチャは、参照ピクチャリスト０及び参照ピクチャリスト１からの参照ピクチャを用い、
   参照ピクチャリスト０及び参照ピクチャリスト１からの前記参照ピクチャは、表示順序で前記低遅延Ｂピクチャより前のピクチャのみを含み、
   前記Ｉピクチャは、最も低い時間層にのみ用いられ、
   少なくとも１つの低遅延Ｂピクチャは、最も低い時間層でない時間層に用いられ、且つ
   第１時間層の第１ピクチャは、前記第１時間層より高いどの時間層のどのピクチャも参照しない手段。
9. 前記第１時間層の前記第１ピクチャの第１量子化パラメータは、前記第１時間層よりもより高い第２時間層の第２ピクチャの第２量子化パラメータより小さい
   請求項８に記載の装置。
10. 最も高い時間層でないピクチャは、前記参照ピクチャとして用いられる
    請求項８に記載の装置。
11. 最も高い時間層のピクチャは、非参照ピクチャである
    請求項８に記載の装置。
12. 前記Ｉピクチャは、前記最も低い時間層に周期的に挿入される
    請求項８に記載の装置。
13. 前記グループオブピクチャのピクチャは、予測ピクチャ（Ｐピクチャ）として符号化される
    請求項８に記載の装置。
14. 前記グループオブピクチャのピクチャを符号化する符号化順序は、前記表示順序である
    請求項８に記載の装置。

Images