JP2006509410A

JP2006509410A - ビデオ符号化方法及び装置

Info

Publication number: JP2006509410A
Application number: JP2004556659A
Authority: JP
Inventors: バロー，エリック; ブルジュ，アルノー; ボトロー，ヴァンサン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-12-04
Filing date: 2003-11-27
Publication date: 2006-03-16
Also published as: CN1720744A; KR20050085385A; WO2004052017A8; AU2003280197A1; WO2004052017A1; EP1570675A1; US20060114998A1

Abstract

本発明は一般にＮ＝２^ｎ（ｎは整数）フレームからなるＧＯＦに分割されたオリジナル・ビデオシーケンスに対応するビットストリームを圧縮するための３次元（３Ｄ）ビデオ符号化方法に関し、特に（Ａ）対象ＧＯＦに対して時空間多重解像度分解を実施して当該ＧＯＦを低周波及び高周波の時間サブバンドに分解する時空間分析ステップであって、動き推定サブステップ、当該ＧＯＦにおける２^ｎ−１組のＣＯＦそれぞれに実施される動き補償時間フィルタリング・サブステップ、及び時間フィルタリング・サブステップによって得られるサブバンドに対して実施される空間分析サブステップを含む時空間分析ステップと、（Ｂ）エントロピー符号化サブステップ、及び算術符号化サブステップを含む符号化ステップと、から構成されるビデオ符号化方法に関する。

Description

本発明はビデオ圧縮符号化技術の分野に関し、特にサイズがＮ＝２^ｎ（ｎは整数）のＧＯＦ（Group Of Frames）に分割されるオリジナル・ビデオシーケンスで、これらＧＯＦが更にＣＯＦ（Couples Of Frames）に分割されるようなオリジナル・ビデオシーケンスに対応するビットストリームを圧縮する３次元（３D）ビデオ符号化方法であって、該シーケンスにおける各ＧＯＦに対して適用される、
（Ａ）ｎ以下の任意のレベル数でＧＯＦに対して時空間多重解像度分解を実施して当該ＧＯＦを低周波及び高周波の時間サブバンドに分解する時空間分析ステップであって、
動き推定サブステップ、
前記動き推定に基づいて、当該ＧＯＦにおける２^ｎ−１組のＣＯＦそれぞれに実施される動き補償時間フィルタリング・サブステップ、及び
前記時間フィルタリング・サブステップによって得られるサブバンドに対して実施される空間分析サブステップ、を含む時空間分析ステップと、
（Ｂ）前記時空間分析ステップによって得られた低周波及び高周波時間サブバンドと、前記動き推定サブステップによって得られた動きベクトルに対して実施されるエントロピー符号化サブステップ、及び
前記エントロピー符号化サブステップによって得られた符号化シーケンスに適用され、埋め込み符号化ビットストリームを生成する算術符号化サブステップを含む符号化ステップと、を有するビデオ符号化方法に関する。

当初の一般的なビデオ圧縮方式はいわゆるハイブリッド符号化方式に基づくものであった。この方式によるハイブリッドビデオ符号器は予測アプローチを適用して入力ビデオシーケンスにおける各フレームを参照フレームに基づいて時間予測し、当該フレームとその予測との差分によって得られる予測誤差を空間変換して（例えば２次元ＤＣＴ変換）空間的冗長性を処理する。また、最近ではいわゆる３Ｄ（又は２Ｄ＋ｔ）サブバンド分析が適用されていて、この方式ではＧＯＦ（Group Of Frames）を３次元構造として処理し、このＧＯＦを時空間フィルタリングすることによって低周波数帯域におけるエネルギーが圧縮される。

上述のような３Ｄサブバンド分解方式において動き補償ステップを導入することにより、全体的な符号化効率が向上し、サブバンドツリーによるビデオ信号の時空間多重解像度（ヒエラルキー）表現が可能となる。例えば図１は動き補償を伴う３Ｄウェーブレット分解の様子を示す。図１に示されるように、入力ビデオシーケンスにおける各ＧＯＦ（図中では８つのフレームＦ１〜Ｆ８が示される）に対してまず動き補償（ＭＣ）が実施され大きな動きを含むシーケンスが処理され、次にハール・ウェーブレットを用いて時間フィルタリング（ＴＦ）が行われる（図中の点線矢印はハイパス時間フィルタリングを示し、実線矢印はローパス時間フィルタリングを示す）。この図では３段階での分解が示され（Ｈ，Ｌ＝第１段階、ＬＬ，ＬＨ＝第２段階、ＬＬＬ，ＬＬＨ＝第３段階）、ここで各時間分解レベルにおいて動きベクトルフィールド群（ＭＶ４，ＭＶ３，ＭＶ２）が生成される。次に各レベルにおける高周波サブバンド（この例ではＨ，ＬＨ，ＬＬＨ）及び最も深い分解レベルにおける低周波時間サブバンド（ＬＬＬ）がウェーブレット・フィルタによって空間分析される。そしてこのような時空間分解によって得られたウェーブレット係数がエントロピー符号器によって符号化される。なお、上述の一連の動作は次に続く入力ビデオシーケンスのＧＯＦにも同様に適用される。

このようなサブバンド分解によって得られる３Ｄウェーブレット係数を符号化するのに適用されうる各種エントロピー符号化技術のうち、例えば非特許文献１に記載されるいわゆる３Ｄ−ＳＰＩＨＴアルゴリズム（及び非特許文献２に記載されるこの拡張性を支持する拡張）は最も効率的なものの１つである。

図２はこの３Ｄ−ＳＰＩＨＴアルゴリズムを説明する図である。図２はサブバンド分解によって得られる時空間配向ツリーにおいて観察される親子依存性を示す。（なお、図２中、ＴＦ＝時間フレーム、ＴＡＳ＝時間近似サブバンドＬＬ、ＣＦＴＳ＝時空間近似サブバンドにおける係数又はルート係数、ＴＤＳ．ＬＲＬ＝分解における最終（最低）解像度レベルでの時間詳細サブバンドＬＨ、ＴＤＳ．ＨＲ＝より高い解像度での時間詳細サブバンドＨ、を示す）このアルゴリズムは、自然画像特有の自己相似性に基づいてウェーブレット分解の連続するスケールにわたって重要情報が不在であるという予測に基づくものである（すなわちある分解における最低スケールでの係数が所定の判断基準に基づいて非重要であるとみなされた場合、この分解における他のスケールでの上記係数に対応する係数も非重要である可能性が高い）。３Ｄ−ＳＰＩＨＴアルゴリズムは、ウェーブレット係数のヒエラルキーピラミッド内の空間及び時間関係を自然に定義するツリー構造（時空間配向ツリー）を適用し、ウェーブレットサブバンドにおけるゼロツリーを検索することによりサブバンド間の冗長性を削減する。そして最後にこれらウェーブレット係数はそれぞれの特性に応じてゼロツリー（又は非重要セット）のルート、非重要ピクセル、または重要ピクセルに符号化される。

なお、図３に示されるように３Ｄ−ＳＰＩＨＴアルゴリズムが適用された場合、時間分解は１つの低周波時間サブバンドを得るための最終分解ステップを実行する前に停止されうる（図１では分解が完全に実施されているのに対し、図３では最終段階前で停止されている）。そしてウェーブレット係数間の第１時間的依存性が２つの近似サブバンドＬＬ間に適用される。なお、これらの係数は同一の分解レベルにおける近似ウェーブレット係数に相当するため、これらの意味は一貫しているが、これらの係数はシーケンスにおける相互異なる場所からの情報を含むため相関性に欠けている。すなわちＬＬ０はＧＯＦにおける最初の４つの入力フレームから演算され、ＬＬ１は同ＧＯＦにおける最後の４つのフレームから演算される。
"Low bit-rate scalable video coding with 3D set partitioning in hierarchical trees (3D-SPIHT)," K. Z. Xiong and W. A. Pearlman, IEEE Transaction on Circuits and Systems for Video Technology, Vol. 10, No. 8, December 2000, pp. 1374-1387 "A fully scalable 3D subband video codec," V. Bottreau, M. Benetiere, B. Pesquet-Popescu, and B. Felts, Proceedings of IEEE International conference on Image Processing, ICIP 2001, Vol. 2, pp. 1017-1020, Thessaloniki, Greece, October 7-10, 2001

そこで本発明は、ＳＰＩＨＴアプローチの効率性に大きな影響を及ぼすことのない深い時間分解レベルでの依存性が除去される（サブバンド間対比の効果は特に分解における初段階ステップにおいて得られるものであるため）より効率的な符号化方法を提供することを目的とする。また、本発明は上記方法を実行するビデオ符号化装置を提供することを更なる目的とする。

上記目的を達成するために本発明は、本願の序文に記載される符号化方法であって、更に上記時間フィルタリング・サブステップが（ｎ−１）分解レベルからなり、単一の低周波サブバンドを得るための最終時間分解レベルでの分解が省略された場合、時空間分析ステップ及び符号化ステップが以下の規則（ａ）〜（ｃ）にしたがって実施されることを特徴とするビデオ符号化方法を提供する。
（ａ）各入力ＧＯＦは、サイズが当該入力ＧＯＦの半分になり、ＣＯＦの数が当該入力ＧＯＦの半分になる２つの新たなＧＯＦに分割され、これらの新たなＧＯＦは独立してそれぞれ元の入力ＧＯＦにおける最初の２^ｎ−１フレームと、最後の２^ｎ−１フレームを含むように構成される。
（ｂ）これら２つの新たなＧＯＦのそれぞれに対して、（ｎ−１）レベルで時空間多重解像度分解が最終低周波時間サブバンドまで完全に実施され、各新たなＧＯＦそれぞれについて１つの最終近似サブバンドが得られるようにする。
（ｃ）これら２つの新たなＧＯＦに対して順次個別に修正３Ｄ−ＳＰＩＨＴ走査が適用され、ここでウェーブレット係数のヒエラルキーピラミッド内の時空間関係を定義するために上記ＳＰＩＨＴ走査によって用いられる時空間配向ツリーは、従来のように上記入力ＧＯＦに対して時空間分解を実施する場合のサブバンド数に比べて半分のサブバンド数を含むように構成される。

また、本発明は上記ビデオ符号化方法を実行するビデオ符号化装置であって、
（Ａ）ｎ以下の任意のレベル数で該シーケンスの各ＧＯＦに対して適用され、対象ＧＯＦを低周波及び高周波の時間サブバンドに分解する時空間多重解像度分解を実現するための時空間分析手段であって、
動き推定サブステップ、
前記動き推定に基づいて、当該ＧＯＦにおける２^ｎ−１組のＣＯＦそれぞれに実施される動き補償時間フィルタリング・サブステップ、及び
前記時間フィルタリング・サブステップによって得られるサブバンドに対して実施される空間分析サブステップ、を実行する時空間分析手段と、
（Ｂ）前記時空間分析ステップによって得られた低周波及び高周波時間サブバンドと、前記動き推定サブステップによって得られた動きベクトルに対して実施されるエントロピー符号化サブステップ、及び
前記エントロピー符号化サブステップによって得られた符号化シーケンスに適用され、埋め込み符号化ビットストリームを生成する算術符号化サブステップを含む符号化手段と、を有するビデオ符号化装置において、更に上記時間フィルタリング・サブステップが（ｎ−１）分解レベルからなり、単一の低周波サブバンドを得るための最終時間分解レベルでの分解が省略された場合に、時空間分析手段及び符号化手段が以下の規則（ａ）〜（ｃ）を適用することを特徴とするビデオ符号化装置を提供する。
（ａ）各入力ＧＯＦは、サイズが当該入力ＧＯＦの半分になり、ＣＯＦの数が当該入力ＧＯＦの半分になる２つの新たなＧＯＦに分割され、これら新たなＧＯＦは独立してそれぞれ元の入力ＧＯＦにおける最初の２^ｎ−１フレームと、最後の２^ｎ−１フレームを含むように構成される。
（ｂ）これら２つの新たなＧＯＦのそれぞれに対して、（ｎ−１）レベルで時空間多重解像度分解が最終低周波時間サブバンドまで完全に実施され、上記新たなＧＯＦそれぞれについて１つの最終近似サブバンドが得られるようにする。
（ｃ）これら２つの新たなＧＯＦに対して順次個別に修正３Ｄ−ＳＰＩＨＴ走査が適用され、ここでウェーブレット係数のヒエラルキーピラミッド内の時空間関係を定義するために上記ＳＰＩＨＴ走査によって用いられる時空間配向ツリーは、従来のように上記入力ＧＯＦに対して時空間分解を実施する場合のサブバンド数に比べて半分のサブバンド数を含むように構成される。

以下において添付図面を参照しながら本発明の実施例を説明する。

図３の不完全な時間分解で得られた２つの近似サブバンドＬＬ０及びＬＬ１間の依存性を除去するためには、まず当該入力ＧＯＦを、この元の入力ＧＯＦの半分のサイズとなった２つの新たなＧＯＦに分割することが提案される。そしてこれら２つの新たなＧＯＦそれぞれに対して時間分解が実施される。ここで実施される時間分解は完全なものであり（すなわち最終低周波サブバンドまで実施される）、新たなＧＯＦそれぞれについて１つの最終近似サブバンドが得られる。

図４はこのような新たな時間分解を説明する図である。なお、この図において、縦に延びる破線はＧＯＦ構造の新たな分割を示す。これら新たなＧＯＦ（元のサイズの半分のＧＯＦ）はそれぞれ独立したＧＯＦとみなされ、「ＧＯＦ０」及び「ＧＯＦ１」として示されるこれら各ＧＯＦに対応する情報はそれぞれ個別に伝送される。具体的には、「ＧＯＦ０」の全情報がまず伝送され（動きベクトル及びサブバンド）、次に「ＧＯＦ１」の全情報が伝送される。なお、ここで「ＧＯＦ０」のサブバンド伝送におけるサブバンドの自然順序はＬＬ０，ＬＨ０，Ｈ０，そしてＨ１であり、「ＧＯＦ１」のサブバンド伝送におけるサブバンドの自然順序はＬＬ１，ＬＨ１，Ｈ２，そしてＨ３である。

このような新たな時間分解を実施する場合、それぞれ異なるＧＯＦから得られたサブバンド間の依存性を除去するために図２に示されるＳＰＩＨＴ走査が修正される。この修正走査が上述の２つの新たなＧＯＦ（図示される例ではそれぞれ４つのフレームを有するもの）に対して順次適用され、２つの近似サブバンドＬＬ０とＬＬ１間の依存性、すなわち２つの新たなＧＯＦ間の依存性を除去するために図５に示すような異なる親子依存性のセットが利用される。（図５においてＴＤＳ．ＨＲは図２のＴＤＳ．ＨＲと同一であり、ＬＤＬＳ．１は第１ＧＯＦにおける最終分解レベルのサブバンド、すなわちＬＬ０及びＬＨ０を示し、ＬＤＬＳ．２は第２ＧＯＦにおける最終分解レベルのサブバンド、すなわちＬＬ１及びＬＨ１を示す）
上記において提案される技術によると、ある分解レベル数について、ＧＯＦのフレーム数が半分となる。これにより、符号化側及び復号化側の両方において必要とされる記憶容量が従来の半分となるため、これは従来技術に対する大きな改善とみなすことが可能である。また、修正された依存性は無相関とみなされうる時間近似サブバンドのみを影響するため、本実施例によるアプローチが符号化効率に悪影響を及ぼすことはない。

なお、図５に示される新たなＳＰＩＨＴ走査は、図３に示される元のＧＯＦサイズと適切に連動されることが可能である。この場合最も重要な情報を先に送信するためにサブバンド伝送をインターリーブすることが可能である（この場合伝送順序は元の伝送順序、すなわちＬＬ０，ＬＬ１，ＬＨ０，ＬＬＨ１，Ｈ０，Ｈ１，Ｈ２，Ｈ３となる）。しかしこの場合近似サブバンド間の依存性は除去されるが、ＧＯＦサイズは元のＧＯＦサイズとなるため記憶容量に関する有益な効果はここでは失われる。

入力ビデオシーケンスのＧＯＦに適用される動き補償を伴う３Ｄウェーブレット分解を説明する図である。サブバンド分解によって得られる時空間配向ツリーにおいて観察される親子依存性を示す図である。３Ｄ−ＳＰＩＨＴアルゴリズムを適用する従来のアプローチにおいて実施される動き補償を伴う時間多重解像度分析で、単一の低周波時間サブバンドを得るための最終分解ステップを実行する前に停止される不完全な時間多重解像度分析を説明する図である。本発明の原理に基づいて実施される時間分解を説明する図である。本発明の原理に基づいて時間分解を実施した際に時空間配向ツリーにおいて観察される新たな親子依存性を示す図である。

Claims

サイズがＮ＝２^ｎ（ｎは整数）のＧＯＦに分割されるオリジナル・ビデオシーケンスで、各ＧＯＦが更にＣＯＦに分割されるようなオリジナル・ビデオシーケンスに対応するビットストリームを圧縮する３次元（３D）ビデオ符号化方法であって、前記シーケンスにおける各ＧＯＦに対して適用される、
（Ａ）ｎ以下の任意のレベル数で当該ＧＯＦに対して時空間多重解像度分解を実施して当該ＧＯＦを低周波及び高周波時間サブバンドに分解する時空間分析ステップであって、
動き推定サブステップ、
前記動き推定に基づいて、当該ＧＯＦにおける２^ｎ−１組のＣＯＦそれぞれに実施される動き補償時間フィルタリング・サブステップ、及び
前記時間フィルタリング・サブステップによって得られるサブバンドに対して実施される空間分析サブステップ、を含む時空間分析ステップと、
（Ｂ）前記時空間分析ステップによって得られた低周波及び高周波時間サブバンドと、前記動き推定サブステップによって得られた動きベクトルとに対して実施されるエントロピー符号化サブステップ、及び
前記エントロピー符号化サブステップによって得られた符号化シーケンスに適用され、埋め込み符号化ビットストリームを生成する算術符号化サブステップを含む符号化ステップと、を有するビデオ符号化方法において、
更に前記時間フィルタリング・サブステップが（ｎ−１）分解レベルからなり、単一の低周波サブバンドを得るための最終時間分解レベルでの分解が省略された場合、前記時空間分析ステップ及び前記符号化ステップでは、
（ａ）各入力ＧＯＦが、当該入力ＧＯＦサイズの半分のサイズになりＣＯＦ数が当該入力ＧＯＦの半分になる２つの新たなＧＯＦに分割され、前記２つの新たなＧＯＦが独立してそれぞれ前記入力ＧＯＦにおける最初の２^ｎ−１フレームと、最後の２^ｎ−１フレームを含むように構成され、
（ｂ）前記新たな２つのＧＯＦのそれぞれに対して、（ｎ−１）レベルで時空間多重解像度分解が最終低周波時間サブバンドまで完全に実施され、前記新たなＧＯＦそれぞれについて１つの最終近似サブバンドが得られるようにし、
（ｃ）前記２つの新たなＧＯＦに対して順次個別に修正３Ｄ−ＳＰＩＨＴ走査が適用され、ウェーブレット係数のヒエラルキーピラミッド内の時空間関係を定義するために前記ＳＰＩＨＴ走査によって用いられる時空間配向ツリーが前記入力ＧＯＦに対して時空間分解を実施する場合のサブバンド数に比べて半分のサブバンド数を含むように構成されることを特徴とするビデオ符号化方法。
請求項１記載の３次元ビデオ符号化方法を実行するためのビデオ符号化装置であって、
（Ａ）ｎ以下の任意のレベル数で前記シーケンスの各ＧＯＦに対して適用され、当該ＧＯＦを低周波及び高周波時間サブバンドに分解する時空間多重解像度分解を実現するための時空間分析手段であって、
動き推定サブステップ、
前記動き推定に基づいて、当該ＧＯＦにおける２^ｎ−１組のＣＯＦそれぞれに実施される動き補償時間フィルタリング・サブステップ、及び
前記時間フィルタリング・サブステップによって得られるサブバンドに対して実施される空間分析サブステップ、を実行する時空間分析手段と、
（Ｂ）前記時空間分析ステップによって得られた低周波及び高周波時間サブバンドと、前記動き推定サブステップによって得られた動きベクトルに対して実施されるエントロピー符号化サブステップ、及び
前記エントロピー符号化サブステップによって得られた符号化シーケンスに適用され、埋め込み符号化ビットストリームを生成する算術符号化サブステップを含む符号化手段と、を有するビデオ符号化装置において、
更に前記時間フィルタリング・サブステップが（ｎ−１）分解レベルからなり、単一の低周波サブバンドを得るための最終時間分解レベルでの分解が省略された場合、前記時空間分析手段及び前記符号化手段では、
（ａ）各入力ＧＯＦが、当該入力ＧＯＦサイズの半分のサイズになりＣＯＦの数が当該入力ＧＯＦの半分になる２つの新たなＧＯＦに分割され、前記２つの新たなＧＯＦは独立してそれぞれ前記入力ＧＯＦにおける最初の２^ｎ−１フレームと最後の２^ｎ−１フレームを含むように構成され、
（ｂ）前記２つの新たなＧＯＦのそれぞれに対して、（ｎ−１）レベルで時空間多重解像度分解が最終低周波時間サブバンドまで完全に実施され、前記新たなＧＯＦそれぞれについて１つの最終近似サブバンドが得られるようにし、
（ｃ）前記２つの新たなＧＯＦに対して順次個別に修正３Ｄ−ＳＰＩＨＴ走査が適用され、ウェーブレット係数のヒエラルキーピラミッド内の時空間関係を定義するために前記ＳＰＩＨＴ走査によって用いられる時空間配向ツリーが前記入力ＧＯＦに対して時空間分解を実施する場合のサブバンド数に比べて半分のサブバンド数を含むように構成されることを特徴とするビデオ符号化装置。