JP2007538439A - ピクチャのシーケンスからなるビデオデータを符号化する方法 - Google Patents

Abstract

ピクチャのシーケンスからなるビデオデータを符号化する本発明の方法は、動き補償時間フィルタリングを実現する時間方向分解（１）を含んでおり、このフィルタリングは、時間レベルｌにおいて高周波帯域ピクチャＨ（９，１４）を得るために、より低い時間レベルのピクチャＬ（７，８；１１，１２，１３）のハイパスフィルタリングを実現する予想ステップと、また時間レベルｌにおいて低周波帯域ピクチャＬ（１０，１６）を得るために、同じレベルのピクチャＨ（９；１４，１５）および／またはより低い時間レベルのピクチャ（７，１１）のローパスフィルタリングを実現する更新ステップとを含んでいる。この方法は、少なくとも１つの時間レベルに対して、予想ステップにより、ロングフィルタリングを実行し、また更新ステップにより、ショートフィルタリングを実行することを特徴とする。

Description

本発明は、ピクチャのシーケンスからなるビデオデータを符号化および復号化する方法および装置に関する。殊に本発明は、動き補償時間フィルタリング（motion compensated temporal filtering）を実現する時間方向の分解に関する。

ＭＰＥＧおよび／またはｔ＋２Ｄウェーブレットベース方式などの現在のほとんどの符号化アルゴリズムでは最初のステップにおいて、連続するフレーム間の時間方向の相関を活用しており、その後、フレームの空間方向の相関を捕捉することが可能である。時間方向の冗長性は、動き補償変換を使用して低減される。これは動き補償時間フィルタリングまたはＭＣＴＦ（Motion Compensated Temporal Filtering）として公知である。空間方向の冗長性は、例えば、離散コサイン変換または離散ウェーブレット変換のような空間方向の変換を使用して低減される。

図１にはビデオ符号化方式の公知の構造が示されている。符号化に先だってふつう、連続しているビデオフレームが、頭字語ＧＯＦとも称されるフレームのグループに分割される。符号化処理はつぎの構造に基づいて行われる。すなわち、
最初に動き補償時間方向分解またはＭＣＴＦ回路１によって上記のようなフィルタリングを行って、種々異なる時間方向の周波数帯域を得る。動き推定回路２は、時間方向分解回路からフレームを受け取って動き推定（ＭＥ motion estimation）を計算する。動き推定によって複数の動きベクトル（ＭＶ motion vector）が形成され、これらの動きベクトルは、１ピクチャにおける対象物の位置が別のピクチャに対して移動した場合に伝送されるデータの量を最小化するために使用される。動き推定は、前方または後方または双方向のいずれかの参照を使用する。動きベクトルは、動き補償を実行する時間方向分解回路に伝送される。動きベクトルは、動き符号化回路４にも伝送されて伝送の前に符号化される。

時間方向分解回路１から得られた「フレーム」は、離散ウェーブレット変換（ＤＷＴ Discrete Wavelet Transform）を実現する空間方向分解回路３によって処理される。完全時間／空間方向分解から得られた係数は、最終的にエントロピー符号化器５を使用して符号化される。最終段の混合回路、パケット化器６によって、結果的に得られ符号化された係数と動きベクトルとが連結されて最終的な出力ストリームが得られる。

動き補償時間フィルタリング法により、連続するｎ個のビデオフレームからなる集合が分解すなわちフィルタリングされて、時間方向の低周波数フレームおよび高周波数フレームならびにこれに付随する動きフィールドからなる部分集合が形成される。ここでこの動きフィールドは、ｎ個のフレームのフィルタリングされた集合間の動きベクトルからなる集合である。

公知の分解法である離散ウェーブレット変換（ＤＷＴ Discrete Wavelet Transform）は、値の平均および差分をとることによって、信号または一連の値をスペクトル成分に切り分けるための繰り返し式の手法である。これにより、スペクトルのサブバンドまたは周波数に相応して種々異なる分解能で一連の値を視覚化することができる。

このような時間フィルタリングは、古典的な畳込み法か、またはいわゆる「リフティング方式（lifting scheme）」を使用するかのいずれかによって実現することができる。後者の方法は、フレキシビリティ、可逆性、高速であることおよびメモリを余り使用しないことからよく使用される。基本リフティングステージ（elementary lifting stage）は、一連の「予測（predict）」ステップおよび「更新（update）」ステップである。完全リフティング方式（complete lifting scheme）は、１つまたは複数の基本リフティングステージからなる。

ショート時間フィルタリング（short temporal filtering）、すなわちフレームのペアだけに適用される２タップフィルタはビデオ圧縮に広く使用されている。しかしながらその圧縮能力は、現在使用されている５／３フィルタバンクなどの比較的長いフィルタバンクに比べてかなり制限されている。それにもかかわらずこのような時間構造により、メモリ／遅延の問題が発生する。実際にHaarフィルタリングに比べて、以下に説明する双方向の予測ステップおよび更新ステップは、符号化／復号化遅延およびメモリスペースの増大の原因になっている。例えば１６個のフレームからなるグループを符号化／復号化するためには全部で５６個のフレームをメモリに保持しなければならない。「将来の」フレームをバッファリングする時間に起因して、３０ｆｐｓ（frame per second）のビデオ素材の場合、これは０．５秒の符号化遅延になる。また同じ待ち時間が復号化の前にも発生する。このような遅延は、短い応答時間を要するまたは低減されたメモリ量で処理を行うアプリケーションの要求を満たすことはできない。また最後にこのような時間方向のピラミッドを実現するのはかなり複雑である。

全体的な符号化／復号化待ち時間を増大させる最も大きな原因は更新ステップであることが判明している。このような遅延を低減しようとする種々の手法の中でも、更新ステップをスキップすることはすでに研究されており、これはL. Luo等による"Motion compensated lifting wavelet and its application in video coding", Proceedings of IEEE International Conference on Image Processing, ICIP'01, Thessaloniki, Greece, October 2001に記載されている。さらにWoodsは、"Motion compensated temporal filtering using long filters", ISO/IEC JTC1/SC29/WG11/M9280, Awaji, Japan, Dec. 2002において最も高い時間レベルにおいてHaarフィルタを使用して、結果的に時間ピラミッド（temporal pyramid）のサイズを低減することを提案している。

しかしながら更新ステップを系統的にスキップすることは、時間軸に沿った圧縮にダメージを与えるおそれがある。例えば、更新ステップなしの５／３フィルリング、いわゆる「切り捨て形５／３（truncated 5/3）」を使用すると、１／３フィルタバンクを使用することになってしまう。他方でWoodsによる手法は、上記の問題の一部分に対する回答にしかなってないのである。

本発明の目的は、上記の欠点を解消することである。

本発明は、ピクチャのシーケンスからなるビデオデータを符号化する方法に関し、この方法は、動き補償時間フィルタリングを実現する時間方向分解を含んでおり、このフィルタリングは、時間レベルｌにおいて高周波帯域ピクチャＨを得るために、より低い時間レベルのピクチャＬのハイパスフィルタリングを実現する予想ステップと、また時間レベルｌにおいて低周波帯域ピクチャＬを得るために、同じレベルのピクチャＨおよび／またはより低い時間レベルのピクチャＬのローパスフィルタリングを実現する更新ステップとを含んでいる。この方法は、少なくとも１つの時間レベルに対して、予想ステップにより、ロングフィルタリングを実行し、また更新ステップにより、ショートフィルタリングを実行することを特徴とする。

本発明の１実施形態によれば、予想および更新ステップに対するロングフィルタリングとショートフィルタリングとの間の選択を時間レベルｌに依存して行う。

本発明の１実施形態によれば、ロングフィルタリングは、双方向フィルタリングモードに相当し、ショートフィルタリングモードは、右手フィルタリングモード（right-hand filtering mode）、左手フィルタリングモード（left-hand filtering mode）ピクチャまたは非フィルタリングモード（non-filtering mode）に相当する。

本発明の１実施形態によれば、予想および更新ステップに対するロングフィルタリングとショートフィルタリングとの間の選択を時間位置ｔに依存して行う。

本発明の１実施形態によれば、上記のシーケンスをフレームまたはＧＯＦからなるグループに構成し、所与の時間レベルに対して、予想および／または更新ステップに対して、また所与のＧＯＦに対して、このＧＯＦの最初のフレームについては右手モードを選択し、ＧＯＦの最後のフレームについては左手モードを選択し、他のフレームついては双方向モードを選択する。

本発明の１実施形態によれば、Ｌ時間レベルの最も低いｎレベルにおいて上記の双方向モードを系統的に使用し、上記の選択を上位の時間レベルにて行う。

本発明の１実施形態によれば、上記のショートフィルタリングでは２タップフィルタを使用し、ロングフィルタリングでは５／３フィルタバンクを使用する。

本発明はまた、ピクチャのＭＣＴＦフィルタリングを行う時間方向分解回路を含むビデオデータ符号化装置に関し、この装置は、上記の回路が、１時間レベルに対しておよび予想ステップに対してロングフィルタリングを実行する手段と、同じ時間レベルに対しておよび更新ステップに対してショートフィルタリングを実行する手段とを有することを特徴とする。

本発明はまた、時間合成動き補償時間フィルタリング（temporal synthesis motion compensated temporal filtering）を含むビデオデータ復号化方法に関し、ここでこの方法は、１時間レベルに対しておよび更新ステップに対し、上記フィルタリングによってショートフィルタリングを実行し、同じ時間レベルに対してまた予想ステップに対し、上記フィルタリングによってロングフィルタリングを実行することを特徴とする。

本発明の１実施形態によれば、ロングフィルタリングは双方向フィルタリングモードに相当し、ショートフィルタリングモードは、右手フィルタリングモード、左手フィルタリングモードピクチャまたは非フィルタリングモードに相当する。

本発明はまた、時間合成スＭＣＴＦフィルタリングを実行する時間方向合成回路を含む、ビデオデータ復号化装置に関する。上記の回路は、１時間レベルに対しておよび更新ステップに対して、ショートフィルタリングを実行し、また同じ時間レベルに対しておよび予測ステップに対して、ロングフィルタリングを実行する手段を含むことを特徴とする。

本発明の実質は、再帰的なＭＣＴＦに対する新たなフレームワーク、すなわち時間ピラミッドを形成するための新たなフレームワークにあり、ここではいくかのカスタマイズした予想および更新ステップ、すなわちフィルタリングモードを定めて、ＧＯＦ内の時間位置および／または時間レベルに依存して時間方向の分解を局所的に調整する。各基本リフティングステップにおいて、使用し得るフィルタリングモードからなる拡張された新たな集合の中から１フィルタリングモードを選択することができる。

このような調整では、例えば更新ステップの前方または後方の１分岐を廃棄する。別の択一的な例では、時間レベルに依存して異なる更新処理を適用する。同様にして更新処理は、所与の時間レベル内で変えることができる。更新ステップについてのこれらの考察事項は予想ステップに適用可能である。

このアプローチは、符号化遅延、複雑さおよび符号化効率の間で良好なトレードオフを得ようとものである。圧縮率は、実現コストおよび／または処理速度を考慮して最適化することができる。

本発明の別の特徴および利点は、制限的でない実施例によって示されまた添付の図面に関連して示される以下の説明において明らかになろう。ここで
図１は、ビデオコーダの全体アーキテクチャを示しており、
図２は、Haarフィルタリングのリフティング方式を示しており、
図３は、１６個のフレームからなるグループを有するHaarフィルタリングを示しており、
図４は、５／３フィルタリングのリフティングの実現を示しており、
図５は、１６個のフレームからなるグループを有する５／３フィルタリングを示しており、
図６は、基本リフティングステップの網構造（treillis structure）を示しており、
図７は、系統的な双方向予測ステップ、左手更新ステップＭＣＴＦ方式を示しており、
図８は、系統的な双方向予測ステップ、右手更新ステップＭＣＴＦ方式を示しており、
図９は、レベル適応形ＭＣＴＦ方式を示しており、
図１０は、時間適応形ＭＣＴＦ方式を示しており、
図１１は、時間およびレベル適応形ＭＣＴＦ方式を示している。

まずショートの時間フィルタリング、すなわち、いわゆる「Haarフィルタリング」のようにフレームのペアだけに適用される２タップフィルタを考察する。Haarフィルタは、２／２フィルタバンクと解釈できることに注意されたい。

１対のピクチャＡおよびＢを考察する場合、この処理ではハイパスフィルタおよびローパスフィルタが適用されて高周波数帯域ピクチャＨおよび低周波数帯域ピクチャＬが得られる。このフィルタリングおいてこれらの２つのステップはつぎの式（１）

に相当し、ここでＭＣ_l1←l2(Ｆ)は、フレームl1とl2との間で推定された動きフィールドを使用した、フレームＦの動き補償に相当する。

この処理は図２に示されており、ピクチャＡおよびＢには参照符号７および８がそれぞれ付されている。高周波数帯域ピクチャＨ、すなわちハイパスフレーム９を得るため、ピクチャＢとピクチャＡとの間の動きが必要である。これは、Ｂを始点とする後方動きベクトル（backward motion vector）であり、ここでＡは基準ピクチャと見なされる。

低周波数帯域ピクチャＬ、すなわちローパスフレーム１０を得るため、ピクチャＡとＢとの間の動きが必要である。これは、Ａを始点とする前方動きベクトル（forward motion vector）であり、ここでＢは基準ピクチャと見なされる。実践的にはただ１つの動きフィールド、例えばＢからＡへの動きフィールドだけが一般的に推定され、他方は導き出される。

実際には入力フレームはふつう、ＧＯＦと称されるフレームの集合にまとめられる。図３には１６個のフレームからなるグループを有するHaarフィルタリングの例が示されている。

この図においてフレームからなる第１の行は、オリジナルのＧＯＦに相当する。フレームからなる第２および第３行は時間レベル１に、またこれに続く行の対（４，５），（６，７）および（８，９）は、時間レベル２，３および４にそれぞれ相当する。

「Haarフィルタリング」の適用は、オリジナルのＧＯＦのフレームの各対に対して行われて、時間レベル１において時間方向の高周波数フレーム（Ｈ）および低周波数フレーム（Ｌ）が形成される。所与の時間レベルに対して、対の第１の行は、予測ステップによって得られたフレームを、また第２の行は予測ステップに続く更新ステップによって得られたフレームを表す。言い換えると、第１の行は時間方向の高周波数フレームを、また第２の行は時間方向の低周波数フレームを表すのである。

時間レベルｎにおける高周波数フレームは、レベルｎ−１の時間方向の低周波数フレームを予測ステップによって処理することによって得られる。ｎ＝１に対してこの低周波数フレームはオリジナルのフレームである。

時間レベルｎにおける低周波数フレームは、レベルｎ−１の時間方向の低周波数フレームを、またレベルｎにおいて得られる時間方向の高周波数フレームを更新ステップによって処理することにより得られる。ｎ＝１に対してこの低周波数フレームはオリジナルのフレームである。

時間方向分解回路１によって伝送されるフレームは、最も低い時間レベルから得られる時間方向の低周波数フレーム、すなわちレベル４のＬＬＬＬと、各時間レベルにおける時間時間方向の高周波数フレーム、すなわちレベル４のＬＬＬＨと、レベル３のＬＬＨ₁およびＬＬＨ₂と、レベル２のＬＨ₁〜ＬＨ₄と、レベル１のＨ₁〜Ｈ₈との合計１６フレームである。

つぎにこれより長いフィルタバンク、例えば現在使用されている５／３フィルタバンクを考察しよう。

５／３フィルタバンクは、１つの３タップハイバンドフィルタに結合された１つの５タップローバンドフィルタである。このようなファイルにより、時間軸における時間的冗長性を一層良好に捕捉することができる。それはこのフィルタが一層長いウィンドウに適用されるからである。そのリフティングの実現は式（２）に相当し、また図４に示されている。

ここでは参照符号１１のＡ_kおよび参照符号１１の１２Ａ_k+1でビデオシーケンスまたはＧＯＦのｋ番目およびｋ＋１番目の偶数フレームを、また参照符号１３のＢ_kでビデオシーケンスまたはＧＯＦのｋ番目の奇数フレームを表す。

ここでもＭＣ_I1←I2(Ｆ)は、フレームＩ₁とＩ₂との間で推定された後方動きフィールドを使用したフレームＦの動き補償であり、またＭＣ_I1→I2(Ｆ)は、フレームＩ₁とＩ₂との間で推定された前方動きフィールドを使用したフレームＦの動き補償である。

図４に示したように予測ステップにより、フレームＢ_kおよび動き補償されたフレームＡ_kを介して参照符号１４のハイパスフレームＨ_kが計算される。

更新ステップにより、参照符号１１のフレームＡ_kと、動き補償された参照符号１５のフレームＨ_k-1および１４の参照符号Ｈ_kとを介して参照符号１６のローパスフレームＬ_kが計算される。

予測ステップおよび更新ステップが、Haar形式とは異なり、共に３タップを有することに注意されたい。

実際には入力フレームはふつう、フレームのグループすなわちＧＯＦに、例えば１６個のフレームにまとめられ、フィルタリング処理は再帰的に適用される。相当する時間的な構造は図５に示されている。カレントＧＯＦおよびその処理は、太線で表されている。上で説明したようにフレームの第１の行は、オリジナルのシーケンスを表し、第２および第３の行は、時間レベル１に相当する高周波数フレームおよび低周波数フレームをそれぞれ表す等々である。

本発明の実質は、再帰的なＭＣＴＦに対する新たなフレームワーク、すなわち時間ピラミッドを形成するための新たなフレームワークにあり、ここでは予測および更新ステップに対していくつかのスタマイズしたフィルタリングモードの定め、ＧＯＦ内での時間位置および／または時間レベルに依存して時間方向の分解を局所的に調整する。

表記の仕方
簡単にするために、以下ではフィルタリングの式における動き補償を省略する。

拡張５／３フレームワークにおいて、更新または予測の各基本ステップは、係数からなる所与の集合によって決定される。

ＵおよびＰをそれぞれ更新および予測演算子とすると、
Ｕ ＝ ｛α_U；β_U；γ_U｝ Ｐ ＝ ｛α_P；β_P；γ_P｝
である。

図６は、基本リフティングステップの網構造を表している。係数α，βおよびγは、後方、カレントおよび前方の分岐にそれぞれ割り当てられており、これらは先行するフレーム、現在のフレームおよびつぎのフレームにそれぞれ相当する。

これらの表記法を使用すると（２）は

と書き直すことができる。

例えば、その式が（２）に示されている古典的な５／３のケースでは、係数値はつぎのようになる。すなわち

である。

以下では相当する係数の集合によって定められるつぎの更新および予測モードを付加的に考慮する。

ここに示した係数は、適用され得るフィルタの正規化を考慮していない。

さらに一般的にいうと、双方向フィルタリングモードまたはロングフィルリングとも称される双方向予測モードまたは双方向更新モードは、０とは異なるγおよびαに相当する。

右手フィルタリングモードとも称される右手予測モードおよび右手更新モードは、α＝０および０とは異なるγに相当する。

左手フィルタリングモードとも称される左手予測モードおよび左手更新モードは、０とは異なるαおよびγ＝０に相当する。

非フィルタリングモード（no-filtering mode）とも称される非予測モード（no-predict mode）および非更新モード（no-update mode）はα＝０，γ＝０に相当する。

右手フィルタリング、左手フィルタリングまたは非フィルタリングモードは、ショートフィルタリングと見なされる。

ＭＣＴＦの時間ピラミッドにはＬ個の時間レベルがあると仮定する。

双方向更新モードＢｉＵに結合されている[Woods]か、または非更新モードＮＵ[Luo]に結合されている双方向予測モードＢｉＰだけを実現している慣用のＭＣＴＦ方式を使用する代わりに、上記の処理によって更新および予測モードからなる集合が拡張されることによって別のモードの実現が可能になり、この新たに拡張された集合内で選択が行われる。

結果的に、考えられ得るリフティングモードの集合がまず定められる。例えば、それぞれＤｕおよびＤｐと記される更新および予測モードからなる集合はつぎのようにすることができる。すなわち、
Ｄ_U ＝ ｛ＮＵ，ＬＵ，ＲＵ，ＢｉＵ｝
Ｄ_P ＝ ｛ＮＰ，ＲＰ，ＬＰ，ＢｉＰ｝
である。

これらのモードは、係数α，β，γによって定められ、ここでインデックスuまたはpは更新または予測モードに相当する。

つぎにＭＣＴＦ時間ピラミッドの種々異なるノードにおいて、１つのモードがこれらの考えられ得るモードの中から選択される。

このモードは、基本リフティングステップ毎に、時間レベルまたはこのステップに相当するレベル内の時点ｔまたはこの両者の組み合わせに依存して選択される。Ｕ_t,lおよびＰ_t,lをそれぞれ、時間レベルｌおよび時点ｔに相当する更新および予測ステップとすると、
Ｕ_t,l ＝ ｆ(ｔ，ｌ)∈Ｄ_U
Ｐ_t,l ＝ ｇ(ｔ，ｌ)∈Ｄ_P
である。

さらに種々異なるモードの中からの選択は、コンテンツベースの判定条件によって並列的に行うことができる。

例えば、数多くのシーンショットを有するシーケンスに対し、ロングフィルタリングになる双方向フィルタリングを回避することができる。ＧＯＦのショット外のフレームをポイントする双方向フィルタリングモードを禁止することができる。

上記の選択は、アプリケーションの要求を主にして行うことが可能である。例えばショートフィルタリングになる非フィルタリングモードまたは左手フィルタリングモード、右手フィルタリングモードは、小さな遅延が要求される場合、双方向フィルタリングモードよりも好まれ得る。これに対してロングフィルタリングにより、一層良好な圧縮率が可能になる。

− 上記のモードは、基本リフティングステップ毎に時間レベルに応じて選択することができる。

ロングフィルタリングによって良好なスペクトル分離が得られ、結果的に一層効率的に圧縮されるため、第１のレベルに対して双方向フィルタリングモードを使用してフィルタリングを一層効率化することができる。

例えば、双方向更新モードが最初のｕ個の最も低い時間レベルに使用され、左手または右手更新モードがＬ−ｕ個の上位の時間レベルに使用される。

これと併用して双方向予測モードが最初のｐ個の最も低い時間レベルに使用され、左手または右手予測モードがＬ−ｐ個の上位の時間レベルに使用される。

ｕおよびｐはＬより小さい正の整数であり、また同じ値をとり得る。

別の例として最後の複数のレベルにおいて、左手または右手の更新および／または予測モードは、非更新および／または非予測モードによって置き換えられる。

右手、左手または非フィルタリングモードによって双方向フィルタリングモードを置き換えることによって、したがって時間方向の分解に必要な将来のフレームを低減することによって、時間軸に沿ったエネルギー圧縮（energy compaction）の利点を最大限に生かす共に符号化／復号化遅延が低減される。

図７およびそれ以降の図には、画像のシーケンスに対するさまざまなＭＣＴＦフレームが示されており、ここでＧＯＦは太線で強調されている。

図７には４つの時間レベルの各時間レベルにおける系統的な双方向予測モードおよび系統的な左手更新モードに相当するフレームワークが示されている。

図８には４つの時間レベルの各時間レベルにおける系統的な双方向予測モードおよび系統的な右手更新モードを有するフレームワークが示されている。

図９には、時間レベル１および２に対する双方向予測モード、時間レベル３および４に対する左手予測モード、時間レベル１に対する双方向予測モードならびに時間レベル２，３および４に対する右手更新モードに相当するフレームワークが示されている。

双方向フィルタリングにより、低周波数レベルから得られたＨフレームは、「より一層ゼロに等しく」なり、低周波数レベルから得られたＬフレームは、「より一層に関連する」ようになり、より一層「自然な画像らしく」なる。これにより、得られたＬフレームに対する繰り返しの時間方向の変換が促進され、動き推定および動き補償時間フィルタリングはさらに効率的になる。より上位のレベルに対してフレームはさらに一層離れるため、ロングフィルタリングは、一層頻繁に失敗することになり、その上に遅延が増大する。

左手、右手および非フィルタリングモード間での選択に関していえば、フレームの取得と伝送との間の遅延がクリティカルな場合には、例えばライブの符号化を必要とするアプリケーションにおいては、事前に（a priori）左手フィルタリングを選択して、将来のフレームよりも過去のフレームに対する依存性を優先して、フレームの記憶を制限することができる。待ち時間が問題とならない場合、例えば、オフラインの符号化ではモードは、事後に（a posteriori）、例えばコンテンツベースの判定条件を使用してシーケンスを事前分解した後、選択することができる。

− 上記のモードは、基本リフティングステップ毎に時間位置ｔに依存して選択することができる。

例えば予測モードは、最初のｉ_p個のフレームに対しては右手であり、最後のｋ_p個のフレームに対しては左手であり、その他の場合は双方向である。同様にして更新モードは、最初のｉ_u個のフレームに対しては右手であり、最後のｋ_u個のフレームに対しては左手であり、その他の場合は双方向である。

したがって双方向モードの使用に相当するフレームワークは、考慮しているレベルにおいてグループの中央部にあるフレームだけに双方向モード使用することによって、また縁部にあるフレームに対して右手および／または左手を使用することによって改善することができる。全体的な遅延についての制限が同じ場合、複雑さの改善を犠牲にすればエネルギー圧縮をより解放することができる。

図１０には時間適応形ＭＣＴＦ方式であるフレームワークが示されている。これらの予想ステップでは、系統的に双方向フィルタリングが行われるが、ＧＯＦの最後のフレームは左手フィルタリング（ｉ_p＝０；ｋ_p＝１）で処理される。更新ステップでは、系統的に双方向フィルタリングが行われるが、ＧＯＦの最初のフレームは右手フィルタリング（ｉ_u＝１；ｋ_u＝０）で処理される。

このように実現することによって、独立して復号化可能な時間方向のユニット、例えばＧＯＦを得ることができる。

− 上記のモードは、基本リフティングステップ毎に時間レベルｌおよび時間位置ｔに依存して選択することができる。

各レベル内で上記のモードのあらゆる組み合わせが可能である。例えば、時間レベルｌにおいて、予測／更新モードは、最初のｉ_P,l／ｉ_U,l個のフレームに対しては右手であり、最後のｋ_P,l／ｋ_U,l個のフレームに対しては左手あり、その他の場合は双方向である。

図１１には時間およびレベル適応形ＭＣＴＦ方式であるフレームワークが示されており、ここではレベルｌ∈｛１；２｝に対してｉ_P,l＝ｋ_P,l＝ｉ_U,l＝ｋ_U,l＝０であり、レベルｌ∈｛３；４｝に対してｉ_P,l＝ｋ_U,l＝０かつｋ_P,l＝ｉ_U,l＝１である。

当然のことながらモード選択に対して、任意の従来技術のコンテンツベースのプリミティブを使用して、グローバルなＭＣＴＦフレームワークを定めることができる。例えば１時間レベルのカレントフレームに対して、動きベクトルを介して前またはつぎのフレームに接続されているピクセルの数についてのテストが実現される場合、または前またはつぎのフレームに対して相関が計算される場合、結果を使用してフィルタリングモードを決定することができる。例えばカレントフレームが、つぎのフレームまたは前のフレームにより多くの接続されたピクセルを有するか、またはより相関している場合にそれぞれ右手モードまたは左手モードを決定することができる。

上記のシーケンスは、プログレッシブビデオの連続するフレームとして表される。本発明は、インタレースされたフィールドの連続にも適用され、ここでフィルタリングは、相当するフィールドまたは再構成されたフレームに行われる。

上では５／３フィルタを例として採用した。いくつかの前フレームおよび次フレームを考慮するより長いフィルタ、例えば９／７フィルタの使用も本発明の範囲内にある。この場合、網（treillis）は、１つ以上の後方および前方分岐を有しており、また右手モードまたは左手モードは、後方または前方分岐の間で消去される１つ以上の分岐に相当するいくつかのモードによって置き換えられる。

本発明は、図１に示したような符号化回路にも関し、ここでこの回路は、上記の方法を実施するアルゴリズムを実現する時間方向分解回路１を有する。

本発明はまた復号化処理および復号化回路にも関する。

図１２には復号化回路が示されている。上述した処理にしたがって符号化されるビデオシーケンスに相当するバイナリストリームは、エントロピー復号化回路１７，空間方向合成回路（spatial synthesis circuit）１９，時間方向合成回路２０および場合によってはポストフィルタリング回路２１に連続して伝送されて、復号化されたビデオが得られる。動き復号化回路１８は、エントロピー復号化回路から動き情報を受け取って、時間方向合成回路に動きベクトルフィールドを伝送する。

エントロピー復号化回路は、エントロピー符号化回路の逆演算を行う。この回路はとりわけ、符号化器によって伝送されたフィルタリングモードおよび空間時間ウェーブレット係数を復号化する。抽出された動き情報は、動き復号化回路に送られ、この復号化回路によって動きベクトルフィールドが復号化される。これら動きフィールドは、時間方向合成回路２０に伝送され、この時間方向合成回路により、種々異なる時間周波数帯域から動き補償合成が行われる。

空間方向合成回路１９により、種々異なる時間サブバンドに相当する時間ウェーブレット係数が時間方向合成回路に伝送される。この最後の回路により、時間方向合成フィルタを介してこれらのサブバンドがフィルタリングされることによって画像が再構成される。この時間方向合成フィルタは、符号化器側に実現されているアルゴリズムについての情報を受け取って、基本リフティングステップ毎にフィルタリングモードを決定する。

ＭＣＴＦ時間方向合成フィルタリングによって、合成フィルタリングが実現される。中間の時間レベルのフレームＬおよびＨはフィルタリングされ、更新ステップを介して前のレベルにおけるフレームＬが得られ、少なくともこのフレームＬおよびフレームＨが予測ステップを介してフィルタリングされて、前のレベルにおける別のフレームＬが得られる。例えば図７を参照すると、１つのＨフレームを使用するため、更新ステップはショートフィルタリングであり、２つのＬフレームを使用するため、予測フィルタリングはロングフィルタリングである。

ポストフィルタリング回路により、例えば、ブロック作用（block effect）などのアーチファクトが低減される。

ビデオコーダの全体アーキテクチャを示す図である。 Haarフィルタリングのリフティング方式を示す図である。 １６個のフレームからなるグループを有するHaarフィルタリングを示す図である。 ５／３フィルタリングのリフティングの実現を示す図である。 １６個のフレームからなるグループを有する５／３フィルタリングを示す図である。 基本リフティングステップの網構造を示す図である。 系統的な双方向予測ステップ、左手更新ステップＭＣＴＦ方式を示す図である。 系統的な双方向予測ステップ、右手更新ステップＭＣＴＦ方式を示す図である。 レベル適応形ＭＣＴＦ方式を示す図である。 時間適応形ＭＣＴＦ方式を示す図である。 時間およびレベル適応形ＭＣＴＦ方式を示す図である。 復号化回路を示す図である。

Claims (11)

1. ピクチャのシーケンスからなるビデオデータを符号化する方法であって、
   該方法は、動き補償時間フィルタリングを実現する時間方向分解（１）を含んでおり、
   前記フィルタリングは、時間レベルｌにて高周波帯域ピクチャＨ（９，１４）を得るために、より低い時間レベルのピクチャＬ（７，８；１１，１２，１３）のハイパスフィルタリングを実現する予想ステップと、また時間レベルｌにて低周波帯域ピクチャＬ（１０，１６）を得るために、同じレベルのピクチャＨ（９；１４，１５）および／またはより低い時間レベルのピクチャ（７，１１）のローパスフィルタリングを実現する更新ステップとを含んでいる形式の方法において、
   少なくとも１つの時間レベルに対して、予想ステップにより、ロングフィルタリングを実行し、また更新ステップにより、ショートフィルタリングを実行することを特徴とする、
   ピクチャのシーケンスからなるビデオデータを符号化する方法。
2. 予想および更新ステップに対するロングフィルタリングとショートフィルタリングとの間の選択を時間レベルｌに依存して行う、
   請求項１に記載の方法。
3. ロングフィルタリングモードは、双方向フィルタリングに相当し、
   ショートフィルタリングモードは、右手フィルタリングモード、左手フィルタリングモードピクチャまたは非フィルタリングモードに相当する、
   請求項１に記載の方法。
4. 予想および更新ステップに対するロングフィルタリングとショートフィルタリングとの間の選択を時間位置ｔに依存して行う、
   請求項１に記載の方法。
5. 前記のシーケンスをフレームまたはＧＯＦからなるグループに構成し、
   所与の時間レベルに対して、予想および／または更新ステップに対して、また所与のＧＯＦに対して、
   当該ＧＯＦの最初のフレームについては右手モードを選択し、ＧＯＦの最後のフレームについては左手モードを選択し、他のフレームついては双方向モードを選択する、
   請求項３に記載の方法。
6. Ｌ時間レベルの最も低いｎベルにて前記の双方向モードを系統的に使用し、
   上位の時間レベルにて前記の選択を行う、
   請求項５に記載の方法。
7. ショートフィルタリングは２タップフィルタを使用し、
   ロングフィルタリングは５／３フィルタバンクを使用する、
   請求項１に記載の方法。
8. ピクチャのＭＣＴＦフィルタリングを行う時間方向分解回路（１）を含むビデオデータ符号化装置おいて、
   前記回路は、１時間レベルに対しておよび予想ステップに対してロングフィルタリングを実行する手段と、同じ時間レベルに対しておよび更新ステップに対してショートフィルタリングを実行する手段とを有していることを特徴とする、
   請求項１に記載した処理にしたがってビデオデータを符号化する装置。
9. 時間合成動き補償時間フィルタリング（２０）を含む、ビデオデータ復号化方法において、
   １時間レベルに対しておよび更新ステップに対し、前記フィルタリングにより、ショートフィルタリングを実行し、
   同じ時間レベルに対してまた１予想ステップに対し、前記フィルタリングにより、ロングフィルタリングを実行することを特徴とする、
   請求項１に記載した処理にしたがってビデオデータを復号化する方法。
10. ロングフィルタリングは双方向フィルタリングモードに相当し、
    ショートフィルタリングモードは、右手フィルタリングモード、左手フィルタリングモードピクチャまたは非フィルタリングモードに相当する、
    請求項９に記載の方法。
11. 時間合成ＭＣＴＦフィルタリングを実行する時間方向合成回路（２０）を含むビデオデータ復号化装置において、
    前記回路は、
    １時間レベルに対しておよび更新ステップに対して、ショートフィルタリングを実行し、また同じ時間レベルに対しておよび予測ステップに対して、ロングフィルタリングを実行する手段を含むことを特徴とする、
    請求項１に記載した処理にしたがってビデオデータを復号化する装置。

Images