JP2005524352A - 複数基準フレームに基づいた動き補償時間的フィルタ化を用いたスケーラブルなウェーブレット・ベースの符号化 - Google Patents

Abstract

本発明はビデオ・フレーム群を符号化する方法及び装置に関する。本発明によれば、該群からのいくつかのフレームが選定される。該いくつかのフレーム各々における領域が複数基準フレームにおける領域に照合される。該いくつかのフレーム各々における該領域の画素値と該複数基準フレームにおける該領域の画素値との間の差異が算定される。該差異はウェーブレット係数に変換される。本発明は更に、フレーム群を、上記符号化を逆にしたものを行うことによって、復号化する方法及び装置に関する。

Description

本発明は、一般的に、ビデオ圧縮に関し、特に、動き補償時間的フィルタ化に複数基準フレームを利用するウェーブレット・ベースの符号化に関する。

現行のビデオ符号化アルゴリズムのいくつかは動き補償予測符号化で、混成手法と考えられるもの、に基づくものである。そのような混成手法においては、時間的冗長度は動き補償を用いて低減される一方、空間的冗長度は動き補償の残余を変換符号化することによって低減される。通常用いられる変換は離散コサイン変換（DCT）又はサブバンド/ウェーブレット分解を有する。そのような手法は、しかしながら、真にスケーラブルなビットストリームを備える点で柔軟性を欠く。

３Dサブバンド/ウェーブレット（以下「３Dウェーブレット」）として知られる別の種類の手法は異種ネットワーク間でビデオを伝送する現行のシナリオにおいて特に評判を得ている。これらの手法はそのようなアプリケーションにおいて望ましいものであるが、それはビットストリームが非常に高い柔軟性を有する、スケーラブルなものになり、エラー耐性が高くなるからである。３Dウェーブレットでは、DCTベースの符号化のようにブロック毎ではなく、フレーム全体が一度に変換される。

３Dウェーブレット手法の構成部分の１つに、動き補償時間的フィルタ化（MCTF）で、時間的冗長度を低減するよう行われるもの、がある。このMCTFの例を記載した文献がある（非特許文献１（以下「Woods」として表す。）参照。）。
Seung-Jong Choi 及び John Woods, "Motion-Compensated ３−D Subband Coding of Video", IEEE Transactions On Image Processing, Volume 8, No. 2, February 1999

Woodsにおいては、フレームは動きの方向において時間的に、空間的分解が行われる前に、フィルタ化される。この時間的フィルタ化の間は、画素の一部は、その情景における動きの特性及びオブジェクトの被覆/非被覆によって、参照されないものであるか複数回参照されるものであるかの何れかである。そのような画素は非接続画素として知られ、特別な取り扱いを要し、それによって符号化効率の低減をもたらす。Woodsから引用した、非接続画素及び接続画素の例、を図１に表す。

本発明はビデオ・フレーム群を符号化する方法及び装置に関する。本発明によれば、該群からのいくつかのフレームが選定される。該いくつかのフレーム各々における領域が複数基準フレームにおける領域と照合される。該いくつかのフレーム各々における該領域の画素値と該複数基準フレームにおける該領域の画素値との差異が算定される。該差異はウェーブレット係数に変換される。

本発明による該符号化の別の例では、少なくとも1つのフレームにおける領域を更に、別のフレームにおける領域と照合する。該いくつかのフレームは該少なくとも1つのフレーム及び該別のフレームを有するものでない。該少なくとも1つのフレームにおける該領域の画素値と該別のフレームにおける該領域の画素値との差異が算定される。更に、該差異が更に、ウェーブレット係数に変換される。

本発明は更に、符号化ビデオ・フレーム群を有するビットストリームを復号化する方法及び装置に関する。本発明によれば、該ビットストリームはエントロピ復号化されてウェーブレット係数を生成する。該ウェーブレット係数は変換されて部分的に復号化されたフレームを生成する。いくつかの部分的に復号化されたフレームが複数基準フレームを用いて逆時間的フィルタ化される。

一例では、該逆時間的フィルタ化は該いくつかの部分的に復号化されたフレーム各々における領域に、先行して照合した該複数基準フレームから取り出される領域を有する。更に、該複数基準フレームにおける該領域の画素値が該いくつかの部分的に復号化されたフレーム各々における該領域の画素値に加算される。

本発明による該復号化の別の例では、少なくとも１つの部分的に復号化されたフレームは更に別の部分的に復号化されたフレームに基づいて逆時間的フィルタ化される。該逆時間的フィルタ化は取り出される少なくとも1つの部分的に復号化されたフレームにおける領域に先行して照合した別の部分的に復号化されたフレームからの領域を有する。更に、該別の部分的に復号化されたフレームにおける領域の画素値が該少なくとも１つの部分的に復号化されたフレームにおける該領域の画素値に加算される。該いくつかのフレームは該少なくとも１つの部分的に復号化されたフレーム及び該別の部分的に復号化されたフレームを有するものでない。

次に、添付図面を参照すれば、同じ参照番号は相当する部分を、該図面を通して、表す。

上記のように、３Dウェーブレット手法の構成部分の１つに動き補償時間的フィルタ化（MCTF）で、時間的冗長度を低減するのに行われるもの、がある。該MCTFの間には、特別な取り扱いを要する非接続画素を生成し得るものであり、それによって符号化効率の低減をもたらし得る。本発明は新たなMTCF手法で、該照合の品質をかなり向上させ、更に、非接続画素数を削減するために、動き予測及び時間的フィルタ化の間に複数基準フレームを用いるもの、に関する。したがって、この新たな手法は最良の照合を向上させて、更に、非接続画素数を削減することによって、符号化効率の向上をもたらすものである。更に、該新たなMTCF手法は選択的に特定群におけるフレームに適用される。これによって該新たな手法が時間的スケーラビリティを備えることを可能にし、それによってビデオを種々のフレーム・レートで復号化することが可能になる。

本発明による符号器の一例は図２に表す。この図２から分かるように、該符号器は入力ビデオを、画像群（GOP）で、一単位として符号化されるもの、に分割する分割装置２を有する。本発明によれば、該分割装置２は、該GOPが、所定数のフレームを有するか、帯域幅、符号化効率、及びビデオのコンテンツのようなパラメータに基づいて動作中に動的に判定される、ように動作する。例えば、該ビデオが急速に変化する情景及び激しい動きを有する場合、GOPが短いほど効率は良い一方、該ビデオの大部分が静止オブジェクトを有する場合、GOPが長いほど効率が良い。

該符号器は、MCTF装置４で、動き予測装置６及び時間的フィルタ化装置８を有するもの、を有することが分かる。動作中には、該動き予測装置６はGOP各々におけるいくつかのフレームに動き予測を行う。該動き予測装置６によって処理されるフレームはHフレームとして定義する。更に、GOP各々におけるいくつかの別のフレームで、該動き予測装置６によって処理されない、Aフレームとして定義するもの、が存在し得る。GOP各々における該いくつかのAフレームはいくつかの要因によって変わり得る。第１に、前方予測を用いるか、後方予測を用いるか、又は双方向予測を用いるか、によって、GOP各々における第１フレームと最終フレームとの何れかが、Aフレームであり得る。更に、GOP各々におけるいくつかのフレームが時間的スケーラビリティを備えるためにAフレームとして選定し得る。この選定は2フレーム毎、3フレーム毎、4フレーム毎などのような任意の間隔で行い得る。

本発明によれば、Aフレームを用いることによって本発明によって符号化されるビデオが時間的スケーラブルなものになることを可能にする。Aフレームは別個に符号化されるので、ビデオは低いフレーム・レートで良好な品質によって復号化し得る。更に、該動き予測装置６によって処理されるよう選定されないのはどのフレームであるかに基づいて、AフレームがGOPにおいて任意の間隔で挿入し得るものであり、それによってビデオを２分の１、3分の１、4分の１、などのような任意のフレーム・レートで復号化し得る。対照的に、Woods記載のMCTF手法は、時間フィルタ化が対で行われるので2の倍数でのみ、スケーラブルである。更に、Aフレームを用いることによって予測ドリフトを制限するが、それはこれらのフレームがどの別のフレームも参照することなく符号化されるからである。

上記のように、動き予測装置６はGOP各々におけるいくつかのフレームに動き予測を行う。しかしながら、本発明によれば、これらのフレームに行われる動き予測は複数の基準フレームに基づくものとなる。したがって、処理されるフレーム各々における画素群又は領域群は同じGOPの別のフレームにおける同様な画素群に照合される。該GOPにおける別のフレームは処理されないもの（Aフレーム）であるか、処理されたもの（Hフレーム）である。したがって、該GOPにおける別のフレームは処理フレーム毎の基準フレームである。

一例では、動き予測装置６は後方予測を行う。したがって、該GOPの1つ以上のフレームにおける画素群又は領域群が同じGOPの先行フレームにおける同様な画素群又は領域群に照合する。この例では、該GOPにおける先行フレームは処理フレーム毎の基準フレームである。この例では後方予測が用いられるので、GOPにおける第1フレームはAフレームであり得るが、それは利用可能な先行フレームが存在しないからである。しかしながら、代替として、第1フレームは別の例では前方予測される。

別の例では、動き予測装置６は前方予測を行う。したがって、該GOPの1つ以上のフレームにおける画素群又は領域群は同じGOPの後続フレームにおける同様な画素群又は領域群に照合される。この例では、該GOPにおける該後続フレームが処理フレーム毎の基準フレームである。この例では前方予測を用いるので、GOPの最終フレームがAフレームであり得るが、それは利用可能な後続フレームが存在しないからである。しかしながら、代替として、最終フレームは別の例では後方予測されることがあり得る。

別の例では、動き予測装置６は双方向予測を行う。したがって、GOPの1つ以上のフレームにおける画素群又は領域群が同じGOPの先行フレームと後続フレームとの両方における同様な画素群又は領域群に照合される。この例では、該GOPにおける該先行フレーム及び該後続フレームは処理フレーム毎の基準フレームである。双方向予測をこの例で用いているので、GOPにおける第1フレーム又は最終フレームがAフレームであり得るが、それは利用可能な先行フレーム又は後続フレームが存在しないからである。しかしながら、代替として、別の例では、第１フレームを前方予測し得るか、最終フレームを後方予測し得る。

上記照合の結果、動き予測装置６は、処理される現行フレームにおいて照合された領域毎の動きベクトルMV及びフレーム番号を備える。いくつかの場合には、処理される現行のフレームにおける領域各々に関連する動きベクトルMV及びフレーム番号は1つのみとなる。しかしながら、双方向予測を用いる場合、領域毎に関連する動きベクトルMV及びフレーム番号は2つであり得る。動きベクトル及びフレーム番号各々は、GOPにおける位置及び別のフレームで、同様な領域で処理フレーム各々における該領域に照合されたもの、を有するもの、を示す。

動作中、時間的フィルタ化装置８は動き予測装置６によって備えられる動きベクトルMV及びフレーム番号によってGOP各々のフレーム間の時間的冗長度を除去する。図１から分かるように、WoodsのMCTFは２つのフレームを取り込み、これらのフレームを２つのサブバンドで、低サブバンドと高サブバンドを有するもの、に変換する。該低サブバンドは該２つのフレームにおける相当する画素の（スケール化）平均値に相当する一方、該高いほうのサブバンドは２つのフレームにおける相当する画素間の（スケール化）差異値に相当する。

もう一度図２を参照すれば、本発明の時間的フィルタ化装置８は単に、各フレームに相当する１つのサブバンド又はフレームを生成する。上記のように、GOP各々におけるいくつかのフレーム（Aフレーム）は処理されない。したがって、時間的フィルタ化装置８はそのようなフレームにはフィルタ化を何ら行わず、単に、これらのフレームを変化させることのない状態のままで転送する。更に、該GOPの残りのフレーム（Hフレーム）は、フレーム各々の領域とGOPの別のフレームにおいて見出される同様な領域との間の差異を用いることによって、時間的にフィルタ化される。

特に、時間的フィルタ化装置８はHフレームを、最初に同様な領域で、各Hフレームにおける領域に照合されたもの、を取り出すことによって、フィルタ化する。これは動き予測装置６によって備えられる動きベクトル及びフレーム基準番号によって行われる。上記のように、各Hフレームにおける領域は同じGOPにおける別のフレームにおける同様な領域に照合される。同様な領域を取り出した後、時間的フィルタ化装置８は次に、同様な領域における画素値と照合領域における画素値との間の差異を算定する。更に、時間的フィルタ化装置８は好ましくはこの差異を任意のスケーリング係数によって除算する。

本発明によれば、上記MCTF手法は符号化効率を向上させるが、それは最良の照合の品質がかなり向上し、非接続画素数が更に、削減されるからである。特に、シミュレーションでは、非接続画素数がフレーム毎で３４％から２２％に削減されることが明らかになっている。しかしながら、本発明のMCTF手法はなお、いくつかの非接続画素を生成する。したがって、時間的フィルタ化装置８が、Woods記載のように、これらの非接続画素を取り扱う。

図２は空間的分解装置１０で、MCTF装置４によって備えられるフレームにおける空間的冗長度を削減するもの、を有することが分かる。動作中に、MCTF装置４から受信されるフレームは２Dウェーブレット変換によってウェーブレット係数に変換される。ウェーブレット変換のフィルタ及び実施には多くの種類のものが存在する。

適切な２Dウェーブレット変換の一例を図３に表す。フレームがウェーブレット・フィルタを用いて低周波サブバンド及び高周波サブバンドに分解されることが分かる。これは２D変換であるので、３つの高周波サブバンド（水平方向、垂直方向、対角線方向）が存在する。低周波サブバンドは（水平周波数と垂直周波数との両方で低い）LLサブバンドと呼ぶ。これらの高周波サブバンドはLH、HL、及びHHと呼ばれ、水平高周波数、垂直高周波数及び水平と垂直との両方の高周波数に相当する。低周波サブバンドは更に、再帰的に分解し得る。図３では、WTはウェーブレット変換を表す。Stephen Mallatによる、「A Wavelet Tour of Signal Processing, Academic Press, 1997」と題する教本に別の周知のウェーブレット変換手法が記載されている。

図２をもう一度参照すれば、符号器は更に、空間的分解装置10の出力を重み情報によって符号化する重み符号化装置１２を有し得る。この例では、重みはウェーブレット係数の大きさを表し得るものであり、係数が大きいほど、重みは大きくなる。この例では、重み符号化装置１０が空間的分解装置10から受信したウェーブレット係数を検査して、更に、大きさによってウェーブレット係数を再配列する。したがって、最大の大きさを有するウェーブレット係数が最初に送出される。重み符号化の一例は階層ツリーにおける集合分割（SPIHT）である。これはA. Said及びW. Pearlmanによる「A New Fast and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees, IEEE Transactions on Circuits and Systems for Video Technology, vol. 6, June 1996」と題する論文に記載されている。

図２は、上記動作の一部の間の相互依存関係を示す点線を有することが分かる。1つの場合には、動き予測６は重み符号化１２の特性によってかわってくる。例えば、動き予測によって生成される動きベクトルはウェーブレット係数のどれに重みがあるかを判定するのに用い得る。別の場合には、空間的分解８は更に、重み符号化１２の種類によって変わってくるものであり得る。例えば、ウェーブレット分解のレベル数は重み係数の数に関連し得る。

更に、図２は出力ビットストリームを生成するエントロピ符号化装置１４を有することが分かる。動作中に、エントロピ符号化手法が適用されてウェーブレット係数を出力ビットストリームに符号化する。エントロピ符号化手法は更に、動き予測装置６によって備えられる動きベクトル及びフレーム番号に適用される。この情報は復号化を可能にするために出力ビットストリームが有する。適切なエントロピ符号化手法の例は、可変長符号化及び算術符号化を有する。

本発明による時間的フィルタ化の一例は図4に表す。この例では、後方予測が用いられる。したがって、現行フレームからの画素各々を先行フレームにおけるその照合相手とともにフィルタ化することによって生成される。フレーム１はAフレームであるがそれは、GOPにおける先行フレームで、該先行フレームによって後方予測を行うもの、が存在しないからであることが分かる。したがって、フレーム１はフィルタ化されず、変化されない状態のままとなる。しかしながら、フレーム２はフレーム１におけるその照合相手にとともにフィルタ化される。更に、フレーム３はフレーム1及び２におけるその照合相手とともにフィルタ化される。

フレーム４はAフレームであり、したがって時間的にフィルタ化されないことが分かる。上記のように、GOPにおけるいくつかのフレームがAフレームとして、時間的スケーラビリティを備えるよう、選定される。この例では、3フレーム毎のフレームがAフレームとして選定されている。これによってビデオを3分の１のフレーム・レートで良好な品質によって復号化されることが可能になる。例えば、図４におけるフレーム３が除去された場合、なお２つの別個に符号化されたフレームが該フレームの残りを復号化するのに利用可能である。

Aフレームは任意の位置に挿入し得るものであり、それによってビデオ・シーケンスを任意の低いフレーム・レートで復号化することを可能にすることを特筆する。例えば、図４では、フレーム２がAフレームとして選定された場合には、今度は2フレーム毎にAフレームがあることになる。これによってビデオ・シーケンスをフル・フレーム・レートの2分の１で復号化することを可能にし、したがって、ビデオ・シーケンスを任意の中間フレーム・レートで復号化することを可能にし、それによって従前の「２の倍数」の時間的スケーラビリティよりも柔軟性が高いものとなる。

本発明による時間的フィルタ化の別の例を図５に表す。この例では、符号化効率を向上させるためにピラミッド分解が用いられる。この例ではピラミッド分解は2つのレベルで実施されることが分かる。レベル１では、フレームは図4の例と同様に時間的にフィルタ化されるが、この例では、2フレーム毎にAフレームが存在する。したがって、図５では、フレーム３は時間的にフィルタ化されず、フレーム４はフレーム１、２及び３におけるその照合相手とともに時間的フィルタ化される。レベル２では、この第１レベルからのAフレームは、この例では後方予測が用いられるので、フレーム３に相当する別のHフレームを生成するために時間的にフィルタ化される。前方フィルタ化が用いられる場合、別のHフレームがフレーム１に相当することになる。

上記の手法を実施するために、図２の動き予測装置６はレベル１におけるフレームに対する照合を見出す。動き予測装置６は更に、レベル２のAフレームに対する照合を見出す。動き予測装置６は更にフレーム毎に動きベクトルMV及びフレーム番号を備えるので、各GOPのフレームは、これらの動きベクトルMV及びフレーム番号によって、時間的に通常の時間的配列で、レベル毎に、レベル１から開始して昇順に、フィルタ化される。

別の例では、ピラミッド分解手法は、GOPが多くの数のフレームを有する場合、2レベルより多いレベルを有し得る。これらのレベル各々では、いくつかのフレームがもう一度、Aフレームとしてフィルタ化されないよう選択される。更に、該フレームの残りはフィルタ化されてHフレームを生成する。例えば、レベル２からのAフレームはもう一度、グループ化され、レベル３でフィルタ化される、などである。そのようなピラミッド分解では、レベル数はＧＯＰにおけるフレーム数及び時間的なスケーラビリティ要件によってかわってくる。

本発明による時間的フィルタ化の別の例を図６に表す。この例では、双方向予測を利用している。双方向フィルタ化は望ましいものであるが、それは情景変化の前後に及ぶフレーム又は情景において多くのオブジェクトに動きがあり、オクルージョンをもたらすフレームに対する性能をかなり向上させるからである。第２動きベクトル群を符号化することに関連するオーバヘッドが存在するがこれはわずかなものである。したがって、この例では、Ｈフレームが、現行フレームからの画素各々を先行フレームと後続フレームとの両方におけるその照合相手によってフィルタ化することによって、生成される。

図６から分かるように、フレーム１はＡフレームであるが、それは双方向予測を行なうのにＧＯＰにおいて利用可能な先行フレームが何も存在しないからである。したがって、フレーム１はフィルタ化されず、変化されないままの状態となる。しかしながら、フレーム２はフレーム１及び４からのその照合相手によって時間的にフィルタ化される。更に、フレーム３はフレーム１、２及び４からのその照合相手によって時間的にフィルタ化される。しかしながら、双方向Ｈフレームにおける領域全てが双方向にフィルタ化されるわけではないことを特筆する。例えば、領域は先行フレームにおける領域とだけ照合し得る。したがって、そのような領域は後方予測を用いて先行フレームにおける照合相手に基づいてフィルタ化される。同様に、後続フレームにおける領域に対してのみ照合された領域はそれに応じて前方予測を用いてフィルタ化される。

領域が先行フレームと後続フレームとの両方における領域に対して照合された場合、双方向フィルタ化がその特定の領域に行われる。したがって、先行フレーム及び後続フレームにおける領域の相当する画素が平均化される。該平均は更に、フィルタ化されるフレームで、この例ではフレーム２及び３であるもの、における相当する画素から減算される。上記のように、この差異は好ましくは任意のスケーリング係数によって除算される。

図６から更に分かるように、フレーム４はＡフレームであり、したがって時間的にフィルタ化されないものである。したがって、この例では、3フレーム毎のフレームもＡフレームとして選定される。双方向手法も図5に関して記載したピラミッド分解手法において実施し得ることを特筆する。

本発明による復号器の一例は図７に表す。図２に関して上記に記載したように、入力ビデオはＧＯＰに分割され、各ＧＯＰは一単位として符号化される。したがって、入力ビットストリームは1つ以上のGOPで、更に一単位として復号化されるもの、を有し得る。該ビットストリームは更に、いくつかの動きベクトルＭＶ及びフレーム番号で、ＧＯＰにおける各フレームで、先行して動き補償時間的フィルタ化されたもの、に相当するもの、を有する。動きベクトル及びフレーム番号は同じＧＯＰにおける別のフレームにおける領域で、先行して、時間的にフィルタ化されたフレーム各々における領域に照合されたもの、を示す。

復号器は入力ビットストリームを復号化するエントロピ復号化装置１６を有することが分かる。動作中に、入力ビットストリームは符号化側で行われるエントロピ符号化手法を逆にしたものによって復号化される。このエントロピ復号化は、ウェーブレット係数で各ＧＯＰに相当するものを生成する。更に、エントロピ復号化は、いくつかの動きべクトル及びフレーム番号で、後に利用されるもの、を生成する。重み情報によってエントロピ復号化装置１６からのウェーブレット係数を復号化するために重み復号化装置１８を有する。したがって、動作中に、ウェーブレット係数は正常な空間的配列に符号化側で用いられる手法の逆を逆にしたものを用いることによって配列される。

重み復号化装置１８からのウェーブレット係数を部分的に復号化されたフレームに変換するために空間的再構成装置２０を有することが更に分かる。動作中に、各ＧＯＰに相当するウェーブレット係数は符号化側で行う２Ｄウェーブレット変換を逆にしたものによって変換される。これによって部分的に復号化されたフレームで、本発明によって動き補償時間的フィルタ化されたもの、を生成する。上記のように、本発明による動き補償時間的フィルタ化によって各ＧＯＰがいくつかのＨフレームとＡフレームによって表される結果を生じる。ＨフレームはＧＯＰにおけるフレーム各々と同じＧＯＰにおける別のフレームとの間の差異であり、Ａフレームは符号化側では動き予測及び時間的フィルタ化によって処理されないものである。

各ＧＯＰが有するＨフレームを、符号化側で行う時間的フィルタ化を逆にしたものを行うことによって再構成するよう、逆時間的フィルタ化装置22を有する。まず、符号化側のＨフレームが任意のスケーリング係数によって除算された場合、空間的再構成装置２０からのフレームは同じ係数によって乗算される。更に、時間的フィルタ化装置２２は更に、エントロピ復号化装置１６によって備えられる動きベクトルＭＶ及びフレーム番号に基づいてＧＯＰ各々が有するＨフレームを再構成する。ピラミッド分解手法が用いられた場合、時間的逆フィルタ化は好ましくはレベル毎に最高レベルから開始してレベル１まで降順に行う。例えば、図５の例では、レベル２からのフレームは最初に時間的にフィルタ化され、後続してレベル１のフレームがフィルタ化される。

もう一度図７を参照すれば、Ｈフレームを再構成するために、最初に、どの種類の動き補償が符号化側で行われたかを、判定する。符号化側で後方動き予測が用いられた場合には、ＧＯＰにおける第１フレームはこの例ではＡフレームとなる。したがって、逆時間的フィルタ化装置２２はＧＯＰにおける第２フレームを再構成し始める。特に、第２フレームはその特定のフレームに対して備えられる動きベクトル及びフレーム番号によって画素値を取り出すことによって再構成される。この場合には、動きベクトルは第１フレーム内の領域を指し示す。逆時間的フィルタ化装置２２は更に、第２フレームにおける相当する領域に取り出された画素値を加算し、したがって差異を実際の画素値に変換する。ＧＯＰにおけるＨフレームの残りは同様に再構成される。

符号化側で前方動き予測が用いられた場合、ＧＯＰにおける最終フレームはこの例ではＡフレームとなる。したがって、逆フィルタ化装置２２はＧＯＰにおいて、第２フレーム、と最終フレームから2番目のフレーム、との何れかを再構成し始める。同様に、このフレームは画素値をその特定フレームに対して備えられる動きベクトル及びフレーム番号によって取り出すことによって再構成される。

上記のように、双方向Ｈフレームは領域で、先行フレーム、後続フレーム、又はそれら両方のフレームからの照合に基づいて、フィルタ化されたもの、を有し得る。単に、先行フレーム又は後続フレームからの照合については、画素値が単に、取り出されて、処理される現行フレームにおける相当する領域に加算される。両方からの照合については、先行フレームと後続フレームとの両方からの値が取り出され、更に平均化される。この平均値は更に、処理される現行フレームにおける相当する領域に加算される。ＧＯＰにおけるＨフレームの残りは同様に再構成される。

システムで、該システムにおいて本発明による動き補償時間的フィルタ化に複数基準フレームを利用するスケーラブルなウェーブレット・ベースの符号化を実施し得るもの、の一例を図８に表す。例として、該システムはテレビ受信機、セット・トップ・ボックス、デスクトップ型、ラップトップ型又はパームトップ型のコンピュータ、携帯情報端末（ＰＤＡ）、ビデオ・カセット・レコーダ（ＶＣＲ）のようなビデオ/画像記憶装置、ディジタル・ビデオ・レコーダ（ＤＶＲ）、ＴｉＶＯ装置など、更には、これら及び別の装置の一部分又は組み合わせを表し得る。該システムは1つ又は複数のビデオ源２６、1つ又は複数の入出力装置３４、プロセッサ２８、メモリ30及び表示装置３６を有する。

ビデオ/画像源２６は、装置、例えば、テレビジョン受信器、ＶＣＲ又は別のビデオ/画像記憶装置、を表し得る。該ビデオ/画像源２６は代替として、例えば、インターネットのようなグローバル・コンピュータ通信ネットワーク、ワイド・エリア・ネットワーク、メトロポリタン・エリア・ネットワーク、ローカル・エリア・ネットワーク、地上波放送システム、ケーブル放送ネットワーク、衛星放送ネットワーク、無線ネットワーク、又は電話ネットワーク、更には、これら及び別の種類のネットワークの一部分若しくは組み合わせを介してサーバからビデオを受信する1つ若しくは複数のネットワーク接続を表し得る。

入出力装置３４、プロセッサ２８及びメモリ３０は通信媒体３２経由で通信する。通信媒体は、例えば、バス、通信ネットワーク、回路、回路カード若しくは別の装置の1つ又は複数の内部接続、更には、これら及び別の通信媒体の一部分及び組み合わせを表し得る。該ビデオ/画像源26からの入力ビデオ・データは、メモリ30に格納され、プロセッサ２８によって処理されて表示装置３６に供給される出力ビデオ/画像を生成する、１つ又は複数のソフトウェア・プログラムによって処理される。

特に、メモリ30上に格納されるソフトウェア・プログラムは図２及び７に関して上記に記載したような、動き補償時間的フィルタ化に複数基準フレームを利用するスケーラブルなウェーブレット・ベースの符号化を有する。この実施例では、動き補償時間的フィルタ化に複数基準フレームを利用するウェーブレット・ベースの符号化はコンピュータが判読可能な、該システムによって実行される、コードによって実施される。該コードはメモリ30に格納し得るか、ＣＤ−ＲＯＭ又はフロッピ・ディスクのようなメモリ媒体から読み取り/ダウンロードされ得る。別の実施例では、ハードウェア回路は本発明を実施するソフトウェア命令の代わりに用い得るか、該命令と組み合わせて用い得る。

本発明は特定の例によって上記に記載したが、本発明は本明細書及び特許請求の範囲において開示した例に制限すなわち限定されることを意図するものでないことが分かる。したがって、本発明は本特許請求の範囲の趣旨及び範囲の範囲内が有する種々の構造及びそれらの修正を網羅することを意図するものである。

公知の動き補償時間的フィルタ化手法の特徴を示す図である。 本発明による符号器の一例のブロック図である。 ２Dウェーブレット変換の一例を示すブロック図である。 本発明による時間的フィルタ化の一例を示す図である。 本発明による時間的フィルタ化の別の例を示す図である。 本発明による時間的フィルタ化の別の例を示す図である。 本発明による復号器の一例を示す図である。 本発明によるシステムの一例を示す図である。

Claims (33)

1. ビデオ・フレーム群を符号化する方法であって：
   いくつかのフレームを該群から選定する工程；
   該いくつかのフレーム各々における領域を複数基準フレームにおける領域に照合する工程；
   該いくつかのフレーム各々における該領域の画素値と該複数基準フレームにおける該領域の画素値との間の差異を算定する工程；及び
   該差異をウェーブレット係数に変換する工程；
   を有することを特徴とする方法。
2. 請求項１記載の方法であって、該複数基準フレームが該群における先行フレームであることを特徴とする方法。
3. 請求項１記載の方法であって、該複数基準フレームが該群における後続フレームであることを特徴とする方法。
4. 請求項１記載の方法であって、該複数基準フレームが該群における先行フレーム及び後続フレームであることを特徴とする方法。
5. 請求項１記載の方法であって、更に：
   該いくつかのフレーム各々における該領域の該画素値と該複数フレームにおける該領域の該画素値との間の該差異をスケーリング係数によって除算する工程；
   を有することを特徴とする方法。
6. 請求項１記載の方法であって、更に：
   重み情報による該ウェーブレット係数を符号化する工程；
   を有することを特徴とする方法。
7. 請求項１記載の方法であって、更に：
   該ウェーブレット係数をエントロピ符号化する工程；
   を有することを特徴とする方法。
8. 請求項１記載の方法であって、更に：
   少なくとも1つのフレームにおける領域を別のフレームにおける領域に照合する工程；
   を有し、該いくつかのフレームは該少なくとも1つのフレーム及び該別のフレームを有するものでなく；
   更に、該少なくとも１つのフレームにおける該領域の画素値と該別のフレームにおける該領域の画素値との間の差異を算定する工程；及び
   該差異をウェーブレット係数に変換する工程；
   を有することを特徴とする方法。
9. ビデオ・フレーム群を符号化するコードを有するメモリ媒体であって、該コードが：
   いくつかのフレームを該群から選定するコード；
   該いくつかのフレーム各々における領域を複数基準フレームにおける領域に照合するコード；
   該いくつかのフレーム各々における該領域の画素値と該複数基準フレームにおける該領域の画素値との間の差異を算定するコード；及び
   該差異をウェーブレット係数に変換するコード；
   を有することを特徴とするメモリ媒体。
10. ビデオ・シーケンスを符号化する装置であって：
    該ビデオ・シーケンスをフレーム群に分割する分割装置；
    該群各々におけるいくつかのフレームを選定し、該いくつかのフレーム各々を、複数基準フレームを用いて、動き補償時間的フィルタ化する、動き補償時間的フィルタ化装置；及び
    該群各々をウェーブレット係数に変換する空間的分解装置；
    を有することを特徴とする装置。
11. 請求項10記載の装置であって、該動き補償時間的フィルタ化装置が該いくつかのフレーム各々における領域を該複数基準フレームにおける領域に照合し、該いくつかのフレーム各々における該領域の画素値と該複数基準フレームにおける該領域の画素値との間の差異を算定することを特徴とする装置。
12. 請求項10記載の装置であって、該複数基準フレームが同じ前記フレーム群における先行フレームであることを特徴とする装置。
13. 請求項10記載の装置であって、該複数基準フレームが同じ前記フレーム群における後続フレームであることを特徴とする装置。
14. 請求項10記載の装置であって、該複数基準フレームが同じ前記フレーム群における先行フレーム及び後続フレームであることを特徴とする装置。
15. 請求項10記載の装置であって、該時間的フィルタ化装置が該少なくとも1つのフレームにおける領域における画素と該複数基準フレームにおける領域における画素との間の差異をスケーリング係数によって除算することを特徴とする装置。
16. 請求項10記載の装置であって、更に：
    重み情報によって該ウェーブレット係数を符号化する装置；
    を有することを特徴とする装置。
17. 請求項10記載の装置であって、更に：
    該ウェーブレット係数をビットストリームに符号化するエントロピ符号化装置；
    を有することを特徴とする装置。
18. 請求項10記載の装置であって、該動き補償時間的フィルタ化装置が更に、該群各々において、少なくとも1つのフレームにおける領域を別のフレームにおける領域と照合し、該少なくとも1つのフレームにおける該領域の画素値と該別のフレームにおける該領域の画素値との間の差異を算定し、該いくつかのフレームは該少なくとも１つのフレーム及び該別のフレームを有しないことを特徴とする装置。
19. 符号化ビデオ・フレーム群を有するビットストリームを復号化する方法であって：
    該ビットストリームをエントロピ復号化してウェーブレット係数を生成する工程；
    該ウェーブレット係数を部分的に復号化されたフレームに変換する工程；及び
    いくつかの部分的に復号化されたフレームを、複数基準フレームを用いて、逆時間的フィルタ化する工程；
    を有することを特徴とする方法。
20. 請求項１９記載の方法であって、該逆時間的フィルタ化する工程が：
    先行して、該いくつかの部分的に復号化されたフレーム各々における領域に、照合された該複数基準フレームからの領域を取り出す工程；及び
    該複数基準フレームにおける該領域の画素値を該いくつかの部分的に復号化されたフレーム各々における該領域の画素値に加算する工程；
    を有することを特徴とする方法。
21. 請求項２０記載の方法であって、該複数基準フレームからの領域を取り出す工程は該ビットストリームが有する動きベクトル及びフレーム番号によって行われることを特徴とする方法。
22. 請求項１９記載の方法であって、該複数基準フレームが該群における先行フレームであることを特徴とする方法。
23. 請求項１９記載の方法であって、該複数基準フレームが該群における後続フレームであることを特徴とする方法。
24. 請求項１９記載の方法であって、該複数基準フレームが該群における先行フレーム及び後続フレームであることを特徴とする方法。
25. 請求項１９記載の方法であって、更に：
    該いくつかの該部分的に復号化されたフレームを、スケーリング係数によって、乗算する工程；
    を有することを特徴とする方法。
26. 請求項１９記載の方法であって：
    該ウェーブレット係数を重み情報によって復号化する工程；
    を有することを特徴とする方法。
27. 請求項１９記載の方法であって、更に：
    少なくとも1つの部分的に復号化されたフレームを別の部分的に復号化されたフレームに基づいて逆時間的フィルタ化する工程；
    を有し、該いくつかのフレームは該少なくとも1つの部分的に復号化されたフレーム及び該別の部分的に復号化されたフレームを有するものでないことを特徴とする方法。
28. 符号化ビデオ・フレーム群を有するビットストリームを復号化するコードを有するメモリ媒体であって、該コードが：
    該ビットストリームをエントロピ復号化してウェーブレット係数を生成するコード；
    該ウェーブレット係数を部分的に復号化されたフレームに変換するコード；及び
    いくつかの部分的に復号化されたフレームを、複数基準フレームを用いて、逆時間的フィルタ化するコード；
    を有することを特徴とするメモリ媒体。
29. 符号化ビデオ・フレーム群を有するビットストリームを復号化する装置であって：
    該ビットストリームをウェーブレット係数に復号化するエントロピ復号化装置；
    該ウェーブレット係数を部分的に復号化されたフレームに変換する空間的再構成装置；及び
    先行して、いくつかの部分的に復号化されたフレームにおける領域に、照合された、複数基準フレームからの領域を取り出し、該複数基準フレームにおける該領域の画素値を該いくつかの部分的に復号化されたフレームにおける該領域の画素値に加算する逆時間的フィルタ化装置；
    を有することを特徴とする装置。
30. 請求項29記載の装置であって、該複数基準フレームからの領域を取り出す工程は該ビットストリームが有する動きベクトル及びフレーム番号によって行われることを特徴とする装置。
31. 請求項29記載の装置であって、該逆時間的フィルタ化装置が該いくつかの部分的に復号化されたフレームをスケーリング係数によって乗算することを特徴とする装置。
32. 請求項29記載の装置であって、更に：
    該ウェーブレット係数を重み情報によって復号化する重み復号化装置；
    を有することを特徴とする装置。
33. 請求項29記載の装置であって、該逆時間的フィルタ化装置は更に、先行して、少なくとも1つの部分的に復号化されたフレームにおける領域に、照合された、別の部分的に復号化されたフレームからの領域を取り出し、該別の部分的に復号化されたフレームにおける該領域の画素値を該少なくとも１つの部分的に復号化されたフレームにおける該領域の画素値に加算し、該いくつかのフレームは該少なくとも１つの部分的に復号化されたフレーム及び該別の部分的に復号化されたフレームを有しないことを特徴とする装置。
    
    
    

Images