JP2008507170A - ビデオ画像配列の符号化方法および装置 - Google Patents

Abstract

【課題】復号器で再構築した画像が、アーチファクトを有しないようにする。
【解決手段】本発明は、離散ウェーブレット分解（１１０）を利用した動き補償された時間フィルタリングによって、ビデオ画像配列を符号化する方法と装置に関する。この離散ウェーブレット分解は、ビデオ画像配列を２つの画像の群に分割することと、ソース群と呼ばれる各画像の各群で、その中の一つの群内の画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定する（１１１，１１２，１１３，１１４）ことを含んでいる。そして、前記ソース群内の少なくとも一つの画像をアップサンプリング（１１０，１１１）することで各画素と各サブ画素を取得し、この各画素と各サブ画素から決定された各画素と各サブ画素を、前記表現する画像が構成している。本発明は、それに関連付けられた復号化方法と復号器にも関係する。
【選択図】図２

Description

本発明は、離散ウェーブレット分解（discrete wavelet decomposition）を利用する動き補償（motion compensation）された時間的フィルタリング（temporal filtering）によって、ビデオ画像配列（シーケンス：sequence）を符号化および復号化する方法や装置に関する。

より正確には、本発明は、離散ウェーブレット変換による動き補償と時間的変換を利用して、デジタル画像シーケンスを符号化する分野に関連する。

デジタル画像配列を符号化するのに用いる大多数の符号器は、完全に符号化されたビデオ画像配列に対応する単一のデータストリームを生成する。クライアントが符号化されたデジタル画像配列を利用したい場合には、完全に符号化されたビデオ画像配列を受取って、これを処理しなければならない。

しかし、インターネットのような通信ネットワークでは、クライアントが様々な特性を有している。こうした特性は、例えば、通信ネットワークにおける各クライアントに独自に割り当てられたバンド幅および／またはクライアント通信端末の処理能力などである。更にクライアントは、その後で、最適な品質と解像度でビデオ画像配列を表示するつもりであったとしても、最初に低い解像度および／または低い品質で、素早くビデオ画像配列を表示しようとする場合がある。

こうした問題を軽減するために、いわゆる拡大縮小可能（スケーラブル：scalable）な、すなわち可変可能な品質および／または時空間的（spatio-temporal）解像度を有するビデオ画像配列の符号化アルゴリズムが出現しており、そのデータストリームは幾つかのレイヤ（層）に符号化され、各レイヤのそれぞれが、より高いレベルのレイヤにネストされる。例えば、より低い品質および／または解像度で符号化されたビデオ画像配列からなるデータストリームの一部を、その特性が制約されたクライアントに伝送し、品質および／または解像度の点に関し、保管したデータからなるデータストリームの別な部分を、その特性が高いクライアントだけに伝送して、ビデオ画像配列を別々に符号化する必要をなくしている。

より最近では、離散ウェーブレット分解（英語では「離散ウェーブレット変換：ＤＷＴ」）を利用する動き補償された時間的フィルタリングを用いたアルゴリズムが出現している。これらのアルゴリズムでは、まず初めに、ビデオ画像配列中の画像の間でウェーブレット時間的変換を実行し、次に、得られた時間的サブバンドを空間的に分解する。より正確に言えば、ビデオ画像配列は２つの群の画像、つまり偶数番の画像と奇数番の画像、に分解され、各偶数番の画像とこれに最も近い奇数番の画像との間、つまりウェーブレット時間的変換の間に使用される画像の間の動き場（motion field：モーションフィールド）が予測される。これらの偶数番の画像と奇数番の画像は、時間的サブバンドを得るために、相対的な動きが反復的に補償される。これらの各群の構築と動き補償との反復は、異なるウェーブレット変換レベルを生成するために行われてもよい。この時間的画像は、続いて、ウェーブレット解析フィルタを用いて空間的にフィルタ処理される。

この分解が終わった時に、結果は一連の時空間サブバンドとなる。この動き場と時空間サブバンドとは最終的に符号化され、目標とされた解像度レベルに対応したレイヤに送信される。これらのアルゴリズムの幾つかは、ダブリュ スウェールデンス（W Sweldens）氏，サイアン ジェイ アナル（Siam J Anal.）氏による、第２９巻，第２号，ｐ５１１〜５４６の刊行物に提示され、英語の用語では「リフティング：Lifting」によって知られた技術に基づく空間的フィルタリングを実行する。

これらのアルゴリズムの間で、「バーベルリフティング（Barbell Lifting）を利用した３Ｄサブバンドビデオコーディング； エムエスアールエイ アジア（MSRA ASIA）； Ｍｐｅｇ−２１ スケーラブル符号化（SVC）の提案募集（CFP）にＳ０５を寄与」という題名の刊行物には、偶数番の各画像から奇数番の各画像を予測する間に利用される奇数番の各画素（ピクセル）の重み付けを用いて、奇数番の各画像からの画素を備えた偶数番の各画像における画素を更新することが提案されている。奇数番画像の点Ｑ’（ｘ’，ｙ’）を予測するのに、重みＷで分担する偶数番画像の点Ｐ（ｘ，ｙ）が、重みｗの重み付けされた点Ｑ’（ｘ’，ｙ’）の分担で更新されるであろう。

しかし、この解決法は満足なものではない。その理由は、当該アルゴリズムによって幾つかの問題が解決されないことにある。ここでは、更新されない偶数番画像の画素が存在する。こうした更新されない画素は、「ホール」として引用されるが、動き場の更新を完全に元に戻せないものとし、クライアントの復号器で画像を再構築する時にアーチファクト（artifact：人為的歪み）を生じる。加えて、或る偶数番画像における複数の画素によって更新された一定の画素に対し、更新が正規化されなくなる。この正規化の欠如も、クライアントの復号器で画像を再構築する時のプリエコー（pre-echo）および／またはポストエコー（post-echo）のように、アーチファクト（artifact）を生じる。

本発明の目的は、復号器で再構築した画像が、従来技術におけるアーチファクトを有しないような、離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって、ビデオ画像配列を符号化および復号化する方法や装置を提案することで、従来技術の上記欠点を解決することにある。

この目的を達成するために、本発明の第１の態様によれば、本発明は、離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって、ビデオ画像配列を符号化する方法を提案しており、ここでは離散ウェーブレット分解が、前記ビデオ画像配列を２つの画像の群に分割するステップと、ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定する少なくとも一つのステップと、を備えたものにおいて、前記ソース群内の少なくとも一つの画像をアップサンプリングすることで各画素と各サブ画素を取得し、この各画素と各サブ画素から決定された各画素と各サブ画素を、前記表現する画像が構成する。

これに対応して、本発明は、離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって、ビデオ画像配列を符号化する装置に関係し、前記装置は離散ウェーブレット分解手段を備え、前記離散ウェーブレット分解手段は、前記ビデオ画像配列を２つの画像の群に分割する手段と、ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定する手段と、を備えたものにおいて、前記符号化する装置は前記表現する画像の形成手段を有し、前記ソース群内の少なくとも一つの画像をアップサンプリングすることで各画素と各サブ画素を取得し、この各画素と各サブ画素から決定された各画素と各サブ画素で、前記表現する画像が構成される。

これにより、離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって、ビデオ画像配列の符号化が可能になるが、その符号化は、サブ画素レベルで動き予測が可能になり、仮に動きが縮小または拡大した場合でも、情報の損失や、解像度を変更したことによる「エイリアシング」現象の導入を避けることができる。

本発明の別な態様によれば、少なくとも一つのウェーブレット分解統合を行なうことで、前記ソース群内の前記画像がアップサンプルされる
これにより、空間的なサブ解像度で符号化が行われる場合に、ウェーブレット統合がアップサンプリングに特に良く適合し、ウェーブレット分解の逆をなすことになる。

本発明の別な態様によれば、前記送り先群内の画像と、前記画像を決定するのに用いた前記画像ソース群内のそれぞれの画像との間で動き場が決定され、また前記決定した動き場から、前記画像を予測するのに用いた前記ソース群内のそれぞれの画像における少なくとも一つの画素および／またはサブ画素が、前記送り先群内の画像を表現する画像の各画素および各サブ画素と関連付けられる。

これにより、動き場は完全に可逆可能となり、従来技術におけるホールが、ビデオ画像配列の復号化中に、アーチファクトを生成しやすくすることに関連する問題を、なくすことができる。

本発明の別な態様によれば、前記送り先群内の画像を表現する画像の各画素および各サブ画素の値は、前記送り先群内の画像を表現する画像の前記画素およびサブ画素と関連付けられた各画素およびサブ画素の値を合計すると共に、その合計を、前記送り先群内の画像を表現する画像の前記画素または前記サブ画素と関連付けられた各画素および各サブ画素の数で割ることで取得される。

これにより、ビデオ画像配列を復号化するときのプリエコーおよび／またはポストエコーのようなアーチファクトが、大幅に減少する。

本発明の別な態様によれば、前記送り先群内の画像を表現する画像が、ローパスフィルタによってフィルタ処理される。

これにより縮小する動きに対する問題が減少する。

本発明の別な態様によれば、各画像の前記送り先群内の画像と同じ解像度で、サブサンプルされた画像を取得するために、このサブサンプルされた画像が表わす各画像の前記送り先群内の画像を表現する画像が、少なくとも一つの離散ウェーブレット分解を利用してサブサンプルされる。

本発明は、離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって、ビデオ画像配列を復号化する方法にも関係し、これは離散ウェーブレット分解が、前記ビデオ画像配列を２つの画像の群に分割するステップと、ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定する少なくとも一つのステップと、を含むものにおいて、前記ソース群内の少なくとも一つの画像をアップサンプリングすることで各画素と各サブ画素を取得し、この各画素と各サブ画素から決定された各画素と各サブ画素を、前記表現する画像が構成するものである。

これに対応して、本発明は、離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって、ビデオ画像配列を復号化する装置に関係し、前記装置は離散ウェーブレット分解手段を備え、前記離散ウェーブレット分解手段は、前記ビデオ画像配列を２つの画像の群に分割する手段と、ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定する手段と、を備えたものにおいて、前記復号化する装置は前記表現する画像の形成手段を有し、前記ソース群内の少なくとも一つの画像をアップサンプリングすることで各画素と各サブ画素を取得し、この各画素と各サブ画素から決定された各画素と各サブ画素で、前記表現する画像が構成される。

本発明は、ビデオ画像配列を含む信号にも関係し、このビデオ画像配列は、離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって符号化され、前記信号は高周波数および低周波数の各画像を含み、これらの各画像は、前記ビデオ画像配列を２つの画像の群に分割すると共に、ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定することで取得されるものにおいて、前記高周波数および低周波数の各画像は、各画素および各サブ画素から取得され、この各画素および各サブ画素は、前記ソース群内の少なくとも一つの画像をアップサンプリングすることで取得した各画素と各サブ画素から決定される。

本発明は、ビデオ画像配列を含む信号を送信する方法にも関係し、このビデオ画像配列は、離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって符号化されたものにおいて、前記信号は高周波数および低周波数の各画像を含み、これらの各画像は、前記ビデオ画像配列を２つの画像の群に分割すると共に、ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定することで取得され、またこの高周波数および低周波数の各画像は、各画素および各サブ画素から取得され、この各画素および各サブ画素は、前記ソース群内の少なくとも一つの画像をアップサンプリングすることで取得した各画素と各サブ画素から決定される。

本発明は、デオ画像配列を含む信号を蓄積する方法にも関係し、このビデオ画像配列は、離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって符号化されたものにおいて、前記信号は高周波数および低周波数の各画像を含み、これらの各画像は、前記ビデオ画像配列を２つの画像の群に分割すると共に、ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定することで取得され、またこの高周波数および低周波数の各画像は、各画素および各サブ画素から取得され、この各画素および各サブ画素は、前記ソース群内の少なくとも一つの画像をアップサンプリングすることで取得した各画素と各サブ画素から決定される。

前記方法，復号化装置，送信および／または蓄積手段に蓄積されたビデオ画像配列を含む信号の利点は、前記符号化方法や符号化装置の利点と同じであるので、ここでは繰り返さない。

本発明は、情報媒体に蓄積されるコンピュータプログラムにも関係し、このプログラムは、当該プログラムがコンピュータシステムにロードされ、このコンピュータシステムにより実行されると、上述した方法を行なう指令を含んでいる。

上述した本発明の特徴は、他の特徴と同様に、実施例の記述を理解することでより明確になろうが、前記記述は、添付の各図面と関連して説明されるであろう。

図１は、動き補償された時間フィルタリングを備えたビデオコーダーのブロック図を示している。

動き補償された時間的フィルタリングを有するビデオコーダー１０は、ビデオ画像配列（シーケンス）１５をスケーラブルデータストリーム１８に符号化することができる。スケーラブルデータストリーム１８は、その中のデータが、画像の解像度および／または品質について、データを受け取るアプリケーションの種類に応じて可変できる表示を送信できるように配列されている流れ（stream）である。このスケーラブルデータストリームに含まれるデータは、ビデオ画像配列の各種符号化を行なう必要なく、品質及び解像度の双方の点で、拡大縮小可能な手法すなわち英語では「スケーラブル（scalable）」な手法で、ビデオ画像配列の送信を保証するように符号化される。従って、通信ネットワークの伝送速度が低いとき、および／または通信端末が高品質および／または高解像度を必要としないときに、スケーラブルデータストリーム１８の一部のみをデータ媒体に蓄積し、および／または通信端末へ送信することが可能となる。また、通信ネットワークの伝送速度が高いとき、および通信端末が高品質および／または高解像度を要求するときに、これと同一のスケーラブルデータストリーム１８を用いて、スケーラブルデータストリーム１８の全てをあらゆるデータ媒体に蓄積し、および／または通信端末へ送信することが可能となる。

本発明によれば、動き補償された時間的フィルタリングを有するビデオコーダー１０は、動き補償された時間フィルタリングモジュール（ＭＣＴＦ）１００を含む。この動き補償された時間フィルタリングモジュール１００は、Ｎ個の画像からなる一つの群を、例えば（Ｎ＋１）／２個の低周波数画像からなる一つの群と、Ｎ／２個の高周波数画像からなる一つの群のように、各画像からなる二つの群に変換し、動き補償された時間フィルタリングを備えたビデオコーダー１０における動き予測モジュール１１で行われる動き予測を用いて、これらの画像を変換する。動き予測モジュール１１は、画像配列の中で、ｘ_２［ｍ，ｎ］で示されるそれぞれの偶数番画像と、それに先行する奇数番画像ｘ_１［ｍ，ｎ］（更に場合によっては、後続する画像ペアの奇数番画像を伴なう）との間で、動き予測を実行する。動き補償された時間フィルタリングモジュール１００は、その時間フィルタリングが可能な限り効果的になるように、偶数番画像ｘ_２［ｍ，ｎ］の動きを補償する。これは、予測画像と画像との間の差が小さければより効果的に、すなわち良好な比率／歪みで妥協して、或いは等価的には再構築の品質に対し良好な比率の圧縮率で圧縮される。

動き予測モジュール１１は、各々の偶数番と奇数番の画像ペアについて、例えば偶数番画像に対する奇数番画像のブロックを整合（matching）させることにより（これに限定されない）、動き場を計算する。これは、「ブロックマッチング：block matching」という英語の用語で知られている。もちろん、例えばメッシュ法（meshing）による動き予測手法等の他の手法を用いてもよい。そのため、偶数番ソース画像（画像源）の一定の画素におけるマッチングが、奇数番画像の各画素と共に行われる。特に、ブロックによる予測を行なう場合には、ブロックの動き値を奇数番画像のブロックの各画素と各サブ画素に割り当てることができる。ある変形例においては、ブロックの重み付けされた動きベクトルと、この隣の各ブロックの重み付けされた動きベクトルが、ＯＢＭＣ（Overlapped Block Motion Compensation）という名で知られた手法によって、ブロックの各画素に割り当てられる。

動き補償された時間フィルタリングモジュール１００は、各画像の離散ウェーブレット分解を実行して、ビデオ画像配列を、一乃至複数の解像度レベルにわたって割り当てられた幾つかの時間的サブバンドに分解する。この離散ウェーブレット分解は、要求された分解レベルに到達していない限り、時間的サブバンドの低周波数サブバンドに再帰的に適用される。動き補償された時間的フィルタリングを有するビデオコーダー１０の判定モジュール１２は、要求された分解レベルに達しているか否かを判定する。

動き補償された時間フィルタリングモジュール１００によって取得した各種周波数サブバンドは、スケーラブルデータストリーム生成モジュール１３に転送される。動き予測モジュール１１は、スケーラブルストリーム生成モジュール１３に動き予測を転送し、そこで各種周波数サブバンドと動き予測から、スケーラブルデータストリームを生成する。

図２は、ハール（Haar）フィルタをウェーブレット分解に用いた場合に、図１におけるビデオコーダーの動き補償された時間的フィルタリングモジュールのブロック図を示している。動き補償された時間フィルタリングモジュール１００は、「リフティング」という用語で知られた手法に基づいて、時間的フィルタリングを実行する。この手法は、ウェーブレットフィルタリングと同等に、簡単で、柔軟性があり、しかも可逆（元の状態に戻せる）なフィルタリングを行なわせることが可能である。

ソースの偶数番画像ｘ_２［ｍ，ｎ］は、統合モジュール１１０で本発明に基づく離散ウェーブレット変換統合すなわちＳＤＷＴを行なうことで、アップサンプル（upsample）される。その理由は、補間に代わり離散ウェーブレット変換統合（synthesis）を用いることで、とりわけ離散ウェーブレット分解により画像ｘ_２［ｍ，ｎ］を取得した場合に、予測の違いが大幅に減少するからである。

各モジュール１００〜１６からなる動き補償された時間フィルタリングモジュール１００の部分に対しての画像ソースは、偶数番画像ｘ_２［ｍ，ｎ］となる。

アップサンプルされた偶数番画像ｘ_２［ｍ，ｎ］は、補間モジュール１１１によって再度アップサンプルされる。この補間モジュール１１１は、例えば４分の１の画素の解像度を有する画像を取得できるように補間を行なう。ここでの補間は、例えば現時点で処理されるべき画素に最も近接した各画素が、各係数によって重み付けされるバイリニア（bilinear：双一次）補間であり、前記係数の合計は１に等しく、またこの係数は、現時点で処理されるべき画素から各画素の距離に対してリニアに減少する。変形例として、この補間はバイキュービック（bicubic：双三次）補間や、カーディナルサイン（cardinal sine）補間である。したがって、ｘ_２［ｍ，ｎ］で示された画像は、統合モジュール１１０および補間モジュール１１１によって、例えば４分の１の画素解像度を有する画像ｘ’_２［ｍ’，ｎ’］に変換される。

動き補償された時間フィルタリングモジュール１００は更に、初期モーション連結モジュール１２１を備えている。初期モーション連結モジュール１２１は、送信先（destination）画像ｘ_１［ｍ，ｎ］の少なくとも４倍以上の画素を備えた画像ｘ’_１［ｍ'’，ｎ''］を形成する。この画像ｘ’_１［ｍ'’，ｎ''］は、ｘ_１［ｍ，ｎ］の補間によって、或いは他のあらゆる方法や協調によって、画像ｘ’_１［ｍ'’，ｎ''］の各画素および各サブ画素（例えば、これらの各画素および各サブ画素からなり、初期モーション連結モジュール１２１によって予測されたブロックの動きベクトル）と共に形成される。前記送り先画像は、各モジュール１００〜１１６からなる動き補償された時間フィルタリングモジュール１００の部分に対して、奇数番画像ｘ_１［ｍ，ｎ］である。

画像ｘ’_２［ｍ’，ｎ’］の画素は、ここでは画像ｘ_２［ｍ，ｎ］の画素と同じ位置を有する画像ｘ’_２［ｍ’，ｎ’］の画素を意味する。画像ｘ’_２［ｍ’，ｎ’］のサブ画素は、ここでは離散ウェーブレット変換統合および／または補間によって生成された画像ｘ’_２［ｍ’，ｎ’］の画素を意味する。画像ｘ’_１［ｍ'’，ｎ''］の画素は、ここでは画像ｘ_１［ｍ，ｎ］の画素と同じ位置を有する画像ｘ’_１［ｍ’，ｎ’］の画素を意味する。画像ｘ’_１［ｍ'’，ｎ''］のサブ画素は、ここでは離散ウェーブレット変換統合および／または補間によって生成された画像ｘ’_１［ｍ'’，ｎ''］の画素を意味する。

動き補償された時間フィルタリングモジュール１００は、動き場緻密化モジュール１１２を備えている。この動き場緻密化モジュール１１２は、初期モーション連結モジュール１２１によって構築された関係を用いて、ソース画像ｘ’_２［ｍ’，ｎ’］の少なくとも一つの画素と、送り先画像ｘ’_１［ｍ'’，ｎ''］の各画素および各サブ画素とを関連付ける。

この関連付けが全て行われると、蓄積（accumulation）モジュール１１３は、そのサイズが画像ｘ’_１［ｍ'’，ｎ''］のサイズである蓄積画像ｘa’［ｍ'’，ｎ''］を生成する。当該蓄積画像Ｘa’［ｍ'’，ｎ''］における各々の画素およびサブ画素の値は、送り先画像ｘ’_１［ｍ'’，ｎ''］の対応する画素若しくはサブ画素と関連付けられたソース画像ｘ’_２［ｍ’，ｎ’］の各画素および各サブピクセルの値を合計したものに等しく、この合計は標準化（normalized）され、より詳しくは、画像ｘ’_１［ｍ'’，ｎ''］の対応する画素若しくはサブ画素と関連付けられたソース画像ｘ’_２［ｍ’，ｎ’］の各画素および各サブピクセルの数で割り算される。この除算は、画像シーケンスを復号する間に発生し、プリエコーおよび／またはポストエコー効果のようなアーチファクトを回避させることができる。

本発明の変形例において、Ｗ_connexで示される重みは、前記関連付けのそれぞれに割り当てられる。画像Ｘa’［ｍ’，ｎ'］の各画素またはサブ画素に対する更新値は、次の数式に基づき計算されるであろう。

ここで、Ｍajは画像Ｘa’［ｍ'’，ｎ''］の画素またはサブ画素の値であり、Valsrcは、送り先画像ｘ’_１［ｍ'’，ｎ''］の画素若しくはサブ画素と関連付けられたソース画像ｘ_２［ｍ，ｎ］の画素の値である。

画像Ｘa’［ｍ'’，ｎ''］は、その後に符号１１４で示されるローパスフィルタでフィルタ処理される。ローパスフィルタ１１４の機能は、画像Ｘa’［ｍ'’，ｎ''］中の一定の高周波成分を低減させることにあり、これによりユニット１１５により行われる画像のサブサンプリング（subsampling：副標本）中に、スペクトルのエイリアシングに関係するあらゆるアーチファクトを避けることができる。

画像Ｘa’［ｍ'’，ｎ''］における全ての画素とサブ画素にローパスフィルタ処理を行なうことで、画像Ｘa’［ｍ'’，ｎ''］の幾つかの細部が維持される。

フィルタ処理された画像Ｘa’［ｍ'’，ｎ''］は、その後でモジュール（ＡＤＷＴ）１１５によりサブサンプルされる。このモジュール１１５は、画像Ｘa’［ｍ'’，ｎ''］をサブサンプルする第１のサブサンプル器および離散ウェーブレット分解モジュールを備え、これにより画像Ｘa’［ｍ'’，ｎ''］は、画像ｘ_１［ｍ，ｎ］と同じ解像度を有する。サブサンプルされた画像Ｘa’［ｍ'’，ｎ''］は、その後でＨ［ｍ，ｎ］で示される高周波成分を含んだ画像を形成するために、減算器１１６によって画像ｘ_１［ｍ，ｎ］から減算される。この画像Ｈ［ｍ，ｎ］は、その後にスケーラブルデータストリーム生成モジュール１３と統合モジュール１３０に転送される。

各モジュール１３０〜１３６からなる動き補償された時間フィルタリングモジュール１００の部分に対してのソース画像は、その画像Ｈ［ｍ，ｎ］となる。

ソース画像Ｈ［ｍ，ｎ］は、統合モジュール１３０で本発明に基づく離散ウェーブレット変換統合すなわちＳＤＷＴを行なうことで、アップサンプルされる。

アップサンプルされたソース画像Ｈ［ｍ，ｎ］は、ソース画像Ｈ’［ｍ’，ｎ’］を取得するために、補間モジュール１３１によって再度アップサンプルされる。この補間モジュール１３１は、例えば４分の１の画素の解像度を有する画像を取得できるように補間を行なう。ここでの補間は、例えば前記補間モジュール１１１で行なわれるものと同一の補間である。動き補償された時間フィルタリングモジュール１００は、更に動き場緻密化モジュール１３２を備えている。

動き場緻密化モジュール１３２は、ソース画像Ｈ’［ｍ’，ｎ’］と送り先画像ｘ’_２［ｍ'’，ｎ''］との間の関係を当てはめるために、初期モーション連結モジュールによって生成されたｘ’_１［ｍ'’，ｎ''］とｘ’_２［ｍ'’，ｎ''］との初期的な関係を逆転させる。各モジュール１３０〜１３６からなる動き補償された時間フィルタリングモジュール１００の部分に対しての送り先画像は、画像ｘ_２［ｍ，ｎ］または画像ｘ’_２［ｍ'’，ｎ''］である。

動き場緻密化モジュール１３２は、初期モーション連結モジュール１２１によって構築された関係から、ソース画像Ｈ’［ｍ’，ｎ’］の少なくとも一つの画素と、送り先画像ｘ’_２［ｍ'’，ｎ''］の各画素および各サブ画素とを関連付ける。

ここで、送り先画像ｘ’_２［ｍ'’，ｎ''］の画素および／またはサブ画素の幾つかは、ソース画像Ｈ’［ｍ’，ｎ’］の画素またはサブ画素と関連付けられていないことに注目すべきである。これらの画素またはサブ画素は、画像をクライアントの復号器で再構築した時に、動き場を完全に元の状態に戻せないものとし、アーチファクトを生じさせる。一方、動き場緻密化モジュール１３２は、本発明に基づくものであって、これはこうした「ホール」に対する関連付けを構築する。そのために、動き場緻密化モジュール１３２は、送り先画像ｘ’_２［ｍ'’，ｎ''］における全ての画素よびサブ画素が、それに関連付けられたソース画像Ｈ’［ｍ’，ｎ’］の少なくとも一つの画素よびサブ画素を有していない限り、送り先画像ｘ’_２［ｍ'’，ｎ''］の各画素およびサブ画素と、最も近くに隣接する画素またはサブ画素と関連付けられた画像ソースＨ’［ｍ’，ｎ’］の画素とを、繰り返しそして徐々に伝達することで関連付ける。とりわけ本実施形態では、送り先画像ｘ’_２［ｍ'’，ｎ''］の画素またはサブ画素が、例えば４つの画素のように、画像ソースＨ’［ｍ’，ｎ’］の予め設定された画素数で関連付けられ、その画素に対して新たな関連付けがなされないことに注目すべきである。

この関連付けが全て行われると、蓄積（accumulation）モジュール１３３は、蓄積画像Ｘb’［ｍ'’，ｎ''］を生成する。蓄積画像Ｘb’［ｍ'’，ｎ''］は、送り先画像ｘ’_２［ｍ'’，ｎ''］と同じサイズであり、またその各画素および各サブ画素のそれぞれの値は、画像ｘ’_２［ｍ'’，ｎ''］の対応する画素若しくはサブ画素と関連付けられたソース画像Ｈ’［ｍ’，ｎ’］の各画素および各サブピクセルの値を合計したものに等しい。この合計は、ソース画像Ｈ’［ｍ’，ｎ’］の対応する画素若しくはサブ画素と関連付けられたソース画像ｘ’_２［ｍ'’，ｎ''］の各画素および各サブピクセルの数で割り算される。この除算は、画像シーケンスを復号する間に発生し、プリエコーおよび／またはポストエコー効果のようなアーチファクトを回避させることができる。

本発明の変形例において、Ｗ_connexで示される重みは、前記関連付けのそれぞれに割り当てられる。画像Ｘb’［ｍ'’，ｎ''］の各画素またはサブ画素に対する更新値は、次の数式に基づき計算されるであろう。

ここで、Ｍajは画像Ｘb’［ｍ'’，ｎ''］の画素またはサブ画素の値であり、Valsrcは、送り先画像ｘ’_２［ｍ'’，ｎ''］の画素若しくはサブ画素と関連付けられたソース画像Ｈ’［ｍ’，ｎ’］の画素の値である。

画像Ｘb’［ｍ'’，ｎ''］は、その後に符号１３４で示されるローパスフィルタでフィルタ処理される。ローパスフィルタ１３４の機能は、画像Ｘb’［ｍ'’，ｎ''］中の一定の高周波成分を低減させることにあり、これによりユニット１１５により行われる画像のサブサンプリング中に、スペクトルのエイリアシングに関係するあらゆるアーチファクトを避けることができる。画像Ｘb’［ｍ'’，ｎ''］における全ての画素とサブ画素にローパスフィルタ処理を行なうことで、画像Ｘb’［ｍ'’，ｎ''］の幾つかの細部が維持される。

フィルタ処理された画像Ｘb’［ｍ'’，ｎ''］は、その後でモジュール１３５によりサブサンプルされる。このモジュール１３５は、画像Ｘb’［ｍ'’，ｎ''］をサブサンプルする第１のサブサンプル器および離散ウェーブレット分解モジュールを備え、これにより画像Ｘb’［ｍ'’，ｎ''］は、画像ｘ_２［ｍ，ｎ］と同じ解像度を有する。サブサンプルされた画像Ｘb’［ｍ'’，ｎ''］は、その後でＬ［ｍ，ｎ］で示される低周波成分を含んだ画像を形成するために、加算器１３６によって画像ｘ_２［ｍ，ｎ］に半加算される。この画像Ｌ［ｍ，ｎ］は、その後にスケーラブルデータストリーム生成モジュール１３に転送される。

その後に画像Ｌ［ｍ，ｎ］は、新たな分解のための動き補償された時間フィルタリングモジュール１００により、必要な解像度が取得若しくは再生されると、動き補償された時間的フィルタリングを有するビデオコーダー１０の判定モジュール１２に転送される。新たな分解を行なう必要がある場合、上述したのと同じ手法で、画像Ｌ［ｍ，ｎ］が動き補償された時間フィルタリングモジュール１００により処理される。

したがって、動き補償された時間フィルタリングモジュール１００は、例えばハールフィルタを用いた場合に、次の形態の高周波および低周波の各画像を形成する。

ここで、Ｗ_ｉ→ｊは、画像ｊに画像ｉを動き補償することを示す。

図３は、図４および図８に説明されたアルゴリズムに従って、符号化および復号化のアルゴリズムを実行可能な計算および／または通信装置（computing and/or telecommunication device）のブロック図を示している。

この計算および／または通信装置３０は、ソフトウェアを用いて、動き補償された時間的フィルタリングを画像配列に実行するのに適合される。更に装置３０は、ソフトウェアを用いて、逆の動き補償された時間的フィルタリングを本発明に基づく符号化された画像配列に実行することも可能である。

前記装置３０は、例えばマイクロコンピュータである。また、前記装置をビデオ画像配列表示手段に組み込んでもよく、この手段はテレビや、テレビ，携帯電話などの受信端末用に意図された一連の情報を生成する他のあらゆる装置とすることができる。

前記装置３０は通信バス３０１を備え、この通信バス３０１は、中央処理装置（ＣＰＵ）３００と、リードオンリィメモリ（ＲＯＭ）３０２と、ランダムアクセスメモリ（ＲＡＭ）３０３と、スクリーン３０４と、キーボード３０５と、ハードディスク（ＨＤ）３０８と、デジタルビデオディスク再生装置／録音装置としてのＤＶＤ３０９と、通信ネットワークとの電気通信インターフェイス（Ｉ／Ｏ）３０６と、に接続される。

ハードディスク３０８は、本発明を実行するプログラムのみならず、本発明に基づく符号化および／または復号化を可能にするデータを記憶する。

より一般的に言えば、本発明のプログラムは記憶手段に記憶される。この記憶手段は、コンピュータすなわちマイクロコンピュータ３００によって読み出し可能である。この記憶手段は前記装置に組み込まれていてもよく、組み込まれていなくてもよく、また取り外し可能であってもよい。

前記装置３０が起動すると、本発明による前記プログラムは、本発明の実行コードのみならず本発明の実行に必要なデータを含んだランダムアクセスメモリ３０３に送信される。

通信インターフェイス３０６は、本発明に基づく復号化のために、符号化されたスケーラブルデータのストリームを受け取ることを可能にする。更に通信インターフェイス３０６は、本発明に基づく符号化されたスケーラブルデータを、電気通信ネットワーク上に転送することを可能にする。

図４は、動き補償された時間フィルタリングがソフトウェアから実行され、そのソフトウェアのハールフィルタがウェーブレット分解に用いられた時に、処理装置により実行される符号化アルゴリズムを示している。

前記符号化および／または復号化を行なう装置３０の処理装置３００は、用語「リフティング(lifting)」で知られた技術に従って、時間的フィルタリングを行なう。

ステップＥ４００では、本発明に基づいて離散ウェーブレット変換統合を行なうことによって、処理装置３００でソース画像がアップサンプルされる。本アルゴリズムにおけるここでの説明に対するソース画像は、偶数番画像ｘ_２［ｍ，ｎ］である。

ステップＥ４０１において、アップサンプルされたソース画像ｘ_２［ｍ，ｎ］が、補間を行なうことで再度アップサンプルされる。この補間は、例えばバイリニア補間，バイキュービック補間，またはカーディナルサイン補間である。これにより画像ｘ_２［ｍ，ｎ］は、例えば４分の１の画素解像度を有する画像ｘ’_２［ｍ’，ｎ’］に変換される。

ステップＥ４０２において、偶数番画像ｘ_２［ｍ，ｎ］と現在処理されている送り先画像ｘ_１［ｍ，ｎ］との間で、動き予測が既になされているか否かをチェックする。ここでの送り先画像は、奇数番画像ｘ_１［ｍ，ｎ］である。

ここで、もし動き予測が既になされていれば、処理装置３００は装置３０のＲＡＭメモリ３０３に記憶された動き予測を読み込み、ステップＥ４０５に移動する。もし動き予測がなされていなければ、ステップＥ４０３に移動する。

ステップＥ４０３では、例えばソース画像および送り先画像の各ブロックを整合させることにより（これに限定されない）、動き場を計算する。もちろん、例えばメッシュ法による動き予測手法等の他の手法を用いてもよい。

この動作が一度行われると、処理装置３００は次のステップＥ４０４に移動し、ステップＥ４０３で取得した初期モーション（動き）の関係を構築する。処理装置３００は、送り先画像がアップサンプルされた時に、その送り先画像ｘ_１［ｍ，ｎ］の各画素、若しくは送り先画像ｘ’_１［ｍ'’，ｎ''］の各サブ画素と、例えばこれらの各画素からなるブロックの動きベクトルを関連付ける。

その後のステップＥ４０５で、処理装置３００はその関係の緻密化を実行する。ここでの緻密化は、前記動き場緻密化モジュール１１２で行なったのと同じ手法で実行される。

こうした動作が一度行われると、処理装置３００はステップＥ４０６において、前記蓄積モジュール１１３で行なったのと同じ手法で、蓄積画像ｘa’［ｍ'’，ｎ''］を生成する。

画像Ｘa’［ｍ'’，ｎ''］はその後のステップＥ４０７において、画像Ｘa’［ｍ'’，ｎ''］中の一定の高周波成分を低減させ、且つ後に続く画像のサブサンプリング中に、スペクトルのエイリアシングに関係するあらゆるアーチファクトを避けるために、ローパスフィルタリングを行なうことでフィルタ処理される。

フィルタ処理された画像Ｘa’［ｍ'’，ｎ''］は、その後のステップＥ４０８で、当該画像Ｘa’［ｍ'’，ｎ''］のサブサンプルと離散ウェーブレット分解を行なうことによって、画像ｘ_１［ｍ，ｎ］と同じ解像を有するようにサブサンプルされる。サブサンプルされた画像Ｘa’［ｍ'’，ｎ''］は、その後のステップＥ４０９で、Ｈ［ｍ，ｎ］で示される高周波成分を有する画像を形成するために、画像ｘ_１［ｍ，ｎ］から減算される。この画像Ｈ［ｍ，ｎ］は、その後にスケーラブルデータストリーム生成モジュール１３に転送される。

処理装置３００は、ソース画像として画像Ｈ［ｍ，ｎ］を取り込み、送り先画像として画像ｘ_２［ｍ，ｎ］を取り込んで、再度ステップＥ４００〜Ｅ４０９の各手順を実行する。

処理装置は、ステップＥ４００とステップＥ４０１において、画像ｘ_２［ｍ，ｎ］で行なったのと同じ動作を画像Ｈ［ｍ，ｎ］に行なう。これについては更に説明しない。

ステップＥ４０５で、処理装置３００は前述した動き場緻密化モジュール１３２で行なったのと同じ手法で、関係の緻密化を行なう。

この関連付けが全て行われると、処理装置３００はステップＥ４０６において、前記蓄積モジュール１３３で説明したのと同じ手法で、蓄積画像ｘb’［ｍ'’，ｎ''］を生成する。

ステップＥ４０７およびステップＥ４０８で、処理装置３００は、蓄積画像ｘa’［ｍ'’，ｎ''］で行なったのと同じ動作を蓄積画像ｘb’［ｍ'’，ｎ''］に行なうが、これについては更に説明しない。

こうした動作が行われると、低周波数成分の画像Ｌ［ｍ，ｎ］を形成するために、フィルタ処理とサブサンプルがなされた画像ｘb’［ｍ'’，ｎ''］の半分を、画像ｘ_２［ｍ，ｎ］に加算する。

その後に画像Ｌ［ｍ，ｎ］は、新たな分解のための現アルゴリズムによって、必要な解像度が取得若しくは再生されると、動き補償された時間的フィルタリングを有するビデオコーダー１０の判定モジュール１２に転送される。新たな分解を行なうべき時に、上述したのと同じ手法で、画像Ｌ［ｍ，ｎ］が処理される。

図５は、本発明による動き補償された時間フィルタリングを備えたビデオデコーダーのブロック図を示す。

動き補償された時間フィルタリングを有するビデオデコーダー６０は、スケーラブルデータストリーム１８をビデオ画像配列６５に復号化することができるが、このスケーラブルデータストリーム１８に含まれるデータは、図１に示したコーダーによって符号化されている。

動き補償された時間フィルタリングを有するビデオデコーダー６０は、データストリーム１８を解析するためのモジュール６８を備えている。解析モジュール６８はデータストリーム１８を解析し、最低の分解レベルの低周波数成分を含む画像だけでなく、各々の分解レベルにおける各高周波画像を、そのデータストリーム１８から抽出する。解析モジュール６８は、高周波の各成分６６と低周波の各成分６７からなる各画像を、逆動き補償された時間フィルタリングモジュール（ＩＭＣＴＦ）６００に転送する。さらに解析モジュール６８は、図１の符号器１０によって形成された動き場の様々な予測を、データストリーム１８から抽出すると共に、その抽出したものを動き場蓄積モジュール６１に転送する。

逆動き補償された時間フィルタリングモジュール６００は、より高い分解レベルの低周波数画像に対応した偶数番画像と奇数番画像を形成するのに、高周波数画像と低周波数画像を反復して転送する。逆動き補償された時間フィルタリングモジュール６００は、モジュール６１に蓄積された各動き予測から、ビデオ画像配列を形成する。これらの動き予測は、本発明における符号器１０によって符号化され、ビデオ画像シーケンス内における偶数番画像と、その後に続く奇数番画像のそれぞれの間における予測である。

逆動き補償された時間フィルタリングモジュール６００は、ビデオ画像配列を形成するために、画像Ｌ［ｍ，ｎ］および画像Ｈ［ｍ，ｎ］の離散ウェーブレット統合を実行する。この離散ウェーブレット統合は、必要な分解レベルに達しない限り、時間的な各サブバンドの低周波数画像に繰り返し適用される。逆に動き補償された時間フィルタリングモジュール６００の判定モジュール６２は、必要な分解レベルに達したか否かを判定するものである。

図６は、ハールフィルタがウェーブレット分解に用いられた時に、図５のビデオデコーダーの逆動き補償時間フィルタリングモジュールのブロック図を示している。

逆動き補償された時間フィルタリングモジュール６００は、本発明の符号器によって符号化されたビデオ画像から、様々な配列の画像を再構築するために、前記「リフティング」手法に基づく時間的フィルタリングを実行する。

画像Ｈ［ｍ，ｎ］すなわちソース画像は、統合モジュール６１０によってアップサンプルされる。統合モジュール６１０は、図２における統合モジュール３１０と同一であるので、更には説明しない。

アップサンプルされた画像Ｈ［ｍ，ｎ］は、画像Ｈ’［ｍ’，ｎ’］を形成するのに、補間モジュール６１１によって再度アップサンプルされる。補間モジュール６１１は、図２における補間モジュール３１１と同一であるので、更には説明しない。

動き補償された時間フィルタリングモジュール１００は、図２における初期モーション連結モジュール１２１と同一の初期モーション連結モジュール６２１を備えているが、これは更には説明しない。

逆動き補償された時間フィルタリングモジュール６００は、逆動き場緻密化モジュール６１２を備えている。この逆動き場緻密化モジュール６１２は、図２における動き場緻密化モジュール１３２と同一であるので、更には説明しない。

逆動き補償された時間フィルタリングモジュール６００は、蓄積モジュール６１３を備えている。この蓄積モジュール６１３は、図２における蓄積モジュール１１３と同一であるので、更には説明しない。蓄積モジュール６１３は、蓄積画像Ｘb’［ｍ'’，ｎ''］を生成する。

逆動き補償された時間フィルタリングモジュール６００は、フィルタリングモジュール１３４と離散ウェーブレット分解モジュール１３５にそれぞれ対応した、フィルタリングモジュール６１４と離散ウェーブレット分解モジュール６１５をそれぞれ備えているが、これらは更には説明しない。

逆動き補償された時間フィルタリングモジュール６００は、ｘ_２［ｍ，ｎ］で示される偶数番画像を形成するために、前記画像Ｈ［ｍ，ｎ］からフィルタ処理およびサブサンプルされた画像Ｘb’［ｍ'’，ｎ''］の半分を減じる加算器６１６を備えている。

画像ｘ_２［ｍ，ｎ］すなわちソース画像は、統合モジュール６３０によってアップサンプルされる。この統合モジュール６３０は、図６における統合モジュール６１０と同一であるので、更には説明しない。

アップサンプルされた画像ｘ_２［ｍ，ｎ］は、画像ｘ’_２［ｍ’，ｎ’］を形成するのに、補間モジュール６３１によって再度アップサンプルされる。補間モジュール６１１は、図２における補間モジュール１１１と同一であるので、更には説明しない。

逆動き補償された時間フィルタリングモジュール６００は、逆動き場緻密化モジュール６３２を備えている。この逆動き場緻密化モジュール６３２は、図２における動き場緻密化モジュール１１２と同一であるので、更には説明しない。

逆動き補償された時間フィルタリングモジュール６００は、図２における蓄積モジュール１１３と同一の蓄積モジュール６３３を備えているが、これは更には説明しない。蓄積モジュール６３３は、蓄積画像Ｘa’［ｍ'’，ｎ''］を生成する。

逆動き補償された時間フィルタリングモジュール６００は、フィルタリングモジュール１１４と離散ウェーブレット分解モジュール１１５にそれぞれ対応した、フィルタリングモジュール６３４と離散ウェーブレット分解モジュール６３５をそれぞれ備えているが、これらは更には説明しない。

逆動き補償された時間フィルタリングモジュール６００は、ｘ_１［ｍ，ｎ］で示される奇数番画像を形成するために、前記画像Ｈ［ｍ，ｎ］にフィルタ処理およびサブサンプルされた画像Ｘa’［ｍ'’，ｎ''］を加える加算器６３６を備えている。この奇数番画像は、判定モジュール６２に転送される。これらの画像ｘ_１［ｍ，ｎ］と画像ｘ_２［ｍ，ｎ］を、必要な分解レベルに基づきインターリーブして、逆動き補償された時間フィルタリングモジュール６００におけるスケーラブルデータストリーム１８に読込まれ、より高いレベルの画像Ｈ［ｍ，ｎ］と共に再導入され、さもなければ再導入されない画像Ｌ［ｍ，ｎ］を生成する。

図７は、逆動き補償された時間フィルタリングがソフトウェアにより実行され、そのソフトウェアにおけるハールフィルタがウェーブレット分解に用いられた時に、処理装置により実行される復号化アルゴリズムを示している。

符号化および／または復号化装置３０の処理装置３００は、用語「リフティング(lifting)」で知られた技術に従って、時間的フィルタリングを行なう。

処理装置３００は、ソース画像として画像Ｈ［ｍ，ｎ］を取り込み、送り先画像として画像Ｌ［ｍ，ｎ］を取り込んで、ステップＥ８００〜Ｅ８０７の各手順を実行する。

ステップＥ８００において、ソース画像Ｈ［ｍ，ｎ］は、処理装置３００による統合モジュールで、本発明に基づく離散ウェーブレット変換統合を行なうことで、アップサンプルされる。

ステップＥ８０１において、画像Ｈ’［ｍ’，ｎ’］を形成するために、図４におけるステップＥ４０１に関連して説明したのと同じ手法で、アップサンプルされたソース画像Ｈ［ｍ，ｎ］が、補間を行なうことで再度アップサンプルされる。

ステップＥ８０２において、処理装置３００は、スケーラブルデータストリーム１８の対応する動き場を読込むと共に、初期関係を確かめる。このステップは、図４におけるステップＥ４０４と同一であるので、更なる説明はしない。

この動作が一度行われると、処理装置３００は次のステップＥ８０３を通過して、緻密な関係を構築する。処理装置３００は、初期モーション連結モジュール６２１によって構築された関係を利用して、送り先画像Ｌ［ｍ，ｎ］の少なくとも一つの画素を、ソース画像Ｈ’［ｍ’，ｎ’］の画素およびサブ画素のそれぞれと関連付ける。前記緻密な関係は、図２における緻密化モジュール１３２によって行われたものと同じ手法で、ソース画像の画素およびサブ画素と送り先画像の画素およびサブ画素との間で確立される。

この関連付けが全て行われると、処理装置３００はステップＥ８０４に移動して、蓄積画像ｘb’［ｍ'’，ｎ''］を生成する。蓄積画像ｘb’［ｍ'’，ｎ''］は、図２における蓄積モジュール１３３で説明したのと同じ手法で生成されるので、更には説明しない。

画像Ｘb’［ｍ'’，ｎ''］はその後のステップＥ８０５において、この画像Ｘb’［ｍ'’，ｎ''］中の一定の高周波成分を低減させ、且つ後に続く画像のサブサンプリング中に、スペクトルのエイリアシングに関係するあらゆるアーチファクトを避けるために、ローパスフィルタリングを行なうことでフィルタ処理される。

フィルタ処理された画像Ｘb’［ｍ'’，ｎ''］は、その後のステップＥ８０６において、画像Ｌ［ｍ，ｎ］と同じ解像度を有するように、画像Ｘb’［ｍ'’，ｎ''］をサブサンプルした後、離散ウェーブレット分解を行なうことで、サブサンプルされる。

サブサンプルされた画像Ｘb’［ｍ'’，ｎ''］は、ｘ_２［ｍ，ｎ］で示される画像を形成するために、画像Ｌ［ｍ，ｎ］から半分差し引かれる。

処理装置３００は、ソース画像として画像ｘ_２［ｍ，ｎ］を取り込み、送り先画像として画像Ｈ［ｍ，ｎ］を取り込んで、ステップＥ８００〜Ｅ８０７の各手順を再度実行する。

ステップＥ８００〜Ｅ８０２では、ソース画像Ｈ［ｍ，ｎ］に以前行なったものと同じ動作を、処理装置がソース画像ｘ_２［ｍ，ｎ］に実行するが、これは更には説明しない。

ステップＥ８０３では、前述した動き場緻密化モジュール１３２によって行なわれたのと同じ手法で、各関係における緻密化が行われる。

この関連付けが全て行われると、処理装置３００はステップＥ８０４において、蓄積モジュール１１３で説明したのと同じ手法で蓄積画像ｘa’［ｍ'’，ｎ''］を生成する。

ステップＥ８０５およびステップＥ８０６では、蓄積画像ｘ’b［ｍ'’，ｎ''］に行なったものと同じ動作を、処理装置３００が蓄積画像ｘ’a［ｍ'’，ｎ''］に実行するが、これは更には説明しない。

こうした動作が行われると、奇数画像ｘ_１［ｍ，ｎ］を形成するために、フィルタ処理とサブサンプルがなされた画像ｘ’a［ｍ'’，ｎ''］を、画像Ｈ［ｍ，ｎ］に加える。画像ｘ_１［ｍ，ｎ］および画像ｘ_２［ｍ，ｎ］は、必要な分解レベルに基づき、逆動き補償された時間フィルタリングモジュール６００に再導入され、或いは再導入されなくなる。

本発明は、ハールフィルタの使用に関連したものが提示されている。５／３フィルタや９／７フィルタのような他のフィルタであっても、本発明に利用できる。これらのフィルタは、送り先画像を予測するために、ソース画像よりも大きな数を用いる。またこれらのフィルタは、エム ビー アダムス（M B Adams）氏による「埋め込み画像圧縮への可逆ウェーブレット変換とその応用，エムエーエスシー論文（MASC thesis），電気およびコンピュータ工学部，ビクトリアＢＣ大学 １９８８年」の文書に記述されている。

一般的に、ビデオコーダーの動き補償された時間フィルタリングモジュールにおけるモジュール１１０〜１１６は、送り先画像を予測するモジュールである一方で、ビデオコーダーの動き補償された時間フィルタリングモジュールにおけるモジュール１３０〜１３６は、送り先画像を更新するモジュールである。また、逆動き補償された時間フィルタリングモジュールにおけるモジュール６１０〜６１６は、送り先画像を更新するモジュールである一方で、ビデオコーダーの逆動き補償された時間フィルタリングモジュールにおけるモジュール６３０〜６３６は、送り先画像を予測するモジュールである。

本発明で説明したような符号化および復号化の各装置は、ソース画像と送り先画像からなる各ペアに対して、先に提案したのに基づく蓄積画像を形成している。これらの各蓄積画像のそれぞれは、送り先画像の予測および／または更新のために考慮される。

そのため蓄積画像は、その後で送り先画像に加えられ、或いは送り先画像から差し引かれる。

本発明は、本来、前述した実施例に全く限定されるものではなく、むしろ当業者の能力の範囲内に属する如何なる変形も包含するものである。

動き補償された時間フィルタリングを備えたビデオコーダーのブロック図を示す。 ハールウェーブレットがウェーブレット分解に用いられた時に、図１のビデオコーダーにおける動き補償された時間フィルタリングモジュールのブロック図を示す。 図４および図８に説明されたアルゴリズムに従って符号化や復号化の各アルゴリズムを実行できる計算および／または通信装置のブロック図を示す。 動き補償された時間フィルタリングがソフトウェアから実行され、そのソフトウェアのハールフィルタがウェーブレット分解に用いられた時に、処理装置により実行される符号化アルゴリズムを示す。 本発明による動き補償された時間フィルタリングを備えたビデオデコーダーのブロック図を示す。 ハールフィルタがウェーブレット分解に用いられた時に、図５のビデオデコーダーの逆に動き補償された時間フィルタリングモジュールのブロック図を示す。 逆動き補償された時間フィルタリングがソフトウェアを用いて実行され、そのソフトウェアにおけるハールフィルタがウェーブレット分解に用いられた時に、処理装置により実行される復号化アルゴリズムを示す。

Claims (19)

1. 離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって、ビデオ画像配列を符号化する方法であって、
   離散ウェーブレット分解が、前記ビデオ画像配列を２つの画像の群に分割するステップを含み、
   この分割ステップは、ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定する少なくとも一つのステップを伴なうものにおいて、
   前記ソース群内の少なくとも一つの画像をアップサンプリングすることで各画素と各サブ画素を取得し、この各画素と各サブ画素から決定された各画素と各サブ画素を、前記表現する画像が構成することを特徴とする方法。
2. 少なくとも一つのウェーブレット分解統合を行なうことで、前記ソース群内の前記画像がアップサンプルされることを特徴とする請求項１記載の方法。
3. 前記送り先群内の画像と、前記画像を決定するのに用いた前記画像ソース群内のそれぞれの画像との間で、動き場を決定するステップと、
   前記決定した動き場から、前記画像を予測するのに用いた前記ソース群内のそれぞれの画像における少なくとも一つの画素および／またはサブ画素を、前記送り先群内の画像を表現する画像の各画素および各サブ画素と関連付けるステップと、を更に含むことを特徴とする請求項１または２記載の方法。
4. 前記送り先群内の画像を表現する画像の各画素および各サブ画素の値は、前記送り先群内の画像を表現する画像の前記画素およびサブ画素と関連付けられた各画素およびサブ画素の値を合計すると共に、その合計を、前記送り先群内の画像を表現する画像の前記画素または前記サブ画素と関連付けられた各画素および各サブ画素の数で割ることで、取得されることを特徴とする請求項３記載の方法。
5. 前記送り先群内の画像を表現する画像が、ローパスフィルタによってフィルタ処理されることを特徴とする請求項１〜４のいずれか一つに記載の方法。
6. 前記送り先群内の画像と同じ解像度で、サブサンプルされた画像を取得するために、このサブサンプルされた画像が表わす前記送り先群内の画像を表現する画像が、少なくとも一つの離散ウェーブレット分解によってサブサンプルされることを特徴とする請求項５記載の方法。
7. 離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって、ビデオ画像配列を復号化する方法であって、
   離散ウェーブレット分解が、前記ビデオ画像配列を２つの画像の群に分割するステップと、
   ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定する少なくとも一つのステップと、を含むものにおいて、
   前記ソース群内の少なくとも一つの画像をアップサンプリングすることで各画素と各サブ画素を取得し、この各画素と各サブ画素から決定された各画素と各サブ画素を、前記表現する画像が構成することを特徴とする方法。
8. 少なくとも一つのウェーブレット分解統合を行なうことで、前記ソース群内の前記画像がアップサンプルされることを特徴とする請求項７記載の方法。
9. 前記ソース群内の画像と、前記画像を決定するのに用いた各画像の前記送り先群内のそれぞれの画像との間で、動き場を決定するステップと、
   前記決定した動き場から、前記画像を予測するのに用いた前記ソース群内のそれぞれの画像における少なくとも一つの画素および／またはサブ画素を、前記送り先群内の画像を表現する画像の各画素および各サブ画素と関連付けるステップと、を更に含むことを特徴とする請求項７または８記載の方法。
10. 前記送り先群内の画像を表現する画像の各画素および各サブ画素の値は、前記送り先群内の画像を表現する画像の前記画素およびサブ画素と関連付けられた各画素およびサブ画素の値を合計すると共に、その合計を、前記送り先群内の画像を表現する画像の前記画素または前記サブ画素と関連付けられた各画素および各サブ画素の数で割ることで、取得されることを特徴とする請求項９記載の方法。
11. 前記送り先群内の画像を表現する画像が、ローパスフィルタによってフィルタ処理されることを特徴とする請求項７〜１０のいずれか一つに記載の方法。
12. 各画像の前記送り先群内の画像と同じ解像度で、サブサンプルされた画像を取得するために、このサブサンプルされた画像が表わす各画像の前記送り先群内の画像を表現する画像が、少なくとも離散ウェーブレット分解によってサブサンプルされることを特徴とする請求項１１記載の方法。
13. 離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって、ビデオ画像配列を符号化する装置であって、
    前記装置は離散ウェーブレット分解手段を備え、
    前記離散ウェーブレット分解手段は、前記ビデオ画像配列を２つの画像の群に分割する手段と、
    ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定する手段と、を備えたものにおいて、
    前記符号化する装置は前記表現する画像の形成手段を有し、前記ソース群内の少なくとも一つの画像をアップサンプリングすることで各画素と各サブ画素を取得し、この各画素と各サブ画素から決定された各画素と各サブ画素で、前記表現する画像が構成されることを特徴とする装置。
14. 離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって、ビデオ画像配列を復号化する装置であって、
    前記装置は離散ウェーブレット分解手段を備え、
    前記離散ウェーブレット分解手段は、前記ビデオ画像配列を２つの画像の群に分割する手段と、
    ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定する手段と、を備えたものにおいて、
    前記復号化する装置は前記表現する画像の形成手段を有し、前記ソース群内の少なくとも一つの画像をアップサンプリングすることで各画素と各サブ画素を取得し、この各画素と各サブ画素から決定された各画素と各サブ画素で、前記表現する画像が構成されることを特徴とする装置。
15. 情報媒体に蓄積されるコンピュータプログラムであって、
    このプログラムは、当該プログラムがコンピュータシステムにロードされ、このコンピュータシステムにより実行されると、請求項１〜６の何れか一つに基づく方法を行なう指令を含んでいることを特徴とするコンピュータプログラム。
16. 情報媒体に蓄積されるコンピュータプログラムであって、
    このプログラムは、当該プログラムがコンピュータシステムにロードされ、このコンピュータシステムにより実行されると、請求項７〜１１の何れか一つに基づく方法を行なう指令を含んでいることを特徴とするコンピュータプログラム。
17. ビデオ画像配列を含む信号であって、このビデオ画像配列は、離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって符号化され、
    前記信号は高周波数および低周波数の各画像を含み、これらの各画像は、前記ビデオ画像配列を２つの画像の群に分割すると共に、ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定することで取得されるものにおいて、
    前記高周波数および低周波数の各画像は、各画素および各サブ画素から取得され、この各画素および各サブ画素は、前記ソース群内の少なくとも一つの画像をアップサンプリングすることで取得した各画素と各サブ画素から決定されることを特徴とする信号。
18. ビデオ画像配列を含む信号を送信する方法であって、このビデオ画像配列は、離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって符号化されたものにおいて、
    前記信号は高周波数および低周波数の各画像を含み、これらの各画像は、前記ビデオ画像配列を２つの画像の群に分割すると共に、ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定することで取得され、
    またこの高周波数および低周波数の各画像は、各画素および各サブ画素から取得され、この各画素および各サブ画素は、前記ソース群内の少なくとも一つの画像をアップサンプリングすることで取得した各画素と各サブ画素から決定されることを特徴とする方法。
19. ビデオ画像配列を含む信号を蓄積する方法であって、このビデオ画像配列は、離散ウェーブレット分解を利用する動き補償された時間的フィルタリングによって符号化されたものにおいて、
    前記信号は高周波数および低周波数の各画像を含み、これらの各画像は、前記ビデオ画像配列を２つの画像の群に分割すると共に、ソース群と呼ばれる各画像の各群で、その中の一つの群内の各画素で構成される少なくとも一つの画像から、送り先群と呼ばれる別な各画像の群で、その中の画像を表現する画像を決定することで取得され、
    またこの高周波数および低周波数の各画像は、各画素および各サブ画素から取得され、この各画素および各サブ画素は、前記ソース群内の少なくとも一つの画像をアップサンプリングすることで取得した各画素と各サブ画素から決定されることを特徴とする方法。

Images