JP2008507171A - 種々の空間解像度を備えた周波数サブバンド係数へビデオ画像配列を符号化する方法及び装置 - Google Patents

Abstract

【課題】ビデオ画像配列の画像間に圧縮や膨張の動きが存在する際にこの画像配列の再構築を改善するビデオ画像を符号化および復号化する方法および装置を提案する。
【解決手段】本発明は、種々の空間解像度を備えた周波数サブバンドの係数へビデオ画像配列を符号化する方法に関する。この方法において、少なくとも１つの復元レベル（Ｎｉｖ Ｎ−２，Ｎｉｖ Ｎ−１，Ｎｉｖ Ｎ）から構成された少なくとも１つのデータストリーム（１８）が生成され、少なくとも１つの復元レベルは周波数サブバンドの係数を含み、かつ、周波数サブバンドの空間解像度は前記復元レベルの空間解像度に等しくなる。復元レベルの一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンドの係数が、少なくとも１つの復元レベルへ挿入される。本発明は、また、これに関連した装置に関する。
【選択図】図１

Description

本発明は、種々の空間解像度(spatial resolutions)を含んだ周波数サブバンド係数に、ビデオ画像配列(video image sequence)を符号化する方法及び装置に関する。

本発明は、また、これに関連する復号化する方法及び装置に関する。

より正確には、本発明は、離散ウェーブレット変換(discrete wavelet transformation)によって動き補償(motion compensation)と時間的変換(temporal transforms)を用いてデジタル画像の配列を符号化する分野に関連する。

デジタル画像配列の符号化の分野における幾つかのアルゴリズムは、２つの画像間の点を関連付ける解決法を提案している。

これらのアルゴリズムは、離散ウェーブレット分解によって動き補償された時間フィルタリングを用いる。これらのアルゴリズムは、まず初めに、ビデオ画像配列中の画像の間でウェーブレット時間的変換を実行し、次に、得られた時間サブバンドを空間的に分解する。より正確に言えば、ビデオ画像配列は２つの群の画像、つまり偶数番の画像と奇数番の画像、に分解され、各偶数画像とこれに最も近い奇数画像との間つまりウェーブレット時間的変換の間に使用される画像間での動き場(motion field)が推定される。これらの偶数画像と奇数画像とは、相対的な動きが反復的に補償され、時間サブバンドが得られる。この群の構築と動き補償とによるプロセスの反復は、種々のウェーブレット分解レベルを生成するために行われてもよい。この時間的画像は、続いて、ウェーブレット解析フィルタを用いて空間的にフィルタ処理される。

この分解が終わった時に、結果は一連の時間空間的(spatio-temporal)サブバンドとなる。この動き場と時間空間的サブバンドとは最終的に符号化され、目標とされた解像度レベルに対応した回復レベル(retrieval level)に伝送される。

これらのアルゴリズムによれば、この分解の後に量子化ステップとエントロピー符号化ステップとが実行される。時間的もしくは空間的な高周波数サブバンドの係数は、要求された回復レベルの解像度には直接用いられないため、除去される。

ビデオ画像配列における種々の画像間の動きが並進型や回転型の動きであるときには、回復レベルより高い解像度に属する高周波数の係数は除去可能であり、ビデオ画像配列を再構築する際に悪影響(artifacts)を生ずることもない。

ビデオ画像配列における種々の画像間の動きが膨張型や圧縮型の動きであるときには、本発明の発明者は、回復レベルより高い解像度に属する高周波数の係数を除去すると、ビデオ画像配列を再構築する際に悪影響を生ずることに注目した。

本発明の目的は、ビデオ画像配列の画像間に圧縮型や膨張型の動きが存在する際にビデオ画像配列の再構築を改善するビデオ画像配列を符号化および復号化するための方法および装置を提案することにより、従来技術の上記欠点を解決することである。

この目的を達成するために、本発明の第１の態様によれば、種々の空間解像度を備えた周波数サブバンドの係数へビデオ画像配列を符号化する方法を、本発明は提案する。この符号化方法は、少なくとも１つの復元レベルから構成された少なくとも１つのデータストリームを生成し、前記少なくとも１つの復元レベルは、空間解像度が前記復元レベルの空間解像度に等しくなる周波数サブバンドの係数を含むものである。この方法は、少なくとも１つの復元レベルへ、前記復元レベルの一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンドの係数を挿入する挿入ステップを含むことを特徴とする。

これに対応して、本発明は、種々の空間解像度を備えた周波数サブバンドの係数へビデオ画像配列を符号化する装置に関する。この符号化装置は少なくとも１つの復元レベルから構成された少なくとも１つのデータストリームを生成し、前記少なくとも１つの復元レベルは、その空間解像度が前記復元レベルの空間解像度に等しくなる周波数サブバンドの係数を含む。この装置は、少なくとも１つの復元レベルへ、前記復元レベルの一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンドの係数を挿入する挿入手段を含むことを特徴とする。

従って、圧縮型や膨張型の動きがビデオ画像配列中の画像間にたとえ存在していても、ビデオ画像配列の再構築が改善される。

本発明の他の態様によれば、前記復元レベルの一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンドの係数を前記復元レベルに挿入する前記挿入ステップより前に、各周波数サブバンド係数について実効空間解像度が取得され、各実効空間解像度は、前記復元レベルの前記一乃至複数の空間解像度と比較される。この方法は、前記復元レベルに挿入された前記周波数サブバンド係数が、実効空間解像度が前記一乃至複数の空間解像度未満となる係数であることを特徴とする。

従って、前記実効空間解像度から、挿入すべき係数を決定し、伝送されかつ記憶されるべきデータの量を削減することが可能となる。

本発明の他の態様によれば、係数の実効空間解像度は、各周波数サブバンド係数について擬似解像度を決定し、係数が属する前記サブバンドの前記空間解像度を、前記係数の擬似解像度によって割ることによって得られる。

従って、解像度レベルについて、前記係数の有効な寄与度が正確に推定される。

本発明の他の態様によれば、各周波数サブバンド係数について、ビデオ画像配列中の各画像と当該画像に隣接した少なくとも１つの画像との間で動き場を推定し、前記ビデオ画像配列中の各画像の各ブロックにおいて、前記画像の前記ブロックとこれに対応する少なくとも１つの隣接した画像のブロックとの間で少なくとも１つの膨張係数を決定し、ブロックの前記膨張係数が１に等しい場合に前記ブロックの擬似解像度に１の値を設定し、または、ブロックの前記擬似解像度を、１の値と、前記画像の前記ブロックとこれに対応する少なくとも１つの隣接した画像のブロックとの間の膨張係数の前記値と、のうちから最大の値に設定することによって、前記擬似解像度は決定されることを特徴とする。

本発明の他の態様によれば、ブロック間で前記膨張係数は、前記ブロックを複数の三角形に関連付け、各三角形において、前記動き場から、前記ブロック内の三角形の頂点と、これに対応する前記隣接した画像の三角形の頂点と、の間でアフィン変換の行列式を決定し、各三角形において、三角形の前記アフィン変換の動き場から、前記ブロック内の三角形の頂点と、これに対応する前記隣接した画像の三角形の頂点と、の間でアフィン変換の行列式を計算することによって前記三角形の前記膨張係数を決定し、前記ブロックに関連付けられた前記三角形の膨張係数から前記ブロックの膨張係数を決定することによって決定されることを特徴とする。

従って、膨張型と縮小型の動きを検出し、これを考慮に入れることが可能となる。

本発明の他の態様によれば、種々の空間解像度を備えたサブバンドの係数におけるビデオ画像配列の符号化が、時間フィルタリングと離散ウェーブレット分解とによって実行され、前記データストリームが複数の復元レベルからなるスケーラブルデータであることを特徴とする。

従って、符号化されたビデオ画像配列をスケーラブルに（縮小または拡大可能に）伝送することができる。

本発明の他の態様によれば、前記ビデオ画像配列は、種々の空間解像度の周波数サブバンドを含んだ一連のデータにおいて予め符号化され、かつ、前記方法は、復元レベルからなる複数のデータストリームを生成し、前記複数のデータストリームは、前記解像度レベルの空間解像度に等しい空間解像度である周波数サブバンドの係数と、前記復元レベルの前記一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンドの係数と、を含むことを特徴とする。

従って、符号化ビデオ画像配列のトランスコーディングを行い、クライアントへ、その要求に適合したデータストリームを供給することができる。

本発明の他の態様によれば、復元レベルに挿入された各周波数サブバンド係数の実効空間解像度は、前記データストリームに挿入されることを特徴とする。

本発明は、また、時間フィルタリングと離散ウェーブレット分解とによって得られたデータストリームを復号化する方法であって、前記データストリームは少なくとも１つの復元レベルから構成され、前記復元レベルは、前記復元レベルの空間解像度に等しい空間解像度となる周波数サブバンドの係数を含むものに関する。前記方法は、少なくとも１つの復元レベルにおいて、一乃至複数の空間解像度よりも高い前記空間解像度を備えた周波数サブバンドの係数を取得するステップと、前記復元レベルの空間解像度に等しい空間解像度となる周波数サブバンドの係数と、前記復元レベルの一乃至複数の前記空間解像度よりも高い空間解像度を備えた周波数サブバンドの係数とを統合するステップと、を含むことを特徴とする。

これに対応して、本発明は、時間フィルタリングと離散ウェーブレット分解とによって得られたデータストリームを復号化する装置であって、前記データストリームは少なくとも１つの復元レベルから構成され、前記復元レベルは、前記復元レベルの空間解像度に等しい空間解像度となる周波数サブバンドの係数を含むものに関する。前記装置は、少なくとも１つの復元レベルにおいて、一乃至複数の空間解像度よりも高い前記空間解像度を備えた周波数サブバンドの係数を取得する取得手段と、前記復元レベルの空間解像度に等しい空間解像度となる周波数サブバンドの係数と、前記復元レベルの一乃至複数の前記空間解像度よりも高い空間解像度を備えた周波数サブバンドの係数とを統合する統合手段と、を含むことを特徴とする。

本発明の他の態様によれば、前記復元レベルの一乃至複数の前記空間解像度よりも高い空間解像度を備えた周波数サブバンドの係数を統合する統合ステップより前に、各周波数サブバンド係数について実効空間解像度が取得され、各実効空間解像度が、前記復元レベルの前記一乃至複数の空間解像度と比較される。前記統合された前記周波数サブバンド係数が、その実効空間解像度が前記一乃至複数の空間解像度未満となる係数であることを特徴とする。

従って、縮小または膨張の動きに関連した欠点が低減される。

本発明の他の態様によれば、各周波数サブバンド係数の前記実効空間解像度が前記データストリーム中の解像度を読み取ることによって得られることを特徴とする。

従って、デコーダーは実効空間解像度を計算する必要がない。

本発明は、また、種々の空間解像度を備えた周波数サブバンドの係数に符号化されたビデオ画像配列を含んだ信号であって、前記信号は少なくとも１つの復元レベルから構成された少なくとも１つのデータストリームを生成し、前記少なくとも１つの復元レベルは、その空間解像度が前記復元レベルの空間解像度に等しくなる周波数サブバンドの係数を含むものに関し、少なくとも１つの復元レベルにおいて、前記復元レベルの一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンドの係数を含むことを特徴とする。

本発明は、また、種々の空間解像度を備えた周波数サブバンドの係数に符号化されたビデオ画像配列を含んだ信号を記憶または伝送する方法であって、前記信号は少なくとも１つの復元レベルから構成された少なくとも１つのデータストリームを生成し、前記少なくとも１つの復元レベルは、その空間解像度が前記復元レベルの空間解像度に等しくなる周波数サブバンドの係数を含むものに関する。前記信号は、少なくとも１つの復元レベルにおいて、前記復元レベルの一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンドの係数を含むことを特徴とする信号を記憶することを特徴とする。

前記復号化方法や復号化装置の利点は、前記符号化方法や前記符号化装置の利点と同様であるため、ここでは繰り返して説明しない。

本発明は、また、情報媒体に記憶されたコンピュータプログラムに関する。前記コンピュータプログラムは、コンピュータシステムに読み込まれかつ実行されるときに、前述の方法を行うための命令を含む。

上述した本発明の特徴は、他の特徴と同様に、実施例の記述を理解することでより明確になろうが、前記記述は、添付の各図面と関連して説明されるであろう。

動き補償された時間フィルタリングと離散ウェーブレット分解を備えたビデオコーダー１０は、ビデオ画像配列（sequence、図中Ｓｅｑ）１５を一連の拡張可能な(スケーラブル、scalable)データ１８に符号化することができる。スケーラブルデータストリーム１８はデータの連続(stream)であって、画像の解像度及び／または品質（データを受けるアプリケーションの種類に応じて変化する）についての表示を伝送できるように当該データは構成されている。このスケーラブルデータストリームに含まれるデータは、ビデオ画像配列に種々の符号化を行う必要なく、品質及び解像度の双方の点でスケーラブルな方法でビデオ画像配列を伝送することを保証するように符号化される。従って、通信ネットワークの伝送速度が低いときや通信端末が高品質や高解像度を必要としないときには、スケーラブルデータストリーム１８の一部のみをデータ媒体に記憶することや、これを復元レベル(restitution level)に応じて通信端末へ伝送することが可能となる。また、通信ネットワークの伝送速度が高いときや通信端末が高品質や高解像度を要求するときには、これと同一のスケーラブルデータストリーム１８を用いて、データ媒体に組み込むことや、スケーラブルデータストリーム１８の全てを通信端末へ伝送することが可能となる。

本発明によれば、ビデオコーダー１０は、動き補償された時間フィルタリングモジュール（motion compensated temporal filtering＝ＭＣＴＦ）１３を含む。この動き補償された時間フィルタリングモジュール１３は、一群の（Ｎ＋１）／２の低周波数画像と一群のＮ／２の高周波数画像とを変換し、ビデオコーダー１０の動き推定モジュール１１で行われる動き推定を用いて、これらの画像を変換する。図４は、画像Ｉｍ１，Ｐａ１，Ｉｍ２，及びＰａ２から構成されたビデオ画像配列を示す。このビデオ画像配列は、画像Ｉｍ１，Ｉｍ２を含んだ奇数画像の群と、画像Ｐａ１，Ｐａ２を含んだ偶数画像の群と、に分けられる。

動き推定モジュール１１は、ビデオ画像配列中の奇数番の各画像とその隣の画像との間の動き推定を実行する。動き補償された時間フィルタリングモジュール１３は、時間フィルタリングが可能な限り効果的になるように前記偶数番の画像の動きを補償
する。これは、推定画像と画像との間の差が小さければより効果的に圧縮可能となり、すなわち、良好な比率／歪み(rate/distortion)が影響を受けるからであり、つまり、良好な比率の圧縮率が再構築品質に及ぼすのと等価である。

ここで、Ｈａａｒフィルタが離散ウェーブレット分解のために用いられるときのある変形例として、画像と隣の画像との間において単一方向に動き推定が実行されることに留意されたい。

動き推定モジュール１１は、各画像について、画像と隣の画像との間の動き場を、例えば奇数画像内のブロックを偶数画像内のブロックとに整合(matching)させることにより（これに限定されない）、計算する。これは、”block matching”という英語の用語で知られている。もちろん、例えばメッシュ法(meshing)による動き推定手法等の他の手法を用いてもよい。ブロックによる推定を行う場合には、ブロックの動き値が画像の当該ブロック内の各画素に割り当て可能となる。ある変形例においては、重み付けされたブロックの動きベクトルと、重み付けされたこの隣のブロックの動きベクトルとが、ＯＢＭＣ(Overlapped Block Motion Compensation)という名で知られた手法によって、ブロックの各画素に割り当てられる。

動き補償された時間フィルタリングモジュール１３は、画像間で離散ウェーブレット分解を実行して、ビデオ画像配列を、一乃至複数の解像度レベルにわたって分布した幾つかの時間サブバンドに分解する。この離散ウェーブレット分解は、要求された分解レベルに到達していない限り時間サブバンドの低時間サブバンドに再帰的に適用される。従って、図４の例によれば、Ｈａａｒフィルタを用いた場合に、画像Ｉｍ１と画像Ｐａ１は、Ｔ−Ｌ１と示された低時間サブバンドとＴ−Ｈ１と示された高時間サブバンドとを形成するように分解される。同様に、画像Ｉｍ２と画像Ｐａ２は、Ｔ−Ｌ２と示された低時間サブバンドとＴ−Ｈ２と示された高時間サブバンドとを形成するように分解される。第２の離散ウェーブレット分解が、前記時間サブバンドＴ−Ｌ１，Ｔ−Ｌ２に適用されて、Ｔ−ＬＬと示された低時間サブバンドとＴ−ＬＨと示された高時間サブバンドとを形成する。

動き補償された時間フィルタリングモジュール１３によって得られた種々の時間サブバンドは、離散ウェーブレット分解モジュール（ＤＷＴ）１４に送られて、これらの時間サブバンドの空間的分解が実行される。従って、図４の例によれば、前記時間サブバンドＴ−Ｈ１は、１つの低周波数サブバンドＴ−Ｈｓ−ＬＬと３つの高周波数サブバンドＴ−Ｈｓ−ＬＨ，Ｔ−Ｈｓ−ＨＬ，Ｔ−Ｈｓ−ＨＨとに分解される。前記時間サブバンドＴ−ＬＨは、１つの低周波数サブバンドＴ−ＬＨｓ−ＬＬと３つの高周波数サブバンドＴ−ＬＨｓ−ＬＨ，Ｔ−ＬＨｓ−ＨＬ，Ｔ−ＬＨｓ−ＨＨとに分解され、周波数サブバンドＴ−ＬＨｓ−ＬＬは、１つの低周波数サブバンドＴ−ＬＨｓ−ＬＬＬＬと３つの高周波数サブバンドＴ−ＬＨｓ−ＬＬＬＨ，Ｔ−ＬＨｓ−ＬＬＨＬ，Ｔ−ＬＨｓ−ＬＬＨＨとに再度分解される。前記時間サブバンドＴ−ＬＬは、１つの低周波数サブバンドＴ−ＬＬｓ−ＬＬと３つの高周波数サブバンドＴ−ＬＬｓ−ＬＨ，Ｔ−ＬＬｓ−ＨＬ，Ｔ−ＬＬｓ−ＨＨとに分解され、周波数サブバンドＴ−ＬＬｓ−ＬＬは、１つの低周波数サブバンドＴ−ＬＬｓ−ＬＬＬＬと３つの高周波数サブバンドＴ−ＬＬｓ−ＬＬＬＨ，Ｔ−ＬＬｓ−ＬＬＨＬ，Ｔ−ＬＬｓ−ＬＬＨＨとに再度分解される。

前記時間サブバンドＴ−Ｈ２は、１つの低周波数サブバンドＴ−Ｈ'ｓ−ＬＬと３つの高周波数サブバンドＴ−Ｈ'ｓ−ＬＨ，Ｔ−Ｈ'ｓ−ＨＬ，Ｔ−Ｈ'ｓ−ＨＨとに分解される。なお、これらのサブバンドは図１に図示されていない。

前記周波数サブバンドＴ−Ｈｓ−ＬＬは、１つの低周波数サブバンドＴ−Ｈｓ−ＬＬＬＬと３つの高周波数サブバンドＴ−Ｈｓ−ＬＬＬＨ，Ｔ−Ｈｓ−ＬＬＨＬ，Ｔ−Ｈｓ−ＬＬＨＨとに再度分解される。なお、これらのサブバンドは図１に図示されていない。

前記周波数サブバンドＴ−Ｈ'ｓ−ＬＬは、１つの低周波数サブバンドＴ−Ｈ'ｓ−ＬＬＬＬと３つの高周波数サブバンドＴ−Ｈ'ｓ−ＬＬＬＨ，Ｔ−Ｈ'ｓ−ＬＬＨＬ，Ｔ−Ｈ'ｓ−ＬＬＨＨとに再度分解される。なお、これらのサブバンドは図１に図示されていない。

前記ビデオコーダーは、擬似解像度（pseudo-resolution＝ＰＲ）計算モジュール１２を含む。このＰＲ計算モジュール１２は、動き推定モジュール１１によって定義された画像の各ブロックを４つの三角形に関連付ける。図５（ａ）に示すブロックとこれに隣接したブロックから、ＰＲ計算モジュール１２は、図５（ｂ）において符号５１，５２，５３，５４に示す４つの三角形を形成する。

動き場推定モジュール１１で決定されかつ前記三角形に関連したブロックに関連付けられた動きベクトルから、ＰＲ計算モジュール１２は、各三角形について膨張係数を決定する。ある三角形の膨張係数ρｔは、２つの隣接した画像間の三角形の動きをアフィン変換(affine transformation)によって表すことによって得られ、このアフィン変換は隣接した画像における三角形の射影を得るために画像の三角形に適用される。アフィン変換は、２つの画像間で現れやすい動き、すなわち平行移動、回転、及びスケール変化、を表すことが可能である。

このアフィン変換は、３ｘ３の行列の形式で以下に示され、数１に従って画像の頂点の座標（ｘ，ｙ）から隣接した画像の三角形の各頂点の座標（ｘ’，ｙ’）を算出することを可能にする。

三角形の膨張係数ρｔは、行列の行列式を計算することによって得られる。

ブロックの膨張係数ρは、ブロックに関連付けられた三角形の膨張係数からＰＲ計算モジュール１２によって決定される。ブロックの膨張係数ρは、例えば、三角形の膨張係数ρｔを計算することによって決定され、あるいは変形例においては、三角形の膨張係数ρｔの最大値を膨張係数ρに割り当てることによって決定される。また、別の変形例として、ブロックの各画素に膨張係数を関連付けることが可能であり、この膨張係数は、ブロックに関連付けられた各三角形の画素を隔てる距離の逆数で、膨張係数ρｔの値を個々に重み付けする関数によって決定される。

このＰＲ計算モジュール１２は、画像の各ブロックについての演算(operations)とビデオ画像配列１５中の各画像についての演算とを実行する。

一旦、膨張係数ρが決定されると、ＰＲ計算モジュール１２はこの値からＰＲで示された擬似解像度を決定する。膨張係数ρが１に等しければ、動きが平行移動であるかまたは回転であるかが考慮され、次に擬似解像度ＰＲは値１に設定される。膨張係数ρが１でなければ、擬似解像度ＰＲは以下の値の中の最大値に等しくされる。すなわち、数字１、ビデオ画像配列１５において現時点で処理される画像のブロックと先の画像の対応するブロックとの間の膨張係数の値、及びビデオ画像配列１５において現時点で処理される画像のブロックと次の画像の対応するブロックとの間の膨張係数の値の中の最大値に等しい。

ここで、以下の点にも留意されたい。つまり、例えばより多くの画像を必要とする時間的分解フィルタが動き補償された時間フィルタリングモジュール１３によって用いられ、時間的変換が幾つかの分解レベルで行われるときに、時間に関してより大きな時間的隣接領域(temporal neighbourhood)にわたる動きを考慮して擬似解像度を構成することも可能である。

ここで、以下の点にも留意されたい。つまり、例えばＨａａｒ型時間分解フィルタが動き補償された時間フィルタリングモジュール１３によって用いられるとき、擬似解像度ＰＲは以下の値の中の最大値に等しくされる。すなわち、数字１、及び、ビデオ画像配列１５において現時点で処理される画像のブロックと先の画像の対応するブロックとの間の膨張係数の値の中の最大値に等しい。

ＰＲ計算モジュール１２は、ビデオ画像配列１５中の各画像の各ブロックについて擬似解像度ＰＲを決定する。

また、動き補償された時間フィルタリングと離散ウェーブレット分解とを備えた前記ビデオコーダーは、実効空間解像度ｅｓｒ(effective spatial resolution)計算モジュール１６を含む。ｅｓｒ計算モジュール１６は、離散ウェーブレット分解モジュール１４によって分解された各空間サブバンドの各係数（ｃに図示）について、実効空間解像度（ｅｓｒ（ｃ）に図示）を決定する。ｅｓｒ計算モジュール１６は、各係数に対して、当該係数の空間座標に空間的に対応するブロックの擬似解像度を関連付ける。この擬似解像度はｐｒ（ｃ）で示される。

ある係数の実効空間解像度は、係数ｃの空間解像度ｐｒ（ｃ）を当該係数ｃに関連付けられた擬似解像度で割ることによって決定される。この実効空間解像度はｅｓｒ（ｃ）で示される。

ある係数の空間解像度とは、これに属する周波数サブバンドの空間解像度を意味する。従って、図４の例によれば、サブバンドＴ−Ｈｓ−ＬＨ，Ｔ−Ｈｓ−ＨＬ，Ｔ−Ｈｓ−ＨＨ，Ｔ−ＬＨｓ−ＨＨ，Ｔ−ＬＨｓ−ＬＨ，Ｔ−ＬＨｓ−ＨＬ，Ｔ−ＬＬｓ−ＨＨ，Ｔ−ＬＬｓ−ＬＨ，Ｔ−ＬＬｓ−ＨＬの係数は１の空間解像度を有する。その後に再分解されたサブバンドＴ−Ｈｓ−ＬＬ，Ｔ−ＬＨｓ−ＬＬの係数、その後に分解されたＴ−ＬＬｓ−ＬＬ、その後に再分解されたサブバンドＴ−ＬＨｓ−ＬＬＨＨ，Ｔ−ＬＨｓ−ＬＬＬＨ，Ｔ−ＬＨｓ−ＬＬＨＬ，Ｔ−ＬＬｓ−ＬＬＨＨ，Ｔ−ＬＬｓ−ＬＬＬＨ，Ｔ−ＬＬｓ−ＬＬＨＬの係数は、２分の１の空間解像度を有する。サブバンドＴ−ＬＨｓ−ＬＬＬＬ，Ｔ−ＬＬｓ−ＬＬＬＬの係数は、４分の１の空間解像度を有する。分解サブバンドの各係数における実効空間解像度の決定について、図６を参照してより詳細に説明される。

図６は時間サブバンドが空間サブバンドに分解されることを説明した図であり、ここで、本発明により種々の実効空間解像度が決定される。

図６の時間サブバンド６００は、例えば図４の時間サブバンドＴ−ＬＬである。この時間サブバンド６００は、１の空間解像度からなるサブバンドＴ−ＬＬｓ−ＬＨ６１０ａと、１の空間解像度からなるサブバンドＴ−ＬＬｓ−ＨＨ６１０ｂと、１の空間解像度からなるサブバンドＴ−ＬＬｓ−ＨＬ６１０ｃと、２分の１の空間解像度からなるサブバンドＴ−ＬＬｓ−ＬＬ６１０ｄとに分解される。前記サブバンドＴ−ＬＬｓ−ＬＬ６１０ｄは、２分の１の空間解像度からなるサブバンドＴ−ＬＬｓ−ＬＬＬＨ６２０ａと、２分の１の空間解像度からなるサブバンドＴ−ＬＬｓ−ＬＬＨＨ６２０ｂと、２分の１の空間解像度からなるサブバンドＴ−ＬＬｓ−ＬＬＨＬ６２０ｃと、４分の１の空間解像度からなるサブバンドＴ−ＬＬｓ−ＬＬＬＬ６３０とに分解される。

時間サブバンド６００の領域(zones)６１２，６２２，６３２は、ＰＲ計算モジュール１２が擬似解像度ＰＲを２として設定した場合の時間サブバンド６００の対応する画像の領域に対応する。時間サブバンド６００の領域６１５，６２５，６３５は、ＰＲ計算モジュール１２が擬似解像度ＰＲを４として設定した場合の時間サブバンド６００の対応する画像の領域に対応する。

領域６１２ａ，６１２ｂ，６１２ｃに含まれた係数の実効空間解像度は２分の１に等しく、領域６１５ａ，６１５ｂ，６１５ｃに含まれた係数の実効空間解像度は４分の１に等しく、領域６２２ａ，６２２ｂ，６２２ｃに含まれた係数の実効空間解像度は４分の１に等しく、領域６２５ａ，６２５ｂ，６２５ｃに含まれた係数の実効空間解像度は８分の１に等しく、領域６３２に含まれた係数の実効空間解像度は８分の１に等しく、領域６３５に含まれた係数の実効空間解像度は１６分の１に等しい。

領域６１２，６１５に含まれた係数を除くサブバンド６１０ａ，６１０ｂ，６１０ｃに含まれた係数は、それらの空間解像度に対応した、１からなる実効空間解像度を有する。

領域６２２，６５５に含まれた係数を除くサブバンド６２０ａ，６２０ｂ，６２０ｃに含まれた係数は、それらの空間解像度に対応した、２分の１からなる実効空間解像度を有する。

領域６３２，６３５に含まれた係数を除くサブバンド６３０に含まれた係数は、それらの空間解像度に対応した、４分の１からなる実効空間解像度を有する。

動き補償された時間フィルタリングと離散ウェーブレット分解とを備えたビデオコーダー１０は、また、判定モジュール１７を備える。この判定モジュール１７は、各係数について計算された実効空間解像度ｅｓｒと、目標補償解像度（これに対してスケーラブルデータストリーム１８がプログレッシブ・ストリーム生成モジュール１９によって生成される）とから、現時点において処理されている復元レベルつまり解像度レベルについてスケーラブルデータストリーム１８に高周波数係数を挿入しなければならないかを決定する。

図４の実施例によれば、通常、スケーラブルデータストリーム１８は３つの解像度レベルから構成される。第１解像度レベル（Ｎｉｖ Ｎに図示）は、低周波数サブバンドＴ−ＬＬｓ−ＬＬＬＬ，Ｔ−ＬＨｓ−ＬＬＬＬ，Ｔ−Ｈｓ−ＬＬＬＬ，Ｔ−Ｈ'ｓ−ＬＬＬＬを含む。復元レベルはビデオ画像配列１８の最低補償解像度に対応し、本実施例では４分の１の補償解像度となる。第２解像度レベル（Ｎｉｖ Ｎ−１に図示）は、高周波数サブバンドＴ−Ｈｓ−ＬＬＨＬ，Ｔ−Ｈｓ−ＬＬＬＨ，Ｔ−Ｈｓ−ＬＬＨＨ，Ｔ−Ｈ'ｓ−ＬＬＨＬ，Ｔ−Ｈ'ｓ−ＬＬＬＨ，Ｔ−Ｈ'ｓ−ＬＬＨＨと、高周波数サブバンドＴ−ＬＨｓ−ＬＬＬＨ，Ｔ−ＬＨｓ−ＬＬＨＬ，Ｔ−ＬＨｓ−ＬＬＨＨ，Ｔ−ＬＬｓ−ＬＬＬＨ，Ｔ−ＬＬｓ−ＬＬＨＬ，Ｔ−ＬＬｓ−ＬＬＨＨと、を含む。復元レベルはビデオ画像配列１８の中間解像度に対応し、本実施例では２分の１の補償解像度となる。第３解像度レベル（Ｎｉｖ Ｎ−２に図示）は、参照符号Ｎｉｖ Ｎ−２によって示された図４中の他の全てのサブバンドを含む。復元レベルはビデオ画像配列１８の最大解像度に対応し、本実施例では１の補償解像度となる。

本発明によれば、判定モジュール１７は、復元レベルの空間解像度レベルに通常含まれた高周波係数以外の他の高周波数サブバンドの高周波数係数を復元レベルに挿入する。このため、判定モジュール１７は、各サブバンドの各係数について、係数の実効空間解像度を復元レベルの空間解像度と比較する。係数の実効空間解像度が復元レベルの空間解像度を超えている場合には、当該係数は復元レベルに加えられない。他方、係数の実効空間解像度が復元レベルの空間解像度以下である場合には、当該係数が先に復元レベルに加えられていなければ当該係数は復元レベルに加えられる。

従って、図６の実施例によれば、復元レベルがＮレベルであるときつまり４分の１の解像度であるときに、６２２ａ，６２２ｂ，６２２ｃ，６２５ａ，６２５ｂ，６２５ｃ，６１５ａ，６１５ｂ，６１５ｃに図示された領域に含まれた係数は、図４においてＮｉｖ Ｎで示された周波数サブバンドの係数に加えて、この復元レベルでのスケーラブルデータストリーム１８に挿入される。

復元レベルがＮ−１レベルであるときつまり２分の１の解像度であるときに、６１２ａ，６１２ｂ，６１２ｃに図示された領域に含まれた係数は、図４においてＮｉｖ Ｎ−１で示された周波数サブバンドの係数に加えて、この復元レベルでのスケーラブルデータストリーム１８に挿入される。ここで、６１５ａ，６１５ｂ，６１５ｃに図示された領域に含まれた係数は、先の復元レベルにおいて挿入されているので挿入されないことに留意されたい。

判定モジュール１７は、要求された復元レベルの生成に必要な種々の分解サブバンドと、プログレッシブ・ストリーム生成モジュール１９において要求された復元レベルに加えられるべきであると判定された係数と、を伝送する。

プログレッシブ・ストリーム生成モジュール１９は、判定モジュール１７から受けたデータと、動き推定モジュール１１によって伝送された動き場と、からスケーラブルデータストリーム１８を生成する。

ある変形例では、プログレッシブ・ストリーム生成モジュール１９は、復元レベルに加えられるべきであると判定された各係数の実効空間解像度をスケーラブルデータストリームに挿入する。

プログレッシブ・ストリーム生成モジュール１９は、率・歪み最適化アルゴリズムを用いてスケーラブルデータストリーム１８を符号化する。当該アルゴリズムは、例えば、非特許文献（デーヴィッド・タウブマン(David Taubman)著、「ＥＢＣＯＴを用いた高性能スケーラビリイティ画像圧縮(High Performance Scalability Image Compression with EBCOT)」、ＩＥＥＥ画像処理学会、第９巻、第７号、２０００年７月）によって記載されたビデオコーダーに使用されたものであってもよい。

通常、このようなコーダーは最大歪みに拘束された率を最小にするように一群の係数の量子化を修正する。この最適化は、以下のラグランジュの式（数３）によって表現される。

ここで、Ｒは率であり、Ｄは歪みを示し、θｓは、ある周波数サブバンドにおける一組の符号化パラメータを示す。

本発明の具体的な態様によれば、率・歪み最適化の間、各係数の擬似解像度が考慮される。プログレッシブ・ストリーム生成モジュール１９は、以下の数４のような最適化を実行することによってスケーラブルデータストリーム１８を符号化する。

ここで、ｆ（ｃ）は、係数ｃの歪みに重み付けするための重み係数である。この重み係数ｆ（ｃ）が高くなればなるほど、より多くの歪みが当該係数において軽減される。

係数の実効空間解像度が復元レベルの空間解像度以下である場合には、ｆ（ｃ）＝（ｐｒ（ｃ））^２とすることが望ましい。

ある変形例では、係数の実効空間解像度が復元レベルの空間解像度よりも高い場合には、係数の選択と符号化は、ｆ（ｃ）＝０とすることで結合される。

図２は、図３及び図８に説明されたアルゴリズムに従ってアルゴリズムの符号化及び復号化を実行できる計算・通信装置(computing and/or telecommunication device)のブロック図を示す。

この計算・通信装置２０は、ソフトウェアを用いて、時間サブバンドを生成するように画像配列において動き補償された時間フィルタリングを実行するのに適し、係数を含んだ高周波数サブバンド及び低周波数サブバンドを生成するように時間サブバンドの空間的分解を実行するのに適している。当該装置２０はスケーラブルデータストリームを生成可能であり、このデータストリームには空間サブバンドの高周波数係数が、復元レベルに通常加えられる周波数サブバンドの解像度とは異なる解像度を備えた、少なくとも１つの復元レベルに挿入される。

前記装置２０は、また、ソフトウェアを用いて、スケーラブルデータストリームにおいて動き補償された逆時間フィルタリング（ＩＭＣＴＦ）を実行し、復元レベルに加えられた高周波係数を処理することができる。なお、この復元レベルの解像度は、ビデオ画像配列を形成する復元レベルに加えられる周波数サブバンドの解像度とは異なる。前記装置２０は、また、スケーラブルデータストリーム１８に加えられた各係数の空間解像度を決定することができる。

ある変形例においては、前記装置２０は、ある高周波数係数について、スケーラブルデータストリーム１８から、係数の実効空間解像度を示す情報を検出することができ、これにより、時間サブバンドと、空間サブバンドと、スケーラブルデータストリーム１８に加えられる実効空間サブバンドの係数と、からビデオ画像配列１５が形成される。

前記装置２０は、例えば、マイクロコンピュータであってもよい。また、前記装置をビデオ画像配列表示手段に組み込んでもよく、この手段にはテレビまたは、テレビや携帯電話等の受信端末向けの一連の情報を生成する他の装置などが挙げられる。

前記装置２０は通信バス２０１を備え、この通信バス２０１に、中央処理装置（ＣＰＵ）２００と、リードオンリィメモリ（ＲＯＭ）２０２と、ランダムアクセスメモリ（ＲＡＭ）２０３と、スクリーン２０４と、キーボード２０５と、ハードディスク（ＨＤ）２０８と、デジタルビデオディスク（ＤＶＤ）再生装置／録音装置２０９と、通信ネットワーク連絡用のインターフェイス（Ｉ／Ｏ）２０６と、が接続される。

ハードディスク２０８は、本発明を実行するプログラムのみならず、本発明を符号化するためのデータや復号化するためのデータを記憶する。

より一般的に言えば、本発明のプログラムは記憶手段に記憶される。この記憶手段は、コンピュータまたはマイクロコンピュータ２００によって読み出し可能である。この記憶手段は前記装置に組み込まれていてもよく、組み込まれていなくてもよく、また取り外し可能であってもよい。

前記装置２０が起動すると、本発明による前記プログラムは、本発明の実行コードのみならず本発明の実行に必要なデータを含んだランダムアクセスメモリ２０３に伝送される。

前記装置２０は、本発明に従って、通信インターフェイス２０６によって受けたビデオ画像配列を読み取り、スケーラブルデータストリームの形式でこれを符号化することができる。

前記装置２０は、本発明に従って、通信インターフェイス２０６によって受けたスケーラブルデータストリームを読み取りまたはＤＶＤ再生装置２０９によってＤＶＤディスクからこれを読み取り、ビデオ画像配列の形式でこれを復号化することができる。

図３は、本発明による離散ウェーブレット分解によって得られた係数の適切な選択のためのアルゴリズムを示す。

前記符号化・復号化を行う装置２０の中央処理装置２００は、用語「リフティング(lifting)」で知られた技術に従って、時間フィルタリングと、周波数サブバンドへの分解と、を行う。

ステップＥ３００において、前記装置２０の中央処理装置２００は、ある画像とこれに隣接したとの間での動き推定を、ビデオ画像配列中の各画像について計算する。この動き推定は、例えば、ある画像のブロックをこれに隣接した画像の各々に対してマッチングさせることによる動き推定であってもよい。中央処理装置２００は、図１で説明したデコーダーの推定モジュール１１によって実行される方法と同じような方法で動き推定を行う。

次のステップＥ３０１において、中央処理装置２００は、動き補償された時間フィルタリングを実行する。中央処理装置２００は、画像配列中の画像間で離散ウェーブレット分解を実行して、一乃至複数の解像度レベルにわたって分布した幾つかの時間サブバンドに、ビデオ画像配列を分解する。中央処理装置２００は、図１の動き補償された時間フィルタリングモジュール１３によって実行される方法と同じような方法で動き補償された時間フィルタリングを行う。

次のステップＥ３０２において、中央処理装置２００は、ステップＥ３０１で得られた時間サブバンドの空間的分解を実行して、低周波数サブバンドと高周波数サブバンドとを生成する。この空間的分解は、図１の離散ウェーブレット分解モジュール１４によって実行される方法と同じような方法で実行される。

次のステップＥ３０３において、中央処理装置２００は、図１の前記コーダー１０のＰＲ計算モジュール１２によって実行される方法と同じような方法で、前記動き推定によって定義された各ブロックを４つの三角形に関連付ける。

次のステップＥ３０４において、中央処理装置２００は、図１の前記コーダー１０のＰＲ計算モジュール１２によって実行される方法と同じような方法で、各三角形について膨張係数ρｔを決定する。

次のステップＥ３０５において、中央処理装置２００は、図１の前記コーダー１０のＰＲ計算モジュール１２によって実行される方法と同じような方法で、ブロックに関連付けられた前記三角形の膨張係数から現時点において処理されるブロックの膨張係数ρを決定する。

次のステップＥ３０６において、中央処理装置２００は、ステップＥ３０５で決定された膨張係数ρから現時点において処理される画像の各ブロックの擬似解像度（ＰＲに図示）を計算する。この擬似解像度ＰＲの計算は、図１のＰＲ計算モジュール１２によって実行される方法と同じような方法で行われる。

中央処理装置２００は、現時点において処理される画像の各ブロックについて、ステップＥ３０３〜Ｅ３０６を実行する。

次のステップＥ３０７において、中央処理装置２００は、ステップＥ３０２で分解された高周波数サブバンドを読み取り、ステップＥ３０８において、各々の高周波数空間サブバンドの各係数ｃに対して、前記係数の空間座標に空間的に対応したブロックの擬似解像度ｐｒ（ｃ）を関連付ける。

次のステップＥ３０９において、中央処理装置２００は、各高周波数サブバンドの各係数について、前記係数の空間解像度を前記係数の擬似解像度よって割ることで各係数ｃの実効空間解像度（図中ｅｓｒ（ｃ））を計算する。

次のステップＥ３１０において、中央処理装置２００は、高周波数サブバンド係数のうちから、スケーラブルデータストリームに挿入されるべき高周波数サブバンドの係数を決定する。中央処理装置２００は、図１の判定モジュール１７によって実行される方法と同じような方法で、復元レベルに通常加えられる以外の他の高周波数サブバンドの高周波数係数を復元レベルに挿入する。

次のステップＥ３１１において、中央処理装置２００は、各係数ｃに重み係数ｆ（ｃ）を割り当てる。この重み係数ｆ（ｃ）は、各係数ｃの歪みに重み付けすることを可能にする。この重み係数ｆ（ｃ）は図１との関連で上述した重み係数に等しいので、これ以上詳述しない。

ステップ３１２において、中央処理装置２００は、現時点の復元レベルのエントロピー符号化を実行して、要求された復元レベルに対応した種々の周波数サブバンドの係数と、ステップＥ３１０で決定される係数と、ステップＥ３００で推定された動き場とからスケーラブルデータストリーム１８を生成する。

ステップＥ３１３において、中央処理装置２００は、スケーラブルデータストリーム１８の新たな別の復元レベルが符号化されるべきかいなかを調査する。符号化されるべきであると判断すると、中央処理装置２００は、全ての解像度レベルが処理されていない限り、ステップＥ３１０〜Ｅ３１３からなるループを繰り返し実行する。

符号化されるべきではないと判断すると、中央処理装置２００は、このアルゴリズムを停止する。

図７は、本発明による動き補償された時間フィルタリングと離散ウェーブレット分解を備えたビデオデコーダーのブロック図を示す。

動き補償された時間フィルタリングと離散ウェーブレット分解を備えたビデオデコーダー７０は、本発明に従って、スケーラブルデータストリーム１８を読み取り、ビデオ画像配列１５の形式でこれを復号化する。

動き補償された時間フィルタリングと離散ウェーブレット分解を備えたビデオデコーダー７０つまりデコーダー７０は、ストリーム解析モジュール７０８を含む。このストリーム解析モジュール７０８は、スケーラブルデータストリーム１８のエントロピー復号化を実行し、その後復号化されたスケーラブルデータストリームから、スケーラブルデータストリーム１８に含まれた種々の動き場を抽出して、これらの動き場を擬似解像度ＰＲ計算モジュール７０２と動き場記憶モジュール７０１とへ伝送する。ストリーム解析モジュール７０８は、復号化された前記スケーラブルデータストリームから、スケーラブルデータストリームに含まれた種々の周波数サブバンドの係数と、本発明に従って現時点の復元レベルにおいて前記コーダーによって挿入された係数と、を抽出する。ストリーム解析モジュール７０８は、この抽出された係数を統合モジュール（ＳＤＷＴ）７０４へ伝送する。ここで変形例として、ストリーム解析モジュール７０８は、また、本発明に従って各係数に関連付けられかつ現時点の復元レベルにおいてコーダー１０によって挿入された実効空間解像度を抽出し、これらを判定モジュール７０７へ伝送する。

ＰＲ計算モジュール７０２は、現時点において処理された画像の各ブロックに、図１のＰＲ計算モジュール１２によって実行された方法と同様な方法で４つの三角形を関連付ける。現時点で処理された画像と先の隣接した画像との間の動きベクトルと、この現時点処理画像と次の隣接した画像との動きベクトルと、の画像の各ブロックから構成された動き場から、ＰＲ計算モジュール１２は、現時点の画像と隣接した前記画像とにおいて前記三角形の頂点の位置を計算し、前記コーダー１０のＰＲ計算モジュール１２が行うのと同じような方法で、各三角形の膨張係数ρｔを計算する。ＰＲ計算モジュール７０２は、前記コーダー１０のＰＲ計算モジュール１２が行うのと同じような方法で各ブロックについて膨張係数ρを計算する。

ＰＲ計算モジュール７０２は、前記コーダー１０のＰＲ計算モジュール１２が行うのと同じような方法でブロックの膨張係数ρから当該ブロックの擬似解像度ＰＲを決定する。

デコーダー７０は、また、実効空間解像度ｅｓｒ計算モジュール７０６を含む。このｅｓｒ計算モジュール７０６は、前記ストリーム解析モジュール７０８から受けた高周波数空間サブバンドの各々の各係数ｃについて、実効空間解像度（図中ｅｓｒ（ｃ））を決定する。このｅｓｒ計算モジュール７０６は、各係数に、当該係数の座標に空間的に対応したブロックの擬似解像度を関連付ける。この擬似解像度の計算は、図１のコーダー１０のｅｓｒ計算モジュール１６によって実行される計算と同様である。各係数の実効空間解像度は、ｅｓｒ計算モジュール７０６によって、判定モジュール７０７へ伝送される。

デコーダー７０は、現時点で処理される画像の各ブロック、各時間的分解レベル、及び各時間的画像について、膨張係数、擬似解像度、及び実効解像度の計算を実行する。

判定モジュール７０７は、各係数について計算された実効空間解像度と現時点で処理されるスケーラブルデータストリーム１８の補償解像度とから、高周波数係数が離散ウェーブレット統合モジュール（ＳＤＷＴ）７０４によって統合されるべきかいなかを判断する。このため、判定モジュール７０７は、各サブバンドの各係数について、当該係数の実効空間解像度を、現時点で処理される復元レベルの空間解像度と比較する。前記係数の実効空間解像度が前記復元レベルの空間解像度を超えている場合には、前記係数はＳＤＷＴモジュール７０４へ伝送されない。他方、前記係数の実効空間解像度が前記復元レベルの空間解像度以下である場合には、前記係数はＳＤＷＴモジュール７０４へ伝送される。

従って、図６の実施例によれば、復元レベルがＮレベルつまり４分の１の解像度であるときに、６２２ａ，６２２ｂ，６２２ｃ，６２５ａ，６２５ｂ，６２５ｃ，６１５ａ，６１５ｃに図示された領域に含まれた係数は、判定モジュール７０７によって、ＳＤＷＴモジュール７０４へ伝送される。

ＳＤＷＴモジュール７０４は、ストリーム解析モジュール７０８によって伝送された種々の周波数サブバンドと、判定モジュール７０７によって伝送された係数と、を統合する。

図６の実施例によれば、復元レベルがＮレベルであるときに、ＳＤＷＴモジュール７０４は、ストリーム解析モジュール７０８から受けた周波数サブバンドＴ−ＬＬｓ−ＬＬＬＬを、領域６２２ａ，６２５ａに含まれた係数と零に設定された他の係数とを備えた高周波数サブバンドと、領域６２２ｂ，６２５ｂに含まれた係数と零に設定された他の係数とを備えた高周波数サブバンドと、領域６２２ｃ，６２５ｃに含まれた係数と零に設定された他の係数とを備えた高周波数サブバンドと、に統合して、サブバンド６３０と同等な周波数を備えたサブバンドを生成する。ＳＤＷＴモジュール７０４は、先に生成されたサブバンドを、領域６１５ａに含まれた係数と零に設定された他の係数とを備えた高周波数サブバンドと、領域６１５ｂに含まれた係数と零に設定された他の係数とを備えた高周波数サブバンドと、領域６１５ｃに含まれた係数と零に設定された他の係数とを備えた高周波数サブバンドと、を統合して、超解像時間サブバンド(superresolution temporal sub-band)つまり要求された空間解像度より高い空間解像度を備えたサブバンドを生成する。

選択的に、前記超解像度時間サブバンドは、動き補償された逆時間フィルタリングモジュール（ＩＭＣＴＦ）７０３へ伝送される。前記動き補償された逆時間フィルタリングモジュール７０３は、前記「リフティング(lifting)」技術に従って、時間フィルタリングを実行して、本発明のコーダーによって符号化されたビデオ画像配列の種々の画像を再構築する。前記動き補償された逆時間フィルタリングモジュール７０３は、高周波数サブバンドと低周波数時間サブバンドと記憶モジュール７０１に記憶された動き推定量とからビデオ画像配列を生成する。

ある変形例においては、超解像度時間サブバンドは、これらが前記動き補償された逆時間フィルタリングモジュール７０３へ伝送される前に、要求された空間解像度と同様な空間解像度を有したもので行われるのと同様な方法でサブサンプリングされる。この挿入された空間的高周波数は、次に、デコーダーでアップサンプリングされるときに前記画像に再統合される。

このように生成されたビデオ画像は、次にディスプレイへ伝送される。

ここで、ある変形例において、種々の実効空間解像度の値がスケーラブルデータストリームにおいて伝送されるときに、デコーダー７０はＰＲ計算モジュール７０２とｅｓｒ計算モジュール７０６を備えていなくてもよい。

図８は、本発明の第１の態様により符号化された一連のデータを復号化するアルゴリズムを示す。

前記符号化・復号化装置２０の中央処理装置２００は、前記「リフティング」という用語で知られた技術に従って、逆時間フィルタリングと離散ウェーブレット統合とを実行する。

中央処理装置２００は、また、本発明により先に符号化されたスケーラブルデータストリーム１８を読み取り、これを本発明に従ってビデオ画像配列の形式に復号化することができる。

ステップＥ８００において、中央処理装置２００は、復元レベルの空間解像度を決定し、スケーラブルデータストリーム１８のエントロピー復号化を実行する。

ステップＥ８０１において、中央処理装置２００は、このように復号化されたスケーラブルデータストリームから、スケーラブルデータストリームに含まれた種々の低周波数（ＬＦ）サブバンドの係数を抽出する。

ステップＥ８０２において、中央処理装置２００は、このように復号化されたスケーラブルデータストリームから、スケーラブルデータストリームに含まれた種々の高周波数（ＨＦ）サブバンドの係数と、本発明に従って現時点の復元レベルにおいてコーダー１０によって挿入された前記係数と、を抽出する。

ステップＥ８０３において、中央処理装置２００は、このように復号化されたスケーラブルデータストリームから、スケーラブルデータストリームに含まれた種々の動き場を抽出する。

ここで、ある変形例として、ストリーム解析モジュール７０８もまた、本発明に従って現時点の復元レベルにおいてコーダー１０によって挿入された各係数に関連付けられた実効空間解像度を抽出することに留意されたい。

ステップＥ８０４において、中央処理装置２００は、高周波数サブバンド（ＨＦ）の各係数について、前記係数の実効空間解像度ｅｓｒを計算する。前記係数のｅｓｒは、前記ＰＲ計算モジュール７０２と前記ｅｓｒ計算モジュール７０６とによって計算される方法と同じような方法で計算される。

ステップＥ８０５において、中央処理装置２００は、高周波数（ＨＦ）係数の予備選択を実行する。この予備選択は、前記高周波数係数ＨＦが離散ウェーブレット統合によって統合されるべきであるかを判断することを含む。このため、中央処理装置２００は、各サブバンドの各係数について、係数の実効空間解像度ｅｓｒを、現時点で処理された復元レベルの空間解像度と比較する。係数の実効空間解像度が復元レベルの空間解像度を超えている場合には、当該係数は統合されるべきものとして採用されない。他方、係数の実効空間解像度が復元レベルの空間解像度以下である場合には、当該係数は復元レベルに統合されるように予備選択される。

ステップＥ８０６において、中央処理装置２００は、前記予備選択された係数のうちから、統合されるべき係数を選択する。当該選択は、例えば、前記装置２０の特徴に従って実行される。

ステップＥ８０７において、中央処理装置２００は、離散ウェーブレット統合を実行し、ステップＥ８０１とステップＥ８０２とにおいて読み取られた種々の周波数サブバンドのみならずステップＥ８０６において選択された係数も統合する。この離散ウェーブレット統合（ＳＤＷＴ）は、前記デコーダー７０の離散ウェーブレット統合（ＳＤＷＴ）モジュール７０４において説明された処理と同様である。この離散ウェーブレット統合の終了時に、超解像度時間サブバンドが生成される。

好適な態様によれば、次のステップＥ８０８において、中央処理装置２００は、動き補償された逆時間フィルタリング（ＩＭＣＴＦ）を実行する。中央処理装置２００は、前記「リフティング」技術に従って時間フィルタリングを実行して、本発明の前記コーダーによって符号化されたビデオ画像配列の種々の画像を再構築する。中央処理装置２００は、超解像度高周波数サブバンドと、低周波数時間サブバンドと、ステップＥ８０３で読み取られた動き推定量と、から、ビデオ画像配列を生成する。

ある変形例において、超解像度時間サブバンドは、ステップＥ８０８より前に、これらが前記要求された空間解像度と同等の空間解像度を有するようにサブサンプリングされる。前記挿入された空間的高周波数は、次に、前記デコーダーでアップサンプリングされるときに画像を再統合される。

このように生成されたビデオ画像配列は、次にディスプレイへ伝送される。

ある変形例において、本発明のコーダーは、ビデオ画像配列を処理せず、ビデオ画像配列を示す一連のデータを処理する。この一連のデータは、種々の空間解像度の周波数サブバンドの係数を含む。前記コーダーは、前述した方法と同じような方法で、当該一連のデータに含まれた各係数の実効空間解像度を決定する。前記コーダーは複数のデータストリームを生成する。各データストリームは、空間解像度が復元レベルの空間解像度に等しくなる周波数サブバンドの係数と、当該復元レベルの（一乃至複数の）前記解像度を超えた空間解像度を備えた周波数サブバンドの係数と、から構成される。

前記コーダーは、少なくとも１つの解像度レベルに、実効空間解像度が当該解像度レベルの空間解像度未満である係数を挿入する。

本発明は、本来、前述した実施例に全く限定されるものではなく、むしろ当業者の能力の範囲内に属する如何なる変形も包含するものである。

本発明による動き補償された時間フィルタリングと離散ウェーブレット分解を備えたビデオコーダーのブロック図を示す。 図３及び図８に説明されたアルゴリズムに従ってアルゴリズムの符号化及び復号化を実行可能な計算及び／もしくは通信装置のブロック図を示す。 本発明による離散ウェーブレット分解によって得られた係数の適切な選択のためのアルゴリズムを示す。 本発明による動き補償された時間フィルタリングと離散ウェーブレット分解によって得られた画像の一例を示す。 複数の三角形を備えた画像のブロックの関連付けを示す。 時間サブバンドが空間サブバンドに分解されることを説明した図であり、本発明により種々の実効空間解像度が決定される。 本発明による動き補償された時間フィルタリングと離散ウェーブレット分解を備えたビデオデコーダーのブロック図を示す。 本発明による一連の符号化データを復号化するアルゴリズムを示す。

符号の説明

１０ ビデオコーダー
１１ 動き推定モジュール
１２ 擬似解像度（ＰＲ）計算モジュール
１３ 動き補償された時間フィルタリング（ＭＣＴＦ）モジュール
１４ 離散ウェーブレット分解（ＤＷＴ）モジュール
１５ ビデオ画像配列
１６ 実効空間解像度（ｅｓｒ）計算モジュール
１７ 判定モジュール
１８ スケーラブルデータストリーム
１９ プログレッシブ・ストリーム生成モジュール

Claims (21)

1. 種々の空間解像度を備えた周波数サブバンド係数へビデオ画像配列を符号化する方法であって、
   前記方法は少なくとも１つの復元レベルから構成された少なくとも１つのデータストリームを生成し、前記少なくとも１つの復元レベルは、空間解像度が前記復元レベルの空間解像度に等しくなる周波数サブバンド係数を含むものにおいて、
   少なくとも１つの復元レベルへ、前記復元レベルの一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンド係数を挿入する挿入ステップを含むことを特徴とする方法。
2. 前記復元レベルの一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンド係数を前記復元レベルに挿入する前記挿入ステップより前に、前記方法が、
   各周波数サブバンド係数について実効空間解像度を取得する取得ステップと、
   各実効空間解像度を、前記復元レベルの前記一乃至複数の空間解像度と比較する比較ステップと、
   を含み、かつ、
   前記復元レベルに挿入される前記周波数サブバンド係数が、実効空間解像度が前記一乃至複数の空間解像度未満となる係数であることを特徴とする請求項１記載の方法。
3. ある係数の実効空間解像度を取得する前記取得ステップは、
   各周波数サブバンド係数について擬似解像度を決定する決定ステップと、
   ある係数が属する前記サブバンドの前記空間解像度を、前記係数の擬似解像度によって割る除算ステップと、に分けられることを特徴とする請求項２記載の方法。
4. 各周波数サブバンド係数について擬似解像度を決定する前記決定ステップは、さらに、
   ビデオ画像配列中の各画像について、と当該画像に隣接した少なくとも１つの画像との間で動き場を推定する推定ステップと、
   前記ビデオ画像配列中の各画像の各ブロックにおいて、前記画像の前記ブロックとこれに対応する少なくとも１つの隣接した画像のブロックとの間で少なくとも１つの膨張係数を決定する決定ステップと、
   ブロックの前記膨張係数が１に等しい場合に、前記ブロックの擬似解像度に１の値を設定する設定ステップと、
   ブロックの前記擬似解像度を、１の値と、前記画像の前記ブロックとこれに対応する少なくとも１つの隣接した画像のブロックとの間の膨張係数の前記値と、のうちから最大の値に設定する設定ステップと、に分けられることを特徴とする請求項３記載の方法。
5. ブロック間で前記膨張係数を決定する決定ステップは、さらに、
   前記ブロックを複数の三角形に関連付けるステップと、
   各三角形において、前記動き場から、前記ブロック内の三角形の頂点と、これに対応する前記隣接した画像の三角形の頂点と、の間でアフィン変換の行列式を決定するステップと、
   各三角形において、三角形の前記アフィン変換の動き場から、前記ブロック内の三角形の頂点と、これに対応する前記隣接した画像の三角形の頂点と、の間でアフィン変換の行列式を計算することによって前記三角形の前記膨張係数を決定するステップと、
   前記ブロックに関連付けられた前記三角形の膨張係数から前記ブロックの膨張係数を決定するステップと、に分けられることを特徴とする請求項４記載の方法。
6. 種々の空間解像度を備えたサブバンド係数へのビデオ画像配列の符号化が、時間フィルタリングと離散ウェーブレット分解とによって実行され、前記データストリームが複数の復元レベルからなるスケーラブルデータストリームであることを特徴とする請求項１乃至５のいずれかに記載の方法。
7. 前記ビデオ画像配列は、種々の空間解像度の周波数サブバンドからなる一連のデータに予め符号化され、かつ、前記方法は、復元レベルからなる複数のデータストリームを生成し、前記複数のデータストリームは、前記解像度レベルの空間解像度に等しい空間解像度である周波数サブバンド係数と、前記復元レベルの前記一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンド係数と、を含むことを特徴とする請求項１乃至５のいずれかに記載の方法。
8. 前記方法は、復元レベルに挿入された各周波数サブバンド係数の実効空間解像度を前記データストリームに挿入するステップをさらに含むことを特徴とする請求項２乃至７のいずれかに記載の方法。
9. 時間フィルタリングと離散ウェーブレット分解とによって得られたデータストリームを復号化する方法であって、
   前記データストリームは少なくとも１つの復元レベルから構成され、前記復元レベルは、前記復元レベルの空間解像度に等しい空間解像度となる周波数サブバンド係数を含むものにおいて、
   前記方法は、
   少なくとも１つの復元レベルにおいて、一乃至複数の空間解像度よりも高い前記空間解像度を備えた周波数サブバンド係数を取得するステップと、
   前記復元レベルの空間解像度に等しい空間解像度となる周波数サブバンド係数と、前記復元レベルの一乃至複数の前記空間解像度よりも高い空間解像度を備えた周波数サブバンド係数とを統合するステップと、
   を含むことを特徴とする方法。
10. 前記復元レベルの一乃至複数の前記空間解像度よりも高い空間解像度を備えた周波数サブバンド係数を統合する統合ステップより前に、前記方法が、
    各周波数サブバンド係数について実効空間解像度を取得する取得ステップと、
    各実効空間解像度を、前記復元レベルの前記一乃至複数の空間解像度と比較する比較ステップと、
    を含み、かつ、
    前記統合された前記周波数サブバンド係数が、その実効空間解像度が前記一乃至複数の空間解像度未満となる係数であることを特徴とする請求項９記載の方法。
11. 各周波数サブバンド係数の前記実効空間解像度が前記データストリーム中の解像度を読み取ることによって得られることを特徴とする請求項１０記載の方法。
12. ある係数の実効空間解像度を取得する前記取得ステップは、
    各周波数サブバンド係数について擬似解像度を決定する決定ステップと、
    ある係数が属する前記サブバンドの前記空間解像度を、前記係数の擬似解像度によって割る除算ステップと、に分けられることを特徴とする請求項１０記載の方法。
13. 各周波数サブバンド係数について擬似解像度を決定する前記決定ステップは、さらに、
    ビデオ画像配列中の各画像について、画像と当該画像に隣接した少なくとも１つの画像との間で動き場を前記データストリーム中から読み取る読取ステップと、
    前記ビデオ画像配列中の各画像の各ブロックにおいて、前記画像の前記ブロックとこれに対応する少なくとも１つの隣接した画像のブロックとの間で少なくとも１つの膨張係数を決定する決定ステップと、
    ブロックの前記膨張係数が１に等しい場合に、前記ブロックの擬似解像度に１の値を設定する設定ステップと、
    ブロックの前記擬似解像度を、１の値と、前記画像の前記ブロックとこれに対応する少なくとも１つの隣接した画像のブロックとの間の膨張係数の前記値と、のうちから最大の値に設定する設定ステップと、に分けられることを特徴とする請求項１２記載の方法。
14. ブロック間で前記膨張係数を決定する決定ステップは、さらに、
    前記ブロックを複数の三角形に関連付けるステップと、
    各三角形において、前記動き場から、前記ブロック内の三角形の頂点と、これに対応する前記隣接した画像の三角形の頂点と、の間でアフィン変換の行列式を決定するステップと、
    各三角形において、前記三角形のアフィン変換の行列式を計算することによって前記三角形の前記膨張係数を決定するステップと、
    前記ブロックに関連付けられた前記三角形の膨張係数から前記ブロックの膨張係数を決定するステップと、に分けられることを特徴とする請求項１３記載の方法。
15. 種々の空間解像度を備えた周波数サブバンド係数へビデオ画像配列を符号化する装置であって、
    前記符号化装置は少なくとも１つの復元レベルから構成された少なくとも１つのデータストリームを生成し、前記少なくとも１つの復元レベルは、その空間解像度が前記復元レベルの空間解像度に等しくなる周波数サブバンド係数を含むものにおいて、
    少なくとも１つの復元レベルへ、前記復元レベルの一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンド係数を挿入する挿入手段を含むことを特徴とする装置。
16. 時間フィルタリングと離散ウェーブレット分解とによって得られたデータストリームを復号化する装置であって、
    前記データストリームは少なくとも１つの復元レベルから構成され、前記復元レベルは、前記復元レベルの空間解像度に等しい空間解像度となる周波数サブバンド係数を含むものにおいて、
    前記装置は、
    少なくとも１つの復元レベルにおいて、一乃至複数の前記空間解像度よりも高い前記空間解像度を備えた周波数サブバンド係数を取得する取得手段と、
    前記復元レベルの空間解像度に等しい空間解像度となる周波数サブバンド係数と、前記復元レベルの一乃至複数の前記空間解像度よりも高い空間解像度を備えた周波数サブバンド係数とを統合する統合手段と、
    を含むことを特徴とする装置。
17. 情報媒体に記憶されたコンピュータプログラムであって、
    コンピュータシステムに読み込まれかつ実行されるときに、請求項１乃至８のいずれかに記載の方法を行うための命令を含むコンピュータプログラム。
18. 情報媒体に記憶されたコンピュータプログラムであって、
    コンピュータシステムに読み込まれかつ実行されるときに、請求項９乃至１４のいずれかに記載の方法を行うための命令を含むコンピュータプログラム。
19. 種々の空間解像度を備えた周波数サブバンド係数に符号化されたビデオ画像配列を含んだ信号であって、
    前記信号は少なくとも１つの復元レベルから構成された少なくとも１つのデータストリームを生成し、前記少なくとも１つの復元レベルは、その空間解像度が前記復元レベルの空間解像度に等しくなる周波数サブバンド係数を含むものにおいて、
    少なくとも１つの復元レベルにおいて、前記復元レベルの一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンド係数を含むことを特徴とする信号。
20. 種々の空間解像度を備えた周波数サブバンド係数に符号化されたビデオ画像配列を含んだ信号を伝送する方法であって、
    前記信号は少なくとも１つの復元レベルから構成された少なくとも１つのデータストリームを生成し、前記少なくとも１つの復元レベルは、その空間解像度が前記復元レベルの空間解像度に等しくなる周波数サブバンド係数を含むものにおいて、
    前記信号は、少なくとも１つの復元レベルにおいて、前記復元レベルの一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンド係数を含むことを特徴とする信号を伝送する方法。
21. 種々の空間解像度を備えた周波数サブバンド係数に符号化されたビデオ画像配列を含んだ信号を記憶する方法であって、
    前記信号は少なくとも１つの復元レベルから構成された少なくとも１つのデータストリームを生成し、前記少なくとも１つの復元レベルは、その空間解像度が前記復元レベルの空間解像度に等しくなる周波数サブバンド係数を含むものにおいて、
    前記信号は、少なくとも１つの復元レベルにおいて、前記復元レベルの一乃至複数の空間解像度より高い空間解像度を備えた周波数サブバンド係数を含むことを特徴とする信号を記憶する方法。

Images