JP2000174630A - 多次元情報構造の多レベル反復フィルタリングのための方法及び装置 - Google Patents

多次元情報構造の多レベル反復フィルタリングのための方法及び装置

Info

Publication number
JP2000174630A
JP2000174630A JP11025268A JP2526899A JP2000174630A JP 2000174630 A JP2000174630 A JP 2000174630A JP 11025268 A JP11025268 A JP 11025268A JP 2526899 A JP2526899 A JP 2526899A JP 2000174630 A JP2000174630 A JP 2000174630A
Authority
JP
Japan
Prior art keywords
data
level
filtering
layer
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP11025268A
Other languages
English (en)
Other versions
JP2000174630A5 (ja
Inventor
Rafuraito Gautier
ゴウティール・ラフライト
Nafuteruheere Rode
ローデ・ナフテルヘーレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interuniversitair Microelektronica Centrum vzw IMEC
Original Assignee
Interuniversitair Microelektronica Centrum vzw IMEC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interuniversitair Microelektronica Centrum vzw IMEC filed Critical Interuniversitair Microelektronica Centrum vzw IMEC
Publication of JP2000174630A publication Critical patent/JP2000174630A/ja
Publication of JP2000174630A5 publication Critical patent/JP2000174630A5/ja
Ceased legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 多次元データ構造のディジタルフィルタリン
グにおける能率的なメモリ使用及び(または)メモリア
クセスのための方法と装置を提供する。 【解決手段】 データ構造例えば画像の多レベル反復デ
ィジタルフィルタリングの方法。データ構造の要素は、
ゼロレベルのゼロ層を形成し、引き続くレベルのデータ
層は、反復の結果得られる。この反復は、各レベルを複
数の領域に部分分割するステップ、各レベルを重複領域
処理によりフィルタリングするステップ、各レベルのデ
ータ処理のスケジュールを立て、各レベルにおけるフィ
ルタリングステップの領域的同期化を提供するステップ
から構成される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は2次元以上の情報構
造の多階反復フィルタリングのための方法に関し、また
この方法を達成するためのフィルタリング装置に関す
る。この装置は符号器及び(あるいは)復号器に含める
ことが出来るものである。本発明は特に画像データのフ
ィルタリングに適している。
【0002】
【従来の技術】画像処理システムにおいて、メモリはサ
イズ、電力、スピードに関して、特に、多パス処理例え
ば多解像度データの反復処理において、高コストの代表
的な要素である。低コストVLSI実施スタイルにおい
て、サイズの制限されたメモリのみチップに含めること
が出来る。その理由は、例えば10kBは0.5マイク
ロメータMIETEC、CMOS3層メタル技術におけ
る11平方ミリメータのシリコン領域を占めてしまうか
らである。チップ外のメモリは他方、かなりのコストを
代表する。なぜならば、外部メモリに対する読み出し及
び書き込み動作は演算動作による消費電力と比べて、典
型的に高いオーダーの電力消費を生み出すからである。
さらに、外部メモリにたいするアクセスはチップ上のメ
モリにたいするアクセスに比べて遅く、システム全体の
スピードへの障害となる。リアルタイム、かつ効電力の
システムはチップ上のメモリサイズおよびチップ外のメ
モリアクセスをともに最小化しなければならない。
【0003】仮想現実場面における3Dオブジェクトの
テクスチャ写像は、視点距離に依存する異なったテクス
チャ解像度を必要とする。現状では、テクスチャの離散
コサイン変換(DCT)符号化は只2レベル(ベース層
と強化層)のスケーリング可能性を支持するだけであ
る。DCT図式における解像度レベルの数を3以上に延
長することは、符号化すべきピクセル数を33%増加す
ることを代償にして、多レベルラプラスピラミッド表現
によって達成することが出来る。他方、ウェーブレット
テクスチャ符号化は、離散ウェーブレット変換(DW
T)に基づいて優れた圧縮性能を提供し、かつ無制限の
解像度レベル数を達成する。従って、この方法は、大き
な範囲に渡る空間的スケーリング可能性を必要とする応
用に適している。図1(a)と図2(a)は多レベルD
CTとウェーブレット符号化のアルゴリズム的フローグ
ラフをそれぞれ示している。両図式とも本質的には同じ
接近法である。第1ステージで、1連のフィルタリング
動作によって、画像を多解像度表現に変換する。第2ス
テージでは、実際の符号化(DWTでは親子符号化、D
CTでは8×8ブロック変換(DCT)符号化)を行
う。
【0004】図1(a)を参照すれば、多レベルDCT
符号化において、入力画像10は第1フィルタリングス
テップ1においてフィルタリングされ、ハイパス部分画
像4とローパス部分画像11が形成される。ハイパス部
分画像4はインタフェースメモリ(IM)8に出力され
る。ローパス部分画像11は第2レベルフィルタリング
ステップ2においてフィルタリングされ、ハイパス部分
画像5とローパス部分画像12が形成される。各フィル
タリングステップ1、2、3はハイパス部分画像4、
5、6をIM8に出力する。最後のフィルタリングステ
ップ(最高レベル)からのローパス部分画像13もまた
IM8に出力される。親子ツリーは7に示されている。
格納された部分画像はDCT圧縮回路9によって圧縮さ
れ、伝送されるべき圧縮画像が形成される。
【0005】図2(a)を参照すれば、多レベルDWT
符号化において、入力画像10は第1ステップにおいて
フィルタリングされ、4つの部分画像11、34−36
が形成される。これらの部分画像をLL(11)、LH
(36)、HL(35)、HH(34)と言うことにす
る。LL部分画像11は、水平及び鉛直方向のウェブレ
ット畳み込みの両方から得られる低周波画像情報を含
む。LHとHL部分画像36、35は、水平及び鉛直方
向のウェーブレット畳み込みから得られる情報であっ
て、各部分画像において、これら2方向の畳込みが高周
波画像情報と低周波画像情報に分かれるような情報を、
含む。HH部分画像34は、水平及び鉛直方向のウェー
ブレット畳み込みの両方から得られる高周波画像情報を
含む。LL部分画像11は第2フィルタリングステップ
32においてフィルタリングされ、再び、4つのLL、
HH、HL、LH部分画像12、37、38、39がそ
れぞれ形成される。最後のフィルタリングステップ(最
終レベル)からの部分画像13はIM8に格納される。
上記3レベルにおける部分画像34−42は、それぞれ
圧縮回路43、44において圧縮される前に、IM8に
格納される。親子ツリーは7に示されている。
【0006】上記DWT符号化は、多解像度表現のすべ
てのレベルにおける情報を必要とするのに対して、DC
T符号化は、各レベルにおいて別々にブロック毎に符号
化するということに注意していただきたい。しかし、D
CT復合化は復号化メモリ最適化のため、親子ツリー接
近法を必要とする。すなわち、復号化後、解圧された画
像における特定の8×8ブロックに対応する、すべての
DCTブロックは、復号器において同時に複合化される
べきであり、従って1クラスタとして復号器に伝送され
るべきである。よって、DCT符号化は親子ツリーを必
要としないが、メモリが最適化された復号化過程は親子
ツリーのデータ依存関係を利用することが出来る。その
結果、DWTとDCT符号器はメモリ最適化の観点から
は本質的に同様である。多解像度を獲得するための1連
のフィルタリングを行うステージは、少なくとも復号化
において用いられる、親子データ依存性のグラフを伴う
符号化ステージに引き継がれる。DCTとDWTの違い
は、次のように要約できる。 1.DCT符復号器における親子データ依存性はウェー
ブレット符復号器におけるより大きい。後者において
は、親はただ1つのピクセルを表現するが、前者におい
ては、親は1つの8×8ブロックに渡る。 2.DWTは画像符号化のため本来的に多解像度表現を
用いるのに対し、スケーリング可能なDCT符号化にお
いては、多解像度表現は、実際の符号化ステージを準備
しない、ぎこちない前処理ステップである。すなわち、
後者においては、レベル間の相互関係が利用されていな
い。 3.ピクセル数はDCT符復号器の多解像度表現におい
て、元の画像サイズに比べて33%増加するのに対し、
多レベルウェーブレット変換された画像は入力画像と同
じサイズである。 4.多レベルDWTの演算複雑性はそれに対応するDC
Tの演算複雑性より、典型的に小さい。これらの理由に
よって、DCT符号化はスケーリング符号化にとって最
適でないことが分かる。
【0007】多くの応用において、伝送される画像の全
体だけでなく1部の解像度を変えることができるのが望
ましい。例えば、医療診断において、レントゲン画像ま
たは写真の多くの部分は無関係であるのに対し、ある特
定の部分が決定的に重要であり、最高解像度(望ましく
は失われるものがない)及び最大のサイズを要求する。
これらの画像が電話通信ネットワーク(例えばインター
ネット)を通して伝送される場合には、多解像度の部分
画像を利用できるかどうかが困難な問題を引き起こす。
観察者が画像の適切性または正しさを1般的に決定する
ことが出来るような、合理的な解像度とサイズの画像を
迅速に伝送することが望ましい。この最初の伝送は、高
速伝送を提供する、画像の高度のデータ圧縮において遂
行されるのが望ましい。引き続いて、画像の解像度は選
択的に、増加されうるのが望ましい。すなわち、画像の
局所的な領域の解像度を、この局所的領域と主画像との
境界に人工的なものを加えることなく、変更することが
可能でなければならない。画像をブロックに分割し、離
散コサイン変換(DCT)を用いて画像を圧縮すること
は低解像度の画像を迅速に伝送する方法を提供すが、そ
れに続く高忠実度の領域は人工的な付加ブロックの不利
益を被るかもしれない。離散ウェーブレット変換(DW
T)を用いれば、解像度の各レベルを別々に伝送できる
が、最高解像度を得るためには、画像から得られるすべ
てのデータを目的地に伝送することを必要とする。この
方法は引き続く画像改善が目的地において得られ、追加
的な伝送を必要としない利点があるものの、最高解像度
を得る前に、すべてが到着するのを待たなければならな
い。現在利用できるどのようなシステムも、これら両方
の得点、すなわち低解像度の画像を迅速に伝送し、続い
て、画像の選択可能な領域の早くて能率的なロスなしの
表示を提供する、限られた量のデータを伝送すること
を、提供するは出来ない。
【0008】T.C.Denk,K.K.Parhi
は”Calculation ofminimum n
umber of registers in 2−D
discrete wavelet transfo
rms using lapped block pr
ocessing,” IEEE Int. Symp
osium on Circuit and Syst
ems, Vol.3,pp.77−80,Londo
n,England,May 1994と題する論文に
おいて、多プロセッサアーキテクチャにおける2Dウェ
ーブレット変換反復フィルタリング過程の実行のためチ
ップ上のメモリ要件を最小にする手法を述べている。し
かし1レベル当たりのプロセッサ数が1より少ない場合
にこの手法を採用する方法は何ら述べられていない。
【0009】
【発明が解決しようとする課題】本発明の目的は、多次
元データ構造のディジタルフィルタリングにおける能率
的なメモリ使用及び(または)メモリアクセスのための
方法と装置を提供することである。
【0010】本発明のもう1つの目的は1レベル当たり
のプロセッサ数が1より少ないことを必要とする多次元
データ構造のディジタルフィルタリングのための、方法
と装置を提供することである。
【0011】本発明のさらにもう1つの目的は単1のチ
ップ上に都合良く設置できる、多次元データ構造のディ
ジタルフィルタリングのための、方法と装置を提供する
ことである。
【0012】
【課題を解決するための手段】本発明はデータ構造の多
レベル反復ディジタルフィルタリングの方法であって、
それによって、データ構造の要素がゼロレベルのゼロ層
を構成し、引き続くそれぞれのレベルが1つの反復の結
果によって与えられ、上記方法が次のステップから成る
ものを提供することが出来る。それらは、各レベルを複
数の領域に部分分割するステップであって、1つの領域
の、1つのレベルにおける1つのデータ層のデータと他
の任意のレベルのデータ層のデータの間に依存性がある
ようなステップ、各レベルを、重複領域処理によってフ
ィルタリングするステップ、および各レベルにおけるフ
ィルタリングステップの、本質的な、領域の同期化を提
供するために、各レベルのデータ処理のスケジュールを
立てるステップである。
【0013】本発明はまたデータ構造の多レベル反復デ
ィジタルフィルタリングの方法であって、それによっ
て、データ構造の要素がゼロレベルのゼロ層を構成し、
引き続くそれぞれのレベルが1つの反復の結果によって
与えられ、上記方法が次のステップから成るものを提供
することが出来る。それらは、各レベルを複数の領域に
部分分割するステップであって、1つの領域において、
1つのレベルにおける1つのデータ層と他のどのレベル
のデータ層との間にも依存性があるようなステップ、各
レベルを、重複領域処理によってフィルタリングするス
テップ、および領域を処理することから得られるアウト
プットが本質的に等しい時間間隔で発生するようにスケ
ジュールを立てるように、領域を横断するための列を選
択するステップである。
【0014】本発明はまたデータ構造の多レベル反復デ
ィジタルフィルタリングの方法であって、それによっ
て、データ構造の要素がゼロレベルのゼロ層を構成し、
引き続くそれぞれのレベルが1つの反復の結果によって
与えられ、上記方法が次のステップから成るものを提供
することが出来る。それらは、各レベルを複数の領域に
部分分割するステップであって、1つのレベルにおける
1つのデータ層と1つの領域の他のどのレベルのデータ
層との間にも依存性があるようなステップ、各レベル
を、重複領域処理によってフィルタリングするステッ
プ、1領域の終わりにおいてこの処理を停止するステッ
プ、および隣接する未処理の領域に含まれているデータ
依存関係に関するデータを格納するステップである。
【0015】本発明はまたデータ構造の多レベル反復デ
ィジタルフィルタリングのためのフィルタリング装置で
あって、それによって、データ構造の要素がゼロレベル
を構成し、引き続くそれぞれのレベルが1つの反復の結
果によって定義され、上記装置が次の手段から構成され
るものを提供することが出来る。それらは、各レベルを
複数の領域に部分分割する制御手段であって、1つのレ
ベルにおける1つのデータ層と1つの領域の他のどのレ
ベルのデータ層との間に依存性があるような制御手段、
および各レベルを、重複領域処理によってフィルタリン
グするフィルタリングモジュールであって、各レベルに
おけるフィルタリングの、本質的な、領域の同期化を提
供するために、各レベルのデータ処理のスケジュールを
立てるように適応させられるフィルタリングモジュール
である。
【0016】本発明はまたデータ構造の多レベル反復デ
ィジタルフィルタリングのためのフィルタリング装置で
あって、それによって、データ構造の要素がゼロレベル
のゼロ層を構成し、引き続くそれぞれのレベルが1つの
反復の結果によって定義され、上記装置が次の手段から
構成されるものを提供することが出来る。それらは、各
レベルのデータ領域を複数の領域に部分分割する制御手
段であって、1つの領域において、1つのレベルにおけ
る1つのデータ層と他のどのレベルのデータ層との間に
も依存性があるような制御手段、及び各レベルを、重複
領域処理によってフィルタリングするためのフィルタリ
ングモジュールであって、1領域の終わりにおいて上記
処理を停止し、隣接する未処理の領域に含まれているデ
ータ依存関係に関するデータを格納するように適応させ
られるフィルタリングモジュールである。
【0017】上記各装置は符号器に用いることが出来
る。さらに上記各装置は、添付の方法請求項におけるど
の方法ステップを個々に実行するための手段をも含める
ことが出来る。重複領域処理はゼロツリー符号化を含め
ることが出来る。
【0018】本発明はさらに、データ構造を再構築する
ためにデータ構造の多レベル表現を多レベル反復ディジ
タルフィルタリングするためのフィルタリング装置を提
供する事が出来る。この多レベル表現はデータクラスタ
を含み、上記フィルタリング装置は次のものから構成さ
れる。それらは重複クラスタ処理によって多レベル表現
をフィルタリングするためのフィルタリングモジュー
ル、および上記フィルタリングモジュールを通過するデ
ータの流れを制御するため制御器であって、データ構造
の1領域を再構築するために必要なデータのみが本質的
に、このデータ構造の次の領域を再構築するためのフィ
ルタリング過程を開始する前に処理されるように、デー
タ処理のスケジュールを立てるよう適応させられる制御
器である。この装置は復号器に用いることが出来る。1
クラスタは、ツリーまたはツリーの1部であっても良
い。
【0019】本発明はデータ構造を再構築するためにデ
ータ構造の多レベル表現を多レベル反復ディジタルフィ
ルタリングするためのフィルタリング装置を提供する事
が出来る。この多レベル表現はデータクラスタを含み、
上記フィルタリング装置は次のものから構成される。そ
れらは重複クラスタ処理によって多レベル表現をフィル
タリングするためのフィルタリングモジュール、および
上記フィルタリングモジュールを通過するデータの流れ
を制御するため制御器であって、1領域の終わりにおい
て上記処理を停止し、隣接する未処理の領域に含まれて
いるデータ依存関係に関するデータを格納するように適
応させられる制御器である。この装置は復号器において
用いることが出来る。クラスタはツリーまたはツリーの
1部であっても良い。
【0020】上記のどの装置も、符号器用か復号器用か
に関わらず、オーバラップメモリ、ツリーメモリ、イン
ターパスメモリの少なくとも1つを含むことが出来る。
【0021】本発明は、データ構造を再構築するために
データ構造の多レベル表現を多レベル反復フィルタリン
グする方法を提供する事が出来る。この多レベル表現は
データクラスタを含み、上記方法は次のステップから構
成される。それらは多レベル表現を受け取るステップ、
重複クラスタ処理によってこの表現をフィルタリングす
るステップ、およびデータ構造の1領域を再構築するた
めに必要なデータのみが本質的に、このデータ構造の次
の領域を再構築するためのフィルタリング過程を開始す
る前に処理されるように、フィルタリング過程のスケジ
ュールを立てるステップである。
【0022】本発明はまた、反復のローパスおよびハイ
パス値が対として生成され、演算処理の間、対として取
り扱われ、メモリーにおいて互いに関係づけられ、従っ
て参照の地域性が維持されるようなデータ構造の多レベ
ル反復フィルタリングのために、上記の方法を実行する
ための方法及び装置を提供することが出来る。
【0023】本発明は、システムの1連のモジュールの
間のより良い行動的マッチを達成するアルゴリズム的な
データ再編成により得られる、メモリコストの低減とい
う利点を提供することが出来る。モジュール間のバッフ
ァメモリとそれらに付随するコストがそのため低減され
る。オーダーが1または2の大きさのメモリサイズの減
少を得ることが出来る1方、外部の(チップ外の)メモ
リに対する最小限に極めて近いアクセス動作回数、高速
度の保証、低電力能力が維持される。本発明は特に、多
解像度のテクスチャコードの、応用に応じた、単1プロ
セッサ用の実施に適している。
【0024】本発明はまた、単1プロセッサ、スケーリ
ング可能なテクスチャ符復号器における、メモリサイズ
とアクセスコストを最小にするための方法と装置を提供
することが出来る。この符復号器は、例えばMPEG−
4システムのような、仮想世界における徒歩や顔面の表
情を描くアニメーションシーンに用いることが出来る。
本発明は、データ構造の多レベル反復フィルタリングの
間、メモリサイズとメモリアクセスを最適にするため
の、次のステップから成る方法を達成するための方法と
装置を含むことが出来る。データ構造を領域に分割する
ステップ。データ構造を重複領域処理によってフィルタ
リングするステップであって、次のステップから成るも
の。多レベル反復フィルタリングの、どのレベルにおけ
るどのピクセルが、第1領域の処理に関与しているかを
判定するステップ。どのレベルにおけるどのピクセル
が、第1領域に隣接する1つまたはそれ以上の第2領域
に関与しているかを判定するステップ。第1領域を処理
している間に生成され、第2領域の処理に必要な、情報
を1時的に格納するステップ。領域の同期化は、関連す
るタイムスタンプにおいて、多レベル反復の関連するレ
ベルにおける最適なピクセル数をクラスタ化する過程と
見なすことが出来る。この過程は、任意の領域の処理に
関与するピクセルの総数を減少させることによってメモ
リサイズを最小化する1方、1領域において、あるレベ
ルから他レベルへのジャンプを出来るだけ少なくし、現
在処理されていない他の領域に関するデータの格納量を
最小にし、この他領域を処理するときに、このデータを
再計算することを避けるようにすることである。
【0025】従属する請求項目は本発明のその他の個々
の実施例を定義する。本発明の種々の利点および実施例
を添付の図面を参照しながら、これから説明する。
【0026】
【発明の実施の形態】本発明をいくつかの実施例および
図式的図面に関して説明する。しかし、本発明はそれら
に制限されず請求範囲によってのみ定義される。特に、
本発明は2次元画像に関して説明されるが、それに制限
されない。本発明は、任意の多次元データ構造の多レベ
ル反復ディジタルフィルタリングに、同等に適用されう
る。さらに、本発明は、主としてDWT符複合器に関し
て述べられるが、本発明は包括的であり、従って、ウェ
ーブレット符復号器、多解像度DCT符復号器、および
他の階層的サブバンド符号化図式に基づくような同様の
符復号器にも有用である。さらに、本発明は、主として
静止画像のフィルタリングに関して説明されるが、本発
明はそれに限らず、ヴィデオデータのフィルタリングに
も用いることが出来る。本発明はまた、スケーリング可
能なDWTテクスチャ符号化に関して説明され、それに
関連する用語(例えば親子ツリー、ゼロツリー)が用い
られるが、本発明はそれらに制限されない。例えば、親
子ツリーデータ依存関係に関する方法と結果は、スケー
リング可能な符号化に等しく応用することが出来る。さ
らにまた、本発明は、主として符号器に関して説明され
るが、符号器と復号器の間には対称性が存在するので、
本発明は対応する復号器にも関連する。本発明は従っ
て、処理ステップが符号器の処理ステップとは逆順に行
われるような復号器のための、フィルタリング装置を含
む。
【0027】図1(b)は、本発明における、図1
(a)のフィルタリングステップ1、2、3のどれにも
用いられる、DCTフィルタリングステージ20の図式
的表現である。このフィルタリングステージ20は、図
1(a)における、ローパス及びハイパス部分画像1
1、4;12、5;及び13、6をそれぞれ出力する。
ローパス部分画像11から13を生成するためには、入
力画像または部分画像が2回(L、15、18)ローパ
スフィルタを通過させられ、それぞれ水平方向と鉛直方
向のフィルタリングメモリ14、17を用いて、行と列
16、19によって部分標本抽出される。ハイパス部分
画像4から6は、下方標本抽出・上方標本抽出された出
力を減算27によって減算することによって形成され
る。下方標本抽出はフィルタリングステップ15、18
によって行われる。上方標本抽出はフィルタリングステ
ップ23、26によって行われる。部分画像4から6内
のツリーの要素は特殊ツリー要素メモリ28に格納され
る。
【0028】図2(b)は、図2(a)のフィルタリン
グステップ31から33のいずれもを実行するため、本
発明において用いられる、ウェーブレットフィルタリン
グステージ45の図式的表現である。種々の部分画像、
LL;LH;HL;及びHH11−13;36、39、
42;35、38、41;34、37、40は、図2
(b)に示されているように、それぞれ1連のローまた
はハイパスフィルタリングステップ47、50;47、
52;55、58;55、61、及び行と列における部
分標本抽出と上方標本抽出ステップ48、51、53、
59、62によって形成される。1つの水平方向フィル
タリングメモリ46、2つの鉛直方向フィルタリングメ
モリ49、57、及び3つの要素メモリ54、60、6
3がこのデータ処理に必要とされる。
【0029】これらのメモリは、それらのアルゴリズム
機能によって分類され(フィルタリングメモリ、ツリー
メモリ、インタフェースメモリ)、またハードウェア機
能によっても分類される(フォアグラウンドメモリ、バ
ックグラウンドメモリ)。フィルタリングメモリはフィ
ルタリング動作に関連する。それは、典型的に、FIF
Oメモリから構成され、レベルiー1のローパス値を格
納し、それに基づき、フィルタリングがレベルiのデー
タ値を生成するために行われる。このメモリは図1
(b)及び2(b)において”FM”と表示されてい
る。ツリーメモリは、親子ツリー7の生成に関与する標
本、例えば、2DのDWT用のHL、LH、HH値、及
びDCT符号化のためのラプラスピラミッド用のハイパ
ス値を含んでいる(図1(a)と2(a)を見よ)。そ
れは図1(b)と2(b)において”TM”と表示され
ている。IM8はシステムにおける2つの接触するモジ
ュール29、30の間のデータ転送に必要である(図1
(a)と2(a)を見よ)。もし1つのモジュール29
におけるデータの生成フローが、次のモジュール30に
おけるデータの消費フローに適合するならば、IM8は
小さくてすむ。しかし第1のモジュール29において生
成されたデータが瞬間的に次のモジュール30において
消費されないならば、大きなIM8がモジュール29と
30の間に必要とされる。最後に、フォアグラウンドメ
モリは、メモリに格納された後同じかまたは別の過程に
おいて使われるため直ちに検出されるデータを含む(例
えばキャッシュメモリ)。フォアグラウンドメモリは典
型的にチップ上に含められる。それに反して、バックグ
ラウンドメモリは、他のどの過程においても直ちに消費
されないで、後に使用されるため格納されるデータ含
む。バックグラウンドメモリは、典型的にフォアグラウ
ンドメモリより遥かに大きく、従ってチップ外に配置さ
れる。
【0030】メモリ最適化過程は、重要なものから順番
に、次の作用を含まなければならない。 1.フォアグラウンドメモリはバックグラウンドメモリ
より優先される。 2.フォアグラウンドメモリは出来るだけ小さくなけれ
ばならない。 3.フォアグラウンドメモリをロードするためのバック
グラウンドメモリへの外的アクセスは最小にととどめな
ければならない。 4.バックグラウンドメモリはアクセスできる限界内に
保たなければならない。すなわち、それは既成のRAM
モジュール(SRAM,DRAM等)に適合しなければ
ならない。 一般的に、ツリーメモリとインタフェースメモリ(それ
ぞれTM、IM)に対するアクセス動作回数は、フィル
タリングメモリ(FM)の書き込みアクセスサイクル数
と共に、異なった横断起動動作において、本質的に異な
ってはならない。従って、反復フィルタリング過程に対
応するメモリ読み込みアクセス動作のみ、解析される必
要がある。
【0031】図3(a)は、Sweldensの持ち上
げ図式の適所組織を用いた、1次元(1D)DWTの構
成を示す。この図式はW.Sweldens,”The
lifting scheme: a new ph
ilosophy in biorthogonal
wavelet constructions,”Pr
oc.of the SPIE Conferenc
e,Vol.2569,PP.68−79,1995、
またはW.Sweldens,I.Daubechie
s,”Factoring wavelet tran
sforms into lifting step
s,”AT&T technical report,
No.BL0112170−960927−20TM,
NJ,September 1996に説明されてい
る。変換規則は、図3(b)に示されている。この図に
は3つの反復レベルが示されているが、この方法は任意
の数のレベルに適用できる。また3つのタップを持った
フィルタリングが示されているが、本発明はそれに限定
されることなく、任意の数Nのタップに拡張することが
出来る。但しNは通常奇数2M+1と与えられる。図3
(a)に示されている、レベルiにおけるローパス及び
ハイパス値は、図3(b)の規則AおよびBを用いて、
レベルi−1のローパス値にローパス及びハイパスフィ
ルタリングを交互に適用することによって構成される。
すなわち、あるレベルにおける1つのローパス値は、そ
の下のレベルにおける3つのローパス値から計算され、
あるレベルにおける1つのハイパス値は、その下のレベ
ルにおける3つのローパス値から計算される。ある境界
(例えば、画像の外部との間の辺)において、画像デー
タが何も存在しないときには、この境界に隣接する画像
のデータが図3(a)に示されているように単にコピー
される。これは、境界における対照的な拡張を提供する
過程と通常説明されている。親子ツリーは図3(b)の
規則Cを使って構成される。すなわち1つのツリーが、
すべてのレベルから取られたハイパス値から、より低い
レベルにおける値の数が常にそれより1段高い次のレベ
ルにおける値の数の2倍であるようにして、構成され
る。限られた数の標本に対して、これらすべての規則が
顕在的に図3(a)に示されている。これら種々のタイ
プのリンクは、ある図と次の図の間のつながりが見て取
れるように、これら図において用いられている。
【0032】持ち上げ図式の主な利点は、演算の複雑性
を、ローパス値をハイパス値から計算することによっ
て、倍率2まで漸近的に減少させることが出来る点にあ
る。従って、ロー及びハイパス値は、図3(a)に示さ
れているように、常に対として生成される。このように
して、レベルiにおける、それぞれ2つのローパス値に
対して、レベルi+1では、ウェーブレット変換におけ
る部分標本抽出動作(図2(b)を見よ)を潜在的に模
倣しながら、1つのローパス値と1つのハイパス値が生
成される。図3(a)から明らかなように、1つの値が
最終レベルにおいて生成される前に、大量の情報が処理
されなければならない。例えば、虚構的な(虚構的とい
うのは、双直交ウェーブレットのローパス及びハイパス
フィルタは同じ数のタップを持たないからである)双直
交3タップローパス/3タップハイパスフィルタウェー
ブレット変換を用いて、図3(a)のレベル3における
ハイパス値dを得るためには、レベル0(入力)、レベ
ル1、レベル2におけるローパス値が読み込まれ、デー
タ依存性ラインabcdに至るまで計算されなければな
らない。タイム前線と呼ばれるこのようなラインはどの
特定されるタイムスタンプまで、作用(データのフィル
タリング及びグループ化)が続行されるべきかを指示す
る。多プロセッサ構成においては、1つのプロセッサが
各レベルに割り当てられ、各レベルにおける値は、処理
に必要なデータの到着率によってのみ決定されるスピー
ドで生成されうる。図3(a)の表現を捻って、直進す
る、鉛直方向に位置したタイム前線を得ることは非常に
都合がよい。結果として、図4の表現が得られ、これは
図3のウェーブレット変換のいわゆる時間的表現であ
る。このタイム前線abcdの左側にあるすべての標本
は、現在のタイムスタンプの前に読み込まれるか生成さ
れる。右側にあるものは、未来の時間スタンプにおいて
取り扱われ、タイム前線上にあるものは、現在のタイム
スタンプにおいて、aからdにかけて読み込まれ生成さ
れる。このねじれ過程は開始現象、すなわち各レベルに
おける最初の値を生成するためには異なった量の値が処
理されなければならないことから結果する。このこと
は、種々のレベルにおける最初の値は、異なった時点に
生成されると言うことを意味し、生成時点が遅ければ遅
いほど、レベルは高い。反復2M+1タップフィルタに
よって、開始局面でのレベルiにおける最初の標本を生
成するためには、次の式で与えられるαi個の標本が入
力から読み込まれなければならない。 αi =M・(2i−1)+1 (式1) このことはまた、最初の親子ツリーが、DWTにおける
レベルの数をLとしたとき、αL個の標本を読んだ後に
のみ、生成されることを意味する。表1は異なった構成
におけるこの潜在数αiを数え上げている。
【0033】図5(a)と5(c)は本発明に使用する
ことが出来るプロセッサ構成70、80、100の図式
的表現である。これらの表現は、レジスタ、乗算器、加
算器、マルチプレクサのような関数的素子を含む。これ
らの関数的素子に等価な関数的回路が提供されても良い
が、本発明はそれに限定されない。特に、本発明に適合
するプロセッサ構成は、請求項目の特徴によって必要と
される、適当ないかなる方法においても実施され構成さ
れうる。特に、これらの関数的素子は、適当ないかなる
プロセッサ、マイクロプロセッサ、マイクロ制御器、計
算機、ワークステーション、または同様の機器において
も動作する、ソフトウェアプログラムによって、あるい
はASICやFPGAのような専用のハードウェアによ
って提供されることが出来る。
【0034】フィルタリングは移動するマスクウィンド
ーを用いて行われるので、図5(a)に示されている典
型的なプロセッサ構成70においては、各プロセッサ7
1;72;73は多保持乗算子(HAM)710、71
5…714、719;720、725…724,72
9;730、735…734、739を1つのタップに
対し1つずつ含むことが出来る。各タップはレジスタ7
10−714;720−724;730−734(例え
ば、FIFOレジスタ)、および乗算器715−71
9;725−729;735−739を含む。HAMの
出力は加算器によって累加され出力O1−O3を生成す
る。構成70は次のように機能する。初期データ(例え
ば処理されるべき画像)がI1として、第1プロセッサ
73に入力される。フィルタリングされた結果O1のハ
イパス値は第1レベルの結果として出力され、O1のロ
ーパス値は次のプロセッサ72の入力I2として使用さ
れる。同様に、第2プロセッサ72はフィルタリングの
結果O2を出力し、この結果は第2レベルのハイパス値
及び第3プロセッサ71の入力I3として使用されるロ
ーパス値を含んでいる。これら3つのプロセッサは効果
的に互いに独立しているので、データは生成されれば、
いつでも使用可能である。
【0035】この構成70は大きなハードウェア資源
(多数のレジスタ、乗算器、加算器)を必要とし、例え
ば、ウェーブレット変換の高レベルにおける比較的少数
の起動に対して、VLSIの高コスト(表2を見よ)を
もたらす。本発明に従って、フィルタリングに必要なプ
ロセッサの数を1レベルあたり1つより少なくすること
が望ましい。最も望ましいのは、単1プロセッサ構成で
あって、そこでは異なったレベルの同時起動が引き続く
処理ステップに広げられる。従って、本発明に従って、
異なったレベルのデータを、マルチプレックサ84−8
9を通して、図5(b)に示されているように、HAM
の1つの独自な集合811、91…815、95;82
1、91…825、95;831、91…835、95
およびデマルチプレックサ96に、適当に配送してもよ
い。図5(b)に図式的に示されているプロセッサ80
は、次のように動作する。初期データ(例えば処理され
るべき画像)がI1として、プロセッサ80に入力され
る。マルチプレックサ84−89はこのデータをHAM
811、91…814、95を通して、第1レベルのハ
イパス値とローパス値を含むフィルタリングされた出力
O1を形成し、このうちローパス値はプロセッサ80へ
入力I2として戻される。I2はHAM821、91…
825、95によって処理され、出力O2を形成する。
O2は第2レベルのハイパス値と共に、プロセッサ80
に入力I3として戻されるローパス値を含む。それ以上
のレベルはつぎに使用できるHAMの集合を用いて、同
様に処理される。図5(a)における演算コスト(乗算
器によるVLSIの領域コスト)はこのように、(i)
計算サイクルの追加(これは多プロセッサから単1プロ
セッサに切り替える際に不可避である)(ii)図5
(b)におけるマルチプレックサのコスト(これはVL
SI実施における領域コストである)に置き換えられ
る。このマルチプレックサコストは図5(c)の構成1
00によって避けることが出来る。この構成はデマルチ
プレックサ111、HAM101、106…105、1
10及びマルチプレックサ112を含む。プロセッサ1
00は次のように機能する。初期データI1がフィルタ
リングされ、第1レベルの出力)O1が生成される。O
1のローパス値はI2としてプロセッサ100に戻さ
れ、フィルタリングされ、第2レベルの出力O2が生成
される。それより上の各々のレベルは同様に処理され
る。プロセッサ70がいくつかのレベルにおけるデータ
の格納と処理を同時に行うことが出来るのに対し、プロ
セッサ80は異なったレベルのデータ格納を同時に行え
るが、1時点に1つのレベルのデータの処理しか出来な
い。プロセッサ100は1時点に1レベルのデータの格
納及び処理しか出来ない。
【0036】上記の手筈には、処理が1レベルから他レ
ベルに切り替わる度毎に、FIFOレジスタ101−1
05が外部メモリーから適当なデータを完全にロードし
なければならないと言う不利点がある。このため2M+
1タップフィルタに対して、2M+1個のロードサイク
ルが追加されなければならない。表3は、図5(a)−
5(c)における、N標本入力から計算された、Lレベ
ルの、2M+1タップフィルタ、ラプラスピラミッドに
ついての、異なった単1及び多プロセッサ構成70、8
0、100の主な特徴を要約して示している。表3から
分かることは、レベル切り替え及びそれによるメモリア
クセスサイクルコストを許容範囲内に保つことが出来る
かぎり、本発明に従えば、図5(c)の実施スタイル
が、図5(a)及び図5(b)に比べて特に好ましいこ
とである。
【0037】本発明に従えば、符号化ステップの1部と
して、フィルタリングされるべきデータ構造がいくつか
の領域に分割されている場合に、伝送され、復号化され
る構造における領域の境界における人工物を避けようと
すれば、重複領域処理が好んで用いられる。本発明に関
わる重複領域処理は、領域が、必ずしも同じサイズでな
くても良いが、ブロックの代わりに処理のため使われる
ことを除いて、重複ブロック処理と同じである。1つの
領域は1ブロックか複数のブロックであっても良い。重
複領域処理は、どのレベルのどの領域の処理中において
も、隣接する1つまたはそれ以上の領域からの、必要な
オーバラップしたデータが利用可能でなければならない
ということを要求する。もしこのデータが利用できなけ
れば、プロセッサ100は単に停止するか、間違った情
報が使用されるか、あるいは、プロセッサ100のすべ
ての状態が、欠けている値を計算するのに必要なデータ
と交換され、処理が続行される前に再度交換され戻され
なければならない。適切なときにオーバラップデータを
提供することは、もしメモリの過度の使用を避けなけれ
ばならないならば、種々のHAMの動作の適切なスケジ
ュールを立てる必要性を生み、従って、データがどのよ
うにメモリから読まれ、メモリに書かれ、処理されるか
に関して、正確にスケジュールを立てることを要求す
る。
【0038】上記において、図5(a)−5(c)の実
施のために必要な、バックグラウンドメモリに関する条
件は議論されなかった。これらの、メモリ要件は、使用
されるスケジュール法に、特に図5(b)と5(c)に
おけるプロセッサ構造80と100において、細部に渡
って高度に依存する。
【0039】表3から明らかなように、レベルの切り替
えは、図5(c)に対応する単1プロセッサ構成におけ
るメモリサイクルの予算にマイナスの影響をもたらす。
データ依存関係に抵触することなく、メモリ切り替えを
避けるための直接の方法は、ウェーブレット変換の時間
的表現、図6、に示されているように、次のレベルにつ
いて続行する前に、各レベルにおいて完全に画像を横断
することであろう。水平的横断起動(HTA)スケジュ
ールと以後言及する、このスケジュール法によれば、す
べてのレベルが1つずつ順に生成される。計算される1
つのハイパス値当たりのメモリ読み込みアクセス動作の
回数は表6(セクションa7)に数え上げられている。
表6(行7)から、HTAスケジュールはすべての1D
スケジュールの中で、最小のメモリ読み込みアクセス動
作回数をもたらす。すなわち図5(a)と5(b)のプ
ロセッサ構成において得られる最小数である。
【0040】生成されたが直接消費されなかったデータ
は、その生成から最後の消費に至る全期間、メモリに格
納されていなければならない。例えば、図7に示されて
いるように、レベルiにおいてHTAにおいて生成され
たどのローパス値も、レベルi+1におけるフィルタリ
ングの開始前には消費されない。従って、レベルiのn
i個のローパス値が必要上バックグラウンドフィルタリ
ングメモリに格納されなければならない。レベルiにお
ける1つのフィルタリング動作に関与するどのデータ
も、このバックグラウンドメモリから抽出され、図5
(c)のFIFO構造101−105に対応して、フォ
アグラウンドフィルタリングメモリに転送され、2M+
1個のレジスタを通過するさざ波過程によって、レベル
iにおける次の2M個のフィルタリング動作の間、再使
用される。これらのフィルタリング動作の間生成された
ローパスフィルタ出力標本は、バックグラウンドフィル
タリングメモリに、レベルiにおける、それらに位相的
に対応するローパス値と全く同じ位置に格納される。な
ぜなら、これらの値は、より高い他のどのレベルにおけ
るフィルタリングプロセスにおいても、使用されないか
らである。バックグラウンドフィルタリングメモリはこ
のように関与するレベル(0からL−1まで)に渡って
最大ni個の値を格納し、N個の標本(i=0において
最大)のバックグラウンドフィルタリングメモリが必要
となる。
【0041】最後のレベルLにおける処理が開始されな
いうちは、どの親子ツリーも生成されない。レベルLに
おいて処理が開始される直前に、すべての親子ツリーの
すべての子が生成され、従ってバックグラウンドツリー
メモリに格納される。これはすべてのツリーを寄せ集め
たものと同じ大きさであり(親標本を除いて)、近似的
に全部でN標本となる。これらのツリーのインタフェー
スメモリへの転送はレベルLの処理においてのみ開始さ
れる。このように、図8に示されているように、これら
のツリーはウェーブレット変換処理の最後においての
み、極めて短時間に噴出される。これらのツリーの消費
はより遅く、大きなインタフェースメモリ8を必要とし
(およそN標本)、このメモリは、引き続く符号化モジ
ュール30の過負荷を避けるため、この噴出を時間をか
けて広げなければならない。
【0042】他方、上記位相的なデータ表現における、
データ依存性ラインに沿った、鉛直方向の計算軌跡は、
信号の生存期間および対応するメモリ要件を減少させ
る。再帰的ピラミッドアルゴリズム(RPA、K.K.
Parhi,T.Nishitani,”VLSI a
rchitechtures for Discret
e Wavelet Transforms,” IE
EE transactions on VLSI S
ystems, Vol.1, No.2, June
1993,または、M.Vishwanath,”T
he Recursive Pyramid Algo
rithm for the Discrete Wa
velet Transform,” IEEE Tr
ansactions on Signal Proc
essing,Vol.42,No3,pp.673−
676,March 1994を見よ)および修正再帰
ピラミッドアルゴリズム(MRPA、M.Vishwa
nath,C.Chakrabarti,”A VLS
I architecture for real−t
ime hierarchical encoding
/decodingof video using t
he wavelet transform,”Pro
ceedings of the Internati
onal Conference on Acoust
ics,Speech and Signal Pro
cessing,Adelaide,Australi
a,pp.II401−404,April(199
4)を見よ)が、いわゆる鉛直横断起動スケジュールと
呼ばれるこのクラスに分類される。レベルの横断(3つ
の場合のみ示す)は次のようである。 RPA:1,2,1,3,1,2,1,4,1,2,1,3,1,2,-,1,2,1,3,1,2,
1,4,1,2,1,3,1,2,- ここで−は遊びサイクルを示す。 MRPA:(1),(1,2),(1),(1,2,3),(1),(1,2),(1),(1,
2,3,4),(1),(1,2),(1),(1,2,3),(1),... ここに括弧は読みやすさのため挿入されている。MRP
AとRPAの違いに注目していただきたい。MRPAに
おける括弧で括られた1グループにおける、最後の起動
レベルはRPAの各要素に対応する。MRPAスケジュ
ールは図9の時間的表現に示されている。上記MRPA
からの偏りは、式(1)の潜在性によって、開始局面で
起こる可能性がある(3タップより大きなフィルタと共
に)。
【0043】再帰的ピラミッドアルゴリズムにおいて
は、引き続く2つの起動が異なったレベルにいつも引き
起こされる。修正再帰ピラミッドアルゴリズムを使え
ば、レベル1を除くどのレベルも、接触して起動される
ことはない。レベル1は他のレベルに飛ぶ前に2度起動
させられる。計算される1つのハイパス値当たりの、ア
クセス動作数の平均は表6(列(b)と(c))に数え
上げられている。
【0044】図5(b)の構成においては、フィルタリ
ングメモリは本質的にフォアグラウンドタイプにであ
る。なぜならどのデータも、いかなる長期的格納装置な
しに、引き続くフィルタリング動作において再使用され
るからである。VTAのスケジュールは、レベル0から
L−1までの最後の2M+1個のローパス値のみが格納
されるように保証する。そのため全フォアグラウンドフ
ィルタリングメモリはL・(2M+1)標本(図9を見
よ)になり、バックグラウンドメモリは無くなる。しか
し、図5(c)のプロセッサ構成を使用すれば、フォア
グラウンドメモリは2M+1個の標本を格納し、残りは
サイズがL・2Mのバックグラウンドメモリに配置され
ることになる(各レベルのFIFOレジスタ101−1
05に配置される最後の標本は適当なタイムスタンプに
おいて、直前のレベルから取り込まれる)。
【0045】HTAスケジュールと比べて、鉛直的横断
起動(VTA)処理は、圧倒的に鉛直方向であり、親子
ツリーが出来るだけ速く処理されるよう保証する。図1
0はVTA処理中のツリーメモリの進化を示す。不運に
も、レベル間のデータ依存関係と式(1)に表されてい
るエッジ効果のため、現在の親子ツリーのためのハイパ
ス値に渡るものより大きな領域が処理されなければなら
ない。この領域α(図9を見よ)に対応する、すべての
ハイパス値が格納されなければならない(標本A、B、
C、D、E、F、G、A’)。これらのハイパス値のわ
ずか1部が現在の親子ツリーに貢献する(図9における
標本A、B、C、D、E、F、Gすなわち図10におけ
る領域T)。他のすべてのハイパス値(図9の標本A’
すなわちは図10の領域S)は、最低レベルから最高レ
ベルに渡って、ローパス値のさざ波の間に不可避的に生
成される。小さなフィルタでは、領域Sは全く小さいが
(図10を見よ)、広いフィルタと多数のレベルに対し
ては、SはTより遥かに広くなる(表1も見よ:高αi
値)ことに注目していただきたい。領域Tはフォアグラ
ウンドツリーメモリと見なされる。なぜなら、それは、
1つの完全な親子ツリーとしてまもなく出力されるデー
タを含んでいるからである。1度1つのツリーが生成さ
れれば、領域Tはその内容がインタフェースメモリに転
送され、空にされることに注目しいただきたい。領域T
は、そこで、図10に示されているように、次の親子ツ
リーの生成に関与することが出来る。このとき、領域T
はバックグラウンドメモリS’の1部となり、他方現在
のバックグラウンドメモリSの1部(領域T’)は次に
到来する親子ツリーのデータを格納するためのフォアグ
ラウンドツリーメモリの機能を獲得する。
【0046】図9から分かるように、すべてのツリー
は、直線によって結ばれている、鉛直方向に向きづけら
れている、ハイパス値のクラスタであるが、開始局面の
領域αに続く、定常状態領域βについては、1定時間毎
に生成される。このため、ゼロツリー符号化モジュール
は、次のツリーが処理される前に、現在の親子ツリーを
処理するのに十分な時間を有する。インタフェースメモ
リもまた、従って、1つの親子ツリーに制限される(も
し2重バッファが必要なときは2つの可能性もある)。
これはこのようにゼロツリー符号化に直接関与するデー
タを含み、そのためフォアグラウンドメモリと見なされ
る。表6の列(b)、(c)はこれらの主要な結果を要
約して示している。
【0047】上に説明したVTAスケジュール(RPA
およびMRPA)はフィルタリングに関してのみ、メモ
リ要件を最小化する。もしウェーブレット変換における
単なるフィルタリング過程にとどまらない、他の機能
(例えば親子ツリー形成)が考慮されるときは、フィル
タリングメモリは全メモリ要件において、ツリーメモリ
の貢献に比べて、周辺の役割しか持たないことが分か
る。例えば、表6の図式において、σLは典型的にL・
2Mと2M+1より遥かに大きい(表1を見よ)。従っ
て、ウェーブレット変換をより大きな環境に、すなわち
その機能を完全なシステムに設置すれば、VTAスケジ
ュールは適正ではあるが最善の選択ではない。
【0048】本発明に関わる1実施例によれば、データ
構造の多レベルフィルタリング中の、データ処理の新し
いスケジュールが提案されるが、これは、フィルタリン
グメモリの無視できる増加の下でメモりアクセスコスト
を大幅に減少させるとともに、VTAと同じツリーメモ
リ要件に導く。
【0049】メモリアクセスコストを最小にするために
スケジュールは、1つのレベルを出来るだけ長く通過す
る、HTA水平方向横断軌跡を優先させなければならな
い。しかし、メモリサイズコスト減少させるためには、
データの生成と消費の間の経過時間を短縮しなければな
らない。スケジュールは、従って、位相的表現におい
て、データ依存性リンクの全体的な方向、すなわち鉛直
方向に、すなわちレベルの方向に垂直に辿らなければな
らない。VTAとHTAは互いに矛盾した横断方法であ
り、両者は異なった求める性質を提供する。
【0050】HTAは明らかに、メモリアクセスコスト
最小化にとって望ましく、VTAはメモリサイズコスト
を最小化する(表6を見よ)。本発明において提案され
ているのは、図5(c)の構成において、データ生成の
軌跡がメモリサイズ最小化のため出来るだけ鉛直方向で
あるという制限条件と共に、この生成の軌跡がメモリア
クセス動作数の最小化のため出来るだけ水平方向である
という制限条件を認めるようなスケジュールの戦略であ
る。この1見解消できないような矛盾を解決する、本発
明に関わる1実施例における1構成が、図11に示され
ている。本発明のこの実施例による横断戦略は、混合横
断起動(MTA)スケジュールと呼ばれる。領域αのゼ
ロレベル0におけるゼロ層α0のデータ(入力データ)
は、フィルタリングされ、同領域の第1レベルにおける
第1層α1のデータA、B、C、D、A’、bが生成さ
れる。このデータは第2レベルの第2層α2のデータ
E、F、cを計算するために使用され、さらにこの領域
αのすべてのレベルに対しても同様である。このよう
に、1領域におけるゼロ層を除く各層は、多レベルフィ
ルタリング過程の1つのフィルタリングステップの結果
である。第2領域βのゼロレベルにおけるゼロ層β0
おける最初のデータ点が、第2領域βの第1レベルにお
ける第1層β1の点B’等の計算を開始するため使用さ
れる前に、層α0からαLに渡ってすべてのレベルが処理
される。このスケジュールに従えば、画像データは領域
に部分分割され、各領域は種々のレベルにおける1連の
層を含み、1領域における各層は、データ依存性によっ
て、同領域の他の層に関連している。どの層も、1つま
たはそれ以上の、必ずしも整数でない数のブロックを含
むことが出来る。1領域の層は、同じ数のブロックを持
たなくても良い。1ブロックはただ1つの点であるほど
小さくても良い。1領域内において、同領域の次のレベ
ルにおける次の層に移動する前に、データを各層内にお
いて水平に横断する。最後のレベルは少なくとも、1つ
のハイパス点Gを含む。従って、少なくとも1つの親子
ツリーを、1領域の、すなわちそのすべての層の、処理
の完了に際して抽出することが出来る。次の親子ツリー
の生成のためのデータは、次の領域の層を、本質的に水
平に横断し、その後のステージにおける隣接する未処理
の領域を処理するために必要なデータを格納することに
よって、計算される。
【0051】本発明において、重複領域あるいは重複ブ
ロック処理が望ましいので、各層における最後のデータ
値の1部は、同じレベルにある次の領域のこの層の最初
のデータの計算に使用されることに注目していただきた
い、1次元おいては、この次の領域は処理における次の
領域である。2またはそれ以上の次元では、語「次の」
はどの次元に沿っても使われるので、次元の数だけ、次
の領域がある。よって、2次元における現在の正常な定
常状態の領域の処理においては、現在の領域を完全に処
理するために、データは、その直前の2つの領域から格
納される。例えば、データは、水平的に直前の領域か
ら、鉛直的に直前の領域から格納される。例えば、1次
元において、図11に示されているように、α0層から
の2つのローパスデータ点が、次の領域βの層β0にお
ける最初のローパスデータ点と共に、層β1におけるハ
イパス点B’を計算するために使用される。α0からの
これら2つのデータ値は、次の領域のβ0層に前進的に
入力される。本発明に従えば、重複領域あるいは重複ブ
ロック処理は、各領域における領域またはブロック間の
1部のデータの格納を必要とする。上に説明したよう
に、データはその直前の領域から格納されるが、本発明
はまた、逆方向のデータ格納を含む。すなわち、第1領
域の1つの層は、第1領域における最後の点または次の
層の点を計算するため、引き続く第2領域におけるある
層からの最初のデータ点を使用することが出来る。この
場合、この引き続く領域におけるこの層からのデータ値
は、現在処理されている領域におけるこの層に入力され
る。フィードフォアワード、フィードバックの両者の場
合において、ブロックまたは領域の人工物は、境界に近
いデータ値の計算のため、ブロックまたは領域の境界に
渡るデータ値を使用することによって、除去することが
出来る。
【0052】数式(1)によれば、第1の親子ツリー
(A,B,C,D,E,F,G)の生成に関与するデー
タは、α領域のデータの合計であり、この領域は、引き
続くフィルタリング過程に含まれている大きなデータ依
存関係によって、全く大きい。持ち上げ図式のローパス
・ハイパス対生成原理のため、この第1の親子ツリーの
1部ではない多くのハイパス値が不可避的に生成される
(例えば、図11に示されている虚構的3タップローパ
ス/3タップハイパスウェーブレット変換のための標本
A’)。このため、次の領域からの次の親子ツリー
(A’B’C’D’E’F’G’)の生成はすでに始め
られていて、この新しい親子ツリーのための欠けている
データの生成に必要な追加的努力は、α領域から得られ
る第1のツリーに比べて、相対的に小さい(例えば、い
わゆる定常状態領域であり得るβ領域からの)。実は、
第2領域の各レベルにおける各層のために、第1のフィ
ルタリング動作は開始局面(α領域)の間にすでに行わ
れているので、各レベルにおいて生成される各層からの
追加的出力標本は、その層のただ1つの追加的入力標本
を必要とするだけである。従って、レベルiにおける2
L-i個のハイパス値を含む1つの追加的親子ツリーを生
成するため、レベルiにおいて只2L-i個の追加的フィ
ルタリング動作が行われればよい。本発明の1つの実施
例によれば、すべてのレベルにおけるフィルタリング動
作は、少なくとも1つのいわゆる種領域(α領域)を含
む開始局面によって始められ、次いで、各ステージ毎に
1つの追加的親子ツリーに貢献する、1連のいわゆる定
常状態局面(β領域)に引き継がれ、図10の領域Sに
似た領域(/α領域)が消滅する、いわゆる終了ステー
ジによって終了される。
【0053】本発明によれば、α領域は基本的種領域と
呼ばれる。この領域のデータから、フィルタリングは能
率よく、制御されて開始され、誤差がフィルタリングの
間さざ波的に伝搬せず、メモリ使用とアクセスが最適状
態になる。この領域には、最後のレベルにおける少なく
とも1つのデータ点Gに至るすべてのレベルのデータを
計算するのに十分なデータが存在する。
【0054】図12は、この新しいスケジュールが、1
次元のHTAおよびVTAにどのように関連しているか
を示している。図12の(a1)から(c1)は位相的
表現であり、図12の(a2)から(c2)は時間的表
現である。図12の(a1),(a2)はHTAに関連
し、(b1)、(b2)はVTAに関連し、(c1)、
(c2)はMTAに関連する。各レベル内のMTAのた
めに、フィルタリングメモリアクセスにとって高価なレ
ベルスイッチは、各レベルの各層における水平横断を使
用することにより避けられている。このような水平処理
のフィルタリングメモリサイズコストは、各領域内での
横断の水平的広がりを減少させることにより避けられて
いる。大きな画像の大部分を構成する、定常状態のβ領
域は相対的に狭く、例えば1ブロックである。これらの
領域の巾は、典型的に、親子ツリーの葉における子供の
数に等しく、2L個の入力標本に相当する。しかし、設
計者はこの等価的入力領域巾を、応用の制約条件によっ
て、2LとNの間で変化させることが出来る。例えば、
スケーリング可能なDCT符復号器を使用するときは、
このようなツリーの親は、逆8点DCTを行うことが出
来るよう、8標本に等しい巾を有していることが望まし
い。1般には、親ピクセルの数をNLとすれば(DWT
では1、DCTでは8)、領域の広がりは、少なくと
も、NL・2L個の入力標本である。
【0055】本発明に関わるバックグラウンドフィルタ
リングメモリは2つの部分に分離される。第1の部分
は、隣接領域における層の間でオーバラップする情報を
転送し、従って、各レベルiに対して(i=0からL−
1)2M個の標本を格納する。第2の部分は、図7にお
けるように、レベルi+1の処理において後に消費され
るための、レベルiの(i=0からL−1)ni個のロ
ーパス値を格納する。niの最大値は、レベル1におい
て達せられる。NL=1の場合には、領域αと/αにおい
て、合計(αL−α1)/2+1個のローパス値を獲得
し、β領域においては、2のL−1乗個獲得する。NL
=1でない場合には、追加的に(NL−1)・2 L-1個の
ローパス標本が格納されなければならない。その結果、
表6の結果、式(d2)が得られる。領域αにおけるバ
ックグラウンドフィルタリングメモリを減少させること
は、もちろん、領域αをさらにより小さな巾の隣接領域
へ部分分割する事によって達成される。すなわち、図1
9に関して後に説明されるように、もしこれらの領域が
ブロックに部分分割されるならば、それが望ましい。図
6における式(d7)の対応する値の増加は大きな入力
信号サイズに対しては無視できるものである(式(d
8)を見よ)。
【0056】ツリーメモリサイズの合計はNL=1に対
しては領域αの広がりに制限され、結果として、σL
のハイパス値用のメモリを要する(数値については表1
を見よ)。NL=1でない場合には、NL−1個の追加的
1ピクセル親子ツリーを数え上げなくては成らず、全部
で(NL−1)・(2L−1)個のハイパス値を代表す
る。1つの完全なNLピクセル親子ツリーに対応するツ
リーメモリの1部は、フォアグラウンドツリーメモリを
表現し、表6の結果を導く。ツリーメモリ管理(フォア
グラウンドメモリ、バックグラウンドメモリ、転送)は
図10におけると全く同じである。開始効果(領域α)
を除いてこれらのツリーの生成は時間的に全く均等に広
がっている。インタフェースメモリは従って、典型的に
1つのツリーに(もしダブルバッファが要求されるとき
は2つのツリーの可能性もある)限られる。
【0057】表6は、HTA、VTA、MTAスケジュ
ールの特徴の概略を提供している。この図から、MTA
がHTAとVTAの最善の特徴を抽出していることが分
かる。すなわち、HTAの、大きなバックグラウンドメ
モリはVTAのフォアグラウンドメモリを利用すること
によって避けられ、VTAの、高いフィルタリングメモ
リ読み込みアクセスコストも避けられている。実際には
(d8)<<((b8)または(c8))である。(a
7)と(d8)を比べれば、N→∞のとき、HTAとM
TAのメモリアクセスコストは同様である。HTAの入
力サイズNはMTAにおける各領域βの入力ブロックサ
イズ(=NL・2L)に置き換えられる。表4はNLに関
する適切な選択を示す。それによれば、MTAのメモリ
アクセスコストHTAの最適値に極めて近い(1出力標
本当たり2個の読み込みアクセス動作)。4レベル(L
=4)、7/9タップ(M=4)ウェーブレット分解に
関しては、NL=4あるいはNL=8さえ選ぶべきであ
る。表6からはまた、MTAのインタフェースメモリコ
ストはVTAのそれと同じくらい小さいことが分かる。
これは親子ツリーが時間的に全く均等に生成されること
による。
【0058】MTAの1次元を越える場合への拡張を以
下に述べ、本発明のこの実施例を、従来の行−列及び行
−行接近法に比較する。図13(a)は、持ち上げ図式
を使った、画像200に対する、虚構的、3レベル、3
タップローパス/3タップハイパスフィルタ、2次元
(2D)ウェーブレット変換の位相的表現を示す。この
図は、図3の2次元ウェーブレット変換への拡張であ
る。すべてのレベルの標本は、紙面上に投射されている
ので、レベル情報の違いは異なった弾丸サイズと陰影に
よって目に見えるように表されている。ここには4つの
ツリーTR1からTR4が示されている。各ツリーは、
元の画像200の第1フィルタリング領域によって、1
方向において(行または列に沿って)形成され、次いで
もう1方向(例えば列または行)において形成される。
ツリーのレベルは上付き添え字により指示されている。
例えば、TR43は第3レベルの第4ツリーに関するデ
ータ値を表す。第1レベルの値はマークされていない
が、画像200の各象限における第1レベル値は、その
象限におけるツリーの第1レベル値である。フィルタリ
ングが、左上から開始されると、各レベルにおけるデー
タ値の計算のためにかかる時間によって、データは異な
った時点に出現する。すなわち、右下隅に向かうほど、
そしてレベルが高くなるほど、データ値はより遅く出現
し、それらは図13(b)に示されている。図13
(b)の時間的表現を得るため、図13(a)の表現が
捻られ、その結果、タイム前線たちは、図4のタイム前
線が入力データ軸に垂直であるように、紙面に垂直とな
る。図13(b)における、いずれかのレベルにおける
データ値の位相的位置を知るためには、図13(a)を
参照すべきである。両図とも同じツリーTR1−TR4
のそれぞれ、位相的、時間的表現を示しているからであ
る。
【0059】本発明の1実施例によれば、メモリコスト
最小化を達成するために、最適なデータ処理の順序が決
定される。先ず最初に、従来の処理方法を説明する。従
来の2Dウエーブレット変換行ー列フィルタリングは、
1D行フィルタリングを完全画像の行に沿って適用し、
次いで、この完全画像の列に沿って、1Dフィルタリン
グを適用する。行フィルタリングは、生成線と呼ばれる
画像を横切る線に沿ってデータを生成する。列フィルタ
リングに関しては、データは消費線に沿って消費され
る。生成線と消費線は1致しないので、行フィルタリン
グが完了していない間は、列フィルタリングを開始でき
ない。 その結果、スケジュールは次のように、各レベ
ルを完全に処理する: 行フィルタリングレベル1→列フィルタリングレベル1
→行フィルタリングレベル2→列フィルタリングレベル
2→...
【0060】これが1DのHTAスケジュールの基本的
な拡張であり、同様の特徴(表7を見よ)を表す。水平
方向及び垂直方向フィルタリングのそれぞれは、常に同
じレベルにとどまっているので、図5(c)の構成がフ
ィルタリングメモリへの最小のメモリアクセス動作数を
伴って用いられる(表7における(a7))。
【0061】フィルタリングフォアグラウンドメモリは
2M+1個のレジスタを持ったFIFOメモリからな
り、これらのレジスタは、行フィルタリングでは行に沿
って、列フィルタリングでは列に沿って、データによっ
て適切に満たされる。バックグラウンドフィルタリング
メモリは、しかし、2つの引き続く行と列のフィルタリ
ングパスの間に、全フレームメモリが使われなくてはな
らないので、はるかに大きくなる。さらに、すべての親
子ツリーが最低から最高に及んで、ステップ毎に形成さ
れなければならないので、すべての親子ツリーは、最初
の親子ツリーの親ピクセルが生成される時点において、
ほとんど完全に構築されていなければならない。ツリー
メモリもまた、このため、望ましくない大きなフレーム
メモリからなる。さらに、親子ツリーは、噴出モードで
生成されるので、再び望ましくない大きなインタフェー
スメモリが、これらのツリーの消費を、時間的に広げる
ため必要となる(図8を見よ)。
【0062】行ー列接近法がこれほど多くのバックグラ
ウンドフィルタリングメモリを必要とする主な理由は、
生成線と消費線が1致しないことである。それらを1致
させるために、列フィルタリングは行に沿って、データ
を消費かつ生成すべきである。列フィルタリングは必
ず、列に沿ってデータを消費するので、1見、このこと
は矛盾するようである。しかし、新しく行フィルタリン
グされた値に対し、列フィルタリングが、対応する列に
おいて開始されれば、何ら矛盾が起こらない。各列フィ
ルタリングは新しい行フィルタ出力だけでなく、同じ列
における、その直前の2M個の行フィルタ出力を必要と
するため、2M個の標本フィルタメモリが各列に対して
必要である。フィルタリングメモリは全部で2M行+2
M+1番目の行における2M個の標本に等しく、従来の
遅延線接近法におけると同じフォアグラウンドメモリ要
件となる。列フィルタリング動作は、1つの列から次の
列に連続的に飛ぶので、図5(c)のようなプロセッサ
構成では、フィルタFIFOレジスタ101−105
に、すべての標本を連続的に再ロードし、従って、望ま
しくない大きな読み込みアクセス動作数をもたらす。
【0063】レベルが1つ1つ処理されるならば、各レ
ベルの結果は、次のレベル処理において利用できるよう
に、格納されなければならず、上述の遅延線メモリを、
2/4個の標本の追加的バックグラウンドフィルタリ
ングメモリによって増加させる。従って、行及び列フィ
ルタリングパスの生成線と消費線の1致は必要ではある
が、メモリコストを減らす十分条件ではない。事実、メ
モリは、レベルiにおけるデータの生成とレベルi+1
におけるその消費との間の期間を最小化することによっ
て、減らすことが出来、これは1DのVTAスケジュー
ルにおいて行われたように、レベル間の横断を優先させ
ることによって達成される。完全なフレームバックグラ
ウンドフィルタリング及びツリーメモリは明らかに避け
ることが出来る。フィルタリングメモリは従って、4M
個の遅延線(すべてのレベルに渡る2M個の遅延線の合
計)に制限されよう。
【0064】このVTA構成には、(i)VTAスケジ
ュールにおいて1つのレベルからもう1つのレベルへ絶
えず切り替わる(ii)行毎の横断において1つの列か
ら次の列へ絶えず切り替わる結果、多くのメモリアクセ
ス動作が必要とされるという不利点がまだ存在する。事
実、処理は、同じ親子ツリーに貢献する領域において、
レベル毎に行うことが出来る。そのような領域では、列
切り替わり現象は、列フィルタリングパスを開始する前
に、1つの列における、γ個の(γ>1)行フィルタリ
ング動作の結果を累積することによって、減少させるこ
とが出来る。それぞれの列フィルタリングパスはそれか
ら、次の列に飛ぶ前に、γ個の行フィルタリングされた
値を処理する。1つの列において、図5(c)のFIF
Oレジスタ101−105を全部ロードすることなく、
γ個の標本がこうして処理される。
【0065】ツリーメモリ要件は、しかし、まだ大き
い。実際、ツリーメモリは列フィルタリングパスの後に
生成され、1親子ツリーに貢献する、すべてのHL、L
H、またはHH標本を集める。驚くべきことではなく、
1つの列フィルタリングメモリを各列に割り当てるた
め、ツリーメモリは列に沿って整頓されている。そのよ
うなツリーメモリのそれぞれは、αiを式(1)の潜在
性とすれば、1つの領域上の1つの列において、(αL
−αi)/2i+1個の標本に渡って広がる。列整頓され
た、これらすべてのツリーメモリは、全画像巾に渡って
広がる、大きなメモリ領域に集まる。図10の過程に対
応する、各列におけるツリーメモリ管理は、図15に示
されているように、2Dに拡張される。すなわち、2D
親子ツリーが抽出される度毎に、対応する正方形メモリ
領域は、最下位の隣接ツリーを準備するため、開放され
下方に移動させられる。図15に示されているように、
行毎のデータ処理は、高さ2Lの入力束内に横たわるツ
リーを全く噴出的に生成する。すなわち、最初の2L-1
の入力行の間、すべてのツリーは付加的に構築される
が、それらの形式は2L番目のパスにおいて、完成さ
れ、その間すべてのツリーがインタフェースメモリに転
送される。活動を時間的に均等に広げるため、インタフ
ェースメモリは、大きさが2Lのオーダーのサイズを有
している。この構成の主な特徴は、表7に要約されてい
る。図15において、TとT’は2つの隣接するツリー
のためのフォアグラウンドツリーメモリであり、Sと
S’は対応するバックグラウンドメモリである。
【0066】行毎の処理によれば、上に説明したよう
に、親子ツリーは噴出的に形成され、好ましくない。こ
のことは、本発明に関わる1実施例において、行フィル
タリングも、列フィルタリングも共に、現在の親子ツリ
ーに貢献する領域の巾を越えて広がらないようにするこ
とによって、避けることが出来る。画像の1行または1
列全体の処理は、従って、隣接領域に分割される。本発
明の1側面は、データ構造を、例えば、すべてのレベル
における計算のスケジュールが本質的に領域的に同期化
されるような領域に、部分分割されたピクセルから成る
画像を、フィルタリングすることである。本発明による
領域的同期化は、1つの領域からのすべてのレベルにお
ける位相的に関連したすべてのピクセルのクラスタを同
時に利用できるように提供しながら、次のそのようなク
ラスタの完全な計算を避けるような、データ処理のスケ
ジュールを立てることであると、説明することが出来
る。典型的なクラスタは親子ツリーである。本発明のも
う1側面は、ゼロレベル(データ入力)から始まる、最
初の種領域におけるすべてのレベルにおけるすべての層
の計算のスケジュールを、次の領域のどの層におけるデ
ータのどのような本質的な計算も、最初の領域のすべて
の領域における計算が完了するまで延期されるように、
立てることである。
【0067】本発明の1実施例によれば、得られた分割
の各2D領域において、処理は次のように行われる。レ
ベル0の層0における最初の領域に渡る完全な行フィル
タリング、レベル0における最初の領域における層0に
渡る完全な列フィルタリング、レベル1における最初の
領域における第1層に渡る行フィルタリング、レベル1
における最初の領域における第1層に渡る列フィルタリ
ング、同様に、すべてのレベルが処理されるまで続く。
次いで、次の領域が同様に処理される。フィルタリング
されるべきデータ構造がn次元であり、データ構造の要
素がゼロレベルにあり、データ構造がm個の領域に部分
分割される、1般の場合には、スケジュールは、次のよ
うになる。第1次元における最初の領域におけるゼロレ
ベルにおけるゼロ層のフィルタリング、第2次元におけ
る最初の領域におけるゼロレベルにおけるゼロ層のフィ
ルタリング、同様に、第n次元における最初の領域にお
けるゼロレベルにおけるゼロ層のフィルタリングまで;
このように、最初の領域における最後のレベルにおける
最後の層まで、各次元における最初の領域の引き続く各
層のフィルタリング;第1次元における第2番目の領域
におけるゼロレベルにおけるゼロ層のフィルタリング、
第2次元における第2番目の領域におけるゼロレベルに
おけるゼロ層のフィルタリング、同様に、第n次元にお
ける第2番目の領域におけるゼロレベルにおけるゼロ層
のフィルタリングまで;このように、第2番目の領域に
おける最後のレベルにおける最後の層まで、各次元にお
ける第2番目の領域の引き続く各層のフィルタリング;
このように、引き続く各領域の、各次元における、すべ
ての層についての、m番目の領域における最後のレベル
における最後の層までの、フィルタリング。
【0068】図14は、虚構的3レベル、3タップロー
パス/3タップハイパス2Dウェーブレット変換の時間
的表現を使って、本発明の1実施例に関する全過程を示
している。図13(b)の表現は、Aa,Ba,Ab,
Bbの順序で、横断される領域に部分分割されたもので
ある。図13(b)におけるマークは図14には含まれ
ていない。領域Aは本発明に関する基本的種領域であ
る。領域BaとbAは補足的種領域である。bBから成
る領域は、最初の定常状態領域であり、1ブロックほど
小さいかも知れない。本発明に関する、多次元データ構
造のフィルタリング過程においては、種領域は、フィル
タリングされるべきデータ構造と同じ次元数を有するデ
ータ構造の、最初に処理される領域である。3次元のデ
ータ構造に対しては、従って、それは3次元領域であ
る。基本的種領域は、少なくとも最初の親子ツリーを生
成するのに十分なデータを含む。補足的種領域は、基本
的種領域またはもう1つ別の補足的種領域から利用でき
るデータを併せて、少なくとももう1つの親子ツリーを
抽出するのに、十分なデータを含む。本発明に関する、
基本的及び補足的種領域は併せて、定常状態領域を処理
して少なくとももう1つの親子ツリーを生成するための
すべてのデータが利用可能であるように、すべてのレベ
ルにおけるオーバラップデータを定常状態領域に提供す
る。本発明の1側面は、種領域は相対的に大きいが、1
度処理されるならば、小さな定常状態ブロックから成る
画像の大部分の能率的な処理を可能とするように、画像
を種領域と定常状態領域に部分分割する。
【0069】各領域においては、ただ1つのフォアグラ
ウンドメモリ、すなわち行フィルタリングまたは列フィ
ルタリングの間、最後の2M+1個の入力値を含む1つ
のFIFOメモリが必要とされるだけである。バックグ
ラウンドフィルタリングメモリはそれぞれの領域の面積
に等しく(表7(e2)における、それぞれ開始時及び
定常状態における(1)および(2))、行と列のフィ
ルタリングパス間に結果を転送するのに必要である。こ
のメモリをインターパスメモリ(IPM)と名付けるこ
とにする。さらに、行方向に、1つの領域から、行方向
に隣接するもう1つの領域へ、後者においての行フィル
タリングを可能とするため転送される情報(オーバラッ
プデータ)は、これら2つの領域間の列境界に沿って整
頓されて、追加的なバックグラウンドフィルタリングメ
モリに1時的に格納される(表7(e2)の(4)と図
21のOM1を見よ)。このメモリはオーバラップメモ
リ(OM)と呼ばれる。同様に、1つのオーバラップメ
モリが、列方向に、1つの領域から、列方向に隣接する
もう1つの領域へ、列フィルタリングのため、情報を転
送するため、必要である(表7(e2)の(3)と図2
1のOM2を見よ)。ツリーメモリは現在処理されてい
る領域のすべてのHL、LH、HH標本を含む。左上の
画像境界(すなわち基本的及び補足的種領域のすべて)
における開始局面を除いて、隣接する2つのツリーの間
の経過時間は1定である。ツリーは時間的に殆ど均等し
て生成される。従って、インタフェースメモリは、H
L、LH、HHサブバンドにおける1つのツリーのサイ
ズに制限される(2重バッファが必要な場合は、2つの
ツリーの可能性もある)。メモリ要件(及び再使用)は
図21と表7列(e)に要約されている。
【0070】図21は領域が画像全体に渡って、どのよ
うに処理されるかを示している。画像はα領域=種領域
とβブロック=定常状態ブロックに、部分分割され、α
領域はそれ以上さらに部分分割されることはない。領域
とブロックは、A0に表示されている数の順序で横断さ
れる。各ブロックと領域に対して、ウェーブレット変換
の異なったレベルが横断され、画像B0,C0,A1,
LH1、HL1、HH1、B1、C1、LL2、LH
2、HL2、HH2における対応する領域またはブロッ
クが生成される。B0とC0における領域とブロック
は、A0の対応する領域またはブロックから、それぞれ
次元d1に沿って、ローパス及びハイパスフィルタリン
グによって、生成され(行フィルタリング)、この特定
の領域またはブロックに拘束される。この領域またはブ
ロックにおける次元d2に沿った追加的ローパス及びハ
イパスフィルタリング(列フィルタリング)によって、
画像A1、LH1、HL1、HH1の対応する領域また
はブロックはレベル1において生成される。A1はさら
に現在の領域またはブロックにおいてフィルタリングさ
れ、画像B1、C1の対応する領域またはブロックが生
成され、これがこの領域またはブロックにおける列フィ
ルタリングの後、LL2、LH2、HL2、HH2にお
ける領域及びブロックを生成する。レベル0における1
つの特定された領域またはブロック(例えば領域第1)
の行フィルタリング過程の中間結果を格納するため、メ
モリIPM2a(0)がB0において使われ、メモリIP
2b(0)がC0において使われる。IPM2a(0)I
PM2b(0)は併せて、インタパスメモリを形成する。
メモリOM1(0)はA0における領域第2の行フィル
タリングの間に使用される重複した情報を保持する。O
2aとOM2b(0)は画像B0とC0において処理され
るべき次のブロックの列フィルタリングの間に使用され
る重複した情報を保持する。OM1(0)は行次元にお
けるレベル0のオーバラップメモリに対応し、1方、O
2a(0)とOM2b(0)はレベル0の列次元における
オーバラップメモリに対応する。
【0071】レベル0における最初の領域またはブロッ
クの行及び列フィルタリングが行われた後、最初の領域
またはブロックがレベル1における画像A1において生
成される。画像LH1、HL1、HH1において形成さ
れる、対応する領域またはブロック情報は、ツリーメモ
リTMLH(1)TMHL(1)、TMHH(1)に格納され
る。
【0072】A1の最初の領域またはブロックは、画像
B1、C1、LL1、LH2、HL2、HH2における
最初の領域またはブロックを生成し、同様に処理され
る。この処理は、行フィルタリングの間、メモリIPM
1a(1)を必要とする。対応する結果は、IPM
2a(1)とIPM2b(1)メモリに書き戻される。ある
種の情報はメモリOM1(1)、OM2a(1)、OM2b
(1)に、後のステージにおける、次の隣接領域または
ブロックの処理のため、格納される。画像LH2、HL
2、HH2において生成された情報はツリーメモリTM
LH(2)、TMHL(2)、TMHH(2)に格納される。
【0073】A0の最初の領域のため、すべてのレベル
を処理した後、次の領域(第2)を同様に処理する事が
出来る。この処理はオーバラップメモリOM1(0)、
OM2 a(0)、OM2b(0)、OM1(1)、OM
2a(1)、OM2b(1)に前に格納された情報を使用す
る。すべてのオーバラップメモリは同時に活動的であ
り、1つのオーバラップメモリからの情報は、他のオー
バラップメモリに格納されている情報に置き換わること
は許されない。この状況はIPMメモリでは異なる。実
際、メモリIPM1a(1)がある価値のある情報を読み
始めるか格納し始めると、IPM2a(0)とIPM
2b(0)に存在する情報は無意味となる。従って、IP
1a(1)は物理的に、IPM2a(0)+IPM
2b(0)の単に1部である。同様に、IPM2a(1)と
IPM2b(1)は物理的に、IPM1a(1)の1部であ
る。1般に、IPM2a(0)+IPM2b(0)のサイズ
を持つ1つのIPMメモリを、開始時に割り当て、この
メモリを異なったレベルを通じて、再使用することで十
分である。
【0074】1次元画像用のツリーメモリは基本的に
は、LH1、HL1、HH1、LH2、HL2、HH2
画像の列に沿って、整頓されたFIFOメモリである。
それらのサイズは、レベルを通じて、念入りに選ばれ、
そのため、1度ウェーブレット変換の最高レベルにおけ
るピクセルが生成されると、これらのFIFOメモリか
ら来るデータはHL、LH、HH画像における丁度1つ
のツリーに対応する。2つまたはそれ以上の次元に対し
ては、これらのメモリは、例えばRAMにおける、メモ
リアレーであることが望ましく、それによって、アレー
に格納されたデータのアクセスは、式(1)に関連する
遅延と部分標本抽出過程により制御される。より正確に
は、各レベルiに対して、1つのツリーに対応するデー
タは、各次元において(2次元の場合には列と行におい
て)、このRAMから直前に抽出された[M・(2i
1>>レベル]個の標本でなければならない。従って、
対応する遅延は、同期化を維持するため、各レベルにお
いて異なる。従って、これらのメモリアレーは、図18
の「FIFOを有するツリーメモリ」に示されているよ
うに、列と行に関して共に効果的に捻られる。1次元の
場合に関しては、これらのメモリアレーのサイズとアク
セスは、ウェーブレット変換の最高レベルにおける最初
のピクセルが生成されると、これらのメモリアレーから
来るデータがHL、LH、HH画像における丁度1つの
ツリーに対応するように、選択される。
【0075】インターパスメモリ(IPM)は領域の最
大面積によって決定され、この面積は式(1)によっ
て、全く大きくなり得る。従って、よりいっそうのメモ
リ節約が、領域Aaをブロックに部分分割し、領域B
a,Abも部分分割する事により得られる。その結果、
図14における点線による分割が得られる(AI1、A
II1、AIII1、AI2、AII2、AIII2、AI3、A
II3、AIII3、BI1、BI2、BI3、BII1、BI
I2、BII3、bAI1、bAII1、bAIII1、bAI
2、bAII2、bAIII2、bBI1、bBI2、bBI
I1、bBII2)。本発明によれば、ブロックは長方形
である必要はなく、同じサイズである必要もない。多次
元データ構造のフィルタリングのためのMTAスケジュ
ールを、本発明に従って、「ブロックに基づく接近法」
と言うことにする。必要なメモリアクセス動作の数は表
7(e7)に与えられている。式(e7)と(a7)
は、画像の境界効果が無視されるならば(大きな画像サ
イズ:N→∞)、同様である。(a7)の画像サイズは
(e8)においてはブロックサイズに置き換わってい
る。
【0076】N次元のウェーブレット変換を行うための
1般の場合には、引き続くフィルタリング動作は、異な
った次元において、かつ異なったレベルを通じて、同期
化されて実行される。入力画像は重複しない隣接領域ま
たはブロックに分割される。各領域またはブロックは、
その異なった次元に沿って、この特定の領域またはブロ
ックのためのウェーブレット変換データを生成するた
め、繰り返しフィルタリングされる。各入力領域または
ブロックに対して、1つの領域またはブロックが、ウェ
ーブレット変換の各レベルについて生成される。種領域
(α領域)における1つの領域またはブロックが、対応
する次元におけるフィルタリング動作を開始する。どの
種領域またはブロックも1つの定常状態領域またはブロ
ック(βブロック)に引き継がれ、それが種領域または
ブロックの開始データを使用する。例えば、図16にお
けるブロックDを生成するため、基本的種領域フィルタ
リングが、A領域の各次元において、先ず行われなけれ
ばならない。続いて、補足的種領域BとCが各次元にお
いてフィルタリングされなければならない。
【0077】図16から、基本的種領域Aは画像の境界
に沿って位置しているかもしれないし、あるいは画像の
内部に位置する基本的種領域aであるかもしれない。画
像内部の基本的種領域aは、境界に隣接する基本的種領
域Aより大きく見える。なぜなら、後者は、フィルタリ
ング動作を行うための十分なデータを得るため、領域の
辺に沿って、いくつかのピクセル値(対称的拡張、ゼロ
詰め)を複写する1方、前者は、何らデータを複写する
必要がないからである(その必要があるかもしれなく、
そのときは同じサイズ)。a領域の境界に隣接して位置
し、いずれかの方向における開始に必要な、すべてのレ
ベルにおけるすべての値(オーバラップデータ)は、特
別のメモリ、例えばバックグラウンドメモリに格納する
ことが出来る。
【0078】本発明に関わるフィルタリング装置は、そ
れが符号器に用いられるか、復号器に用いられるかに関
わらず、制御手段、フィルタリングモジュール、出力メ
モリ、およびバックグラウンドメモリを含むことが出来
る。例えば、符号化のための出力メモリは、インタフェ
ースメモリ8であることが出来る。制御手段は、入力か
らフィルタリングモジュールとバックグラウンドメモリ
へのデータの流れを制御する。特に、制御手段は、デー
タがモジュールを通過する流れを制御するための、フィ
ルタリングモジュールにおけるスイッチの動作を制御す
ることが出来る。本発明に関わる制御手段は、マイクロ
プロセッサ、マイクロ制御器、パーソナルコンピュー
タ、ワークステーション、または同様の知能器であるこ
とが出来る。本発明に関わるフィルタリングモジュール
は、オーバラップメモリ、ツリーメモリ、インターパス
メモリのような専門化されたメモリを含むことが出来
る。1つの次元に沿った、演算のための、画像の境界及
び画像内部の基本的種領域(それぞれ図16のAと
a)、及び定常状態ブロック(Dまたはd)に関する、
処理ステップは図17におけるモジュール115のため
に、表8、9、10に説明されている。N個の次元への
拡張は、図18に示されている(ここでは2つの次
元)。すべてのデータは、オーバラップメモリ(各レベ
ルと各次元に対してそれぞれ1つ)とインターパスメモ
リ(IPM)に格納され、後者はすべてのレベルとすべ
ての次元において共通に使用される。
【0079】図17において、データはスイッチSa、
Sb、Sc、Sdの適当な構成によって、異なったデー
タフローパスA1、A2,B1、B2、Cを通過する。
各構成は、いくつかの1連のサイクルにおいて1時に画
像の1ピクセルを輸送する。サイクルの数は表8から表
17にかけて、「サイクル数」と表示されている。もし
あるメモリの入力ポートに接続されている、1つのスイ
ッチ(例えば図17におけるIPMのスイッチSd)が
閉じられる(状態1に置かれる)ならば、対応するメモ
リは、このスイッチを通じて、データを読み込み格納す
る。もしあるメモリの出力ポートに接続されている、1
つのスイッチ(例えば図17におけるIPMのスイッチ
Sa)が閉じられる(状態1に置かれる)ならば、対応
するメモリは、このスイッチを通じて、データの1部
を、このスイッチに接続されているモジュールに提供す
る。表8から10において、Rは1つのピクセルが対応
するメモリから読み込まれることを示し、Wは書き込み
動作、Xはその特定のタイムスタンプにおいて、対応す
るメモリが何の機能も持たないことを示す。異なったオ
ーバラップメモリが存在するので(各レベル当たり1
個:0からL1まで)、各括弧内の数字は、宛てられて
いる、対応するオーバラップメモリのレベル値を示す。
すべてのレベルに共通な、ただ1つのインターパスメモ
リ(IPM)があるだけなので、IPMにおいては、そ
のような数値は使用されない。また、入力チャンネルは
状態R(読み込み)またはX(無活動)のどちらかにあ
る。
【0080】図17において、2M+1タップフィルタ
リングは、2M+1個のレジスタFIFO116を持っ
た、図5cの構成によって基本的に行われる。レベルi
において、1つのローパス(L)値 と1つのハイパス
(H)値が、レベルi−1におけるそれぞれ2つのロー
パス値に対して、生成される。すべてのローパス及びハ
イパス値がIPMメモリに、逐次に書き込まれるので、
IPMにおけるローパス値間のギャップは、2iであ
る。オーバラップメモリ(OM)はしかし、ローパス値
のみ含み、従って、OMメモリ(OM)間のすべての読
み込み及び書き込み動作は逐次にスキップなしに実行さ
れる。
【0081】定常状態ブロックを処理するときは、図1
7のモジュール115は基本的に2つループを持つ。ル
ープA(=A1+A2)は情報を2つの隣接ブロック間
で転送する。フィルタリングステップが開始される前、
フィルタFIFOメモリ116は、パスA1に沿って、
スイッチSbを通した読み込みによって、直前のレベル
のデータで満たされる。1つのフィルタリング動作が1
ブロックについて実行された後、フィルタメモリ116
の値は、ずっと後のステージにおける隣接ブロックのオ
ーバラップ演算を準備するため、オーバラップメモリ
(OM)に、パスA2に沿って転送される。
【0082】ループB(=B1+B2)はパスB1を通
じて、引き続くレベルからのデータを読み込み、フィル
タリング計算を行い、結果をパスB2を通じてメモリ
(IPM)に書き戻すことによって行われる、実際のフ
ィルタリングに使用される。
【0083】基本的種領域を処理することは、パスA1
が種領域については存在しないことにおいて、定常状態
ブロックを処理することとは異なる。その理由は、基本
的種領域にとっては、最初のブロックは対応する横断次
元において準備されるということである。基本的種領域
処理は、追加的フィルタリング動作が、オーバラップメ
モリに最初の意味ある値を準備するため、行われなけれ
ばならないので、定常状態ブロック対してより大きな数
のサイクルを必要とする。このことは、表8と9のステ
ップ3と5におけるサイクル数の差に現れている。
【0084】表9のステップにおいて、基本的種領域処
理の間、オーバラップメモリ(OM)は書き込まれ、定
常状態ブロックの処理において用いられるためこれらメ
モリの内容が準備される。表8に示されているように、
定常状態ブロック処理は、オーバラップメモリに対して
読み込み(表8のステップ2と4)と書き込み(表8の
ステップ4)を行う。この読み込み動作は、左または最
上の隣接領域またはブロック(基本種領域、補足的種領
域、または定常状態ブロック)から情報を抽出するため
に使用され、1方書き込み動作は右または最下位の隣接
種領域または定常状態ブロックに情報を転送する準備を
する。
【0085】画像の境界と画像内の基本的種領域の処理
の違いは、フィルタリングのため必要なデータが読まれ
る方法に関連する。画像の境界における種領域の処理
は、α1モードと呼ばれ、画像内部の基本的種領域の処
理はα2モードと呼ばれ、定常状態ブロックの処理は、
βモード処理と呼ばれる。1つの2M+1タップフィル
タリングは、最初のフィルタリング動作を行うことが出
来るためには、2M+1個のデータ標本(ピクセル)を
必要とする。α2モードとβモードは共に、表8と9に
おけるステップ2(または4)において、2M個の標本
を読み込み、ステップ3(または5)において、1個の
追加的標本を読み込む。α1モードにおいては、これら
2M+1個の標本は、表10におけるステップ2a(ま
たは4a)の間に読まれる、M+1個のピクセルから、
ステップ2bと2c(4bと4c)の間に、直前のレベ
ルからの最初のM個のピクセルをコピーすることによっ
て、生成される。このように、α1モードは直前のレベ
ルからM+1個の標本しか読まないのに対し(表10に
おけるステップ2aまたは4a)、α2モードは直前の
レベルから2M+1個の標本を読まなければならない
(ステップ2+ステップ3の最初のサイクルまたはステ
ップ4+ステップ5の最初のサイクル)。
【0086】異なったレベル間の適切な同期化は、表8
と9のステップ3と5におけるサイクル数を注意深く適
用することによって得られる。種領域の異なったレベル
iにおける計算されるデータの標本数は、式(1)に表
現されているデータ依存関係を考慮し、最小数のデータ
標本が、ウェーブレット変換の最低レベルから最高レベ
ルに渡って、これらのデータの依存関係をさざ波的に伝
搬させるために、計算されることを保証する。図19は
種領域(処理遅延α1、α2、α3、α4を持ったα領域)
を計算し、次いで定常状態ブロック(βブロック)を計
算するための横断を、ウェーブレット変換の時間的表現
を用いて示す(ウェーブレット変換の4つのレベルにつ
いて)。図19は1次元表現であるが、各ブロックは次
のブロックに移動する前に、すべての次元に渡って横断
されるのだというように理解していただきたい。種領域
は、α1とα2モードにおけるステップ3と5(表8と
9)におけるサイクル数が、βモードにおけるより遥か
に多い結果、定常状態ブロックより遥かに大きいことに
注目していただきたい。対応するメモリ要件は、種領域
を巾D1のブロックに分割し、MTA横断走査Zに従っ
てレベルを横断することにより減少させることが出来
る。入力ブロックサイズD1は任意に選ぶことが出来る
が、定常状態ブロックのサイズに等しくすることが望ま
しい。いくつかの規則を以下に述べる。これらは、基本
的には図19の処理ステップを要約する表8と10から
発する。
【0087】1般規則:開始時にはi_old=0;任
意の時、次が成り立つ: ・レベルiにおける値はレベルi−1から生成される; ・他のレベルが処理される度毎にi_oldは直前に処
理されたレベルに設定する;
【0088】種領域の処理において(αモード) 規則r1: if(α1モード) { if(i=1)M+1個の標本を入力から読む; elseM+1個のローパス標本をIPMから読む/*1組の2i-1個の標本、 従ってローパス値のみ*/; 対称的拡張を行う; } else { if(i=1)2M+1個の標本を入力から読む; else2M+1個の標本をIPMから読む/*1組の2i-1個の標本のみ、従 ってローパス値のみ*/; } フィルタリング動作を行う;
【0089】規則r2 if(i>1)各標本をフィルタFIFOから取り出し
レベルi−2のオーバラップメモリに書き込む;
【0090】定常状態ブロックの処理において(βモー
ド): 規則r3:2M個の標本をレベルi−1のオーバラップ
メモリのため読む;
【0091】規則r4:if(i>1)各標本をフィル
タFIFOから取り出しレベルi−2のオーバラップメ
モリに書き込む;else if(i=1)各標本をフ
ィルタFIFOから取り出しレベルi_old−1のオ
ーバラップメモリに書き込む;
【0092】規則r5 if(i=1)1個のピクセルを入力から読む;els
e1個のピクセルをIPMから読む/*ローパス値のみ
選択するため、2i -1個の標本をスキップする*/;フィ
ルタリング動作を行う;
【0093】規則r6:フィルタの出力ピクセルをIP
Mに直前のIPMからの読み出し動作と同じ位置に書き
込む;
【0094】図19に関して、3種類の重要なピクセル
が定義される。 1.種ブロックの開始に対応し、従って、規則r1とr
2が適用される三角形。 2.定常状態ブロックの開始に対応し、従って、規則r
3とr4が適用される正方形。 3.三角形と正方形の間にある任意の標本点、規則r5
とr6が適用されなければならない。
【0095】図19の時間的表現におけるブロックを、
矢印すなわち横断走査Zによって示されているように、
横断することにより、上記3種類の標本点の内1種類を
横断する。各標本点に対して、対応する作用を行わなけ
ればならない。
【0096】すでに述べたように、各ブロックは、ウェ
ーブレット変換の次のより高いレベルにおける次のブロ
ックが横断される前に、あるいはより高いレベルがない
ときはゼロレベルの次の隣接ブロックが横断される前
に、すべての次元に沿って横断される。図18は2つの
次元におけるこの概念を描いているが、容易にN次元に
1般化する事が出来る。この図には、2つの1Dフィル
タリングモジュール120と130が現れている。後に
明らかとなるように、これら2つのモジュール120と
130は引き続いて起動させられるので、1つのハード
ウェアモジュール(図20を見よ)に合併される。デー
タフローにおける明確性のため、この合併は図18には
示されていない。この図の各モジュール120と130
は、入力チャンネルを左側に持ち、メモリポートを右側
に持って、図17の構成に対応する。レベルiの次元j
をフィルタリングするための各モジュール120、13
0はそれ自身のオーバラップメモリOMj(i)を持っ
ている。すべてのモジュール120、130は、同じイ
ンターパスメモリIPMを共有する。レベルiの特定の
あるブロックに対して、すべてのモジュール120、1
30はレベルiを増加させることなしに、時間と共に、
最高から最低まで横断される。最後のモジュールが横断
された後、iは1つ増加される。この手続きは、最高レ
ベルが到達される時までくりかえされる。その時、レベ
ルは1に設定され、次のブロックが同じ手続きに従って
処理される。与えられた次元における最初のブロックは
αモードにおいて処理され、同じ次元における次の隣接
ブロックはβモードにおいて処理される。各次元は図1
9の順序に同等な横断順序を有している(α領域を部分
分割しあるいはすること無しに)。
【0097】サイズD1×D2の特定のN次元ブロック
(N=2)は、行毎に読まれ、各行はモジュール120
によってフィルタリングされる。それらの結果は行毎に
IPMに書き込まれる。このブロックがd1次元におい
て完全に横断されれば、IPMメモリはd2次元に沿っ
て(列毎に)読まれ、モジュール130によって処理さ
れる。このフィルタリングされたデータは、IPMに書
き戻される。この最後の次元に対しては、非LL値が1
つのツリーメモリに格納される(非LL値の各種類に対
して1つ)。そこで、IPMのLL値をモジュール12
0に注入し、各次元d1とd2におけるピクセル数に対
応して、ブロックサイズD1×D2を選択することによ
って(直前のサイズと異なるかもしれない)、次のレベ
ルを処理することが出来る。この過程は各ブロックにお
ける各レベルに対して繰り返される。
【0098】図18において、2つのフィルタリングハ
ードウェアモジュール120と130が、各次元に対し
て1つずつ示されている。プロセッサの数は、レベルに
渡って繰り返されるループを展開する事によって増加さ
せることが出来る。これらの状況において、いくつかの
プロセッサが最初のレベルを計算し、他のプロセッサが
次のレベルを計算している等である。単1のプロセッサ
実施を得るためには、図18の2つのモジュール120
と130を合併しなければならない。これら2つのモジ
ュール120と130は異なったタイムスタンプにおい
て、起動されるため、このことは容易に達成される。こ
の結果は、図20の構成と成り、そこではスイッチS
A、SB、、、SFは表11に従って設定されなければ
ならない。
【0099】データ構造がn個の次元を有し、このデー
タ構造がm個の領域に部分分割され、このデータ構造の
要素がゼロレベルにある1般の場合には、本発明の1実
施例における好ましいスケジュールは次のようである。
第1の次元における第1領域のゼロレベルにおけるゼロ
層における第1ブロックのフィルタリング、第2の次元
における第1領域のゼロレベルにおけるゼロ層における
第1ブロックのフィルタリング等、第nの次元に至る第
1領域のゼロレベルにおけるゼロ層における第1ブロッ
クのフィルタリング;第1ブロックにおける各次元にお
ける、最後のレベルにおける最後の層に至る、各引き続
くレベルにおける各引き続く層におけるフィルタリン
グ;すべての次元に対する、第1領域の各レベルにおけ
る各層における、第1領域における最後のレベルにおけ
る最後のブロックに至る、各引き続くブロックのフィル
タリング;各引き続く領域における各ブロックにおける
各次元における各レベルにおける各層の、第m領域に対
する最後のレベルにおける最後の層における最後のブロ
ックに至る、フィルタリング;
【0100】上に述べたVTAにおける行−行接近法に
よるフィルタリングメモリの最小化はフィルタリングメ
モリアクセスを最適にするための最善の方法ではない。
特に親子ツリーも抽出しなければならないときにそれが
言える。最適の選択は、レベルiにおける(2L-i)・
L×(2L-i)・NL個のピクセルからなるブロックを
使う、本発明に関わるブロックに基づく接近法で得られ
る。表4によれば、1つのブロックにおける親ピクセル
の数NLは、1出力標本当たりの最適な2.67個の読
み込みアクセス動作(行−列接近法:表7の(a8))
に比べて、フィルタリングメモリアクセス動作の無視で
きる増加を保証するため、4レベル(L=4)、7/9
タップ(M=4)ウェーブレット分解において、少なく
とも4に等しく選ばれなければならない。これに反し
て、NL=1と選べば、4.67個のフィルタリングメ
モリアクセス動作が出力標本当たり実行されなければな
らない。この値は前者の最適値の殆ど2倍である。
【0101】行−行/VTA手法(表7の列(c))を
使用すれば、フィルタリングとツリーメモリ要件を、2
M個の標本(表7の列(a)と(b)におけるサイズN
2の完全なフレームメモリ)から、4レベル、7/9フ
ィルタタップ、1024×1024ピクセルウェーブレ
ット符復号器のための103k個の標本にまで減少させ
る。本発明に関わるブロックに基づく手法によれば、メ
モリサイズ(フィルタリングとツリーメモリのみ)は
0.6%だけ増加するが、メモリアクセス動作は2.4
(NL=1に対し)と4.2(NL=4に対し)の間の倍
率で減少する(表7における((c8)または(d8)
をe8)で割ったもの)。もしインタフェースメモリも
考慮に入れるならば、全メモリサイズ(その正確なサイ
ズは実施化に依存する。表7ではc−d、5−6の値が
取られている)は、行−行/VTAからブロックに基づ
く接近法に切り替えることによって実際上15%減少す
る。
【0102】NL=1に対しては、4レベルウェーブレ
ット分解は、入力画像を16×16ピクセルブロックに
部分分割し、DCT符復号器におけるマクロブロックサ
イズと完全に互換性を持たせることによって、完全に取
り扱い可能である。本発明に関わるブロックに基づく手
法の1つの利点は、このように、ウェーブレット符復号
化が、DCT符復号器におけるようにブロック化による
人工物を導入することなくマクロブロック毎に行えると
言うことである。実際、アルゴリズム的には、ウェーブ
レット変換は変更されていなくて、ただ計算が「位相的
に局所化されている」だけである。より良い性能(例え
ばNL=4)のためには、マクロブロックサイズをより
大きく選ぶ必要があるが(例えば4×4DCTマクロブ
ロック)、それでも完全な画像サイズよりは遥かに小さ
い。本発明に関わる新しいブロックに基づく接近法は、
水平的(HTA)および鉛直的横断起動(VTA)スケ
ジュールの両者の利点、すなわちHTAのメモリアクセ
スコストの低減とVTAのメモリサイズの減少を結合す
る。メモリアクセスコストは、親ピクセルの数NLを1
と8の間で適当に変化させることによって制御される。
実際上は、NL=8に対して、出力標本1個当たりのメ
モリアクセス動作数はその最適値2.67に近づく。
【0103】上において、本発明に関わる符号器用のフ
ィルタリング装置を詳しく説明した。本発明はまた、復
号器用のフィルタリング装置を含む。復号器は基本的
に、符号器の逆の機能を行うので、復号器は主として1
次元の場合に説明する。技術に明るい人はそれが複数の
次元に拡張されうることを見て取ることが出来よう。さ
らに、復号器は逆ウェーブレット変換に関して述べる
が、本発明はそれに限定されない。本発明に関わる復号
器は、元の画像データからの多レベル表現を生成する1
つのフィルタリング図式からの出力を使用することが出
来る。この多レベル表現は、元の画像の1領域のフィル
タリングから得られる、すべてのレベルにおける位相的
に関連するすべてのピクセルのクラスタからなる。その
ようなクラスタは親子ツリーであっても良い。
【0104】図22は、復号器のための本発明に関わる
フィルタリングにおいて用いることが出来る、1次元逆
ウェーブレット変換の1実施例の位相的表現を示す。こ
の実施例は、重複クラスタ処理を使う。すなわち、隣接
する1つのクラスタ(ツリー)からのデータは、現在の
クラスタに対応する画像領域の計算において格納され使
用される。3つのレベルが示されているが、この方法は
任意の数のレベルに適用することが出来る。また3つの
タップを持ったフィルタリングが示されているが、この
方法は、Nタップフィルタにも同様に適用することが出
来る(N=2M+1が望ましい)。この逆ウェーブレッ
ト変換は、最高レベル(レベル3)から始めて、入力レ
ベル(レベル0)までの作用によって、元の画像(レベ
ルゼロ)を再構築する。レベルiをフィルタリングする
ことによってレベルi−1を生成するとき、図23の変
換規則が適用される。図23(a1)に示されているよ
うに、レベルiにおけるローパス及びハイパス値が上方
標本抽出され、(すなわちゼロ値の導入)レベルi−1
のローパス値がフィルタリングによって生成される。例
えば、レベルi−1におけるローパス値O1を生成する
ためには、入力値、i1、i2、i3(i1,i3はレ
ベルiのローパス値、i2は注入されたゼロ値)をフィ
ルタリングし、入力値I1,I2、I3(I2はハイパ
ス値、I2,I3は注入されたゼロ値)をフィルタリン
グをした結果と結合する。レベルi−1の次のローパス
値に対しては(O2)ゼロ値と非ゼロ値の役割は逆にな
る。従って、レベルi−1の各ローパス値は図23(b
1)の変換規則R1またはR2によって生成される。明
らかに、ゼロ値の影響は除くことができ、図23(b
2)の変換規則R1’とR2’に成る。図23(a2)
に示されているように、これらの規則は、ローパス値と
ハイパス値が、図23(a2)のように、インターリー
ブされているという仮定の下で、レベルi−1を生成す
るためにレベルiに適用されることが出来る。これらの
規則を最高レベルから、最低レベルまで、繰り返して適
用し、図22の逆ウェーブレット変換を虚構的3タッ
プ、ハイパス/3タップローパス逆ウェーブレットフィ
ルタに対して生成する。本発明に関わる1つの逆ウェー
ブレット変換に入力される入力値は親子ツリー(ツリー
1、ツリー2、…)及びウェーブレット変換の最高レベ
ルのローパス値(L31、L32、…)である。親子ツリ
ーは分割不可能なクラスタにおいて符号器から復号器に
伝送されても良い。代わりに、ツリー及びクラスタの一
部が符号器から復号器に伝送されても良い。ローパス
値、L31、L32、…は伝送順序に依存して、任意の時
刻に伝送されることが出来る。例えば、進行的、伝送図
式では、すべてのローパス値L31、L32、…がどの親
子ツリーよりも先に伝送されることが出来る。代わり
に、ローパス値と選ばれハイパス値が復号器に伝送され
る、すなわち部分ツリーたちと部分クラスタが伝送され
ても良い。
【0105】与えられたタイムスタンプにおいて、ロー
パス値、L31、L32と最初の親子ツリー(ツリー1)
が復号器に送られたと想定しよう。復号器のレベル3は
したがって、標本aまでのすべての情報を含む。レベル
2のすべてのローパス値は、図23(b2)または図2
2(b)の規則R1’とR2’を用いて、標本bまで計
算することが出来る。ハイパス値は符号器から復号器に
伝送されるので、計算されない。明らかに、レベル2の
標本b’までのすべてのハイパス値が復号器によって利
用されることが出来る。レベル2上で規則R1’とR
2’を再び適用することによって、レベル1のローパス
値は標本cまで計算する事が出来る一方、レベル1のハ
イパス値は標本c”まで利用可能である。標本c’と
c”の間のローパス値eはレベル2において十分なデー
タが利用できないので、計算することが出来ない。従っ
て、親子ツリー1からは、レベル1のc’までのハイパ
ス値が次の反復において使用され、標本dまでの入力レ
ベル0が生成される。標本c”は後の使用に備えて、メ
モリ(ツリーメモリ)に格納される。ラインTF1によ
って区画された領域αの異なったレベルにおけるすべて
の標本は上記の処理ステップにおいて、計算されるか読
み込まれる。このTF1ラインは領域αを計算するため
のタイム前線と考えることが出来る。もし第2の親子ツ
リー(ツリー2)が、L33(これは対称的に複写され
た標本)と共に入力されるならば、タイム前線TF2ま
でのすべての標本が計算されるか読み込まれ、従って、
レベル0におけるNL・2L個の標本(NLは現在のブロ
ックを処理するために読み込まれる親子ツリーの数、こ
こでは1)を含む、βブロックの構築が可能となる。ウ
ェーブレット変換における処理(上記のフィルタリング
装置、符号器)と同様に、逆ウェーブレット変換におけ
る処理(フィルタリング装置、復号器)は、領域毎に
(またはブロック毎に)行われ、各領域において、処理
はレベル毎に(層毎に)行われる。違うところは、逆ウ
ェーブレット変換においては:1)各領域またはブロッ
クにおける処理は最高レベルから入力レベルまで下降し
て行われる。2)逆ウェーブレット変換における種領域
αは、この逆変換の画像の中央部に属する定常状態領域
のようなβブロックより典型的に小さい。事実、逆変換
の種領域αのサイズは、最初のツリーから発しラインT
F1より左側に横たわっているデータ依存性リンク、お
よび対応する計算されたローパス値によって決定され
る。従って、この実施例においては、領域αは1つのツ
リーより小さな広がりを持っている。多くのタップNを
有するフィルタに対しては、領域αは、領域αのレベル
0における少なくとも1つの標本を生成することができ
るためには、次の実施例に関して下に述べるように、い
くつかの引き続くツリーを入力しなければならない。
【0106】逆ウェーブレット変換の処理は、すべてが
逆の順序で行われることを除いて、本発明に関するMT
Aスケジュールを含む、上記ウェーブレット変換の処理
と同様である。本発明とともに使用するのに適している
上に述べたプロセッサのいずれも、逆変換の使用に採用
することが出来る。例えば、復号化のため、図20に示
されているプロセッサを使用するときは、復号器によっ
て受け取られた親子ツリーは、フィルタリングモジュー
ルで処理される前に、先ずツリーメモリ(本質的には、
異なったレベルに対して異なった長さを持ったFIFO
メモリ)に入力される。特定のタイムスタンプにおいて
これらのツリーメモリからやって来るすべてのデータ
が、現在のの領域の計算に関与するように、これらのツ
リーメモリは親子ツリーの異なった層の間に異なった遅
延を導入する。ツリーメモリはこうして、現在の処理に
関連する情報を抽出するために使用され、この処理は隣
接ツリーの異なったレベルにおける異なった部分を使用
することが出来る。
【0107】現在の領域の現在の処理に関与しない親子
ツリーのハイパス値は、後の使用のためのツリーメモリ
に保持される。図22において、領域αを処理するとき
に読み込まれるが、隣接領域βを処理するときにのみ使
われるハイパス値c”についてこの状況が起こる。
【0108】ある特定の領域では、データは最高レベル
からレベル1まで、図24の横断Yに沿って処理され
る。この処理は次のツリーについて続行され、隣接領域
βが生成される。この領域を処理するためには、直前の
領域からの重複する情報を取り戻さなければならない。
このことは図24に示されているように、この情報を先
にオーバラップメモリに格納することによって可能であ
る。この図では、直前の領域を処理する間に、例えば
b’とc’は1つのハイパスオーバラップメモリに格納
され、一方a,b,cは1つのローパスオーバラップメ
モリに格納される。インターパスメモリ(IPM)は、
1つの領域において処理を行っている間に、情報を1つ
のレベルから次に低いレベルに手渡すために用いられ
る。重複する情報は、本発明によって、ブロックの辺効
果を避ける(除く)ために、使用される。従って、本発
明に関わる復号化過程は、符号器における重複領域また
は重複ブロック処理と同じように、重複クラスタ処理ま
たは重複ツリー処理と呼ぶことが出来る。
【0109】ウェーブレット変換の処理と同様に、イン
ターパスメモリは、図19に関して説明したように、領
域を隣接するブロック部分分割することによって減少さ
せることが出来る。1次元の逆ウェーブレット変換は、
前にウェーブレット変換について議論した方法と同様
に、拡張することが出来る。すなわち、各領域またはブ
ロックは、次に低いレベルにおける処理を開始する前
に、あるいはレベル0が到達された場合には隣接領域に
おける処理を開始する前に、1つのレベルにおけるすべ
ての次元において、1つずつ横断される。
【0110】図25は、本発明にさらに関わる1実施例
における、虚構的1次元5タップローパス/5タップハ
イパスウェーブレットフィルタを持った、逆ウェーブレ
ット変換の計算に含まれているデータ依存性ラインを示
す。この描写はしかし、任意の2M+1タップウェーブ
レットフィルタにも当てはまる。1つのレベルからのす
べてのローパス標本は、一連のフィルタリング動作によ
って計算され、そこでは、次に高いレベルからのローパ
ス値とハイパス値が関与する(5タップフィルタに対し
ては、5個の標本がこの計算に関与する)。最高レベル
からレベル0に下降してこの過程を繰り返すことによっ
て、逆ウェーブレット変換によって回復されるデータに
対応するすべてのローパス値が再生成される。
【0111】ウェーブレット変換におけるように、画像
の境界の一辺において利用できない(存在しない)標本
は、図25Aに示されているように、対称的に複写する
事が出来る。例えば、標本を計算するため、より高い
レベル(レベル3)から標本g’、b’、a、b、gが
読み込まれる。g’とb’は物理的には存在しないので
(これらは画像の境界の左側に渡る)、標本bとcから
単純複写によって再構築される(矢印を見よ)。
【0112】メモリ要件を減らすため、復号器に用いら
れる逆ウェーブレット変換はブロック毎に計算されるの
が好ましい。追加される各DC値(図25Bにおける
a)とツリー標本(図25Bにおけるb、c、d、e、
f、1、2)に対して、1つの新しい出力ブロックが、
フィルタリングメモリFM、オーバラップメモリOM、
そしてインターパスメモリIPMを使用するフィルタリ
ング動作によって生成される。すべてのツリー標本が現
在の出力ブロックの再構築に貢献するのではないので、
それらの一部は1つのツリーメモリに格納され、後の出
力ブロックが生成されるときに取り戻される。本発明に
関わる好ましい1実施例においては、現在の出力ブロッ
クの計算に実際に関与するツリー標本だけが復号器に伝
送される。なぜなら、ツリーメモリをこの手続きによっ
て減少させることができるからである。しかし、データ
がゼロツリー構造に沿って符号化される応用において
は、このツリーに沿ったすべての標本は、しばしば、復
号器において、ツリーメモリの導入を必要とする1つの
クラスタとして利用出来るようにされる。
【0113】前進ウェーブレット変換におけると同様、
再構築された画像(信号)の境界におけるブロック(左
側の初期αブロックと右側の最終/αブロック)は、β
ブロックあるいは定常状態ブロックと呼ばれる画像の内
部におけるブロックと同じサイズではない。明確さのた
め、βブロックに対する処理は、すべてのメモリがαブ
ロックを用いてある初期状態に設定されると言う仮定の
下で説明する。実際、図25BにおけるαブロックO1
を生成するためには、タイム前線M1、M2、M3の左
側とその上にあるすべての標本が生成され使用される
(図25Bを見よ)。すなわち図25Bにおいて、ツリ
ー1からは標本a、b、c、d、e、fのみが使用さ
れ、ツリー2からは標本g、hのみ使用される。ツリー
1からの標本1、2およびツリー2からの標本3、4、
5、6、11、12はツリーメモリTMに格納され、図
26Aの構成がもたらされる。符号化の場合と同じく、
引き続くデータを正しくフィルタリングするために必要
なすべてのデータを生成するため、十分な最初のデータ
が最初に再構築される領域に対して処理される。このこ
とを達成するため、後の定常状態ブロックに対してよ
り、多くの量の初期データを処理する必要があり得る。
例えば、上の図式では、初期ブロックO1を計算するた
め、2つのツリーを読み込まなければならない。
【0114】図25Bにおける出力ブロックO2を計算
するためには、第3のツリー(ツリー3)を読まなけれ
ばならない。出力ブロックO2を生成するためには、図
25cの計算路Pに沿って、すなわち最高レベルから0
レベル(これが再構築されるブロックO2に対応する)
に下降して、前に格納されたデータと共にツリー3のデ
ータを使用する。図25cのDC値(7)とハイパス
値、1、2、3、4、5、6、8がこの過程に関与す
る。これらのハイパス値のすべてが現在のツリー(ツリ
ー3)において利用可能ということではないので(図2
5Bを見よ)、一部のデータはツリーメモリTM(図2
6Aを見よ)から取り込まれる。これらのツリーメモリ
は基本的にはFIFOであり、それらにおいて、現在の
ツリーの値はプッシュされる(図26Aを見よ)。FI
FOからポップアップされた値は、このツリーに再注入
され(図26を見よ)、図26Bの構成がもたらされ
る。図26Bのいわゆる時間的ツリー(標本1、2、
3、4、5、6、7、8)は、インターパスメモリIP
Mに転送される。すべてのフィルタリング演算はこのI
PMメモリにおいて実行される。図27に示されている
ように、完全なフィルタリング過程は異なった反復から
なる。先ず、各レベルにおいて、このレベルにたいする
直前のブロックのフィルタリング動作に関与する最後の
2M個の標本を読み込むことによって、フィルタリング
メモリFMを準備する。このように、出力ブロックO1
を生成した後には、レベル3の標本a、b、g、h、レ
ベル2の標本、c、、dとレベル1の、e、
fがそれぞれ自分のOMメモリに格納される(図26c
を見よ)。出力ブロックO2を生成するための、フィル
タリング動作の間、これらの標本は、図26cのスケジ
ュールに従って、オーバラップメモリ(OM)から読み
込まれ、フィルタリングメモリFMに転送される。
【0115】図27は、図26c行2の記号表現の背後
にある過程をより詳しく説明する。IPMメモリの標本
、1、5、2、、3、6、4は、図5cに示されて
いるのと同様のプロセッサ100を用いた、一連の繰り
返し(it1からit12まで、図27を見よ)によっ
て、フィルタリング過程を通過する。繰り返し1から4
(it1からit4)の間、フィルタリングメモリFM
は、オーバラップメモリOMに前に格納されたデータ
、c、、d)で満たされる。次いで、繰り返し5
から8までについて(it5からit8まで)、1つの
標本がIPMメモリから読み込まれ(すなわちダイアモ
ンド形の記号で表示されている標本、5、、6)、
1つの出力標本が生成され()、同じI
PMメモリにおける対応する位置に格納される。最後
に、繰り返し、9から12の間(it9からit1
2)、フィルタリングメモリFMの内容が現在のレベル
のオーバラップメモリに掃き出される。図26cに示さ
れているように、この過程はレベルの数と同じ回数繰り
返される。処理する標本の数は、図26cのダイアモン
ド形の記号で表示されているように、倍率2で増加す
る。上の処理はすべてのブロックに対し、ツリー毎に繰
り返され、完全な逆ウェーブレット変換がもたらされ
る。
【0116】1次元の逆ウェーブレット変換過程と同様
に、2次元逆ウェーブレット変換への拡張は2次元フィ
ルタリング演算を最高レベルから、最低レベルに適用す
ることによって計算される。メモリ要件を減少させるた
め、再構築はブロック毎に行われるのが好ましい。再構
築された画像の境界においては、再構築されたブロック
は、再構築された画像の内部におけるブロックと同じサ
イズを持たない。境界画像ブロックは、図28Gに於い
て、(α,α)、(αβ)、、、(/α、/α)のように
書かれている。
【0117】以下に、画像を再構築するための、画像の
多レベル表現の復号化について述べる。本発明は次に述
べる特別のメモリに制限されない。これらは手続きを説
明するために提供されているだけである。2つまたはそ
れ以上の次元に対しては、これらのメモリは、メモリア
レー例えばRAMであることが望ましい。熟練した人
は、ここに述べられているメモリは、いくつかの異なっ
た方法で実施することが出来、そのいずれも本発明の実
施例であると判断することが出来よう。2つの次元で
は、データは、各ブロックに対して、現在のツリーから
必要であるばかりでなく、列及び行方向の隣接ブロック
の2つのツリーからも必要である。それぞれのツリーの
3つ組み(それぞれロー−ハイ、ハイ−ロー、ハイ−ハ
イ値を含む)とDC値は、1次元のフィルタリング演算
を、時間的ツリー(図28Aを見よ)の1つの3つ組み
に水平的及び鉛直的に適用することによって、丁度1つ
の追加的定常状態(β,β)画像ブロックを再構築す
る。これら時間的ツリーは、位相的ツリー(図28cを
見よ)の1つの3つ組みから、図26Aの過程を、水平
的に(図28Aを見よ)および鉛直的に(図28Bを見
よ)、水平的かつ鉛直的ツリーメモリTMに適用するこ
とによって構築される。時間的ツリーは、位相的ツリー
に関して、両方向に捻られている。
【0118】図28におけるツリーの3つ組みの標本
は、図13aのように、1つのブロックに配列し直さ
れ、図28DにおけるインターパスメモリIPMのデー
タが生成される。このデータは、各方向において、図2
6Cと図27におけると同様の1次元フィルタリング過
程によって、すべての方向におけるオーバラップメモ
リ、すなわち水平フィルタリングに対してはOM水平
(図28E)鉛直フィルタリングに対してはOM鉛直
(図28F)を使って処理される。この処理は最終画像
における丁度1つの正しい、逆ウェーブレット変換され
たデータブロック(図28Gを見よ)を生成する。この
過程は、やって来るすべてのツリーについて繰り返さ
れ、再構築される画像、すなわち逆ウェーブレット変換
される画像のすべてのブロックが生成される。
【0119】本発明の応用を次に説明する。画像データ
の圧縮と解圧は説明しない。図29はブロックに部分分
割された領域内のテクスチャ写像250を示す。テクス
チャ写像250は、例えばゲーム内の、3次元オブジェ
クトのテクスチャを表示するためのデータを含んでい
る。オブジェクトが3次元なので、テクスチャ写像25
0はオブジェクトの完全な表面に関するすべての情報を
含んでいる。オブジェクトの最初の表示においては、オ
ブジェクトのすべての表面が見えると言うことはない。
従って、復号器は符号器に対して、テクスチャ写像の関
連する部分だけを請求する。このテクスチャ画像は隅A
7B5、A11B5、A7B9、A11B9によって定
義された長方形の領域に含まれると仮定する。完全な画
像を符号化し伝送する代わりに、本発明に関わる符号器
は、先ずこの長方形の領域を処理する。例えば、処理は
ブロックA7B5、A8B5、A7B6、A8B6から
なる基本的種領域から始めることが出来る(α2モー
ド)。すべての次元とすべてのレベルに渡ってこの基本
的種領域を処理し、その結果のツリー要素とローパス値
を格納及び(または)伝送した後、最初の補足的種領
域、例えばA9B5+A9B6(代わりにA7B7+A
8B7でもよい)の処理を始める。すべての次元とすべ
てのレベルに渡ってこの補足的種領域を処理し、その結
果のもう1つのツリーの要素を格納及び(または)伝送
した後、第2の補足的種領域(A7B7+A8B7でも
よい)をすべての次元とすべてのレベルに渡って横断
し、その結果のツリー要素を格納及び(または)伝送す
る。次に、必要な補足的領域を生成しながら定常状態ブ
ロックを処理する。例えばA10B5+A10B6がA
10B7によって引き継がれ、A11B5+A10B6
がA11B7によって引き継がれ、A7B8+A8B8
がA9B8、A10B8、A11B8によって引き継が
れ、A7B9+A8B9がA9B9、A10B9、A1
1B9によって引き継がれる。上に説明したように、再
構築される1つ先のブロックを生成するため、ただ1つ
のツリーを使用するが、本発明はそれに限られない。有
色画像は、それを個々の色要素に分離し、それぞれの色
要素を別々に処理することが出来る。符号器が最後の領
域の終わりにおいて処理を停止すれば、すでに受け取ら
れ、今までに再構築された領域に隣接する、再構築され
ていない領域に属するすべてのデータは格納され、これ
らの領域についての処理はいつでも続けることが出来
る。
【0120】テクスチャの新しい部分を伝送しなければ
ならないように表示器におけるオブジェクトが移動され
たと仮定しょう。もし新しい領域がすでに伝送された領
域のすぐ右にあるならば、処理は補足的種領域A12B
5+A12B6から始めることによって継続することが
出来る。代わりに、この新しい領域がすでに伝送された
領域の直ぐ下にあれば処理は補足的種領域A7B10+
A8B10から始めることによって継続することが出来
る。もしこの新しい領域がすでに伝送された領域の直ぐ
左または直ぐ上にあれば、左側または右側の境界におけ
る、すべてのレベルにおける境界値をメモリから呼び戻
さなければならない(もしそれらが上記基本的種領域と
補足的種領域の処理中に格納されているならば)。代わ
りに、新しい基本的種領域を生成しなければならない。
【0121】この新しい領域がすでに伝送された領域か
ら遠くにあれば、新しい基本的種領域を生成する必要が
あるかもしれない。しかし、オブジェクトが移動すると
きは、本発明に関わる方法とフィルタリング装置は、ブ
ロック効果なしに、また現在表示されているオブジェク
トに無関係な大量のデータを処理および(または)伝送
することなく、高品質画像を提供する選択されたデータ
を電送することが出来る。
【0122】上の説明から、本発明が画像の一部または
完全な画像を符号化し圧縮する、柔軟な方法と能率的な
メモリアクセスの方法を提供するということが明確であ
るべきである。さらに、本発明によれば、画像の任意の
小さな領域を、利用できる高解像度で伝送することが出
来る−適当な基本的種領域と補足的種領域を生成し処理
し、必要な数の定常状態ブロックを処理しさえすれば良
い。さらに、本発明によれば、低解像度の画像のみ伝送
し、高解像度の表示器用の小さなゾーンが選択されるの
を待つことが出来る。小さなゾーンの高解像度の要求を
受け取り次第、符号器はこの小さな領域を再構築し表示
するために必要なツリー要素を送る。
【0123】以上特定の実施例を特定の応用に関して説
明したが、これら例示的な実施例の修正と変更は本発明
の範囲にある。特に、上記の符号器と復号器はデータの
圧縮に関する詳しい言及無しに説明した。本発明は、本
発明に関わる符号化と復号化の少なくとも何れかが遂行
されるような、データを符号化し、圧縮し、受信者に伝
送し、受信者は解圧し、復号化する事を含む。同様に、
本発明は、符号器および(あるいは)復号器が本発明に
関わるような、符号器と圧縮回路の合併および、復号器
と解圧回路の合併を含む。さらに、本発明について、完
全ツリーの生成、伝送、復号化に関して、主として説明
したが、本発明は、不完全ツリーすなわちデータクラス
タ、例えば、多レベルフィルタリングの反復ステップか
ら特定のローパス値とハイパス値を選択したものの生
成、伝送、復号化を含む。
【0124】上記の実施例および(または)特定の構成
は、本発明の範囲に関する制限を意図したものではな
く、本発明は、添付された特許請求の範囲によってのみ
制限される。
【表1】
【表2】
【表3】
【表4】
【表5】
【表6】
【表7】
【表8】
【表9】
【表10】
【表11】
【図面の簡単な説明】
【図1】 (a)はラプラスピラミッドに基づくスケー
リング可能なDCT符復号器の図式的現であり、(b)
は(a)の符復号器におけるフィルタリングステージの
図式的表現である。
【図2】 (a)はスケーリング可能なウェーブレット
符復号器の図式的表現であり、(b)は(a)の符復号
器におけるフィルタリングステージの図式的表現であ
る。
【図3】 虚構的3タップウェーブレット変換のため
の、1D持ち上げ図式の適所データ組織の位相的表現で
ある。特に、(a)はデータ依存性リンクと親子ツリー
を有する多レベルウェーブレット変換の表現図であり、
(b)は変換規則の要約である。
【図4】 鉛直方向のタイム前線を有する図3(a)の
ウェーブレット変換の時間的表現図である。
【図5】 (a)は本発明と共に使用することが出来る
プロセッサ構成の図式的表現であり、(b)は本発明と
共に使用することが出来るプロセッサ構成の図式的表現
であり、(c)は本発明と共に使用することが出来るプ
ロセッサ構成の図式的表現である。
【図6】 レベルが1つずつ続いて生成される水平的横
断起動(HTA)スケジュールを用いた、ウェーブレッ
ト変換の時間的表現図である。
【図7】 HTAスケジュールにおいて、レベルiとレ
ベルi+1の間で必要なバックグラウンドフィルタリン
グメモリの時間的表現図である。
【図8】 親子ツリーの噴出的形成と、それらがどのよ
うにインターフェースメモリにより時間的に広げられ、
次のモジュールの均等的な起動が保証されるかを示す。
【図9】 鉛直的横断起動(VTA)スケジュール(M
RPA)を用いたウェーブレット変換の時間的表現図で
ある。
【図10】 VTA処理中のツリーメモリの進化を表現
する。
【図11】 本発明の1実施例に関わる混合横断起動
(MTA)の図式的表現である。
【図12】 (a1)、(b1)および(c1)は1次
元HTA、VTAおよびMTAスケジュールの位相的表
現をそれぞれ示し、(a2)、(b2)および(c2)
は1次元HTA、VTAおよびMTAスケジュールの時
間的表現をそれぞれ示す。
【図13(a)】 図3の2D持ち上げ図式の適所デー
タ組織の位相的及び時間的表現図である。
【図13(b)】 図3の2D持ち上げ図式の適所デー
タ組織の位相的及び時間的表現図である。
【図14】 本発明の別の実施例に関わる、1次元MT
Aスケジュールからブロックに基づく2次元のブロック
に基づくスケジュールへの拡張を時間的に表現する。
【図15】 2Dの行毎の接近法における、親子ツリー
の噴出的生成の図式的表現である。
【図16】 本発明の1実施例に関わる、画像の基本的
種領域、補足的種領域、定常状態領域への部分分割を図
式的に表現する。
【図17】 本発明の1実施例に関わる、1Dフィルタ
リングモジュールの図式的表現である。
【図18】 本発明の1実施例に関わる、2Dフィルタ
リング装置の図式的表現である。
【図19】 本発明の1実施例に関わる、ブロックを含
む種領域のための、1D横断スケジュールの図式的表現
である。
【図20】 本発明の別の1実施例に関わる、単一プロ
セッサに基づくフィルタリングモジュールの図式的表現
である。
【図21】 本発明の1実施例に関わる、オーバラッ
プ、ツリー、インターフェースメモリの発展の図式的表
現である。
【図22】 本発明の1実施例に関わる、虚構的3タッ
プウェーブレット変換のための、1D逆ウエーブレット
変換の適所データ組織の位相的表現である。特に、
(a)はデータ依存性リンクと親子ツリーを有する多レ
ベルウェーブレット逆変換の表現図であり、(b)は変
換規則の要約である。
【図23】 図22(b)の変換規則の詳細な図式的表
現である。
【図24】 図22の(a)の位相的表現図であり、本
発明の1実施例に関わる逆MTA横断図式を示す。
【図25】 A,BおよびCは1次元信号(画像)に対
する、本発明の1実施例に関わる、復号化図式の図式的
表現である。
【図26】 A,BおよびCは図25の復号化図式の詳
細な図式的表現である。
【図27】 図26Cの反復を遂行する際の、データフ
ローの図式的表現である。
【図28】 A,B,C,D,E,FおよびGは2次元
画像に対する、本発明の1実施例に関わる、復号化図式
の図式的表現であり、位相的ツリーから時間的ツリーを
どのように形成するかを示す。
【図29】 本発明とともに用いられる、テクスチャ写
像の正規の部分分割を示す。
フロントページの続き (72)発明者 ゴウティール・ラフライト ベルギー1200シント−ラムブレフツ−ウォ ルウェ、ブス84、ハーフベーケンラーン16 番 (72)発明者 ローデ・ナフテルヘーレ ベルギー3000ルーヴァン、イールセ・プレ ディクヘーレンストラート17番

Claims (40)

    【特許請求の範囲】
  1. 【請求項1】 データ構造の多レベル反復ディジタルフ
    ィルタリングの方法であって、それによって、データ構
    造の要素がゼロレベルのゼロ層を構成し、引き続くそれ
    ぞれのレベルが1つの反復の結果によって与えられ、 各レベルを複数の領域に部分分割するステップであっ
    て、1つの領域の、1つのレベルにおける1つのデータ
    層のデータと他の任意のレベルのデータ層のデータの間
    に依存性があるようなステップ、 各レベルを、重複領域処理によってフィルタリングする
    ステップ、および各レベルにおけるこのフィルタリング
    ステップの領域同期化を実質的に与えるために、各レベ
    ルのデータ処理のスケジュールを立てるステップからな
    る方法。
  2. 【請求項2】 前記フィルタリングステップからの出力
    が、多解像度のデータ構造である、請求項1記載の方
    法。
  3. 【請求項3】 前記フィルタリングステップは、第2番
    目の領域の何れかのデータ層を出力する前に、第1番目
    の領域のゼロレベルにおけるゼロ層上のフィルタリング
    ステップから、この第1番目の領域の、第1レベルにお
    ける第1データ層及び本質的に他のレベルにおける他の
    すべてのデータ層を計算し出力することを含む請求項1
    記載の方法。
  4. 【請求項4】 各領域が1つまたはそれ以上のブロック
    を含む、請求項1記載の方法。
  5. 【請求項5】 2つの引き続くレベルにおける2つのデ
    ータ層の間の、ブロックに依存して拡大するデータ依存
    関係をさらに含む、請求項4記載の方法。
  6. 【請求項6】 ブロックを処理することから得られるア
    ウトプットが本質的に等しい時間間隔で発生するように
    スケジュールを立てる、請求項5記載の方法。
  7. 【請求項7】 前記フィルタリングステップが、1つの
    レベルにおける1つの層のデータを、次のレベルのこの
    データ層を横断する前に、横断することを含む請求項1
    記載の方法。
  8. 【請求項8】 前記データ構造が複数の次元を有し、前
    記フィルタリングステップが、1つの次元における1つ
    の層のデータを、次の次元におけるこのデータ層を横断
    する前に、横断することを含む請求項1記載の方法。
  9. 【請求項9】 データ構造の多レベル反復ディジタルフ
    ィルタリングの方法であって、それによって、データ構
    造の要素がゼロレベルのゼロ層を構成し、引き続くそれ
    ぞれのレベルが1つの反復の結果によって与えられ、前
    記反復が、 各レベルを複数の領域に部分分割するステップであっ
    て、1つの領域の、1つのレベルにおける1つのデータ
    層のデータと他の任意のレベルのデータ層のデータの間
    に依存性があるようなステップ、 各レベルを、重複領域処理によってフィルタリングする
    ステップ、および領域を処理することから得られるアウ
    トプットが本質的に等しい時間間隔で発生するようにス
    ケジュールを立てるように、領域を横断するための順序
    を選択するステップからなる方法。
  10. 【請求項10】 前記フィルタリングステップからの出
    力が、多解像度のデータ構造である、請求項9記載の方
    法。
  11. 【請求項11】 前記フィルタリングステップは、第2
    番目の領域の何れかのデータ層を出力する前に、第1番
    目の領域のゼロレベルにおけるゼロ層上のフィルタリン
    グステップから、この第1番目の領域の、第1レベルに
    おける第1データ層及び本質的に他のレベルにおける他
    のすべてのデータ層を計算し出力することを含む請求項
    9記載の方法。
  12. 【請求項12】 各領域が1つまたはそれ以上のブロッ
    クを含む、請求項9記載の方法。
  13. 【請求項13】 2つの引き続くレベルにおける2つの
    データ層の間の、ブロックに依存して拡大するデータ依
    存関係をさらに含む、請求項12記載の方法。
  14. 【請求項14】 ブロックを処理することから得られる
    アウトプットが本質的に等しい時間間隔で発生するよう
    にスケジュールを立てる、請求項5記載の方法。
  15. 【請求項15】 前記フィルタリングステップが、1つ
    のレベルにおける1つの層のデータを、次のレベルのこ
    のデータ層を横断する前に、横断することを含む請求項
    9記載の方法。
  16. 【請求項16】 前記データ構造が複数の次元を有し、
    前記フィルタリングステップが、1つの次元における1
    つの層のデータを、次の次元におけるこのデータ層を横
    断する前に、横断することを含む請求項9記載の方法。
  17. 【請求項17】 データ構造の多レベル反復ディジタル
    フィルタリングの方法であって、それによって、データ
    構造の要素がゼロレベルのゼロ層を構成し、引き続くそ
    れぞれのレベルが1つの反復の結果によって与えられ、
    前記反復が、 各レベルを複数の領域に部分分割するステップであっ
    て、1つの領域の、1つのレベルにおける1つのデータ
    層のデータと他の任意のレベルのデータ層のデータの間
    に依存性があるようなステップ、 各レベルを、重複領域処理によってフィルタリングする
    ステップ、 1領域の終わりにおいてこの処理を停止するステップ、
    および隣接する未処理の領域に含まれているデータ依存
    関係に関するデータを格納するステップからなることを
    特徴とする方法。
  18. 【請求項18】 前記フィルタリングステップからの出
    力が、多解像度のデータ構造である、請求項17記載の
    方法。
  19. 【請求項19】 前記フィルタリングステップは、第2
    番目の領域の何れかのデータ層を出力する前に、第1番
    目の領域のゼロレベルにおけるゼロ層上のフィルタリン
    グステップから、この第1番目の領域の、第1レベルに
    おける第1データ層及び本質的に他のレベルにおける他
    のすべてのデータ層を計算し出力する、請求項17記載
    の方法。
  20. 【請求項20】 各領域が1つまたはそれ以上のブロッ
    クを含む、請求項17記載の方法。
  21. 【請求項21】 2つの引き続くレベルにおける2つの
    データ層の間の、ブロックに依存して拡大するデータ依
    存関係をさらに含む、請求項20記載の方法。
  22. 【請求項22】 ブロックを処理することから得られる
    アウトプットが本質的に等しい時間間隔で発生するよう
    にスケジュールを立てる、請求項21記載の方法。
  23. 【請求項23】 前記フィルタリングステップが、1つ
    のレベルにおける1つの層のデータを、次のレベルのこ
    のデータ層を横断する前に、横断することを含む請求項
    17載の方法。
  24. 【請求項24】 前記データ構造が複数の次元を有し、
    前記フィルタリングステップが、1つの次元における1
    つの層のデータを、次の次元におけるこのデータ層を横
    断する前に、横断することを含む請求項17記載の方
    法。
  25. 【請求項25】 データ構造を再構築するためにデータ
    構造の多レベル表現を多レベル反復ディジタルフィルタ
    リングするための方法であって、この多レベル表現はデ
    ータクラスタを含み、前記方法が前記多レベル表現を受
    け取るステップ、 重複クラスタ処理によって前記多レベル表現をフィルタ
    リングするステップ、および前記データ構造の1領域を
    再構築するために必要なデータのみが実質的に、このデ
    ータ構造の次の領域を再構築するためにフィルタリング
    を開始する前に処理されるように、フィルタリング過程
    のスケジュールを立てるステップからなる方法。
  26. 【請求項26】 前記フィルタリングステップが、1つ
    のレベルにおける1つの層のデータを、次のレベルのこ
    のデータ層を横断する前に、横断することを含む請求項
    25記載の方法。
  27. 【請求項27】 前記データ構造が複数の次元を有し、
    前記フィルタリングステップが、1つの次元における1
    つの層のデータを、次の次元におけるこのデータ層を横
    断する前に、横断することを含む請求項25記載の方
    法。
  28. 【請求項28】 再構築された1領域の終わりにおいて
    前記処理を停止するステップ、および隣接する未処理の
    領域を処理するために必要なデータ依存関係に関するデ
    ータを格納するステップをさらに含む請求項25記載の
    方法。
  29. 【請求項29】 データ構造の多レベル反復ディジタル
    フィルタリングのためのフィルタリング装置であって、
    それによって、データ構造の要素がゼロレベルを構成
    し、引き続くそれぞれのレベルが1つの反復の結果によ
    って定義され、前記装置が各レベルを複数の領域に部分
    分割する制御手段であって、1つのレベルにおける1つ
    のデータ層と1つの領域の他のどのレベルのデータ層と
    の間にも依存性があるような制御手段、および各レベル
    を、重複領域処理によってフィルタリングするフィルタ
    リングモジュールであって、各レベルにおけるフィルタ
    リングの、本質的な、領域の同期化を提供するために、
    各レベルのデータ処理のスケジュールを立てるように適
    応させられるフィルタリングモジュールから構成される
    装置。
  30. 【請求項30】 前記フィルタリングモジュールが、1
    つのレベルにおける1つの層のデータを、次のレベルの
    このデータ層を横断する前に、横断するように適応させ
    られる、請求項29記載の装置。
  31. 【請求項31】 前記データ構造が複数の次元を有し、
    前記フィルタリングモジュールが、1つの次元における
    1つの層のデータを、次の次元におけるこのデータ層を
    横断する前に、横断するよう適応させられる、請求項2
    9記載の装置。
  32. 【請求項32】 データ構造の多レベル反復ディジタル
    フィルタリングのためのフィルタリング装置であって、
    それによって、データ構造の要素がゼロレベルのゼロ層
    を構成し、引き続くそれぞれのレベルが1つの反復の結
    果によって定義され、前記フィルタリング装置が各レベ
    ルのデータ領域を複数の領域に部分分割する制御手段で
    あって、1つの領域において、1つのレベルにおける1
    つのデータ層と他のどのレベルのデータ層との間にも依
    存性があるような制御手段、および各レベルを、重複領
    域処理によってフィルタリングするためのフィルタリン
    グモジュールであって、1領域の終わりにおいて前記処
    理を停止し、隣接する未処理の領域に含まれているデー
    タ依存関係に関するデータを格納するように適応させら
    れるフィルタリングモジュールから構成されるフィルタ
    リング装置。
  33. 【請求項33】 前記フィルタリングモジュールが、1
    つのレベルにおける1つの層のデータを、次のレベルの
    このデータ層を横断する前に、横断するように適応させ
    られる、請求項32記載の装置。
  34. 【請求項34】 前記データ構造が複数の次元を有し、
    前記フィルタリングモジュールが、1つの次元における
    1つの層のデータを、次の次元におけるこのデータ層を
    横断する前に、横断するよう適応させられる、請求項3
    2記載の装置。
  35. 【請求項35】 データ構造を再構築するためにデータ
    構造の多レベル表現を多レベル反復ディジタルフィルタ
    リングするためのフィルタリング装置であって、この多
    レベル表現はデータクラスタを含み、前記フィルタリン
    グ装置は重複クラスタ処理によって多レベル表現をフィ
    ルタリングするためのフィルタリングモジュール、およ
    び前記フィルタリングモジュールを通過するデータの流
    れを制御するための制御器であって、データ構造の1領
    域を再構築するために必要なデータのみが実質的に、こ
    のデータ構造の次の領域を再構築するためのフィルタリ
    ング過程を開始する前に処理されるように、データ処理
    のスケジュールを立てるよう適応させられる制御器から
    構成されるフィルタリング装置。
  36. 【請求項36】 前記フィルタリングモジュールが、1
    つのレベルにおける1つの層のデータを、次のレベルの
    このデータ層を横断する前に、横断するように適応させ
    られる請求項35記載の装置。
  37. 【請求項37】 前記データ構造が複数の次元を有し、
    前記フィルタリングモジュールが、1つの次元における
    1つの層のデータを、次の次元におけるこのデータ層を
    横断する前に、横断するよう適応させられる、請求項3
    5記載の装置。
  38. 【請求項38】 データ構造を再構築するためにデータ
    構造の多レベル表現を多レベル反復ディジタルフィルタ
    リングするためのフィルタリング装置であって、この多
    レベル表現はデータクラスタを含み、前記フィルタリン
    グ装置は重複クラスタ処理によって多レベル表現をフィ
    ルタリングするためのフィルタリングモジュール、およ
    び前記フィルタリングモジュールを通過するデータの流
    れを制御するため制御器であって、1領域の終わりにお
    いて前記処理を停止し、隣接する未処理の領域に含まれ
    ているデータ依存関係に関するデータを格納するように
    適応させられる制御器から構成されるフィルタリング装
    置。
  39. 【請求項39】 前記フィルタリングモジュールが、1
    つのレベルにおける1つの層のデータを、次のレベルの
    このデータ層を横断する前に、横断するように適応させ
    られる、請求項38記載の装置。
  40. 【請求項40】 前記データ構造が複数の次元を有し、
    前記フィルタリングモジュールが、1つの次元における
    1つの層のデータを、次の次元におけるこのデータ層を
    横断する前に、横断するよう適応させられる、請求項3
    8記載の装置。
JP11025268A 1998-02-02 1999-02-02 多次元情報構造の多レベル反復フィルタリングのための方法及び装置 Ceased JP2000174630A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP98200258 1998-02-02
US60/088196 1998-06-05
US98200258-6 1998-06-05

Publications (2)

Publication Number Publication Date
JP2000174630A true JP2000174630A (ja) 2000-06-23
JP2000174630A5 JP2000174630A5 (ja) 2006-02-02

Family

ID=8233339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11025268A Ceased JP2000174630A (ja) 1998-02-02 1999-02-02 多次元情報構造の多レベル反復フィルタリングのための方法及び装置

Country Status (2)

Country Link
JP (1) JP2000174630A (ja)
DE (1) DE69908443T2 (ja)

Also Published As

Publication number Publication date
DE69908443D1 (de) 2003-07-10
DE69908443T2 (de) 2004-05-13

Similar Documents

Publication Publication Date Title
DE4322343C2 (de) Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors
US5838377A (en) Video compressed circuit using recursive wavelet filtering
Grzeszczak et al. VLSI implementation of discrete wavelet transform
DE112009004320T5 (de) Speicher-Untersystem
CN101072333B (zh) 胶片颗粒的产生和添加
US5984514A (en) Method and apparatus for using minimal and optimal amount of SRAM delay line storage in the calculation of an X Y separable mallat wavelet transform
Angelopoulou et al. Implementation and comparison of the 5/3 lifting 2D discrete wavelet transform computation schedules on FPGAs
JP2003533912A (ja) イメージ・データ再利用を伴う/伴わない複数解像度イメージ上のスケーラブル・グラフィックス・イメージ描画
JP3378258B2 (ja) 希薄データセットのスケーラブルコード化システム及び方法
JP2000308060A (ja) 符号化方法及び装置
JP2004505520A (ja) ウェーブレット分解を用いたビデオ符号化方法
Lafruit et al. An efficient VLSI architecture for 2-D wavelet image coding with novel image scan
Lafruit et al. The local wavelet transform: a memory-efficient, high-speed architecture optimized to a region-oriented zero-tree coder
Benkrid et al. Design and implementation of a generic 2-D biorthogonal discrete wavelet transform on an FPGA
US20060206744A1 (en) Low-power high-throughput streaming computations
JP2000174630A (ja) 多次元情報構造の多レベル反復フィルタリングのための方法及び装置
EP0938061A1 (en) Method and apparatus for multi-level iterative filtering of multi-dimensional data structures
Angelopoulou et al. A comparison of 2-D discrete wavelet transform computation schedules on FPGAs
Jung et al. VLSI implementation of lifting wavelet transform of JPEG2000 with efficient RPA (Recursive Pyramid Algorithm) realization
KR100300338B1 (ko) 2차원 이산 웨이브렛 변환을 위한 초고밀도 집적회로 구조
Dasu et al. A wavelet-based sprite codec
Kutil Approaches to zerotree image and video coding on MIMD architectures
Inoue et al. Real time 2D-DWT of JPEG 2000 for Digital Cinema using CUDA 4.0
CN114429203B (zh) 一种卷积计算方法、卷积计算装置及其应用
Diou et al. A wavelet core for video processing

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080617

A045 Written measure of dismissal of application

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20081028