JP2000299863A

JP2000299863A - 画像圧縮装置

Info

Publication number: JP2000299863A
Application number: JP2000062952A
Authority: JP
Inventors: S Taubman David; デーヴィッド・エス・トーブマン; Kurisafisu Christos; クリストス・クリサフィス; Oodentorihi Eric; エリック・オーデントリヒ
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 1999-03-12
Filing date: 2000-03-08
Publication date: 2000-10-24
Anticipated expiration: 2020-03-08
Also published as: US6546143B1; JP4204165B2

Abstract

(57)【要約】【課題】オフチップ・メモリのサイズを削減し、チップ
およびオフチップ・メモリ間の入出力操作数を削減す
る。【解決手段】画像のサブバンド分解が、画像をＮ行ウィ
ンドウずつ順次フィルタリングすることにより実行され
る。第１のフィルタ・ステージでは、垂直フィルタがそ
れぞれのＮ行ウィンドウに対して高域および低域フィル
タリングを実行する。次に、それぞれの垂直フィルタの
出力に対して水平フィルタリングが実行される。フィル
タ・ステージが提供する最低サブバンドが、追加のフィ
ルタ・ステージにより帰納的に分解される。それぞれの
フィルタ・ステージのこれより高いサブバンドは、符号
化され、埋め込みビットストリームに配置される。ブロ
ック符号化が実行され、それぞれのサブバンドの複数行
が複数のブロックとして符号化される。サブバンドのブ
ロックは相互に独立して符号化される。ブロック符号化
は、関心領域の再構成をサポートする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、データ圧縮に関
し、より具体的には、画像のサブバンド分解に関する。

【０００２】

【従来の技術】データ圧縮は、コンピュータ上に大型の
データファイルを格納するコストを削減するため、およ
びコンピュータ間で大型のデータファイルを伝送する時
間を短縮するためにしばしば使用される。いわゆる「変
換方法」により、データは、周波数領域でデータを表す
係数に変換される。係数を、データの質に重大な影響を
与えずに量子化することができ（損失圧縮）、最終的に
は量子化された係数からこのデータが再構成される。そ
の後、係数の冗長部分を、再構成されたデータの質に影
響を与えることなく低減または除去（無損失圧縮）する
ことができる。

【０００３】周知の変換の１つにウェーブレット(Wavel
et)変換がある。ウェーブレット変換を使用して、サブ
バンド分解を実行し、データを階層的な多段階表現で記
述する係数を生成することができる。ウェーブレット変
換は、画像の圧縮および信号の分析に有効であることが
立証されている。ウェーブレット変換は、新しい「ＪＰ
ＥＧ−２０００」標準の変換として提案されている。

【０００４】サブバンド分解は、典型的には、画像全体
をメモリに格納し、画像全体の高域および低域フィルタ
リングを一方の方向（たとえば、垂直方向）について実
行し、次にフィルタリングされた画像全体の高域および
低域フィルタリングを他方の方向（たとえば、水平方
向）について実行する。

【０００５】ウェーブレット変換の利点の中でも特に有
利なのが、変換係数を階層構造で順序付け、「埋め込み
ビットストリーム（embedded bitstream）」で伝送でき
ることである。埋め込みビットストリームは、ビットス
トリームのプレフィックスが、画質の最高可能レベルに
おいて、より低いレートのデータ記述の連続体を生み出
すという特性を持つ。たとえば、埋め込みビットストリ
ームが画像データの伝送中に切り捨てられた場合、すで
に伝送された情報によって画像全体を再構成することが
できる。再構成された画像の画質は、伝送された情報の
量によって決まる。埋め込みビットストリームが切り捨
てられた場合、画質は低下するが、伝送されたビットか
ら完全な画像が再構成される。対照的に、非埋め込み伝
送の切り捨ては、画像の一部の行を再構成できるにすぎ
ない。

【０００６】追加情報が伝送されると、再構成画像の画
質は向上する。ビットストリーム全体が切り捨てられず
に伝送された場合は、無損失またはほとんど無損失の画
像を再構成することができる。

【０００７】上記の伝送は、「画質によるプログレッシ
ブ（progressive-by-quality）」の画像伝送と呼ばれる
ことが多い。係数はビットプレーンにより記述され、最
も有効な係数ビット（すなわち、最も重要な情報を運ぶ
係数ビット）が最初に伝送される。

【０００８】他の種類の伝送は、「解像度によるプログ
レッシブ（progressive-by-resolution）」伝送とよく
呼ばれる。解像度によるプログレッシブ伝送は、画像解
像度のレベルの違いに従った係数の順序付けを含む。レ
ベルの違いは、埋め込みビットストリーム内のマーカー
によって識別される。コンピュータは、このマーカーを
使用してビットストリームを解析し、受信コンピュータ
によって指定された解像度に対応する係数のデータを伝
送する。受信コンピュータは、指定された解像度に従っ
て画像を再構成することができる。

【０００９】画像の圧縮用のフィルタおよび符号器を、
１つの特定用途向け集積回路（「ＡＳＩＣ」）すなわち
「チップ」上に作製することができる。また、メモリの
小さなキャッシュをそのチップ上に作製することもでき
る。

【００１０】フィルタリングに先だって、画像全体は、
ＤＲＡＭのようなオフチップ・メモリに格納されるのが
一般的である。画像全体を、ＳＲＡＭのようなより高速
なオンチップ・メモリに格納することができるが、オン
チップ・メモリは、一般にオフチップ・メモリよりずっ
と高価である。さらに、画像が完全にオンチップ・メモ
リに格納されると、チップの使用は、あるサイズの画像
に制限されることになる。

【００１１】しかし、画像全体をオフチップ・メモリに
格納することにもまだ問題はある。この場合も、メモリ
は、画像全体を格納できるだけの十分な大きさを持たな
ければならない。さらに、オフチップ・メモリは、ＡＳ
ＩＣのコストと比較して高価である。メモリのサイズが
増加すると、サブバンド分解を実行するコストも増加す
る。このことは、画像圧縮および画像再構成についても
当てはまる。

【００１２】たとえば、１２００ｄｐｉ（１インチあた
りのドット数）で、かつ１画素あたり２４ビットの印刷
アプリケーションでは、約３８０ＭＢを使用してページ
全体を格納する（圧縮しないで）。近い将来、解像度
は、１画素あたり２４ビットで２４００ｄｐｉまで増加
するであろう。これには、ページ全体を格納するため
に、さらに多くのメモリが必要になる。メモリを増加す
るコストは些細に見えるかもしれないが、プリンタのよ
うに容積が大きく、かつ利益幅の低いアイテムにとっ
て、コストの増加はきわめて重大である。

【００１３】オフチップ・メモリに関わる他の問題は、
入出力帯域幅である。画像のサイズおよび解像度が増加
すると、コンピューターの複雑さおよびメモリ入出力帯
域幅に対する制約が強まる。増加する入出力トランザク
ション数に対処するために入出力帯域幅を増やすことに
はコストがかかるが、入出力帯域幅を維持することは
（画像サイズおよび解像度が増加したとする）、画像印
刷やビデオ・モニタ上の画像表示のような様々なアプリ
ケーションで、許容できない待ち時間が生じることがあ
る。

【００１４】

【発明が解決しようとする課題】オフチップ・メモリの
サイズを削減したいニーズがある。また、チップおよび
オフチップ・メモリ間の入出力操作数を削減したいニー
ズがある。画像解像度および画像サイズが大きくなるに
つれて、これらのニーズは大きくなっていくであろう。

【００１５】さらに、画像のサイズによって制限される
ことなく、異なるアプリケーションに使用することがで
きるチップを備えることが好ましい。また、チップが、
埋め込みビットストリームを生成する、または埋め込み
ビットストリームから画像を再構成することが望まし
い。

【００１６】

【課題を解決するための手段】これらのニーズおよび要
望は、この発明の様々な側面により達成される。この発
明の１つの側面に従うと、画像は、複数のサブバンドに
分解される。画像のＮ行ウィンドウが連続的に与えられ
る。ここで、Ｎは正の整数であり、１＜Ｎ＜＜Ｋであ
り、ＮはＫから独立している。第１のフィルタ・ステー
ジで、垂直方向の高域および低域フィルタリングが、与
えられたそれぞれのＮ行ウィンドウに対して実行され
る。したがって、画像全体が複数のサブバンドに分解さ
れるまで、一度に画像のＮ行がフィルタリングされる。

【００１７】この発明の他の側面に従うと、サブバンド
の変換係数が、埋め込みビットストリームに符号化され
る。埋め込みビットストリームは、圧縮された形態で画
像を表す。

【００１８】この発明のまた別の側面に従うと、埋め込
みビットストリームを複数の行に復号化するステップ
と、所与の分解レベルのサブバンドのそれぞれについて
Ｎ行のチャンクを形成するステップと、Ｎ行のそれぞれ
のチャンクに対して逆水平フィルタリングを実行するス
テップと、水平にフィルタリングされたチャンクに対し
て逆垂直フィルタリングを実行するステップとにより、
埋め込みビットストリームから画像を再構成することが
できる。

【００１９】この発明の他の側面および利点は、この発
明の原理の例を説明する図と共に、以下に示す詳細な説
明から明らかになるであろう。

【００２０】

【発明の実施の形態】説明のための図に示すように、こ
の発明は、大型画像を圧縮および再構成する方法および
装置によって実現される。装置は、チップおよびオフチ
ップ・メモリを備え、画像の圧縮または再構成を実行す
る。オフチップ・メモリのサイズを最小にして、クライ
アント−サーバーのアプリケーションおよびホスト−プ
リンタのアプリケーションのようなアプリケーションに
おける、圧縮および再構成のコストを削減する。また、
チップおよびオフチップ・メモリ間の入出力トランザク
ション数も削減され、画像の圧縮および再構成を実行す
る速度が増加する。

【００２１】図１および図２は、画像１０から埋め込み
ビットストリーム（たとえば、画像のビットマップ）を
生成する方法を示す。画像１０はＫ本の行（ライン）を
含み、ここでＫは正の整数である。それぞれのレベルに
おいて、サブバンド分解が一度にＮ行に対して実行され
る。ここでＮは正の整数であり、１＜Ｎ＜＜Ｋ、かつＮ
はＫから独立している。図１は、Ｎ行の第１のウィンド
ウ１２（実線で示す）およびＮ行の第２のウィンドウ１
４（点線で示す）を示す。これらのウィンドウおよび他
のウィンドウは、画像１０を上から下に、画像のＫ本す
べての行に及ぶまで「タイルのように並べて」表示され
る。

【００２２】また、図１は、第１のウィンドウ１２およ
び第２のウィンドウ１４の重なりを示す。第１のウィン
ドウ１２の少なくとも１つの行が、第２のウィンドウ１
４に保持される。これは、他のすべてのウィンドウにつ
いても同様である。処理されるそれぞれのウィンドウ
は、直前のウィンドウの少なくとも１行を含む。

【００２３】ウィンドウは、連続して処理される（ブロ
ック１００）。こうして、第１のウィンドウ１２が処理
され、次に第２のウィンドウ１４が処理され、次に第３
のウィンドウ（図示せず）が処理される。このように、
画像のＫ本の行すべてが分解されるまで、第１レベルに
おける処理が続行する。画像の最上部から始まるウィン
ドウが、第１のウィンドウ１２の前に与えられて処理さ
れることは、理解されるであろう。

【００２４】それぞれのウィンドウを、利用可能になる
と直ちに処理することができる。すべてのウィンドウが
利用可能になるのを待ってから処理を開始する必要はな
い。

【００２５】Ｎ行のそれぞれのウィンドウは、サブバン
ド分解を実行することにより処理される（ブロック１０
２）。ウェーブレット変換を使用することができる。垂
直高域および低域フィルタリングがウィンドウに対して
実行され、次に水平高域および低域フィルタリングが実
行される。結果として、高域水平、高域垂直サブバンド
ＨＨ、高域水平、低域垂直サブバンドＨＬ、低域水平、
高域垂直サブバンドＬＨ、および低域水平、低域垂直サ
ブバンドＬＬについて、変換係数の１または複数の行１
６が得られる（図３を参照）。

【００２６】十分な数の変換係数の行が利用可能になる
まで、連続するウィンドウが分解される（ブロック１０
４）。十分な数の変換係数の行が利用可能になると、３
つのサブバンド（ＨＨ、ＨＬおよびＬＨ）の変換係数が
量子化され（ブロック１０６）、順序付けられて（ブロ
ック１０８）、エントロピー符号化される（ブロック１
１０）。エントロピー符号化されたビットは、直ちにま
たは後で、ビットストリームに配置される。

【００２７】十分な数の変換係数の行が利用可能になる
と、最低サブバンド（ＬＬ）がさらに分解される（ブロ
ック１１２）。この第２レベルの分解に続いて、最低サ
ブバンドがさらに分解され、これより高い（すなわち高
域）サブバンドが量子化され、順序付けられ、エントロ
ピー符号化される。エントロピー符号化されたビット
は、ビットストリームに配置される。

【００２８】この方法を、チップおよびオフチップ・メ
モリを備えるハードウェアによって実現することができ
る。このように具現化されると、この方法により、オフ
チップ・メモリのサイズを低減することができる。画像
全体を格納して処理するのとは異なり、一度に１つのウ
ィンドウを格納して処理することができる。また、この
方法は、チップおよびオフチップ・メモリ間の入出力ト
ランザクション数を低減することもできる。

【００２９】図４は、チップ２２およびオフチップ・メ
モリ２４を備え、画像１０から埋め込みビットストリー
ムを生成するシステム２０を示す。チップ２２およびオ
フチップ・メモリ２４は、コンピュータのような第１の
マシン２６の一部であってもよい。

【００３０】さらに、システム２０は、スキャナのよう
な撮像装置２８を備える。撮像装置２８は、一度に複数
行の画像データ（たとえば、画像の輝度またはクロミナ
ンスデータ）を供給する。撮像装置２８は、一度にＮ行
を供給することができる。Ｎ行は、オフチップ・メモリ
２４にバッファされる。サーキュラーバッファリング技
法を使用して、それぞれのウィンドウが、直前のＮ行ウ
ィンドウからの少なくとも１行を保持するようにするこ
とができる。それぞれのＮ行ウィンドウは、オフチップ
・メモリ２４において利用可能になると、処理される。

【００３１】チップ２２は、サブバンド分解フィルタの
第１ステージ３０を備える。チップ２２は、オフチップ
・メモリ２４からＮ行ウィンドウを読み取り、第１ステ
ージ３０は、複数のサブバンドＨＨ、ＨＬ、ＬＨおよび
ＬＬを生成し、こうして、それぞれのサブバンドが、一
度にＳ行生成される。ここで、Ｓは正の整数であり、Ｓ
＜Ｎである。たとえば、Ｎ＝１０かつＳ＝１の場合、１
０行ウィンドウの分解により、それぞれのサブバンドＨ
Ｈ、ＨＬ、ＬＨおよびＬＬについて１行の変換係数が生
成される。

【００３２】さらに、チップ２２は、高い方のサブバン
ドＨＨ、ＨＬおよびＬＨに対応する、第１、第２および
第３の符号器３２、３４および３６を備える。それぞれ
の符号器３２、３４および３６は、対応するサブバンド
のＰ行が利用可能になると直ちに、そのＰ行に対してエ
ントロピー符号化を実行する（Ｐは正の整数であり、Ｐ
＞Ｓである）。このように、第１の符号器３２は、サブ
バンドＨＨのＰ行が利用可能になったときにサブバンド
ＨＨを符号化し、第２の符号器３４は、サブバンドＨＬ
のＰ行が利用可能になったときにサブバンドＨＬを符号
化し、また第３の符号器３６は、サブバンドＬＨのＰ行
が利用可能になったときにサブバンドＬＨを符号化す
る。

【００３３】さらに、チップ２２は、サブバンド分解フ
ィルタの、Ｍ個のさらなる縦続ステージを備える。それ
ぞれの付加ステージ３０は、直前のステージで生成され
た最低サブバンドのＮ行ウィンドウに対して分解を実行
する。第１、第２および第３の符号器３２、３４および
３６が、それぞれの付加ステージ３０について設けられ
る。Ｍ番目のステージ３０の最低サブバンドは、第４の
符号器３８によって符号化される。

【００３４】それぞれの符号器３２、３４、３６および
３８は、エントロピー符号化を実行する。また、それぞ
れの符号器３２、３４、３６および３８は、符号化の前
に、量子化およびビットの順序付けを実行する。

【００３５】さらに、チップ２２は、ＳＲＡＭのような
オンチップ・メモリ４０を備える。オンチップ・メモリ
４０を、それぞれのステージ３０によって実行されるフ
ィルタリング操作に使用することができる。

【００３６】また、チップ２２は、コントローラ４２を
備え、オフチップ・メモリ２４における画像の行のバッ
ファリングを制御し、Ｎ行のウィンドウがバッファされ
たときを判断し、オフチップ・メモリ２４からＮ行ウィ
ンドウをアクセスする。代わりに、そのような制御を、
撮像装置２８によって、または第１のマシン２６のホス
ト・プロセッサによって実行することもできる。

【００３７】さらに、システム２０は、復号器を有する
第２のマシン４４を備え、埋め込みビットストリームか
ら画像を再構成する。埋め込みビットストリームの再構
成については、図１４および図１５を参照して後で説明
する。第２のマシン４４がプリンタである場合、再構成
された画像を印刷することができる。第２のマシン４４
がコンピュータである場合、再構成された画像をビデオ
モニタ上に表示することができる。

【００３８】例として説明する操作では、大型画像が撮
像装置２８により走査され、１行ずつオフチップ・メモ
リ２４に格納される。チップ２２は、画像を埋め込みビ
ットストリームに圧縮する。埋め込みビットストリーム
を、第１のマシン２６に格納することができ、または直
接第２のマシン４４に送信して表示または印刷すること
もできる。復号器４６は、埋め込みビットストリームか
ら画像を再構成し、再構成された画像は、一度に複数行
が表示または印刷される。

【００３９】印刷操作中に埋め込みビットストリームが
切り捨てられた場合、第２のマシン４４によって少なく
ともいくつかのサブバンドが受信されているならば、第
２のマシン４４は、なお画像全体を表示または印刷する
ことができる。しかし、切り捨てにより損失したサブバ
ンドに含まれる詳細は、表示されない。

【００４０】図５は、フィルタ・ステージ３０の第１の
実施形態をさらに詳しく示す。第１のステージ３０は、
垂直高域フィルタ５０および垂直低域フィルタ５２を備
え、オフチップ・メモリ２４にバッファされるそれぞれ
のＮ行ウィンドウに対して、垂直高域および低域フィル
タリングを実行する。垂直フィルタリングの結果は、全
体の行が水平フィルタリングに利用可能になるまで、一
対の遅延素子５４および５６によって一時的に遅延され
る。さらに、フィルタ・ステージ３０は、第１の対の水
平高域および低域フィルタ５８および６０を備え、垂直
高域フィルタ５０の出力に対して水平高域および低域フ
ィルタリングを実行する。さらにフィルタ・ステージ３
０は、第２の対の水平高域および低域フィルタ６２およ
び６４を備え、垂直低域フィルタ５２の出力に対して水
平高域および低域フィルタリングを実行する。

【００４１】水平高域および低域フィルタ５８、６０、
６２および６４は、従来のものである。これらは、全体
の行を水平方向にフィルタリングすることができる。垂
直フィルタ５０および５２は、畳み込みまたはリフティ
ング(lifting)を実行することができる。Ｄａｕｂｅｃ
ｈｉｅｓの９／７および５／７の双直交フィルタのよう
なフィルタを、垂直フィルタリングに使用することがで
きる。たとえば、Ｄａｕｂｅｃｈｉｅｓの９／７双直交
フィルタでは、９個の係数すべてが一方の垂直フィルタ
によって畳み込みに使用され、７個の係数すべてが他方
の垂直フィルタによって畳み込みに使用される。係数ビ
ットは、オフチップ・メモリ２４に格納され、そこから
アクセスされる。また、符号(sign)、有効性および現ビ
ットプレーンに関する情報が、オンチップ・メモリ４０
に格納される。

【００４２】ウィンドウ・サイズ（すなわちＮ）は、フ
ィルタ長の約２倍である。たとえば、５／３双直交フィ
ルタでは、ウィンドウ・サイズはＮ＝１０行であること
ができる。

【００４３】水平フィルタリングを実行する前に、垂直
フィルタリングを実行することが好ましい。こうするこ
とにより、垂直フィルタ５０および５２が、水平フィル
タ５８、６０、６２および６４によってフィルタリング
される行より低いビット深さを持つ行に対してフィルタ
リングすることが可能になる。たとえば、垂直フィルタ
５０および５２は、８ビットの第１のビット深さを有す
る行をフィルタリングし、水平フィルタ５８、６０、６
２および６４は、１６ビットの第２のビット深さを有す
る行をフィルタリングすることができる。

【００４４】また、図５は、オフチップ・メモリ２４お
よびフィルタ・ステージ３０に対応する符号器３２、３
４および３６をも示す。チップは、行ｎから行（ｎ＋Ｎ
−１）までをオフチップ・メモリ２４から読み取り、Ｎ
行ウィンドウは、フィルタ・ステージ３０によって分解
される。フィルタ・ステージ３０により生成されたサブ
バンド行は、オフチップ・メモリ２４に書き込まれる。
サブバンドの符号化のために十分な数の行が利用可能に
なると、そのサブバンドに対応する行がオフチップ・メ
モリ２４から読み取られ、符号化される。

【００４５】図６は、フィルタ・ステージ３０ａの代替
の実施形態を示す。フィルタ・ステージ３０ａは、長さ
が５である５／３双直交フィルタを使用し、３行（ｎ、
ｎ＋１、ｎ＋２）のサイズを持つウィンドウをフィルタ
リングする。フィルタ・ステージ３０ａは、垂直高域フ
ィルタ５０ａを備え、３行ウィンドウに対して垂直リフ
ティング・ステップを実行する。垂直高域フィルタ５０
ａの出力は、第１の遅延素子５４ａにより遅延され、遅
延された出力は、一対の水平高域および低域フィルタ５
８ａおよび６０ａによってフィルタリングされる。３行
ウィンドウの第１の行（ｎ）が第２の遅延素子５６ａに
より遅延され、第２の対の水平高域および低域フィルタ
６２ａおよび６４ａによってフィルタリングされる。

【００４６】さらに、フィルタ・ステージ３０ａは、垂
直低域フィルタ５２ａを備え、第１および第２の対の水
平高域および低域フィルタ５８ａ、６０ａ、６２ａおよ
び６４ａの出力に対して水平リフティングを実行する。
最低サブバンドが、次のフィルタ・ステージに送られ、
これより高いサブバンドは、符号器３２、３４および３
６に送られる。

【００４７】このように、垂直高域および低域サンプル
が、以下に示すように、連続したリフティング・ステッ
プで形成される。

【００４８】Ｈ_ｎ(ｉ)＝０．５[ｘ_２ｎ＋１(ｉ)−０．
５(ｘ_２ｎ(ｉ)＋ｘ_２ｎ＋２(ｉ))] および、Ｌ_ｎ(ｉ)
＝ｘ_２ｎ(ｉ)＋０．５[Ｈ_ｎ−１(ｉ)＋Ｈ_ｎ(ｉ)] ここで、ｘ_ｎ(ｉ)は、画像のｎ番目の行のｉ番目のサン
プルを表し、また、Ｈ_ｎ(ｉ)およびＬ_ｎ(ｉ)は、垂直高
域および垂直低域サブバンドのそれぞれのｉ番目のサン
プルを表す。これらの垂直サブバンドの行のそれぞれに
対して、水平変換が通常の方法で適用される。フィルタ
・ステージ３０ａは、垂直方向にこれらのリフティング
・ステップを実施する。水平変換は、垂直変換の第１お
よび第２のリフティング・ステップの間で適用される
が、水平および垂直のフィルタリング操作は相互に交換
することができるので、結果に影響することはない。水
平変換を任意の方法で適用することができるが、リフテ
ィング・ステップにより、１バイト精度を保持すること
が可能となる。

【００４９】サイズが３のウィンドウを処理することに
より、および長さが５のフィルタを持つことにより、フ
ィルタ・ステージ３０ａは、何らかのメモリ節約を得る
ために、メモリのニーズを、あるプレーンから他のプレ
ーンに押し進める。このステージ３０ａは、本質的に、
垂直フィルタリングを２つのステージで実行する。

【００５０】垂直５／３双直交ウェーブレット変換の実
施における第１のリフティング・ステップ（すなわちリ
フティング・ステップＨ_ｎ）は、画像の奇数行のサンプ
ルを、これらのサンプルと、画像の隣接する偶数行上の
真上および真下のサンプルの平均を取って得られた予測
との差で置換することと解釈することができる。これら
の予測残差が、実際には垂直高域サンプルである。圧縮
性能は、高域帯域の信号エネルギーを低減できる程度に
強く関連するので、さらに精密な予測を使用することに
より、よい結果を得ることができる。特に、第１のリフ
ティング・ステップを、次の数式で置き換えることがで
きる。

【００５１】Ｈ_ｎ(ｉ)＝０．５[ｘ_２ｎ＋１(ｉ)−Ｐ(ｘ
_２ｎ，ｘ_２ｎ＋２(ｉ))］ここで、演算子Ｐは、画像のローカル方向特性を利用し
て、隣接する２つの行ｘ _２ｎ(ｉ)およびｘ_２ｎ＋２(ｉ)
の近傍サンプルから、奇数行サンプルｘ_２ｎ＋１(ｉ)を
予測する。

【００５２】垂直フィルタにはいくつかの異なる方向が
ある。それぞれの方向について、より小さい目標値を持
つ方向が、基礎となるシーン(scene)を反映しやすくな
るように、予測子(predictor)Ｐ^ｉおよび目標値Ｏ^ｉを
計算する。追加のオンチップ論理回路を使用して、方向
を選択することができる。以下のように、５つの方向が
ある。

【００５３】垂直方向: Ｐ^０(ｉ)＝０．５[ｘ_２ｎ(ｉ)＋ｘ_２ｎ＋２(ｉ)] Ｏ^０(ｉ)＝Σ‖ｘ_２ｎ(ｉ＋ｋ)−ｘ_２ｎ＋２(ｉ＋ｋ)
‖，ｋ＝−２〜ｋ左上から右下に−４５°: Ｐ^−４５(ｉ)＝０．５[ｘ_２ｎ(ｉ−１)＋ｘ_２ｎ＋２(ｉ
＋１)] Ｏ^−４５(ｉ)＝Σ‖ｘ_２ｎ(ｉ＋ｋ−１)−ｘ
_２ｎ＋２(ｉ＋ｋ＋１)‖，ｋ＝−２〜ｋ左上から右下に＋４５°: Ｐ^＋４５(ｉ)＝０．５[ｘ_２ｎ(ｉ＋１)＋ｘ_２ｎ＋２(ｉ
−１)] Ｏ^＋４５(ｉ)＝Σ‖ｘ_２ｎ(ｉ＋ｋ＋１)−ｘ
_２ｎ＋２(ｉ＋ｋ−１)‖，ｋ＝−２〜ｋ左上から右下に−２３°: Ｐ^−２３(ｉ)＝０．５[ｘ_２ｎ(ｉ−０．５)＋ｘ
_２ｎ＋２(ｉ＋０．５)] Ｏ^−２３(ｉ)＝Σ‖ｘ_２ｎ(ｉ＋ｋ−０．５)−ｘ
_２ｎ＋２(ｉ＋ｋ＋０．５)‖，ｋ＝−２〜ｋ左上から右下に＋２３°: Ｐ^＋２３(ｉ)＝０．５[ｘ_２ｎ(ｉ＋０．５)＋ｘ
_２ｎ＋２(ｉ−０．５)] Ｏ^＋２３(ｉ)＝Σ‖ｘ_２ｎ(ｉ＋ｋ＋０．５）−ｘ
_２ｎ＋２(ｉ＋ｋ−０．５）‖，ｋ＝−２〜ｋＯ^ｍｉｎ（ｉ）がこれらの５つの目標値の最小値を表
し、Ｐ^ｍｉｎ（ｉ）がそれぞれのサンプル位置における
対応する予測子を表すとする。単純でロバストな方向適
応予測子を、次の式に従って通常の垂直補間をＰ^ｍｉｎ
の値と組み合わせることにより形成することができる。

【００５４】Ｐ(ｉ)＝α(ｉ)Ｐ^０(ｉ)＋(１−α)Ｐ^ｍｉｎ(ｉ) ここで、混合パラメータα（ｉ）は、次の式により与え
られる。

【００５５】 α(ｉ)＝[Ｏ^ｍｉｎ(ｉ)＋１]／[Ｏ^０(ｉ)＋１] 混合パラメータα（ｉ）を、次のように変更することが
できる。

【００５６】α(ｉ)＝ｍａｘ｛１，[Ｏ^ｍｉｎ(ｉ)＋２
ｍｉｎ｛０，Ｏ^０(ｉ)−Ｏ’(ｉ)｝＋２ｍｉｎ｛０，Ｏ
^０(ｉ)−Ｏ”(ｉ)｝＋１]／[Ｏ^０(ｉ)＋１]｝

【００５７】ここで、Ｏ’(ｉ)およびＯ”(ｉ)は、最適
角度が正の場合は負の角度目標値Ｏ⁻ ^４５およびＯ
^−２３により特定され、最適角度が負の場合は正の角度
目標値Ｏ^＋ ^４５およびＯ^＋２３により特定され、その他
の場合は垂直目標値Ｏ^Ｏにより特定される。変更された
混合パラメータは、基礎となるサンプル値の連続的な適
度に滑らかな関数であり、これにより、復号器における
量子化の影響に対する感受性が小さくなる。このこと
は、ローカル方向が不明瞭なときに、垂直方向以外のも
のの影響を抑制する効果を有する。

【００５８】次に、図７および図８を参照する。これら
の図は、それぞれの符号器３２、３４、３６および３８
によって使用されるブロック符号化技法を説明する。所
与のサブバンド（たとえば、ＨＨサブバンド）のブロッ
ク符号化において、チップ２２は、変換係数の行をオフ
チップ・メモリ２４に書き込む（ブロック２０２）。所
与のサブバンドのＰ個の行が利用可能になると（ブロッ
ク２０４）、符号器３２が、オフチップ・メモリ２４か
らＰ行をアクセスし（ブロック２０６）、ＨＨサブバン
ドのＰ行を複数のブロックとして符号化する（ブロック
２０８）。それぞれのＰ行から生成されたブロックは、
相互に独立して符号化される。一般的なブロック・サイ
ズは、６４×６４サンプル、３２×３２サンプル、６４
×１６サンプルまたは１２８×８サンプルである。

【００５９】埋め込みビットストリームは、１９９８年
１２月１７日出願の米国特許出願第09/213,743号の「DE
CODING OF EMBEDDED BITSTREAMS PRODUCED BY CONTEXT-
BASED ORDERING AND CODING OF TRANSFORM COEFFICIENT
BIT-PLANES」（「Ordentlich他による特許出願」）に
従い、サブバンド分解ブロックを別個に符号化すること
により生成される。Ordentilich他による特許出願を、
ここで参照により取り入れる。それぞれのブロックの符
号化は、変換係数を量子化するステップと、量子化され
た係数のビットプレーンを生成するステップと、ビット
プレーンを異なるサブシーケンス（たとえば、非ゼロの
近傍(Non-Zero Neighbors)、非ゼロの親(Non-zero Pare
nts)、ラン(RUN)およびリファインメント(Refinemen
t)）に分解するステップと、記述の期待されるビットあ
たりの期待される歪み減少量が減っていくように、サブ
シーケンスを順序付けるステップと、順序付けられたサ
ブシーケンスを符号化するステップと、サブシーケンス
を順序どおりにビットストリームに配置するステップと
を含むステップにより実行される。また、ブロックの所
与のビットプレーンを順序付けるコンテキストを、該ブ
ロックの、前に符号化されたビットプレーン内に完全に
含めることができる。また、ブロックの所与のビットプ
レーンを順序付けるコンテキストを、「親ブロック」
の、前に符号化されたビットプレーン内に含めることも
できる。用語「親ブロック」とは、より低い解像度のサ
ブバンドの対応する空間的方向にあるブロックを意味す
る。

【００６０】図９は、変換係数のそれぞれのブロックに
ついて埋め込みビットストリームを生成する、より詳細
な方式を示す。それぞれのブロックは、４分木（quad t
ree）分解およびビットプレーン符号化の組み合わせに
より符号化される。所与のブロックに対して４分木分解
を実行し、所与のブロックが複数のサブブロックに分解
されるようにするステップ（ブロック３０２）と、有効
係数を含むサブブロックを識別するステップ（ブロック
３０４）と、有効係数を含むすべてのサブブロックをビ
ットプレーン符号化するステップ（ブロック３０６）
と、有効でない係数を持つブロックに対して追加の４分
木分解を実行するステップ（ブロック３０８）とを含む
ステップによって、所与のブロックは符号化される。

【００６１】次に、他のレベルの４分木分解およびビッ
トプレーン符号化が、有効係数を持たないそれぞれのサ
ブブロックに対して実行される。このように、有効係数
を持たないサブブロックは、より小さなサブブロックに
さらに分解される（ブロック３１０）。

【００６２】有効係数を持つこれらのより小さなサブブ
ロックは、ビットプレーン符号化され（ブロック３０
６）、有効係数を持たないより小さなサブブロックは、
さらにもっと小さなブロックに分解される（ブロック３
０８）。

【００６３】典型的なサブブロックが、４分木分解によ
って生成される最小サブブロックであるサイズＧ×Ｇま
で分解されると（ブロック３１２）、Ｇ×Ｇサブブロッ
クおよび任意のこれより小さなサブブロックが、ビット
プレーン符号化される（ブロック３１４）。画像の境界
上に存在するサブブロックの中には、Ｇ×Ｇより小さい
ものがある。たとえば、境界上のサブブロックには、Ｇ
×２、Ｇ×１、１×Ｇなどのサブブロックが存在するこ
とがある。

【００６４】サブブロックを、Ordentlich等の特許出願
に記載されているブロック符号化技法を使用して、ビッ
トプレーン符号化することができる。

【００６５】このハイブリッドな符号化方式の例を、図
１０に示す。図１０には、ブロック４００に対する４分
木分解の２つのレベルが示されている。最初に、ブロッ
ク４００は、６４×６４サンプルを含む。４分木分解の
第１のレベルが、３２×３２のサンプル・サブブロック
を４つ、すなわちＡ、Ｂ、ＣおよびＤを形成する。サブ
ブロックＢおよびＣは、有効係数を持つことが判明した
ので、ビットプレーン符号化される。次に、サブブロッ
クＡが、より小さな１６×１６のサンプル・サブブロッ
クＡ１１、Ａ１２、Ａ２１およびＡ２２に分解され、サ
ブブロックＤが、より小さな１６×１６のサンプル・サ
ブブロックＤ１１、Ｄ１２、Ｄ２１およびＤ２２に分解
される。第２のレベルの４分木分解の後、サブブロック
Ａ１１、Ａ２１およびＤ１１が重要な係数を持つことが
判明したので、ビットプレーン符号化される。残りのサ
ブブロックＡ１２、Ａ２２、Ｄ１２、Ｄ２１およびＤ２
２は、さらにより小さな８×８に分解される。

【００６６】ブロック符号化を実行し、埋め込みビット
ストリームを生成するさらに詳しい方式については、参
照としてここで取り入れられる、この発明と同時出願さ
れた米国特許出願第09/267、248号の「EMBEDDED BLOCK C
ODING WITH OPTIMIZED TRUNCATION」（代理人整理番号1
0990121-1）で開示される。

【００６７】ブロック符号化は、画像を小さなタイルに
分割してそれぞれのタイルを独立的に圧縮する操作と同
じものではない。符号化は、ブロックに対して独立的に
実行されるが、変換は、ブロックごとには実行されな
い。この理由は、ブロックのアーティファクトの発生を
防ぐためである。ブロック符号化および独立したタイル
圧縮の間の他の相違点は、異なるサブバンドで符号化さ
れたブロックは、通常、元の画像の同じ領域を表さない
ということである。すべての帯域でブロック・サイズが
同一の場合には、低い解像度帯域にあるブロックが、元
の画像の大きな領域を連続的に表す。

【００６８】符号化において、３つのサブバンドＬＨ、
ＨＬおよびＨＨのそれぞれにおけるブロックの位置を、
任意の所与の解像度レベルで互い違い（交互配置）にす
ることができる。サブバンドＨＬ、ＬＨおよびＨＨの垂
直境界を相互にＰ／３行だけオフセットすることによ
り、ブロックの交互配置を実行することができる。たと
えば、サブバンドＨＬをＰ／３行だけオフセットし、サ
ブバンドＬＨを２Ｐ／３行だけオフセットする。サブバ
ンドＨＨのＰ行がオフチップ・メモリ２４に格納されて
いるとき（したがって符号化に利用可能である）、サブ
バンドＨＬの２Ｐ／３行、およびサブバンドＬＨのＰ／
３行だけがオフチップ・メモリ２４に格納される。サブ
バンドＨＬのＰ行が符号化に利用可能になったときは、
サブバンドＬＨの２Ｐ／３行、およびサブバンドＨＨの
Ｐ／３行だけがオフチップ・メモリ２４に格納されてい
る。サブバンドＬＨのＰ行が符号化に利用可能になった
ときは、サブバンドＨＨの２Ｐ／３行、およびサブバン
ドＨＬのＰ／３行だけがオフチップ・メモリ２４に格納
されている。

【００６９】図１１は、サブバンドＨＬ、ＬＨおよびＨ
Ｈが相互にＰ／３行ずつ交互配置される方法を示す。カ
ウンタ４５０、４５２および４５４を、所与のフィルタ
・ステージの３つのサブバンドＨＨ、ＨＬおよびＬＨに
ついて設けることができる。カウンタ４５０、４５２お
よび４５４は、異なる値０、Ｐ／３、２Ｐ／３で初期化
される。所与のサブバンドについて行が出力されるたび
に、所与のサブバンドに対応するカウンタが増分され
る。カウンタがブロック・サイズＰより大きくなると、
そのカウンタはゼロに設定され、所与のサブバンドから
のブロックが符号化される。たとえば、３つのサブバン
ドのうち２つについて第１のストライプ(stripe)符号化
を実行中、対応するカウンタがＰに等しい場合でも、符
号化に使用可能な行数はＰより少ない。このように、第
１のストライプ符号化中に、１つのサブバンドのＰ行が
符号化され、もう１つのサブバンドの２Ｐ／３行が符号
化され、また第３のサブバンドのＰ／３行が符号化され
る。

【００７０】ブロックの交互配置により、符号化に使用
されるオフチップ・メモリ２４の合計量がＰ行だけ削減
される。また、ブロック符号化は、ブロック符号化の負
荷が時間にわたって均一に分散されるので、符号化の
「ジッター」を減少させる。この結果、一定のレートで
画像の行を生成または使用するアプリケーションの「ジ
ッター」を吸収するのに割り当てられる追加のメモリ量
が削減される。

【００７１】ブロック符号化には潜在的な利点が多数含
まれる。たとえば、ブロックを選択的に伝送して、関心
のある領域(regions-of-interest)を再構成することが
できる。

【００７２】次に、関心のある領域の再構成を実行する
システムおよび方法を示す図１２および図１３を参照す
る。図１２は、ネットワーク５０６上で通信するサーバ
ー５０２およびクライアント５０４を備えるシステム５
００を示す。ネットワーク５０６は、ローカル・エリア
・ネットワークからインターネットまで任意のものでよ
い。

【００７３】サーバー５０２は、プロセッサ５０８およ
びメモリ５１０を備える。サーバーのメモリ５１０は、
画像のサブバンド分解５１２で符号化される。サブバン
ド分解５１２は、最低解像度サブバンドと、これより高
い解像度の複数のサブバンドを含む。それぞれのサブバ
ンドは、複数のブロックとして符号化され、それぞれの
ブロックは、画像領域を表す。領域の異なる解像度は、
異なるサブバンド・ブロックに表される。

【００７４】サーバーのメモリ５１０は、プログラム５
１４でさらに符号化される。このプログラム５１４は、
画像に対するネットワーク要求に応答して、最低解像度
サブバンドをネットワーク５０６上に出すよう、サーバ
ー・プロセッサ５０８に命令する。さらに、サーバー・
プログラム５１４は、画像領域に対するネットワーク要
求に応答して、少なくとも１つの追加のブロックをネッ
トワーク５０６上に出すよう、サーバー・プロセッサ５
０８に命令する。追加の１または複数のブロックは、要
求された領域についてさらに高い解像度を提供する。

【００７５】クライアント５０４は、第２のプロセッサ
５１６、およびプログラム５２０を格納するためのメモ
リ５１８を備える。クライアント・プログラム５２０
は、画像および画像領域に対するネットワーク要求を送
信するよう、クライアント・プロセッサ５１６に命令す
る。ネットワーク要求を、ユーザーによって対話的に生
成することができる。

【００７６】さらに、クライアント・プログラム５２０
は、ネットワーク要求に応答してサーバー５０２が送信
したブロックを受信し、ネットワーク５０６上で受信し
たブロックから画像および関心のある領域を再構成する
よう、クライアント・プロセッサ５１６に命令する。

【００７７】図１２は、ソフトウェアを介して画像を完
全に再構成するクライアント５０４を示す。代替方法と
して、クライアント５０４は、チップおよびオフチップ
・メモリを備えて、画像および関心のある領域を再構成
することができる。

【００７８】図１３は、サーバー５０２およびクライア
ント５０４の間のトランザクション例を示し、この例で
は、クライアント５０４が、国のある地域に関する情報
を要求する。クライアント５０４上で走るのは、ウェブ
・ブラウザのようなプログラムである。ユーザーは、国
の地図のＵＲＬを入力し、クライアント５０４は、地図
の要求をネットワーク５０６上に出す（ブロック６０
２）。

【００７９】地図のサブバンド分解を格納するサーバー
５０２は、ネットワーク要求を受信し、分解の低サブバ
ンドにおけるブロックをアクセスし、すべての低サブバ
ンド・ブロックをクライアント５０４に送信する（ブロ
ック６０４）。

【００８０】クライアント５０４はブロックを受信し、
地図全体の低解像度画像を再構成する（ブロック６０
６）。低解像度の地図がユーザーに表示される。マウス
のような入力装置を使用して、ユーザーは地図のある領
域をクリックし、クライアントは、関心のある領域に対
する要求を生成する。要求はサーバー５０２に送信され
る（ブロック６０８）。

【００８１】サーバー５０２は要求を受信し、関心のあ
る領域に対応するブロックをアクセスする。ブロック
は、異なるサブバンドから取り出される。サーバー５０
２は、より高いこれらのサブバンド・ブロックをクライ
アント５０４に送信する（ブロック６１０）。

【００８２】クライアント５０４はブロックを受信し、
関心のある領域を再構成する（ブロック６１２）。関心
のある領域がユーザーに表示される。再構成される領域
の解像度（すなわち、関心のある領域の詳細）は、サー
バー５０２によってアクセスされるサブバンドに依存す
る。

【００８３】このクライアント−サーバーのアプリケー
ションは、リモートに位置するサーバー上に常駐して、
画像のより小さな領域に関心を持つ個々のクライアント
によって対話的にアクセスされ再構成される大型圧縮画
像を含む。サーバー５０２は、関心のある領域に関連す
るより高い解像度のコードブロックを送信するだけでよ
い。クライアントに送信されるブロックによってカバー
されるサブバンド・サンプルのセットを判断する際に
は、サブバンド合成フィルタがサポートする領域を考慮
に入れるべきである。

【００８４】低解像度レベルにおけるブロックは、画像
の本質的な部分に広がり、クライアントが実際に要求し
たもの以上の情報が伝送されるようにする。これは、関
心のある領域が正しく再構成されることを確実にするよ
う実行される。しかし、ほとんどの関心のある領域の復
号化のアプリケーションでは、対話ユーザーは、画像の
より大きな領域を横切って移動することができるので、
前に受信されたコード・ブロックが適切にキャッシュさ
れて再利用されるならば、このような操作中に伝送され
る新しい情報量は、最終的にカバーされるその領域のサ
イズとほぼ同じ大きさになる。

【００８５】それぞれのサブバンドのそれぞれのブロッ
クを連続して伝送することができ、利用可能なネットワ
ーク帯域幅を、関心のある領域の画質が徐々に改善され
るよう使用することができる。このことは、対話型ユー
ザーが、新しい関心領域に移動する前にその領域に費や
す時間の長さに依存する。これは、大部分の消費者がき
わめて低い帯域幅のリンクしか持っておらず、またあま
り辛抱強くない場合に、インターネット上で大型画像を
対話的に走査検索するには、特に有効な特徴である。

【００８６】ブロック符号化の他のクライアント−サー
バーのアプリケーションは、大型画像の領域を、クライ
アント要求の累積履歴に基づき選択的に改善（リファイ
ン；refine）する操作を含む。画像全体または画像の大
きな部分が要求される場合には、対話型ユーザーがそれ
らの領域に主に関心を示すであろうという期待により、
過去に最も頻繁に要求されたそれらの画像領域に対応す
るブロックに、より多くの割合を割り当てることができ
る。こうして、関心のある領域は、クライアントの好み
の予測を見越して、より高い画質レベルで伝送される。
さらに、サーバーの記憶スペースが密になって、さらに
データを収容しなければならない場合、あまり頻繁に要
求されなかった画像のブロックに対応するビットストリ
ームを切り捨てて、スペースを開放することができる。

【００８７】次に、埋め込みビットストリームから画像
１０を再構成する方法を示す図１４を参照する。埋め込
みビットストリームを生成するのに使用される方法を逆
に実行することにより、画像を再構成することができ
る。たとえば、ビットストリームが、図１のフィルタリ
ング方法および図７のブロック符号化方法（ここでは、
Ordentlich等の特許出願に記載された方法に従い、ブロ
ックは量子化され、順序付けられ、符号化される）を介
して生成された場合、画像は以下の手順によって再構成
される。すなわち、ビットストリームを復号化するステ
ップ（ブロック７０２）と、復号化されたビットストリ
ームにおけるサブシーケンスのビットを判断するステッ
プと（ブロック７０４）、判断されたサブシーケンスか
らビットプレーンを満たすステップ（ステップ７０６）
とによって再構成される。ステップ７０６において、ブ
ロックの所与のビットプレーンを満たすコンテキスト
を、該ブロックの、前に復号化されたビットプレーン内
に完全に含めることができ、また親ブロックの、前に復
号化されたビットプレーン内に含めることもできる。

【００８８】次に、量子化変換係数がビットプレーンか
ら再構成される（ブロック７０８）。再構成された変換
係数の値は、利用可能な不確定間隔の中間値であっても
よい。

【００８９】ブロック７０２からブロック７０８によっ
て示されるステップが実行されるとき、再構成された変
換係数は、逆変換フィルタリングに利用可能になる。画
像全体が再構成される場合、再構成された変換係数は、
行単位で利用可能になっていく。こうして、所与の分解
レベルのそれぞれのサブバンドについての変換係数の第
１の行が、図３に示すように現れることができる。関心
のある領域が再構成される場合は、関心のある領域に対
応する変換係数ブロックだけが利用可能になる。

【００９０】十分な数の、部分的または完全な行が利用
可能になると（すなわち、Ｎ行のチャンク（かたまり）
が形成されると）、逆水平フィルタリングが、それぞれ
のＮ行チャンクに対して実行され（ブロック７１０）、
また逆垂直フィルタリングが、水平方向にフィルタリン
グされたチャンクに対して実行される（ブロック７１
２）。

【００９１】画像全体または関心のある領域は、いくつ
かのパス（工程）で再構成される。それぞれのパスの中
で、新しい情報が一度に複数行表示される。このよう
に、低解像度の画像または関心のある領域が、第１のパ
スにおいて一度に複数行再構成される。第２およびその
後のパスにおいて、詳細が一度に複数行追加される。埋
め込みビットストリームが切り捨てられた場合、すでに
受信されているすべての完全ブロックが表示される（こ
れは、ブロックが、相互に独立して符号化されるからで
ある）。こうして、ビットストリームが切り捨てられた
場合、画像または関心のある領域の上半分は比較的鮮明
な特徴を含み、下半分は不鮮明な特徴を含むことがあ
る。

【００９２】次に図１５を参照すると、画像再構成を装
置８００によって実行することができ、装置８００は、
オフチップ・メモリ８０２およびチップ８０４を備え、
チップ８０４は、複数の逆フィルタリング・ステージ８
０６と、それぞれのフィルタリング・ステージについて
の復号器８０８、８１０および８１２を備える。第１の
フィルタリング・ステージは、最低サブバンドＬＬにつ
いて追加の復号器８１４を備える。オンチップ・メモリ
８１６は、逆フィルタリング操作に使用される。オンチ
ップ・コントローラ８１８は、変換係数のチャンクが逆
フィルタリングに利用可能になる時を判断することがで
きる。チップ８０４を、クライアントのビデオ・カード
に搭載することができる。代替の実施形態では、画像再
構成を、ホスト・プロセッサ（たとえばクライアント・
プロセッサ５１６）により、すべてソフトウェアで実行
することができる。再構成された画像を、表示または印
刷の前に、外部メモリ（たとえば、オフチップＤＲＡ
Ｍ、ハード・ドライブ、ビデオ・メモリ）にバッファす
ることができる。

【００９３】ブロック交互配置が画像圧縮に使用された
場合、画像の再構成中に、ブロック交互配置を逆に実行
する必要はない。しかし、画像再構成中にブロック交互
配置を実行すると、オフチップ・メモリの節約になる。
変換係数サブバンドのオフチップ・メモリ８０２への書
き込みを、相互にＰ／３行だけオフセットすることがで
きる。オフチップ・メモリ８０２においてサブバンドの
チャンクが利用可能になると直ちに、対応する復号器
が、当該チャンクを量子化された変換係数に復号する。

【００９４】４分木分解およびビットプレーン符号化の
組み合わせが画像圧縮において使用された場合は、それ
ぞれの受信されたサブブロックのビットプレーン符号化
が逆に実行され、４分木復号化は、サブブロックをブロ
ックに再度組み立てるよう逆に実行される。

【００９５】画像圧縮中に垂直フィルタを回転した場
合、画像の再構成中に垂直フィルタを回転する必要はな
い。しかし、垂直フィルタを回転させると、再構成され
た画像の画質が改良される。しかし、変更されたリフテ
ィング・ステップが逆に実行されるとき、関連する方向
適応予測子が、偶数行サンプルの幾分歪んだコピーから
導き出される点に注意すべきである。これは、画像圧縮
が、量子化エラーを取り入れると予測されるからであ
る。要するに、演算子Ｐを、その入力における小さなエ
ラーを極力感知しないようにするべきである。

【００９６】以上のように、画像全体を格納することな
くサブバンド分解を実行する発明が開示される。結果と
して、この発明は、画像圧縮およびその後の再構成に使
用されるオンチップ・メモリおよびオフチップ・メモリ
の両方のサイズを削減する。またこの発明は、チップお
よびオフチップ・メモリ間の入出力トランザクション数
をも削減する。オフチップ・メモリは、１０行から数百
行の間の行を格納することができ、任意のサイズの画像
を処理する。入出力メモリ帯域幅は、画像あたり約３お
よび５バイトのトランザクションに削減することができ
る。さらに、チップおよびオフチップ・メモリは、画像
のサイズによる制限を受けずに、異なるアプリケーショ
ンに使用することができる。

【００９７】また、チップは、埋め込みビットストリー
ムを生成する。埋め込みビットストリームは、たとえば
圧縮率が適切ではなく、そのために画像の微細な詳細の
みを切り捨てる場合に有利である。

【００９８】リフティング・ステップおよび１行ずつの
階層化されたエントロピー符号化の組み合せは、メモリ
の使用をさらに削減する。きわめて小さな垂直領域をサ
ポートするウェーブレット変換を使用することにより、
メモリ要件はさらに削減される。

【００９９】異なるサブバンドについてのブロック・パ
ーティションの交互配置は、ブロック符号化のアプリケ
ーションにおいてメモリの使用を削減する。画像におけ
るウェーブレットの因子分解(factorization)およびロ
ーカル方向特性の利用は、メモリ要件を増やすことな
く、優れた圧縮パフォーマンスの達成を可能にする。

【０１００】また、ブロック符号化の使用は、オフチッ
プ・メモリのサイズを増加することなく、かつチップお
よびオフチップ・メモリ間の入出力トランザクション数
を増加することなく、圧縮パフォーマンスを向上させ
る。さらに、ブロック符号化は、関心のある領域の分解
のような特別機能も提供する。

【０１０１】この発明は、上記に説明したホスト−プリ
ンタおよびクライアント−サーバーのアプリケーション
に限定されるものではない。たとえば、この発明を、衛
星画像に適用することができる。さらに、この発明を、
新しいＪＰＥＧ−２０００標準と互換性のあるアプリケ
ーションに適用することができる。

【０１０２】この発明は、上記に説明し図示された特定
の実施形態に制限されるものではない。代わりに、この
発明は、特許請求の範囲に従って解釈されるものであ
る。

【０１０３】この発明は、以下の実施態様を含む。

【０１０４】（１）Ｋ行（Ｋは正の整数）を含む画像を
圧縮する装置であって、前記画像のＮ行（Ｎは正の整
数、１＜Ｎ＜＜Ｋ、ＮはＫから独立している）ウィンド
ウを順次提供する手段と、垂直高域フィルタおよび垂直
低域フィルタを有するサブバンド分解フィルタの第１の
ステージであって、前記提供されたそれぞれのＮ行ウィ
ンドウに対して垂直高域および垂直低域フィルタリング
を実行する第１のステージを有するチップとを備え、前
記画像全体が複数のサブバンドに分解されるまで、前記
チップが、前記画像のＮ行を一度にフィルタリングする
ようにした画像圧縮装置。

【０１０５】（２）前記提供する手段が、前記ウィンド
ウをバッファする画像バッファを備え、それぞれのウィ
ンドウが、前のウィンドウからの少なくとも１行を保持
するようにした上記（１）に記載の画像圧縮装置。

【０１０６】（３）前記Ｎが、フィルタ長の約２倍であ
る上記（１）に記載の画像圧縮装置。

【０１０７】（４）前記チップは、サブバンド分解フィ
ルタのＭ個の付加縦続ステージを備え、それぞれの付加
ステージは、垂直高域フィルタおよび垂直低域フィルタ
を備えて、複数のサブバンドを生成し、前のステージに
よって生成された最低サブバンドのＮ行ウィンドウに対
して垂直高域および垂直低域フィルタリングを実行する
ようにした上記（１）に記載の画像圧縮装置。

【０１０８】（５）前記垂直フィルタは、第１のビット
深さを持つ画像行を受信して、該第１のビット深さより
大きい第２のビット深さを持つ行を出力し、前記第１の
ステージは、前記垂直高域フィルタの出力に応答する水
平高域および水平低域フィルタの第１の対、および前記
垂直低域フィルタの出力に応答する水平高域および水平
低域フィルタの第２の対を備えるようにした上記（１）
に記載の画像圧縮装置。

【０１０９】（６）前記第１のステージは複数のサブバ
ンドを生成し、それぞれのサブバンドは一度にＳ行（Ｓ
は正の整数）生成され、該サブバンドのうちの１つがさ
らに分解され、該サブバンドのうちの他のサブバンドは
一度にＰ行（Ｐは正の整数）符号化され、Ｓ＜Ｎであ
り、Ｐ＞Ｓである上記（１）に記載の画像圧縮装置。

【０１１０】（７）前記チップは複数のエントロピー符
号器を備え、それぞれのエントロピー符号器は、前記他
のサブバンドのうちの１つに対応し、対応するサブバン
ドのＰ行が利用可能になると直ちに該対応するサブバン
ドを符号化するようにした上記（６）に記載の画像圧縮
装置。

【０１１１】（８）前記それぞれの符号器が、サブバン
ドのＰ行を複数のブロックとして符号化し、ブロック
は、相互に独立して符号化されるようにした上記（６）
に記載の画像圧縮装置。

【０１１２】（９）それぞれのブロックは、４分木分解
およびビットプレーン符号化の組み合わせによって符号
化されるようにした上記（８）に記載の画像圧縮装置。

【０１１３】（１０）所与のブロックに対して４分木分
解を実行して、該所与のブロックが複数のサブブロック
に分解されるようにするステップと、有効係数を含むサ
ブブロックをビットプレーン符号化するステップと、有
効でない係数を含むサブブロックに対して追加の４分木
分解を実行するステップとを含むステップにより、前記
所与のブロックが符号化されるようにした上記（９）に
記載の画像圧縮装置。

【０１１４】（１１）所与のブロックの変換係数を量子
化するステップと、前記量子化された係数のビットプレ
ーンを生成するステップと、前記ビットプレーンを異な
るサブシーケンスに分解するステップと、記述の期待さ
れるビットあたりの期待される歪み減少量が減っていく
ように、前記サブシーケンスを順序付けるステップと、
前記順序付けられたサブシーケンスを符号化するステッ
プと、前記サブシーケンスを順序通りビットストリーム
に配置するステップとを含むステップにより、前記所与
のブロックが符号化されるようにした上記（８）に記載
の画像圧縮装置。

【０１１５】（１２）オフチップ・メモリを備え、前記
第１のステージは、直ちに符号化するためのＴ個（Ｔは
正の整数およびＴ＞１）のサブバンドを出力し、前記画
像圧縮装置は、前記サブバンドの垂直境界を相互にＰ／
Ｔ行だけオフセットする手段を備え、サブバンドのブロ
ックが相互に交互配置されるようにした上記（８）に記
載の画像圧縮装置。

【０１１６】（１３）画像のサブバンド分解を実行する
チップであって、該画像はＫ行（Ｋは正の整数）を含ん
でおり、該チップは、前記画像のＮ行ウィンドウ（Ｎは
正の整数、１＜Ｎ＜＜Ｋであり、ＮはＫから独立してい
る）を順次受け取り、前記チップは、Ｌ個（Ｌは整数で
Ｌ＞１）のステージ・フィルタを備えており、前記Ｌ個
のステージ・フィルタのそれぞれのステージが、前記チ
ップによって受け取られたそれぞれのＮ行ウィンドウに
対して垂直高域フィルタリングを実行する第１の手段
と、前記チップによって受け取られたそれぞれのＮ行ウ
ィンドウに対して垂直低域フィルタリングを実行する第
２の手段と、前記第１の手段の出力に対して水平高域フ
ィルタリングを実行する第３の手段と、前記第２の手段
の出力に対して水平低域フィルタリングを実行する第４
の手段とを備え、前記画像全体が異なるレベルの複数の
サブバンドに分解されるまで、前記チップが、前記画像
のＮ行を一度にフィルタリングするようにしたチップ。

【０１１７】（１４）画像のサブバンド分解を実行する
フィルタ・ステージであって、該画像はＫ行（Ｋは正の
整数）を含んでおり、前記画像のＮ行（Ｎは正の整数で
あり、Ｎ＜Ｋ）に対して垂直リフティング・ステップを
実行する第１のフィルタと、Ｎ行の第１の行に応答する
水平高域および水平低域フィルタの第１の対と、垂直高
域フィルタの出力に応答する水平高域および水平低域フ
ィルタの第２の対と、前記水平高域および水平低域フィ
ルタの第１の対の出力に対して水平リフティングを実行
する第２のフィルタと、低域サブバンドを提供する前記
第１のステージの第１の出力と、高域サブバンドを提供
する前記第１のステージの複数のさらなる出力とを備え
るフィルタ・ステージ。

【０１１８】（１５）前記第１および第２のフィルタ
が、複数の特定方向に回転可能であるようにした上記
（１４）に記載のフィルタ・ステージ。

【０１１９】（１６）画像のサブバンド分解を実行する
方法であって、該画像はＫ行（Ｋは正の整数）を含んで
おり、前記画像のＮ行ウィンドウ（Ｎは正の整数であ
り、１＜Ｎ＜＜Ｋであり、ＮはＫから独立している）を
順次提供するステップと、提供されたそれぞれのＮ行ウ
ィンドウに対して垂直高域フィルタリングを実行するス
テップと、提供されたそれぞれのＮ行ウィンドウに対し
て垂直低域フィルタリングを実行するステップと、前記
画像全体が複数のサブバンドに分解されるまで、前記Ｎ
行ウィンドウの提供および垂直フィルタリングを繰り返
すステップとを含む、サブバンド分解を実行する方法。

【０１２０】（１７）サブバンド分解から画像を再構成
するチップであって、該画像はＫ行（Ｋは正の整数）を
含み、前記サブバンド分解はＱレベル（Ｑは１より大き
い正の整数）を含み、それぞれのレベルは複数のサブバ
ンドを含んでおり、前記チップが、所与の分解レベルの
それぞれのサブバンドについて複数のＮ行チャンクを受
信する入力と、Ｑ個の逆フィルタ・ステージとを備え、
それぞれの逆フィルタ・ステージは、Ｎ行のそれぞれの
チャンクに対して操作可能な逆水平高域および逆水平低
域フィルタと、逆垂直高域および逆垂直低域フィルタの
第１および第２の対とを備え、該第１の対は、前記水平
高域フィルタの出力に応答し、該第２の対は、前記水平
低域フィルタの出力に応答し、該垂直フィルタの第１お
よび第２の対は、一度に複数行再構成された画像を出力
するようにしたチップ。

【０１２１】（１８）埋め込みビットストリームから画
像を再構成する方法であって、該埋め込みビットストリ
ームは、該画像の符号化されたサブバンド分解を表して
おり、該画像はＫ行（Ｋは正の整数）を含み、該サブバ
ンド分解は複数の分解レベルを含み、それぞれのレベル
は複数のサブバンドを含んでおり、前記埋め込みビット
ストリームを複数行に復号化するステップと、所与の分
解レベルの前記サブバンドのそれぞれについて、Ｎ行の
チャンクを形成するステップと、前記Ｎ行のそれぞれの
チャンクに対して逆水平フィルタリングを実行するステ
ップと、前記水平フィルタリングされたチャンクに対し
て逆垂直フィルタリングを実行するステップとを含む、
所与の分解レベルに対するステップを備える画像を再構
成する方法。

【０１２２】（１９）前記埋め込みビットストリームが
複数のブロックに復号化され、ブロックが相互に独立し
て復号化されるようにした上記（１８）に記載の方法。

【０１２３】（２０）前記復号化が、逆４分木分解およ
びビットプレーン復号化を含むようにした上記（１８）
に記載の方法。

【０１２４】

【発明の効果】オフチップ・メモリのサイズを削減する
ことができる。また、チップおよびオフチップ・メモリ
間の入出力操作数を削減することができる。

【図面の簡単な説明】

【図１】一度にＮ行のウィンドウが変換される画像を示
す図。

【図２】この発明に従う、画像を記述する埋め込みビッ
トストリームを生成する方法のフローチャート。

【図３】画像のサブバンド分解を示す図。

【図４】チップおよびオフチップ・メモリを備え、埋め
込みビットストリームを生成する装置のブロック図。

【図５】装置の符号器およびオフチップ・メモリに対応
する、フィルタ・ステージのブロック図。

【図６】装置の符号器およびオフチップ・メモリに対応
する、代替のフィルタ・ステージのブロック図。

【図７】複数のサブバンド行を複数の独立したブロック
として符号化する方法のフローチャート。

【図８】複数の独立したブロックとして符号化された複
数のサブバンド行を示す図。

【図９】複数のサブバンド行を複数の独立したブロック
として符号化する、４分木符号化およびビットプレーン
符号化の組み合わせを含む代替方法のフローチャート。

【図１０】ブロックの４分木分解を示す図。

【図１１】符号化に先立つブロックの交互配置を示す
図。

【図１２】埋め込みビットストリームから画像を再構成
するシステムのブロック図。

【図１３】図１２のシステムが実行するトランザクショ
ン例のフローチャート。

【図１４】この発明に従って埋め込みビットストリーム
から画像を再構成する方法のフローチャート。

【図１５】チップおよびオフチップ・メモリを備え、埋
め込みビットストリームから画像を再構成する装置のブ
ロック図。

【符号の説明】

１０画像２０、５００システム２２、８０４チップ２４、８０２オフチップ・メモリ３０フィルタ・ステージ３２第１の符号器３４第２の符号器３６第３の符号器３８第４の符号器

───────────────────────────────────────────────────── フロントページの続き (72)発明者クリストス・クリサフィスアメリカ合衆国94040カリフォルニア州マウンテン・ビュー、イースト・エル・カミノ・レアル 870 (72)発明者エリック・オーデントリヒアメリカ合衆国94306カリフォルニア州パロ・アルト、グラント・アヴェニュー、 425、ナンバー36

Claims

【特許請求の範囲】

【請求項１】Ｋ行（Ｋは正の整数）を含む画像を圧縮す
る装置であって、前記画像のＮ行（Ｎは正の整数、１＜Ｎ＜＜Ｋ、ＮはＫ
から独立している）ウィンドウを順次提供する手段と、垂直高域フィルタおよび垂直低域フィルタを有するサブ
バンド分解フィルタの第１のステージであって、前記提
供されたそれぞれのＮ行ウィンドウに対して垂直高域お
よび垂直低域フィルタリングを実行する第１のステージ
を有するチップとを備え、前記画像全体が複数のサブバンドに分解されるまで、前
記チップが、前記画像のＮ行を一度にフィルタリングす
るようにした画像圧縮装置。