JP2006186995A - ウェーブレットに基づく符号化方法により生成されたウェーブレットツリーを符号化するための装置および方法 - Google Patents

ウェーブレットに基づく符号化方法により生成されたウェーブレットツリーを符号化するための装置および方法 Download PDF

Info

Publication number
JP2006186995A
JP2006186995A JP2005356138A JP2005356138A JP2006186995A JP 2006186995 A JP2006186995 A JP 2006186995A JP 2005356138 A JP2005356138 A JP 2005356138A JP 2005356138 A JP2005356138 A JP 2005356138A JP 2006186995 A JP2006186995 A JP 2006186995A
Authority
JP
Japan
Prior art keywords
wavelet
wavelet tree
tree
coefficients
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005356138A
Other languages
English (en)
Inventor
Iraj Sodogar
ソドガー，イラジ
Hung-Ju Lee
リー，ホン−ジュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
MediaTek Inc
Original Assignee
Sharp Corp
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp, MediaTek Inc filed Critical Sharp Corp
Publication of JP2006186995A publication Critical patent/JP2006186995A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】ウェーブレットツリーのノードの分類、符号化を効率的に行い、高速に処理できるようにする。
【解決手段】親と子の関係に構成された複数のノードを有するウェーブレットツリーを生成するよう、ウェーブレット変換を利用して入力画像を符号化するための装置は、複数の係数を有するアンバランスな第１のウェーブレットツリーであって、複数の係数の各々が第１のウェーブレットツリーのノードに対応する第１ウェーブレットツリーを入力画像に対して生成するウェーブレットツリー生成器１０４と、第１ウェーブレットツリーの係数フレームと異なる係数フレームを有するバランスのとれた第２ウェーブレットツリーに、第１ウェーブレットツリーをマッピングするための、ウェーブレットツリーマッパー２４１０と、第２ウェーブレットツリーの複数の係数を符号化するための符号化器１１４とを備えている。
【選択図】図２４

Description

本願は１９９７年２月１２日に出願された米国仮特許出願第60/037055号の利益を請求するものであり、本願ではこの米国仮特許出願を参考例として引用する。
本発明は画像処理システムに関し、より詳細には、バランスのとれたウェーブレットツリーおよびアンバランスなウェーブレットツリーを符号化するための画像処理ユニットに関する。
１９９２年３月、カリフォルニア州サンフランシスコにおいて開催された音響，音声および信号処理に関する国際会議の予稿集（the Proceedings of the International Conference on Acoustics,Speech and Signal Processing）、第IV巻、第６５７〜６６０ページ（非特許文献１）には、データ圧縮技術が記載されており、この論文は階層的サブバンド分解、すなわちウェーブレット変換を行い、その後、ゼロツリーを含む階層的な連続近似エントロピー符号化された量子化を行う信号圧縮システムが開示されている。バート他著、通信に関するＩＥＥＥトランザクション(ＩＥＥＥ Trans.on Commun.)、第Ｃｏｍ−３１巻、第４号、１９８３年４月、第５３３ページ（非特許文献２）には、マルチ解像度の階層的サブバンド表現を利用した信号データの表現が開示されている。クリチカルにサンプリングされた直交ミラーフィルタ（ＱＭＦ）サブバンド表現としても知られるウェーブレットピラミッドとは、画像のある特殊なマルチ解像度の階層的サブバンド表現である。ユタ州スノーバードにおいて１９９１年４月８日〜１１日に開催されたデータ圧縮会議の予稿集(Proc. Data Compression Conference)（非特許文献３）における、ペントランド他による論文には、ウェーブレットピラミッドが開示されている。１９９１年、クルーワーアカデミック出版社により出版されたＪ.Ｗ.ウッズ編集による出版物「サブバンド画像符号化(Subband Image Coding)」（非特許文献４）、および１９９２年ペンシルバニア州フィラデルフィアの工業および応用数学協会（ＳＩＡＭ）により発行されたＩ.ドビュッシー著、「ウェーブレットに関する１０講(Ten Lectures on Wavelets)」（非特許文献５）には、ＱＭＦサブバンドピラミッドが記載されている。
１９９５年５月２日に発行され、本明細書において参考例として引用する米国特許第5,412,741号（特許文献１）は、高度の圧縮により情報を符号化するための装置および方法を開示している。この装置はこれまでの技術よりもより効率的な方法で、ウェーブレット係数をゼロツリー符号化することを利用している。この装置のカギは、走査すべき係数インデックスのリストをダイナミックに生成し、このダイナミックに生成したリストがシンボルを符号化すべき係数インデックスしか含まないようにすることである。このような方法は、係数インデックスの静的リストを使用し、ａ）シンボルを符号化するのか、またはｂ）シンボルが完全に予測可能であるかどうかを判断するために各係数を個々にチェックしなければならない従来技術よりも劇的に改善されている。
前記米国特許第5,412,741号に開示されている装置も、画像のウェーブレット変換を行う工程と、ウェーブレット係数のゼロツリーマップを形成する工程と、最も粗いレベルの変換および親の係数が重要であると判った場合に主要なリストにインデックスが添付された係数の子から、初期の主要なリスト上の重要な係数を符号化する工程と、スレッショルドを下げる工程と、符号化された係数の精度を増すように、重要な係数の値の見積もりを改善する工程と、新しく下げられたスレッショルドで再び主要リストを走査することに周期的に戻る工程とを備えた、情報を符号化するための方法を使用している。
このような繰り返し方法を行うために、前記米国特許第5,412,741号の方法は、ウェーブレットツリーをサブバンドごとに走査することにより行われている。すなわちすべての親ノードを符号化し、次にすべての子ノードを符号化し、次に孫ノードを符号化し、次々に同様な符号化を行い、この操作をビット平面ごとに行う。画像のウェーブレットツリー表現を通してこの方法が繰り返される際に、この装置はゼロツリーマップにおける４つのシンボルのうちの１つを符号化する。前記米国特許第5,412,741号に記載されている方法は、「埋め込み型ゼロツリーウェーブレット（Embedded Zerotree Wavelet(ＥＺＷ)）」方法として知られている方法であり、ウェーブレットツリーを処理する速度の改善が有利となろう。
米国特許第５，４１２，７４１号 音響，音声および信号処理に関する国際会議の予稿集（the Proceedings of the International Conference on Acoustics,Speech and Signal Processing）、第IV巻、第６５７〜６６０ページ 通信に関するＩＥＥＥトランザクション(ＩＥＥＥ Trans.on Commun.)、バート他著、第Ｃｏｍ−３１巻、第４号、１９８３年４月、第５３３ページ データ圧縮会議の予稿集(Proc. Data Compression Conference)，ユタ州スノーバードにおいて１９９１年４月８日〜１１日に開催 サブバンド画像符号化(Subband Image Coding)，Ｊ.Ｗ.ウッズ編集，１９９１年、クルーワーアカデミック出版社 ウェーブレットに関する１０講(Ten Lectures on Wavelets)，Ｉ.ドビュッシー著、１９９２年、ペンシルバニア州フィラデルフィアの工業および応用数学協会（ＳＩＡＭ）
従って、より効率的に符号化し、高速で処理できる、ウェーブレットツリーのノードを分類し、符号化する改良された方法が、当技術分野で望まれている。
第１の技術手段は、親と子の関係をもつ複数のノードを有するウェーブレットツリーを生成するよう、ウェーブレット変換を利用して入力画像を符号化するための方法において、（ａ）複数の係数を有するアンバランスな第１のウェーブレットツリーであって、該複数の係数の各々が該第１のウェーブレットツリーのノードに対応する該第１ウェーブレットツリーを前記入力画像に対して生成するステップと、（ｂ）前記第１ウェーブレットツリーの係数フレームと異なる係数フレームを有するアンバランスな第２ウェーブレットツリーに、前記第１ウェーブレットツリーをマッピングするステップと、（ｃ）前記第２ウェーブレットツリーの前記複数の係数を符号化するステップとを有する、入力画像を符号化するための方法である。
第２の技術手段は、前記第１ウェーブレットツリー内に対応するノードが存在しない場合、前記第２ウェーブレットツリーのノードを空のノードとして取り扱う、請求項１に記載の方法である。
第３の技術手段は、前記符号化するステップ（ｃ）に先立ち、前記第２ウェーブレットツリーの前記複数の係数を量子化するステップ（ｂ１）をさらに含む、請求項２に記載の方法である。
第４の技術手段は、（ｂ１）前記第２ウェーブレットツリーの前記複数の係数を量子化するステップと、（ｂ２）前記符号化するステップ（ｃ）に先立ち、前記複数の量子化された係数の各々に１つのシンボルを割り当てるステップとを有し、前記符号化するステップ（ｃ）は、前記割り当てられたシンボルに従い、前記第２ウェーブレットツリーの前記複数の量子化された係数を符号化することを特徴とする請求項１に記載の方法である。
第５の技術手段は、前記量子化するステップは、深度優先パターンで実行される、請求項４に記載の方法である。
第６の技術手段は、前記深度優先パターンは、親ノードから開始して子ノードに進み、次の親のノードに進む前に、前記子のすべての子孫ノードに進むトップダウン走査パターンを有する、請求項５に記載の方法である。
第７の技術手段は、前記シンボルを割り当てるステップ（ｂ２）は、量子化された係数の各々に、ZEROTREE ROOTシンボル、VALUED ZEROTREE ROOT シンボル、VALUEシンボル又はSKIPシンボルの何れかを割り当て、前記ZEROTREE ROOTシンボルは、ゼロツリーのルートであるノードの係数を表し、VALUED ZEROTREE ROOTシンボルは、非ゼロ値を有し、全てゼロルートの子を有するノードの係数を意味し、前記VALUEシンボルは、数値を有し、非ゼロ値を有する少なくとも１つの子孫を有するノードの係数を意味し、前記SKIPシンボルは、スキップされるべきノードを意味する、請求項４に記載の方法である。
第８の技術手段は、前記ウェーブレットツリーは、ベクトルウェーブレットツリーを表す、請求項１に記載の方法である。
第９の技術手段は、前記ウェーブレットツリーは、オブジェクトウェーブレットツリーを表す、請求項１に記載の方法である。
第１０の技術手段は、親と子の関係に構成された複数のノードを有するウェーブレットツリーを生成するよう、ウェーブレット変換を利用して符号化された画像を搬送する信号を復号するための方法において、（ａ）複数の係数を有するバランスがとれた第１のウェーブレットツリーであって、該複数の係数の各々が該第１のウェーブレットツリーのノードに対応する該第１ウェーブレットツリーを前記信号から生成するステップと、（ｂ）前記第１ウェーブレットツリーの係数フレームと異なる係数フレームを有するアンバランスな第２ウェーブレットツリーに、前記第１ウェーブレットツリーをマッピングするステップと、（ｃ）前記画像を生成するために前記第２ウェーブレットツリーを使用するステップとを有する、画像を搬送する信号を復号するための方法である。
第１１の技術手段は、親と子の関係に構成された複数のノードを有するウェーブレットツリーを生成するよう、ウェーブレット変換を利用して入力画像を符号化するための装置において、複数の係数を有するアンバランスな第１のウェーブレットツリーであって、該複数の係数の各々が該第１のウェーブレットツリーのノードに対応する該第１ウェーブレットツリーを前記入力画像に対して生成するウェーブレットツリー生成器と、前記第１ウェーブレットツリーの係数フレームと異なる係数フレームを有するバランスのとれた第２ウェーブレットツリーに、前記第１ウェーブレットツリーをマッピングするための、前記ウェーブレットツリー生成器に結合されたウェーブレットツリーマッパーと、前記第２ウェーブレットツリーの前記複数の係数を符号化するための、前記ウェーブレットツリーマッパーに結合された符号化器とを備えた、入力画像を符号化するための装置である。
第１２の技術手段は、前記第２ウェーブレットツリーの前記複数の係数を量子化するための、前記ウェーブレットツリーマッパーに結合された量子化器と、前記複数の量子化された係数の各々にシンボルを割り当てるための、前記量子化器および前記符号化器に結合されたシンボル割り当て器とを更に備え、前記割り当てられたシンボルに従って前記第２ウェーブレットツリーの前記複数の量子化された係数を符号化する、請求項１１に記載の装置である。
第１３の技術手段は、親と子の関係に構成された複数のノードを有するウェーブレットツリーを生成するよう、ウェーブレット変換を利用して入力画像を符号化し、復号するための信号処理システムにおいて、符号化器を有し、該符号化器は、複数の係数を有するアンバランスな第１のウェーブレットツリーであって、該複数の係数の各々が該第１のウェーブレットツリーのノードに対応する該第１ウェーブレットツリーを前記入力画像に対して生成するウェーブレットツリー生成器と、前記第１ウェーブレットツリーの係数フレームと異なる係数フレームを有するバランスのとれた第２ウェーブレットツリーに、前記第１ウェーブレットツリーをマッピングするための、前記ウェーブレットツリー生成器に結合されたウェーブレットツリーマッパーと、前記第２ウェーブレットツリーの前記複数の係数を符号化するための、前記ウェーブレットツリーマッパーに結合された符号化器と、を備え、前記符号化器に結合された復号器は、各々が第３ウェーブレットツリーの１つのノードに対応する複数の係数を信号から復号するための復号器と、前記第３ウェーブレットツリーの係数フレームと異なる係数フレームを有する第４ウェーブレットツリーに、前記第３ウェーブレットツリーをマッピングするための、前記復号器に結合されたウェーブレットツリーマッパーと、前記第２ウェーブレットツリーを画像に変換するための、前記ウェーブレットツリーマッパーに結合された逆変換部分とを備えた、入力画像を符号化し、復号化するための信号処理システムである。
本発明は、階層的サブバンド分割において、ウェーブレットツリーの各シンボル、係数に対して解像度毎に異なるテーブルを用いて算術符号化する符号化方法である。本符号化方法では、各解像度に依存したテーブルを設けることにより、符号化効率の向上が可能となる。
また本発明の他の形態では、ウェーブレットツリーの最低解像度の係数を符号化するのに、差分符号化を行うことにより、符号化効率を向上させることができる。
また本発明の他の形態では、ウェーブレットツリーの最低解像度の係数には、シンボルを割り当てないことにより、符号化効率の向上を図ることができる。
図１は、本発明の符号化器１００を示すブロック図で、図２は図１の符号化器１００の動作を示すフローチャートである。発明を最良に理解するため、読者は本発明の次の説明を読みながら、図１および２の双方を同時に参照されたい。
符号化器１００はウェーブレットツリー生成器１０４と、オプションのウェーブレットツリー再構成器１０８と、量子化器１１０と、シンボル割り当て器１１２と、エントロピー符号化器１１４とを含む。これら構成要素はポート１０２の入力画像をポート１１６における符号化された出力画像に処理するように直列に接続されている。この入力画像は一般に画像スキャナーまたはコンピュータグラフィックシステムから発生できるような、ピクセル化された（デジタル化された）写真画像である。しかしながら、入力画像はビデオ画像のうちの一連のフレームにおける１つのフレーム、またはビデオ符号化システムによって発生される動き補償された差分フレームでもよい。一般に、本発明は任意の形態のデジタル化された画像またはその一部を処理するようになっている。従って、作動方法は一般にステップ２０２にて、１つの画像、すなわち任意の形態の二次元データを入力することによって開始する。
ウェーブレットツリー生成器１０４は（ステップ２０４にて）入力画像の従来のウェーブレットツリー表現を発生するよう、ウェーブレット階層的サブバンド分割を実行する。かかる画像分割を行うために、二次元の各々で２回サブサンプリングを行うことにより画像が水平高域−垂直高域（ＨＨ）、水平高域−垂直低域（ＨＬ）、水平低域−垂直高域（ＬＨ）および水平低域−垂直低域（ＬＬ）周波数サブバンドに分割される。次に、ＬＬサブバンドを更に２次元の各々で２回サブサンプリングし、ＨＨ、ＨＬ、ＬＨおよびＬＬサブバンドの一組を生成する。サブサンプリングを３回行っている図３に示されているようなサブバンドのアレイを発生するよう、このサブサンプリングを再帰的に行う。実際には４回以上のサブサンプリングを行うことが好ましいが、本発明は任意の回数のサブサンプリングに適応できる。サブバンド間の親との依存性は、親ノードのサブバンドから子ノードのサブバンドを示している矢印として示されている。最低周波数のサブバンドは頂部の左側のサブバンドＬＬ3であり、最高周波数のサブバンドは底部右側のサブバンドＨＨ1である。この例ではすべての子ノードは１つの親を有する。Ｊ.Ｍ.シャピロ著の論文「ウェーブレット係数のゼロツリーを使用した埋め込み型画像符号化(Embedded Image Coding Using Zerotrees of Wavelet Coefficients)」、信号処理に関するＩＥＥＥトランザクション、第４１巻、第１２号、第３４４５〜６２ページ、１９９３年１２月には、サブバンド分解の詳細な説明が記載されている。
図４は、サブサンプリングされた画像の３世代における親と子の関係を示す。単一の親ノード４００は４回のサブサンプリングにより、すなわち２つの次元の各々で２回のサブサンプリングを行うことにより、画像内の同一領域に対応する４つの子ノード４０２を有する。各子ノード４０２はその後の４回のサブサンプリングにより４つの対応する次世代の子ノード４０４を有する。親ノードをその子および孫に関連づける関係、すなわちデータ構造がウェーブレットツリーである。低−低サブバンドにおける各ペルまたはピクセルはこれに関連するツリーであることに留意されたい。しかしながら、共に取り上げられる低−低サブバンドから延びる複数のツリーを、当技術分野では一般に、画像に関する「ウェーブレットツリー」と称す。本明細書はこのような用語の使用例にも従うものとする。
再び図１および図２に戻ると、量子化器１１０は（ステップ２１０にて）「深度優先」（depth-first）パターンでパス１０６を通ってウェーブレットツリーの係数を量子化する。従来の符号化システムが改良された幅優先(breadth-first)パターンですべてのサブバンドを通るようにウェーブレットツリーを横断し、すなわちすべての親ノードを量子化し、次にすべての子を量子化し、次にすべての孫を量子化し、次々に同様な量子化を行う点で、深度優先パターンは従来の符号化システムとは全く異なっている。これと対照的に、本発明の方法は、各ツリーを「深度優先」順位、すなわち低−低サブバンド（ＬＬ3）内のルートから子への順番で横断する。
図５は、各ツリーを横断するのに使用される深度優先パターンを示す。例えばＬＬ3におけるノード５００で開始し、次に太いパスに進むことにより、本発明の深度優先プロセスはサブバンドＬＨ3におけるノード５０２に進み、次にサブバンドＬＨ2におけるノード５０４に進む。この深度優先横断プロセスはノード５０４から連続的にサブバンドＬＨ1内のノード５０６、５０８、５１０および５１２に進み、すなわちノード５０４のすべての子に進み、次に５０４（５１４、５２４、５３４）の親類に進み、ここで次の親類および子に進む前に、各親類の４人の子を横断する。一旦ツリーの全枝を横断すると、横断プロセスはノード５００の別の子のノード、例えばノード５４４に進む。深度優先横断プロセスはこのノードからノード５４６、５４８、５５０、５５２および５５４に進み、その後、ノード５５６に進み、更に別のノードに進む。
各枝を横断する際に係数を離散した値に量子化する。本発明では任意の量子化方法を使用する。この量子化プロセスは連続する係数の値を正の値、負の値またはゼロの値のいずれかを有する離散した値にマッピングする。要するに、深度優先走査パターンではそれらの親５０４の後であって隣接する親５１４、５２４および５３４のいずれよりも前で、子５０６、５０８、５１０および５１２を走査する。このように所定の空間ロケーションを示すすべての係数を親５００から子５０２、孫５０４などの周波数が高くなる順に走査し、その後、次の隣接する空間ロケーションの係数を走査する。
この深度優先走査パターンのこれまでの説明は、「トップダウン」パターンとして説明したが、深度優先走査パターンはボトムアップからの走査も含む。このように、ツリーの「葉」（最底部ノード）でスタートし、ツリーを上に進むよう量子化を行うこともできる。図５の例を参照すると、「ボトムアップ」パターンではまずノード５０６，５０８，５１０および５１２を量子化し、次にノード５０４を量子化し、次にツリーを上に進み、最後にノード５００を量子化する。一旦、そのツリーの量子化を完了すると、量子化プロセスは別のツリーを次々に量子化し、すべてのツリーにおけるすべてのノードを量子化するまで量子化を続ける。後に説明するように、トップダウンではなくボトムアップパターンを使用すると、本発明はより効率的に実施できる。
この深度優先走査パターンを容易にするため、本発明は「ウェーブレットブロック」を形成するよう、各ウェーブレットツリーの量子化された係数を再構成する。図１および図２に示されるように、量子化を行う前に（ステップ２０６で）ウェーブレットツリー再構成器１０８内で再構成を行う。
図６は、本発明により発生されたウェーブレットブロック６０４を略図で示すものである。本発明はウェーブレットツリー６０２内の低−低バンド６０６（ＬＬ3）におけるピクセル６００から延びるツリー６０２をウェーブレットブロック６０４にマッピングする。画像フレーム６０８の各ウェーブレットブロック６０４はフレーム内のブロックの空間ロケーションにおけるフレームを示すすべてのスケールおよび方向の係数を含む。係数のメモリロケーションをウェーブレットブロックを形成する新しいメモリロケーションに物理的にマッピングし直すことにより、再構成を行う。このように、連続したアドレスロケーションに所定のウェーブレットブロックのすべての係数を記憶する。これとは異なり、係数を物理的に再配置せず、仮想メモリ内にマッピングし直してもよい。
従って、物理的メモリに対するインデックスを生成し、このメモリでインデックス（仮想メモリ）はウェーブレットブロックに配列されるメモリロケーションを有する。インデックスへアクセスするごとに、係数を記憶する物理的メモリロケーションへインデックスへのアドレスをマッピングする。従って、仮想メモリ方法によりメモリ内の係数を物理的に再配置することなく、ウェーブレットブロックの利点を活用できる。
深度優先走査パターンを使用することにより、各ウェーブレットブロックの係数を量子化するよう、各ウェーブレットブロックを完全に走査し、その後、次のブロック、更に次のブロックを走査する。例えばブロック６１０を完全に走査し、次にブロック６１２を走査し、次にブロック６１４を走査し、同じようにウェーブレットブロックのフレームを通過するようにラスター走査パターンで次々にブロックを走査する。ブロックの順序はラスター走査パターンにする必要はなく、アプリケーションが望む任意の順序とすることができる。この順序は所定のオブジェクトに対応するブロックを走査し、符号化し、その後、他のオブジェクトを走査し、符号化するようなオブジェクト指向の順序も含む。ブロック全体は連続するメモリアドレスにあるので、所定のブロックに対する第１メモリ入力をまたは最終メモリ入力を選択し、上り順または降順ですべての他のアドレスにアクセスすることにより、トップダウンパターンまたはボトムアップパターンでブロックを容易に走査できる。
重要なことはかかる再構成によりフレーム内の空間ロケーションに基づき、異なる量子化スケールを各ウェーブレットブロックに割り当てできることである。これにより、係数の空間ロケーションに対し、および／または係数によって表現される周波数バンドに従って、量子化器１１０を特別に割り当てることができる。このように、画像の中心または画像内の所定のオブジェクトをエッジよりもより正確に量子化できるよう、画像内で量子化スケールを変えることができる。同様に、他の周波数と異なるスケールを使って、より高い周波数（またはある事項に対しては低い周波数，中間周波数，種々の周波数バンドなど）を量子化できるように、量子化スケールを周波数に依存させることもできる。また、単一量子化器の代わりに１つの量子化マトリックスを使って各ウェーブレットブロックを符号化してもよい。
特定のアプリケーション、例えばビデオフォンでは、前景のオブジェクト、例えば発信者の頭部および肩を背景オブジェクトよりも、より正確に量子化できるよう選択する。従って、背景情報を低い精度で符号化しながら、重要な情報をより正確に符号化し、送信する。ウェーブレットブロックを使用することにより、前景情報および背景情報の容易な分離符号化が可能となる。ある領域をより正確に符号化するよう選択した場合、本発明は正確な符号化を必要とするブロックにフラグを立てることができる。このように量子化器はフラグの立てられていないブロックで使用されるよりも、より細かい量子化ステップを使ってそのブロックを量子化する。
ウェーブレットブロックは本発明を実施するのに直感的データ構造を形成するが、ウェーブレットブロックを使用することは任意であり、本発明の符号化器１００および後述する他の符号化器を実現する上では必ずしも必要ではない。後述するように、本発明の改良されたツリー横断プロセスおよび改良された符号化技術と共に、従来のツリー構造を使用できる。このように、図１および図２は再構成器およびそれに関連する機能をそれぞれバイパスするパス１０６およびパス２０８として再構成器のオプションとしての性質を示している。
量子化後、ツリーの各ノードでは量子化された係数はゼロ値または非ゼロ値のいずれかを示す。あるノードの係数がゼロでかつ、そのすべての子孫がゼロツリーを形成すれば、「ゼロツリー」である。すなわちすべての子孫のノードはゼロの値を有する。深度優先方法により各ツリーを再び走査することにより、ウェーブレットツリーの量子化された係数を効率的に符号化する。従って、ツリーを横断し、ノードの量子化された値だけでなく、各ノードの子孫の量子化された値にも依存して、各ノードに特定のシンボルを割り当てることにより、シンボル割り当て器１１２は（ステップ２１２で）作動する。
特に本発明の方法はノードごとに３つのシンボルZEROTREE ROOT，VALUED ZEROTREE ROOTおよびVALUEのうちの１つを割り当てる。ZEROTREE ROOTとは、ゼロツリーのルート（根元）にある係数を示す。シンボルを割り当てる走査の後では、ツリー内のすべての係数は値ゼロを有することが判っているので、ゼロツリーを更に走査する必要はない。VALUE ZEROTREE ROOTとは、係数がゼロでない値を有し、４つすべての子がZEROTREE ROOTSを有すノードのことである。このツリーの符号化走査はこのノードよりも決して下に進まない。VALUEシンボルは、係数値はゼロであってもなくてもよいが、非ゼロの値を持つ子孫がツリーに沿ってどこかに存在する。オプションとして重要度マップに第４のシンボル、すなわちIsolated Zero（ＩＺ）を加えることができる。この場合ＩＺシンボルはゼロの値を有する係数であるが、ツリーに沿ったある部分にゼロではない子孫が存在する。ＩＺを加えた場合、VALUEは１個以上のゼロではない子孫を有するゼロではない係数しか示さない。
シンボルを量子化し、シンボルをノードに割り当てるよう、ツリーを最も効率的に走査するために、量子化器はシンボル割り当て器と共に作動する。図７はゼロツリーの係数を量子化するのに使用される量子化方法７００の詳細なフローチャートを示し、図８は量子化された係数値を示すよう、シンボル値を割り当てるためのシンボル割り当て方法８００の詳細なフローチャートを示す。
方法７００はブロック７０２で開始し、ステップ７０４に進み、ここでウェーブレットツリー内のノードから係数値が検索される。後述するように、量子化方法は、ウェーブレットツリーをボトムアップの深度優先パターンで走査する。従って、第１アドレスは常に最高周波数サブバンドに位置し、方法を繰り返すごとに、この方法はツリーを上に進み、より低い周波数のサブバンドに進む。量子化された値が生成される際に、この方法は子ノードの量子化された値、すなわち子の値またはゼロのトラックを維持する。ステップ７０６にて、この方法は検索された係数値を正の値、負の値またはゼロの値に量子化する。ステップ７０８では、ちょうど量子化された係数値に関連したノードに対する予備的なシンボル値でマークマップが更新される。マークマップのシンボルは子ノードの値だけでなく現在のノードの値にも応じて決定される。走査はボトムアップ方法で実行されるので、マークマップは最終的にノードがZEROTREE ROOTであるか否かを表現することはできない。従って、すべてのノードに予備的シンボル値が割り当てられた後に、最終的にシンボル値を割り当てるように再びトップダウンパターンでツリーが走査される。マークマップとは量子化方法７００により満たされるウェーブレットツリーノードのインデックスである。マークマップにおけるアドレスごとに、この方法は予備的シンボル、すなわち潜在的なVALUE、潜在的なVALUE ZEROTREE ROOTまたは潜在的なZEROTREE ROOT（およびオプションとしてIsolated Zero）を記憶する。量子化された係数値が値を有していれば、その係数に対するマークマップロケーションに潜在的なVALUEシンボルをマークする。量子化された係数値がゼロ値であり、その子ノードのすべてがゼロ値であれば、マークマップロケーションに潜在的なZEROTREE ROOTをマークする。オプションとして量子化された係数がゼロ値を有し、その子孫の一部がゼロでなければ、その係数にIsolated Zeroをマークする。最後に、量子化された値がある値を有し、その子がすべてゼロ値であれば、マークマップロケーションに潜在的なVALUED ZEROTREE ROOTをマークする。
ステップ７１０で、本方法はウェーブレットツリー内のすべてのノードが量子化されたかどうかを問い合わせる。問い合わせに対する答えが否定的であれば、この方法はステップ７１２に進み、ここでウェーブレットツリー内の新しい（次の）ノードまたはツリーを量子化するために選択する。次に本方法はステップ７０４へ戻る。ステップ７１０での問い合わせに対する回答が肯定的であれば、本方法はステップ７１４へ進む。本方法はステップ７１４にてすべてのツリーが量子化されたかどうかを問い合わせる。この問い合わせに対する回答が否定的であれば、この方法はステップ７１６にて新しい（次の）ツリー、すなわち量子化を選択する。ステップ７１４における問い合わせに対する回答が肯定的であれば、本方法はステップ７１８に進む。本方法７００におけるこの点にて、すべてのツリー内のすべてのノードの量子化および予備的なシンボルの割り当てが完了する。ステップ７１８にて、本方法７００は図８のシンボル割り当て方法８００を呼び出す。シンボルが割り当てられた後、方法７００はブロック７２０で終了する。
方法８００はトップダウンパターン、すなわち根元から葉の方向へツリーを走査する。しかしながら、ツリーはZEROTREE ROOTまたはVALUED ZEROTREE ROOTが発生するごとに剪定されるので、本方法はすべてのモードにはアクセスしなくてよい。特に方法８００はステップ８０２でスタートし、ステップ８０４に進む。ステップ８０４では、この方法は量子化された係数のツリーから量子化された係数を検索する。ステップ８０６で本方法は検索された係数に対応するマークマップ内の予備的シンボルを検索する。この方法はステップ８０８で予備的なシンボルが潜在的なZEROTREE ROOTであるかどうかを問い合わせる。この問い合わせに対する回答が肯定的であれば、この方法はステップ８１０でノードにZEROTREE ROOTシンボルを割り当てる。次にステップ８１２でこの方法はツリーを剪定する。すなわちこの方法は定義によりすべてのノードがゼロ値を有するので、このZEROTREE ROOTノードよりも下のすべてのノードを無視する。
この方法は、ステップ８２０ですべてのノードが選択されているかどうかを問い合わせる。すべての８２０における問い合わせに対する回答が否定的であれば、ＮＯパスに沿ってステップ８１４へ進む。ステップ８１４でトップダウンの深度優先走査を実行するように、ツリー内で剪定された枝をスキップした後に次のノードを選択する。
ステップ８０８における問い合わせに対する回答が否定的であれば、ＮＯパスに沿ってステップ８１６に進む。ステップ８１６でこの方法はマークマップが潜在的なVALUED ZEROTREE ROOTの潜在的シンボルを含むかどうかを問い合わせる。ステップ８１６における問い合わせに対する回答が肯定的であれば、ステップ８２２において、この方法はノードにVALUED ZEROTREE ROOTシンボルを割り当て、その値を非ゼロ値のリストに入れ、ステップ８２４でツリーを剪定する。ステップ８２０で、すべてのノードが選択されたかどうかを問い合わせる。ステップ８２０における問い合わせに対する回答が否定的であれば、この方法はステップ８１４に進む。次にステップ８１４において、この方法はシンボル割り当てのための次のノードを選択し、剪定された枝をスキップする。
ステップ８１６における問い合わせに対する回答が否定的であれば、この方法はステップ８１８においてVALUEDシンボルをノードに割り当て、値ゼロを含む値のリストに値を入れる。ステップ８２０ですべてのノードが選択されたかどうかを問い合わせる。このステップ８２０における問い合わせに対する回答が否定的であれば、ステップ８１４に進む。次にステップ８１４でシンボル割り当てのための次のノードを選択する。
すべてのノードにシンボルが割り当てられるまで、この割り当て方法は続く。従って、ステップ８２０における問い合わせに対する回答が肯定的であれば、この方法はステップ８２６に進み、ここでこの方法８００は終了するか、方法７００へ戻る。図７および８にて説明したこれら方法は、ゼロツリーエントロピー符号化（ＺＴＥ）としてひとまとめに知られているものである。
図１および図２に戻ると、エントロピー符号化器１１４、例えば従来の算術符号化器を使ってシンボルおよび値を符号化する（ステップ２１４）。符号化を行う１つの可能な方法は次のとおりである。まず３シンボルアルファベットを使ってシンボルを符号化する。値ゼロを含まないアルファベットを使い、VALUED ZEROTREE ROOTシンボルに１：１対応する非ゼロ値のリストを符号化する。値ゼロを含むアルファベットを使用し、VALUEシンボルに１：１対応する他の係数を符号化する。走査において達する、子を有しない葉となっているノードに対して、ルートシンボルを適用することはできない。従って、このノードに対するシンボルを符号化せず、値ゼロを含むアルファベットを使用して係数を符号化することにより、一部のビットをセーブできる。
シンボルのための３シンボルまたはオプションとしての４シンボル符号化アルファベット、および値のためのマルチシンボルアルファベットを使用する、図示された符号化器は、ウィッテン他による論文「データ圧縮のための算術符号化(Arithmetic Coding for Data Compression)」ＡＣＭの技術報告書、第３０巻、第６号、第５２０〜５４０ページ、１９８７年６月に開示された符号化器に従うものである。実際に、当業者であれば割り当てられたシンボルに従い、係数の値、（または値の表現だけ）を符号化するだけで、本発明を変更できることが認識できよう。すなわち係数の重要性を示すシンボルを符号化することなく、係数の値だけを符号化する。
符号化器１００は（ステップ２１６にて）ポート１１６で符号化された出力画像を発生する。本発明を利用することにより、ウェーブレットツリーの各ノードにおける３つのシンボルのうちの１つと係数値を符号化するためのビットとを使用して、画像を高速かつ効率的に符号化する。
本発明の複数の別の実施例は、画像またはビデオのためのベクトルまたはオブジェクトゼロツリーの符号化に本符号化方式を適用するものである。すなわち量子化および量子化されたウェーブレット係数のゼロツリーエントロピー符号化を行うベクトル（またはオブジェクト）ゼロツリー符号化の原理に対し、ウェーブレット変換を使用する本符号化方式を適用する。本発明のベクトルまたはオブジェクトゼロツリー符号化実施例の各々は、画像、またはビデオ残差のためのウェーブレット係数を符号化するのに、ゼロツリーを使用するベクトルまたはオブジェクト方法からなるものであり、各ウェーブレットツリーの各ノードには、単一係数ではなく、係数のリスト（ベクトル）が関連している。ベクトルゼロツリーエントロピー符号化と称される方法を使い、ツリーノードを走査し、係数を量子化し、シンボルをすべてエントロピー符号化するようになっている。
種々のベクトルまたはオブジェクト実施例は２つのカテゴリー、すなわちスカラーウェーブレット変換を行い、その後、ベクトル（またはオブジェクト）グループ分けするカテゴリーまたはベクトル（またはオブジェクト）グループ分けを行い、その後ベクトルウェーブレット変換を行うカテゴリーに分けられる。すなわち画像、ビデオフレームまたは動き補償されたビデオ残差のフレームをまずスカラーウェーブレット変換もしくはベクトルウェーブレット変換する。図１１〜図１２は、まずスカラーウェーブレット変換を行い、この変換後、ウェーブレット係数をベクトルまたはオブジェクトにグループ分けする第１カテゴリーを示す。これと対照的に、図９〜図１０は入力信号をベクトルとしてグループ分けし、ベクトルウェーブレット変換し、ベクトルとして出力信号を発生する第２カテゴリーを示す。いずれのケースにおいてもウェーブレット係数のベクトルまたはオブジェクトのフレームとしてその結果を見ることができる。
要するに、本発明の２つの実施例（図９および図１０）では、画像またはビデオピクセル、すなわち残差の二次元マトリックスの固定タイルとしてベクトルを定義し、計算されるウェーブレット変換はベクトルウェーブレット変換となる。次にベクトル量子化またはスカラー量子化とベクトルゼロツリーエントロピー符号化とを組み合わせ、符号化された出力画像を発生する。
本発明の別の４つの実施例では、スカラーウェーブレット変換を計算し、次に最も粗いスケールでウェーブレット係数の二次元マトリックスを固定タイルとしてベクトルを定めるか、またはセグメント化アルゴリズムにより任意のサイズおよび形状のオブジェクトを決定する（すなわち２つの実施例が生じる）。次にベクトルゼロツリーエントロピー符号化と組み合わせてベクトルまたはオブジェクトをベクトル量子化またはスカラー量子化し、符号化された出力画像を生成する（すなわち計４つの実施例に対し２つの別の実施例が生じる）。Ｗ.リーおよびＹ.Ｑ.ザンによる「画像およびビデオ圧縮のためのベクトルに基づく信号処理および量子化(Vector-Based Signal Processing and Quantization for Image and Video Compression)」、ＩＥＥＥ予稿集第８３巻、第３１７〜３３５ページ、１９９５年２月には、ある形態のベクトルウェーブレットが開示されている。
図１３は、ベクトルウェーブレットの一例を示す図である。画像またはビデオ残差のベクトルウェーブレットは、画像またはビデオ残差の隣接サンプルをグループにまとめ、ベクトルを形成し、次にこれらベクトルに対しウェーブレット変換を適用するような変換である。ベクトルウェーブレット変換は次の工程によって計算される。すなわち空間的にオフセットされたフレームを示す信号から多数のサブサンプリングされたフレームを得るよう、フレームをサブサンプリングする工程と、ウェーブレット変換係数を示す信号から対応する多数のフレームを得るように離散的ウェーブレット変換によりサブサンプリングされたフレームの各々を変換する工程と、係数を示す信号のそれぞれのフレームの対応する係数を示す信号からベクトルを示す信号を形成する工程を含む。
すなわちフレーム（入力画像）１３０２は二次元の多相成分に分割される。各多相成分は４つのデルタ関数１３０４1〜１３０４4によって示されるような元のフレームの空間的にオフセットしたフレームである。次に、サブサンプラー１３０６を使って、４回のサブサンプリングにより、すなわち２次元の各々で２回のサブサンプリングを行うことにより、各空間的にオフセットされたフレームをサブサンプリングする。
次に、各多相成分にウェーブレット変換１３０８を行い、同じインデックスを有する各ウェーブレット変換された成分から１つずつ、変換係数をグループ分けすることによりベクトルを形成する。このように、ｍ×ｎ個のピクセルのベクトルをｍ×ｎ個の係数ベクトル１３１０に変換する。
このベクトルウェーブレット変換は多数の重なったフレームとして見ることもでき、各ベクトルまたはオブジェクトは係数のすべてが同じインデックスを共有する各フレームからの１つの係数を含む。フレームの数はベクトルの次元またはオブジェクトのサイズに等しい。
次に図９〜図１２を参照し、種々の実施例について説明する。図１１〜図１２はスカラーウェーブレット変換を行い、次にベクトル（またはオブジェクト）のグループ分けを行う４つの実施例を示す図である。図１１および図１２の符号化器は多くの類似性を共用しているので、参照番号を使用することによって、以下、種々の実施例を同時に説明する。
符号化器１１００（１２００）はウェーブレットツリー生成器１１０３（１２０３）と、ベクトルまたはオブジェクト構成器１１０４（１２０４）と、オプションのベクトル／オブジェクトウェーブレットツリー再構成器１１０８（１２０８）と、ベクトル量子化器１１１０（量子化後プロセッサ１２１１を備えたスカラー量子化器１２１０）と、シンボル割り当て器１１１２（１２１２）と、エントロピー符号化器１１１４（ベクトルエントロピー符号化器１２１４）とを含む。これらの構成部品の各々はポート１１０２（１２０２）における画像をポート１１１６（１２１６）における符号化された出力画像となるように処理するよう、直列に接続されている。
ウェーブレットツリー発生器１１０３（１２０３）は上記のように入力画像１１０２（１２０２）の従来のウェーブレットツリー表現を発生するよう、ウェーブレット階層的サブバンド分割を実行する。次に、ベクトルまたはオブジェクト構成器１１０４（１２０４）はウェーブレット変換の低−低バンドにおいて隣接する係数の固定グループ分けによりベクトルを定義する。低−低バンドのウェーブレット係数にセグメント化アルゴリズムを実施することによってオブジェクトが定められる。このセグメント化は完全でオーバーラップしないものと見なす。従って、低−低バンド内の各係数は、唯一のベクトルまたはオブジェクトの要素である。種々のセグメント化アルゴリズム、例えば１９９１年６月にマサチューセッツ工科大学のメディアアートおよび科学学部に提出されたマスター論文の「構造化されたビデオ符号化(Structured Video Coding)」においてパトリック・キャンベル・マクリーンにより開示されているアルゴリズム、または１９９４年１１月１４日に出願された継続中の米国特許出願第08/339,491号に開示されているようなアルゴリズムを本発明に適用できる。
より詳細には、図１４〜図１５を参照する。次に微細なスケールでアウトライン１４０４（１５０４）を定めるよう、アップサンプリングすることにより、ベクトル１４０２またはオブジェクト１５０２をより高いバンドに伝搬させる。より粗いスケールにおけるサイズと同じサイズでベクトルおよび／またはオブジェクトを維持するには、アウトライン内の各ベクトルまたはオブジェクトの係数を図１４〜図１５に示されるような４つのベクトル１４０６またはオブジェクト１５０６にグループ分けし直す。より粗いスケールのベクトルまたはオブジェクトをベクトルまたはオブジェクトの親と称し、次に細かいスケールの４つのベクトルまたはオブジェクトをベクトルまたはオブジェクトの子と称す。４つの多相成分１４０８（１５０８）をとることにより、アウトラインから４つのベクトル／オブジェクトの子を抽出する。この走査はアウトラインのシフトされたサブサンプリングに等価的な走査である。図１４および図１５にベクトルの親と子の関係およびオブジェクトの親と子の関係がそれぞれ示されている。これら関係はベクトルまたはオブジェクトのウェーブレットツリーを定める。
ベクトルまたはオブジェクトウェーブレットツリーの各ノードに、単一の値でなく、ウェーブレット係数のベクトルがあることを除けば、これらベクトルまたはオブジェクトウェーブレットツリーはスカラーＺＴＥ符号化のウェーブレットツリーに類似する。上記スカラーＺＴＥ符号化で行われているように、低−低バンドのルートから子および孫を通るように各ツリーを深度優先方式で横断する。ノードを横断する際に、現量子化仕様に従って係数が量子化される。図１１および図１２に戻ると、スカラー量子化１２１０によるスカラー量子化のベクトルとして、またはベクトル量子化１１１０による単一ベクトル量子化としてこの量子化を行うことができる。種々のベクトル量子化技術、例えばクルーワーアカデミック出版社（１９９２年）が発行した「ベクトル量子化および信号圧縮(Vector Quantization and Singal Compression)」において、アレン・ゲルショー他によって開示されているようなベクトル量子化技術を適用できる。
上記スカラーＺＴＥ符号化と同じように、図１６に示されているような「ウェーブレットブロック」を形成するよう、各ウェーブレットツリーの係数ベクトルを構成し直すことが有利である。
深度優先走査パターンを容易にするために、本発明はオプションとして「ウェーブレットブロック」１６０４を形成するように各ツリーの量子化された係数を形成し直してもよい。図１１および図１２に示されるように、量子化に先立ち、ベクトル／オブジェクトウェーブレットツリー再構成器１１０８（１２０８）において再構成化を行っている。この再構成化はオプションであるので、図１１および図１２の双方は再構成器およびそれに関連する機能をそれぞれバイパスするパス１１０６およびパス１２０６としての再構成器のオプションの性質を示している。
図１６は、発明によって発生されるウェーブレットブロック１６０４を示す概略図である。１つのフレームの各ウェーブレットブロック１６０４は親から子、次に孫へと周波数の高くなる順に構成されたそのブロックの空間ロケーションにおけるフレームを示す全てのスケールと方向性において、これらの係数ベクトルからなる。
すなわち、本発明はウェーブレットツリーにおける低−低バンド１６０６（ＬＬ3）におけるベクトル１６００から延びるツリー１６０２をウェーブレットブロック１６０４にマッピングしている。かかる構造により、ブロックが空間的にどこに位置しているのか、従ってブロックがフレーム内で何を示しているのかに従って、スカラー量子化の場合には量子化率、またはベクトル量子化の場合にはコードブック（すなわち所定の各ベクトルに対し１つのインデックスを定めるルックアップテーブル）を各ブロックに適応させることができる。
深度優先走査パターンを使うことにより、次のブロックを走査する前に、各ウェーブレットブロックを完全に走査し、その係数ベクトルを量子化し、次のブロックに対しても同様な走査を繰り返す。例えばウェーブレットブロックのフレームを通過するようにラスター走査パターンでブロック１６１０を完全に走査し、次にブロック１６１２を走査し、次にブロック１６１４を走査し、同様な走査を繰り返す。ブロックの走査順序はラスター走査である必要はなく、アプリケーションが望む順序とすることができる。
更に本発明は、ウェーブレット係数のベクトルの量子化を行うための２つの異なる方法を提供するものである。図１１および図１２を参照すると、各ベクトルの各要素にて、スカラー量子化として量子化を行ってもよいし、各ベクトルでベクトル量子化として量子化を行ってもよい。各ツリーの各ノードでは、そのノードにおける量子化されたベクトルの特徴を定めるように、シンボル割り当て器１１１２（１２１２）がシンボルを割り当てる。例えば算術符号化器のようなエントロピー符号化器１１１４（１２１４）を用いて、シンボルおよび量子化された係数値のすべてを符号化する。
いずれかのタイプの量子化を行った後は、あるノードにおける係数ベクトルがゼロベクトルであり、すべての子孫がゼロツリーであれば、ゼロツリーが存在する。ノードを表すシンボルを割り当て、ゼロツリーにおけるツリーを剪定することにより、これらツリーを効率的に表現し、符号化する。ウェーブレット係数ベクトルのツリーを忠実に再構成するのに、復号器が必要とするシンボル及び値だけに最小のビット数を割り当てるために、算術符号化器が使用される。
（図１２に示されるような）本発明の一実施例は、ウェーブレット係数のベクトルの要素のスカラー量子化を使用している。量子化後、各ベクトルはすべてがゼロの値、または１つ以上がゼロでない値を含むこととなる。ツリーのノードごとにゼロベクトルがある場合、ベクトルゼロツリーが存在する。ベクトルゼロツリールートとは、ベクトルのゼロツリーのルート（根元）である。ベクトルゼロツリールートにおける係数ベクトルはゼロベクトルであり、ベクトルゼロツリールートのすべての子孫はそれ自身、ベクトルゼロツリールートである。スカラーの場合と同じようにオプションとしていくつかのゼロでない子孫を有するゼロベクトルを定めるベクトルアイソレーティッドゼロシンボルを使用できる。
ゼロツリーの根元でツリーを剪定できるので、ゼロツリールートは重要であり、よって剪定によって除かれた係数を符号化するのにビットは不要である。従って、符号化効率を高めるには、量子化後、できるだけ多くのゼロツリーを有することが望ましい。１つの方法は、最終的な再構成されたフレームに無視できる付加的ひずみしか生じないような場合には、各ベクトルをゼロベクトルに変えるよう、各ベクトルの（図１０および図１２に示されるような）所定の量子化後処理を実行するように、量子化後プロセッサ１２１１（１０１１）を使用することである。各ベクトルの尺度を計算することができ、この尺度が所定のスレッショルドよりも低ければ、このベクトルをゼロにセットする。アプリケーションに完全に依存するこのような量子化後処理に異なる尺度を使用することもできる。例えば、Ｌ１ノルム、すなわち尺度として要素の絶対値和を使用してもよい。
ベクトル要素のスカラー量子化を行い、適当な場合にベクトルをゼロベクトルに強制変化するための量子化後処理を行った後に、スカラーＺＴＥ符号化と同じようにツリーノードの走査および分類を行う。各ノードに３つのシンボル、すなわちZERO TREE ROOT（ゼロツリールート）、VALUED ZERO TREE ROOT （値のあるゼロツリールート）およびVALUE（値）（およびオプションとしてISORATED ZERO（アイソレーティッドゼロ））のうちの１つを割り当てる。これらシンボルはスカラーＺＴＥ符号化と同じ意義を有するが、ノードがベクトルであり、ゼロまたは非ゼロの分類が全ベクトルに関連する点が異なっている。これらシンボルおよび値のテーブルを符号化するのにエントロピー符号化器を使用する。これら値のテーブルはスカラーＺＴＥ符号化と同じように構成する。
（図１１に示されるような）本発明の一実施例は、ウェーブレット係数のベクトルのベクトル量子化を使用する。ベクトル量子化（ＶＱ）とは、成熟した分野であり、種々の形態の所望するＶＱを使用できる。上記のように、実行すると再構成されたフレームのひずみが大幅に増加しない場合、ZERO TREE ROOTの数を増加することは好ましい。この結果を得るには、所定のスレッショルドよりも低い尺度を有するベクトルをゼロベクトルとして再構成されるインデックスにマッピングするようにある種のデッドゾーン（すべてのベクトルがゼロベクトルに量子化される原点のまわりのＮ次元空間における容積）を含むようにＶＱを適応化できる。
ベクトル量子化はそのノードのために最良の再構成ベクトルを選択するベクトルのコードブックのインデックスを用いて、ツリーの各ノードのベクトルを置きかえる。これらコードブックは画像のサンプルトレーニングセットを使用して符号化器をトレーニングすることにより、オフラインで生成される。ベクトル量子化を行った後に、スカラーＺＴＥ符号化と同様な方法でツリーノードの走査および分類を行う。各ノードに３つのシンボル、すなわちZERO TUREE ROOT，VALUED ZERO TREE ROOTおよびVALUE（およびオプションとしてのISOLATED ZERO）のうちの１つを割り当てる。これらシンボルはスカラーＺＴＥ符号化と同じ意義を有するが、ノードがベクトルであり、ゼロまたは非ゼロの分類が全ベクトルに関連する点が異なっている。これらシンボルおよびインデックスのテーブルを符号化するのにエントロピー符号化器を使用する。これらインデックスのテーブルはスカラーＺＴＥ符号化と同じように構成する。
図９および図１０はベクトルウェーブレット変換を使用する本発明の別の実施例を示す図である。再び図９および図１０の符号化器９００および１０００は、図１１および図１２の符号化器にそれぞれ類似しているので、デバイス９０８〜９１４および１００８〜１０１４については説明しない。これらデバイスは１１０８〜１１１４および１２０８〜１２１４の機能と同じ機能を奏するので、これらデバイスの説明は上記説明と同じである。
しかしながら、符号化器１１００および１２００と異なり、符号化器９００および１０００は図１３を参照してこれまで説明したように、ベクトルウェーブレットツリー発生器９０４（１００４）と共にベクトル構成器９０３（１００３）を使用する。すなわちステップ１３０４1-4は集中的にベクトルの構成を行うが、ステップ１３０６および１３０８は集中的にベクトルウェーブレット変換を行い、ベクトルウェーブレットツリー１３１０を生成する。ベクトルウェーブレットツリーが発生した後に、符号化器９００および１０００はそれぞれ符号化器１１００および１２００と同じように作動する。
当業者であれば、ベクトルまたはオブジェクトウェーブレット符号化としてゼロツリーエントロピー（ＺＴＥ）符号化方法を行うが、この符号化は、例えば埋め込み型ゼロツリーウェーブレット（ＥＺＷ）アルゴリズムのような他の符号化方法でも実現できることを認識できよう。
本発明は更に、「アンバランスな」ウェーブレットツリーを取り扱うための方法も含む。この方法はゼロツリーを参照して後述するが、本発明はゼロツリーの応用のみに限定されるものでなく、一般に上記ベクトルおよびオブジェクトウェーブレットの概念を含む任意のウェーブレットツリーに対しても実施できる。更に本発明は、任意のウェーブレット符号化方法、例えば上記のようなＺＴＥおよびＥＺＷと組み合わせて実施できる。
一般的に、ウェーブレット分割（変換）は「偶数長さ」のサイズを有する入力画像に適用される。すなわち周波数の解像度ごとにすべてのサブバンドは１つのサイズを有し、図４および図１７に示されるように、等しいサイズのサブバンドを提供する多数のレベルのウェーブレット分割にしか入力画像が分割されないよう、入力画像を分割する。このことを一般に「一様なウェーブレット分割」と称し、この分割によって生成されるウェーブレットツリーを、図１８に示されるような「バランスのとれた」ツリーと称す。
しかしながら、上記条件を満足しない画像およびビデオフレームは、図１９に示されるようにウェーブレット分割時に「アンバランスな」ツリーを発生する。すなわち分割後は１つ以上の子ノードおよび／または孫ノード（等々）は存在しないことがある。このケースに対する簡単な例は奇数長さの高さまたは幅（または双方）を有する画像、すなわち（２ｎ＋１）×（２ｍ＋１）（ここでｎおよびｍは整数である）を有する画像となる。このようなウェーブレット分割後のウェーブレットツリー内の非均一性は、ユニークなウェーブレットツリー構造を生成し、このような構造は符号化システムの符号化効率を低下させる。すなわち復号器はバランスのとれたウェーブレットツリーを期待しているので、付加的情報を復号器に転送し、「アンバランスな」ウェーブレットツリーから復号器が符号化された画像を正しく再構成するのを助け、よって画像を符号化するのに利用できる貴重なビットを消費しなければならない。
アンバランスなツリーを発生する画像を符号化するのに２つの方法がある。第１の方法は、ウェーブレット分割後、バランスのとれたツリーを発生するために十分に余分なピクセルを入力画像またはそのウェーブレット係数に付加する方法であり、この方法は、データポイントを拡大するので好ましくなく、よって符号化効率を低下させる。第２の方法は、アンバランスな各ツリーに対する親と子の関係を別個に定義する方法である。この方法の主な欠点は、符号化器および復号器の双方で必要な複雑度が更に増すことである。ユニークな親と子の関係を記述するのに余分な情報が必要になることも、符号化効率を低下させる。
本発明では、まず最初にバランスのとれたツリーにアンバランスなツリーをマッピングし、オーバーヘッドを追加することなく、これらツリーを符号化する。符号化器および復号器の双方の側から、本発明について説明する。再びＺＴＥを用いて本発明について説明するが、本発明はこの方法に限定されるものでなく、他の符号化方法も使用できる。
ａ）符号化器にて
図２４は本発明の符号化器２４００のブロック図を示し、図２５は図２４の符号化器２４００の作動を示すフローチャートである。本発明を最良に理解するため、読者は本発明の次の説明を読みながら、図２０、図２４および図２５を同時に参照されたい。
符号化器２４００はウェーブレットツリー発生器１０４と、オプションのウェーブレットツリーマッパー２４１０と、オプションのウェーブレットツリー再構成器１０８と、量子化器１１０と、シンボル割り当て器２４２０と、エントロピー符号化器１１４とを含む。これら構成部品の各々はポート１０２における画像をポート１１６における符号化された出力画像に処理するよう、直列に接続されている。符号化器２４００は図１の符号化器１００と類似であり、同じ番号で同様な部分が示されていると理解すべきである。すなわち符号化器２４００は増設ウェーブレットツリーマッパー２４１０を内蔵し、次にこのツリーマッパー２４１０はシンボル割り当て器２４２０の機能に影響を与える。このように他の部分（または図２５におけるステップ）の説明をこれまで行ったが、ウェーブレットツリーマッパー２４１０およびシンボル割り当て器２４２０について更に後述する。
次に図２４および図２５を参照する。ウェーブレットツリー発生器１０４により任意の形状の画像（入力画像）を分割する。入力画像をバランスのとれたウェーブレットツリーに分割する場合、ウェーブレットツリーマッパー２４１０により実行される機能は不要であり、この機能を図２４内のパス１０６および図２５内のパス２０８を通ってバイパスできる。しかしながら任意の形状のウェーブレット変換を使用して入力画像をウェーブレットサブバンドに分割する場合、その結果、周波数の解像度ごとに生じるサブバンドは異なるサイズを有することがある。簡単な例として、奇数長さの高さおよび幅を有する長方形のオブジェクトを検討する。このオブジェクトを示すサンプルはオブジェクトのアンバランスなツリー表現に変換される異なるサブバンドにわたってサイズが同一ではない。かかる場合、その結果生じるアンバランスなウェーブレットツリーをウェーブレットツリーマッパー２４１０によってマッピングし直す。
ウェーブレットツリーマッパー２４１０（図２５内のステップ２５１０）は新しいウェーブレット係数フレーム（またはウェーブレットツリー構造）を再構成する。新しいウェーブレットフレームは図２０に示されるように周波数方向ごとに同じサイズのサブバンドを有する。これら新しいウェーブレットサブバンドは２つである。すなわち各新しいサブバンドは元のウェーブレット変換の対応するバンドからのすべての係数を収容するのに十分に大きい。新しい各サブバンドの上方の左側コーナーは元のウェーブレットサブバンドからの係数によって満たされ、（ノードのない）空のロケーションはマークされるか、「ＥＭＰＴＹ」（Ｅ）２０１０と表現された情報のない子ノードで置換される。
次に、上記ゼロツリー符号化方法（すなわち図２のステップ２１０〜２１４）のような符号化方法を新しい「バランスのとれた」ウェーブレット係数に適用し、ゼロツリー方法で定められた順序に基づき、すべてのノードをスキャンする。しかしながら「ＥＭＰＴＹ」ノードを加えるにはシンボル割り当て器２４２０によって実行される機能（図２５におけるステップ２５２０）を変更する必要がある。
より詳細には、ノードが「ＥＭＰＴＹ」でない場合、このノードは通常ノードとして符号化する。ツリーの走査中、「ＥＭＰＴＹ」ノードをスキップするが、このことは重要度マップではノードに新しいシンボル「ＳＫＩＰ」を割り当てることを意味する。シンボル「ＳＫＩＰ」の付いたノードは符号化しないので、これらはオーバーヘッドを追加しない。すなわちノード内の情報（すなわち大きさ）は符号化しないが、シンボル「ＳＫＩＰ」を符号化し、送信する。従って、シンボル割り当て器２４２０は、上記ＺＴＥ方法に対し記述したようなシンボルに対する付加的シンボル「ＳＫＩＰ」を追加する。
更に、ＳＫＩＰノードは値ゼロを有する係数と同様に取り扱う。このように、本発明はゼロツリー符号化方法のシンボル指定方式を変えるものではない。
最後に、ウェーブレットツリーマッパー２４１０は図１の符号化器と組み合わされた状態でしか示されていないが、このウェーブレットツリーマッパー２４１０はアンバランスなウェーブレットツリーの問題を解決するよう、同様に符号化器９００、１０００、１１００および１２００に組み込むことができる。
ｂ）復号器にて
図２６は、符号化器２４００からの符号化された出力画像（ビットストリーム）２６０５、すなわち符号化された出力画像を復号するための復号器２６００の簡略な構造を示すブロック図である。この復号器２６００はエントロピー復号部分２６１０と、動き補償／予測部分２６１５と、逆量子化部分２６２０と、逆マッピング部分２６２５と、逆ウエーブレット変換部分２６３０と、種々のマップおよびテーブル、例えば重要度マップ、シンボルリスト、種々のコードブックおよび／またはエントロピーコードテーブルを検索したり、記憶するための記憶装置（すなわちメモリ）２６１５を含む。
復号器２６００はパス２６０５上の符号化されたビットストリーム（すなわち符号化されたビデオ画像）を取り込み、パス２６４０上に復号された出力信号を発生するのに使用される種々のデータ要素を復号する。これら符号化されたビットストリームは伝送チャンネルまたは入力バッファ（図示せず）から直接受信することも可能である。
特に符号化されたビデオビットストリームはエントロピー復号部分２６１０によって受信され、ここでは複数のエントロピーコードテーブルを介し、画像のタイプおよび他のすべての情報を復号する。種々のモード制御情報は動き補償／予測部分２６１５へ転送される。この動き補償／予測部分２６１５は後方動き補償（ＭＣ）部分と、両方向ＭＣ部分と、前方ＭＣ部分と、イントラ符号化部分と、種々のフレーム記憶バッファ（メモリ）とを含むことができる。特定の動き補償またはイントラ符号化部分の適当な選択は、復号された画像タイプに応じて決まる。復号された動きベクトルが存在する場合、記憶された先の画像および／または将来の画像からの変位が動き補償／予測部分２６１５によって受信される。要するに過去のフレームメモリバッファに過去の参照画像を記憶し、将来のメモリバッファ（図示せず）に将来の参照画像を記憶する。これら記憶されたフレームは予測画像を発生するように動きベクトルと共に使用される。
エントロピー復号部分２６１０はウェーブレットツリーの量子化された係数に対応する量子化された係数も復号する。これら復号され、量子化された係数は逆量子化部２６２０へ転送され、ウェーブレット係数を復元する。復元されたウェーブレット係数は次に逆マッピング部分２６２５へ送られる。
逆ウェーブレット変換部分２６４０での実行前に、元の構造にウェーブレット係数フレームをマッピングし直す。より詳細に説明すれば、すべてのノードにおいて係数フレーム（ウェーブレットツリー）をまずゼロで満たす。対応するノードのための大きさおよびインデックスが復号されるにつれ、係数フレームを更新する。符号化器、例えば符号化器２４００が使用するツリー走査に基づき、ビットストリームを復号することに留意すべきである。各ノードのために復号する間、ノードシンボルが「ＳＫＩＰ」でなければ、シンボルおよびその値を復号し、これを使って係数フレームを更新し、「ＳＫＩＰ」シンボルを有するノードをスキップする。すなわち「ＳＫＩＰ」シンボルは検出時に「ＥＭＰＴＹ」ノードとして指定する。
次に符号化器２４００内に記載されているフレームを逆マッピングすることにより、復号されたウェーブレット変換係数を元のサイズのフレームにマッピングし戻す。すなわち「ＥＭＰＴＹ」ノードは係数フレームから除去される。最後に、ウェーブレット係数に逆ウェーブレット変換を実施し復号された画像を再構成する。最後に、予測画像が存在する場合、符号化モードに応じ、この予測画像に復号された画像を加え、パス２６４０に復号された画像を発生することができる。
任意の形状の画像およびビデオオブジェクトの質を良好にし、符号化をより効率的にするために、本明細書に開示した方法は余分なオーバーヘッドを増すことなく、すなわちアンバランスなツリーの構造を復号器に伝えるために貴重なビットを消費することなく、アンバランスなツリーを処理する。本方法はゼロツリー符号化方法を含む、ウェーブレットツリーに基づく符号化方式により実行できる効率的なマッピング方法を実施する。従って、上記符号化器２４００のための相補的な復号器２６００について説明する。しかしながら符号化器１００、９００、１０００、１１００および１２００のための相補的復号器は、復号器２４００について説明したのと同様に実現することも可能である。すなわち符号化された信号を復号し、元の入力画像を生成するのに、対応する逆処理ステップを使用する。
本発明はＤＣ／ＡＣテーブルを使用し、予測するための方法も更に含む。ＺＴＥ符号化方法では、複数のテーブルを使用し、エントロピー符号化器、例えば図１内のエントロピー符号化器１１４を用いて重要なシンボルを符号化する。
より詳細には、エントロピー符号化器は３つの異なるテーブル「ＴＹＰＥ」、「ＶＡＬＺ」および「ＶＡＬＮＺ」を使用する。ここで、テーブルＴＹＰＥ（重要度マップ）は各ウェーブレット係数の重要なシンボルを符号化するのに使用され、テーブルＶＡＬＮＺはシンボルＶＺＴＲ、あるいはシンボルの葉に位置する非ゼロウェーブレット係数値を有するウェーブレット係数値を符号化するのに使用され、テーブルＶＡＬＺは非ゼロウェーブレット係数値の残りを符号化するのに使用される。ウェーブレットツリーのすべての周波数バンドはこれらテーブルを共用する。要するに、エントロピー（算術）符号化器はこれらテーブルを使用し、統計値を集め、他の係数値に対する係数値およびそれらの位置の範囲に関する見通しを与える。すなわちこれらに関する動向を明らかにする。かかる情報は算術符号化器によって使用され、符号化効率を改善することができる。すなわち頻繁に出現するタイプ、または係数値を示すのに、少ないビットのシンボルを割り当てることができる。
本発明では、ウェーブレットツリー内の特定バンドの問題を解決するのに２つの別のテーブルを含む。より詳細には、ＬＬバンド（図２１に示されるようなバンド１）内のウェーブレット係数の分布を適応的に更新するのにＤＣテーブルを使用する。更に、ＨＬ、ＬＨおよびＨＨバンド（図２１に示されるようなバンド２〜４）におけるウェーブレット係数の分布を適応的に更新するのに、第２ＡＣテーブルを使用する。他の残りのバンドは上記２つのテーブルＶＡＬＺおよびＶＡＬＮＺを使用する。一般にウェーブレットツリー全体に対し、ＴＹＰＥテーブルを使用する。
低解像度のバンドで別個のテーブルを使用することは、これらバンドにおけるウェーブレット係数の分布が他の解像度のバンドの分布と大幅に異なるという事実を前提とする。
第２実施例では、他のバンドに対する付加的テーブルが含まれる。より詳細には、図２１に示されるように、バンド５〜７におけるウェーブレット係数の分布を適応的に更新するのに別個のＡＣ２テーブルを使用する。図２１に示されるようなバンド８〜１０におけるウェーブレット係数の分布を適応的に更新するのに、別個のＡＣ３テーブルを使用し、次々に同様の更新を行う。一般に、ウェーブレット変換の各解像度に対し、別個のテーブルを割り当てることができる。
第３実施例では、ＤＣバンド（図２１におけるバンド１）に対し、全ての係数のタイプを「ＶＡＬＵＥ」（非ゼロ）と見なす。このように、このバンドにおける係数に対するシンボルは符号化せず、係数値だけを符号化し、よって符号化効率を更に改善する。
本発明は更に後方予測方法を使用し、ＬＬバンドにおける係数の符号化を改善するための方法も更に含む。図２２を参照すると、ａ、ｂ、ｃおよびｘがＬＬバンドにおける４つのゼロでないウェーブレット係数である場合、次のようにｘに関し差分値を符号化する。
絶対値（ａ−ｂ）＜絶対値（ａ−ｃ）であれば、ｘ−ｃを符号化し、
そうでなければ、ｘ−ｂを符号化する。 （１）
次に、復号器は次のように値ｘを計算する。
絶対値（ａ−ｂ）＜絶対値（ａ−ｃ）であれば、ｘ＝値＋ｃとし、
そうでなければ、ｘ＝値＋ｂとする。 （２）
ここで、「値」とは復号器が受信する値のことである。要するに、式（１）は、絶対値（ａ−ｂ）＜絶対値（ａ−ｃ）であれば、ｘはｃ（水平方向の係数）に近く、そうでなければ、ｘはｂ（垂直方向の係数）に近いことを意味する。従って、この方法は予測がベースとする方向を記述するのに、ビット（オーバーヘッド）を伝送する必要がない。
本発明は空間階層性をもつゼロツリー符号化を行うための方法を更に含む。この方法は、幅優先、すなわちバンド優先走査順序を使用する。すなわちまず最初に低−低バンドのウェーブレット係数を符号化し、次に他の低い解像度のバンドの係数を符号化する。次に高い解像度の係数を次に符号化し、図２３に示されるように、ビットストリーム内に入れる。（１〜１０の番号の付いた）ビットストリーム部分は、図２１に示されたバンドの番号に対応する。この方法は、最後の高−高バンドの係数を符号化し、ビットストリーム内に入れるまで続けられる。
要するに、各解像度はビットストリームの特定セグメントを割り当て、すなわち占有する。従って、ビットストリームを部分的に復号すると、より低い解像度の復号された画像を提供できる。すなわち部分的な逆ウェーブレット変換を行うことによって、より低い解像度の画像を得ることができる。この方法は、より低い解像度のための復号器の計算の複雑さを簡略化できる。
更に、画像を符号化する間に１つの解像度だけのビットレートを制御することが可能である。任意のビットレートで各解像度を符号化するには、各解像度に異なる量子化ステップサイズ（量子化器）を割り当てなければならない。従って、Ｎレベルのウェーブレット変換に対しては、符号化器でＮ個の量子化ステップのサイズを定義しなければならない。
図２７は、本発明の符号化システム２７００および復号システム２７０５を示す。この符号化システム２７００は汎用コンピュータ２７１０および種々の入力／出力デバイス２７２０を含み、この汎用コンピュータは中央処理ユニット（ＣＰＵ）２７１２と、メモリ２７１４と、あるシーケンスの画像を受信し、符号化するための符号化器２７１６とを含む。
好ましい実施例では符号化器２７１６は、上記のように単なる符号化器１００，符号化器９００，符号化器１０００，符号化器１１００，符号化器１２００および／または符号化器２４００である。符号化器２７１６を通信チャンネルを介し、ＣＰＵ２７１２に結合された物理的デバイスとすることができる。これとは異なり、符号化器２７１６を記憶デバイス、例えば磁気または光ディスクからロードされ、コンピュータのメモリ２７１４に記憶されたソフトウェアアプリケーションによって構成することもできる。このように本発明の符号化器１００，符号化器９００，符号化器１０００，符号化器１１００，符号化器１２００および符号化器２４００をコンピュータが読み取りできる媒体上に記憶することが可能である。
コンピュータ２７１０は複数の入出力デバイス２７２０、例えばキーボード，マウス，カメラ，ポータブルビデオレコーダ，ビデオモニタ，任意の数の撮像デバイスまたはテープドライブ，フレキシブルディスクドライブ，ハードディスクドライブまたはコンパクトディスクドライブ（これらのみに限定されるものではない）を含む記憶デバイスに結合できる。入力デバイスは符号化されたビデオビットストリームを発生するためにコンピュータへ入力信号を与えたり、記憶デバイスまたは撮像デバイスからビデオ画像のシーケンスを受信するように働く。
通信チャンネル２７５０を介し、復号システムにこの符号化システムが結合されている。本発明は特定タイプの通信チャンネルに限定されるものではない。
復号システム２７０５は汎用コンピュータ２７３０と、種々の入出力デバイス２７４０を含む。この汎用コンピュータは中央処理ユニット（ＣＰＵ）２７３２と、メモリ２７３４と、あるシーケンスの符号化された画像を受信し、復号するための復号器２７３６とを含む。
好ましい実施例では、復号器２７３６は単なる復号器２６００または上記のような符号化器１００，９００，１０００，１１００および１２００に相補的な、任意の復号器である。復号器２７３６は通信チャンネルを介し、ＣＰＵ２７３２に結合された物理的デバイスとすることができるし、またはこれと異なり、この復号器２７３６を記憶デバイス、例えば磁気または光ディスクからロードされ、コンピュータのメモリ２７３４に記憶されたソフトウェアアプリケーションによって構成することもできる。このように、本発明の復号器２６００および符号化器１００，９００，１０００，１１００および１２００の相補的復号器のいずれかをコンピュータが読み取りできる媒体に記憶させることもできる。
コンピュータ２７３０は複数の入出力デバイス２７４０、例えばキーボード，マウス，ビデオモニタまたはテープドライブ，フレキシブルディスクドライブ，ハードディスクドライブまたはコンパクトディスクドライブ（これらに限定されるものではない）を含む画像を記憶または分配するための任意の数のデバイスに結合できる。これら入力デバイスはコンピュータが復号されたビデオ画像のシーケンスを記憶したり、分配できるようにさせることができる。
以上で本発明の要旨を含む種々の実施例について詳細に示し、説明したが、当業者はこれら要旨を含む他の多くの変形実施例を容易に考え付くことができよう。
本発明の画像符号化器のブロック図である。 図１に示された符号化器の符号化方法を示すフローチャートである。 ウェーブレットツリーにおける３つのスケールに分割された画像におけるサブバンドの親と子の依存性を示す概略図である。 サブサンプリングされた画像の３つの世代における親と子の関係を示す図である。 ウェーブレットツリーにおける種々のノードの相互の関係を示す概略図である。 ウェーブレットツリーのウェーブレットブロック表現である。 本発明によって実行される量子化方法のフローチャートである。 本発明によって実行されるシンボル割り当て方法のフローチャートである。 ベクトル−ウェーブレット変換の一実施例のブロック図である。 ベクトル−ウェーブレット変換の別の実施例のブロック図である。 スカラー−ウェーブレット変換と、その後に行われるベクトルまたはオブジェクトグループ分けの一実施例のブロック図である。 スカラー−ウェーブレット変換と、その後に行われるベクトルまたはオブジェクトグループ分けの別の実施例のブロック図である。 ベクトルのウェーブレットの一例を示す図である。 ベクトルの親と子の関係を示す図である。 オブジェクトの親と子の関係を示す図である。 「ウェーブレットブロック」を形成するための各ウェーブレットツリーの係数ベクトルの再構成を示す図である。 バランスのとれたウェーブレットツリーにおいて３つのスケールに分割された画像におけるサブバンドの親と子の依存性を示す概略図である。 バランスのとれたツリーの概略図である。 アンバランスなツリーの概略図である。 挿入された空のノードを有するバランスのとれたツリーの概略図である。 ３つのスケールに分割された画像におけるサブバンドの走査の概略図である。 ４つのゼロでないウェーブレット係数の概略図である。 ビットストリームにおける図２１の符号化されたサブバンドのロケーションの概略図である。 本発明の画像符号化器の別の実施例のブロック図である。 図２４に示された符号化器の符号化方法を示すフローチャートである。 本発明の画像復号器のブロック図である。 本発明の符号化／復号システムを示す図である。
符号の説明
１００，２７１６…符号化器、１０２，１１６，９０２，９１６，１００２，１０１６，１１０２，１１１６，１２０２，１２１６…ポート、１０４，１１０３，１２０３…ウェーブレットツリー生成器、１０６，９０６，１００６，１１０６，１２０６，２６４０…パス、１０８…ウェーブレットツリー再構成器、１１０…量子化器、１１２…シンボル割り当て器、１１４，９１４，１１１４…エントロピー符号化器、９０３，１００３…ベクトル構成器、９０４，１００４…ベクトルウェーブレットツリー生成器、９０８，１００８…ベクトルウェーブレットツリー再構成器、９１０，１１１０…ベクトル量子化器、９１２，１０１２，１１１２，１２１２，２４２０…シンボル割り当て器、１１１０，１２１０…スカラー量子化器、１０１１，１２１１…量子化後プロセッサ、１０１４，１２１４…ベクトルエントロピー符号化器、１１０４，１２０４…ベクトルまたはオブジェクト構成器、１１０８，１２０８…ベクトル／オブジェクトウェーブレットツリー再構成器、２４１０…ウェーブレットツリーマッパー、２６１０…エントロピー復号部分、２６１５…マップ／テーブル、２６２０…逆量子化器、２６２５…逆マッピング、２６３０…逆ウェーブレット変換、２７１０，２７３０…汎用コンピュータ、２７１２，２７３２…ＣＰＵ、２７１４，２７３４…メモリ、２７２０，２７４０…入出力デバイス、２７３６…復号器。

Claims (13)

  1. 親と子の関係をもつ複数のノードを有するウェーブレットツリーを生成するよう、ウェーブレット変換を利用して入力画像を符号化するための方法において、
    （ａ）複数の係数を有するアンバランスな第１のウェーブレットツリーであって、該複数の係数の各々が該第１のウェーブレットツリーのノードに対応する該第１ウェーブレットツリーを前記入力画像に対して生成するステップと、
    （ｂ）前記第１ウェーブレットツリーの係数フレームと異なる係数フレームを有するアンバランスな第２ウェーブレットツリーに、前記第１ウェーブレットツリーをマッピングするステップと、
    （ｃ）前記第２ウェーブレットツリーの前記複数の係数を符号化するステップとを有する、入力画像を符号化するための方法。
  2. 前記第１ウェーブレットツリー内に対応するノードが存在しない場合、前記第２ウェーブレットツリーのノードを空のノードとして取り扱う、請求項１に記載の方法。
  3. 前記符号化するステップ（ｃ）に先立ち、前記第２ウェーブレットツリーの前記複数の係数を量子化するステップ（ｂ１）をさらに含む、請求項２に記載の方法。
  4. （ｂ１）前記第２ウェーブレットツリーの前記複数の係数を量子化するステップと、
    （ｂ２）前記符号化するステップ（ｃ）に先立ち、前記複数の量子化された係数の各々に１つのシンボルを割り当てるステップとを有し、
    前記符号化するステップ（ｃ）は、前記割り当てられたシンボルに従い、前記第２ウェーブレットツリーの前記複数の量子化された係数を符号化することを特徴とする請求項１に記載の方法。
  5. 前記量子化するステップは、深度優先パターンで実行される、請求項４に記載の方法。
  6. 前記深度優先パターンは、親ノードから開始して子ノードに進み、次の親のノードに進む前に、前記子のすべての子孫ノードに進むトップダウン走査パターンを有する、請求項５に記載の方法。
  7. 前記シンボルを割り当てるステップ（ｂ２）は、量子化された係数の各々に、ZEROTREE ROOTシンボル、VALUED ZEROTREE ROOT シンボル、VALUEシンボル又はSKIPシンボルの何れかを割り当て、前記ZEROTREE ROOTシンボルは、ゼロツリーのルートであるノードの係数を表し、VALUED ZEROTREE ROOTシンボルは、非ゼロ値を有し、全てゼロルートの子を有するノードの係数を意味し、前記VALUEシンボルは、数値を有し、非ゼロ値を有する少なくとも１つの子孫を有するノードの係数を意味し、前記SKIPシンボルは、スキップされるべきノードを意味する、請求項４に記載の方法。
  8. 前記ウェーブレットツリーは、ベクトルウェーブレットツリーを表す、請求項１に記載の方法。
  9. 前記ウェーブレットツリーは、オブジェクトウェーブレットツリーを表す、請求項１に記載の方法。
  10. 親と子の関係に構成された複数のノードを有するウェーブレットツリーを生成するよう、ウェーブレット変換を利用して符号化された画像を搬送する信号を復号するための方法において、
    （ａ）複数の係数を有するバランスがとれた第１のウェーブレットツリーであって、該複数の係数の各々が該第１のウェーブレットツリーのノードに対応する該第１ウェーブレットツリーを前記信号から生成するステップと、
    （ｂ）前記第１ウェーブレットツリーの係数フレームと異なる係数フレームを有するアンバランスな第２ウェーブレットツリーに、前記第１ウェーブレットツリーをマッピングするステップと、
    （ｃ）前記画像を生成するために前記第２ウェーブレットツリーを使用するステップとを有する、画像を搬送する信号を復号するための方法。
  11. 親と子の関係に構成された複数のノードを有するウェーブレットツリーを生成するよう、ウェーブレット変換を利用して入力画像を符号化するための装置において、
    複数の係数を有するアンバランスな第１のウェーブレットツリーであって、該複数の係数の各々が該第１のウェーブレットツリーのノードに対応する該第１ウェーブレットツリーを前記入力画像に対して生成するウェーブレットツリー生成器と、
    前記第１ウェーブレットツリーの係数フレームと異なる係数フレームを有するバランスのとれた第２ウェーブレットツリーに、前記第１ウェーブレットツリーをマッピングするための、前記ウェーブレットツリー生成器に結合されたウェーブレットツリーマッパーと、
    前記第２ウェーブレットツリーの前記複数の係数を符号化するための、前記ウェーブレットツリーマッパーに結合された符号化器とを備えた、入力画像を符号化するための装置。
  12. 前記第２ウェーブレットツリーの前記複数の係数を量子化するための、前記ウェーブレットツリーマッパーに結合された量子化器と、
    前記複数の量子化された係数の各々にシンボルを割り当てるための、前記量子化器および前記符号化器に結合されたシンボル割り当て器とを更に備え、前記割り当てられたシンボルに従って前記第２ウェーブレットツリーの前記複数の量子化された係数を符号化する、請求項１１に記載の装置。
  13. 親と子の関係に構成された複数のノードを有するウェーブレットツリーを生成するよう、ウェーブレット変換を利用して入力画像を符号化し、復号するための信号処理システムにおいて、
    符号化器を有し、
    該符号化器は、
    複数の係数を有するアンバランスな第１のウェーブレットツリーであって、該複数の係数の各々が該第１のウェーブレットツリーのノードに対応する該第１ウェーブレットツリーを前記入力画像に対して生成するウェーブレットツリー生成器と、
    前記第１ウェーブレットツリーの係数フレームと異なる係数フレームを有するバランスのとれた第２ウェーブレットツリーに、前記第１ウェーブレットツリーをマッピングするための、前記ウェーブレットツリー生成器に結合されたウェーブレットツリーマッパーと、
    前記第２ウェーブレットツリーの前記複数の係数を符号化するための、前記ウェーブレットツリーマッパーに結合された符号化器と、を備え、
    前記符号化器に結合された復号器は、
    各々が第３ウェーブレットツリーの１つのノードに対応する複数の係数を信号から復号するための復号器と、
    前記第３ウェーブレットツリーの係数フレームと異なる係数フレームを有する第４ウェーブレットツリーに、前記第３ウェーブレットツリーをマッピングするための、前記復号器に結合されたウェーブレットツリーマッパーと、
    前記第２ウェーブレットツリーを画像に変換するための、前記ウェーブレットツリーマッパーに結合された逆変換部分とを備えた、入力画像を符号化し、復号化するための信号処理システム。
JP2005356138A 1997-02-12 2005-12-09 ウェーブレットに基づく符号化方法により生成されたウェーブレットツリーを符号化するための装置および方法 Pending JP2006186995A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US3705597P 1997-02-12 1997-02-12
US09/002,251 US6157746A (en) 1997-02-12 1997-12-31 Apparatus and method for encoding wavelet trees generated by a wavelet-based coding method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP53672998A Division JP2001527710A (ja) 1997-02-12 1998-02-11 ウェーブレットに基づく符号化方法により生成されたウェーブレットツリーを符号化するための装置および方法

Publications (1)

Publication Number Publication Date
JP2006186995A true JP2006186995A (ja) 2006-07-13

Family

ID=26670130

Family Applications (2)

Application Number Title Priority Date Filing Date
JP53672998A Pending JP2001527710A (ja) 1997-02-12 1998-02-11 ウェーブレットに基づく符号化方法により生成されたウェーブレットツリーを符号化するための装置および方法
JP2005356138A Pending JP2006186995A (ja) 1997-02-12 2005-12-09 ウェーブレットに基づく符号化方法により生成されたウェーブレットツリーを符号化するための装置および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP53672998A Pending JP2001527710A (ja) 1997-02-12 1998-02-11 ウェーブレットに基づく符号化方法により生成されたウェーブレットツリーを符号化するための装置および方法

Country Status (7)

Country Link
US (3) US6157746A (ja)
EP (1) EP0960481A4 (ja)
JP (2) JP2001527710A (ja)
KR (1) KR100487776B1 (ja)
CN (1) CN1161708C (ja)
TW (1) TW407432B (ja)
WO (1) WO1998036632A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095341A1 (ja) * 2009-02-18 2010-08-26 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
JP2012085313A (ja) * 2006-12-07 2012-04-26 Qualcomm Inc ラインに基づくビデオレート制御および圧縮
JP2016066871A (ja) * 2014-09-24 2016-04-28 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3213561B2 (ja) * 1997-02-05 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
US6735253B1 (en) 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US6408101B1 (en) * 1997-12-31 2002-06-18 Sarnoff Corporation Apparatus and method for employing M-ary pyramids to enhance feature-based classification and motion estimation
AUPP248298A0 (en) * 1998-03-20 1998-04-23 Canon Kabushiki Kaisha A method and apparatus for hierarchical encoding and decoding an image
US7143434B1 (en) 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
JP2000184204A (ja) * 1998-12-11 2000-06-30 Canon Inc 画像処理装置及び方法及び記憶媒体
KR100284027B1 (ko) * 1998-12-22 2001-03-02 서평원 웨이블릿 패킷 계수의 재배치방법
US6898756B1 (en) * 1999-03-15 2005-05-24 Georgia Tech Research Corporation System and method for enabling efficient error correction and encryption using wavelet transforms over finite fields
US6678419B1 (en) * 1999-03-26 2004-01-13 Microsoft Corporation Reordering wavelet coefficients for improved encoding
US8212893B2 (en) 1999-06-08 2012-07-03 Verisign, Inc. Digital camera device and methodology for distributed processing and wireless transmission of digital images
US7369161B2 (en) 1999-06-08 2008-05-06 Lightsurf Technologies, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
US7372485B1 (en) 1999-06-08 2008-05-13 Lightsurf Technologies, Inc. Digital camera device and methodology for distributed processing and wireless transmission of digital images
AUPQ156299A0 (en) * 1999-07-12 1999-08-05 Canon Kabushiki Kaisha Method and apparatus for discrete wavelet transforms and compressed bitstream ordering for block entropy coding of subband image data
US7065253B2 (en) * 1999-09-03 2006-06-20 Intel Corporation Wavelet zerotree coding of ordered bits
US6633610B2 (en) * 1999-09-27 2003-10-14 Intel Corporation Video motion estimation
US6956903B2 (en) 2001-05-29 2005-10-18 Intel Corporation Method and apparatus for three-dimensional wavelet transform
US6834123B2 (en) * 2001-05-29 2004-12-21 Intel Corporation Method and apparatus for coding of wavelet transformed coefficients
US6625217B1 (en) * 1999-10-15 2003-09-23 Lucent Technologies Inc. Constrained wavelet packet for tree-structured video coders
US7103357B2 (en) 1999-11-05 2006-09-05 Lightsurf Technologies, Inc. Media spooler system and methodology providing efficient transmission of media content from wireless devices
FR2801447B1 (fr) * 1999-11-19 2002-02-15 Canon Kk Analyse, synthese, codage et decodage de signaux numeriques avec segmentation hierarchique
US7421136B2 (en) * 1999-11-24 2008-09-02 Ge Medical Systems Information Technologies Inc. Image tessellation for region-specific coefficient access
US20020044696A1 (en) * 1999-11-24 2002-04-18 Sirohey Saad A. Region of interest high resolution reconstruction for display purposes and a novel bookmarking capability
US7236637B2 (en) * 1999-11-24 2007-06-26 Ge Medical Systems Information Technologies, Inc. Method and apparatus for transmission and display of a compressed digitized image
US6944350B2 (en) * 1999-12-17 2005-09-13 Utah State University Method for image coding by rate-distortion adaptive zerotree-based residual vector quantization and system for effecting same
US7847833B2 (en) 2001-02-07 2010-12-07 Verisign, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
FR2814010B1 (fr) * 2000-09-13 2002-11-08 Canon Kk Analyse, synthese, codage et decodage de signaux numeriques avec filtrage non lineaire
US8205237B2 (en) 2000-09-14 2012-06-19 Cox Ingemar J Identifying works, using a sub-linear time search, such as an approximate nearest neighbor search, for initiating a work-based action, such as an action on the internet
US6661842B1 (en) * 2000-09-22 2003-12-09 General Dynamics Decision Systems, Inc. Methods and apparatus for error-resilient video coding
KR100361804B1 (ko) 2001-01-09 2002-11-23 이화트론 주식회사 웨이브렛 이론을 이용한 동영상 압축/복원 장치 및 그 방법
GB2392338B (en) * 2001-03-13 2005-10-05 Loronix Information Systems In Data compression by reducing redundancy
US7305354B2 (en) 2001-03-20 2007-12-04 Lightsurf,Technologies, Inc. Media asset management system
WO2003003285A1 (en) * 2001-06-29 2003-01-09 Oki Electric Industry Co., Ltd. Method and system for watermarking an electrically depicted image
HK1037462A2 (en) * 2001-07-20 2002-01-04 Univ City Hong Kong Image compression
EP1296524A1 (en) * 2001-09-20 2003-03-26 STMicroelectronics S.r.l. Process and apparatus for the compression of digital video signals, a system and a computer program product therefor
US7339992B2 (en) 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
US7724281B2 (en) 2002-02-04 2010-05-25 Syniverse Icx Corporation Device facilitating efficient transfer of digital content from media capture device
US7302006B2 (en) * 2002-04-30 2007-11-27 Hewlett-Packard Development Company, L.P. Compression of images and image sequences through adaptive partitioning
US7433526B2 (en) * 2002-04-30 2008-10-07 Hewlett-Packard Development Company, L.P. Method for compressing images and image sequences through adaptive partitioning
KR100480600B1 (ko) * 2002-06-12 2005-04-06 삼성전자주식회사 그룹화된 제로트리 웨이블릿 영상부호화 방법 및 장치
US7051040B2 (en) 2002-07-23 2006-05-23 Lightsurf Technologies, Inc. Imaging system providing dynamic viewport layering
WO2004068410A1 (fr) * 2002-12-31 2004-08-12 France Telecom Procédé et dispositif de détection de points d'intérêt dans une image numérique source, programme d'ordinateur et support de données correspondants.
JP4114534B2 (ja) * 2003-05-02 2008-07-09 ソニー株式会社 画像符号化装置及び方法
US7292635B2 (en) * 2003-07-18 2007-11-06 Samsung Electronics Co., Ltd. Interframe wavelet video coding method
US20050228654A1 (en) * 2004-03-30 2005-10-13 Yolanda Prieto Method and apparatus for improved bit rate efficiency in wavelet based codecs by means of subband correlation
KR100850838B1 (ko) * 2004-07-29 2008-08-06 콸콤 인코포레이티드 인터리빙을 위한 시스템 및 방법
US7660475B2 (en) * 2004-12-22 2010-02-09 Ntt Docomo, Inc. Method and apparatus for coding positions of coefficients
US10803126B1 (en) 2005-01-13 2020-10-13 Robert T. and Virginia T. Jenkins Method and/or system for sorting digital signal information
WO2006096612A2 (en) 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
US7769474B2 (en) * 2005-09-20 2010-08-03 Honeywell International Inc. Method for soft-computing supervision of dynamical processes with multiple control objectives
ES2386977T3 (es) * 2005-11-29 2012-09-10 Google Inc. Aplicaciones sociales e interactivas para medios masivos
KR101001691B1 (ko) 2006-03-13 2010-12-15 노틸러스효성 주식회사 웨이블렛 변환을 이용한 권종인식방법
ES2612950T3 (es) 2006-03-16 2017-05-19 Huawei Technologies Co., Ltd. Un método y un dispositivo para realizar una cuantificación en codificación-descodificación
US7831531B1 (en) 2006-06-22 2010-11-09 Google Inc. Approximate hashing functions for finding similar content
US8358693B2 (en) * 2006-07-14 2013-01-22 Microsoft Corporation Encoding visual data with computation scheduling and allocation
US8311102B2 (en) * 2006-07-26 2012-11-13 Microsoft Corporation Bitstream switching in multiple bit-rate video streaming environments
US8340193B2 (en) * 2006-08-04 2012-12-25 Microsoft Corporation Wyner-Ziv and wavelet video coding
US8411977B1 (en) 2006-08-29 2013-04-02 Google Inc. Audio identification using wavelet-based signatures
WO2008081459A2 (en) * 2007-01-03 2008-07-10 Numeri Ltd. A method and a system for wavelet based processing
US8340192B2 (en) * 2007-05-25 2012-12-25 Microsoft Corporation Wyner-Ziv coding with multiple side information
US8094951B2 (en) * 2008-02-22 2012-01-10 Himax Technologies Limited Coding system and method for a bit-plane
WO2009126785A2 (en) 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
WO2009155281A1 (en) 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
WO2011002492A1 (en) * 2009-07-02 2011-01-06 Thomson Licensing Methods and apparatus for video encoding and decoding binary sets using adaptive tree selection
KR101474756B1 (ko) 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
CN104661038B (zh) 2009-12-10 2018-01-05 Sk电信有限公司 使用树形结构的解码装置
WO2011071342A2 (ko) * 2009-12-10 2011-06-16 에스케이텔레콤 주식회사 트리 구조를 이용한 부호화/복호화 방법 및 장치
US8625033B1 (en) 2010-02-01 2014-01-07 Google Inc. Large-scale matching of audio and video
US11259020B2 (en) 2013-04-05 2022-02-22 Qualcomm Incorporated Determining palettes in palette-based video coding
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US9444548B1 (en) * 2014-10-15 2016-09-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Wavelet-based processing for fiber optic sensing systems
US10200716B2 (en) 2015-06-25 2019-02-05 Sony Interactive Entertainment Inc. Parallel intra-prediction encoding/decoding process utilizing PIPCM and/or PIDC for selected sections
US10462490B2 (en) * 2015-11-06 2019-10-29 Raytheon Company Efficient video data representation and content based video retrieval framework
RU2616176C1 (ru) * 2016-03-28 2017-04-12 Федеральное государственное бюджетное образовательное учреждение высшего образования "Тульский государственный университет" (ТулГУ) Способ кодирования-декодирования цифровых видеоизображений
JP7322020B2 (ja) * 2018-06-27 2023-08-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS583033A (ja) * 1981-06-30 1983-01-08 Fujitsu Ltd 木構造検索処理装置
US4943855A (en) 1988-07-22 1990-07-24 At&T Bell Laboratories Progressive sub-band image coding system
JP3085465B2 (ja) * 1989-10-31 2000-09-11 オリンパス光学工業株式会社 画像データの符号化装置および符号化方法
US5048111A (en) * 1989-11-06 1991-09-10 Eastman Kodak Company Hybrid subband-based hierarchical storage and display method for high resolution digital images in a multiuse environment
EP0449529B1 (en) * 1990-03-24 1997-02-12 Canon Kabushiki Kaisha Image processing method and apparatus
US5384725A (en) * 1990-05-18 1995-01-24 Yale University Method and apparatus for encoding and decoding using wavelet-packets
GB2252001B (en) * 1991-01-11 1995-01-04 Sony Broadcast & Communication Storage of video signals
US5757973A (en) 1991-01-11 1998-05-26 Sony Corporation Compression of image data seperated into frequency component data in a two dimensional spatial frequency domain
US5218435A (en) 1991-02-20 1993-06-08 Massachusetts Institute Of Technology Digital advanced television systems
JPH0563996A (ja) * 1991-09-02 1993-03-12 Ricoh Co Ltd 画像処理装置
US5315670A (en) * 1991-11-12 1994-05-24 General Electric Company Digital data compression system including zerotree coefficient coding
US5337085A (en) 1992-04-10 1994-08-09 Comsat Corporation Coding technique for high definition television signals
GB2268667B (en) 1992-06-24 1995-11-08 Sony Broadcast & Communication Serial data decoding
GB2268613B (en) 1992-07-06 1996-03-20 Sony Broadcast & Communication Digital signal processing apparatus
JP2621747B2 (ja) * 1992-10-06 1997-06-18 富士ゼロックス株式会社 画像処理装置
US5412741A (en) * 1993-01-22 1995-05-02 David Sarnoff Research Center, Inc. Apparatus and method for compressing information
US5298896A (en) * 1993-03-15 1994-03-29 Bell Communications Research, Inc. Method and system for high order conditional entropy coding
JP3385077B2 (ja) 1993-10-28 2003-03-10 松下電器産業株式会社 動きベクトル検出装置
IL107658A0 (en) 1993-11-18 1994-07-31 State Of Israel Ministy Of Def A system for compaction and reconstruction of wavelet data
US5509088A (en) * 1993-12-06 1996-04-16 Xerox Corporation Method for converting CCITT compressed data using a balanced tree
US5867602A (en) * 1994-09-21 1999-02-02 Ricoh Corporation Reversible wavelet transform and embedded codestream manipulation
KR0181028B1 (ko) 1995-03-20 1999-05-01 배순훈 분류 디바이스를 갖는 개선된 비디오 신호 부호화 시스템
KR100219592B1 (ko) * 1995-05-29 1999-09-01 윤종용 웨이브릿 변환을 이용한 영상 압축 방법
JP3249729B2 (ja) 1995-10-24 2002-01-21 シャープ株式会社 画像符号化装置及び画像復号装置
EP0857392B1 (en) * 1995-10-25 2004-08-11 Sarnoff Corporation Overlapping block zerotree wavelet image coder
US5646618A (en) 1995-11-13 1997-07-08 Intel Corporation Decoding one or more variable-length encoded signals using a single table lookup
US5748121A (en) 1995-12-06 1998-05-05 Intel Corporation Generation of huffman tables for signal encoding
US5781906A (en) * 1996-06-06 1998-07-14 International Business Machines Corporation System and method for construction of a data structure for indexing multidimensional objects

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012085313A (ja) * 2006-12-07 2012-04-26 Qualcomm Inc ラインに基づくビデオレート制御および圧縮
WO2010095341A1 (ja) * 2009-02-18 2010-08-26 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
JP2010193162A (ja) * 2009-02-18 2010-09-02 Ntt Docomo Inc 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
US8542936B2 (en) 2009-02-18 2013-09-24 Ntt Docomo, Inc. Image encoding and decoding device
JP2016066871A (ja) * 2014-09-24 2016-04-28 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム

Also Published As

Publication number Publication date
WO1998036632A2 (en) 1998-08-27
CN1161708C (zh) 2004-08-11
TW407432B (en) 2000-10-01
KR100487776B1 (ko) 2005-05-09
WO1998036632A3 (en) 1998-10-22
US6157746A (en) 2000-12-05
KR20000071027A (ko) 2000-11-25
EP0960481A4 (en) 2005-07-13
US6298163B1 (en) 2001-10-02
JP2001527710A (ja) 2001-12-25
US6236758B1 (en) 2001-05-22
EP0960481A1 (en) 1999-12-01
CN1255218A (zh) 2000-05-31

Similar Documents

Publication Publication Date Title
JP2006186995A (ja) ウェーブレットに基づく符号化方法により生成されたウェーブレットツリーを符号化するための装置および方法
JP3853758B2 (ja) 画像符号化装置
JP3693988B2 (ja) 通信管理システム及び通信管理方法
Davis A wavelet-based analysis of fractal image compression
JP3792789B2 (ja) 符号化装置
JP4111644B2 (ja) 埋め込み符号化／復号化方法及びシステム
US6917711B1 (en) Embedded quadtree wavelets in image compression
JPH08506226A (ja) 情報を圧縮するための装置及び方法
JP2000036959A (ja) 階層的復号化のための画像符号化方法及び装置
US20040175048A1 (en) Embedded and efficient low-complexity hierarchical image coder and corresponding methods therefor
JP2003533952A (ja) ビデオ系列の圧縮のための符号化方法
Namuduri et al. Feature preserving image compression
EP0996926B1 (en) Apparatus and method for multiscale zerotree entropy encoding
JPH11225075A (ja) 符号化方法及び装置
Deng An interpolative subband coding algorithm for lossless image compression
Mukherjee Image compression and transmission using wavelets and vector quantization
Ahir et al. Statistical analysis of image compression techniques
AU8709898A (en) Method and apparatus for decoding

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070904

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080219