JP2003504987A - ビデオシーケンスを圧縮する符号化方法 - Google Patents

ビデオシーケンスを圧縮する符号化方法

Info

Publication number
JP2003504987A
JP2003504987A JP2001510492A JP2001510492A JP2003504987A JP 2003504987 A JP2003504987 A JP 2003504987A JP 2001510492 A JP2001510492 A JP 2001510492A JP 2001510492 A JP2001510492 A JP 2001510492A JP 2003504987 A JP2003504987 A JP 2003504987A
Authority
JP
Japan
Prior art keywords
spatiotemporal
pixels
subband
coefficients
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001510492A
Other languages
English (en)
Inventor
ペスケ−ポペスキュ,ベアトリス
ベネティエール,マリオン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2003504987A publication Critical patent/JP2003504987A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Abstract

(57)【要約】 本発明は、3次元ウェーブレット変換を用いて分解されたフレームのグループに分離されたビデオシーケンスを圧縮する符号化方法に関する。この符号化方法によれば、階層的サブバンド符号化処理SPIHTに基づき、獲得された変換係数の階層的ピラミッド構造内で時空間的関係を定義する時空間方向ツリーの帯域通過サブバンドに適用され、シーン変化を考慮するため固定予測係数又は適応予測係数を使用するベクトルDPCMが、最低周波数時空間サブバンドを別々に符号化するため使用され、サブバンドの各フレームに成分を有する変換係数の各ベクトルに対する時空間的予測子を作成する際に観察された予測誤差の量子化が、スカラ量子化又はベクトル量子化を用いて実行される。これらの変調ステップ及び量子化ステップにより得られた最終的なバイナリストリームは、メッセージ全体のエントロピーを最小化する無損失技術によって符号化される。

Description

【発明の詳細な説明】
【0001】 [発明の分野] 本発明は、所定数の連続的な解像度レベルを与える3次元(3D)ウェーブレ
ット変換を用いて分解されたフレームのグループに分離されたビデオシーケンス
の圧縮用の符号化方法であって、 階層的ツリー内の集合分割(SPIHT)と称される階層的サブバンド符号化
処理に基づき、フレームの各グループの元の画像要素(画素)の集合からバイナ
リ形式で符号化された変換係数が導かれ、階層的ピラミッドを作成し、 上記係数は、重要度の低い集合のリスト(LIS)と重要度の低い画素の集合
のリスト(LIP)と重要度の高い画素のリスト(LSP)の三つの順序付きリ
ストによって表現された画素に関連した大小比較テストを用いて順序付けされ、 上記大小比較テストは、重要度の高い各係数が上記バイナリ形式の表現内で符
号化されるまで継続する分離処理に従って、元の画素の集合を分割部分集合に分
離するため実行され、 ルートが3次元ウェーブレット変換から得られた近似サブバンドの画素を用い
て形成され、各画素の子孫がルート画素によって定められた画像ボリュームに対
応した高次サブバンドの画素を用いて形成された時空間的方向ツリーは、階層的
ピラミッド構造内の時空間的関係を定義する、符号化方法である。
【0002】 [発明の背景] ビデオ圧縮スキームにおいて、時間的冗長性の低減は、主として二通りのアプ
ローチを用いて実現される。第一のいわゆる「ハイブリッド」又は予測的アプロ
ーチによれば、現在フレームの予測は、前に伝送されたフレームに基づいて計算
され、予測誤差だけがイントラ(フレーム内)符号化され、伝送される。第二の
アプローチの場合、時間的冗長性は、空間的な冗長性を除去するための技術と類
似した時間的変換を用いて調べられる。3次元アプローチ又は2次元+時間アプ
ローチと呼ばれるこの技術では、フレームのシーケンスが3次元ボリュームとし
て処理され、画像符号化で使用されるサブバンド分解は、分離可能な変換(たと
えば、フィルタバンクを用いて実現されるウェーブレット変換又はウェーブレッ
ト・パケット・変換)を用いることにより3次元時空間データへ拡張される。3
次元構造の非等方性は、時間的方向と空間的方向で異なるフィルタバンクを使用
することにより考慮することができる。一般的に、時間的フィルタリングの場合
、フィルタが長くなると共に付加される遅延は望ましくないので、Haarフィルタ
が選択される。また、2タップ型フィルタであるHaarフィルタは、境界問題が生
じない唯一の完全再現性直交フィルタである。
【0003】 3次元符号化スキームの符号化効率は、時間的分解の各レベルで、低い時間的
サブバンドにおける動き推定/動き補償を行うことによって改良されることがわ
かる。したがって、この3次元符号化スキームは、サブバンド内の動き推定/動
き補償を含み、3次元サブバンド分解が補償後のフレームのグループに適用され
る。全3段階の時間的分解が図1に示されている。入力ビデオシーケンス中のフ
レームの各グループは、2のべき乗(通常は16、本例の場合は8)に一致する
多数のフレームを収容する必要がある。直線的な実線矢印は低域通過(L)時間
的フィルタリングを表し、直線的な点線矢印は高域通過(H)時間的フィルタリ
ングを表し、曲線的な矢印は2つのフレーム間の動き補償を示す。最後の時間的
分離レベルには、最下位時間的サブバンドに二つのフレームが存在する。時間的
サブバンドの各フレームにおいて、空間的分離が実行される。この枠組みの場合
、データの3次元構造を符号化するサブバンドは、空間的サブバンド符号化技術
の拡張として実現され得る。
【0004】 サブバンドの3次元構造にまで拡張された画像圧縮用の最も性能の優れたウェ
ーブレットベースのスキームの一つは、文献:A. Said and W.A. Pearlman, "A
new fast, and efficient image codec based on set partitioning in hierarc
hical trees", IEEE Transactions on Circuits and Systems for Video Techno
logy, vol.6, No.3, June 1996, pp.243-250に記載されている階層的ツリーにお
ける双方向集合分離、或いは、2次元SPIHTである。この3次元符号化技術
で使用される基本的概念は、以下の通りである。すなわち、同じ場所に対応する
時空間的ツリーがウェーブレット域で形成され、次に、これらのツリーのウェー
ブレット変換係数がその大きさのビットプレーン表現における最上位ビットのレ
ベルによって定義され、最後に、最上位の残存ビットプレーンが符号化され、得
られたビットが伝送される。
【0005】 上述の2次元及び3次元の両方のバージョンSPIHTアルゴリズムの共通の
特徴は、空間的方向ツリー、及び、時空間的方向ツリーが最低周波数サブバンド
から定義され、同じ空間的場所又は時空間的場所に関連した係数を表現すること
である。このように、最低周波数バンドを除いて、全ての親ノードは4個(2次
元の場合)又は8個(3次元の場合)の子ノードをもつ。ここで、(i,j,k
)が3次元変換域における画像要素(画素)の座標を表すとき、その画素が最低
時空間周波数サブバンドになく、かつ、その画素が最後の解像度レベルサブバン
ドの中のサブバンドに含まれない場合、その子孫の座標は以下のように表される
。 O={(2i, 2j, 2k), (2i+1, 2j, 2k), (2i, 2j+1, 2k), (2i, 2j, 2k+1), (2i+1,
2j+1, 2k), (2i+1, 2j, 2k+1), (2i, 2j+1, 2k+1), (2i+1, 2j+1, 2k+1)} 説明の便宜を図るため、図2には、静止画像の場合が示されている(サブバンド
は、s−LLLL、s−LLLHなどのように表される)。
【0006】 画像符号化域において、零ツリーによる圧縮アルゴリズムは、近年、広範囲に
亘って研究され、幾つかの改良が提案されている。たとえば、MPEG−4標準
の場合に、このようなアルゴリズムの変形例が、静止画像符号化モードで採用さ
れ、最低空間的サブバンドは、DPCM技術を用いて別個に符号化される(たと
えば、文献:J. M. Shapiro, "Embedded image coding using zerotrees of wab
elet coefficients", IEEE Transactions on Signal Processing, Vol.41, No.1
2, December 1993, pp.3445-3462を参照のこと)。次に、空間的方向ツリーが、
図3に示されるようにディテールサブバンド(最初のサブバンドs−LLLLを
除く全てのサブバンド)から形成される。
【0007】 [発明の概要] 本発明の目的は、3次元の場合の新しいタイプのビデオ符号化方法を提供する
ことである。
【0008】 上記目的を達成するため、本発明は、発明の詳細な説明の冒頭の段落に記載さ
れているような符号化方法であって、 最低周波数時空間サブバンドを単独で符号化するため、ベクトル差分パルス符
号変調(DPCM)が、 時空間的予測子は、ビデオシーケンスの過去フレームにおける同じ場所での値
だけではなく現在フレームにおける近傍の値も使用することにより、近似サブバ
ンドの各フレーム内の成分を有する係数のベクトル毎に作成され、このベクトル
符号化の特徴は最低周波数サブバンドが少なくとも二つのフレームからの空間的
低周波数サブバンドを有することから得られるという条件(a)と、 上記DPCMは固定予測係数を使用するという条件(b)と、 にしたがって使用される手順(A)と、 予測誤差の量子化が、2個のベクトル成分をスカラ量子化し、次に、所与の量
子化された値の組毎に計算された確率と関連した固有2進符号を割り当てること
によって実行される手順(B)と、 手順(A)及び手順(B)から得られた2進ストリームが、メッセージ全体の
エントロピーを最小化させる無損失処理によって符号化される手順(C)と、 を有する符号化方法である。
【0009】 他の実施例において、本発明は、同様の符号化方法であって、 最低周波数時空間サブバンドを単独で符号化するため、ベクトル差分パルス符
号変調(DPCM)が、 時空間的予測子は、ビデオシーケンスの過去フレームにおける同じ場所での値
だけではなく現在フレームにおける近傍の値も使用することにより、近似サブバ
ンドの各フレーム内の成分を有する係数のベクトル毎に作成され、このベクトル
符号化の特徴は最低周波数サブバンドが少なくとも二つのフレームからの空間的
低周波数サブバンドを含むことから得られるという条件(a)と、 上記DPCMは固定予測係数を使用するという条件(b)と、 にしたがって使用される手順(A)と、 予測誤差の量子化が、一般化ロイド・マックス(Lloyd-Max)アルゴリズムに基
づき、最適化のため量子化予測誤差ベクトルの2個の成分に対する結合ラプラシ
アン確率密度関数を考慮する最適量子化器を用いて実行される手順(B)と、 手順(A)及び手順(B)から得られた2進ストリームが、メッセージ全体の
エントロピーを最小化させる無損失処理によって符号化される手順(C)と、 を有する符号化方法である。
【0010】 実施形態にはかかわらず、DPCMは適応型でもよく、その場合、時空間的予
測子は、フレームのグループ毎に係数の最小自乗推定を用いることにより、シー
ン変化を考慮する。
【0011】 本発明の具体例及び効果は、以下の詳細な説明と添付図面とを参照して解明さ
れる。
【0012】 [発明の詳細な説明] 本発明により提案される3次元ビデオスキームの場合、3次元時空間的分解の
最低周波数サブバンドは、単独で符号化され、他のサブバンドは3次元SPIH
Tアルゴリズムを使用して符号化される。これには、ある重要な修正が含まれる
。以下の例では、特に、本発明にとって関心のある3次元構造に関して説明する
【0013】 図4はSPIHTアルゴリズムのブロック図であり、ここで、SPIHTアル
ゴリズムの具体的な特徴について説明する。最低時空間的サブバンドに対し、親
子関係が以下の手順で定義される。各方向に2個の画素を有する8個の隣接した
画素のブロックが形成される。子孫は、7個の隣接したディテールサブバンド内
の同じ場所に対応した8画素のグループとして定義される。8画素のグループ中
の一つの画素には子孫がなく、その他の画素は、8画素のブロックを子孫として
もつ。M、N及びTが初期のフレームのグループの寸法を表し、J個の分解レベ
ルを想定すると、最低周波数サブバンドの寸法は、 MJ=M/2J NJ=N/2J TJ=T/2J である。最低周波数サブバンド内の(i,j,k)にある係数の子孫は、 O={(i-1+MJ, j-1+NJ, k-1+TJ), (i+MJ, j-1+NJ, k-1+TJ), (i-1+MJ, j+NJ, k-1+
TJ), (i+MJ, j+NJ, k-1+TJ), (i-1+MJ, j-1+NJ, k+TJ), (i+MJ, j-1+NJ, k+TJ), (i-1+MJ, j+NJ, k+TJ), (i+MJ, j+NJ, k+TJ)} である。
【0014】 ツリーは、最低周波数サブバンド内の画素をルートとして選ぶことにより形成
される。3次元ビデオ符号化に使用されるこの技術は、3次元医用画像の圧縮の
ために実現された技術であるが、本例の場合、動き推定及び補償の段階は省かれ
る。
【0015】 このような枠組みにおいて、(図5に示された)3次元SPIHTアルゴリズ
ムに対し提案された(図6に示される)修正は、最低時空間的サブバンドt−L
L−s−LLLLを単独で別個に符号化することである。このサブバンドは、最
低時間的サブバンド内の二つのフレームの最低空間周波数サブバンドを含むので
、このサブバンド内の情報はベクトル情報とみなすことができ、二つの時間的サ
ブバンド内の同じインデックスをもつ画素は、同じインデックスを継承するベク
トルに分類される。図7には、最低時間的サブバンド内に含まれる二つのフレー
ム、特に、これらのフレームの最低空間周波数サブバンド内の二つのフレームに
関してこのベクトルの分類が示されている。この情報を圧縮するため、ベクトル
適応型DPCM(差分パルス符号変調)技術を使用することが提案される(二つ
のフレームを別々に符号化することにより明らかに性能が低下する)。
【0016】 階層的ツリー内の集合分割による零ツリー符号化は、ディテールサブバンドの
符号化だけに使用される。ピラミッド構造の上位レベルにおけるウェーブレット
係数が所定の閾値よりも重要度が低い場合、ピラミッド構造のより下位レベルに
おける同じ時空間的場所に対応した全ての係数は、この閾値よりも重要度が低い
。したがって、これらの全ての係数は、零ツリールートと呼ばれる単一のシンボ
ルで効率的に符号化される。ウェーブレット係数は、その絶対値が閾値よりも大
きい場合に閾値よりも重要度が高く、さもなければ、重要度が低いといわれる。
伝送のため、ウェーブレット係数は、そのバイナリ表現に応じて格付けされ、最
上位ビットが先に送信される。
【0017】 次に、最低時空間周波数サブバンドを符号化するため使用されるベクトル適応
型DPCMについて説明する。このため、最低周波数サブバンド内の現在画素の
座標を(i,j)によって示し、xi,j及びyi,jは、それぞれ、最低時間的サブ
バンドの第1フレーム及び第2フレーム内におけるその座標での係数の値を表す
(図7を参照のこと)。ベクトル
【0018】
【外1】 に対する線形時空間的予測子は、 (n,m)∈Λ の場合に、
【0019】
【数1】 であり、ここで、
【0020】
【数2】 は、
【0021】
【数3】 の最近傍であり、
【0022】
【数4】 は、
【0023】
【数5】 の予測子であり、
【0024】
【数6】 は、予測係数のマトリックスである。たとえば、図7を参照すると、
【0025】
【数7】 但し、
【0026】
【数8】 である。
【0027】 式(2)において、係数a1,1、a1,0、a0,1は、フレーム1内の空間的予測
を実現し、d1,1、d1,0、d0,1は、フレーム2内の空間的予測を形成し、b1,1 、b1,0、b0,1及びc1,1、c1,0、c0,1で表される係数は、時空間的予測に対
応する。式(1)では、固定予測係数が使用される。
【0028】 別の実現可能な形態は、フレームのグループ毎に、予測誤差の最小平均自乗誤
差に基づいて予測係数の最適値を見つけることである。これは、適応型戦略であ
り、固定型の場合よりも計算は複雑になるが優れた結果が得られる。予測誤差は
、ベクトルsi,jの実際値と予測値si,j Pとの差である。予測誤差は、一般化Llo
yd-Maxアルゴリズムに基づく最適量子化器を用いてベクトル量子化される。簡単
な選択は、最適化のために量子化予測誤差ベクトルの二つの成分に対する結合ラ
プラシアン確率密度分布を考慮することである。
【0029】 ここで選択された実現形態は、2個のベクトル成分のスカラ量子化と、成分の
組に対する固有バイナリ符号の割当とに基づく。これは、量子化値の組毎に、そ
の事象の確率を計算し、固有バイナリ符号を割り当て、メッセージのエントロピ
ーを最小化することにより実現される。この符号を選択する技術は、たとえば、
文献:I. H. Witten他, "Arithmetic coding for data compression", Communic
ations of the ACM, June 1987, vol.30, No.6, pp.520-540に記載されているよ
うな算術エントロピー符号化である。図8は、提案したビデオ符号化システムの
概略的な説明図である。同図から、スカラ量子化後に、ベクトルエントロピー符
号化を用いることにより、3次元時空間的分解の(「ディテール?」によって検
出された)最低周波数サブバンドだけが別個に符号化されることがわかる。
【0030】 他のサブバンドは、3次元SPIHTアルゴリズムを使用して処理され、エン
トロピー符号化される。ディテールサブバンドは、上述の文献:J. M. Shapiro,
"Embedded image coding using zerotrees of wabelet coefficients", IEEE T
ransactions on Signal Processing, Vol.41, No.12, December 1993, pp.3445-
3462で開発された零ツリーの概念を用いて符号化される。主要な実現形態は、閾
値を減少させながら係数の組を比較するSPIHTアルゴリズムに規定されたも
のと同じである。第1の閾値は、全てのウェーブレット係数の最大値Mが、
【0031】
【数9】 となるように、2のべき乗
【0032】
【外2】 として選択される。ウェーブレット係数は、エンコーダ側とデコーダ側の両方で
既知の所定の順序に従う閾値と比較される。したがって、閾値をビットストリー
ムで伝送する必要はない。たとえば、図6の表記に従うと、時空間的サブバンド
の走査順序は、 t-LL-s-LLLH, t-LL-s-LLHL, t-LL-s-LLHH, t-LH-s-LLLL, t-LH-s-LLLH, t-LH-s-
LLHL, t-LH-s-LLHH, t-LL-s-LLH, t-LL-s-LHL, t-LL-s-LHH, t-LH-s-LLH, t-LH-
s-LHL, t-LH-s-LHH 以下同様である。これ以外のサブバンドの走査順序でも構わない。各サブバンド
内において、簡単な方法は、走査のラスタ順を使用することである。実際には、
各サブバンド内のディテールの支配的な方向に対応して、最後のインデックス文
字がLL及びLHであるサブバンドは水平方向、HLに対し垂直方向、HHに対し対角線
方向のように他の走査戦略を使用してもよい。
【0033】 添付図面及び上記の詳細な説明は、本発明の例示であり、本発明を制限するも
のではなく、本発明の範囲から逸脱することなく、多数の代替案が提案され得る
ことは明らかである。たとえば、本発明は、時空間的予測子に対し考慮される近
傍画素の数及び位置、動き推定及び補償のため使用される方法、3次元解析及び
合成のため使用される線形ウェーブレット変換、或いは、予測子係数を計算する
ことができる適合アルゴリズムによって制限されない。
【図面の簡単な説明】
【図1】 入力ビデオシーケンスの8フレームのグループの動き補償付きの3次元サブバ
ンド分解への時間的サブバンド分解を示す図である。
【図2】 静止画像の場合の2次元SPIHTにおける空間的方向ツリーを示す図である
【図3】 2次元零ツリー符号化(s−LLLLは単独で符号化される)に対するMPE
G−4相当の空間的方向ツリーを示す図である。
【図4】 従来のSPIHTアルゴリズムのブロック図である。
【図5】 3次元SPIHTにおける時空間的方向ツリーを示す図である。
【図6】 修正時空間的方向ツリーを示す図である。
【図7】 最低サブバンドにおける二つのフレームのベクトルDPCM符号に時空間的予
測子を作成するため使用される画素を示す図である。
【図8】 本発明による符号化方法のブロック図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ベネティエール,マリオン オランダ国,5656 アーアー アインドー フェン,プロフ・ホルストラーン 6 Fターム(参考) 5C059 MA24 MD04 ME02 ME11 TA00 TA45 TA55 TB04 TC03 TC14 TD06 UA02 UA15 5J064 AA02 BA09 BA16 BB01 BB03 BC11 BC18 BC26 BD01

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 所定数の連続的な解像度レベルを与える3次元ウェーブレッ
    ト変換を用いて分解されたフレームのグループに分離されたビデオシーケンスの
    圧縮用の符号化方法であって、 階層的ツリー内の集合分割と称される階層的サブバンド符号化処理に基づき、
    フレームの各グループの元の画素の集合からバイナリ形式で符号化された変換係
    数が導かれ、階層的ピラミッドを作成し、 上記係数は、重要度の低い集合のリストと重要度の低い画素の集合のリストと
    重要度の高い画素のリストの三つの順序付きリストによって表現された画素に関
    連した大小比較テストを用いて順序付けされ、 上記大小比較テストは、重要度の高い各係数が上記バイナリ形式の表現内で符
    号化されるまで継続する分離処理に従って、元の画素の集合を分割部分集合に分
    離するため実行され、 ルートが3次元ウェーブレット変換から得られた近似サブバンドの画素を用い
    て形成され、各画素の子孫がルート画素によって定められた画像ボリュームに対
    応した高次サブバンドの画素を用いて形成された時空間的方向ツリーは、階層的
    ピラミッド構造内の時空間的関係を定義し、 時空間的ツリーの帯域通過サブバンドに適用され、 最低周波数時空間サブバンドを単独で符号化するため、 時空間的予測子は、ビデオシーケンスの過去フレームにおける同じ場所での値
    だけではなく現在フレームにおける近傍の値も使用することにより、近似サブバ
    ンドの各フレーム内の成分を有する係数のベクトル毎に作成され、このベクトル
    符号化の特徴は最低周波数サブバンドが少なくとも二つのフレームからの空間的
    低周波数サブバンドを有することから得られるという条件(a)と、 ベクトル差分パルス符号変調は固定予測係数を使用するという条件(b)と、
    にしたがって、ベクトル差分パルス符号変調が使用される手順(A)と、 予測誤差の量子化が、2個のベクトル成分をスカラ量子化し、次に、所与の量
    子化された値の組毎に計算された確率と関連した固有2進符号を割り当てること
    によって実行される手順(B)と、 手順(A)及び手順(B)から得られた2進ストリームが、メッセージ全体の
    エントロピーを最小化させる無損失処理によって符号化される手順(C)と、 を有する符号化方法。
  2. 【請求項2】 所定数の連続的な解像度レベルを与える3次元ウェーブレッ
    ト変換を用いて分解されたフレームのグループに分離されたビデオシーケンスの
    圧縮用の符号化方法であって、 階層的ツリー内の集合分割と称される階層的サブバンド符号化処理に基づき、
    フレームの各グループの元の画素の集合からバイナリ形式で符号化された変換係
    数が導かれ、階層的ピラミッドを作成し、 上記係数は、重要度の低い集合のリストと重要度の低い画素の集合のリストと
    重要度の高い画素のリストの三つの順序付きリストによって表現された画素に関
    連した大小比較テストを用いて順序付けされ、 上記大小比較テストは、重要度の高い各係数が上記バイナリ形式の表現内で符
    号化されるまで継続する分離処理に従って、元の画素の集合を分割部分集合に分
    離するため実行され、 ルートが3次元ウェーブレット変換から得られた近似サブバンドの画素を用い
    て形成され、各画素の子孫がルート画素によって定められた画像ボリュームに対
    応した高次サブバンドの画素を用いて形成された時空間的方向ツリーは、階層的
    ピラミッド構造内の時空間的関係を定義し、 時空間的ツリーの帯域通過サブバンドに適用され、 最低周波数時空間サブバンドを単独で符号化するため、 時空間的予測子は、ビデオシーケンスの過去フレームにおける同じ場所での値
    だけではなく現在フレームにおける近傍の値も使用することにより、近似サブバ
    ンドの各フレーム内の成分を有する係数のベクトル毎に作成され、このベクトル
    符号化の特徴は最低周波数サブバンドが少なくとも二つのフレームからの空間的
    低周波数サブバンドを含むことから得られるという条件(a)と、 ベクトル差分パルス符号変調は固定予測係数を使用するという条件(b)と、
    にしたがって、ベクトル差分パルス符号変調が使用される手順(A)と、 予測誤差の量子化が、一般化ロイド・マックス(Lloyd-Max)アルゴリズムに基
    づき、最適化のため量子化予測誤差ベクトルの2個の成分に対する結合ラプラシ
    アン確率密度関数を考慮する最適量子化器を用いて実行される手順(B)と、 手順(A)及び手順(B)から得られた2進ストリームが、メッセージ全体の
    エントロピーを最小化させる無損失処理によって符号化される手順(C)と、 を有する符号化方法。
  3. 【請求項3】 上記差分パルス符号変調は適応型であり、 時空間的予測子の係数は、フレームのグループ毎に係数の最小自乗推定を用い
    ることにより、シーン変化を考慮する、請求項1又は2記載の符号化方法。
  4. 【請求項4】 時空間的予測子が空間的予測又は時間的予測によって大きく
    影響されるかどうかを判定する、請求項3記載の符号化方法。
  5. 【請求項5】 上記無損失処理は算術的符号化に基づいている、請求項1乃
    至4のうちいずれか一項記載の符号化方法。
  6. 【請求項6】 上記無損失処理はハフマン符号化に基づいている、請求項1
    乃至4のうちいずれか一項記載の符号化方法。
JP2001510492A 1999-07-20 2000-07-13 ビデオシーケンスを圧縮する符号化方法 Pending JP2003504987A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP99401823.2 1999-07-20
EP99401823 1999-07-20
PCT/EP2000/006685 WO2001006794A1 (en) 1999-07-20 2000-07-13 Encoding method for the compression of a video sequence

Publications (1)

Publication Number Publication Date
JP2003504987A true JP2003504987A (ja) 2003-02-04

Family

ID=8242068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001510492A Pending JP2003504987A (ja) 1999-07-20 2000-07-13 ビデオシーケンスを圧縮する符号化方法

Country Status (6)

Country Link
US (1) US6519284B1 (ja)
EP (1) EP1114555A1 (ja)
JP (1) JP2003504987A (ja)
KR (1) KR20010075232A (ja)
CN (1) CN1181690C (ja)
WO (1) WO2001006794A1 (ja)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6920179B1 (en) * 1999-11-16 2005-07-19 Agere Systems Inc. Method and apparatus for video transmission over a heterogeneous network using progressive video coding
JP2004509531A (ja) * 2000-09-12 2004-03-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化方法
AUPR222500A0 (en) 2000-12-21 2001-01-25 Unisearch Limited Method for efficient scalable compression of video
US6801573B2 (en) * 2000-12-21 2004-10-05 The Ohio State University Method for dynamic 3D wavelet transform for video compression
KR100366638B1 (ko) * 2001-02-07 2003-01-09 삼성전자 주식회사 웨이블릿 변환을 기본으로하여 트리-구조의 벡터 양자화기법을 이용한 영상 부호화 장치 및 부호화 방법
CN100459460C (zh) * 2001-11-27 2009-02-04 三星电子株式会社 对数据进行编码和译码的方法和装置
CN100546386C (zh) * 2001-11-27 2009-09-30 三星电子株式会社 编码和解码坐标内插符的关键值数据的方法和装置
EP1461956A1 (en) * 2001-12-20 2004-09-29 Koninklijke Philips Electronics N.V. Video encoding and decoding method and device
US7190836B2 (en) * 2002-03-18 2007-03-13 Siemens Corporate Research, Inc. Efficient ordering of data for compression and visualization
US7031388B2 (en) * 2002-05-06 2006-04-18 Koninklijke Philips Electronics N.V. System for and method of sharpness enhancement for coded digital video
AUPS291002A0 (en) * 2002-06-12 2002-07-04 Unisearch Limited Method and apparatus for scalable compression of video
EP1520428A1 (en) * 2002-06-28 2005-04-06 Koninklijke Philips Electronics N.V. Subband video decoding method and device
WO2004028142A2 (en) * 2002-09-17 2004-04-01 Vladimir Ceperkovic Fast codec with high compression ratio and minimum required resources
WO2004052017A1 (en) * 2002-12-04 2004-06-17 Koninklijke Philips Electronics N.V. Video coding method and device
EP1573676A1 (en) * 2002-12-11 2005-09-14 Koninklijke Philips Electronics N.V. Video encoding method and corresponding computer programme
DE10301572B4 (de) * 2003-01-16 2005-02-03 Marco Nordmann Verfahren zum Komprimieren einer Folge von Bildern
KR100598093B1 (ko) * 2003-01-29 2006-07-07 삼성전자주식회사 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법
FR2852179A1 (fr) 2003-03-06 2004-09-10 Thomson Licensing Sa Procede de codage d'une image video
GB0306973D0 (en) * 2003-03-26 2003-04-30 British Telecomm Transmitting video
EP1642236A1 (en) * 2003-06-30 2006-04-05 Koninklijke Philips Electronics N.V. System and method for video processing using overcomplete wavelet coding and circular prediction mapping
CN1849828A (zh) 2003-07-09 2006-10-18 日本电气株式会社 运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置和计算机程序
US8218624B2 (en) * 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US7580584B2 (en) * 2003-07-18 2009-08-25 Microsoft Corporation Adaptive multiple quantization
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7738554B2 (en) * 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
CN100450181C (zh) * 2003-07-23 2009-01-07 西北工业大学 一种基于小波变换的嵌入式图像压缩技术
US20060294113A1 (en) * 2003-08-22 2006-12-28 Deepak Turaga Joint spatial-temporal-orientation-scale prediction and coding of motion vectors for rate-distortion-complexity optimized video coding
DE60317670T2 (de) * 2003-09-09 2008-10-30 Mitsubishi Denki K.K. Verfahren und Vorrichtung zur 3D-Teilbandvideokodierung
TWI255146B (en) * 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
FR2867329A1 (fr) 2004-03-02 2005-09-09 Thomson Licensing Sa Procede de codage d'une sequence d'images par analyse temporelle hierarchique.
US7689051B2 (en) * 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
US7813571B2 (en) * 2004-04-22 2010-10-12 Mitsubishi Electric Corporation Image encoding apparatus and image decoding apparatus
US7801383B2 (en) * 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
ITMI20041971A1 (it) * 2004-10-15 2005-01-15 Uni Degli Studi Brescia Metodo di codifica video scalabile
KR100664932B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
WO2006080665A1 (en) * 2004-10-21 2006-08-03 Samsung Electronics Co., Ltd. Video coding method and apparatus
CN1327672C (zh) * 2004-10-29 2007-07-18 清华大学 一种基于数值微分的流量分配方法
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
KR100809603B1 (ko) 2005-12-01 2008-03-06 한국전자통신연구원 화소 단위 기반 영상 부호화 및 복호화 장치 및 방법
FR2896371B1 (fr) 2006-01-19 2008-11-07 Canon Kk Procede et dispositif de traitement d'une sequence d'images numeriques au format extensible
CN100368983C (zh) * 2006-02-21 2008-02-13 广州矽金塔电子有限公司 一种通过屏幕传输信号的方法及其接收装置
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US7974340B2 (en) * 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US8503536B2 (en) * 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
JP4808067B2 (ja) * 2006-04-24 2011-11-02 富士通株式会社 画像圧縮装置、画像圧縮プログラム、画像圧縮方法
US8711925B2 (en) * 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
WO2007139266A1 (en) * 2006-06-01 2007-12-06 Electronics And Telecommunications Research Institute Method and apparatus for video coding on pixel-wise prediction
US8238424B2 (en) * 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8498335B2 (en) * 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) * 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
CN101252686B (zh) * 2008-03-20 2010-04-14 上海交通大学 基于交织预测的视频帧内无损编解码方法及系统
US8189933B2 (en) * 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8970646B2 (en) 2008-07-09 2015-03-03 Ostendo Technologies, Inc. Image construction based video display system
US8681185B2 (en) 2009-03-05 2014-03-25 Ostendo Technologies, Inc. Multi-pixel addressing method for video display drivers
EP2362658A1 (en) * 2010-02-26 2011-08-31 Research In Motion Limited Encoding and decoding methods and devices employing dual codesets
CN102271251B (zh) * 2010-06-02 2013-01-16 华晶科技股份有限公司 无失真的图像压缩方法
CN101980466B (zh) * 2010-11-11 2012-12-12 北京航空航天大学 一种联合spiht压缩与不等差错保护编码的码流传输方法
CN101984666A (zh) * 2010-11-19 2011-03-09 南京邮电大学 一种基于提升小波变换的图像无损压缩和解压方法
WO2013067673A1 (en) * 2011-11-07 2013-05-16 Thomson Licensing Predictive position decoding
CN102572423B (zh) * 2011-12-16 2014-12-03 辽宁师范大学 一种基于重要性概率平衡树的视频编码方法
CN110234012B (zh) * 2012-01-17 2021-12-31 华为技术有限公司 用于高性能视频编码中的无损编码模式的环内滤波的装置
TW201409994A (zh) 2012-08-30 2014-03-01 Novatek Microelectronics Corp 立體視訊的編碼方法與編碼裝置
US9232225B2 (en) * 2013-03-14 2016-01-05 Chirp Inc. Low complexity and memory efficient image CODEC
CN104486631B (zh) * 2014-12-31 2017-06-06 哈尔滨工业大学 一种基于人眼视觉与自适应扫描的遥感图像压缩方法
US10223810B2 (en) * 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US10694210B2 (en) 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US11297346B2 (en) 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
CN109067405B (zh) * 2018-07-27 2022-10-11 深圳市元征科技股份有限公司 一种数据压缩的方法、装置、终端及计算机可读存储介质
CN117375631B (zh) * 2023-12-07 2024-02-06 深圳市丽台电子有限公司 一种基于哈夫曼编码的快速编码方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412741A (en) * 1993-01-22 1995-05-02 David Sarnoff Research Center, Inc. Apparatus and method for compressing information
US6229927B1 (en) * 1994-09-21 2001-05-08 Ricoh Company, Ltd. Reversible embedded wavelet system implementation
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
US6226450B1 (en) * 1997-01-21 2001-05-01 Myoung Jun Lee Electric field shielding apparatus
AUPO600897A0 (en) * 1997-04-04 1997-05-01 Canon Information Systems Research Australia Pty Ltd An efficient method of image compression comprising a low resolution image in the bit stream
AUPO951297A0 (en) * 1997-09-29 1997-10-23 Canon Information Systems Research Australia Pty Ltd Method and apparatus for digital data compression

Also Published As

Publication number Publication date
CN1322442A (zh) 2001-11-14
KR20010075232A (ko) 2001-08-09
EP1114555A1 (en) 2001-07-11
US6519284B1 (en) 2003-02-11
WO2001006794A1 (en) 2001-01-25
CN1181690C (zh) 2004-12-22

Similar Documents

Publication Publication Date Title
JP2003504987A (ja) ビデオシーケンスを圧縮する符号化方法
US6898324B2 (en) Color encoding and decoding method
JP4889248B2 (ja) 方向予測及びリフテイング・ウェーブレットの組合せを使用して画像を符号化するシステムおよび方法
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
US7627040B2 (en) Method for processing I-blocks used with motion compensated temporal filtering
JP2005524352A (ja) 複数基準フレームに基づいた動き補償時間的フィルタ化を用いたスケーラブルなウェーブレット・ベースの符号化
EP1515561B1 (en) Method and apparatus for 3-D sub-band video coding
JP2004523994A (ja) 一連のフレームを符号化する方法
WO2002013536A2 (en) Video encoding method based on a wavelet decomposition
Raja et al. Image compression using WDR & ASWDR techniques with different wavelet codecs
US20060114998A1 (en) Video coding method and device
Babel et al. Interleaved S+ P pyramidal decomposition with refined prediction model
KR101246115B1 (ko) 3차원 웨이블릿 기반 영상 부호화/복호화 방법 및 장치
JP2005524354A (ja) 複数基準フレームに基づいた動き補償時間的フィルタ化を行うウェーブレット・ベース符号化
Ellinas et al. Morphological wavelet-based stereo image coders
Ellinas et al. Stereo image coder based on the MRF model for disparity compensation
Liu et al. Embedded wavelet packet object-based image coding based on context classification and quadtree ordering
Cheng et al. Hyperspectral images lossless compression using the 3D binary EZW algorithm
Yuan et al. Low-Band-Shifted Hierarchical Backward Motion Estimation, Compensation for Wavelet-Based Video Coding.
Jérôme et al. Embedded zerotree wavelet coding of image sequence
KR100582024B1 (ko) 웨이블렛 변환 기반 동영상 부호화를 위한 3차원 블록분할방식
Boulgouris et al. Adaptive decorrelation and entropy coding for context-based lossless image compression
KR20070028720A (ko) 웨이블릿 패킷 변환 기반의 동영상 인코딩 시스템 및 방법
Lee et al. Region-based scalable coding for interactive image/video communications over networks
Srikanth et al. Region of Interest Based Coding of 2-D and 3-D Magnetic Resonance Images.