JP2007519273A - オーバーコンプリート・ウェーブレット符号化と循環予測写像とを用いてビデオ処理を行うシステム及び方法 - Google Patents

オーバーコンプリート・ウェーブレット符号化と循環予測写像とを用いてビデオ処理を行うシステム及び方法 Download PDF

Info

Publication number
JP2007519273A
JP2007519273A JP2006518428A JP2006518428A JP2007519273A JP 2007519273 A JP2007519273 A JP 2007519273A JP 2006518428 A JP2006518428 A JP 2006518428A JP 2006518428 A JP2006518428 A JP 2006518428A JP 2007519273 A JP2007519273 A JP 2007519273A
Authority
JP
Japan
Prior art keywords
computer program
program product
video processing
processing system
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006518428A
Other languages
English (en)
Inventor
チョル イェ,ジョン
デル スハール,ミハエラ ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2007519273A publication Critical patent/JP2007519273A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/99Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals involving fractal coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

オーバーコンプリート・ウェーブレット・ドメインにおいて循環予測写像(CPM)に基づいてビデオのフラクタル符号化を行うシステム、方法及びコンピュータ・プログラム・プロダクト。本願開示の処理によれば、各レンジブロック〔B〕は、循環的に先行するフレーム〔F,,_1〕におけるドメインブロック〔A〕によって近似される。ドメインブロックのサイズは、コンプリート・オーバーコンプリート変換〔図2〕を用いれば、レンジブロックのものよりも大きくなり、それによって、同じドメインブロック・サイズを用いる従来のCPMアルゴリズムよりも速い収束速度を備える。しかし、時間相関が高いことは隣接フレーム間で非常によく活用されるが、それは、拡張された参照〔210〕が、元の画像〔202〕をシフトさせることによって生成され、よって、レンジブロックとの高い時間相関を維持するからである。更に、好ましい実施例は空間スケーラビリティを備える。

Description

本願は、ビデオのフラクタル符号化を行うシステム、方法、信号及びコンピュータ・プログラム・プロダクトに関する。
反復関数システム(IFS)に基づいたフラクタル圧縮は、1つのビデオ符号化手法として知られている。画像のフラクタル圧縮の基本的な概念は、一意のアトラクタがソース画像を近似する縮小写像を見つけるというものである。復号器では、任意の画像に写像を反復して施してアトラクタを再構築する。写像をソース画像よりも少ないビット数で表すことができる場合、符号化利得が得られる。
特に、画像のフラクタル圧縮手法は、縮小写像の定理とコラージュ定理とに基づいている。縮小写像の定理によって、各縮小写像fは、f(xf)= xfであるような一意のアトラクタ(固定点)xfを有するようになっている。
更に、fを反復的に任意の点yに施してアトラクタxf
Figure 2007519273
によって得ることができる。
画像符号化の意味合いでは、一意のアトラクタがソース画像である縮小写像を符号器が見つける場合、写像を順次に任意の画像に施してソース画像を復号器において再構築することができる。
非可逆符号化手法として、フラクタル符号器は、コラージュf(x)がソース画像xに近い縮小写像fを見つけようとする。更に、コラージュ定理は、符号器でのコラージュ誤り‖x−f(x)‖と、復号器でのアトラクタ誤り‖x−xf‖との、
Figure 2007519273
によって表す関係を備え、そのとき、sは、fの縮小性係数である。このことは、コラージュf(x)がソース画像xに近い場合に復号化アトラクタxfがソース画像xに近いということを意味する。したがって、フラクタル符号化で最も大切なことは、元の画像xをうまく近似し、収束速度を上げるよう小さな縮小性係数を有する縮小写像f(x)を見つけることである。
静止画像のフラクタル符号化を行う最初の自動アルゴリズムの開発の後、かなりの研究がフラクタル静止画像手法及びビデオ符号化に対して行われている。フラクタル系列符号器を周知の動き推定/動き補償手法と組み合わせるのに、「循環予測写像」(CPM)と呼ばれる一手法を用いる。CPMでは、n個のフレームが群として符号化され、各レンジブロックは、レンジブロックと同じサイズである、循環的に先行するn個のフレームにおけるドメインブロックによって動き補償が行われる。ドメイン・レンジ写像において適切なパラメータを選択することによって、CPMは縮小写像になる。復号器では、n個の任意のフレームにCPMを反復して施してアトラクタ・フレームを再構築する。
図1は、k番目のフレームFkにおける各レンジブロックRi(図1における「B」ブロック)が、レンジブロックと同じサイズのものである、n個の循環的に先行するフレーム
Figure 2007519273
におけるドメインブロックDα(i)(図1における「A」ブロック)によって近似されるCPM処理を表す。Riの近似は、
Figure 2007519273
によって表し、α(i)は最適なドメインブロックの位置を表し、si、oiは各々、実数の係数である。Cは、画素値全てが1である定数ブロックであり、Oは直交化演算子である。この演算子は、DC成分をDα(i)から取り除くので、O(Dα(i))及びCはお互いに直交している。直交化の後、si、oiの最適な係数値を、Riをspan{O(Dα(i))}及びspan{C}の各々に投影することによって直接得ることができる。なお、si係数は写像におけるコントラスト・スケーリングを判定し、oi係数はレンジブロックRiのDC値を表す。
ドメイン・レンジ写像は、動き補償手法の一種として補間することができる。CPMでは、動きは変換のみによって表され、よって、α(i)は従来の動きベクトルである。動き推定の他に、ブロックのコントラスト及び全体輝度における変動がsi係数、oi係数各々によって補償される。符号器で−1以上1以下に量子化するようスケーリング係数siを設定することによって、CPMを反復して施すことは最終的には縮小性を有するものになり、よってフラクタル符号化手法が備えられる。CPMでは、ドメインブロック・サイズはレンジブロックと同じであるので、ドメインブロック・サイズがレンジブロック・サイズよりも大きい場合と比較して縮小性係数は良くない。CPM処理は、復号器での反復数を増加させることによってこれらの欠点を補償しようとする。
したがって、より高速でかつより効率的なCPMベースのビデオのフラクタル符号化を可能にするシステム、方法、信号及びコンピュータ・プログラム・プロダクトに対する必要性が当該技術分野において存在する。
好ましい実施例は、オーバーコンプリート・ウェーブレット・ドメインにおける循環予測写像(CPM)に基づいてビデオのフラクタル符号化を行うシステム、方法及びコンピュータ・プログラム・プロダクトを備える。本願に開示する処理によれば、各レンジブロックは、循環的に先行するフレームにおけるドメインブロックによって近似される。ドメインブロックのサイズは、コンプリート・オーバーコンプリート変換を用いれば、レンジブロックのものよりも大きく、それによって、同じドメインブロック・サイズを用いる従来のCPMアルゴリズムよりも速い収束速度を備える。しかし、時間相関が高いことが隣接フレーム間で非常によく活用されるが、それは、拡張された参照が、元の画像をシフトさせることによって生成され、よってレンジブロックとの高い時間相関を維持するからである。更に、好ましい実施例は、空間スケーラビリティを備える。
上記では、以下に続く本発明の詳細な説明を当業者がよりよく分かり得るように本発明の特徴と技術的効果とをいくぶん広く概説した。本発明の請求項の技術的内容を構成する、本発明の更なる特徴及び効果は、以下に説明することとする。当業者は、本発明のまさにその目的を行う他の構造の修正又は企図を行う基礎として開示する本願の概念及び特定の実施例を容易に用い得ることが分かるものである。当業者は、そのような均等な構成が、本発明の技術的思想及び範囲からその最も広い形態において逸脱するものでないことも認識するものである。
詳細な説明を始める前に、本明細書及び特許請求の範囲を通して用いる特定の語句の定義を表すことが効果的であり得る。すなわち、「include」及び「comprise」の語、並びにそれらの派生形は、限定なしの包含を意味する。「or」の語は包含的であり、及び/又は、を意味する。「associated with」及び「associated therewith」並びにそれらの派生形は、備える、中に備える、相互接続する、接続する、結合する、通信可能である、協調する、インタリーブする、並置する、近接する、結び付けられている、有する、特性を有するなどを意味し得る。「controller」の語は、少なくとも1つの動作を制御する何れかの装置、システム又はそれらの部分を意味し、そのような装置は、ハードウェア、ファームウェア若しくはソフトウェア、又はそれらのうちの少なくとも2つの特定の組み合わせで実施し得る。何れかの特定のコントローラに関連する機能は、局所であっても遠隔であっても、集中させてもよく分散させてもよい。特に、コントローラは、1つ若しくは複数のアプリケーション・プログラム及び/又はオペレーティング・システム・プログラムを実行する、1つ又は複数のデータ・プロセッサと、関連した入出力装置及びメモリを備え得る。特定の語句についての定義は、本明細書を通して備え、大半の場合でなくても多くの場合に、そのような定義が、そのように定義した語句の従来の用法及び将来の用法にあてはまるということを当業者は分かるものである。
本発明とその効果を更に徹底的に理解するために、同じ数字は同じ対象を表す添付図面とともに検討される以下の説明を次に参照する。
以下に記載する図1乃至図4と、本明細書において本発明の原理を説明するのに用いる種々の実施例は例証の目的のものに過ぎず、如何なるかたちでも本発明の範囲を限定するものとして解されないこととする。当業者は、本発明の原理を何れかの適切に配置される装置において実施し得るということが分かる。本願の数多くの創造的な教示は本願の好ましい実施例を特に参照して説明することとする。
3次元ウェーブレット構造は効率的なビデオ符号化ツールである。このウェーブレット・フレームワークでは、ビデオ・フレームの各々は、ウェーブレット・フィルタリングを用いて複数のバンドに空間的に分解され、バンド毎に時間相関が動き推定を用いて取り除かれる。オーバーコンプリート・ウェーブレット(OW)フレームワークは、奇数位相の係数も予測において考慮に入れることによってウェーブレット・ドメインにおける動き推定の非効率性を解決する。奇数位相の係数を得るうえで好都合な方法として、公知の、コンプリート・オーバーコンプリート変換と通常呼ばれる「バンドシフティング」方法がある。復号化された先行フレームも復号器で利用可能であるので、オーバーコンプリート拡張からの予測は、更なるオーバヘッドを何ら必要としない。
好ましい実施例は、動き推定特性を最大にするよう適応型高次補間フィルタをバンド毎に用いる。参照フレームの高次フィルタリングは、オーバーコンプリート・ウェーブレット係数を拡張することによるものである。例えば、HHバンドにおける動き推定に高次補間を達成するために、3つの他のウェーブレット係数位相が、図2に表すフレーム202/204/206/208に示す、(1,0)、(0,1)及び(1,1)の量、低バンドをシフトさせることによって元のウェーブレット係数から生成される。ここでは、元のウェーブレット係数は(0,0)フレーム202と、拡張された参照フレーム210とにおいて円として表す。拡張された参照フレーム210では、(1,0)位相シフト係数は正方形として表し、(0,1)位相シフト係数は三角形として表し、(1,1)位相シフト係数は六角形として表す。
更に、4つのウェーブレット係数位相を、図2に右のフレームとして表す拡張参照フレームを生成するよう、拡張し、合成する。拡張された参照から、補間器は、当業者に公知であるように、動き推定のために(1/2、1/4、1/8,1/16ペルなどの)分数ペルを生成する。
なお、オーバーコンプリート・ウェーブレット符号化アルゴリズムにおいて拡張された参照を生成することは、ドメインブロックがレンジブロックよりも通常、4倍大きい、フラクタル符号化の文献において公知であるドメイン・プール生成に非常に類似している。
本実施例によれば、n個のフレームは、図3に示すウェーブレット変換を用いてまず分解されるフレーム群(GOF)として符号化される。元の分解は、当業者に公知のもののように行われ、例えば、内容を本明細書及び特許請求の範囲に援用する、西暦2002年10月17日公表の米国特許出願公開第2002/0150164号記載のように行われる。
更に、各バンドは、n個の循環的に先行する参照フレームからブロック単位で予測され、それは、拡張された参照バンドを生成するコンプリート・オーバーコンプリート変換後に4倍の大きさになる。特に、図3に示すk番目のフレームでのバンド
Figure 2007519273
はレンジブロックに分割され、各レンジブロックは拡張された参照
Figure 2007519273
におけるドメインブロックによって推定すなわち近似され、そのとき、〔k〕nはnを法とするkを表す。
収束速度を上げ、復号器での反復数を削減するために、ずっと大きな拡張参照フレームを1/4、1/8.1/16の精度の補間を用いて生成することができる。
ドメインブロックのサイズは本実施例におけるレンジブロックよりも大きいので、収束速度は従来のCPMアルゴリズムと比較して大きく向上する。更に、拡張参照フレームが元の画像の種々のシフトに基づいて生成され、よって、大きな時間冗長度が存在するので、ドメインブロック・サイズがレンジブロックよりも大きくても、良好なドメイン・レンジ写像の、より多くの可能性がなお存在する。
アトラクタ系列は、任意の系列にCPMを反復して施すことによって再構築することができる。一般的に、収束速度は、ドメインブロック・サイズのレンジブロック・サイズに対する比率によって変わってくる。ドメインブロックがレンジブロックと比べて大きいほど、復号化系列の収束は速くなる。したがって、好ましい実施例は、通常のCPMアルゴリズムよりもずっと速い収束を備える。
復号化の反復は、順次の反復からの出力の間の差が小さくなるまで繰り返される。このことによって、復号化反復を増やすことを用いてビデオ品質の向上を得ることができる、固有の復号化計算量スケーラビティが備えられるが、十分な計算資源を復号器が有していない場合、計算量バジェットを満たすよう復号化反復を中止させ得る。
空間スケーラビリティを可能にするために、図3に関して説明する処理は、画像分解能が低いことが高い周波数バンドの情報を必要とするものでないように修正される。このことは、拡張された参照フレームを生成するよう上記処理を修正することによって行われる。例えば、図3では、コンプリート・オーバーコンプリート変換は
Figure 2007519273
に対して施されず、通常のCPMアルゴリズムが用いられる一方、他のバンドは全て、新たなCPMアルゴリズムを用いてオーバーコンプリート・ウェーブレット・ドメインにおいて符号化される。このことを修正することによって、空間スケーラビリティを実現することができる。アルゴリズムの別の実施例では、空間分解のLLバンドは、従来の動き予測DCT手法又は動き補償された時間フィルタリングを用いて符号化される一方、他の高分解能バンドは本願開示のCPM処理を用いて符号化される。
上記処理の種々の実施例では、従来のMC-DCT符号化手法を(LLLLなどの)ウェーブレット分解のサブバンドの部分集合に施してMPEGなどの従来のビデオ符号化標準に対する後方互換性を可能にする。更に、一部の実施例では、種々の表示サイズ群を満たすよう、サブバンドの一部を復号器で用いて、空間スケーラビリティを向上させる。更に、一部の実施例では、復号器の計算量の制約を満たすよう反復数が復号器によって判定される。
図4は、本発明の好ましい実施例による処理を表す流れ図である。この処理によれば、当該システムは、一連の画像フレームを備える画像信号をまず受信する(工程405)。各フレームは更に、ウェーブレット・フィルタリングを用いて複数のバンドに分解され、空間冗長度が取り除かれる(工程410)。コンプリート・オーバーコンプリート補間フィルタが施され、結果として生じる位相シフト・ウェーブレット係数を合成して、元のフレームよりもかなり大きな拡張参照フレームを生成する(工程415)。
n個のフレームは更に、ウェーブレット変換を用いて分解され(工程420)、フレーム群(GOF)として符号化される(工程425)。更に、各バンドは、複数のレンジブロック及びドメインブロックに分割され、n個の循環的に先行する参照フレームからブロック単位で予測され、それは、拡張参照フレームを生成するコンプリート・オーバーコンプリート変換後にかなり大きくなる(工程430)。本実施例は、元のフレームよりも4倍大きいものとして拡張参照フレームを示すが、この参照フレーム・サイズは行われる分解に応じて変え得る。よって、各バンドは、何れかの特定のフレームでレンジブロックに分割され、各レンジブロックは、循環的に先行する拡張フレームのドメインブロックから予測される。
上記処理は、所望の精度レベルが得られるまで、工程415で繰り返される。
図4における各ブロックも、上記工程を行うビデオ復号化コントローラにおける手段に相当する。特に、一実施例は、ビデオ復号化コントローラを備えるビデオ処理システムを設け、コントローラは、一連の画像フレームを受信し、各フレームを複数のバンドに分解し、各画像フレームをフィルタリングして、各画像フレームに相当する拡張参照フレームを生成するよう動作可能であり、拡張参照フレームは併せてフレーム群を備え、フレーム群は、循環的参照構造において配置され、コントローラは更に、各拡張参照フレームの各バンドを複数のレンジブロック及びドメインブロックに分割し、各レンジブロックは、フレーム群における循環的に先行する拡張参照フレームのドメインブロックによって予測される。
上記処理では、MC-DCT符号化を、ウェーブレット分解の複数のバンドのサブバンドの部分集合に施して、従来のビデオ符号化標準に対する後方互換性を可能にすることができる。
単純かつ明瞭にするため、本発明とともに用いるのに適したビデオ処理システム全ての完全な構造及び動作が本明細書に表しても説明してもいないということを当業者は認識するものである。その代わりに、本発明に特有であるか、本発明を理解するうえで必要な、ビデオ処理システムの部分のみを表し、説明している。ビデオ処理システムの構成及び動作の残りの部分は、公知の種々の現行の実施形態及び慣例の何れかに準拠し得る。
なお、本発明は完全に機能するシステムの意味合いで説明したが、本発明の手法の少なくとも一部分は種々の形式の何れかにおけるマシン使用可能媒体内に備える命令の形式において頒布することができ、この頒布を実際に行ううえで利用する特定のタイプの命令又は信号を担持する媒体に係わらず本発明が等しくあてはまるということを当業者は分かるものであるということを特筆する。マシン使用可能媒体の例には、読み取り専用メモリ(ROM)や消去可能な、電子的にプログラム可能な読み取り専用メモリ(EEPROM)などの非揮発性のハードコード型媒体、フロッピー(登録商標)・ディスク、ハード・ディスク・ドライブ及びコンパクト・ディスク読み取り専用メモリ(CD-ROM)やディジタル多用途ディスク(DVD)などのユーザ記録可能型媒体や、ディジタル通信リンクやアナログ通信リンクなどの伝送型媒体がある。
本発明の例示的な実施例は詳細に説明したが、本明細書及び特許請求の範囲記載の、本発明の種々の変更、置換、変形及び改良を、本発明の技術思想及び範囲からその最も広い形式において逸脱することなく行い得る。
本願における記載は何れも、何れかの特定の構成要素、工程又は機能が、本願の請求項に備えていなければならない必須構成要素であることを示唆するものとして解されないこととする。すなわち、特許された技術内容の範囲は、許可された請求項によってのみ規定される。更に、これらの請求項は何れも、「means for」のまさにその語に分詞が続かない限り、35USC§112段落6の援用を意図するものでない。
循環予測写像処理を表す図である。 本発明の実施例による、拡張された参照フレームを動き推定のためにウェーブレット係数のオーバーコンプリート拡張から生成することを表す図である。 本発明の実施例による、ウェーブレット・ドメインにおける循環予測写像処理の構造を表す図である。 本発明の実施例による処理を表す流れ図である。

Claims (27)

  1. ビデオ信号を処理する方法であって、
    一連の画像フレームを受信する工程と、
    各フレームを複数のバンドに分解する工程と、
    各画像フレームをフィルタリングして、各画像フレームに相当する拡張された参照フレームを生成する工程とを備え、拡張された参照フレームは併せてフレーム群を備え、該フレーム群は循環的に参照される構造において配置され、
    更に、拡張された参照フレーム各々の各バンドを、複数のレンジブロック及びドメインブロック
    Figure 2007519273
    に分割する工程を備え、各レンジブロックは、前記フレーム群における循環的に先行する、拡張された参照フレームのドメインブロックによって予測されることを特徴とする方法。
  2. 請求項1記載の方法であって、
    前記フィルタリングは、コンプリート・オーバーコンプリート補間フィルタであることを特徴とする方法。
  3. 請求項1記載の方法であって、
    各ドメインブロックは相当するレンジブロックよりも大きいことを特徴とする方法。
  4. 請求項1記載の方法であって、
    各ドメインブロックは相当するレンジブロックよりも少なくとも4倍大きいことを特徴とする方法。
  5. 請求項1記載の方法であって、
    前記処理は繰り返されることを特徴とする方法。
  6. 請求項1記載の方法であって、
    拡張された参照フレームの各々は、相当する画像フレームの位相シフト係数を備えることを特徴とする方法。
  7. 請求項1記載の方法であって、
    ウェーブレット分解の複数のバンドのサブバンドの部分集合にMC-DCT符号化を施して、従来のビデオ符号化標準に対する後方互換性を可能にする工程を更に備えることを特徴とする方法。
  8. 請求項1記載の方法であって、
    種々の表示サイズ群を満たすよう複数バンドのサブバンドの一部が用いられることを特徴とする方法。
  9. 請求項1記載の方法であって、
    反復数を復号器によって判定して該復号器の計算量の制約を満たすことを特徴とする方法。
  10. ビデオ復号化コントローラを備えるビデオ処理システムであって、
    前記コントローラは、
    一連の画像フレームを受信する工程と、
    各フレームを複数のバンドに分解する工程と、
    各画像フレームをフィルタリングして、各画像フレームに相当する拡張された参照フレームを生成する工程とを行うよう動作可能であり、
    拡張された参照フレームは併せてフレーム群を備え、該フレーム群は循環的に参照される構造において配置され、
    前記コントローラは更に、
    拡張された参照フレーム各々の各バンドを、複数のレンジブロック及びドメインブロック
    Figure 2007519273
    に分割する工程を行うよう動作可能であり、各レンジブロックは、前記フレーム群における循環的に先行する、拡張された参照フレームのドメインブロックによって予測されることを特徴とするビデオ処理システム。
  11. 請求項10記載のビデオ処理システムであって、
    前記フィルタリングは、コンプリート・オーバーコンプリート補間フィルタであることを特徴とするビデオ処理システム。
  12. 請求項10記載のビデオ処理システムであって、
    各ドメインブロックは相当するレンジブロックよりも大きいことを特徴とするビデオ処理システム。
  13. 請求項10記載のビデオ処理システムであって、
    各ドメインブロックは相当するレンジブロックよりも4倍大きいことを特徴とするビデオ処理システム。
  14. 請求項10記載のビデオ処理システムであって、
    前記コントローラは処理を反復して行うことを特徴とするビデオ処理システム。
  15. 請求項10記載のビデオ処理システムであって、
    拡張された参照フレームの各々は、相当する画像フレームの位相シフト係数を備えることを特徴とするビデオ処理システム。
  16. 請求項10記載のビデオ処理システムであって、
    前記コントローラが、ウェーブレット分解の複数のバンドのサブバンドの部分集合にMC-DCT符号化を施して、従来のビデオ符号化標準に対する後方互換性を可能にするよう更に動作可能であることを特徴とするビデオ処理システム。
  17. 請求項10記載のビデオ処理システムであって、
    種々の表示サイズ群を満たすよう複数バンドのサブバンドの一部が用いられることを特徴とするビデオ処理システム。
  18. 請求項10記載のビデオ処理システムであって、
    反復数が、前記コントローラの計算量の制約を満たすよう前記コントローラによって判定されることを特徴とするビデオ処理システム。
  19. コンピュータ判読可能媒体において有形的に実施されるコンピュータ・プログラム・プロダクトであって、
    一連の画像フレームを受信する命令と、
    各フレームを複数のバンドに分解する命令と、
    各画像フレームをフィルタリングして、各画像フレームに相当する拡張された参照フレームを生成する命令とを備え、拡張された参照フレームは併せてフレーム群を備え、該フレーム群は循環的に参照される構造において配置され、
    更に、拡張された参照フレーム各々の各バンドを、複数のレンジブロック及びドメインブロック
    Figure 2007519273
    に分割する命令を備え、各レンジブロックは、前記フレーム群における循環的に先行する、拡張された参照フレームのドメインブロックによって予測されることを特徴とするコンピュータ・プログラム・プロダクト。
  20. 請求項19記載のコンピュータ・プログラム・プロダクトであって、
    前記フィルタリングは、コンプリート・オーバーコンプリート補間フィルタであることを特徴とするコンピュータ・プログラム・プロダクト。
  21. 請求項19記載のコンピュータ・プログラム・プロダクトであって、
    各ドメインブロックは相当するレンジブロックより大きいことを特徴とするコンピュータ・プログラム・プロダクト。
  22. 請求項19記載のコンピュータ・プログラム・プロダクトであって、
    各ドメインブロックは相当するレンジブロックよりも少なくとも4倍大きいことを特徴とするコンピュータ・プログラム・プロダクト。
  23. 請求項19記載のコンピュータ・プログラム・プロダクトであって、
    前記処理は繰り返されることを特徴とするコンピュータ・プログラム・プロダクト。
  24. 請求項19記載のコンピュータ・プログラム・プロダクトであって、
    拡張された参照フレームの各々は、相当する画像フレームの位相シフト係数を備えることを特徴とするコンピュータ・プログラム・プロダクト。
  25. 請求項19記載のコンピュータ・プログラム・プロダクトであって、
    ウェーブレット分解の複数のバンドのサブバンドの部分集合にMC-DCT符号化を施して、従来のビデオ符号化標準に対する後方互換性を可能にする命令を更に備えることを特徴とするコンピュータ・プログラム・プロダクト。
  26. 請求項19記載のコンピュータ・プログラム・プロダクトであって、
    種々の表示サイズ群を満たすよう複数バンドのサブバンドの一部が用いられることを特徴とするコンピュータ・プログラム・プロダクト。
  27. 請求項19記載のコンピュータ・プログラム・プロダクトであって、
    反復数を復号器によって判定して前記復号器の計算量の制約を満たすことを特徴とするコンピュータ・プログラム・プロダクト。
JP2006518428A 2003-06-30 2004-06-28 オーバーコンプリート・ウェーブレット符号化と循環予測写像とを用いてビデオ処理を行うシステム及び方法 Pending JP2007519273A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US48379403P 2003-06-30 2003-06-30
PCT/IB2004/051035 WO2005001772A1 (en) 2003-06-30 2004-06-28 System and method for video processing using overcomplete wavelet coding and circular prediction mapping

Publications (1)

Publication Number Publication Date
JP2007519273A true JP2007519273A (ja) 2007-07-12

Family

ID=33552088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006518428A Pending JP2007519273A (ja) 2003-06-30 2004-06-28 オーバーコンプリート・ウェーブレット符号化と循環予測写像とを用いてビデオ処理を行うシステム及び方法

Country Status (6)

Country Link
US (1) US20060153466A1 (ja)
EP (1) EP1642236A1 (ja)
JP (1) JP2007519273A (ja)
KR (1) KR20060038408A (ja)
CN (1) CN1813269A (ja)
WO (1) WO2005001772A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060792A (ja) * 2004-07-13 2006-03-02 Microsoft Corp 3dサブバンド符号化のための組み込み基本レイヤコーデック
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8493513B2 (en) 2006-01-06 2013-07-23 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005002234A1 (en) * 2003-06-30 2005-01-06 Koninklijke Philips Electronics, N.V. Video coding in an overcomplete wavelet domain
EP1977593A4 (en) 2006-01-12 2010-06-16 Lg Electronics Inc PROCESSING MORE VIEW VIDEO
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
TWI344791B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
US20090003712A1 (en) * 2007-06-28 2009-01-01 Microsoft Corporation Video Collage Presentation
US9271035B2 (en) 2011-04-12 2016-02-23 Microsoft Technology Licensing, Llc Detecting key roles and their relationships from video
CN103347185B (zh) * 2013-06-28 2016-08-10 北京航空航天大学 基于选择性块变换的无人机侦察图像综合压缩编码方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1114555A1 (en) * 1999-07-20 2001-07-11 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
WO2001078402A1 (en) * 2000-04-11 2001-10-18 Koninklijke Philips Electronics N.V. Video encoding and decoding method
EP1300023A2 (en) * 2000-06-30 2003-04-09 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
US6931068B2 (en) * 2000-10-24 2005-08-16 Eyeball Networks Inc. Three-dimensional wavelet-based scalable video compression
WO2003055224A1 (en) * 2001-12-20 2003-07-03 Koninklijke Philips Electronics N.V. Video encoding and decoding method and device
WO2004036919A1 (en) * 2002-10-16 2004-04-29 Koninklijke Philips Electronics N.V. Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
JP2006060792A (ja) * 2004-07-13 2006-03-02 Microsoft Corp 3dサブバンド符号化のための組み込み基本レイヤコーデック
US9319729B2 (en) 2006-01-06 2016-04-19 Microsoft Technology Licensing, Llc Resampling and picture resizing operations for multi-resolution video coding and decoding
US8493513B2 (en) 2006-01-06 2013-07-23 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8780272B2 (en) 2006-01-06 2014-07-15 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8964854B2 (en) 2008-03-21 2015-02-24 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US10250905B2 (en) 2008-08-25 2019-04-02 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding

Also Published As

Publication number Publication date
US20060153466A1 (en) 2006-07-13
KR20060038408A (ko) 2006-05-03
WO2005001772A1 (en) 2005-01-06
CN1813269A (zh) 2006-08-02
EP1642236A1 (en) 2006-04-05

Similar Documents

Publication Publication Date Title
JP5921793B1 (ja) 非対称形の補間フィルタを利用して、映像を補間する方法及びその装置
JP6910532B2 (ja) 画像処理方法、デバイス、及びシステム
EP3043564B1 (en) Moving picture encoding and decoding method, and a device and program that use this method
JP2007519273A (ja) オーバーコンプリート・ウェーブレット符号化と循環予測写像とを用いてビデオ処理を行うシステム及び方法
JP3385077B2 (ja) 動きベクトル検出装置
EP1766992A1 (en) Motion compensation method
JP2007174634A (ja) 階層符号化装置、階層復号化装置、階層符号化方法、階層復号方法、階層符号化プログラム及び階層復号プログラム
JP2007501555A (ja) ビデオエンコードおよびデコードの方法および対応する装置
KR102312337B1 (ko) Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
JP5313326B2 (ja) 画像復号装置、方法およびプログラム、並びに、画像符号化装置、方法およびプログラム
JP2007174283A (ja) 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
JP2005039837A (ja) 映像雑音除去方法及び装置
JP2011004345A (ja) 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム
JP4350504B2 (ja) メッシュを導入した画像の符号化及び復号のための方法及び装置とそれに対応するプログラム
JP4835855B2 (ja) 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム
JP2008022531A (ja) 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
KR101522260B1 (ko) 해상도 변환 방법 및 그 장치
JP4565393B2 (ja) 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
KR101526321B1 (ko) 해상도 변환 방법 및 그 장치
JP4780139B2 (ja) 映像階層符号化装置、映像階層符号化方法、映像階層符号化プログラム、映像階層復号装置、映像階層復号方法、および映像階層復号プログラム
JP6641149B2 (ja) 映像符号化装置、映像復号装置及びプログラム
JP6388476B2 (ja) 符号化装置及びプログラム
KR101522261B1 (ko) 해상도 변환 방법 및 그 장치
JP2023122317A (ja) 縮小装置及びプログラム
JP2004140676A (ja) 信号処理装置、その方法およびそのプログラム