JP2005500718A - 3次元ウェーブレット変換方法及び装置 - Google Patents
3次元ウェーブレット変換方法及び装置 Download PDFInfo
- Publication number
- JP2005500718A JP2005500718A JP2003500839A JP2003500839A JP2005500718A JP 2005500718 A JP2005500718 A JP 2005500718A JP 2003500839 A JP2003500839 A JP 2003500839A JP 2003500839 A JP2003500839 A JP 2003500839A JP 2005500718 A JP2005500718 A JP 2005500718A
- Authority
- JP
- Japan
- Prior art keywords
- sub
- blocks
- block
- upsampled
- applying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
Abstract
3次元ウェーブレット変換の実施例が開示される。
Description
【0001】
関連出願
本特許出願は、1999年9月3日にAcharya他により出願された、発明の名称「ウェーブレットデータのゼロツリー符号化(Zerotree Encoding of Wavelet Data)」の米国特許出願番号09/390,255と、2000年11月27日にAcharya他により出願された、発明の名称「ウェーブレット変換された誤差データの符号化(Encoding of Wavelet Transformed Error Data)」の米国特許出願番号09/723,123、及び、Acharya他により同時に出願されている、発明の名称「ウェーブレット変換された係数の符号化方法及び装置(Method and Apparatus for Coding of Wavelet Transformed Coefficients)」の米国特許出願番号09/867,781(弁護士名簿番号042390.P11706)に関連し、前述の出願のすべては、現在請求されている主題の譲受人に譲渡されている。Acharya他により同時に出願されている、発明の名称「ウェーブレット変換された係数の符号化方法及び装置(Method and Apparatus for Coding of Wavelet Transformed Coefficients)」の米国特許出願番号09/867,781(弁護士名簿番号042390.P11706)は、参照によりここに組み込まれる。
【0002】
背景
本開示は3次元(3D)が像及び/又はビデオ変換に関連する。
【0003】
3Dサブバンド符号化、2Dサブバンド符号化の拡張は、最近、以下の理由により、少なくとも部分的に、注目が増加している。第1に、典型的には、ブロック歪み(block artifacts)が少なく、これは、特に低ビットレートで、動き補償(MC)及び、離散コサイン変換(DCT)アプローチのような、代わりの符号化方法で共通の問題である。第2に、MC補償法と異なり、別の動き推定段階を使用しない。第3に、空間と時間の両方でスケーラブルである。ウェーブレットベースの符号の効率は、例えば、ウェーブレット係数を効率よく符号化する、Shapiroによる論文”(ウェーブレット係数のゼロツリーを使用する埋め込み画像符号化)Embedded Image Coding Using Zerotrees of Wavelet Coefficients”、IEEE信号処理論文誌(IEEE Transaction on Signal Processing)、Vol.41,No.12,pp.3445−3459、1993年12月、に記載されているような、適用される符号化機構内にある。
【0004】
残念ながら、低エネルギー内容のウェーブレット係数を扱うときには、これらの技術の性能は、低い。更に、観察は、3Dウェーブレット変換により発生されるウェーブレット係数は低エネルギー内容であることを示す。例えば、多数のウェーブレット変換係数値は、ゼロであるか又は、小さな大きさの値を有する。標準的な方法は、幾つかのパスでこれらのフレームを符号化し、そして、これらのパスの各々は現在のしきい値をこの低値係数と比較する。これは、より低い圧縮比と符号化効率となる。従って、符号化効率と圧縮比を少なくとも概略維持するアプローチが必要である。
【0005】
主題は特に明細書に最終的な部分に示されそして明確に請求されている。しかしながら、目的、特徴及び、利点と共に、請求された主題、構成と方法の動作の両方は、添付の図面と共に読むときに、以下の詳細な説明を参照して最も良く理解されよう。
【0006】
詳細な説明
以下の詳細な説明では、請求項の主題の徹底的な理解を提供するために、多くの特定の詳細が示されている。しかしながら、請求項の主題は、これらの特定の詳細なしに実行されうることは当業者に理解されよう。他の例では、良く知られた方法、手続、構成要素及び、回路は、請求項の主題を曖昧にしないようにするために、詳細には説明しない。
【0007】
多重解像度のウェーブレット表現は、画像を理解するための単純な階層的フレームワークを提供する。異なる解像度で、画像の細部は一般的には、シーンの異なる物理的構造を特徴化しうる。粗いから精密な符号化へのアプローチは、例えば、効果的な圧縮を補助することにより、変換された画像の符号化を補助する。同様なアプローチがビデオシーケンスに適用されるときには、3−D変換を発生することが含まれうる。そのような表現はシーケンスの異なる物理的な構造も示し得るが、しかし、エッジ情報よりも、時間でのエッジの動きを示すサブブロックが発生されうる。3−Dウェーブレット変換を実行する手順の一実施例は、次のようであるが、請求項の主題は、この特定のアプローチ又は実施例の範囲に限定されない。例えば、3次元離散ウェーブレット変換(DWT)を複数のビデオ画像に適用する方法の実施例は、以下を含みうる。複数のビデオ画像はフレームを含み、そして、フレームは行と列を含みうる。そのような方法では、DWT係数の複数のブロックは、:複数のビデオ画像の、フレームのシーケンス、列のシーケンス及び、行のシーケンスに沿って、個々に且つ連続してフィルタリングし、;各フィルタ動作を適用した後に、フィルタ動作を適用した結果をサブサンプリングし、;DWT係数のブロックを発生した後に、DWT係数を埋め込みゼロツリー符号化するために、ビットベースの条件符号化を適用する、ことにより発生される。これを、図2と共に以下に詳細にに説明する。
【0008】
ここではVで示されている、入力ビデオシーケンスは、時間位置にしたが実質的に配置されている異なるフレームを有する3−Dブロックとして扱われる。このシーケンスは、図2に示されているように、この特定の実施例では、図2でP1とP2で示されている、2つのパスへ送られる。ここではP1の、1つのパスに沿って、この実施例ではフィルタ関数g(n)の、時間軸に沿ったフィルタリングが与えられる。フィルタされたデータは、再び、この特定の実施例では、ここでは、2により、サブサンプルされる。このように、この実施例では、ブロックの1つおきのフレームが、保持される。この減少されたブロックからのフレームは、再び、ここでは、図2でP3とP4で示されている、2つのパスへ送られる。
【0009】
ここではP3のような1つのパス又はサブパスに沿って、、再びフィルタ関数g(n)で、行に沿ってフィルタリングが適用される。フィルタされたデータは、再び、この特定の実施例では、ここでは、2により、サブサンプリングされる。ここで、マトリクス又はフレームの1つおきの列が保持される。この減少されたマトリクスは、図2でP5とP6で示されている、2つのパスへ送られる。
【0010】
方向P5に沿って、ここでは、フィルタリングは、フィルタ関数g(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。マトリクスの1つおきの行が、保持される。これは、詳細信号D1を発生する。
【0011】
ここではP6の、他の方向に沿って、フィルタリングは、この特定の実施例では、フィルタ関数h(n)で列に沿って適用される。フィルタされたデータは、この特定の実施例では再び、2によりサブサンプルされる。マトリクスの1つおきの行が、保持される。これは、詳細信号D2を発生する。
【0012】
ここではP4の、他のサブパスでは、フィルタリングは、フィルタ関数h(n)で行に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。マトリクスの1つおきの列が、保持される。この減少されたマトリクスは、図2でP7とP8で示されている、2つのパスへ再び分割される。
【0013】
1つの方向P7に沿って、フィルタリングは、ここでは、フィルタ関数g(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。ここでは、
マトリクスの1つおきの行が、保持される。これは、詳細信号D3を発生する。
【0014】
ここではP8の、他の方向に沿って、フィルタリングは、フィルタ関数h(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。マトリクスの1つおきの行が、保持される。これは、詳細信号D4を発生する。
【0015】
ここではP2の、他のパスで、この実施例ではフィルタ関数h(n)で、時間軸に沿ってフィルタリングが与えられる。フィルタされたデータは、この実施例では、2により、サブサンプルされる。ブロックの1つおきのフレームが、保持される。この減少されたブロックからのフレームは、再び、ここでは、図2でP9とP10で示されている、2つのパスへ送られる。
【0016】
1つのサブパスP9では、この実施例では、フィルタ関数g(n)で、行に沿ってフィルタリングが適用される。フィルタされたデータは、2により、サブサンプリングされる。そして、マトリクス又はフレームの1つおきの列が保持される。この減少されたマトリクスは、図2でP11とP12で示されている、2つのパスへ再び送られる。
【0017】
ここではP11の1つの方向で、フィルタリングは、ここではフィルタ関数g(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。そして、マトリクスの1つおきの行が、保持される。これは、詳細信号D5を発生する。
【0018】
ここではP12の、他の方向にでは、フィルタリングは、フィルタ関数h(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。そして、マトリクスの1つおきの行が、保持される。これは、詳細信号D6を発生する。
【0019】
他のサブパスP10では、フィルタリングは、ここではh(n)を使用して、行に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。マトリクスの1つおきの列が、保持される。この減少されたマトリクスは、図2でP13とP14で示されている、2つのパスへ再び分割される。
【0020】
ここではP13の1つの方向沿では、フィルタリングは、フィルタ関数g(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。1つおきの行が、保持される。これは、詳細信号D7を発生する。
【0021】
他の方向P14では、フィルタリングは、この実施例では、フィルタ関数h(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。従って、マトリクスの1つおきの行が、保持される。これは、詳細信号V’を発生する。
【0022】
このように、例えば、水平、垂直及び、対角、時間のような、エッジ情報の変化を提供する、7つの詳細なサブブロックが、抽出される。この実施例の、他の又は第8番目の、サブブロック又は構成要素は、この実施例ではh(n)のような低域通過フィルタリングによる、低解像度での適用されたビデオシーケンスである。以下に更に詳細に説明するように、これらのブロックを発生するために圧縮を適用することは、例えば、それゆえに、3−D符号化を生じうる。
【0023】
観測は、そのような3Dウェーブレット変換を適用することにより発生されたウェーブレット係数は、例えば、典型的には、低エネルギー内容であることがわかることを示す。例えば、多数のウェーブレット変換係数値は、ゼロ又は、小さな大きさの値である。標準的な方法は、典型的には、幾つかのパスでこれらのフレームを符号化し、そして、現在のしきい値と低値係数を比較する。これは、低圧縮比と符号化効率となる。このように、改善された結果は、低エネルギ内容係数と取り組む機構又は技術を適用することにより得られうる。
【0024】
3Dウェーブレット変換の前述の実施例の特徴は、以下を含みうる。離散3D−ウェーブレット変換は、画像を、1つは、低周波数サブバンド(LLL)及び、7つの高周波数サブバンド(LLH,LHL,LHH HLL,HLH, HHL,HHH)の7つのサブバンドに分解する。LLLサブバンドは、元の画像の特徴を含み、そして、更に複数のレベルへ分解されうる。一例の応用では、図4に示されたように、例えば、分解は、4レベルまでのqcifビデオに適用される(寸法144*176*x、ここでxはそれぞれサイズ16又は32である)。
【0025】
例示の変換のレベルは、図4に番号付けされている。係数の走査パターンは、変換の埋め込み特性に影響を与えうる。係数は、この特定の実施例では、図4に示されたように、粗いレベルの係数の前に精密なレベルの係数が走査されないように、走査されうる。前述の同時に出願されている、米国特許出願番号09/867,781(弁護士名簿番号042390.P11706)で使用されているアプローチのような、ゼロツリー検索(ZTS)についての親子関係は、図4のように、以下で与えられる。もちろん、これは、一例であり、請求項の主題はこの特定のZTR又は走査アプローチに限定されない。また、この特定のアプローチでは、LLLバンドは、符号化シーケンスの一部ではない。例えば、無損失符号化法がその伝送に適用されうる。この実施例での、符号化のための開始しきい値は、1としてとられる。連続するパスでは、しきい値は、例えば2のような、1より大きい乗算係数により増加される。そのようなパスの合計数は、そのような実施例については、
【数1】
により与えられ、ここでmaxは、符号化される係数の大きさの中の最大値を示す。前述の米国特許出願番号09/867,781(弁護士名簿番号042390.P11706)でのように、ビットベースの条件符号化機構が適用されるが、しかし、再び、請求項の主題はこれに関する範囲に限定されない。そのようなアプローチでは、しかしながら、真又は偽である特定の条件に従って、前述の出願に記載されているように、ビット1又は0が符号化される。
【0026】
復号と再構成については、この実施例について、逆の手順が適用されうる。例えば、復号器は、係数マトリクスを再構成するために、符号化器により発生されたビットストリームの復号を開始する。そのような復号機構は、前述の米国特許出願番号09/867,781(弁護士名簿番号042390.P11706)で詳細に説明されるが、しかし再び、請求項の主題はこのアプローチの範囲に限定されない。一般的には、しかしながら、符号化に使用されているアプローチとシーケンスを復号するのに使用されるアプローチの間のある程度の対応又は関連は、典型的には、発生する。
【0027】
再構成又は復号については、以下に示されそして図3に示された、技術又はアプローチが、適用されうる。例えば、1つの特定の実施例については、逆3次元離散ウェーブレット変換(3DIDWT)を、複数の変換されたビデオ画像サブブロックに適用する方法は、サブブロックは変換されたフレームを含みそしてフレームは行と列を含み、以下を含みうる。変換されたビデオ画像サブブロックは、:行、列及びフレームごとに、個々のサブブロックをアップサンプリングし、;各それぞれの組みに対応するアップサンプルされたサブブロックを発生するために、アップサンプルされたサブブロックの1つ又はそれ以上の個々の組みをフィルタリングし且つ結合し、;1つのアップサンプルされたサブブロックが残るまで、発生されたアップサンプルされたサブブロックの組みに前を再適用し、;次のより高い解像度でブロックを発生するために、1つの残りのアップサンプルされたサブブロックを8により乗算する、ことにより逆変換される。
【0028】
このアプローチを、以下のように、図3を参照して説明するが、請求項の主題はこの特定のアプローチの範囲に限定されない。詳細信号D1は、アップサンプルされる。例えば、ゼロの行が、隣接する行の間に挿入される。このサブブロックは、そして、フィルタ関数g(n)で列に沿ってフィルタされる。詳細信号D2は、アップサンプルされる。例えば、ゼロの行が、隣接する行の間に挿入される。このサブブロックは、そして、フィルタ関数h(n)で列に沿ってフィルタされる。D1とD2へ前述の処理を適用した結果の出力信号は、図3に示されたように加算される。結果のサブブロックは、アップサンプルされる。例えば、ゼロの列が、隣接する列の間に挿入される。このマトリクスは、そして、仮の信号I1を発生するために、フィルタ関数g(n)で行に沿ってフィルタされる。
【0029】
詳細信号D3は、アップサンプルされる。例えば、ゼロの行が、行の間に挿入される。このサブブロックは、そして、フィルタ関数g(n)で列に沿ってフィルタされる。詳細信号D4は、アップサンプルされる。例えば、ゼロの行が、行の間に挿入される。このサブブロックは、そして、フィルタ関数h(n)で列に沿ってフィルタされる。D3とD4へ前述の処理を適用した結果の出力信号は、加算される。結果のサブブロックは、アップサンプルされる。例えば、ゼロの列が、列の間に挿入される。このマトリクスは、そして、フィルタ関数h(n)で行に沿ってフィルタされる。結果の出力信号は、仮の信号I1と加算される。結果のサブブロックはアップサンプルされる。例えば、ゼロのフレームが、フレーム間に挿入される。このマトリクスは、そして、仮の信号I2を発生するために、フィルタ関数g(n)でフレームに沿ってフィルタされる。
【0030】
詳細信号D5は、アップサンプルされる。例えば、ゼロの行が、隣接する行の間に挿入される。このサブブロックは、そして、フィルタ関数g(n)で列に沿ってフィルタされる。詳細信号D6は、アップサンプルされる。例えば、ゼロの行が、隣接する行の間に挿入される。このサブブロックは、そして、フィルタ関数h(n)で列に沿ってフィルタされる。D5とD6へ前述の処理を適用した結果の出力信号は、図3に示されたように、加算される。結果のサブブロックは、アップサンプルされる。例えば、ゼロの列が、隣接する列の間に挿入される。このマトリクスは、そして、フィルタ関数g(n)で行に沿ってフィルタされる。このマトリクスは、そして、仮の信号I3を発生するために、フィルタ関数g(n)で行に沿ってフィルタされる。
【0031】
詳細信号D7は、アップサンプルされる。例えば、ゼロの行が、行の間に挿入される。このサブブロックは、そして、フィルタ関数g(n)で列に沿ってフィルタされる。詳細信号V’は、アップサンプルされる。例えば、ゼロの行が、行の間に挿入される。このサブブロックは、そして、フィルタ関数h(n)で列に沿ってフィルタされる。結果の出力信号は、加算される。結果のサブブロックは、アップサンプルされる。例えば、ゼロの列が、列の間に挿入される。このマトリクスは、そして、フィルタ関数h(n)で行に沿ってフィルタされる。結果の出力信号は、仮の信号I3と加算される。結果のサブブロックはアップサンプルされる。例えば、ゼロのフレームが、フレーム間に挿入される。このマトリクスは、そして、フィルタ関数h(n)でフレームに沿ってフィルタされる。結果の出力信号は、仮の信号I2と、加算される。結果のサブブロックは、次のレベルの解像度へのサブマトリクスを得るために、8により乗算される。
【0032】
結果において、再構成のために、逆変換手順が適用されうる。例えば、この特定の実施例では、前述の特許出願で記載されているように、ビットベースの条件復号が適用されうる。詳細信号は、一旦有効になると、より高解像度での再構成された画像を得るために、低解像度画像と結合されうる。
【0033】
前述の特定の実施例は、2つの一般的なビデオシーケンス:ミスアメリカ(中程度の動き)及び自動車シーケンス(高速の動き)に適用された。圧縮性能は、図5の表に示されている。このテーブルは、非常に大きな圧縮が、目に見える雑音の増加なしに達成されうることも示す。
【0034】
請求項の主題は、記載されそして示された特定の実施例の範囲に制限されないが、しかし、これらの実施例は多くの潜在的な利点を提供する。適用される3Dウェーブレット変換技術は、空間と時間の冗長度を利用することにより、画像シーケンス内の冗長度を減少させることが示された。この特定の実施例では、計算的に複雑な動き推定/補償技術を使用していない。同様に、動き推定/補償ベースのDCT技術が適用されないので、再構成されたビデオは一般的には、より少ない視覚的な妨害又はブロック歪みを有する。多くの部分については、前に記載の符号化機構が、計算的に高速であり、そして、少ないビットを使用することにより3Dウェーブレット変換された係数を効率的に符号化する。これゆえに、それは、圧縮性能を改善する。更に、前述の実施例は、更に、例えば、初期パスを順次落とすことにより、更に修正される。更に、前述の同時に出願されている特許出願に開示されているように、ビット面処理を適用することにより、前述の技術に対して小修正で、並行する実行が使用されうる。同様にビット面符号化及び復号のアプローチは、ビデオ符号化器のそのような実施例を、順次符号化環境について適するようにする。
【0035】
もちろん特定の実施例が記載されたが、請求項の主題は、特定の実施例又は実行への範囲に限定されないことは、理解されよう。例えば、一実施例は、集積回路チップで動作して実行されるような、ハードウェアであり、一方他の実施例はソフトウェアでもよい。同様に、実施例は、例えば、ファームウェア又は、ハードウェア、ソフトウェア又は、ファームウェアの組み合わせでも良い。同様に、請求項の主題はこれに関する範囲に限定されないが、一実施例は、記憶媒体のような物を含みうる。例えば、CD−ROM又はディスクのような、そのような記憶媒体は、その上に記憶された命令を有し、これは、例えば、コンピュータシステム又はプラットフォーム又は、画像化又はビデオシステムのような、システムにより実行されたときに、前述のような例えば、ビデオ又は画像処理の方法の実施例ような、請求項の主題に従って方法の実施例が実行されることとなる。例えば、画像又はビデオ処理プラットフォーム又は他の処理システムは、ビデオ又は画像処理ユニット、ビデオ又は画像入力/出力装置及び/又はメモリを含みうる。
【0036】
請求項の主題のある特定の特徴が説明されここで開示されたが、多くの修正、代替、変更及び、等価物は、当業者は思いつくであろう。従って、添付の請求項は、そのような修正及び変更を、請求項の主題の精神の範囲内であるようにカバーすると考えられることは、理解されよう。
【図面の簡単な説明】
【0037】
【図1】そのサブブロックを有する1レベルの3Dウェーブレット変換の概略を示す図である。
【図2】3Dウェーブレット変換の符号化を実行する方法の一実施例の処理フローである。
【図3】3Dウェーブレット変換の復号を実行する方法の一実施例の処理フローである。
【図4】3Dウェーブレット変換についてのブロックとサブブロックの間の親子関係を示す概略図である。
【図5】3Dウェーブレット変換を符号化する方法の一実施例を適用する代表的な結果を示すテーブルである。
関連出願
本特許出願は、1999年9月3日にAcharya他により出願された、発明の名称「ウェーブレットデータのゼロツリー符号化(Zerotree Encoding of Wavelet Data)」の米国特許出願番号09/390,255と、2000年11月27日にAcharya他により出願された、発明の名称「ウェーブレット変換された誤差データの符号化(Encoding of Wavelet Transformed Error Data)」の米国特許出願番号09/723,123、及び、Acharya他により同時に出願されている、発明の名称「ウェーブレット変換された係数の符号化方法及び装置(Method and Apparatus for Coding of Wavelet Transformed Coefficients)」の米国特許出願番号09/867,781(弁護士名簿番号042390.P11706)に関連し、前述の出願のすべては、現在請求されている主題の譲受人に譲渡されている。Acharya他により同時に出願されている、発明の名称「ウェーブレット変換された係数の符号化方法及び装置(Method and Apparatus for Coding of Wavelet Transformed Coefficients)」の米国特許出願番号09/867,781(弁護士名簿番号042390.P11706)は、参照によりここに組み込まれる。
【0002】
背景
本開示は3次元(3D)が像及び/又はビデオ変換に関連する。
【0003】
3Dサブバンド符号化、2Dサブバンド符号化の拡張は、最近、以下の理由により、少なくとも部分的に、注目が増加している。第1に、典型的には、ブロック歪み(block artifacts)が少なく、これは、特に低ビットレートで、動き補償(MC)及び、離散コサイン変換(DCT)アプローチのような、代わりの符号化方法で共通の問題である。第2に、MC補償法と異なり、別の動き推定段階を使用しない。第3に、空間と時間の両方でスケーラブルである。ウェーブレットベースの符号の効率は、例えば、ウェーブレット係数を効率よく符号化する、Shapiroによる論文”(ウェーブレット係数のゼロツリーを使用する埋め込み画像符号化)Embedded Image Coding Using Zerotrees of Wavelet Coefficients”、IEEE信号処理論文誌(IEEE Transaction on Signal Processing)、Vol.41,No.12,pp.3445−3459、1993年12月、に記載されているような、適用される符号化機構内にある。
【0004】
残念ながら、低エネルギー内容のウェーブレット係数を扱うときには、これらの技術の性能は、低い。更に、観察は、3Dウェーブレット変換により発生されるウェーブレット係数は低エネルギー内容であることを示す。例えば、多数のウェーブレット変換係数値は、ゼロであるか又は、小さな大きさの値を有する。標準的な方法は、幾つかのパスでこれらのフレームを符号化し、そして、これらのパスの各々は現在のしきい値をこの低値係数と比較する。これは、より低い圧縮比と符号化効率となる。従って、符号化効率と圧縮比を少なくとも概略維持するアプローチが必要である。
【0005】
主題は特に明細書に最終的な部分に示されそして明確に請求されている。しかしながら、目的、特徴及び、利点と共に、請求された主題、構成と方法の動作の両方は、添付の図面と共に読むときに、以下の詳細な説明を参照して最も良く理解されよう。
【0006】
詳細な説明
以下の詳細な説明では、請求項の主題の徹底的な理解を提供するために、多くの特定の詳細が示されている。しかしながら、請求項の主題は、これらの特定の詳細なしに実行されうることは当業者に理解されよう。他の例では、良く知られた方法、手続、構成要素及び、回路は、請求項の主題を曖昧にしないようにするために、詳細には説明しない。
【0007】
多重解像度のウェーブレット表現は、画像を理解するための単純な階層的フレームワークを提供する。異なる解像度で、画像の細部は一般的には、シーンの異なる物理的構造を特徴化しうる。粗いから精密な符号化へのアプローチは、例えば、効果的な圧縮を補助することにより、変換された画像の符号化を補助する。同様なアプローチがビデオシーケンスに適用されるときには、3−D変換を発生することが含まれうる。そのような表現はシーケンスの異なる物理的な構造も示し得るが、しかし、エッジ情報よりも、時間でのエッジの動きを示すサブブロックが発生されうる。3−Dウェーブレット変換を実行する手順の一実施例は、次のようであるが、請求項の主題は、この特定のアプローチ又は実施例の範囲に限定されない。例えば、3次元離散ウェーブレット変換(DWT)を複数のビデオ画像に適用する方法の実施例は、以下を含みうる。複数のビデオ画像はフレームを含み、そして、フレームは行と列を含みうる。そのような方法では、DWT係数の複数のブロックは、:複数のビデオ画像の、フレームのシーケンス、列のシーケンス及び、行のシーケンスに沿って、個々に且つ連続してフィルタリングし、;各フィルタ動作を適用した後に、フィルタ動作を適用した結果をサブサンプリングし、;DWT係数のブロックを発生した後に、DWT係数を埋め込みゼロツリー符号化するために、ビットベースの条件符号化を適用する、ことにより発生される。これを、図2と共に以下に詳細にに説明する。
【0008】
ここではVで示されている、入力ビデオシーケンスは、時間位置にしたが実質的に配置されている異なるフレームを有する3−Dブロックとして扱われる。このシーケンスは、図2に示されているように、この特定の実施例では、図2でP1とP2で示されている、2つのパスへ送られる。ここではP1の、1つのパスに沿って、この実施例ではフィルタ関数g(n)の、時間軸に沿ったフィルタリングが与えられる。フィルタされたデータは、再び、この特定の実施例では、ここでは、2により、サブサンプルされる。このように、この実施例では、ブロックの1つおきのフレームが、保持される。この減少されたブロックからのフレームは、再び、ここでは、図2でP3とP4で示されている、2つのパスへ送られる。
【0009】
ここではP3のような1つのパス又はサブパスに沿って、、再びフィルタ関数g(n)で、行に沿ってフィルタリングが適用される。フィルタされたデータは、再び、この特定の実施例では、ここでは、2により、サブサンプリングされる。ここで、マトリクス又はフレームの1つおきの列が保持される。この減少されたマトリクスは、図2でP5とP6で示されている、2つのパスへ送られる。
【0010】
方向P5に沿って、ここでは、フィルタリングは、フィルタ関数g(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。マトリクスの1つおきの行が、保持される。これは、詳細信号D1を発生する。
【0011】
ここではP6の、他の方向に沿って、フィルタリングは、この特定の実施例では、フィルタ関数h(n)で列に沿って適用される。フィルタされたデータは、この特定の実施例では再び、2によりサブサンプルされる。マトリクスの1つおきの行が、保持される。これは、詳細信号D2を発生する。
【0012】
ここではP4の、他のサブパスでは、フィルタリングは、フィルタ関数h(n)で行に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。マトリクスの1つおきの列が、保持される。この減少されたマトリクスは、図2でP7とP8で示されている、2つのパスへ再び分割される。
【0013】
1つの方向P7に沿って、フィルタリングは、ここでは、フィルタ関数g(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。ここでは、
マトリクスの1つおきの行が、保持される。これは、詳細信号D3を発生する。
【0014】
ここではP8の、他の方向に沿って、フィルタリングは、フィルタ関数h(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。マトリクスの1つおきの行が、保持される。これは、詳細信号D4を発生する。
【0015】
ここではP2の、他のパスで、この実施例ではフィルタ関数h(n)で、時間軸に沿ってフィルタリングが与えられる。フィルタされたデータは、この実施例では、2により、サブサンプルされる。ブロックの1つおきのフレームが、保持される。この減少されたブロックからのフレームは、再び、ここでは、図2でP9とP10で示されている、2つのパスへ送られる。
【0016】
1つのサブパスP9では、この実施例では、フィルタ関数g(n)で、行に沿ってフィルタリングが適用される。フィルタされたデータは、2により、サブサンプリングされる。そして、マトリクス又はフレームの1つおきの列が保持される。この減少されたマトリクスは、図2でP11とP12で示されている、2つのパスへ再び送られる。
【0017】
ここではP11の1つの方向で、フィルタリングは、ここではフィルタ関数g(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。そして、マトリクスの1つおきの行が、保持される。これは、詳細信号D5を発生する。
【0018】
ここではP12の、他の方向にでは、フィルタリングは、フィルタ関数h(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。そして、マトリクスの1つおきの行が、保持される。これは、詳細信号D6を発生する。
【0019】
他のサブパスP10では、フィルタリングは、ここではh(n)を使用して、行に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。マトリクスの1つおきの列が、保持される。この減少されたマトリクスは、図2でP13とP14で示されている、2つのパスへ再び分割される。
【0020】
ここではP13の1つの方向沿では、フィルタリングは、フィルタ関数g(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。1つおきの行が、保持される。これは、詳細信号D7を発生する。
【0021】
他の方向P14では、フィルタリングは、この実施例では、フィルタ関数h(n)で列に沿って適用される。フィルタされたデータは、2によりサブサンプルされる。従って、マトリクスの1つおきの行が、保持される。これは、詳細信号V’を発生する。
【0022】
このように、例えば、水平、垂直及び、対角、時間のような、エッジ情報の変化を提供する、7つの詳細なサブブロックが、抽出される。この実施例の、他の又は第8番目の、サブブロック又は構成要素は、この実施例ではh(n)のような低域通過フィルタリングによる、低解像度での適用されたビデオシーケンスである。以下に更に詳細に説明するように、これらのブロックを発生するために圧縮を適用することは、例えば、それゆえに、3−D符号化を生じうる。
【0023】
観測は、そのような3Dウェーブレット変換を適用することにより発生されたウェーブレット係数は、例えば、典型的には、低エネルギー内容であることがわかることを示す。例えば、多数のウェーブレット変換係数値は、ゼロ又は、小さな大きさの値である。標準的な方法は、典型的には、幾つかのパスでこれらのフレームを符号化し、そして、現在のしきい値と低値係数を比較する。これは、低圧縮比と符号化効率となる。このように、改善された結果は、低エネルギ内容係数と取り組む機構又は技術を適用することにより得られうる。
【0024】
3Dウェーブレット変換の前述の実施例の特徴は、以下を含みうる。離散3D−ウェーブレット変換は、画像を、1つは、低周波数サブバンド(LLL)及び、7つの高周波数サブバンド(LLH,LHL,LHH HLL,HLH, HHL,HHH)の7つのサブバンドに分解する。LLLサブバンドは、元の画像の特徴を含み、そして、更に複数のレベルへ分解されうる。一例の応用では、図4に示されたように、例えば、分解は、4レベルまでのqcifビデオに適用される(寸法144*176*x、ここでxはそれぞれサイズ16又は32である)。
【0025】
例示の変換のレベルは、図4に番号付けされている。係数の走査パターンは、変換の埋め込み特性に影響を与えうる。係数は、この特定の実施例では、図4に示されたように、粗いレベルの係数の前に精密なレベルの係数が走査されないように、走査されうる。前述の同時に出願されている、米国特許出願番号09/867,781(弁護士名簿番号042390.P11706)で使用されているアプローチのような、ゼロツリー検索(ZTS)についての親子関係は、図4のように、以下で与えられる。もちろん、これは、一例であり、請求項の主題はこの特定のZTR又は走査アプローチに限定されない。また、この特定のアプローチでは、LLLバンドは、符号化シーケンスの一部ではない。例えば、無損失符号化法がその伝送に適用されうる。この実施例での、符号化のための開始しきい値は、1としてとられる。連続するパスでは、しきい値は、例えば2のような、1より大きい乗算係数により増加される。そのようなパスの合計数は、そのような実施例については、
【数1】
により与えられ、ここでmaxは、符号化される係数の大きさの中の最大値を示す。前述の米国特許出願番号09/867,781(弁護士名簿番号042390.P11706)でのように、ビットベースの条件符号化機構が適用されるが、しかし、再び、請求項の主題はこれに関する範囲に限定されない。そのようなアプローチでは、しかしながら、真又は偽である特定の条件に従って、前述の出願に記載されているように、ビット1又は0が符号化される。
【0026】
復号と再構成については、この実施例について、逆の手順が適用されうる。例えば、復号器は、係数マトリクスを再構成するために、符号化器により発生されたビットストリームの復号を開始する。そのような復号機構は、前述の米国特許出願番号09/867,781(弁護士名簿番号042390.P11706)で詳細に説明されるが、しかし再び、請求項の主題はこのアプローチの範囲に限定されない。一般的には、しかしながら、符号化に使用されているアプローチとシーケンスを復号するのに使用されるアプローチの間のある程度の対応又は関連は、典型的には、発生する。
【0027】
再構成又は復号については、以下に示されそして図3に示された、技術又はアプローチが、適用されうる。例えば、1つの特定の実施例については、逆3次元離散ウェーブレット変換(3DIDWT)を、複数の変換されたビデオ画像サブブロックに適用する方法は、サブブロックは変換されたフレームを含みそしてフレームは行と列を含み、以下を含みうる。変換されたビデオ画像サブブロックは、:行、列及びフレームごとに、個々のサブブロックをアップサンプリングし、;各それぞれの組みに対応するアップサンプルされたサブブロックを発生するために、アップサンプルされたサブブロックの1つ又はそれ以上の個々の組みをフィルタリングし且つ結合し、;1つのアップサンプルされたサブブロックが残るまで、発生されたアップサンプルされたサブブロックの組みに前を再適用し、;次のより高い解像度でブロックを発生するために、1つの残りのアップサンプルされたサブブロックを8により乗算する、ことにより逆変換される。
【0028】
このアプローチを、以下のように、図3を参照して説明するが、請求項の主題はこの特定のアプローチの範囲に限定されない。詳細信号D1は、アップサンプルされる。例えば、ゼロの行が、隣接する行の間に挿入される。このサブブロックは、そして、フィルタ関数g(n)で列に沿ってフィルタされる。詳細信号D2は、アップサンプルされる。例えば、ゼロの行が、隣接する行の間に挿入される。このサブブロックは、そして、フィルタ関数h(n)で列に沿ってフィルタされる。D1とD2へ前述の処理を適用した結果の出力信号は、図3に示されたように加算される。結果のサブブロックは、アップサンプルされる。例えば、ゼロの列が、隣接する列の間に挿入される。このマトリクスは、そして、仮の信号I1を発生するために、フィルタ関数g(n)で行に沿ってフィルタされる。
【0029】
詳細信号D3は、アップサンプルされる。例えば、ゼロの行が、行の間に挿入される。このサブブロックは、そして、フィルタ関数g(n)で列に沿ってフィルタされる。詳細信号D4は、アップサンプルされる。例えば、ゼロの行が、行の間に挿入される。このサブブロックは、そして、フィルタ関数h(n)で列に沿ってフィルタされる。D3とD4へ前述の処理を適用した結果の出力信号は、加算される。結果のサブブロックは、アップサンプルされる。例えば、ゼロの列が、列の間に挿入される。このマトリクスは、そして、フィルタ関数h(n)で行に沿ってフィルタされる。結果の出力信号は、仮の信号I1と加算される。結果のサブブロックはアップサンプルされる。例えば、ゼロのフレームが、フレーム間に挿入される。このマトリクスは、そして、仮の信号I2を発生するために、フィルタ関数g(n)でフレームに沿ってフィルタされる。
【0030】
詳細信号D5は、アップサンプルされる。例えば、ゼロの行が、隣接する行の間に挿入される。このサブブロックは、そして、フィルタ関数g(n)で列に沿ってフィルタされる。詳細信号D6は、アップサンプルされる。例えば、ゼロの行が、隣接する行の間に挿入される。このサブブロックは、そして、フィルタ関数h(n)で列に沿ってフィルタされる。D5とD6へ前述の処理を適用した結果の出力信号は、図3に示されたように、加算される。結果のサブブロックは、アップサンプルされる。例えば、ゼロの列が、隣接する列の間に挿入される。このマトリクスは、そして、フィルタ関数g(n)で行に沿ってフィルタされる。このマトリクスは、そして、仮の信号I3を発生するために、フィルタ関数g(n)で行に沿ってフィルタされる。
【0031】
詳細信号D7は、アップサンプルされる。例えば、ゼロの行が、行の間に挿入される。このサブブロックは、そして、フィルタ関数g(n)で列に沿ってフィルタされる。詳細信号V’は、アップサンプルされる。例えば、ゼロの行が、行の間に挿入される。このサブブロックは、そして、フィルタ関数h(n)で列に沿ってフィルタされる。結果の出力信号は、加算される。結果のサブブロックは、アップサンプルされる。例えば、ゼロの列が、列の間に挿入される。このマトリクスは、そして、フィルタ関数h(n)で行に沿ってフィルタされる。結果の出力信号は、仮の信号I3と加算される。結果のサブブロックはアップサンプルされる。例えば、ゼロのフレームが、フレーム間に挿入される。このマトリクスは、そして、フィルタ関数h(n)でフレームに沿ってフィルタされる。結果の出力信号は、仮の信号I2と、加算される。結果のサブブロックは、次のレベルの解像度へのサブマトリクスを得るために、8により乗算される。
【0032】
結果において、再構成のために、逆変換手順が適用されうる。例えば、この特定の実施例では、前述の特許出願で記載されているように、ビットベースの条件復号が適用されうる。詳細信号は、一旦有効になると、より高解像度での再構成された画像を得るために、低解像度画像と結合されうる。
【0033】
前述の特定の実施例は、2つの一般的なビデオシーケンス:ミスアメリカ(中程度の動き)及び自動車シーケンス(高速の動き)に適用された。圧縮性能は、図5の表に示されている。このテーブルは、非常に大きな圧縮が、目に見える雑音の増加なしに達成されうることも示す。
【0034】
請求項の主題は、記載されそして示された特定の実施例の範囲に制限されないが、しかし、これらの実施例は多くの潜在的な利点を提供する。適用される3Dウェーブレット変換技術は、空間と時間の冗長度を利用することにより、画像シーケンス内の冗長度を減少させることが示された。この特定の実施例では、計算的に複雑な動き推定/補償技術を使用していない。同様に、動き推定/補償ベースのDCT技術が適用されないので、再構成されたビデオは一般的には、より少ない視覚的な妨害又はブロック歪みを有する。多くの部分については、前に記載の符号化機構が、計算的に高速であり、そして、少ないビットを使用することにより3Dウェーブレット変換された係数を効率的に符号化する。これゆえに、それは、圧縮性能を改善する。更に、前述の実施例は、更に、例えば、初期パスを順次落とすことにより、更に修正される。更に、前述の同時に出願されている特許出願に開示されているように、ビット面処理を適用することにより、前述の技術に対して小修正で、並行する実行が使用されうる。同様にビット面符号化及び復号のアプローチは、ビデオ符号化器のそのような実施例を、順次符号化環境について適するようにする。
【0035】
もちろん特定の実施例が記載されたが、請求項の主題は、特定の実施例又は実行への範囲に限定されないことは、理解されよう。例えば、一実施例は、集積回路チップで動作して実行されるような、ハードウェアであり、一方他の実施例はソフトウェアでもよい。同様に、実施例は、例えば、ファームウェア又は、ハードウェア、ソフトウェア又は、ファームウェアの組み合わせでも良い。同様に、請求項の主題はこれに関する範囲に限定されないが、一実施例は、記憶媒体のような物を含みうる。例えば、CD−ROM又はディスクのような、そのような記憶媒体は、その上に記憶された命令を有し、これは、例えば、コンピュータシステム又はプラットフォーム又は、画像化又はビデオシステムのような、システムにより実行されたときに、前述のような例えば、ビデオ又は画像処理の方法の実施例ような、請求項の主題に従って方法の実施例が実行されることとなる。例えば、画像又はビデオ処理プラットフォーム又は他の処理システムは、ビデオ又は画像処理ユニット、ビデオ又は画像入力/出力装置及び/又はメモリを含みうる。
【0036】
請求項の主題のある特定の特徴が説明されここで開示されたが、多くの修正、代替、変更及び、等価物は、当業者は思いつくであろう。従って、添付の請求項は、そのような修正及び変更を、請求項の主題の精神の範囲内であるようにカバーすると考えられることは、理解されよう。
【図面の簡単な説明】
【0037】
【図1】そのサブブロックを有する1レベルの3Dウェーブレット変換の概略を示す図である。
【図2】3Dウェーブレット変換の符号化を実行する方法の一実施例の処理フローである。
【図3】3Dウェーブレット変換の復号を実行する方法の一実施例の処理フローである。
【図4】3Dウェーブレット変換についてのブロックとサブブロックの間の親子関係を示す概略図である。
【図5】3Dウェーブレット変換を符号化する方法の一実施例を適用する代表的な結果を示すテーブルである。
Claims (34)
- 3次元離散ウェーブレット変換(DWT)を複数のビデオ画像に適用する方法であって、前記複数はフレームを含み、前記フレームは行と列を含み、前記方法は、
複数のビデオ画像の、フレームのシーケンス、列のシーケンス及び、行のシーケンスに沿って、個々に且つ連続してフィルタリングし、
各フィルタ動作を適用した後に、フィルタ動作を適用した結果をサブサンプリングし、
DWT係数のブロックを発生した後に、DWT係数を埋め込みゼロツリー符号化するために、ビットベースの条件符号化を適用する、
ことによりDWT係数の複数のブロックを発生する方法。 - サブサンプリングは、対応するフィルタ動作の後に、1つおきのフレーム、1つおきの列及び、1つおきの行を落とすことを含む、請求項1に記載の方法。
- 複数のブロックは、8ブロックを含む、請求項1に記載の方法。
- フィルタ動作を適用することは、各フィルタ動作について、高域通過フィルタと低域通過フィルタの1つを適用することを含む、請求項1に記載の方法。
- 集積回路であって、
3次元離散ウェーブレット変換(DWT)を複数のビデオ画像に適用し且つDWT係数の複数のブロックを発生する構造を有し、前記複数はフレームを含み、前記フレームは行と列を含み、
前記構造は、(a)各フィルタ動作について、高域通過フィルタと低域通過フィルタの1つを使用して、複数のビデオ画像の、フレームのシーケンス、列のシーケンス及び、行のシーケンスに沿って、個々に且つ連続してフィルタし、(b)各フィルタ動作を適用した後に、フィルタ動作を適用した結果をサブサンプリングし、(c)DWT係数のブロックを発生した後に、DWT係数を埋め込みゼロツリー符号化するために、ビットベースの条件符号化を適用するように適応される、集積回路。 - 前記構造は、少なくとも1つの下記の:ハードウェア、ソフトウェア、ファームウェア及び、それらの任意の組み合わせを含む、請求項5に記載の集積回路。
- 前記構造の前記サブサンプリング能力は、対応するフィルタ動作の後に、1つおきのフレーム、1つおきの列及び、1つおきの行を落とすように適応される、請求項6に記載の集積回路。
- 複数のブロックは、8ブロックを含む、請求項6に記載の集積回路。
- フィルタ動作を適用することは、各フィルタ動作について、高域通過フィルタと低域通過フィルタの1つを適用することを含む、請求項6に記載の集積回路。
- 複数の変換されたビデオ画像サブブロックに、3次元逆離散ウェーブレット変換(3DIDWT)を適用する方法であって、前記サブブロックは、変換されたフレームを含み、前記フレームは行と列を含み、前記方法は、
(1)DWT係数マトリクスを得るために、そのブロックの埋め込みゼロツリー符号化されたDWT係数に、ビットベースの条件復号を適用し、
(2)行、列及びフレームごとに、DWT係数マトリクスの個々のサブブロックをアップサンプリングし、
(3)各それぞれの組みに対応するアップサンプルされたサブブロックを発生するために、アップサンプルされたサブブロックの1つ又はそれ以上の個々の組みをフィルタリングし且つ結合し、
(4)1つのアップサンプルされたサブブロックが残るまで、発生されたアップサンプルされたサブブロックの組みに(3)を再適用し、
(5)次のより高い解像度でブロックを発生するために、1つの残りのアップサンプルされたサブブロックを8により乗算する、
ことにより、変換されたビデオ画像のサブブロックを逆変換することを含む、方法。 - DWTマトリクスの個々のサブブロックは、8サブブロックを含む、請求項10に記載の方法。
- アップサンプルされたサブブロックの1つ又はそれ以上の個々の組みをフィルタリングし且つ結合することは、その組みの1つのアップサンプルされたサブブロックに逆低域通過フィルタを適用しそして、その組みの他のアップサンプルされたサブブロックへ高域通過フィルタを適用することを含む、請求項10に記載の方法。
- アップサンプリングは、1つおきのフレーム、1つおきの列及び、1つおきの行を挿入することを含む、請求項10に記載の方法。
- 集積回路であって、
複数の変換されたビデオ画像サブブロックに、3次元逆離散ウェーブレット変換(3DIDWT)を適用する構造を有し、前記サブブロックは、変換されたフレームを含み、前記フレームは行と列を含み、
(a)DWT係数マトリクスを得るために、そのブロックの埋め込みゼロツリー符号化されたDWT係数に、ビットベースの条件復号を適用し、(b)行、列及びフレームごとに、DWT係数マトリクスの個々のサブブロックをアップサンプリングし、(c)各それぞれの組みに対応するアップサンプルされたサブブロックを発生するために、アップサンプルされたサブブロックの1つ又はそれ以上の個々の組みをフィルタリングし且つ結合し、(d)1つのアップサンプルされたサブブロックが残るまで、発生されたアップサンプルされたサブブロックの組みに(c)を再適用し、(e)次のより高い解像度でブロックを発生するために、1つの残りのアップサンプルされたサブブロックを8により乗算する、
ことにより、前記構造は変換されたビデオ画像のサブブロックを逆変換するように適用される、集積回路。 - 前記構造は、少なくとも1つの下記の:ハードウェア、ソフトウェア、ファームウェア及び、それらの任意の組み合わせを含む、請求項14に記載の集積回路。
- DWT係数マトリクスの個々のサブブロックは、8サブブロックを含む、請求項15に記載の集積回路。
- アップサンプルされたサブブロックの1つ又はそれ以上の個々の組みをフィルタリングし且つ結合することは、その組みの1つのアップサンプルされたサブブロックに逆低域通過フィルタを適用しそして、その組みの他のアップサンプルされたサブブロックへ高域通過フィルタを適用することを含む、請求項15に記載の集積回路。
- アップサンプリングは、1つおきのフレーム、1つおきの列及び、1つおきの行を挿入することを含む、請求項15に記載の集積回路。
- 命令がその上に記憶された記憶媒体を有する物であって、前記命令は、以下を行うことにより、コンピュータプラットフォームにより実行されたときに、複数のビデオ画像に3次元離散ウェーブレット変換(DWT)を適用する結果となり、前記複数はフレームを含み、前記フレームは行と列を含み:
複数のビデオ画像の、フレームのシーケンス、列のシーケンス及び、行のシーケンスに沿って、個々に且つ連続してフィルタリングし、
各フィルタ動作を適用した後に、フィルタ動作を適用した結果をサブサンプリングし、
DWT係数のブロックを発生した後に、DWT係数を埋め込みゼロツリー符号化するために、ビットベースの条件符号化を適用する、
ことによりDWT係数の複数のブロックを発生する、
記憶媒体を有する物。 - 複数のサブブロックは、8サブブロックを含む、請求項19に記載の物。
- アップサンプルされたサブブロックの1つ又はそれ以上の個々の組みをフィルタリングし且つ結合することは、その組みの1つのアップサンプルされたサブブロックに逆低域通過フィルタを適用しそして、その組みの他のアップサンプルされたサブブロックへ高域通過フィルタを適用することを含む、請求項19に記載の物。
- 命令がその上に記憶された記憶媒体を有する物であって、以下を行うことにより、前記命令は、コンピュータプラットフォームにより実行されたときに、複数の変換されたビデオ画像のサブブロックに3次元逆離散ウェーブレット変換(3DIDWT)を適用する結果となり、前記サブブロックは変換されたフレームを含み、前記フレームは行と列を含み:
(1)DWT係数マトリクスを得るために、そのブロックの埋め込みゼロツリー符号化されたDWT係数に、ビットベースの条件復号を適用し、
(2)行、列及びフレームごとに、DWT係数マトリクスの個々のサブブロックをアップサンプリングし、
(3)各それぞれの組みに対応するアップサンプルされたサブブロックを発生するために、アップサンプルされたサブブロックの1つ又はそれ以上の個々の組みをフィルタリングし且つ結合し、
(4)1つのアップサンプルされたサブブロックが残るまで、発生されたアップサンプルされたサブブロックの組みに(3)を再適用し、
(5)次のより高い解像度でブロックを発生するために、1つの残りのアップサンプルされたサブブロックを8により乗算する、
記憶媒体を有する物。 - DWT係数マトリクスの個々のサブブロックは、8サブブロックを含む、請求項22に記載の物。
- アップサンプルされたサブブロックの1つ又はそれ以上の個々の組みをフィルタリングし且つ結合することは、その組みの1つのアップサンプルされたサブブロックに逆低域通過フィルタを適用しそして、その組みの他のアップサンプルされたサブブロックへ高域通過フィルタを適用することを含む、請求項22に記載の物。
- システムであって、
集積回路、メモリ、及び、前記集積回路とメモリを結合するバスを有し、
前記集積回路は、3次元離散ウェーブレット変換(DWT)を複数のビデオ画像に適用し且つDWT係数の複数のブロックを発生する構造を有し、前記複数はフレームを含み、前記フレームは行と列を含み、
前記構造は、(a)各フィルタ動作について、高域通過フィルタと低域通過フィルタの1つを使用して、複数のビデオ画像の、フレームのシーケンス、列のシーケンス及び、行のシーケンスに沿って、個々に且つ連続してフィルタし、(b)各フィルタ動作を適用した後に、フィルタ動作を適用した結果をサブサンプリングし、(c)DWT係数のブロックを発生した後に、DWT係数を埋め込みゼロツリー符号化するために、ビットベースの条件符号化を適用するように適応される、システム。 - 前記構造は、少なくとも1つの下記:ハードウェア、ソフトウェア、ファームウェア及び、それらの任意の組み合わせを含む、請求項25に記載のシステム。
- 前記構造の前記サブサンプリング能力は、対応するフィルタ動作の後に、1つおきのフレーム、1つおきの列及び、1つおきの行を落とすように適応される、請求項26に記載のシステム。
- 複数のブロックは、8ブロックを含む、請求項26に記載のシステム。
- フィルタ動作を適用することは、各フィルタ動作について、高域通過フィルタと低域通過フィルタの1つを適用することを含む、請求項26に記載のシステム。
- システムであって、
集積回路、メモリ、及び、前記集積回路とメモリを結合するバスを有し、
前記集積回路は、複数の変換されたビデオ画像サブブロックに、3次元逆離散ウェーブレット変換(3DIDWT)を適用する構造を有し、前記サブブロックは、変換されたフレームを含み、前記フレームは行と列を含み、
(a)DWT係数マトリクスを得るために、そのブロックの埋め込みゼロツリー符号化されたDWT係数に、ビットベースの条件復号を適用し、(b)行、列及びフレームごとに、DWT係数マトリクスの個々のサブブロックをアップサンプリングし、(c)各それぞれの組みに対応するアップサンプルされたサブブロックを発生するために、アップサンプルされたサブブロックの1つ又はそれ以上の個々の組みをフィルタリングし且つ結合し、(d)1つのアップサンプルされたサブブロックが残るまで、発生されたアップサンプルされたサブブロックの組みに(c)を再適用し、(e)次のより高い解像度でブロックを発生するために、1つの残りのアップサンプルされたサブブロックを8により乗算する、
ことにより、前記構造は変換されたビデオ画像のサブブロックを逆変換するように適用される、システム。 - 前記構造は、少なくとも1つ下記の:ハードウェア、ソフトウェア、ファームウェア及び、それらの任意の組み合わせを含む、請求項30に記載のシステム。
- DWT係数マトリクスの個々のサブブロックは、8サブブロックを含む、請求項31に記載のシステム。
- アップサンプルされたサブブロックの1つ又はそれ以上の個々の組みをフィルタリングし且つ結合することは、その組みの1つのアップサンプルされたサブブロックに逆低域通過フィルタを適用しそして、その組みの他のアップサンプルされたサブブロックへ高域通過フィルタを適用することを含む、請求項31に記載のシステム。
- アップサンプリングは、1つおきのフレーム、1つおきの列及び、1つおきの行を挿入することを含む、請求項31に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/867,784 US6956903B2 (en) | 2001-05-29 | 2001-05-29 | Method and apparatus for three-dimensional wavelet transform |
PCT/US2002/016378 WO2002097734A2 (en) | 2001-05-29 | 2002-05-23 | Method and apparatus for three-dimensional wavelet transform |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005500718A true JP2005500718A (ja) | 2005-01-06 |
Family
ID=25350456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003500839A Pending JP2005500718A (ja) | 2001-05-29 | 2002-05-23 | 3次元ウェーブレット変換方法及び装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US6956903B2 (ja) |
EP (1) | EP1390916A2 (ja) |
JP (1) | JP2005500718A (ja) |
KR (1) | KR100561587B1 (ja) |
CN (1) | CN100380972C (ja) |
AU (1) | AU2002312023A1 (ja) |
TW (1) | TW580832B (ja) |
WO (1) | WO2002097734A2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6636167B1 (en) | 2000-10-31 | 2003-10-21 | Intel Corporation | Method of generating Huffman code length information |
US6563439B1 (en) | 2000-10-31 | 2003-05-13 | Intel Corporation | Method of performing Huffman decoding |
CN1554190A (zh) * | 2001-07-11 | 2004-12-08 | D・基尔班克 | 用于压缩数据的系统和方法 |
JP2005524260A (ja) * | 2002-04-23 | 2005-08-11 | キルバンク ダニエル | 通信においてマイクロレッツを使用するためのシステムおよび方法 |
US7408486B2 (en) * | 2003-04-21 | 2008-08-05 | Qbit Corporation | System and method for using a microlet-based modem |
KR100479206B1 (ko) * | 2003-06-14 | 2005-03-29 | 한국전자통신연구원 | 비대칭 축소 다중화를 이용한 3차원 영상 신호 처리 장치및 그 방법 |
US7715480B2 (en) * | 2003-10-17 | 2010-05-11 | Mitsubishi Electric Research Laboratories, Inc. | Video encoding with motion-selective wavelet transform |
EP1768417A4 (en) | 2004-06-11 | 2011-04-06 | Nec Corp | ANIMATED IMAGE ENCODER AND MOVIE IMAGE DECODER AND METHOD AND PROGRAM THEREOF |
KR100846870B1 (ko) | 2006-07-06 | 2008-07-16 | 한국전자통신연구원 | 다수의 기본 블록들의 다차원 구성을 통한 다단계 변환장치 및 그 방법 |
KR101246115B1 (ko) * | 2006-09-02 | 2013-03-20 | 세종대학교산학협력단 | 3차원 웨이블릿 기반 영상 부호화/복호화 방법 및 장치 |
JP5191879B2 (ja) * | 2008-12-25 | 2013-05-08 | ペンタックスリコーイメージング株式会社 | 撮像装置 |
JP5262693B2 (ja) * | 2008-12-25 | 2013-08-14 | ペンタックスリコーイメージング株式会社 | 撮像装置 |
JP5287226B2 (ja) * | 2008-12-25 | 2013-09-11 | ペンタックスリコーイメージング株式会社 | 撮像装置 |
FR2996033B1 (fr) * | 2012-09-26 | 2015-10-30 | Commissariat Energie Atomique | Dispositif de decomposition d'images par transformee en ondelettes |
CN103024399A (zh) * | 2013-01-18 | 2013-04-03 | 北京航空航天大学 | 一种基于小波变换的极低码率视频压缩编码方法 |
CN112995637B (zh) * | 2021-03-10 | 2023-02-28 | 湘潭大学 | 一种基于三维离散小波变换的多剖面医学图像压缩方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2088082C (en) | 1992-02-07 | 1999-01-19 | John Hartung | Dynamic bit allocation for three-dimensional subband video coding |
US5321776A (en) * | 1992-02-26 | 1994-06-14 | General Electric Company | Data compression system including successive approximation quantizer |
US5563960A (en) | 1993-01-22 | 1996-10-08 | David Sarnoff Research Center, Inc. | Apparatus and method for emphasizing a selected region in the compressed representation of an image |
US5748786A (en) | 1994-09-21 | 1998-05-05 | Ricoh Company, Ltd. | Apparatus for compression using reversible embedded wavelets |
US6549666B1 (en) * | 1994-09-21 | 2003-04-15 | Ricoh Company, Ltd | Reversible embedded wavelet system implementation |
US5777678A (en) | 1995-10-26 | 1998-07-07 | Sony Corporation | Predictive sub-band video coding and decoding using motion compensation |
US5710835A (en) | 1995-11-14 | 1998-01-20 | The Regents Of The University Of California, Office Of Technology Transfer | Storage and retrieval of large digital images |
US6144773A (en) | 1996-02-27 | 2000-11-07 | Interval Research Corporation | Wavelet-based data compression |
US6084912A (en) | 1996-06-28 | 2000-07-04 | Sarnoff Corporation | Very low bit rate video coding/decoding method and apparatus |
US6157746A (en) | 1997-02-12 | 2000-12-05 | Sarnoff Corporation | Apparatus and method for encoding wavelet trees generated by a wavelet-based coding method |
AU7709098A (en) * | 1997-05-30 | 1998-12-30 | Interval Research Corporation | Method and apparatus for wavelet based data compression |
US6125201A (en) | 1997-06-25 | 2000-09-26 | Andrew Michael Zador | Method, apparatus and system for compressing data |
US6269192B1 (en) | 1997-07-11 | 2001-07-31 | Sarnoff Corporation | Apparatus and method for multiscale zerotree entropy encoding |
EP0892557A1 (en) | 1997-07-18 | 1999-01-20 | Texas Instruments Inc. | Image compression |
EP0905978A3 (en) | 1997-09-29 | 2000-04-12 | Canon Kabushiki Kaisha | An encoding method and apparatus |
WO1999017257A2 (en) | 1997-09-29 | 1999-04-08 | Conexant Systems, Inc. | System and method for compressing images using multi-threshold wavelet coding |
AUPO951997A0 (en) | 1997-09-29 | 1997-10-23 | Canon Information Systems Research Australia Pty Ltd | A decoder method and architecture |
JPH11191153A (ja) | 1997-12-26 | 1999-07-13 | Ricoh Co Ltd | ウェーブレット変換係数の符号化方法 |
US6640015B1 (en) * | 1998-06-05 | 2003-10-28 | Interuniversitair Micro-Elektronica Centrum (Imec Vzw) | Method and system for multi-level iterative filtering of multi-dimensional data structures |
US6166742A (en) * | 1998-06-13 | 2000-12-26 | Lucent Technologies, Inc. | Wavelet-assisted volume ray casting |
KR100292359B1 (ko) * | 1998-07-01 | 2001-06-01 | 윤종용 | 워터마킹을 사용한 디지털 영상 코딩 장치와 디코딩 장치 및그 방법 |
GB9919805D0 (en) * | 1999-08-21 | 1999-10-27 | Univ Manchester | Video cording |
US7065253B2 (en) * | 1999-09-03 | 2006-06-20 | Intel Corporation | Wavelet zerotree coding of ordered bits |
US6587589B1 (en) | 2000-02-28 | 2003-07-01 | National Science Council | Architecture for performing two-dimensional discrete wavelet transform |
-
2001
- 2001-05-29 US US09/867,784 patent/US6956903B2/en not_active Expired - Fee Related
-
2002
- 2002-03-15 TW TW091104935A patent/TW580832B/zh not_active IP Right Cessation
- 2002-05-23 CN CNB028105060A patent/CN100380972C/zh not_active Expired - Fee Related
- 2002-05-23 AU AU2002312023A patent/AU2002312023A1/en not_active Abandoned
- 2002-05-23 WO PCT/US2002/016378 patent/WO2002097734A2/en active Application Filing
- 2002-05-23 JP JP2003500839A patent/JP2005500718A/ja active Pending
- 2002-05-23 EP EP02739373A patent/EP1390916A2/en not_active Withdrawn
- 2002-05-23 KR KR1020037015566A patent/KR100561587B1/ko not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR100561587B1 (ko) | 2006-03-20 |
WO2002097734A2 (en) | 2002-12-05 |
CN1511305A (zh) | 2004-07-07 |
AU2002312023A1 (en) | 2002-12-09 |
WO2002097734A3 (en) | 2003-04-03 |
KR20040023606A (ko) | 2004-03-18 |
EP1390916A2 (en) | 2004-02-25 |
TW580832B (en) | 2004-03-21 |
US20020181593A1 (en) | 2002-12-05 |
US6956903B2 (en) | 2005-10-18 |
CN100380972C (zh) | 2008-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6834123B2 (en) | Method and apparatus for coding of wavelet transformed coefficients | |
US6597739B1 (en) | Three-dimensional shape-adaptive wavelet transform for efficient object-based video coding | |
JP2005500718A (ja) | 3次元ウェーブレット変換方法及び装置 | |
JP4409276B2 (ja) | 多重解像度映像表示の方法及び映像符号器 | |
US7106910B2 (en) | Color video coding scheme | |
CN1954614B (zh) | 编码数值块的方法和设备 | |
KR20050028019A (ko) | 하나 및 다수의 기준 프레임을 기반으로 한 움직임 보상필터링을 사용한 웨이블릿 기반 코딩 | |
Raja et al. | Image compression using WDR & ASWDR techniques with different wavelet codecs | |
EP1705924A1 (en) | Moving picture encoding method and device, and moving picture decoding method and device | |
JP2000341689A (ja) | ウェーブレット逆変換装置及び方法、並びにウェーブレット復号装置及び方法 | |
JP2001223899A (ja) | 画像処理符号復号化方法および画像処理符号復号化システム、画像処理符号化装置および画像処理復号化装置、並びに記録媒体 | |
Wu et al. | Comparisons of Threshold EZW and SPIHT Wavelets Based Image Compression Methods | |
JPH0779350A (ja) | 画像データ圧縮処理方法および画像データ再構成方法 | |
JP2001086506A (ja) | 画像符号化装置及び方法 | |
AU749077B2 (en) | Digital image coding | |
JPH0723229A (ja) | 画像データ圧縮処理方法 | |
Dhivya et al. | Automated Identification Based On Seam Carving Technique and Set Partioning Technique In Hierarchical | |
Omaki et al. | VLSI implementation of a realtime wavelet video coder | |
JP4174254B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 | |
Khalid et al. | Wavelet analysis and high quality JPEG2000 compression using Daubechies wavelet | |
Dhivya et al. | Automated Identification Based On Seam Carving Technique And Set Partioning Technique In Hierarchical Trees | |
Hong et al. | Regularized edge-preserving subband coding scheme | |
JP2004135070A (ja) | 符号化方法及び画像処理装置 | |
Muzaffar et al. | Wavelet-based image compression using fixed residual value | |
JPH09214953A (ja) | データ符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061010 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070306 |