JP2004201315A - 空間スケーラブルな動きベクトルを用いたウェーブレット理論に基づく多重解像度映像表示 - Google Patents

Abstract

【課題】 ユニバーサルスケーラビリティと高い符号化効率を同時に達成し、動き補償を実装したウェーブレット映像符号化フレームワークを提供する。
【解決手段】 入力映像信号に、サブバンド動き補償時間フィルタ処理を適用し、フィルタ処理された入力映像信号について空間軸および時間軸の両方に沿って多重解像度表示を得ることにより、ユニバーサルスケーラビリティと高い符号化効率を同時に達成することができる。
【選択図】 図１２

Description

本発明は、全体として、映像符号化に関する。特に、空間スケーラブルな動きベクトルを用いたウェーブレット理論に基づく多重解像度映像表示、および、この技術を実装した映像符号器に関する。

映像のストリーミング配信には、単一のビットストリームに柔軟なスケーラビリティを与えることができるような、映像符号化が必要である。この映像符号化は、マルチメディアフレームワークにおいて様々な特性を有するサーバ、様々な特性を有する種類の異なるネットワーク、様々な特性を有する端末、収録装置および記憶装置をシームレスに統合できることが必要である。このマルチメディアフレームワークは、ＭＰＥＧ（Motion Pictures Experts Group）２１標準に関連するＭＰＥＧ委員会の作業活動および刊行物により定義付けられている。
いわゆる「ユニバーサル・スケーラビリティ」を映像ビットストリームについて実現するには、時間分解能を低減した映像シーケンス、空間分解能を低減した映像シーケンス、あるいは細かい粒状性の点で画質を低減した映像シーケンスを、単一のビットストリームから柔軟に再構成する必要がある。また、柔軟性に富むスケーラビリティ、すなわち時間スケーラビリティと空間スケーラビリティとＳＮＲ（信号対雑音比）スケーラビリティとを任意に組合わせることができることが必要であるとわかってきた。このスケーラビリティは、特に、帯域が可変なネットワークを介しておこなう送信、種々の媒体への記憶、および表示能力の異なる装置での表示において有用である。

従来の標準的な映像符号化処理技術は、動き補償と離散コサイン変換（Discrete Cosine Transform、ＤＣＴ）とを複合した符号化アーキテクチャを有し、様々なスケーラビリティをサポートしている。従来の技術は、映像符号化処理を階層化することにより、種類の異なるスケーラビリティを実現している。しかし、このアプローチでは所望のユニバーサル・スケーラビリティを実現できない。なぜなら、スケーラビリティが柔軟でなく、また、符号化性能が劣るからである。

一方、ウェーブレット符号化等の特性が本質的にスケーラブルな技術によれば、ユニバーサル・スケーラビリティを実現できる可能性がある。ただし、この技術が現時点における技術の最先端程度の性能を有していることを前提とする。
ウェーブレット変換は、信号、画像、映像の統計処理のためのツールとしてよく使われるようになった。多くの適用事例では、ウェーブレット領域（domain）において、現実の信号をありのまま、取り扱い、評価し、検出し、分類し、圧縮し、合成する等おこなうことができる。

ウェーブレット符号化は、画像の符号化に良く使われてきたツールであり、スケーラビリティに富んだ極めて高効率の映像符号を生成する。デジタル画像信号がウェーブレット変換されると、その信号はそのまま多重解像度表示されるという特性がある。他にも、ウェーブレット変換は、エネルギー圧縮（energy compaction）、局在性（locality）、逆相関（decorrelation）、エッジ検出等の、画像符号化に重要なスケーラブル特性を備えている。
１９９０年代初頭より、ウェーブレット技術を画像符号化の分野から映像符号化の分野に広げて適用するという試みが数多く行なわれてきている。また、さまざまなＭＰＥＧ委員会の活動も、ウェーブレット映像符号化技術を推進するように働いた。
これらの試みでは、たいてい、ウェーブレット変換のエネルギー圧縮特性が極めて効率的であること、および画像の空間冗長性を利用して、映像の符号化における高い効率を達成している。

動き補償とＤＣＴとを複合した符号化アーキテクチャを有する従来の技術では、映像信号のフレーム間冗長性を利用するために、通常、予測符号化技術が使用される。
しかし、近年、映像符号化における時間冗長性、すなわちフレーム間冗長性を効果的に利用するために、ウェーブレット変換が使われるようになった。
ウェーブレット変換は、空間方向と時間方向の両方向について、映像信号の多重解像度表示を生成する。この多重解像度表示により、映像符号化における空間スケーラビリティと時間スケーラビリティとがそのまま容易に実現できる。また、ウェーブレット理論に基づいた映像符号化により、符号化性能を犠牲にすることなく、細かい粒状性についてのスケーラビリティも実現できる。
また、最近、ＭＰＥＧ委員会は、フレーム間ウェーブレット技術分野における映像符号化を検討する映像符号化専門部会を新設した。
シアン・S.-T.（S.-T. Hsiang），ウッズJ. W.（J. W. Woods）「可反転動き補償３次元サブバンド／ウェーブレット・フィルタバンクを利用した映像埋め込み符号化」（Embedded video coding using invertible motion compensated 3-d subband/wavelet filter bank,）,「シグナルプロセッシング：イメージコミュニケーション（ Signal Processing: Image Communication）」,１６巻,２００１年５月 シアン・S.-T.（S.-T. Hsiang），ウッズJ. W.（J. W. Woods）「サブバンド／ウェーブレット係数のゼロブロックおよびコンテクストモデリングを利用した映像埋め込み符号化（Embedded image coding using zeroblocks of subband / wavelet coefficients and context modeling,）」,「ＩＳＣＡＳ−２０００」,２０００年５月, インターネット＜ＵＲＬ：http://www.cipr.rpi.edu/publications/publications.html＞ V.ボトリュー（V. Bottreau）,M.ベネティエレ（M. Benetiere）,B.フェルツ（B. Felts）, B.ペスケ-ペペスキュ（B. Pesquet-Popescu）, 完全スケーラブル３次元サブバンド映像コーデック（A fully scalable 3d subband video codec）, in ＩＣＰＩ２００１（Proceedings of IEEE International Conference on Image Processing, Thessaloniki, Greece）,２巻, ２００１年１０月 ７-１０日

本発明は、空間スケーラブルな動きベクトルを用いたスケーラブルな映像符号化のための様々な多重解像度映像表示を提供する。また、一群の映像分解プロセスを提供する。
これら映像分解プロセスは、サブバンド（subband）ＭＣＴＦ（Motion Compensated Temporal Filtering）を利用して、時間軸に沿ったマルチスケール表示を生成する。ＭＣＴＦ処理がサブバンド毎に実行されるので、動きベクトルが空間分解能を低減したサブバンドについて用意されることになる。したがって、空間スケーラビリティは、多重解像度表示を映像符号化に利用する映像符号器により、容易にサポートされるようになる。

一群の映像分解プロセスは、空間フィルタをＭＣＴＦのような１段時間フィルタと密接に組合わせることにより生成される。組合わせパターンの違いにより、空間スケーラビリティと時間スケーラビリティとの異なる組合せに対してスケーラブルな動きベクトルをサポートする多重解像度映像表示を得られる。
また、本発明は、特定のスケーラビリティ要件を備えるために映像符号器が必要とする特定の映像表示プロセスの設計を提供する。また、本発明は、スケーラビリテ要件に基づく多重解像度映像表示の設計を提供する。
また、本発明は、設計された映像表示プロセスの復号器への転送技術を提供する。以下の説明では映像符号化用映像表示プロセスについてのみ説明されているが、本発明が、説明されている特定の映像符号器のいずれかに制限されることはない。
また、本発明は、前記の多重解像度映像表示を利用することにより量子化の有無を選択できるとともに、表示係数を符号化することができる映像符号器を提供する。さらにその映像符号器には、ビットプレーン符号化技術を利用することもできる。

上記の記載は、発明の概要の紹介を目的としているのであり、発明の範囲を画定する特許請求の範囲を制限するように解釈されるものではない。

図１４は、本発明にかかる映像情報通信システム１４００を示すブロック図である。
システム１４００は、映像ソース１４０２、映像符号器１４０４、回線１４０６、映像復号器１４０８を備え、映像符号器１４０４で符号化された映像信号は、回線１４０６を介して映像復号器１４０８に送信される。

映像ソース１４０２は、映像信号のソースであればどんなものでもよく、例えば、受光した画像に基づいて映像情報を生成するビデオカメラや、リモートアクセス用に映像情報を保存してその情報をストリーム配信するネットワークに配置された映像ソースである。映像ソース１４０２は、映像符号器１４０４が対応する任意のフォーマットの映像情報を提供する。映像ソース１４０２が、映像符号器１４０４に制御情報を提供することもある。

映像符号器１４０４は、選択された符号化フォーマットにしたがって、受信した映像情報を符号化する。映像符号器１４０４に使用される映像符号化技術は、通常、ＭＰＥＧ−４映像符号化システムであるが、任意の他の符号化技術と置換できる。映像符号器１４０４が多重解像度表示に対応していることが好ましい。すなわち、空間分解能を、一つあるいはそれ以上の方向について、指定できることが好ましい。さらに、時間分解能が指定できることが好ましい。以降、指定された空間分解能および指定された時間分解能についての情報を、「多重解像度表示情報」と称する。多重解像度表示情報は、映像ソースから受信される制御情報により提供されるようにしてもよいし、映像復号器１４０８から回線１４０６を介して受信される制御情報により提供されるようにしてもよい。

ビデオ符号器１４０４は映像情報を符号化して、回線１４０６を介して符号化した情報を送信する。回線１４０６は、有線回線、無線回線、あるいはその任意の組合わせである。データ通信に適した任意のデータフォーマットを使用することにより、符号化された情報を高い信頼性の下で通信することができる。さらに、映像符号器１４０４は、多重解像度映像表示情報を回線１４０６を介して映像復号器に送信する。

映像復号器１４０８は、 回線を通じて符号化された映像情報を受信し、その情報を復号化して映像情報を再構成する。多重解像度映像符号化が用意されていると、映像復号器は、回線を通じて多重解像度映像表示情報を受信し、その情報を利用して符号化された映像情報の復号用の空間分解能及び時間分解能を適切に選択する。

映像情報通信システム１４００の構成要素は、ソフトウェア、ハードウェア及びそれらの任意の組合せを含む任意の態様で構成することができる。以下説明する機能は、コンピュータが読み取ることのできる情報記憶媒体に保存された１またはそれ以上のコンピュータが読み取ることのできるプログラムコード（以下、コンピュータプログラムと称する）を利用することにより、あるいは、電気信号として有線又は無線のネットワークを介してアクセスすることのできる１またはそれ以上のコンピュータプログラムを利用することにより実現することができる。コンピュータプログラムは、データ処理装置に他に利用することのできる装置との関連で記載の機能を実行させるようにプログラムするために使用される。特定の設計要件に基づいて、コンピュータプログラムの機能を複数のハードウェアと複数のソフトウェアとに割り振ることは、当業者にとって、容易にできる。

１．：離散ウェーブレット変換を用いた多重解像度表示
１．１：ウェーブレット基底及び多重解像度表示
ウェーブレットとは、時間軸及び周波数軸においてエネルギーが局在した”小さい波”のことである。このため、過渡的、非定常、あるいは時間により推移する現象を分析するのに特に適したツールとなる。
マザー・ウェーブレット関数をψ(t)、対応するスケーリング関数をφ(t)とすると、マルチスケール・ウェーブレット基底ψ_j,k(t)とφ_j,k(t)は、それぞれ式１、式２のように生成することができる。
式１、２の関数は、マザー・ウェーブレット関数ψ(t)とスケーリング関数φ(t)の平行移動及び拡大をあらわしている。ここで、ｊが拡大のスケールを表し、ｋが平行移動のシフトを表している。
したがって、信号s(t)はこの基底を使用して、式３のように線形表示できる。
ここで、スケーリング係数ｃ_j0,kおよびウェーブレット係数d_j,kが信号s(t)の多重解像度表示を与える。ウェーブレット基底が直交する時には、次のように、ｃ_j0,kおよびd_j,kは信号と基底との内積として表すことができる。
係数ｃ_j0,kおよび係数d_j,kは、信号s(t)の離散ウェーブレット変換と呼ばれる。なお、信号s(t)の多重解像度表示は式３のように信号を展開することにより得られ、第１項が信号s(t)の粗い近似となり、第２項が信号の多重解像度表示の詳細を表していることに注意されたい。

式３と同様な多重解像度表示を、デジタル画像、デジタル映像等の多次元信号のために生成することができ、線形表示の係数が多次元離散ウェーブ変換を画定する。この線形表示は、１次元ウェーブレット基底に基づいて構成された直交（separable）ウェーブレット基底に基づいて表示される。たとえば、線形表示のための二次元のウェーブレット基底は、次の二次元関数により生成することができる。
ここで、j_oは整数であり、ｊはj_oから無限大の間の整数であり、ｋ₁およびｋ₂はマイナス無限大から無限大の間の整数である。

なお、式５の二次元直交ウェーブレット基底の全てが、１次元ウェーブレット基底二個の積であることに注意されたい。また、これら二個の１次元ウェーブレット基底が同一の拡大スケールjを有していることが重要であることを指摘しておく。なぜなら、デジタル画像の二次元は密接に結合しているので、時間軸t₁およびt₂方向に沿って同一のスケールの周波数情報のみが役立つからである。

１．２ フィルタバンクの実装
離散ウェーブレット変換は、通常、多段分析フィルタバンクを利用して実装される。
図１を参照して、３次元離散ウェーブレット変換についてのフィルタバンクの実装を説明する。図に示すように、フィルタバンク１００は、第１段１０２、第２段１０４および第３段１０６を有する。各段は、スケーリングフィルタＨ_o１０８とそれに連結したデシメータ１１２、ならびにウェーブレットフィルタＨ₁１１０とそれに連結したデシメータ１１４を有する。

以下の例では、まず、１次元離散信号s＝(s_k)を使用して、３段離散ウェーブレット変換についてのフィルタバンクの実装を説明する。以下の説明で都合が良いように、c_j,k＝s_k とし、連続信号 s(t) を、ｊ＝j₀となるスケールに対して次のように構成することにする。
このようにすると、信号s(t)の３段ウェーブレット分解は次のように表される。
ここで、係数c_j-1,k、c_j-2,k、c_j-3,、及び係数d_j-1,k、d_j-2,k、d_j-3,kは図１のフィルタバンクでフィルタすることにより求められる。信号s(t)の３段離散ウェーブレット分解により、離散信号sの多重解像度表示が求まる。この３段離散ウェーブレット分解が３段分析フィルタバンクに対応する。ここで、スケーリングフィルタＨ_oとウェーブレットフィルタＨ₁とは、ウェーブレットシステム｛φ_j,k(t), ψ_j,k(t)｝によって決定される。デシメータ１１２および１１４の下向き矢印は、デシメーション動作、すなわち２分の１にダウンサンプルすることを示している。

なお、フィルタバンク１００のような多段分析フィルタバンクにより、離散ウェーブレット変換が効率よく実装できることに注意されたい。フィルタＨ_oおよびフィルタＨ₁はそれぞれ、ローパスフィルタ、ハイパスフィルタである。したがって、フィルタバンク１００の１０２、１０４、１０６の各段で、入力信号のスペクトルは低周波数側サブバンドと高周波側サブバンドとに分割される。Ｈａａｒのウェーブレットシステムにおいては、フィルタＨ_oおよびフィルタＨ₁のインパルス応答h₀とh₁は次式で表される。

図２は、二段二次元離散ウェーブレット変換についてのフィルタバンクの実装を示す。１次元の場合と同様に、多次元離散ウェーブレット変換は多段フィルタバンク２００を使用して実装することができる。
図２は、画像の二段ウェーブレット変換を実装した二段フィルタバンク２００を示す。フィルタバンク２００は、第１段２０２と第２段２０４とを有する。第１段２０２は、列を処理する段２０６と行を処理する段２０８とを有する。同様に、第２段２０４は、列を処理する段２１０と行を処理する段２１２とを有する。各段は、スケーリングフィルタＨ_oでおこなわれるローパスフィルタ処理と、ウェーブレットフィルタＨ₁でおこなわれるハイパスフィルタ処理と、それぞれに付随するデシメーション処理とを有する。

さらに、図２の再下段には、フィルタバンクの各段の処理に対応する二次元スペクトルの分割が示されている。なお、多段フィルタバンクは、各段における画像の列方向および行方向に沿ってローパスフィルタ処理およびハイパスフィルタ処理が各段で行われるように実装されている。

図３は、二次元離散ウェーブレット変換によって生成されたレナ（Lena）画像の多重解像度表示を例示する。図３（ａ）がレナ画像の原画像、同（ｂ）が（ａ）の原画像に二次元離散ウェーブレット変換を４段施して得られた多重解像度表示を示す。

映像信号についての３次元離散ウェーブレット変換も、図１に示した１次元の場合や図２に示した二次元の場合と同様に、多段フィルタバンクを使用して実装することができる。各段で、フィルタバンクは最低周波数サブバンドのスペクトルを半分に分割する。
図４は、１段３次元離散ウェーブレット変換についての１段フィルタバンクを示す。２つの空間方向および時間方向に沿ったフィルタ処理が１段の処理の中で連続して行われる。したがって、１段フィルタバンク４００は、列を処理して縦分割処理する段４０２と、行を処理して横分割処理する段４０４と、時間軸を処理して時間分割処理する段４０６とを有する。各段は、スケーリングフィルタＨ_oでおこなわれるローパスフィルタ処理と、ウェーブレットフィルタＨ₁でおこなわれるハイパスフィルタ処理と、それぞれに付随するデシメーション処理とを有する。

１．３ 画像／映像符号化
離散ウェーブレット変換は、画像及び映像に対する多重解像度表示を生成し、信号の冗長性をかなり低減することができる。サブバンド内／サブバンド間に残存する冗長性を利用することにより、極めて高い符号化効率を達成しているウェーブレット画像符号器が数多くある。ウェーブレット画像符号器における空間スケーラビリティは、ウェーブレット変換により生成される多重解像度表示により得られる。また、細かい粒状性のスケーラビリティも、ビットプレーン符号化技術を含めることにより達成できる。

３次元離散ウェーブレット変換を使用し、適度な符号化効率を達成する映像符号器もある。しかし、映像シーケンスの時間の冗長性を利用するためには、動き補償の方が、時間についてのウェーブレット変換よりも効率が良いと思われる。なぜなら、時間の冗長性は、動く方向に沿った画素間に存在し、位置が同一である画素間に存在するものではないからである。さらに、３次元離散ウェーブレット変換を利用する映像信号の分解からは、時間周波数情報と空間周波数情報とを別々に得ることができない。したがって、フレームレート及び画像サイズが不均一に低減された情報から映像シーケンスを柔軟に再構成することができない。つまり、３次元離散ウェーブレット変換を利用する映像符号器は、空間分解能と時間分解能の任意の組合せをサポートすることができない。

２．動き補償―時間フィルタ処理を利用する多重解像度映像表示
２．１ 映像信号用に修正されたマルチスケール・ウェーブレット基底
２．１．１ ハイブリッドスケール直交ウェーブレット基底
二次元直交ウェーブレット基底の各要素（例えば式５）は、二個の１次元ウェーブレット基底の積からなり、この二個の１次元ウェーブレット基底は同一の拡大スケールｊを有する。
この二個の１次元ウェーブレット基底が異なる拡大スケール（以下、ハイブリッドスケールと称する）を取ることができる場合には、二次元ウェーブレット基底で線形表示される信号ｓ（t₁,t₂）に対して時間軸t₁（t₂）方向および時間軸t₂（t₁）方向に１次元離散ウェーブレット変換を順番に施すことにより、信号ｓ(t₁,t₂)の係数を求めることができる。これらの係数により、通常の二次元離散ウェーブレット変換とは異なる、ハイブリッドスケール二次元ウェーブレット変換を定義することができる。

２つのウェーブレット変換の相違点を示すために、図５に、レナ画像について、それぞれの変換により得られる周波数分割を示す。図５（ａ）は、３段二次元離散ウェーブレット変換による周波数分割を示す。同（ｂ）は、ハイブリッドスケール３段二次元ウェーブレット変換による周波数分割を示す。

画像をハイブリッドスケールウェーブレット基底に基づいて表示することは特に好ましいものではない。なぜなら、通常、水平周波数と垂直周波数とを別とすることに意義がないからである。しかし、映像信号において時間周波数情報と空間周波数情報とはそれほど密接には結合していないので、映像信号の多重解像度表示においてそれぞれの周波数を別々に表示することが有益なことがある。したがって、映像信号のためのマルチスケール直交ウェーブレット基底の各要素は、時間軸方向と空間軸方向について、スケールを異なるようにできる。 したがって、映像信号の多重解像度表示は、空間軸方向に沿った二次元離散ウェーブレット変換と時間軸方向に沿った１次元離散ウェーブレット変換とに分離することによって得られる。言い換えると、時間軸方向の映像信号の分解と空間軸方向の映像信号の分解とが絡み合わないことになる。このような実装方法には同等の２つの方法がある。第１の実装方法は、画素領域における時間フィルタ処理であり、第２の実装方法は、ウェーブレット領域における時間フィルタ処理である。
画素領域における時間フィルタ処理には、各フレームについて時間軸に沿った１次元離散ウェーブレット変換とそれに続く二次元ウェーブレット変換とが含まれている。
ウェーブレット領域における時間フィルタ処理には、各フレームについて二次元ウェーブレット変換とそれに続く時間軸に沿った１次元離散ウェーブレット変換とが含まれている。

２．１．２ ハイブリッドコンポーネント直交ウェーブレット基底
二次元以上の多次元直交ウェーブレット基底は、単一の１次元ウェーブレット基底に基づいている。すでに説明したように、式５はその一例である。言い換えると、基底の各要素は同一の１次元ウェーブレット基底に由来する。
しかし、同様の多次元直交ウェーブレット基底は、複数の１次元ウェーブレット基底に基づいて構成することもできる。多次元直交ウェーブレット基底の各要素は、複数の１次元ウェーブレット基底の要素を用いて構成される。例えば、二次元ウェーブレット基底は、２つのウェーブレットシステム｛φ¹ _j,k ,ψ¹ _j,k｝と｛φ² _j,k ,ψ² _j,k｝を用いた二次元関数式によって次のように構成することができる。
ここで、j_oは整数であり、ｊはj_oから無限大の間の整数であり、ｋ₁およびｋ₂はマイナス無限大から無限大の間の整数である。ここで、j_oは整数であり、ｊはj_oから無限大の間の整数であり、ｋ₁およびｋ₂はマイナス無限大から無限大の間の整数である。このようにして、多次元信号の異なる方向について異なるウェーブレットが適用される。
通常、デジタル画像について、１次元ウェーブレット基底を利用して、直交ウェーブレット基底を構成する必要はない。なぜなら、異なるウェーブレーットを利用して、水平方向に沿った周波数情報と垂直方向に沿った周波数情報とを異なるようにする必要がないからである。
しかし、デジタル映像シグナルの場合は、複雑さの程度と遅延の問題のため、異なるウェーブレットを利用する必要があることもある。映像信号の時間軸方向に適用するウェーブレット変換を、空間軸方向に適用するウェーブレット変換よりも単純な形とすることが好ましい。
このため、映像符号化において時間軸の冗長性を利用する際は、逆相関効率と計算量を比較考量して、式６に挙げたＨａａｒのウェーブレット変換が通常使用される。
なお、Ｈａａｒのウェーブレットシステムにおいてスケーリングフィルタとウェーブレットフィルタがいずれも２つのタップを有しているので、実装されるフィルタバンクの各段におけるフィルタ処理は２フレームのみを取り扱う。

図６は、Ｈａａｒのウェーブレット変換を用いた画素領域における時間フィルタ処理を例示する。図６では、正方形のブロック６０２が連続するフレームを示している。太線で描かれた垂直矢印６０４が、空間ウェーブレット変換を示している。細線で描かれた矢印６０６は、Ｈａａｒのウェーブレットによるフィルタバンク処理を示している。

図６は、時間軸方向にＨａａｒのウェーブレット変換を使用したハイブリッドスケール３次元ウェーブレット変換を示している。この例では、まず３段のＨａａｒのウェーブレット変換が時間軸に沿って適用され、その後、４段の空間ウェーブレット変換が適用されている。時間軸フィルタ処理において、一群のフレーム（Group Of Frames、ＧＯＦ）中の連続する２つのフレームがペアとして組まされ、ペアになった２つのフレームにおいて共通する位置にある画素がフィルタ処理により取り除かれる。このように、２つの連続するフレームがペアとしてフィルタ処理され、低周波成分フレーム（平均フレーム）と高周波成分フレーム（差分フレーム）が生成される。このようにして得られた低周波成分フレームが、さらに分解されて、より粗い時間表示が生成される。このようにしてピラミッド型に分解された構造が得られる。

２．２ 動き補償―時間軸フィルタ処理（ＭＣＴＦ）
動き方向に沿った画素の間にフレーム間冗長性があるので、２つの連続するフレームで位置が共通する画素についてではなく、動く軌跡に沿った画素についてＨａａｒのウェーブレット変換を適用することが好ましい。そこで、２つの連続するフレームについてＨａａｒのウェーブレット変換を適用する際には、動き補償が行われていなければならない。ここで、Ｈａａｒのウェーブレット変換を使用するためのフィルタ処理を、動き補償―時間軸フィルタ処理、あるいはその頭文字を並べてＭＣＴＦと呼ぶことにする。

ＭＣＴＦを明確に理解するために、２つのフレームについての１段フィルタ処理を詳細に検討する。図７は、１段動き補償―時間軸フィルタ処理を示す。図７において、フレームＡ７０２とフレームＢ７０４の２つのフレームがペアとして動き補償を利用したフィルタ処理をされ、低周波成分フレーム（Ｌフレーム）と高周波成分フレーム（Ｈフレーム）が生成されている。したがって、フレームＡとフレームＢの符号化処理は、生成されるＬフレームとＨフレームの符号化処理に置き換えられる。

フィルタ処理操作の根本は画素毎の操作である。Ｈａａｒのフィルタ処理が適用されるフレームＡ７０２における画素をA(m,n)と、フレームＢ７０４における画素をB(s,t)とすると、画素A(m,n)と画素B(s,t)についての１段ＭＣＴＦはそれぞれ式７、式８のようになる。

この並列記法は、式９、１０で表されるリフティング表記と呼ばれる順次記法と同等である。

次に、画素A(m,n)と画素B(s,t)とを対応付ける方法について説明する。動く方向に沿った画素の間が最も強く相関しているので、２つのフレームにおける画素間の相関を求めるアルゴリズムはいずれも動き予測処理を有する。ここで、動きベクトルに沿ってある２画素を、「接続している」と称する。フレームＡ７０２において、非接続画素は遮断（occluded）されていることが普通である。この状態を、被覆されている（covered）とも称する。一方、フレームＢ７０４において非接続画素は剥き出しである（uncovered）、と称され、次に続くフレームに現れることが普通である。
したがって、ＭＣＴＦにおいて、被覆／剥き出し状態にある画素を特に注意しなければならない。

２．３：映像符号化
画素領域ＭＣＴＦおよび空間ウェーブレット変換により図６に示すように生成される映像信号の多重解像度表示は、映像信号を効率的に表示することができるので、ウェーブレット理論に基づく映像符号化に採用されてきた。例えば、非特許文献１に記載されているように、ＭＣ−ＥＺＢＣ（Motion Compensated Embedded Zero Block Context）符号器は、ＭＣＴＦを時間相関計算に利用するウェーブレット符号器の一種である。ＭＣ−ＥＺＢＣ符号器は、非特許文献２に記載のＥＺＢＣ空間符号器においてＭＣＴＦを利用する符号器である。ＭＣ−ＥＺＢＣ符号器は、ＭＣＴＦとそれに続く空間ウェーブレット変換により生成される多重解像度映像表示に基づいて動作する。
ＭＣＴＦのための動きベクトルは原映像の分解能を有するフレームについてまず得られるので、分解能が低減された場合に対応する動きベクトルをこの利用できる原映像の分解能に対応する動きベクトルから導出しなければならない。つまり、動きベクトルは空間スケーラブルではない。
したがって、ＭＣ−ＥＺＢＣ映像符号器は空間スケーラビリティを十分にサポートすることができない。
また、映像符号化においてＭＣＴＦにより時間冗長性が効率よく利用できることは、ＦＳＺ（Fully Scalable Zerotree）符号器においても示されている。

ＭＣ−ＥＺＢＣ符号器は、映像品質（あるいはビットレート）の広い範囲に対応（fully embedded）する符号器であり、空間分解能及びフレームレートについてスケーラビリティをサポートしている。また、細かい粒状性スケーラビリティについても、ＥＺＢＣビットプレーン符号化を含むことおよび、空間領域において固有ピラミッド分解されることにより、実現できる。また、ＭＣ−ＥＺＢＣは、各フレームについて同一のビットプレーンにおけるビットプレーン符号化を停止することにより、フレーム単位でも、ＧＯＦ単位でも一定の均質な品質を容易に実現できる。ＭＣＴＦは、時間軸に沿ったＧＯＦのピラミッド分解を生成するので、フレームレートが原映像の１／２、１／４、１／８となる映像シーケンスを容易に再構成できる。再構成されるフレームレートは伝送に要する時間、あるいは復号に要する時間内に収まるように決定することができる。つまり、ＭＣ−ＥＺＢＣ符合器は、時間スケーラビリティを柔軟にサポートしている。
また、空間領域における多重解像度表示は、そのまま、容量の低減された映像シーケンスを柔軟に再構成することができる。しかし、ＭＣＴＦでは動き補償がされるため、ＭＣ−ＥＺＢＣ符号器の空間スケーラビリティの問題が複雑となっている。なぜならＭＣＴＦでは、先に述べたように、動きベクトルは原映像フレームの分解能についてのみ用意されていて、容量の低減された映像を再構成するために必要なサブバンドにおける動きベクトルが用意されていないからである。したがって、低い分解能についての動きベクトルは、例えばスケーリング操作により、原映像の分解能についての動きベクトルから導出しなければならない。この処理によりドリフトの問題が生じることは明白である。
時間分解処理と空間分解処理とが独立しておこなわれるので、これら２種類についてのスケーラビリティを組合わせることは非常に容易である。しかし、映像品質についてのスケーラビリティを、これら２種類のスケーラビリティのいずれかと組合わせることは、映像品質の劣化の問題を有している。

３． スケーラブルな動きベクトルを使用した多重解像度映像表示
３．１ ウェーブレット領域におけるＭＣＴＦ
映像信号の直交ウェーブレット基底にハイブリッドスケールを導入することにより、ウェーブレット基底に基づく多重解像度表示は、画素領域における時間軸フィルタ処理、あるいは、ウェーブレット領域における時間フィルタ処理のいずれかにより求めることができる。
これら２つの実装は同等である。なぜなら、２フレームに共通して存在する画素についての時間フィルタ処理は、空間ウェーブレット変換と互換だからである。しかし、時間フィルタ処理に動き補償を導入することによりこの状況は変化する。なぜなら、通常の映像信号において、動きは非線形を示すからである。つまり、画素領域のＭＣＴＦで生成された多重解像度表示と、ウェーブレット領域のＭＣＴＦで生成されたものとは同等ではない。

画素領域のＭＣＴＦによる映像信号の多重解像度表示の生成処理については、すでに、図６で説明した。
図８は、ウェーブレット領域のＭＣＴＦ処理を示している。図８では、正方形のブロック８０２が連続するフレームを示している。太線で描かれた垂直矢印８０４が、空間ウェーブレット変換を示している。細線で描かれた矢印８０６は、Ｈａａｒのウェーブレットに基づく動き補償時間軸フィルタ処理過程を示している。
図８に示すように、ＧＯＦ８１０に含まれる８個のフレーム８０８のそれぞれは、まず４段ウェーブレット変換により分解される。続いて、８個のフレームの各空間サブバンドについてウェーブレット領域で３段ＭＣＴＦ処理が行われて、時間軸に沿ったＧＯＦ８１０の多重解像度表示を得る。各サブバンドのＭＣＴＦについて、サブバンドのウェーブレット係数が動く方向に沿って時間フィルタ処理されて、低時間周波数側フレームと高時間周波数側フレームとが生成される。

実装の点で、画素領域ＭＣＴＦによる多重解像度映像表示とウェーブレット領域ＭＣＴＦによる表示との違いは、ＭＣＴＦおよび空間ウェーブレット変換の段数の違いである。両表示の違いは、サブバンドＭＣＴＦがウェーブレット領域ＭＣＴＦでのみ行われる点にも現れている。
サブバンドＭＣＴＦの有利な点は、ウェーブレット領域ＭＣＴＦ処理を行うことで、低減された分解能に対応して空間スケールされた動きベクトルが求まることである。

映像信号の多重解像度表示を生成する際の時間ウェーブレット分解処理と空間ウェーブレット分解処理とが独立しているので、時間フィルタ処理１段と空間フィルタ処理１段とは相互に任意に組合わせる（intertwine）ことができる。なお、図６に示した画素領域ＭＣＴＦによる、あるいは図８に示したウェーブレット領域ＭＣＴＦによる多重解像度表示生成過程は、組合わせることのできない２つの例外である。なぜならこれら２つの過程において、空間フィルタ処理と時間処理との間で組み合わされることがないからである。
また、時間ウェーブレット分解処理および空間ウェーブレット分解処理について実行する最大の段数を指定すると、時間フィルタ処理と空間フィルタ処理とを異なるように組合わせた多数の処理が考えられる。時間フィルタ処理には動き補償処理が含まれるので、ＭＣＴＦと空間フィルタ処理とを異なるように組合わせた処理は、異なる多重解像度表示を生成する。その中には映像符号化の際に利用することができるものもあるであろう。

図９は、１段空間ウェーブレットフィルタ処理と１段時間ウェーブレット処理とを交互に行う２種類の典型的なフィルタ処理を示す。図９（ａ）は、第１フィルタ処理過程９０２を示し、１段目でＭＣＴＦをおこなう。同（ｂ）は、第２フィルタ処理過程９０４を示し、１段目で空間ウェーブレットフィルタ処理をおこなう。フィルタ処理過程９０２、９０４の両方が、時間について３段の空間について４段の多重解像度表示を生成する。

３．２ 空間スケーラブルな動きベクトル
画素領域ＭＣＴＦが多重解像度表示の生成に使用されると、容量の低減された映像を再構成するために必要なサブバンドについての動きベクトルが用意されていないので、低い空間分解能に対する動きベクトルを、スケーリング処理により、原映像の分解能についての動きベクトルから導出しなければならない。
したがって、ウェーブレット映像符号器に、空間スケーラビリティをサポートするサブバンドについての明示的かつ正確な動きベクトルが備わっていることが望ましい。サブバンドについての動きベクトルが用意されているということは、動きベクトルに空間スケーラビリティがあることを意味する。

サブバンドＭＣＴＦフィルタ処理過程は、画素領域ＭＣＴＦ過程よりも有利である。なぜなら、サブバンド動きベクトルは、サブバンド毎にＭＣＴＦを処理する際に得られるからである。つまり、サブバンドＭＣＴＦは、空間スケーラブルな動きベクトルを提供する。この典型例は、図８に示したウェーブレット領域ＭＣＴＦ過程である。図８の例では、時間ウェーブレット分解処理が生成したほとんど任意の空間分解能のサブバンドについて動きベクトルが用意されている。したがって、動きベクトルの空間スケーラビリティは、ウェーブレット領域ＭＣＴＦでは完全にサポートされているが、時間領域ＭＣＴＦでは全くサポートされていない。ここで、完全なサポートとは、時間分解および空間分解の段数の最大数の制約下で可能な空間分解能と時間分解能の任意の組合わせについて、映像シーケンスを再構成するための対応する動きベクトルが存在することを意味する。
具体例として、８フレームからなる映像シーケンスについて、空間ウェーブレット分解処理を最大４段、時間分解処理を最大３段とした処理を、図６、８、９に示した。別の例では、段数を変えて分解処理を適用することもできる。したがって、この場合、多重解像度表示から再構成することができる映像シーケンスの空間分解能は原映像の空間分解能の１／２、１／４、１／８あるいは１／１６である。同様に、原映像の時間分解能（フレームレート）の１／２、１／４あるいは１／８である映像シーケンスは、再構成することができる。

動きベクトルの空間スケーラビリティは、ウェーブレット領域ＭＣＴＦ過程では完全にサポートされている。なぜなら、空間分解の最大段数まで空間分解されたフレームに第１段のＭＣＴＦが適用される時に、全ての可能なサブバンドに対応してスケーラブルな動きベクトルが用意されているからである。中途段階までしか空間分解されていないフレームに第１段のＭＣＴＦが適用されると、空間分解能のより低いサブバンドに対応する動きベクトルは用意されていない。したがって、最下位の空間サブバンドの大きさ（size）は、用意されたスケーラブルな動きベクトルで再構成できる最下位の分解能となる。同様な状況は、ＭＣＴＦ手順が異なっても起きる。
このことは、空間分解処理と時間分解処理との間に、空間スケールされ、かつ時間スケールされた映像シーケンスの再構成の点で、密接な関係があることを示唆している。例えば、図９（ａ）の処理過程では、原映像の半分の空間分解能に対する動きベクトルは第２段のＭＣＴＦで求められる、一方、同（ｂ）の処理過程では、同様の動きベクトルは第１段のＭＣＴＦで求められる。この違いが直接影響するところは、空間スケーラビリティと時間スケーラビリティとの組合せをサポートするような空間スケーラブルな動きベクトルがあるかどうかである。明らかに、１／２の空間分解能と原映像と同一の時間分解能とを有する映像シーケンスは、図９（ｂ）の処理過程により再構成できるが、図９（ａ）の処理過程では再構成できない。また、映像シーケンスは、動きベクトルに起因する以外の映像品質の劣化を伴う場合には、再構成することができない。実際に、図９（ａ）の処理過程を用いると、１／２の空間分解能を有する映像シーケンスの最大時間分解能は、原映像の時間分解能の１／２となる。

上記議論は、多重解像度映像表示処理過程によりサポートされている動きベクトルの空間スケーラビリティが、空間スケールされ、時間スケールされた映像シーケンスの再構成のサポート、つまり、空間スケーラビリティと時間スケーラビリティとの組合わせと密接な関係があることを示している。実際に、このような映像表示処理過程は空間スケーラビリティと時間スケーラビリティとの組合せをサポートするための空間スケーラブルな動きベクトルが用意されていることにより特徴付けられる。

この目的用に２次元関数が定義されている。映像表示処理過程をΛとし、αΛ(s,t)で空間スケーラビリティと時間スケーラビリティとの組合せをサポートするための空間スケーラブルな動きベクトルの利用可能性をあらわすことにする。ここで、空間分解能のパラメータｓおよび時間分解能パラメータｔは、それぞれ、空間スケーラビリティと時間スケーラビリティに対応する分解能のレベルを表し、それぞれ、１、１／２、１／４、・・・１／２^Ls（Lｓは最大空間分解段数）、１、１／２、１／４、・・・１／２^Lt（Lｔは最大時間分解段数）の値をとる。

関数αΛ(s,t)は、０か１の値をとり、ぞれぞれ、パラメータSで指定される空間分解段数とパラメータｔで指定される時間分解段数とに対応する表示過程処理において動きベクトルが有る（１）無し（０）を示す。基本的に、関数αΛ(s,t)は、対応するスケーラビリティの組合わせが、表示処理過程においてサポートされているかどうかを示す。
分解能パラメータのペア（s,t）についての再構成に動きベクトルが必要ない時も、関数αΛ(s,t)は、１に設定される。パラメータ sとtの両方とも離散的な値を取るので、関数αΛ(s,t)は、表に示すことができる。その表が、表示処理過程を、表示処理過程がサポートする空間スケーラビリティと時間スケーラビリティの組合わせを表している。このテーブルを、「空間―時間スケーラビリティテーブル」、あるいは省略して「ＳＴテーブル」と称する。

図１０は、代表的なＳＴテーブルを４種類示している。図１０（ａ）のＳＴテーブルは、図６に示した時間領域ＭＣＴＦ過程に対応する。同（ｂ）のＳＴテーブルは、図８に示したウェーブレット領域ＭＣＴＦ過程に対応する。同（ｃ）、（ｄ）のＳＴテーブルは、図９に２つ示した交互に時間／空間フィルタ処理する過程に対応する。なお、この例では、Lｓ ＝ ４、Lｔ ＝ ３とし、関数αΛ(s,t)が１となるところに、黒丸がつけてある。
表の作成法、すなわち関数αΛ(s,t)の値の決定法を説明するには、この関数の性質を考慮することが有効である。この関数の性質をまとめると次のようになる。
・任意のｓ,ｔに対して、αΛ(1,t)＝１、あるいはαΛ(ｓ,t)＝０となる。 (11)
・任意のｔに対して、αΛ(1,t)＝１となる。 (12)
・任意のｓに対して、αΛ(1,1/2^Lt)＝１となる。 (13)
・αΛ(ｓ,t)＝0であれば、αΛ(ｓ, t/2)＝0となる。 (14)
・αΛ(ｓ,t)＝0であれば、αΛ(ｓ,2t)＝0となる。 (15)
・αΛ(ｓ,t)＝１であれば、αΛ(2ｓ,t)＝１となる。 (16)
・αΛ(ｓ,t)＝０であれば、αΛ(ｓ/2,t)＝０となる。 (17)

式１６の性質にしたがうと、ＳＴテーブルの位置(s,t)に黒丸がある。つまりαΛ(s,t)＝１であると、αΛ(2s,t)＝αΛ(4s,t)＝・・・αΛ(1/2,t)＝１が成立する。すなわち、テーブルの同じ列の位置(s,t)の左側は全て黒丸がつく。したがって、テーブルの各列ｉについて最も右の黒丸の位置s_iの決定が重要となる。テーブルの各列は、ＭＣＴＦの段数に対応する。上から下に、第１列が第１段ＭＣＴＦに、第２列が第２段ＭＣＴＦに、以下省略、対応する。したがって、最も右の位置s_iは、ｉ段ＭＣＴＦが適用される空間分解されたフレームの最下位の空間分解能に対応している。

図６および図９から、画素領域ＭＣＴＦ過程についてはs₁＝s₂＝s₃＝１となり、ウェーブレット領域ＭＣＴＦ過程についてはs₁ ＝s₂＝s₃＝１/16となることが容易に読み取れる。このことにより、図１０（ａ）の表が図６の処理過程に対応していること、および同（ｂ）の表が図８の処理過程に対応していることが説明できる。同様に、図９（ａ）と（ｂ）に示された２つの処理過程についての対応するパラメータの値は、前者がs₁＝１、s₂＝1/2、s₃＝１/4、後者がs₁＝1/2、s₂＝1/4、s₃＝１/8であり、これらが、残る図１０（ｃ）および（ｄ）の表について説明できる。

３．３ 映像表示スキームの設計
既に説明してきたように、時間ウェーブレット分解の段数の最大値および空間ウェーブレット分解の段数の最大値に対して、１段時間フィルタ処理と１段空間フィルタ処理を組み合わせる方法は多数あるので、多数の異なる多重解像度映像表示が得られる。これらの表示は、空間スケーラビリティと時間スケーラビリティとの異なる組み合わせをサポートする空間スケーラブルな動きベクトルを備えている。このような多重解像度映像表示が多様性に富むことにより、所望のスケーラビリティ要件を充足するように映像表示スキームを柔軟に選択することができる。つまり、基本課題は、このような映像表示スキームの設計法と、映像符号器におけるこのスキームの信号処理法である。まず、映像表示スキームの設計法について説明する。
符号器に課せられた空間スケーラビリティと時間スケーラビリティの要件は、ＳＴテーブルに表現されている。したがって、映像表示スキームの設計は、まずＳＴテーブルを設計することから始まる。
ＳＴテーブルの設計は、図１１（ａ）の表の中で？（疑問符）が付けられた位置の入力を決定することを含んでいる。ここでの設計課題は、与えられるＳＴテーブルに基づいて、空間フィルタ処理と時間フィルタ処理との組み合わせパターンを決定する方法と同じになる。
組み合わせパターン決定の一つの方法は、１段ＭＣＴＦが適用される際におけるフレームの空間分解の段数を決定する方法である。空間分解の段数は式１８で定義される空間分解パラメータS_iにより決定される。

空間分解パラメータS_iは次のことを示している。ｉ段目のＭＣＴＦが実行される際に、フレームが空間的に分解されて、最下位サブバンドの分解能が原映像フレームの空間分解能のS_i分の１となる。つまり、フレームに対して、-log₂S_i段の空間ウエーブレット分解が行われたことを示す。パラメータS_iによって、映像表示スキームを特定するために十分な情報が提供される。

以下、一例を挙げて、３０Ｈｚ−４ＣＩＦ（Common Intermediate Format）映像シーケンスのためのスケーラビリティ要件を実現する映像表示スキームの設計について説明する。
一般に、スケーラブルな映像符号器が、スケーラブルな映像ビットストリームから３０Ｈｚ−ＣＩＦ映像シーケンスと１５Ｈｚ−ＱＣＩＦ（Quarter Common Intermediate Format）映像シーケンスを再構成することができることが望ましい。この映像符号器に対するスケーラビリティ要件と同じものが、図１１（ｂ）のＳＴテーブルに表現されている。明らかなように、s₁＝1/2、s₂＝1/4、s₃＝１/４である。したがって、１段目のＭＣＴＦは、最下位サブバンドの分解能が原映像フレームの空間分解能の半分（s₁＝1/2）となる空間分解に適用される。つまり、原映像フレームには１段の空間分解が適用されていることになる。同様に、２段目のＭＣＴＦ、３段目のＭＣＴＦが適用される際には、原映像フレームには２段の空間分解が適用されていることになる。したがって、２段目のＭＣＴＦの直前に１段の空間フィルタ処理が行われ、２段目と３段目のＭＣＴＦの間では空間フィルタ処理が行われていない。３段目のＭＣＴＦの後は、全フレームが最大４段（Lｓ＝４）まで空間的に分解されるように１段以上の空間分解が行われる。上記解析にしたがうと、図１２に示す表示スキームが決定できる。

組み合わせパターンの決定には、上記方法以外にも、上記方法と対称となるもう一つの方法もある。つまり、空間ウェーブレット分解の各段に対応して空間フィルタ処理をする際の時間分解段数を決定する方法である。上記方法と同様に、時間分解段数は式１９で定義される時間分解パラメータt_jによって決定される。

時間分解パラメータt_jは次のことを示している。ｊ段目の空間フィルタ処理がされる際に、フレームが時間的に分解されて、最下位サブバンドの分解能が原映像フレームの時間分解能のt_j分の１となる。つまり、フレームに対して、-log₂t_j段の時間ウエーブレット分解（ＭＣＴＦ）が行われたことを示す。パラメータS_iを利用した方法から類推できるように、パラメータt_jを利用して、時間フィルタ処理と空間フィルタ処理との組み合わせパターンが決定される。図１１（ｂ）に示されたＳＴテーブルの場合、t₁＝1、t₂＝1/2、t₃ ＝１/8、t₄＝１/8である。これらのパラメータを利用して、図１２の映像表示スキームが容易に決定できる。なお、図１２の映像表示スキームで使用されている記号は図６、８に関連して説明したものに対応している。

３．４ 映像表示スキームの符号化
映像符号化において多重解像度映像表示を使用する時は、選択した表示を復号器に信号伝達する必要がある。先に説明したように、多重解像度映像表示に対するＳＴテーブルが映像表示スキームを特徴付けるので、映像表示スキームの選択の符号化には、対応するＳＴテーブルの符号化のみ必要である。

ＳＴテーブルに基づいて式１８により定義される空間分解パラメータs_iが、映像表示スキームを一意に決定するので、これらのパラメータのみを送信する必要がある。
r_iをＳＴテーブルのｉ番目の横の列にある黒丸の数を示す数、つまり、r_i＝-log₂S_i＋１とする。パラメータs_iがr_iと密接に関連しているので、ｉの増加する順にパラメータr_iのみ符号化する必要がある。この例では、画素領域ＭＣＴＦ処理過程については、r₁＝r₂＝r₃＝１となり、ウェーブレット領域ＭＣＴＦ処理過程については、r₁＝r₂＝r₃＝５となる。図９（ａ）と（ｂ）に示す２つの処理過程についてのパラメータは、それぞれ、r₁＝１,r₂＝2,r₃＝3、およびr₁＝2,r₂＝3,r₃＝4となる。図１２に例示する映像表示スキームについては、r₁＝2,r₂＝3,r₃＝3となる。
一方、各iについて、r_i≧１が成立するので、0からLｓまでの値をとる（r_i−１）を送信することのみが必要である。したがって、パラメータ（r_i−１）を異なるように符号化することもできる。各符号化単位は0とLｓの範囲となる。

同様に、各ｊについて、式１９により定義される時間分解パラメータt_j、あるいは、ＳＴテーブルのj番目の縦の列にある黒丸の数を示す数C_j、あるいは、パラメータ（C_j−１）のみを送信すれば十分である。なお、t_jとC_jとの間に C_j = Lt + log₂t_j、が成立している。さらに、パラメータ（C_j−１）は0からLtの範囲で、ｊが減少する順に、異なるように符号化することもできる。

式１１〜１７の性質に従うと、表に黒丸をつける事で値「１」を示しているＳＴテーブル（図１０）は、下三角形状を有することが知られている。したがって、その形状の右上境界のみ符号化すればＳＴテーブルを符号化することができるので、ＳＴテーブルの符号化に境界に基づく方法が使用される。この符号化を形状符号化と称する。
黒丸の付けられた領域と付けられていない領域との境界は、通常階段形状を有する。そこで、境界の進む方向を示す２個の符号が必要となる。例えば、垂直方向を示す１と、水平方向を示す０とが必要となる。ＳＴテーブルの大きさは、（Ｌｓ＋１）ｘ（Ｌｔ＋１）で表されるので、水平方向にＬｓビット、垂直方向にＬｔビット必要となる。しかし、表のビットのすべてが必要な訳ではない。なぜなら、垂直方向を知らせるＬｓビットが分かると、式１８で定義される空間分解パラメータs_iが決定し、表示過程が一意に決定されるからである。同様に、水平方向を知らせるLtビットが分かると、式１９で定義される時間分解パラメータt_jが決定するので、残りのビットは必要ない。したがって、形状符号化に必要なビットの最大数はLs+Lt−１である。

図１３は、ＳＴテーブル４個とそれぞれについて境界を記述する符号を示している。図１３（ａ）は時間領域ＭＣＴＦ処理過程（図６）についての形状符号を示している。同（ｂ）は、ウェーブレット領域ＭＣＴＦ処理過程（図８）についての形状符号を示している。同（ｃ）は、ＭＣＴＦを最初に行ってから交互に空間フィルタ処理と時間フィルタ処理とを行う処理過程（図９（ａ））についての形状符号を示している。同（ｄ）は、空間ウェーブレット分解を最初に行ってから交互に空間フィルタ処理と時間フィルタ処理とを行う処理過程（図９（ｂ））についての形状符号を示している。

なお、図１３に示す形状符号は、図に示した表の左上から開始する。しかし、表の右下から同様に形状符号化を開始してもよい。また、形状符号化は、映像表示スキームにおける２種類のフィルタ処理の組み合わせパターンと直接対応している。つまり、１が１段の空間フィルタ処理を示していて、０が１段のＭＣＴＦを示している。

３．５ サブバンドＭＣＴＦを用いたウェーブレット映像符号化
映像符号化で時間冗長性を利用することについてのＭＣＴＦの効率の良さは、画素領域ＭＣＴＦを利用するＭＣ−ＥＺＢＣ等の符号器および非特許文献３に記載のＦＳＺ符号器に表れている。しかし、非特許文献３には、サブバンドＭＣＴＦを用いるウェーブレット映像符号器については記載されていない。このように、サブバンドＭＣＴＦを用いるウェーブレット映像符号器は他手法に比べて優れている点が多く、この種の映像符号器は、文献に記載されれば、サブバンドＭＣＴＦ手法の代表的な例となると考えられる。
空間軸方向と時間軸方向とに沿って映像シーケンスが多重解像度に分解されているので、サブバンドＭＣＴＦ符号器は、空間スケーラビリティと時間スケーラビリティと対応する空間スケーラブルな動きベクトルとを容易に提供することができる。また、サブバンドＭＣＴＦ符号器は、ビットプレーン符号化を使用することにより、映像品質についてのスケーラビリティを容易にサポートできる。したがって、サブバンドＭＣＴＦウェーブレット映像符号化フレームワークが、ユニバーサルにスケーラブルな映像符号化の選択肢である。
しかし、サブバンドＭＣＴＦ手法にも明白な欠点があり、その欠点はウェーブレット領域における動き評価／動きフィルタ処理と関係している。すなわち、動き評価がより複雑になるだけでなく、ウェーブレット領域における動き評価／動きフィルタ処理の動作性能が低下する。したがって、動き評価／動きフィルタ処理の動作が非効率であることにより、バンド内ＭＣＴＦ手法の符号化性能が低下する。

以上、本発明に係る映像符号化方法および装置により映像符号化が改善されたことを説明してきた。本発明の範囲は、明細書に記載の実施形態に開示されるものに限定されることはなく、特許請求の範囲に基づいて決まる。また、技術水準に基づき当業者が行うことのできる変形および修正は本発明の範囲に含まれるものとする。

３段離散ウェーブレット変換のフィルタバンクの実装を示す図。 ２段２次元離散ウェーブレット変換のフィルタバンクの実装を示す図。 ２次元離散ウェーブレット変換で生成された標準画像レナ（Lena）の多重解像度表示を示す図。 １段３次元離散ウェーブレット変換の１段フィルタバンクの実装を示す図。 ２種類の変換の結果得られる周波数分割を示す図。 Ｈａａｒのウェーブレット変換を用いた、画素領域における時間フィルタを使用する映像表示処理過程を示す図。 １段動き保証時間フィルタを示す図。 ウェーブレット領域における動き補償時間フィルタを使用する映像表示処理過程を示す図。 交互に１段空間ウェーブレットフィルタ処理と１段時間ウェーブレットフィルタ処理とを行う２つの映像表示処理過程の例を示す図。 ＳＴテーブルを示す図。（ａ）、（ｂ）、（ｃ）、（ｄ）が、それぞれ、図６に示した映像表示処理過程、図８に示した映像表示処理過程、図９に２つ示した映像表示処理過程に対応する。 映像表示スキームの設計例を説明する際に使用するＳＴテーブルを示す図。 図１１の例示に対応する映像表示スキームを示す図。 種々の多重解像度映像表示スキームのＳＴテーブルに対応して生成される形状符号を説明する図。 映像情報通信システムのブロック図。

符号の説明

１４０２・・・映像ソース、１４０４・・・映像符号器、１４０６・・・回線、１４０８・・・映像復号器

Claims (2)

1. スケーラブルな映像符号化のための多重解像度映像表示の決定方法において、
   入力映像信号に、サブバンド動き補償時間フィルタ処理を適用する過程と、
   前記フィルタ処理された入力映像信号について、空間軸および時間軸の両方に沿って多重解像度表示を得る過程とを
   備える方法。
2. 入力映像信号に、サブバンド動き補償時間フィルタ処理をかける第１の手段と、
   前記第１の手段により前記フィルタ処理された入力映像信号について、空間軸および時間軸の両方に沿って多重解像度表示を得る第２の手段とを
   備える映像符号器。