JP2006523390A - オーバーコンプリート基底変換ベースの、動き残差フレーム符号化方法およびビデオ圧縮用装置 - Google Patents

Abstract

【解決手段】 本発明は、修正マッチング追跡アルゴリズムを使ったオーバーコンプリート基底変換に基づき、デジタル動画／ビデオ信号を圧縮する方法を提供する。より具体的には、本発明は、動き予測および動き補償の工程により生成される動き残差画像の効率的な符号化を重視したものである。前記残差画像における高エネルギー領域の形状および位置の初期推定を取得するには、残差エネルギー分割アルゴリズム（Ｒｅｓｉｄｕａｌ Ｅｎｅｒｇｙ Ｓｅｇｍｅｎｔａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ、略称ＲＥＳＡ）が使用できる。マッチング追跡工程でマッチする評価数を低減するには、漸進的排除アルゴリズム（Ｐｒｏｇｒｅｓｓｉｖｅ Ｅｌｉｍｉｎａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ、略称ＰＥＡ）が使用できる。ＲＥＳＡおよびＰＥＡは、事前に指定されたオーバーコンプリートな基底辞書からマッチする基底を検索する際、符号器を数倍高速化することが可能である。マッチしたパターンの３つのパラメータは、辞書のインデクスと、選択された基底の位置と、選択された基底パターンおよび残差信号の内積とを定義するアトムを形成する。本発明は、四分木技術に類似した技術を使った新しいアトム位置符号化方法と、新しいアトムモジュラス量子化スキームとを提供する。本発明に従ったシステムが低・中・高すべてのビットレート状況で適切に動作するようにするための量子化および位置符号化設計用に、簡易で効率的な適応機構が提供される。これらの新しいアルゴリズムコンポーネントは、より高速な符号化工程を実現し、これまでのマッチング追跡ベースのビデオ符号器を上回る圧縮性能をもたらす。

Description

本発明は圧縮の分野に関し、特にビデオ圧縮の方法およびその装置に関する。

一連の画像は膨大な格納スペースを要すことがあり、非圧縮デジタル形態で表現される際には、非常に高い転送帯域幅を必要とする。ポイントツーポイントデジタルビデオ通信は、数年前コンピュータネットワークおよび信号圧縮技術が進歩した結果、実用的なものになった。

デジタルビデオ圧縮を標準化する努力は１９８８年頃に開始された。現在では、動画専門家グループであるＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）委員会がＩＳＯ／ＩＥＣの下、ＭＰＥＧ−１およびＭＰＥＧ−２の両規格を完成させており、ＭＰＥＧ−４規格も完成されているが、新しい提案もまだ受け付けられている。また、ＣＣＩＴＴは、低ビットレートの応用を重視する一連の勧告、Ｈ．２６１、Ｈ．２６３、およびＨ．２６３＋を開発した。これらの標準化の試みは、すべてビデオシーケンスを圧縮するため２つの工程からなる手順を利用している。第１の工程では、動き予測（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）および補償アルゴリズムを使用し、以前のビデオフレームを使って予測されるビデオフレームを現在のビデオフレーム用に作成する。この際、現在のビデオフレームと予測されるビデオフレームとの相違点が算出され、動き残差画像（ｍｏｔｉｏｎ ｒｅｓｉｄｕａｌ ｐｉｃｔｕｒｅ、略称ＭＲＰ）と呼ばれる。標準化されたこの手順の第２の工程では、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、略称ＤＣＴ）を使ってＭＲＰを符号化する。このようなＤＣＴベースのシステムは、すべての状況で適切に機能するとは限らない。個人ビデオ通信に必要な低ビットレートの場合、ＤＣＴベースのシステムでは顕著なゆがみと可視的なブロックアーティファクトとが起こる。ＤＶＤなど高品質のビジュアル用途では、達成される圧縮比が極めて低い。

動き残差画像は、他の変換ベースの技術を使って符号化することができる。例えば、離散ウェーブレット変換（ｄｉｓｃｒｅｔｅ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍｓ、略称ＤＷＴ）およびオーバーコンプリート基底変換などが使用できる。ＺａｋｈｏｒおよびＮｅｆｆは、米国特許第５，６９９，１２１号において、マッチング追跡と呼ばれるオーバーコンプリート基底変換アルゴリズムに基づく動き残差符号化システムを示した。これは、ＭａｌｌａｔおよびＺｈａｎｇにより、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ｖｏｌ．４１、Ｎｏ．１２で、１９９３年１２月に初めて提案されたものである。ＺａｋｈｏｒおよびＮｅｆｆのビデオ符号器では、標準的なＤＣＴベースのビデオ符号器と比べ、ビジュアル品質とＰＮＳＲの双方が改善される。ただし、このシステムは、マッチした基底の位置符号化および変換係数の量子化にのみ対応できる一時的な設計であるため、非常に低速であり、圧縮性能が最適化されない。したがって、速度と効率の双方を提供できるオーバーコンプリート変換ベースの新しいビデオ符号化技術が必要とされている。

この背景事情は、本発明に関連性があると出願人が考える情報を知らしめる目的で提供するものであり、必ずしも了解を得ることを意図したものではない。また、以上の情報をもって本発明の先行技術と見なすと解釈すべきでもない。

本発明の目的は、オーバーコンプリート基底変換ベースの、動き残差フレーム符号化方法およびビデオ圧縮用装置を提供することである。本発明の態様によれば、オーバーコンプリートライブラリの基底関数を使って残差画像を符号化する方法は、サイズおよびエネルギーを有する前記残差画像を取得する工程と、前記残差画像を１若しくはそれ以上のアトムのリストへ分解する工程であって、各アトムが前記オーバーコンプリートライブラリの基底関数を表すものであり、前記残差画像を分解する工程は、（ｉ）残差エネルギー分割アルゴリズムを使ったアトムによる表現用に、前記残差画像内で置換領域を識別する工程と、（ｉｉ）前記オーバーコンプリートライブラリから基底関数のサブセットを作成する工程であって、前記サブセット内の各基底関数は所定のしきい値内で前記置換領域にマッチする工程と、（ｉｉｉ）前記基底関数のサブセット内でアトムを識別する工程であって、前記アトムは前記置換領域の表現用でありパラメータを有する、前記識別する工程と、（ｉｖ）前記アトムを量子化し、前記アトムの前記パラメータを符号化に適した形態に修正する工程と、（ｖ）前記量子化した前記アトムを符号化し、前記残差画像において前記置換領域から前記アトムを減算することにより、四分木ベースのアトム符号器を使って前記残差画像のエネルギーを低減して前記残差画像のサイズを縮小する工程と、（ｖｉ）前記縮小したサイズの前記残差画像または前記低減したエネルギーの前記残差画像を所定の基準と比較し、前記所定の基準が達成されるまで工程（ｉ）〜（ｖｉ）を繰り返す工程とを含む、前記残差画像を分解する工程とを有し、これにより、前記残差画像を符号化し、前記残差画像のサイズを所定のレベルまで縮小する方法が提供される。

本発明の異なる別の態様によれば、オーバーコンプリートライブラリの基底関数を使って残差画像を符号化する装置であって、サイズおよびエネルギーを有する前記残差画像を取得する手段と、前記残差画像を１若しくはそれ以上のアトムのリストへ分解する工程であって、各アトムが前記オーバーコンプリートライブラリの基底関数を表すものであり、前記残差画像を分解する手段は、（ｉ）残差エネルギー分割アルゴリズムを使ったアトムによる表現用に、前記残差画像内で置換領域を識別する手段と、（ｉｉ）前記オーバーコンプリートライブラリから基底関数のサブセットを作成する手段であって、前記サブセット内の各基底関数は所定のしきい値内で前記置換領域にマッチする手段と、（ｉｉｉ）前記基底関数のサブセット内でアトムを識別する手段であって、前記アトムは前記置換領域の表現用でありパラメータを有する、前記識別する手段と、（ｉｖ）前記アトムを量子化し、前記アトムの前記パラメータを符号化に適した形態に修正する手段と、（ｖ）前記量子化した前記アトムを符号化し、前記残差画像において前記置換領域から前記アトムを減算することにより、四分木ベースのアトム符号器を使って前記残差画像のエネルギーを低減して前記残差画像のサイズを縮小する手段と、（ｖｉ）前記縮小したサイズの前記残差画像または前記低減したエネルギーの前記残差画像を所定の基準と比較する手段とを含む、前記残差画像を分解する手段とを有し、これにより、前記残差画像を符号化し、前記残差画像のサイズを所定のレベルまで縮小する装置が提供される。

本発明のさらに異なる別の態様によれば、コンピュータプログラム製品であって、オーバーコンプリートライブラリの基底関数を使って残差画像を符号化する方法を実行するためのコンピュータプログラムが記録された、コンピュータで読み込み可能な媒体を有するコンピュータプログラム製品であって、サイズおよびエネルギーを有する前記残差画像を取得する工程と、前記残差画像を１若しくはそれ以上のアトムのリストへ分解する工程であって、各アトムが前記オーバーコンプリートライブラリの基底関数を表すものであり、前記残差画像を分解する工程は、（ｉ）残差エネルギー分割アルゴリズムを使ったアトムによる表現用に、前記残差画像内で置換領域を識別する工程と、（ｉｉ）前記オーバーコンプリートライブラリから基底関数のサブセットを作成する工程であって、前記サブセット内の各基底関数は所定のしきい値内で前記置換領域にマッチする工程と、（ｉｉｉ）前記基底関数のサブセット内でアトムを識別する工程であって、前記アトムは前記置換領域の表現用でありパラメータを有する、前記識別する工程と、（ｉｖ）前記アトムを量子化し、前記アトムの前記パラメータを符号化に適した形態に修正する工程と、（ｖ）前記量子化した前記アトムを符号化し、前記残差画像において前記置換領域から前記アトムを減算することにより、四分木ベースのアトム符号器を使って前記残差画像のエネルギーを低減して前記残差画像のサイズを縮小する工程と、（ｖｉ）前記縮小したサイズの前記残差画像または前記低減したエネルギーの前記残差画像を所定の基準と比較し、前記所定の基準が達成されるまで工程（ｉ）〜（ｖｉ）を繰り返す工程とを含む、前記残差画像を分解する工程とを有し、これにより、前記残差画像を符号化し、前記残差画像のサイズを所定のレベルまで縮小する方法が提供される。

本発明は、動き補償付きビデオ圧縮システムに使われる、オーバーコンプリート変換ベースの残差画像符号化用の新しい符号器である。本発明は、オーバーコンプリート辞書の基底関数を表すアトムのリストへと残差画像を分解することから、これまでのマッチング追跡ビデオ符号器に類似している。ただし、アトム検索工程は、残差エネルギー分割アルゴリズム（Ｒｅｓｉｄｕａｌ Ｅｎｅｒｇｙ Ｓｅｇｍｅｎｔａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ、略称ＲＥＳＡ）および漸進的排除アルゴリズム（Ｐｒｏｇｒｅｓｓｉｖｅ Ｅｌｉｍｉｎａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ、略称ＰＥＡ）を使って実行される。前記基底辞書は、頻出する動き残差画像を特徴付けるため、非常に大きくなる場合がある。ＲＥＳＡでは、アトムを検索するため、より小さい基底のサブセットでの比較により辞書内で良好な該当結果が見つかるよう、動き残差画像において高エネルギーを伴う領域の大まかな形状および位置が識別される。さらに、ＰＥＡでは、検索ウィンドウのエネルギーを事前計算して考慮することによりパターン候補を漸次除去して、最適マッチの検索に必要な計算時間を短縮する。マッチしたアトムが見つかるたびに、そのアトムにより特徴付けられる部分が除去されて、その残差画像が更新される。アトムを検索し残差画像を更新する上記の工程は、望ましい圧縮ビットレートまたは品質が達成されるまで繰り返される。

本発明では、アトム検索手順を変える、オーバーコンプリート基底を伴ったマッチング追跡用の新しいモジュラス量子化スキームを導入する。変換から直接生成される係数は、ビットバジェット（ビット予算）下で最適デジタル符号化を行うための量子化を必要とする連続した浮動小数点値である。マッチング追跡アルゴリズムではインループ量子化器を使用する必要があり、その際、見つかったアトムはそれぞれ量子化されたのち、残差画像の更新に使われる。このため、各アトムは後続アトムの選択に影響を及ぼす。これまでのマッチング追跡方法のように符号化開始前に量子化器が指定されると、選択されたアトムモジュラスのリストの統計量に最適な量子化器の構成が依存するため、量子化スキームの最適化は困難である。本発明に従った量子化スキームでは、アトム検索工程中、量子化器を適宜選択する。

アトムモジュラスのほか、選択された基底のインデクスとアトムの位置とを、オーバーコンプリート変換ベースの符号器内で送信する必要がある。本発明は、アトム位置情報を効率的に符号化する方法を含む。アトム位置の分布により、１およびゼロのピクセル値が各位置におけるアトムの存在または不在をそれぞれ表す２Ｄマップが形成される。位置マップの符号化は、四分木技術に類似した技術で実現される。前記モジュラスおよび基底インデクスの情報は、位置符号化に埋め込まれる。カラービデオの異なるチャネル用のアトム（Ｙ，Ｕ，Ｖ）は、独立して符号化される。

すべてのアトムパラメータは、残差画像の圧縮バージョンへと符号化されたのち送信される。復号化工程の場合、復号器は、符号化されたビットストリームを解釈してアトムパラメータに戻し、アトム情報を組み合わせて残差画像のストリームを再構成して、それを動き補償した画像と組み合わせてビデオストリームを再構成することにより、残差画像を再構成する。

本発明は、動き残差画像を符号化する方法であって、修正マッチング追跡アルゴリズムを使ってオーバーコンプリート基底空間において残差画像のアトム分解を行う工程と、モジュラス量子化器を選択する工程と、アトム位置マップと、モジュラスと、選択された基底用のインデクスを符号化する工程とを有する方法である。本発明は、上記の符号化方法を使って符号化された残差信号を復号化する方法をさらに提供する。

図１は、本発明の一実施形態に従った残差画像符号器２０を使用したビデオ圧縮装置１０により実行される、関連処理を例示したものである。まず、ビデオフレームは、現在のフレームを１つまたは２つの参照フレームと比較する動き予測器３０により処理される。ほとんどの場合、ビデオ内の物体は、背景が同じまま後続フレームで位置を変える。参照フレームはビデオ復号器１２に送信されるため、参照フレーム内の一部の領域は、現在のフレームの構成に使用できる。前記動き予測器３０は、現在のフレーム内の領域に類似した領域を参照フレーム内で識別する。動き補償器３２は、前記類似した領域間の差分を算出し、これらを動き残差画像として組み合わせる。類似した領域間の位置関係は動きベクトルとして表され、動きベクトルは動きベクトル符号器３４により処理される。アトム分解器４０がまず残差画像を処理し、その結果得られたアトムはアトム符号器４２が圧縮する。符号化された動きベクトルおよびアトムは、マルチプレクサ２２により組み合わせられて１つのビットストリームになる。圧縮されたビデオは、装置２４により送信または格納され、そこから前記ビデオ復号器１２へ圧縮形式のビデオ配信ができる。

図１の下部は復号器１２を例示しており、この復号器１２内部では、デマルチプレクサ２６が圧縮ビデオ信号を分離し、対応するビットを動きベクトル復号器３６および残差画像復号器２８にそれぞれ送信する。動き再構成器３８は、参照フレームおよび動きベクトルから予測フレームを形成する。前記残差画像復号器２８は、残差画像を再構成する。これら２つの信号、すなわち予測フレームおよび残差フレームは、再構成された最終的ビデオフレームを生成するため互いに加算される。

図２は、Ｙ色チャネル用の動き残差画像の例である。元の残差画像は、負および正の双方の値を有する。この残差画像を２５６レベルのグレー画像として適切に表示するため、この残差画像のピクセル値は、純粋なグレーがゼロを意味し、白および黒が負および正の値をそれぞれ表すようシフトおよびスケールされる。例えば、この残差画像には、ビデオ内の物体の動きに対応する複数の高エネルギー領域があるとする。

大半の信号圧縮技術は、いくつかの数学的変換により、元のデータをよりコンパクトな何らかの形式へと変換する。ＤＣＴおよびＤＷＴなど一部の数学的変換では、可逆的な変換行列を形成する完全基底系を使用する。近年、オーバーコンプリート基底とそれに関連した変換アルゴリズムが著しい注目を浴びている。オーバーコンプリート基底辞書に含まれる基底の数は、元データの次元数をはるかに上回る。オーバーコンプリート基底の利点は、元の信号の真の特徴を表す上で、変換後の係数がより効果的であるという点にある。タイプの異なる信号用に基底辞書を構築するための数学的手法は多数存在する。ビデオの動き残差画像用の辞書はいくつか設計されており、残差画像の特徴をうまくカバーすることが実証されている。例えば、分離可能なガボール関数に基づく基底辞書は、ＮｅｆｆおよびＺａｋｈｏｒにより"Ｖｅｒｙ Ｌｏｗ Ｂｉｔ Ｒａｔｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｂａｓｅｄ ｏｎ Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓ"（マッチング追跡に基づく非常に低ビットレートのビデオ符号化）、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ、１９９７年２月、１５８〜１７１で説明されており、ハール関数に基づく基底辞書は、ＶｌｅｅｓｃｈｏｕｗｅｒおよびＭａｃｑにより"Ｎｅｗ ｄｉｃｔｉｏｎａｒｉｅｓ ｆｏｒ ｍａｔｃｈｉｎｇ ｐｕｒｓｕｉｔ ｖｉｄｅｏ ｃｏｄｉｎｇ"（マッチング追跡ビデオ符号化のための新しい辞書）、Ｐｒｏｃ．ｏｆ ｔｈｅ １９９８ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、ｖｏｌ．１、７６４−７６８で説明されている。図３は、１６の基底を含む辞書の単純な例である。上記の辞書のいずれも本発明に使用できる。特に上述のガボール辞書に関しては、４００個の２Ｄ関数が明示的に言及されている。ただし、これら４００の２Ｄ関数はそれぞれ画像内の考えうるすべての位置に配置できるため、実際にはより多数の基底構造が黙示的に含まれている。１７６×１４４ピクセルのフレームサイズを使う場合、辞書は実際には４００×１７６×１４４＝５７０万の基底構造を含むことが暗示され、これによりこの系は高度にオーバーコンプリートになる。Ｓ．ＭａｌｌａｔおよびＺ．Ｚｈａｎｇにより"Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔｓ Ｗｉｔｈ Ｔｉｍｅ−Ｆｒｅｑｕｅｎｃｙ Ｄｉｃｔｉｏｎａｒｉｅｓ"（時間−頻度辞書によるマッチング追跡）、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ｖｏｌ．４１、Ｎｏ．１２、１９９３年１２月で説明されている"マッチング追跡アルゴリズム"を直接使った変換では、変換係数の決定に極度に多くの計算を要する。ＺａｋｈｏｒおよびＮｅｆｆにより米国特許第５，６９９，１２１号で考案されたビデオ圧縮用のマッチング追跡は計算負荷を軽減するが、依然として計算上高価である。本発明は、一般辞書に基づき残差画像を変換する方法であって、前記アトム分解器４０により実行される方法を提供し、また変換された係数を符号化する方法であって、前記アトム符号器４２により実行される方法を提供する。

図４では、一実施形態に従った前記アトム分解器４０の演算を完全に説明している。前記アトム分解器４０により実行される第１の工程（ブロック６１）は、初期検索領域の検索である。この工程は、その一実施形態を図５に示すとおり、残差エネルギー分割アルゴリズム（ｒｅｓｉｄｕａｌ ｅｎｅｒｇｙ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ、略称ＲＥＳＡ）により実現される。ＲＥＳＡは、一般的な領域成長の考えに基づいており、まず２×２のブロックを領域成長の開始点として選択する（ブロック７０）。この工程は、図６に示すように１６×１６ブロックへの分割を要する。各ブロックにつき、全ピクセル強度の２乗の合計であるエネルギーが計算され、最高のエネルギーを伴うブロックは、例えば図６に示したブロック７１として識別される。ブロック７１はさらに４つの８×８サブブロックに分割され、最高のエネルギーを伴ったサブブロック７２が識別される。その８×８サブブロック７２内で最高のエネルギーを伴う２×２ブロック７３も識別され、このブロックが領域成長の開始点として使われる。

ＲＥＳＡの次の工程（図５に例示したブロック７４）は、現在の領域の左側にある２×２ブロックをチェックすることである。図７でこのＲＥＳＡ工程を例示する。しきい値は、次式で動的に計算される。

ここで、ＡＵは開始ブロックの左側に追加されたブロックの数、ＡＥは現在の領域の２×２ブロックあたりの平均エネルギーを表す。チェックした２×２ブロックのエネルギーがしきい値より大きい場合、テストした２×２ブロックは現在の領域にグループ化され、現在の領域は新たにより大きく形成される。それ以外の場合は、この側に終了点が見出され、ブロックのグループ化は行われない。上記と対称的に同様な方法で、現在の領域の右側にある２×２ブロックがチェックされる。まず左側、次に右側への領域成長は、両側で終了点が見つかるか、矩形の幅が３２に達するまで継続される（どちらかが先に起こるまで）。この工程後、水平方向に細長い矩形７５が形成され、この細長い矩形の寸法は２＊２ｍ（１<＝ｍ<＝１６）となる。

ＲＥＳＡの最終工程（図５のブロック７６）は、図８に示したように、細長い矩形７５に基づき領域を垂直方向に成長させることである。この細長い矩形７５の幅をＷとし、現在の領域の上方に、次式のしきい値を伴う２＊Ｗの細長い矩形を考える。

ここで、Ａｕｓは初期の細長い矩形の上方に追加された２＊Ｗ矩形の数、ＡＥｓは現在の領域に含まれる２＊Ｗ矩形の１つあたりの平均エネルギーを表す。テストした２＊Ｗ矩形がしきい値より大きいエネルギーを有する場合は、その矩形を現在の領域にマージする。それ以外の場合は、この側に終了点が見出される。上記と対称的に同様な方法で、現在の領域の下方にある２＊Ｗ矩形がチェックされる。まず上方、次に下方への領域成長は、両側で終了点が見つかるか、現在の領域の高さが３２に達するまで継続される（どちらかが先に起こるまで）。最終的には、２ｎ＊２ｍ（１<＝ｎ，ｍ<＝１６）の寸法を有する矩形７７が得られる。

さらに図４を参照すると、この図ではマッチに最も近い基底を所与の辞書から検索する工程を例示している（ブロック６２）。基底および残差画像のマッチングの度合いは、内積の絶対値（モジュラス）により表し、これをアトムモジュラスと呼ぶ。ここで、大きいモジュラスはマッチが良好であることを示す。このモジュラスを決定する工程では、多数の内積を計算し、最大のモジュラスを現在のアトムとして１つ選択する必要がある。この工程が、マッチング追跡アルゴリズムで最も遅い部分になりうる。古典的なマッチング追跡アルゴリズムでは、モジュラスを決定するため、辞書に含まれる数百万もの要素の各々と残差画像との内積を計算しなければならない。例えば先行技術では、残差画像内で最高のエネルギーを伴う１６×１６ブロックは、初期検索領域として単に選択され（各基底構造は選択されたブロック内の各位置を中心とし）、基底構造とそれに対応する残差領域との内積が計算される。４００個の基底を伴う辞書の場合、この工程は２５６×４００＝１０２４００の内積計算を必要とする。図９は、本発明に従った新しいマッチング追跡工程を例示している。

その結果得られるＲＥＳＡ矩形７７（図８）から、高エネルギー特徴の形状に関する初期推定値が得られる。これを使い、そのＲＥＳＡ矩形とは異なりすぎる形状を有した辞書内の基底にフィルターをかける。次に、マッチする基底候補のサブセット（ブロック８０）が形成される。矩形７７の幅および高さをそれぞれｗおよびｈとし、それぞれ指定された幅および高さの形状を伴った全基底を含むサブ辞書が形成される。

ここで、ｔｗ１とｔｗ２とｔｈ１とｔｈ２とは、基底サイズを限定するため設定される値である。これらの値は、辞書構造に従って変更および調整できる。テストした基底のうち最大および最小のサイズのものを、矩形９０および矩形９１として図１０に例示した。例えば、ブロックＢ８０は単純なサブ辞書の例である。

ＲＥＳＡは、さらに残差画像内で高エネルギーを伴う特徴の位置を推定する。基底をマッチングするための位置候補は、前記ＲＥＳＡ矩形７７の中心付近で選択される（ブロック８１）。図１０は、小さい矩形９２であって、その中心が矩形７７の中心と同じである矩形９２を示したものである。矩形９２内のピクセルは、すべてテストする残差領域の中心として機能するものとする。図１０の矩形９４は、中心が点９３、すなわち矩形９２の左上隅になっている例である。矩形９２の幅（ｗｓ）および高さ（ｈｓ）は、ＲＥＳＡ矩形７７に応じて可変であるとする。この関係は次式で表せる。

矩形９２のサイズは、実施時、他の規則により決定するか、単に固定される。良好なマッチはＲＥＳＡ矩形７７の中心付近に位置するというのが、基本的な考え方である。さらに、すでにアトムの中心を含む矩形９２内のいずれの位置も、新規アトム用に一切考慮されない。図１０の点９５がその例である。先行技術ではこのような制限を設けていないことに注意されたい。このタイプの制限の考え方は、１つのアトムが良好なフィットを提供する場合、このアトムは、過剰なエネルギーをその境界に導入することなく、前記アトムの中心付近のエネルギーを除去するはずというものである。従って、マッチング追跡アルゴリズムにとって、第２のアトムを生成する際同じ位置に戻ってしまうことは望ましくない。位置反復を許可しないというこの制限は符号化能力に何ら影響を与えなず、むしろアトム位置情報の符号化を単純化する。

次の処理工程（図９のブロック８９）は、残差マッチング追跡用の漸進的排除アルゴリズム（ｐｒｏｇｒｅｓｓｉｖｅ ｅｌｉｍｉｎａｔｉｏｎ ａｌｇｏｒｉｔｈｍ、略称ＰＥＡ）と呼ばれる。これは、テスト用基底サブ辞書およびテスト用位置セットの形成に使用される方法からは独立している。例えば、サブ辞書が辞書全体であり、かつ位置候補のセットが残差画像全体を有する座標のセットであっても、ＰＥＡは動作する。ＰＥＡは、比較候補を考慮の対象から漸次的に排除することにより、マッチする最も近い基底をより効率的に検索する方法である。これは、すべての基底候補を考えうるすべての位置で比較する古典的なマッチング追跡と対照的である。初期、最大モジュラスＭｍはゼロに設定される（ブロック８２）。次に、基底ｂ（ｋ，ｌ）が考慮される（ブロック８３）。ここで、ｋおよびｌは２Ｄ基底関数の幅および高さをそれぞれ表す。残差画像内の位置候補の１つｒ（ｋ，ｌ，ｐ）に中心がある同じサイズの領域が形成される（ブロック８４）。ブロック８５では、ｒ（ｋ，ｌ，ｐ）のエネルギーである｜｜ｒ（ｋ，ｌ，ｐ）｜｜を現在の最大モジュラス（Ｍｍ）と比較し、ｒ（ｋ，ｌ，ｐ）とｂ（ｋ，ｌ）の内積を計算する必要があるか決定する。この演算を説明するには、次の数学的三角不等式を想起する必要がある。

マッチング追跡の目的は、最大の｜<ｒ（ｋ，ｌ，ｐ），ｂ（ｋ，ｌ）>｜を見つけることである。現在の最大モジュラスをＭｍとする。位置ｐでの基底ｂ（ｋ，ｌ）に対し、対応する残差ｒ（ｋ，ｌ，ｐ）が｜｜ｒ（ｋ，ｌ，ｐ）｜｜ ｜｜ｂ（ｋ，ｌ）｜｜<＝Ｍｍを満たすとすると、次式が成り立つ。

この場合、内積<ｒ（ｋ，ｌ，ｐ），ｂ（ｋ，ｌ）>の計算は不要となり、領域ｒ（ｋ，ｌ，ｐ）は次の位置に移動される。基底｜｜ｂ（ｋ，ｌ）｜｜のノルムは推測的に計算でき（実際には大部分の基底が正規化される。すなわち｜｜ｂ（ｋ，ｌ）｜｜＝１）、このためこのテストの唯一の負荷は、エネルギーｒ（ｋ，ｌ，ｐ）の計算だけになる。以下、｜｜ｒ（ｋ，ｌ，ｐ）｜｜を決定する効果的なアルゴリズムを説明する。

基底の高さ｛ｖ_１，ｖ_２，…，ｖ_ｎ｝にはｎ個の異なるサイズがあり、基底の幅｛ｈ_１，ｈ_２，…，ｈ_ｍ｝にはｍ個の異なるサイズがあるとする（値昇順）。検索矩形の寸法はｈｓ＊ｗｓで、この検索矩形の左上の点はｐ（ｘ，ｙ）である。エネルギー値ｈｓ＊ｗｓ＊ｎ＊ｍは、以下の４工程で計算できる。

工程１：ｓ＝ｈ_ｍ＋ｋ列のエネルギーを計算する（図１１にその列の例を示す）。これらの列の中心は（ｘ−ｈ_ｍ／２＋ｉ，ｙ）（ｉ＝０，１，…，ｓ−１）にある。高さはｖ_１である。各エネルギーはＣ_１，０（０），Ｃ_１，１（０），…Ｃ_１，ｓ（０）と表され、計算は次式のようになる。

ここで、ｅ（ｘ，ｙ）は位置（ｘ，ｙ）におけるピクセルのエネルギーを表す。

上記の細長い矩形と同じ座標および長さｖ_２を有する次のｓ列のエネルギーは、次式で計算できる。

一般には次式が成立する。

工程２：工程１列から垂直にシフトした列のエネルギーを次式で計算する。

ここで、ａはｙに対応する垂直シフト数を表す。

工程３：高さｖｊ（ｊ＝１，…，ｎ）、幅ｈ_１，ｈ_２，…，ｈ_ｍ、および中心（ｘ，ｙ＋ａ）（ｖ＝０，１，…，ｈｓ）の領域のエネルギーを計算する。

一般には、次のようになる。

工程４：垂直ベース長さがｖ_ｊ（ｊ＝１，…，ｎ）、水平ベース長さがｈ_ｉ（ｉ＝１，．．，ｍ）、および中心が（ｘ＋ｂ，ｙ＋ａ）（ｂ＝１，…，ｗｓおよびａ＝１，…，ｈｓ）の第１の領域セットのエネルギーを次式で計算する。

最大モジュラスはマッチング追跡工程中、連続的に更新でき、これにより漸次的に検索空間を限定できる。複数の基底が同じサイズの場合もあり、その場合は複数の内積計算を１つのエネルギー計算で済ませることができる。ＰＥＡの能力は、良好なマッチ（最適マッチとは限らない）を見つける速度にも関係がある。大きな領域は常に大きなエネルギーを含むため、まず大寸法用の基底をテストする。

｜｜ｒ（ｋ，ｌ，ｐ）｜｜>Ｍｍの場合はブロック８６が実行され、ｒ（ｋ，ｌ，ｐ）およびｂ（ｋ，ｌ）の内積（ｐ）が計算される。ブロック８７では、ｐの絶対値と現在の最大モジュラスＭｍとが比較される。｜ｐ｜>Ｍｍであれば、新しいＭｍが｜ｐ｜として設定され、対応する基底のインデクスおよび位置が記録される。そして、全検索位置のチェックが終わるまでブロック８４に戻り続ける。次に、すべての基底候補がテストされるまでブロック８３〜８８が繰り返し実行される。最後に、次の３つのパラメータを含むアトムが生成される。１．辞書内の、最適マッチが得られる基底のインデクス。２．残差画像における最適マッチの（ｘ，ｙ）座標での位置。３．基底および残差画像の内積（ｐ）。図１２は、残差画像のアトムの例を示したものである。

さらに図４を参照すると、アトム検索後の工程は、アトムパラメータの記録である（ブロック６３）。なお、この段階ではアトムのモジュラスの量子化は実行されない。決定ブロック６４では、アトム量子化を開始するタイミングが決定される。この演算は、ビデオ圧縮システムにより定義されるレート制御の目標に依存する。圧縮比が固定されている場合は、別のアトム用にまだビット数が残っているかブロック６４でチェックされる。実際の符号化はまだであるため、現在のアトムの符号化に使用されたビットを推定しなければならい。基底のインデクスおよび位置を符号化するための平均ビット数はＢｉｐと表し、ｉ番目のアトムの量子化なしモジュラスの実際のビット数はＢｍ（ｉ）と表す。内積（ｐ）の符号に１ビットが割り当てられたのち、ｎ個のアトム用の使用済みビットが次式で推定される。

ここで、Ｂｉｐは最初の残差フレームから得られた体験データに従って初期化され、最終フレームの真の値として設定される。Ｂｍ（ｉ）は、モジュラスごとに厳密に知ることができる。重要な事実は、モジュラスが後で量子化され、結果的にビット数が現在の推定値より少なくてすむということである。これにより、通常この段階では、アトム数は符号化できる数より少なくなる。実際の残差画像と比較した符号化残差画像の平均２乗誤差（ＭＳＥ）により定義される特定品質を、ビデオシステムで達成することが望ましい場合は、ブロック６４で、現在達成されているＭＳＥがＭＳＥ目標値と比較される。アトムを１つ導入した後のＭＳＥは、次式に従って更新される。

ここで、ＭＳＥ（ｎ）はｎ個のアトムを使用した後のＭＳＥを表し、ｐ（ｎ）はｎ番目のアトムの内積を表す。初期、ＭＳＥまたはＭＳＥ（０）が元の残差画像のエネルギーに設定される。ＭＳＥ（ｎ）は量子化実行後に増加する可能性が高いため、ＭＳＥの目的を達成しなくなる。要約すると、ビット数が利用可能であるか品質目標が未達成である場合は、現在のアトムに基づき残差画像が更新され（ブロック６５）、次にまたブロック６１から異なる別のアトムが検索される。また、ビット数または品質の目的が達成された場合は、量子化構成用のブロック６６が実行される。標準的マッチング追跡アルゴリズムの１工程である残差画像の更新は、数学的には次式で記述される。

現在のアトムでカバーされていない領域はまったく変更されない。

量子化器の設計（ブロック６６）は、それまでの最小モジュラス（Ｍｉｎｍ）値に基づく。量子化のステップサイズ（ＱＳ）は次のように設定される。

この時点までに見つかったすべてのアトムは、単純なミッドトレッド線形量子化スキームで上記のＱＳを使って量子化される。次に、量子化されたアトムモジュラスリスト６７に従って残差画像が再び更新される。量子化前後のアトム係数はそれぞれｐ（ｉ）およびｑ（ｉ）であるとする（ｉ＝１，…，ｎ）。また、対応する基底はｂ（ｉ）とする（ｉ＝１，…，ｎ）。ｎ非量子化アトム後の残差画像は、次式で表せる。

そのエネルギー｜｜Ｅ（ｎ）｜｜も知られる。量子化後の残差エネルギー計算には２つの方法がある。第１の方法は、次のとおり、量子化後、単に残差画像を計算するというものである。

もう一つの方法は、残差画像を再帰的に更新するというものである。ｐ（ｉ）の量子化誤差はΔｐ（ｉ）とする。すると、ｐ（ｎ）だけが量子化された残差画像は、次式のようになる。

ｐ（ｎ）およびｐ（ｎ−１）が量子化された残差は、次のようになる。

この関係は再帰的に真であり、次式で表せる。

対応するエネルギーは次式で表せる。

最後に、次のアトム検索の開始点となるＥＱ（ｎ）および｜｜ＥＱ（ｎ）｜｜を取得する。重要なことは、再帰的更新用のアトムのリストがいかなる順序でもよいという点である。これは、この更新がアトムが見つかった順序で起こらないためである。

アトムのモジュラスは量子化されているため、レート制御または品質目標を達成するにはより多くのアトムが必要になる。したがって、追加アトムを検索するためブロック６８が実行される。この工程はブロック６１〜６３と同じであるが、アトムモジュラスは、この段階でただちに量子化される。この時点で、モジュラスが（ＱＳ−ＱＳ／４）より小さいアトムを、その量子化値をゼロに設定して破棄することなく扱う必要がある。使用するスキームは次のとおりである。

１．アトムモジュラスが（ＱＳ−ＱＳ／４）より大きい場合、量子化器はＱＳを使用する。

２．それ以外の場合、アトムモジュラスが（ＱＳ／２−ＱＳ／８）より大きい場合、そのアトムモジュラスはＱＳ／２として量子化される。

３．それ以外の場合、アトムモジュラスが（ＱＳ／４−ＱＳ／１６）より大きい場合、そのアトムモジュラスはＱＳ／４として量子化される。

４．それ以外の場合、アトムモジュラスが（ＱＳ／８−ＱＳ／３２）より大きい場合、そのアトムモジュラスはＱＳ／８として量子化される。

実際には、３レベルが通常十分であるが、それ以上のレベル使われることもある。

ブロック６８の後、真のレート制御ロジックユニットが実行される（ブロック６９）。この段階においてアトムはインループで量子化されるため、もたらされる品質または実際に使用されるビット数が推定可能になる。圧縮目標が達成された場合、システムはアトム符号器４２へ進む。それ以外の場合は量子化したアトムモジュラスに基づき残差画像が更新され、システムは次のアトムを探すためブロック６８へ戻る。カラービデオの場合、残差画像は複数のチャネル、すなわちＹチャネル、Ｕチャネル、およびＶチャネルを含む。アトム分解器４０は、各チャネル用に独立して使われる。このスキームにより、各チャネルは独自のビットバジェットまたは望ましい品質目標を有することができる。ある種のビット割り当て方法は、異なるチャネル用にビットバジェットを割り当てるため使用できる。

すべてのアトムは、圧縮形態での出力用にアトム符号器４２へ渡される。本発明では、図１３に例示したように、２値マップとして各チャネルに関するアトム分布を考慮している。黒いピクセルは対応する位置にアトムがあることを表し、白いピクセルは対応する位置にアトムがないことを表す。四分木状の技術を使うとアトムを含む位置を符号化できるが、同じ演算を他の技術でも行えることは容易に理解できるであろう。各アトムの他のパラメータは、例えば可変長符号化を使ってアトム位置情報の後に符号化できるが、当業者に公知のように他の符号化技術も使用できる。アトムパラメータ信号用の符号化手順は図１４に例示しており、以下でより詳しく説明する。

アトム符号化の第１の工程は、例えば図１３に例示したように、アトムマップ全体をｎ＊ｎブロックに分解することである（ブロック１０１）。値ｎは１６（Ｙチャネル用）か８（ＵチャネルおよびＶチャネル用）かである。各ｎ＊ｎブロックにつき、そのブロックにアトムがなければゼロビットが出力される。それ以外の場合は１ビットが出力され、そのブロックは前記復号器へのアトムを見つけるためさらに処理される。これには四分木分解手順が使われ、以下の４工程で要約が行われる。

工程１．１要素すなわちｎ＊ｎブロック自体によりアトムブロックのリスト（ｌｉｓｔ ｏｆ ａｔｏｍ ｂｌｏｃｋｓ、略称ＬＡＢ）を初期化する。

工程２．１要素ｅをＬＡＢから選択する。ｅのサイズが１＊１の場合、その位置以外の全アトムパラメータを出力する。すなわち、基底インデクスと、モジュラスと、ｅの内積の符号とを出力したのち、工程４へ進む。それ以外の場合は、工程３へ進む。

工程３．ｅの４つのサブブロックのアトムパターンビットａ_１ａ_２ａ_３ａ_４を出力する。ここで、ａ_ｉ（ｉ＝１，２，３，４）は、対応するサブブロックにアトムがある場合１になり、それ以外の場合はゼロになる。１に等しいａ_ｉ値を伴うすべてのサブブロックｉを前記ＬＡＢの末尾に配置し、工程２に戻る。

工程４．ＬＡＢが空かチェックする。空でなければ工程２に戻り、それ以外の場合は、その１つのｎ＊ｎブロックの符号化を終了する。

基底インデクスおよびアトムモジュラスは、ビット数を保存するため可変長符号器を使って符号化できる。これは、これらの信号パラメータが均一に分布しているとは限らないためである。アトム位置情報は、０／１ビットデータでの前記分解手順を記録することにより、黙示的に符号化できる。可変長符号化方法を使うと、前記４つのサブブロックのアトムパターンビットａ_１ａ_２ａ_３ａ_４を符号化できる。アトムパターンビットａ_１ａ_２ａ_３ａ_４のパターンには１５種類ある。ここで、００００が不可能なことに注意する。ただし、１０００など一部のパターンは、他のパターンよりはるかに高い確率で起こる。種々のパターンの確率は実験で推定可能になり、可変長テーブルを設計する上で使用できる。さらに、種々のチャネルおよび種々のアトム密度については、確率分布が可変になりうることに注意すべきである。したがって、複数のテーブルを使用して、ブロックのカテゴリ情報は、復号化のため使用すべきテーブルが復号器側にわかるよう最初に符号化することができる。

図１５は、前記アトム符号器４２が実行する演算の逆の演算を実行するアトム復号器４６を例示したものである。まず、現在のｎ＊ｎブロックのステータスを表す１ビットを前記アトム復号器４６が受信する。その値が１であれば、対称的な四分木分解手順で処理が行われる。まず、このｎ＊ｎブロックは４つのサブブロックに分割される。この４つのサブブロック用のアトムパターンビットは、逆可変長符号化（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ、略称ＶＬＣ）を使って復号化される。次に、値が１であるすべてのサブブロックが、アトムブロックのリスト（ｌｉｓｔ ｏｆ ａｔｏｍ ｂｌｏｃｋｓ、略称ＬＡＢ）内に配置される。このＬＡＢに含まれる各要素を再帰的に分解し、そのアトムパターンビットを取得することにより、このＬＡＢは動的に更新される。このＬＡＢの要素が１＊１ブロックである場合、アトム基底インデクスおよびモジュラスは、前記逆ＶＬＣテーブルを使って復号化する必要があり、内積の符号を表すビットを読み込む必要がある。１つのｎ＊ｎブロック用のアトム復号器は、ＬＡＢが空になると終了される。

次に、復号化されたアトムパラメータ信号は、古典的なマッチング追跡方法を使って１チャネルずつ残差画像を形成する残差再構成器４８に渡される。初期、残差画像のすべてのピクセルはゼロに設定される。次に、以下の手順を使って各アトムが１つずつ加算される。ｉ番目のアトム係数、およびそれに対応する２Ｄ基底行列を、ｑ（ｉ）およびｂ（ｉ，ｋ，ｌ）それぞれ表すとする。（ｘ（ｉ），ｙ（ｉ））がｉ番目のアトムの位置を表すとし、現在の残差画像を新たに取得するため、位置（ｘ（ｉ），ｙ（ｉ））において現時点で構成済みの残差画像に行列ｑ（ｉ）＊ｂ（ｉ，ｋ，ｌ）が加算される。この工程は、そのチャネルについてすべてのアトムが加算されるまで繰り返される。各チャネルが分解された時点でこの工程は終了され、残差画像が再構成される。

従来のマッチング追跡ベースのビデオ符号化に精通した者であれば、本発明に従った技術に付随した多数の優位性を理解できるであろう。オーバーコンプリート基底空間に基づく前記アトム分解工程は、より正確なエネルギー領域推定手順および漸進的候補排除アルゴリズムを介し、より高速化されてきた。先行技術では量子化器を変換開始前に指定するのに対し、アトムモジュラス量子化器の設計は、アトム分解スキームによりスムーズに選択される。最後に、本発明の四分木ベース分解スキームはアトム間の空間関係を有効活用するため、前記アトム符号化工程はより効率的である。特に、本発明と比較すると、先行技術ではすべてのアトムを１Ｄリストに集めるため、効率的な符号化をより困難にしている。

以上、本発明の実施形態を本明細書で説明したが、本発明には種々の変形形態が可能なことはいうまでもない。このような変形形態は本発明の要旨を変更するとは見なされず、当業者であれば、このようなすべての修正形態が以下の請求項の範囲を含まれるよう意図されていることが容易に理解される。

図１は、本発明の一実施形態に従った、オーバーコンプリート基底変換とそれに関連する符号化方法とを使用するビデオ圧縮システムを全体的に例示する図。 図２は、本発明の一実施形態により処理される動き残差画像の例を示した図。 図３は、本発明の一実施形態に使用するための、１６個の基底を伴う簡易辞書を例示した図。 図４は、本発明の一実施形態に従った、オーバーコンプリート基底に基づいたアトム分解工程全体を説明した図。 図５は、本発明の一実施形態に従った、残差エネルギー分割アルゴリズム（ｒｅｓｉｄｕａｌ ｅｎｅｒｇｙ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ、略称ＲＥＳＡ）により実行される基本工程を説明した図。 図６は、本発明の一実施形態に従った、ＲＥＳＡの第１の工程を例示した図。 図７は、本発明の一実施形態に従った、ＲＥＳＡの第２の工程、すなわち水平成長スキームを例示した図。 図８は、本発明の一実施形態に従った、ＲＥＳＡの第３の工程、すなわち垂直成長スキームを例示した図。 図９は、本発明の一実施形態に従った、漸進的排除アルゴリズム（ｐｒｏｇｒｅｓｓｉｖｅ ｅｌｉｍｉｎａｔｉｏｎ ａｌｇｏｒｉｔｈｍ、略称ＰＥＡ）を使ったマッチング追跡アトム検索を説明した図。 図１０は、本発明の一実施形態に従った、マッチする基底のサブ辞書および検索位置候補の形成方法を例示した図。 図１１は、本発明の一実施形態に従った、領域エネルギーの高速計算を例示した図。 図１２は、本発明の一実施形態に従った、１つのアトム用のパラメータを例示した図。 図１３は、本発明の一実施形態に従ったアトム位置マップの例を示した図。 図１４は、本発明の一実施形態に従ったアトム符号化工程を例示したフローチャート。 図１５は、本発明の一実施形態に従った、圧縮残差信号の復号化を例示したフローチャート。

Claims (11)

1. オーバーコンプリートライブラリの基底関数を使って残差画像を符号化する方法であって、
   ａ）前記残差画像を取得する工程であって、サイズおよびエネルギーを有する前記残差画像を取得する工程と、
   ｂ）前記残差画像を１若しくはそれ以上のアトムのリストへ分解する工程であって、各アトムが前記オーバーコンプリートライブラリの基底関数を表すものであり、前記残差画像を分解する工程は、
   ｉ）残差エネルギー分割アルゴリズムを使ったアトムによる表現用に、前記残差画像内で置換領域を識別する工程と、
   ｉｉ）前記オーバーコンプリートライブラリから基底関数のサブセットを作成する工程であって、前記サブセット内の各基底関数は所定のしきい値内で前記置換領域にマッチする工程と、
   ｉｉｉ）前記基底関数のサブセット内でアトムを識別する工程であって、前記アトムは前記置換領域の表現用でありパラメータを有する、前記識別する工程と、
   ｉｖ）前記アトムを量子化し、前記アトムの前記パラメータを符号化に適した形態に修正する工程と、
   ｖ）前記量子化した前記アトムを符号化し、前記残差画像において前記置換領域から前記アトムを減算することにより、四分木ベースのアトム符号器を使って前記残差画像のエネルギーを低減して前記残差画像のサイズを縮小する工程と、
   ｖｉ）前記縮小したサイズの前記残差画像または前記低減したエネルギーの前記残差画像を所定の基準と比較し、前記所定の基準が達成されるまで工程（ｉ）〜（ｖｉ）を繰り返す工程と
   を含む、前記残差画像を分解する工程とを有し、
   これにより、前記残差画像を符号化し、前記残差画像のそのサイズを所定のレベルまで縮小する方法。
2. 請求項１の方法において、前記基底関数のサブセット内でアトムを識別する工程は、漸進的排除アルゴリズムを使って実行されるものである。
3. 請求項１の方法において、前記置換領域を識別する工程は、ＲＥＳＡ矩形の生成を有するものである。
4. 請求項３の方法において、前記置換領域を識別する工程は、前記残差画像内で最高のエネルギーを有する初期領域を識別する工程と、前記初期領域から前記ＲＥＳＡ矩形を成長させる工程とを有するものである。
5. 請求項１の方法において、前記基底関数のサブセット内でアトムを識別する工程は、基底関数と前記置換領域との内積を決定する工程を有し、前記内積の最大絶対値は最良のマッチを示すものである。
6. 請求項３の方法において、前記ＲＥＳＡ矩形は、前記オーバーコンプリートライブラリの前記基底関数と比較され、前記ＲＥＳＡ矩形と十分マッチする基底関数は、前記基底関数のサブセット内に配置されるものである。
7. 請求項２の方法において、前記漸進的排除アルゴリズムは、現在評価中の基底関数を前回評価された基底関数と比較することにより、基底関数を前記基底関数のサブセットから除去するものである。
8. 請求項１の方法において、前記アトムを量子化する工程は、前記アトムと前記置換領域との比較に基づき、量子化器（ｑｕａｎｔｉｚｅｒ）を決定する工程を有するものである。
9. 請求項１の方法において、前記所定の基準は、望ましいビットストリームサイズに基づいて決定されるものである。
10. オーバーコンプリートライブラリの基底関数を使って残差画像を符号化する装置であって、
    ａ）前記残差画像を取得する手段であって、サイズおよびエネルギーを有する前記残差画像を取得する手段と、
    ｂ）前記残差画像を１若しくはそれ以上のアトムのリストへ分解する手段であって、各アトムが前記オーバーコンプリートライブラリの基底関数を表すものであり、前記残差画像を分解する手段は、
    ｉ）残差エネルギー分割アルゴリズムを使ったアトムによる表現用に、前記残差画像内で置換領域を識別する手段と、
    ｉｉ）前記オーバーコンプリートライブラリから基底関数のサブセットを作成する手段であって、前記サブセット内の各基底関数は所定のしきい値内で前記置換領域にマッチする手段と、
    ｉｉｉ）前記基底関数のサブセット内でアトムを識別する手段であって、前記アトムは前記置換領域の表現用でありパラメータを有する、前記識別する手段と、
    ｉｖ）前記アトムを量子化し、前記アトムの前記パラメータを符号化に適した形態に修正する手段と、
    ｖ）前記量子化した前記アトムを符号化し、前記残差画像において前記置換領域から前記アトムを減算することにより、四分木ベースのアトム符号器を使って前記残差画像のエネルギーを低減して前記残差画像のサイズを縮小する手段と、
    ｖｉ）前記縮小したサイズの前記残差画像または前記低減したエネルギーの前記残差画像を所定の基準と比較する手段と
    を含む、前記前記残差画像を分解する手段とを有し、
    これにより、前記残差画像を符号化し、前記残差画像のそのサイズを所定のレベルまで縮小する装置。
11. オーバーコンプリートライブラリの基底関数を使って残差画像を符号化する方法を実行するためのコンピュータプログラムが記録された、コンピュータで読み込み可能な媒体を有するコンピュータプログラム製品であって、
    ａ）前記残差画像を取得する工程であって、サイズおよびエネルギーを有する前記残差画像を取得する工程と、
    ｂ）前記残差画像を１若しくはそれ以上のアトムのリストへ分解する工程であって、各アトムが前記オーバーコンプリートライブラリの基底関数を表すものであり、前記残差画像を分解する工程は、
    ｉ）残差エネルギー分割アルゴリズムを使ったアトムによる表現用に、前記残差画像内で置換領域を識別する工程と、
    ｉｉ）前記オーバーコンプリートライブラリから基底関数のサブセットを作成する工程であって、前記サブセット内の各基底関数は所定のしきい値内で前記置換領域にマッチする工程と、
    ｉｉｉ）前記基底関数のサブセット内でアトムを識別する工程であって、前記アトムは前記置換領域の表現用でありパラメータを有する、前記識別する工程と、
    ｉｖ）前記アトムを量子化し、前記アトムの前記パラメータを符号化に適した形態に修正する工程と、
    ｖ）前記量子化した前記アトムを符号化し、前記残差画像において前記置換領域から前記アトムを減算することにより、四分木ベースのアトム符号器を使って前記残差画像のエネルギーを低減して前記残差画像のサイズを縮小する工程と、
    ｖｉ）前記縮小したサイズの前記残差画像または前記低減したエネルギーの前記残差画像を所定の基準と比較し、前記所定の基準が達成されるまで工程（ｉ）〜（ｖｉ）を繰り返す工程と
    を含む、前記残差画像を分解する工程とを有し、
    これにより、前記残差画像を符号化し、前記残差画像のそのサイズを所定のレベルまで縮小するコンピュータプログラム製品。

Images