JP2012518372A

JP2012518372A - 空間スケーラブル・ビデオ符号化におけるエイリアシングの低減

Info

Publication number: JP2012518372A
Application number: JP2011551169A
Authority: JP
Inventors: シャン、シー−タ
Original assignee: Motorola Mobility LLC
Current assignee: Motorola Mobility LLC
Priority date: 2009-02-19
Filing date: 2010-02-17
Publication date: 2012-08-09
Also published as: EP2399388A1; CA2752735A1; MX2011008691A; WO2010096402A1; US20100208795A1; CN102396218A; KR20110104571A

Abstract

システムは、サブバンドフィルタバンクの第１の集合及び第２の集合、低分解能ベースエンコーダ、及び高分解能拡張エンコーダを含む。第１の集合は最大分解能ソースビデオフレームについてサブバンド解析を実行し、低域通過サブバンド及び複数の高域通過サブバンドを含むサブバンド表現を生成する。第２の集合は低域通過サブバンドをエイリアシングサブバンド成分及び無エイリアシング・サブバンド成分に分解する。低分解能エンコーダは無エイリアシングサブバンド成分をエンコードし、最小エイリアシングサブバンド成分を含む又はエイリアシングサブバンド成分を含まないエンコードされたビデオ信号を生成する。第１の集合からの高域通過サブバンド、エイリアシングサブバンド成分、及び無エイリアシングサブバンド成分の任意の改良形態を高分解能拡張エンコーダによりエンコードし、最大分解能でビデオを復元するための更なる情報を提供する。

Description

本発明は、デコードされた低分解能ビデオにおける低減されたエイリアシングを有する空間スケーラブル・サブバンド符号化のための方法及びシステムに関する。
（優先権）
本願は、Ｓｈｉｈ−ＴａＨｓｉａｎｇにより２００９年２月１９日に出願された米国仮特許出願第６１／１５３，９５５号、および２０１０年２月１２日に出願された米国出願第１２／７０５，２６６号に対する優先権を主張し、当該両出願は参照により全体として本明細書に組み込まれる。

空間スケーラブル符号化は、単一のスケーラブル・コード・ストリームからさまざまな異なる空間分解能で符号化画像またはビデオ信号を効率的に復元することを可能にする。空間スケーラブル符号化は、異機種混在環境におけるさまざまな映像応用にとってますます有用になっている。ＭＰＥＧ−２／４、Ｈ．２６３＋、およびエマージングＨ．２６４／ＡＶＣスケーラブル・ビデオ・コーディング（ＳＶＣ）などのビデオ符号化規格は、空間スケーラブル符号化に対してピラミッド方法を採用している。しかしながら、完全な画像のピラミッド表現を確立するためにソースピクセルサンプル個数が３３．３％増加することになり、このことは圧縮効率を本質的に低下させる可能性がある。

もう一つの方法として、サブバンド／ウェーブレット符号化を用いる現在のコーダが画像圧縮に対して高効率であることが実証されている。また、サブバンド／ウェーブレット符号化は、産業における（モーションＪＰＥＧ２０００の形式の）画像およびビデオ符号化応用に対する国際規格ＪＰＥＧ２０００でも利用されている。サブバンド／ウェーブレット変換のエネルギー高圧縮のおかげで、これらの現在のコーダは、ブロック変換に関連する従来のブロック状のアーチファクトを生じずに、すぐれた圧縮性能を実現できる。サブバンド／ウェーブレット分解では分解能がもともとスケーラブルであるため、これらの現在のコーダは圧縮効率にほとんど何の不利益もなく好ましい空間スケーラブル符号化機能に容易に適合できることがより重要である。しかしながら、サブバンド／ウェーブレット解析低域フィルタは完全なハーフ・バンド・フィルタではないため、結果として得られる低分解能信号内にエイリアシング・アーチファクトを引き起こすことになり、このことはビデオ符号化応用を著しく妨害する可能性がある。

デコードされた低分解能ビデオにおける低減されたエイリアシングを有する空間スケーラブル・サブバンド／ウェーブレット符号化システムを本明細書に開示する。システムはサブバンド／ウェーブレット・フィルタ・バンクの第１の集合と、サブバンド／ウェーブレット・フィルタ・バンクの第２の集合と、低分解能ベース・エンコーダと、高分解能拡張エンコーダとを含んでいる。サブバンド／ウェーブレット・フィルタ・バンクの第１の集合は、最大分解能ソース・ビデオ・フレームについてサブバンド／ウェーブレット解析を実行して、低域通過サブバンドと複数の高域通過サブバンドとを含むサブバンド表現を生成する。フィルタ・バンクの第２の集合は、低域通過サブバンドを、エイリアシング・サブバンド成分および無エイリアシング・サブバンド成分に分解する。低分解能エンコーダは無エイリアシング・サブバンド成分をエンコードして、最小のエイリアシング・サブバンド成分を含むか、またはエイリアシング・サブバンド成分を含まない、エンコードされたビデオ信号を生成する。フィルタ・バンクの第１の集合からの高域通過サブバンドと、エイリアシング・サブバンド成分と、無エイリアシング・サブバンド成分の任意の改良形態とを、高分解能拡張エンコーダによりエンコードして、最大分解能でビデオを復元するためのさらなる情報を提供する。

また、デコードされた低分解能ビデオにおいてエイリアシングを低減するための方法を本明細書に開示する。方法では、入力ビデオ・シーケンス内の最大分解能ソース・ビデオ・フレームが、サブバンド／ウェーブレット解析フィルタ・バンクの第１の集合で受信される。最大分解能ソース・ビデオ・フレームのサブバンド／ウェーブレット解析が実行され、低域通過サブバンドと複数の高域通過サブバンドとを含むサブバンド表現を生成する。サブバンド／ウェーブレット解析フィルタ・バンクの第２の集合を用いて低域通過サブバンドを無エイリアシング・サブバンド成分およびエイリアシング・サブバンド成分に分解する。低分解能エンコーダを用いて無エイリアシング・サブバンド成分をエンコードして、ベース・レイヤ・ビットストリームを生成する。

実施形態の、デコードされた低分解能ビデオにおいてエイリアシングを低減するための上述の方法を実現する１つ以上のコンピュータ・プログラムを組み込んだコンピュータ読取り可能記憶媒体をさらに開示する。

本発明の実施形態は、復元された低分解能ビデオにおいて低減されたエイリアシング・アーチファクトを有するサブバンド／ウェーブレット空間スケーラブル符号化システムおよび方法を提供する。従来のサブバンド／ウェーブレット符号化システムと比較して、システムおよび方法は、それによって全体的性能を最大分解能に保持しながら低分解能でデコードするための圧縮効率および表示品位において向上した性能を提供する。本発明の実施形態は個々のビデオ・フレームに適用されるとともに、空間スケーラブル・サブバンド／ウェーブレット画像符号化にも適用できる。

本発明の実施形態による、低分解能での空間スケーラブル・サブバンド／ウェーブレット符号化においてエイリアシングを低減するシステムの簡略化したブロック図を示す図である。本発明の実施形態による、分離できるサブバンド／ウェーブレット・フィルタ・バンクの簡略化したブロック図を示す図である。本発明の実施形態による、分解フレームに対するサブバンド分割を示している。本発明の実施形態による、サブバンド・フィルタでフィルタリングされた高周波エイリアシング・サブバンド成分を示す図である。本発明の他の実施形態による、サブバンド・フィルタでフィルタリングされた高周波エイリアシング・サブバンド成分を示す図である。本発明の実施形態による、低減されたエイリアシングを有する空間スケーラブル・サブバンド／ウェーブレット符号化システムのブロック図である。本発明の実施形態による、低減されたエイリアシングを有する空間スケーラブル・サブバンド／ウェーブレット符号化法のフローチャートを示す図である。本発明の実施形態による、符号化においてエイリアシングを低減するための方法のフローチャートを示す図である。

本発明の特徴は図面を参照して下記の説明を読むことで当業者に明らかになるであろう。
説明を簡単にするために、主に本発明の例示的実施形態を参照しながら本発明を説明する。複数の実施形態を互いに組み合わせて使用してもよい。下記の説明では、本発明の完全な理解を提供するために多数の具体的な詳細を示している。しかしながら、これらの具体的な詳細に限定されることなく本発明を実施してもよいことは当業者には明らかであろう。他の例では、本発明を不必要に分かりにくくすることを避けるために、周知の方法および構造については詳しい説明を行っていない。

図１は、実施形態による、低分解能での空間スケーラブル・サブバンド／ウェーブレット符号化においてエイリアシングを低減するシステムの簡略化したブロック図を示している。本明細書で使用する符号化はエンコーディングおよび／またはデコーディングを含んでいてもよい。図１は、低域通過サブバンド信号成分の処理に焦点を絞ったビデオ信号のエンコーディングを示している。要約すれば、システム１００はサブバンド解析フィルタ・バンクの第１の集合と、サブバンド解析フィルタ・バンクの第２の集合１０８とを含んでいる。サブバンド解析フィルタ・バンクの第１の集合は、サブバンド解析低域フィルタ（Ｈ^＊（ω））１０４と、ダウン・サンプラ１０６と、を含んでいる。従来のサブバンド／ウェーブレット符号化システムと同様に、入力ビデオ・シーケンス１０３が最初にサブバンド・フィルタ・バンクによりサブバンド表現に分解される。低域通過サブバンドを生成するために、サブバンド解析低域フィルタ１０４は低域フィルタリングされた信号１０５を形成するために入力ビデオ・シーケンス１０３を低域フィルタリングするように構成されており、ダウン・サンプラ１０６は低域通過サブバンド信号１０７を形成するために低域フィルタリングされた信号１０５をダウン・サンプリングするように構成されている。サブバンド・フィルタ・バンクの第２の集合１０８は、低域通過サブバンド信号１０７を、エイリアシング・サブバンド成分１０９および無エイリアシング・サブバンド成分１１０にさらに分解する。図１に示すシステム１００が付加的な構成要素を含んでいてもよいこと、ならびにシステム１００の範囲を逸脱することなく本明細書に記載の構成要素の一部を取り除いたり、および／または変更したりしてもよいことを理解すべきである。

ここでシステム１００の詳細を説明する。図１に示すように、入力ビデオ・シーケンス１０３は最大分解能ビデオ信号を表している。１つの空間次元内のエネルギ・スペクトルが、システム１００の段階の各々で生成される信号のそれぞれに対して示されている。入力ビデオ・シーケンス１０３のエネルギ・スペクトル１０３ａが、例えば、０とπの間の全周波数範囲にわたる周波数成分を含んでいる。

低域通過サブバンドを生成するために、入力ビデオ・シーケンス１０３は最初にサブバンド解析低域フィルタ１０４に入力され、低域フィルタリングされた信号１０５を生成する。その後、低域フィルタリングされた信号１０５は、低域通過サブバンド信号１０７を生成するためにダウン・サンプラ１０６を用いて（例えば、各空間次元において係数２だけ）ダウン・サンプリングされる。サブバンド解析低域フィルタ１０４は完全なハーフ・バンド・フィルタではないため、低域通過サブバンド信号１０７内にエイリアシング・サブバンド成分１１３を引き起こすことになり、これらのエイリアシング・サブバンド成分１１３は低域通過サブバンド信号１０７に対するエネルギ・スペクトル１０７ａに示されている。エイリアシング・サブバンド成分１１３が高周波数範囲の周囲に分布していることに注目されたい。

その後、低域通過サブバンド信号１０７は、サブバンド解析フィルタ・バンクの第２の集合１０８によりさらに処理される。サブバンド・フィルタ・バンクの第２の集合１０８は、高周波エイリアシング・サブバンド成分１０９から低周波無エイリアシング・サブバンド成分１１０を分離する。その後、無エイリアシング・サブバンド成分は、１１１で示すように低分解能エンコードされたビデオ信号を生成するためにエンコードされ、この低分解能エンコードされたビデオ信号はＳＶＣ信号のベース信号またはレイヤ０信号として使用されてもよい。残りのエイリアシング・サブバンド成分１０９は次に高い分解能のサブバンド（図示せず）と組み合わされて、ＳＶＣ信号のレイヤ１のような次に高い分解能のレイヤ内で、１１２で示すようにエンコードされる。

実施例によれば、図１に示すサブバンド・フィルタ・バンクの第２の集合１０８は、各高域通過サブバンドについてさらに実行されるＨ．２６４／ＡＶＣ４ｘ４離散コサイン変換（ＤＣＴ）を用いて縦続接続された一段離散ウェーブレット変換（ＤＷＴ）で構成され、より細かいサブバンド分割および向上した周波数選択性を提供してもよい。このサブバンド・フィルタ・バンク１０８を用いて結果として得られるサブバンド分割４００が図４Ａに示されている。サブバンド・フィルタ・バンクの第２の集合１０８の出力エイリアシング・サブバンド成分１０９は、図４Ａの斜線領域で示されたエイリアシング・サブバンド成分４０５に対応している。これらは、図１に示すように、エイリアシング・サブバンド成分１１３のスペクトルで示すような低域通過サブバンド信号の高周波成分である。

他の実施例によれば、サブバンド・フィルタ・バンク１０８の第２の集合は、各高域通過サブバンドについて実行される他の一段ＤＷＴと縦続接続された一段ＤＷＴで構成され、結果として得られる無エイリアシング・サブバンド成分１１０のスペクトル内に約π／４の不感帯（ｄｅａｄ−ｚｏｎｅ）サイズをもたらしてもよい。サブバンド・フィルタ・バンクのこの第２の集合１０８を用いて結果として得られるサブバンド分割４１０が図４Ｂに示されている。サブバンド・フィルタ・バンク１０８の第２の集合の出力エイリアシング・サブバンド成分１０９は、図４Ｂの斜線領域で示されたエイリアシング・サブバンド成分４０６に対応している。

その後、低分解能での分解ソース信号を表している無エイリアシング成分１１０は、図１に関して説明するように低分解能エンコーダ（図示せず）による低分解能エンコーディング１１１を受けて、エンコードされた無エイリアシング信号を形成する。しかしながら、次に高い分解能のサブバンドの集合と組み合わされたエイリアシング・サブバンド成分１０９は、次に高い分解能のレイヤ（図示せず）内で高分解能エンコーディング１１２を受ける。その後、次に高い分解能のレイヤと、エンコードされた無エイリアシング信号とは、スケーラブル・ビデオを形成するために多重化してもよい。

図２は、実施形態の、サブバンド／ウェーブレット・フィルタ・バンク１０８（図１）の分離できる第２の集合を示すブロック図である。入力ビデオ・フレームは最初に低域解析フィルタ（ｈ０［ｎ］）および高域解析フィルタ（ｈ１［ｎ］）によりそれぞれ処理され、その後、縦方向に沿ったダウン・サンプリング操作によりそれぞれ処理されて、中間信号２１０を生成する。その後、中間信号２１０は低域解析フィルタおよび高域解析フィルタによりそれぞれ処理され、その後、水平方向に沿ったダウン・サンプリング操作によりそれぞれ処理されて、特定の分解能でのビデオ・フレームのバージョンに対して４個のサブバンド（ＬＬ２２１、ＨＬ２２２、ＬＨ２２３、およびＨＨ２２４）を生成する。この処理はウェーブレット／サブバンド分解と一般に呼ばれている。サブバンド・フィルタ・バンク１０６で使用されるフィルタは、ウェーブレット・フィルタの群または直交ミラーフィルタ（ＱＭＦ）の群に属していてもよい。図１のサブバンド分解操作は、多重分解能表現を形成するために前分解段からの低域通過サブバンドＬＬに繰り返し適用できる。ＳＶＣシステムでは、現在の分解能レベルを表すためのサブバンドの各集合を合成して、次に高いレベルの分解能のＬＬサブバンドを形成できる。

図３は、各分解レベルのサブバンドを含むＳＶＣ信号表現の異なるレイヤを示している。この態様は図３により示されており、この図３では最高分解能レイヤのサブバンドが添え字−１で示されており、ベース・レイヤまたは最低レイヤがＬＬ−２である。ＨおよびＷはそれぞれ最大分解能ビデオ・フレームの高さおよび幅を表している。高さおよび幅はそれぞれ０からＨ−１まで、および０からＷ−１まで測定される。

現在のシステムは、フレーム間サブバンド／ウェーブレットビデオ符号化に対して、Ｈ．２６４／ＡＶＣ国際規格の付属書類Ｇに規定しているようにＨ．２６４／ＡＶＣＳＶＣシステムと一体化してもよい。したがって、現在のシステムは多くの既存の標準的な符号化ツールを再利用することにより効果的に実現できる。図５は、フレーム間ビデオ符号化にＨ．２６４／ＡＶＣＳＶＣツールを利用する現在のシステム５００の実施形態を示すブロック図である。図５に示すように、システム５００はＤＷＴ５０２と、サブバンド・フィルタ・バンク５０３と、ベース・レイヤ・テクスチャ・エンコーダ５０４と、第１の拡張レイヤ・エンコーダ５０５と、第２の拡張レイヤ・エンコーダ５０６と、マルチプレクサ（ｍｕｘ）５０９とを含んでいる。システム５００は、それによって改良された性能を有する空間スケーラブル符号化を提供する。システム５００は３層内の空間スケーラブル符号化に対して示されており、第２の分解能レイヤ内のエイリアシング・アーチファクトが除去されている。図５に示すシステム５００が付加的な構成要素を含んでいてもよいこと、ならびにシステム５００の範囲を逸脱することなく本明細書に記載の構成要素の一部を取り除いたり、および／または変更したりしてもよいことを理解すべきである。

一実施形態によれば、図５に示すように、入力ビデオ信号５０１は二段順離散ウェーブレット変換（ｔｗｏ−ｓｔａｇｅｆｏｒｗａｒｄｄｉｓｃｒｅｔｅｗａｖｅｌｅｔｔｒａｎｓｆｏｒｍ）を用いるＤＷＴ５０２により分解される。その後、結果として得られる最低周波数サブバンドは、現在のＨ．２６４／ＡＶＣのスケーラブル拡張に基づいて、低分解能エンコーダ、例えば、ベース・レイヤ・テクスチャ・エンコーダ５０４を用いてＨ．２６４／ＡＶＣ適合ビットストリームとしてエンコードされる。次に高い分解能では、サブバンド・フィルタ・バンク５０３は、各高域通過サブバンドを無エイリアシング・サブバンド成分５０７およびエイリアシング・サブバンド成分５０８にさらに分解する。その後、無エイリアシング成分５０７は第１のＨ．２６４／ＡＶＣＳＶＣ拡張レイヤ・エンコーダ５０５を用いて第１の拡張レイヤ（図示せず）でエンコードされる。エイリアシング・サブバンド成分３０８は最高周波数サブバンドと組み合わされて、高分解能拡張エンコーダ、例えば、第２のＨ．２６４／ＡＶＣＳＶＣ拡張レイヤ・エンコーダで、第２の拡張レイヤ（３層スケーラブル・ビデオ内の最大分解能レイヤ）にエンコードされる。低分解能エンコーダおよび高分解能拡張エンコーダは、Ｈ．２６４／ＭＰＥＧ４ＡＶＣ規格で規定されるイントラ・スライス符号化ツールを含んでいる。

システム１００および５００が図示していない付加的要素を含んでいてもよいこと、ならびにシステム１００および５００の範囲を逸脱することなく本明細書に記載の要素の一部を取り除いたり、置き換えたり、および／または変更したりしてもよいことは明らかであろう。図１および図５の実施形態で説明する要素のうちの１つ以上が任意であってもよいこともまた明らかなはずである。

符号化におけるエイリアシングを低減するためにシステム１００および５００が使用される可能性がある方法の実施例について、ここでは図６、図７に示す方法６００〜７００の下記のフローチャートに関して説明する。方法６００〜７００が一般化した実例を示していること、および方法６００〜７００の範囲を逸脱することなく他のステップを追加してもよく、または既存のステップを取り除いたり、変更したり、もしくは再配列したりしてもよいことは当業者には明らかなはずである。また、方法６００〜７００は限定としてではなく、一例として、システム１００および５００に関して説明されるとともに、方法６００〜７００は他のシステムで使用してもよい。

方法６００〜７００に示す操作の一部またはすべてが、任意の所望のコンピュータ読取り可能媒体に保存され、コンピュータ・システム上の処理装置により実行される１つ以上のコンピュータ・プログラムとして含まれていてもよい。本発明を実現する働きをするソフトウェアを保存するために使用されてもよい例示的コンピュータ読取り可能媒体は、従来のコンピュータ・システムＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ハードディスク、または他のデータ記憶デバイスを含むが、これらに限らない。

ステップ６０１で、サブバンド・フィルタ・バンクの第１の集合が入力ビデオ・シーケンス１０３の最大分解能ソース・ビデオ・フレームを受信する。サブバンド解析フィルタ・バンクの第１の集合は、サブバンド解析低域フィルタ１０４と、ダウン・サンプラ１０６とを含んでいる。入力ビデオ・シーケンス１０３は複数のソース・ビデオ・フレームを含んでいてもよい。

その後、ステップ６０２で、サブバンド・フィルタ・バンクの第１の集合が最大分解能ソース・ビデオ・フレームについてサブバンド／ウェーブレット変換を実行して、最大分解能ソース・ビデオ・フレームのサブバンド表現を生成する。サブバンド表現は低域通過サブバンドと複数の高域通過サブバンドとを含んでいる。

ステップ６０３で、サブバンド・フィルタ・バンクの第２の集合１０８が、上述のステップ６０２で生成した低域通過サブバンドを、エイリアシング・サブバンド成分および無エイリアシング・サブバンド成分に分解する。

一実施形態によれば、サブバンド・フィルタ・バンクの第２の集合１０８はシステム５００のようなＨ．２６４／ＡＶＣＳＶＣ拡張と一体化したシステムの一部を形成してもよい。サブバンド・フィルタ・バンクの第２の集合１０８は低域通過サブバンドについて一段ＤＷＴを実行して、次の分解レベルのＤＷＴ低域通過サブバンドと３個の高域通過サブバンドとを形成してもよい。サブバンド・フィルタ・バンクの第２の集合１０８は次の分解レベルの３個の高域通過サブバンドのそれぞれについて４×４ＤＣＴを実行してもよい。サブバンド・フィルタ・バンク１０８の第２の集合は、図４Ｂに示すようにフィルタを用いて低分解能信号１０７をフィルタリングしてもよい。

他の実施形態によれば、サブバンド・フィルタ・バンクの第２の集合１０８は低域通過サブバンドについて一段ＤＷＴを実行して、次の分解レベルのＤＷＴ低域通過サブバンドと３個の高域通過サブバンドとを形成する。その後、サブバンド・フィルタ・バンク１０８の第２の集合は次の分解レベルの３個の高域通過サブバンドのそれぞれについて一段ＤＷＴを実行する。この例のサブバンド・フィルタ・バンク１０８は、図４Ａに示すように低分解能信号１０７をフィルタリングしてもよい。

ステップ６０４で、低分解能エンコーダを用いて無エイリアシング・サブバンド成分１１０をエンコードして、ベース・レイヤ・ビットストリーム（図示せず）を形成する。
ステップ６０５で、エイリアシング・サブバンド成分を次に高い分解能のサブバンドと組み合わせて、高分解能拡張信号を形成してもよい。例えば、図４に関して説明したように、エイリアシング・サブバンド成分をサブバンドＬＨ−１、ＨＬ−１、およびＨＨ−１と組み合わせてもよい。その後、ステップ６０８で、組み合わされたエイリアシング・サブバンドを次に高い分解能のレイヤ内でエンコードして、高分解能拡張信号を形成してもよい。

ステップ６０６で、高分解能拡張信号をエンコードして、拡張レイヤ・ビットストリーム（図示せず）を形成してもよい。
ステップ６０６で、例えば、図５のｍｕｘ５０９を用いて、エンコードされた無エイリアシング信号とともに、拡張レイヤ・ビットストリームとベース・レイヤ・ビットストリームとを多重化して、スケーラブル・ビデオ・ビットストリーム（図示せず）を形成してもよい。

方法７００はエンコードされた無エイリアシング信号をデコードする処理を提供して、低分解能ビデオまたは低分解能フレームを形成する。
ステップ７０１で、低分解能デコーダ（図示せず）がベース・レイヤ・ビットストリームを受信する。例えば、システム５００は、図５に示すように、多重化後にスケーラブル・ビデオ・ビットストリームを送信してもよい。スケーラブル・ビデオ・ビットストリームの逆多重化後にベース・レイヤ・ビットストリームを受信してもよい。ベース・レイヤ・ビットストリームは、無エイリアシング・サブバンド成分と、コード化されていないサブバンドと、を含んでいる。

ステップ７０２で、低分解能デコーダが、コード化されていないサブバンドの係数をゼロに設定する。
ステップ７０３で、低分解能デコーダが、エンコードされた無エイリアシング・サブバンド成分をデコードして、デコードされたサブバンドを形成する。その後、ステップ７０４で、低分解能デコーダが、デコードされたサブバンドについてサブバンド合成を実行して、低分解能ビデオ・フレームを復元する。低分解能ビデオ・フレームは最小のエイリアシング・サブバンド成分を有していてもよく、またはエイリアシング・サブバンド成分を有していなくてもよい。

本発明の実施形態は、復元された低分解能ビデオにおいて低減されたエイリアシング・アーチファクトを有するサブバンド／ウェーブレット空間スケーラブル符号化システムおよび方法を提供する。従来のサブバンド／ウェーブレット符号化システムと比較して、システムおよび方法は、それによって全体的性能を最大分解能に保持しながら低分解能でデコードするための圧縮効率および表示品位において向上した性能を提供する。

本発明の代表的実施形態について本開示全体を通して具体的に説明しているが、本発明の代表的実施形態はさまざまな応用に対して有用性を有しており、上述の議論は限定することを意図したものではなく、限定するものと解釈すべきではなく、むしろ本発明の態様の説明に役立つ議論として提供されたものである。

本明細書で説明され図示されているのは、本発明の実施形態、およびそれらの変形の一部である。本明細書で使用する用語、説明、および図面はあくまで例を示したに過ぎず、限定を意味するものではない。当業者は本発明の要旨および範囲内で多くの変形が可能であり、本発明は下記クレーム、およびそれらの均等物により規定され、特に指示のない限り、すべての用語はそれらの妥当な最も広い意味を指していることを認識するであろう。

Claims

デコードされた低分解能ビデオにおける低減されたエイリアシングを有する空間スケーラブル・サブバンド符号化のためのシステムであって、
入力ビデオ・シーケンスの最大分解能ソース・ビデオ・フレームを受信し、前記最大分解能ソース・ビデオ・フレームについてサブバンド解析を実行して、低域通過サブバンドと複数の高域通過サブバンドとを生成するように構成されたサブバンド解析フィルタ・バンクの第１の集合と、
前記低域通過サブバンドを無エイリアシング・サブバンド成分とエイリアシング・サブバンド成分とに分解するように構成されたサブバンド解析フィルタ・バンクの第２の集合と、
前記無エイリアシング・サブバンド成分をエンコードし、ベース・レイヤ・ビットストリームを生成するように構成された低分解能エンコーダと
を備えるシステム。
高分解能拡張エンコーダであって、
前記エイリアシング・サブバンド成分と無エイリアシング・サブバンド成分の任意の改良形態とを、前記複数の高域通過サブバンドと組み合わせて、組み合わされた高分解能拡張信号を形成し、
前記組み合わされた高分解能拡張信号をエンコードして、拡張レイヤ・ビットストリームを生成する
ように構成された前記高分解能拡張エンコーダをさらに含む、請求項１に記載のシステム。
前段からの低分解能無エイリアシング信号を、請求項１の前記入力ビデオ・シーケンスの前記最大分解能ソース・ビデオ・フレームとして繰り返し取り扱うことにより、前記低分解能ビデオを、より低分解能のレイヤに分解するようにさらに構成された、請求項１に記載のシステム。
サブバンド・フィルタ・バンクの前記第２の集合は、
前記低域通過サブバンドについて実行されて、次の分解レベルの低域通過サブバンドと３個の高域通過サブバンドとを形成する一段離散ウェーブレット変換（ＤＷＴ）と、
前記次の分解レベルの前記３個の高域通過サブバンドの各々について実行される４×４離散コサイン変換（ＤＣＴ）と
を含む、請求項１に記載のシステム。
サブバンド・フィルタ・バンクの前記第２の集合は、
前記低域通過サブバンドについて実行されて、次の分解レベルの低域通過サブバンドと３個の高域通過サブバンドとを形成する一段ＤＷＴと、
前記次の分解レベルの前記３個の高域通過サブバンドの各々について実行される一段ＤＷＴと
を含む、請求項１に記載のシステム。
前記低分解能エンコーダおよび前記高分解能拡張エンコーダが、Ｈ．２６４／ＭＰＥＧ４ＡＶＣ規格で規定されるイントラ・スライス符号化ツールを含む、請求項２に記載のシステム。
低分解能デコーダであって、
前記ベース・レイヤ・ビットストリームを受信し、
コード化されていないサブバンドのすべての係数をゼロに設定し、
エンコードされた無エイリアシング・サブバンド信号成分をデコードし、
サブバンド合成を実行して低分解能ビデオ・フレームを復元する
ように構成された前記低分解能デコーダをさらに含む、請求項１に記載のシステム。
デコードされた低分解能ビデオにおける低減されたエイリアシングを有する空間スケーラブル・サブバンド符号化のための方法であって、
サブバンド解析フィルタ・バンクの第１の集合において、入力ビデオ・シーケンスの最大分解能ソース・ビデオ・フレームを受信すること、
前記最大分解能ソース・ビデオ・フレームについてサブバンド解析を実行して、低域通過サブバンドと複数の高域通過サブバンドとを生成すること、
サブバンド解析フィルタ・バンクの第２の集合を用いて前記低域通過サブバンドを無エイリアシング・サブバンド成分およびエイリアシング・サブバンド成分に分解すること、
低分解能エンコーダを用いて前記無エイリアシング・サブバンド成分をエンコードして、ベース・レイヤ・ビットストリームを生成すること
を含む方法。
前記エイリアシング・サブバンド成分と無エイリアシング・サブバンド成分の任意の改良形態とを、前記複数の高域通過サブバンドと組み合わせて、組み合わされた高分解能拡張信号を形成すること、
前記組み合わされた高分解能拡張信号をエンコードして、拡張レイヤ・ビットストリームを生成すること
をさらに含む、請求項８に記載の方法。
前段からの低分解能無エイリアシング信号を、請求項８の前記入力ビデオ・シーケンスの前記最大分解能ソース・ビデオ・フレームとして繰り返し取り扱うことにより、前記低分解能ビデオを、より低分解能のレイヤに分解することをさらに含む、請求項８に記載の方法。
前記低域通過サブバンドをさらに分解することが、
前記低域通過サブバンドについて一段ＤＷＴを実行して、次の分解レベルのＤＷＴ低域通過サブバンドと３個の高域通過サブバンドとを形成すること、
前記次の分解レベルの前記３個の高域通過サブバンドの各々について４×４ＤＣＴを実行すること
を含む、請求項８に記載の方法。
前記低域通過サブバンドをさらに分解することが、
前記低域通過サブバンドについて一段ＤＷＴを実行して、次の分解レベルのＤＷＴ低域通過サブバンドと３個の高域通過サブバンドとを形成すること、
前記次の分解レベルの前記３個の高域通過サブバンドの各々について一段ＤＷＴを実行すること
を含む、請求項８に記載の方法。
低分解能デコーダで前記ベース・レイヤ・ビットストリームを受信すること、
コード化されていないサブバンドのすべての係数をゼロに設定すること、
エンコードされた無エイリアシング・サブバンド信号成分をデコードすること、
サブバンド合成を実行して低分解能ビデオ・フレームを復元すること
をさらに含む、請求項８に記載の方法。
１つ以上のコンピュータ・プログラムを組み込んだコンピュータ読取り可能記憶デバイスであって、前記１つ以上のコンピュータ・プログラムは、コンピュータ・システムにより実行されるとき、デコードされた低分解能ビデオにおいてエイリアシングを低減する方法を実現し、前記１つ以上のコンピュータ・プログラムは、
サブバンド解析フィルタ・バンクの第１の集合を用いて入力ビデオ・シーケンスの最大分解能ソース・ビデオ・フレームを受信すること、
前記最大分解能ソース・ビデオ・フレームについてサブバンド解析を実行して、低域通過サブバンドと複数の高域通過サブバンドとを生成すること、
サブバンド解析フィルタ・バンクの第２の集合を用いて前記低域通過サブバンドを無エイリアシング・サブバンド成分およびエイリアシング・サブバンド成分にさらに分解すること、
低分解能エンコーダを用いて前記無エイリアシング・サブバンド成分をエンコードして、ベース・レイヤ・ビットストリームを生成すること
についての１組の命令を含む、コンピュータ読取り可能記憶デバイス。
前記エイリアシング・サブバンド成分と無エイリアシング・サブバンド成分の任意の改良形態とを、前記複数の高域通過サブバンドと組み合わせて、組み合わされた高分解能拡張信号を形成すること、
前記組み合わされた高分解能拡張信号をエンコードして、拡張レイヤ・ビットストリームを生成すること
についての命令をさらに含む、請求項１４に記載のコンピュータ読取り可能記憶デバイス。
前段からの低分解能無エイリアシング信号を、請求項８の前記入力ビデオ・シーケンスの前記最大分解能ソース・ビデオ・フレームとして繰り返し取り扱うことにより、前記低分解能ビデオを、より低分解能のレイヤに分解することについての命令をさらに含む、請求項１４に記載のコンピュータ読取り可能記憶デバイス。
前記低域通過サブバンドをさらに分解することが、
前記低域通過サブバンドについて一段ＤＷＴを実行して、次の分解レベルのＤＷＴ低域通過サブバンドと３個の高域通過サブバンドとを形成すること、
前記次の分解レベルの前記３個の高域通過サブバンドのそれぞれについて４×４ＤＣＴを実行すること
を含む、請求項１４に記載のコンピュータ読取り可能記憶デバイス。
前記低域通過サブバンドをさらに分解することが、
前記低域通過サブバンドについて一段ＤＷＴを実行して、次の分解レベルのＤＷＴ低域通過サブバンドと３個の高域通過サブバンドとを形成すること、
前記次の分解レベルの前記３個の高域通過サブバンドのそれぞれについて一段ＤＷＴを実行すること
を含む、請求項１４に記載のコンピュータ読取り可能記憶デバイス。
低分解能デコーダで前記ベース・レイヤ・ビットストリームを受信すること、
コード化されていないサブバンドのすべての係数をゼロに設定すること、
エンコードされた無エイリアシング・サブバンド信号成分をデコードすること、
サブバンド合成を実行して低分解能ビデオ・フレームを復元すること
についての命令をさらに含む、請求項１４に記載のコンピュータ読取り可能記憶デバイス。