JP2010531609A - 映像データ符号化及び／または復号化の方法、記録媒体、及び装置 - Google Patents

Abstract

少なくとも２つの映像フォーマットと互換されるスケーラブル・ビットストリームを生成する映像符号化及び／または復号化方法、記録媒体、装置において、拡張階層識別子を生成する段階、映像に含まれた低周波帯域の色差成分と輝度成分とを符号化し、基本階層ビットストリームを生成する段階、及び映像に含まれた残りの帯域の色差成分を符号化し、拡張階層ビットストリームを生成する段階からなる。

Description

本発明の一つ以上の実施形態は、映像データ符号化及び／または復号化の方法、記録媒体、及び装置に係り、さらに詳細には、少なくとも２つの映像フォーマットを支援しつつ、フォワード互換性（forward compatibility）を有するスケーラブル・ビットストリームを生成したり復号化する映像符号化及び／または復号化の方法、記録媒体、及び装置に関する。

従来技術によるビデオコーデックにおいて、例えば、ＶＣ−１エンコーダのような基本エンコーダの映像フォーマットを、４：２：０から単純に４：２：２あるいは４：４：４に変更する場合、ＶＣ−１デコーダは、映像フォーマットが変更された改善されたエンコーダから生成されるビットストリームを読み取って再生することが不可能である。最近、このように固定された映像フォーマットだけではなく、多様な映像フォーマットで符号化されたビットストリームを、ＶＣ−１デコーダ及び他の改善されたデコーダで復元させるフォワード互換性が保証されるビデオコーデックの開発必要性が大きく叫ばれている。

すなわち、フォワード互換性が保証されない新しいビデオコーデックは、既存の基本ビデオコーデックのみを有する端末機を支援できないために、互いに異なるスペックを有する端末機間のコンテンツ再使用などが不可能になる。また、すでに構築しておいたビデオコーデック市場を克服しなければならないので、新しいビデオコーデックが市場で定着するまでに時間がかかるという短所がある。

本発明の一つ以上の実施形態がなそうとする技術的課題は、少なくとも２つの映像フォーマットを支援しつつ、フォワード互換性を有するスケーラブル・ビットストリームを生成する映像符号化装置及び方法を提供するところにある。

本発明の一つ以上の実施形態がなそうとする他の技術的課題は、少なくとも２つの映像フォーマットを支援しつつ、フォワード互換性を有するスケーラブル・ビットストリームを復号化する映像復号化装置及び方法を提供するところにある。

前記技術的課題を達成するために本発明は、フォワード互換性を有しつつ、少なくとも２つの映像フォーマットと互換されるスケーラブル・ビットストリームを生成する映像符号化方法において、前記スケーラブル・ビットストリームは、拡張階層識別子と、映像に含まれた低周波帯域の色差成分と輝度成分とを符号化して形成される基本階層ビットストリームと、前記映像で、前記低周波帯域以外の残りの帯域の色差成分を符号化して形成される拡張階層ビットストリームとからなる。

前記技術的課題を達成するために本発明は、フォワード互換性を有しつつ、少なくとも２つの映像フォーマットと互換されるスケーラブル・ビットストリームを生成する映像符号化装置において、映像の色差成分に対してフィルタリングを行い、低周波帯域と残りの帯域とに分離する分析フィルタリング部と、前記映像の輝度成分と前記低周波帯域の色差成分とを符号化し、基本階層ビットストリームを生成する第１符号化部と、前記低周波帯域以外の残りの帯域の色差成分を符号化し、拡張階層ビットストリームを生成する第２符号化部と、前記基本階層ビットストリーム及び前記拡張階層ビットストリームを統合し、拡張階層識別子を含み、前記スケーラブル・ビットストリームを生成するビットストリーム統合部とを含む。

前記技術的課題を達成するために、本発明による映像復号化装置は、ビットストリームが拡張階層識別子を含むか否かを検査する拡張階層識別子検査部と、前記ビットストリームのうち、前記拡張階層識別子を含まない基本階層ビットストリームを復号化し、第１映像フォーマットの復元映像を生成する第１復号化部と、前記ビットストリームのうち、前記拡張階層識別子を含む拡張階層ビットストリームを復号化し、低周波帯域以外の残りの帯域の色差成分を生成する第２復号化部と、前記第１復号化部で生成された前記第１映像フォーマットの復元映像に含まれた低周波帯域の色差成分と、前記第２復号化部で生成された高周波帯域の色差成分とを合成し、前記第１映像フォーマットの復元映像に含まれた輝度成分と共に、第２映像フォーマットの復元映像を生成する合成フィルタリング部とを含む。

前記技術的課題を達成するために、本発明による映像復号化方法は、ビットストリームが拡張階層識別子を含むか否かを検査する段階と、前記ビットストリームのうち、前記拡張階層識別子を含まない基本階層ビットストリームを復号化し、第１映像フォーマットの復元映像を生成する段階と、前記ビットストリームのうち、前記拡張階層識別子を含む拡張階層ビットストリームを復号化し、低周波帯域以外の残りの帯域の色差成分を生成する段階と、前記第１映像フォーマットの復元映像に含まれた低周波帯域の色差成分と、前記残りの帯域の色差成分に含まれた高周波帯域の色差成分とを合成し、前記第１映像フォーマットの復元映像に含まれた輝度成分と共に、第２映像フォーマットの復元映像を生成する段階とを含む。

前記技術的課題を達成するために、本発明によるコンピュータで読み取り可能な記録媒体は、フォワード互換性を有しつつ、少なくとも２つの映像フォーマットと互換されるスケーラブル・ビットストリームを生成する映像符号化方法において、前記スケーラブル・ビットストリームは、拡張階層識別子と、映像に含まれた低周波帯域の色差成分と輝度成分とを符号化して形成される基本階層ビットストリームと、前記映像で、前記低周波帯域以外の残りの帯域の色差成分を符号化して形成される拡張階層ビットストリームとからなる方法を実行させるためのコンピュータで読取り可能なコードを記録する。

前記技術的課題を達成するために、本発明によるコンピュータで読み取り可能な記録媒体は、ビットストリームが拡張階層識別子を含むか否かを検査する段階と、前記ビットストリームのうち、前記拡張階層識別子を含まない基本階層ビットストリームを復号化し、第１映像フォーマットの復元映像を生成する段階と、前記ビットストリームのうち、前記拡張階層識別子を含む拡張階層ビットストリームを復号化し、低周波帯域以外の残りの帯域の色差成分を生成する段階と、前記第１映像フォーマットの復元映像に含まれた低周波帯域の色差成分と、前記残りの帯域の色差成分に含まれた高周波帯域の色差成分とを合成し、前記第１映像フォーマットの復元映像に含まれた輝度成分と共に、第２映像フォーマットの復元映像を生成する段階とを含む映像復号化方法を実行するためのコンピュータで読取り可能なコードを記録する。

本発明によるビデオコーデックは、フォワード互換性を提供するので、モバイルホン、ＤＶＤプレーヤ、携帯用ミュージックプレーヤあるいはカーステレオのような、有線あるいは無線の電子機器に搭載された改善されたビデオコーデックだけではなく、既存の基本ビデオコーデックにも採用されるなど、支援する映像フォーマットに関係なくして多様なビデオコーデックに適用できるメリットがある。

本発明によるスケーラブル映像符号化装置及びスケーラブル映像復号化装置の概念を説明するための図である。 本発明によるスケーラブル映像符号化装置から得られるスケーラブル・ビットストリームのシンタックスの一例を示す図である。 図２に図示された拡張階層シーケンスレベルに含まれる情報の例を示す図である。 図２に図示された拡張階層ピクチャデータに含まれる情報の例を示す図である。 本発明によるスケーラブル映像符号化装置で、拡張階層識別子をローディングするための区間としてのスタートコードの例を示す図である。 本発明によるスケーラブル映像符号化装置の第１実施形態による構成を示したブロック図である。 本発明によるスケーラブル映像復号化装置の第１実施形態による構成を示したブロック図である。 本発明によるスケーラブル映像符号化装置の第２実施形態による構成を示したブロック図である。 本発明によるスケーラブル映像復号化装置の第２実施形態による構成を示したブロック図である。 フォワード互換性を有する４：２：０映像フォーマットを支援する映像復号化装置の一実施形態の構成を示したブロック図である。 フォワード互換性を有する４：２：２映像フォーマットを支援する映像復号化装置の一実施形態の構成を示したブロック図である。 図５及び図７における符号化部の一実施形態の構成を示したブロック図である。 図６、図８、図９Ａ及び図９Ｂにおける復号化部の一実施形態の構成を示したブロック図である。 ４：４：４映像フォーマットについて説明する図である。 ４：４：４映像フォーマットについて説明する図である。 ４：２：２映像フォーマットについて説明する図である。 ４：２：２映像フォーマットについて説明する図である。 ４：２：０映像フォーマットについて説明する図である。 ４：２：０映像フォーマットについて説明する図である。 映像フォーマットを拡張させるためのウェーブレット基盤の分析フィルタ及び合成フィルタの適用について説明する図である。 リフティング構造を利用した分析フィルタ及び合成フィルタの適用について説明する図である。 リフティング構造の分析フィルタと合成フィルタとを垂直方向に色差成分に適用し、４：２：０映像フォーマットを４：２：２映像フォーマットに拡張するスケーラブル符号化過程を示した図である。 リフティング構造の分析フィルタと合成フィルタとを垂直方向に色差成分に適用し、４：２：０映像フォーマットを４：２：２映像フォーマットに拡張するスケーラブル復号化過程を示した図である。 リフティング構造の分析フィルタと合成フィルタとを水平／垂直方向に色差成分に適用し、４：２：０映像フォーマットを４：２：２あるいは４：４：４映像フォーマットに拡張するスケーラブル符号化過程を示した図である。 リフティング構造の分析フィルタと合成フィルタとを水平／垂直方向に色差成分に適用し、４：２：０映像フォーマットを４：２：２あるいは４：４：４映像フォーマットに拡張するスケーラブル復号化過程を示した図である。 リフティング構造のHaarフィルタを一次元画素アレイに適用した例を示した図である。 リフティング構造の５／３タップウェーブレット・フィルタを一次元画素アレイに適用した例を示した図である。 ４：２：０映像フォーマットを４：２：２映像フォーマットに拡張するためのビットストリームの階層構造を示した図である。 ４：２：０映像フォーマットを４：２：２及び４：４：４映像フォーマットに拡張するためのビットストリームの階層構造を示した図である。 ２：１ダウンサンプリングのために、奇数対称フィルタを適用した例を示した図である。 ２：１ダウンサンプリングのために、偶数対称フィルタを適用した例を示した図である。 奇数対称フィルタの場合、フィルタ値の分布の例を示した図である。 偶数対称フィルタの場合、フィルタ値の分布の例を示した図である。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。

図１は、本発明による映像符号化装置及び映像復号化装置の概念について説明するためのものであり、エンコーダパートは、基本エンコーダの役割を行う第１エンコーダ１１３と、改善されたエンコーダの役割を行う第２エンコーダ１１７とを例にとり、デコーダパートは、基本デコーダの役割を行い、第１エンコーダ１１３に対応する第１デコーダ１５３と、改善されたデコーダの役割を行い、第２エンコーダ１１７に対応する第２デコーダ１５７とを例にとる。一実施形態で、第１エンコーダ１１３は、第１映像フォーマットによるビットストリームを生成し、第２エンコーダ１１７は、第１映像フォーマットを支援しつつ、第２映像フォーマット及び／または第３映像フォーマットによるスケーラブル・ビットストリームを生成する。

説明の便宜のために、第１映像フォーマットは、４：２：０、第２映像フォーマットは、４：２：２、第３映像フォーマットは、４：４：４を例にとる。これによれば、第１エンコーダ１１３の一例として、４：２：０映像フォーマットを支援するＶＣ−１エンコーダが採択されうる。

図１を参照するに、第１エンコーダ１１３で生成されたビットストリーム１３１は、第１デコーダ１５３だけではなく、第２デコーダ１５７でも復号化が遂行されうる。第２エンコーダ１１７で生成されたスケーラブル・ビットストリーム１３７は、第２デコーダ１５７で復号化が遂行され、第１デコーダ１５３では、スケーラブル・ビットストリームに含まれた拡張階層ビットストリームを無視した状態で、基本階層ビットストリームに対して復号化が遂行されうる。かようなフォワード互換性（forward compatability）を提供できる第２エンコーダ１１７が本発明の映像符号化装置に該当し、第２デコーダ１５７が本発明の映像復号化装置に該当する。

図２は、本発明による映像符号化装置から得られるスケーラブル・ビットストリームのシンタックスの一例を示すものであり、基本階層ビットストリームと拡張階層ビットストリームとからなる。

図２を参照するに、スケーラブル・ビットストリームは、具体的に、基本階層のシーケンスレベル２１１、拡張階層のシーケンスレベル２１３、基本階層のＧＯＰ（group of pictures）レベル２１５、拡張階層のＧＯＰレベル２１７、拡張階層のピクチャレベル２１９、基本階層のピクチャレベル２２１、基本階層のピクチャデータ２２３及び拡張階層のピクチャデータ２２５を含んでなる。ここで、拡張階層のピクチャレベル２１９が、基本階層のピクチャレベル２２１の前に位置しているが、拡張階層のピクチャレベル２１９が、基本階層のピクチャレベル２２１の後に位置することも可能である。一方、基本階層のＧＯＰレベル２１５と拡張階層のＧＯＰレベル２１７は、オプションとして備わりうる。

ここで、シーケンスは、少なくとも一つ以上の符号化されたピクチャ、あるいは少なくとも一つ以上のＧＯＰによって構成される。ＧＯＰは、少なくとも一つ以上の符号化されたピクチャによって構成され、ＶＣ−１ビデオコーデック（codec）の場合、エントリポイント（entry-point）が使われもする。ここで、各ＧＯＰで、最初のピクチャは、ランダムアクセスを提供できる。一方、ピクチャは、マクロブロックに分解され、映像フォーマットが４：２：０である場合、各マクロブロックは、４個の輝度ブロックと２個の色差ブロックとからなる。

図３Ａ及び図３Ｂは、図２に図示された各レベルに含まれる情報の例を示すものである。図３Ａは、拡張階層シーケンスレベル２１３に含まれる情報であり、拡張階層で提供できる付加プロファイル及びレベル３１１、及び映像フォーマット３１３を含む。ここで、映像フォーマット３１３は、基本階層シーケンスレベル２１１で定義することが可能な場合、拡張階層シーケンスレベル２１３に含めなくてもよい。図３Ｂは、拡張階層ピクチャデータレベル２２５に含まれる情報であり、変更された映像フォーマットに対応する第１帯域の色差映像３１５、あるいは第２帯域の色差映像３１７を含む。

図４は、本発明による映像符号化装置から得られるスケーラブル・ビットストリームにおいて、拡張階層識別子を含み、拡張階層と関連した情報をローディングするための領域について説明するためのものである。第１エンコーダ１１３がＶＣ−１エンコーダである場合、一実施形態では、４バイト単位のスタートコード（start code）を使用する。ＶＣ−１エンコーダである場合、スタートコードは、アドバンスト・プロファイル（advanced profile）以上で支援されうる。一方、スタートコードは、各レベルのヘッダの最初の領域に含まれうる。

図４を参照し、一実施形態として使われたＶＣ−１のスタートコードで、拡張階層と関連した情報をローディングする過程について説明する。スタートコードにおいて、サフィックス（suffix）に定義されるＢＤＵ（bitstream data unit）タイプのうち、未来の使用のために予約された予備領域（reserved area）４５１，４５２，４５３，４５４を、拡張階層と関連した情報をローディングするために使用する。ここで、ＢＤＵは、同じ階層レベルにある他の情報とは、独立してパージングされうる圧縮データ単位を意味し、例えば、シーケンス・ヘッダ、エントリポイント・ヘッダ、符号化されたピクチャあるいはスライスでありうる。スタートコードのサフィックスに定義されるＢＤＵタイプのうち、禁止（forbidden）領域４２２以外の残りの領域４１１〜４２１は、基本階層と関連した情報をローディングするためのものである。ここで、スタートコードは一例に過ぎず、ビットストリームの構成要素のうち、他の部分を使用することもできる。

一方、拡張階層は、シーケンスレベル、ＧＯＰレベル、フレームレベル、フィールドレベル及びスライスレベルを含む。拡張階層の情報は、一実施形態で、第２予備領域４５２及び第４予備領域４５４のうち、いずれか一つに含まれうる。具体的に述べれば、第２予備領域４５２のうち「０ｘ０９」、あるいは第４予備領域４５４のうち「０ｘ４０」として、拡張階層のシーケンスレベルに係わるヘッダにスタートコードが含まれ、第２予備領域４５２のうち「０ｘ０８」、あるいは第４予備領域４５４のうち「０ｘ３Ｆ」として、拡張階層のＧＯＰレベルに係わるヘッダにスタートコードが含まれ、第２予備領域４５２のうち「０ｘ０７」、あるいは第４予備領域４５４のうち「０ｘ３Ｅ」として、拡張階層のフレームレベルに係わるヘッダにスタートコードが含まれ、第２予備領域４５２のうち「０ｘ０６」、あるいは第４予備領域４５４のうち「０ｘ３Ｄ」として、拡張階層のフィールドレベルに係わるヘッダにスタートコードが含まれ、第２予備領域４５２のうち「０ｘ０６」、あるいは第４予備領域４５４のうち「０ｘ３Ｃ」として、拡張階層のデータに係わるヘッダに拡張色差データのためのスタートコードが含まれる。

これについてさらに細部的に説明すれば、次の通りである。

第２予備領域４５２のうち「０ｘ０９」として定義される拡張階層シーケンスレベルに係わるヘッダのスタートコードに含めることができる情報としては、基本階層以外に、拡張階層によって達成できる付加的なプロファイル及びレベル情報、及び映像フォーマット情報を挙げることができる。具体的に、基本階層のシーケンスレベルでプロファイルは、２ビットで定義され、「３」はアドバンスト・プロファイルを、「０−２」は予備領域を示す。

一方、レベルは３ビットで定義され、「０００」は、ＡＰ＠ＬＯ、「００１」はＡＰ＠Ｌ１、「０１０」はＡＰ＠Ｌ２、「０１１」はＡＰ＠Ｌ３、「１００」はＡＰ＠Ｌ４、「１０１−１１１」は予備領域を示す。拡張階層に係わる情報として含まれうる拡張された映像フォーマット情報は、基本階層のシーケンスレベルに含まれる変数、例えば、ＶＣ−１エンコーダである場合、「ＣＯＬＯＲＤＩＦＦ」変数を活用して示したり、第２予備領域４５２のうち「０ｘ０９」に含めることができる。すなわち、基本階層の変数を活用する場合、拡張階層では、変更される映像フォーマット情報を別途に伝送する必要がない。「ＣＯＬＯＲＤＩＦＦ」変数の例について述べれば、「１」は、４：２：０映像フォーマットを定義するのに使用し、「２」と「３」は、予備領域として指定されているので、望ましくは、４：２：２映像フォーマットと４：４：４映像フォーマットとを定義するのに使用できる。一方、拡張階層に係わる情報として、付加的なＨＲＤ（hypothetical reference decoder）変数が含まれうる。ＨＲＤ変数は、仮想ビデオバッファ変数であり、デコーダで、バッファ運用のために参考にする変数である。

第２予備領域４５２のうち「０ｘ０８」として定義される拡張階層ＧＯＰレベルに係わるヘッダのスタートコードは、映像フォーマットがＧＯＰ単位に変更されない場合には、不要であるので、予備領域として指定され、映像フォーマットがＧＯＰ単位に変更される場合、必要となる。

第２予備領域４５２のうち「０ｘ０５」として定義される拡張階層のデータのヘッダに係わるスタートコードは、基本階層と比較し、拡張階層の映像フォーマットが変更されない場合に不要なので、予備領域として指定される。すなわち、基本階層と拡張階層との映像フォーマットが互いに異なる場合、例えば、基本階層の映像フォーマットが４：２：０であり、拡張階層の映像フォーマットが４：２：２であるか、基本階層の映像フォーマットが４：２：０であり、拡張階層の映像フォーマットが４：４：４である場合、４個の輝度ブロックと２個の色差ブロックとに係わるデータを、基本階層から伝送すると同時に、拡張階層では、変更された映像フォーマットを支援できるように、映像フォーマットに対応して第１帯域の色差映像、あるいは第２帯域の色差映像を伝送する。一方、４個の輝度ブロックに係わるデータは、映像フォーマットに関係なくして同一であるので、拡張階層から別途のデータを伝送する必要はない。

一方、前記拡張階層と関連した情報は、図４に記載されたスタートコードに制限されるものではなく、シーケンスレベル、ＧＯＰレベル、ピクチャレベル、マクロブロックレベル、ブロックレベルで、未来の使用のために残した予備領域に含まれうる。また、ビットストリームを伝送するために、映像ビットストリームをペイロード（payload）にし、これをパッケージングするシステム階層やネットワーク・プロトコルの多様な階層に、多様な形態として拡張階層識別子を含むこともできる。

図５は、本発明による映像符号化装置の第１実施形態による構成を示したブロック図であり、第１分析フィルタリング部５１０、第１符号化部５３０、第２符号化部５５０及び第１ビットストリーム統合部５７０を含んでなる。この場合、第１分析フィルタリング部５１０、第１符号化部５３０、第２符号化部５５０及び第１ビットストリーム統合部５７０は、少なくとも一つ以上のプロセッサ（図示せず）でもって具現されうる。

図５を参照するに、第１分析フィルタリング部５１０は、４：２：２原映像の色差成分に対してフィルタリングを行い、低周波帯域と高周波帯域とに分離する。このとき望ましくは、垂直ウェーブレット・フィルタリング（wavelet filtering）が適用されうる。分離された低周波帯域の色差成分は、第１符号化部５３０に、分離された高周波帯域の色差成分は、第２符号化部５５０にそれぞれ提供される。

第１符号化部５３０は、４：２：２原映像の輝度成分と、低周波帯域の色差成分とを入力として４：２：０映像に再構成し、再構成された４：２：０映像を符号化し、基本階層ビットストリームを生成する。

第２符号化部５５０は、第１分析フィルタリング部５１０から提供される高周波帯域の色差成分を符号化し、４：２：２映像を構成するための拡張階層ビットストリームを生成する。

第１ビットストリーム統合部５７０は、第１符号化部５３０から提供される基本階層ビットストリームと、第２符号化部５５０から提供される４：２：２映像フォーマットを構成するための拡張階層ビットストリームとを統合し、拡張階層識別子を含んでスケーラブル・ビットストリームを生成する。

図６は、図５に図示された映像符号化装置に対応し、本発明による映像復号化装置の第１実施形態による構成を示したブロック図であり、第１拡張階層識別子検査部６１０、第１復号化部６３０、第１スイッチング部６５０、第２復号化部６７０及び第１合成フィルタリング部６９０を含んでなる。第１拡張階層識別子検査部６１０、第１復号化部６３０、第１スイッチング部６５０、第２復号化部６７０及び第１合成フィルタリング部６９０は、少なくとも一つ以上のプロセッサ（図示せず）でもって具現されうる。

図６を参照するに、第１拡張階層識別子検査部６１０は、ビットストリームが拡張階層識別子を含んでいるか否かを検査し、拡張階層識別子を含まない場合、入力されたビットストリーム、すなわち、基本階層ビットストリームをそのまま第１復号化部６３０に提供する。一方、拡張階層識別子を含む場合、入力されるビットストリーム、すなわち、スケーラブル・ビットストリームから、基本階層ビットストリームと拡張階層ビットストリームとを分離し、それぞれ第１復号化部６３０と第２復号化部６７０とに提供する。一方、拡張階層識別子を含むか否かによって、第１スイッチング部６５０を切り替えるための第１制御信号を出力する。

第１復号化部６３０は、拡張階層識別子を含むか否かに関係なく、第１拡張階層識別子検査部６１０から提供される基本階層ビットストリームに対して復号化を行い、４：２：０復元映像を生成する。

第１スイッチング部６５０は、第１拡張階層識別子検査部６１０から提供される第１制御信号によって動作し、第１復号化部６３０から提供される４：２：０復元映像をそのまま出力したり、第１合成フィルタリング部６９０に提供する。すなわち、第１制御信号が拡張階層識別子を含まないことを意味する場合、第１スイッチング部６５０で、端子ａと端子ｂとが連結され、第１復号化部６３０から提供される４：２：０復元映像は、そのまま出力される。第１制御信号が拡張階層識別子を含むことを意味する場合、第１スイッチング部６５０で、端子ａと端子ｃとが連結され、第１復号化部６３０から提供される４：２：０復元映像は、第１合成フィルタリング部６９０に提供される。

第２復号化部６７０は、ビットストリームに拡張階層識別子が含まれた場合、第１拡張階層識別子検査部６１０から提供される拡張階層ビットストリームに対して復号化を行い、復元された高周波帯域の色差成分を生成する。

第１合成フィルタリング部６９０は、第１スイッチング部６５０から提供される４：２：０復元映像と、第２復号化部６７０から提供される復元された高周波帯域の色差成分とを入力とし、４：２：０復元映像に含まれた低周波帯域の色差成分と、復元された高周波帯域の色差成分とに対してフィルタリングを行い、４：２：２復元映像を生成する。このとき望ましくは、第１分析フィルタリング部５１０に対応し、垂直ウェーブレット・フィルタリングを適用できる。

これによれば、図６に図示された映像復号化装置は、４：２：０映像フォーマットを支援する映像符号化装置で生成されたビットストリーム、あるいは４：２：０及び４：２：２映像フォーマットを支援する映像符号化装置で生成されたビットストリームに対して、いずれも復号化が可能である。

図７は、本発明による映像符号化装置の第２実施形態による構成を示したブロック図であり、第２分析フィルタリング部７１０、第３符号化部７３０、第４符号化部７５０、第５符号化部７７０及び第２ビットストリーム統合部７９０を含んでなる。この場合、第２分析フィルタリング部７１０、第３符号化部７３０、第４符号化部７５０、第５符号化部７７０及び第２ビットストリーム統合部７９０は、少なくとも一つ以上のプロセッサ（図示せず）でもって具現されうる。

図７を参照するに、第２分析フィルタリング部７１０は、４：４：４原映像の色差成分に対してフィルタリングを行い、複数個の帯域に分離する。このとき望ましくは、水平及び垂直のウェーブレット・フィルタリングを順次に適用できる。具体的に、まず４：４：４原映像に対して水平方向の分析フィルタ（図示せず）を適用し、低周波帯域と高周波帯域とに分離する。分離された低周波帯域と高周波帯域とに対してさらに、水平方向の分析フィルタ（図示せず）を適用し、低周波−低周波帯域（ＬＬ帯域）、高周波−低周波帯域（ＨＬ帯域）、低周波−高周波帯域（ＬＨ帯域）、高周波−高周波帯域（ＨＨ帯域）に分離する。一方、垂直方向の分析フィルタと水平方向の分析フィルタは、第２分析フィルタリング部７１０に含まれる。このうち、分離されたＬＬ帯域の色差成分は、第３符号化部７３０に、分離されたＬＨ帯域の色差成分は、第４符号化部７５０に、分離されたＨＬ帯域及びＨＨ帯域の色差成分は、第５符号化部７７０にそれぞれ提供される。

第３符号化部７３０は、４：４：４原映像の輝度成分と、ＬＬ帯域の色差成分とを入力として４：２：０映像に再構成し、再構成された４：２：０映像を符号化し、基本階層ビットストリームを生成する。

第４符号化部７５０は、第２分析フィルタリング部７１０から提供されるＬＨ帯域の色差成分を符号化し、４：２：２映像を構成するための第１拡張階層ビットストリームを生成する。

第５符号化部７７０は、第２分析フィルタリング部７１０から提供されるＨＬ帯域及びＨＨ帯域の色差成分を符号化し、４：４：４映像を構成するための第２拡張階層ビットストリームを生成する。

第２ビットストリーム統合部７９０は、第３符号化部７３０から提供される基本階層ビットストリーム、第４符号化部７５０から提供される第１拡張階層ビットストリーム及び第５符号化部７７０から提供される第２拡張階層ビットストリームを統合し、拡張階層識別子を含んでスケーラブル・ビットストリームを生成する。

図８は、図７に図示された映像符号化装置に対応し、本発明による映像復号化装置の第２実施形態による構成を示したブロック図であり、第２拡張階層識別子検査部８１０、第３復号化部８２０、第２スイッチング部８３０、第４復号化部８４０、第２合成フィルタリング部８５０、第５復号化部８６０及び第３合成フィルタリング部８７０を含んでなる。この場合、第２拡張階層識別子検査部８１０、第３復号化部８２０、第２スイッチング部８３０、第４復号化部８４０、第２合成フィルタリング部８５０、第５復号化部８６０及び第３合成フィルタリング部８７０は、少なくとも一つ以上のプロセッサ（図示せず）でもって具現されうる。

図８を参照するに、第２拡張階層識別子検査部８１０は、ビットストリームが拡張階層識別子を含んでいるか否かを検査し、拡張階層識別子を含まない場合、入力されたビットストリーム、すなわち、基本階層ビットストリームをそのまま第３復号化部８２０に提供する。一方、拡張階層識別子を含む場合、入力されるビットストリーム、すなわち、スケーラブル・ビットストリームから、基本階層ビットストリーム、第１拡張階層ビットストリーム、第２拡張階層ビットストリームを分離し、それぞれ第３復号化部８２０、第４復号化部８４０及び第５復号化部８６０に提供する。一方、拡張階層識別子を含むか否かによって、第２スイッチング部８３０を切り替えるための第２制御信号を出力する。

第３復号化部８２０は、拡張階層識別子を含むか否かに関係なく、第２拡張階層識別子検査部８１０から提供される基本階層ビットストリームに対して復号化を行い、４：２：０映像フォーマットの復元映像を生成する。

第２スイッチング部８３０は、第２拡張階層識別子検査部８１０から提供される第２制御信号によって動作し、第３復号化部８２０から提供される４：２：０復元映像をそのまま出力したり、第２合成フィルタリング部８５０に提供する。すなわち、第２制御信号が拡張階層識別子を含まないことを意味する場合、第２スイッチング部８３０で、端子ａと端子ｂとが連結され、第３復号化部８２０から提供される４：２：０復元映像は、そのまま出力される。第２制御信号が拡張階層識別子を含むことを意味する場合、第２スイッチング部８３０で、端子ａと端子ｃとが連結され、第３復号化部８２０から提供される４：２：０復元映像は、第２合成フィルタリング部８５０に提供される。

第４復号化部８４０は、ビットストリームに拡張階層識別子が含まれた場合、第２拡張階層識別子検査部８１０から提供される第１拡張階層ビットストリームに対して復号化を行い、復元されたＬＨ帯域の色差成分を生成する。

第２合成フィルタリング部８５０は、第２スイッチング部８３０から提供される４：２：０復元映像と、第４復号化部８４０から提供される復元されたＬＨ帯域の色差成分とを入力とし、４：２：０復元映像に含まれたＬＬ帯域の色差成分と、復元されたＬＨ帯域の色差成分とに対してフィルタリングを行い、４：２：２復元映像を生成する。このとき望ましくは、第２分析フィルタリング部８１０に対応し、垂直ウェーブレット・フィルタリングを適用できる。第２合成フィルタリング部８５０で生成される４：２：２復元映像は、必要によってそのまま出力されたり、第３合成フィルタリング部８７０に提供される。

第５復号化部８６０は、ビットストリームに拡張階層識別子が含まれた場合、第２拡張階層識別子検査部８１０から提供される第２拡張階層ビットストリームに対して復号化を行い、復元されたＨＬ帯域及びＨＨ帯域の色差成分を生成する。

第３合成フィルタリング部８７０は、第２合成フィルタリング部８５０から提供される４：２：２復元映像と、第５復号化部８６０から提供される復元されたＨＬ帯域及びＨＨ帯域の色差成分とを入力とし、４：２：２復元映像に含まれたＬＬ帯域及びＬＨの色差成分と、復元されたＨＬ帯域及びＨＨ帯域の色差成分とに対してフィルタリングを行い、４：４：４復元映像を生成する。このとき望ましくは、第２分析フィルタリング部８１０に対応し、水平方向の合成フィルタによるウェーブレット・フィルタリングを適用できる。

これによれば、図８に図示された映像復号化装置は、４：２：０映像フォーマットと互換される映像符号化装置で生成されたビットストリーム、あるいは４：２：０／４：２：２／４：４：４映像フォーマットと互換される映像符号化装置で生成されたビットストリームに対して、いずれも復号化が可能である。

図９Ａはフォワード互換性を有し、４：２：０映像フォーマットと互換される映像復号化装置の一実施形態、図９Ｂは、フォワード互換性を有し、４：２：２映像フォーマットと互換される映像復号化装置の一実施形態の構成を示したブロック図である。図９Ａに図示された映像復号化装置は、第３拡張階層識別子検査部９１１及び第６復号化部９１３を含んでなり、図９Ｂに図示された映像復号化装置は、第４拡張階層識別子検査部９３１、第７復号化部９３３、第８復号化部９３５、第９復号化部９３７及び第４合成フィルタリング部９３９を含んでなる。

図９Ａを参照するに、第３拡張階層識別子検査部９１１は、ビットストリームが拡張階層識別子を含んでいるか否かを検査し、拡張階層識別子を含まない場合、入力されたビットストリーム、すなわち、基本階層ビットストリームをそのまま第６復号化部９１３に提供する。一方、拡張階層識別子を含む場合、入力されるビットストリーム、すなわち、スケーラブル・ビットストリームから基本階層ビットストリームを抽出し、第６復号化部９１３に提供する。

第６復号化部９１３は、第３拡張階層識別子検査部９１１から提供される４：２：０映像フォーマットのビットストリーム、あるいは基本階層ビットストリームを復号化し、４：２：０復元映像を生成する。

これによれば、図９Ａに図示された映像復号化装置は、通常の４：２：０映像フォーマットと互換される映像符号化装置から提供されたビットストリームに対して復元できるだけではなく、スケーラブル・ビットストリームが入力されても基本階層ビットストリームを抽出して復元できる。

一方、図９Ｂを参照するに、第４拡張階層識別子検査部９３１は、ビットストリームが拡張階層識別子を含んでいるか否かを検査し、拡張階層識別子を含まない場合、入力されたビットストリーム、すなわち、基本階層ビットストリームをそのまま第７復号化部９３３に提供する。一方、拡張階層識別子を含む場合、入力されるビットストリーム、すなわち、スケーラブル・ビットストリームから、基本階層ビットストリームと第１拡張階層ビットストリームとを抽出し、それぞれ第８復号化部９３５と第９復号化部９３７とに提供する。

第８復号化部９３５は、第４拡張階層識別子検査部９３１から提供される基本階層ビットストリームを復号化し、４：２：０復元映像を生成し、生成された４：２：０復元映像を、第４合成フィルタリング部９３９に提供する。

第９復号化部９３７は、第４拡張階層識別子検査部９３１から提供される第１拡張階層ビットストリームに対して復号化を行い、復元されたＬＨ帯域の色差成分を生成する。

第４合成フィルタリング部９３９は、第８復号化部９３５から提供される４：２：０復元映像と、第９復号化部９３７から提供される復元されたＬＨ帯域の色差成分とを入力とし、４：２：０復元映像に含まれたＬＬ帯域の色差成分と、復元されたＬＨ帯域の色差成分とに対してフィルタリングを行い、４：２：２復元映像を生成する。このとき望ましくは、第２分析フィルタリング部８１０に対応し、垂直ウェーブレット・フィルタリングを適用できる。

図９Ｂに図示された映像復号化装置は、通常の４：２：２映像フォーマットを支援する映像符号化装置から提供されたビットストリームに対して復元できるだけではなく、スケーラブル・ビットストリームが入力されても、基本階層ビットストリームと、第１拡張階層ビットストリームとを抽出して復元できる。

図１０Ａは、図５及び図７において符号化部５３０，５５０，７３０，７５０，７７０、図１０Ｂは、図６、図８、図９Ａ及び図９Ｂにおいて、復号化部６３０，６７０，８２０，８４０，８６０，９１３，９３３，９３５，９３７の一実施形態の構成を示したブロック図であり、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４などに広く使われるＭＣ−ＤＣＴ（Motion-Compensated Discrete Cosine Transform）ビデオコーデックを示し、これに限定されるものではなく、応用によって、修正あるいは変形が加えられうる。図１０Ａに図示された符号化部は、減算部１０１１、変換部１０１２、量子化部１０１３、エントロピ符号化部１０１４、第１逆量子化部１０１５、第１逆変換部１０１６、第１加算部１０１７及び第１予測部１０１８を含んでなる。図１０Ｂに図示された復号化部は、エントロピ復号化部１０３１、第２逆量子化部１０３２、第２逆変換部１０３３、第２加算部１０３４及び第２予測部１０３５を含んでなる。図１０Ａ及び図１０Ｂに図示された符号化部及び復号化部については、広く公知されているので、ここでは、その細部的な動作説明を省略する。

図１１Ａ及び図１１Ｂは、４：４：４映像フォーマットを示し、ここでは、１フレームに対して、輝度成分と色差成分とが同じ解像度を有し、色差成分は、輝度成分と位相が一致する。

図１２Ａ及び図１２Ｂは、４：２：２映像フォーマットを示し、色差成分を２：１にサンプリングし、水平方向に解像度を減らしたものである。この場合には、１つの画素位置についてダウンサンプリングされた色差成分と輝度成分との位相が、垂直及び垂直の方向に一致する。

図１３Ａ及び図１３Ｂは、４：２：０映像フォーマットを示し、色差成分を垂直及び水平の方向に、それぞれ２：１にサンプリングし、解像度を減らしたものである。この場合には、１つの画素位置についてダウンサンプリングされた色差成分と輝度成分との間に、水平方向には位相が一致するが、垂直方向には、０．５画素ほどの位相シフトが発生する。かような位相シフトは、適用される分析フィルタによって変わりうる。ここで、「Ｘ」は輝度成分、「Ｏ」は色差成分を示す。

図１４は、映像フォーマットを拡張させるためのウェーブレット基盤の分析フィルタ及び合成フィルタの適用について説明する図であり、輝度成分は変更させずに、色差成分のみその解像度を変更させる。符号化過程について述べれば、４：４：４映像に含まれた色差成分１４００に対して、水平方向にウェーブレット分析フィルタリング１４１０を行い、低周波帯域であるＬ帯域の色差成分１４２１と、高周波帯域であるＨ帯域の色差成分１４２３とに分離する。このとき、Ｌ帯域の色差成分１４２１と輝度成分は、４：２：２映像を構成する。Ｌ帯域の色差成分１４２１とＨ帯域の色差成分１４２３とに対して、垂直方向にウェーブレット分析フィルタリング１４３０を行い、Ｌ帯域１４２１からＬＬ帯域１４４１及びＬＨ帯域１４４２、Ｈ帯域１４２３からＨＬ帯域１４４３及びＨＨ帯域１４４４に分離する。このとき、ＬＬ帯域の色差成分１４４１と輝度成分は、４：２：０映像を構成する。ここでさらにＬＨ帯域の色差成分１４４２を追加すれば、４：２：２映像を構成する。その後、残りの帯域、すなわち、ＨＬ帯域１４４３及びＨＨ帯域１４４４を追加すれば、４：４：４映像を構成する。

復号化過程について述べれば、符号化過程の逆であって、ＬＬ帯域１４４１、ＬＨ帯域１４４２、ＨＬ帯域１４４３、ＨＨ帯域１４４４に対して、垂直方向にウェーブレット合成フィルタリング１４５０を行い、低周波帯域であるＬ帯域の色差成分１４６１と、高周波帯域であるＨ帯域の色差成分１４６３とを生成する。このとき、Ｌ帯域の色差成分１４６１と輝度成分は、４：２：２映像を構成する。Ｌ帯域の色差成分１４６１と、Ｈ帯域の色差成分１４６３とに対して、水平方向にウェーブレット合成フィルタリング１４７０を行い、４：４：４映像に含まれる色差成分１４８０を生成する。色差成分１４８０と輝度成分は、４：４：４映像を構成する。

図１５は、リフティング（lifting）構造を利用した分析フィルタ１５１０及び合成フィルタ１５３０の適用について説明する図である。まず、符号化過程に、分析フィルタ１５１０を適用することによって、映像を、低周波数成分で構成された低周波帯域値と、高周波数成分で構成された高周波帯域値とに分離できる。具体的に、偶数位置にある画素値から予測値を求め、予測値と奇数位置にある画素値との差分値を求めて高周波帯域値に構成する。この高周波帯域値を更新値に設定し、更新値をさらに偶数位置にある画素値に加算し、低周波帯域値に構成する。リフティング構造を利用した分析フィルタ１５１０の結果、すなわち、（ｘ，ｙ）位置にある画素の高周波帯域値Ｈ［ｘ］［ｙ］と低周波帯域値Ｌ［ｘ］［ｙ］は、次の式（１）のように示すことができる。

Ｈ［ｘ］［ｙ］＝ｓ［ｘ］［２ｙ＋１］−Ｐ（ｓ［ｘ］［２ｙ］）
Ｌ［ｘ］［ｙ］＝ｓ［ｘ］［２ｙ］＋ＵＨ［ｘ］［ｙ］ （１）
ここで、リフティング構造を適用するための予測値Ｐ（．）と更新値Ｕ（．）は、次の式（２）のように示すことができる。

一方、Haarフィルタあるいは５／３タップウェーブレット・フィルタを適用する場合、予測値Ｐ（．）と更新値Ｕ（．）は、それぞれ次の式（３）及び式（４）のように示すことができる。

一方、復号化過程に使われる合成フィルタ１５３０の適用は、分析フィルタ１５１０と逆順の過程を経て、低周波帯域値と高周波帯域値とを合成して画素値を復元する。具体的に、高周波帯域値を更新値に設定し、更新値を低周波帯域値から減算し、偶数位置にある画素値を求める。偶数位置にある画素値から予測値を求め、予測値を高周波帯域値に加え、奇数位置にある画素値を求める。リフティング構造を利用した合成フィルタ１５３０の結果、すなわち、（ｘ，２ｙ）である偶数位置及び（ｘ，２ｙ＋１）である奇数位置にある画素値は、次の式（５）のように示すことができる。

ｓ［ｘ］［２ｙ］＝Ｌ［ｘ］［ｙ］−ＵＨ［ｘ］［ｙ］
ｓ［ｘ］［２ｙ＋１］＝Ｈ［ｘ］［ｙ］＋Ｐ（ｓ［ｘ］［２ｙ］） （５）
前記のリフティング構造の分析フィルタ１５１０と合成フィルタ１５３０とを適用すれば、無損失復元が可能であるという長所がある。従って、これを利用するスケーラブル映像符号化の場合、基本階層と拡張階層とをいずれも復元すれば、高品質の映像復元が可能である。

図１６Ａ及び図１６Ｂは、リフティング構造の分析フィルタと合成フィルタとを、垂直方向に色差成分に適用して階層構造に構成することによって、４：２：０映像フォーマットを４：２：２映像フォーマットに拡張するスケーラブル符号化及び復号化の過程をそれぞれ示した図である。

図１６Ａを参照するに、４：２：２映像に含まれた色差成分１６０１に、垂直方向の分析フィルタを適用し（１６１０）、低周波帯域の色差成分１６２１と高周波帯域の色差成分１６２３とに分離する。低周波帯域の色差成分１６２１を符号化し（１６３１）、符号化された低周波帯域の色差成分１６４１は、符号化された輝度成分と共に、４：２：０映像フォーマットを支援する基本階層ビットストリームを生成する。一方、高周波帯域の色差成分１６２３を符号化し（１６３３）、符号化された高周波帯域の色差成分１６４３は、４：２：２映像を構成するための拡張階層ビットストリームに生成する。

図１６Ｂを参照するに、４：２：０映像フォーマットと互換される映像復号化装置の場合、基本階層ビットストリームと拡張階層ビットストリームとを含むスケーラブル・ビットストリームが受信されても、基本階層ビットストリームだけ抽出して復号化を行い、４：２：０復元映像を生成する一方、拡張階層ビットストリームは無視する。これを介して、既存の映像復号化装置、すなわち、ＶＣ−１デコーダでも映像フォーマットが拡張されたビットストリームを復元できるフォワード互換性を達成できる。具体的に、基本階層ビットストリームに含まれた低周波帯域の色差成分１６５１を復号化し（１６６１）、復号化された低周波帯域の色差成分１６７１は、復号化された輝度成分と共に４：２：０復元映像を生成する。一方、４：２：２映像フォーマットを支援する映像復号化装置の場合、まず、基本階層ビットストリームを復号化し、４：２：０復元映像を得る（１６８０）。さらに、拡張階層ビットストリームに含まれた高周波帯域の色差成分１６５３を復号化し（１６６３）、復号化された高周波帯域の色差成分１６７３と、４：２：０復元映像に含まれた復号化された低周波帯域の色差成分１６７１とは合成され、復号化された輝度成分と共に、４：２：２復元映像を生成する。

図１７Ａ及び図１７Ｂは、リフティング構造の分析フィルタと合成フィルタとを、水平／垂直方向に色差成分に適用し、階層構造に構成することによって、４：２：０映像フォーマットを、４：２：２あるいは４：４：４映像フォーマットに拡張する符号化及び復号化の過程をそれぞれ示した図である。

図１７Ａを参照するに、４：４：４映像に含まれた色差成分１７００に、水平方向の分析フィルタと垂直方向の分析フィルタとを順次に適用し（１７１０）、ＬＬ帯域の色差成分１７２１、ＬＨ帯域の色差成分１７２２、ＨＬ帯域の色差成分１７２３、ＨＨ帯域の色差成分１７２４に分離する。ＬＬ帯域の色差成分１７２１を符号化し（１７３１）、符号化されたＬＬ帯域の色差成分１７４１は、符号化された輝度成分と共に、４：２：０映像フォーマットと互換される基本階層ビットストリームを生成する。一方、ＬＨ帯域の色差成分１７２２、ＨＬ帯域の色差成分１７２３、ＨＨ帯域の色差成分１７２４を符号化し（１７３３）、符号化されたＬＨ帯域の色差成分１７４２、ＨＬ帯域の色差成分１７４３、ＨＨ帯域の色差成分１７４４は、４：２：２あるいは４：４：４映像を構成するための拡張階層ビットストリームに生成する。ここで、拡張階層ビットストリームは、４：２：２映像を構成するための第１拡張階層ビットストリームと、４：４：４映像を構成するための第２拡張階層ビットストリームとで構成されうる。

図１７Ｂを参照するに、４：２：０映像フォーマットと互換される映像復号化装置の場合、基本階層ビットストリームと拡張階層ビットストリームとを含むスケーラブル・ビットストリームが受信されても、基本階層ビットストリームだけ抽出して復号化を行い、４：２：０映像フォーマットの復元映像を生成する一方、拡張階層ビットストリームは無視する。これを介して、既存の映像復号化装置、すなわち、ＶＣ−１デコーダでも映像フォーマットが拡張されたビットストリームを復元できるフォワード互換性を達成できる。具体的に、基本階層ビットストリームに含まれたＬＬ帯域の色差成分１７５１を復号化し（１７６１）、復号化されたＬＬ帯域の色差成分１７７１は、復号化された輝度成分と共に４：２：０復元映像を生成する。一方、４：２：２あるいは４：４：４映像フォーマットを支援する映像復号化装置の場合、まず、基本階層ビットストリームを復号化し、４：２：０復元映像を得る。さらに、拡張階層ビットストリームに含まれたＬＨ帯域の色差成分１７５２、ＨＬ帯域の色差成分１７５３、ＨＨ帯域の色差成分１７５４を復号化し（１７６３）、復号化されたＬＨ帯域の色差成分１７７２、ＨＬ帯域の色差成分１７７３、ＨＨ帯域の色差成分１７７４及び４：２：０復元映像に含まれた復号化されたＬＬ帯域の色差成分１７７１は合成され、復号化された輝度成分と共に４：４：４復元映像を生成する。一方、復号化されたＬＨ帯域の色差成分１７７２と、４：２：０復元映像に含まれた復号化されたＬＬ帯域の色差成分１７７１とは合成され、復号化された輝度成分と共に、４：２：２復元映像を生成することも可能である。

図１８は、リフティング構造のHaarフィルタを、一次元画素アレイに適用した例を示した図であり、式（１）、式（２）及び式（３）の適用過程を示す。

図１９は、リフティング構造の５／３タップウェーブレット・フィルタを、一次元画素アレイに適用した例を示した図であり、式（１）、式（２）及び式（４）の適用過程を示す。これによれば、高周波帯域の場合、周囲の３個の画素を適用し、低周波帯域の場合、周囲の５個の画素を適用する。

図２０は、４：２：０映像フォーマットを、４：２：２映像フォーマットに拡張するためのビットストリームの階層構造を示した図であり、色差成分で、垂直方向の低周波帯域成分と輝度成分とを、４：２：０映像フォーマットで基本階層で符号化し、４：２：２映像フォーマットに拡張させるために、色差成分で、垂直方向の高周波帯域成分を拡張階層でさらに符号化する。

図２１は、４：２：０映像フォーマットを、４：２：２及び４：４：４の映像フォーマットに拡張するためのビットストリームの階層構造を示した図であり、色差成分で、ＬＬ帯域成分と輝度成分とを４：２：０映像フォーマットで基本階層で符号化し、４：２：２映像フォーマットに拡張させるために、色差成分で、ＬＨ帯域成分を第１拡張階層でさらに符号化し、４：４：４映像フォーマットに拡張させるために、色差成分で、ＨＬ帯域及びＨＨ帯域成分を、第２拡張階層でさらに符号化する。

図２２は、２：１ダウンサンプリングのために、奇数対称フィルタを適用した例を示した図であり、フィルタタブが奇数個であるので、真ん中の係数を中心に両側に、フィルタ値ｈ（ｎ）が同じである対称形構造を有する。奇数対称フィルタの場合、フィルタ値の分布は、一例として図２４に図示されている通りである。奇数対称フィルタを使用すれば、ダウンサンプリングを行った後、画素の位置が本来の画素の偶数番目の位置と一致する。

図２３は、２：１ダウンサンプリングのために、偶数対称フィルタを適用した例を示した図であり、フィルタタブが偶数個であるので、真ん中の２つの係数を中心に両側に、フィルタ値ｈ（ｎ）が同じである対称形構造を有し、その結果、本来の画素の偶数番目の位置で、０．５画素ほど位相シフトが発生する。偶数対称フィルタの場合、フィルタ値の分布は、一例として図２５に図示されている通りである。

４：４：４映像フォーマットを４：２：２映像フォーマットに変換するとき、色差成分を水平方向にダウンサンプリングするが、このとき、色差成分が輝度成分の偶数位置とその位相が一致する必要がある。このために、図２２及び図２４で説明した通り、水平方向の場合、奇数対称フィルタを適用する。奇数対称フィルタの例としては、式（１）、式（２）、式（４）で説明した５／３タップウェーブレット・フィルタを挙げることができる。もし色差成分に偶数対称フィルタを適用すれば、水平方向の色差成分の位相が、本来の４：２：２映像フォーマットの色差成分とその位相が変わり、後で４：４：４映像フォーマットで復元する場合、誤差が大きくなる。

一方、４：２：２映像フォーマットを４：２：０映像フォーマットに変換するとき、色差成分を垂直方向にダウンサンプリングするが、このとき、色差成分が、輝度成分の偶数位置の比べて、０．５画素ほど位相をシフトさせる必要がある。このために、図２３及び図２５で説明した通り、垂直方向の場合、偶数対称フィルタを適用する。偶数対称フィルタの例としては、式（１）、式（２）、式（３）で説明したHaarフィルタを挙げることができる。もし色差成分に奇数対称フィルタを適用すれば、垂直方向の色差成分の位相が、本来の４：２：２映像フォーマットの色差成分とその位相が同じになり、後で４：２：２映像フォーマットで復元する場合、誤差が大きくなる。

前記の実施形態では、スケーラブル・ビットストリームの形態を１つの基本階層ビットストリームと１つの拡張階層ビットストリームとで構成した実施形態に基づいて、二種の映像フォーマットが互いに異なる二種のコーデックを支援することについて説明しているが、拡張階層ビットストリームを複数個にすることによって、二種以上のコーデックを支援することも可能である。

本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読取り可能なコードとして具現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読取り可能なコードが保存されて実行されうる。そして、本発明を具現するための機能的な（functional）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマらによって容易に推論されうる。

前述の通り、本発明の実施形態によれば、フォワード互換性が保証される新しいビデオコーデックを提供するために、スケーラブルビデオエンコーダは、基本階層ビットストリームと拡張階層ビットストリームとからなるスケーラブル・ビットストリームを生成し、スケーラブル・ビットストリームを受信する既存の基本デコーダは、スケーラブル・ビットストリームから得られる基本階層ビットストリームを利用して復号化を行い、スケーラブルビデオデコーダは、スケーラブル・ビットストリームに含まれた基本階層ビットストリームと拡張階層ビットストリームとをいずれも利用して復号化を行うことによって、改善されたビデオコーデックと既存のビデオコーデックとが互いに融化されて共存できるというメリットがある。よって、具体的に、既存のＷＭＶ（Window Media Video）コーデックあるいはＶＣ−１コーデックと、新しい映像フォーマットを支援するビデオコーデックとが共に使われうるというメリットがある。

以上、図面と明細書とでもって最適実施形態を開示した。ここで、特定の用語が使われたが、それらは単に、本発明について説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。従って、本技術分野の当業者ならば、それらから多様な変形及び均等な他実施形態が可能であるという点を理解することが可能であろう。従って、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決まるものである。

Claims (25)

1. 少なくとも２つの映像フォーマットと互換性のあるスケーラブル・ビットストリームを生成する映像符号化方法において、
   拡張階層識別子を生成する段階と、
   映像データに含まれた低周波帯域の色差成分と輝度成分とを符号化し、基本階層ビットストリームを生成する段階と、
   前記映像データに含まれた前記低周波帯域以外の残りの帯域の色差成分を符号化し、拡張階層ビットストリームを生成する段階とからなる映像符号化方法。
2. 前記拡張階層識別子は、前記スケーラブル・ビットストリームのシーケンスレベル、ＧＯＰレベル、ピクチャレベル、マクロブロックレベル及びブロックレベルのうち、少なくとも１つのレベルに含まれることを特徴とする請求項１に記載の映像符号化方法。
3. 前記拡張階層識別子は、前記スケーラブル・ビットストリームに存在する予備領域に含まれることを特徴とする請求項１に記載の映像符号化方法。
4. 前記映像が４：２：２映像フォーマットを有する場合、前記基本階層ビットストリームは、４：２：０映像フォーマットと互換される色差成分を含み、前記低周波帯域の色差成分は、４：２：２映像フォーマットを有する前記映像の色差成分を、垂直方向に分析フィルタリングすることによって得ることを特徴とする請求項１に記載の映像符号化方法。
5. 前記映像が４：２：２映像フォーマットを有する場合、前記拡張階層ビットストリームは、４：２：２映像フォーマットを構成するためのさらなる色差成分を含み、前記残りの帯域の色差成分は、４：２：２映像フォーマットを有する前記映像データの色差成分を、垂直方向に分析フィルタリングすることによって得られる高周波帯域の色差成分であることを特徴とする請求項４に記載の映像符号化方法。
6. 前記映像が４：４：４映像フォーマットを有する場合、前記基本階層ビットストリームは、４：２：０映像フォーマットと互換される色差成分を含み、前記低周波帯域の色差成分は、４：４：４映像フォーマットを有する前記映像の色差成分を、水平及び垂直方向に分析フィルタリングすることによって得られる低・低周波数（ＬＬ）帯域の色差成分であることを特徴とする請求項１に記載の映像符号化方法。
7. 前記映像が４：４：４映像フォーマットを有する場合、前記拡張階層ビットストリームは、４：２：２あるいは４：４：４映像フォーマットを構成するためのさらなる色差成分を含み、前記残りの帯域の色差成分は、４：４：４映像フォーマットを有する前記原映像の色差成分を、水平及び垂直方向に分析フィルタリングすることによって得られる低・高周波数（ＬＨ）帯域、高・低周波数（ＨＬ）帯域及び高・高周波数（ＨＨ）帯域の色差成分であることを特徴とする請求項６に記載の映像符号化方法。
8. 少なくとも２つの映像フォーマットを支援しつつ，フォワード互換性を有するスケーラブル・ビットストリームを生成する映像符号化装置において、
   映像の色差成分に対してフィルタリングを行い、低周波帯域と残りの帯域とに分離する分析フィルタリング部と、
   前記映像の輝度成分と前記低周波帯域の色差成分とを符号化し、基本階層ビットストリームを生成する第１符号化部と、
   前記低周波帯域以外の残りの帯域の色差成分を符号化し、拡張階層ビットストリームを生成する第２符号化部と、
   前記基本階層ビットストリーム及び前記拡張階層ビットストリームを統合し、拡張階層識別子を含み、前記スケーラブル・ビットストリームを生成するビットストリーム統合部とを含む映像符号化装置。
9. 前記拡張階層識別子は、前記スケーラブル・ビットストリームのシーケンスレベル、ＧＯＰレベル、ピクチャレベル、マクロブロックレベル及びブロックレベルのうち、少なくとも１つのレベルに含まれることを特徴とする請求項８に記載の映像符号化装置。
10. 前記拡張階層識別子は、前記スケーラブル・ビットストリームに存在する予備領域に含まれることを特徴とする請求項８に記載の映像符号化装置。
11. 前記映像が４：２：２映像フォーマットを有する場合、前記基本階層ビットストリームは、４：２：０映像フォーマットと互換される色差成分を含み、前記低周波帯域の色差成分は、４：２：２映像フォーマットを有する前記映像の色差成分を、垂直方向に分析フィルタリングすることによって得られることを特徴とする請求項８に記載の映像符号化装置。
12. 前記映像が４：２：２映像フォーマットを有する場合、前記拡張階層ビットストリームは、４：２：２映像フォーマットを構成するためのさらなる色差成分を含み、前記残りの帯域の色差成分は、４：２：２映像フォーマットを有する前記映像の色差成分を、垂直方向に分析フィルタリングすることによって得られる高周波帯域の色差成分であることを特徴とする請求項１１に記載の映像符号化装置。
13. 前記映像が４：４：４映像フォーマットを有する場合、前記基本階層ビットストリームは、４：２：０映像フォーマットと互換される色差成分を含み、前記低周波帯域の色差成分は、４：２：４映像フォーマットを有する前記映像の色差成分を、水平及び垂直方向に分析フィルタリングすることによって得られる低・低周波数（ＬＬ）帯域の色差成分であることを特徴とする請求項８に記載の映像符号化装置。
14. 前記映像が４：４：４映像フォーマットを有する場合、前記拡張階層ビットストリームは、４：２：２あるいは４：４：４映像フォーマットを構成するためのさらなる色差成分を含み、前記残りの帯域の色差成分は、４：２：４映像フォーマットを有する前記原映像の色差成分を、水平及び垂直方向に分析フィルタリングすることによって得られる低・高周波数（ＬＨ）帯域、高・低周波数（ＨＬ）帯域及び高・高周波数（ＨＨ）帯域の色差成分であることを特徴とする請求項１３に記載の映像符号化装置。
15. 前記映像の色差成分に対して水平方向に奇数対称フィルタを適用し、前記水平方向のフィルタリング結果に対して、垂直方向に偶数対称フィルタを適用することを特徴とする請求項１３に記載の映像符号化装置。
16. ビットストリームが拡張階層識別子を含むか否かを検査する拡張階層識別子検査部と、
    前記拡張階層識別子を含まないビットストリームで基本階層ビットストリームを復号化し、第１映像フォーマットの復元映像を生成する第１復号化部と、
    前記ビットストリームのうち、前記拡張階層識別子を含む拡張階層ビットストリームを復号化し、低周波帯域以外の残りの帯域の色差成分を生成する第２復号化部と、
    前記第１復号化部で生成された前記第１映像フォーマットの復元映像に含まれた低周波帯域の色差成分と、前記第２復号化部で生成された高周波帯域の色差成分とを合成し、前記第１映像フォーマットの復元映像に含まれた輝度成分と共に、第２映像フォーマットの復元映像を生成する合成フィルタリング部とを含む映像復号化装置。
17. 前記第１映像フォーマットが４：２：０であり、前記第２映像フォーマットが４：２：２あるいは４：４：４である場合、前記基本階層ビットストリームは、４：２：０映像フォーマットを支援する色差成分を含み、前記拡張階層ビットストリームは、４：２：２あるいは４：４：４映像フォーマットを構成するためのさらなる色差成分を含むことを特徴とする請求項１６に記載の映像復号化装置。
18. 前記４：２：０映像フォーマットと互換される色差成分は、低周波帯域の色差成分であり、前記４：２：２映像フォーマットを構成するためのさらなる色差成分は、高周波帯域の色差成分であり、前記低周波帯域の色差成分と前記高周波帯域の色差成分とを合成フィルタリングし、前記４：２：２映像フォーマットを支援する色差成分を生成することを特徴とする請求項１７に記載の映像復号化装置。
19. 前記４：２：０映像フォーマットと互換される色差成分は、低・低周波数（ＬＬ）帯域の色差成分であり、前記４：４：４映像フォーマットを構成するためのさらなる色差成分は、低・高周波数（ＬＨ）帯域、高・低周波数（ＨＬ）帯域、高・高周波数（ＨＨ）帯域の色差成分であり、前記低・低周波数（ＬＬ）帯域、前記低・高周波数（ＬＨ）帯域、前記高・低周波数（ＨＬ）帯域及び前記高・高周波数（ＨＨ）帯域の色差成分を、垂直／水平方向に合成フィルタリングし、前記４：４：４映像フォーマットと互換される色差成分を生成することを特徴とする請求項１７に記載の映像復号化装置。
20. ビットストリームが拡張階層識別子を含むか否かを検査する段階と、
    前記拡張階層識別子を含まないビットストリームで基本階層ビットストリームを復号化し、第１映像フォーマットの映像データを復号化する段階と、
    前記拡張階層識別子を含むビットストリームに含まれた拡張階層ビットストリームを復号化し、低周波帯域以外の残りの帯域の色差成分を復号化する段階と、
    前記第１映像フォーマットの復号化された映像で、低周波帯域の色差成分と、前記残りの帯域の色差成分に含まれた高周波帯域の色差成分とを合成し、前記第１映像フォーマットの復号化された映像に含まれた輝度成分と共に、第２映像フォーマットの映像データを復号化する段階とを含む映像復号化方法。
21. 前記第１映像フォーマットが４：２：０であり、前記第２映像フォーマットが４：２：２あるいは４：４：４である場合、前記基本階層ビットストリームは、４：２：０映像フォーマットと互換される色差成分を含み、前記拡張階層ビットストリームは、４：２：２あるいは４：４：４映像フォーマットを構成するためのさらなる色差成分を含むことを特徴とする請求項２０に記載の映像復号化方法。
22. 前記４：２：０映像フォーマットと互換される色差成分は、低周波帯域の色差成分であり、前記４：２：２映像フォーマットを構成するためのさらなる色差成分は、高周波帯域の色差成分であり、前記低周波帯域の色差成分と前記高周波帯域の色差成分とを合成フィルタリングし、前記４：２：２映像フォーマットと互換される色差成分を生成することを特徴とする請求項２１に記載の映像復号化方法。
23. 前記４：２：０映像フォーマットと互換される色差成分は、低・低周波数（ＬＬ）帯域の色差成分であり、前記４：４：４映像フォーマットを構成するためのさらなる色差成分は、低・高周波数（ＬＨ）帯域、高・低周波数（ＨＬ）帯域、高・高周波数（ＨＨ）帯域の色差成分であり、前記低・低周波数（ＬＬ）帯域、前記低・高周波数（ＬＨ）帯域、前記高・低周波数（ＨＬ）帯域及び前記高・高周波数（ＨＨ）帯域の色差成分を、垂直／水平方向に合成フィルタリングし、前記４：４：４映像フォーマットと互換される色差成分を生成することを特徴とする請求項２１に記載の映像復号化方法。
24. フォワード互換性を有しつつ、少なくとも２つの映像フォーマットと互換されるスケーラブル・ビットストリームを生成する映像符号化方法において、前記スケーラブル・ビットストリームは、拡張階層識別子と、映像に含まれた低周波帯域の色差成分と輝度成分とを符号化して形成される基本階層ビットストリームと、前記映像で、前記低周波帯域以外の残りの帯域の色差成分を符号化して形成される拡張階層ビットストリームとからなる方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
25. 拡張階層識別子を受信する段階と、
    前記拡張階層識別子に基づいて、第１映像フォーマットで映像データを復号化する段階をと含み、前記第１映像フォーマットは、第２映像フォーマットとは異なることを特徴とする映像データ復号化方法。

Images