JP2010531608A - 映像符号化装置及び方法と、映像復号化装置及び方法 - Google Patents

Abstract

少なくとも２つのビットデプスを支援しつつ、フォワード互換性を有するスケーラブル・ビットストリームを生成する映像符号化及び／または復号化方法、記録媒体及び装置において、スケーラブル・ビットストリームは、基本量子化レベルと、基本ビットデプスによる基本量子化係数とを含む基本階層ビットストリーム、及び拡張量子化レベルと、前記基本量子化レベルから予測された補正量子化レベルとの間の残差と、前記基本ビットデプスと拡張ビットデプスとの差を補正するための補正量子化係数とを含む拡張階層ビットストリームからなる。

Description

本発明は、映像符号化装置及び方法と、映像復号化装置及び方法とに係り、さらに詳細には、少なくとも２つのビットデプス（bit-depth）を支援しつつ、フォワード互換性（forward compatibility）を有するスケーラブル・ビットストリームを生成したり復号化する映像符号化装置及び方法と、映像復号化装置及び方法とに関する。

一般的なビデオコーデック（codec）において、例えば、ＶＣ−１エンコーダのような基本エンコーダのビットデプスを、８ビットから１０ビットに変更する場合、ＶＣ−１デコーダは、ビットデプスが拡張された改善されたエンコーダから生成されるビットストリームを読み取って再生することが不可能である。最近、このように固定されたビットデプスだけではなく、多様なビットデプスで符号化されたビットストリームを、ＶＣ−１デコーダ及び他の改善されたデコーダで復元させるフォワード互換性が保証されるビデオコーデックに係わる開発の必要性が高く叫ばれている。

すなわち、フォワード互換性が保証されない新しいビデオコーデックは、既存のビデオコーデックのみ有する端末機を支援できないために、互いに異なるスペックを有する端末機間のコンテンツ再使用などが不可能になる。また、すでに構築しておいたビデオコーデック市場を克服しなければならないので、新しいビデオコーデックが市場で定着するまで、多くの時間がかかるという短所がある。

本発明の一つ以上の実施形態がなそうとする技術的課題は、少なくとも２つのビットデプスを支援しつつ、フォワード互換性を有するスケーラブル・ビットストリームを生成する映像符号化装置及び方法を提供するところにある。

本発明の一つ以上の実施形態がなそうとする他の技術的課題は、少なくとも２つのビットデプスを支援しつつ、フォワード互換性を有するスケーラブル・ビットストリームを復号化する映像復号化装置及び方法を提供するところにある。

前記技術的課題を達成するために本発明は、少なくとも２つのビットデプスを支援しつつ、フォワード互換性を有するスケーラブル・ビットストリームを生成する映像符号化方法において、前記スケーラブル・ビットストリームは、基本量子化レベルと、基本ビットデプスによる基本量子化係数とを含む基本階層ビットストリーム；拡張量子化レベルと、前記基本量子化レベルから予測された補正量子化レベルとの間の残差と、前記基本ビットデプスと拡張ビットデプスとの差を補正するための補正量子化係数とを含む拡張階層ビットストリームからなる。

前記技術的課題を達成するために本発明は、少なくとも２つのビットデプスを支援しつつ、フォワード互換性を有するスケーラブル・ビットストリームを生成する映像符号化装置において、基本量子化レベルと、基本ビットデプスによる基本量子化係数とを含む基本階層ビットストリームを生成する基本階層符号化部；拡張量子化レベルと、前記基本量子化レベルから予測された補正量子化レベルとの間の残差と、前記基本ビットデプスと拡張ビットデプスとの差を補正するための補正量子化係数とを含む拡張階層ビットストリームを生成する拡張階層符号化部を含んでなる。

前記技術的課題を達成するために本発明による映像復号化方法は、ビットストリームが拡張階層識別子を含んでいるか否かを検査する段階と、前記ビットストリームが前記拡張階層識別子を含まない場合、前記ビットストリームをそのまま復号化し、基本ビットデプスの復元映像を生成する段階と、前記ビットストリームが前記拡張階層識別子を含む場合、前記ビットストリームのうち、基本階層ビットストリームから基本階層の基本量子化レベルを求め、前記基本量子化レベルから予測された補正量子化レベルと拡張量子化レベルとの残差と、前記基本ビットデプスと拡張ビットデプスとの差を補正するための補正量子化係数とを復号化し、前記残差を前記補正量子化レベルに加算することによって、拡張ビットデプスの復元映像を生成する段階を含んでなされる。

前記技術的課題を達成するために、本発明による映像復号化装置は、受信されたビットストリームから基本量子化レベルと、基本ビットデプスによる基本量子化係数とを含む基本階層ビットストリームを復号化し、基本復元映像を生成する基本階層復号化部；前記受信されたビットストリームから、拡張量子化レベルと、前記基本量子化レベルから予測された補正量子化レベルとの間の残差と、前記基本ビットデプスと拡張ビットデプスとの差を補正するための補正量子化係数とを含む拡張階層ビットストリームを復号化し、復元された基本量子化レベルから予測された補正量子化レベルを前記残差に加算し、拡張復元映像を生成する拡張階層復号化部を含んでなる。

前記技術的課題を達成するために、本発明による他の映像復号化方法は、ビットストリームが拡張階層識別子を含んでいるか否かを検査する段階と、前記ビットストリームが前記拡張階層識別子を含まない場合、復号化のために前記ビットストリームをデコーダに送る段階と、前記ビットストリームが前記拡張階層識別子を含まない場合、前記ビットストリームから基本階層ビットストリームを抽出し、前記基本階層ビットストリームを前記デコーダに送る段階とを含む。

前記技術的課題を達成するために、本発明による映像復号化方法は、ビットストリームが拡張階層識別子を含んでいるか否かを検査する段階と、検査結果に基づいて適応的に復号化する段階とを含む。

前記技術的課題を達成するために、本発明によるコンピュータで読取り可能な記録媒体は、少なくとも２つのビットデプスを支援しつつ、フォワード互換性を有するスケーラブル・ビットストリームを生成する映像符号化方法において、前記スケーラブル・ビットストリームは、基本量子化レベルと、基本ビットデプスによる基本量子化係数とを含む基本階層ビットストリーム；拡張量子化レベルと、前記基本量子化レベルから予測された補正量子化レベルとの間の残差と、前記基本ビットデプスと拡張ビットデプスとの差を補正するための補正量子化係数とを含む拡張階層ビットストリームからなる方法のプログラムを記録する。

前記技術的課題を達成するために、本発明によるコンピュータで読取り可能な記録媒体は、ビットストリームが拡張階層識別子を含んでいるか否かを検査する段階と、前記ビットストリームが前記拡張階層識別子を含まない場合、前記ビットストリームをそのまま復号化し、基本ビットデプスの復元映像を生成する段階と、前記ビットストリームが前記拡張階層識別子を含む場合、前記ビットストリームのうち、基本階層ビットストリームから基本階層の基本量子化レベルを求め、前記基本量子化レベルから予測された補正量子化レベルを拡張階層の拡張量子化レベルに加算した結果を復号化することによって、拡張ビットデプスの復元映像を生成する段階とを含むプログラムを記録する。

本発明によるビデオコーデックは、フォワード互換性を提供するので、モバイル電話、ＤＶＤプレーヤ、携帯用ミュージックプレーヤあるいはカーステレオのような、有線あるいは無線の電子機器に搭載された改善されたビデオコーデックだけではなく、既存の基本ビデオコーデックにも採用されるなど、支援するビットデプスに関係なしに多様なビデオコーデックに適用できるメリットがある。

本発明による映像符号化装置及び映像復号化装置の概念を説明するための図である。 本発明による映像符号化装置から得られるスケーラブル・ビットストリームのシンタックスの一例を示す図である。 図２に図示された各レベルに含まれる情報の例を示す図である。 図２に図示された各レベルに含まれる情報の例を示す図である。 図２に図示された各レベルに含まれる情報の例を示す図である。 図２に図示された各レベルに含まれる情報の例を示す図である。 本発明による映像符号化装置で、拡張階層識別子をローディングための区間であって、スタートコードの例を示す図である。 本発明による映像符号化装置の第１実施形態による構成を示したブロック図である。 本発明による映像復号化装置の第１実施形態による構成を示したブロック図である。 本発明の第１実施形態による符号化装置において、階層間あるいは階層内での予測方法を説明する図である。 本発明の第１実施形態による復号化装置において、階層間あるいは階層内での予測方法を説明する図である。 本発明による映像符号化装置の第２実施形態による構成を示したブロック図である。 本発明による映像復号化装置の第２実施形態による構成を示したブロック図である。 本発明の第２実施形態による符号化装置において、階層間あるいは階層内での予測方法を説明する図である。 本発明の第２実施形態による復号化装置において、階層間あるいは階層内での予測方法を説明する図である。 本発明よるスケーラブル・ビットストリームを復号化するための既存のＶＣ−１デコーダの構成を示したブロック図である。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。

図１は、本発明による映像符号化装置及び映像復号化装置の概念を説明するためのものであり、エンコーダパートは、基本エンコーダの役割を行う第１エンコーダ１１３と、改善されたエンコーダの役割を行う第２エンコーダ１１７とを例にとり、デコーダパートは、基本デコーダの役割を行い、第１エンコーダ１１３に対応する第１デコーダ１５３と、改善されたデコーダの役割を行い、第２エンコーダ１１７に対応する第２デコーダ１５７とを例にとる。一実施形態で、第１エンコーダ１１３は、基本ビットデプスによるビットストリームを生成し、第２エンコーダ１１７は、基本ビットデプスを支援しつつ、拡張ビットデプスによるスケーラブル・ビットストリームを生成する。

説明の便宜のために、基本ビットデプスは８ビット、拡張ビットデプスは１０ビットを例にとる。これによれば、第１エンコーダ１１３の一例として、８ビットのビットデプスを支援するＶＣ−１エンコーダが採択されうる。

図１を参照するに、第１エンコーダ１１３で生成されたビットストリーム１３１は、第１デコーダ１５３だけではなく、第２デコーダ１５７で復号化が遂行されうる。第２エンコーダ１１７で生成されたスケーラブル・ビットストリーム１３７は、第２デコーダ１５７で復号化が行われ、第１デコーダ１５３では、スケーラブル・ビットストリームに含まれた拡張階層ビットストリームを無視した状態で、基本階層ビットストリームに対して復号化が遂行されうる。かようなフォワード互換性（forward compatibility）を提供できる第２エンコーダ１１７が本発明の映像符号化装置に該当し、第２デコーダ１５７が本発明の映像復号化装置に該当する。

図２は、本発明による映像符号化装置から得られるスケーラブル・ビットストリームのシンタックスの一例を示すものであり、基本階層ビットストリームと拡張階層ビットストリームとからなる。

図２を参照するに、スケーラブル・ビットストリームは、具体的に、基本階層のシーケンスレベル２１１、拡張階層のシーケンスレベル２１３、基本階層のＧＯＰ（group of pictures）レベル２１５、拡張階層のＧＯＰレベル２１７、拡張階層のピクチャレベル２１９、基本階層のピクチャレベル２２１、基本階層のピクチャデータレベル２２３及び拡張階層のピクチャデータレベル２２５を含んでなる。ここで、拡張階層のピクチャレベル２１９が、基本階層のピクチャレベル２２１の前に位置しているが、拡張階層のピクチャレベル２１９が基本階層のピクチャレベル２２１の後に位置することも可能である。一方、基本階層のＧＯＰレベル２１５と拡張階層のＧＯＰレベル２１７は、オプションとして備わりうる。

ここで、シーケンスは、少なくとも一つ以上の符号化されたピクチャ、あるいは少なくとも一つ以上のＧＯＰから構成される。ＧＯＰは、少なくとも一つ以上の符号化されたピクチャによって構成され、ＶＣ−１コーデックの場合、エントリポイント（entry-point）が使われもする。ここで、各ＧＯＰで最初のピクチャは、ランダムアクセスを提供できる。一方、ピクチャは、複数のマクロブロックに分解され、映像フォーマットが４：２：０である場合、各マクロブロックは、４個の輝度ブロックと２個の色差ブロックとからなる。

図３Ａないし図３Ｄは、図２に図示された各レベルに含まれる情報の例を示すものであり、図３Ａは、拡張階層のシーケンスレベル２１３に含まれる情報であり、拡張階層で提供できる付加プロファイル及びレベル３１１、拡張階層で支援できるビットデプス３１３を含む。ここで、映像フォーマット３１５は、基本階層のシーケンスレベル２１１で定義することが可能である場合、拡張階層のシーケンスレベル２１３に含めなくともよい。図３Ｂは、拡張階層のピクチャレベル２１９に含まれる情報であり、基本階層では表現できない拡張ビットデプスを考慮し、基本ビットデプスと拡張ビットデプスとの差を補正するための補正量子化係数（Refined ＱＰ、以下、Ｒとする）を含む。

図３Ｃは、基本階層ピクチャレベル２２１に含まれる情報であり、第１エンコーダ１１３の基本量子化係数を含む。図３Ｄは、拡張階層ピクチャデータレベル２２５に含まれる情報であり、基本階層の基本量子化レベルから予測を介して得られる拡張階層の拡張量子化レベルの残差（residue）を示す。

図４は、本発明による映像符号化装置から得られるスケーラブル・ビットストリームにおいて、拡張階層識別子を含み、拡張階層と関連した情報をローディングための領域を説明するためのものである。第１エンコーダ１１３がＶＣ−１エンコーダである場合、一実施形態では、４バイト単位のスタートコード（start code）を使用する。ＶＣ−１エンコーダの場合、スタートコードは、アドバンストプロファイル（advanced profile）以上で支援されうる。一方、スタートコードは、各レベルのヘッダの最初の領域に含まれうる。

図４を参照しつつ、一実施形態として使われたＶＣ−１のスタートコードで、拡張階層と関連した情報をローディングする過程について説明する。スタートコードにおいて、サフィックス（suffix）に定義されるＢＤＵ（Bitstream Data Unit）タイプ（type）のうち、未来の使用のために予約された予備領域（reserved area）４５１，４５２，４５３，４５４が、拡張階層と関連した情報をローディングするために使用する。ここで、ＢＤＵは、同じ階層レベルにある他の情報とは独立してパージングされうる圧縮データ単位を意味し、例えば、シーケンスヘッダ、エントリポイントヘッダ、符号化されたピクチャ、あるいはスライスでありうる。スタートコードのサフィックスに定義されるＢＤＵタイプのうち、禁止（forbidden）領域４２２以外の残りの領域４１１〜４２１は、基本階層と関連した情報をローディングするためのものである。ここで、スタートコードは一例に過ぎず、ビットストリームの構成要素のうち、他の部分を使用することもできる。

一方、拡張階層は、シーケンスレベル（sequence level）、ＧＯＰレベル、フレームレベル（frame level）、フィールドレベル（field level）及びスライスレベル（slice level）を含む。拡張階層の情報は、一実施形態で、第２予備領域４５２及び第４予備領域４５４のうち、いずれか一つに含まれうる。具体的に述べれば、第２予備領域４５２のうち、「０ｘ０９」、あるいは第４予備領域４５４のうち、「０ｘ４０」の拡張階層のシーケンスレベルに係わるヘッダに、スタートコードが含まれ、第２予備領域４５２のうち、「０ｘ０８」、あるいは第４予備領域４５４のうち、「０ｘ３Ｆ」の拡張階層のＧＯＰレベルに係わるヘッダに、スタートコードが含まれ、第２予備領域４５２中のうち、「０ｘ０７」、あるいは第４予備領域４５４のうち、「０ｘ３Ｅ」の拡張階層のフレームレベルに係わるヘッダに、スタートコードが含まれ、第２予備領域４５２のうち、「０ｘ０６」、あるいは第４予備領域４５４のうち、「０ｘ３Ｄ」の拡張階層のフィールドレベルに係わるヘッダに、スタートコードが含まれ、第２予備領域４５２のうち、「０ｘ０６」、あるいは第４予備領域４５４のうち、「０ｘ３Ｃ」の拡張階層のデータに係わるヘッダに、拡張階層の色差データのためのスタートコードが含まれる。

これについてさらに細部的に説明すれば、次の通りである。

第２予備領域４５２のうち、「０ｘ０９」として定義される拡張階層シーケンスレベルに係わるヘッダのスタートコードに含めることができる情報としては、基本階層以外に、拡張階層によって達成できる付加的なプロファイル並びにレベル情報、及びビットデプス情報を挙げることができる。具体的に、基本階層のシーケンスレベルではプロファイルは、２ビットで定義され、「３」は、アドバンストプロファイルを、「０−２」は、予備領域を示す。一方、レベルは、３ビットで定義され、「０００」はＡＰ＠ＬＯ、「００１」はＡＰ＠Ｌ１、「０１０」はＡＰ＠Ｌ２、「０１１」はＡＰ＠Ｌ３、「１００」はＡＰ＠Ｌ４、「１０１−１１１」は予備領域を示す。拡張階層によって達成されうるビットデプス情報は、「Ｎ−８」（ここで、Ｎは拡張ビットデプス）の値で示すことができ、基本階層に対応する第１エンコーダ１１３（図１）の基本ビットデプスによって、８以外の値を使用できる。一方、拡張階層に係わる情報としては、変更された映像フォーマット情報が含まれうるが、映像フォーマット情報は、基本階層のシーケンスレベルに含まれる変数、例えば、ＶＣ−１エンコーダである場合、「ＣＯＬＯＲＤＩＦＦ」変数を活用して示したり、第２予備領域４５２のうち、「０ｘ０９」に含めることができる。すなわち、基本階層の変数を活用する場合、拡張階層では、変更される映像フォーマット情報を別途に伝送する必要がない。「ＣＯＬＯＲＤＩＦＦ」変数の例について述べれば、「１」は、４：２：０映像フォーマットを定義するのに使用し、「２」と「３」は、予備領域として指定されているので、望ましくは、４：２：２映像フォーマットと４：４：４映像フォーマットとを定義するのに使用できる。一方、拡張階層に係わる情報として、付加的なＨＲＤ（Hypothetical Reference Decoder）変数が含まれうる。ＨＲＤ変数は、仮想ビデオバッファ変数であり、デコーダでバッファ運用のために参考にする変数である。

第２予備領域４５２のうち、「０ｘ０８」として定義される拡張階層ＧＯＰレベルに係わるヘッダのスタートコードは、ビットデプスあるいは映像フォーマットがＧＯＰ単位に変更されない場合には不要であるので、予備領域として指定され、ビットデプスあるいは映像フォーマットがＧＯＰ単位に変更される場合、必要となる。

第２予備領域４５２のうち、「０ｘ０７」及び「０ｘ０６」として定義される拡張階層のピクチャレベル、すなわち、フレームレベル及びフィールドレベルのヘッダに係わるスタートコードは、順次（progressive）走査、あるいは飛越（interlaced）走査によって、基本階層では表現できない拡張階層の残りのビットデプスを示すための補正量子化係数（Ｒ）を含み、一実施形態では、第１エンコーダ１１３のビットデプスが８ビットである場合、「Ｎ−８」（ここで、Ｎは、第２エンコーダ１１７のビットデプスを示す）に係わる補正量子化係数（Ｒ）の値を定義する。この場合は、ピクチャ単位で補正量子化係数（Ｒ）を使用するので、ピクチャレベルに含めたり、他の実施形態によれば、スライス単位で補正量子化係数（Ｒ）を使用する場合には、スライスレベルに、マクロブロック単位で補正量子化係数（Ｒ）を使用する場合には、マクロブロックレベルに、ブロック単位で補正量子化係数（Ｒ）を使用する場合には、ブロックレベルに含める。各スライス、各マクロブロックあるいは各ブロックに係わる補正量子化係数（Ｒ）を算出するためには、後述するピクチャレベルの補正量子化係数（Ｒ）を算出する過程を適用できる。

第２予備領域４５２のうち、「０ｘ０５」に定義される拡張階層のデータのヘッダに係わるスタートコードは、基本階層と比較して、拡張階層の映像フォーマットが変更されない場合に不要なので、予備領域として指定される。すなわち、基本階層と拡張階層との映像フォーマットが４：２：０と同じ場合、１つのマクロブロックをなす４個の輝度ブロックと２個の色差ブロックとに係わるデータは、基本階層から伝送される。一方、基本階層と拡張階層との映像フォーマットが互いに異なる場合、例えば、基本階層の映像フォーマットが４：２：０であり、拡張階層の映像フォーマットが４：２：２であるか、または基本階層の映像フォーマットが４：２：０であり、拡張階層の映像フォーマットが４：４：４である場合、４個の輝度ブロックと２個の色差ブロックとに係わるデータを基本階層から伝送すると同時に、拡張階層では、変更された映像フォーマットを支援できるように、映像フォーマットに対応する色差差ブロックに係わるデータを伝送する。一方、４個の輝度ブロックに係わるデータは、映像フォーマットに関係なしに同一であるので、拡張階層から別途のデータを伝送する必要はない。

一方、前記拡張階層と関連した情報は、図４に記載されたスタートコードに制限されることなく、シーケンスレベル、ＧＯＰレベル、ピクチャレベル、マクロブロックレベル、ブロックレベルで、未来の使用のために残した予備領域に含まれうる。また、ビットストリームを伝送するために、映像ビットストリームをペイロード（payload）とし、これをパッケージングするシステム階層や、ネットワークプロトコルの多様な階層に多様な形態で拡張階層識別子を含むこともできる。

以下、ビットデプスを拡張することによるスケーラブル・ビットストリームを得る過程について、図１を参照しつつ説明すれば、次の通りである。

第１エンコーダ１１３が８ビットエンコーダであり、第２エンコーダ１１７がＮビットエンコーダをであることを例にとれば、第２エンコーダ１１７から得られるスケーラブル・ビットストリームに含まれる拡張階層ビットストリームのピクチャレベルのスタートコードは、第１エンコーダ１１３で表現できない拡張ビットデプスの残りの部分を表現するために使われる。例えば、拡張ビットデプスがＮビットであり、このとき、拡張量子化係数をＱＰ_Ｎとし、基本ビットデプスが８ビットであり、このとき、基本量子化係数をＱＰ_８とする。Ｎビット原映像、すなわち、拡張ビットデプスがＮビットである原映像を８ビット・ビデオコーデック、すなわち、基本ビットデプスが８ビットであるビデオコーデックで符号化するならば、２つの量子化係数間には、次の式（１）のような関係が成立する。

すなわち、Ｎビット原映像を拡張量子化係数ＱＰ_Ｎで量子化した結果と、８ビット原映像を基本量子化係数ＱＰ_８で量子化した結果は、互いにダイナミック・レンジが同じでなければならない。その理由は、ビデオコーデックの特別の変更なしに、既存の方式でＮビット原映像を符号化及び復号化できるためである。しかし、その場合、Ｎビット原映像から復元される映像の品質が、８ビット原映像から復元される映像の品質と差がなくなるので、高い明暗比（contrast ratio）を提供するＮビット原映像の長所がなくなる。

これを改善するために、Ｎビット原映像の場合、基本量子化係数ＱＰ_８及び補正量子化係数Ｒを使用し、次の式（２）のように示すことができる。ここで、拡張量子化係数ＱＰ_Ｎ、あるいは基本量子化係数ＱＰ_８は、ＶＣ−１エンコーダの場合、「ＰＱＩＮＤＥＸ」から誘導される。

前記式（２）によって、補正量子化係数Ｒは、次の式（３）によって求められる。

Ｎビット原映像を、式（１）の量子化係数を利用して量子化一データは、基本階層のビットストリームを形成し、式（２）の量子化係数を利用して量子化一データは、拡張階層のビットストリームを形成し、２つのビットストリームに拡張階層識別子を含め、スケーラブル・ビットストリームを生成する。かようなスケーラブル・ビットストリームは、既存の８ビットデコーダだけではなく、Ｎビットデコーダでいずれも復号化できる。

図５は、本発明の第１実施形態によるスケーラブル映像符号化装置の構成を示すブロック図であり、第１残差映像生成部５１０、第１変換部５２０、第１基本階層損失符号化部５３０、第１拡張階層損失符号化部５４０及び第１ビットストリーム結合部５５０を含んでなる。第１残差映像生成部５１０は、第１減算部５１１、第１逆量子化部５１３、第１逆変換部５１５、第１加算部５１７及び第１予測部５１９からなる。第１基本階層損失符号化部５３０は、第１量子化部５３１と、第１エントロピ符号化部５３３とからなり、第１拡張階層損失符号化部５４０は、第２量子化部５４１、第１乗算部５４３、第２減算部５４５及び第２エントロピ符号化部５４７からなる。この場合、第１残差生成部５１０、第１変換部５２０、第１基本階層符号化部５３０、第１拡張階層符号化部５４０及び第１ビットストリーム結合部５５０は、少なくとも１つのプロセッサ（図示せず）でもって具現されうる。

図５を参照するに、第１残差生成部５１０は、Ｎビット参照映像の時間／空間上予測によって得られるＮビット復元映像とＮビット原映像との残差を生成する。かような残差生成のためには、公知された多様な映像圧縮に使われるプロセスを使用するので、細部的な説明は省略する。

第１変換部５２０は、第１残差生成部５１０から提供される残差を変換し、変換係数を生成する。一例として、ＤＣＴ（discrete cosine transformation）を使用する。

第１基本階層符号化部５３０は、第１変換部５２０から提供される変換係数に対し、式（１）の基本量子化係数で量子化し、基本階層の量子化された変換係数、すなわち、量子化レベルをエントロピ符号化し、基本階層ビットストリームを生成する。具体的に、変換係数をcoefとすれば、基本階層の基本量子化レベルＬＥＶＥＬ_８は、次の式（４）のように示すことができる。

式（４）から得られる基本階層の基本量子化レベルＬＥＶＥＬ_８は、既存の８ビット・ビデオコーデックで復元できるように、そのままエントロピ符号化する。

第１拡張階層符号化部５４０は、第１変換部５２０から提供される変換係数に対して式（２）の拡張量子化係数で量子化し、拡張階層の量子化された変換係数、すなわち、量子化レベルをエントロピ符号化し、拡張階層ビットストリームを生成する。具体的に、変換係数をcoefとすれば、拡張階層の拡張量子化レベルＬＥＶＥＬ_Ｎは、次の式（５）のように示すことができる。

式（５）から得られる拡張階層の拡張量子化レベルＬＥＶＥＬ_Ｎは、そのままエントロピ符号化せずに、基本階層の基本量子化レベルＬＥＶＥＬ_８から拡張量子化レベルを予測することによって得られる量子化レベルの残差をエントロピ符号化する。すなわち、基本階層の基本量子化レベルＬＥＶＥＬ_８と、拡張階層の拡張量子化レベルＬＥＶＥＬ_Ｎは、非常に類似しているので、第１乗算部５４３と第２減算部５４５とを介して、基本階層の基本量子化レベルＬＥＶＥＬ_８から予測符号化を行い、拡張階層の拡張量子化レベルの残差を求める。具体的に、第１乗算部５４３は、量子化レベルのダイナミック・レンジを補正するためのものであり、次の式（６）によって、基本階層の基本量子化レベルＬＥＶＥＬ_８が、拡張階層の量子化レベルＬＥＶＥＬ_Ｎと同じダイナミック・レンジを有するようにし、拡張階層の補正量子化レベルＬＥＶＥＬ_Ｎ’を出力する。

第２減算部５４５は、次の式（７）のように、拡張階層の拡張量子化レベルＬＥＶＥＬ_Ｎと、拡張階層の補正量子化レベルＬＥＶＥＬ_Ｎ’との差を求め、量子化レベル残差ＬＥＶＥＬ_Ｐを生成する。

かような拡張階層の量子化レベル残差ＬＥＶＥＬ_Ｐをエントロピ符号化することによって、拡張階層ビットストリームに含まれるデータ量を大幅に減らすことができる。

第１ビットストリーム結合部５５０は、基本階層ビットストリーム及び拡張階層ビットストリームを結合し、拡張階層識別子を含んでスケーラブル・ビットストリームを生成する。

前記の映像符号化装置の構成によれば、フォワード互換性が達成されうる。

図６は、図５に図示された映像符号化装置に対応し、本発明による映像復号化装置の第１実施形態による構成を示したブロック図であり、第１拡張階層識別子検査部６１０、第１基本階層復号化部６２０及び第１拡張階層復号化部６４０からなる。第１基本階層復号化部６２０は、第１エントロピ復号化部６２１、第２逆量子化部６２３、第２逆変換部６２５、第２予測部６２７及び第２加算部６２９からなる。第１拡張階層復号化部６４０は、第２エントロピ復号化部６４１、第３エントロピ復号化部６４２、第２乗算部６４３、第３加算部６４４、第３逆量子化部６４５、第３逆変換部６４６、第３予測部６４７及び第４加算部６４８からなる。この場合、第１拡張階層識別子検査部６１０、第１基本階層復号化部６２０及び第１拡張階層復号化部６４０は、少なくとも１つのプロセッサ（図示せず）でもって具現されうる。

図６を参照するに、第１拡張階層識別子検査部６１０は、ビットストリームが拡張階層識別子を含んでいるか否かを検査し、拡張階層識別子を含まない場合、入力されたビットストリーム、すなわち、基本階層ビットストリームを、そのまま第１基本階層復号化部６２０に提供する。一方、拡張階層識別子を含む場合、入力されるビットストリーム、すなわち、スケーラブル・ビットストリームから、拡張階層ビットストリームと基本階層ビットストリームとを分離し、それぞれ第１拡張階層復号化部６４０の第２エントロピ復号化部６４１と第３エントロピ復号化部６４２とに提供する。

第１基本階層復号化部６２０は、第１拡張階層識別子検査部６１０から提供される基本階層ビットストリームに対して復号化を行い、８ビット復元映像を生成する。具体的に、入力されるビットストリームに含まれた基本階層の基本量子化レベルＬＥＶＥＬ_８を、次の式（８）のように、基本量子化係数ＱＰ_８を利用して変換係数coef_８を復元する。

復元された変換係数coef８は、逆変換を行って残差を復元し、復元された残差に、８ビット参照映像の時間／空間上予測によって得られる８ビット復元映像を加算し、最終８ビット復元映像を生成する。

第１拡張階層復号化部６４０は、第１拡張階層識別子検査部６１０から提供される基本階層ビットストリームと拡張階層ビットストリームとに対して復号化を行い、Ｎビット復元映像を生成する。具体的に、基本階層の復元された基本量子化レベルＬＥＶＥＬ_８を式（６）を利用して補正し、拡張階層の復元された補正量子化レベルＬＥＶＥＬ_Ｎ’を得る。拡張階層の復元された補正量子化レベルＬＥＶＥＬ_Ｎ’と拡張階層の復元された量子化レベル残差ＬＥＶＥＬ_Ｐとを、次の式（９）のように加算し、拡張階層の復元された拡張量子化レベルＬＥＶＥＬ_Ｎを得る。

拡張階層の復元された拡張量子化レベルＬＥＶＥＬ_Ｎは、次の式（１０）のように、拡張量子化係数ＱＰ_Ｎを利用して変換係数coef_Ｎを復元する。

復元された変換係数coef_Ｎは、逆変換を行って残差を復元し、復元された残差は、ビット参照映像の時間／空間上予測によって得られるＮビット復元映像を加算し、最終Ｎビット復元映像を生成するところに使用する。

図７Ａ及び図７Ｂは、本発明の第１実施形態による符号化装置（図５）と、復号化装置（図６）とにおいて、階層間あるいは階層内の予測方法について説明する図であり、これによれば、Ｎビット映像に係わる効率的な符号化のために、時間／空間上予測時に使われる参照映像として、Ｎビット復元映像を使用する。代わりに、８ビット映像の場合には、符号化装置と復号化装置とで、時間／空間上予測時に使われる参照映像が互いに異なり、デコーダでの最終８ビット復元映像の画質が低下されうる。しかし、階層構造で符号化する主な理由は、Ｎビット映像を復元すると共に、既存に使われた８ビット・ビデオコーデックを支援するためである。従って、最終８ビット復元映像は、画質が低下しない。

図８は、本発明による映像符号化装置の第２実施形態による構成を示したブロック図であり、図５及び図６でのように、符号化装置と復号化装置とで、時間／空間上予測時に使われる参照映像が互いに異なることによって、最終８ビット復元映像の画質低下が発生することを防止するためのものである。図８に図示された映像符号化装置は、第２残差生成部８１０、第２変換部８２０、第２基本階層符号化部８３０、第２拡張階層符号化部８４０及び第２ビットストリーム結合部８５０を含んでなる。第２残差生成部８１０は、第３減算部８１１、第４逆量子化部８１３、第４逆変換部８１５、第５加算部８１７及び第４予測部８１９からなる。第２基本階層符号化部８３０は、第３量子化部８３１及び第３エントロピ符号化部８３３からなり、第２拡張階層符号化部８４０は、第４量子化部８４１、第３乗算部８４３、第４減算部８４５及び第４エントロピ符号化部８４７からなる。この場合、第２残差生成部８１０、第２変換部８２０、第２基本階層符号化部８３０、第２拡張階層符号化部８４０及び第２ビットストリーム結合部８５０は、少なくとも１つのプロセッサ（図示せず）でもって具現されうる。

図５に図示された第１実施形態の映像符号化装置と比較してみれば、図８に図示された第２実施形態の映像符号化装置は、８ビット量子化係数、すなわち、基本量子化係数で量子化した後、復元される映像を参照映像として使用し、時間／空間上予測を遂行するところに差異点がある。この場合、基本階層、すなわち、８ビット映像の場合には、符号化装置並びに復号化装置で、時間／空間上予測時に使われる参照映像が同一であるので、デコーダでの最終８ビット復元映像の画質低下を防止できる。一方、Ｎビット映像の場合には、８ビット量子化係数で量子化した後、復元される映像を参照映像として使用し、時間／空間上予測を遂行するので、図５の映像符号化装置に比べて、符号化しなければならないデータの量が増加しうる。

図９は、図８に図示された映像符号化装置に対応し、本発明による映像復号化装置の第２実施形態による構成を示したブロック図であり、第２拡張階層識別子検査部９１０、第２基本階層復号化部９２０及び第２拡張階層復号化部９４０からなる。第２基本階層復号化部９２０は、第４エントロピ復号化部９２１、第５逆量子化部９２３、第５逆変換部９２５、第５予測部９２７及び第６加算部９２９からなる。第２拡張階層復号化部９４０は、第５エントロピ復号化部９３１、第６エントロピ復号化部９３２、第４乗算部９３３、第７加算部９３４、第６逆量子化部９３５、第６逆変換部９３６、第７逆量子化部９３７、第７逆変換部９３８、第８加算部９３９、第６予測部９４０及び第９加算部６４１からなる。この場合、第２拡張階層識別子検査部９１０、第２基本階層復号化部９２０及び第２拡張階層復号化部９４０は、少なくとも１つのプロセッサ（図示せず）でもって具現されうる。

図６に図示された第１実施形態の映像復号化装置と比較すれば、図９に図示された第２実施形態の映像復号化装置は、８ビット量子化係数を利用して復元された参照映像から、時間／空間上予測を遂行するところに差異点がある。

図１０Ａ及び図１０Ｂは、本発明の第２実施形態による符号化装置（図８）と復号化装置（図９）とにおいて、階層間あるいは階層内の予測方法について説明する図であり、図７Ａ及び図７Ｂと異なり、符号化装置並びに復号化装置で、時間／空間上予測のために使われる参照映像が互いに同じであり、８ビット映像の場合、復元映像の画質低下は発生しないが、Ｎビット映像の場合、復元映像の画質低下が発生しうる。

図１１は、本発明によるスケーラブル・ビットストリームを復号化するための改善されたＶＣ−１デコーダの構成を示したブロック図であり、第３拡張階層識別子検査部１１１０及び第３基本階層復号化部１１２０からなる。第３基本階層復号化部１１２０は、第７エントロピ復号化部１１２１、第８逆量子化部１１２３、第８逆変換部１１２５、第７予測部１１２７及び第１０加算部１１２９からなる。第３基本階層復号化部１１２０は、図６及び図９に図示された第１基本階層復号化部６２０及び第２基本階層復号化部９２０と同一であるので、その細部的な動作説明は省略する。

図１１を参照するに、第３拡張階層識別子検査部１１１０は、ビットストリームが拡張階層識別子を含んでいるか否かを検査し、拡張階層識別子を含まない場合、入力されたビットストリーム、すなわち、基本階層ビットストリームを、そのまま第３基本階層復号化部１１２０に提供する。一方、拡張階層識別子を含む場合、入力されるビットストリーム、すなわち、スケーラブル・ビットストリームから基本階層ビットストリームだけ抽出し、第３基本階層復号化部１１２０に提供する。

これによれば、図１１に図示された改善されたＶＣ−１デコーダは、一般的なＶＣ−１エンコーダから提供されたビットストリームに対して復元できるだけではなく、スケーラブル・ビットストリームが入力されても、基本階層ビットストリームだけ抽出して復元できるので、フォワード互換性を提供する。

前記の実施形態で適用されたビデオコーデックは、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４などに広く使われるＭＣ−ＤＣＴ（Motion-Compensated Discrete Cosine Transform）ビデオコーデックを示し、これに限定されるものではなく、応用によって修正あるいは変形が加えれうる。一方、適用されたビデオコーデックについては、広く公知されているので、本発明によって修正あるいは追加された構成要素を除外した公知された構成要素の細部的な動作説明を省略する。

前記の実施形態では、スケーラブル・ビットストリームの形態を１つの基本階層ビットストリームと１つの拡張階層ビットストリームとから構成した実施形態に基づいて、ビットデプスが互いに異なる二種のコーデックを支援することについて説明しているが、拡張階層ビットストリームを複数個として置くことによって、二種以上のコーデックを支援することも可能である。また、本実施形態では、基本ビットデプスが拡張ビットデプスより大きい値を例にとっているが、基本ビットデプスが拡張ビットデプスより小さい値である場合にも、多様な設計変更が可能である。また、本実施形態では、ピクチャレベル別に補正量子化係数Ｒを割り当てているが、必要によって、スライスレベル別、マクロブロックレベル別、あるいはブロックレベル別に補正量子化係数Ｒを割り当てることができる。

本発明はまた、コンピュータで読取り可能な記録媒体に、コンピュータで読取り可能なコードとして具現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読取り可能なコードが保存されて実行されうる。そして、本発明を具現するための機能的な（functional）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマらによって容易に推論されうる。

以上、本発明によれば、フォワード互換性が保証される新しいビデオコーデックを提供するために、スケーラブルビデオエンコーダは、基本階層ビットストリームと拡張階層ビットストリームとからなるスケーラブル・ビットストリームを生成し、スケーラブル・ビットストリームを受信する既存の基本デコーダは、スケーラブル・ビットストリームから得られる基本階層ビットストリームを利用して復号化を行い、スケーラブルビデオデコーダは、スケーラブル・ビットストリームに含まれた基本階層ビットストリームと拡張階層ビットストリームとをいずれも利用して復号化を行うことによって、改善されたビデオコーデックと既存のビデオコーデックとが互いに融化されて共存できるメリットがある。よって、具体的に、既存のＷＭＶ（Window Media Video）コーデックあるいはＶＣ−１コーデックと、新しいビットデプスを支援するビデオコーデックとが共に使われうるメリットがある。

以上、図面と明細書とで最適実施形態を開示した。ここで、特定の用語が使われたが、それらは単に本発明について説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。従って、本技術分野の当業者であるならば、それらから多様な変形及び均等な他実施形態が可能であるという点を理解することが可能であろう。従って、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決まるのである。

Claims (25)

1. 少なくとも２つのビットデプスを支援しつつ、フォワード互換性を有するスケーラブル・ビットストリームを生成する映像符号化方法において、
   前記スケーラブル・ビットストリームは、
   基本量子化レベルと、基本ビットデプスによる基本量子化係数とを含む基本階層ビットストリームと、
   拡張量子化レベルと、前記基本量子化レベルから予測された補正量子化レベルとの間の残差と、前記基本ビットデプスと拡張ビットデプスとの差を補正するための補正量子化係数とを含む拡張階層ビットストリームとからなる映像符号化方法。
2. 前記スケーラブル・ビットストリームは、拡張階層識別子をさらに含むことを特徴とする請求項１に記載の映像符号化方法。
3. 前記拡張階層識別子は、前記スケーラブル・ビットストリームのシーケンスレベル、ＧＯＰレベル、ピクチャレベル、マクロブロックレベル及びブロックレベルのうち、少なくとも１つのレベルに含まれることを特徴とする請求項２に記載の映像符号化方法。
4. 前記拡張階層識別子は、前記スケーラブル・ビットストリームに存在する予備領域に含まれることを特徴とする請求項２に記載の映像符号化方法。
5. 前記方法は、前記拡張ビットデプスの復元映像を参照映像として使用して時間／空間上予測を行い、その結果として得られる予測映像を利用し、前記基本階層ビットストリームと前記拡張階層ビットストリームとを生成することを特徴とする請求項１に記載の映像符号化方法。
6. 前記方法は、前記基本ビットデプスの復元映像を変換して得られる前記拡張ビットデプスの復元映像を参照映像として使用して時間／空間上予測を行い、その結果として得られる予測映像を利用し、前記基本階層ビットストリームと前記拡張階層ビットストリームとを生成することを特徴とする請求項１に記載の映像符号化方法。
7. 少なくとも２つのビットデプスを支援しつつ、フォワード互換性を有するスケーラブル・ビットストリームを生成する映像符号化装置において、
   基本量子化レベルと、基本ビットデプスによる基本量子化係数とを含む基本階層ビットストリームを生成する基本階層符号化部と、
   拡張量子化レベルと、前記基本量子化レベルから予測された補正量子化レベルとの間の残差と、前記基本ビットデプスと拡張ビットデプスとの差を補正するための補正量子化係数とを含む拡張階層ビットストリームを生成する拡張階層符号化部と、
   前記基本階層ビットストリーム及び前記拡張階層ビットストリームを結合してスケーラブル・ビットストリームを生成するビットストリーム結合部とを含んでなるスケーラブル映像符号化装置。
8. 前記スケーラブル・ビットストリームは、拡張階層識別子をさらに含むことを特徴とする請求項７に記載の映像符号化装置。
9. 前記拡張階層識別子は、前記スケーラブル・ビットストリームのシーケンスレベル、ＧＯＰレベル、ピクチャレベル、マクロブロックレベル及びブロックレベルのうち、少なくとも１つのレベルに含まれることを特徴とする請求項８に記載の映像符号化装置。
10. 前記拡張階層識別子は、前記スケーラブル・ビットストリームに存在する予備領域に含まれることを特徴とする請求項８に記載の映像符号化装置。
11. 前記装置は、前記拡張ビットデプスの復元映像を参照映像として使用して時間／空間上予測を行い、その結果として得られる予測映像を利用し、前記基本階層ビットストリームと前記拡張階層ビットストリームとを生成することを特徴とする請求項７に記載の映像符号化装置。
12. 前記装置は、前記基本ビットデプスの復元映像を変換して得られる前記拡張ビットデプスの復元映像を参照映像として使用して時間／空間上予測を行い、その結果として得られる予測映像を利用し、前記基本階層ビットストリームと前記拡張階層ビットストリームとを生成することを特徴とする請求項７に記載の映像符号化装置。
13. 受信されたビットストリームから、基本量子化レベルと、基本ビットデプスによる基本量子化係数とを含む基本階層ビットストリームを復号化し、基本復元映像を生成する基本階層復号化部と、
    前記受信されたビットストリームから、拡張量子化レベルと、前記基本量子化レベルから予測された補正量子化レベルとの間の残差と、前記基本ビットデプスと拡張ビットデプスとの差を補正するための補正量子化係数とを含む拡張階層ビットストリームを復号化し、復元された基本量子化レベルから予測された補正量子化レベルを前記残差に加算し、拡張復元映像を生成する拡張階層復号化部とを含む映像復号化装置。
14. 前記装置は、前記拡張ビットデプスの復元映像を参照映像として使用して時間／空間上予測を行い、その結果として得られる予測映像を利用し、前記拡張階層ビットストリームを復号化することを特徴とする請求項１３に記載の映像復号化装置。
15. 前記装置は、前記基本ビットデプスの復元映像を変換して得られる前記拡張ビットデプスの復元映像を参照映像として使用して時間／空間上予測を行い、その結果として得られる予測映像を利用し、前記拡張階層ビットストリームを復号化する請求項１３に記載の映像復号化装置。
16. 前記装置は、前記受信されたビットストリームが拡張階層識別子を含んでいるか否かを検査する拡張階層識別子検査部をさらに含むことを特徴とする請求項１３に記載の映像復号化装置。
17. 前記拡張階層識別子は、前記スケーラブル・ビットストリームのシーケンスレベル、ＧＯＰレベル、ピクチャレベル、マクロブロックレベル及びブロックレベルのうち、少なくとも１つのレベルに含まれることを特徴とする請求項１６に記載の映像復号化装置。
18. 前記拡張階層識別子は、前記スケーラブル・ビットストリームに存在する予備領域に含まれることを特徴とする請求項１６に記載の映像復号化装置。
19. ビットストリームが拡張階層識別子を含んでいるか否かを検査する段階と、
    前記ビットストリームが前記拡張階層識別子を含まない場合、前記ビットストリームを、そのまま復号化し、基本ビットデプスの復元映像を生成する段階と、
    前記ビットストリームが前記拡張階層識別子を含む場合、前記ビットストリームのうち、基本階層ビットストリームから基本階層の基本量子化レベルを求め、前記基本量子化レベルから予測された補正量子化レベルと拡張量子化レベルとの残差と、前記基本ビットデプスと拡張ビットデプスとの差を補正するための補正量子化係数とを復号化し、前記残差を前記補正量子化レベルに加算することによって、拡張ビットデプスの復元映像を生成する段階とを含む映像復号化方法。
20. 前記装置は、前記拡張ビットデプスの復元映像を参照映像として使用して時間／空間上予測を行い、その結果として得られる予測映像を利用し、前記拡張階層ビットストリームを復号化する請求項１９に記載の映像復号化方法。
21. 前記装置は、前記基本ビットデプスの復元映像を変換して得られる前記拡張ビットデプスの復元映像を参照映像として使用して時間／空間上予測を行い、その結果として得られる予測映像を利用し、前記拡張階層ビットストリームを復号化することを特徴とする請求項１９に記載の映像復号化方法。
22. 前記装置は、前記受信されたビットストリームが拡張階層識別子を含んでいるか否かを検査する拡張階層識別子検査部をさらに含むことを特徴とする請求項１９に記載の映像復号化方法。
23. 前記拡張階層識別子は、前記スケーラブル・ビットストリームのシーケンスレベル、ＧＯＰレベル、ピクチャレベル、マクロブロックレベル及びブロックレベルのうち、少なくとも１つのレベルに含まれることを特徴とする請求項１９に記載の映像復号化方法。
24. 前記拡張階層識別子は、前記スケーラブル・ビットストリームに存在する予備領域に含まれることを特徴とする請求項１９に記載の映像復号化方法。
25. ビットストリームが拡張階層識別子を含んでいるか否かを検査する段階と、
    検査結果に基づいて適応的に復号化する段階とを含むことを特徴とする映像復号化方法。

Images