JP2010232885A

JP2010232885A - Ｈｄを超える解像度の映像を多視点映像符号化規格で符号化する方法および装置ならびに復号する方法および装置

Info

Publication number: JP2010232885A
Application number: JP2009077416A
Authority: JP
Inventors: Chong Soon Lim; スンリムチョン; Takahiro Nishi; 孝啓西; Tatsuro Shigesato; 達郎重里
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2009-03-26
Filing date: 2009-03-26
Publication date: 2010-10-14

Abstract

【課題】近い将来、高解像度（ＨＤ）記録装置が、従来の１０８０フォーマットと比較して２倍のデータレートをもつ新たな高解像度フォーマットである１０８０ｐ〜５０ｆｐｓ（１９２０×１０８０画素、毎秒５０フレームのプログレッシブ方式）または、１０８０ｐ〜６０ｆｐｓ（１９２０×１０８０画素、毎秒６０フレームのプログレッシブ方式）に対応可能になると思われる。初期展開の高解像度ストレージ・ディスク・プレーヤでも、高解像度カムコーダが１０８０ｐ〜５０ｆｐｓまたは１０８０ｐ〜６０ｆｐｓの新しい高解像度フォーマットで撮影された映像、または１９２０×１０８０画素を超える画素解像度の映像を再生できる技術を提供する。
【解決手段】ＨＤを超える解像度の映像を分割して、複数のＨＤ解像度のビューを形成した後に多視点映像符号化規格で符号化し、レガシーＨＤビデオデコーダで復号する事を可能にする。
【選択図】図３

Description

本発明は、あらゆるマルチメディアデータ符号化に用いることができ、特にＨ．２６４における符号化に用いることができる。

現在、多くの高解像度（ＨＤ）フォーマットが入手可能であり、最も一般的に用いられるのは、７２０ｐ、１０８０ｉ、および１０８０ｐである。７２０ｐとは、１２８０×７２０画素、毎秒５０または６０フレームのプログレッシブ方式である。１０８０ｉとは、１９２０×１０８０画素、毎秒５０または６０フィールドのインタレース方式であり、１０８０ｐとは、１９２０×１０８０画素、毎秒２４、２５、または３０フレームのプログレッシブ方式である。高解像度のストレージに一般に適用されているフォーマットではない１０８０ｐ〜３０ｆｐｓを除き、これらのフォーマットは、初期展開の高解像度ストレージ・ディスク・プレーヤ（例えばブルーレイ・プレーヤ）において対応可能である。しかし、高解像度の家庭用記録装置の中には、１０８０ｐ〜３０ｆｐｓのフォーマットでの記録および復号に対応可能なものもある。

近い将来、高解像度記録装置（例えば、家庭用ＨＤカムコーダ）が、従来の１０８０フォーマットと比較して２倍のデータレートをもつ新たな高解像度フォーマットである１０８０ｐ〜５０ｆｐｓ（１９２０×１０８０画素、毎秒５０フレームのプログレッシブ方式）または、１０８０ｐ〜６０ｆｐｓ（１９２０×１０８０画素、毎秒６０フレームのプログレッシブ方式）に対応可能になると思われる。また、ＨＤ映像よりも高い解像度、例えば３８４０×２１６０画素も、近い将来、放送および蓄積メディアで使用可能となるであろう。

初期展開の高解像度ストレージ・ディスク・プレーヤは、新しい高解像度カムコーダによって１０８０ｐ〜５０ｆｐｓあるいは１０８０ｐ〜６０ｆｐｓの新しい高解像度フォーマットで撮影された映像、または１９２０×１０８０画素を超える画素解像度を有する記録映像を再生できないであろう。

この課題の解決を試みる従来技術がいくつかある。解像度の低い（ＨＤ）映像のピクチャを、それ以上の解像度を実現したピクチャとは分けて符号化するという方法を記載した従来技術もある。このような技術は、一般にマルチレイヤ映像符号化として知られているものであり、スケーラビリティの何らかの形式に対応可能な映像コーディックにおいて、多用されている。また、システムレイヤと呼ばれる付加的レイヤ（例えば、ＭＰＥＧ−２トランスポートシステム）に圧縮映像を含ませて、システムレイヤに異なる識別子（例えば、ＰＩＤ）を付与することで、解像度の低い圧縮ピクチャと解像度の高い圧縮ピクチャとを区別しようとする従来技術もある。従来技術では、レガシーＨＤデコーダにおいて、そのデコーダが識別子によって認識しないピクチャは無視されるものと想定している。

従来技術には、映像を２つのレイヤに分ける方法が記載されているが、その方法は、識別子によって映像レイヤまたはトランスポートシステムレイヤに区切り、解像度が高い方のピクチャを廃棄することによって、性能がより低いデコーダでも映像を復号できるようにするものである。

しかしながら、従来技術には、解像度が低い方のレイヤと高い方のレイヤとの間でレイヤ間予測を行わない限り、十分な符号化効率が得られないという問題がある。Ｈ．２６４スケーラブル映像符号化などのレイヤ間予測を用いた従来技術であっても、レイヤ間予測に対応させるには、Ｈ．２６４ビデオデコーダに新しい符号化ツールを付加しなければならない。したがって、より解像度の高い映像に対応したデコーダを実装するコストが余計にかかることになる。

上記課題を解決するため、レガシーＨＤビデオデコーダで復号可能な低解像度のＨＤシーケンスをベース・ビューとし、ＨＤを超える解像度のビデオシーケンスをＨ．２６４多視点映像符号化規格で符号化する新たな方法を導入する。また、再構築ビューを合成して、より解像度の高いビデオ画像を形成する新たな復号方法も導入する。本発明の新規な点は、この発明によって、レガシーＨＤビデオデコーダが、ＨＤを超える解像度のビデオシーケンスを、その符号化ビデオシーケンスにさらなる修正を加えることなく、判定できるようになることである。また、本発明は、ビデオデコーダに必要とされる符号化ツール数を増やすことなく、レイヤ間予測を用いて、ＨＤを超える解像度のビデオシーケンスを圧縮する符号化効率を向上させる。

本発明の効果は、圧縮効率の向上およびレガシープレーヤとの下位互換性の向上である。また本発明には、ビデオデコーダの実装の複雑さが緩和されるという効果もある。

図１は、レガシーＨＤビデオフォーマットを示す図である。図２は、ＨＤを超えるビデオフォーマットを示す図である。図３は、単一のビューの画像を符号化する本発明の処理を示すフローチャートである。図４は、単一のビューの画像を再構築する本発明の復号処理を示すフローチャートである。図５は、符号化ビデオシーケンスのバイトストリーム構造におけるビュー再構築パラメータの位置の一例を示す図である。図６は、プログレッシブ走査画像を有するビューを分割し、インタレース走査画像を有する２つのビューとする本発明の処理を示すフローチャートである。図７は、インタレース走査画像を有する１対のビューを合成し、単一のビューのプログレッシブフレーム２枚に再構築する本発明の処理を示すフローチャートである。図８は、インタレース走査フレームを有するビューの色差サンプルを前処理する本発明の処理を示すフローチャートである。図９は、インタレース走査フレームを有するベース・ビューの色差サンプルの後処理を行う本発明の処理を示すフローチャートである。図１０は、プログレッシブ走査画像を有するビューを分割して、より小さなプログレッシブ走査画像を有する４つのビューとする本発明の処理を示すフローチャートである。図１１は、プログレッシブ走査画像を有する４つのビューを合成し、より大きなプログレッシブ走査フレームを有する単一のビューに再構築する本発明の処理を示すフローチャートである。図１２は、プログレッシブ走査フレームを有するベース・ビューの色差サンプルの前処理を行う本発明の処理を示すフローチャートである。図１３は、プログレッシブ走査フレームを有するベース・ビューの色差サンプルの後処理を行う本発明の処理を示すフローチャートである。図１４は、プログレッシブ走査画像を有するビューを分割して、インタレース走査画像を有する１対のビューとする、本発明で用いた分割方法の一例を示す図である。図１５は、インタレース走査画像を有する１対のビューを組み合わせて、プログレッシブ走査画像を有するビューを再構築する、本発明で用いた合成方法の一例を示す図である。図１６は、プログレッシブ走査画像を有するビューを分割して、より小さなプログレッシブ走査画像を有する４つのビューとする、本発明で用いた分割方法の一例を示す図である。図１７は、より小さなプログレッシブ走査画像を有する４つのビューを組み合わせて、より大きなプログレッシブ走査画像を有するビューを再構築する、本発明で用いた合成方法の一例を示す図である。図１８は、単一のビューの画像を符号化する本発明のエンコーダの装置例を示すブロック図である。図１９は、単一のビューの画像を再構築する本発明のデコーダの装置例を示すブロック図である。図２０は、大きなプログレッシブ走査画像を有するビューを分割して、より小さなインタレース走査画像を有する８つのビューとする本発明の処理を示す図である。図２１は、より小さなインタレース走査画像を有する８つのビューを合成して、より大きなプログレッシブ走査画像を有する単一のビューとする本発明の処理を示す図である。

図１は、レガシーＨＤフォーマットであって、ＨＤプログレッシブ走査モードおよびＨＤインタレース走査モードのものを示す。図２は、レガシーＨＤを超えるフォーマットであって、１９２０×１０８０画素で毎秒５０または６０フレーム、３８４０×２１６０画素で毎秒２４、２５または３０フレーム、および３８４０×２１６０画素で毎秒５０または６０フレームのものを示す。本発明は、いずれかのレガシーＨＤフォーマットをベース・ビューとし、レガシーＨＤを超えるフォーマットを多視点映像符号化規格で符号化する。

図３は、単一のビューの画像を符号化する本発明の処理を示す。単一のビューの画像は、例えば、レガシーＨＤフォーマットを超える解像度を有する画像である。まず、モジュール３００において、単一のビューを複数のビューに分割する。次に、モジュール３０２において、これらのビューのうち、１つを選択してベース・ビューとする。選択したベース・ビューの色差成分を、モジュール３０４において、前処理する。そして、モジュール３０６において、ベース・ビューをその他のビューを参照せずに符号化する。そして、モジュール３０８において、ビュー間動き予測を用いて残りのビューを符号化する。最後に、モジュール３１０において、これらのビューを再構築するためのパラメータを符号化ビデオシーケンスに書き込む。

このビュー再構築パラメータは、ビュー同士を合成して単一のビューに戻すために必要なパラメータまたは情報であり、ビューのサンプリング位置および色差成分の前処理に使用する方法などである。図５は、符号化ビデオシーケンスのバイトストリーム構造におけるビュー再構築パラメータの位置の一例を示す。ビュー・コンポーネント・パラメータ５０２は、図示のとおり、ピクチャ・パラメータ・セット５００より後ろでアクセスユニット５０４より前に挿入される。

図４は、単一のビューの画像を再構築する本発明の復号処理を示す。まず、モジュール４００において、符号化ビデオシーケンスからビュー再構築パラメータの解析を行う。次に、モジュール４０２において、ベース・ビュー・コンポーネントを復号し、単一のベース・ビューを再構築する。そして、モジュール４０４において、ビュー間動き予測を用いて１以上の非ベース・ビュー・コンポーネントを復号することにより、非ベース・ビューを再構築する。モジュール４０６において、非ベース・ビューの色差成分を使用し、復号ビューの再構築パラメータに基づいて、ベース・ビューの色差成分の後処理を行う。そして最後に、モジュール４０９において、複数の復号ビューを、その復号ビューごとの再構築パラメータに基づいて合成し、単一のビューを形成する。

図６は、プログレッシブ走査画像を有するビューを分割して、インタレース走査画像を有する１対のビューとする本発明の処理をフローチャートで示す。モジュール６００において、複数のプログレッシブ走査フレームを読み取る。モジュール６０２において、連続する２枚のプログレッシブフレーム毎に１枚の第１ビューのインタレース走査フレームを作成する。インタレース走査フレームは、奇数番目のプログレッシブフレームの奇数行サンプルと偶数番目のプログレッシブフレームの偶数行サンプルとを組み合わせて作成する。最後に、モジュール６０４において、奇数番目のプログレッシブフレームの偶数行サンプルと偶数番目のプログレッシブフレームの奇数行サンプルとを組み合わせることによって、連続する２枚のプログレッシブフレームごとに、それらのプログレッシブフレームから第２ビューのインタレース走査フレーム１枚を作成する。図１４は、図６に記載した分割方法の一例を示す。

図７は、インタレース走査画像を有する１対のビューを合成し、単一のビューのプログレッシブフレーム２枚に再構築する本発明の処理をフローチャートで示す。図示のとおり、モジュール７００において、第１ビューのインタレース走査フレームを読み取る。そしてモジュール７０２において、第２ビューのインタレース走査フレームを読み取る。次に、モジュール７０４において、第１および第２ビューの２枚のインタレース走査フレームを合成し、単一のビューのフレーム２枚を作成する。第１プログレッシブ走査フレームは、第１ビューのインタレース走査フレームの奇数行サンプルと第２ビューのインタレース走査フレームの偶数行サンプルとを組み合わせて作成する。第２プログレッシブ走査フレームは、第１ビューのインタレース走査フレームの偶数行サンプルと第２ビューのインタレース走査フレームの奇数行サンプルとを組み合わせて作成する。図１５は、図７に記載した合成方法の一例を示す。

図８は、インタレース走査フレームを有するビューの色差サンプルを前処理する本発明の処理をフローチャートで示す。図示のとおり、モジュール８００およびモジュール８０２において、それぞれ第１ビューおよび第２ビューの色差サンプルを読み取る。モジュール８０４において、第１ビューの各奇数行の色差サンプルの値と、第２ビューの各偶数行の色差サンプルの値との平均値を算出する。そして、モジュール８０６において、各奇数行の色差サンプルの値を、算出した色差サンプル平均値に置き換える。次に、モジュール８０８において、第１ビューの各偶数行の色差サンプルと、第２ビューの各奇数行の色差サンプルとの平均値を新たに算出する。そして最後に、モジュール８１０において、各偶数行の色差サンプルの値をそれぞれ、新たに算出した色差サンプル平均値に置き換える。

図９は、インタレース走査フレームを有するベース・ビューの色差サンプルの後処理を行う本発明の処理をフローチャートで示す。図示のとおり、モジュール９００およびモジュール９０２において、それぞれベース・ビューおよび第２ビューの色差サンプルを読み取る。モジュール９０４において、ベース・ビューの色差サンプルの各画素値を２倍する。次に、モジュール９０６において、ベース・ビューの各奇数行の色差サンプルの乗算値から、第２ビューの各偶数行の色差サンプルの値を減算する。そして、モジュール９０８において、ベース・ビューの各偶数行の色差サンプルの乗算値から、第２ビューの各奇数行の色差サンプルの値を減算する。そして最後に、モジュール９１０において、ベース・ビューの色差サンプルの減算値を０〜２５５までの値に丸める。

図１０は、プログレッシブ走査画像を有するビューを分割して、より小さなプログレッシブ走査画像を有する４つのビューとする本発明の処理をフローチャートで示す。図示のとおり、モジュール１０００において、複数のプログレッシブ走査フレームを読み取る。モジュール１００２において、２×２画素ごとにサブサンプリングすることによって、各プログレッシブ走査フレームから４枚のより小さなプログレッシブフレームを作成する。そして最後に、モジュール１００４において、４枚のフレームをそれぞれ個々に分類して、４つの別々のビューのフレームとする。図１６は、単一フレームから４枚のより小さなプログレッシブ走査フレームを作成する、図１０で用いた分割方法の一例を示す。

図１１は、プログレッシブ走査画像を有する４つのビューを合成し、より大きなプログレッシブ走査フレームを有する単一のビューに再構築する本発明の処理をフローチャートで示す。モジュール１１００において、４つのビューそれぞれからプログレッシブ走査フレームを読み取る。モジュール１１０２において、ビュー再構築パラメータに基づき、アップサンプリングした領域におけるサンプルの画素位置をビューごとに決める。そして最後に、モジュール１１０４において、４枚のプログレッシブ走査フレームのサンプルを組み合わせて、１枚のより大きなプログレッシブ走査フレームを作成する。図１７は、図１１に記載したように、各ビューの４枚のフレームのサンプルを組み合わせ、単一のより大きなフレームを再構築させるために用いる合成方法の一例を示す。

図１２は、プログレッシブ走査フレームを有するベース・ビューの色差サンプルの前処理を行う本発明の処理をフローチャートで示す。図示のとおり、モジュール１２００において、４つのビューそれぞれから同じ画素位置にある４つの色差サンプルを読み取る。モジュール１２０２において、４つのビューから読み取った４つの色差サンプルの平均値を算出する。そして最後に、モジュール１２０４において、同じ画素位置にあるベース・ビューの色差サンプルを、４つの色差サンプルの平均値に置き換える。

図１３は、プログレッシブ走査フレームを有するベース・ビューの色差サンプルの後処理を行う本発明の処理をフローチャートで示す。モジュール１３００および１３０２において、１つのベース・ビューおよび３つの非ベース・ビューから、それぞれ色差サンプルを読み取る。そしてモジュール１３０４において、それぞれの色差サンプルの値を４倍する。そして、色差サンプルの各乗算値から、同じ画素位置にある３つの非ベース・ビューの色差以外のサンプルの値を減算する。そして最後に、モジュール１３０８において、色差サンプルの各減算値を０〜２５５までの値に丸める。

図１８は、単一のビューの画像を符号化する本発明のエンコーダの装置例をブロック図で示す。この装置は、ビュー分割部（１８００）と、ベース・ビュー選択部（１８０２）と、ベース・ビュー色差前処理部（１８０４）と、ベース・ビュー符号化部（１８０６）と、ベース・ビュー復号部（１８０８）と、非ベース・ビュー符号化部（１８１２）と、記憶部（１８１０）と、多重化部（１８１４）と、ビュー再構築パラメータ書き込み部（１８１６）とで構成される。

図１８に示すように、ビュー分割部１８００は、単一のビューＤ００１から画像を取得し、そのビューを複数のビューＤ００３に分割する。ベース・ビュー選択部（１８０２）は、複数のビューＤ００３を取得し、その複数のビューからベース・ビューを選択し、ベース・ビュー色差前処理部１８０４にベース・ビューを送る。また、ベース・ビュー選択部（１８０２）は、非ベース・ビュー符号化部（１８１２）に対して非ベース・ビューＤ００９を出力する。ベース・ビュー色差前処理部（１８０４）は、ベース・ビューＤ００５を読み取り、その色差サンプルを処理したベース・ビューＤ００７を出力する。その後、ベース・ビューＤ００７は、ベース・ビュー符号化部（１８０６）によって符号化され、ベース・ビュー・コンポーネントが多重化部１８１４およびベース・ビュー復号部１８０８に送信される。ベース・ビュー復号部１８０８は、ベース・ビュー・コンポーネントＤ０１５を読み取り、再構築ベース・ビューＤ０１１を出力し、それが記憶部１８１８に格納される。

非ベース・ビュー復号部１８１２は、非ベース・ビューＤ００９を読み取り、記憶部１８１０から再構築ベース・ビューＤ０１３を読み取り、符号化した非ベース・ビュー・コンポーネントを多重化部１８１４に出力する。多重化部１８１４は、ベース・ビュー・コンポーネントおよび非ベース・ビュー・コンポーネントを読み取り、単一の符号化ビューシーケンスＤ０１９を出力する。ビュー再構築パラメータ書き込み部１８１６は、単一の符号化ビューシーケンスＤ０１９を読み取り、その符号化ビデオシーケンスにビュー再構築パラメータを挿入し、修正した符号化ビデオシーケンスを出力する。

図１９は、単一のビューの画像を再構築する本発明のデコーダの装置例をブロック図で示す。この装置は、ビュー再構築パラメータ解析部１９００と、逆多重化部１９０２と、ベース・ビュー・コンポーネント復号部１９０４と、ベース・ビュー色差成分後処理部１９０６と、ビュー再構築部１９０８と、記憶部１９１０と、非ベース・ビュー・コンポーネント復号部１９１２とで構成される。

図１９に示すように、ビュー再構築パラメータ解析部１９００は、符号化ビデオシーケンスＤ００１を読み取り、ビュー再構築パラメータを抽出して、ビュー再構築パラメータＤ００２をビュー再構築部１９０８に出力する。逆多重化部１９０２は、符号化シーケンスＤ００３を読み取り、ベース・ビュー・コンポーネントおよび非ベース・ビュー・コンポーネントに分割し、ベース・ビュー・コンポーネントＤ００５をベース・ビュー・コンポーネント復号部１９０４に出力し、非ベース・ビュー・コンポーネントＤ００９を非ベース・ビュー・コンポーネント復号部１９１２に出力する。ベース・ビュー復号部１９０４は、ベース・ビュー・コンポーネントＤ００５を読み取り、後処理部１９０６および記憶部１９１０の両方に再構築ベース・ビューＤ００７を出力する。後処理部１９０６は、再構築ベース・ビューを読み取り、その色差サンプルを処理した再構築ベース・ビューを出力する。非ベース・ビュー復号部１９１２は、非ベース・ビュー・コンポーネントＤ００９を読み取り、再構築した非ベース・ビューＤ０１１を出力する。

最後に、ビュー再構築部１９０８は、再構築したベース・ビューＤ０１３および非ベース・ビューＤ０１１の両方を読み取り、ビュー再構築パラメータを読み取り、単一のビューの再構築画像を出力する。

図２０は、大きなプログレッシブ走査画像を有するビューを分割して、より小さなインタレース走査画像を有する８つのビューとする本発明の処理をフローチャートで示す。この処理は、２つのステップから成る。まず、プログレッシブ走査フレームを有する単一のビューを分割して、より小さなプログレッシブ走査フレームを有する４つのビューにする。モジュール２０００で用いる分割方法は、図１０に記載したものである。次に、図２０に示すように、モジュール２００２において、４つのビューをそれぞれインタレース走査フレームの２つのビューにさらに分割する。モジュール２００２で用いる分割方法は、図６に記載したものである。

図２１は、インタレース走査画像の８つのビューを合成して、より大きなプログレッシブ走査画像を有する単一のビューとする本発明の処理をフローチャートで示す。モジュール２１００において、インタレース走査フレームを有するビューの合致する対を見つける。ビュー再構築パラメータは、正確に合致するビューの対を探し出すことに関連した情報を含む。モジュール２１０２において、合致して対になっている各ビューを合成し、プログレッシブ走査フレームを有する単一のビューとする。モジュール２１０２で用いる合成方法は、図７に記載したものである。ビューを合成した後、モジュール２１０４において、得られた４つのビューを探し出す。そして最後に、モジュール２１０６において、その４つのビューを合成して、より大きなプログレッシブ走査フレームを有する単一のビューを形成する。モジュール２１０６で用いる合成方法は、図１１に記載したものである。

Claims

ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、
単一のビューを複数のビューに分割するステップ（３００）と、
分割した前記ビューのうち、１つをベース・ビューとして選択するステップ（３０２）と、
前記ベース・ビューの色差サンプルを処理するステップ（３０４）と、
前記ベース・ビューをその他のビューを参照せずに符号化するステップ（３０６）と、
前記ビューの残りのビューをビュー間動き予測を用いて符号化するステップ（３０８）と、
前記ビューを再構築するためのパラメータを符号化ビデオシーケンスに書き込むステップ（３１０）と
を含む符号化方法。
請求項１記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、単一のビューを複数のビューに分割する前記ステップは、単一のビューを２つのビューに分割するステップを含む符号化方法。
請求項１記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、単一のビューを複数のビューに分割する前記ステップは、単一のビューを４つのビューに分割するステップを含む符号化方法。
請求項１記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、単一のビューを複数のビューに分割する前記ステップは、単一のビューを８つのビューに分割するステップを含む符号化方法。
請求項１および４記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、単一のビューを８つのビューに分割する前記ステップは、
単一のビューを４つのビューに分割するステップ（２０００）と、
前記４つのビューをそれぞれ２つのビューに分割するステップ（２００２）と
を含む符号化方法。
請求項１、２および５記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、単一のビューを２つのビューに分割する前記ステップは、
前記単一のビューから複数のプログレッシブ走査フレームを読み取るステップ（６００）と、
連続する２枚のプログレッシブ走査フレームごとに、それらのプログレッシブフレームから第１ビューのインタレース走査フレーム１枚を作成するステップ（６０２）と、
連続する２枚のプログレッシブ走査フレームごとに、それらのプログレッシブフレームから第２ビューのインタレース走査フレーム１枚を作成するステップ（６０２）と
を含む符号化方法。
請求項１、２、５および６記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、第１ビューのインタレース走査フレームを作成する前記ステップは、前記連続する２枚のフレームの１枚目の奇数行サンプルと、前記連続する２枚のフレームの２枚目の偶数行サンプルとを合成することによって、第１ビューのインタレース走査フレームを作成する符号化方法。
請求項１、２、５および６記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、第２ビューのインタレース走査フレームを作成する前記ステップは、前記連続する２枚のフレームの１枚目の偶数行サンプルと、前記連続する２枚のフレームの２枚目の奇数行サンプルとを合成することによって、第２ビューのインタレース走査フレームを作成する符号化方法。
請求項１、２、および５記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、単一のビューを４つのビューに分割する前記ステップは、
前記単一のビューから複数のプログレッシブ走査フレームを読み取るステップ（１０００）と、
サブサンプリングすることによって、各プログレッシブ走査フレームから４枚のより小さなフレームを作成するステップ（１００２）と、
前記４枚のより小さなフレームをそれぞれ個々のビューに分類して、前記４つのビューを作成するステップと
を含む符号化方法。
請求項１記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、前記ベース・ビューの色差サンプルを処理する前記ステップは、
前記ベース・ビューから色差サンプルを読み取るステップ（８００）と、
第２ビューから色差サンプルを読み取るステップ（８０２）と、
前記ベース・ビューの各奇数行の色差サンプルの値と、前記第２ビューの各偶数行の色差サンプルの値との平均値を算出するステップ（８０４）と、
前記ベース・ビューの各奇数行の色差サンプルの値を前記平均値に置き換えるステップ（８０６）と、
前記ベース・ビューの各偶数行の色差サンプルの値と、前記第２ビューの各奇数行の色差サンプルの値との平均値を算出するステップ（８０８）と、
前記ベース・ビューの各偶数行の色差サンプルの値を前記第２平均値に置き換えるステップ（８１０）と
を含む符号化方法。
請求項１記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、前記ベース・ビューの色差サンプルを処理する前記ステップは、
４つのビューそれぞれから色差サンプルを読み取るステップ（１２００）と、
４つのビューから読み取った前記４つの色差サンプルの平均値を算出するステップ（１２０２）と、
前記ベース・ビューから読み取った色差サンプルを前記平均値に置き換えるステップ（１２０４）と
を含む符号化方法。
請求項１記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、前記ビューを再構築するためのパラメータは、ビュー同士を合成して単一のビューを形成するために必要な情報を含む符号化方法。
請求項１記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する方法であって、前記ビューを再構築するためのパラメータは、デコーダが前記ベース・ビューの色差サンプルを処理するために必要な情報を含む符号化方法。
ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、
符号化ビデオシーケンスからビューを再構築するためのパラメータを解析するステップ（４００）と、
ベース・ビュー・コンポーネントを復号し、単一のベース・ビューを再構築するステップ（４０２）と、
１以上の他のビュー・コンポーネントをビュー間動き予測を用いて復号し、非ベース・ビューを再構築するステップ（４０４）と、
前記ビューを再構築するためのパラメータに基づいて前記ベース・ビューの色差成分を処理するステップ（４０６）と、
複数の復号ビューを、その復号ビューを再構築するためのパラメータを用いて合成し、単一のビューを形成するステップ（４０８）と
を含む復号方法。
請求項１４記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、前記ビューを再構築するためのパラメータは、ビュー同士を合成して単一のビューを形成するために必要な情報を含む復号方法。
請求項１４記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、前記ビューを再構築するためのパラメータは、前記ベース・ビューの色差サンプルの前記処理に必要な情報を含む復号方法。
請求項１４記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、複数の復号ビューを合成して単一のビューを形成する前記ステップは、対になっているビューを合成して単一のビューを形成することを含む復号方法。
請求項１４記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、複数の復号ビューを合成して単一のビューを形成する前記ステップは、４つのビューを合成して単一のビューを形成することを含む復号方法。
請求項１４記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、複数の復号ビューを合成して単一のビューを形成する前記ステップは、８つのビューを合成して単一のビューを形成することを含む復号方法。
請求項１４および１９記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、８つのビューを合成して単一のビューを形成する前記ステップは、
前記８つのビューから合致するビューの対をすべて探し出すステップ（２１００）と、
対になっている各ビューを合成して単一のビューを形成するステップ（２１０２）と、
合成した４つの前記ビューを探し出すステップ（２１０４）と、
合成した４つの前記ビューを合成して、ピクチャサイズがより大きい単一のビューを形成するステップ（２１０６）と
を含む復号方法。
請求項１４、１７、１９および２０記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、対になっているビューを合成して単一のビューを形成する前記ステップは、
第１ビューからフレームを読み取るステップ（７００）と、
第２ビューからフレームを読み取るステップ（７０２）と、
第１および第２ビューから読み取った２枚の前記フレームを合成して単一のビューのフレーム２枚を作成するステップ（７０４）と
を含む復号方法。
請求項１４、１７、１９、２０および２１記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、前記単一のビューの第１フレームを作成する前記ステップは、前記第１ビューから読み取った前記フレームの各奇数行のサンプルと、前記第２ビューから読み取った前記フレームの各偶数行のサンプルとを合成することによって、前記単一のビューの第１フレームを作成する復号方法。
請求項１４、１７、１９、２０および２１記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、前記単一のビューの第２フレームを作成する前記ステップは、前記第１ビューから読み取った前記フレームの各偶数行のサンプルと、前記第２ビューから読み取った前記フレームの各奇数行のサンプルとを合成することによって、前記単一のビューの第２フレームを作成する復号方法。
請求項１４、１８、１９および２０記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、４つのビューを合成して単一のビューを形成する前記ステップは、
前記４つのビューそれぞれからフレームを１枚ずつ読み取るステップ（１１００）と、
ビューを再構築するためのパラメータに基づき、前記４つのビューそれぞれについて、サンプルの画素位置を決定するステップ（１１０２）と、
決定した前記画素位置に基づいて前記４枚のフレームのサンプルを組み合わせて、１枚のより大きなフレームを作成するステップ（１１０４）と
を含む復号方法。
請求項１４記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、前記ベース・ビューの色差成分を処理する前記ステップは、
前記ベース・ビューから色差サンプルを読み取るステップ（９００）と、
第２ビューから色差サンプルを読み取るステップ（９０２）と、
前記ベース・ビューの前記色差サンプルの値を２倍するステップ（９０４）と、
各奇数行の色差サンプルの前記乗算値から、前記第２ビューの各偶数行の色差サンプルの値を減算するステップ（９０６）と、
各偶数行の色差サンプルの前記乗算値から、前記第２ビューの各奇数行の色差サンプルの値を減算するステップ（９０８）と、
前記ベース・ビューの色差サンプルの前記減算値を０〜２５５までの値に丸めるステップ（９１０）と
を含む復号方法。
請求項１４記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する方法であって、前記ベース・ビューの色差成分を処理する前記ステップは、
前記ベース・ビューから色差サンプルを読み取るステップ（１３００）と、
３つの非ベース・ビューから色差サンプルを読み取るステップ（１３０２）と、
前記ベース・ビューの前記色差サンプルの値を４倍するステップ（１３０４）と、
色差サンプルの前記乗算値から、同じ画素位置にある前記３つの非ベース・ビューの色差サンプルの合計値を減算するステップ（１３０６）と、
前記ベース・ビューの色差サンプルの前記減算値を０〜２５５までの値に丸めるステップ（１３０８）と
を含む復号方法。
ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、
単一のビューを複数のビューに分割する手段（３００）と、
分割した前記ビューのうち、１つをベース・ビューとして選択する手段（３０２）と、
前記ベース・ビューの色差サンプルを処理する手段（３０４）と、
前記ベース・ビューをその他のビューを参照せずに符号化する手段（３０６）と、
前記ビューの残りのビューをビュー間動き予測を用いて符号化する手段（３０８）と、
前記ビューを再構築するためのパラメータを符号化ビデオシーケンスに書き込む手段（３１０）と
を含む符号化装置。
請求項２７記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、単一のビューを複数のビューに分割する前記手段は、単一のビューを２つのビューに分割する手段を含む符号化装置。
請求項２７記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、単一のビューを複数のビューに分割する前記手段は、単一のビューを４つのビューに分割する手段を含む符号化装置。
請求項２７記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、単一のビューを複数のビューに分割する前記手段は、単一のビューを８つのビューに分割する手段を含む符号化装置。
請求項２７および３０記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、単一のビューを８つのビューに分割する前記手段は、
単一のビューを４つのビューに分割する手段（２０００）と、
前記４つのビューをそれぞれ２つのビューに分割する手段（２００２）と
を含む符号化装置。
請求項２７、２８および３１記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、単一のビューを２つのビューに分割する前記手段は、
前記単一のビューから複数のプログレッシブ走査フレームを読み込む手段（６００）と、
連続する２枚のプログレッシブ走査フレームごとに、それらのプログレッシブ走査フレームから第１ビューのインタレース走査フレーム１枚を作成する手段（６０２）と、
連続する２枚のプログレッシブ走査フレームごとに、それらのプログレッシブ走査フレームから第２ビューのインタレース走査フレーム１枚を作成する手段（６０２）と
を含む符号化装置。
請求項２７、２８、３１および３２記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、第１ビューのインタレース走査フレームを作成する前記手段は、前記連続する２枚のフレームの１枚目の奇数行サンプルと、前記連続する２枚のフレームの２枚目の偶数行サンプルとを合成することによって、第１ビューのインタレース走査フレームを作成する符号化装置。
請求項２７、２８、３１および３２記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、第２ビューのインタレース走査フレームを作成する前記手段は、前記連続する２枚のフレームの１枚目の偶数行サンプルと、前記連続する２枚のフレームの２枚目の奇数行サンプルとを合成することによって、第２ビューのインタレース走査フレームを作成する符号化装置。
請求項２７、２８、および３１記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、単一のビューを４つのビューに分割する前記手段は、
前記単一のビューから複数のプログレッシブ走査フレームを読み取る手段（１０００）と、
サブサンプリングすることによって、各プログレッシブ走査フレームから４枚のより小さなフレームを作成する手段（１００２）と、
前記４枚のより小さなフレームを個々のビューに分類して、前記４つのビューを作成する手段と
を含む符号化装置。
請求項２７記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、前記ベース・ビューの色差サンプルを処理する前記手段は、
前記ベース・ビューから色差サンプルを読み取る手段（８００）と、
第２ビューから色差サンプルを読み取る手段（８０２）と、
前記ベース・ビューの各奇数行の色差サンプルの値と、前記第２ビューの各偶数行の色差サンプルの値との平均値を算出する手段（８０４）と、
前記ベース・ビューの各奇数行の色差サンプルの値を前記平均値に置き換える手段（８０６）と、
前記ベース・ビューの各偶数行の色差サンプルの値と、前記第２ビューの各奇数行の色差サンプルの値との平均値を算出する手段（８０８）と、
前記ベース・ビューの各偶数行の色差サンプルの値を前記第２平均値に置き換える手段（８１０）と
を含む符号化装置。
請求項２７記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、前記ベース・ビューの色差サンプルを処理する前記手段は、
４つのビューそれぞれから色差サンプルを読み取る手段（１２００）と、
４つのビューから読み取った前記４つの色差サンプルの平均値を算出する手段（１２０２）と、
前記ベース・ビューから読み取った色差サンプルを前記平均値に置き換える手段（１２０４）と
を含む符号化装置。
請求項２７記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、前記ビューを再構築するためのパラメータは、ビュー同士を合成して単一のビューを形成するために必要な情報を含む符号化装置。
請求項２７記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で符号化する装置であって、前記ビューを再構築するためのパラメータは、デコーダが前記ベース・ビューの色差サンプルを処理するために必要な情報を含む符号化装置。
ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、
符号化ビデオシーケンスからビューを再構築するためのパラメータを解析する手段（４００）と、
ベース・ビュー・コンポーネントを復号し、単一のベース・ビューを再構築する手段（４０２）と、
１以上の他のビュー・コンポーネントをビュー間動き予測を用いて復号し、非ベース・ビューを再構築する手段（４０４）と、
前記ビューを再構築するためのパラメータに基づいて前記ベース・ビューの色差成分を処理する手段（４０６）と、
複数の復号ビューを、その復号ビューを再構築するためのパラメータを用いて合成し、単一のビューを形成する手段（４０８）と
を含む復号装置。
請求項４０記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、前記ビューを再構築するためのパラメータは、ビュー同士を合成して単一のビューを形成するために必要な情報を含む復号装置。
請求項４０記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、前記ビューを再構築するためのパラメータは、前記ベース・ビューの色差サンプルの前記処理に必要な情報を含む復号装置。
請求項４０記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、複数の復号ビューを合成して単一のビューを形成する前記手段は、対になっている復号ビューを合成して単一のビューを形成することを含む復号装置。
請求項４０記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、複数の復号ビューを合成して単一のビューを形成する前記手段は、４つのビューを合成して単一のビューを形成することを含む復号装置。
請求項４０記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、複数の復号ビューを合成して単一のビューを形成する前記手段は、８つのビューを合成して単一のビューを形成することを含む復号装置。
請求項４０および４５記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、８つのビューを合成して単一のビューを形成する前記手段は、
前記８つのビューから合致するビューの対をすべて探し出す手段（２１００）と、
対になっている各ビューを合成して単一のビューを形成する手段（２１０２）と、
合成した４つの前記ビューを探し出す手段（２１０４）と、
合成した４つの前記ビューを合成して、ピクチャサイズがより大きい単一のビューを形成する手段（２１０６）と
を含む復号装置。
請求項４０、４３、４５および４６記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、対になっているビューを合成して単一のビューを形成する前記手段は、
第１ビューからフレームを読み取る手段（７００）と、
第２ビューからフレームを読み取る手段（７０２）と、
第１および第２ビューから読み取った２枚の前記フレームを合成して単一ビューのフレーム２枚を作成する手段（７０４）と
を含む復号装置。
請求項４０、４３、４５、４６および４７記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、前記単一ビューの第１フレームを作成する前記手段は、前記第１ビューから読み取った前記フレームの各奇数行のサンプルと、前記第２ビューから読み取った前記フレームの各偶数行のサンプルとを合成することによって、前記単一ビューの第１フレームを作成する復号方法。
請求項４０、４３、４５、４６および４７記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、前記単一ビューの第２フレームを作成する前記手段は、前記第１ビューから読み取った前記フレームの各偶数行のサンプルと、前記第２ビューから読み取った前記フレームの各奇数行のサンプルとを合成することによって、前記単一ビューの第２フレームを作成する復号装置。
請求項４０、４４、４５および４６記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、４つのビューを合成して単一のビューを形成する前記手段は、
前記４つのビューそれぞれからフレームを１枚ずつ読み取る手段（１１００）と、
ビューを再構築するためのパラメータに基づき、前記４つのビューそれぞれについて、サンプルの画素位置を決定する手段（１１０２）と、
決定した前記画素位置に基づいて前記４枚のフレームのサンプルを組み合わせて、１枚のより大きなフレームを作成する手段（１１０４）と
を含む復号装置。
請求項４０記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、前記ベース・ビューの色差成分を処理する前記手段は、
前記ベース・ビューから色差サンプルを読み取る手段（９００）と、
第２ビューから色差サンプルを読み取る手段（９０２）と、
前記ベース・ビューの前記色差サンプルの値を２倍する手段（９０４）と、
各奇数行の色差サンプルの前記乗算値から、前記第２ビューの各偶数行の色差サンプルの値を減算する手段（９０６）と、
各偶数行の色差サンプルの前記乗算値から、前記第２ビューの各奇数行の色差サンプルの値を減算する手段（９０８）と、
前記ベース・ビューの色差サンプルの前記減算値を０〜２５５までの値に丸める手段（９１０）と
を含む復号装置。
請求項４０記載の、ＨＤを超える解像度の映像を多視点映像符号化規格で復号する装置であって、前記ベース・ビューの色差成分を処理する前記手段は、
前記ベース・ビューから色差サンプルを読み取る手段（１３００）と、
３つの非ベース・ビューから色差サンプルを読み取る手段（１３０２）と、
前記ベース・ビューの前記色差サンプルの値を４倍する手段（１３０４）と、
色差サンプルの前記乗算値から、同じ画素位置にある前記３つの非ベース・ビューの色差サンプルの合計値を減算する手段（１３０６）と、
前記ベース・ビューの色差サンプルの前記減算値を０〜２５５までの値に丸める手段（１３０８）と
を含む復号装置。