JP2012516657A - 立体画像である複数の画像をサブサンプリング及びインタリーブする方法及び装置 - Google Patents

Abstract

サンプリングされたデータは、符号化及び復号化のためにチェッカーボードのフォーマットで纏められる。サンプリングされたデータは、quincunxサンプリングされた複数の画像のビデオデータであり（たとえば3Dビデオ又はマルチプログラムストリーム）、データは、それぞれの画像のサブ画像に分割され、次いで、サブ画像は、符号化されるビデオストリームのフレームにおいて、多重化、又はインタリーブされ、次いで、標準化されたビデオエンコーダを使用して復号化される。ビューイングのためのシステムは、標準的なビデオデコーダと、それぞれのフレームの復号化されたサブ画像をデインタリーブし、表示装置向けに画像をリフォーマットする。3Dビデオは、好適な品質及び圧縮比が実現されるように最も有利なインタリーブフォーマットを使用して符号化される。１実施の形態では、本発明は、複数のフォーマットでデータを受ける表示装置を含む。

Description

本発明は、デジタルデータ、特にデジタルビデオデータの符号化及び復号化に関する。 本出願は、2009年1月29日に提出された米国特許仮出願61/148051号に対する優先権を特許請求するものであり、この仮出願の内容は、引用により本明細書に盛り込まれる。

近年、コンテンツプロバイダは、立体（3D）コンテンツの家庭への配信にかなり関心を有している。この関心は、3Dマテリアルの増加される人気及び制作、更には消費者に既に利用可能である幾つかの立体装置の出現により推進される。立体マテリアルの家庭への配信に関する幾つかのシステムが提案されている。

本発明者は、3D及び他の複数の画像のビデオシステムに良好な符号化及び復号化の必要を実現している。様々な実施の形態では、本発明は、映像データの符号化及び復号化の方法、システム及びアーキテクチャを提供する。たとえば、符号化及び復号化は、チェッカーボード（CB: CheckerBoard）のインタリーブされた映像データを使用する。この場合、データは、「赤」データが、「赤」データに先行する「黒」データに従うフォーマット等で、「赤」又は「黒」である（「赤」データは、第一の画像、ビュー又はシーンの画像データを暗示し（「ビュー」複数又は「ビュー」単数と集合的に呼ばれる）、「黒」データは、（たとえば個別の映像ストリームの）第二の独立なビューの画像データを暗示する（3D画像の第二のビューは、「赤」又は「黒」データの両者から、又は「赤」データで伝送される同じビューの別の角度からレンダリングされる））。これらの概念を拡張して、インタリーブされた映像は、複数のプログラムストリーム、ある同じシーンの複数の角度、或いはたとえば同じ又は異なるシーン、ビデオゲーム又はプログラムの3Dビューの複数のセットから、たとえば１以上の複数の画像を含む。さらに、符号化のためのフレームの前処理は、quincunxサンプリング又は他のサンプリング技術を介して実行されるサンプリングを含む。次いで、サンプリングデータは、有利なフォーマットで配列され（たとえば、エンコーダのデータ又は機能／性質を考慮したフォーマット）、このフォーマットは、１以上のパターンでインタリーブされるデータ（たとえばサブ画像）の簡単なチェッカーボード又はグルーピングとすることができる。次いで、たとえばMPEG-4 AVC又は別の符号化技術により符号化が行われる。

１実施の形態では、本発明は、ｎ個の画像をサブサンプリングし、サンプリングされた画像のそれぞれをサブ画像に分離し、サブ画像を画像フレームに纏め、１つの画像フレームをビデオエンコーダを介して符号化するステップを含む方法を提供する。サブサンプリングステップは、たとえばquincunxサンプリングを含む。画像は、たとえ3D画像の左側ビュー及び右側ビューのうちの少なくとも１つ、同じシーンの複数のビュー、及び複数の画像を含む場合があり（及び画像は、深度情報及び遮蔽（隠蔽）情報のうちの１つを含む場合があり）、又は画像は、複数の画像のうちの１つからの１以上の画素のグループを含む場合がある。サブ画像は、正像（normal image）に類似する特性を有する画像におけるデータを含む場合があるか、又はサブ画像は、対応する画像からのパターンを介して選択されたデータを含む場合がある。

分離するステップは、たとえば行及び列の少なくとも１つに基づいてサンプリングされた画像を分離することを含む。分離するステップは、サンプリングされた画像のそれぞれからの隣接するデータからなる複数のブロックを作成することを含む。纏めるステップは、予め決定されたフォーマットでサブ画像をインタリーブすることを含む。予め決定されたフォーマットは、たとえば複数の画像、サンプリングされた画像、分離された画像サンプルの何れかに基づいて適応的に変化する。本方法は、予め決定されたフォーマットを識別するマップを符号化するステップを更に含む。マップは、たとえば画像フレームの領域において符号化され、サブ画像を纏めるステップは、画像フレームの他の領域で実行される。マップは、画像フレームのサイド情報として符号化され、及び／又は画像フレームの一部にされる。インタリーブするステップは、たとえば水平方向のインタリーブ、垂直方向のインタリーブ、及び矩形ブロックのインタリーブのうちの１つを含む場合がある。

サブサンプリングするステップは、quincunxサンプリングを含み、分離するステップは、サブサンプリングされた画像の１つおきの行及び１つおきの列のうちの１つを使用してサブ画像を作成するステップを含み、纏めるステップは、サブ画像に基づいて行及び列のうちの１つを配列することを含む。本方法は、画像フレーム内のサブ画像のアレンジメントを識別する識別子を符号化するステップを更に含む。１実施の形態では、識別子は、サイド情報に配置される符号である。代替的に、識別子は、画像フレームに配置される場合もある。

纏めるステップは、本明細書で記載されるパターンの何れかに従って纏めることを含む。纏めるステップは、たとえばサブサンプリングされた画像のうちの１つの大きさに等価な少なくとも１つの大きさを維持する。纏めるステップは、たとえば符号化された画像を復号化するために利用されるリソースの効果的な使用のために選択されるパッケージフォーマットを含む。纏めるステップは、2Dから3Dへのスケーラビリティ、SNR／解像度スケーラビリティを含むスケーラビリティの機能を可能にするために選択されたパッケージフォーマットを含む。パッケージフォーマットは、処理機能のような利用可能なリソースに基づいて選択される場合がある。纏めるステップは、たとえば互いにごく接近したそれぞれのサブ画像を復号化／アップサンプリングするために高い値の画素を維持することを含む。符号化するステップは、たとえばJPEG、JPEG-2000、MPEG-2、MPEG-4 AVC及びVC1符号化のような何れか１つの画像又は映像符号化システムを有する場合がある。

他の実施の形態では、本発明はビデオ装置として実施され、ビデオ信号におけるフレーム当たり１を超える画像を含む符号化されたビデオ信号を復号化するデコーダ、復号化されたビデオ信号におけるフレームフォーマットでインタリーブされたビデオデータのグループをデインタリーブするフォーマットコンバータを有し、ビデオデータのグループは、第一の画像からのビデオデータの１以上のグループと、第二の画像からのビデオデータの１以上のグループとを有する。フォーマットコンバータは、たとえば複数のインタリーブのフォーマットからデータのグループをデインタリーブするデインタリーバを有する。フォーマットコンバータは、たとえばデータのグループのインタリーブのフォーマットを決定するフォーマットリーダを有する。フォーマットコンバータは、アルゴリズムの１つを選択する選択装置、インタリーブされたデータグループのフォーマットに基づいてデインタリーブを行う専用回路を有する。フォーマットコンバータは、たとえば水平、垂直、ブロックベース、及びマップベースのインタリーブされたビデオデータのグループのうちの少なくとも１つをデインタリーブする。

本発明は、少なくとも１つの画像からのデインタリーブされたデータのグループをアップコンバートするアップコンバータを有する。アップコンバートされたデータは、たとえば2D画像として出力される。たとえば2D画像は、HDMIと互換性のある信号でフォーマット化される。アップコンバートされたデータは、3D画像における第一のビューを有する第一の画像のデータと、3D画像の第二のビューを有する第二の画像のデータとを有する。

ビデオ装置は、たとえばBlue-Ray DVDプレーヤ、メディアプレーヤ、セットトップボックス、ケーブルボックス、コンピュータビデオカード、チューナ又は他の電子装置のうちの少なくとも１つの一部である。デコーダは、MPEG-2、MPEG-4 AVC、VC1及び他のデコーダのうちの１つを有する。

別の実施の形態では、本発明は、符号化システムとして実施され、少なくとも２つの異なるビューの画像をサブサンプリングするサブサンプラ、それぞれのビューからの画像データの少なくとも１つのグループを選択し、ビデオストリームの１つの画像フレームにグループをインタリーブするフォーマッタ、ビデオストリームを符号化するエンコーダを有する。エンコーダは、たとえばMPEG-4 AVCエンコーダを有する。画像データのグループは、たとえば１を超える画素のグループを有する。フォーマッタは、たとえば偶数−奇数の行−列セレクタを有し、画像データのグループをインタリーブすることは、水平方向の再配列、垂直方向の再配列、インタリーブされた水平方向の再配列、インタリーブされた垂直方向の再配列、ブロックの再配列、インタリーブされたブロックの再配列、垂直方向のインタリーブされた再配列、及び水平方向のインタリーブされた再配列のうちの少なくとも１つを有する。

エンコーダは、データのグループをインタリーブする配列を選択する選択装置を有する。エンコーダは、フォーマットされたように２つの画像からのデータの配列をマッピングするマッパを更に有する。

また、本発明は、記録媒体にビデオストリームを記録した記録媒体として実施される場合があり、ビデオストリームは、少なくとも２つのビューからのインタリーブされたセットを有し、対応するメディアプレーヤによりロードされ且つ読み取られたとき、プレーヤに、ビデオストリームを復号化、次いでデインタリーブさせ、次いで表示装置のためにビデオストリームをフォーマット化する。データのセットは、たとえば3D画像の第一のビューに対応する複数のデータのセットと、3D画像の第二のビューに対応する複数のデータのセットとを有する。メディアストレージは、メモリカード、ディスク及び、電磁気キャリアの物理特性の少なくとも１つを有する。メディアストレージの記憶内容は、メモリカード、電磁気キャリアの少なくとも１つの物理特性により表現され、光ディスクは、ビデオストリームを有し、暗号化される。

本発明は、ビデオ符号化システムとして実施される場合があり、第一の画像に対応するデータの少なくとも１つのパッケージと、第二の画像に対応するデータの少なくとも１つのパッケージと、第一の画像の少なくとも１つの解像度及びダイナミックレンジのエンハンスメント、及び第二の画像の少なくとも１つの解像度及びダイナミックレンジのエンハンスメントを、ビデオストリームの画像データフレームにフォーマット化するフォーマッタ、フォーマット化された第一の画像データ及びエンハンスメント、第二の画像データ及びエンハンスメントを、記憶及びブロードキャストの少なくとも１つのためにビデオストリームに符号化するエンコーダを有する。エンコーダは、他のサブ画像に対応するサンプルからの予測を行うことからサブ画像を制限する。エンコーダは、他のサブ画像に対応するサンプルからの予測を行うことから、空間的に先に纏められるサブ画像を制限する。

本発明は、ビデオ復号化システムとして実施される場合があり、ビデオストリームのデータフレームであって、少なくとも２つの画像からの画像データと少なくとも２つの画像の少なくとも１つのエンハンスメントとを有するデータフレームを復号化するデコーダ、復号化された画像データにより実施される原画像の低解像度のバージョンを生成するために少なくとも１つの画像から復号化された画像データをリフォーマットするリフォーマッタを有する。リフォーマッタは、たとえば少なくとも１つの画像に対応するデータをデインタリーブするデインタリーバ、リフォーマッタは、第二の画像データと少なくとも１つの画像のエンハンスメントの少なくとも１つを廃棄する。ビデオ復号化システムは、復号化されたエンハンスメントの少なくとも幾つかを利用して、復号化された画像をエンハンスして、高い解像度及び高いダイナミックレンジの画像の少なくとも１つを生成する。エンハンスメントは、それぞれの画像に対して、ビデオ復号化システムがリアルタイムでそうすることができる程度にまでプログレッシブに適用される。エンハンスメントは、それぞれの画像に対して、ビデオ復号化システムがそのようにすることができ且つ出力表示装置がエンハンスされた画像を表示することができる場合に、プログレッシブに適用される。

装置及び方法の両者の一部は、汎用コンピュータ、又はネットワークコンピュータでのプログラミングで実現され、汎用コンピュータ、ネットワークコンピュータの何れかに接続される出力装置で結果が表示され、出力又は表示のために遠隔装置に送信される。さらに、コンピュータプログラム、データ系列及び／又は制御信号で表される本発明の何れかのコンポーネントは、限定されるものではないが、無線ブロードキャスト、及び銅線を通した伝送、光ファイバケーブル、及び同軸ケーブル等を含む任意の媒体で任意の周波数での信号のブロードキャスト（又は送信）として実施される場合がある。

本発明の完全な理解及び多数の付随する利点は、添付図面と共に参照されたときに以下の詳細な説明を参照することで良好に理解されたときに、容易に得られるであろう。
本発明の実施の形態に係るチェッカーボード（CB）多重化フォーマットを例示する図である。 本発明の実施の形態に係るフレームモードにおけるCBデータの逆多重化に基づく変換を例示する図である。 本発明の実施の形態に係るフィールドモードにおけるCBデータの逆多重化に基づく変換を例示する図である。 本発明の実施の形態に係るオーバラップが考慮されないブロック動き補償を例示する図である。 本発明の実施の形態に係るフレームモードにおけるCBデータの逆多重化に基づいた変換を例示する図である。 本発明の実施の形態に係るビデオエンコーダの図である。 本発明の実施の形態に係るビデオデコーダの図である。 本発明の実施の形態に従って符号化されているコンテンツの性質に依存してひし形又は他のブロックに拡張される四角ブロックの利用を例示する図である。 本発明の実施の形態に係るquincunxサンプリングされた画像の図である。 本発明の実施の形態に係る符号化効率を改善するためのquincunxサンプルの水平方向及び垂直方向の再配列（フォーマット化）を例示する図である。 本発明の実施の形態に係る符号化効率を改善するためのquincunxサンプルの水平方向及び垂直方向の「ブロック」の再配列（フォーマット化）を例示する図である。 本発明の実施の形態に係るquncunxサンプリングされたデータ（又は他のサンプリング技術に拡張される）と利用される様々な配列を例示する図である。 本発明の実施の形態に係るサンプリングされたデータのブロックをインタリーブするCB配列を例示する図である。 本発明の実施の形態に係る、配列、及びインタリーブされたサンプルのそれぞれのサブ領域における配列を指示又は識別するマップを例示する図である。 本発明の実施の形態に係るビデオエンコーダの図である。 本発明の実施の形態に係るビデオデコーダの図である。

１実施の形態では、本発明は、符号化された信号の特性を更に適切に考慮するためにMPEG-4 AVC規格を拡張し、改善された符号化効率及び性能を可能にする。本発明は、たとえばエンコーダのみでなくデコーダでも実現される。同様の拡張は、他の符号化／複合化規格、方法、装置及び／又はシステムに対しても行われる場合がある。応用は、たとえばBlu-Rayビデオディスクを含み、より多くの帯域幅の制約があるブロードキャスト及びダウンロードのソリューションをも含む場合がある。また、本発明は、現在のDolbyの消費者レベルの3Dビデオ符号化システム（又は他の3D及び／又は多視点システム）を最大解像度に改善又はエンハンスするスケーラブルソリューションで使用される場合もある。

本発明の様々な実施の形態は、Dolby（又は他の）立体（3D）フォーマットのビデオエンコーダ及びデコーダでの使用向けに主に意図されるが、他のDolby及び／又は非Dolby特定機器及び／又は他のタイプのビデオ（たとえばマルチプログラム、多視点、多視点3D、これらの任意の組み合わせ）において使用される場合がある。応用は、たとえばBlu-Rayディスク、メモリカード、ブロードキャスト、サテライト及びIPTVシステム等を含む。

本発明者は、消費者間で3D及び他の技術の迅速な適応を保証するため、ソリューションは、セットトップボックス、DVD及びBlu-Rayディスクプレーヤ及び既存の3D可能なディスプレイのような既存の再生装置に対する最小の変更で実現することができるか、又は変更なしに実現することができるものであるべきであることを認識している。しかし、新たな又は複数のフォーマットに特に適合又は設計されるコンバータボックス、ハードウェア／ファームウェア／ソフトウェアの変更、装置及び／又はディスプレイは、本発明と調和する。再生装置の変更なしに3Dコンテンツの配信の１つの可能性のあるソリューションは、チェッカーボードの配列を使用した２つのビューを多重化することでビデオコンテンツを作成、符号化及び配信することである（図１参照）。係るシステムは、MPEG-4 AVC/H.264ビデオ符号化規格又は他の規格（たとえばMicrosoft’s VC1）を使用して実現される場合がある。しかし、標準化されたコーデックは、3D符号化されたビデオ信号の性質を考慮するものではなく、準最適な性能を得ることができる。

特に、これらのコーデックは設計されており、プログレッシブ又は行インタリーブされた（インタレースされた）ビデオコンテンツを考慮したツールを含む（たとえばプログレッシブ又は行インタレースされたビデオコンテンツ）。これらは、動き予測、動き補償、変換、及び量子化のようなツールを含む。しかし、チェッカーボードのインタリーブされたデータは、プログレッシブ又はインタリーブされたコンテンツとは非常に異なる特性を有する。本発明の様々な実施の形態では、これらのツールは、データの特性及び／又はデータが配置される配列（アレンジメント）を適切に考慮するために拡張され、従ってコンテンツの符号化効率を改善する（たとえばチェッカーボードのフォーマットにおけるコンテンツ）。

１実施の形態では、チェッカーボードのインタリーブされたコンテンツのビデオ符号化効率は、チェッカーボードの逆多重化されたデータに適用される変換及び量子化プロセスを変更することのみにより達成される。特に、図２から分かるように、このシナリオでは、オーバラップするブロックを考慮しない従来のブロックに基づいた方法を使用して、動き予測及び動き補償が行われる（図４参照）。このプロセスは、一般に、チェッカーボードの多重化されたデータが類似の動きにより特徴付けされることを議論することで正当化される。

しかし、動き補償又はイントラ予測が実行された後、変換及び量子化の前に、残差データがチェッカーボードで逆多重化される。既存のコーデックで採用される共通の変換方法が直角又は直交するという事実が与えられると、このシナリオにおける逆多重化は、異なるビューの観点で起こらないだけでなく、行の観点でも起こらない。これにより、たとえば4×4又は8×8整数DCT又は他の変換を使用して変換、量子化、ジグザグスキャン及び符号化される必要がある４ブロックが得られる。別の実施の形態では、インタレースピクチャ（すなわちフィールド）ピクチャについて、データが係る動作を実行する適切な配列において既にあるので、垂直方向の逆多重化のみが実行される必要がある。このプロセスは、シーケンス、ピクチャ、マクロブロック、又はブロックレベルで信号伝達される。量子化された係数のスキャニング順序は、水平方向の軸及び垂直方向の軸における周波数の差を考慮するために適切に設計される。特に、フィールドコンテンツについて、変換された係数のスキャニング順序は、水平方向の周波数と垂直方向の周波数との間の差が与えられると、一般的に垂直方向にバイアスされる。しかし、新たな符号化の配列が与えられると、係る変更が不要であり、通常のスキャニング順序（すなわちジグザグスキャン）をなお使用することができる。

代替的な実施の形態では、動き予測及び補償プロセスは、コンテンツの特性を考慮する類似のやり方で、変換から離れて変更される。より詳細には、基準データ及びソースデータは、複数のセットに再配列され、それぞれのセットは、ビュー及びパリティに従ってデータを分割する。これにより、基本的に、４つの異なる配列が得られる（たとえば、偶数／上又は奇数／下の左及び右のビュー）。これは、図５に見ることができ、基準画像のデインターリーブの結果の実施の形態の例示を含んでおり、時計回りに、左上のボックスで開始し、左側ビューピクチャの偶数行からの“x”のセット（又はCBLT（左上））、左側ビューの奇数行からの“x”のセット（又はCBLB（左下））、右側ビューピクチャの偶数行からの“o”のセット（又はCBRT（右上））、及び右側ビューピクチャの奇数行からの“o”のセット（又はCBRB（右下））を含む。マッチングフォーマットにおけるデインタリーブは、原画像についても例示される。

ソースからのそれぞれの配列は、イントラ及びインター予測の両者を含むことができる、予測のための基準データの配列の何れかと整合させることができる。ソースデータが予測された後、残差データも同じ配列で変換、量子化及び符号化される。このプロセスは、データが奇数及び偶数のフィールド／ラインデータに配列される場合に、インタレース符号化をどのように実行することができるかに類似していると見ることができる。しかし、本発明では、データは、奇数列と偶数列に同様に更に配列される。（単独で又は他の技術との組み合わせで使用される場合がある）本発明の変換方法に類似して、この方法は、シーケンス、ピクチャ、スライス、マクロブロック又はブロックレベルでの使用のために信号伝達される。

たとえばピクチャレベルの方法は、４つの異なるピクチャであるCBLT、CBLB、CBRT及びCBRBの符号化を実行するとして見ることができる。これら４つのピクチャは、バッファで利用可能な前に符号化されたピクチャを参照することができる。明らかな理由のため、デフォルトのリファレンスリストの順序付けは、コレラのピクチャのトポロジーに従ってバイアスされる。すなわち、CBLTピックチャは、前のCBLTピクチャに対して高い優先度を与え、CBLBピクチャは、前のCBLBピクチャに対して高い優先度を与える、等である。それぞれの係るピクチャは、既存の符号化ツール、すなわちAVCで符号化される。全てのピクチャが復号化されるとき、全てのピクチャは、チェッカーボードの画像として、更なる処理のためにフレームバッファで再結合される。動作しない場合、MPEG-4 AVC又はVC1において既に利用可能であるような、たとえばプログレッシブ又はインタレースといった既存の符号化方法が利用される。様々な信号伝達の方法により、旧式の方法と、インタレース符号化についてMPEG-4 AVCで既に存在するものに類似のピクチャ、スライス、マクロブロック、及び／又はブロックレベルでの本発明のアプローチとの組み合わせを可能にする。

更なる実施の形態では、同じセットの画素に対してのみ、係る方法を使用した画素データのデブロッキングが適用される。係る方法を採用したエンコーダ及びデコーダは、図６及び図７のそれぞれにおいて見ることができる。

更なる実施の形態では、予測、変換及び量子化について直角又は直交ブロックを利用する代わりに、コンテンツの特性が与えられると、ダイアモンドブロックが考慮される（図８を参照されたい。この場合、例示的な右側ビューのピクチャの暗くされた／赤の“o”画素成分（ダイアモンドの形状）、及び例示的な左側ビューのピクチャのそれぞれ暗くされた／赤の“o”画素成分（ダイアモンドの形状）の真下にある暗くされていない“x”画素成分が示されている）。すなわち、サイズN×Mのダイアモンド形状のブロックにより動き予測及び補償が採用される一方、残差データの変換は、適切な角度（たとえば45°）だけ残差をはじめに回転することによる直角又は直交変換を使用して行われる。デブロッキングは、このシナリオにおいて、ダイアモンドブロックのデータのエッジに関して実行される。さらに、画像の境界は、データを適切にパディングすることで処理される。本方法は、シーケンス、ピクチャ、スライス、マクロブロック又はブロックレベルで可能にされ、前に記載された方法の何れかと組み合わせることができる。しかし、主に複雑度と性能の理由のため、この方法は、シーケンス又はピクチャレベルで主に考慮される。

更に別の実施の形態では、上述された方法の何れかは、チェッカーボードでインターリーブされた画像のみでなく、チェッカーボードでインターリーブされた画像からの残差データ、又は周期的な正方形のタイル張り（square tiling）方法を使用してインタリーブされた４つの画像の組み合わせの符号化について利用される。

本発明は、MPEG-4 AVCに基づくシステムのようなビデオ符号化システムの拡張として構成される。

明らかに、本発明の様々な変更及び変形が上記した教示に照らして可能である。従って、後続して出願される特許出願に含まれる請求項の範囲において、本発明は、本明細書において特に断りが無い限りにおいて実施される。

図面を参照して、同じ参照符号は、同一又は対応する構成要素を示しており、特に図９を参照して、quincunxサンプリングと呼ばれる画像及びデータのサンプリング方法が例示される。quincunxサンプリングでは、図９に示されるようにquincunx配列においてサンプリングされる。この方法の利点は、水平及び／又は垂直サンプリングとは異なり、情報の３０％以下がサンプリングプロセスで失われ、これにより信号の再構成の間に高い品質が可能となることである。本方法は、たとえば図１のCBインタリーブされたピクチャに多重化されるサンプルを生成するために使用される。その場合、たとえば3D画像を圧縮するためにquincunxサンプリングが部分的に使用される。より詳細には、3D画像の両方のビューは、はじめにquincunxサンプリングされ、次いで（たとえば、特にMPEG-2，MPEG-4 AVC及びVC1のような既存のコーデックといった）コーデックを使用した圧縮の前にチェッカーボードの配列を使用してインタリーブされる。

quincunxサンプリングされたデータを圧縮することは可能であることを示したが、残念なことに、既存の圧縮アルゴリズムは良好に設計されておらず、それらの特性を扱うためにある程度に準最適である。本発明は、係るコンテンツを符号化する異なる方法を含み、改善された符号化効率及び性能を達成する一方で、既存のインフラを利用するのを可能にする。これは、コンテンツの特性（及び符号化メカニズム）に良好にフィットするquincunxサンプリングされたデータの様々な再配置を実行することで行われる。

特に、quincunxサンプルは奇数列（又は行）のデータと偶数列（又は行）のデータに分割される。奇数列のデータは、それら自身に関して見た場合、それらの周波数特性が幾分異なるとしても通常の画像と類似の特性を有する。同じことが、偶数列のデータについても言える。従って、quincunxサンプリングされた画像は、２つのサブ画像である、奇数列のサブ画像と偶数列のサブ画像に分割される。これらのサブ画像は、輝度及び色度情報、透明度及び深度情報等のようなデータに関連する全ての情報を含む。明らかに、スケーラブル画像システムについて、それぞれのサブ画像は、SNRレイヤのような全ての関連するスケーラビリティ情報を含んでいる。

それぞれのサブ画像を個別に符号化することができるとしても、幾つかの環境及び／又は応用について、サブ画像を１つの画像に纏めて保持することが望まれる場合がある。たとえば、可能性のある方法は、２つのサブ画像を垂直方向又は水平方向に纏めることである。しかし、幾つかの他の応用では、２つのサブ画像をインタリーブすることを考慮することができる（図１１）。インタリーブの量は、固定又は適応的にすることができ、本発明のシステム又はアーキテクチャが有する様々な要件に依存させることができる。たとえば、圧縮が高い重要性を有する場合、インターリーブを最小に維持し、従って圧縮の間に信号特性を良好に利用することができる（たとえば離散コサイン変換／DCT及び量子化、予測等を使用）。しかし、メモリアクセスを含むデータの再構成が高い重要性を有する場合、ビュー間の幾つかのインタリーブが使用される。たとえば、オリジナルのquincunxの配列を使用して纏められたデータを保持する代わりに、それらのquincunxのパリティ（奇数又は偶数）に従って、データをN×Mの矩形のブロックに纏めることができる。２つの最も極端な場合｛N=1，M=1｝及び｛N=width/2, M=height/2｝では、幅及び高さは、オリジナルのサンプリングされていない画像の幅及び高さである。コレラの矩形ブロックは、水平方向に配列された4×2サイズのブロック（図１１ａ）、又は垂直方向に配列された2×2サイズのブロック（図１１ｂ）のような様々なやり方で配列される。特別の例では、既存のビデオ及び画像コーデックが16×16サイズを予測のために使用することが与えられると、係るブロックサイズ、又はこのサイズよりも大きいサイズ（たとえば32×32，32×48，48×48等）が使用される。係る配列では、必須ではないとしても、解像度の大きさのうちの１つを、オリジナルのサンプリングされていない画像の大きさと同じに保持することが望まれる。

先に記載されたように、3D応用のためにquincunxのサンプリングされたデータの特別の場合が使用される。このシナリオでは、２つのステレオ画像がはじめにquincunxサンプリングされ、次いで、１つの立体画像を生成するために互いにインタリーブされる。（たとえば図１におけるように）画素レベルのチェッカーボードの配列を使用してこれらの画像のみをインタリーブする代わりに、２つの画像を良好に分割するために先に説明されたインタリーブ方法が採用され、従って既存の圧縮のツールを良好に利用することができる。より詳細には、左側ビューと右側ビューを、左−奇数（Lo）、左−偶数（Le）、右−奇数（Ro）及び右−偶数（Re）データ（Lo|Le|Ro|Re）に分割することができる。

１実施の形態では、それぞれのデータセットは、異なるサブ画像を表す。Lo|Le|Ro|Reの場合、これら４つのサブ画像は、たとえば図１２に示されるように、様々な配列で互いにタイル張りされる（配列される画像の他の配列及び異なるサイズを利用することもできる）。次いで、タイル張りされた画像は、既存又は新たに開発された符号化アルゴリズムを使用して符号化される新たな画像を表す。たとえば、図１２に示されるLo|Le|Ro|Reフレームのアレンジメント、又はチェッカーボードのようなフレームレベルのアレンジメントB（Lo|Ro|Re|Le）に４つのサブ画像が配置される。サブ画像は、水平方向又は垂直方向のサブ画像のアレンジメント（アレンジメントD及びE）で全て配置される。他のアレンジメントも可能である。アレンジメントのタイプは、応用及びその要件に依存することができる。たとえば、アレンジメントAは、特に最大解像度への再構成が必要とされる場合に、あるビューの全てのサンプルを他のビューとは独立に即座に再構成することができる一方、方法Bはquincunxデータを他のアレンジメントに再編成することにおいて利点を提供するという利点を提供する。

異なる実施の形態では、矩形又は任意のブロック／領域を本質的に有する１つのサンプル又は全体のサブ画像、サンプルのグループの代わりに、インタリーブを考慮することができる。先に説明されたように、たとえばブロックは、固定されたサイズM×Nから構成されるか（図１３参照）、画像は、変化する形状及び／又はサイズからなるブロックにより含まれる。係るアレンジメントは、たとえばマップのようなメタデータ方法を通して信号伝達される。マップは、全他のビデオ系列について固定されるか、適応的且つ必要に応じて信号伝達することができる。例として、図１４において、4×4サイズのサブブロックがどのようにインタリーブの観点で編成されるかに関する情報を提供するマップが示される。たとえば輝度及び色度情報、透明度、深度／遮蔽情報等といった、同じ対応関係は、ある画素に関連する全てのサンプルに適用されるが、所定のグループについて又はそれぞれ異なるタイプの情報について、複数／個別のマップの存在を含めて、異なるアレンジメントを使用することもできる。分割は、ある画像の異なる表現、又はある画像の異なるレイヤ（たとえばSNR、ビット深度等）を含む。

別の実施の形態では、チェッカーボードでインタリーブされた画像のみでなく、チェッカーボードでインタリーブされた画像からの残差データ、又は周期的な正方形のタイル張りの方法を使用してインタリーブされた画像の組み合わせの符号化のために、先の方法の何れかを利用することができる。また、本方法は、深度／遮蔽情報を含めて、（２を超える）複数の画像のインタリーブに容易に拡張することができる。最後に、提案されるインタリーブ方法は、画像を符号化するときだけでなく、動き補償されたビデオ符号化環境でりようすることができる予測画像の生成のために使用することができる。

図１５は、quincunxサンプリングされた画像又は立体画像のペアを適切なフォーマットに変換するフォーマットコンバータを利用したエンコーダを示す。図１６は、画像を復号化し、このフォーマットを、表示又は他の処理のために必要とされる異なるフォーマットに変換する対応するデコーダを示す。

従って、本発明は、多くの形態を取る。以下に提供されるものは、列挙された例示的な実施の形態（EEE: Enumerated Example Embodiments）のセットであり、これらは例として提供される本発明の例示的な形態である。係るように、EEEは、先の説明、以下に提供される特許請求の範囲、或いは後続する継続出願、再発行、又は外国の対応特許及び／又は出願の何れかを限定するものとして見られるべきではない。

EEE.1）n個の画像をサブサンプリングするステップ、サンプリングされた画像のそれぞれをサブ画像に分割するステップ、サブ画像を１つの画像フレームに纏めるステップ、及び１つの画像フレームをビデオエンコーダにより符号化するステップを含む方法。

EEE.2）EEE.1記載の方法について、サブサンプリングするステップは、quincunxサンプリングを含む。

EEE.3）EEE.1記載の方法について、画像は、3D画像の左側ビュー及び右側ビュー、同じシーンの複数のビュー及び複数の画像のうちの少なくとも１つを含む。

EEE.3A）EEE.3記載の方法について、画像は、深度情報及び遮蔽情報のうちの１つを含む。

EEE.4）EEE.1記載の方法について、サブ画像は、正像に類似した特性を有する画像におけるデータを含む。

EEE.5）EEE.1記載の方法について、分割するステップは、少なくとも１つの行及び列に基づいて、サンプリングされた画像を分割するステップを含む。

EEE.6）EEE.1記載の方法について、サブ画像は、複数の画像のうちの１つからの１を超える画素のグループを含む。

EEE.7）EEE.1記載の方法について、サブ画像は、対応する画像からのパターンを介して選択されたデータを含む。

EEE.8）EEE.1記載の方法について、分割するステップは、サンプリングされた画像のそれぞれからの近傍のデータの複数のブロックを作成する。

EEE.9）EEE.1記載の方法について、纏めるステップは、予め決定されたフォーマットでサブ画像をインタリーブするステップを含む。

EEE.10）EEE.9記載の方法について、予め決定されたフォーマットは、画像、サンプリングされた画像及び分割された画像サンプルのうちの少なくとも１つに基づいて適応的に変更される。

EEE.11）EEE.1記載の方法について、予め決定されたフォーマットを識別するマップを符号化するステップを更に含む。

EEE.11B）EEE.11記載の方法について、マップは、画像フレームのある領域で符号化され、サブ画像を纏めるステップは、画像フレームの他の領域で実行される。

EEE.12）EEE.11記載の方法について、マップは、サイド情報として符号化される。

EEE.13）EEE.9記載の方法について、インタリーブするステップは、水平方向にインタリーブすること、垂直方向にインタリーブすること及び矩形ブロックでインタリーブすることのうちの１つを含む。

EEE.14）EEE.1記載の方法について、サブサンプリングするステップは、quincunxサンプリングを含み、分割するステップは、サブサンプリングされた画像の１つおきの行及び１つおきの列のうちの１つを使用してサブ画像を作成するステップを含み、纏めるステップは、行及び列に基づいたサブ画像のうちの１つを配列するステップを含む。

EEE.15）EEE.1記載の方法について、画像フレーム内のサブ画像の配列の識別子を符号化するステップを更に含む。

EEE.16）EEE.1記載の方法について、サブ画像の配列の識別子を符号化するステップを更に含み、識別子は、符号化されたパターニングされたブロックのサイド情報に配置される符号である。

EEE.17）EEE.1記載の方法について、纏めるステップは、上述されたパターンの少なくとも１つを含む。

EEE.18）EEE.1記載の方法について、纏めるステップは、サブサンプリングされた画像のうちの１つの大きさと同じ少なくとも１つの大きさを維持する。

EEE.19）EEE.1記載の方法であって、纏めるステップは、符号化された画像を復号化するために使用されるリソースの効果的な使用のために選択されるパッケージングフォーマットを含む。

EEE.19B）EEE.1記載の方法について、纏めるステップは、SNR/解像度スケーラビリティ、2D−3Dスケーラビリティを含むスケーラビリティ機能を可能にするために選択されたパッケージングフォーマットを含む。

EEE.19C）EEE.19B記載の方法について、パッケージングフォーマットは、処理能力のような利用可能なリソースに基づいて選択される。

EEE.20）EEE.1記載の方法について、纏めるステップは、互いにごく接近してそれぞれのサブ画像を復号化／アップサンプリングするために高い値の画素を維持することを含む。

EEE.21）EEE.1記載の方法について、符号化するステップは、JPEG、JPEG-2000、 MPRG-2、MPEG-4 AVC及びVC1符号化のような何れか１つの画像又はビデオ符号化システムを含む。

EEE.22）ビデオ装置は、ビデオ信号においてフレーム当たり１を超える画像を含む符号化されたビデオ信号を復号化するデコーダと、復号化されたビデオ信号におけるフレームフォーマットでインタリーブされたビデオデータのグループであって、第一の画像からのビデオデータの１以上のグループと、第二の画像からのビデオデータの１以上のグループとを有するビデオデータのグループをデインタリーブするフォーマットコンバータとを備える。

EEE.23）EEE.22記載のビデオ装置について、フォーマットコンバータは、複数のインタリーブフォーマットからデータのグループをデインタリーブするデインタリーバを有する。

EEE.24）EEE.22記載のビデオ装置について、フォーマットコンバータは、データのグループをインタリーブするフォーマットを決定するフォーマットリーダを有する。

EEE.25）EEE.22記載のビデオ装置について、フォーマットコンバータは、インタリーブされたデータグループのフォーマットに基づいてデインタリーブを実行するアルゴリズム及び専用ハードウェアのうちの１つを選択する選択装置を備える。

EEE.26）EEE.22記載のビデオ装置について、フォーマットコンバータは、水平方向のインタリーブされたビデオデータのグループ、垂直方向のインタリーブされたビデオデータのグループ、ブロックに基づくインタリーブされたビデオデータのグループ、マップに基づいたインタリーブされたビデオデータのグループのうちの少なくとも１つをデインタリーブする。

EEE.27）EEE.22記載のビデオ装置について、少なくとも１つの画像からデータのデインタリーブされたグループをアップコンバートするアップコンバータを更に含む。

EEE.28）EEE.27記載のビデオ装置について、アップコンバートされたデータは、2D画像として出力される。

EEE.29）EEE.28記載のビデオ装置について、2D画像は、HDMIと互換性のある信号でフォーマットされる。

EEE.30）EEE.27記載のビデオ装置について、アップコンバートされたデータは、3D画像における第一のビューを有する第一の画像のデータと、3D画像の第二のビューを有する第二の画像のデータを有する。

EEE.31）EEE.22記載のビデオ装置について、ビデオ装置は、Blu-Ray DVDプレーヤ、メディアプレーヤ、セットトップボックス、ケーブルボックス、コンピュータビデオカード、チューナ、又は他の電子装置の少なくとも１つの一部である。

EEE.32）EEE.22記載のビデオ装置について、デコーダは、MPEG-2、MPEG-2 AVC、VC1及び他のデコーダのうちの１つを含む。

EEE.33）符号化システムは、少なくとも２つの異なるビューの画像をサブサンプリングするサブサンプラと、それぞれのビューからの画像の少なくとも１つのグループを選択し、グループをビデオストリームの１つの画像フレームにインタリーブするフォーマッタと、ビデオストリームを符号化するエンコーダと、を備える。

EEE.34）EEE.33記載の符号化システムについて、エンコーダは、MPEG-4 AVCエンコーダを備える。

EEE.35）EEE.33記載の符号化システムについて、画像データのグループは、１を超える画素のグループを備える。

EEE.36）EEE.33記載の符号化システムについて、フォーマッタは、偶数と奇数及び行と列のセレクタを有し、画像データのグループをインタリーブすることは、水平方向の再配列、垂直方向の再配列、インタリーブされた水平方向の再配列、インタリーブされた垂直方向の再配列、ブロック再配列、インタリーブされたブロックの再配列、垂直方向のインタリーブされた再配列、及び水平方向のインタリーブされた再配列の少なくとも１つを含むグループを有する。

EEE.37）EEE.33記載の符号化システムについて、データのグループをインタリーブするアレンジメント（取り決め）を選択する選択装置を更に備える。

EEE.38）EEE.33記載の符号化システムについて、フォーマットされる２つの画像からのデータのアレンジメントをマッピングするマッパを更に備える。

EEE.39）記録媒体にビデオストリームを記録した記録媒体であって、ビデオストリームは、少なくとも２つのビューからのデータのインタリーブされたセットを有し、対応するメディアプレーヤによりロードされて読み取られたとき、メディアプレーヤに、ビデオストリームを復号化及びデインタリーブさせ、次いで、表示装置のためにビデオストリームをフォーマット化させる。

EEE.40）EEE.39記載の記録媒体について、データのセットは、3D画像の第一のビューに対応するデータの複数のセットと、3D画像の第二のビューに対応するデータの複数のセットを含む。

EEE.41）EEE.39記載の記録媒体について、記録媒体は、メモリカード、ディスク及び電磁キャリアの物理特性の少なくとも１つを含む。

EEE.42）EEE.39記載の記録媒体について、メモリカード、電磁キャリア及び光ディスクの少なくとも１つの物理特性により表される記録媒体の記録内容は、ビデオストリームを含み、暗号化される。

EEE.43）ビデオ符号化システムは、第一の画像に対応するデータの少なくとも１つのパッケージ、第二の画像に対応するデータの少なくとも１つのパッケージ、第一の画像の少なくとも１つの解像度及びダイナミックレンジのエンハンスメント、第二の画像の少なくとも１つの解像度及びダイナミックレンジのエンハンスメントを、ビデオストリームの画像データフレームにフォーマット化するフォーマッタと、フォーマット化された第一の画像データ及びエンハンスメント、第二の画像及びエンハンスメントを、記憶及びブロードキャストの少なくとも１つのために、ビデオストリームに符号化するエンコーダと、を備える。

EEE.44）EEE.43記載のビデオ符号化システムについて、エンコーダは、あるサブ画像について、他のサブ画像に対応するサンプルからの予測を実行することから制限する。

EEE.45）EEE.43記載のビデオ符号化システムについて、エンコーダは、空間的に先に纏められたサブ画像について、他のサブ画像に対応するサンプルから予測を実行することから制限する。

EEE.46）ビデオ復号化システムは、ビデオストリームのデータフレームであって、少なくとも２つの画像からの画像データと、画像のうちの少なくとも１つのエンハンスメントからの画像データを含むデータフレームを復号化するデコーダと、復号化された画像データにより再現される原画像の低解像度のバージョンを生成するため、画像の少なくとも１つからの復号化された画像データをリフォーマットするリフォーマッタと、を備えるビデオ復号化システム。

EEE.47）EEE.46記載のビデオ復号化システムについて、リフォーマッタは、少なくとも１つの画像に対応するデータをデインタリーブするデインタリーバを備える。

EEE.48）EEE.46記載のビデオ復号化システムについて、リフォーマッタは、第二の画像と、少なくとも１つの画像のエンハンスメントの少なくとも１つを廃棄する。

EEE.49）EEE.46記載のビデオ復号化システムについて、復号化されたエンハンスメントの少なくとも幾つかを利用して、復号化された画像をエンハンスし、高い解像度及び高いダイナミックレンジの画像を生成するエンハンサを更に有する。

EEE.50）EEE.49記載のビデオ復号化システムについて、エンハンスメントはビデオ復号化システムがリアルタイムで実行されるように、それぞれの画像に対してプログレッシブに適用される。

EEE.51）EEE.49記載のビデオ復号化システムについて、エンハンスメントは、ビデオ復号化システムがリアルタイムで実行され、且つ出力表示装置がエンハンスされた画像を表示することができる場合に、それぞれの画像にプログレッシブに適用される。

図面に例示される本発明の好適な実施の形態の記載において、特定の専門用語は、明確さのために採用されている。しかし、本発明は、そのように選択された特定の専門用語に制限されることが意図されず、それぞれの特定のエレメントは、類似のやり方で動作する全ての技術的に等価なものを含む。たとえば、（たとえばブロック、垂直、水平又はその他）インタリーブ技術を記載するとき、他の等価なインタリーブ、又はそれら列挙されたものの変化、又は本明細書で説明されたのと同じ問題に対処する完全に異なるインタリーブパターンは、置き換えられる場合がある。さらに、本発明者は、現在知られていない新たに開発された技術もまた、１以上の本発明の記載された部分について置き換えられる場合があり、本発明の範囲から逸脱しないことを認識している。全ての他の記載されるアイテムは、エンコーダ、サンプリング、インタリービング、デコーダ、マップ、パターン／アレンジメント／フォーマット等に限定されるものではないが、利用可能な等価なものの一部又は全部に照らして考慮されるべきである。

本発明の一部は、コンピュータ分野における当業者にとって明らかであるように、従来の汎用コンピュータ又は専用のデジタルコンピュータ、或いは本明細書の開示の教示に従ってプログラムされたマイクロプロセッサを使用して実現される場合がある。

適切なソフトウェア符号化は、ソフトウェア分野の当業者にとって明らかであるように、本明細書の開示の教示に基づいて熟達したプログラマにより容易に作成することができる。本発明は、本明細書の開示に基づいて当業者にとって明らかであるように、特定用途向け集積回路を作成することにより、従来のコンポーネント回路の適切なネットワークを相互接続することにより、実現することができる。

本発明は、コンピュータを制御するために使用されるか、コンピュータに本発明のプロセスの何れかを実行させるために使用される命令を有する記録媒体であるコンピュータプログラムプロダクトを含む。記録媒体は、限定されるものではないが、フロプティカルディスク、ミニディスク（MD）、光ディスク、DVD、HD-DVD、Blue-Ray、CD-ROM、CD又はDVD RW+/-、マイクロドライブ及び光磁気ディスクを含む何れかのタイプのディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリ装置（フラッシュカード、メモリスティック）、磁気又は光カード、SIMカード、MEMS、ナノシステム（分子記憶ICを含む）、RAIDデバイス、リモートデータストレージ／アーカイブ／ウェアハウジング、或いは命令及び／又はデータを記憶するのに適した何れかのタイプのメディア又はデバイスを含む。

コンピュータ読み取り可能な記録媒体（メディア）の何れか１つに記憶されるものとして、本発明は、汎用／専用コンピュータ又はマイクロプロセッサのハードウェアを制御し、コンピュータ又はマイクロプロセッサが人間のユーザ又は他のメカニズムと相互作用して本発明の結果を利用するのを可能にするソフトウェアを含む。係るソフトウェアは、限定されるものではないが、デバイスドライバ、オペレーティングシステム及びユーザアプリケーションを含む。最終的に、係るコンピュータ読み取り可能な記録媒体は、上述されたように、本発明を実行するソフトウェアを更に含む。

汎用／専用コンピュータ又はマイクロプロセッサのプログラミング（ソフトウェア）に含まれるものとして、限定されるものではないが、サンプリング、サブ画像の識別、サブ画像の配列、本発明に関連するインタリーブスキーム又はサブ画像に関連する形式でのサイド情報の符号化、復号化後のリフォーマット化、及び、本発明のプロセスに従う結果の表示、記憶、又は伝達を含む、本発明の教示を実現するソフトウェアモジュールである。

本発明は、本明細書に記載されたエレメント（本発明の様々な部分又は特徴）及びそれらの等価な概念を適切に含む。本明細書で例示的に開示される本発明は、本明細書で時に開示されるか否かに係らず、任意のエレメントがない場合に実施される場合がある。明らかに、本発明の様々な変更及び変形が本明細書の教示に照らして可能である。従って、特許請求の範囲において、本明細書で特に断りが無い限り本発明は実施されることを理解されたい。

Claims (28)

1. n個の画像をサブサンプリングするステップと、
   サンプリングされた画像のそれぞれをサブ画像に分割するステップと、
   サブ画像を１つの画像フレームに纏めるステップと、
   １つの画像フレームをビデオエンコーダにより符号化するステップと、
   を含む方法。
2. 前記サブサンプリングするステップは、quincunxサンプリングを含む、
   請求項１記載の方法。
3. 前記分割するステップは、少なくとも１つの行及び列に基づいて、サンプリングされた画像を分割するステップを含む、
   請求項１記載の方法。
4. 前記サブ画像は、対応する画像からのパターンを介して選択されたデータを含む、
   請求項１記載の方法。
5. 前記分割するステップは、サンプリングされた画像のそれぞれからの近傍のデータからなる複数のブロックを作成するステップを含む、
   請求項１記載の方法。
6. 前記纏めるステップは、予め決定されたフォーマットでサブ画像をインタリーブするステップを含む、
   請求項１記載の方法。
7. 前記予め決定されたフォーマットは、画像、サンプリングされた画像及び分割された画像サンプルのうちの少なくとも１つに基づいて適応的に変更される、
   請求項６記載の方法。
8. 前記予め決定されたフォーマットを識別するマップを符号化するステップを更に含む、
   請求項６記載の方法。
9. 前記マップは、画像フレームのある領域で符号化され、
   前記サブ画像を纏めるステップは、前記画像フレームの他の領域で実行される、
   請求項１記載の方法。
10. 前記マップは、サイド情報として符号化される、
    請求項８記載の方法。
11. 前記サブサンプリングするステップは、quincunxサンプリングを含み、
    前記分割するステップは、サブサンプリングされた画像の１つおきの行及び１つおきの列のうちの１つを使用してサブ画像を作成するステップを含み、
    前記纏めるステップは、行及び列に基づいたサブ画像のうちの１つを配列するステップを含む、
    請求項１記載の方法。
12. 前記画像フレーム内のサブ画像の配列の識別子を符号化するステップを更に含む、
    請求項１記載の方法。
13. 前記纏めるステップは、サブサンプリングされた画像のうちの１つの大きさと同じ少なくとも１つの大きさを維持する、
    請求項１記載の方法。
14. 前記纏めるステップは、SNR/解像度スケーラビリティ、2D−3Dスケーラビリティを含むスケーラビリティ機能を可能にするために選択されたパッケージングフォーマットを含む、
    請求項１記載の方法。
15. 前記符号化するステップは、JPEG、JPEG-2000、MPRG-2、MPEG-4 AVC及びVC1符号化のような画像又は映像符号化システムを含む、
    請求項１記載の方法。
16. ビデオ信号においてフレーム当たり１を超える画像を含む符号化されたビデオ信号を復号化するデコーダと、
    復号化されたビデオ信号におけるフレームフォーマットでインタリーブされたビデオデータのグループであって、第一の画像からのビデオデータの１以上のグループと、第二の画像からのビデオデータの１以上のグループとを有するビデオデータのグループをデインタリーブするフォーマットコンバータと、
    を備えるビデオ装置。
17. 前記フォーマットコンバータは、複数のインタリーブフォーマットからデータのグループをデインタリーブするデインタリーバを有する、
    請求項１記載のビデオ装置。
18. 前記フォーマットコンバータは、インタリーブされたデータグループのフォーマットに基づいてデインタリーブを実行するアルゴリズム及び専用ハードウェアのうちの１つを選択する選択装置を有する、
    請求項１記載のビデオ装置。
19. 前記フォーマットコンバータは、水平方向のインタリーブされたビデオデータのグループ、垂直方向のインタリーブされたビデオデータのグループ、ブロックに基づくインタリーブされたビデオデータのグループ、マップに基づくインタリーブされたビデオデータのグループのうちの少なくとも１つをデインタリーブする、
    請求項１記載のビデオ装置。
20. 少なくとも１つの画像からのデインタリーブされたデータのグループをアップコンバートするアップコンバータを更に含む、
    請求項１記載のビデオ装置。
21. 前記アップコンバートされたデータは、3D画像における第一のビューを有する第一の画像のデータと、3D画像の第二のビューを有する第二の画像のデータを有する、
    請求項２０記載の方法。
22. 前記ビデオ装置は、Blu-Ray DVDプレーヤ、メディアプレーヤ、セットトップボックス、ケーブルボックス、コンピュータビデオカード、チューナ、又は他の電子装置の少なくとも１つの一部である、
    請求項１記載のビデオ装置。
23. 少なくとも２つの異なるビューの画像をサブサンプリングするサブサンプラと、
    それぞれのビューからの画像からなる少なくとも１つのグループを選択し、グループをビデオストリームの１つの画像フレームにインタリーブするフォーマッタと、
    ビデオストリームを符号化するエンコーダと、
    を備える符号化システム。
24. 前記エンコーダは、MPEG-4 AVCエンコーダを備える、
    請求項２３記載の符号化システム。
25. 前記画像データのグループは、１を超える画素のグループを備える、
    請求項２３記載の符号化システム。
26. 前記フォーマッタは、偶数と奇数及び行と列のセレクタを有し、
    前記画像データのグループのインタリーブは、水平方向の再配列、垂直方向の再配列、インタリーブされた水平方向の再配列、インタリーブされた垂直方向の再配列、ブロック再配列、インタリーブされたブロックの再配列、垂直方向のインタリーブされた再配列、及び水平方向のインタリーブされた再配列の少なくとも１つを含むグループを有する、
    請求項２３記載の符号化システム。
27. 前記データのグループをインタリーブするアレンジメントを選択する選択装置を更に有する、
    請求項２３記載の符号化システム。
28. フォーマットされるように、２つの画像からのデータのアレンジメントをマッピングするマッパを更に備える。
    請求項２３記載の符号化システム。

Images