JP2005176383A - 色空間の符号化フレームワーク - Google Patents

Abstract

【課題】 トランスコーダを使用せずに、２つまたは複数のビデオ・フォーマット間で変換する符号化フレームワークを提供する。
【解決手段】 第１の色空間サンプリング・フォーマットに従ってフォーマットされた色情報を含むビデオ情報ストリームは基本ストリームと拡張ストリームに分割される。基本ストリームは第２の色空間サンプリング・フォーマットに従ってフォーマットされる。拡張ストリームは、基本ストリームと組み合わせられたときに、第１フォーマットを復元する拡張情報を含む。符号化時に、拡張ストリームは、基本情報ストリームに関連付けられる空間情報を使用して符号化することができる。符号化された基本ストリームおよび符号化された拡張ストリームからなる出力ストリームは、インタリーブあるいは連結することができ、または符号化された基本ストリーム、および符号化された基本ストリーム用の独立したファイルを含むことができる。
【選択図】 図１１

Description

本発明は、マルチメディアに関し、より詳細には、ビデオ・フォーマット（video formats；映像形式）を扱うための色空間の符号化フレームワーク（color space coding framework）に関する。

家電市場は、絶えず変化している。市場が絶えず変化している１つの理由は、消費者が、電子装置についてより高いビデオ品質を求めているからである。その結果、製造元は、より解像度の高いビデオ装置の設計を行っている。より高解像度のビデオ装置をサポートするために、よりよいビジュアル品質を実現する、より優れたビデオ・フォーマットが設計されつつある。

ビデオ・フォーマットの大部分がそこから導出されている２つの主要な色空間（color space ）がある。第１の色空間は一般に、ＲＧＢ（赤緑青）色空間（以下、ＲＧＢと称する）と呼ばれる。ＲＧＢは、コンピュータ・モニタ、カメラ、スキャナなどで使用される。ＲＧＢ色空間は、それに関連する多数のフォーマットを有する。それぞれのフォーマットは、各ピクセルごとに、赤、緑および青のクロミナンスを表す値を含む。あるフォーマットでは、それぞれの値は、８ビット・バイトである。したがって、それぞれのピクセルは、２４ビット（８ビット（Ｒ）＋８ビット（Ｇ）＋８ビット（Ｂ））を使う。別のフォーマットでは、それぞれの値は、１０ビットである。したがって、それぞれのピクセルは、３０ビットを使う。

テレビ・システムでは、別の色空間が広く使用されてきており、それは一般に、ＹＣｂＣｒ色空間またはＹＵＶ色空間（以下、ＹＵＶと称する）と呼ばれる。ＹＵＶは、人間の目が、ピクセルの色の違いよりもその強度の違いにより敏感であることを考慮しているので、所与の帯域幅において、ＲＧＢと比較すると、多くの点で、優れたビデオ品質をもたらす。結果として、色差信号（color difference signal）をサブ・サンプリングして、帯域幅の節約を実現することができる。したがって、ＹＵＶ色空間に関連付けられたビデオ・フォーマットはそれぞれ、各ピクセルごとに、輝度値（）（Ｙ）を有し、また２つあるいはそれ以上のピクセル間で、（ＵおよびＶで表される）色値を共有することができる。Ｕ（Ｃｂ）の値は、Ｂ−Ｙ間の青のクロミナンス差を表し、Ｖ（Ｃｒ）の値は、Ｒ−Ｙ間の赤のクロミナンス差を表す。緑のクロミナンス値は、Ｙ、ＵおよびＶの値から導出され得る。ビデオ符号化の分野では、ＹＵＶ色空間が、圧倒的に使用されてきた。

複数のＹＵＶフォーマットが、現在存在している。図１〜５に、より一般的なＹＵＶフォーマットのうちの５つ、すなわちＹＵＶ４４４、ＹＵＶ４２２、ＹＵＶ４２０、ＹＵＶ４１１およびＹＵＶ４１０をそれぞれ示す。図１〜５に、配列（array）１００〜５００をそれぞれ図示する。図示される配列はそれぞれ、８×８のブロック配列である。しかし、これらの配列は、任意のディメンションのものでよく、また必ずしも正方形である必要はない。配列の各ブロック（点で表される）は、ピクセルの配列を表す。便宜上、また従来のビデオ技術に沿うように、以下の議論では、それぞれのブロックが１つのピクセル（ピクセルＰ_１〜Ｐ_４など）を表すものとして説明する。したがって、以下では、用語「ピクセル」は、配列１００〜５００に言及する場合に、用語「ブロック」と同義に（interchangeably）用いられる。ピクセルは、目標のビデオ・フォーマットに望まれるサンプリングに基づいて、マクロ・ブロック（マクロ・ブロックＭＢ_１〜ＭＢ_Ｎなど）にグループ化される。図１〜３では、それぞれが４ピクセル（ピクセルＰ_１〜Ｐ_４など）を含むマクロ・ブロックが示されている。図４〜５では、それぞれが１６ピクセル（ピクセルＰ_１〜Ｐ_１６など）を含むマクロ・ブロックが示されている。次に、それぞれのＹＵＶフォーマットについて、より詳細に説明する。

図１に、ＹＵＶ４４４フォーマット（形式）を図示する。ＹＵＶ４４４フォーマットでは、それぞれのピクセルは、Ｙ、ＵおよびＶの値で表される。たとえば、ＹＵＶ４４４フォーマットは、Ｐ_１では、Ｙ_１値について８ビット、Ｕ_１値について８ビット、Ｖ_１値について８ビットを含む。したがって、それぞれのピクセルは、２４ビットで表される。このフォーマットでは、それぞれのピクセルについて、２４ビットを使用するので、ビット数が減らされるように、他のフォーマットは、ＹＵＶ４４４からダウン・サンプリングされる。ピクセル単位のビット数を減らすことによって、ストリーミング効率の向上がもたらされる。しかし、ダウン・サンプリングすると、結果として、それに対応するビデオ品質の低下が生じる。

図２に、ＹＵＶ４２２フォーマット（形式）を示す。ＹＵＶ４２２フォーマットでは、それぞれのピクセルは、Ｙ値で表される。しかし、ＹＵＶ４４４フォーマットとは異なり、そのＵおよびＶの値は、任意選択でフィルタリングされ、次いで、ダウン・サンプリングされる。フィルタリングおよびダウン・サンプリングは、既知の技術を使用して、同時に実施され得る。配列２００で、水平方向に２ピクセルごとにサンプリングされているものを示すことによって、配列２００に、ダウンダンプリングの結果を概念的に示す。サンプリングされたピクセルは、配列２００内で、「Ｘ」で示される。したがって、ピクセルＰ_１およびＰ_３はそれぞれ、２４ビットで表される。しかし、ピクセルＰ_２およびＰ_４はそれぞれ、８ビット（Ｙ値のみ）で表される。ＹＵＶ４２２フォーマットのピクセル単位の平均ビット数は、１６ビット（（２４＋２４＋８＋８）／４）である。ＹＵＶ４２２は、パックされたＹＵＶ色空間（packed YUV color space）であり、それは、Ｙ、ＵおよびＶサンプルが、インタリーブされていることを意味する。一般に、ＭＰＥＧ−２やＭＰＥＧ−４など、ＹＵＶ４２２フォーマットをサポートする標準は、すべてのクロミナンス・ブロックを一緒にコード化する。たとえば、ＭＰＥＧ−２用のＹＵＶ４２２フォーマットでは、ＹＵＶ４２２データを、Ｙ１ Ｕ１ Ｙ２ Ｖ１として、メモリに格納し、ただし、Ｙ１およびＹ２は、ピクセルＰ_１およびＰ_２の輝度値をそれぞれ表す。Ｙ１およびＹ２は、２つの輝度ブロックを表す。Ｕ１およびＶ１は、２つのクロミナンス・ロックを表す。

図３に、ＹＵＶ４２０フォーマット（形式）を図示する。配列３００で、水平方向に２ピクセルごとに、かつ縦方向に２ピクセルごとにサンプリングされているものを示すことによって、配列３００に、ＹＵＶ４４４フォーマットから、オプションでフィルタリングされ、またダウン・サンプリングされた結果を概念的に示す。この場合も、配列３００で、サンプリングされたピクセルは、「Ｘ」で示される。したがって、ＹＵＶ４２０フォーマットでは、ピクセルＰ_１だけが、２４ビットで表される。しかし、ピクセルＰ_２〜Ｐ_４はそれぞれ、８ビット（Ｙ値のみ）で表される。ＹＵＶ４２０フォーマットのピクセル単位の平均ビット数は、１２ビット（（２４＋８＋８＋８）／４）である。ＹＵＶ４２０は、平面フォーマット（planar format）であり、パックされたフォーマットではない。したがって、ＹＵＶ４２０データは、すべてのＹデータがまず格納され、次いで、Ｕデータ、次いで、すべてのＶデータが格納されるように、メモリに格納される。したがって、４つの輝度ブロック、１つのＵクロミナンス・ブロック、および１つのＶクロミナンス・ブロックがある。

図４に、ＹＵＶ４１１フォーマット（形式）を図示する。配列４００で、水平方向に４ピクセルごとにサンプリングされているものを示すことによって、配列４００に、ＹＵＶ４４４フォーマットから、オプションでフィルタリングされ、またダウン・サンプリングされた結果を概念的に示す。したがって、Ｐ_１、Ｐ_５、Ｐ_９、およびＰ_１３はそれぞれ、２４ビットで、また他の１２ピクセルは、８ビットで表される。ＹＵＶ４１１フォーマットのピクセル単位の平均ビット数は、１２ビットである。

図５に、ＹＵＶ４１０フォーマット（形式）を図示する。配列５００で、水平方向に４ピクセルごとに、かつ垂直方向に４ピクセルごとにサンプリングされているものを示すことによって、配列５００に、ＹＵＶ４４４フォーマットから、オプションでフィルタリングされ、またダウン・サンプリングされた結果を概念的に示す。したがって、Ｐ_１だけは２４ビットで、他の１５個のピクセルは、８ビットで表される。ＹＵＶ４１０フォーマットのピクセル単位の平均ビット数は、９ビットである。

したがって、望まれる品質、および使用可能な伝送帯域幅に基づいて、電子装置製造元は、電子装置を、こうしたおよび他のフォーマットのいずれかで動作するように設計することができる。しかし、後に、伝送帯域幅が増加し、および／または消費者がより高品質のビデオを求め始める場合に、既存の電子装置は、その、より高品質のビデオ・フォーマットをサポートしない可能性がある。たとえば、現在多くのデジタル・テレビ、セットトップボックスおよび他の装置が、ＹＵＶ４２０ビデオ・フォーマットで動作するように設計されている。様々なカテゴリの消費者を満足させるために、これらの両方のビデオ・フォーマットに対処することが求められている。

テレビ局は、より高品質のビデオ・フォーマット（ＹＵＶ４２２など）と、より低品質のビデオ・フォーマット（ＹＵＶ４２０など）の両方をブロードキャストすることができる。しかし、このオプションは、２つの異なるチャネル上に、同じコンテンツを含むことを必要とし、このことは貴重なチャネル・リソースを消費するので、テレビ放送事業者にとって、高価なものである。したがって、現在、より高解像度のフォーマットは、サーバ側またはクライアント側で、より低解像度のフォーマットにトランスコード（transcode）されている。図６は、トランスコーディング・プロセスを示すブロック図である。トランスコーダ６００は、フォーマット（形式）Ａ（ＹＵＶ４２２など）の入力フォーマットを受け付け、フォーマット（形式）Ｂ（ＹＵＶ４２０など）の出力フォーマットを出力する。このトランスコーディング・プロセスにおいて、Ｙ、ＵおよびＶ成分を含むビデオ入力・フォーマットの全体が復号される。ＵＶ成分は動き補償され、これに伴う動きベクトルは、Ｙ成分を復号することによってしか得られないので、Ｙ成分はＵＶ成分とともに復号されなければならない。したがって、輝度ブロックおよびすべてのクロミナンス・ブロックを復号して、入力フォーマットによる元のビデオの復元されたバージョンが得られる。次いで、入力フォーマットを所望の出力フォーマットに変換するために、クロミナンス成分がダウンサンプルされる。最後に、新たに生成されたビデオが、再び符号化されて、出力フォーマット（フォーマットＢ）のビット・ストリームが生成される。このトランスコーディング・プロセスは一般に、エンコーダにデコーダを加えたものに等しいので、高価である。高速のトランスコーディング方法が存在するが、一般に、品質の低下がもたらされる。

トランスコーダ６００は、クライアント側でも、サーバ側でも、また別の場所でも存在することができる。トランスコーディング・プロセスが、クライアント側で実施される場合、高品質ビデオのサービスに加入している消費者は、高品質ビデオにアクセスすることができ、他の消費者は、低品質ビデオにアクセスすることができる。トランスコーディング・プロセスが、サーバ側で実施される場合、どの消費者も、高品質のビデオにアクセスすることができない。トランスコーディング・プロセスは、非常に高価であり、一般に、品質の低下につながるので、どちらのオプションも、最適ではない。

したがって、既存のより低品質のビデオ装置で動作すること（operation）を維持しながら、高品質のビデオを提供するためのよりよい解決策が必要とされている。

この色空間符号化フレームワークは、トランスコーダを使用せずに、２つまたは複数のビデオ・フォーマット間で変換することを提供する。第１の色空間サンプリング・フォーマットに従ってフォーマットされた色情報を含むビデオ情報ストリームが、基本ストリームと拡張ストリームに分割される。基本ストリームは、第２の色空間サンプリング・フォーマットに従ってフォーマットされる。拡張ストリームは、基本ストリームと組み合わせられたときに、第１フォーマットを復元する拡張情報を含む。符号化時に、拡張ストリームは、基本情報ストリームに関連する空間情報を使用して符号化され得る。符号化された基本ストリーム、および符号化された基本ストリームの出力ストリームは、インタリーブされ連結されることができ、または符号化された基本ストリーム、および符号化された拡張ストリームのための独立したファイルを含むことができる。

簡潔に説明すると、この色空間符号化フレームワークは、入力ビデオ符号化フォーマットから、複数のデータ・ストリームを生成するための方法を提供する。複数のデータ・ストリームは、第２のビデオ符号化フォーマットに対応する基本ストリーム、および入力ビデオ符号化フォーマットから得られた拡張情報を含む、少なくとも１つの拡張ストリームを含む。本方法を使用することによって、マルチメディア・システムは、様々な電子装置をサポートするために、入力ビデオ・フォーマットを、他のビデオ・フォーマットにトランスコードする必要性を克服することができる。以下の説明を読んだ後に、より低品質のフォーマットを使用して動作するように構成された電子装置が、本発明の色空間符号化フレームワークを使用して、周期的なクロミナンス・ブロックを容易に切り捨てたり、また、結果として生じるビデオが依然として正確に表示されるようにしたりすることができることが理解されよう。以下の議論では、ＹＵＶ４２２およびＹＵＶ４２０ビデオ・フォーマットを使用して、本符号化フレームワークについて説明する。しかし、この符号化フレームワークが、他のビデオ・フォーマットで、またビデオ・フォーマットの色ブロック（chromo block）内に含まれる情報に類似の情報を含むブロックに分割されることが可能な他のマルチメディア・フォーマットで動作し得ることが、ビデオ符号化分野の当業者には理解されよう。

したがって、以下の説明では、特定の例示的な符号化フレームワークについて説明する。他の例示的な符号化フレームワークは、この特定の実施形態の特徴、および／またはマルチメディア・フォーマット（ビデオ・フォーマットなど）をトランスコードする必要を取り除くことを目的とし、また電子装置に複数のメルチメディア・フォーマットを提供することを目的とする他の特徴を、含むことが可能である。

以下の詳細な説明は、複数の節に分けられる。第１の節では、本発明の符号化フレームワークを組み込む、例示的なコンピューティング装置について説明する。第２の節では、符号化フレームワーク内の個々の要素について説明する。第３の節では、本発明の色空間符号化フレームワークに従って符号化および復号される例示的なビット・ストリームについて説明する。

例示的なコンピューティング装置
図７に、例示的な本発明の符号化フレームワークを使用することができる例示的なコンピューティング装置を示す。コンピューティング装置の例は、テレビ受像機がインターネットとのインターフェイスになることを可能にしたり、またテレビ受像機がデジタル・テレビ（ＤＴＶ：digital television）ブロードキャストを受信し復号することを可能にしたりするセットトップボックスを含む。他の構成では、例示的なコンピューティング装置は、セットトップボックスから分離され、セットトップボックスに入力を提供し得る。コンピューティング装置の別の例には、デジタル・カムコーダ（digital camcorder）やデジタル・カメラなどのビデオ記録装置が含まれる。非常に基本的な構成では、コンピューティング装置７００は一般に、少なくとも１つの処理装置７０２、およびシステム・メモリ７０４を含む。厳密な構成およびコンピューティング装置のタイプに応じて、システム・メモリ７０４は、揮発性（ＲＡＭなど）でも、不揮発性（ＲＯＭ、フラッシュ・メモリなど）でも、またその２つの組合せでもよい。システム・メモリ７０４は一般に、オペレーティング・システム７０５、１つまたは複数のプログラム・モジュール７０６を含み、またプログラム・データ７０７を含むことができる。ウェブ・ブラウザは、オペレーティング・システム７０５内に含まれることも、またプログラム・モジュール７０６のうちの１つであることもある。ウェブ・ブラウザによって、コンピューティング装置は、インターネットを介して通信することができる。

コンピューティング装置７００は、追加の特徴または機能を有し得る。たとえば、コンピューティング装置７００は、たとえば磁気ディスク、光ディスクまたはテープなど、追加のデータ記憶装置（取外し可能／取外し不可能）をも含むことができる。図７では、こうした追加の記憶装置は、取外し可能記憶装置７０９および取外し不可能記憶装置７１０で示される。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュールまたは他のデータなど、情報を格納するための任意の方法または技術で実装された、揮発性および不揮発性、取外し可能および取外し不可能な媒体を含むことができる。システム・メモリ７０４、取外し可能記憶装置７０９および取外し不可能記憶装置７１０はすべて、コンピュータ記憶媒体の例である。コンピュータ記憶媒体には、それだけに限らないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、あるいは所望の情報を格納するために使用することができ、またコンピューティング装置７００からアクセスすることができる他の任意の媒体が含まれ得る。こうしたどのコンピュータ記憶媒体もが、装置７００の一部であることが可能である。コンピューティング装置７００は、キーボード、マウス、ペン、音声入力装置、タッチ入力装置などの入力装置７１２をも含むことが可能である。ディスプレイ、スピーカ、プリンタなどの出力装置７１４も含まれることが可能である。こうした装置は、当技術分野では周知であり、本明細書では、詳細に論じる必要はない。コンピューティング装置７００は、ビデオおよびオーディオの復号のため、また本発明の符号化フレームワークに従って実施される処理のための１つまたは複数の装置（チップなど）をも含むことが可能である。

コンピューティング装置７００は、それが他のコンピューティング装置７１８と、たとえばネットワークを介して通信できるようにする通信接続７１６をも含み得る。通信接続７１６は、通信媒体の一例である。通信媒体は、一般に、搬送波もしくは他の移送機構などの変調されたデジタル信号の形に、コンピュータ可読命令、データ構造体、プログラム・モジュール、または、他のデータを具現化することによって実施することができ、また任意の情報配信媒体を含む。用語「変調されたデータ信号」は、信号に情報を符号化するような形でその特性の１つまたは複数が設定または変更された信号を意味する。限定のためではなく、例を挙げると、通信媒体には、有線ネットワークや直接有線接続などの有線媒体、ならびに音響、ＲＦ、赤外線などの無線媒体、および他の無線媒体などが含まれ得る。したがって、通信媒体は、電話回線および電話ケーブルを含む。本明細書では、コンピュータ可読媒体という用語は、記憶媒体と通信媒体の両方を含む。

例示的な符号化フレームワーク
図８は、第１のビデオ符号化フォーマット（フォーマットＡなど）を、複数のストリーム（基本フォーマットＢのストリーム、および拡張フォーマットＢのストリーム）に分離するためのクロマ分離器（chroma separator）８００のブロック図である。フォーマットＡから基本ストリームを分離するためのプロセスについて、次に説明する。ダウン・サンプリングされたフォーマットの品質を向上させるために、高解像度から低解像度にダウン・サンプリングする前に、ロー・パス・フィルタリングを実施する一般的な手順は当業者には理解されよう。したがって、クロマ分離器８００は、オプションのロー・パス・フィルタ８０４を含むことになる。ロー・パス・フィルタは、様々な商用ロー・パス・フィルタのいずれかとすることができる。たとえば、ＭＰＥＧ−４用にＭＰＥＧ（Moving Picture Experts Group）に提案されたロー・パス・フィルタを使用することができる。ＭＰＥＧ−４ロー・パス・フィルタの係数は、ｃ＝［５／３２，１１／３２，１１／３２，５／３２］である。あるいは、クロマ分離器８００は、ロー・パス・フィルタ８０４を介してＹＵＶ値を処理せずに、ＹＵＶ値を保持することもできる。フォーマットＡから基本ストリームを分離するためのプロセスは、ダウン・サンプラー８０８をも含む。ダウン・サンプラー８０８は、所望の出力フォーマット用に指定された各行および列について、クロミナンス・ブロックを保持するように構成される。フォーマットＡの基本フォーマットＢへの変換は、当業者には周知であり、現在、一般的に実施されている。ダウン・サンプラー８０８の結果は、基本フォーマットＢのストリーム（ＹＵＶ４２０など）である。

別の実施形態では、フィルタ８０４およびダウン・サンプラー８０８は、組み合わせて、畳み込み演算（convolution operation）することができる。一般に、畳込みは、乗算、集計、およびシフトの組合せを含む。ある例示的な畳込み演算は、以下の通りである。 Ｌ_ｋ＝Ｃ_０ ^＊ｆ_２ｋ＋Ｃ_１ ^＊ｆ_２ｋ＋１＋Ｃ_２ ^＊ｆ_２ｋ＋２＋Ｃ_３ ^＊ｆ_２ｋ＋３ 数式１
ただし、ｋ＝０，１，２，…ｎ−１
Ｈ_ｋ＝ｄ_０ ^＊ｆ_２ｋ＋ｄ_１ ^＊ｆ_２ｋ＋１＋ｄ_２ ^＊ｆ_２ｋ＋２＋ｄ_３ ^＊ｆ_２ｋ＋３
数式２
ただし、ｋ＝０，１，２，…ｎ−１

境界ピクセルでは、ミラー拡張（mirror extension）を適用することができる。偶数のタップがある場合について、ミラー拡張を適用する例示的な一方法は、以下の通りである。
ｆ_−２＝ｆ_１，ｆ_−１＝ｆ_０，ｆ_２ｎ＝ｆ_２ｎ−１，ｆ_２ｎ＋１＝ｆ_２ｎ−２ 数
式３

奇数のタップがある場合について、ミラー拡張を適用する例示的な別の方法は、以下の通りである。
ｆ_−２＝ｆ_２，ｆ_−１＝ｆ_１，ｆ_２ｎ＝ｆ_２ｎ−２，ｆ_２ｎ＋１＝ｆ_２ｎ−３ 数式４

数式１〜４では、ｎは、ＵＶ信号の垂直ディメンションであり、ｆ_ｋは、フォーマットＡのクロミナンス・ロックの位置ｋにおけるピクセル値に対応する。Ｌ_ｋおよびＨ_ｋは、結果として生じる基本フォーマットＢおよび拡張フォーマットＢストリームの位置ｋにおけるピクセル値を表す。

次に、フォーマットＡから拡張ストリームを分離するためのプロセスについて説明する。クロマ分離器８００は、オプションのハイ・パス・フィルタ８０６を含むことになる。例示的なハイ・パス・フィルタ８０６は、係数ｄ＝［５／１２、１１／１２、−１１／１２，−５／１２］を含むことができる。あるいは、クロマ分離器８００は、フィルタ８０６を適用せずに、第１ビデオ符号化フォーマットからのＹＵＶ値を保持することができる。フォーマットＡから拡張ストリームを分離するためのプロセスは、ダウン・サンプラー８１０を含む。ある実施形態では、ダウン・サンプラー８１０は、ダウン・サンプラー８０８が保持しなかったすべての列を保持するように構成される。たとえば、ＹＵＶ４２２からＹＵＶ４２０に変換する場合に、ダウン・サンプラー８１０は、ハイ・パス・フィルタの出力のすべての偶数列を保持し得る。過去では、トランスコード・プロセスの時に、こうした「余分の」クロミナンス・ブロックは、単純に切り捨てられていた。しかし、本発明の色空間符号化フレームワークによれば、こうした「余分の」クロミナンス・ブロックは、拡張フォーマットＢストリームになる。以下で詳述するように、こうした「余分の」クロミナンス・ブロックを別個のストリーム内に維持することによって、２つのフォーマット間で変換するときに、非効率的なトランスコード・プロセスを、回避することができる。

別の実施形態では、フィルタ８０６およびダウン・サンプラー８１０は、組み合わせて、数式１〜４および関連する本文によって上記で説明した畳込み演算と同様な畳込み演算にすることができる。

別の例示的な実施形態では、ウェーブレット変換（すなわち分解およびダウン・サンプリング）が適用され、２つの所望の出力フォーマット、すなわち基本フォーマットＢおよび拡張フォーマットＢを生成する、得る。たとえば、変形９／７Ｄａｕｂｅｃｈｉｅｓウェーブレット変換（modified 9/7 Daubechies wavelet transform）が適用され得る。９／７ウェーブレットについて説明している追加の情報は、ＪＰＥＧ−２０００のリファレンスから取得することができる。標準の９／７Ｄａｕｂｅｃｈｉｅｓウェーブレット変換（すなわちフィルタリングおよびダウン・サンプリング）は、フォーマットＡを、フォーマットＢおよび拡張フォーマットＢに変換する。ロー・パス解析フィルタの係数、およびハイパス解析フィルタの係数は、以下の通りである。
Ｌ（９）：
０．０２６７４８７５７４１１，
−０．０１６８６４１１８４４３，
−０．０７８２２３２６６５２９，
０．２６６８６４１１８４４３，
０．６０２９４９０１８２３６，
０．２６６８６４１１８４４３，
−０．０７８２２３２６６５２９，
−０．０１６８６４１１８４４３，
０．０２６７４８７５７４１１
Η （７）：
０．０４５６３５８８１５５７，
−０．０２８７７１７６３１１４，
−０．２９５６３５８８１５５７，
０．５５７５４３５２６２２９，
−０．２９５６３５８８１５５７，
−０．０２８７７１７６３１１４，
０．０４５６３５８８１５５７

変換時の精度損失が最小になるように、整数リフティング方式が使用されて、９／７ウェーブレット変換が実現される。整数リフティング方式は、プロセスの間のあらゆる中間結果を取得し、その結果を、四捨五入（rounding）、切上げ整数化（ceiling）、切り捨て整数化（flooring）、あるいは切落し（clipping）によって、整数に変換する。図１５に、例示的な整数リフティング構成（integer lifting structure）１５００が示されている。処理は、左から右に実施される。図１５で、点Ｘ_０〜Ｘ_９は、フォーマットＡの元のピクセルを表す。点ｌ_０〜ｌ_４は、フォーマットＢのピクセルを表す。点ｈ_０〜ｈ_４は、拡張フォーマットＢのピクセルを表す。湾曲した矢印は、ミラー拡張を表す。記号（アルファ、ベータなど）を伴う方向分岐は、適用可能な記号に関連付けられた係数である第１の乗数、およびそれが離れるノードの値である第２の乗数による、乗算演算の適用を表す。水平分岐は、スケーリングせずに、あるノードの値を次の段階に繰り上げる演算の適用を表す。あるノードで合流する分岐は、これらの分岐に運ばれたすべての値が合算されて、合流ノードの値が生成されることを意味する。フォーマットＢの結果として生じる係数が、［０，２５５］の範囲内になるように、値ｋへの修正が、適用されることになる。

図１０に、フォーマットＡがＹＵＶ４２２に対応し、基本フォーマットがＹＵＶ４２０に対応する場合のクロマ分離器８００の結果が示されている。図１０に、図２に示す第１のビデオ符号化フォーマット（ビデオ符号化フォーマットＹＵＶ４２２など）に従ってサンプリングされた、配列２００を示す。それぞれのマクロ・ブロック（マクロ・ブロックＭＢ_１など）は、４つの輝度ブロック、ならびにＵについて１つ、Ｖについて１つの２つのクロミナンス・ブロックを含む。フォーマットＹＵＶ４２２の１つのマクロ・ブロックのメモリ・レイアウトは、４つの輝度ブロックおよび４つのクロミナンス・ブロックすなわちＹ１ Ｙ２ Ｙ３ Ｙ４ Ｕ１ Ｖ１ Ｕ２ Ｖ２を伴う。このＹＵＶ４２２フォーマットが、（図３に示す）ＹＵＶ４２０フォーマットを受け付ける電子装置によって使用される必要がある場合、過去では、ＹＵＶ４２２フォーマットは、それぞれの色ブロックを復号し、色ブロックを演算し、次いで、色ブロックを再び符号化するトランスコーダに入力されていた。

しかし、本発明の色空間符号化フレームワークを使用して、ＹＵＶ４２２は、配列１０００にフォーマットＢとして図示する新しいやり方で、符号化され、このフォーマットＢは、基本Ｂおよび拡張Ｂを含んでいる。不要なクロミナンス・ブロックを切り捨てる従来の変換方法とは異なり、本発明の色空間符号化フレームワークは、出力が本質的に２つのあるいはそれ以上のストリームを有するように、クロミナンス・ブロックを再構成する。第１ストリームは、クロマ分離器８００内で、オプションのロー・パス・フィルタ８０４、およびダウン・サンプラー８０８を用いて生成された、ＹＵＶ４２０などの基本フォーマットのクロミナンス・ブロックを含む。第２ストリームは、入力フォーマットからの余分のクロミナンス・ブロックを含むが、これらのブロックは、基本フォーマットによっては使用されないブロックである。したがって、基本フォーマットが完全に自己完結であることを確実にするように、第１ストリームは、基本フォーマットに関連付けられたクロミナンス・ブロックの完全なセットを含む。第２ストリームは、クロマ分離器８００内で、オプションのハイ・パス・フィルタ８０６、およびダウン・サンプラー８１０を用いて生成される。したがって、第２ストリームは、拡張ストリームを表し、この拡張ストリームは、第１ストリームと合わさって、入力ストリーム（フォーマットＡ）を復元（再構成）する。図示するように、基本ストリームと拡張ストリームの生成は、クロミナンス・ブロック（ピクセル）の移し替え（shuffling）によって行われ、それはクロミナンス成分のレイアウトを操作する。

図９は、基本フォーマットＢストリームと拡張フォーマットＢストリームをマージして、第１ビデオ符号化フォーマット（フォーマットＡなど）にするためのクロマ複合器（chroma compositor）のブロック図である。クロマ複合器９００は、アップ・サンプラー（up-sampler）９０４、およびクロマ複合器９００への入力である基本フォーマットＢストリーム処理するための、オプションの合成フィルタ９０８を含む。さらに、クロマ複合器９００は、アップ・サンプラー９０６、およびクロマ複合器９００への入力である拡張フォーマットＢストリーム処理するための、オプションの合成フィルタ９１０を含む。クロマ複合器９００は、アップ・サンプリングおよびフィルタリングの後に、出力をマージして、所望の第１ビデオ符号化フォーマットにする合成器（merger）９１２をも含む。ＹＵＶ４２２フォーマットおよびＹＵＶ４２０フォーマットを必要とする例示的な一実施形態では、合成器９１２は、２つの合成フィルタの出力を合計して、ＹＵＶ４２２ビデオ・ストリームを復元する。

アップ・サンプラー９０４は、必要に応じて、受信ストリームをパディング（pudding）する。オプションの合成フィルタ９０８は、係数ｃ’＝［−５／１２，１１／１２，１１／1２，−５／１２］を使用することができる。

アップ・サンプラー９０６も同様に、必要に応じて、受信ストリームをパディングする。オプションの合成フィルタ９１０は、係数ｄ’＝［−５／３２，１１／３２，−１１／３２，５／３２］を使用することができる。アップ・サンプラー９０４および合成フィルタ９０８は、マージして、以下の畳込み演算にすることができる。
ｆ_２ｋ＝２^＊（ｃ_０’^＊Ｌ_ｋ＋ｃ_２’^＊Ｌ_ｋ−１＋ｄ_０’^＊Ｈ_ｋ＋ｄ_２’^＊Ｈ_ｋ−１） 数式５
ただし、ｋ＝０，１，２，…ｎ−１
ｆ_２ｋ＋１＝２^＊（ｃ_１’^＊Ｌ_ｋ＋ｃ_３’^＊Ｌ_ｋ−１＋ｄ_１’^＊Ｈ_ｋ＋ｄ_３ ^＊Ｈ_ｋ−１） 数式６
ただし、ｋ＝０，１，２，…ｎ−１

アップ・サンプラー９０４および９０６は、ダウン・サンプラー８０８および８１０の全く逆の演算をそれぞれ実施する。８０６および８１０で切り捨てられた列については、９０４および９０６は、０を埋める。アップ・サンプラーの後に、信号が元の解像度に復元される。

境界ピクセルでは、ミラー拡張が適用され得る。偶数のタップが存在する場合について、ミラー拡張を適用するための１つの例示的な方法は、以下の通りである。
Ｌ_−１＝Ｌ_０，Ｈ_−１＝Ｈ_０ 数式７

奇数のタップが存在する場合について、ミラー拡張を適用するための別の例示的な方法は、以下の通りである。
Ｌ_−１＝Ｌ_１，Ｈ_−１＝Ｈ_１ 数式８

数式５〜８において、ｎは、ＵＶ信号の垂直ディメンションであり、ｆ_ｋは、フォーマットＡのクロミナンス・ブロックの位置ｋにおけるピクセル値に対応する。Ｌ_ｋおよびＨ_ｋは、結果として生じる基本フォーマットＢおよび拡張フォーマットＢストリームの位置ｋにおけるピクセル値を表す。

デコーダ１２００の別の実施形態では、逆９／７ウェーブレット変換（すなわちアップ・サンプリングおよびフィルタリング）を実施して、基本フォーマットＢおよび拡張フォーマットＢから、フォーマットＡのビデオが復元される。ロー・パス合成フィルタの係数およびハイパス合成フィルタの係数は、以下の通りである。
Ｌ （７）：
−０．０４５６３５８８１５５７，
−０．０２８７７１７６３１１４，
０．２９５６３５８８１５５７，
０．５５７５４３５２６２２９，
０．２９５６３５８８１５５７，
−０．０２８７７１７６３１１４，
−０．０４５６３５８８１５５７
Ｌ（９）：
０．０２６７４８７５７４１１，
０．０１６８６４１１８４４３，
−０．０７８２２３２６６５２９，
−０．２６６８６４１１８４４３，
０．６０２９４９０１８２３６，
−０．２６６８６４１１８４４３，
−０．０７８２２３２６６５２９，
０．０１６８６４１１８４４３，
０．０２６７４８７５７４１１

図１６に、逆変形９／７Ｄａｕｂｅｃｈｉｅｓウェーブレット変換に関連付けられた、対応する整数リフティング構成１６００を図示する。図１５について定義された記号によって、整数リフティング構成１６００を説明している。

エンコーダ１１００およびデコーダ１２００は、様々なウェーブレット変換を使用して実装され得る。たとえば、変形５／３Ｄａｕｂｅｃｈｉｅｓウェーブレット変換を使用することもできる。図１７〜１８に、変形５／３Ｄａｕｂｅｃｈｉｅｓウェーブレット変換、および逆変形５／３Ｄａｕｂｅｃｈｉｅｓウェーブレット変換にそれぞれ関連付けられた整数リフティング構成１７００および１８００を示す。

ここでも、図１５について定義された記号によって、整数リフティング構成１７００および１８００を説明している。

対応するロー・パス解析フィルタの係数およびハイパス解析フィルタの係数は、以下の通りである。
Ｌ（５）：−１／８，１／４，３／４，１／４，−１／８
Ｈ（３）：−１／４，１／２，−１／４
ロー・パス合成フィルタの係数およびハイパス合成フィルタの係数は、以下の通りである。
Ｌ（３）：１／４，１／２，１／４
Ｈ（５）：−１／８，−１／４，３／４，−１／４，−１／８

別の例示的な実装では、７／５ウェーブレット変換が使用され得る。図１９〜２０に、７／５ウェーブレット変換、および逆７／５ウェーブレット変換にそれぞれ関連付けられた整数リフティング構成１９００および２０００を示す。ここでも、図１５について定義された記号によって、整数リフティング構成１９００および２０００を説明している。

対応するロー・パス解析フィルタの係数およびハイパス解析フィルタの係数は、以下の通りである。
Ｌ （７）：
０．００１２７４５０９８０３９２１６
０．００２４５０９８０３９２１５６９，
０．２４８７２５４９０１９６０７８５，
０．４９５０９８０３９２１５６８６３，
０．２４８７２５４９０１９６０７８５，
０．００２４５０９８０３９２１５６９，
０．００１２７４５０９８０３９２１６
Ｌ （５）：
−０．１３００００００００００００００，
−０．２５００００００００００００００，
０．７６００００００００００００００，
−０．２５００００００００００００００，
−０．１３００００００００００００００．

ロー・パス合成フィルタの係数およびハイパス合成フィルタの係数は、以下の通りである。
Ｌ （５）：
−０．１３００００００００００００００，
０．２５００００００００００００００，
０．７６００００００００００００００，
０．２５００００００００００００００，
−０．１３００００００００００００００
Ｌ （７）：
−０．００１２７４５０９８０３９２１６
０．００２４５０９８０３９２１５６９，
−０．２４８７２５４９０１９６０７８５，
０．４９５０９８０３９２１５６８６３，
−０．２４８７２５４９０１９６０７８５，
０．００２４５０９８０３９２１５６９，
−０．００１２７４５０９８０３９２１６

図１１は、本発明の色空間符号化フレームワークに従って動作する、エンコーダ１１００のブロック図である。エンコーダ１１００は、（ボックス１１２０内に一般的に表された）基本フォーマット・エンコーダ、（ボックス１１４０内に一般的に表された）拡張フォーマット・エンコーダ、および出力ビット・ストリーム形成器（output bit stream formulator）１１６０を含む。さらに、エンコーダ１１００は、図８に示し、上述したクロマ分離器８００を含むことができる。エンコーダ１１００は、図７に示すようなコンピューティング装置であり、図１２で示し後述する関連付けられたデコーダへの入力である所望のビット・ストリームを生成するような形で、基本フォーマット・エンコーダ、拡張フォーマット・エンコーダ、ビット・ストリーム形成器、およびオプションのクロマ分離器８００の機能を、ハードウェア、ソフトウエアまたはハードウェア／ソフトウエアの任意の組合せで実装する。

概観すると、エンコーダ１１００は、本発明の色空間符号化フレームワークに従って、２つのストリーム、基本ストリームおよび拡張ストリームを処理する。エンコーダ１１００の１つの利点は、イントラおよびインター予測符号化モード（Intra and Inter prediction coding modes）とともに、追加の予測符号化モードの空間予測（ＳＰ：spatial prediction）を提供できることである。以下で詳述するように、エンコーダ１１００は、同じフレームからの基本クロミナンス・ブロックを使用して、拡張クロミナンス・ブロックについての空間予測を提供する。拡張クロミナンス・ブロックと基本クロミナンス・ブロックの間の相関が高いので、この空間予測（ＳＰ）は、非常に効率のよい予測モードを提供することができる。

ある実施形態では、エンコーダ１１００は、クロマ分離器８００から生成された出力ストリームを受け付ける。別の実施形態では、クロマ分離器８００は、エンコーダ１１００内に含められる。どの実施形態でも、クロマ分離器８００は、フォーマットＡと称される第１符号化フォーマット１１０６で符号化された入力を受け付ける。第１符号化フォーマット１１０６の生成は、ビデオ符号化分野の当業者には知られている従来のやり方で実施される。状況によっては、第１符号化フォーマットの生成は、ＲＧＢ色空間などの、別の色空間からフォーマットを変換することによって達成される。これが行われる場合、色空間変換器（ＣＳＣ：color space converter）１１０４が使用される。色空間変換器１１０４は、他の色空間に関連付けられた入力１１０２（ＲＧＢ入力など）を受け付ける。次いで、色空間変換器１１０４は、入力１１０２を、所望の第１符号化フォーマット１１０６に変換する。色空間変換器１１０４は、ある色空間から別の色空間に変換するために、任意の従来の機構を使用することができる。たとえば、ＲＧＢ色空間とＹＵＶ色空間の間の変換であれば、色空間変換器１１０４は、３つの数式のセットによってまたは行列によってしばしば表される既知の変換を使用することができる。標準のうちの１つによって定義されるある既知の数式のセットは、以下の通りである。
Ｙ＝０．２９９ｘＲ＋０．５８７ｘＧ＋０．１１４ｘΒ
Ｕ＝−０．２９９ｘＲ−０．５８７ｘＧ＋０．８８６ｘΒ
Ｖ＝０．７０１ｘＲ−０．５８７ｘＧ−０．１１４ｘΒ

この変換は、１組のＹＵＶ値が与えられると、１組のＲＧＢ値が取得され得るように、逆にすることもできる。色空間の変換が必要な場合、クロマ分離器８００によって実施される処理は、色空間変換器１１０４内で実施される処理と組み合わせることができる。クロマ分離器８００および色空間変換器１１０４は、エンコーダ１１００の要素として含めることができる。あるいは、エンコーダ１１００は、クロマ分離器８００によって生成される出力を受け付けることができる。

図８に関連して上記で述べたように、クロマ分離器８００は、基本フォーマット・ストリーム１１０８および少なくとも１つの拡張フォーマット・ストリーム１１１０を出力するように構成される。基本フォーマット・ストリーム１１０８は、基本エンコーダ１１２０を介して処理され、拡張フォーマット・ストリームは、拡張エンコーダ１１４０を介して処理される。

基本エンコーダ１１２０は、基本フォーマット・ストリーム１１０８用の任意の従来のエンコーダである。一般に、基本エンコーダ１１２０は、基本ビット・ストリーム（Ｂ−ＢＳ：base bit stream）として出力されるデータの量を最小限に抑えるように構成され、基本ビット・ストリームは、符号化されたビデオが再生され得るように、何らかの媒体を介して、通常、送信される。従来の基本エンコーダ１１２０は、離散コサイン変換（ＤＣＴ）１１２２、量子化（Ｑ）プロセス１１２４、可変長符号化（ＶＬＣ：variable length coding）プロセス１１２６、逆量子化（Ｑ^−１：inverse quantization）プロセス１１２８、逆ＤＣＴ（ＩＤＣＴ）１１３０、フレーム・バッファ１１３２、動き補償予測（ＭＣＰ：motion compensated prediction）プロセス１１３４、および動き推定（ＭＥ：motion estimation）プロセス１１３６など、従来の要素を含む。基本エンコーダ１１２０の要素は、よく知られているが、本発明の色空間符号化フレームワークを理解する助けとなるように、その要素について、簡潔に説明する。

しかし、従来の基本エンコーダ１１２０について説明する前に、以下の議論を通して使用される用語について定義する。フレームは、画像を構成する複数のラインを指す。イントラ・フレーム（Ｉ−ｆｒａｍｅ：Intraframe）は、１つのフレーム内からの情報だけを使用して符号化されるフレームを指す。インター・フレームは、予測フレーム（Ｐ−ｆｒａｍｅ：Predicted frame）とも称され、複数のフレームからの情報を使用するフレームを指す。

基本エンコーダ１１２０は、基本フォーマット１１０８のフレームを受け付ける。フレームは、それ自体からの情報だけを使用して符号化される。したがって、そのフレームは、Ｉフレームと称される。このようにして、Ｉフレームは、ＩフレームをＤＣＴ係数に変換する離散コサイン変換（ＤＣＴ）１１２２を通ってさらに進む。これらのＤＴＣ係数が、量子化プロセス１１２４内に入力されて、量子化されたＤＣＴ係数が形成される。次いで、量子化されたＤＣＴ係数が、可変長コーダ（ＶＬＣ）１１２６内に入力されて、基本ビット・ストリーム（Ｂ−ＢＳ）の一部が生成される。量子化ＤＣＴ係数は、また、逆量子化プロセス１１２８および逆ＤＣＴ１１３０内に入力される。その結果は、Ｐフレームのための参照（reference）としての役目を果たすために、フレーム・バッファ１１３２内に格納される。

基本エンコーダ１１２０は、フレーム・バッファ１１３２に格納された結果に、動き推定（ＭＥ）プロセス１１３４を適用することによって、Ｐフレームを処理する。動き推定プロセス１１３４は、時間予測（ＴＰ：temporal prediction）を突き止めるように構成され、それは動き補償予測（ＭＣＰ）１１３４と称される。ＭＣＰ１１３４は、Ｉフレームと比較され、その差（すなわち残差）は、Ｉフレームと同じプロセスを通して進む。動きベクトル（ＭＶ：motion vector）の形における動き補償予測（ＭＣＰ）１１３４は、可変長コーダ（ＶＬＣ）１１２６に入力され、基本ビット・ストリーム（Ｂ−ＢＳ）の別の部分を生成する。最後に、逆量子化された差が、ＭＣＰ１１３４に追加されて、復元されたフレームが形成される。フレーム・バッファは、復元されたフレームで更新され、次のＰフレームのための参照（reference）としての役目を果たす。結果として生じる基本ビット・ストリーム（Ｂ−ＢＳ）は、基本ストリームＢフォーマットを復号する、現在存在している装置で使用可能とされている従来のデコーダにとって、構文上は完全に互換性があるフォーマットであることに留意されたい。

拡張エンコーダ１１４０は、拡張ビット・ストリーム（Ｅ−ＢＳ：enhanced bit stream）として出力されるデータの量を最小限に抑えるように構成される。この拡張ビット・ストリームは一般に何らかの媒体を介して送信され、より高品質の符号化されたビデオを再生するために、任意選択で復号される。エンコーダ１１００内に拡張エンコーダ１１４０を含むことは、以前には想定されていなかったが、拡張エンコーダ１１４０は、基本エンコーダについて述べたのと同じように動作する複数の従来要素を含む。この従来の要素は、離散コサイン変換（ＤＣＴ）１１４２、量子化（Ｑ）プロセス１１４４、可変長符号化（ＶＬＣ）プロセス１１４６、逆量子化（Ｑ^−１）プロセス１１４８、逆ＤＣＴ（ＩＤＣＴ）１１５０、フレーム・バッファ（frame buffer）１１５２、動き補償予測（ＭＣＰ）プロセス１１５４を含む。拡張ストリームは、Ｙ成分を収容する輝度ブロックを含まないので、動き推定プロセスは、拡張エンコーダ１１４０内に含まれないことに留意されよう。動きベクトル（ＭＶ）は、Ｙ成分から導出される。しかし、本発明の色空間符号化フレームによれば、拡張エンコーダ１１４０は、Ｐフレームを選択的に予測する、モード選択スイッチ１１５８を含む。スイッチ１１５８は、フレーム・バッファ１１５２内に格納された、拡張ストリームから生成された前の参照（reference）から、Ｐフレームを予測することを選択することができ、または現在のフレームについてフレーム・バッファ１１３２内に格納された、基本ストリームからの参照（reference）を使用して、Ｐフレームを「空間的に」予測（ＳＰ）することを選択することができる。拡張ストリーム内の拡張クロミナンス・ブロック、と基本ストリーム内のクロミナンス・ブロックの間の相関が高いので、空間予測によって、非常に効率のよい予測モードがもたらされる。したがって、本発明の色空間符号化フレームによって、従来の符号化機構と比較して、予測符号化の効率が高まり、またパフォーマンスの向上がもたらされる。拡張エンコーダ１１４０の出力は、拡張ビット・ストリーム（Ｅ−ＢＳ）である。

基本エンコーダ１１２０および拡張エンコーダ１１４０内の従来の要素は、別個に示されているが、ある実施形態では、基本エンコーダ１１２０と拡張エンコーダ１１４０は、同じ従来要素のうちの１つまたは複数を共有することができる。たとえば、２つのＤＣＴ１１２２および１１４２を含むのではなく、１つのＤＣＴが、基本エンコーダ１１２０と拡張エンコーダ１１４０の両方によって使用され得る。したがって、本発明の色空間符号化フレームワークよるエンコーダ１１００の開発には、拡張ストリームに対処するためのハードウェア、ソフトウエア、または任意の組合せにおいて、最小限の追加の取り組みだけが必要である。さらに、基本エンコーダ１１２０用に開発された他の高度な符号化技術が、本発明の色空間符号化フレームワークに容易に適用されることが可能である。たとえば、本発明の色空間符号化フレームワークは、双方向に予測されたフレーム（Ｂ−ｆｒａｍｅ：bi-directionally predicted frame）が存在する場合に、動作する。

出力ビット形成器１１６０は、拡張ビット・ストリーム（Ｅ−ＢＳ）を、基本ビット・ストリーム（Ｂ−ＢＳ）に結合して、最終の出力ビット・ストリームを形成する。最終の出力ビット・ストリームの例示的なフォーマットが、図１３および１４に示されており、それについて、それらの図に関連して説明する。

図１２は、本発明の色空間符号化フレームワークを組み込むデコーダのブロック図である。概観すると、デコーダ１２００は、一つのビット・ストリームの単純な切り捨て（simple bit stream truncation）を実施して、より低品質のビデオ・フォーマットを得ることができる。したがって、高価なトランスコード・プロセスは必要ない。一般に、デコーダ１２００は、エンコーダ１１００によって実施されるプロセスを逆に行う。デコーダ１２００は、基本ビット・ストリーム（Ｂ−ＢＳ）および拡張ビット・ストリーム（Ｅ−ＢＳ）を受け付ける。基本ビット・ストリームおよび拡張ビット・ストリームは、デコーダ内に含まれるか、またはデコーダの外部にあるビット・ストリーム・パーサ（bit stream parser）１２０２によって構文解析されていることも可能である。デコーダ１２００は、（ボックス１２２０内に一般的に表された）基本フォーマット・デコーダ、（ボックス１２４０内に一般的に表された）拡張フォーマット・デコーダを含む。基本デコーダ１２２０は、基本ビット・ストリームを処理し、拡張フォーマット・デコーダ１２４０は、拡張ビット・ストリームを処理する。さらに、デコーダ１２００は、図９に示し上述した、クロマ複合器９００を含むことができる。デコーダ１２００は、図７に示すようなコンピューティング装置であり、所望のフォーマットＡ１２６０を生成するような形で、基本フォーマット・デコーダ、拡張フォーマット・デコーダ、およびオプションのクロマ複合器９００の機能を、ハードウェア、ソフトウエアまたはハードウェア／ソフトウエアの任意の組合せで実装する。

概観すると、デコーダ１２００は、本発明の色空間符号化フレームワークに従って生成された２つのストリーム、基本ビット・ストリーム（Ｂ−ＢＳ）および拡張ビット・ストリーム（Ｅ−ＢＳ）を処理する。デコーダ１２００は、エンコーダ１１００によって提供される予測符号化モード、空間予測（ＳＰ）を復号することができる。

ある実施形態では、デコーダ１２００は、クロマ複合器９００を含む。別の実施形態では、クロマ複合器９００は、デコーダ１２００とは別個の装置である。どの実施形態でも、クロマ複合器９００は、基本フォーマットについての輝度ブロックおよびクロミナンス・ブロックの値、および拡張フォーマットについてのクロミナンス・ブロックの値を含む、２つのストリームを受け付け、それらをマージして、図９に関連して説明した、フォーマットＡ１２６０にする。状況によっては、フォーマットＡ１２６０は、ＲＧＢ色空間などの別の色空間のフォーマットに変換される。これが行われる場合、色空間変換器（ＣＳＣ）１２６２が使用される。色空間変換器１２６２は、入力として、フォーマットＡ１２６０を受け付け、入力１２６０を、他の色空間に関連する出力１２６４（ＲＧＢ出力など）に変換する。色空間変換器１２６２は、ある色空間から別の色空間に変換するための任意の従来機構を使用し得る。たとえば、ＲＧＢ色空間とＹＵＶ色空間の間で変換する場合、色空間変換器１２６２は、上述したように、周知の変換を適用し得る。色空間変換が必要な場合、クロマ複合器９００によって実施される処理は、色空間コンバータ１２６２で実施される処理と組み合わせることができる。クロマ複合器９００および色空間コンバータ１２６２は、デコーダ１２００内の要素として含めることができる。あるいは、デコーダ１２００は、外部のクロマ複合器９００に、入力を供給することもできる。

基本デコーダ１２２０は、基本ビット・ストリーム（Ｂ−ＢＳ）用の任意の従来のデコーダである。一般に、基本デコーダ１２２０は、基本エンコーダ１１２０によって符号化されたＹＵＶ値を復元する。従来の基本デコーダ１２２０は、可変長復号（ＶＬＤ：variable length decoding）プロセス１２２２、逆量子化（Ｑ^−１）プロセス１２２４、逆離散コサイン変換（ＩＤＣＴ）１２２６、フレーム・バッファ１２２８、動き補償予測（ＭＣＰ）プロセス１２３０などの従来の要素を含む。この場合も、基本デコーダ１２２０の要素は、よく知られている。したがって、本発明の色空間符号化フレームワークを理解する助けとするために、その要素について簡潔に説明する。

基本デコーダ１２２０は、可変長復号（ＶＬＤ）１２２２内に、基本ビット・ストリームを入力して、動きベクトル（ＭＶ）および量子化されたＤＣＴ係数を取り出す。量子化されたＤＣＴ係数は、逆量子化プロセス１２２４および逆ＤＣＴ１２２６に入力されて、差分データが形成される。差分データは、その動き補償予測１２３０に加えられて、クロマ複合器９００に入力される復元された基本ストリームが形成される。またその結果は、Ｐフレームの復号のための参照（reference）としての役目を果たすように、フレーム・バッファ１２２８内に格納される。

拡張デコーダ１２４０は、拡張エンコーダ１１４０によって符号化されたＵＶ値を復元する。デコーダ１２００内に拡張デコーダ１２４０を含むことは以前には想定されていなかったが、拡張デコーダ１２４０は、基本デコーダ１２２０について上述したのと同じように動作する複数の従来要素を含む。拡張デコーダ１２４０は、可変長復号（ＶＬＤ）プロセス１２４２、逆量子化（Ｑ^−１）プロセス１２４４、逆離散コサイン変換（ＩＤＣＴ）１２４６、フレーム・バッファ１２４８および動き補償予測（ＭＣＰ）プロセス１２５０などの従来の要素を含む。

モード情報スイッチ１２５２による判断に応じて、差分データが選択的に、その動き補償予測（ＭＣＰ）に加えられることも、その空間予測（ＳＰ）に加えられることもあることを除けば、拡張デコーダ１２４０を通る拡張ビット・ストリームの流れは、基本デコーダ１２２０と同一である。拡張デコーダ１２４０の結果は、現在のフレームについての「余分の」クロミナンス・ブロックの値を含む、再現された拡張ストリームである。

次いで、フォーマットＡを再現するために、基本ストリームおよび拡張ストリームは、上述したようにストリームを処理する、クロマ複合器に入力される。基本デコーダ１２２０および拡張デコーダ１２４０内の従来の要素は、別個に示されているが、ある実施形態では、基本デコーダ１２２０と拡張デコーダ１２４０は、同じ従来の要素のうちの１つまたは複数を共有することができる。たとえば、２つの逆ＤＣＴ１２２６および１２４６を含むのではなく、１つの逆ＤＣＴが、基本デコーダ１２２０と拡張デコーダ１２４０の両方によって使用されるようにすることができる。したがって、本発明の色空間符号化フレームワークよるデコーダの開発には、拡張ストリームに対処するためのハードウェア、ソフトウエア、または任意の組合せにおいて、最小限の追加の取り組みだけが必要である。さらに、基本デコーダ１４２０用に開発された他の高度な復号技術が、本発明の色空間符号化フレームワークに容易に適用されることが可能である。たとえば、本発明の色空間符号化フレームワークは、双方向に予測されたフレーム（Ｂ−ｆｒａｍｅ：bi-directionally predicted frame）が存在する場合に、動作する。

したがって、本発明の色空間符号化フレームワークを使用した符号化フォーマットによって、２つのフォーマット間の変換を、高価なトランスコード・プロセスではなく、ビットの切り捨て（bit truncation）によって実現することができる。したがって、フォーマットについて実施され、あるフォーマットから別のフォーマットに変換するトランスコード・プロセスは、存在しない。

例示的なビット・ストリーム
図１１に示す出力ビット・ストリーム形成プロセス１１６０は、複数のやり方で、結果として生じる基本ビット・ストリーム（Ｂ−ＢＳ）および拡張ビット・ストリーム（Ｅ−ＢＳ）を構成することができることが想定される。図１３および１４に、２つの例示的なビット・ストリームを示す。便宜上、例示的なビット・ストリームでは、拡張ビット・ストリームとの関連で、基本ビット・ストリームの構成を示し、またパケット識別子、シーケンス番号など、トランスポート・ストリーム・パケット（transport stream packet）内に一般的に含まれる他の情報を省略してある。さらに、例示的なビット・ストリームは、ビット・ストリームがフォーマットＡおよびフォーマットＢをサポートすることを示す表示子（indicator）を含むことができる。

図１３は、図１１および１２に示す複数のビット・ストリームを送信するための、例示的なビット・ストリーム１３００の図である。概観すると、ビット・ストリーム１３００は、基本ビット・ストリーム（Ｂ−ＢＳ）内に、拡張ビット・ストリーム（Ｅ−ＢＳ）を埋め込んでいる。したがって、ビット・ストリーム１３００は、Ｂ−ＢＳ情報１３０２、１３０４および１３０６を、Ｅ−ＢＳ情報１３１２、１３１４および１３１６と交互に含んでいる。実際に、基本ビット・ストリームがＹＵＶ４２０フォーマットに対応し、拡張ビット・ストリームがＹＵＶ４２２フォーマットのクロミナンス・ブロックを含む場合、ビット・ストリーム１３００は、ＹＵＶ４２２デコーダが、すべてのフレームを順次、復号することを可能にする。しかし、ビット・ストリーム１３００を復号するＹＵＶ４２０デコーダは、Ｅ−ＢＳフレームをスキップしなければならない。ビット・ストリーム１３００は、ストリーミング／ブロードキャスティングのアプリケーションに適している。

図１４は、図１１および１２に示す複数のビット・ストリームを送信するための、別の例示的なビット・ストリーム１４００の図である。概観すると、ビット・ストリーム１４００は、拡張ビット・ストリーミングを、基本ビット・ストリームの末尾に連結している。したがって、ビット・ストリーム１４００は、基本ビット・ストリームの連続するフレーム（フレーム１４０２、１４０４、１４０６など）と、それに続いて、拡張ビット・ストリームの連続するフレーム（フレーム１４１２、１４１４、１４１６など）を含む。実際に、基本ビット・ストリームがＹＵＶ４２０フォーマットに対応し、拡張ビット・ストリームがＹＵＶ４２２フォーマットのクロミナンス・ブロックを含む場合、ビット・ストリーム１４００では、ＹＵＶ４２０デコーダは、拡張ビットに遭遇せずに、すべてのフレームを順次、復号することができる。ＹＵＶ４２０デコーダは、すべての基本ビット・ストリーム（フレーム１４０２、１４０４、１４０６など）が復号された後に、復号プロセスを終了することができる。しかし、ＹＵＶ４２２デコーダは、次のフレームに進む前に、基本ビット・ストリームおよび拡張ビット・ストリームを探し出し、復号しなければならない。ＹＵＶ４２２デコーダは、基本ビット・ストリームおよび拡張ビット・ストリームに順次アクセスするための２つのポインタを使用することができる。ビット・ストリーム１４００は、ダウン・アンド・プレイ（down-and-play）アプリケーションに適している。

ビット・ストリーム１４００は、異なる別個のファイルに分けることもできる。この実施形態では、基本ビット・ストリームは、独立したストリームであり、ＹＵＶ４２０デコーダによって完全に復号可能であり、既存のＹＵＶ４２０デコーダのどんな修正をも必要としない。ＹＵＶ４２２デコーダは、２つのビット・ストリーム・ファイルを同時に処理する。ビット・ストリーム１４００は、デジタル・ビデオ・カムコーダなどのビデオ記録装置内に、都合良く実装することができる。ビット・ストリーム１４００によって、高品質と低品質の両方のストリームを記録することができる。消費者が、追加の記録（additional recoding）をしたいけれども現在のメディアが使い果たしてしまったことに気付いたる場合、デジタル・ビデオ・カムコーダ上のオプションは、消費者が、都合よく、高品質のストリームを削除して低品質のストリームを保持することを可能に、その結果、追加の記録を再開することができるようになる。

上記の説明では、添付の特許請求の範囲中に列挙される要素を組み込む、色空間符号化フレームワークの特定の実施形態について述べている。法的な要件を満たすために、実施形態について、具体的に述べている。しかし、説明自体は、本特許の範囲を限定するものではなく、本発明人は、特許請求の範囲に記載されている発明が、他の現在または未来の技術に関連して、別の要素、またはこの文書で述べた要素に類似の要素の組合せを含むように、他のやり方で実施され得ることも企図している。

ＹＵＶ色空間から導出された符号化フォーマットの図である。 ＹＵＶ色空間から導出された符号化フォーマットの図である。 ＹＵＶ色空間から導出された符号化フォーマットの図である。 ＹＵＶ色空間から導出された符号化フォーマットの図である。 ＹＵＶ色空間から導出された符号化フォーマットの図である。 ２つの異なるビデオ・フォーマットの間で変換するためのトランスコーダのブロック図である。 例示的な本発明の符号化フレームワークを使用し得る、例示的なコンピューティング装置の図である。 例示的な色空間符号化フレームワークに従って、第１のビデオ符号化フォーマットを複数のストリームに分離するためのクロマ分離器の図である。 例示的な色空間符号化フレームワークに従って、複数のストリームをマージして、第１ビデオ符号化フォーマットにするためのクロマ複合器の図である。 第１ビデオ符号化フォーマット、ならびに図８に示すクロマ分離器によって、クロミナンス・ブロックが第１ビデオ符号化フォーマットから分離された後の複数のストリームを示す図である。 本発明の色空間符号化フレームワークを組み込む、エンコーダのブロック図である。 本発明の色空間符号化フレームワークを組み込む、デコーダのブロック図である。 図１１および１２に示す複数のビット・ストリームを送信するための例示的なビット・ストリームの図である。 図１１および１２に示す複数のビット・ストリームを送信するための別の例示的なビット・ストリームの図である。 図８および９に関連して使用するのに適した、例示的な整数リフティング構成を示す図である。 図８および９に関連して使用するのに適した、例示的な整数リフティング構成を示す図である。 図８および９に関連して使用するのに適した、例示的な整数リフティング構成を示す図である。 図８および９に関連して使用するのに適した、例示的な整数リフティング構成を示す図である。 図８および９に関連して使用するのに適した、例示的な整数リフティング構成を示す図である。 図８および９に関連して使用するのに適した、例示的な整数リフティング構成を示す図である。

符号の説明

Ｐ ピクセル
ＭＢ マクロ・ブロック
１００ ＹＵＶ４４４フォーマットの配列
２００ ＹＵＶ４２２フォーマットの配列
３００ ＹＵＶ４２０フォーマットの配列
４００ ＹＵＶ４１１フォーマットの配列
５００ ＹＵＶ４１０フォーマットの配列
６００ トランスコーダ
７００ コンピューティング装置
７０２ 処理装置
７０４ システム・メモリ
７０５ オペレーティング・システム
７０６ プログラム・モジュール
７０７ プログラム・データ
７０９ 取外し可能記憶装置
７１０ 取外し不可能記憶装置
７１２ 入力装置
７１４ 出力装置
７１６ 通信接続
７１８ 他のコンピューティング装置
８００ クロマ・セパレータ
８０４ ロー・パス・フィルタ
８０６ ハイ・パス・フィルタ
８０８ ダウン・サンプラー
８１０ ダウン・サンプラー
９００ クロマ複合器
９０４ アップ・サンプラー
９０６ アップ・サンプラー
９０８ 合成フィルタ
９１０ 合成フィルタ
９１２ 合成器
１０００ 配列
１１００ エンコーダ
１１０２ ＲＧＢ入力
１１０６ フォーマットＡ
１１０８ フォーマットＢ
１１１０ 拡張Ａ
１１２０ 基本フォーマット・エンコーダ
１１２２ 離散コサイン変換（ＤＣＴ）
１１２４ 量子化（Ｑ）プロセス
１１２６ 可変長符号化（ＶＬＣ：variable length coding）プロセス
１１２８ 逆量子化（Ｑ^−１：inverse quantization）プロセス
１１３０ 逆ＤＣＴ（ＩＤＣＴ）
１１３２ フレーム・バッファ
１１３４ 動き補償予測（ＭＣＰ：motion compensated prediction）プロセス
１１３６ 動き推定（ＭＥ：motion estimation）プロセス
１１４０ 拡張フォーマット・エンコーダ
１１４２ 離散コサイン変換（ＤＣＴ）
１１４４ 量子化（Ｑ）プロセス
１１４６ 可変長符号化（ＶＬＣ）プロセス
１１４８ 逆量子化（Ｑ^−１）プロセス
１１５０ 逆ＤＣＴ（ＩＤＣＴ）
１１５２ フレーム・バッファ
１１５４ 動き補償予測（ＭＣＰ）プロセス
１１５８ モード選択スイッチ
１１６０ 出力ビット・ストリーム形成器
ＳＰ 空間予測
ＴＰ 時間予測
ＭＶ 動きベクトル
１２００ デコーダ
１２０２ 入力ビット・ストリーム・パーサ
１２２０ 基本フォーマット・デコーダ
１２２２ 拡張フォーマット・デコーダ
１２２４ 逆量子化（Ｑ^−１）プロセス
１２２６ 逆離散コサイン変換（ＩＤＣＴ）
１２２８ フレーム・バッファ
１２３０ 動き補償予測（ＭＣＰ）プロセス
１２４２ 可変長復号（ＶＬＤ）プロセス
１２４４ 逆量子化（Ｑ^−１）プロセス
１２４６ 逆離散コサイン変換（ＩＤＣＴ）
１２４８ フレーム・バッファ
１２５０ 動き補償予測（ＭＣＰ）プロセス
１２５２ モード情報スイッチ
１２６０ フォーマットＡ
１２６２ 色空間変換器（ＣＳＣ）
１２６４ ＲＧＢ出力
１３００ ビット・ストリーム
１３０２ フレーム１−ＢＢＳ情報
１３０４ フレーム２−ＢＢＳ情報
１３０６ フレームＮ−ＢＢＳ情報
１３１２、１３１４、１３１６ Ｅ−ＢＳ情報
１４００ ビット・ストリーム
１４０２ フレーム１−ＢＢＳ情報
１４０４ フレーム２−ＢＢＳ情報
１４０６ フレームＮ−ＢＢＳ情報
１４１２、１４１４、１４１６ 拡張ビット・ストリームの連続するフレーム
１５００ 標準の９／７Ｄａｕｂｅｃｈｉｅｓウェーブレット変換に関連付けられた、フォーマットＡのピクセルからフォーマットＢのピクセルへの例示的な、整数リフティング構成
１６００ 逆変形９／７Ｄａｕｂｅｃｈｉｅｓウェーブレット変換に関連付けられた、対応する整数リフティング構成
１７００ 変形５／３Ｄａｕｂｅｃｈｉｅｓウェーブレット変換に関連付けられた、フォーマットＡのピクセルからフォーマットＢのピクセルへの例示的な、整数リフティング構成１７００
１８００ 逆変形５／３Ｄａｕｂｅｃｈｉｅｓウェーブレット変換にそれぞれ関連付けられた整数リフティング構成
１９００ 変形７／５Ｄａｕｂｅｃｈｉｅｓウェーブレット変換に関連付けられた、フォーマットＡのピクセルからフォーマットＢのピクセルへの例示的な、整数リフティング構成１７００
２０００ 逆変形７／５Ｄａｕｂｅｃｈｉｅｓウェーブレット変換にそれぞれ関連付けられた整数リフティング構成

Claims (34)

1. 所定の数のビットを含む第１の色空間サンプリング・フォーマットに従ってフォーマットされた色情報を含むビデオ情報ストリームを受信すること、
   前記色情報を、前記所定の数のビットより少ないビットを含む第２の色空間サンプリング・フォーマットに従ってフォーマットされた基本情報ストリームと、拡張情報ストリームとに分割すること、および
   前記第１色空間サンプリング・フォーマットおよび前記第２色空間サンプリング・フォーマットに従ってビデオ情報を提供できることを示す表示子を、前記基本情報ストリームおよび前記拡張情報ストリームのうちの少なくとも１つと共に提供すること
   を備えることを特徴とする方法。
2. 前記基本情報ストリームに関連する空間情報を使用して、前記拡張情報ストリームを符号化することをさらに備えることを特徴とする請求項１に記載の方法。
3. 前記拡張情報ストリームを、前記基本情報ストリームに関連する空間情報を使用して、または前記拡張情報ストリームに関する以前の参照を使用して、選択的に符号化することをさらに備えることを特徴とする請求項１に記載の方法。
4. 前記基本情報ストリームを、基本符号化ビット・ストリームに符号化し、前記拡張情報ストリームを、拡張符号化ビット・ストリームに符号化し、また前記基本符号化ビット・ストリームと前記拡張符号化ビット・ストリームを組み合わせて、出力ビット・ストリームにすることをさらに備えることを特徴とする請求項１に記載の方法。
5. 前記出力ビット・ストリームは、前記拡張符号化ビット・ストリームおよび前記基本符号化ビット・ストリームからなるインタリーブされたストリームを備えることを特徴とする請求項４に記載の方法。
6. 前記出力ビット・ストリームは、前記拡張符号化ビット・ストリームおよび前記基本符号化ビット・ストリームからなる連結されたストリームを備えることを特徴とする請求項４に記載の方法。
7. 前記拡張符号化ビット・ストリームは、前記基本符号化ビット・ストリームの後に続くことを特徴とする請求項６に記載の方法。
8. 前記出力ビット・ストリームは、前記拡張符号化ビット・ストリームのための第１のファイルと、前記基本符号化ビット・ストリームのための第２のファイルとを備えることとを特徴とする請求項４に記載の方法。
9. 前記色情報は、クロミナンス・ブロックを含むことを特徴とする請求項１に記載の方法。
10. 前記第１色空間サンプリング・フォーマットは、ＹＵＶ４２２フォーマットを備え、前記第２色空間サンプリング・フォーマットは、ＹＵＶ４２０フォーマットを備えることを特徴とする請求項１に記載の方法。
11. コンピュータ実行可能命令を備えるコンピュータ可読媒体であって、
    前記命令は、第１のマルチメディア・フォーマットを基本ストリームと拡張ストリームとに変換することを備え、
    前記基本ストリームは、別のマルチメディア・フォーマットに対応し、前記拡張ストリームは、前記基本ストリームと組み合わせられたときに、前記第１マルチメディア・フォーマットを復元する情報を含む
    ことを特徴とするコンピュータ可読媒体。
12. 前記マルチメディア・フォーマットは、符号化ビデオ・フォーマットを備えることを特徴とする請求項１１に記載のコンピュータ可読媒体。
13. 前記第１マルチメディア・フォーマットを、前記基本ストリームおよび前記拡張ストリームに変換することは、前記別のマルチメディア・フォーマットに関連するクロミナンス・ブロックを前記基本ストリーム内に、また前記別のマルチメディア・フォーマットに関連しないクロミナンス・ブロックを前記拡張ストリーム内に格納することを特徴とする請求項１１に記載のコンピュータ可読媒体。
14. 前記基本ストリームを、基本符号化ビット・ストリームに符号化し、前記拡張ストリームを、拡張符号化ビット・ストリームに符号化し、また前記基本符号化ビット・ストリームと前記拡張符号化ビット・ストリームを組み合わせて、出力ビット・ストリームにすることをさらに備えることを特徴とする請求項１１に記載のコンピュータ可読媒体。
15. 前記出力ビット・ストリームは、前記拡張符号化ビット・ストリームおよび前記基本符号化ビット・ストリームからなる、インタリーブされたストリームを備えることを特徴とする請求項１４に記載のコンピュータ可読媒体。
16. 前記出力ビット・ストリームは、前記拡張符号化ビット・ストリームとおよび前記基本符号化ビット・ストリームからなる、連結されたストリームを備えることを特徴とする請求項１４に記載のコンピュータ可読媒体。
17. 前記拡張符号化ビット・ストリームは、前記基本符号化ビット・ストリームの後に続くことを特徴とする請求項１６に記載のコンピュータ可読媒体。
18. 前記出力ビット・ストリームは、前記拡張符号化ビット・ストリームのための第１のファイルと、前記基本符号化ビット・ストリームのための第２のファイルとを備えることを特徴とする請求項１４に記載のコンピュータ可読媒体。
19. 第１の色空間サンプリング・フォーマットに従ってフォーマットされた基本情報ストリームを符号化基本エンコーダと、
    前記第１色空間サンプリング・フォーマットでは得られない色空間情報を備える拡張情報ストリームを符号化拡張エンコーダと
    を備えることを特徴とする装置。
20. 前記拡張エンコーダは、基本情報ストリームに関連する空間情報を使用して、前記拡張情報を符号化することを特徴とする請求項１９に記載の装置。
21. 前記符号化された拡張情報ストリームと前記符号化された基本情報ストリームとを組み合わせて出力ストリームにする出力ストリーム形成器をさらに備えることを特徴とする請求項１９に記載の装置。
22. 前記出力ストリームは、前記符号化された基本情報ストリームとインタリーブされた、前記符号化された拡張情報ストリームを備えることを特徴とする請求項２１に記載の装置。
23. 前記出力ストリームは、前記符号化された基本情報ストリームに連結された、前記符号化された拡張情報ストリームを備えることを特徴とする請求項２１に記載の装置。
24. 前記出力ストリームは、前記符号化された拡張情報ストリームを備える第１のファイルと、前記符号化された基本ストリームを含む第２のファイルとを備えることを特徴とする請求項２１に記載の装置。
25. 前記装置は、デジタル・ビデオ・カメラを備えることを特徴とする請求項２４に記載の装置。
26. 第１の色空間サンプリング・フォーマットに関連する、符号化された基本ビット・ストリームを復号基本デコーダと、
    前記第１色空間サンプリング・フォーマットで得られない色空間情報を含む、符号化された拡張ビット・ストリームを復号拡張デコーダと
    を備えることを特徴とする装置。
27. 前記拡張デコーダは、前記符号化された基本ビット・ストリームに関連する空間情報を使用して、前記符号化された拡張ビット・ストリームを復号することを特徴とする請求項２６に記載の装置。
28. 前記符号化された拡張ビット・ストリームおよび前記符号化された基本ビット・ストリームから、第２の色空間サンプリング・フォーマットを生成する複合器をさらに備えることを特徴とする請求項２６に記載の装置。
29. 前記装置は、セットトップボックスを備えることを特徴とする請求項２６に記載の装置。
30. ビデオ情報を受信入力と、
    色空間サンプリング・フォーマットに従って前記ビデオ情報の一部をフォーマットし、別のフォーマットに従って前記ビデオ情報の別の部分をフォーマット回路と、
    前記ビデオ情報の前記一部、および前記ビデオ情報の前記別の部分を格納回路と
    を備えることを特徴とする装置。
31. 前記フォーマットのための回路は、プロブラマブルな回路を備えることを特徴とする請求項３０に記載の装置。
32. 前記格納のための回路は、プロブラマブルな回路を備えることを特徴とする請求項３０に記載の装置。
33. 前記入力は、センサを備えることを特徴とする請求項３０に記載の装置。
34. 前記入力は、少なくとも１つのＣＣＤアレイを備えることを特徴とする請求項３０に記載の装置。

Images