JP2010530160A - 符号化されたステレオスコピック映像データファイルのフォーマット - Google Patents

Abstract

符号化されたステレオスコピック映像データファイルのフォーマットを提供する。符号化されたステレオスコピック映像データファイルのフォーマットは、当該ファイルがステレオスコピック映像に関するものであるか否かを指示するためのフィイルタイプ宣言部と、符号化されたステレオスコピック映像データのメタデータを含ませるための一つまたはそれ以上のトラックコンテナを含むメタデータ部と、そして、符号化されたステレオスコピック映像データのイメージ情報を含ませるための一つまたはそれ以上のステレオスコピック映像データコンテナを含む映像データ部と、を含む。

Description

本発明は、データファイルフォーマット（Ｄａｔａ Ｆｉｌｅ Ｆｏｒｍａｔ）に係り、より具体的に、符号化されたステレオスコピック映像データ（Ｅｎｃｏｄｅｄ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｉｍａｇｅ Ｄａｔａ）を保存または伝送するためのファイルフォーマットまたはファイルの構成方法に関する。

両眼式ステレオスコピック映像（以下、‘ステレオスコピック映像’と言う）は、一定の距離ほど離隔している左側カメラと右側カメラとで同一の被写体を撮影して、それぞれ獲得した一対の左映像と右映像とを言う。左映像と右映像は、同一の被写体を撮影したものであるが、視点（ｖｉｅｗ ｐｏｉｎｔ）が異なるために、被写体の表面特性や光源の位置などによってイメージ情報に多少の差が発生しうる。このような同一被写体に対する左映像と右映像とのイメージ情報の差をディスパリティ（Ｄｉｓｐａｒｉｔｙ）と言う。

そして、ステレオスコピック映像は、一般的には、左側カメラと右側カメラとを用いてそれぞれ獲得した映像を示すが、広い意味では、モノスコピック映像（Ｍｏｎｏｓｃｏｐｉｃ Ｉｍａｇｅ）に所定の変換アルゴリズムを適用して生成した立体映像も含まれる。このようなステレオスコピック映像は、一般的にディスプレイされる被写体に対して立体感を付与するのに利用される。

ステレオスコピック映像を用いてＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）のような平面ディスプレイ装置で再生（Ｒｅｐｒｏｄｕｃｔｉｏｎ）される映像に立体感を付与することができる方法は、さまざまである。そのうちの一つの方法は、バリア型（Ｂａｒｒｉｅｒ Ｔｙｐｅ）のディスプレイ装置を用いる方法である。バリア型ディスプレイ装置は、モノスコピック映像とステレオスコピック映像とをいずれもディスプレイすることができるために、次世代ディスプレイ装置中の一つとして大きな注目を集めている。

バリア型ディスプレイ装置は、偏光フィルムや偏光ガラスなどで形成されるバリア偏光板が平面ディスプレイ装置の前面に付着または備えられている装置である。バリア偏光板には、ライン状のバリアパターンが備えられているが、このバリアパターンは、左眼ではディスプレイ映像の左映像部分のみが、そして、右眼では前記ディスプレイ映像の右映像部分のみが見えるようにする。このようなバリアパターンは、さまざまな類型があるが、基本的に垂直ライン状（Ｖｅｒｔｉｃａｌ Ｌｉｎｅ Ｔｙｐｅ）と水平ライン状（Ｈｏｒｉｚｏｎｔａｌ Ｌｉｎｅ Ｔｙｐｅ）とがある。そして、前記垂直または水平ラインの微細な形状によってバリアパターンは、１字状、鋸歯状、及び対角線状などに区分されるが、このようなバリアパターンのライン形状は、ディスプレイされる映像の立体感に差を誘発させる。

一方、静止映像（Ｓｔｉｌｌ Ｉｍａｇｅ）や動画（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ）（本明細書で、単純に‘映像’と言う場合には、静止映像と動画のいずれもを含む）に関する既存の符号化標準によって符号化されたモノスコピック映像データは、大きく２種に区分されて保存された。そのうちの一つは、映像の画素値と直接関連があるイメージ情報（Ｉｍａｇｅ Ｉｎｆｏｒｍａｔｉｏｎ）であり、他の一つは、前記イメージ情報を復号化してディスプレイするのに必要な付加的な情報であるメタデータ（ＭＥＴＡ Ｄａｔａ）である。前記イメージ情報は、映像符号化に関する国際標準の種類によって変わりうるが、一般的に輝度及び色差などのようなテクスチャ情報（Ｔｅｘｔｕｒｅ Ｉｎｆｏｒｍａｔｉｏｎ）と動き情報（Ｍｏｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）などを含み、背景や物体についての情報である形状情報（Ｓｈａｐｅ Ｉｎｆｏｒｍａｔｉｏｎ）などをさらに含みうる。そして、前記メタデータは、前記イメージ情報の以外に、前記イメージ情報を再生してディスプレイするのに必要な付加的なデータを含む。

このようなイメージ情報とメタデータの区分は任意的なものであり、国際標準規格の内容やまたはデータの分類基準などによって変わりうる。そして、本明細書で‘映像データ’という用語は、一般的に、前記‘イメージ情報’と‘メタデータ’のいずれもを含む場合を示すが、場合によっては、単純に‘イメージ情報’のみを示すこともできるが、本明細書の各部分で‘映像データ’が何を意味するかは、その文脈に合わせて解析されなければならない。例えば、図１の‘映像データ部（Ｉｍａｇｅ Ｄａｔａ Ｕｎｉｔ）’で‘映像データ’は、単に‘イメージ情報’のみを示すが、発明の名称での‘映像データ’は、‘イメージ情報’と‘メタデータ’とをすべて含む。

図１は、符号化されたモノスコピック映像データを保存するための既存のファイルフォーマットを示すブロック図である。図１を参照すれば、既存のファイルフォーマット１０は、基本ヘッダ部（Ｂａｓｉｃ Ｈｅａｄｅｒ Ｕｎｉｔ）１２及び映像データ部１４を含む。映像データ部１４には、テクスチャ情報、形状情報、及び／または動き情報などのような符号化された映像データのイメージ情報が含まれ、基本ヘッダ部１２には、映像データ部１４に含まれるイメージ情報を除いた残りの付加的なデータが含まれる。ところが、このような既存の映像データファイルフォーマット１０は、符号化されたモノスコピック映像データを保存及び／または伝送するためのファイルフォーマットとしては適するが、符号化されたステレオスコピック映像データを保存及び／または伝送するためのファイルフォーマットとしては適しない。なぜならば、ステレオスコピック映像は、モノスコピック映像とは異なって、左右カメラを用いて一対の左右映像を獲得し、該獲得した一対の左右映像を多様な方法で組み合わせて符号化を行い、また映像の再生にバリア型ディスプレイのような特殊なディスプレイ装置が利用されるためである。

ステレオスコピック映像は、既存のモノスコピック映像とは異なって、一対の左右映像で構成されるので、符号化の対象となるフレーム、すなわち、被符号化フレームを多様な方法で構成することができる。例えば、一対の左右映像を組み合わせて一つの被符号化フレームを形成することができるが、左映像と右映像とを組み合わせる方法は、さまざまである。そして、一対の左右映像から２つまたはそれ以上の被符号化フレームを設定することができるが、その設定方法も、さまざまである。このように、一対の左右映像を用いて被符号化フレームを作る方法は多様であるために、符号化の結果、生成される映像データ及びメタデータの値、種類、及び特性なども非常に多様である。しかし、前述した既存のファイルフォーマットは、このような多様な情報及びそれによって派生されるデータを全部、そして、体系的に構成して保存するのに適しない。

したがって、本発明が果たそうとする第１の技術的課題は、符号化されたステレオスコピック映像データを効率的かつ体系的に保存することができるファイルフォーマットまたはファイルの構成方法を提供することである。

そして、符号化されたステレオスコピック映像データは、所定の間隔で離隔している一対の左右カメラを用いて獲得した映像を符号化したものであるが、前記左右カメラの特性、例えば、離隔距離やフレーム率の差などは、再生される立体映像の画質や立体感などに影響を及ぼす。同時に、符号化されたステレオスコピック映像データは、特殊に考案されたディスプレイ装置（例えば、バリア型ディスプレイ装置）を使って再生されるか、またはさまざまな方式でディスプレイすることができるが、前記ディスプレイ装置の特性やディスプレイ方式も、立体映像の画質や立体感などに影響を及ぼす。したがって、ディスプレイ装置に最適化された立体映像を再生するためには、撮影カメラ及び／またはディスプレイ装置とディスプレイ方式に関する情報なども符号化されたステレオスコピック映像データに含まれなければならないが、既存のファイルフォーマットでは、このような要請を充足させにくい。

したがって、本発明が果たそうとする第２の技術的課題は、撮影カメラ及び／またはディスプレイ装置の特性やディスプレイ方式を反映して臨場感ある立体映像をディスプレイすることができる符号化されたステレオスコピック映像データのファイルフォーマットまたはファイルの構成方法を提供することである。

一方、マルチメディア関連の国際標準規格を制定するＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）では、多様なマルチメディアデータを保存するための方法として、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｏｒｇａｎｉｚａｔｉｏｎ）ベースメディアファイルフォーマット（Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）を定義した。ＩＳＯベースメディアファイルフォーマットは、ＪＰＥＧ２０００のパート（Ｐａｒｔ）１２、ＩＳＯ／ＩＥＣ１５４４４−１２に規定されているが、将来のアプリケーションのための基本ファイルフォーマットを提供する。また、ＭＰＥＧでは、ステレオスコピック映像を含んだ多様なマルチメディアアプリケーションに対して当該アプリケーションの目的に適したマルチメディアアプリケーションファイルフォーマット（Ｍｕｌｔｉｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｆｉｌｅ ｆｏｒｍａｔ、ＭＡＦ）を定義しているが、ＭＡＦがＩＳＯベースメディアファイルフォーマットと互換される場合、ステレオスコピック映像を利用したより幅広くて多様なサービスが可能である。

したがって、本発明が果たそうとする第３の技術的課題は、ＩＳＯベースメディアファイルフォーマットと互換が可能な符号化されたステレオスコピック映像データファイルフォーマットまたはファイルの構成方法を提供することである。

前記技術的課題を果たすための本発明の一実施形態による符号化されたステレオスコピック映像データファイルのフォーマットは、前記ファイルがステレオスコピック映像に関するものであるか否かを指示するためのフィイルタイプ宣言部と、前記符号化されたステレオスコピック映像データのメタデータを含ませるための一つまたはそれ以上のトラックコンテナを含むメタデータ部と、前記符号化されたステレオスコピック映像データのイメージ情報を含ませるための一つまたはそれ以上のステレオスコピック映像データコンテナを含む映像データ部と、を含む。

前記実施形態の一側面によれば、前記フィイルタイプ宣言部は、前記ファイルがステレオスコピック映像に関するものであるか否かを指示するための第１情報及び前記ファイルを構成する基本ストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ、ＥＳ）の個数を指示するための第２情報を含みうる。この場合に、前記トラックコンテナと前記ステレオスコピック映像データコンテナとの個数は、それぞれ前記ＥＳの個数と同一であり得る。

前記実施形態の他の側面によれば、前記トラックコンテナは、当該基本ストリームＥＳの類型を指示するためのハンドラー参照（Ｈａｎｄｌｅｒ Ｒｅｆｅｒｅｎｃｅ）コンテナと、前記当該ＥＳのメタデータを含ませるためのメディア情報コンテナと、を含みうる。

この場合に、前記メディア情報コンテナは、被符号化フレームの大きさを指示する情報を含むステレオスコピックヘッダコンテナを含みうる。そして、前記ステレオスコピックヘッダコンテナは、前記ステレオスコピック映像の獲得に用いた左右カメラ間の距離を表わす情報を含ませるためのコンテナを含むか、及び／または前記ステレオスコピック映像のディスプレイに用いられるバリア型ディスプレイ装置のバリアパターンの距離を指示する情報、及び／または前記バリアパターン間の間隔を指示する情報を含ませるためのコンテナを含みうる。

また、前記メディア情報コンテナは、前記当該ＥＳのデスクリプション（Ｄｅｓｃｒｉｐｔｉｏｎ）を定義するためのサンプルデスクリプションコンテナを含みうる。この場合に、前記サンプルデスクリプションコンテナは、被符号化フレームの構成方法を指示するＥＳ類型の情報を含みうる。

例えば、前記フィイルタイプ宣言部の前記第２情報が、前記ＥＳの個数が１つであると指示する場合に、前記ＥＳ類型の情報が指示する前記被符号化フレームは、左右映像がフレーム単位で時間方向に交互に配列された第１類型、左映像と右映像とがサイドバイサイド方式で配列された第２類型、左映像と右映像とがトップダウン方式で配列された第３類型、左右映像の垂直ピクセルラインが交互に配列された第４類型、及び左右映像の水平ピクセルラインが交互に配列された第５類型のうち何れか一つであり得る。この場合に、前記ＥＳ類型の情報が、前記第２類型ないし第５類型のうち何れか一つを指示し、前記サンプルデスクリプションコンテナは、前記被符号化フレームを構成する左右映像間のフレーム率の関連情報及び／またはディスパリティの関連情報をさらに含みうる。

ここで、前記フレーム率の関連情報は、前記左右映像のフレーム率が同一であるか否かと前記左右映像のフレーム率が異なる場合には、前記ステレオスコピック映像のディスプレイ時にフレーム率を一致させるための情報を含み、前記ディスパリティの関連情報は、前記左右映像のディスパリティがあるか否かと前記左右映像のディスパリティがある場合には、前記ディスパリティを補正するための情報を含みうる。

また、前記フィイルタイプ宣言部の前記第２情報が、前記ＥＳの個数が２つであると指示する場合に、前記ＥＳ類型の情報が指示する前記被符号化フレームは、左映像、右映像、基準映像、及び差分映像のうち何れか一つであり得る。

本発明の実施形態によるファイルフォーマットは、階層的な構造を有するだけではなく、既存のメタデータと共にステレオスコピック映像に固有のメタデータを体系的に保存することができる構造を有するために、符号化されたステレオスコピック映像データを効率的に構成して保存することができる。また、本発明によるファイルフォーマットは、ステレオスコピック映像を獲得するための撮影カメラ及び／またはディスプレイ装置の特性に関連した情報も含ませることができる構造を有するために、保存された符号化されたステレオスコピック映像データを用いて臨場感ある立体映像をディスプレイすることができる。同時に、本発明による符号化されたステレオスコピック映像データを保存するためのファイルフォーマットは、多様なマルチメディアアプリケーションに適用可能な国際標準規格であるＩＳＯベースメディアファイルフォーマットと互換性を有する。

符号化されたモノスコピック映像データを保存するための既存のファイルフォーマットを示すブロック図である。 被符号化フレームとして左右映像が平行に配された統合合成映像の構成を示す図である。 被符号化フレームとして左映像と右映像とのピクセルラインが交互に配された統合合成映像の構成を示す図である。 被符号化フレームとして左映像と右映像とがそれぞれフレーム単位で順次に配列された統合合成映像の構成を示す図である。 左映像と右映像とからなる被符号化フレームの構成を示す図である。 基準映像と差分映像とからなる被符号化フレームの構成を示す図である。 一つの基準映像と多数の差分映像とからなる被符号化フレームの構成を示す図である。 符号化されたステレオスコピック映像データを保存するための本発明の一実施形態によるファイルフォーマットを示すブロック図である。 図８のステレオスコピックトラックコンテナの構成を示すブロック図である。 図８と図９に示されたファイルフォーマットが有する階層構造を示すための図である。 図８のｓｓｔｙボックスに対するシンタックスの一例を示す図である。 図９のｈｄｌｒボックスに対するシンタックスの一例を示す図である。 図９のステレオスコピックヘッダボックスに対するシンタックスの一例を示す図である。 図９のステレオスコピックカメラ情報ボックスに対するシンタックスの一例を示す図である。 図９のステレオスコピックディスプレイ情報ボックスに対するシンタックスの一例を示す図である。 ｍｐｓｓボックスに対するシンタックスの一例を示す図である。 ｍｐｓｓボックスに対するシンタックスの一例を示す図である。 ｍｐｓｓボックスに対するシンタックスの一例を示す図である。 ｍｐｓｓボックスに対するシンタックスの一例を示す図である。

以下、添付図面を参照して、本発明の望ましい実施形態について詳細に説明する。後述する実施形態は、本発明の技術的思想を説明するための目的であるので、本発明の技術的思想は、本実施形態によって限定されると解析されてはならない。そして、以下の実施形態の説明で、それぞれの構成要素の名称は、当業界で異なる名称と称されうるが、これらの間に機能的類似性と同一性とがあれば、たとえ異なる名称を使っても、本発明の実施形態と均等な構成と見られる。同様に、図面上の構成を一部変形した実施形態が採用されても、機能的類似性と同一性とがあれば、両者は均等な構成と見られる。

本発明の実施形態を説明する前に、本発明の実施形態による符号化されたステレオスコピック映像データファイルフォーマットを定義するために、考慮しなければならない事項に関して先に説明する。このような事項は、モノスコピック映像とは区別されるステレオスコピック映像の固有の特性である。

優先的に考慮しなければならない事項は、左右映像から被符号化フレームを如何に構成するか、すなわち、被符号化フレームの構成方法に関するものである。被符号化フレームの構成方法は、符号化されたステレオスコピック映像データの構造に直接的に影響を及ぼす。例えば、被符号化フレームの構成方法によって符号化された映像データを構成する基本ストリームＥＳの個数が変わり、ＥＳの個数が同じ場合でも被符号化フレームの構成方法は、さまざまであり得る。

まず、左右映像から一つの被符号化フレームを形成することができる。一対の左右映像から生成された一つの被符号化フレームを、以下では、‘統合合成映像’または‘合成映像’と呼ぶ。このような統合合成映像を符号化して生成されるステレオスコピック映像データは、１つのＥＳで構成される。一対の左右映像から統合合成映像を構成する方法は、さまざまであるが、図２ないし図４は、統合合成映像を構成する方法の例を示すための図である。

統合合成映像を構成する一つの方法は、まず左映像と右映像とを平行に配列することであって、図２は、これを示すための図である。図２を参照すれば、統合合成映像２２のように被符号化フレームは、左映像と右映像とがサイドバイサイド（Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ）方式で平行に配列された映像であるか、または統合合成映像２４のように被符号化フレームは、左映像と右映像とがトップダウン（Ｔｏｐ−Ｄｏｗｎ）方式で平行に配列されたフレームであり得る。この場合に、統合合成映像２２または２４を構成する左映像と右映像との位置は、互いに変わりうる。

統合合成映像を構成する他の一つの方法は、左映像と右映像とをそれぞれフィールド単位で交互に配列することであって、図３は、これを示すための図である。図３を参照すれば、統合合成映像３２は、左映像の垂直ピクセルラインと右映像の垂直ピクセルラインとが交互に配列されたフレームであるか、または統合合成映像３４は、左映像の水平ピクセルラインと右映像の水平ピクセルラインとが交互に配列されたフレームであり得る。そして、このような統合合成映像３２または３４を構成する左映像のピクセルライン（左映像のフィールド）と右映像のピクセルライン（右映像のフィールド）との位置は、互いに変わりうる。

統合合成映像を生成するまた他の一つの方法は、左映像と右映像とをそれぞれフレーム単位で順次に配列することであって、図４は、これを示すための図である。図４を参照すれば、統合合成映像４０は、フレーム単位の左映像と右映像とが時間方向に交互に配列して構成されるが、このような統合合成映像４０の場合、一つの被符号化フレームには、左映像のピクセルと右映像のピクセルとがともに存在することはない。

次いで、図５及び図６を参照して、一対の左右映像から形成される被符号化フレームが、２つである場合について説明する。被符号化フレームが２つである場合には、これを符号化して生成される映像データは、２つのＥＳで構成される。

図５を参照すれば、左映像５２ａと右映像５２ｂとがそれぞれそれ自体で被符号化フレームになる。そして、前記被符号化フレーム５２ａ、５２ｂを符号化すれば、該符号化された映像データは、各映像を表わす２つのＥＳ１及びＥＳ２で構成される。一方、図６を参照すれば、被符号化フレームは、基準映像５４ａと差分映像５４ｂとで構成することもできる。この場合は、左映像と右映像とのうち何れか一つの映像が基準映像５４ａとして一つの被符号化フレームになり、前記基準映像との差分（差点）で構成された差分映像５４ｂが他の一つの被符号化フレームになる。

図７は、被符号化フレームが３つ以上である場合を説明するための図である。図７を参照すれば、それぞれ連続した（ｎ＋１）／２個（ここで、ｎは３以上の奇数である）フレームの左映像と右映像とのうち何れか一つの映像が基準映像６２として被符号化フレームになり、基準映像を除いた残りの映像が差分映像６２ａ、６２ｂ、…、６２ｎとして被符号化フレームになる。このような被符号化フレームを符号化すれば、該符号化された映像データは、総（ｎ＋１）個のＥＳ、すなわち、ＥＳ１、ＥＳ２、ＥＳ３、…、ＥＳ（ｎ＋１）で構成される。

前述した一つまたはそれ以上の被符号化フレームまたは被符号化フレームシーケンスは、既存の映像符号化方法を用いて符号化することができる。既存の映像符号化方法としては、例えば、ＪＰＥＧなどのような静止映像に対する符号化方法や、またはＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ、ＶＣ−１などのような動画に対する符号化方法などがある。そして、このような既存の映像符号化方法を用いて符号化された映像データは、その符号化方式を支援するディスプレイ装置に直ちに伝送されて再生されるか、または記録媒体に保存された後で、以後にディスプレイ装置によって再生される。

前述したように、ステレオスコピック映像の場合には、被符号化フレームを構成する方法が多様である。そして、それによって符号化されたステレオスコピック映像データは、１つのＥＳで構成されるか、２つまたはそれ以上のＥＳで構成することができる。そして、ＥＳの個数が同じ場合でも、左右映像から被符号化フレームを構成する方法は、異なることがあり、それによって派生されるデータまたは再生に必要なデータも異なりうる。したがって、符号化されたステレオスコピック映像データを保存するためのファイルフォーマットは、被符号化フレームの構成方法と各構成方法とによって派生されるデータの保存に適した形式でなければならない。

符号化されたステレオスコピック映像データを保存するためのファイルフォーマットを定義するために、二番目に考慮しなければならない事項は、ステレオスコピック映像を獲得するために所定の間隔で離隔している左右カメラを使うということである。なぜならば、立体映像を効率的に再生するか、及び／または再生される立体映像の画質及び立体感などを向上させるためには、ディスプレイ装置に前記左右カメラと関連した情報が提供されなければならないためである。そのために、符号化されたステレオスコピック映像データには、左右カメラと関連した情報が追加的に含まれることが望ましく、符号化されたステレオスコピック映像データを保存するためのファイルフォーマットを定義するに当たっては、追加的に含まれる左右カメラの関連情報を考慮しなければならない。

左右カメラの関連情報は、さまざまである。例えば、左右カメラ間の距離に関する情報、左右カメラを通じてそれぞれキャプチャされる左映像と右映像との秒当たりフレーム数（ｆｒａｍｅ／ｓｅｃ、ｆｐｓ）、すなわち、フレーム率（Ｆｒａｍｅ Ｒａｔｅ）に関する情報、左映像と右映像との同期化に関する情報、及び／または左右カメラの種類に関する情報などが、これに該当する。また、場合によっては、左映像と右映像と間のディスパリティー情報（Ｄｉｓｐａｒｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）も、左右カメラの関連情報に含まれることもできる。

符号化されたステレオスコピック映像データを保存するためのファイルフォーマットを定義するために、三番目に考慮しなければならない事項は、ステレオスコピック映像の再生に既存のディスプレイ装置とは異なる特殊なディスプレイ装置（例えば、バリア型ディスプレイ装置）を使うということである。なぜならば、特殊なディスプレイ装置を使って立体映像を再生するためには、再生される映像データは、このようなディスプレイ装置に適しなければならず、またディスプレイ装置の特性と関連した情報が立体映像の画質や立体感に影響を及ぼすことができるために、符号化されたステレオスコピック映像データファイルフォーマットを定義するに当たっては、このような事実や追加的に必要な情報を考慮しなければならない。

ディスプレイ装置と関連した情報も、さまざまである。例えば、再生装置がバリア型ディスプレイ装置である場合に、符号化されたステレオスコピック映像データの再生に最も適したバリアパターンに関する情報も、そのうちの一つである。前述したように、バリアパターンは、垂直ラインまたは水平ラインの形状でバリア偏光板上に配されるが、前記ラインの微細な形状は、立体映像の画質に影響を及ぼすことができる。また、ディスプレイ装置の位置によるバリアパターンの間隔（位置に構わずに間隔が一定であるか、または位置によって間隔が異なるか）に関する情報も、立体映像の画質に影響を及ぼすことができる。

図８及び図９は、符号化されたステレオスコピック映像データを保存するための本発明の一実施形態によるファイルフォーマットを示すブロック図であって、図９は、図８のステレオスコピックトラックコンテナＴｒａｃｋ２１０の構成を示すブロック図である。そして、図１０は、図８と図９とに示されたファイルフォーマットが有する階層構造（Ｈｉｅｒａｒｃｈｉｃａｌ Ｓｔｒｕｃｔｕｒｅ）を示すための図である。図８、図９、及び図１０に示されたように、本発明の実施形態によるファイルフォーマットは、ＩＳＯベースメディアファイルフォーマットを基盤としたものである。

まず、図８及び図１０を参照すれば、本発明の一実施形態によるファイルフォーマットは、大きくフィイルタイプ宣言部ｆｔｙｐ１００、メタデータ部ｍｏｏｖ２００、及び映像データ部ｍｄａｔ３００を含むように構成される。

フィイルタイプ宣言部１００は、当該ファイルがステレオスコピック映像のためのファイルであるか否かを知らせるためのものである。そして、当該ファイルがステレオスコピック映像のためのファイルである場合には、これを構成するＥＳの個数に関する情報も、これに含まれる。そのために、図８及び図１０に示されたように、ファイルタイプ宣言部１００は、ｆｔｙｐコンテナの下位分類であって、ステレオスコピックタイプであるか否かを指示する情報及び／または当該ステレオスコピック映像を構成するＥＳの個数を指示する情報を含ませるためのボックスを含む。このボックスは、例えば、示されたようなステレオスコピックタイプボックスｓｓｔｙ１１０であり得る。そして、ステレオスコピック映像のデコーダは、ステレオスコピックタイプボックス１１０の情報を通じて、当該ファイルがステレオスコピック映像に対するものであるか、及び／またはステレオスコピック映像である場合には、数個のＥＳで構成された映像であるかが分かる。これを整理すれば、次の通りである。

ｓｓｔｙ（Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｔｙｐｅ）
−Ｂｏｘ Ｔｙｐｅ：‘ｓｓｔｙ’
−Ｃｏｎｔａｉｎｅｒ：Ｆｉｌｅ Ｔｙｐｅ Ｂｏｘ（‘ｆｔｙｐ’）
−Ｍａｎｄａｔｏｒｙ：Ｙｅｓ
−Ｑｕａｎｔｉｔｙ：Ｅｘａｃｔｌｙ ｏｎｅ
以上の内容を通じて分かるように、符号化されたステレオスコピック映像データの場合に、ｓｓｔｙボックス１１０は必須な構成要素であり、ｆｔｙｐコンテナに一つのみ存在する。このようなｓｓｔｙボックス１１０に対するシンタックス（Ｓｙｎｔａｘ）の一例は、図１１のようである。図１１で要素（Ｅｌｅｍｅｎｔ）‘ＳｔｅｒｅｏＳｃｏｐｉｃ＿Ｔｙｐｅ’は、当該ファイルがステレオスコピックファイルであるか否かを表わすものであって、例えば、その値は、表１のように割り当てられる。そして、要素‘ＳｔｅｒｅｏＳｃｏｐｉｃ＿ＥＳ＿Ｃｏｕｎｔ’は、当該ステレオスコピックファイルを構成するＥＳの個数を表わす。

次いで、図８及び図１０を参照すれば、メタデータ部２００であるｍｏｏｖコンテナは、当該ファイルのメタデータを保存するための１つまたはそれ以上のトラックコンテナ（Ｔｒａｃｋ Ｃｏｎｔａｉｎｅｒ）２１０または２２０を含む。当該ファイルがステレオスコピック映像ファイルである場合に、ｍｏｏｖコンテナは、これを構成するＥＳの個数に対応するステレオスコピックトラックコンテナ２１０、例えば、ＥＳ１のためのｔｒａｃｋ１（Ｓｔｅｒｅｏｓｃｏｐｉｃ）、ＥＳ２のためのｔｒａｃｋ２（Ｓｔｅｒｅｏｓｃｏｐｉｃ）、…、ＥＳ（ｎ）のためのｔｒａｃｋ（ｎ）（Ｓｔｅｒｅｏｓｃｏｐｉｃ）を含む（ここで、ｎは１以上の整数）。一方、当該ファイルがステレオスコピック映像ファイルではない場合には、一つのビステレオスコピックトラックコンテナ２２０、例えば、モノスコピック映像、オーディオ、またはテキストファイルのメタデータのためのｔｒａｃｋ（Ｎｏｎ−Ｓｔｅｒｅｏｓｃｏｐｉｃ）を含む。本発明は、ステレオスコピック映像に関するものであるので、以下では、図９及び図１０を参照して、ステレオスコピックトラックコンテナ２１０の構成について詳しく説明する。

ステレオスコピックトラックコンテナ２１０は、メディアコンテナｍｅｄｉａ２１１を含む。メディアコンテナ２１１は、トラックというコンテナに保存されるメディアストリームの関連情報を含ませるために定義されたコンテナであって、ハンドラー参照ボックスｈｄｌｒ２１２及びメディア情報コンテナｍｉｎｆ（図示せず）を含む。そして、前記メディア情報コンテナｍｉｎｆは、当該ＥＳによって表現される映像のサイズ情報を含ませるためのボックス（このボックスは、例えば、ステレオスコピックヘッダボックスｓｓｈｄ２１３であり、その名称は変更されうる）とサンプルテーブルボックスｓｔｂｌ２１６とを含む。

ハンドラー参照ボックス２１２は、当該ＥＳのストリーム類型を定義する情報を含む。当該ＥＳがステレオスコピック映像を符号化したデータである場合には、ハンドラー参照ボックス２１２に含まれる情報の値を、例えば、‘ｓｓｖｉ’と表示することができる。ハンドラー参照ボックス２１２に対して整理すれば、次の通りである。

ｈｄｌｒ（Ｈａｎｄｌｅｒ Ｒｅｆｅｒｅｎｃｅ）
−Ｂｏｘ Ｔｙｐｅ：‘ｈｄｌｒ’
−Ｃｏｎｔａｉｎｅｒ：Ｍｅｄｉａ Ｂｏｘ（‘ｍｅｄｉａ’）
−Ｍａｎｄａｔｏｒｙ：Ｙｅｓ
−Ｑｕａｎｔｉｔｙ：Ｅｘａｃｔｌｙ ｏｎｅ
以上の内容を通じて分かるように、ｈｄｌｒボックス２１２は必須な構成要素であり、ｍｅｄｉａコンテナ２１１にただ一つのみ存在する。ｈｄｌｒボックス２１１に対するシンタックスの一例は、図１２に示されている。図１２で要素‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’は、メディアデータに対するストリーム状を定義するためのものである。既存のストリームについての定義に、本発明の対象であるステレオスコピック映像ストリームについての定義が含まれたストリーム状の類型に対する一例は、表２のようである。

ステレオスコピックヘッダボックス２１３は、当該ＥＳによって表現される映像のサイズ情報を含む。例えば、ステレオスコピックヘッダボックス２１３には、当該ＥＳによって表現されるステレオスコピック統合映像の幅（Ｗｉｄｔｈ）情報及び／または高さ（Ｈｅｉｇｈｔ）情報を含みうる。このようなステレオスコピックヘッダボックス２１３に対するシンタックスの一例は、図１３に示されている。図１３でＳｔｅｒｅｏＳｃｏｐｉｃ＿ＣｏｍｐｏｕｎｄＩｍａｇｅＷｉｄｔｈは、ステレオスコピック統合合成映像の幅を表わし、ＳｔｅｒｅｏＳｃｏｐｉｃ＿ＣｏｍｐｏｕｎｄＩｍａｇｅＨｅｉｇｈｔは、ステレオスコピック統合合成映像の高さを表わす。このようなステレオスコピックヘッダボックス２１３を整理すれば、次の通りである。

ｓｓｈｄ（ＳｔｅｒｅｏＳｃｏｐｉｃ Ｈｅａｄｅｒ）
−Ｂｏｘ Ｔｙｐｅ：‘ｓｓｈｄ’、‘ｖｍｈｄ’、‘ｓｍｈｄ’、‘ｈｍｈｄ’
−Ｃｏｎｔａｉｎｅｒ：ＭｅｄｉａＩｎｆｏｒｍａｔｉｏｎ Ｂｏｘ（‘ｍｉｎｆ’）
−Ｍａｎｄａｔｏｒｙ：Ｙｅｓ（ｍｕｓｔ ｂｅ ｐｒｅｓｅｎｔ）
−Ｑｕａｎｔｉｔｙ：Ｅｘａｃｔｌｙ ｏｎｅ
これを通じて分かるように、ｓｓｈｄボックス２１３は必須な構成要素であり、ｍｉｎｆコンテナ（図示せず）に一つのみ存在する。ｍｉｎｆコンテナには、ｓｓｈｄボックス２１３の以外に異なる類型のメディアに対するヘッダボックスをさらに含みうるが、ｍｉｎｆコンテナに含まれるヘッダボックスの値に対する一例は、表３に表われている。

次いで、図９及び図１０を参照すれば、ステレオスコピックヘッダボックス２１３は、当該ステレオスコピック映像の獲得に用いた左右カメラと関連した情報を含ませるためのボックスと当該ステレオスコピック映像のディスプレイに用いられるディスプレイ装置と関連した情報を含ませるためのボックスとをさらに含む。前記ボックスは、それぞれステレオスコピックカメラ情報ボックスｓｓｃｉ２１４とステレオスコピックディスプレイ情報ボックスｓｓｄｉ２１５とであり、その名称は変更されることもある。

ステレオスコピックカメラ情報ボックスｓｓｃｉ２１４には、左右カメラと関連した情報であって、例えば、左側カメラと右側カメラとの距離に関する情報などが含まれうる。次は、ステレオスコピックカメラ情報ボックス２１４に対する概要を整理したものである。

ｓｓｃｉ（ＳｔｅｒｅｏＳｃｏｐｉｃ Ｃａｍｅｒａ Ｉｎｆｏｒｍａｔｉｏｎ）
−Ｂｏｘ Ｔｙｐｅ：‘ｓｓｃｉ’
−Ｃｏｎｔａｉｎｅｒ：Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｈｅａｄｅｒ Ｂｏｘ（‘ｓｓｈｄ’）
−Ｍａｎｄａｔｏｒｙ：Ｎｏ
−Ｑｕａｎｔｉｔｙ：Ｚｅｒｏ ｏｒ Ｏｎｅ
以上の概要を通じて分かるように、ｓｓｃｉボックス２１４は任意的な構成要素であり、含まれる場合には、コンテナであるｓｓｈｄボックス２１３に一つのみ存在する。ｓｓｃｉボックス２１４に対するシンタックスの一例は、図１４に示されている。図１４で要素‘ＳｔｅｒｅｏＳｃｏｐｉｃＣａｍｅｒａ＿Ｌｅｆｔ＿Ｒｉｇｈｔ−Ｄｉｓｔａｎｃｅ’は、左右カメラ間の距離を表わす。

そして、ステレオスコピックディスプレイ情報ボックス２１５には、ディスプレイ装置と関連した情報であって、例えば、バリアパターンの類型に関する情報及び／またはバリアパターンの間隔に関する情報などが含まれうる。次は、ステレオスコピックディスプレイ情報ボックス２１５の概要を整理したものである。

ｓｓｄｉ（ＳｔｅｒｅｏＳｃｏｐｉｃ Ｄｉｓｐｌａｙ Ｉｎｆｏｒｍａｔｉｏｎ）
−Ｂｏｘ Ｔｙｐｅ：‘ｓｓｄｉ’
−Ｃｏｎｔａｉｎｅｒ：Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｈｅａｄｅｒ Ｂｏｘ（‘ｓｓｈｄ’）
−Ｍａｎｄａｔｏｒｙ：Ｎｏ
−Ｑｕａｎｔｉｔｙ：Ｚｅｒｏ ｏｒ Ｏｎｅ
これを通じて分かるように、ｓｓｄｉボックス２１５は任意的な構成要素であり、含まれる場合には、コンテナであるｓｓｈｄボックス２１３に一つのみ存在する。ｓｓｄｉボックス２１５に対するシンタックスの一例は、図１５に示されている。図１５で要素‘ＳｔｅｒｅｏＳｃｏｐｉｃ＿Ｂａｒｒｉｅｒ＿Ｐａｔｔｅｒｎ’は、バリアパターンの類型を表わすが、その値は、例えば、表４のように割り当てられる。そして、要素‘ＳｔｅｒｅｏＳｃｏｐｉｃ＿Ｂａｒｒｉｅｒ＿Ｄｉｓｔａｎｃｅ’は、バリアパターンの間隔を表わすものであって、その値が‘０’である場合には、非定率を表わし、その値が‘１’である場合には、定率を表わす。ここで、‘定率’とは、バリアパターンの間隔がディスプレイ装置の位置に関係なく一定していることを示し、‘非定率’とは、バリアパターンの間隔がディスプレイ装置に位置（例えば、中心部分と縁部部分）によって異なることを示す。

次いで、図９及び図１０を参照すれば、タイム／スペースマップ（ｔｉｍｅ／ｓｐａｃｅ ｍａｐ）のためのコンテナであるサンプルテーブルボックス２１６は、サンプルデスクリプションボックスｓｔｓｄ２１７を含む。サンプルデスクリプションボックス２１７は、トラックコンテナ２１０に定義されたメディアストリームＥＳのデスクリプションを定義するためのものであって、ステレオスコピックビジュアルサンプルエントリー（ＳｔｅｒｅｏｓｃｏｐｉｃＶｉｓｕａｌ Ｓａｍｐｌｅ Ｅｎｔｒｙ）を指示するボックスを含む。このボックスは、例えば、ｍｐｓｓボックス２１８と称することができるが、これに限定されるものではない。サンプルデスクリプションボックス２１７は、ｍｐｓｓボックス２１８の以外にもビジュアルサンプルエントリー（Ｖｉｓｕａｌ Ｓａｍｐｌｅ Ｅｎｔｒｙ）を指示するｍｐ４ｖボックスとオーディオサンプルエントリー（Ａｕｄｉｏ Ｓａｍｐｌｅ Ｅｎｔｒｙ）を指示するｍｐ４ａボックスなどをさらに含みうる。

ｍｐｓｓボックス２１８は、符号化されたステレオスコピック映像データを構成するＥＳについての詳細情報を記述するためのボックスコンテナである。ｍｐｓｓボックス２１８に対する主な事項を整理すれば、次の通りである。

ｍｐｓｓ（ＳｔｅｒｅｏＳｃｏｐｉｃ Ｖｉｓｕａｌ Ｓａｍｐｌｅ Ｅｎｔｒｙ）
−Ｂｏｘ Ｔｙｐｅ：‘ｍｐｓｓ’、‘ｍｐ４ｖ’、‘ｍｐ４ａ’
−Ｃｏｎｔａｉｎｅｒ：Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｔａｂｌｅ Ｂｏｘ（‘ｓｔｂｌ’）
−Ｍａｎｄａｔｏｒｙ：Ｙｅｓ
−Ｑｕａｎｔｉｔｙ：Ｅｘａｃｔｌｙ Ｏｎｅ
これを通じて分かるように、ｍｐｓｓボックス２１８は必須な構成要素であり、ｓｔｂｌコンテナ２１７に一つのみ存在する。ｓｔｂｌコンテナ２１７には、ｍｐｓｓボックス２１８の以外に異なる類型のメディアに対するサンプルエントリーがさらに含まれうるが、ｓｔｂｌコンテナ２１７に含まれるサンプルエントリーの一例は、表５に表われている。

ｍｐｓｓボックス２１８は、被符号化フレームの構成方法に関する情報及びそれによって派生されるさまざまな情報などを含む。ｍｐｓｓボックス２１８に含まれる情報は、符号化されたステレオスコピック映像データを構成するＥＳの数及び／または当該ＥＳに対応する被符号化フレームの類型などによって多少変わることもできる。より具体的に、ｍｐｓｓボックス２１８には、被符号化フレームの類型（構成方法）に関する情報、左映像と右映像とのフレーム率に関する情報、被符号化フレームを構成する映像の大きさ、被符号化フレームを構成するフィールドのライン数、及び／または被符号化フレームを構成する左右映像のディスパリティ情報などが含まれうる。以下、符号化されたステレオスコピック映像データのＥＳ個数によってｍｐｓｓボックス２１８に含まれる情報の内容について詳しく説明する。

まず、ＥＳが１つのである場合について説明する。ＥＳが１つのである場合に、それによる被符号化フレームの構成方法は、例えば、図２ないし図４に開示されている方法のうちの何れか一つになりうる。図２ないし図４に開示されている被符号化フレームの構成方法は、総５種であって、ｍｐｓｓボックス２１８に含まれる情報は、前記５種類型をいずれも支援しなければならない。したがって、ｍｐｓｓボックス２１８には、まず当該ＥＳを構成する被符号化フレームの類型を指示する情報が含まれる。被符号化フレームの類型は、‘ＳｔｅｒｅｏＳｃｏｐｉｃ＿ＣｏｍｐｏｓｉｔｉｏｎＴｙｐｅ’で表現され、その値は３ビットを用いて、次の表６のように割り当てられる。表６は、単に例示的なものである。

そして、被符号化フレームが、図２及び図３に示されたフレーム２２、２４、３２、３４である場合に、ｍｐｓｓボックス２１８には、被符号化フレームの大きさに関する情報がさらに含まれうる。例えば、被符号化フレームが、図２の左側に示されたフレーム２２である場合には、映像の幅を表わす情報が含まれ、被符号化フレームが、図２の右側に示されたフレーム２４である場合には、映像の高さを表わす情報が含まれうる。そして、被符号化フレームが、図３の左側に示されたフレーム３２である場合には、交差された垂直ラインのフィールド単位の幅を表わす情報が含まれ、被符号化フレームが、図３の右側に示されたフレーム３４である場合には、交差された水平ラインのフィールド単位の幅を表わす情報が含まれうる。

このような被符号化フレームの大きさに関する情報は、‘ｗｉｄｔｈ＿ｏｒ＿ｈｅｉｇｈｔ’で表現することができ、例えば、表６に開示されたＳｔｅｒｅｏＳｃｏｐｉｃ＿ＣｏｍｐｏｓｉｔｉｏｎＴｙｐｅの値が‘０ｂ００１’である場合に、前記‘ｗｉｄｔｈ＿ｏｒ＿ｈｅｉｇｈｔ’の値は映像の幅、‘０ｂ０１０’である場合は、映像の高さ、‘０ｂ０１１’である場合は、交差された垂直ラインのフィールド単位の幅、または‘０ｂ１００’である場合は、交差された水平ラインのフィールド単位の高さを表すことができる。

また、被符号化フレームが、図２及び図３に示されたフレーム２２、２４、３２、３４である場合に、ｍｐｓｓボックス２１８には、被符号化フレームの構成映像である奇数ラインフィールド及び偶数ラインフィールドを構成するラインの数に関する情報が含まれうる。例えば、被符号化フレームが、図２に示されたフレーム２２、２４である場合には、前記フィールドラインの数が０になるが、図３に示されたフレーム３２、３４である場合には、奇数ラインフィールドを構成するラインの数及び／または偶数ラインフィールドを構成するラインの数を表わす情報が含まれうる。

このような奇数ラインフィールドを構成するラインの数に関する情報は、‘ｏｄｄ＿ｆｉｅｌｄ＿ｃｏｕｎｔ’で表現し、偶数ラインフィールドを構成するラインの数に関する情報は、‘ｅｖｅｎ＿ｆｉｅｌｄ＿ｃｏｕｎｔ’で表現することができる。例えば、表６に開示されたＳｔｅｒｅｏＳｃｏｐｉｃ＿ＣｏｍｐｏｓｉｔｉｏｎＴｙｐｅが‘０ｂ００１’と‘０ｂ０１０’である場合に、‘ｏｄｄ＿ｆｉｅｌｄ＿ｃｏｕｎｔ’と‘ｅｖｅｎ＿ｆｉｅｌｄ＿ｃｏｕｎｔ’は、いずれも‘０’になり、‘０ｂ０１１’と‘０ｂ１００’とである場合は、‘ｏｄｄ＿ｆｉｅｌｄ＿ｃｏｕｎｔ’と‘ｅｖｅｎ＿ｆｉｅｌｄ＿ｃｏｕｎｔ’は、それぞれ奇数ラインの数及び偶数ラインの数を表すことができる。

ｍｐｓｓボックス２１８には、また左映像と右映像と間または奇数ラインフィールドと偶数ラインフィールドと間のフレーム率が同一であるかと、もしフレーム率が異なる場合には、同期化方法を表わす情報がさらに含まれうる（フレーム率の関連情報）。ここで、同期化方法とは、二つの映像のフレーム率が異なる場合に、ディスプレイ時にある映像を基準にしてフレーム率を一致させるかを表わす情報であり得る。すなわち、同期化方法に関する情報は、基準映像をある映像にすることを指示する情報であり得る。このようなフレーム率及び／または同期化方法に関する情報は、‘ＳｔｅｒｅｏＳｃｏｐｉｃ＿ＥＳ＿ＦｒａｍｅＳｙｎｃ’で表現し、２ビットを用いて表７のように割り当てられる。表７は、ＥＳが１である場合であって、例示的なものである。

ｍｐｓｓボックス２１８には、また左映像と右映像と間または奇数ラインフィールドと偶数ラインフィールドと間のイメージ情報（例えば、Ｙ／Ｃｂ／Ｃｒ値またはＲ／Ｇ／Ｂ値）の差、すなわち、ディスパリティがあるかどうかを指示する情報と、もしディスパリティがある場合には、ディスパリティ値がさらに含まれうる（ディスパリティの関連情報）。ここで、ディスパリティ値とは、何れか一つの映像（またはフィールド）を基準にした他の映像（またはフィールド）との差値を表わす情報である。このようなディスパリティの関連情報は、ディスプレイされるステレオスコピック映像の立体感を補正するためのものである。

このようなディスパリティの関連情報中で、ディスパリティがあるかどうかを指示する情報は、‘ＳｔｅｒｅｏＳｃｏｐｉｃ＿ＩｍａｇｅＩｎｆｏｒｍａｔｉｏｎＤｉｆｆｅｒｅｎｃｅ’で表現し、２ビットを用いて表８のように割り当てられる。表８も、ＥＳが１である場合であって、例示的なものである。

ディスパリティの関連情報中で、ディスパリティ値は、イメージ情報の差として表現される。イメージ情報を表現する方法は、さまざまであるが、その中で代表的な方法が、Ｙ／Ｃｂ／ＣｒまたはＲ／Ｇ／Ｂである。したがって、ディスパリティ値も、それを用いて次のように表現することができる。

Ｙ＿ｏｒ＿Ｒ＿ｄｉｆｆｅｒｅｎｃｅ：イメージ情報Ｙ値の差またはＲ値の差を表わす。

Ｃｂ＿ｏｒ＿Ｇ＿ｄｉｆｆｅｒｅｎｃｅ：イメージ情報Ｃｂ値の差またはＧ値の差を表わす。

Ｃｒ＿ｏｒ＿Ｂ＿ｄｉｆｆｅｒｅｎｃｅ：イメージ情報Ｃｒ値の差またはＢ値の差を表わす。

次いで、ＥＳが２つである場合について説明する。ＥＳが２つである場合に、それによる被符号化フレームの構成方法は、例えば、図５または図６に開示されている方法のうちの何れか一つになりうる。ＥＳが２つである場合には、ｍｏｏｖコンテナ２００は２つのトラックコンテナ、すなわち、ｔｒａｃｋ１コンテナ及びｔｒａｃｋ２コンテナを含む。そして、各トラックコンテナには、当該ＥＳに対するメタデータ情報が含まれうる。以下では、前述したＥＳが１つである場合との差点を中心に説明する。

符号化されたステレオスコピック映像データのＥＳが２つである場合に、ｍｐｓｓボックス２１８には、まず当該ＥＳを構成する被符号化フレームの類型を指示する情報が含まれる。図５及び図６を参照すれば、被符号化フレームの類型は、四種、すなわち、左映像、右映像、基準映像、及び差分映像になりうるので、ｍｐｓｓボックス２１８には、これを指示する情報が含まれる。被符号化フレームの類型は、‘ＳｔｅｒｅｏＳｃｏｐｉｃ＿ＥＳ＿Ｔｙｐｅ’で表現され、その値は、２ビットを用いて次の表９のように割り当てられる。表９は、単に例示的なものである。

ｍｐｓｓボックス２１８には、また左映像と右映像と間のフレーム率が同一であるかと、もしフレーム率が異なる場合には、左映像と右映像とを同期化方法を表わす情報がさらに含まれうる（フレーム率の関連情報）。このようなフレーム率の関連情報は、被符号化フレームが、図５に示されたフレーム（左映像と右映像とで構成されたフレーム）である場合にのみ含まれ、被符号化フレームが、図６に示されたフレームである場合には、含まれない。このようなフレーム率及び／または同期化方法に関する情報は、‘ＳｔｅｒｅｏＳｃｏｐｉｃ＿ＥＳ＿ＦｒａｍｅＳｙｎｃ’で表現し、２ビットを用いて表１０のように割り当てられる。但し、表１０は、ＥＳが２である場合であって、例示的なものである。

ｍｐｓｓボックス２１８には、また左映像と右映像と間のイメージ情報（例えば、Ｙ／Ｃｂ／Ｃｒ値またはＲ／Ｇ／Ｂ値）の差、すなわち、ディスパリティがあるかどうかを指示する情報と、もしディスパリティがある場合には、ディスパリティ値がさらに含まれうる（ディスパリティの関連情報）。このようなディスパリティの関連情報も、被符号化フレームが図５に示されたフレーム（左映像と右映像とで構成されたフレーム）である場合にのみ含まれ、被符号化フレームが、図６に示されたフレームである場合には、含まれない。ディスパリティの関連情報は、‘ＳｔｅｒｅｏＳｃｏｐｉｃ＿ＩｍａｇｅＩｎｆｏｒｍａｔｉｏｎＤｉｆｆｅｒｅｎｃｅ’で表現し、２ビットを用いて表１１のように割り当てられる。但し、表１１も、ＥＳが２である場合であって、例示的なものである。

そして、イメージ情報の差であるディスパリティ値は、当該ＥＳのｍｐｓｓボックス２１８ではない対となる他のＥＳのｍｐｓｓボックスに含まれる。この場合、ディスパリティがあるかどうかを表わす情報とディスパリティ値を指示する情報は、２つのＥＳに分散されて含まれうる。

被符号化フレームの類型を表わすステレオスコピックＥＳタイプが、図６に示された映像である場合には、被符号化フレーム自体が基準映像と差分映像とに分けられる。したがって、‘ＳｔｅｒｅｏＳｃｏｐｉｃ＿ＥＳ＿Ｔｙｐｅ’が基準映像または差分映像を指示する場合には、当該ＥＳに対してはフレーム率の関連情報とディスパリティの関連情報とが必要ではない。したがって、ＥＳが２つである場合であって、被符号化フレームが、図６に示された映像である場合には、ｍｐｓｓボックス２１８には、これら情報が含まれない。

次いで、ＥＳが３つ以上である場合について説明する。ＥＳが３つ以上である場合の被符号化フレームは、図７に示されているが、基準映像と差分映像とで構成されているという点で図６に示された被符号化フレーム構成と同一である。したがって、ＥＳが３つ以上である場合に、ｍｐｓｓボックス２１８に含まれる情報は、ＥＳが２つであって、被符号化フレーム類型が、図６である場合と同一であるので、以下では、これについての詳細な説明は省略する。

前述した情報を含むｍｐｓｓボックス２１８に対するシンタックスの一例は、図１６ないし図１９に示されている。図１６ないし図１９に示されたシンタックスは、元々一つに表現されなければならないものや、ここでは、地面の制約によって分離して示す。したがって、図１６に示されたシンタックス部分に後続して、図１７に示されたシンタックス部分に連結され、その後に、図１８及び図１９のシンタックス部分が順次に繋がる。そして、前記シンタックスについての説明は、前記で詳細に説明したので、これについての敷衍説明は省略する。

次いで、図８を参照すれば、映像データ部ｍｄａｔ３００であるｍｄａｔコンテナは、被符号化フレームに対する符号化されたイメージ情報を含む。そのために、ｍｄａｔコンテナは、一つまたはそれ以上のステレオスコピック映像データコンテナ（Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｉｍａｇｅ Ｄａｔａ）３１０を含むが、それぞれステレオスコピック映像データコンテナ３１０は、メタデータ部２００に含まれるそれぞれのトラックコンテナｔｒａｃｋ２１０に対応する。したがって、映像データ部３００は、ＥＳの個数に相応するステレオスコピック映像データコンテナ３１０を含む。そして、各ステレオスコピック映像データコンテナ３１０に含まれる映像データの種類は、既存の映像データと大差がないために、以下では、これについての詳細な説明は省略する。

以上、本発明の一実施形態について詳細に説明したが、このような実施形態は、単に例示的なものであって、本発明の技術思想は、さまざまな方法で具現することが可能であるということは、当業者に自明である。

本発明は、ステレオスコピック映像コデックスと関連する。

Claims (14)

1. 符号化されたステレオスコピック映像データのファイルを構成する方法において、
   前記ファイルは、
   前記ファイルがステレオスコピック映像に関するものであるか否かを指示するためのフィイルタイプ宣言部と、
   前記符号化されたステレオスコピック映像データのメタデータを含ませるための一つまたはそれ以上のトラックコンテナを含むメタデータ部と、
   前記符号化されたステレオスコピック映像データのイメージ情報を含ませるための一つまたはそれ以上のステレオスコピック映像データコンテナを含む映像データ部と、
   を含むことを特徴とする符号化されたステレオスコピック映像データファイルの構成方法。
2. 前記フィイルタイプ宣言部は、
   前記ファイルがステレオスコピック映像に関するものであるか否かを指示するための第１情報及び前記ファイルを構成する基本ストリームＥＳの個数を指示するための第２情報を含むことを特徴とする請求項１に記載の符号化されたステレオスコピック映像データファイルの構成方法。
3. 前記トラックコンテナと前記ステレオスコピック映像データコンテナとの個数は、それぞれ前記第２情報の値と同一であることを特徴とする請求項２に記載の符号化されたステレオスコピック映像データファイルの構成方法。
4. 前記トラックコンテナは、
   当該基本ストリームＥＳの類型を指示するためのハンドラー参照コンテナと、
   前記当該ＥＳのメタデータを含ませるためのメディア情報コンテナと、
   を含むことを特徴とする請求項２に記載の符号化されたステレオスコピック映像データファイルの構成方法。
5. 前記メディア情報コンテナは、
   被符号化フレームの大きさを指示する情報を含むステレオスコピックヘッダコンテナを含むことを特徴とする請求項４に記載の符号化されたステレオスコピック映像データファイルの構成方法。
6. 前記ステレオスコピックヘッダコンテナは、
   前記ステレオスコピック映像の獲得に用いた左右カメラ間の距離を表わす情報を含ませるためのコンテナを含むことを特徴とする請求項５に記載の符号化されたステレオスコピック映像データファイルの構成方法。
7. 前記ステレオスコピックヘッダコンテナは、
   前記ステレオスコピック映像のディスプレイに用いられるバリア型ディスプレイ装置のバリアパターンの距離を指示する情報及び／または前記バリアパターン間の間隔を指示する情報を含ませるためのコンテナを含むことを特徴とする請求項５に記載の符号化されたステレオスコピック映像データファイルの構成方法。
8. 前記メディア情報コンテナは、
   前記当該ＥＳのデスクリプションを定義するためのサンプルデスクリプションコンテナを含むことを特徴とする請求項４に記載の符号化されたステレオスコピック映像データファイルの構成方法。
9. 前記サンプルデスクリプションコンテナは、
   被符号化フレームの構成方法を指示するＥＳ類型の情報を含むことを特徴とする請求項８に記載の符号化されたステレオスコピック映像データファイルの構成方法。
10. 前記フィイルタイプ宣言部の前記第２情報が、前記ＥＳの個数が１つであると指示し、
    前記ＥＳ類型の情報が指示する前記被符号化フレームは、左右映像がフレーム単位で時間方向に交互に配列された第１類型、左映像と右映像とがサイドバイサイド方式で配列された第２類型、左映像と右映像とがトップダウン方式で配列された第３類型、左右映像の垂直ピクセルラインが交互に配列された第４類型、及び左右映像の水平ピクセルラインが交互に配列された第５類型のうち何れか一つであることを特徴とする請求項９に記載の符号化されたステレオスコピック映像データファイルの構成方法。
11. 前記ＥＳ類型の情報が、前記第２類型ないし第５類型のうち何れか一つを指示し、
    前記サンプルデスクリプションコンテナは、前記被符号化フレームを構成する左右映像間のフレーム率の関連情報及び／またはディスパリティの関連情報をさらに含むことを特徴とする請求項１０に記載の符号化されたステレオスコピック映像データファイルの構成方法。
12. 前記フレーム率の関連情報は、
    前記左右映像のフレーム率が同一であるか否かと前記左右映像のフレーム率が異なる場合には、前記ステレオスコピック映像のディスプレイ時にフレーム率を一致させるための情報を含むことを特徴とする請求項１１に記載の符号化されたステレオスコピック映像データファイルの構成方法。
13. 前記ディスパリティの関連情報は、
    前記左右映像のディスパリティがあるか否かと前記左右映像のディスパリティがある場合には、前記ディスパリティを補正するための情報を含むことを特徴とする請求項１１に記載の符号化されたステレオスコピック映像データファイルの構成方法。
14. 前記フィイルタイプ宣言部の前記第２情報が、前記ＥＳの個数が２つであると指示し、
    前記ＥＳ類型の情報が指示する前記被符号化フレームは、左映像、右映像、基準映像、及び差分映像のうち何れか一つであることを特徴とする請求項９に記載の符号化されたステレオスコピック映像データファイルの構成方法。

Images