JP2011502375A - ステレオスコピックデータの保存および再生のためのメタデータ構造ならびにこれを利用するステレオスコピックコンテンツファイルの保存方法 - Google Patents

Abstract

本発明は、ステレオスコピックデータの保存および再生のためのメタデータ構造、およびこれを用いるステレオスコピックコンテンツファイルの保存方法に関するものである。本発明による保存方法は、ステレオスコピックコンテンツの符号化ストリームを保存するステップと、ステレオスコピックコンテンツが２個以上の基本符号化ストリームを有する場合、基本符号化ストリームを主要トラックおよび付加トラックに区分する情報を保存するステップとを含む。

Description

本発明は、ステレオスコピックデータの保存および再生のためのメタデータ構造ならびにこれを利用するステレオスコピックコンテンツファイル保存方法に関し、特に２次元および３次元コンテンツがともに供給される場合に要求されるメタデータ（制御情報）およびこれを利用するステレオスコピックコンテンツファイルの保存方法に関するものである。

本発明は、ＭＩＣ／ＩＩＴＡのＩＴ研究開発プログラムから導出されたものである［課題管理番号：２００５−Ｓ−４０３−０２、課題名：知能型統合情報放送（ＳｍａｒＴＶ）技術開発（Development of Super-intelligent Multimedia Anytime-anywhere Realistic TV (SmarTV) Technology）］。

ステレオスコピックコンテンツを利用した応用サービスおよび関連機器に対する市場が国内外で携帯電話、デジタルカメラ、ＤＶＤ、ＰＤＰなどを中心に形成されている。これと関連してステレオスコピックコンテンツの獲得、保存および再生のために付加的に要求されるシステム情報または制御情報（すなわち、メタデータ）と、これを含むファイルフォーマットに対する標準化が求められている。

韓国公開特許第２００６−００５６０７０号（発明の名称：ＭＰＥＧ−４オブジェクト記述子情報および構造を利用した３次元動画処理装置およびその方法、以下「特許文献１」という）では、３次元動画種類、多様なディスプレイ方式および視点数などのような新しく要求される情報を追加した３次元動画オブジェクト記述子が開示されている。また、韓国特許出願第２００６−０１００２５８号（発明の名称：ステレオスコピック映像データの伝送方法、以下「特許文献２」という）では、ステレオスコピックコンテンツのデコードされた映像のデータに対するファイルフォーマットであって、ステレオスコピック映像情報を含む映像データ部、ステレオスコピック映像情報をデコードおよび再生するためのメタデータを含むヘッダ部を備えるファイルフォーマットが開示されている。

しかし特許文献１および２は、２次元コンテンツおよび３次元コンテンツがともに構成され提供される場合（すなわち、２次元コンテンツおよび３次元コンテンツが混用される場合）にコンテンツを識別する方法、３次元コンテンツが異なるステレオスコピックカメラおよびディスプレイ情報を有する場合にステレオスコピックカメラおよびディスプレイ情報を提供する方法、２個の符号化ストリームで構成される３次元コンテンツの場合にステレオスコピックトラック参照情報などを提供することができない。

韓国公開特許第２００６−００５６０７０号 韓国特許出願第２００６−０１００２５８号

本発明は、このような問題を解決するために提案されたもので、その目的は、ステレオスコピックコンテンツの保存方法を提供することにある。

また、本発明の他の目的は、２次元（２Ｄ）コンテンツおよび３次元（３Ｄ）コンテンツが混用されて提供される場合に、これを多様な３次元端末環境でダウンロードして再生する時、２Ｄコンテンツおよび３Ｄコンテンツを識別して、自動でパララックスバリアをオン／オフし、識別した２Ｄコンテンツおよび３Ｄコンテンツをディスプレイすることができるステレオスコピックコンテンツの保存方法を提供することにある。

また、本発明の他の目的は、ファイルに保存されるステレオスコピックコンテンツが区間（fragment）別に互いに異なるステレオスコピックカメラおよびディスプレイ情報を有する場合、ステレオスコピックカメラ／ディスプレイ情報を保存する方法を提供することにある。

また、本発明の他の目的は、ステレオスコピックコンテンツが２個の基本符号化ストリームを有する場合、主要（メイン）／付加トラックを特定し、一般的な２Ｄ端末との互換性を維持しつつ、各トラックに含まれ使用され得るステレオスコピックカメラ／ディスプレイ情報の冗長性を除去することができるステレオスコピックコンテンツの保存方法を提供することにある。

本発明の他の目的および長所は、以下の発明の詳細によって理解され、本発明の実施形態を参照することによって明らかになるだろう。また、本発明の目的および長所は、特許請求の範囲に記載した手段およびその組合せによって実現され得ることが、当業者には明らかである。

本発明の態様に従い、ステレオスコピックコンテンツを保存する方法において、前記ステレオスコピックコンテンツの符号化ストリームを保存するステップと、前記ステレオスコピックコンテンツが２個以上の基本符号化ストリームを有する場合、前記基本符号化ストリームを主要トラックおよび付加トラックに区分する情報を保存するステップとを含む方法が提供される。

また、本発明の他の態様に従い、ステレオスコピックコンテンツを保存するファイルフォーマット構造において、前記ステレオスコピックコンテンツの符号化ストリームを保存するメディアデータボックスと、前記ステレオスコピックコンテンツが２個以上の基本符号化ストリームを有する場合、前記基本符号化ストリームを主要トラックおよび付加トラックに区分する情報を保存するトラック参照ボックスとを備えるファイルフォーマット構造が提供される。

また、本発明の他の態様に従い、ＡＶＣ ＳＥＩに基づいてステレオスコピックコンテンツを保存する方法において、ＡＶＣに基づいて符号化されたステレオスコピックコンテンツを保存するステップを含み、「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」は、ステレオスコピック映像構成が「ｓｉｄｅ ｂｙ ｓｉｄｅ」タイプであることを示す情報を含む方法が提供される。

本発明によれば、２次元コンテンツおよび３次元コンテンツから構成されるステレオスコピックコンテンツを容易に保存して提供することができる。２Ｄコンテンツおよび３Ｄコンテンツの区分情報によってパララックスバリアを自動で２Ｄまたは３Ｄディスプレイに変えることによって、ユーザはステレオスコピックコンテンツを容易に鑑賞することができる。

ステレオスコピックコンテンツを提供するための多様なコンテンツ構成形態を示す図である。 本発明によるステレオスコピックビデオアプリケーションフォーマットのための基本ファイルフォーマットの構造図であって、ＭＰＥＧ−４システム情報がある場合である。 本発明によるステレオスコピックビデオアプリケーションフォーマットのための基本ファイルフォーマットの構造図であって、ＭＰＥＧ−４システム情報がない場合である。 本発明によるステレオスコピックビデオアプリケーションフォーマットの第１実施形態の構造図であって、ＭＰＥＧ−４システム情報がある場合である。 本発明によるステレオスコピックビデオアプリケーションフォーマットの第１実施形態の構造図であって、ＭＰＥＧ−４システム情報がない場合である。 本発明による「ｉｓｈｄ」ボックスを「ｍｏｏｖ」ボックスに含ませた保存フォーマットの構造図であって、（ａ）は１つのソースで構成された３次元コンテンツの場合であり、（ｂ）は２個のソースで構成された３次元コンテンツの場合である。 本発明による「ｉｓｈｄ」ボックスを「ｍｄａｔ」ボックスに含ませた保存フォーマットの構造図であって、（ａ）は、１つのソースで構成された３次元コンテンツの場合であり、（ｂ）は、２個のソースで構成された３次元コンテンツの場合である。 本発明による「ｉｓｈｄ」を「ｍｅｔａ」に含ませた保存フォーマットの構造図であって、（ａ）は、１つのソースで構成された３次元コンテンツの場合であり、（ｂ）は、２個のソースで構成された３次元コンテンツの場合である。 本発明による「ｉｓｈｄ」ボックスとＬＡＳｅＲを含めた保存フォーマットの構造図であって、（ａ）は、「ｉｓｈｄ」ボックスとＬＡＳｅＲが「ｍｏｏｖ」ボックスに含まれた場合であり、（ｂ）は、「ｉｓｈｄ」ボックスは「ｍｏｏｖ」ボックスに含まれ、ＬＡＳｅＲは「ｍｄａｔ」ボックスに含まれた場合であり、（ｃ）は、「ｉｓｈｄ」ボックスとＬＡＳｅＲが「ｍｅｔａ」ボックスに含まれた場合である。 本発明による「ｉｓｈｄ」ボックスと「ｉｌｏｃ」ボックスが含まれたＳＳ−ＶＡＦの構造図であって、ＥＳ＝１の場合である。 本発明による「ｉｓｈｄ」ボックスと「ｉｌｏｃ」ボックスが含まれたＳＳ−ＶＡＦの構造図であって、ＥＳ＝２の場合である。 （ａ）は、ＡＶＣ内のＳＥＩの基本構造のうち「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」、「ｒｅｓｅｒｖｅｄ＿ｓｅｉ＿ｍｅｓｓａｇｅ」が含まれた部分を示す図であり、（ｂ）は、ＡＶＣストリーム内ＳＥＩの位置を示す図である。 本発明による「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」と「ｒｅｓｅｒｖｅｄ＿ｓｅｉ＿ｍｅｓｓａｇｅ」を利用したＳＳ−ＶＡＦの構造図である。 本発明による「ｔｒｅｆ」、「ｉｓｈｄ」、「ｉｌｏｃ」ボックスを有するＳＳ−ＶＡＦの構造図であって、ＥＳ＝２の時、単一フォーマットのステレオスコピックストリームのみでコンテンツが構成された場合の図である。 本発明による「ｔｒｅｆ」、「ｉｌｏｃ」、「ｓｖｍｉ」、「ｓｃｄｉ」ボックスを有するＳＳ−ＶＡＦの構造図である。 本発明によるステレオスコピックコンテンツ保存方法の一実施形態のフローチャートである。 本発明によるステレオスコピックコンテンツ保存方法の他の実施形態のフローチャートである。 本発明によるステレオスコピックコンテンツ保存方法のさらに他の実施形態のフローチャートである。

図１は、ステレオスコピックコンテンツを提供するために構成できる多様なコンテンツ構成形態を示す。図１の（ａ）は、基本符号化ストリームＥＳ（elementary stream）が１個の場合（すなわち、ＥＳ＝１の場合）であり、図１の（ｂ）は、ＥＳ＝２の場合である。単一フォーマット（single format）は、ステレオスコピック映像構成方式が同一であり、１つのカメラパラメータおよび１つのディスプレイ情報のみを有するフォーマットである。多重フォーマット（multiple format）は、ステレオスコピック映像構成方式が異なる場合、またはステレオスコピック映像構成方式は同じであるがカメラパラメータが異なる場合、または多数個のディスプレイ情報またはその他情報を有するフォーマットである。

ステレオスコピックコンテンツのタイプには、ｉ）両眼式３次元動画サービスなどのステレオスコピックビデオコンテンツ（Stereoscopic Video Content）、ｉｉ）両眼式３次元静止画サービス（例：スライドショー）、２Ｄ（モノ）ビデオと３Ｄデータサービス（特定画面または部分）の結合などの、ステレオスコピックイメージコンテンツ（Stereoscopic Image Content）、ｉｉｉ）２Ｄ（モノ）ビデオと３Ｄビデオ（特定画面または部分）の結合などの、ステレオスコピック混用コンテンツ（Monoscopic and Stereoscopic Mixed Content）がある。

図２および図３は、本発明によるステレオスコピックビデオアプリケーションフォーマットＳＳ−ＶＡＦ（Stereoscopic video application format）の基本構造図である。

図２は、ＭＰＥＧ−４システム情報があるファイルフォーマット構造であり、図３は、ＭＰＥＧ−４システム情報がないファイルフォーマット構造である。図に示したように、ＳＳ−ＶＡＦは、「ｆｔｙｐ」、「ｍｏｏｖ」、「ｍｄａｔ」ボックスを含む。以下、ＳＳ−ＶＡＦのボックス（box）のシンタックス（syntax）とセマンティックス（semantics）を説明する。本発明によるボックスは、ＳＳ−ＶＡＦの構造に含まれ、その位置は形態により変わりうるし、ボックスに含まれる情報は、別途に使用可能である。

１．「ｓｃｔｙ」（Stereoscopic Content Type）
「ｓｃｔｙ」は、基本的に構成されるコンテンツのタイプを表したものであって、モノスコピックコンテンツ（一般２Ｄ画像）と、ステレオスコピックコンテンツを区分する。表１は、「ｓｃｔｙ」に対するシンタックスを表す。また「ｓｃｔｙ」を構成する「Ｓｔｅｒｅｏｓｃｏｐｉｃ＿Ｃｏｎｔｅｎｔ＿ｔｙｐｅ」は、「ｆｔｙｐ」ボックスおよび他の既存のボックスに含まれて使用されうる。

表１においてＳｔｅｒｅｏｓｃｏｐｉｃ＿Ｃｏｎｔｅｎｔ＿Ｔｙｐｅは、ステレオスコピックコンテンツタイプ（Stereoscopic content type）を表し、表２のような意味を有する。

２．「ｓｏｖｆ」（Stereoscopic Object Visual Format）
「ｓｏｖｆ」は、ステレオスコピックコンテンツの映像構成フォーマット（またはビジュアルフォーマット）を表す。表３は、「ｓｏｖｆ」のシンタックスを表す。また、「ｓｏｖｆ」内に含まれた「Ｓｔｅｒｅｏｓｃｏｉｃ＿Ｏｂｊｅｃｔ＿ＶｉｓｕａｌＦｏｒｍａｔ」は、既存の他のボックスまたはステレオスコピックコンテンツの保存のために新しく定義されたボックス内に含まれうる。

表３において、「Ｓｔｅｒｅｏｓｃｏｐｉｃ＿Ｏｂｊｅｃｔ＿ＶｉｓｕａｌＦｏｒｍａｔ」は、ステレオスコピックコンテンツの映像構成情報を表し、表４のような意味を有する。

「ｆｕｌｌ ｓｉｚｅ」は、付加映像のサイズが主要映像のサイズと同一なことを意味し、「ｈａｌｆ ｏｆ ｖｅｒｔｉｃａｌ」は、付加映像のサイズが主要映像の縦半分のサイズであることを意味し、「ｈａｌｆ ｏｆ ｈｏｒｉｚｏｎｔａｌ」は、付加映像のサイズが主要映像の横半分のサイズであることを意味し、「ｈａｌｆ ｏｆ ｖｅｒｔｉｃａｌ／ｈｏｒｉｚｏｎｔａｌ」は付加映像のサイズが主要映像の縦／横半分のサイズであることを意味する。

３．「ｓｓｃｉ」（Stereoscopic Content Information）
「ｓｓｃｉ」は、ステレオスコピックコンテンツが含む最小／最大深さ（depth）または視差（disparity）情報であって、これによって３Ｄ端末は、３Ｄディスプレイに適合する立体映像を再生することができる。表５は、「ｓｓｃｉ」のシンタックスを表す。また、「ｓｓｃｉ」内に含まれた最小／最大深さ情報は、既存の他のボックスまたはステレオスコピックコンテンツの保存のために新しく定義されたボックス内に含みうる。表５で「Ｍａｘ＿ｏｆ＿ｄｅｐｔｈ（ｄｉｓｐａｒｉｔｙ）」は、最大深さ／視差情報（ピクセル単位）を表し、「Ｍｉｎ＿ｏｆ＿ｄｅｐｔｈ（ｄｉｓｐａｒｉｔｙ）」は、最小深さ／視差情報（ピクセル単位）を表す。

４．ｓｃｐｉ（Stereoscopic Camera Parameter Information）
「ｓｃｐｉ」は、ステレオスコピックカメラによって獲得された、または関連ツールによって生成されたステレオスコピックコンテンツのカメラパラメータ情報を表す。表６は「ｓｃｐｉ」のシンタックスを表す。また、「ｓｃｐｉ」内に含まれた各フィールドは既存の他のボックスまたはステレオスコピックコンテンツの保存のために新しく定義されたボックス内に含みうる。

表６において、「Ｂａｓｅｌｉｎｅ」は、左右のカメラ間の距離を表し、「ｆｏｃａｌ＿Ｌｅｎｇｔｈ」は、カメラ中心からイメージ面（image plane）（ＣＣＤセンサ）までの距離を表し、「Ｃｏｎｖｅｒｇｅｎｃｅ＿ｐｏｉｎｔ＿ｄｉｓｔａｎｃｅ」は、ベースライン（baseline）から収束点（convergence point）までの距離を表す。ここで、収束点は左右のカメラの視線が交差する地点を表す。そして「ｓｔｅｒｅｏｓｃｏｐｉｃＣａｍｅｒａ＿ｓｅｔｔｉｎｇ」は、ステレオスコピック撮影／データのカメラ配置（camera arrangement）を表し、表７のような意味を有する。

５．「ｉｏｄｓ」（Object Descriptor Box）
「ｉｏｄｓ」は、ＢＩＦＳまたはＬＡＳｅＲなどのシーン（scene）情報がある場合、ＢＩＦＳストリームまたはＯＤストリームの位置を表すためのＩＯＤ（Initial Object Descriptor）を表現するための情報を表す。表８は「ｉｏｄｓ」のシンタックスを表す。

６．「ｓｏｅｔ」（Stereoscopic One ES Type Box）
「ｓｏｅｔ」は、エンコーダから出力されるＥＳが１個である場合を表す。表９は、「ｓｏｅｔ」のシンタックスを表す。

表９において、「ｓｔｅｒｅｏｓｃｏｐｉｃ＿ＯｎｅＥＳ＿Ｔｙｐｅ」は、ＥＳが１個で構成されるステレオスコピックデータの映像構成フォーマットの実施形態を表し、表１０のような意味を有する。

７．「ｓｔｅｔ」（Stereoscopic Two ES Type Box）
「ｓｔｅｔ」は、エンコーダから出力されるＥＳが２個である場合の、各ＥＳのタイプを表す。表１１は「ｓｔｅｔ」のシンタックスを表す。

表１１において、「ｓｔｅｒｅｏｓｃｏｐｉｃ＿ＴｗｏＥＳ＿Ｔｙｐｅ」は、２個のＥＳで構成されるステレオスコピックデータの映像構成フォーマットの実施形態を表し、表１２のような意味を有する。

８．ｓｓｔｔ（Stereoscopic Time Table Box）
「ｓｓｔｔ」は、モノスコピックコンテンツおよびステレオスコピックコンテンツがともに使用される場合、シーン内でモノスコピックコンテンツおよびステレオスコピックコンテンツの開始および終了情報を表す。第１実施形態による「ｓｓｔｔ」のシンタックスが表１３に表示される。また、下記に説明される「ｓｓｔｔ」内に含まれた各フィールドは、既存の他のボックスまたはステレオスコピックコンテンツの保存のために新しく定義されたボックス内に含みうる。

表１３において、「Ｍｏｎｏ／ｓｔｅｒｅｏｓｃｏｐｉｃ＿Ｓｃｅｎｅ＿ｃｏｕｎｔ」は、ステレオスコピックコンテンツが２次元コンテンツおよび３次元コンテンツからともに構成される場合の、Ｍｏｎｏ／ｓｔｅｒｅｏｓｃｏｐｉｃシーン変化の数を表す。すなわち、２Ｄ→３Ｄ→２Ｄで構成されるステレオスコピックコンテンツの場合、「Ｍｏｎｏ／ｓｔｅｒｅｏｓｃｏｐｉｃ＿Ｓｃｅｎｅ＿ｃｏｕｎｔ」は２と設定される。また、２次元コンテンツを有さずに３次元コンテンツのみで構成される場合、「Ｍｏｎｏ／ｓｔｅｒｅｏｓｃｏｐｉｃ＿Ｓｃｅｎｅ＿ｃｏｕｎｔ」は１と設定される。このような情報は、３次元端末で２Ｄ／３Ｄディスプレイの自動変換に使用することができる。

「Ｍｏｎｏ／ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｉｄｅｎｔｉｆｉｅｒ」は、時間別コンテンツタイプを表し、表１４のような意味を有する。また、「Ｍｏｎｏ／ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｉｄｅｎｔｉｆｉｅｒ」を用いて、２次元コンテンツまたは３次元コンテンツを識別することができる。例えば、「Ｍｏｎｏ／ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｉｄｅｎｔｉｆｉｅｒ」に１ビットが割当てられ、「Ｍｏｎｏ／ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｉｄｅｎｔｉｆｉｅｒ」が「０」ならば２Ｄコンテンツを表し、「１」ならば３Ｄコンテンツを表す。「ｓｔａｒｔ＿Ｔｉｍｅ」は、時間別コンテンツの開始時間を表す。

表１５は、本発明の第２実施形態による「ｓｓｔｔ」のシンタックスを表示している。表１５において、「ｓｔａｒｔ＿Ｔｉｍｅ」は、ステレオスコピックコンテンツの開始時間を表し、「Ｅｎｄ＿Ｔｉｍｅ」はステレオスコピックコンテンツの終了時間を表す。

表１６は、第３実施形態による「ｓｓｔｔ」のシンタックスを表示している。「ｓｔａｒｔ＿Ｓａｍｐｌｅ＿ｎｕｍｂｅｒ」は、モノ／ステレオスコピックコンテンツの開始サンプル番号、またはサンプルの個数を表す。すなわち、サンプルの個数は、モノスコピックまたはステレオスコピックに対応するサンプル全体の個数を意味する。ここで、サンプル（sample）はビデオ、時間連続的な一連のビデオフレームの各々のフレーム（an individual frame of video and a time-contiguous series of video frames）を意味する。

表１７は、本発明の第３実施形態による「ｓｓｔｔ」のシンタックスを表示している。

表１７において、「ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｃｏｍｐｏｓｉｔｉｏｎｔｙｐｅ」は、多様なステレオスコピック構成タイプで構成される場合の、時間別コンテンツタイプを表し、表１８のような意味を有する。「Ｅｎｄ＿Ｓａｍｐｌｅ＿ｎｕｍｂｅｒ」は、ステレオスコピックコンテンツの終了サンプル番号またはサンプルの個数を表す。

９．「ｓｅｓｎ」（Stereoscopic ES Num Box）
「ｓｅｓｎ」は、エンコーダから出力される基本符号化ストリームの個数を表す。表１９は、「ｓｅｓｎ」に対するシンタックスを表す。表１９において、「ｓｔｅｒｅｏｓｃｏｐｉｃ＿ＥＳＮｕｍ」は、ステレオスコピックコンテンツに対してエンコードから出力されるＥＳの個数を表す。

１０．「ｔｒｅｆ」（Track reference box）
「ｔｒｅｆ」は、１つのトラックから他のトラックを参照することができるように情報を提供するＩＳＯベースファイルフォーマットで定義されたボックスである。「ｔｒｅｆ」は、「ｔｒａｋ」（Track Box）に含まれる。表２０は、本発明の一実施形態による「ｔｒｅｆ」のシンタックスを表示している。ここで、「ｔｒａｃｋ＿ＩＤ」は、参照されるトラックの識別符号を表し、「ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ」は、表２１のような意味を有する。

基本符号化ストリームが２個であるステレオスコピックビデオは、２個のトラックが存在し、従来のＬＡＳｅＲのようなシーン記述（scene description）としてＬＡＳｅＲ内のビデオ関連の２個のノードと連結される。すなわち、従来の技術ではＥＳが２個であるステレオスコピックビデオは、２個のオブジェクトとして認識されるものである。しかし、ステレオスコピックビデオは、端末で最終的に１つの３Ｄビデオフォーマットに変換され再生されるため、１つのオブジェクトとして認識されなければならない。すなわち、ステレオスコピックビデオは２個のトラックを用いて構成されるが、これをシーン再生するためには１つの３Ｄビデオフォーマットに変換されるため、１つのノードのみを用いて連結しなければならない。よって、基本符号化ストリームが２個である場合、２個のトラックの関係性を表す情報が要求され、ステレオスコピックトラック参照情報は、表２２に示すように「ｔｒｅｆ」内の「ｓｖｄｐ」で定義され、使用される。ＬＡＳｅＲは使用されないが、ＥＳが２個であるステレオスコピックコンテンツを保存するためには、「ｓｖｄｐ」などのステレオスコピックトラック参照情報を使用しなければならない。

ステレオスコピックコンテンツが２個のＥＳを含む場合、「ｔｒｅｆ」により、２個のトラックを１つの主要トラック（main track）と１つの付加トラック（additional track）として識別することができる。また、「ｔｒｅｆ」により、付加トラックが主要トラックを参照し、ステレオスコピックビデオ関連ステレオスコピックカメラおよびディスプレイ情報を１つのトラックのみに保存することができる。その結果、情報の冗長性を除去することができる。また、ステレオスコピックコンテンツが２個のトラックを有するとしても、ＬＡＳｅＲのビデオノードの１個に連結することができるという長所を有する。

ステレオスコピックコンテンツにより、多様なステレオスコピック映像構成フォーマットおよびカメラパラメータを支援することを可能とするために、本発明において初期ステレオスコピックヘッダ（initial stereoscopic header：ｉｓｈｄ）の構造を提案する。本発明の実施形態によれば、「ｉｓｈｄ」に含まれる情報を、別途に分離して使用することができる。

ステレオスコピックストリーム内に多様なステレオスコピックフォーマットおよびカメラパラメータが存在する場合、各ステレオスコピックストリーム、各ステレオスコピックストリームの開始および長さの情報は、「ｉｌｏｃ」によって識別され、各区間にｉｔｅｍ＿ＩＤが割当てられる。よって、「ｉｓｈｄ」は、ｉｔｅｍ＿ＩＤに基づいて各々のステレオスコピックフォーマットまたはカメラパラメータ情報を提供しなければならない。ここで、アイテム（item）は、１つのシーケンスでステレオスコピック区間とモノスコピック区間が共に存在する場合、１つのステレオスコピック区間を意味する。

また、ステレオスコピックストリーム内に３個のステレオスコピック区間があり、各区間に適用された「ｉｓｈｄ」情報が異なる場合、ステレオスコピック区間はｉｔｅｍ＿ＩＤにより識別され、各々の情報を記述する。一方、各区間に適用された「ｉｓｈｄ」情報が同じである場合、第２および第３のステレオスコピック区間は、第１のステレオスコピック区間と同じ「ｉｓｈｄ」情報を含む。このような構造は、「ｉｓｈｄ」内に含まれる情報の冗長性を除去することができるという長所がある。

図４は、本発明によるＳＳ−ＶＡＦの一実施形態の構図であって、ＭＰＥＧ−４システム情報がある場合である。図５は、本発明によるＳＳ−ＶＡＦの他の実施形態の構図であって、ＭＰＥＧ−４システム情報がない場合である。

一方、モノスコピックおよびステレオスコピックコンテンツが混用されている場合、モノスコピックまたはステレオスコピックコンテンツがいつ開始または終了するかを判定するために、区分情報が必要である。これはモノ／ステレオスコピックコンテンツの開始／終了情報、サンプルの２Ｄ／３Ｄの識別符号、およびそこに含まれるサンプル（ＡＵ）の個数に従って識別することができる。

図６ないし図８は、図１のような多様なコンテンツ構成形態を支援するための保存フォーマットの概念的な構造を提供する。基本的に保存フォーマットの構造は大きく「ｆｔｙｐ」ボックス、「ｍｏｏｖ」ボックスおよび「ｍｄａｔ」ボックスで構成される。「ｆｔｙｐ」ボックスは、ファイルタイプを定義するボックスであって、ステレオスコピックまたはモノスコピック／ステレオスコピック混用コンテンツファイルであることを表すフィールドを含むことによって、３次元コンテンツファイルであることを表す。「ｍｏｏｖ」ボックスは、メディアデータを再生するためのすべてのシステム（メタ）情報を含み、「ｍｄａｔ」ボックスは、実際のメディアデータを含む。このような構造に基づきステレオスコピックコンテンツに対する新しい付加情報が要求され、このような付加情報の位置に応じて保存フォーマット構造は変化する。

図６は、３次元コンテンツを構成するソースの個数および新しい付加情報を含む「ｉｓｈｄ」が「ｍｏｏｖ」ボックスに含まれる保存フォーマット構造を表す。３次元コンテンツに対してソースが１個である場合（図６（ａ））は、あるフレームに、左右の映像情報が両方含まれる（例：side by side）。ソースが２個である場合（図６（ｂ））、左右の映像情報は各々１つのフレームに含まれる。「ｍｏｏｖ」ボックス内のトラックの個数は、含まれたメディアデータの個数に応じて変わる。「ｍｏｏｖ」ボックス内のトラックは、「ｍｄａｔ」ボックスに含まれるメディアデータを再生するためのすべてのシステム（メタ）情報を含む。

このような保存フォーマットは、新しい付加情報およびこれを支援するための構造が要求とされる。よって、本発明は「ｉｓｈｄ」を新たに定義し、これを「ｍｏｏｖ」ボックスのトラック内に含める。「ｉｓｈｄ」の位置は、「ｍｏｏｖ」ボックス内、または保存フォーマット内において変わることができる。

図７は、先に定義された「ｉｓｈｄ」情報を「ｍｄａｔ」ボックスに有する保存フォーマット構造を表す。図７（ａ）は１つのソースで構成された３次元コンテンツの場合であり、図７（ｂ）は、２個のソースで構成された３次元コンテンツの場合である。これは既存の「ｍｏｏｖ」構造をそのまま維持しながら、「ｉｓｈｄ」ストリームが「ｍｄａｔ」ボックス内に含まれているという情報を保存フォーマットに含めることによって可能である。

図８は、先に定義された「ｉｓｈｄ」情報を「ｍｅｔａ」ボックスに有する保存フォーマット構造を表す。図８（ａ）は、１つのソースで構成された３次元コンテンツの場合であり、図８（ｂ）は、２個のソースで構成された３次元コンテンツの場合である。

表２２は、「ｉｓｈｄ」情報が「ｍｄａｔ」ボックスに含まれているという情報を知らせるための構造を表し、このような構造は、「ｓｔｓｄ（sample description）」ボックス内に含まれる。

図９は、図６ないし８の構造に基づきシーン記述子情報が含まれる場合の保存フォーマット構造を表す。シーン記述子は、多様なマルチメディアの自由なシーン構成およびユーザとのインタラクションのためのものであって、本発明ではレーザー（ＬＡＳｅＲ）を使用する。

図９（ａ）は、「ｍｏｏｖ」ボックス内にシーン記述子ストリームを保存するために別途のボックスを含む保存フォーマットを表す。図９（ｂ）は、「ｍｄａｔ」ボックス内にシーン記述子ストリームを有する保存フォーマットを表す。「ｍｏｏｖ」ボックスは、シーン記述子ストリームが「ｍｄａｔ」ボックス内に含まれることを知らせるためのトラックを別途に有し、「ｓｔｓｄ」ボックスは、シーン記述子ストリームに関する情報を有する。すなわち、トラック内の「ｓｔｓｄ」ボックスを検索して、このトラックがどんな情報（シーン記述子／ビデオ／オーディオ）を表しているのかを分析し、この分析結果に基づいて「ｍｄａｔ」ボックスに保存された情報を用いてデコードする方法である。図９（ｃ）は、先に定義されたシーン記述子情報を「ｍｅｔａ」ボックスに有する保存フォーマット構造を表す。

表２３ないし表２５は、図１の３次元コンテンツ構成形態をすべて支援する「ｉｓｈｄ」構造の実施形態を表す。

表２３ないし表２５において、「ｎｕｍ＿ＭｏｎｏＳｔｅｒｅｏ＿ｓｃｅｎｅ」は、ステレオスコピックコンテンツが２次元コンテンツおよび３次元コンテンツで構成される場合の、シーンの個数を表す。また、ステレオスコピックコンテンツが多様な３次元コンテンツで構成される場合の、シーンの個数を表す。例えば、ステレオスコピックコンテンツが（２Ｄ）（３Ｄ）（２Ｄ）で構成される場合、Ｎｕｍ＿ＭｏｎｏＳｔｅｒｅｏ＿ｓｃｅｎｅ＝３になる。また３ステレオスコピックコンテンツがｓｉｄｅ ｂｙ ｓｉｄｅ（field sequential）方式で構成される場合、ｎｕｍ＿ＭｏｎｏＳｔｅｒｅｏ＿ｓｃｅｎｅ＝２となる。さらに、ステレオスコピックコンテンツが単一フォーマットの３次元コンテンツのみからなる場合、ｎｕｍ＿ＭｏｎｏＳｔｅｒｅｏ＿ｓｃｅｎｅ＝１となる。

「ｓｔａｒｔ＿ｓａｍｐｌｅ＿ｉｎｄｅｘ」は、各コンテンツの開始サンプル（すなわち、一般的なフレーム番号）番号または各コンテンツタイプに応じた含まれるサンプルの個数として使用されることができる。「ｎｕｍｏｆＥＳ」は「ｍｄａｔ」ボックスに含まれたビデオ符号化ストリームの個数を表す。

「Ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅ」は、２次元コンテンツおよび３次元コンテンツのコンテンツフォーマットを識別するための情報を表す。「ｓｔａｒｔ＿ｓａｍｐｌｅ＿ｉｎｄｅｘ」および「Ｃｏｍｐｏｓｔｉｏｎ＿ｔｙｐｅ」を、２Ｄ／３Ｄディスプレイモードを支援する多様な３次元端末機において自動ディスプレイオン／オフするための基本情報として活用することができる。「Ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅ」は表２６のような意味を有する。

「ＬＲ＿ｆｉｒｓｔ」は、左右の映像のうち優先視される映像を表したものであって、左の映像と右の映像のうち、先にエンコーディングされるイメージを知らせる。

「ｓｔｅｒｅｏｓｃｏｐｉｃＣａｍｅｒａＩｎｆｏ」オブジェクトは、３次元コンテンツに対するカメラパラメータ情報を表したものであって、表２７は、「ｓｔｅｒｅｏｓｃｏｐｉｃＣａｍｅｒａＩｎｆｏ」オブジェクトの一実施形態を表す。本実施形態によるカメラパラメータ情報は、既存の他のボックス内または新しく定義されたボックスに含まれ得る。表２７で、「ｓｔｅｒｅｏｓｃｏｐｉｃＣａｍｅｒａ＿ｓｅｔｔｉｎｇ」は、３次元コンテンツを製作または撮影する時のカメラの配置形態を表したもので、「平行式（parallel）」または「交差式（cross）」を表す。「Ｂａｓｅｌｉｎｅ」は、ステレオスコピックカメラ間の距離を表し、「ｆｏｃａｌ＿Ｌｅｎｇｔｈ」は、レンズからイメージ面までの距離を表す。また、「ＣｏｎｖｅｒｇｅｎｃｅＰｏｉｎｔ＿ｄｉｓｔａｎｃｅ」は、左右のカメラを連結するベースラインから収束点までの距離を表す。

「ｓｔｅｒｅｏｓｃｏｐｉｃＣｏｎｔｅｎｔｓＩｎｆｏ」オブジェクトは、３次元コンテンツを表示するための最小限の情報を表す。表２８は、「ｓｔｅｒｅｏｓｃｏｐｉｃＣｏｎｔｅｎｔｓＩｎｆｏ」オブジェクトの一実施形態を表し、「ｓｔｅｒｅｏｓｃｏｐｉｃＣｏｎｔｅｎｔｓＩｎｆｏ」に含まれる情報は、既存の他のボックス内または新たに定義されたボックス内に含むことができる。「Ｍａｘ＿ｄｉｓｐａｒｉｔｙ」は、３次元コンテンツの最大視差（disparity）の大きさを表し、「Ｍｉｎ＿ｄｉｓｐａｒｉｔｙ」は３次元コンテンツの最小視差の大きさを表す。

「ｓｔｅｒｅｏｓｃｏｐｉｃＣａｍｅｒａＩｎｆｏ」および「ｓｔｅｒｅｏｓｃｏｐｉｃＣｏｎｔｅｎｔｓＩｎｆｏ」内の情報は、ＭＰＥＧ−７メタデータなどの別途の記述として表現し、保存することができる。

図１０は、ＥＳ＝１である場合のＳＳ−ＶＡＦの一実施形態の構造図である。

「ｆｔｙｐ」ボックスは、ステレオスコピックコンテンツを含むか否かを表す。符号化ストリームが全体３Ｄである場合、符号化ストリームが２Ｄ／３Ｄ混用のストリームで構成される場合、それらをステレオスコピックコンテンツとして見なす。

ステレオスコピックコンテンツが２Ｄ／３Ｄのストリームで構成される場合、２Ｄ／３Ｄのストリームの開始情報および長さ情報が必要となる。開始情報および長さ情報のために、ＩＳＯベースファイルフォーマット（11496-12）の既存ボックスである「ｉｌｏｃ」ボックスを利用する。「ｉｌｏｃ」（item location）ボックスは、「ｍｅｔａ」ボックスに含まれる。「ｉｌｏｃ」ボックスは、ステレオスコピックコンテンツの場合、保存ファイル内のステレオスコピック区間の位置を提供する。

また、２Ｄストリームおよび３Ｄストリームの区別に関連する情報は、「ｉｓｈｄ」ボックスによって獲得する。２Ｄ／３Ｄ混用ストリームの場合、複数の３Ｄストリームが含まれても、複数の３Ｄストリームが同一の情報ならば（すなわち、単一フォーマットならば）、３Ｄストリームに関連する情報は、一つの「ｉｓｈｄ」を参照することによって獲得する。

単一フォーマットの３Ｄストリームのみで構成されたステレオスコピックコンテンツでは、「ｉｌｏｃ」ボックスを使用せずに「ｉｓｈｄ」ボックスのみを使用して、ステレオスコピックデータを表現することができる。またＥＳ＝１であるとき、３Ｄストリームが多重フォーマットで構成される場合は、「ｉｌｏｃ」ボックスを用いて各フォーマットのオフセット（offset）／長さ（length）値を知り、各フォーマット情報は「ｉｓｈｄ」ボックスによって獲得する。この場合「ｉｓｈｄ」ボックスは、多重フォーマットに関する情報を有している。

図１１は、ＥＳ＝２である時、ＳＳ・ＶＡＦの一実施形態の構造図である。ＥＳ＝２である場合、左右のストリーム情報は対応する「ｔｒａｋ」ボックスに含まれる。前述したように、ステレオスコピックデータは所定のフォーマットに変換されてディスプレイされるため、左右のストリーム情報は２個のトラックで構成されるが、１つのオブジェクトとして認識されるために相関関係を表す必要がある。例えば、左の映像がメイン映像であり、右の映像が付加映像ならば、右の映像ストリーム情報を含む「ｔｒａｋ」ボックスが、左の映像ストリーム情報を含む「ｔｒａｋ」ボックスとの関係性を表現することによって、「ｉｓｈｄ」ボックスのうちで重複したものを除去することができる。右の映像ストリーム情報に含まれる「ｉｓｈｄ」のカメラパラメータおよびディスプレイ情報が、左の映像ストリーム情報に含まれる「ｉｓｈｄ」と同一であるならば、別途に記述せず、左の映像ストリーム情報に含まれる「ｉｓｈｄ」を使用することができる。このような関係を表現するために、本発明では「ｔｒｅｆ」ボックスおよび「ｓｖｄｐ」ボックスを提案する。

左右ストリームで保存された３Ｄストリームに関して多重フォーマットの３Ｄストリームで構成される場合は、各フォーマットに対応する３Ｄストリームの区分、開始および長さ情報を知らなければならない。開始および長さ情報は、ＩＳＯベースファイルフォーマット（11496-12）の既存ボックスである「ｉｌｏｃ」によって獲得する。また、多重フォーマットの３Ｄストリームの区分に関連する情報は、「ｉｓｈｄ」ボックスによって獲得する。表２９は、単一フォーマットの「ｉｓｈｄ」ボックスのシンタックス実施形態を表す。

「Ｉｓ＿ｃａｍＰａｒａｍＳ」は、カメラパラメータが存在するか否か、「Ｉｓ＿ｄｉｓＩｎｆｏ」は、ステレオスコピックコンテンツディスプレイ情報が存在するか否か、「Ｂｓｅｌｉｎｅ」は、左右のカメラの距離、「ｆｏｃａｌｌｅｎｇｔｈ」は、レンズからイメージ面（フィルム）までの距離、「ｃｏｎｖｅｒｇｅｎｃｅ＿ｄｉｓｔａｎｃｅ」は、左右のカメラを連結するベースラインの中心から左右のカメラの視線が交差する収束点までの距離を表す。「ｃｏｎｖｅｒｇｅｎｃｅ＿ｄｉｓｔａｎｃｅ」は、平行軸カメラの場合、無限大の値を有し、これを表示するためにすべてのビットを１とする。

また、「Ｉｓ＿ｃａｍｅｒａ＿ｃｒｏｓｓ」は、「１」のとき交差軸カメラ、「０」のとき平行軸カメラを表し、「ｒｏｔａｔｉｏｎ」は、オブジェクトまでのカメラ位置角度（camera position angle）を表す。「ｔｒａｎｓｌａｔｉｏｎ」は、ステレオカメラが移動したか否か（すべてのビットが０である場合、ステレオカメラの動きはない）、「ＭｉｎｏｆＤｉｓｐａｒｉｔｙ」は、左右の映像の最小視差の大きさ、「ＭａｘｏｆＤｉｓｐａｒｉｔｙ」は、左右の映像の最大視差の大きさを表す。

表３０は、多重フォーマットの「ｉｓｈｄ」ボックスのシンタックス実施形態を表す。「ｉｔｅｍ＿ｃｏｕｎｔ」は、多重フォーマットの場合、フォーマットの情報を記述する個数を表し、「ｉｔｅｍ＿ＩＤ」は、各フォーマットの整数の名前（integer name）を表し、ステレオスコピックコンテンツ内の多様なステレオスコピックフォーマットを識別するために使用される。ここで、「ｉｔｅｍ＿ＩＤ」は、「ｉｌｏｃ」ボックスのｉｔｅｍ＿ＩＤと連動して使用される。

以下、ＡＶＣ（Advanced Video Coding）、ＳＥＩ（Supplemental enhancement information）に対して説明する。ＳＥＩは、デコード、ディスプレイなどに関連したメッセージ情報を含む「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」情報を含んでおり、ＳＥＩメッセージは、ＡＶＣストリーム内に伝送される。

図１２は、ＮＡＬユニットを含む単一ビデオＥＳのフローチャートであって、図１２（ａ）はＡＶＣ内のＳＥＩの基本構造のうち「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」、「ｒｅｓｅｒｖｅｄ＿ｓｅｉ＿ｍｅｓｓａｇｅ」が含まれた部分を表し、図１２（ｂ）はＡＶＣストリーム内のＳＥＩの位置を表す。表３１は、「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」メッセージを表す。

「ｆｉｅｌｄ＿ｖｉｅｗｓ＿ｆｌａｇ」は、フィールドベース（field based）ステレオスコピックストリームが存在するか否かを表す。「ｔｏｐ＿ｆｉｅｌｄ＿ｉｓ＿ｌｅｆｔ＿ｖｉｅｗ＿ｆｌａｇ」が「１」の場合、垂直インターレース（vertical interlaced）フォーマットで構成されたステレオスコピックコンテンツ（左のビュー優先）、「０」の場合、垂直インターリーブ（vertical line interleaved）フォーマットで構成されたステレオスコピックコンテンツ（右のビュー優先）を表す。「Ｃｕｒｒｅｎｔ＿ｆｒａｍｅ＿ｉｓ＿ｌｅｆｔ＿ｖｉｅｗ＿ｆｌａｇ」が「１」の場合、現在フレームが左のビューであることを表し、「０」の場合、現在フレームが右のビューであることを表す。「ｎｅｘｔ＿ｆｒａｍｅ＿ｉｓ＿ｓｅｃｏｎｄ＿ｖｉｅｗ＿ｆｌａｇ」が「１」の場合、現在フレームと次のフレームでステレオスコピック映像を構成することを、「０」の場合、現在フレームと以前フレームでステレオスコピック映像を構成することを表す。「Ｌｅｆｔ＿ｖｉｅｗ＿ｓｅｌｆ＿ｃｏｎｔａｉｎｅｄ＿ｆｌａｇ」が「１」の場合、右のビューとの相関を持たず、独立ストリームでコーディングしたものを、「０」の場合、右のビューとの相関に基づいてストリームをコーディングしたものを表す。「ｒｉｇｈｔ＿ｖｉｅｗ＿ｓｅｌｆ＿ｃｏｎｔａｉｎｅｄ＿ｆｌａｇ」は「１」の場合、左のビューとの相関を持たず、独立ストリームでコーディングしたものを、「０」の場合、左のビューとの相関に基づいてストリームをコーディングしたものを表す。

「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」情報は、「ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｙｐｅ」のうちで表３２のフォーマットを含んでいる。一方、「ｓｉｄｅ ｂｙ ｓｉｄｅ」フォーマットは支援しない。

以下、既存のＡＶＣ ＳＥＩ情報を活用したステレオスコピックコンテンツをサービスするための方法および保存フォーマットを提案する。これは、ステレオスコピックコンテンツがＡＶＣによって符号化された場合のみ可能である。

既存の「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」に基づき各ステレオスコピックストリームに要求されるカメラパラメータおよびディスプレイ情報を追加する形態であって、「ｒｅｓｅｒｖｅｄ＿ｓｅｉ＿ｍｅｓｓａｇｅ」を用いたＳＳ−ＶＡＦを提案する。また、「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」を表３３のように拡張して、使用することができる。「ｓｉｄｅ＿ｂｙ＿ｓｉｄｅ＿ｆｌａｇ」が「１」である場合、左のビューを優先し、１フレーム内の左右の映像として構成される。「０」である場合、右のビューを優先し、１フレーム内の左右の映像として構成される。表３３で「Ｃ」は、シンタックスのカテゴリーを意味し、「ｕ（１）」は１ビットを使用する「符号なし整数（unsigned integer）」を意味する。

表３４は、ＡＶＣのＳＥＩ情報のうち「ｒｅｓｅｒｖｅｄ＿ｓｅｉ＿ｍｅｓｓａｇｅ（ｐａｙｌｏａｄＳｉｚｅ）」を用いて、ステレオスコピックカメラ情報を定義する。ここで、他のカメラ情報を追加することができ、追加した情報は別途に使用することができる。これに基づき、ステレオスコピックコンテンツストリームに対するカメラパラメータ情報を獲得する。

表３５は、ＡＶＣのＳＥＩ情報のうち「ｒｅｓｅｒｖｅｄ＿ｓｅｉ＿ｍｅｓｓａｇｅ（ｐａｙｌｏａｄＳｉｚｅ）」を用いて、ステレオスコピックコンテンツを表示するために要求される情報を定義する。表３５に定義される情報に基づき、ステレオスコピックコンテンツ視差の値を抽出する。

ただし、上記の情報を１つのＳＥＩ＿ｍｅｓｓａｇｅに統合して、ステレオカメラおよびディスプレイ情報を提供することができる。

図１３は、Ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎおよびＲｅｓｅｒｖｅｄ ＳＥＩを用いたＳＳ−ＶＡＦを表す。図示されたアプリケーションフォーマットにおいて、ＬＡＳｅＲは選択的に含まれる。

ステレオスコピックコンテンツが２Ｄ／３Ｄ混用のストリームで構成される場合、「ｉｌｏｃ」ボックスによって区分された３Ｄストリームの区間の間は、ＡＶＣストリームＳＥＩ ｍｅｓｓａｇｅ内で定義された３Ｄストリーム情報（「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」、「ｓｔｅｒｅｏ ｃａｍｅｒａ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」、「ｓｔｅｒｅｏ ｄｉｓｐｌａｙ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」）が獲得される。単一フォーマットの３Ｄストリームのみで構成される場合は、ステレオスコピックコンテンツを、ＡＶＣストリームＳＥＩ ｍｅｓｓａｇｅ内で定義された３Ｄストリーム情報（「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」、「ｓｔｅｒｅｏ ｃａｍｅｒａ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」、「ｓｔｅｒｅｏ ｄｉｓｐｌａｙ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」）を使用して表現することができる。

図１４は、ＥＳ＝２であるとき、単一フォーマットのステレオスコピックストリームのみで構成される場合のＳＳ−ＶＡＦの構造図である。ＥＳ＝２である場合、左右のストリーム情報は各々の対応する「ｔｒａｋ」に含まれる。ここで、左右のストリームは互いに相関関係を表す必要がある。例えば、左の映像がメイン映像であり、右の映像が付加映像ならば、右の映像ストリーム情報を含む「ｔｒａｋ」ボックスが、左の映像ストリーム情報を含む「ｔｒａｋ」ボックスとの関係性を表現することによって、「ｉｓｈｄ」ボックスのうちで重複したものを除去することができる。このような関係性は、ＩＳＯベースファイルフォーマットに含まれた「ｔｒｅｆ」ボックスを利用する。これは再生に必要なすべてのｔｒａｋ＿ＩＤを記述することができる。すべてのｔｒａｋ＿ＩＤは、右映像（付加映像）ストリームの「ｔｒａｋ」に、「ｔｒｅｆ」と共に記述される。

表３６は、多様なステレオスコピック構成フォーマットおよびカメラパラメータを支援する場合の「ｉｓｈｄ」ボックスのシンタックス実施形態を表す。「ｉｔｅｍ＿ＩＤ」は、次の情報が定義されるアイテムのＩＤを表し、１以上の値を有する。「ｃｕｒｒｅｎｔ＿ｉｎｄｉｃａｔｏｒ」が「１」である場合、次に記述される情報の有効性を表し、「０」である場合、次に記述される情報が先に記述された情報と同一であることを意味する。ただし、Ｉｔｅｍ＿ＩＤ＝１である場合は、以後記述される情報がないことを意味する。すなわち、端末は「ｃｕｒｒｅｎｔ＿ｉｎｄｉｃａｔｏｒ」に基づいて、次に記述される情報の有効性を判定し、０である場合は先に記述された「ｉｓｈｄ」情報と同一であることを判定することになる。

また、「ＬＲ＿ｆｉｒｓｔ」は左映像および右映像の基準位置選定、「Ｉｓ＿ｃａｍＰａｒａｍＳ」は、カメラパラメータが存在するか否か、「Ｉｓ＿ｄｉｓｐｌａｙＳａｆｅＩｎｆｏ」は、ステレオスコピックコンテンツディスプレイ情報が存在するか否かを表す。また「Ｂａｓｅｌｉｎｅ」は、左右のカメラの距離、「ｆｏｃａｌｌｅｎｇｔｈ」は、ＣＣＤからイメージ面（フィルム）までの距離を表す。「Ｉｓ＿ｃａｍｅｒａ＿ｃｒｏｓＳ」は、「１」である場合、交差軸カメラ、「０」である場合、平行軸カメラを表す。

また、「ｃｏｎｖｅｒｇｅｎｃｅ＿ｄｉｓｔａｎｃｅ」は、ベースラインの中心から収束点までの距離（平行軸カメラの場合、無限大の値を有する。すべてのビットが１である場合、無限大の距離を表す）、「ｒｏｔａｔｉｏｎ」は、オブジェクトに対するカメラ位置角度、「ｔｒａｎｓｌａｔｉｏｎ」は、ステレオカメラの移動を表す（すべてのビットが０である場合、ステレオカメラに動きはない）。また「ＶｅｒｔｉｃａｌＤｉｓｐａｒｉｔｙ」は、左右の映像の垂直視差の大きさ、「ＭｉｎｏｆＤｉｓｐａｒｉｔｙ」は、左右の映像の最小水平視差の大きさ、「ＭａｘｏｆＤｉｓｐａｒｉｔｙ」は、左右の映像の最大視差の大きさ、「ｉｔｅｍ＿ｃｏｕｎｔ」は、次の配列内のエントリーの個数を表す。

表３７は、多様なカメラパラメータを支援する場合の「ｉｓｈｄ」ボックスの第１実施形態のシンタックスを表す。ここで、ステレオスコピック構成フォーマットは同一であると仮定し、すぐ前の「ｉｓｈｄ」情報が参照される。また「ｉｓｈｄ」に含まれるカメラパラメータおよびディスプレイ情報は、別途のボックスで分離して保存され得る。

表３８は、多様なカメラパラメータを支援する「ｉｓｈｄ」ボックスの第２実施形態のシンタックスを表す。ステレオスコピック構成フォーマットは同一であると仮定し、すぐ前の「ｉｓｈｄ」が参照される。

表３９は、多様なカメラパラメータを支援する場合の「ｉｓｈｄ」ボックスの第３実施形態のシンタックスを表す。ステレオスコピック構成フォーマットは同一であると仮定し、「ｃａｍｅＰａｒａｍＳ」および「ｄｉｓｐｌａｙｓａｆｅＩｎｆｏ」が同じ所定のＩｔｅｍ＿ＩＤを参照する。

表３９において、「Ｉｓ＿ｒｅｆ」が「０」である場合、参照されるカメラパラメータおよびディスプレイ情報がないことを表し、「１」である場合、参照されるＩｔｅｍ＿ＩＤが有ることを表す。「ｃｕｒｒｅｎｔ＿ｒｅｆＩｎｄｅｘ」は、参照されるＩｔｅｍ＿ＩＤを表す。

表４０は、多様なカメラパラメータを支援する場合の「ｉｓｈｄ」ボックスの第４実施形態のシンタックスを表す。ステレオスコピック構成フォーマットは同一であると仮定し、「ｃａｍｅＰａｒａｍＳ」および「ｄｉｓｐｌａｙｓａｆｅＩｎｆｏ」が互いに異なる任意のＩｔｅｍ＿ＩＤを参照する。

表４０において、「Ｉｓ＿ｃａｍＰａｒａｍＳｒｅｆ」が「０」である場合、参照されるカメラパラメータ情報がないことを表し、「１」である場合、参照されるＩｔｅｍ＿ＩＤが有ることを表す。「Ｉｓ＿ｄｉｓｐｌａｙＳａｆｅＩｎｆｏｒｅｆ」が「０」である場合、参照されるディスプレイｓａｆｅ情報がないことを表し、「１」である場合、参照されるＩｔｅｍ＿ＩＤが有ることを表す。「ｃｕｒｒｅｎｔ＿ｃａｍｅｒａＩｎｄｅｘ」は参照されるＩｔｅｍ＿ＩＤを表し、「ｃｕｒｒｅｎｔ＿ｄｉｓｐｌａｙＩｎｄｅｘ」は参照されるＩｔｅｍ＿ＩＤを表す。

「ｉｓｈｄ」ボックスは、ステレオスコピックビデオメディア情報を記録する「ｓｖｍｉ（stereoscopic video media information）」ボックスと、カメラパラメータおよびディスプレイ情報を記録する「ｓｃｄｉ（stereoscopic camera and display information）」ボックスとに分離することができる。「ｓｖｍｉ」ボックスは、必須（mandatory）であり、「ｓｃｄｉ」ボックスは必須でないため、「ｉｓｈｄ」ボックスを「ｓｖｍｉ」ボックスと「ｓｃｄｉ」ボックスとに分離するのは不必要な情報を除去するのに実益がある。

「ｓｖｍｉ」ボックスは、ステレオスコピックビジュアルタイプおよび区間情報を提供する。具体的に、ステレオスコピックビデオメディア情報は、ステレオスコピック映像構成タイプ情報と、左の映像および右の映像のうちで先にエンコーディングされる映像に関する情報と、ステレオスコピックコンテンツの基本符号化ストリームがステレオスコピック区間からモノスコピック区間に、またはモノスコピック区間からステレオスコピック区間に変更される場合の、区間の数に関する情報と、連続するサンプルの数または開始サンプル番号をカウントする情報と、現在のサンプルがステレオスコピックであるか否かに関する情報などを含む。

「ｓｃｄｉ」ボックスは、カメラパラメータが存在するか否か、左右のカメラ間の距離、左右のカメラの配置、メインビューカメラからサブビューカメラまでの相対角度、および左右の映像間の最大視差と最小視差などを含む。表４１は、「ｓｃｄｉ」ボックスのシンタックスの一実施形態である。

示されるように「ｔｒｅｆ」ボックスによって、各トラックに含まれる「ｓｃｄｉ」情報の冗長性を除去することができる。ＥＳ＝２である場合、各トラックの「ｉｌｏｃ」ボックスにより、「ｓｃｄｉ」情報を提供するために、ステレオスコピック区間を区分する。ここで、各トラックのステレオスコピック区間は、同一のｉｔｅｍ＿ＩＤを有し、同一のカメラおよびディスプレイ情報を有する。「ｔｒｅｆ」の「ｓｖｄｐ」によって、基本符号化ストリームは、主要／付加トラックに区分される。１つのトラックにのみ「ｉｌｏｃ」ボックスが含まれるが、３Ｄディスプレイを行う場合、ステレオスコピック区間別に「ｉｌｏｃ」ボックスを同期することによって、再生が可能である。

また「ｔｒｅｆ」ボックスによって、各トラックに含まれる同一のステレオスコピックビデオメディア情報（「ｓｖｍｉ」）の冗長性を除去することもできる。「ｆｔｙｐ」ボックスによって、ステレオスコピックコンテンツを認識した後、「ｔｒｅｆ」ボックスの「ｓｖｄｐ」ボックスによって、主要／付加トラックに区分される。１つのトラックにのみ「ｓｖｍｉ」ボックスが存在すれば、他のトラックは自動的に認識されることができる。「ｓｖｍｉ」ボックスは必須であるため、主要／付加トラック内に存在することもでき、場合によって主要トラック内にのみ存在することができる。

図１５はＥＳ＝２である場合、ＳＳ−ＶＡＦの一実施形態の構造図である。図１５に図示されたＳＳ−ＶＡＦは、「ｓｖｍｉ」ボックスおよび「ｓｃｄｉ」ボックスを備える。

ステレオスコピックコンテンツを構成するＥＳが２個の場合、２個のトラック（「ｔｒａｋ」）が存在し、これは１つの主要トラックと付加トラックに区分することができる。これに伴い付加トラック内「ｔｒｅｆ」の「ｓｖｄｐ」を用いて、主要トラックを参照して関連「ｓｃｄｉ」情報に含まれる情報を提供する。このような構造により、各トラックに含まれる同一の「ｓｃｄｉ」情報の冗長性を除去する長所を有する。ここで、ｔｒａｃｋ＿ＩＤは、参照されるトラックのＩＤを表す。また、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが「ｓｖｄｐ」ならば、トラックが参照トラックに対してステレオスコピックカメラおよびディスプレイ情報を含むことを表す。

ユーザが所定の映像を３Ｄディスプレイモードで視聴する途中、３Ｄディスプレイモードから２Ｄディスプレイモードに変更する場合、端末で主要トラックに対応する映像をディスプレイすることによって、２Ｄディスプレイモードを満足する。一方、ＥＳが２個のトラックでは、基本符号化ストリームの中間に同一のモノスコピックデータが存在することができる。モノスコピックデータでは、同一のコンテンツが２個のトラックに保存される。従って、モノスコピックデータは、３Ｄでディスプレイされ得ないデータである。このような場合、端末では２個のトラックのうち、どのトラックのモノスコピックデータをディスプレイするのか決定しなければならないが、本発明によって区分された主要トラックに対応する映像をディスプレイするようにする。

また、ステレオスコピックビデオのＥＳが２個の場合、２個のトラックが存在する。従来のＬＡＳｅＲなどのシーン記述子によって、ステレオスコピックビデオが２個のオブジェクトとして認識され、ＬＡＳｅＲ内のビデオ関連ノードの２個に連結される。しかし、ステレオスコピックビデオは、端末で最終的に１つの３Ｄビデオフォーマットに変換され再生されなければならないため、ＬＡＳｅＲに１つのオブジェクトとして認識されなければならない。すなわち、ステレオスコピックビデオをシーン再生するために、ステレオスコピックビデオを１つの３Ｄビデオフォーマットに変換する必要があるため、１つのノードのみを使用して連結される。よって本実施形態により、「ｔｒｅｆ」内の「ｓｖｄｐ」を用いて、ステレオスコピックビデオは主要／付加トラックに区分され、ＬＡＳｅＲ内のビデオ関連ノードは、主要トラックに対応する「ｔｒａｋ」＿ＩＤまたはメディアストリームのみをリンクする。

図１６は、本発明によるＩＳＯベースメディアファイルフォーマットでステレオスコピックコンテンツを保存する方法の一実施形態のフローチャートである。まず、対象のステレオスコピックコンテンツをＩＳＯベースメディアファイルフォーマットの「ｍｄａｔ」ボックスに保存する（Ｓ１６０２）。次に、ステレオスコピックコンテンツのステレオスコピックビデオメディア情報と、ステレオスコピックカメラおよびディスプレイ情報を、ステレオスコピックコンテンツのメタデータとして「ｍｏｏｖ」ボックスに保存する（Ｓ１６０４、Ｓ１６０６）。

図１７は、本発明によるＩＳＯベースメディアファイルフォーマットでステレオスコピックコンテンツを保存する方法の他の実施形態のフローチャートである。
まず、対象のステレオスコピックコンテンツを、ＩＳＯベースメディアファイルフォーマットの「ｍｄａｔ」ボックスに保存する（Ｓ１７０２）。次に、ステレオスコピックコンテンツの基本符号化ストリームが２個以上の場合、基本符号化ストリームを主要トラックまたは付加トラックに区分する情報（「ｓｖｄｐ」）をＩＳＯベースメディアファイルフォーマットの「ｔｒｅｆ」ボックスに保存する（Ｓ１７０４）。次に、主要トラックにのみリンクされるビデオ関連ノードを備えるステレオスコピックコンテンツに対するＬＡＳｅＲを保存する（Ｓ１７０６）。ここで、ＬＡＳｅＲにリンクされる部分は使用されず、「ｔｒｅｆ」のみ使用される。

図１８は、本発明によるステレオスコピックコンテンツ保存方法のまた他の実施形態のフローチャートである。ここでは前述したＡＶＣ ＳＥＩを用いて、ステレオスコピックコンテンツを保存する。まず、ＡＶＣによって、符号化されたステレオスコピックコンテンツを保存する（Ｓ１８０２）。次に「ｒｅｓｅｒｖｅｄ＿ｓｅｉ＿ｍｅｓｓａｇｅ」を用いて、ステレオスコピックコンテンツの各ストリームに要求されるカメラパラメータおよびディスプレイ情報を保存する（Ｓ１８０４）。

ここで「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」は、ステレオスコピック映像構成が「ｓｉｄｅ ｂｙ ｓｉｄｅ」タイプであることを示す情報を追加で含む。カメラパラメータは、左右のカメラ間の距離、左右同一焦点距離（focal_length）、ベースラインからコンバージェンスポイント(収束点)までの距離、左右のカメラが交差配列する場合の、左右のカメラの回転（rotation）と移動（translation）のうち、少なくとも一つを含む。ディスプレイ情報は、左右の映像間の最大視差と最小視差を含む。

上述したように、本発明の方法は、プログラムで具現され、コンピュータ読み取り可能な記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスクなど）に保存することができる。このような過程は当業者であれば容易に実施することができるので、ここでは詳述しない。

本発明を特定の実施形態に関連して説明してきたが、当業者であれば、添付の特許請求の範囲で定義される本発明の技術的思想および範囲から逸脱することなく、様々な置換、変形および変更を行うことが可能であることを理解されよう。

Claims (20)

1. ステレオスコピックコンテンツを保存する方法であって、
   前記ステレオスコピックコンテンツの符号化ストリームを保存するステップと、
   前記ステレオスコピックコンテンツが２個以上の基本符号化ストリームを有する場合、前記基本符号化ストリームを主要トラックおよび付加トラックに区分する情報をトラック参照ボックスに保存するステップと
   を含むことを特徴とする方法。
2. 前記主要トラックにのみリンクされるビデオ関連ノードを備える前記ステレオスコピックコンテンツに対するシーン記述情報を保存するステップをさらに含むことを特徴とする請求項１に記載の方法。
3. 前記トラック参照ボックスが、ＩＳＯベースメディアファイルの「ｔｒｅｆ」ボックスであることを特徴とする請求項１に記載の方法。
4. 前記シーン記述情報のビデオ関連ノードが、前記主要トラックに対応するトラックＩＤまたはメディアストリームにリンクされることを特徴とする請求項２に記載の方法。
5. 前記ステレオスコピックコンテンツが、２次元ディスプレイモードで視聴される場合、前記主要トラックの映像のみディスプレイされるように前記ステレオスコピックコンテンツが保存されることを特徴とする請求項２に記載の方法。
6. 前記ステレオスコピックコンテンツの中間で前記基本符号化ストリームの間に同一のモノスコピックデータが存在する場合、前記主要トラックの映像のみディスプレイされるように前記ステレオスコピックコンテンツが保存されることを特徴とする請求項２に記載の方法。
7. 前記ステレオスコピックコンテンツの区間情報に関するステレオスコピックビデオメディア情報を、前記ステレオスコピックコンテンツのメタデータとして保存するステップをさらに含むことを特徴とする請求項１に記載の方法。
8. 前記主要トラックまたは付加トラックのいずれか、または前記主要トラックおよび付加トラックの両方に、前記ステレオスコピックビデオメディア情報が提供されることを特徴とする請求項７に記載の方法。
9. 前記ステレオスコピックコンテンツに対するステレオスコピックカメラおよびディスプレイ情報を、前記ステレオスコピックコンテンツのメタデータとして保存するステップをさらに含むことを特徴とする請求項１に記載の方法。
10. 前記主要トラックまたは付加トラックのいずれかに前記ステレオスコピックカメラおよびディスプレイ情報が提供されることを特徴とする請求項９に記載の方法。
11. 前記ステレオスコピックカメラおよびディスプレイ情報が、ステレオスコピック区間に対するカメラおよびディスプレイ情報を提供するステレオスコピック区間の個数、ステレオスコピック区間を識別するアイテムＩＤ、参照アイテムＩＤが存在するか否かに関する情報、参照アイテムＩＤのうち少なくとも１つを含むことを特徴とする請求項９に記載の方法。
12. ステレオスコピックコンテンツを保存するファイルフォーマット構造であって、
    前記ステレオスコピックコンテンツの符号化ストリームを保存するメディアデータボックスと、
    前記ステレオスコピックコンテンツが２個以上の基本符号化ストリームを有する場合、前記基本符号化ストリームを主要トラックおよび付加トラックに区分する情報を保存するトラック参照ボックスと
    を備えることを特徴とするファイルフォーマット構造。
13. 前記主要トラックにのみリンクされるビデオ関連ノードを備える前記ステレオスコピックコンテンツに対するシーン記述情報を保存するボックスをさらに備えることを特徴とする請求項１２に記載のファイルフォーマット構造。
14. 前記ステレオスコピックコンテンツの区間情報に関するステレオスコピックビデオメディア情報を、前記ステレオスコピックコンテンツのメタデータとして保存するボックスをさらに備えることを特徴とする請求項１２に記載のファイルフォーマット構造。
15. 前記ステレオスコピックコンテンツに対するマルチステレオスコピックカメラおよびディスプレイ情報を、前記ステレオスコピックコンテンツのメタデータとして保存するボックスをさらに備えることを特徴とする請求項１２に記載のファイルフォーマット構造。
16. 前記ファイルフォーマット構造が、ＩＳＯベースメディアファイルフォーマットであり、前記トラック参照ボックスが、「ｔｒｅｆ」ボックスであることを特徴とする請求項１２に記載のファイルフォーマット構造。
17. ＡＶＣ ＳＥＩに基づいてステレオスコピックコンテンツを保存する方法であって、
    ＡＶＣに基づいて符号化されたステレオスコピックコンテンツを保存するステップを含み、
    「ｓｔｅｒｅｏ ｖｉｄｅｏ ｉｎｆｏｒｍａｔｉｏｎ ＳＥＩ」が、ステレオスコピック映像構成が「ｓｉｄｅ ｂｙ ｓｉｄｅ」タイプであることを示す情報を含むことを特徴とする方法。
18. 「ｒｅｓｅｒｖｅｄ＿ｓｅｉ＿ｍｅｓｓａｇｅ」に基づいて前記ステレオスコピックコンテンツの各ストリームに要求されるカメラパラメータおよびディスプレイ情報を保存するステップをさらに含むことを特徴とする請求項１７に記載の方法。
19. 前記カメラパラメータが、左右のカメラ間の距離、左右同一焦点距離（focal_length）、ベースラインから収束点までの距離、左右のカメラが交差配列する場合の、左右のカメラの回転（rotation）と移動（translation）のうち少なくとも１つを含むことを特徴とする請求項１７に記載の方法。
20. 前記ディスプレイ情報が、左右の映像間の最大視差と最小視差を含むことを特徴とする請求項１７に記載の方法。

Images