JP2010529804A - ２ｄ映像メディア標準に基づいて３ｄ映像ファイルを生成及び再生するためのシステム及び方法 - Google Patents

Abstract

本発明は、２Ｄ映像メディア標準に基づいて３Ｄ映像ファイルを生成及び再生するシステム及び方法を提供する。そのシステムは、第１の映像データと、第１の映像データと同期化されて３Ｄ映像の生成に使用されると共に第１の映像データに基づいてデータ変換プロセスを遂行する第２の映像データとを含むデータ領域と、第１の映像データの情報を含むヘッダー領域と、第２の映像データの情報を含むメタデータ領域とを含む３Ｄ映像ファイルを生成する３Ｄ映像ファイル生成装置と、３Ｄ映像ファイルが入力される場合に第１の映像データの情報及び第２の映像データの情報を分析して第１の映像データ及び第２の映像データを抽出し、データ変換プロセスを通じて第２の映像データを復元し、第１の映像データと復元された第２の映像データを合成して３Ｄ映像ファイルを再生する３Ｄ映像ファイル再生装置とを含む。

Description

本発明は、２Ｄ映像メディア標準(two-Dimensional image media standards）に基づいて３Ｄ(three-Dimensional)映像ファイルを生成及び再生するためのシステム及び方法に関するものである。

ｉＭＰＥＧ-２、ＭＰＥＧ-４、ＭＰＥＧ-７、及びＭＰＥＧ-２１の標準化は、マルチメディア関連の国際標準化機構であるＭＰＥＧ(Moving Picture Experts Group）によって進行されている。多様な標準が開発されることによって、相互に異なる標準技術を組み合わせて一つのプロファイルを作ることに対する必要性が高まっている。この必要性に対応する活動の一例は、ＭＰＥＧ-Ａ(MPEG-Application：ＩＳＯ/ＩＣＥ２３００００)マルチメディアアプリケーション標準化である。

多様なマルチメディアアプリケーションフォーマット(Multimedia Application Format：ＭＡＦ）は、通常のＭＰＥＧ標準と非ＭＰＥＧ標準を組み合わせて標準の活用価値をより高めるために、ＭＰＥＧ-Ａの活動として開発された。このように、別途の標準を新たに作る努力なしに、既に検証された標準技術を相互に組み合わせることでマルチメディアアプリケーションフォーマットを作ることができ、その効用価値を極大化できる。現在、ＤＡＢ(Digital Audio Broadcasting)ＭＡＦ及びＤＭＢ(Digital Multimedia Broadcasting)ＭＡＦのような技術の標準化が進行されている。しかしながら、３Ｄ映像を格納するためのファイルフォーマットに関する標準化は進行されていない。

３Ｄ映像を実現するための最近の映像技術は、ＬＣＤ(Liquid Crystal Display)バリア(barrier)が装着された携帯端末のみで３Ｄ映像を再生する技術である。しかしながら、一般的な携帯端末では３Ｄ映像を生成する技術、又は３Ｄ映像を再生するための３Ｄ映像の格納フォーマットが知られていない。

したがって、上記した従来技術の問題点を解決するために、本発明の目的は、一般的な携帯端末における３Ｄ映像を再生するシステム及び方法を提供することにある。

本発明の他の目的は、３Ｄ映像を生成及び再生するための立体映像ファイルフォーマットを提供することにある。

また、本発明の目的は、ＩＳＯ(International Standardization Organization)１４４９６-１２に規定された２Ｄ映像ファイルフォーマットの一部がＭＰＥＧ-Ａのマルチメディアアプリケーションフォーマットに関する標準化活動によって変更される方式で形成される立体映像ファイルフォーマットを提供することにある。ここで、２Ｄ及び３Ｄ映像ファイルのすべての生成及び再生は、このような３Ｄファイルフォーマットによって実現できる。

特に、本発明の目的は、２Ｄ映像ファイルに新たに追加される映像データを多様な形式に変換して格納するための３Ｄ映像ファイルフォーマットを提供することにある。

さらに、本発明の目的は、このような３Ｄ映像ファイルを生成及び再生するシステム及び方法を提供することにある。

上記のような目的を達成するために、本発明の一態様によれば、２Ｄ(two-Dimensional)映像メディア標準に基づいて３Ｄ(three-Dimensional)映像ファイルを生成及び再生するためのシステムであって、第１の映像データと、第１の映像データと同期化されて３Ｄ映像の生成に使用されると共に第１の映像データに基づいてデータ変換プロセスを遂行する第２の映像データとを含むデータ領域と、第１の映像データの情報を含むヘッダー領域と、第２の映像データの情報を含むメタデータ領域と、を含む３Ｄ映像ファイルを生成する３Ｄ映像ファイル生成装置と、３Ｄ映像ファイルが入力される場合に第１の映像データの情報及び第２の映像データの情報を分析して第１の映像データ及び第２の映像データを抽出し、データ変換プロセスを通じて第２の映像データを復元し、第１の映像データと復元された第２の映像データを合成して３Ｄ映像ファイルを再生する３Ｄ映像ファイル再生装置とを含むことを特徴とする。

本発明の他の態様によれば、２Ｄ映像メディア標準に基づいて３Ｄ映像ファイルを生成及び再生するシステムであって、ＩＳＯ(International Standardization Organization)１４４９６-１２による２Ｄ映像ファイルフォーマットのＭｄａｔ領域及びＭｏｏｖ領域と、立体映像を生成するために使用される映像データの情報を含むメタデータ領域とから構成される３Ｄ映像ファイルフォーマットによって３Ｄ映像ファイルが生成及び再生されることを特徴とする。

また、本発明の他の態様によれば、２Ｄ映像メディア標準に基づいて３Ｄ映像ファイルを生成及び再生する方法であって、第１の映像データを出力するために被写体に対して左視点の映像を撮影し、第２の映像データを出力するために被写体に対して右視点の映像を撮影するステップと、第１の映像データ及び第２の映像データに対する前処理を遂行するステップと、前処理された第１の映像データ及び第２の映像データを格納するステップと、格納された第１の映像データ及び第２の映像データを符号化するステップと、符号化された第１の映像データに基づいて符号化された第２の映像データに対するデータ変換プロセスを遂行するステップと、第１の映像データとデータ変換処理された第２の映像データとを含むデータ領域、第１の映像データの情報を含むヘッダー領域、及び第２の映像データの情報を含むメタデータ領域を構成する立体映像ファイルを生成するステップとを具備することを特徴とする。

本発明は、３Ｄ映像ファイルフォーマットの規定において、既に検証された標準技術を用いて新たな標準としての検証プロセスを簡素化することができる。また、２Ｄ映像ファイル又は３Ｄ映像ファイルのうちいずれか一つは、新たな３Ｄ映像ファイルフォーマットによって生成及び再生されるように選択できる長所もある。

特に、新たに追加される映像データは、多様なタイプに変換され、３Ｄ映像ファイルフォーマットで格納されることによって、格納及び伝送される映像データの量を最小化する効果がある。

従来の２Ｄ映像ファイルの格納フォーマットを示す図である。 本発明による第１の３Ｄ映像ファイルの格納フォーマットを示す図である。 本発明による第２の３Ｄ映像ファイルの格納フォーマットを示す図である。 本発明による第３の３Ｄ映像ファイルの格納フォーマットを示す図である。 本発明による第１の３Ｄ映像ファイル生成装置を示す図である。 本発明による第１の３Ｄ映像ファイル再生装置を示す図である。 本発明による第２の３Ｄ映像ファイル生成装置を示す図である。 本発明による第２の３Ｄ映像ファイル再生装置を示す図である。 本発明による第３の３Ｄ映像ファイル生成装置を示す図である。 本発明による第３の３Ｄ映像ファイル再生装置を示す図である。 本発明による第４の３Ｄ映像ファイル生成装置を示す図である。 本発明による第４の３Ｄ映像ファイル再生装置を示す図である。 本発明による３Ｄ映像ファイルを生成する方法を示す図である。 本発明による３Ｄ映像ファイルを再生する方法を示す図である。

以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。

図面において、同一の構成要素に対してはできるだけ同一の参照符号及び参照番号を付して説明する。下記の説明で、本発明に関連した公知の機能又は構成に関する具体的な説明が本発明の要旨を不明にすると判断された場合に、その詳細な説明を省略する。

図１は、従来のＩＳＯ １４４９６-１２による２Ｄ映像ファイル格納フォーマットを示す。２Ｄ映像ファイル格納フォーマット１００は、Ｍｏｏｖ領域とＭｄａｔ領域を含む。ここで、Ｍｄａｔ領域は、ファイルフォーマットのデータ領域である。映像トラック１０３は実際の映像データを含み、音声トラック１０４は音声データを含む。映像データと音声データは、フレームユニットで各トラックに格納される。

Ｍｏｏｖ領域は、ファイルフォーマットのヘッダー領域に該当し、オブジェクトに基づく構造を有する。このＭｏｏｖ領域は、フレームレート、ビットレート、映像のサイズを含むコンテンツ情報と、早送り(ＦＦ)/巻き戻し(ＲＥＷ)のような再生命令をサポートするための同期化情報に関する再生ファイルに対するすべての情報を含む。特に、映像トラック情報１０１又は音声トラック情報１０２は、映像データ又は音声データの全体フレーム数、及び各フレームのサイズに関する情報を含み、それによって映像データ及び音声データはＭｏｏｖ領域を分析(parsing)することで復元及び再生されることができる。

図２Ａは、本発明による第１の３Ｄ映像ファイルの格納フォーマットを示す。２Ｄ映像ファイル格納フォーマット２００は、メタデータ(metadata)領域のみが図１に示す２Ｄ映像ファイルフォーマットに加えられるように形成される。したがって、２Ｄ映像ファイルフォーマットの構成及び機能は、大きな変更なしに使用することができる。データ領域としてＭｄａｔ領域は、音声トラック２０５、第１の映像トラック２０４、及び第２の映像トラック２０６を含む。第１の映像トラック２０４は第１の映像データを含み、第２の映像トラック２０６は第２の映像データを含む。

ここで、第１及び第２の映像データは、人間の視覚の特性を用いて形成され、所定の被写体 (subject)に対して第１のカメラ及び第２のカメラを用いて左視点の映像と右視点の映像を撮影して形成された映像データである。このように、ユーザーが立体感を有するように、各々ユーザーの左眼と右眼に分離された映像が生成及び再生される。第１及び第２の映像データのうちいずれか一つが再生されると、ユーザーは２Ｄ映像を鑑賞し、第１の映像データと第２の映像データが再生されるように相互に合成されると、ユーザーは、３Ｄ映像を鑑賞することができる。

ヘッダー領域としてＭｏｏｖ領域は、第１の映像トラックに関する情報２０１と音声トラックに関する情報２０２を含み、メタデータ領域は第２の映像トラックに関する情報２０３を含む。このようなトラック情報は、例えば各々の映像データ又は各々の音声データの全体フレーム数及びフレームのサイズに関する情報を含んでおり、それによって立体映像が再生される場合に、各データは、上記の情報を分析して合成されることができる。

この３Ｄ映像ファイル格納フォーマット２００は、データ変換情報２０３をさらに含む。前記データ変換情報２０３は、従来の２Ｄ映像データのフォーマットとは異なって構成された第２の映像データを格納するために多様な方式でデータ変換プロセスを遂行する方法に関係する。したがって、データ変換情報２０３は、立体映像ファイルが再生される場合に、第２の映像データを復元するために使用される。このようなデータ変換プロセスのため、立体映像ファイルが伝送される場合において３Ｄ映像ファイルのデータ量を減少させることができる。データ変換プロセスは、下記の立体映像ファイル生成装置で説明する。

図２Ｂは、本発明による第２の３Ｄ映像ファイルの格納フォーマットを示す。３Ｄ映像ファイル格納フォーマット２１０は、データ領域としてＭｄａｔ領域、ヘッダー領域としてＭｏｏｖ領域、及びメタデータ領域を含む。しかしながら、第１の３Ｄ映像ファイルの格納フォーマット２００に比べると、こちらは、２つの映像トラックではなく一つの映像トラック２１４であり、第１及び第２の映像データがこの一つの映像トラックに含まれる。

３Ｄ映像ファイルの格納フォーマット２１０の格納方法によると、第１及び第２の映像データのうちいずれか一つがまず格納され、その後残りの映像データが格納される。したがって、一つのトラックのみで映像データを構成することが可能である。Ｍｏｏｖ領域は、第１の映像データの全体フレーム数、フレームのサイズ、及び第１の映像データが格納されている映像トラックの開始アドレスに関する情報のような第１の映像データの映像トラック情報２１１を有する。メタデータ領域は、第２の映像データの全体フレーム数、フレームのサイズ、及び第２の映像データが格納された開始アドレスに関する第２の映像データの映像トラック情報２１３を有する。このように、第１及び第２の映像データを３Ｄ映像に合成して再生することが可能である。

ここで、３Ｄ映像ファイル格納フォーマット２００と同様に、３Ｄ映像ファイル格納フォーマット２１０において、第２の映像データを多様な方法でデータ変換プロセスを遂行し、映像トラック２１４に格納されることができる。さらに、データ変換情報２１３は、このようなデータ変換方式に関する情報を含み、このデータ変換情報２１３を用いて立体映像の再生時に第２の映像データを復元できる。このようなデータ変換プロセスは、３Ｄ映像ファイルのデータ量を減少させる。その詳細な説明は後述する。

図２Ｃは、本発明による３Ｄ映像ファイルの格納フォーマットを示す。３Ｄ映像ファイルの格納フォーマット２２０も、データ領域としてＭｄａｔ領域、ヘッダー領域としてＭｏｏｖ領域、及びメタデータ領域を含む。しかしながら、３Ｄ映像ファイル格納フォーマット２２０は、３Ｄ映像ファイルの格納フォーマット２１０と同様に一つの映像トラック２２４を含んでいるが、第１及び第２の映像データは、３Ｄ映像ファイルの格納フォーマット２１０とは異なり一つの映像トラックに交互に格納される。したがって、ヘッダー領域としてＭｏｏｖ領域は、第１の映像データの全体フレーム数、フレームサイズ、及び第１の映像データが格納されている映像トラックの開始アドレスに関する情報だけでなく、第１の映像データ以後に次の第１の映像データが配置されるまでのオフセット(offset)情報のような第１の映像データの映像トラック情報２２１を含む。

また、メタデータ領域は、第２の映像データの全体フレーム数、フレームのサイズ、及び第２の映像データが格納されている映像トラックの開始アドレスに関する情報だけでなく、第２の映像データ以後に次の第２の映像データが配置されるまでのオフセット情報のような、第２の映像データの映像トラック情報２２３を含む。ここで、３Ｄ映像ファイル格納フォーマット２２０は、追加される第２の映像データに対して多様にデータ変換プロセスを遂行して格納されることができる。

また、３Ｄ映像ファイル格納フォーマット２２０は、データ変換処理される第２の映像データの復元に要求される映像トラック情報２２３を含む。このようなデータ変換プロセスにおいて、３Ｄ映像ファイルのデータ量は、伝送時に減少することができる。後述される立体映像ファイル生成装置で、このデータ変換プロセスについて説明する。

図３Ａは、本発明による３Ｄ映像ファイル生成装置を示す。図３において、３Ｄ映像ファイル生成装置３００は、第１のカメラ３０１、第２のカメラ３０２、映像信号処理部３０３、格納部３０４、符号化部３０５、データ変換部３０６、及びファイル生成部３０７を含む。

第１のカメラ３０１は、所定の被写体に対して左視点の映像又は右視点の映像を撮影して第１の映像データを出力する。第２のカメラ３０２は、第２の映像データを出力するために、被写体に対して第１のカメラ３０１と異なる他の時点の映像を撮影する。第１のカメラ３０１及び第２のカメラ３０２から出力される第１及び第２の映像データは、各々映像信号処理部３０３を通じて前処理(pre-processing)される。ここで、前処理動作は、外部の映像値、すなわちＣＣＤ(Charge Coupled Device)タイプ又はＣＭＯＳ(Complementary Metal-Oxide Semiconductor)タイプのセンサーを通じて認識される、光と色成分のアナログ値をデジタル値に変換することである。

格納部３０４は、映像信号処理部３０３を通じて前処理される第１及び第２の映像データを格納する。また、符号化部３０５は、格納された第１の映像データ及び第２の映像データを符号化する。符号化部３０５の符号化動作は、データの圧縮に関連しており、必要に応じて省略できる。

データ変換部３０６は、第２の映像データに対してデータ変換プロセスを遂行するための構成であり、それによって、多様な方式でデータ変換プロセスを遂行することができる。このようなデータ変換部３０６は、省略可能である。しかしながら、データ変換プロセスが第２の映像データに対して遂行される場合には、立体映像ファイルの再生時にデータ変換を復元するための構成が要求される。

データ変換の例としては、第１及び第２の映像データの対応するピクセル(pixel)値間の差(difference)を獲得し、第２の映像データが格納されるデータ領域に格納する方式、第２の映像データのサイズを所定の割合で縮小して第２の映像データが格納されるデータ領域に格納する方式、及び第１の映像データと第１のカメラ３０１との距離と第２の映像データと第２のカメラ３０２との距離を求め、その距離間の差をデータ変換値として第２の映像データが格納されるデータ領域に格納する方式がある。各方式については、図４Ａ〜図６Ｂを参照して説明する。

ファイル生成部３０７は、符号化部３０５で符号化された第１の映像データ及び符号化された後にデータ変換処理された第２の映像データを用いて立体映像ファイルを生成する。このとき、第１及び第２の映像データはデータ領域に格納され、第１の映像データのトラック情報はヘッダー領域に格納され、第２の映像データのトラック情報及び第２の映像データのデータ変換方法に関する情報はメタデータ領域に格納される。この情報は、立体映像ファイルが再生される場合に有用な情報として活用される。

図３Ｂは、本発明による３Ｄ映像ファイル再生装置を示す。図３Ｂを参照すると、３Ｄ映像ファイル再生装置３２０は、ファイル分析部３２１と、格納部３２２と、復号化部３２３と、データ復元部３２４と、再生部３２５と、表示部３２６とを含む。

ファイル分析部３２１は、３Ｄ映像ファイルの分析に使用するために、３Ｄ映像ファイル生成装置３２０のファイル生成部３０７で生成される立体映像ファイルを受信する。このとき、ヘッダー領域とメタデータ領域に格納された第１の映像データのトラック情報と第２の映像データのトラック情報は、それぞれ分析され、それによってこの格納された第１及び第２の映像データが抽出されて格納部３２２に格納される。復号化部３２３は、この第１及び第２の映像データを復号化する。この動作は、第１及び第２の映像データが符号化される場合に、３Ｄ映像ファイル生成部３２０の符号化部３０５を通じて遂行される。

一方、データ復元部３２４は、データ変換部３０６が３Ｄ映像ファイル生成部３２０で使用される場合に対応する構成であり、３Ｄ映像ファイル再生部３２０に加えられる。データ復元部３２４は、データ符号化部３０５で立体映像ファイルのメタデータ領域に格納されたデータ変換情報に基づき、第２の映像データに対して遂行されるデータ変換方式を把握し、第２の映像データを反対に復元する。再生部３２５は、復号化される第１の映像データと、復号化後に復元される第２の映像データとを立体映像に合成して再生する。このとき、３Ｄ映像ファイルのヘッダー領域とメタデータ領域に格納されたトラック情報は、合成のために使用される。

ここで、再生部３２５がメタデータ領域に格納される第２の映像データの情報を参照しない場合には、第１の映像データのみが再生されることによって、一般的な２Ｄ映像が再生される。また、３Ｄ映像が再生できない既存の再生装置が３Ｄ映像ファイルを受信しても、メタデータ領域でなく従来の標準によるＭｏｏｖ領域のみを参照れば十分なので、２Ｄ映像の再生が可能である。このように、本発明による３Ｄ映像ファイル格納フォーマットは、従来の２Ｄ映像と３Ｄ映像の再生に対して互換性を有する。表示部３２６は、再生部３２５で合成及び再生される立体映像を表示する。

以下、図４Ａ〜図６Ｂを参照して、図３Ａ及び図３Ｂで言及したデータ変換部３０６及びデータ復元部３２４の多様な実施形態を説明する。

図４Ａを参照すると、３Ｄ映像ファイル生成装置４００は、第１のカメラ４０１、第２のカメラ４０２、映像信号処理部４０３、格納部４０４、符号化部４０５、減算部４０６、及びファイル生成部４０７を含む。ここで、３Ｄ映像ファイル生成装置４００は、データ変換部３０６の例として減算部４０６を採用し、残りの構成部に対する説明は図３Ａの３Ｄ映像ファイル生成部３２０の説明と同様である。したがって、上記説明は、便宜上省略する。

減算部４０６は、第１の映像データの各ピクセル値から第２の映像データの各ピクセル値を減算して得られた値を出力する。この値は、第２の映像データの変換値として設定され、第２の映像データが格納されるデータ領域に格納される。この減算部４０６は、３Ｄ映像ファイル再生装置４２０の加算部４２４に対応する。

図４Ｂを参照すると、３Ｄ映像ファイル再生装置４２０は、ファイル分析部４２１、格納部４２２、復号化部４２３、加算部４２４、再生部４２５、及び表示部４２６を含む。ここで、３Ｄ映像ファイル再生装置４２０はデータ復元部３２４の例として加算部４２４を採用し、残りの構成部に対する説明は、図３Ｂの３Ｄ映像ファイル生成装置３２０の説明と同様である。したがって、この説明は、ここでは便宜上省略する。

加算部４２４は、減算部４０６によって変換された第２の映像データを元の値に復元するために使用される。加算部４２４は、減算部４０６によって得られた値と第１の映像データを加算して第２の映像データを元の値に復元することができる。

図５Ａを参照すると、３Ｄ映像ファイル生成装置５００は、第１のカメラ５０１、第２のカメラ５０２、映像信号処理部５０３、格納部５０４、符号化部５０５、映像縮小部５０６、及びファイル生成部５０７を含む。ここで、３Ｄ映像ファイル生成装置５００は、データ変換部３０６の例として映像縮小部５０６を採用し、残りの構成部に対する説明は図３Ａの３Ｄ映像ファイル生成装置３２０の説明と同様である。したがって、この説明は、ここでは便宜上省略する。映像縮小部５０６は、例えば、１/２又は１/４の割合でピクセル値の量を減少させる。この映像縮小部５０６は、図５Ｂの３Ｄ映像ファイル再生装置５２０の映像拡大部５２４に対応する。

図５Ｂを参照すると、３Ｄ映像ファイル再生装置５２０は、ファイル分析部５２１、格納部５２２、復号化部５２３、映像拡大部５２４、再生部５２５、及び表示部５２６を含む。ここで、３Ｄ映像ファイル再生装置５２０はデータ復元部３２４の例として映像拡大部５２４を採用し、残りの構成部に対する説明は、図３Ｂの３Ｄ映像ファイル生成装置３２０の説明と同様である。したがって、この説明は、ここでは便宜上省略する。映像拡大部５２４は、映像縮小部５０６によって縮小された第２の映像データを元の状態に拡大されるように復元する。

図６Ａを参照すると、３Ｄ映像ファイル生成装置６００は、第１のカメラ６０１、第２のカメラ６０２、映像信号処理部６０３、格納部６０４、符号化部６０５、Ｄｅｐｔｈ Ｍａｐ生成部６０６、及びファイル生成部６０７を含む。ここで、３Ｄ映像ファイル再生装置５２０は、データ復元部３２４の例として映像拡大部５２４を採用し、残りの構成部に対する説明は図３Ｂの３Ｄ映像ファイル生成装置３２０の説明と同様である。したがって、この説明は、ここでは便宜上省略する。Ｄｅｐｔｈ Ｍａｐ生成部６０６は、第１の映像データの各ピクセル値と第１のカメラ６０１との距離と、第２の映像データの各ピクセル値と第２のカメラ６０２との距離を数値で示すＤｅｐｔｈ Ｍａｐを生成する。このようなＤｅｐｔｈ Ｍａｐ情報は、第２の映像データの変換値としてデータ領域に格納されることができる。このＤｅｐｔｈ Ｍａｐ生成部６０６は、３Ｄ映像ファイル生成装置６２０のＤｅｐｔｈ Ｍａｐ分析部６２４に対応する。

図６Ｂを参照すると、３Ｄ映像ファイル生成装置６２０は、ファイル分析部６２１、格納部６２２、復号化部６２３、Ｄｅｐｔｈ Ｍａｐ分析部６２４、再生部６２５、及び表示部６２６を含む。ここで、Ｄｅｐｔｈ Ｍａｐ分析部６２４は、データ復元部３２４の例として採用され、残りの構成部に対する説明は、図３Ｂの３Ｄ映像ファイル生成装置３２０の説明と同様である。したがって、この説明は、ここでは便宜上省略する。Ｄｅｐｔｈ Ｍａｐ分析部６２４は、Ｄｅｐｔｈ Ｍａｐ生成部６０６で使用されるアルゴリズムを反対に復元する。

次に、３Ｄ映像ファイルフォーマット２００，２１０，２２０を用いて３Ｄ映像ファイルを生成及び再生する方法について説明する。

図７Ａは、本発明の一実施形態による３Ｄ映像ファイルを生成する方法を示す。図７Ａを参照すると、３Ｄ映像ファイル生成方法は、撮影ステップＳ７０１、前処理ステップＳ７０２、格納ステップＳ７０３、符号化ステップＳ７０４、データ変換ステップＳ７０５、及びファイル生成ステップＳ７０６を具備する。撮影ステップＳ７０１で、所定の被写体は、第１のカメラ又は第２のカメラによって左視点又は右視点で撮影される。前処理ステップＳ７０２で、前処理は、撮影ステップＳ７０１で出力される第１の映像データ及び第２の映像データに対して遂行され、イメージセンサーを通じて獲得されたアナログ値はデジタル値に変換される。

前処理された第１及び第２の映像データは、格納ステップＳ７０３で格納される。第１及び第２の映像データは、符号化ステップＳ７０４で符号化される。この符号化ステップＳ７０４は省略可能である。データ変換ステップＳ７０５は、立体映像のための第２の映像データに対してデータ変換を遂行するステップである。第２の映像データは、第１の映像データから第２の映像データを減算し、第２の映像データを縮小し、あるいはＤｅｐｔｈ Ｍａｐを生成することによって変換される。ファイル生成ステップＳ７０６は、データ変換処理された第１及び第２の映像データを用いて立体映像ファイルを生成するステップである。立体映像ファイルは、図２Ａ〜図２Ｃで説明したフォーマットを使用することができる。

図７Ｂは、本発明よる３Ｄ映像ファイルを再生する方法を示す。図７Ｂにおいて、３Ｄ映像ファイルの再生方法は、映像抽出ステップＳ７２１、格納ステップＳ７２２、復号化ステップＳ７２３、データ復元ステップＳ７２４、再生ステップＳ７２５、及び表示ステップＳ７２６を具備する。映像抽出ステップＳ７２１は、ファイル生成ステップＳ７０６で生成された３Ｄ映像ファイルを分析し、第１の映像データ及び第２の映像データを抽出するステップである。抽出された第１及び第２の映像データは、格納ステップＳ７２２で格納される。復号化ステップＳ７２３は、符号化ステップＳ７０４で第１及び第２の映像データが符号化された場合のみに遂行され、同一のアルゴリズムに復号化するステップである。

データ復元ステップＳ７２４は、データ変換ステップＳ７０５に対応し、映像データがデータ変換ステップＳ７０５を遂行した場合のみに追加される。データ変換ステップＳ７０５で遂行されたデータ変換プロセスに対応して、第２の映像データは、データ復元ステップＳ７２４で復元される。再生ステップＳ７２５は、復号化された第１の映像データ及び復号化された後に復元された第２の映像データに関するトラック情報を、各ピクセルを合成するために活用し、それによって３Ｄ映像を再生する。表示ステップＳ７２６は、再生された３Ｄ映像を表示するステップである。

３０６ データ変換部
３２４ データ復元部
４０６ 減算部
４２４ 加算部
５０６ 映像縮小部
５２４ 映像拡大部
６０６ Ｄｅｐｔｈ Ｍａｐ生成部
６２４ Ｄｅｐｔｈ Ｍａｐ分析部

Claims (17)

1. ２Ｄ映像メディア標準に基づいて３Ｄ映像ファイルを生成及び再生するためのシステムであって、
   第１の映像データと、前記第１の映像データと同期化されて３Ｄ映像の生成に使用されると共に前記第１の映像データに基づいてデータ変換プロセスを遂行する第２の映像データとを含むデータ領域と、前記第１の映像データの情報を含むヘッダー領域と、前記第２の映像データの情報を含むメタデータ領域と、を含む３Ｄ映像ファイルを生成する３Ｄ映像ファイル生成装置と、
   前記３Ｄ映像ファイルが入力される場合に前記第１の映像データの情報及び前記第２の映像データの情報を分析して、前記第１の映像データ及び前記第２の映像データを抽出し、データ変換プロセスを通じて前記第２の映像データを復元し、前記第１の映像データと前記復元された第２の映像データを合成して３Ｄ映像ファイルを再生する３Ｄ映像ファイル再生装置と、
   を含むことを特徴とするシステム。
2. 前記３Ｄ映像ファイル再生装置は、
   前記第２の映像データの情報は分析せずに、前記第１の映像データの情報のみを分析する方式で前記第１の映像データを抽出することによって２Ｄ映像を再生することを特徴とする請求項１に記載のシステム。
3. 前記第１の映像データの情報は、前記第１の映像データの前記データ領域内のトラックに関する情報を含むことを特徴とする請求項１に記載のシステム。
4. 前記第２の映像データの情報は、前記第２の映像データの前記データ領域内のトラックに関する情報及び前記データ変換に関する情報を含むことを特徴とする請求項１に記載のシステム。
5. 前記３Ｄ映像ファイル再生装置は、前記第１の映像データの前記データ領域内のトラックに関する情報を用いて前記第１の映像データを抽出することを特徴とする請求項３に記載のシステム。
6. 前記３Ｄ映像ファイル再生装置は、前記第２の映像データの前記データ領域内のトラックに関する情報を用いて前記第２の映像データを抽出し、前記データ変換に関する情報を用いて前記第２の映像データを復元することを特徴とする請求項４に記載のシステム。
7. 前記３Ｄ映像ファイル生成装置は、
   前記第１の映像データを出力するために被写体に対して左視点の映像を撮影する第１のカメラと、
   前記第２の映像データを出力するために前記被写体に対して右視点を撮影する第２のカメラと、
   前記第１のカメラ及び前記第２のカメラによって各々出力される前記第１の映像データ及び前記第２の映像データに対する前処理を遂行する映像信号処理部と、
   前記前処理された第１の映像データ及び第２の映像データを格納する格納部と、
   前記格納された第１の映像データ及び第２の映像データを符号化する符号化部と、
   前記符号化された第１の映像データに基づいて前記符号化された第２の映像データに対するデータ変換を遂行するデータ変換部と、
   前記第１の映像データ及び前記データ変換処理された第２の映像データを用いて前記３Ｄ映像ファイルを生成する生成部と、
   をさらに含むことを特徴とする請求項１に記載のシステム。
8. 前記３Ｄ映像ファイル再生装置は、
   前記第１の映像データ及び前記第２の映像データを抽出するために前記第１の映像データの情報及び前記第２の映像データの情報を分析するファイル分析部と、
   前記抽出された第１の映像データ及び第２の映像データを格納する格納部と、
   前記格納された第１の映像データ及び第２の映像データを復号化する復号化部と、
   前記第２の映像データの情報を用いて前記復号化された第２の映像データを復元するデータ復元部と、
   前記第１の映像データと前記復元された第２の映像データを用いて３Ｄ映像を合成及び再生する再生部と、
   前記合成及び再生された３Ｄ映像を表示する表示部と、
   を含むことを特徴とする請求項１に記載のシステム。
9. 前記データ変換部は、前記第１の映像データと前記第２の映像データとの差を前記第２の映像データに変換するための減算部であることを特徴とする請求項７に記載のシステム。
10. 前記データ復元部は、
    前記第１の映像データと前記第２の映像データとの差を前記第２の映像データに変換する減算部に対応し、前記第１の映像データと前記第２の映像データとの差が前記第１の映像データに加算される方式で、第２の映像データを復元する加算部であることを特徴とする請求項８に記載のシステム。
11. 前記データ変換部は、前記第２の映像データを所定の割合で縮小して得られた値を第２の映像データに変換する映像縮小部であることを特徴とする請求項７に記載のシステム。
12. 前記データ復元部は、前記第２の映像データを所定の割合で縮小して得られた値を第２の映像データに変換する映像縮小部に対応し、前記映像縮小部で使用される割合で再び拡大する方式で第２の映像データを復元する映像拡大部であることを特徴とする請求項８に記載のシステム。
13. 前記データ変換部は、前記第１のカメラと前記第１の映像データとの距離と前記第２のカメラと前記第２の映像データとの距離との差を数値として示す、Ｄｅｐｔｈ Ｍａｐを第２の映像データに変換するＤｅｐｔｈ Ｍａｐ生成部であることを特徴とする請求項７に記載のシステム。
14. 前記データ復元部は、
    前記第１のカメラと前記第１の映像データとの距離と前記第２のカメラと前記第２の映像データとの距離との差を数値として示す、Ｄｅｐｔｈ Ｍａｐを第２の映像データに変換するＤｅｐｔｈ Ｍａｐ生成部に対応し、前記Ｄｅｐｔｈ Ｍａｐを用いて前記第２の映像データを復元するＤｅｐｔｈ Ｍａｐ分析部であり、前記第１のカメラは、所定の被写体に対して左視点の映像を撮影して前記第１の映像データを出力し、前記第２のカメラは、前記被写体に対して右視点の映像を撮影して前記第２の映像データを出力することを特徴とする請求項８に記載のシステム。
15. ２Ｄ映像メディア標準に基づいて３Ｄ映像ファイルを生成及び再生するシステムであって、
    ＩＳＯ１４４９６-１２による２Ｄ映像ファイルフォーマットのＭｄａｔ領域及びＭｏｏｖ領域と、立体映像を生成するために使用される映像データの情報を含むメタデータ領域とから構成される３Ｄ映像ファイルフォーマットによって３Ｄ映像ファイルが生成及び再生されることを特徴とするシステム。
16. ２Ｄ映像メディア標準に基づいて３Ｄ映像ファイルを生成及び再生する方法であって、
    第１の映像データを出力するために被写体に対して左視点の映像を撮影し、第２の映像データを出力するために被写体に対して右視点の映像を撮影するステップと、
    前記第１の映像データ及び前記第２の映像データに対する前処理を遂行するステップと、
    前記前処理された第１の映像データ及び第２の映像データを格納するステップと、
    前記格納された第１の映像データ及び第２の映像データを符号化するステップと、
    前記符号化された第１の映像データに基づいて前記符号化された第２の映像データに対するデータ変換プロセスを遂行するステップと、
    前記第１の映像データと前記データ変換処理された前記第２の映像データとを含むデータ領域、前記第１の映像データの情報を含むヘッダー領域、及び前記第２の映像データの情報を含むメタデータ領域を構成する立体映像ファイルを生成するステップと、
    を具備することを特徴とする方法。
17. 前記第１の映像データ及び前記第２の映像データを抽出するために、前記第１の映像データの情報及び前記第２の映像データの情報を分析するステップと、
    前記抽出された第１の映像データ及び第２の映像データを格納するステップと、
    前記格納された第１の映像データ及び第２の映像データを復号化するステップと、
    データ変換に関する情報を用いて前記復号化された第２の映像データを復元するステップと、
    前記第１の映像データ及び前記復元された第２の映像データを立体映像として合成及び再生するステップと、
    前記合成及び再生された立体映像を表示するステップと、
    を具備することを特徴とする請求項１６に記載の方法。

Images