JP2013520912A

JP2013520912A - 携帯用端末機において立体映像データを生成するための装置及びその方法

Info

Publication number: JP2013520912A
Application number: JP2012554927A
Authority: JP
Inventors: グン−イル・イ; ハ−ジョン・パク; ヨン−テ・キム; ホン−ソグ・ミン; スン−ビン・ホン; クワン−チョル・チェ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2010-02-23
Filing date: 2011-02-23
Publication date: 2013-06-06
Anticipated expiration: 2031-02-23
Also published as: EP2541944A4; EP2541944A2; WO2011105812A3; US9369690B2; WO2011105812A2; KR20110097647A; KR101802238B1; US20120314033A1; JP5859464B2

Abstract

本発明は、携帯用端末機において立体映像データ処理装置及びその方法に関するものであり、特に、多数のカメラを利用して取得された立体映像データを効果的に格納するためのファイル構造及び格納された３Ｄ関連パラメータを利用して多用な３Ｄ機器間のコンテンツ共有及び再生を可能にするための装置及びその方法に関するものであり、多数のカメラを利用して取得された立体映像（一例にステレオ映像）を効果的に格納するためのファイル構造及び格納された３Ｄ関連パラメータを利用して多様な３Ｄ機器間のコンテンツ共有及び再生を可能にする。

Description

本発明は、携帯用端末機における立体映像データ処理装置及びその方法に関するものであり、特に、多数のカメラを利用して取得された立体映像データを効果的に格納するためのファイル構造及び格納された３Ｄ関連パラメータを利用した多様な３Ｄ機器間のコンテンツ共有及び再生を可能にするための装置及びその方法に関するものである。

最近の映像技術は、３次元映像を具現する方式に対する研究の方に活発に進行されつつある。これは、より事実的で現実感溢れる映像情報を表現するためである。人間の視覚特性を活用し、従来のディスプレイ装置に左視点映像と右視点映像をそれぞれ該当位置に走査した後、左視点と右視点が使用者の左眼と右眼に分離して像を結ぶようにすることで、３次元立体感を感じさせる方法が様々な面で可能性を認められている。一例に、ＢａｒｒｉｅｒＬＣＤを装着した携帯用端末機（立体携帯電話、立体カメラ、立体カムコーダなど）及び３ＤＴＶでは、ステレオスコピックコンテンツを再生して使用者により実感的な映像を提供し得るようになった。

図１は、一般的な携帯用端末機におけるイメージファイルの構造を示す図である。

前記図１を参照すると、前記イメージファイルは一般的に広く使用されている静止映像の格納ファイルフォーマットであるＪＰＥＧファイルであり、ＳＯＩ（ＳｔａｒｔｏｆＩｍａｇｅ）マーカ１０１から始まり、ＥＯＩ（ＥｎｄｏｆＩｍａｇｅ）マーカ１０７でファイルの終わりを示す。途中に映像の付加情報を格納するＡＰＰ１（ＥＸＩＦ）アプリケーションマーカ１０３があり、実際的な映像の圧縮データであるＭＣＵ（ｍｉｎｉｍｕｍｃｏｄｅｄｕｎｉｔ）データ部分１０５が含まれる。アプリケーションマーカ１０３部分はＡＰＰ０〜ＡＰＰ１５まで現在定義されている追加的なフィールドであり、カメラ製造企業や関連ビューアを作る企業で必要なパラメータを定義して使用している。

多数のカメラで撮影されたイメージファイルを利用して立体効果を提供するためには、前記のような構造のイメージファイルを多数個格納しなければならない。一例に、２つのカメラで撮影されたステレオ映像データの場合２つのファイルがそれぞれ生成されなければならないが、この場合２つのファイル間の連結関係に対する情報を格納しているべきであり、片方のファイルが消されるかファイル名が修正された場合３Ｄディバイスで立体に再生できない問題点が発生する。

即ち、従来は多数のカメラから取得された映像に対する格納ファイルフォーマット及び３Ｄ関連パラメータを格納し得るファイル構造が定義されていなかったため、多様な３Ｄ機器間のコンテンツ共有及び再生が不可能な問題点があった。

韓国特許第１０−０６５３９６５号公報韓国特許第１０−０７４４８００号公報韓国特許第１０−０６４１１７６号公報韓国特許出願公開第１０−２００９−００８１１９０号公報

本発明は上述した問題点を解決するために案出されたものであり、本発明の目的は携帯用端末機において立体映像データを生成するための装置及びその方法を提供することにある。

本発明の他の目的は、携帯用端末機において他のマルチメディア機器間の互換性を高めた立体映像データを生成するための装置及びその方法を提供することにある。

本発明のまた他の目的は、携帯用端末機において視覚的疲労度を減少させるための境界（Ｂｏｕｎｄａｒｙｏｃｃｌｕｓｉｏｎ）領域を処理するための装置及びその方法を提供することにある。

上述した目的を達成するための本発明の第１見地によると、携帯用端末機において３次元データを生成するための装置は、３次元効果を提供し得る多数のマルチメディアデータを取得するカメラ部と、前記取得したマルチメディアデータの３Ｄパラメータを取得し、前記取得したマルチメディアデータを圧縮した後、前記取得した３Ｄパラメータと圧縮したデータを一つのファイルとして生成する３次元データ管理部と、を含むことを特徴とする。

上述した目的を達成するための本発明の第２見地によると、携帯用端末機において３次元データを再生するための装置は、再生しようとする３次元データの３Ｄパラメータを分析した後、前記分析したパラメータに基づいて前記３次元データに含まれた多数の視点を分析し、前記分析した多数の視点を再生して３次元効果を提供する３次元データ管理部を含むことを特徴とする。

上述した目的を達成するための本発明の第３見地によると、携帯用端末機において３次元データを生成するための方法は、３次元効果を提供し得る多数のマルチメディアデータを取得する過程と、前記取得したマルチメディアデータの３Ｄパラメータを取得する過程と、前記取得したマルチメディアデータを圧縮した後、前記取得した３Ｄパラメータと圧縮したデータを一つのファイルとして生成する過程と、を含むことを特徴とする。

上述した目的を達成するための本発明の第４見地によると、携帯用端末機において３次元データを再生するための方法は、再生しようとする３次元データの３Ｄパラメータを分析する過程と、前記分析したパラメータに基づいて前記３次元データに含まれた多数の視点を分析する過程と、前記分析した多数の視点を再生して３次元効果を提供する過程と、を含むことを特徴とする。

一般的な携帯用端末機で使用するイメージファイルの構造を示す図である。本発明による３次元データを制御する携帯用端末機の構成を示すブロック図である。本発明の好ましい一実施例による２つの映像データを利用する３次元データの構成を示す図である。本発明の好ましい一実施例による３つの映像データを利用する３次元データの構成を示す図である。本発明の好ましい一実施例による携帯用端末機において３次元データを生成する過程を示すフローチャートである。本発明の好ましい一実施例による携帯用端末機において３次元データを再生する過程を示すフローチャートである。本発明の好ましい一実施例による携帯用端末機において３Ｄパラメータを利用して３次元データを再生する過程を示すフローチャートである。本発明の好ましい一実施例による携帯用端末機において３次元データを再生する過程を示す図である。本発明の好ましい一実施例による携帯用端末機において３次元データを再生する過程を示す図である。

以下、本発明の好ましい実施例を添付した図面を参照して詳細に説明する。そして、本発明を説明するに当たって、関連する公知機能或いは構成に対する具体的な説明が本発明の要旨を不明確にする恐れがあると判断される場合、その詳細な説明は省略する。

以下の説明では、本発明による携帯用端末機において多数のカメラで撮影されたデータ（一例にステレオ映像）を一つのファイルとして格納した３次元データの生成及び再生装置及びその方法について説明する。また、以下の説明における携帯用端末機とは、バリアＬＣＤ（ＢａｒｒｉｅｒＬＣＤ）を装着した立体移動通信端末機、立体カメラ、立体カムコーダ、３ＤＴＶなどのようにステレオスコピックコンテンツを再生して使用者に立体感を提供するディスプレイ機器を意味する。

図２は、本発明による３次元データを制御する携帯用端末機の構成を示すブロック図である。

前記図２を参照すると、前記携帯用端末機は、制御部２００、３次元データ管理部２０２、カメラ部２０６、メモリ部２０８、入力部２１０、表示部２１２及び通信部２１４を含んで構成されてもよく、前記３次元データ管理部２０２は３Ｄパラメータ分析部２０４を含んで構成されてもよい。

まず、前記携帯用端末機の制御部２００は、前記携帯用端末機の全般的な動作を制御する。例えば、音声通話及びデータ通信のための処理及び制御を行い、通常的な機能に加え、本発明によって前記制御部２００は３Ｄ効果を提供する多数のデータを一つのファイル形態に合わせた３次元データとして生成し、前記のような一つのファイルとして生成された３次元データを再生して３Ｄ効果を提供するように処理する。

この際、前記制御部２００は前記のような３次元データを再生する場合、使用者の視覚的疲労を減らしながら該当データを再生するように処理する。

前記３次元データ管理部２０２は、前記制御部２００の制御を受けて前記３Ｄ効果を提供する多数のデータを一つのファイル形態に合わせたデータとして生成するように処理する。この際、前記３次元データ管理部２０２は前記データに対して３Ｄパラメータに対する情報を生成した後前記データを圧縮させる。次に、前記３次元データ管理部２０２は、それぞれのデータに対する３Ｄパラメータと前記圧縮したデータを一つのファイルとして合わせるようにする。

また、前記３次元データ管理部２０２は、前記のように一つのファイルとして合わせられた３次元データを再生する際、前記３Ｄパラメータ情報を分析し、前記分析した３Ｄパラメータに基づいて３次元データを再生する。この際、前記３次元データ管理部２０２は、前記３次元データを再生しようとする端末機のディスプレイの大きさによって立体感を高めるか、立体効果による視覚的疲労度を減らしながら前記３次元データを再生するように処理する。

一例に、前記３次元データ管理部２０２は、前記３次元データを再生しようとする端末機がサイズが大きいディスプレイを具備している場合、基準データと近い距離で取得されたデータを再生して視覚的疲労感を減らし、サイズが小さいディスプレイを具備している場合、基準データと遠い距離で取得されたデータを再生して立体効果を高めるように処理する。

また、前記３次元データ管理部２０２は、一定の距離をおいて位置した２つのカメラを介して取得されたデータの特定領域に存在する境界領域を除去しながら３次元データを再生することで使用者の視覚的疲労を減らすことができる。

前記３次元データ管理部２０２の３Ｄパラメータ分析部２０４は、前記３次元データを生成する際３Ｄ効果を提供する多数のデータに対するパラメータを分析し、前記３次元データを再生する際前記データに含まれた視点の数（ＮｕｍｏｆＳｔｅｒｅｏＰａｉｒ）、現在視点とＳｔｅｒｅｏＰａｉｒｉｎｇを成す視点のインデックス（ＰａｉｒｅｄＶｉｅｗＩＤ［］）、基準となる視点対比現在視点の境界領域の幅（ＢｏｕｎｄａｒｙＯｃｃｌｕｄｅｄＷｉｄｔｈ）、境界領域が発生する方向（ＯｃｃｌｕｓｉｏｎＤｉｒｅｃｔｉｏｎ）を捉えて視聴者の視覚的疲労感を減らすように処理する。

前記カメラ部２０６とは同じ被写体に対して異なる角度から撮影するカメラを意味し、メインカメラとサブカメラは一定間隔離れた位置に具備される。

前記メモリ部２０８は、ロム（ＲＯＭ：ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ラム（ＲＡＭ：ＲａｍｄｏｎＡｃｃｅｓｓＭｅｍｏｒｙ）、フラッシュロム（ｆｌａｓｈＲＯＭ）で構成される。前記ロムは前記制御部２００、３次元データ管理部２０２の処理及び制御のためのプログラムのマイクロコードと各種参照データを格納する。

前記ラムは前記制御部２００のワーキングメモリ（ｗｏｒｋｉｎｇｍｅｍｏｒｙ）であり、各種プログラムを行う際に発生する一時的なデータを格納する。また、前記フラッシュロムは、電話帳（ｐｈｏｎｅｂｏｏｋ）、発信メッセージ及び受信メッセージのような更新可能な各種保管用データを格納する。

前記入力部２１０は０〜９の数字キーボタンと、メニュボタン（ｍｅｎｕ）、キャンセルボタン（削除）、確認ボタン、通話ボタン（ＴＡＬＫ）、終了ボタン（ＥＮＤ）、インターネットアクセスボタン、ナビゲーションキー（又は方向キー）ボタン及び文字入力キーなど多数の機能キーを具備し、使用者が押すキーに対応するキー入力データを前記制御部２００に提供する。

前記表示部２１２は、前記携帯用端末機の動作中に発生される状態情報、制限された数字のテキスト、多量の動画及び静止映像などをディスプレイする。前記表示部２１２は、カラー液晶ディスプレイ装置（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）を使用してもよく、前記表示部２１２は、タッチ入力装置を具備してタッチ入力方式の携帯用端末機に適用する場合入力装置として使用してもよい。

前記通信部２１４は、アンテナ（図示せず）を介して入出力されるデータの無線信号を送受信処理する機能を行う。例えば、送信である場合、送信するデータをチャンネルコーディング（Ｃｈａｎｎｅｌｃｏｄｉｎｇ）及び拡散（Ｓｐｒｅａｄｉｎｇ）した後、ＲＦ処理して送信する機能を行い、受信である場合、受信されたＲＦ信号を基底帯域信号に変換し、前記基底帯域信号を逆拡散（Ｄｅ−ｓｐｒｅａｄｉｎｇ）及びチャンネル復号（Ｃｈａｎｎｅｌｄｅｃｏｄｉｎｇ）してデータを復元する機能を行う。

前記３次元データ管理部２０２の役割は前記携帯用端末機の制御部２００によって行われてもよいが、本発明でこれを別途に構成して図示したのは説明の便宜のための例示的な構成であって決して本発明の範囲を制限しようとするものではなく、当業者であれば本発明の範囲内で多様な変形構成が可能であることを理解できるはずである。例えば、これら全てを前記制御部２００で処理するように構成してもよい。

以上は、本発明による携帯用端末機において多数のカメラで撮影されたデータ（一例に、ステレオ映像）を一つのファイルとして格納した３次元データの生成及び再生装置について説明したものであり、以下の説明では、本発明の好ましい一実施例による前記装置を利用して３次元データの生成及び再生方法について説明する。

図３乃至図４は、本発明の好ましい一実施例による３次元データの構成を示す図である。

図３は、本発明の好ましい一実施例によって２つの映像データ（ステレオ映像データ）を利用する３次元データの構成を示す図である。

前記図３を参照すると、３次元データを再生できない一般的な携帯用端末機では、前記３次元データに含まれたデータのうちメインカメラを利用して取得したデータのみを再生し得るようにする。

前記のように、一般的な携帯用端末機において前記３次元データに対する互換性（２Ｄｂａｃｋｗａｒｄｃｏｍｐａｔｉｂｉｌｉｔｙ）を高めるために、前記３次元データはメインカメラを利用して取得したデータ（例；左視点映像）の後ろに補助カメラを介して取得したデータ（例；右視点映像）を配置した形で構成される。

また、前記３次元データはＡＰＰ１マーカ領域及びＭＣＵＤａｔａ部分を含み、本発明の好ましい一実施例によって前記ＭＣＵＤａｔａのディコーティングのためのＯｆｆｓｅｔ情報３０１を含んだＡＰＰ２マーカ領域と３次元データに対するメタデータを格納するためのＡＰＰ９マーカ領域３０３を追加してもよい。ここで、前記ＭＣＵＤａｔａのディコーディングのためのＯｆｆｓｅｔ情報３０１とは、多数の視点に対する映像データがそれぞれ分離されて格納されたブロックの開始アドレス及び多数の視点に対する映像データの大きさに対する情報であり、前記３０３のように示した前記３次元データに対するメタデータは下記表１のように定義し得る。

本発明では前記３次元データに対するメタデータをＡＰＰ９に定義して使用したが、アプリケーションマーカは様々な会社で定義して使用するフィールドであるため、アプリケーションマーカ領域のｉｄｅｎｔｉｆｉｅｒフィールドのみ異なるようにすれば互いに区分されるためＡＰＰ９を使用したが、ＡＰＰ０〜ＡＰＰ１５のうちいずれかを指定してもよい。

前記のような構造で格納された３次元データを従来の２Ｄ向けの携帯用端末機で再生する場合メインカメラを介して取得したデータのみ再生し、３Ｄ向けの携帯用端末機では補助カメラを介して取得したデータまで認識して３次元で再生するようにする。

図４は、本発明の好ましい一実施例による３つの映像データを利用する３次元データの構成を示す図である。

前記図４を参照すると、前記３次元データは上述したような形で構成され得る。

しかし、前記３次元データは３つの映像データを一つに合わせたデータであり、３つのＭＣＵＤａｔａをディコーディングするためのＯｆｆｓｅｔ情報を含んだＡＰＰ２マーカ領域と、３つのデータに対するメタデータを格納するためのＡＰＰ９マーカ領域を追加してもよい。

図５は、本発明の好ましい一実施例による携帯用端末機において３次元データを生成する過程を示すフローチャートである。

前記図５を参照すると、前記携帯用端末機は、まずステップ４０１で３次元データ生成イベントが発生するのかを確認する。ここで前記３次元データとは、３次元再生に使用される多数データを一つのファイル形式に合わせたデータを意味する。

前記ステップ４０１で３次元データ生成イベントが発生しない場合、前記携帯用端末機はステップ４１３に進行して該当機能（例；待機モード）を行う。

一方、前記ステップ４０１で３次元データ生成イベントが発生する場合、前記携帯用端末機は多数のカメラを利用して３次元データとして生成するマルチメディアデータ（３Ｄ効果に使用するデータ）を取得した後、ステップ４０５に進行して前記取得したマルチメディアデータの３Ｄパラメータを分析する。ここで、前記携帯用端末機が２つのカメラを具備している場合、前記カメラを利用して一つの被写体に対して互いに異なる角度で撮影した２つのマルチメディアデータを取得し、前記取得した映像データを分離して格納するために前記それぞれの映像データが格納されるブロックの開始アドレスと３Ｄパラメータを分析する。また、前記３Ｄパラメータとは、前記取得したマルチメディアデータの基準となるデータとペアリングを成すデータの数（視点の数）と前記データのインデックス情報、基準となる視点対比現在データの境界（ｏｃｃｌｕｓｉｏｎ）の幅（ｗｉｄｔｈ）情報及び前記境界領域の発生方向情報などを意味する。

例えば、前記携帯用端末機が２つのカメラを具備すると仮定する場合、前記基準となるデータはメインカメラを介して取得したデータになって前記ペアリングを成すデータの数は「２」になる。

例えば、前記携帯用端末機が３つのカメラを具備すると仮定する場合、メインカメラを介して取得したデータが基準となるデータになり、前記ペアリングを成すデータの数は「３」になる。この際、前記携帯用端末機は前記基準となるデータと第２補助カメラを介して取得したデータ間の３Ｄパラメータを分析し、前記第２補助カメラを介して取得したデータと第３補助カメラを介して取得したデータの間の３Ｄパラメータを分析する。

次に、前記携帯用端末機はステップ４０７に進行して前記ステップ４０５で分析した３Ｄパラメータを生成した後、ステップ４０９に進行してマルチメディアデータを圧縮する。

次に、前記携帯用端末機はステップ４１１に進行し、前記圧縮したマルチメディアデータと前記生成した３Ｄパラメータを一つのデータとして生成する。

即ち、前記携帯用端末機は３次元効果を提供し得る多数の映像データを取得して映像データを分離して格納するために前記それぞれの映像データが格納されるブロックの開始アドレスと３Ｄパラメータを取得し、前記取得した映像データを圧縮した後、前記圧縮したデータを前記３Ｄパラメータ及びブロックの開始アドレスと共に一つのファイルとして生成するのである。

次に、前記携帯用端末機はこのアルゴリズムを終了する。
図６は、本発明の好ましい一実施例による携帯用端末機において３次元データを再生する過程を示すフローチャートである。

前記図６を参照すると、前記携帯用端末機は、まずステップ５０１で３次元データ生成イベントが発生するのかを確認する。

前記ステップ５０１で３次元データ生成イベントが発生しない場合、前記携帯用端末機はステップ５０９に進行して該当機能（例；待機モード）を行う。

一方、前記ステップ５０１で３次元データ生成イベントが発生することを確認する場合、前記携帯用端末機はステップ５０３に進行して前記携帯用端末機が３次元データを支援する３Ｄ向けの端末機であるのかを確認する。

前記ステップ５０３で前記３次元データを支援する３Ｄ向けの端末機ではないことを確認する場合、前記携帯用端末機はステップ５０９に進行して該当機能（例；２Ｄ向けデータの再生）を行う。即ち、２Ｄ向けの端末機が前記３次元データを再生する場合、前記３次元データを含まれたメインカメラを利用して取得したデータ（例；左視点映像）を再生する。これは、一般的な携帯用端末機における前記３次元データに対する互換性（２Ｄｂａｃｋｗａｒｄｃｏｍｐａｔｉｂｉｌｉｔｙ）を高めるためである。

一方、前記ステップ５０３で前記３次元データを支援する３Ｄ向けの端末機であることを確認する場合、前記携帯用端末機はステップ５０５に進行して再生するデータの３Ｄパラメータを分析した後、ステップ５０７に進行して分析した３Ｄパラメータに基づいて３次元データを再生する。ここで、前記ステップ５０７は前記３Ｄパラメータを分析して基準となるデータとベアリングを成すデータの数（視点の数）と前記データのインデックス情報、基準となる視点対比現在データの境界（ｏｃｃｌｕｓｉｏｎ）の幅（ｗｉｄｔｈ）情報及び前記境界領域の発生方向情報を確認した後、前記確認した情報に基づいて前記３次元データを再生する。前記３Ｄパラメータを利用して３次元データを再生する過程は下記図６で詳しく説明する。この際、前記携帯用端末機は前記再生するデータの３Ｄパラメータを分析する前に多数の視点に対する映像データがそれぞれ分離されて格納されたブロックの開始アドレスを確認した後、前記開始アドレスの各ブロックで再生しようとする３次元データのパラメータを分析し得る。次に、前記携帯用端末機は前記分析したパラメータを利用して前記３次元データに含まれた視点を決定し、前記決定した視点を再生して使用者に立体効果を提供する。

次に、前記携帯用端末機はこのアルゴリズムを終了する。

図７は、本発明の好ましい一実施例による携帯用端末機において３Ｄパラメータを利用して３次元データを再生する過程を示すフローチャートである。

前記図７を参照すると、前記携帯用端末機は、まずステップ６０１で３次元データを再生しようとする端末機のディスプレイサイズを確認した後、ステップ６０３に進行して前記携帯用端末機がサイズが大きいディスプレイを具備しているのかを確認する。

前記ステップ６０３でサイズが大きいディスプレイを具備していることを確認した場合、前記携帯用端末機はステップ６０５に進行して基準となるデータ（基準視点）と距離（ｄｉｓｐａｒｉｔｙ）が近いデータを選択する。ここで、前記携帯端末器は前記３次元データの３Ｄパラメータのうち現在視点とＳｔｅｒｅｏＰａｉｒｉｎｇを成す視点の総数を示す「ＮｕｍｏｆＳｔｅｒｅｏＰａｉｒ」情報と現在視点とＳｔｅｒｅｏＰａｉｒｉｎｇを成す視点のｉｎｄｅｘを示す「ＰａｉｒｅｄＶｉｅｗＩＤ［］」情報を利用して基準視点と異なるデータ間の距離を確認することができ、前記サイズが大きいディプレイにおいて基準視点と異なるデータ間の距離を遠くする場合、映像が前に出すぎて見えて使用者の視覚的疲労が増加することを防止するためである。

一方、前記ステップ６０３でサイズが小さいディスプレイを具備していることを確認した場合、前記携帯用端末機はステップ６１１に進行して基準となるデータ（基準視点）と距離が長いデータを選択する。これは、サイズが小さいディスプレイを具備する携帯用端末機の立体感を向上させるために、基準となるデータ（基準視点）と距離が長いデータを選択するのである。

次に、前記携帯用端末機はステップ６０７に進行し、再生するデータに境界領域（ｏｃｃｌｕｓｉｏｎ）が存在するのかを確認する。ここで、前記境界領域とは視覚的疲労度を増加させる領域であり、２つ以上のカメラを利用して撮影したステレオ映像の場合、それぞれの視点映像にのみ現れる特定領域である。この際、前記携帯用端末機は３Ｄパラメータの「ＯｃｃｌｕｓｉｏｎＤｉｒｅｃｔｉｏｎ」を利用して境界領域を確認し得る。

ステップ６０７で再生するデータに境界領域が存在しないことを確認する場合、前記携帯用端末機は前記図５のステップ５０７に進行して３Ｄパラメータに基づいて３次元データを再生する。

一方、前記ステップ６０７で再生するデータに境界領域が存在することを確認する場合、前記携帯用端末機はステップ６０９に進行して前記存在する境界領域に対する後処理過程を行って使用者の視覚的疲労感を減らすように処理した後、３次元データを再生する。

図８は、本発明の好ましい一実施例による携帯用端末機において３次元データを再生する過程を示す図である。

前記図８を参照すると、前記携帯用端末機は２つのカメラを具備しており、２つのカメラを利用して基準視点と距離が異なる３つのデータを取得すると仮定する。

即ち、前記携帯用端末機は２つのカメラを利用して一つの位置で被写体を撮影して左右側に当たるデータ（Ｌ１，Ｒ１）を取得してから、一定距離移動した後、被写体を撮影したデータ（Ｌ２，Ｒ２）を取得する。この際、Ｌ２に対する視点とＲ１に対する視点が同じであり、前記携帯用端末機は総３つのデータ（Ｌ１，Ｒ１ｏｒＬ２，Ｒ２）を取得することになる。

前記取得したデータで基準視点のデータと付加視点のデータ間の距離（Ｄｉｓｐａｒｉｔｙ）を比べてみると、基準になる左視点Ｌ１データ、距離が近いＲ１（Ｌ２）データ、距離が遠いＲ２データで区分され、前記区分されたデータは本発明による図４のような構造を成す３次元データとして格納される。

この際、前記携帯用端末機は前記データの３Ｄパラメータを分析し、ＮｕｍｏｆＳｔｅｒｅｏＰａｉｒ，ＰｉｒａｅｄＶｉｅｗＩＤ［］値を格納する。

前記ように生成されたデータを再生する場合、前記携帯用端末機はディスプレイの大きさによって再生するデータを変更し得る。

一般的に、前記基準視点のデータと付加視点のデータ間の距離が遠いほど３Ｄ向けの端末機では高い立体効果を提供し得るが、前記サイズが大きいディスプレイを有する端末機（３ＤＴＶ）では基準視点のデータと付加視点のデータ間の距離が遠いほど３Ｄ客体が前に出すぎて見えるため、視覚的疲労度が増加する問題点が発生する。

また、サイズが小さいディスプレイを有する端末機（３Ｄカメラ、移動通信端末機）では、サイズが小さいディスプレイよって立体感効果を提供することができない問題点が発生する。

これによって、前記携帯用端末機は前記のように生成されたデータを再生する場合、小さいサイズのディスプレイを有する端末機では基準視点Ｌ１データと距離が遠いＲ２をディコーディングして立体に再生して立体感を向上させ、３ＤＴＶのようにサイズが大きいディスプレイを有する端末機では立体感が大きすぎないように基準視点Ｌ１データと距離が近いＲ１データをディコーディングして立体に再生することで、視覚的疲労感を減らすようにしてもよい。

これによって、本発明による３次元データはディスプレイのサイズに関係なく、３Ｄ端末機間の特性に合う効果を提供するコンテンツを再生し得る。

図９は、本発明の好ましい一実施例による携帯用端末機において３次元データを再生する過程を示す図である。

前記図９を参照すると、２つのカメラを利用して撮影したデータには、それぞれの視点に当たるデータにのみ存在する境界領域が存在する。

示したように、左視点データの左側角と右支店データの右側角部分に境界領域が存在する。

これは、多数のカメラ（ステレオカメラ）を具備した携帯用端末機において、２つのカメラを一定距離以上離して撮影する特性上、左視点データには左側角領域に右視点データに存在しない境界領域が存在するのであり、右視点データには右側角領域に左視点データに存在しない境界領域が存在するのである。

前記のような境界領域は立体で再生すると視聴者の視覚的疲労を増加させるよる要因であり、本発明では３次元データに存在する３Ｄパラメータ（ＯｃｃｌｕｓｉｏｎＤｒｅｃｔｉｏｎ）を利用して境界領域が存在することを確認し、該当領域に対する後処理過程を行って視聴者の視覚的疲労感を減らすようにする。

本発明を介して多数のカメラを利用して取得された立体映像（一例にステレオ映像）を効果的に格納することができ、格納された３Ｄ関連パラメータは多様な３Ｄ機器間のコンテンツ共有及び再生のための応用サービスに利用され得る。

一方、本発明の詳細な説明では具体的な実施例に関して説明したが、本発明の範囲を逸脱しない範囲内で多様な変形が可能であることはもちろんである。従って、本発明の範囲は説明された実施例に限って決められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものによって決められるべきである。

２００制御部
２０２３次元データ管理部
２０６カメラ部
２０８メモリ部
２１０入力部
２１２表示部
２１４通信部
２０４３Ｄパラメータ分析部

Claims

携帯用端末機において３次元データを生成するための装置において、
３次元効果を提供し得る多数の映像データを取得するカメラ部と、
前記取得した映像データを分離して格納するために前記それぞれの映像データが格納されるブロックの開始アドレスと３Ｄパラメータを取得し、前記取得した映像データを圧縮した後、前記圧縮したデータを前記３Ｄパラメータ及びブロックの開始アドレスと共に一つのファイルとして生成する３次元データ管理部と、を含むことを特徴とする装置。
前記取得したマルチメディアデータの３Ｄパラメータは、
前記データに含まれた視点の数（ＮｕｍｏｆＳｔｅｒｅｏＰａｉｒ）、現在視点とＳｔｅｒｅｏＰａｉｒｉｎｇを成す視点のインデックス（ＰａｉｒｅｄＶｉｅｗＩＤ［］）、基準となる視点対比現在視点の境界領域の幅（ＢｏｕｎｄａｒｙＯｃｃｌｕｄｅｄＷｉｄｔｈ）、境界領域が発生する方向（ＯｃｃｌｕｓｉｏｎＤｉｒｅｃｔｉｏｎ）のうち少なくともいずれか一つを含むことを特徴とする請求項１に記載の装置。
携帯用端末機において３次元データを生成するための装置において、
少なくとも２つ以上の視点に対する映像データがそれぞれ分離されて格納されたブロックの開始アドレスを読み取った後、前記開始アドレスの各ブロックで再生しようとする３次元データのパラメータを分析し、前記分析したパラメータを利用して前記３次元データに含まれた視点を決定した後、前記決定した視点を再生して３次元効果を提供する３次元データ管理部を含むことを特徴とする装置。
前記３次元データ管理部は、
前記３次元データに含まれた視点の数（ＮｕｍｏｆＳｔｅｒｅｏＰａｉｒ）、現在視点とＳｔｅｒｅｏＰａｉｒｉｎｇを成す視点のインデックス（ＰａｉｒｅｄＶｉｅｗＩＤ［］）、基準となる視点対比現在視点の境界領域の幅（ＢｏｕｎｄａｒｙＯｃｃｌｕｄｅｄＷｉｄｔｈ）、境界領域が発生する方向（ＯｃｃｌｕｓｉｏｎＤｉｒｅｃｔｉｏｎ）のうち少なくともいずれか一つを分析し、前記開始アドレスの各ブロックで再生しようとする３次元データの３Ｄパラメータを分析することを特徴とする請求項３に記載の装置。
前記３次元データ管理部は、
ディスプレイの大きさによって使用者の立体効果を増加させるか、前記ディスプレイの大きさによって視聴者の視覚的疲労感を減らして前記決定した視点を再生して３次元効果を提供することを特徴とする請求項３に記載の装置。
前記３次元データ管理部は、
境界領域に除去して視聴者の視覚的疲労を減らし、前記決定した視点を再生して３次元効果を提供することを特徴とする請求項３に記載の装置。
前記３次元データ管理部は、
前記ディスプレイの大きさが小さい場合、基準視点と距離が遠い補助視点のデータを再生して前記ディスプレイの大きさによって使用者の立体効果を増加させることを特徴とする請求項５に記載の装置。
前記３次元データ管理部は、
前記ディスプレイの大きさが大きい場合、基準視点と距離が近い補助視点のデータを再生して前記ディスプレイの大きさによって視聴者の視覚的疲労感を減らすことを特徴とする請求項５に記載の装置。
前記３次元データ管理部は、
立体効果を提供するデータに含まれた境界領域の方向及び境界領域の幅を確認し、前記確認した境界領域に対して後処理過程を行って前記境界領域を除去して視聴者の視覚的疲労を減らすことを特徴とする請求項６に記載の装置。
携帯用端末機において３次元データを生成するための方法において、
３次元効果を提供し得る多数の視点に対する映像データを取得する過程と、
前記取得した映像データを分離して格納するために前記それぞれの映像データが格納されるブロックの開始アドレスを確認する過程と、
前記取得した映像データの３Ｄパラメータを取得する過程と、
前記取得した映像データを圧縮した後、前記圧縮したデータを前記３Ｄパラメータ及びブロックの開始アドレスと共に一つのファイルとして生成する過程と、を含むことを特徴とする方法。
前記取得したマルチメディアデータの３Ｄパラメータは、
前記データに含まれた視点の数（ＮｕｍｏｆＳｔｅｒｅｏＰａｉｒ）、現在視点とＳｔｅｒｅｏＰａｉｒｉｎｇを成す視点のインデックス（ＰａｉｒｅｄＶｉｅｗＩＤ［］）、基準となる視点対比現在視点の境界領域の幅（ＢｏｕｎｄａｒｙＯｃｃｌｕｄｅｄＷｉｄｔｈ）、境界領域が発生する方向（ＯｃｃｌｕｓｉｏｎＤｉｒｅｃｔｉｏｎ）のうち少なくともいずれか一つを含むことを特徴とする請求項１０に記載の方法。
携帯用端末機において３次元データを再生するための方法において、
少なくとも２つ以上の視点に対する映像データがそれぞれ分離されて格納されたブロックの開始アドレスを読む過程と、
前記開始アドレスの各ブロックで再生しようとする３次元データのパラメータを分析する過程と、
前記分析したパラメータを利用して３次元データに含まれた視点を決定する過程と、
前記決定した視点を再生して３次元効果を提供する過程と、を含むことを特徴とする方法。
前記開始アドレスの各ブロックで再生しようとする３次元データの３Ｄパラメータを分析する過程は、
前記３次元データに含まれた視点の数（ＮｕｍｏｆＳｔｅｒｅｏＰａｉｒ）、現在視点とＳｔｅｒｅｏＰａｉｒｉｎｇを成す視点のインデックス（ＰａｉｒｅｄＶｉｅｗＩＤ［］）、基準となる視点対比現在視点の境界領域の幅（ＢｏｕｎｄａｒｙＯｃｃｌｕｄｅｄＷｉｄｔｈ）、境界領域が発生する方向（ＯｃｃｌｕｓｉｏｎＤｉｒｅｃｔｉｏｎ）のうち少なくともいずれか一つを分析する過程であることを特徴とする請求項１２に記載の方法。
前記決定した多数の視点を再生して３次元効果を提供する過程は、
ディスプレイの大きさによって使用者の立体効果を増加させる過程と、
前記ディスプレイの大きさによって視聴者の視覚的疲労感を減らす過程と、を含むことを特徴とする請求項１２に記載の方法。
前記決定した多数の視点を再生して３次元効果を提供する過程は、
境界領域に除去して視聴者の視覚的疲労を減らす過程を含むことを特徴とする請求項１２に記載の方法。
前記ディスプレイの大きさによって使用者の立体効果を増加させる過程は、
前記ディスプレイの大きさが小さい場合、基準視点と距離が遠い補助視点のデータを再生して立体効果を増加させる過程を含むことを特徴とする請求項１４に記載の方法。
前記ディスプレイの大きさによって視聴者の視覚的疲労感を減らす過程は、
前記ディスプレイの大きさが大きい場合、基準視点と距離が近い補助視点のデータを再生して視覚的疲労感を減らす過程を含むことを特徴とする請求項１４に記載の方法。
前記境界領域に除去して視聴者の視覚的疲労を減らす過程は、
立体効果を提供するデータに含まれた境界領域の方向及び境界領域の幅を確認する過程と、
前記確認した境界領域に対して視覚的疲労感を減らすための後処理過程を行う過程と、を含むことを特徴とする請求項１５に記載の方法。