JP2012244622A - コンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体 - Google Patents

Abstract

【課題】 使用者の好みに合う多様な品質の３次元コンテンツを提供することができる、２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体を提供する。
【解決手段】 コンテンツ変換方法は、映像コンテンツである複数のフレームを含む２次元コンテンツから変換される３次元コンテンツの品質を決定する段階と、前期複数のフレームの中で少なくとも一つに対してオブジェクトを抽出する段階と、抽出された前記オブジェクトに対して深さを割り当てる段階と、深さが割り当てられた前記フレームに対して３次元コンテンツへの変換のためのレンダリングを遂行する段階と、を含めて、前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、決定された前記３次元コンテンツの品質に基づいて遂行される。
【選択図】 図２

Description

本発明は、コンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体に関し、より詳しくは、２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体に関するものである。

映画、ドラマ、スポーツなどのような映像コンテンツ（以下、簡単に、‘コンテンツ’と言う）はＴＶ，ＰＣ，スマートフォーン、スマートパット、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ），ＭＰ３プレーヤーなどのようにコンテンツ再生機能を持つディスプレー装置によって再生される。

一方、近来３次元映像のディスプレー技術の発展で、このようなコンテンツが３次元コンテンツに作られて、３次元映像のディスプレーすることができるディスプレー装置によって再生されることが可能になっている。

しかし、このような３次元コンテンツを作るために、通常莫大な規模の装置と、開発人力が必要で、相当大きい費用と、時間が掛かるので、まだ優秀な品質の３次元コンテンツが多くない実情である。

また、提供されている３次元コンテンツの場合にも、先に決められた品質の３次元コンテンツを利用する程度の状態で、使用者の好みに合う多様さ品質の３次元コンテンツを利用することはできない。

故に、本発明の目的は、使用者の好みに合う多様な品質の３次元コンテンツを提供することができるコンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体を提供することである。

本発明の前記目的は、コンテンツ変換装置を利用して２次元コンテンツを３次元コンテンツに変換するコンテンツ変換方法にあって、映像コンテンツである複数のフレームを含む２次元コンテンツから変換される３次元コンテンツの品質を決定する段階と、前記複数のフレームの中少なくとも一つに対してオブジェクトを抽出する段階と、抽出された前記オブジェクトに対して深さ（depth）を割り当てる段階と、深さが割り当てられた前記フレームに対して３次元コンテンツへの変換のためのレンダリングを遂行する段階と、を含めて、前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、決定された前記３次元コンテンツの品質に基づいて遂行されるコンテンツ変換方法によって達成することができる。

前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、先に決められた基準情報に基づいて遂行される自動プロセスを遂行する段階と、使用者の入力に基づいて遂行される手動プロセスを遂行する段階と、を含めて、前記３次元コンテンツの品質を決定する段階は、該当前記少なくとも一つの段階で前記自動プロセス及び前記手動プロセスがどのくらい遂行されるかを表す遂行程度を決定する段階を含むことができる。

前記遂行程度を決定する段階は、前記遂行程度によって分類された複数の品質モードの中ある一つを選択する段階を含むことができる。

前記手動プロセスを遂行する段階は、前記手動プロセスで前記使用者の入力を受信するためのＧＵＩ項目として、選択された前記品質モードによって選択的に活性化される少なくとも一つのＧＵＩ項目を表示する段階を含むことができる。

前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて遂行されることができる。

前記コンテンツ変換方法は、前記複数のフレームの中でキーフレームを選定する段階を更に含めて、前記オブジェクトを抽出する段階及び前記深さを割り当てる段階は、選定された前記キーフレームに対して遂行されて、前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行する段階を更に含むことができる。

前記コンテンツ変換方法は、前記レンダリングが遂行された前記フレームに対して３次元画質処理を遂行する段階を更に含むことができる。

本発明の前記目的は、２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置にあって、映像コンテンツである２次元コンテンツの複数のフレームの中少なくとも一つに対してオブジェクトを抽出して、抽出された前記オブジェクト対して深さを割り当てて、深さが割り当てられた前記フレームに対して３次元コンテンツへの変換のためのレンダリングを遂行する変換部を含み、前記変換部は、変換される前記３次元コンテンツの品質を決定して、決定された前記３次元コンテンツの品質に基づいて前記オブジェクトの抽出、前記深さの割り当て及び前記レンダリングの中少なくとも一つを遂行するコンテンツ変換装置によっても達成することができる。

前記コンテンツ変換装置は、使用者の入力を受信する使用者入力部を更に含めて、前記変換部は、先に決められた基準情報に基づいて自動プロセスと、前記使用者の入力に基づく手動プロセスと、を遂行することで、前記オブジェクトの抽出、前記深さの割り当て及び前記レンダリングの中少なくとも一つを遂行して、前記変換部は、該当前記少なくとも一つのプロセスから前記自動プロセス及び前記手動プロセスがどのぐらい遂行されるかを表す遂行程度を決定することで前記３次元コンテンツの品質を決定することができる。

前記変換部は、前記遂行程度によって分類された複数の品質モードの中ある一つを選択することで前記遂行程度を決定することができる。

前記変換部は、前記手動プロセスで前記使用者の入力を受信するためのＧＵＩ項目として、選択された前記品質モードによって選択的に活性化される少なくとも一つのＧＵＩ項目を表示することができる。

前記変換部は、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて前記オブジェクトの抽出及び前記深さの割り当ての中少なくとも一つを遂行することができる。

前記変換部は、前記複数のフレームの中でキーフレームを選定して、選定された前記キーフレームに対して前記オブジェクトの抽出及び前記深さの割り当てを遂行し、前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行することができる。

前記変換部は、前記レンダリングが遂行された前記フレームに対して３次元画質処理を遂行することができる。

本発明の前記目的は、コンピューターで実行することができる命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を持つコンピューターで判読することができる貯蔵媒体にあって、前記コンピューターのプロセスによって前記命令が遂行される時、前記命令は２次元コンテンツを３次元コンテンツに変換するコンテンツ変換方法を遂行するもので、前記コンテンツ変換方法は、映像コンテンツである複数のフレームを含む２次元コンテンツから変換される３次元コンテンツの品質を決定する段階と、前記複数のフレームの中少なくとも一つに対してオブジェクトを抽出する段階と、抽出された前記オブジェクトに対して深さを割り当てる段階と、深さが割り当てられた前記フレームに対して３次元コンテンツへの変換のためのレンダリングを遂行する段階と、を含めて、前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、決定された前記３次元コンテンツの品質に基づいて遂行されるコンピューターで判読することができる貯蔵媒体によっても達成することができる。

前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、先に決められた基準情報に基づいて遂行される自動プロセスを遂行する段階と、使用者の入力に基づいて遂行される手動プロセスを遂行する段階と、を含めて、前記３次元コンテンツの品質を決定する段階は、該当前記少なくとも一つの段階で前記自動プロセス及び前記手動プロセスがどのぐらい遂行されるかを表す遂行程度を決定する段階を含むことができる。

前記遂行の程度を決定する段階は、前記遂行程度によって分類された複数の品質モードの中ある一つを選択する段階を含むことができる。

前記手動プロセスを遂行する段階は、前記手動プロセスで前記使用者の入力を受信するためのＧＵＩ項目として、選択された前記品質モードによって選択的に活性化される少なくとも一つのＧＵＩ項目を表示する段階を含むことができる。

前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて遂行されることができる。

前記コンテンツ変換方法は、前記複数のフレームの中でキーフレームを選定する段階を更に含めて、前記オブジェクトを抽出する段階及び前記深さを割り当てる段階は、選定された前記キーフレームに対して遂行されて、前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行する段階を更に含むことができる。

前記コンテンツ変換方法は、前記レンダリングが遂行された前記フレームに対して３次元画質処理を遂行する段階を更に含むことができる。

上述の通り、本発明によると、使用者の好みに合う多様な品質の３次元コンテンツを提供することができる。

は本発明の一実施例によるコンテンツ変換装置の構成を図示したブロック図である。 図１に図示されたコンテンツ変換装置の動作を図示した流れ図である。 図１に図示されたコンテンツ変換装置の動作の他の例を説明する流れ図である。 図１に図示されたコンテンツ変換装置による複数の品質モードの一例を図示するテーブルである。 図１に図示されたコンテンツ変換装置の動作のまた他の例を説明する流れ図である。

以下、本発明の一実施例に関して詳しく説明する。

図１は、本発明の一実施例によるコンテンツ変換装置の構成を図示したブロック図である。コンテンツ変換装置１は２次元のコンテンツ（以下、‘２次元コンテンツ’と言う）を３次元コンテンツに変換する。本実施例のコンテンツは、動画コンテンツとして、例えば映画、ドラマ、スポーツなどのコンテンツを含む。

コンテンツ変換装置１は所定の２次元コンテンツ提供装置（図示せず）から３次元コンテンツに変換する２次元コンテンツを提供されることができる。コンテンツ変換装置１は所定のネットワーク（図示せず）を通じて２次元コンテンツ提供装置から２次元コンテンツを提供されることができる。２次元コンテンツ提供装置は、例えば、ネットワークサーバとして、２次元コンテンツを貯蔵して、コンテンツ変換装置１の要請によって２次元コンテンツをコンテンツ変換装置１に転送することができる。

他の実施例として、コンテンツ変換装置１は、ネットワークではない他のデータの転送手段を通じて２次元コンテンツ提供装置から２次元コンテンツを提供されることもできる。例えば、２次元コンテンツ提供装置は２次元コンテンツを貯蔵するハードディスク、フラッシュメモリーなどのような貯蔵手段を具備する装置として、コンテンツ変換装置１にローカル装置として連結されてコンテンツ変換装置１の要請によって２次元コンテンツをコンテンツ変換装置１に転送することができる。この場合、２次元コンテンツのデータの転送のためなら、コンテンツ変換装置１と、２次元コンテンツ提供装置との間のローカル連結方式には制限がなくて、例えば、ＵＳＢ方式などを含む。

また他の実施例として、コンテンツ変換装置１は、３次元コンテンツ提供装置（図示せず）から２次元コンテンツを提供されることもできる。例えば、３次元コンテンツ提供装置は２次元コンテンツをコンテンツ変換装置１に伝達して、コンテンツ変換装置１によって変換された３次元コンテンツを受信して、これを所定の使用者端末機（図示せず）に提供することができる。使用者端末機はコンテンツ変換装置１から提供された提供された３次元コンテンツを３次元の立体映像にディスプレーすることができる機能を持って、例えば、ＴＶ，ＰＣ，スマート電話、スマートパッド、ＰＭＰ、ＭＰ３プレーなどである。

また他の実施例として、コンテンツ変換装置１は、変換された３次元コンテンツを３次元の立体映像にディスプレーすることができる機能を持つ使用者端末機に転送することができる。コンテンツ変換装置１は、例えば、ネットワークを通じて使用者端末機に３次元コンテンツを提供することができる。

本実施例のネットワークにあって、２次元コンテンツ及び／又は３次元コンテンツの転送のためのデータ通信は、有線及び／又は無線通信方式などネットワークの通信方式には制限がなくて、知られた通信方式を全て含む。

コンテンツ変換装置１は、図１に図示されたように、変換部１１及び通信部１４を含むことができる。変換部１１は２次元コンテンツを３次元コンテンツに変換する。２次元コンテンツは複数の映像フレーム（以下、‘フレーム’と言う）を含む。３次元コンテンツは視聴者の両眼の視差を利用することで、複数の左眼フレーム及び複数の右眼フレームを含むことができる。複数の左眼フレーム及び複数の右眼フレームの中一対の左眼フレームと、右眼フレームは、２次元コンテンツの複数のフレームの中で対応する少なくともある一つから各々変換されることである。変換部１１によって遂行される２次元コンテンツから３次元コンテンツへの変換（以下、‘２次元−３次元変換’と言う）に関しては下記にまた詳述する。

通信部１４は、２次元コンテンツ提供装置とコンテンツ変換装置１との間のデータ通信、３次元コンテンツ提供装置とコンテンツ変換装置１との間のデータ通信、又は使用者端末機とコンテンツ変換装置１との間のデータ通信を遂行することができる。

変換部１１は、貯蔵部１１１、ＲＡＭ１１２及びＣＰＵ１１３を含むことができる。貯蔵部１１１は２次元−３次元変換を遂行するための変換プログラム１１４、変換する２次元コンテンツ１１５及び２次元コンテンツから変換される３次元コンテンツ１１６を貯蔵することができる。貯蔵部１１１はハードディスク、フラッシュメモリーなどの不揮発性のメモリーに具現されることができる。ＲＡＭ１１２には変換部１１の動作するとき変換プログラム１１４の少なくとも一部がローディングされて、ＣＰＵ１１３はＲＡＭ１１２にローディングされた変換プログラム１１４を実行する。変換プログラム１１４はＣＰＵ１１３によって実行できる命令を持つ。貯蔵部１１１はコンピューターで判読することができる貯蔵媒体の一例である。

図２は図１に図示されたコンテンツ変換装置１の動作を図示した流れ図である。図２に図示されたコンテンツ変換装置１の動作（以下、‘２次元−３次元変換プロセス’と言う）は、変換プログラム１１４の命令によって遂行されるコンテンツ変換方法に対応する。本実施例の２次元−３次元変換プロセスは、３次元コンテンツの品質決定２０１、オブジェクトの抽出２０２、深さの割り当て２０３及びレンダリング（ｒｅｎｄｅｒｉｎｇ）２０４を含むことができる。

３次元コンテンツの品質決定２０１では、変換しようとする３次元コンテンツの品質が決定される。本実施例の２次元―３次元変換プロセスは、３次元コンテンツの品質に対応して遂行されることができる。つまり、オブジェクトの抽出２０２、深さの割り当て２０３及びレンダリング２０４の中少なくとも一つのプロセスは決定された３次元コンテンツの品質に基づいて遂行されることができる。３次元コンテンツの品質決定２０１は下記にまた詳しく説明する。

オブジェクトの抽出２０２では、処理されるフレームの映像に対して３次元の効果が反映されるオブジェクトが抽出される。オブジェクトは各フレームの場面の中で含まれた主要なイメージとして、例えば、主人公が登場する場面で主人公である人物のイメージ、車両が走る場面で該当車両のイメージなどを挙げることができる。オブジェクトの抽出２０２では、該当フレームの映像を分割（ｓｅｇｍｅｎｔａｔｉｏｎ ）して、その結果からオブジェクトの境界（ｂｏｕｎｄａｒｙ）を抽出することができる。

深さの割り当て２０３では、オブジェクトの抽出２０２のプロセスで抽出されたオブジェクトに対して深さが割り当てられる。深さは３次元の視覚効果を出すためのパラメーターで、対応して生成される左眼フレーム及び右眼フレームでオブジェクトを割り当てられたパラメーターの値だけ各々左側及び右側方向に移動（ｓｈｉｆｔ）させることに利用される。深さの割り当て２０３では、先に決められた定型化されたテンプレート（ｔｅｍｐｌａｔｅ）を利用して深さが割り当てられることができる。

レンダリング２０４では深さの割り当て２０３が遂行された左眼のフレーム及び右眼のフレームに対して完成された３次元の映像のためのイメージ処理が遂行される。例えば、レンダリング２０４ではフレームの映像でオブジェクトの移動によって発生した空いた領域を満たす処理、いわゆる、インペインティング（ｉｎｐａｉｎｔｉｎｇ）などが遂行されることができる。

以下、３次元コンテンツの品質決定２０１のプロセスに対して詳しく説明する。本実施例の２次元―３次元変換プロセスの中少なくとも一つのプロセスは、使用者の入力によって遂行される手動プロセス及び先に決められた基準情報によって遂行される自動プロセスを含むことができる。例えば、オブジェクトの抽出２０２、深さの割り当て２０３などのプロセスで、一部のフレームは手動プロセスによって処理され、余りのフレームに対しては自動プロセスによって処理されることができる。

手動プロセスでは、使用者（コンテンツ変換作業を遂行する開発者）の入力によって変換処理が遂行されることができる。コンテンツ変換装置１は使用者の入力のためにキーボード、マウス、タブレットなどのような使用者入力部１２を更に含むことができる。また、コンテンツ変換装置１は使用者が変換処理状況を確認することができるように、変換処理される映像をディスプレーするモニターのようなコンディスプレー部１３を更に含むことができる。コンテンツ変換装置１は効果的に使用者の入力を受信するために、ディスプレー部１３に処理されるフレームの映像と、所定入力メニューなどを含むＧＵＩ（図示せず）を表示することができる。使用者はディスプレー部１３に表示されるフレームの映像を確認しながら、ＧＵＩの入力メニューなどを利用して変換処理のための入力をすることができる。例えば、使用者はフレームの映像に含まれたオブジェクトを確認しながら、ＧＵＩの入力メニューなどを利用して該当オブジェクトが抽出されるように入力の操作をすることができる。

自動プロセスでは、先に決められた基準情報によってプロセスが遂行される。例えばオブジェクトの抽出２０２にあって、コンテンツ変換装置１はフレームの映像を分析して、映像内のあるオブジェクトの境界で画素値の変化が所定の?界値以上のオブジェクトを抽出するオブジェクトに選択することができる。ここで基準情報は抽出するオブジェクトに選択するようにする、オブジェクトの境界での画素値の変化の?界値である。

３次元コンテンツの品質は、ある２次元―３次元変換プロセスにあって、手動プロセス及び自動プロセスが各々どのくらい遂行されるかを表すことができる。例えば、オブジェクトの抽出２０２にあって、手動プロセスと、自動プロセスが各々半分ずつ設けられる場合などを挙げることができる。３次元コンテンツの品質は、ある２次元―３次元変換プロセス全体の中で自動プロセス（若しくは手動プロセス）が遂行される比率（以下、‘組合比率’若しくは‘遂行程度’と言う）で表すことができる。

図３は図１に図示されたコンテンツ変換装置１の動作の他の例を説明する流れ図である。先ず、コンテンツ変換装置１は、３次元コンテンツの品質を考えて自動プロセス（若しくは手動プロセス）の遂行程度を決定する３０１。次に、ある２次元―３次元変換プロセスにあって、決定された遂行程度に基づいて自動プロセスに処理するかまたは、手動プロセスに処理するかを決定する３０２。動作３０２にあって、自動プロセス若しくは手動プロセスに処理するかを区分する決定は、例えば、フレーム単位に設けられることがある。もし、自動プロセスに処理することに決定した場合、該当２次元―３次元変換プロセスを自動プロセスに処理する３０３。もし、手動プロセスに処理することに決定した場合、該当２次元―３次元変換プロセスを手動プロセスに処理する３０４の各動作が順次遂行される。

３次元コンテンツの品質は、複数の品質モードを含めて、複数の品質モードの中選択されたある一つに対応して２次元―３次元変換プロセスが遂行されることがある。図４は複数の品質モードの一例を図示するテーブルである。図４のテーブルに図示された通り、複数の品質モードは、例えば、品質が高くなる順に、‘簡易（Simple）モード’、基本（Basic）モード’、向上された（Advanced）モード’及び‘専門家（Expert）モード’を含むことができる。この品質モードにあって、各々の自動プロセスの遂行程度は、該当プロセス全体の中で、例えば、８５％超過、８５％、７０％及び５０％であることがある。また、複数の品質モードは３次元コンテンツを製作する側面で費用（Cost）も対応する（図４のテーブルで、‘とても低い（Very Low）’、‘低い（Low）’、‘中間（Medium）’及び‘中間＋（Medium+）’参照）となる。

３Dコンテンツの品質は、２次元コンテンツの種類若しくは属性によって決定されることがある。２次元コンテンツは最新作である映画の場合、相対的に高い品質に決定されて、製作された時期が古いほど映画は相対的に低い品質に決定されることができる。他の例で、ブロックバスタのようなスケールが大きい映画の場合、相対的に高い品質に決定されて、ストーリー展開主の映画は相対的に低い品質に決定されることがある。また他の例で、スポーツ、映画、ドラマなどのようなコンテンツのジャンルによって３次元コンテンツの品質が決定されることもある。

３次元コンテンツの品質は使用者の入力によって決定されることができる。３次元コンテンツの品質の決定のための使用者の入力は、例えば、使用者入力部１２から受信されることもある。この場合、使用者は、例えば、該当コンテンツを変換する開発者であることがある。選択的な実施例として、ディスプレー部１３には３次元コンテンツの品質の決定のためのGUIとしての入力メニューが表示されることができる。３次元コンテンツの品質の決定のための入力メニューは、例えば、‘簡易（Simple）モード’、基本（Basic）モード’、向上された（Advanced）モード’及び‘専門家（Expert）モード’に各々対応するGUI項目を含むプルダウンメニュー（図示せず）を含むことができる。プルダウンメニューの複数のGUI項目の中ある一つが選択されると、各２次元―３次元変換プロセスに対応するGUI入力メニューに含まれた複数の機能のGUI項目の中で、選択された品質モードによって必要な機能のGUI項目だけ活性化されて、不必要な機能のGUI 項目は非活性化されることができる。

他の例として、３次元コンテンツの品質の決定のための使用者の入力は、通信部１４を通じて他の装置から、例えば、３次元コンテンツの変換を要請する使用者端末機（図示せず）から受信されることもある。この場合の使用者は、例えば、該当コンテンツの変換を要請して返還された３次元コンテンツを利用しようとする使用者であることもある。

以上の如く、本実施例によると、変換される３次元コンテンツの品質を多様にすることで、費用対比効果的な品質のコンテンツを提供する一方、使用者の多様な好みを充足させることができる。

図５は図１の図示されたコンテンツ変換装置１の動作のまた他の例を図示した流れ図である。図５に図示されたコンテンツ変換装置１に関して図１乃至図４を参照して説明したコンテンツ変換装置１と同一乃至類似な構成に対しては説明を省略する。

本実施例の２次元―３次元変換プロセスは、３次元コンテンツの品質決定５０１、キーフレームの選定５０２、オブジェクトの抽出５０３、深さの割り当て５０４、トラッキング５０５、レンダリング５０６及び３次元画質処理５０７を含むことができる。

３次元コンテンツの品質の決定５０１では、変換しようとする３次元コンテンツの品質が決定される。

キーフレームの選定５０２では、２次元コンテンツの複数のフレームの中で任意のキーフレームが選定される。キーフレームとしては、２次元コンテンツの複数のフレームの中で映像の内容を代表することができるフレームが選定されることができる。例えば、キーフレームは、場面が展開されるフレーム、場面の主人公がクローズアップされるフレームなどであることがある。キーフレームは該当フレームの映像のモーションに基づいて選定されることができる。例えば、映像のモーションが所定値以上であるフレームをキーフレームを選定することができる。

オブジェクトの抽出５０３では、選定されたキーフレームに対して３次元の効果が反映されるオブジェクトが抽出される。深さの割り当て５０４では、オブジェクト抽出のプロセス５０３で抽出されたオブジェクトに対して深さが割り当てられる。

トラッキング５０５では、キーフレームではない余りのフレームに対して対応する左眼のフレーム及び右眼のフレームが生成される。トラッキング５０５はキーフレームに遂行されたオブジェクトの抽出５０３及び深さの割り当て５０４を参照して遂行されることができる。このように、主要なキーフレームに対してオブジェクトの抽出、深さの割り当てなどを遂行して、余りのフレームに対してキーフレームを参照してトラッキングを遂行することで、品質の優秀さを維持しながら、費用及び時間の面に効率的な変換処理を遂行することができる。

レンダリング５０６では深さの割り当て５０４及びトラッキング５０５が遂行された左眼のフレーム及び右眼のフレームに対して完成された３次元の映像のためのイメージ処理が遂行される。

３次元画質処理５０７では、レンダリング５０６が遂行されたフレームに対して３次元画質処理が遂行される。３次元画質処理４０６は、コントラスト向上（contrast enhancement）、ディテール向上（detail enhancement）、などを含むことができる。３次元画質処理５０７によって、３次元コンテンツの実際ディスプレー時、画質の側面でディスプレーする装置に最適化されるように画質改善することができる。

追加的な実施例として、本実施例の２次元−３次元変換プロセスの中少なくとも一つは、処理されるフレームの内容及び展開過程に関する情報（以下、‘ストーリーテリング（storytelling）情報’とも言う）に基づいて遂行されることができる。ストーリーテリング情報は、コンテンツの製作者が意図したところによってコンテンツのストーリー展開に合わせて、３次元の視覚効果が対応的に起きるように利用される情報である。本実施例では、オブジェクトの抽出５０３、深さの割り当て５０４などのプロセスがストーリーテリング情報に基づいて遂行されることができる。ストーリーテリング情報を利用する例は、二人の人物が話し会う場面で、話し会う二人の後ろを他の主要人物が通る場合、他の主要人物を該当フレームのオブジェクトに抽出するようにしたり、抽出された他の主要人物のオブジェクトに深さを十分適用するようにするなどの例を挙げることができる。このような例で、ストーリーテリング情報は、オブジェクトの抽出のための他の主要人物のイメージに関する情報や、深さの割り当てのためのストーリー展開上の主要な程度を表す値などを含むことができて、該当フレームに対応して先に設けられて貯蔵部１１１に貯蔵されることができる。変換部１１は、該当フレームに対するプロセスの遂行するとき貯蔵部１１１に貯蔵されたストーリーテリングの情報を参照してプロセスを遂行することができる。

以上、好ましい実施例を通じて本発明に関して詳しく説明したが、本発明はこれに限定される事ではなく特許請求範囲内で多様に実施されることができる。例えば、前記実施例では、オブジェクトの抽出２０２、深さの割り当て２０３などのプロセスに対して３次元コンテンツの品質を多様にすることを説明したが、これは一つの例示に過ぎないで、他のプロセスであるキーフレームの選定５０２、レンダリング５０６などのプロセスも３次元コンテンツの品質に基づいて遂行されることができる。

１ コンテンツ変換装置
１１ 変換部
１２ 使用者の入力部
１３ ディスプレー部
１４ 通信部

Claims (21)

1. コンテンツ変換装置を利用して２次元コンテンツを３次元コンテンツに変換するコンテンツ変換方法において、
   映像コンテンツである複数のフレームを含む２次元コンテンツから変換される３次元コンテンツの品質を決定する段階と、
   前記複数のフレームの中少なくとも一つに対してオブジェクトを抽出する段階と、
   抽出された前記オブジェクトに対して深さを割り当てる段階と、
   深さが割り当てられた前記フレームに対して３次元コンテンツへの変換のためのレンダリングを遂行する段階と、を含み、
   前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、決定された前記３次元コンテンツの品質に基づいて遂行されることを特徴とするコンテンツ変換方法。
2. 前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、
   先に決められた基準情報に基づいて遂行される自動プロセスを遂行する段階と、
   使用者の入力に基づいて遂行される手動プロセスを遂行する段階と、を含み、
   前記３次元コンテンツの品質を決定する段階は、
   該当前記少なくとも一つの段階で前記自動プロセス及び前記手動プロセスがどのぐらい遂行されるかを表す遂行程度を決定する段階を含むことを特徴とする請求項１に記載のコンテンツ変換方法。
3. 前記遂行程度を決定する段階は、
   前記遂行程度によって分類された複数の品質モードの中ある一つを選択する段階を含むことを特徴とする請求項２に記載のコンテンツ変換方法。
4. 前記手動プロセスを遂行する段階は、
   前記手動プロセスで前記使用者の入力を受信するためのGUI項目として、選択された前記品質モードによって選択的に活性化される少なくとも一つのGUI項目を表示する段階を含むことを特徴とする請求項３に記載のコンテンツ変換方法。
5. 前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて遂行されることを特徴とする請求項１に記載のコンテンツ変換方法。
6. 前記複数のフレームの中でキーフレームを選定する段階を更に含めて、
   前記オブジェクトを抽出する段階及び前記深さを割り当てる段階は、選定された前記キーフレームに対して遂行されて、
   前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行する段階を更に含むことを特徴とする請求項１に記載のコンテンツ変換方法。
7. 前記レンダリングが遂行された前記フレームに対して３次元画質処理を遂行する段階を更に含むことを特徴とする請求項１に記載のコンテンツ変換方法。
8. ２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置において、
   映像コンテンツである２次元コンテンツの複数のフレームの中で少なくとも一つに対してオブジェクトを抽出して、抽出された前記オブジェクトに対して深さを割り当てて、深さが割り当てられた前記フレームに対して３次元コンテンツへの変換のためのレンダリングを遂行する変換部を含み、
   前記変換部は、変換される前記３次元コンテンツの品質を決定して、決定された前記３次元コンテンツの品質に基づいて前記オブジェクトの抽出、前記深さの割り当て及び前記レンダリングの中少なくとも一つを遂行することを特徴とするコンテンツ変換装置。
9. 使用者の入力を受信する使用者入力部を更に含めて、
   前記変換部は、先に決められた基準情報に基づいて自動プロセスと、前記使用者の入力に基づく手動プロセスと、を遂行することで、前記オブジェクトの抽出、前記深さの割り当て及び前記レンダリングの中少なくとも一つを遂行して、
   前記変換部は、該当前記少なくとも一つのプロセスで前記自動プロセス及び前記手動プロセスがどのぐらい遂行されるかを表す遂行程度を決定することで前記３次元コンテンツの品質を決定することを特徴とする請求項８に記載のコンテンツ変換装置。
10. 前記変換部は、前記遂行程度によって分類された複数の品質モードの中ある一つを選択することで前記遂行程度を決定することを特徴とする請求項９に記載のコンテンツ変換装置。
11. 前記変換部は、前記手動プロセスで前記使用者の入力を受信するためのGUI項目として、選択された前記品質モードによって選択的に活性化される少なくとも一つのGUI項目を表示することを特徴とする請求項１０に記載のコンテンツ変換装置。
12. 前記変換部は、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて前記オブジェクトの抽出及び前記深さの割り当ての中少なくとも一つを遂行することを特徴とする請求項８に記載のコンテンツ変換装置。
13. 前記変換部は、前記複数のフレームの中でキーフレームを選定して、選定された前記キーフレームに対して前記オブジェクトの抽出及び前記深さの割り当てを遂行し、
    前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行することを特徴とする請求項８に記載のコンテンツ変換装置。
14. 前記変換部は、前記レンダリングが遂行された前記フレームに対して３次元画質処理を遂行することを特徴とする請求項８に記載のコンテンツ変換装置。
15. コンピューターで実行することができる命令を持つコンピューターで判読することができる貯蔵媒体にあって、
    前記コンピューターのプロセスによって前記命令が遂行される時、前記命令は２次元コンテンツを３次元コンテンツに変換するコンテンツ変換方法を遂行し、
    前記コンテンツ変換方法は、
    映像コンテンツである複数のフレームを含む２次元コンテンツから変換される３次元コンテンツの品質を決定する段階と、
    前記複数のフレームの中少なくとも一つに対してオブジェクトを抽出する段階と、
    抽出された前記オブジェクトに対して深さを割り当てる段階と、
    深さが割り当てられた前記フレームに対して３次元コンテンツへの変換のためのレンダリングを遂行する段階と、を含めて、
    前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、決定された前記３次元コンテンツの品質に基づいて遂行されるコンピューターで判読することができる貯蔵媒体。
16. 前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、
    先に決められた基準情報に基づいて遂行される自動プロセスを遂行する段階と、
    使用者の入力に基づいて遂行される手動プロセスを遂行する段階と、を含み、
    前記３次元コンテンツの品質を決定する段階は、
    該当前記少なくとも一つの段階で前記自動プロセス及び前記手動プロセスがどのぐらい遂行されるかを表す遂行程度を決定する段階を含むことを特徴とする請求項１５に記載のコンピューターで判読することができる貯蔵媒体。
17. 前記遂行程度を決定する段階は、
    前記遂行程度によって分類された複数の品質モードの中ある一つを選択する段階を含む請求項１６に記載のコンピューターで判読することができる貯蔵媒体。
18. 前記手動プロセスを遂行する段階は、
    前記手動プロセスで前記使用者の入力を受信するためのGUI項目として、選択された前記品質モードによって選択的に活性化される少なくとも一つのGUI項目を表示する段階を含むことを特徴とする請求項１７に記載のコンピューターで判読することができる貯蔵媒体。
19. 前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて遂行されることを特徴とする請求項１５に記載のコンピューターで判読することができる貯蔵媒体。
20. 前記コンテンツ変換方法は、前記複数のフレームの中でキーフレームを選定する段階を更に含めて、
    前記オブジェクトを抽出する段階及び前記深さを割り当てる段階は、選定された前記キーフレームに対して遂行され、
    前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行する段階を更に含むことを特徴とする請求項１５に記載のコンピューターで判読することができる貯蔵媒体。
21. 前記コンテンツ変換方法は、前記レンダリングが遂行された前記フレームに対して３次元画質処理を遂行する段階を更に含むことを特徴とする請求項１５に記載のコンピューターで判読することができる貯蔵媒体。

Images