JP2014515153A - コンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体 - Google Patents

Abstract

使用者の好みに合う多様な品質の３次元コンテンツを提供することができる、２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体を提供する。
コンテンツ変換方法は、映像コンテンツである複数のフレームを含む２次元コンテンツから変換される３次元コンテンツの品質を決定する段階と、前期複数のフレームの中で少なくとも一つに対してオブジェクトを抽出する段階と、抽出された前記オブジェクトに対して深さを割り当てる段階と、深さが割り当てられた前記フレームに対して３次元コンテンツへの変換のためのレンダリングを遂行する段階と、を含めて、前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、決定された前記３次元コンテンツの品質に基づいて遂行される。

Description

本発明は、コンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体に関し、より詳しくは、２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体に関するものである。

映画、ドラマ、スポーツなどのような映像コンテンツ（以下、簡単に、‘コンテンツ’と言う）はＴＶ，ＰＣ，スマートフォーン、スマートパット、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ），ＭＰ３プレーヤーなどのようにコンテンツ再生機能を持つディスプレー装置によって再生される。

一方、近来３次元映像のディスプレー技術の発展で、このようなコンテンツが３次元コンテンツに作られて、３次元映像のディスプレーすることができるディスプレー装置によって再生されることが可能になっている。

しかし、このような３次元コンテンツを作るために、通常莫大な規模の装置と、開発人力が必要で、相当大きい費用と、時間が掛かるので、まだ優秀な品質の３次元コンテンツが多くない実情である。

また、提供されている３次元コンテンツの場合にも、先に決められた品質の３次元コンテンツを利用する程度の状態で、使用者の好みに合う多様さ品質の３次元コンテンツを利用することはできない。

故に、本発明の目的は、使用者の好みに合う多様な品質の３次元コンテンツを提供することができるコンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体を提供することである。

本発明の前記目的は、コンテンツ変換装置を利用して２次元コンテンツを３次元コンテンツに変換するコンテンツ変換方法にあって、映像コンテンツである複数のフレームを含む２次元コンテンツから変換される３次元コンテンツの品質を決定する段階と、前記複数のフレームの中少なくとも一つに対してオブジェクトを抽出する段階と、抽出された前記オブジェクトに対して深さ（depth）を割り当てる段階と、深さが割り当てられた前記フレームに対して３次元コンテンツへの変換のためのレンダリングを遂行する段階と、を含めて、前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、決定された前記３次元コンテンツの品質に基づいて遂行されるコンテンツ変換方法によって達成することができる。

前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、先に決められた基準情報に基づいて遂行される自動プロセスを遂行する段階と、使用者の入力に基づいて遂行される手動プロセスを遂行する段階と、を含めて、前記３次元コンテンツの品質を決定する段階は、該当前記少なくとも一つの段階で前記自動プロセス及び前記手動プロセスがどのくらい遂行されるかを表す遂行程度を決定する段階を含むことができる。

前記遂行程度を決定する段階は、前記遂行程度によって分類された複数の品質モードの中ある一つを選択する段階を含むことができる。

前記手動プロセスを遂行する段階は、前記手動プロセスで前記使用者の入力を受信するためのＧＵＩ項目として、選択された前記品質モードによって選択的に活性化される少なくとも一つのＧＵＩ項目を表示する段階を含むことができる。

前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて遂行されることができる。

前記コンテンツ変換方法は、前記複数のフレームの中でキーフレームを選定する段階を更に含めて、前記オブジェクトを抽出する段階及び前記深さを割り当てる段階は、選定された前記キーフレームに対して遂行されて、前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行する段階を更に含むことができる。

前記コンテンツ変換方法は、前記レンダリングが遂行された前記フレームに対して３次元画質処理を遂行する段階を更に含むことができる。

本発明の前記目的は、２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置にあって、映像コンテンツである２次元コンテンツの複数のフレームの中少なくとも一つに対してオブジェクトを抽出して、抽出された前記オブジェクト対して深さを割り当てて、深さが割り当てられた前記フレームに対して３次元コンテンツへの変換のためのレンダリングを遂行する変換部を含み、前記変換部は、変換される前記３次元コンテンツの品質を決定して、決定された前記３次元コンテンツの品質に基づいて前記オブジェクトの抽出、前記深さの割り当て及び前記レンダリングの中少なくとも一つを遂行するコンテンツ変換装置によっても達成することができる。

前記コンテンツ変換装置は、使用者の入力を受信する使用者入力部を更に含めて、前記変換部は、先に決められた基準情報に基づいて自動プロセスと、前記使用者の入力に基づく手動プロセスと、を遂行することで、前記オブジェクトの抽出、前記深さの割り当て及び前記レンダリングの中少なくとも一つを遂行して、前記変換部は、該当前記少なくとも一つのプロセスから前記自動プロセス及び前記手動プロセスがどのぐらい遂行されるかを表す遂行程度を決定することで前記３次元コンテンツの品質を決定することができる。

前記変換部は、前記遂行程度によって分類された複数の品質モードの中ある一つを選択することで前記遂行程度を決定することができる。前記変換部は、前記手動プロセスで前記使用者の入力を受信するためのＧＵＩ項目として、選択された前記品質モードによって選択的に活性化される少なくとも一つのＧＵＩ項目を表示することができる。

前記変換部は、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて前記オブジェクトの抽出及び前記深さの割り当ての中少なくとも一つを遂行することができる。
のフレームの中でキーフレームを選定して、選定された前記キーフレームに対して前記オブジェクトの抽出及び前記深さの割り当てを遂行し、前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行することができる。前記変換部は、前記レンダリングが遂行された前記フレームに対して３次元画質処理を遂行することができる。

本発明の前記目的は、コンピューターで実行することができる命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を持つコンピューターで判読することができる貯蔵媒体にあって、前記コンピューターのプロセスによって前記命令が遂行される時、前記命令は２次元コンテンツを３次元コンテンツに変換するコンテンツ変換方法を遂行するもので、前記コンテンツ変換方法は、映像コンテンツである複数のフレームを含む２次元コンテンツから変換される３次元コンテンツの品質を決定する段階と、前記複数のフレームの中少なくとも一つに対してオブジェクトを抽出する段階と、抽出された前記オブジェクトに対して深さを割り当てる段階と、深さが割り当てられた前記フレームに対して３次元コンテンツへの変換のためのレンダリングを遂行する段階と、を含めて、前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、決定された前記３次元コンテンツの品質に基づいて遂行されるコンピューターで判読することができる貯蔵媒体によっても達成することができる。

前記オブジェクトを抽出する段階、前記深さを割り当てる段階及び前記レンダリングを遂行する段階の中少なくとも一つは、先に決められた基準情報に基づいて遂行される自動プロセスを遂行する段階と、使用者の入力に基づいて遂行される手動プロセスを遂行する段階と、を含めて、前記３次元コンテンツの品質を決定する段階は、該当前記少なくとも一つの段階で前記自動プロセス及び前記手動プロセスがどのぐらい遂行されるかを表す遂行程度を決定する段階を含むことができる。

前記遂行の程度を決定する段階は、前記遂行程度によって分類された複数の品質モードの中ある一つを選択する段階を含むことができる。

前記手動プロセスを遂行する段階は、前記手動プロセスで前記使用者の入力を受信するためのＧＵＩ項目として、選択された前記品質モードによって選択的に活性化される少なくとも一つのＧＵＩ項目を表示する段階を含むことができる。

前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて遂行されることができる。

前記コンテンツ変換方法は、前記複数のフレームの中でキーフレームを選定する段階を更に含めて、前記オブジェクトを抽出する段階及び前記深さを割り当てる段階は、選定された前記キーフレームに対して遂行されて、前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行する段階を更に含むことができる。

前記コンテンツ変換方法は、前記レンダリングが遂行された前記フレームに対して３次元画質処理を遂行する段階を更に含むことができる。

本発明の上記目的は、コンテンツ変換装置を用いて２次元コンテンツを３次元コンテンツに変換するコンテンツ変換方法であって、互いに異なる複数の変換プロセスのそれぞれの遂行程度を決定する段階と、前記決定された遂行程度に基づいて２次元コンテンツの複数のフレームを、前記複数の変換プロセスのそれぞれに対応する複数のフレーム群に分類する段階と、前記分類された複数のフレーム群のそれぞれに対して対応する前記複数の変換プロセスを行う段階と、前記複数のフレーム群に対する前記複数の変換プロセスの遂行結果を併合する段階と、を含むコンテンツ変換方法によっても達成可能である。

前記決定する段階は、前記複数の変換プロセスのそれぞれの遂行程度に関する使用者の入力を受信する段階と、前記受信した使用者の入力によって前記複数の変換プロセスのそれぞれの遂行程度を決定する段階と、を含むことができる。前記決定する段階は、前記複数の変換プロセスのそれぞれの遂行程度を指定するためのメニュー項目を含むＧＵＩを表示する段階と、前記メニュー項目を用いた使用者の入力によって前記複数の変換プロセスのそれぞれの遂行程度を決定する段階と、を含むことができる。

前記決定する段階は、前記複数の変換プロセスのそれぞれの遂行程度に対応する変換品質に関する情報を表示する段階を更に含むことができる。前記決定する段階は、変換品質に関するメニュー項目を含むＧＵＩを表示する段階と、前記変換品質に関するメニュー項目を用いた使用者の入力によって前記複数の変換プロセスのそれぞれの遂行程度を決定する段階と、を更に含むことができる。

前記複数の変換プロセスは、第１変換プロセスと、該第１変換プロセスよりも低い変換品質に対応する第２変換プロセスと、を含むことができる。

前記第１変換プロセスは、使用者の入力によって行われるオブジェクトの抽出及び深さの割り当てのうち少なくとも一つを含み、前記第２変換プロセスは、前記第１変換プロセスの遂行結果を用いた補間及びトラッキングのうち少なくとも一つを含むことができる。

前記分類する段階は、前記決定された第１変換プロセスの遂行程度に対応するサンプリングレートで前記複数のフレームをダウンサンプリングすることで、前記第１変換プロセスを適用する前記フレーム群を決定する段階を含むことができる。前記分類する段階は、前記決定された第１変換プロセスの遂行程度に対応する重要度に基づいて、前記複数のフレームの中から、前記第１変換プロセスを適用する前記フレーム群を決定する段階を含むことができる。

本発明の上記目的は、２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置であって、互いに異なる複数の変換プロセスのそれぞれの遂行程度を決定し、該決定された遂行程度に基づいて２次元コンテンツの複数のフレームを、前記複数の変換プロセスのそれぞれに対応する複数のフレーム群に分類し、該分類された複数のフレーム群のそれぞれに対して対応の前記複数の変換プロセスを行い、前記複数のフレーム群に対する前記複数の変換プロセスの遂行結果を併合する変換部を備える、コンテンツ変換装置によっても達成可能である。

前記コンテンツ変換装置は、前記複数の変換プロセスのそれぞれの遂行程度に関する使用者の入力を受信する使用者入力部を更に備え、前記変換部は、前記受信された使用者の入力によって前記複数の変換プロセスのそれぞれの遂行程度を決定することができる。前記コンテンツ変換装置は、ディスプレー部を更に備え、前記変換部は、前記複数の変換プロセスのそれぞれの遂行程度を指定するためのメニュー項目を含むＧＵＩを前記ディスプレー部に表示し、前記メニュー項目を用いた使用者の入力によって前記複数の変換プロセスのそれぞれの遂行程度を決定することができる。

前記変換部は、前記複数の変換プロセスのそれぞれの遂行程度に対応する変換品質に関する情報を前記ディスプレー部に表示することができる。前記変換部は、変換品質に関するメニュー項目を含むＧＵＩを前記ディスプレー部に表示し、前記変換品質に関するメニュー項目を用いた使用者の入力によって前記複数の変換プロセスのそれぞれの遂行程度を決定することができる。

前記複数の変換プロセスは、第１変換プロセスと、前記第１変換プロセスよりも低い変換品質に対応する第２変換プロセスと、を含んでもよい。前記第１変換プロセスは、使用者の入力によって行われるオブジェクトの抽出及び深さの割り当てのうち少なくとも一つを含み、前記第２変換プロセスは、前記第１変換プロセスの遂行結果を用いた補間及びトラッキングのうち少なくとも一つを含むことができる。

前記変換部は、前記決定された第１変換プロセスの遂行程度に対応するサンプリングレートで前記複数のフレームをダウンサンプリングすることで、前記第１変換プロセスを適用する前記フレーム群を決定することができる。前記変換部は、前記決定された第１変換プロセスの遂行程度に対応する重要度に基づいて、前記複数のフレームの中から、前記第１変換プロセスを適用する前記フレーム群を決定することができる。

上述の通り、本発明によると、使用者の好みに合う多様な品質の３次元コンテンツを提供することができる。

は本発明の一実施例によるコンテンツ変換装置の構成を図示したブロック図である。 図１に図示されたコンテンツ変換装置の動作を図示した流れ図である。 図１に図示されたコンテンツ変換装置の動作の他の例を説明する流れ図である。 図１に図示されたコンテンツ変換装置による複数の品質モードの一例を図示するテーブルである。 図１に図示されたコンテンツ変換装置の動作のまた他の例を説明する流れ図である。 図１に示されたコンテンツ変換装置の動作の他の実施例を示す流れ図である。 図１に示されたコンテンツ変換装置が提供するメニュー項目を含むＧＵＩの一例を示す図である。 図６及び図７を参照して説明したコンテンツ変換装置の具体的な動作の一例を示す流れ図である。 図１に示されたコンテンツ変換装置が使用者の入力によってオブジェクトの抽出及び深さの割り当てを行う例を示す図である。 図１に示されたコンテンツ変換装置が使用者の入力によってオブジェクトの抽出及び深さの割り当てを行う例を示す図である。 図６及び図７を参照して説明したコンテンツ変換装置の具体的な動作の他の例を示す流れ図である。

以下、本発明の一実施例に関して詳しく説明する。

図１は、本発明の一実施例によるコンテンツ変換装置の構成を図示したブロック図である。コンテンツ変換装置１は２次元のコンテンツ（以下、‘２次元コンテンツ’と言う）を３次元コンテンツに変換する。本実施例のコンテンツは、動画コンテンツとして、例えば映画、ドラマ、スポーツなどのコンテンツを含む。

コンテンツ変換装置１は所定の２次元コンテンツ提供装置（図示せず）から３次元コンテンツに変換する２次元コンテンツを提供されることができる。コンテンツ変換装置１は所定のネットワーク（図示せず）を通じて２次元コンテンツ提供装置から２次元コンテンツを提供されることができる。２次元コンテンツ提供装置は、例えば、ネットワークサーバとして、２次元コンテンツを貯蔵して、コンテンツ変換装置１の要請によって２次元コンテンツをコンテンツ変換装置１に転送することができる。

他の実施例として、コンテンツ変換装置１は、ネットワークではない他のデータの転送手段を通じて２次元コンテンツ提供装置から２次元コンテンツを提供されることもできる。例えば、２次元コンテンツ提供装置は２次元コンテンツを貯蔵するハードディスク、フラッシュメモリーなどのような貯蔵手段を具備する装置として、コンテンツ変換装置１にローカル装置として連結されてコンテンツ変換装置１の要請によって２次元コンテンツをコンテンツ変換装置１に転送することができる。この場合、２次元コンテンツのデータの転送のためなら、コンテンツ変換装置１と、２次元コンテンツ提供装置との間のローカル連結方式には制限がなくて、例えば、ＵＳＢ方式などを含む。

また他の実施例として、コンテンツ変換装置１は、３次元コンテンツ提供装置（図示せず）から２次元コンテンツを提供されることもできる。例えば、３次元コンテンツ提供装置は２次元コンテンツをコンテンツ変換装置１に伝達して、コンテンツ変換装置１によって変換された３次元コンテンツを受信して、これを所定の使用者端末機（図示せず）に提供することができる。使用者端末機はコンテンツ変換装置１から提供された提供された３次元コンテンツを３次元の立体映像にディスプレーすることができる機能を持って、例えば、ＴＶ，ＰＣ，スマート電話、スマートパッド、ＰＭＰ、ＭＰ３プレーなどである。

また他の実施例として、コンテンツ変換装置１は、変換された３次元コンテンツを３次元の立体映像にディスプレーすることができる機能を持つ使用者端末機に転送することができる。コンテンツ変換装置１は、例えば、ネットワークを通じて使用者端末機に３次元コンテンツを提供することができる。

本実施例のネットワークにあって、２次元コンテンツ及び／又は３次元コンテンツの転送のためのデータ通信は、有線及び／又は無線通信方式などネットワークの通信方式には制限がなくて、知られた通信方式を全て含む。

コンテンツ変換装置１は、図１に図示されたように、変換部１１及び通信部１４を含むことができる。変換部１１は２次元コンテンツを３次元コンテンツに変換する。２次元コンテンツは複数の映像フレーム（以下、‘フレーム’と言う）を含む。３次元コンテンツは視聴者の両眼の視差を利用することで、複数の左眼フレーム及び複数の右眼フレームを含むことができる。複数の左眼フレーム及び複数の右眼フレームの中一対の左眼フレームと、右眼フレームは、２次元コンテンツの複数のフレームの中で対応する少なくともある一つから各々変換されることである。変換部１１によって遂行される２次元コンテンツから３次元コンテンツへの変換（以下、‘２次元−３次元変換’と言う）に関しては下記にまた詳述する。

通信部１４は、２次元コンテンツ提供装置とコンテンツ変換装置１との間のデータ通信、３次元コンテンツ提供装置とコンテンツ変換装置１との間のデータ通信、又は使用者端末機とコンテンツ変換装置１との間のデータ通信を遂行することができる。

変換部１１は、貯蔵部１１１、ＲＡＭ１１２及びＣＰＵ１１３を含むことができる。貯蔵部１１１は２次元−３次元変換を遂行するための変換プログラム１１４、変換する２次元コンテンツ１１５及び２次元コンテンツから変換される３次元コンテンツ１１６を貯蔵することができる。貯蔵部１１１はハードディスク、フラッシュメモリーなどの不揮発性のメモリーに具現されることができる。ＲＡＭ１１２には変換部１１の動作するとき変換プログラム１１４の少なくとも一部がローディングされて、ＣＰＵ１１３はＲＡＭ１１２にローディングされた変換プログラム１１４を実行する。変換プログラム１１４はＣＰＵ１１３によって実行できる命令を持つ。貯蔵部１１１はコンピューターで判読することができる貯蔵媒体の一例である。

図２は図１に図示されたコンテンツ変換装置１の動作を図示した流れ図である。図２に図示されたコンテンツ変換装置１の動作（以下、‘２次元−３次元変換プロセス’と言う）は、変換プログラム１１４の命令によって遂行されるコンテンツ変換方法に対応する。本実施例の２次元−３次元変換プロセスは、３次元コンテンツの品質決定２０１、オブジェクトの抽出２０２、深さの割り当て２０３及びレンダリング（ｒｅｎｄｅｒｉｎｇ）２０４を含むことができる。

３次元コンテンツの品質決定２０１では、変換しようとする３次元コンテンツの品質が決定される。本実施例の２次元―３次元変換プロセスは、３次元コンテンツの品質に対応して遂行されることができる。つまり、オブジェクトの抽出２０２、深さの割り当て２０３及びレンダリング２０４の中少なくとも一つのプロセスは決定された３次元コンテンツの品質に基づいて遂行されることができる。３次元コンテンツの品質決定２０１は下記にまた詳しく説明する。

オブジェクトの抽出２０２では、処理されるフレームの映像に対して３次元の効果が反映されるオブジェクトが抽出される。オブジェクトは各フレームの場面の中で含まれた主要なイメージとして、例えば、主人公が登場する場面で主人公である人物のイメージ、車両が走る場面で該当車両のイメージなどを挙げることができる。オブジェクトの抽出２０２では、該当フレームの映像を分割（ｓｅｇｍｅｎｔａｔｉｏｎ）して、その結果からオブジェクトの境界（ｂｏｕｎｄａｒｙ）を抽出することができる。

深さの割り当て２０３では、オブジェクトの抽出２０２のプロセスで抽出されたオブジェクトに対して深さが割り当てられる。深さは３次元の視覚効果を出すためのパラメーターで、対応して生成される左眼フレーム及び右眼フレームでオブジェクトを割り当てられたパラメーターの値だけ各々左側及び右側方向に移動（ｓｈｉｆｔ）させることに利用される。深さの割り当て２０３では、先に決められた定型化されたテンプレート（ｔｅｍｐｌａｔｅ）を利用して深さが割り当てられることができる。

レンダリング２０４では深さの割り当て２０３が遂行された左眼のフレーム及び右眼のフレームに対して完成された３次元の映像のためのイメージ処理が遂行される。例えば、レンダリング２０４ではフレームの映像でオブジェクトの移動によって発生した空いた領域を満たす処理、いわゆる、インペインティング（ｉｎｐａｉｎｔｉｎｇ）などが遂行されることができる。

以下、３次元コンテンツの品質決定２０１のプロセスに対して詳しく説明する。本実施例の２次元―３次元変換プロセスの中少なくとも一つのプロセスは、使用者の入力によって遂行される手動プロセス及び先に決められた基準情報によって遂行される自動プロセスを含むことができる。例えば、オブジェクトの抽出２０２、深さの割り当て２０３などのプロセスで、一部のフレームは手動プロセスによって処理され、余りのフレームに対しては自動プロセスによって処理されることができる。

手動プロセスでは、使用者（コンテンツ変換作業を遂行する開発者）の入力によって変換処理が遂行されることができる。コンテンツ変換装置１は使用者の入力のためにキーボード、マウス、タブレットなどのような使用者入力部１２を更に含むことができる。また、コンテンツ変換装置１は使用者が変換処理状況を確認することができるように、変換処理される映像をディスプレーするモニターのようなコンディスプレー部１３を更に含むことができる。コンテンツ変換装置１は効果的に使用者の入力を受信するために、ディスプレー部１３に処理されるフレームの映像と、所定入力メニューなどを含むＧＵＩ（図示せず）を表示することができる。使用者はディスプレー部１３に表示されるフレームの映像を確認しながら、ＧＵＩの入力メニューなどを利用して変換処理のための入力をすることができる。例えば、使用者はフレームの映像に含まれたオブジェクトを確認しながら、ＧＵＩの入力メニューなどを利用して該当オブジェクトが抽出されるように入力の操作をすることができる。

自動プロセスでは、先に決められた基準情報によってプロセスが遂行される。例えばオブジェクトの抽出２０２にあって、コンテンツ変換装置１はフレームの映像を分析して、映像内のあるオブジェクトの境界で画素値の変化が所定の閾値以上のオブジェクトを抽出するオブジェクトに選択することができる。ここで基準情報は抽出するオブジェクトに選択するようにする、オブジェクトの境界での画素値の変化の閾値である。

３次元コンテンツの品質は、ある２次元―３次元変換プロセスにあって、手動プロセス及び自動プロセスが各々どのくらい遂行されるかを表すことができる。例えば、オブジェクトの抽出２０２にあって、手動プロセスと、自動プロセスが各々半分ずつ設けられる場合などを挙げることができる。３次元コンテンツの品質は、ある２次元―３次元変換プロセス全体の中で自動プロセス（若しくは手動プロセス）が遂行される比率（以下、‘組合比率’若しくは‘遂行程度’と言う）で表すことができる。

図３は図１に図示されたコンテンツ変換装置１の動作の他の例を説明する流れ図である。先ず、コンテンツ変換装置１は、３次元コンテンツの品質を考えて自動プロセス（若しくは手動プロセス）の遂行程度を決定する３０１。次に、ある２次元―３次元変換プロセスにあって、決定された遂行程度に基づいて自動プロセスに処理するかまたは、手動プロセスに処理するかを決定する３０２。動作３０２にあって、自動プロセス若しくは手動プロセスに処理するかを区分する決定は、例えば、フレーム単位に設けられることがある。もし、自動プロセスに処理することに決定した場合、該当２次元―３次元変換プロセスを自動プロセスに処理する３０３。もし、手動プロセスに処理することに決定した場合、該当２次元―３次元変換プロセスを手動プロセスに処理する３０４の各動作が順次遂行される。

３次元コンテンツの品質は、複数の品質モードを含めて、複数の品質モードの中選択されたある一つに対応して２次元―３次元変換プロセスが遂行されることがある。図４は複数の品質モードの一例を図示するテーブルである。図４のテーブルに図示された通り、複数の品質モードは、例えば、品質が高くなる順に、‘簡易（Simple）モード’、基本（Basic）モード’、向上された（Advanced）モード’及び‘専門家（Expert）モード’を含むことができる。この品質モードにあって、各々の自動プロセスの遂行程度は、該当プロセス全体の中で、例えば、８５％超過、８５％、７０％及び５０％であることがある。また、複数の品質モードは３次元コンテンツを製作する側面で費用（Cost）も対応する（図４のテーブルで、‘とても低い（Very Low）’、‘低い（Low）’、‘中間（Medium）’及び‘中間＋（Medium+）’参照）となる。

３次元コンテンツの品質は、２次元コンテンツの種類若しくは属性によって決定されることがある。２次元コンテンツは最新作である映画の場合、相対的に高い品質に決定されて、製作された時期が古いほど映画は相対的に低い品質に決定されることができる。他の例で、ブロックバスタのようなスケールが大きい映画の場合、相対的に高い品質に決定されて、ストーリー展開主の映画は相対的に低い品質に決定されることがある。また他の例で、スポーツ、映画、ドラマなどのようなコンテンツのジャンルによって３次元コンテンツの品質が決定されることもある。

３次元コンテンツの品質は使用者の入力によって決定されることができる。３次元コンテンツの品質の決定のための使用者の入力は、例えば、使用者入力部１２から受信されることもある。この場合、使用者は、例えば、該当コンテンツを変換する開発者であることがある。選択的な実施例として、ディスプレー部１３には３次元コンテンツの品質の決定のためのGUIとしての入力メニューが表示されることができる。３次元コンテンツの品質の決定のための入力メニューは、例えば、‘簡易（Simple）モード’、基本（Basic）モード’、向上された（Advanced）モード’及び‘専門家（Expert）モード’に各々対応するGUI項目を含むプルダウンメニュー（図示せず）を含むことができる。プルダウンメニューの複数のGUI項目の中ある一つが選択されると、各２次元―３次元変換プロセスに対応するGUI入力メニューに含まれた複数の機能のGUI項目の中で、選択された品質モードによって必要な機能のGUI項目だけ活性化されて、不必要な機能のGUI項目は非活性化されることができる。

他の例として、３次元コンテンツの品質の決定のための使用者の入力は、通信部１４を通じて他の装置から、例えば、３次元コンテンツの変換を要請する使用者端末機（図示せず）から受信されることもある。この場合の使用者は、例えば、該当コンテンツの変換を要請して返還された３次元コンテンツを利用しようとする使用者であることもある。

以上の如く、本実施例によると、変換される３次元コンテンツの品質を多様にすることで、費用対比効果的な品質のコンテンツを提供する一方、使用者の多様な好みを充足させることができる。

図５は図１の図示されたコンテンツ変換装置１の動作のまた他の例を図示した流れ図である。図５に図示されたコンテンツ変換装置１に関して図１乃至図４を参照して説明したコンテンツ変換装置１と同一乃至類似な構成に対しては説明を省略する。

本実施例の２次元―３次元変換プロセスは、３次元コンテンツの品質決定５０１、キーフレームの選定５０２、オブジェクトの抽出５０３、深さの割り当て５０４、トラッキング５０５、レンダリング５０６及び３次元画質処理５０７を含むことができる。３次元コンテンツの品質の決定５０１では、変換しようとする３次元コンテンツの品質が決定される。

キーフレームの選定５０２では、２次元コンテンツの複数のフレームの中で任意のキーフレームが選定される。キーフレームとしては、２次元コンテンツの複数のフレームの中で映像の内容を代表することができるフレームが選定されることができる。例えば、キーフレームは、場面が展開されるフレーム、場面の主人公がクローズアップされるフレームなどであることがある。キーフレームは該当フレームの映像のモーションに基づいて選定されることができる。例えば、映像のモーションが所定値以上であるフレームをキーフレームを選定することができる。

オブジェクトの抽出５０３では、選定されたキーフレームに対して３次元の効果が反映されるオブジェクトが抽出される。深さの割り当て５０４では、オブジェクト抽出のプロセス５０３で抽出されたオブジェクトに対して深さが割り当てられる。

トラッキング５０５では、キーフレームではない余りのフレームに対して対応する左眼のフレーム及び右眼のフレームが生成される。トラッキング５０５はキーフレームに遂行されたオブジェクトの抽出５０３及び深さの割り当て５０４を参照して遂行されることができる。このように、主要なキーフレームに対してオブジェクトの抽出、深さの割り当てなどを遂行して、余りのフレームに対してキーフレームを参照してトラッキングを遂行することで、品質の優秀さを維持しながら、費用及び時間の面に効率的な変換処理を遂行することができる。

レンダリング５０６では深さの割り当て５０４及びトラッキング５０５が遂行された左眼のフレーム及び右眼のフレームに対して完成された３次元の映像のためのイメージ処理が遂行される。

３次元画質処理５０７では、レンダリング５０６が遂行されたフレームに対して３次元画質処理が遂行される。３次元画質処理４０６は、コントラスト向上（contrast enhancement）、ディテール向上（detail enhancement）、などを含むことができる。３次元画質処理５０７によって、３次元コンテンツの実際ディスプレー時、画質の側面でディスプレーする装置に最適化されるように画質改善することができる。

追加的な実施例として、本実施例の２次元−３次元変換プロセスの中少なくとも一つは、処理されるフレームの内容及び展開過程に関する情報（以下、‘ストーリーテリング（storytelling）情報’とも言う）に基づいて遂行されることができる。ストーリーテリング情報は、コンテンツの製作者が意図したところによってコンテンツのストーリー展開に合わせて、３次元の視覚効果が対応的に起きるように利用される情報である。本実施例では、オブジェクトの抽出５０３、深さの割り当て５０４などのプロセスがストーリーテリング情報に基づいて遂行されることができる。ストーリーテリング情報を利用する例は、二人の人物が話し会う場面で、話し会う二人の後ろを他の主要人物が通る場合、他の主要人物を該当フレームのオブジェクトに抽出するようにしたり、抽出された他の主要人物のオブジェクトに深さを十分適用するようにするなどの例を挙げることができる。このような例で、ストーリーテリング情報は、オブジェクトの抽出のための他の主要人物のイメージに関する情報や、深さの割り当てのためのストーリー展開上の主要な程度を表す値などを含むことができて、該当フレームに対応して先に設けられて貯蔵部１１１に貯蔵されることができる。変換部１１は、該当フレームに対するプロセスの遂行するとき貯蔵部１１１に貯蔵されたストーリーテリングの情報を参照してプロセスを遂行することができる。

図６は、図１に示されたコンテンツ変換装置１の動作の他の実施例を示す流れ図である。図６を参照して説明されるコンテンツ変換装置１の構成のうち、図１乃至図５を参照して説明したコンテンツ変換装置１と同一又は類似の事項についての説明は省略する。まず、動作６０１において、コンテンツ変換装置１は、２次元−３次元変換に適用する複数の変換プロセスのそれぞれの遂行程度を決定する。

本実施例における複数の変換プロセスは、変換される３次元コンテンツの品質（以下、‘変換品質’という）が相対的に高い第１変換プロセスと、第１変換プロセスに比べて変換品質が相対的に低い第２変換プロセスと、を含むとする。第１変換プロセスは、例えば、使用者の入力によって、オブジェクトを抽出したり、深さを割り当てるプロセスを含む。第２変換プロセスは、第１変換プロセスの遂行結果を利用してフレームを補間したり、トラッキングを行うプロセスを含む。ただし、第１変換プロセス及び第２変換プロセスはこの例示に限定されず、変換品質が互いに異なる多様な形態の変換プロセスを含んでもよい。更に、複数の変換プロセスは、２個の変換プロセスに限定されず、３以上の変換プロセスを含んでもよい。

動作６０１において、コンテンツ変換装置１は、複数の変換プロセスのそれぞれの遂行程度を使用者の入力によって決定できる。例えば、コンテンツ変換装置１は、使用者入力部１２を介して複数の変換プロセスのそれぞれの遂行程度に関する使用者の入力を受信し、受信した使用者の入力によって複数の変換プロセスのそれぞれの遂行程度を決定するとよい。

コンテンツ変換装置１は、複数の変換プロセスのそれぞれの遂行程度を指定するためのメニュー項目を含むＧＵＩを表示し、メニュー項目を用いた使用者の入力によって複数の変換プロセスのそれぞれの遂行程度を決定するとよい。図７には、メニュー項目を含むＧＵＩの一例を示す。ＧＵＩ７１は、複数の変換プロセス（第１変換プロセス、第２変換プロセスなど）のそれぞれの遂行程度を指定するためのメニュー項目７２，７３を含む。メニュー項目７２，７３は、同図ではスライドバーの形態になっている。使用者は、メニュー項目７２，７３を用いて複数の変換プロセス（第１変換プロセス、第２変換プロセスなど）のそれぞれの遂行程度を指定できる。ただし、複数の変換プロセスのそれぞれの遂行程度を指定するためのインターフェースの形態は、図示の例に限定されず、使用者の入力によって遂行程度を指定できる多様な形態のインターフェース、例えば、直接入力、選択アイコンなどにしてもよい。

使用者は変換品質を考慮して複数の変換プロセス（第１変換プロセス、第２変換プロセスなど）のそれぞれの遂行程度を指定できる。第１変換プロセスが高い変換品質に対応し、第２変換プロセスが第１変換プロセスに比べて低い変換品質に対応する場合に、変換品質を上げたければ、第１変換プロセスの遂行程度を第２変換プロセスの遂行程度よりも大きく指定する（第２変換プロセスの遂行程度を第１変換プロセスの遂行程度よりも小さく指定する）。例えば、第１変換プロセスを６０％に指定し、第２変換プロセスを３０％に指定するとよい。逆に、変換品質を下げたければ、第１変換プロセスの遂行程度を第２変換プロセスの遂行程度よりも小さく指定する（第２変換プロセスの遂行程度を第１変換プロセスの遂行程度よりも大きく指定する）。例えば、第１変換プロセスを３０％に指定し、第２変換プロセスを６０％に指定するとよい。

コンテンツ変換装置１は、指定された複数の変換プロセス（第１変換プロセス、第２変換プロセスなど）のそれぞれの遂行程度に対応して、予想される変換品質を表す情報を表示してもよい。変換品質を表す情報は、例えば、図７に示すように、複数の品質モードを表すメニュー項目７４の形態で表示されるとよい。複数の品質モードは、‘品質Ａ’、‘品質Ｂ’，…のように品質の高い順に整列可能である。コンテンツ変換装置１は、複数の変換プロセスの遂行程度に対する指定に対応して、予想される変換品質のメニュー項目７４をハイライトさせる。図７では、現在の指定によれば、予想される変換品質は、最も品質の高い‘品質Ａ’に該当することを示している。

他の実施例として、コンテンツ変換装置１は、メニュー項目７４が使用者の入力によって選択されるようにしてもよい。使用者は、メニュー項目７２，７３の代わりにメニュー項目７４を利用して変換品質を選択し、コンテンツ変換装置１は、選択された変換品質に対応して複数の変換プロセスのそれぞれの遂行程度を決定してもよい。例えば、使用者が‘品質Ｂ’に該当するメニュー項目７４を選択した場合に、コンテンツ変換装置１は、２番目に変換品質が高い場合と判断し、第１変換プロセスを４０％に指定し、第２変換プロセスを５０％に決定するとよい。本実施例における遂行程度の数値は一例に過ぎず、実際具現では様々に変更されてもよい。

再び図６を参照すると、動作６０１で複数の変換プロセスのそれぞれの遂行程度が決定されると、動作６０２において、コンテンツ変換装置１は、決定された遂行程度に基づいて、変換しようとする２次元コンテンツの複数のフレームを、複数の変換プロセスのそれぞれに対応する複数のフレーム群に分類する。複数の変換プロセスが第１変換プロセスと第２変換プロセスを含む場合に、コンテンツ変換装置１は、２次元コンテンツの複数のフレームを、第１変換プロセスを適用する第１フレーム群と、第２変換プロセスを適用する第２フレーム群とに分類すればよい。コンテンツ変換装置１は、２次元コンテンツの複数のフレームを分類するとき、動作６０１で決定された複数の変換プロセスのそれぞれの遂行程度を考慮する。例えば、第１変換プロセスの遂行程度が７０％、第２変換プロセスの遂行程度が３０％に決定された場合に、２次元コンテンツの全体フレームの中で７０％を第１フレーム群に、３０％を第２フレームに分類すればよい。

続いて、コンテンツ変換装置１は、分類された複数のフレーム群のそれぞれに対応の複数の変換プロセスを行う。すなわち、第１フレーム群に第１変換プロセスが行われ（動作６０３）、第２フレーム群に第２変換プロセスが行われる（動作６０４）。

続いて、動作６０５において、コンテンツ変換装置１は、各フレーム群に対する変換プロセスの遂行結果を併合する。併合により３次元コンテンツの変換が完了することもあり、追加の変換過程が更に行われることもある。

図８は、図６及び図７を参照して説明したコンテンツ変換装置１の具体的な動作の一例を示す流れ図である。コンテンツ変換装置１は、相対的に高い変換品質に対応する第１変換プロセスを適用する第１フレーム群を所定の基準により選別するとよい。動作８０１で、コンテンツ変換装置１は、動作６０１で決定された第１変換プロセスの遂行程度に対応するサンプリングレートで複数のフレームをダウンサンプリングして第１フレーム群を決定できる。ダウンサンプリングは、全体フレームに対して１/ｎ（ｎ＝１，２，３，…）のサンプリングレートで行えばよい。例えば、第１変換プロセスが５０％である場合に、１／２のサンプリングレートでダウンサンプリングを行い、第１フレーム群を決定できる。この場合、第１フレーム群は全体フレームの中の半分が選別されるとよい。

続いて、動作８０２において、コンテンツ変換装置１は、決定された第１フレーム群に対して使用者の入力によってオブジェクトの抽出及び深さの割り当てを行うことができる。コンテンツ変換装置１は、第１フレーム群として選別されたフレームを順次に表示し、オブジェクトの抽出及び深さの割り当てのためのＧＵＩを提供すればよい。コンテンツ変換装置１は、ＧＵＩを用いた使用者の入力によってオブジェクトの抽出及び深さの割り当てを行うとよい。図９に、使用者の入力によってオブジェクトを抽出する例を示す。使用者は、表示されたフレーム９１内のオブジェクト９３を抽出するために、ＧＵＩ ９２を用いた使用者入力部１２の入力によってオブジェクト９３の境界を表す線９４を引けばよい。コンテンツ変換装置１は、使用者の入力による線９４を参照してこれを境界にするオブジェクト９３を抽出できる。図１０には、使用者の入力によって深さを割り当てる例を示している。図１０を参照すると、使用者は、フレーム１０１内のオブジェクト１０３に対して、ＧＵＩ １０２を用いてオブジェクト１０３に割り当てる深さを表す値１０４を指定している。コンテンツ変換装置１は、使用者の入力による値１０４を参照してオブジェクト１０３に深さを割り当てている。コンテンツ変換装置１は、第１フレーム群として選別された全てのフレームに対してオブジェクトの抽出及び深さの割り当てが完了すると、動作８０２を終了する。

一方、動作８０３において、コンテンツ変換装置１は、第１変換プロセス（動作８０２）の遂行結果を用いた補間と、アップサンプリングを行う。２次元コンテンツの一部フレーム（第１フレーム）に対してのみオブジェクトの抽出及び深さの割り当てが行われたたため、残りのフレームにも当該処理が必要である。コンテンツ変換装置１は、動作８０２で第１フレーム群に行われたオブジェクトの抽出及び深さの割り当ての結果を利用して、残りのフレームに対するオブジェクトの抽出及び深さの割り当てを行う。動作８０３におけるアップサンプリングは、動作８０１で行われたダウンサンプリングに対応するサンプリングレートで行われる。例えば、動作８０１でダウンサンプリングが１／２のサンプリングレートで行われた場合に、動作８０３におけるアップサンプリングは２倍のサンプリングレートで行われる。アップサンプリングされたフレームに対するオブジェクトの抽出及び深さの割り当ては、処理しようとするフレームに隣接した第１フレーム群の少なくとも一つのフレームに対するオブジェクトの抽出及び深さの割り当ての結果を補間して行われる。コンテンツ変換装置１は、アップサンプリングされた全てのフレームに対して補間が完了すると、動作８０３を終了する。

続いて、動作８０４において、コンテンツ変換装置１は、動作８０２でオブジェクトの抽出及び深さの割り当てが行われた第１フレーム群と、動作８０３で補間及びアップサンプリングが行われたフレームとを併合する。併合されたフレームに対してレンダリングなどの追加プロセスが行われてもよいことは、図１乃至５を参照して上述した通りである。

図１１は、図６及び図７を参照して説明したコンテンツ変換装置１の具体的な動作の他の例を示す流れ図である。コンテンツ変換装置１は、相対的に高い変換品質に対応する第１変換プロセスを適用する第１フレーム群を他の基準により選別してもよい。動作１１０１において、コンテンツ変換装置１は、２次元コンテンツの複数のフレームの中で、動作６０１で決定された第１変換プロセスの遂行程度に対応する重要度以上を持つ第１フレーム群を決定できる。重要度は、複数のフレームの中で映像の内容を代表する程度に対応する。例えば、場面が切り替わるフレーム、場面の主人公がクローズアップされるフレームなどは重要度が高い。重要度は、例えば、該当フレームの映像のモーション変化程度によって決定されるとよい。コンテンツ変換装置１は、該当フレームの映像のモーションが、動作６０１で決定された第１変換プロセスの遂行程度に対応する値以上であるフレームを第１フレーム群と決定可能である。例えば、第１変換プロセスが５０％に指定された場合に、全体フレームの中で重要度の順で上位１／２に該当するフレームが第１フレーム群と決定されるとよい。

次いで、動作１１０２において、コンテンツ変換装置１は、決定された第１フレーム群に対して使用者の入力によってオブジェクトの抽出及び深さの割り当てを行うことができる。コンテンツ変換装置１は、第１フレーム群として選別されたフレームを順次に表示し、使用者の入力によってオブジェクトの抽出及び深さの割り当てを行うとよい。動作１１０２は、上述した動作８０２と同様に行えばよい。コンテンツ変換装置１は、第１フレーム群として選別された全てのフレームに対してオブジェクトの抽出及び深さの割り当てが完了すると、動作１１０２を終了する。

一方、動作１１０３において、コンテンツ変換装置１は、第１変換プロセス動作１１０２の遂行結果を利用してトラッキングを行う。２次元コンテンツの一部のフレーム（第１フレーム）に対してのみオブジェクトの抽出及び深さの割り当てが行われたので、残りフレームにも当該処理が必要である。コンテンツ変換装置１は、動作１１０２で第１フレーム群に対して行われたオブジェクトの抽出及び深さの割り当ての結果を用いたトラッキングを実行することによって、残りフレームに対するオブジェクトの抽出及び深さの割り当てを行う。動作１１０３でのトラッキングは、前述した動作５０５でのトラッキングと同様に行えばよい。コンテンツ変換装置１は、２次元コンテンツの全体フレームの中で、第１フレーム群を除く残りのフレームの全てに対してトラッキングが完了すると、動作１１０３を終了する。

続いて、動作１１０４において、コンテンツ変換装置１は、動作１１０２でオブジェクトの抽出及び深さの割り当てが行われた第１フレーム群と、動作１１０３でトラッキングが行われたフレームとを併合する。併合されたフレームに対してレンダリングなどの追加プロセスが行われてもよいことは、図１乃至５を参照して説明した通りである。

以上、好ましい実施例を通じて本発明に関して詳しく説明したが、本発明はこれに限定される事ではなく特許請求範囲内で多様に実施されることができる。例えば、前記実施例では、オブジェクトの抽出２０２、深さの割り当て２０３などのプロセスに対して３次元コンテンツの品質を多様にすることを説明したが、これは一つの例示に過ぎないで、他のプロセスであるキーフレームの選定５０２、レンダリング５０６などのプロセスも３次元コンテンツの品質に基づいて遂行されることができる。

１ コンテンツ変換装置
１１ 変換部
１２ 使用者の入力部
１３ ディスプレー部
１４ 通信部

Claims (18)

1. コンテンツ変換装置を用いて２次元コンテンツを３次元コンテンツに変換するコンテンツ変換方法であって、
   互いに異なる複数の変換プロセスのそれぞれの遂行程度を決定する段階と、
   前記決定された遂行程度に基づいて２次元コンテンツの複数のフレームを、前記複数の変換プロセスのそれぞれに対応する複数のフレーム群に分類する段階と、
   前記分類された複数のフレーム群のそれぞれに対して対応する前記複数の変換プロセスを行う段階と、
   前記複数のフレーム群に対する前記複数の変換プロセスの遂行結果を併合する段階と、を含むコンテンツ変換方法。
2. 前記決定する段階は、
   前記複数の変換プロセスのそれぞれの遂行程度に関する使用者の入力を受信する段階と、
   前記受信した使用者の入力によって前記複数の変換プロセスのそれぞれの遂行程度を決定する段階と、
   を含む、請求項１に記載のコンテンツ変換方法。
3. 前記決定する段階は、
   前記複数の変換プロセスのそれぞれの遂行程度を指定するためのメニュー項目を含むＧＵＩを表示する段階と、
   前記メニュー項目を用いた使用者の入力によって前記複数の変換プロセスのそれぞれの遂行程度を決定する段階と、
   を含む、請求項２に記載のコンテンツ変換方法。
4. 前記決定する段階は、
   前記複数の変換プロセスのそれぞれの遂行程度に対応する変換品質に関する情報を表示する段階を更に含む、請求項１に記載のコンテンツ変換方法。
5. 前記決定する段階は、
   変換品質に関するメニュー項目を含むＧＵＩを表示する段階と、
   前記変換品質に関するメニュー項目を用いた使用者の入力によって前記複数の変換プロセスのそれぞれの遂行程度を決定する段階と、
   を更に含む、請求項４に記載のコンテンツ変換方法。
6. 前記複数の変換プロセスは、第１変換プロセスと、該第１変換プロセスよりも低い変換品質に対応する第２変換プロセスと、を含む、請求項１に記載のコンテンツ変換方法。
7. 前記第１変換プロセスは、使用者の入力によって行われるオブジェクトの抽出及び深さの割り当てのうち少なくとも一つを含み、
   前記第２変換プロセスは、前記第１変換プロセスの遂行結果を用いた補間及びトラッキングのうち少なくとも一つを含む、請求項６に記載のコンテンツ変換方法。
8. 前記分類する段階は、
   前記決定された第１変換プロセスの遂行程度に対応するサンプリングレートで前記複数のフレームをダウンサンプリングし、前記第１変換プロセスを適用する前記フレーム群を決定する段階を含む、請求項６に記載のコンテンツ変換方法。
9. 前記分類する段階は、
   前記決定された第１変換プロセスの遂行程度に対応する重要度に基づいて、前記複数のフレームの中から、前記第１変換プロセスを適用する前記フレーム群を決定する段階を含む、請求項６に記載のコンテンツ変換方法。
10. ２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置であって、
    互いに異なる複数の変換プロセスのそれぞれの遂行程度を決定し、該決定された遂行程度に基づいて２次元コンテンツの複数のフレームを、前記複数の変換プロセスのそれぞれに対応する複数のフレーム群に分類し、該分類された複数のフレーム群のそれぞれに対して対応の前記複数の変換プロセスを行い、前記複数のフレーム群に対する前記複数の変換プロセスの遂行結果を併合する変換部を備える、コンテンツ変換装置。
11. 前記複数の変換プロセスのそれぞれの遂行程度に関する使用者の入力を受信する使用者入力部を更に備え、
    前記変換部は、前記受信された使用者の入力によって前記複数の変換プロセスのそれぞれの遂行程度を決定する、請求項１０に記載のコンテンツ変換装置。
12. ディスプレー部を更に備え、
    前記変換部は、前記複数の変換プロセスのそれぞれの遂行程度を指定するためのメニュー項目を含むＧＵＩを前記ディスプレー部に表示し、前記メニュー項目を用いた使用者の入力によって前記複数の変換プロセスのそれぞれの遂行程度を決定する、請求項１１に記載のコンテンツ変換装置。
13. 前記変換部は、前記複数の変換プロセスのそれぞれの遂行程度に対応する変換品質に関する情報を前記ディスプレー部に表示する、請求項１０に記載のコンテンツ変換装置。
14. 前記変換部は、変換品質に関するメニュー項目を含むＧＵＩを前記ディスプレー部に表示し、前記変換品質に関するメニュー項目を用いた使用者の入力によって前記複数の変換プロセスのそれぞれの遂行程度を決定する、請求項１３に記載のコンテンツ変換装置。
15. 前記複数の変換プロセスは、第１変換プロセスと、前記第１変換プロセスよりも低い変換品質に対応する第２変換プロセスと、を含む、請求項１０に記載のコンテンツ変換装置。
16. 前記第１変換プロセスは、使用者の入力によって行われるオブジェクトの抽出及び深さの割り当てのうち少なくとも一つを含み、
    前記第２変換プロセスは、前記第１変換プロセスの遂行結果を用いた補間及びトラッキングのうち少なくとも一つを含む、請求項１５に記載のコンテンツ変換装置。
17. 前記変換部は、前記決定された第１変換プロセスの遂行程度に対応するサンプリングレートで前記複数のフレームをダウンサンプリングし、前記第１変換プロセスを適用する前記フレーム群を決定する、請求項１５に記載のコンテンツ変換装置。
18. 前記変換部は、前記決定された第１変換プロセスの遂行程度に対応する重要度に基づいて、前記複数のフレームの中から、前記第１変換プロセスを適用する前記フレーム群を決定する、請求項１５に記載のコンテンツ変換装置。

Images