JP2017525197A - 立体視ビデオ生成 - Google Patents

Abstract

立体視ビデオを生成する方法は、平面視ビデオの第１フレームと前記平面視ビデオの第２フレームとの間の動きを求めることを含み得る。前記方法は、前記動きに基づいてカメラ効果を分析することを更に含み得る。更に、前記方法は、前記カメラ効果の分析に基づいて立体視ビデオの左目ビューフレームを生成すること、及び、前記カメラ効果の分析に基づいて前記立体視ビデオの右目ビューフレームを生成することを含み得る。

Description

本開示は、立体視ビデオ生成に関する。

３次元ビデオ（例えばテレビジョン、映画等）を生成するための３次元（立体視（stereoscopic））撮像は、近年ますます普及してきた。その１つの理由は、３次元ビデオを作成するために用いられるカメラ及びポストプロダクションにおいて著しい進歩があったということである。３次元ビデオが普及してきているもう１つの理由は、娯楽を見る大衆がこの特殊効果に割増料金を喜んで支払うように見えるということである。

しかし、３次元撮影技術は、３次元技術を用いてビデオを撮影することは２次元（平面視（monoscopic））技術を用いるのに比べてかなり多くの費用が掛かるというものである。それに加えて、既に生成されているが３次元技術を用いて撮影されていない非常に多くの２次元ビデオが存在する。

そういうことであるから、多くの人が２次元ビデオを３次元ビデオに変換する試みを行ってきた。しかし、２次元ビデオを３次元ビデオに変換するこれらの方法は、うまくいかないかもしれないし、多くのリソースが必要であり、及び／又は許容できる結果を生成しない（例えば、書き割り効果（cardboard cut-out effect）を生じる）。

ここでクレームされる主題は、上述されたような環境においてのみ、いかなる不利な点をも解消する又は動作する実施形態には、限定されない。むしろ、この背景技術は、ここで説明されるいくつかの実施形態が行われる１つの技術分野の例を示すためにのみ提供される。

実施形態のある局面によると、立体視ビデオを生成する方法は、平面視ビデオの第１フレームと前記平面視ビデオの第２フレームとの間の動きを求めることを含み得る。前記方法は、前記動きに基づいて、カメラ効果を分析することを更に含み得る。更に、前記方法は、前記カメラ効果の分析に基づいて、立体視ビデオの左目ビューフレームを生成すること、及び、前記カメラ効果の分析に基づいて、前記立体視ビデオの右目ビューフレームを生成することを含み得る。

前記実施形態の目的及び有利な点は、少なくとも特許請求の範囲において特に示される要素、特徴、及び組み合わせによって、理解され、かつ達成されるであろう。

特許請求の範囲に請求されているように、前述の一般的な説明及び以下の詳細な説明は、いずれも、典型的な、かつ、説明のためのものであり、本発明を限定するものではない、ということが理解されるべきである。

例としての実施形態が、添付の図面を通して更に具体的かつ詳細に表現され説明されるであろう。
図１は、平面視（２−Ｄ）ビデオに基づいて立体視（３−Ｄ）ビデオを生成するための例としてのシステムを示す。 図２は、平面視ビデオの異なるフレーム間における要素の動きに基づく、平面視ビデオに関連する修正フレームの生成を図示する、例としてのブロック図を示す。 図３は、平面視ビデオに関連する修正フレームの生成を図示する、例としてのブロック図を示し、１つ以上の修正フレームは、平面視ビデオの１つ以上の修正フレームに基づいて生成され得る。 図４は、平面視ビデオに関連する右へのパン効果に基づく、立体視ビデオの左目ビューフレーム及び右目ビューフレームの生成を図示する、例としてのブロック図を示す。 図５は、平面視ビデオに関連する左へのパン効果に基づく、立体視ビデオの左目ビューフレーム及び右目ビューフレームの生成を図示する、例としてのブロック図を示す。 図６は、平面視ビデオに関連するズームアウトカメラ効果に基づく、立体視ビデオの左目ビューフレーム及び右目ビューフレームの生成を図示する、例としてのブロック図を示す。 図７は、平面視ビデオに関連するズームインカメラ効果に基づく、立体視ビデオの左目ビューフレーム及び右目ビューフレームの生成を図示する、例としてのブロック図を示す。 図８は、平面視ビデオの例としてのフレームを示し、フレームは、動きが最も速い要素、動きが遅い要素、及び支配的な要素を含む。 図９は、シーンに関連する動きが最も速い要素、動きが遅い要素、及び支配的な要素のうちの少なくとも１つに基づいて、そのシーンの前景及び／又は背景を求める、例としての方法のフローチャートである。 図１０は、平面視ビデオに関連する前景及び／又は背景の動きに基づいて、その平面視ビデオから立体視ビデオの左目ビューフレーム及び右目ビューフレームを生成するための、例としてのブロック図を示す。 図１１は、カメラ効果に基づいて平面視ビデオを立体視ビデオに変換する、例としての方法のフローチャートである。 図１２Ａは、左目及び右目によって知覚され得る、例としての場面を示す。 図１２Ｂは、図１２Ａの場面に関連する立体視ビデオの左目ビューフレーム及び右目ビューフレームにおける要素間に見られ得る、例としてのオフセットを示す、例としてのグリッドを図示する。 図１２Ｃは、図１２Ｂのオフセットに一律の乗算係数を適用した後において、図１２Ｂの要素のオフセットを、それらの左目及び右目ビューフレームのそれぞれに関して示す、例としてのグリッドを図示する。 図１２Ｄは、図１２Ｂのオフセットに一律の加算係数を適用した後において、図１２Ｂの要素のオフセットを、それらの左目及び右目ビューフレームのそれぞれに関して示す、例としてのグリッドを図示する。 図１３は、立体視ビデオの深度を調節する、例としての方法のフローチャートである。 図１４は、立体視ビデオの焦点を調節する、例としての方法のフローチャートであり、ここに説明される少なくともいくつかの実施形態に従って全てが配置されている。

人間は、およそ２．５インチ（およそ６．５センチメートル）離れている２つの目を用いる両眼視システムを有する。それぞれの目は、わずかに異なる視点から世界を見る。脳は、距離を計算又は測定するためにこれらの視点の差を利用する。この両眼視システムは、物体の距離を比較的よい精度で求める能力を部分的に担っている。視野における複数の物体の相対距離も両眼視の助けを借りて求められ得る。

３次元（立体視）撮像は、１つの画像が１つの目（例えば左目）に、他の画像が他の目（例えば右目）に提示されるという、観察者（viewer）に２つの画像を提示することによって、両眼視によって知覚される奥行きを利用する。２つの目に提示される画像は、実質的に同じ要素を含んでいてよいが、２つの画像内の要素は、日常生活において観察者の目によって知覚され得るオフセットする視点を模倣するために、互いにオフセットされ得る。よって、観察者は画像に描かれた要素に奥行きを知覚し得る。

従来から、３次元ビデオは２つの異なる目によって知覚され得るような場面（setting）を取得するために、約３〜８インチ離れて並んで取り付けられた２つのビデオソース（例えばカメラ）を使用して作成されてきた。この距離はしばしば「軸間（interaxial）」又は「眼間距離」と呼ばれる。したがって、２つのビデオソースは２つのビデオを、１つは左目用に、１つは右目用に、作成する。２つのビデオは、右目ビデオが観察者の右目に提示され、左目ビデオが観察者の左目に提示され、観察者がビデオを３次元で知覚するような、立体視（又は３Ｄ）ビデオとしてまとめられ得る。対照的に、本開示のいくつかの実施形態によると、立体視ビデオは単一の（平面視）ビデオソースを用いて得られるビデオから導出され得る。平面視ビデオソースから導出されるこれらのビデオは、「２Ｄ」又は「平面視ビデオ」と呼ばれ得る。

「ビデオ」という用語は、いかなるモーションタイプのピクチャをも示し得るし、限定ではなく例として、映画、テレビショー、記録されたイベント（例えばスポーツイベント、コンサート等）、ホームムービー、インターネットビデオ等を含み得る。ビデオは、それぞれが要素又は対象物（一般に「要素」と呼ばれる）を含み得る場面の画像を表示する、一連の「フレーム」（「フレーム」又は「ビデオフレーム」と呼ばれる）で構成されている。要素は、動いていてもよいし、静止していてもよい。例えば、フレームは、山、丘、木、動物、建物、飛行機、列車、自動車等のような要素を含み得る風景の画像であり得る。

いくつかの実施形態によると、平面視ビデオの第１フレームとその平面視ビデオの第２フレーム（例えば、第１フレームの次のフレーム又は前のフレーム）との間の要素の動きは、第１フレームに対応し得る、かつ、立体視ビデオを生成するために使用され得る１つ以上の修正第１フレームを生成するために使用され得る。いくつかの実施形態においては、第１及び第２フレームは連続したフレームであり得、他の実施形態においては、第１及び第２フレームの間に１つ以上の中間フレームが含まれ得る。第１フレーム及び修正第１フレームは、第１フレームと第２フレームとの間の要素の動きに基づいて、１つ以上の要素が第１フレームと修正第１フレームとで互いにオフセットしていて、実質的に同じ要素を含み得る。更に、要素の動きは、第１フレーム及び第２フレームに関して、カメラ効果（例えば、ズーム効果、パン（panning）効果、回転（rotating）効果、及び／又は静止（stationary）効果）を分析するために使用され得る。いくつかの実施形態においては、修正第１フレームは分析されたカメラ効果に基づいて生成され得る。

いくつかの実施形態においては、左目ビューフレームは、観察者の左目によって観察されるように構成され得るのであるが、求められたカメラ効果、及び第１フレームと修正第１フレームとのうちの少なくとも１つに基づいて生成され得る。同様に、右目ビューフレームは、観察者の右目によって観察されるように構成され得るのであるが、求められたカメラ効果、及び第１フレームと修正第１フレームとのうちの少なくとも１つに基づいて生成され得る。このプロセスは、立体視ビデオの対応する左目及び右目ビューフレームを生成するために、平面視ビデオの複数のフレームに対して繰り返され得る。したがって、そのような実施形態において、分析されたカメラ効果、及び第１フレームとそれに関連する第２フレームとの間の動きに基づいて、立体視ビデオが平面視ビデオから生成され得る。

更に、いくつかの実施形態において、左目ビューフレーム及び右目ビューフレームの生成は、第１フレーム及び第２フレームに関連する平面視ビデオのシーンの前景及び背景のうちの少なくとも１つの動きを求めることに基づき得る。これらの又は他の実施形態において、前景及び／又は背景は、第１フレーム及び第２フレームに関連するシーンに含まれる動きが最も速い要素、動きが遅い要素、及び／又は支配的な要素に基づいて求められ得る。

更に、立体視ビデオにおける奥行きの量は、左目ビューフレーム及び右目ビューフレームに含まれる要素間のオフセットを調節することによって修正され得る。その上、立体視ビデオに関連する場面の前景又は背景にどの要素が含まれるかの知覚も、要素間のオフセットを調節することによって修正され得る。

ここで説明される右目ビューフレーム及び左目ビューフレームは、それぞれ「右目画像」及び「左目画像」とも呼ばれ得る。更に、右目ビューフレーム及び左目ビューフレームは、上／下、左／右、SENSIO（登録商標）Hi-Fi 3D、Blu-ray（登録商標） 3D、又は他の任意の適用可能な３Ｄフォーマットのような、いかなる適切な３Ｄフォーマットをも使用して、立体視ビデオを生成するために使用され得る。

図１は、平面視（２−Ｄ）ビデオに基づいて立体視（３−Ｄ）ビデオ１０３を生成する、本開示のいくつかの実施形態による、例示システム１００を示す。システム１００は、３次元（立体視）ビデオ生成モジュール１０４（以下では「立体視ビデオモジュール１０４」として参照される）を含み得る。立体視ビデオモジュール１０４は、平面視ビデオ１０１を受け取り、平面視ビデオ１０１を立体視ビデオ１０３に変換する、いかなる適切なシステム、装置、又はデバイスをも含み得る。例えば、いくつかの実施形態においては、立体視ビデオモジュール１０４は、平面視ビデオ１０１を立体視ビデオ１０３に変換する動作をプロセッサに行わせる、コンピュータで実行可能な命令を含むソフトウェアであり得る。

立体視ビデオモジュール１０４は、平面視ビデオ１０１のフレーム間の１つ以上の要素の動きに基づいて立体視ビデオ１０３を生成するように構成され得る。いくつかの実施形態において、立体視ビデオモジュール１０４は、動きに基づいて修正フレームを生成し得る。立体視ビデオモジュール１０４によって行われ得る修正フレームの生成は、図２及び３に関して以下で更に詳細に述べられる。いくつかの実施形態において、立体視ビデオモジュール１０４は、また、フレーム間の要素の動きに基づいて、平面視ビデオ１０１に関連するカメラ効果を分析又は求めるように構成され得る。これらの実施形態において、立体視ビデオモジュール１０４は、求められたカメラ効果及びそれに関連する動きに基づいて、修正フレーム並びに立体視ビデオ１０３のための左目及び右目ビューフレームを生成するように構成され得る。更に、いくつかの実施形態において、立体視ビデオモジュール１０４は、平面視ビデオ１０１のシーン内の前景及び背景に関連する動きを求めることに基づいて、修正フレーム並びに左目及び右目ビューフレームを生成するように構成され得る。カメラ効果の分析、並びに、分析されたカメラ効果に基づいて立体視ビデオモジュール１０４によって実行され得る修正フレーム並びに左目及び右目ビューフレームの生成は、図４−７及び１０に関して更に詳細に述べられる。

いくつかの実施形態において、立体視ビデオモジュール１０４は、また、平面視ビデオ１０１のシーンの前景及び／又は背景を求めるように構成され得る。これらの実施形態のいくつかにおいて、立体視ビデオモジュール１０４は、平面視ビデオ１０１のシーンに含まれる動きが最も速い要素、動きが遅い要素、及び／又は支配的な要素に基づいて、前景及び／又は背景を求めるように構成され得る。動きが最も速い要素、動きが遅い要素、及び／又は支配的な要素を求めることは、図８に関して更に詳細に述べられる。立体視ビデオモジュール１０４によって実行され得る前景及び／又は背景を求めることは、図９に関して更に詳細に以下で説明される。

更に、いくつかの実施形態において、立体視ビデオモジュール１０４は、左目及び右目ビューフレームに含まれる要素間のオフセットを調節することによって、立体視ビデオ１０３を見ている観察者によって知覚される奥行きの量を調節するように構成され得る。立体視ビデオモジュール１０４によって行われ得る奥行き知覚の修正は、図１２Ａ−１２Ｃ及び１３に関して以下で更に詳細に述べられる。更に、いくつかの実施形態において、観察者によって知覚される場面の前景又は背景内にどの要素があり得るかという知覚を立体視ビデオモジュール１０４が修正し得るように、立体視ビデオ１０３の焦点を調節するようにも、立体視ビデオモジュール１０４は構成され得る。立体視ビデオモジュール１０４によって行われ得る焦点の修正は、図１２Ａ，１２Ｂ，１２Ｄ，及び１４に関して以下で更に詳細に述べられる。

上述のように、立体視ビデオモジュール１０４は、フレーム間の１つ以上の要素の動きに基づいて立体視ビデオ１０３の左及び右目ビューフレームを生成するために使用され得る修正フレームを生成するように構成され得る。図２は、本開示のいくつかの実施形態による、平面視ビデオ２０１の異なるフレーム２０２の間の要素の動きに基づく修正フレーム２０２’の生成を図示する例としてのブロック図２００を示す。いくつかの実施形態において、そして図２に関して例として示されているように、修正フレーム２０２’は、図１に関して上述されている立体視ビデオモジュール１０４のような、立体視ビデオモジュールによって生成され得る。図２に図示されているように、平面視ビデオ２０１は、図１に関して説明された平面視ビデオ１０１に実質的に類似し得るし、平面視ビデオ２０１に関連する１つ以上の場面の画像を含み得る一連のフレーム２０２を含み得る。本開示のいくつかの実施形態によると、立体視ビデオモジュールは、フレーム２０２の間の１つ以上の要素（明示されていない）の水平方向の動きに基づいて、修正フレーム２０２’を生成し得る。

例えば、フレーム２０２ａ及び２０２ｂ内の要素（フレーム２０２ｂはフレーム２０２ａの後に続くフレームであり得る）は、その要素がフレーム２０２ａと２０２ｂとの間で左から右へ水平方向に動き得るように、フレーム２０２ａとフレーム２０２ｂとの間で位置が異なり得る。したがって、立体視ビデオモジュールは、要素がフレーム２０２ａに対して修正フレーム２０２ａ’において右にオフセットするように、フレーム２０２ａと２０２ｂとの間での要素の水平方向の動きに基づいて、修正フレーム２０２ａ’を生成し得る。立体視ビデオモジュールは、同様に、フレーム２０２ｂ及び２０２ｃに基づいて修正フレーム２０２ｂ’を（フレーム２０２ｃはフレーム２０２ｂの後に続くフレームであり得る）、フレーム２０２ｃ及び２０２ｄに基づいて修正フレーム２０２ｃ’を（フレーム２０２ｄはフレーム２０２ｃの後に続くフレームであり得る）生成し得る。したがって、観察者の右目及び左目によって知覚されるような画像の水平方向のオフセットを模倣するために、フレーム間の要素の水平方向の動きに基づいて、修正フレーム２０２’は、対応するフレーム２０２の対応する要素に対して水平方向にオフセットし得る。

いくつかの実施形態において、フレーム２０２間の要素の動きは、垂直方向にもあり得る（「垂直方向の動き」と称する）。しかし、観察者の目は一般に垂直方向には実質的にオフセットしていないので、立体視ビデオモジュールは、修正フレーム２０２’を生成するときにフレーム２０２間の要素の垂直方向の動きを実質的に無視し得る。よって、修正フレーム２０２’は、それらの要素が修正フレーム２０２’においては関連するフレーム２０２における対応する要素に対して水平方向にオフセットするように、水平方向の動きに基づいて生成され得る。しかし、修正フレーム２０２’の要素は、フレーム間で垂直方向の動きが生じていても、関連するフレーム２０２の対応する要素に対して垂直方向には実質的にオフセットし得ない。

更に、いくつかの実施形態において、１つのフレームからもう１つのフレームへの要素の動きは、１つのフレーム内の１つ以上の要素が、修正フレームを生成するために使用され得る後続のフレームに存在しない、という結果を生じ得る。そのような場合には、立体視ビデオモジュール１０４は、なくなった要素を元のフレームからコピーして関連する修正フレームに配置し得る。

例えば、フレーム２０２ａの要素が人の手であり得、フレーム２０２ａとフレーム２０２ｂとの間のその人の動きが、その人の手がフレーム２０２ｂでは見えなくなるようなものであり得る。更に、修正フレーム２０２ａ’が、フレーム２０２ａからフレーム２０２ｂへのその人の水平方向の動きに基づいて生成され得る。よって、修正フレーム２０２ａ’をその人の水平方向の動きに基づいて生成する際に、その人は、フレーム２０２ａと２０２ｂとの間のその人の水平方向の動きに基づいて、修正フレーム２０２ａ’において水平方向にオフセットし得る。しかし、その人の手はフレーム２０２ａからコピーされ修正フレーム２０２ａ’に挿入され得る。その結果、修正フレーム２０２ａ’の要素の水平方向のオフセットが抽出されるフレーム２０２ｂから手が消失していても、手が修正フレーム２０２ａ’には存在し得る。

本開示の範囲を逸脱することなく、図２には修正、追加、又は省略がなされ得る。例えば、平面視ビデオ２０１は、明示的に図示されているより多数の又は少数のフレームを含み得る。更に、いくつかの実施形態において、図示されたフレームの間に１つ以上の中間フレームが含まれ得る。例えば、平面視ビデオ２０１は、フレーム２０２ａと２０２ｂとの間、フレーム２０２ｂと２０２ｃとの間、及び／又は、フレーム２０２ｃと２０２ｄとの間にあり得る、１つ以上の中間フレームを含み得る。更に、いくつかの実施形態において、平面視ビデオ２０１内のシーンは、１つのフレーム２０２が１つのシーンに関連し得、後続のフレームが異なるシーンに関連し得る、というように変化し得る。「シーンチェンジ」又はシーンの変更が、同一の場面のカメラアングル又は視野（perspective）の変更、及び／又はビデオに描写される場面の変更を指し得るように、本開示において、「シーン」は、特定の場面に関する特定のカメラ視野又はアングルのことを指し得る。そのような実施形態において、修正フレームは、以前のフレームにおいて識別された１つ以上の要素の動きに基づき得る、推測フレームに基づいて生成され得る。

図３は、本開示のいくつかの実施形態による、修正フレーム３０２’の生成を図示する例示的なブロック図３００を示し、１つ以上の修正フレーム３０２’は、平面視ビデオ３０１の１つ以上の推測フレーム３０５に基づいて生成され得る。いくつかの実施形態において、そして図３に関して例として与えられているように、修正フレーム３０２’は、図１に関して上述された立体視ビデオモジュール１０４のような立体視ビデオモジュールによって、生成され得る。図３に図示されているように、平面視ビデオ３０１は、平面視ビデオ３０１に関連する１つ以上のシーンの画像を含み得る一連のフレーム３０２（フレーム３０２ａ−３０２ｄとして図示されている）を含み得る。説明されている実施形態において、フレーム３０２ａ−３０２ｃは平面視ビデオ３０１のシーン３０６ａに関連し得、フレーム３０２ｄは平面視ビデオ３０１の異なるシーンであるシーン３０６ｂに関連し得る。

本開示のいくつかの実施形態によると、立体視ビデオモジュールは、上述の修正フレーム２０２ａ’及び２０２ｂ’の生成と同様に、フレーム３０２ａと３０２ｂとの間、及び、フレーム３０２ｂと３０２ｃとの間のそれぞれの、１つ以上の要素（特に図示されていない）の動きに基づいて、修正フレーム３０２ａ’及び３０２ｂ’を生成するように構成され得る。例えば、修正フレーム３０２ａ’は、フレーム３０２ａと３０２ｂ（これはフレーム３０２ａの後に続き得る）との間の１つ以上の要素の動きに基づいて生成され得る。更に、修正フレーム３０２ｂ’は、フレーム３０２ｂと３０２ｃ（これはフレーム３０２ｂの後に続き得る）との間の１つ以上の要素の動きに基づいて生成され得る。

しかし、説明されている実施形態において、フレーム３０２ｃは、平面視ビデオ３０１のシーン３０６ａに関連する最後のフレームであり得る。よって、フレーム３０２ｄのような後続のフレームは、異なるシーンに関連し得る、又は、他のフレームに移行する前に関連する実質的な動きを有し得ないので、フレーム３０２ｃに関連する要素の動きは、フレーム３０２ｃとフレーム３０２ｃの後続のフレームとの間には存在し得ない。このような場合には、立体視ビデオモジュールは、シーンがその最後のフレーム以降継続していればシーンの後続フレームを表現し得る推測フレームを生成するように、構成され得る。例えば、説明されている実施形態において、立体視ビデオモジュールは、シーン３０６ａがフレーム３０２ｃ以降継続していればシーン３０６ａのフレーム３０２ｃの後続フレームを表現し得る推測フレーム３０５を生成するように、構成され得る。

いくつかの実施形態において、立体視ビデオモジュールは、シーンチェンジを求めるように構成され得、検出されたシーンチェンジに基づいてシーンの最終フレームを求め得る。立体視ビデオモジュールは、シーンチェンジを検出することに基づいて推測フレームを生成するようにも構成され得る。例えば、立体視ビデオモジュールは、シーン３０６ａからシーン３０６ｂへのシーンチェンジを検出するように構成され得、フレーム３０２ｃがシーン３０６ａの最終フレームであることを求め得、かつ、シーン３０６ａからシーン３０６ｂへのシーンチェンジを検出することに基づいて、推測フレーム３０５を生成し得る。

これらの実施形態のいくつかにおいて、立体視ビデオモジュールは、フレーム間のピクセルの空間及び／又は色の分布の分析に基づいて、シーンチェンジを求めるように構成され得る。もしピクセルの分布がフレームから他のフレームに、実質的に類似しているなら、立体視ビデオモジュールは、フレーム３０２が同一のシーン３０６に関連しているということを求め得る。しかし、もしピクセルの分布がフレーム間で実質的に異なるなら、立体視ビデオモジュールは、シーンチェンジが発生したということを求め得る。例えば、立体視ビデオモジュールは、フレーム３０２ａ，３０２ｂ，及び３０２ｃの間のピクセルの分布が実質的に類似しているということを求めて、フレーム３０２ａ，３０２ｂ，及び３０２ｃがシーン３０６ａの一部であり得るということを求め得る。立体視ビデオモジュールは、また、フレーム３０２ｃと３０２ｄとの間のピクセルの分布が実質的に異なるということを求めて、フレーム３０２ｃと３０２ｄとの間でシーン３０６ａからシーン３０６ｂへのシーンチェンジが発生するということを求め得る。

第１シーンから第２シーンへのシーンチェンジの検出に応じて、立体視ビデオモジュールは、第１シーンのフレーム間の１つ以上の要素の動きを検出するように構成され得る。第１シーンのフレーム間の要素の動きに基づいて、立体視ビデオモジュールは、第１シーン用に推測フレームを生成するように構成され得る。推測フレームを生成すると、立体視ビデオモジュールは、第１シーンの最終フレームと推測フレームとの間の要素の動きに基づいて、第１シーンの最終フレーム用に修正フレームを生成するように構成され得る。

例えば、シーン３０６ａからシーン３０６ｂへのシーンチェンジを検出後、立体視ビデオモジュールは、シーンチェンジの検出に応じてフレーム３０２ｂと３０２ｃとの間の１つ以上の要素の動きを検出するように構成され得る。フレーム３０２ｂと３０２ｃとの間の検出された動きに基づいて、立体視ビデオモジュールは、シーン３０６ａがフレーム３０２ｃ以降継続していればフレーム３０２ｃとシーン３０６ａの後続のフレームとの間にどのような動きが発生し得るかを推測するように構成され得る。いくつかの実施形態において、要素間の動きの推測は、シーン３０６ａがフレーム３０２ｃの後に終了していなければフレーム３０２ｂと３０２ｃとの間の要素の動きがフレーム３０２ｃ以降も継続するであろうという仮定に基づいて行われ得る。立体視ビデオモジュールは、したがって、シーン３０６ａがフレーム３０２ｃ以降継続していればシーン３０６ａにおいて継続しているであろう動きを推測フレーム３０５が反映し得るように、シーン３０６ａのフレーム３０２ｂと３０２ｃとの間の要素の動きに基づいてシーン３０６ａ用に推測フレーム３０５を生成するように、構成され得る。

推測フレーム３０５が生成されると、立体視ビデオモジュールは、フレーム３０２ａと３０２ｂとの間、及び、フレーム３０２ｂと３０２ｃとの間のそれぞれの動きに基づいて修正フレーム３０２ａ’及び３０２ｂ’を生成するのと同様に、フレーム３０２ｃと推測フレーム３０５との間の１つ以上の要素の動きに基づいて修正フレーム３０２ｃ’を生成し得る。よって、修正フレーム３０２ｃ’は、フレーム３０２から実質的に同一の要素を有する後続のフレームへの間で、たとえそのような後続のフレームが存在し得なくても、発生し得る動きに基づいて、生成され得る。

本開示の範囲を逸脱することなく、図３には修正、追加、又は省略がなされ得る。例えば、平面視ビデオ３０１は、明示的に図示されているより多数の又は少数のフレーム３０２及び／又はシーン３０６を含み得る。更に、各シーン３０６は、いかなる数のフレーム３０２をも含み得る。更に、いくつかの実施形態において、図示されたフレーム３０２の間に１つ以上の中間フレームが含まれ得る。

図１に戻り、前述のように、立体視ビデオモジュール１０４は、カメラ効果及び平面視ビデオ１０１の修正フレームに基づいて、立体視ビデオ１０３の左目及び右目ビューフレームを生成するように構成され得る。修正フレームは、図２及び３に関して上述のように、フレーム間の要素の動きに基づいて生成され得る。したがって、立体視ビデオモジュール１０４は、本開示の１つ以上の実施形態に従って、平面視ビデオ１０１のカメラ効果を分析するようにも構成され得る。そのような実施形態において、立体視ビデオモジュール１０４は、カメラ効果がパン効果又はズーム効果のいずれであるのかを求め得、カメラ効果がパン効果又はズーム効果のいずれであるのかに基づいて、左目及び右目ビューフレームを生成し得る。カメラ効果がパン効果であると求めたことに基づいた左目ビューフレーム及び右目ビューフレームの生成は、図４及び５に関して以下で更に詳細に述べられる。カメラ効果がズーム効果であると求めたことに基づいた左目ビューフレーム及び右目ビューフレームの生成は、図６及び７に関して以下で更に詳細に論じられる。

更に、もしカメラ効果がパン効果又はズーム効果のいずれでもないということを立体視ビデオモジュール１０４が求めるなら、立体視ビデオモジュール１０４は、このように求めたことに基づいて左目及び右目ビューフレームを生成し得る。これらの実施形態のいくつかにおいて、立体視ビデオモジュール１０４は、平面視ビデオ１０１のフレームに関連する前景及び背景の動きに基づいて、左目ビューフレーム及び右目ビューフレームを生成し得る。前景及び背景の検出は、図８及び９に関してより詳細に説明される。カメラ効果がパン効果又はズーム効果のいずれでもないということが求められたということに基づく左目ビューフレーム及び右目ビューフレームの生成は、図１０に関して以下で更に詳細に論じられる。

図４は、本開示のいくつかの実施形態による、平面視ビデオ４０１のフレーム４０２ａ及び４０２ｂに関連する右へのパン効果に基づく、立体視ビデオ４０３の左目ビューフレーム４１０及び右目ビューフレーム４１２の生成を図示する例示的なブロック図４００を示す。説明されている例において、立体視ビデオ４０３は、図１に関して上述された立体視ビデオモジュール１０４のような、立体視ビデオモジュールによって生成され得る。

フレーム４０２ａ及び４０２ｂは、それぞれフレーム４０２ａ及びフレーム４０２ｂの両方に含まれ得る１つ以上の要素４０８を含み得る。例えば、説明されている実施形態において、各フレーム４０２ａ及び４０２ｂは、要素４０８ａ及び４０８ｂを含み得る。フレーム４０２ａ及び４０２ｂは、図４に明示されていない他の要素も含み得る。

カメラがパンするとき、カメラによって撮影される場面全体は、パン効果に関連するフレーム内の要素が実質的に一律の大きさで実質的に一律の方向に動くように、カメラが動くのに従って動く。例えば、フレーム４０２ａ及び４０２ｂは、フレーム４０２ａ及び４０２ｂ内の要素４０８ａ及び４０８ｂがフレーム４０２ａと４０２ｂとの間で右から左に実質的に同じ量だけ一様に動くように、カメラが生成するフレーム４０２ａ及び４０２ｂが左から右にパンされ得たような、右へのパン（right-panning）効果に関連し得る。

右へのパン効果は、左から右へ実際にカメラをパンすることに基づいて、又は、左から右へカメラをパンすることのシミュレーションに基づいて、生成され得る。いくつかの実施形態において、パン効果は、軸のまわりのカメラの回転に、又は、そのパン効果を生成するような、適切ないかなるシミュレーションにも、関連し得る。他の実施形態において、パン効果は、撮影される場面に関して水平方向のカメラ全体の動き（例えば、左から右へ）に、又は、そのパン効果を生成するような、適切ないかなるシミュレーションにも、関連し得る。

立体視ビデオモジュールは、フレーム４０２ａと４０２ｂとの間で、要素４０８ａ及び４０８ｂのような要素の動きを分析することに基づいて、右へのパン効果がフレーム４０２ａと４０２ｂとの間に存在するかどうかを求めるように構成され得る。例えばいくつかの実施形態において、立体視ビデオモジュールは、フレーム４０２ａ及び４０２ｂのさまざまな区域（例えば、右上、左上、右下、及び左下区域）に位置するさまざまな要素の動きを分析し得る。いくつかの実施形態において、立体視ビデオモジュールは、要素に対応し得るフレーム４０２ａ及び４０２ｂのピクセルに関連する動きを分析することによって、その要素の動きを分析し得る。これらの又は他の実施形態において、立体視ビデオモジュールは、フレーム４０２ａとフレーム４０２ｂとの間の要素の動きを求めるために、フレーム４０２ａ及び４０２ｂの各ピクセルに関連する動きを分析し得る。もしフレーム４０２ａ及び４０２ｂのさまざまな区域に位置する要素（又は、いくつかの実施形態においてはピクセル）に関連する動きが、全て右から左へ実質的に同じ程度動くなら、立体視ビデオモジュールは、カメラ効果は右へのパン効果である、ということを求め得る。

立体視ビデオモジュールは、求められた右へのパン効果及びそれに関連する動きに基づいて、フレーム４０２ａに関連する修正フレーム４０２ａ’を生成し得る。例えば、上述のように、右へのパン効果は、要素４０８ａ及び４０８ｂが、フレーム４０２ａからフレーム４０２ｂへ、右から左へ実質的に同じ程度動くという結果となり得る。したがって、いくつかの実施形態において、立体視ビデオモジュールは、右へのパン効果によって引き起こされた、フレーム４０２ａと４０２ｂとの間の要素４０８ａ及び４０８ｂの水平方向の位置の差のため、フレーム４０２ｂを用いて修正フレーム４０２ａ’を生成しうる。フレーム４０２ａと４０２ｂとの間で要素４０８ａ及び４０８ｂの垂直方向のオフセットがほとんど、又は全くあり得ないような、いくつかの実施形態において、フレーム４０２ｂは、修正フレーム４０２ａ’として使用され得る。フレーム４０２ａと４０２ｂとの間で要素４０８ａ及び４０８ｂに垂直方向のオフセットが存在し得るような、他の実施形態において、フレーム４０２ａと４０２ｂとの間の要素４０８ａ及び４０８ｂの垂直方向の位置の差は、フレーム４０２ａと修正フレーム４０２ａ’との間の要素４０８ａ及び４０８ｂの垂直方向のいかなるオフセットもが本質的なものではあり得ないように、修正フレーム４０２ａ’の生成中に除去され得る。

立体視ビデオ４０３の左目ビューフレーム４１０及び右目ビューフレーム４１２は、平面視ビデオ４０１のビューフレーム４０２ａに関連し得るのであるが、右へのパン効果、ビューフレーム４０２ａ、及び修正ビューフレーム４０２ａ’に基づいて生成され得る。例えば、右へのパン効果のため、フレーム４０２ａは左目ビューフレーム４１０として指定され得、修正フレーム４０２ａ’は右目ビューフレーム４１２として指定され得る。よって、立体視ビデオ４０３の左目ビューフレーム４１０及び右目ビューフレーム４１２は、右へのパン効果及び修正フレーム４０２ａ’に少なくとも部分的に基づいて生成され得る。修正フレーム４０２ａ’は、フレーム４０２ａと４０２ｂとの間の要素４０８ａ及び４０８ｂの動きに関連し得る。

明示的に説明されたもの以外の修正、追加、又は省略が、立体視ビデオ４０３の生成に対して行われ得る。例えば、平面視ビデオ４０１の他のフレーム４０２に関連する左目及び右目ビューフレーム（例えば、フレーム４０２ｂに関連する左目及び右目ビューフレーム）は、同様に生成され得る。更に、いくつかの実施形態において、左目及び右目ビューフレームは、それぞれのシーンの最後、又は最後に近いフレームであり得るフレーム４０２に対して、フレーム４０２に関連する修正フレームが図３に関して上述されたようなやり方で求められる推測フレームに基づいて生成され得るように、生成され得る。

図５は、本開示のいくつかの実施形態による、平面視ビデオ５０１のフレーム５０２ａ及び５０２ｂに関連する左へのパン（left-panning）効果に基づく、立体視ビデオ５０３の左目ビューフレーム５１０及び右目ビューフレーム５１２の生成を図示する、例としてのブロック図５００を示す。図示されている例において、立体視ビデオ５０３は、図１に関して上述された立体視ビデオモジュール１０４のような立体視ビデオモジュールによって、生成され得る。

フレーム５０２ａ及び５０２ｂは、それぞれがフレーム５０２ａ及びフレーム５０２ｂの両方に含まれ得る１つ以上の要素５０８を含み得る。例えば、図示されている実施形態において、フレーム５０２ａ及び５０２ｂのそれぞれが、要素５０８ａ及び５０８ｂを含み得る。

上述のように、フレーム５０２ａ及び５０２ｂは、フレーム５０２ａ及び５０２ｂ内の要素５０８がフレーム５０２ａと５０２ｂとの間で左から右へ実質的に同じ量だけ一律に動き得るように、フレーム５０２ａ及び５０２ｂを生成するカメラが右から左にパンされ得た、左へのパン効果に関連し得る。例えば、図示される実施形態において、要素５０８ａ及び５０８ｂは、フレーム５０２ａ及び５０２ｂに関連する左へのパン効果に基づいて、実質的に同じ量だけフレーム５０２ａと５０２ｂとの間で左から右に動き得る。

右へのパン効果と同様に、左へのパン効果は、右から左へ実際にカメラをパンすることに基づいて、又は、右から左へカメラをパンすることのシミュレーションに基づいて、生成され得る。また、いくつかの実施形態において、パン効果は、軸のまわりのカメラの回転に、又は、そのパン効果を生成するような、適切ないかなるシミュレーションにも、関連し得る。他の実施形態において、パン効果は、撮影される場面に関して水平方向のカメラ全体の動き（例えば、右から左へ）に、又は、そのパン効果を生成するような、適切ないかなるシミュレーションにも、関連し得る。

図４に関して上で論じられているように、右へのパン効果が存在するかどうかを求めるのと同様に、立体視ビデオモジュールは、フレーム５０２ａと５０２ｂとの間で、要素５０８ａ及び５０８ｂのような要素（又は、いくつかの実施形態においてはピクセル）に関連する動きを分析することに基づいて、左へのパン効果がフレーム５０２ａと５０２ｂとの間に存在するかどうかを求めるように構成され得る。もしフレーム５０２ａ及び５０２ｂのさまざまな区域に位置する要素（又は、いくつかの実施形態においてはピクセル）に関連する動きが、全て左から右へ実質的に同じ程度動くなら、立体視ビデオモジュールは、カメラ効果は左へのパン効果である、ということを求め得る。

立体視ビデオモジュールは、求められた左へのパン効果及びそれに関連する動きに基づいて、フレーム５０２ａに関連する修正フレーム５０２ａ’を生成し得る。例えば、上述のように、左へのパン効果は、要素５０８ａ及び５０８ｂが、フレーム５０２ａからフレーム５０２ｂへ、左から右へ実質的に同じ程度動くという結果となり得る。したがって、いくつかの実施形態において、立体視ビデオモジュールは、左へのパン効果によって引き起こされた、フレーム５０２ａと５０２ｂとの間の要素５０８ａ及び５０８ｂの水平方向の位置の差のため、フレーム５０２ｂに基づいて修正フレーム５０２ａ’を生成しうる。フレーム５０２ａと５０２ｂとの間で要素５０８ａ及び５０８ｂの垂直方向のオフセットがほとんど、又は全くあり得ないような、いくつかの実施形態において、フレーム５０２ｂは、修正フレーム５０２ａ’として使用され得る。フレーム５０２ａと５０２ｂとの間で要素５０８ａ及び５０８ｂに垂直方向のオフセットが存在し得るような、他の実施形態において、フレーム５０２ａと５０２ｂとの間の要素５０８ａ及び５０８ｂの垂直方向の位置の差は、フレーム５０２ａと修正フレーム５０２ａ’との間の要素５０８ａ及び５０８ｂの垂直方向のいかなるオフセットもが本質的なものではあり得ないように、修正フレーム５０２ａ’の生成中に除去され得る。

立体視ビデオ５０３の左目ビューフレーム５１０及び右目ビューフレーム５１２は、平面視ビデオ５０１のビューフレーム５０２ａに関連し得るのであるが、左へのパン効果、ビューフレーム５０２ａ、及び修正ビューフレーム５０２ａ’に基づいて生成され得る。例えば、左へのパン効果のため、修正フレーム５０２ａ’は左目ビューフレーム５１０として指定され得、フレーム５０２ａは右目ビューフレーム５１２として指定され得る。よって、立体視ビデオ５０３の左目ビューフレーム５１０及び右目ビューフレーム５１２は、左へのパン効果及び修正フレーム５０２ａ’に少なくとも部分的に基づいて生成され得る。修正フレーム５０２ａ’は、フレーム５０２ａと５０２ｂとの間の要素５０８ａ及び５０８ｂの動きに関連し得る。

明示的に説明されたもの以外の修正、追加、又は省略が、立体視ビデオ５０３の生成に対して行われ得る。例えば、平面視ビデオ５０１の他のフレーム５０２に関連する左目及び右目ビューフレーム（例えば、フレーム５０２ｂに関連する左目及び右目ビューフレーム）は、同様に生成され得る。更に、いくつかの実施形態において、左目及び右目ビューフレームは、それぞれのシーンの最後、又は最後に近いフレームであり得るフレーム５０２に対して、フレーム５０２に関連する修正フレームが図３に関して上述されたようなやり方で求められる推測フレームに基づいて生成され得るように、生成され得る。

図６は、本開示のいくつかの実施形態による、平面視ビデオ６０１のフレーム６０２ａ及びフレーム６０２ｂに関連するズームアウトカメラ効果に基づく、立体視ビデオ６０３の左目ビューフレーム６１０及び右目ビューフレーム６１２の生成を図示する、例としてのブロック図６００を示す。図示される実施形態において、立体視ビデオ６０３は、図１に関して上述された立体視ビデオモジュール１０４のような立体視ビデオモジュールによって、生成され得る。

フレーム６０２ａ及び６０２ｂは、それぞれがフレーム６０２ａ及びフレーム６０２ｂの両方に含まれ得る１つ以上の要素６０８を含み得る。例えば、図示されている実施形態において、フレーム６０２ａ及び６０２ｂのそれぞれが、要素６０８ａ，６０８ｂ，６０８ｃ及び６０８ｄを含み得る。

カメラがズームアウトするとき、カメラによって生成されるフレーム内の要素は、１つのフレームからもう１つのフレームへ、フレームによってキャプチャされた場面の中心に向かって動き得る。例えば、図６に示されているように、フレーム６０２ａ及び６０２ｂは、フレーム６０２ａ及び６０２ｂ内の要素６０８ａ，６０８ｂ，６０８ｃ及び６０８ｄが、フレーム６０２ａからフレーム６０２ｂへ、フレーム６０２ａ及び６０２ｂによってキャプチャされた場面の中央に向かって動くように、ズームアウトカメラ効果に関連し得る。ズームアウトカメラ効果は、実際のカメラのズームアウト、又はズームアウトのシミュレーションに基づいて、生成され得る。

図４及び５に関して上で論じられたように、右へのパン効果又は左へのパン効果が存在するかどうかを求めるのと同様に、立体視ビデオモジュールは、フレーム６０２ａ及び６０２ｂのさまざまな区域（例えば、左上、右上、左下、及び右下区域）に位置する要素の、例えば、フレーム６０２ａ及び６０２ｂの、左上、右上、左下、及び右下区域にそれぞれ位置し得る、要素６０８ａ，６０８ｂ，６０８ｃ及び６０８ｄのような要素の、フレーム６０２ａと６０２ｂとの間の動きを分析することに基づいて、ズームアウトカメラ効果がフレーム６０２ａと６０２ｂとの間に存在するかどうかを求めるように構成され得る。いくつかの実施形態において、立体視ビデオモジュールは、要素に対応し得るフレーム６０２ａ及び６０２ｂのピクセルに関連する動きを分析することによって、その要素の動きを分析し得る。これらの又は他の実施形態において、立体視ビデオモジュールは、フレーム６０２ａとフレーム６０２ｂとの間の要素の動きを求めるために、フレーム６０２ａ及び６０２ｂの各ピクセルに関連する動きを分析し得る。もしフレーム６０２ａ及び６０２ｂのさまざまな区域に位置する要素（又は、いくつかの実施形態においてはピクセル）に関連する動きが、フレーム６０２ａ及び６０２ｂによってキャプチャされた場面の中心に実質的に向かって動くなら、立体視ビデオモジュールは、カメラ効果はズームアウトカメラ効果である、ということを求め得る。

立体視ビデオモジュールは、求められたズームアウトカメラ効果及びそれに関連する動きに基づいて、フレーム６０２ａに関連する修正フレーム６０２ａ’及び修正フレーム６０２ａ”を生成し得る。例えば、ズームアウトカメラ効果は、フレーム６０２ａ及び６０２ｂのそれぞれの左側６１４ａ及び６１４ｂに含まれる要素（例えば、要素６０８ａ及び６０８ｃ）が、フレーム６０２ａからフレーム６０２ｂへ、左から右へ実質的に同じ程度動くという結果となり得る。更に、ズームアウトカメラ効果は、フレーム６０２ａ及び６０２ｂのそれぞれの右側６１６ａ及び６１６ｂに含まれる要素（例えば、要素６０８ｂ及び６０８ｄ）が、フレーム６０２ａからフレーム６０２ｂへ、右から左へ実質的に同じ程度動くという結果となり得る。

いくつかの実施形態において、立体視ビデオモジュールは、フレーム６０２ａ及び６０２ｂのそれぞれの左側６１４ａと６１４ｂとの間の、要素の水平方向のオフセットに基づいて、修正フレーム６０２ａ’の左側６１４ｃを生成し得る。更に、立体視ビデオモジュールは、左側６１４ｃの生成中は、左側６１４ａと６１４ｂとの間の、要素のいかなる垂直方向のオフセットをも無視し得る。例えば、要素６０８ａ及び６０８ｃは、修正フレーム６０２ａ’の左側６１４ｃにおいて、フレーム６０２ｂの左側６１４ｂにおけるのと実質的に同一の水平方向の位置を有し得る。しかし、要素６０８ａ及び６０８ｃは、修正フレーム６０２ａ’の左側６１４ｃにおいて、フレーム６０２ａの左側６１４ａにおけるのと実質的に同一の垂直方向の位置を有し得る。

更に、立体視ビデオモジュールは、右側６１６ｃが右側６１６ａに実質的に類似し得るように、フレーム６０２ａの右側６１６ａに含まれる要素の水平方向及び垂直方向の両方の位置に基づいて、修正フレーム６０２ａ’の右側６１６ｃを生成し得る。例えば、要素６０８ｂ及び６０８ｄは、修正フレーム６０２ａ’の右側６１６ｃにおいて、フレーム６０２ａの右側６１６ａにおけるのと実質的に同一の水平方向及び垂直方向の位置を有し得る。

立体視ビデオモジュールは、フレーム６０２ａ及び６０２ｂのそれぞれの右側６１６ａと６１６ｂとの間の、要素の水平方向のオフセットに基づいて、修正フレーム６０２ａ”の右側６１６ｄを生成し得る。更に、立体視ビデオモジュールは、右側６１６ｄの生成中は、右側６１６ａと６１６ｂとの間の、要素のいかなる垂直方向のオフセットをも無視し得る。例えば、要素６０８ｂ及び６０８ｄは、修正フレーム６０２ａ”の右側６１６ｄにおいて、フレーム６０２ｂの右側６１６ｂにおけるのと実質的に同一の水平方向の位置を有し得る。しかし、要素６０８ｂ及び６０８ｄは、修正フレーム６０２ａ”の右側６１６ｄにおいて、フレーム６０２ａの右側６１６ａにおけるのと実質的に同一の垂直方向の位置を有し得る。

対照的に、立体視ビデオモジュールは、左側６１４ｄが左側６１４ａに実質的に類似し得るように、フレーム６０２ａの左側６１４ａに含まれる要素の水平方向及び垂直方向の両方の位置に基づいて、修正フレーム６０２ａ”の左側６１４ｄを生成し得る。例えば、要素６０８ａ及び６０８ｃは、修正フレーム６０２ａ”の左側６１４ｄにおいて、フレーム６０２ａの左側６１４ａにおけるのと実質的に同一の水平方向及び垂直方向の位置を有し得る。

図６に図示されているように、上述のズームアウト効果のための修正フレーム６０２ａ’及び６０２ａ”の構成は、要素６０８ａ，６０８ｂ，６０８ｃ及び６０８ｄが、修正フレーム６０２ａ’において修正フレーム６０２ａ”に対して右に水平方向にオフセットするという結果となり得る。更に、要素６０８ａ，６０８ｂ，６０８ｃ及び６０８ｄは、修正フレーム６０２ａ’において修正フレーム６０２ａ”に対して垂直方向のオフセットをほとんど又は全く有し得ない。

立体視ビデオ６０３の左目ビューフレーム６１０及び右目ビューフレーム６１２は、平面視ビデオ６０１のビューフレーム６０２ａに関連し得るのであるが、ズームアウトカメラ効果並びに修正ビューフレーム６０２ａ’及び６０２ａ”に基づいて生成され得る。例えば、ズームアウトカメラ効果のため、修正フレーム６０２ａ’は左目ビューフレーム６１０として指定され得、修正フレーム６０２ａ”は右目ビューフレーム６１２として指定され得る。よって、立体視ビデオ６０３の左目ビューフレーム６１０及び右目ビューフレーム６１２は、ズームアウトカメラ効果並びに修正フレーム６０２ａ’及び６０２ａ”に少なくとも部分的に基づいて生成され得る。修正フレーム６０２ａ’及び６０２ａ”は、フレーム６０２ａと６０２ｂとの間の要素６０８ａ，６０８ｂ，６０８ｃ及び６０８ｄの動きに関連し得る。

明示的に説明されたもの以外の修正、追加、又は省略が、立体視ビデオ６０３の生成に対して行われ得る。例えば、平面視ビデオ６０１の他のフレーム６０２に関連する左目及び右目ビューフレーム（例えば、フレーム６０２ｂに関連する左目及び右目ビューフレーム）は、同様に生成され得る。更に、いくつかの実施形態において、左目及び右目ビューフレームは、それぞれのシーンの最後、又は最後に近いフレームであり得るフレーム６０２に対して、フレーム６０２に関連する修正フレームがフレーム６０２及び図３に関して上述されたようなやり方で生成される関連する推測フレームに基づいて生成され得るように、生成され得る。

図７は、本開示のいくつかの実施形態による、平面視ビデオ７０１のフレーム７０２ａ及びフレーム７０２ｂに関連するズームインカメラ効果の左目ビューフレーム７１０及び右目ビューフレーム７１２の生成を図示する、例としてのブロック図７００を示す。フレーム７０２ａ及び７０２ｂは、それぞれがフレーム７０２ａ及びフレーム７０２ｂの両方に含まれ得る１つ以上の要素７０８を含み得る。例えば、図示されている実施形態において、フレーム７０２ａ及び７０２ｂのそれぞれが、要素７０８ａ，７０８ｂ，７０８ｃ及び７０８ｄを含み得る。

カメラがズームインするとき、カメラによって生成されるフレーム内の要素は、１つのフレームからもう１つのフレームへ、フレームによってキャプチャされた場面の中心から離れるように動き得る。例えば、図７に示されているように、フレーム７０２ａ及び７０２ｂは、フレーム７０２ａ及び７０２ｂ内の要素７０８ａ，７０８ｂ，７０８ｃ及び７０８ｄが、フレーム７０２ａからフレーム７０２ｂへ、フレーム７０２ａ及び７０２ｂによってキャプチャされた場面の中央から離れるように動くように、ズームインカメラ効果に関連し得る。ズームインカメラ効果は、実際のカメラのズームイン、又はズームインのシミュレーションに基づいて、生成され得る。

図４−６に関して上で論じられたように、右へのパン効果、左へのパン効果、又はズームアウトカメラ効果が存在するかどうかを求めるのと同様に、立体視ビデオモジュールは、要素７０８ａ，７０８ｂ，７０８ｃ及び７０８ｄのような、フレーム７０２ａ及び７０２ｂのさまざまな区域（例えば、右上、左上、右下、及び左下区域）に位置する要素の、フレーム７０２ａと７０２ｂとの間の動きを分析することに基づいて、ズームインカメラ効果がフレーム７０２ａと７０２ｂとの間に存在するかどうかを求めるように構成され得る。いくつかの実施形態において、立体視ビデオモジュールは、要素に対応し得るフレーム７０２ａ及び７０２ｂのピクセルに関連する動きを分析することによって、その要素の動きを分析し得る。これらの又は他の実施形態において、立体視ビデオモジュールは、フレーム７０２ａとフレーム７０２ｂとの間の要素の動きを求めるために、フレーム７０２ａ及び７０２ｂの各ピクセルに関連する動きを分析し得る。もしフレーム７０２ａ及び７０２ｂのさまざまな区域に位置する要素（又は、いくつかの実施形態においてはピクセル）に関連する動きが、フレーム７０２ａ及び７０２ｂによってキャプチャされた場面の中心から実質的に離れるように動くなら、立体視ビデオモジュールは、カメラ効果はズームインカメラ効果である、ということを求め得る。

立体視ビデオモジュールは、求められたズームインカメラ効果及びそれに関連する動きに基づいて、フレーム７０２ａに関連する修正フレーム７０２ａ’及び修正フレーム７０２ａ”を生成し得る。例えば、ズームインカメラ効果は、フレーム７０２ａ及び７０２ｂのそれぞれの左側７１４ａ及び７１４ｂに含まれる要素（例えば、要素７０８ａ及び７０８ｃ）が、フレーム７０２ａからフレーム７０２ｂへ、右から左へ実質的に同じ程度動くという結果となり得る。更に、ズームインカメラ効果は、フレーム７０２ａ及び７０２ｂのそれぞれの右側７１６ａ及び７１６ｂに含まれる要素（例えば、要素７０８ｂ及び７０８ｄ）が、フレーム７０２ａからフレーム７０２ｂへ、左から右へ実質的に同じ程度動くという結果となり得る。

いくつかの実施形態において、立体視ビデオモジュールは、フレーム７０２ａ及び７０２ｂのそれぞれの左側７１４ａと７１４ｂとの間の、要素の水平方向のオフセットに基づいて、修正フレーム７０２ａ’の左側７１４ｃを生成し得る。更に、立体視ビデオモジュールは、左側７１４ｃの生成中は、左側７１４ａと７１４ｂとの間の、要素のいかなる垂直方向のオフセットをも無視し得る。例えば、要素７０８ａ及び７０８ｃは、修正フレーム７０２ａ’の左側７１４ｃにおいて、フレーム７０２ｂの左側７１４ｂにおけるのと実質的に同一の水平方向の位置を有し得る。しかし、要素７０８ａ及び７０８ｃは、修正フレーム７０２ａ’の左側７１４ｃにおいて、フレーム７０２ａの左側７１４ａにおけるのと実質的に同一の垂直方向の位置を有し得る。

更に、立体視ビデオモジュールは、右側７１６ｃが右側７１６ａに実質的に類似し得るように、フレーム７０２ａの右側７１６ａに含まれる要素の水平方向及び垂直方向の両方の位置に基づいて、修正フレーム７０２ａ’の右側７１６ｃを生成し得る。例えば、要素７０８ｂ及び７０８ｄは、修正フレーム７０２ａ’の右側７１６ｃにおいて、フレーム７０２ａの右側７１６ａにおけるのと実質的に同一の水平方向及び垂直方向の位置を有し得る。

立体視ビデオモジュールは、フレーム７０２ａ及び７０２ｂのそれぞれの右側７１６ａと７１６ｂとの間の、要素の水平方向のオフセットに基づいて、修正フレーム７０２ａ”の右側７１６ｄを生成し得る。更に、立体視ビデオモジュールは、右側７１６ｄの生成中は、右側７１６ａと７１６ｂとの間の、要素のいかなる垂直方向のオフセットをも無視し得る。例えば、要素７０８ｂ及び７０８ｄは、修正フレーム７０２ａ”の右側７１６ｄにおいて、フレーム７０２ｂの右側７１６ｂにおけるのと実質的に同一の水平方向の位置を有し得る。しかし、要素７０８ｂ及び７０８ｄは、修正フレーム７０２ａ”の右側７１６ｄにおいて、フレーム７０２ａの右側７１６ａにおけるのと実質的に同一の垂直方向の位置を有し得る。

更に、立体視ビデオモジュールは、左側７１４ｄが左側７１４ａに実質的に類似し得るように、フレーム７０２ａの左側７１４ａに含まれる要素の水平方向及び垂直方向の両方の位置に基づいて、修正フレーム７０２ａ”の左側７１４ｄを生成し得る。例えば、要素７０８ａ及び７０８ｃは、修正フレーム７０２ａ”の左側７１４ｄにおいて、フレーム７０２ａの左側７１４ａにおけるのと実質的に同一の水平方向及び垂直方向の位置を有し得る。

図７に図示されているように、上述のズームイン効果のための修正フレーム７０２ａ’及び７０２ａ”の構成は、要素７０８ａ，７０８ｂ，７０８ｃ及び７０８ｄが、修正フレーム７０２ａ’において修正フレーム７０２ａ”に対して左に水平方向にオフセットするという結果となり得る。更に、要素７０８ａ，７０８ｂ，７０８ｃ及び７０８ｄは、修正フレーム７０２ａ’において修正フレーム７０２ａ”に対して垂直方向のオフセットをほとんど又は全く有し得ない。

立体視ビデオ７０３の左目ビューフレーム７１０及び右目ビューフレーム７１２は、平面視ビデオ７０１のビューフレーム７０２ａに関連し得るのであるが、ズームインカメラ効果並びに修正ビューフレーム７０２ａ’及び７０２ａ”に基づいて生成され得る。例えば、ズームインカメラ効果のため、修正フレーム７０２ａ”は左目ビューフレーム７１０として指定され得、修正フレーム７０２ａ’は右目ビューフレーム７１２として指定され得る。よって、立体視ビデオ７０３の左目ビューフレーム７１０及び右目ビューフレーム７１２は、ズームインカメラ効果並びに修正フレーム７０２ａ’及び７０２ａ”に少なくとも部分的に基づいて生成され得る。修正フレーム７０２ａ’及び７０２ａ”は、フレーム７０２ａと７０２ｂとの間の要素７０８ａ，７０８ｂ，７０８ｃ及び７０８ｄの動きに関連し得る。

明示的に説明されたもの以外の修正、追加、又は省略が、立体視ビデオ７０３の生成に対して行われ得る。例えば、平面視ビデオ７０１の他のフレーム７０２に関連する左目及び右目ビューフレーム（例えば、フレーム７０２ｂに関連する左目及び右目ビューフレーム）は、同様に生成され得る。更に、いくつかの実施形態において、左目及び右目ビューフレームは、それぞれのシーンの最後、又は最後に近いフレームであり得るフレーム７０２に対して、フレーム７０２に関連する修正フレームがフレーム７０２及び図３に関して上述されたようなやり方で生成される対応する推測フレームに基づいて生成され得るように、生成され得る。

図１に戻り、立体視ビデオモジュール１０４は、よって、図４−７に関して上述されたようなパン又はズーム効果に基づいて、立体視ビデオ１０３用の左目及び右目ビューフレームを生成するように構成され得る。しかし、いくつかの例において、カメラ効果はパン又はズーム効果とは異なるものであり得る。例えば、カメラ効果は、回転カメラ効果又は静止カメラ効果であり得る。そのような場合、立体視ビデオモジュール１０４は、カメラ効果がパン又はズーム効果ではないということを求め得、このことに従って左目及び右目ビューフレームを生成し得る。これらの実施形態のいくつかにおいて、立体視ビデオモジュール１０４は、カメラ効果がパン又はズーム効果ではないということを求めたことに基づいて、かつ、平面視ビデオ１０１のフレームに関連する前景及び／又は背景の動きに基づいて、左目ビューフレーム及び右目ビューフレームを生成し得る。

したがって、いくつかの実施形態において、立体視ビデオモジュール１０４は、立体視ビデオモジュールが前景及び／又は背景に関連する動きを分析し得るように、平面視ビデオ１０１に関連する前景及び背景のうちの少なくとも１つを求めるように構成され得る。これらの実施形態のいくつかにおいて、立体視ビデオモジュール１０４は、平面視ビデオ１０１のフレームに基づいて、前景及び／又は背景を求めるために、平面視ビデオ１０１のフレームに関連する、動きが最も速い要素、動きが遅い要素、及び／又は支配的な要素を求めるように構成され得る。

図８は、本開示のいくつかの実施形態による、平面視ビデオ８０１の、例としてのフレーム８０２ａ及び８０２ｂを示し、フレーム８０２ａ及び８０２ｂは動きが最も速い要素８２０、動きが遅い要素８２２、及び支配的な要素８２４を含む。平面視ビデオ８０１は、図１の平面視ビデオ１０１に実質的に類似し得る。図示される実施形態において、フレーム８０２ａ及び８０２ｂは、平面視ビデオ８０１の同一のシーンに関連し得、フレーム８０２ｂはフレーム８０２ａの後続フレームであり得る。図１の立体視ビデオモジュール１０４のような立体視ビデオモジュールは、動きが最も速い要素８２０、動きが遅い要素８２２、及び／又は支配的な要素８２４を特定するように構成され得る。

立体視ビデオモジュールは、動きが最も速い要素８２０、動きが遅い要素８２２、及び／又は支配的な要素８２４を求めるためにフレーム８０２ａ及び８０２ｂを分析し得る。例えば、立体視ビデオモジュールは、動きが最も速い要素８２０及び動きが遅い要素８２２を特定するために、フレーム８０２ａに対するフレーム８０２ｂにおける要素の変位を分析し得る。動きが速い要素は、フレーム８０２ａからフレーム８０２ｂへ、動きが遅い要素より長い距離を動き得る。よって、立体視ビデオモジュールは、フレーム８０２ａからフレーム８０２ｂへ、要素の変位を分析し得、変位の量が最大の要素は、動きが最も速い要素であると求められ得る。

図示される実施形態において、動きが最も速い要素８２０は、立体視ビデオモジュールが、動きが最も速い要素８２０をフレーム８０２ａからフレーム８０２ｂへの動きが最も速い要素として特定し得るように、フレーム８０２ａからフレーム８０２ｂへの最大の変位を有し得る。更に、図８に示されているように、動きが遅い要素８２２も、フレーム８０２ａとフレーム８０２ｂとの間で動き得るが、動きが最も速い要素８２０より程度が小さい。したがって、立体視ビデオモジュールは、動きが遅い要素８２２を、動きが最も速い要素８２０より動きが遅い要素として特定し得る。

更に、立体視ビデオモジュールは、支配的な要素８２４がフレーム８０２ａ及び８０２ｂ内で支配的な要素であることを求めるように構成され得る。いくつかの実施形態において、立体視ビデオモジュールは、特定の要素に関連するピクセルの数が求められ得るように、フレーム８０２ａ及び８０２ｂに関連するピクセルの分析に基づいて、フレーム８０２ａ及び８０２ｂ内の要素を特定し得る。したがって、いくつかの実施形態において、立体視ビデオモジュールは、支配的な要素８２４がフレーム８０２ａ及び８０２ｂに含まれる他の要素より実質的により多数のピクセルに関連しているということに基づいて、支配的な要素８２４を特定するように構成され得る。よって、フレーム８０２ａ及び８０２ｂを分析することによって、立体視ビデオモジュールは、動きが最も速い要素８２０、動きが遅い要素８２２、及び支配的な要素８２４を特定することが可能であり得る。以下で詳述されるように、これらの要素を特定することは、フレーム８０２ａ及び８０２ｂに関連する前景及び／又は背景を求める際に助けとなり得る。

図８の図示は、単に、動きが最も速い要素、動きが遅い要素、及び支配的な要素の背後の概念を導入するためにある。したがって、本開示の範囲を逸脱することなく、修正、追加、又は省略が、図８に行われ得る。いくつかの実施形態において、動きが最も速い要素８２０及び動きが遅い要素８２２のフレーム８０２ａと８０２ｂとの間の変位の量は、動きが最も速い要素８２０及び動きが遅い要素８２２のスピードにおける差に基づいて異なり得る。例えば、いくつかの例において、動きが最も速い要素８２０及び動きが遅い要素８２２のフレーム８０２ａと８０２ｂとの間の変位の量が実質的に同一であるように、動きが最も速い要素８２０及び動きが遅い要素８２２は実質的に同一のスピードで動き得る。更に、いくつかの実施形態において、支配的な要素８２４はフレーム８０２ａと８０２ｂとの間で動き得るが、他の実施形態において、支配的な要素８２４は動き得ない。更に、いくつかの例において、フレーム８０２ａ及び８０２ｂは支配的な要素を含み得ない。また、動きが最も速い要素８２０、動きが遅い要素８２２、及び／又は支配的な要素８２４の動きの方向は、異なり得る。

上述のように、シーンの前景及び／又は背景は、そのシーンに関連する動きが最も速い要素、動きが遅い要素、及び／又は支配的な要素に基づいて求められ得る。図９は、本開示のいくつかの実施形態による、シーンに関連する、動きが最も速い要素、動きが遅い要素、及び支配的な要素のうちの少なくとも１つに基づいて、そのシーンの前景及び／又は背景を求める例としての方法９００のフローチャートである。方法９００は、いくつかの実施形態において、図１の立体視ビデオモジュール１０４のような、立体視ビデオモジュールによって実現され得る。例えば、立体視ビデオモジュール１０４は、方法９００の１つ以上のブロックによって表されているような、前景及び／又は背景を求めるための動作を実行するためのコンピュータ命令を実行するように構成され得る。分離したブロックとして図示されているが、所望の実装に応じて、さまざまなブロックが、更なるブロックに分離され、より少ない数のブロックに結合され、又は削除され得る。

第１フレームと第２フレームとの間の要素及び／又はピクセルの動きが求められ得るブロック９０２において、方法９００は開始し得る。ブロック９０４において、全ての要素及び／又はピクセルが実質的に同じ向きに動いているかどうかが求められ得る。もし全ての要素及び／又はピクセルが実質的に同じ向きに動いていれば、方法９００はブロック９０６に進み得る。もし全ての要素及び／又はピクセルが実質的に同じ向きに動いていなければ、方法９００はブロック９１４に進み得る。

ブロック９０６において、第１フレームと第２フレームとに関連する動きが最も速い要素と動きが遅い要素とが求められ得る。図８のフレーム８０２ａと８０２ｂとの間の動きが最も速い要素８２０及び動きが遅い要素８２２に関して上述されたように、いくつかの実施形態において、動きが最も速い要素及び動きが遅い要素は、第１フレームに対する第２フレームにおける要素の変位に基づいて求められ得る。

ブロック９０８において、動きが最も速い要素と動きが遅い要素との間に大きな速度差があるかどうかが求められ得る。もし大きな速度差があるなら、方法９００はブロック９１０に進み得る。もし大きな速度差がないなら、方法９００はブロック９１２に進み得る。いくつかの実施形態において、速度差は、第１フレームから第２フレームへの、動きが最も速い要素と動きが遅い要素とのオフセットの差を測定することによって求められ得る。更に、いくつかの実施形態において、速度差（例えばオフセットにおける差）は閾値と比較され得、もし速度差が閾値より大きいなら、方法９００はブロック９１０に進み得るし、もし速度差が閾値より小さいなら、方法９００はブロック９１２に進み得る。いくつかの例において、閾値は映画のタイプによって変動し得る。例えば、閾値は、アクション映画に対してはドラマより高い値であり得る。

ブロック９１０において、動きが最も速い要素と動きが遅い要素との間の速度差が実質的に十分に大きい（例えば閾値より大きい）ので、動きが最も速い要素が前景にあると見なされ得るように、前景が、動きが最も速い要素と関連付けられ得る。ブロック９１２において、動きが最も速い要素と動きが遅い要素との間の速度差が実質的に十分に大きくない（例えば閾値より小さい）ので、背景が第１フレーム及び第２フレームと関連するシーン全体と関連付けられ得る。したがって、ブロック９１２において、第１フレーム及び第２フレームと関連するシーン全体は、背景にあると見なされ得る。

ブロック９０４に戻り、上述のように、もし全ての要素及び／又はピクセルの動きが同じでなければ、方法９００はブロック９１４に進み得る。ブロック９１４において、支配的な要素が第１及び第２フレームに関連するシーンに存在するかどうかが求められ得る。いくつかの実施形態において、支配的な要素が存在するか否かを求めることは、図８の支配的要素８２４に関して上述されたように、各要素に関連するピクセルの数に基づいて求められ得る。もし支配的要素が存在するなら、方法９００はブロック９１６に進み得る。もし支配的要素が存在しないなら、方法９００はブロック９２２に進み得る。

ブロック９１６において、ブロック９１４で求められた支配的要素が第１及び第２フレームに関連するシーンの実質的に中央にあるか否かが求められ得る。もし支配的要素が実質的に中央にあるなら、方法９００はブロック９１８に進み得る。もし支配的要素が実質的に中央にないなら、方法９００はブロック９２０に進み得る。

ブロック９１８において、支配的要素がシーンの実質的に中央にあるので、支配的要素が前景と見なされ得るように、前景が支配的要素と関連付けられ得る。ブロック９２０において、支配的要素がシーンの実質的に中央にないので、支配的要素が背景と見なされ得るように、背景が支配的要素と関連付けられ得る。

ブロック９１４に戻り、もし支配的要素が存在しないということが明らかになると、上述のように、方法９００はブロック９２２に進み得る。ブロック９２２において、ブロック９０６で行われたのと同様に、第１フレームと第２フレームとに関連する動きが最も速い要素と動きが遅い要素とが求められ得る。ブロック９２４において、ブロック９０８で行われたのと同様に、動きが最も速い要素と動きが遅い要素との間に大きな速度差があるかどうかが求められ得る。もし大きな速度差があるなら、方法９００はブロック９２６に進み得る。もし大きな速度差がないなら、方法９００はブロック９２８に進み得る。

ブロック９２６において、動きが最も速い要素と動きが遅い要素との間の速度差が実質的に十分に大きいので、動きが最も速い要素が前景にあると見なされ得るように、前景が、動きが最も速い要素と関連付けられ得る。ブロック９２８において、動きが最も速い要素と動きが遅い要素との間の速度差が実質的に十分に大きくないので、背景又は前景が第１フレーム及び第２フレームと関連するシーン全体と関連付けられ得る。したがって、ブロック９２８において、第１フレーム及び第２フレームと関連するシーン全体は、背景又は前景にあると見なされ得る。

したがって、方法９００は、シーンの背景及び／又は前景を求めるために用いられ得る。当業者には、ここに開示されたさまざまな処理及び方法に関して、その処理及び方法において行われる機能は異なる順序で実行され得る、ということがわかるであろう。更に、概説されたステップ及び動作は、例として提供されているのみであって、ステップ及び動作のいくつかは、開示された実施形態の本質を損ねることなく、オプションであり、より少ないステップ及び動作に結合され、又は、更なるステップ及び動作に拡張され得る。

図１に戻り、上述のように、カメラ効果がパン又はズーム効果ではないと立体視ビデオモジュール１０４が判定し得る実施形態においては、立体視ビデオモジュール１０４は、平面視ビデオ１０１のフレームに関連する前景及び／又は背景の動きに基づいて、左目ビューフレーム及び右目ビューフレームを生成し得る。

図１０は、ここで説明されるいくつかの実施形態による、平面視ビデオ１００１に関連する前景及び／又は背景の動きに基づく、平面視ビデオ１００１からの立体視ビデオ１００３の左目ビューフレーム１０１０及び右目ビューフレーム１０１２の生成のための、例としてのブロック図１０００を示す。左目ビューフレーム１０１０及び右目ビューフレーム１０１２は、図１の立体視ビデオモジュール１０４のような立体視ビデオモジュールによって生成され得る。立体視ビデオ１００３の左目ビューフレーム１０１０及び右目ビューフレーム１０１２は、平面視ビデオ１００１のフレーム１００２ａに対応し得、フレーム１００２ａ及びその関連する修正フレーム１００２ａ’に基づいて生成され得る。図示される実施形態において、修正フレーム１００２ａ’は、図２に関して上述されたようなやり方でフレーム１００２ａと１００２ｂとの間の動きに基づいて生成され得るが、他の実施形態においては、修正フレーム１００２ａ’は、図３に関して上述されたようなやり方で推測フレームを用いて生成され得る。

図示される実施形態において、立体視ビデオモジュールは、フレーム１００２ａ及び１００２ｂに関連するカメラ効果はパン又はズーム効果ではないということを求めたことに基づいて、かつ、フレーム１００２ａ及び１００２ｂに関連する前景及び背景の相対的な動きに基づいて（したがって修正フレーム１００２ａ’にも基づいて）、左目ビューフレーム１０１０及び右目ビューフレーム１０１２を生成することもし得る。いくつかの実施形態において、立体視ビデオモジュールは、図９に関して上述された方法９００を用いて背景及び前景を求め得る。他の実施形態において、背景及び前景は、他のいかなる適切な方法によっても求められ得る。

例えば、いくつかの例において、フレーム１００２ａと１００２ｂとの間において前景が景より速く動き得、立体視ビデオモジュールはそのようなことを求め得る。そのような場合、もし前景が右に動いているなら、背景がどの方向に動き得るかとは関係なく、立体視ビデオモジュールは、フレーム１００２ａを左目ビューフレーム１０１０として指定し得、修正フレーム１００２ａ’を右目ビューフレーム１０１２として指定し得る。更に、そのような場合、もし前景が左に動いているなら、背景がどの方向に動き得るかとは関係なく、立体視ビデオモジュールは、修正フレーム１００２ａ’を左目ビューフレーム１０１０として指定し得、フレーム１００２ａを右目ビューフレーム１０１２として指定し得る。

他の場合において、フレーム１００２ａと１００２ｂとの間において背景が前景より速く動き得、立体視ビデオモジュールはそのようなことを求め得る。そのような場合、もし背景が左に動いているなら、前景がどの方向に動き得るかとは関係なく、立体視ビデオモジュールは、フレーム１００２ａを左目ビューフレーム１０１０として指定し得、修正フレーム１００２ａ’を右目ビューフレーム１０１２として指定し得る。更に、そのような場合、もし背景が右に動いているなら、前景がどの方向に動き得るかとは関係なく、立体視ビデオモジュールは、修正フレーム１００２ａ’を左目ビューフレーム１０１０として指定し得、フレーム１００２ａを右目ビューフレーム１０１２として指定し得る。

したがって、立体視ビデオモジュールは、フレーム１００２ａ及び１００２ｂに関連するカメラ効果がパン又はズーム効果ではないということを求めたことに従って、フレーム１００２ａ及び１００２ｂに関連する背景及び前景の相対的な動きに基づいて（したがって、修正フレーム１００２ａ’にも基づいて）、左目ビューフレーム１０１０及び右目ビューフレーム１０１２を生成するように構成され得る。

本開示の範囲を逸脱することなく、修正、追加、又は省略が、図１０に行われ得る。例えば、上述のように、図示される実施形態において、フレーム１００２ｂはフレーム１００２ａに後続し得、修正フレーム１００２ａ’はフレーム１００２ａと１００２ｂとの間の動きに基づいて生成され得る。しかし、修正フレームが特定のシーンの最後、又は最後に近いフレームのために生成されているようないくつかの場合において、そのような場合の修正フレームは、図３に関して上述されたような推測フレームに基づいて生成され得る。更に、いくつかの実施形態においては、前景及び背景は図９の方法９００に従って検出され、他の実施形態においては、前景及び背景は他の受け入れ可能なやり方で検出され得る。

ここで説明されるいくつかの実施形態によると、立体視ビデオモジュール（例えば、図１の立体視ビデオモジュール１０４）が、平面視ビデオのフレーム間の動き及び平面視ビデオに関連する求められたカメラ効果に基づいて、立体視ビデオ用の左目及び右目ビューフレームを生成するように構成され得る、ということを、図１−１０の上述の説明は示す。図１１は、本開示のいくつかの実施形態による、カメラ効果に基づいて平面視ビデオを立体視ビデオに変換する、例としての方法１１００のフローチャートである。方法１１００は、いくつかの実施形態において、図１の立体視ビデオモジュール１０４のような立体視ビデオモジュールによって実行され得る。例えば、立体視ビデオモジュール１０４は、方法１１００の１つ以上のブロックによって表されているように、平面視ビデオを立体視ビデオに変換するための動作を行うためのコンピュータ命令を実行するように構成され得る。分離したブロックとして図示されているが、さまざまなブロックが、所望の実装に応じて、更なるブロックに分割、より少ないブロックに結合、又は削除され得る。

方法１１００が開始し得るが、ブロック１１０２において、平面視ビデオの第１フレームとその平面視ビデオの第２フレームとの間の動きが求められ得る。ブロック１１０４において、その動きに基づいて修正第１フレームが生成され得る。いくつかの実施形態において、修正第１フレームは、図２に関して与えられた説明に基づいて生成され得る。他の実施形態において、修正第１フレームは、図３に関して説明されたような推測フレームに基づいて生成され得る。

ブロック１１０６において、カメラ効果が、動きに基づいて分析され、求められ得る。例えば、カメラ効果は、パン効果、ズーム効果、又はいずれでもないとして求められ得る。ブロック１１０８において、立体視ビデオの左目ビューフレームが、カメラ効果分析並びに第１フレーム及び修正第１フレームのうちの少なくとも１つに基づいて求められ得る。ブロック１１１０において、立体視ビデオの右目ビューフレームが、カメラ効果分析並びに第１フレーム及び修正第１フレームのうちの少なくとも１つに基づいて求められ得る。ズーム効果の場合、いくつかの実施形態において、第１フレーム及び第２フレームに基づいて第２の修正第１フレームも生成され得、第１の修正第１フレーム及び第２の修正第１フレームに基づいて左目及び右目ビューフレームが生成され得る。いくつかの実施形態において、図４−１０において与えられた説明に従って、左目及び右目ビューフレームが生成され得る。

よって、方法１１００は、平面視ビデオを立体視ビデオに変換するために使用され得る。当業者は、ここに開示されるこの及び他のプロセス及び方法のために、プロセス及び方法において行われる機能は異なる順序で実行され得るということを理解するであろう。更に、概説されたステップ及び動作は、例としてのみ提供されており、ステップ及び動作のいくつかは、開示された実施形態の本質を損なうことなく、オプションであり得、より少ないステップ及び動作に結合され得、又は更なるステップ及び動作に拡張され得る。

例えば、いくつかの実施形態において、方法１１００は、図９及び１０に関して上述されたような、今度は立体視ビデオを生成するために使用され得る背景及び／又は前景を求めることに関連するステップを含み得る。他の実施形態において、前景及び背景は、他のやり方で求められ得る、又は入力によって指定され得る。

図１に戻り、上述のように、立体視ビデオモジュール１０４は、左目及び右目ビューフレームに含まれる要素の間のオフセットを調節することによって、立体視ビデオ１０３に関連する深度（depth）の量を調節するようにも構成され得る。上述のように、いくつかの実施形態において、立体視ビデオモジュール１０４が、観察者によって知覚される、どの要素が場面の前景又は背景内にあり得るのかという知覚を修正し得るように、立体視ビデオモジュール１０４は、立体視ビデオ１０３の焦点（focus point）を調節するようにも構成され得る。深度の調節及び焦点の調節は、図１２Ａから１４に関して以下で説明される。

図１２Ａは、いくつかの実施形態による、左目１２０２及び右目１２０４によって知覚され得る、例としての場面１２００を示す。場面１２００は、近い要素１２０６、中間要素１２０８、及び遠い要素１２１０を含み得る。図示される例において、左目１２０２及び右目１２０４は、中間要素１２０８が左目１２０２及び右目１２０４の焦点にあり得るように、中間要素１２０８に焦点が合わせられ得る。よって、近い要素１２０６は、左目１２０２及び右目１２０４によって知覚される前景内にあり得る。更に、左目１２０２及び右目１２０４が中間要素１２０８に焦点が合わせられているので、遠い要素１２１０は、左目１２０２及び右目１２０４によって知覚される背景内にあり得る。

図１２Ｂは、ここに開示されるいくつかの実施形態による、場面１２００に関連する立体視ビデオの左目ビューフレーム及び右目ビューフレームにおいて、要素１２０６，１２０８及び１２１０の間に見られ得る、例としてのオフセットを示すグリッド１２０１を図示する。上述のように、要素１２０６，１２０８及び１２１０の間のオフセットは、場面１２００について左目１２０２及び右目１２０４の異なる視点を模倣し得る。

図示される実施形態において、左近要素１２０６ａは、図１２Ａの左目１２０２の視点からの図１２Ａの近い要素１２０６を表し得、右近要素１２０６ｂは、図１２Ａの右目１２０４の視点からの図１２Ａの近い要素１２０６を表し得る。よって、グリッド１２０１における右近要素１２０６ｂについての左近要素１２０６ａの位置の差は、関連する立体視ビデオの、右目ビューフレームについての左目ビューフレームにおける近い要素１２０６のオフセットを表し得る。

図示される実施形態において、左近要素１２０６ａは右にあり得る。なぜなら、図１２Ａに示されているように、近い要素１２０６が左目１２０２に関連する視線１２１２の右にあり得るからである。更に、右近要素１２０６ｂは左にあり得る。なぜなら、近い要素１２０６が右目１２０４に関連する視線１２１４の左にあり得るからである。この現象は、しばしば「ネガティブパララックス」と呼ばれ、２つの目の焦点の前にある物体について発生し、図示される実施形態において焦点は中間要素１２０８に設定され得る。

グリッド１２０１の中間要素１２０８ａ／ｂは、図１２Ａの左目１２０２及び右目１２０４の両方の視点からの図１２Ａの中間要素１２０８を表し得る。図１２Ａの図示される実施形態において、左目１２０２と右目１２０４との視点の間にオフセットがほとんど又は全くあり得ないように、中間要素１２０８は左目１２０２及び右目１２０４の焦点にあり得る。よって、中間要素１２０８は、関連する立体視ビデオの右目ビューフレーム及び左目ビューフレームにおいて実質的に同じ位置にあり得る。図１２Ｂの中間要素１２０８ａ／ｂは、したがって、左目１２０２によって知覚される左中間要素１２０８ａと右目１２０４によって知覚される右中間要素１２０８ｂとのオーバーラップを示す。

更に、左遠要素１２１０ａ及び右遠要素１２１０ｂは、それぞれ図１２Ａの左目１２０２及び右目１２０４の視点からの、図１２Ａの遠い要素１２１０を表し得る。よって、グリッド１２０１における右遠要素１２１０ｂについての左遠要素１２１０ａの位置の差は、関連する立体視ビデオの、右目ビューフレームについての左目ビューフレームにおける遠い要素１２１０のオフセットを表し得る。

図示される実施形態において、左遠要素１２１０ａは左にあり得る。なぜなら、図１２Ａに示されているように、遠い要素１２１０が左目１２０２に関連する視線１２１２の左にあり得るからである。更に、右遠要素１２１０ｂは右にあり得る。なぜなら、遠い要素１２１０が右目１２０４に関連する視線１２１４の右にあり得るからである。この現象は、しばしば「ポジティブパララックス」と呼ばれ、２つの目の焦点の背後にある物体について発生し、図示される実施形態において焦点は中間要素１２０８に設定され得る。

立体視ビデオの深度の量は、左目ビューフレーム及びその関連する右目ビューフレームの対応する要素間のオフセットを調節することによって、調節され得る。例えば、図１２Ｂに関連する立体視ビデオに関連する深度の量は、左近要素１２０６ａと右近要素１２０６ｂとの間のオフセットを調節することによって、左中間要素１２０８ａと右中間要素１２０８ｂとの間のオフセットを調節することによって、及び／又は、左遠要素１２１０ａと右遠要素１２１０ｂとの間のオフセットを調節することによって、調節され得る。本開示のいくつかの実施形態において、深度は、要素間のオフセットに一律の乗算係数を適用することによって、調節され得る。

図１２Ｃは、ここに開示されるいくつかの実施形態による、図１２Ｂのオフセットに一律の乗算係数を適用した後の、図１２Ｂの要素のオフセットを、それらのそれぞれの左目及び右目ビューフレームに関して示す、例としてのグリッド１２０３を図示する。一律の乗算係数は、要素間のオフセットが実質的に同じスケールによって調節されるように、左目及び右目ビューフレームにおける実質的に全ての要素に関連するオフセットに適用され得る。図示される実施形態において、一律の乗算係数は、値２を有し得、図１２Ｃにおける要素１２０６，１２０８及び１２１０の間のオフセットがそれぞれ図１２Ｂにおける対応するオフセットに対して２倍になり得るように、図１２Ｂの要素１２０６，１２０８及び１２１０の間のオフセットに適用され得る。

例えば、図１２Ｂにおいて左近要素１２０６ａの中心と右近要素１２０６ｂの中心との間の近い要素のオフセットは、約「２」グリッドユニットであり得る。よって、近い要素のオフセットに乗算係数「２」を適用すると、図１２Ｃに示されているように、図１２Ｃにおける左近要素１２０６ａの中心と右近要素１２０６ｂの中心との間の近い要素のオフセットが約「４」グリッドユニットであるという結果になり得る。

更に、左中間要素１２０８ａと右中間要素１２０８ｂとの間の中間要素オフセットは約「０」グリッドユニットであり得る。よって、中間要素オフセットに乗算係数「２」を適用すると、「０」によって乗算された数は依然として「０」であるので、図１２Ｃにおける左中間要素１２０８ａと右中間要素１２０８ｂとの間の中間要素オフセットが依然として約「０」グリッドユニットであるという結果になり得る。

更に、図１２Ｂにおいて左遠要素１２１０ａの中心と右遠要素１２１０ｂの中心との間の遠い要素のオフセットは、約「３」グリッドユニットであり得る。よって、遠い要素のオフセットに乗算係数「３」を適用すると、図１２Ｃに示されているように、図１２Ｃにおける左遠要素１２１０ａの中心と右遠要素１２１０ｂの中心との間の遠い要素のオフセットが約「６」グリッドユニットであるという結果になり得る。

図示される実施形態において、図１２Ｂに対して図１２Ｃにおいては、右目ビューフレームに関連する右近要素１２０６ｂは左に約「２」グリッドユニット、シフトされ得、左目ビューフレームに関連する左近要素１２０６ａはシフトされ得ない。更に、図示される実施形態において、図１２Ｂに対して図１２Ｃにおいては、右目ビューフレームに関連する右遠要素１２１０ｂは右に「３」グリッドユニット、シフトされ得、左目ビューフレームに関連する左遠要素１２１０ａはシフトされ得ない。よって、右目ビューフレームを調節することによって、左目ビューフレームも調節する必要なしに、図１２Ｂに対して図１２Ｃにおいて、近い要素のオフセットが「２」グリッドユニットから「４」グリッドユニットへ増加し得るし、遠い要素のオフセットが「３」グリッドユニットから「６」グリッドユニットへ増加し得る。

代替の実施形態において、図１２Ｂに対して図１２Ｃにおいては、右目ビューフレームにおける右近要素１２０６ｂ及び右遠要素１２１０ｂをシフトする代わりに、左目ビューフレーム内の左近要素１２０６ａ及び左遠要素１２１０ａをシフトすることによって、近い要素のオフセット及び遠い要素のオフセットが調節され得る。他の実施形態において、図１２Ｂに対して図１２Ｃにおいては、左近要素１２０６ａ及び右近要素１２０６ｂの両方をシフトすることによって、近い要素のオフセットは調節され得る。更に、これらの又は他の実施形態のいくつかにおいて、図１２Ｂに対して図１２Ｃにおいては、左遠要素１２１０ａ及び右遠要素１２１０ｂの両方をシフトすることによって、遠い要素のオフセットは調節され得る。

上述の例では特定の一律の乗算係数「２」が使用されたが、いかなる適切な乗算係数も使用され得る。例えば、観察者によって知覚される深度の量を増加させるために、「１」より大きな適切な乗算係数が使用され得る。更に、観察者によって知覚される深度の量を減少させるために、「１」より小さな適切な乗算係数が使用され得る。更に、一律の乗算係数が対応する要素に関連するオフセットに適用されるとして上述されたが、いくつかの実施形態において、要素はそれぞれ１つ以上のピクセルを含み得、一律の乗算係数は対応するピクセルに関連するオフセットに適用され得る。いくつかの実施形態において、一律の乗算係数は、あらゆる要素及び／又はピクセルに関連するあらゆるオフセットに適用され得る。

したがって、本開示のいくつかの実施形態によると、立体視ビデオモジュール（例えば立体視ビデオモジュール１０４）は、立体視ビデオの左目ビューフレームと対応する右目ビューフレームとに関連する、対応する要素及び／又はピクセル間のオフセットに一律の乗算係数を適用することによって、立体視ビデオに関連する深度を調節するように構成され得る。対照的に、従来の深度調節手順は、深度を調節するためにオフセットの一律のスケーリングを適用し得ない。

立体視ビデオの焦点も、左目ビューフレームと関連する右目ビューフレームとの対応する要素間のオフセットを調節することによって、調節され得る。例えば、図１２Ｂに関連する立体視ビデオの焦点は、左近要素１２０６ａと右近要素１２０６ｂとの間のオフセットを調節することによって、左遠要素１２１０ａと右遠要素１２１０ｂとの間のオフセットを調節することによって、及び、左中間要素１２０８ａと右中間要素１２０８ｂとの間のオフセットを調節することによって、調節され得る。いくつかの実施形態において、焦点は、要素間のオフセットに一律の加算係数を適用することによって、調節され得る。一律の加算係数は、左目及び右目ビューフレーム内の実質的に全ての要素に関連するオフセットに適用され得る。更に、いくつかの実施形態において、一律の加算係数は左目及び右目ビューフレームの対応するピクセルに関連するオフセットに適用され得る。

図１２Ｄは、ここに開示されるいくつかの実施形態による、図１２Ｂのオフセットに一律の加算係数を適用した後の、図１２Ｂの要素のオフセットを、それらのそれぞれの左目及び右目ビューフレームに関して示す、例としてのグリッド１２０５を図示する。図示される実施形態において、一律の加算係数は、右目ビューフレームに関連する要素が左目ビューフレームに関連する要素に対して左にシフトされるように、適用され得る。そのように右目ビューフレーム要素が左目ビューフレーム要素に対して左にシフトすることは、より多くの要素が前景内にあるように知覚されるように、焦点を後ろに動かすという結果になり得る。

他の実施形態において、一律の加算係数は、右目ビューフレームに関連する要素が左目ビューフレームに関連する要素に対して右にシフトされるように、適用され得る。そのように右目ビューフレーム要素が左目ビューフレーム要素に対して右にシフトすることは、より多くの要素が背景内にあるように知覚されるように、焦点を前に動かすという結果になり得る。

図示される実施形態において、一律の加算係数は、値「−３」を有し得、右目ビューフレーム要素がそれぞれ、それらの対応する左目ビューフレーム要素に対して左に３グリッドユニット、シフトされ得るように、図１２Ｂの要素１２０６，１２０８及び１２１０の間のオフセットに適用され得る。図示される実施形態において、負の加算係数は、左目ビューフレーム要素に対して右目ビューフレーム要素の左へのシフトという結果になり得、正の加算係数は、左目ビューフレーム要素に対して右目ビューフレーム要素の右へのシフトという結果になり得る。しかし、他の実施形態において、正の加算係数は、左目ビューフレーム要素に対して右目ビューフレーム要素の左へのシフトという結果になり得、負の加算係数は、左目ビューフレーム要素に対して右目ビューフレーム要素の右へのシフトという結果になり得る。

例えば、図１２Ｂにおいて左近要素１２０６ａの中心と右近要素１２０６ｂの中心との間の近い要素のオフセットは、「２」グリッドユニットであり得る。よって、図１２Ｂに図示される近い要素のオフセットに加算係数「−３」を適用すると、加算係数の適用後に、左近要素１２０６ａの中心と右近要素１２０６ｂの中心との間の近い要素のオフセットが「５」であり得るように、右近要素１２０６ｂを左近要素１２０６ａに対して「３」グリッドユニット左へシフトするという結果になり得る。これは図１２Ｄに図示されている。

更に、左中間要素１２０８ａと右中間要素１２０８ｂとの間の中間要素オフセットは約「０」グリッドユニットであり得る。よって、図１２Ｂに図示される中間要素オフセットに加算係数「−３」を適用すると、加算係数の適用後に、左中間要素１２０８ａの中心と右中間要素１２０８ｂの中心との間の中間要素のオフセットが「３」であり得るように、右中間要素１２０８ｂを左中間要素１２０８ａに対して「３」グリッドユニット左へシフトするという結果になり得る。これは図１２Ｄに図示されている。

更に、図１２Ｂにおいて左遠要素１２１０ａの中心と右遠要素１２１０ｂの中心との間の遠い要素のオフセットは、「３」グリッドユニットであり得る。よって、図１２Ｂに図示される遠い要素のオフセットに加算係数「−３」を適用すると、加算係数の適用後に、左遠要素１２１０ａの中心と右遠要素１２１０ｂの中心との間の遠い要素のオフセットが「０」グリッドユニットであり得るように、右遠要素１２１０ｂを左遠要素１２１０ａに対して「３」グリッドユニット左へシフトするという結果になり得る。これは図１２Ｄに図示されている。

図示されている実施形態において、所望の量のオフセット調節を行うために、図１２Ｄにおいて図１２Ｂに対して、右目ビューフレームに関連する右近要素１２０６ｂ、右中間要素１２０８ｂ及び右遠要素１２１０ｂはそれぞれ、「３」グリッドユニット左にシフトされ得、左目ビューフレームに関連する左近要素１２０６ａ、左中間要素１２０８ａ及び左遠要素１２１０ａはシフトされ得ない。代替の実施形態において、近いオフセット、中間オフセット、遠いオフセットは、図１２Ｄにおいて図１２Ｂに対して、左近要素１２０６ａ、右近要素１２０６ｂ、左中間要素１２０８ａ、右中間要素１２０８ｂ、左遠要素１２１０ａ及び／又は右遠要素１２１０ｂのうちのいずれか１つをシフトすることによって、調節され得る。

更に、図示される実施形態は、焦点を後ろに動かすために、それはより多くの要素が前景内にあるように観察者によって知覚されるようにし得るのであるが、右目ビューフレームに関連する要素を左目ビューフレーム内のそれらの対応する要素に対して左にシフトすることを図示している。しかし、上で示されているように、他の実施形態において、焦点を前に動かすために、それはより多くの要素が背景内にあるように観察者によって知覚されるようにし得るのであるが、右目ビューフレームに関連する要素を左目ビューフレーム内のそれらの対応する要素に対して右にシフトし得る。

したがって、本開示のいくつかの実施形態によると、立体視ビデオモジュール（例えば立体視ビデオモジュール１０４）は、立体視ビデオの左目ビューフレームと対応する右目ビューフレームとに関連する、対応する要素及び／又はピクセル間のオフセットに一律の加算係数を適用することによって、立体視ビデオに関連する焦点を調節するように構成され得る。

当業者は、ここに開示されるこの及び他のプロセス及び方法のために、プロセス及び方法において行われる機能は異なる順序で実行され得るということを理解するであろう。更に、概説されたステップ及び動作は、例としてのみ提供されており、ステップ及び動作のいくつかは、開示された実施形態の本質を損なうことなく、オプションであり得、より少ないステップ及び動作に結合され得、又は更なるステップ及び動作に拡張され得る。

図１３は、本開示のいくつかの実施形態による、立体視ビデオの深度を調節する、例としての方法１３００のフローチャートである。方法１３００は、いくつかの実施形態において、図１の立体視ビデオモジュール１０４のような立体視ビデオモジュールによって実行され得る。例えば、立体視ビデオモジュール１０４は、方法１３００の１つ以上のブロックによって表されている、立体視ビデオの深度を調節するための動作を行うためのコンピュータ命令を実行するように構成され得る。分離したブロックとして図示されているが、さまざまなブロックが、所望の実装に応じて、更なるブロックに分割され得、より少ないブロックに結合され得、又は削除され得る。

方法１３００が開始し得るが、ブロック１３０２において、立体視ビデオの左目ビューフレームが生成され得る。左目ビューフレームは、複数の左目ビューフレーム要素を含み得る。いくつかの実施形態において、左目ビューフレーム要素は、左目ビューフレーム要素が左目ビューフレームの全体を実質的に含み得るように、左目ビューフレームに含まれる実質的に全ての要素であり得る。更に、左目ビューフレーム要素はそれぞれ、１つ以上のピクセルを含み得る。

ブロック１３０４において、立体視ビデオの右目ビューフレームが生成され得る。右目ビューフレームは、左目ビューフレームに対応し得、複数の右目ビューフレーム要素を含み得る。各右目ビューフレーム要素は、左目ビューフレーム要素の１つに対応し得る。いくつかの実施形態において、右目ビューフレーム要素は、右目ビューフレーム要素が右目ビューフレームの全体を実質的に含み得るように、右目ビューフレームに含まれる実質的に全ての要素であり得る。更に、右目ビューフレーム要素はそれぞれ、１つ以上のピクセルを含み得る。

ブロック１３０６において、各左目ビューフレーム要素とその対応する右目ビューフレーム要素との間のオフセットが求められ得る。いくつかの実施形態において、オフセットはピクセル単位で求められ得る。ブロック１３０８において、立体視ビデオに関連する深度が実質的に一律のスケールにおいて調節され得るように、一律の乗算係数が各オフセットに適用され得る。

よって、方法１３００は、立体視ビデオの深度を調節するために使用され得る。当業者は、ここに開示されるこの及び他のプロセス及び方法のために、プロセス及び方法において行われる機能は異なる順序で実行され得るということを理解するであろう。更に、概説されたステップ及び動作は、例としてのみ提供されており、ステップ及び動作のいくつかは、開示された実施形態の本質を損なうことなく、オプションであり得、より少ないステップ及び動作に結合され得、又は更なるステップ及び動作に拡張され得る。

例えば、いくつかの実施形態において、方法１３００は左目ビューフレーム及び右目ビューフレームの生成に関連するステップを含み得る。これらの実施形態のいくつかにおいて、左目ビューフレーム及び右目ビューフレームは、図１−１１に関して上述された１つ以上のやり方に従って生成され得る。

図１４は、本開示のいくつかの実施形態による、立体視ビデオの焦点を調節する、例としての方法１４００のフローチャートである。方法１４００は、いくつかの実施形態において、図１の立体視ビデオモジュール１０４のような立体視ビデオモジュールによって実行され得る。例えば、立体視ビデオモジュール１０４は、方法１４００の１つ以上のブロックによって表されている、立体視ビデオの焦点を調節するための動作を行うためのコンピュータ命令を実行するように構成され得る。分離したブロックとして図示されているが、さまざまなブロックが、所望の実装に応じて、更なるブロックに分割され得、より少ないブロックに結合され得、又は削除され得る。

方法１４００が開始し得るが、ブロック１４０２において、立体視ビデオの左目ビューフレームが生成され得る。左目ビューフレームは、複数の左目ビューフレーム要素を含み得る。いくつかの実施形態において、左目ビューフレーム要素は、左目ビューフレーム要素が左目ビューフレームの全体を実質的に含み得るように、左目ビューフレームに含まれる実質的に全ての要素であり得る。更に、左目ビューフレーム要素はそれぞれ、１つ以上のピクセルを含み得る。

ブロック１４０４において、立体視ビデオの右目ビューフレームが生成され得る。右目ビューフレームは、左目ビューフレームに対応し得、複数の右目ビューフレーム要素を含み得る。各右目ビューフレーム要素は、左目ビューフレーム要素の１つに対応し得る。いくつかの実施形態において、右目ビューフレーム要素は、右目ビューフレーム要素が右目ビューフレームの全体を実質的に含み得るように、右目ビューフレームに含まれる実質的に全ての要素であり得る。更に、右目ビューフレーム要素はそれぞれ、１つ以上のピクセルを含み得る。

ブロック１４０６において、各左目ビューフレーム要素とその対応する右目ビューフレーム要素との間のオフセットが求められ得る。いくつかの実施形態において、オフセットはピクセル単位で求められ得る。ブロック１４０８において、一律の加算係数が各オフセットに適用され得る。一律の加算係数は、各右目ビューフレーム要素がその対応する左目ビューフレーム要素に対して実質的に同一の量だけ一律にシフトするように、適用され得る。よって、シフトすることは、立体視ビデオに関連する焦点を調節し得る。

よって、方法１４００は、立体視ビデオの焦点を調節するために使用され得る。当業者は、ここに開示されるこの及び他のプロセス及び方法のために、プロセス及び方法において行われる機能は異なる順序で実行され得るということを理解するであろう。更に、概説されたステップ及び動作は、例としてのみ提供されており、ステップ及び動作のいくつかは、開示された実施形態の本質を損なうことなく、オプションであり得、より少ないステップ及び動作に結合され得、又は更なるステップ及び動作に拡張され得る。

例えば、いくつかの実施形態において、方法１４００は左目ビューフレーム及び右目ビューフレームの生成に関連するステップを含み得る。これらの実施形態のいくつかにおいて、左目ビューフレーム及び右目ビューフレームは、図１−１１に関して上述された１つ以上のやり方に従って生成され得る。

ここに説明された実施形態は、以下でより詳細に論じられるように、さまざまなコンピュータハードウェア又はソフトウェアモジュールを含めて、特定目的又は汎用目的のコンピュータの使用を含み得る。

ここで説明される実施形態は、それに格納されたコンピュータ実行可能な命令又はデータ構造を保持又は有するための、コンピュータ読み取り可能な媒体を用いて実装され得る。そのようなコンピュータ読み取り可能な媒体は、汎用目的又は特定目的のコンピュータによってアクセスされ得るいかなる利用可能な媒体であってもよい。限定ではなく例として、そのようなコンピュータ読み取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又は他の光ディスクストレージ、磁気ディスクストレージ又は他の磁気ストレージデバイス、又は、コンピュータ実行可能な命令又はデータ構造の形式の所望のプログラムコードを保持又は格納するために使用され得る、又は、汎用目的若しくは特定目的のコンピュータによってアクセスされ得るいかなる他のストレージ媒体をも含む、有体のコンピュータ読み取り可能なストレージ媒体を含み得る。上述のものの組み合わせも、コンピュータ読み取り可能な媒体の範囲に含まれ得る。

コンピュータ実行可能な命令は、処理デバイスによって実行され得、例えば、汎用目的のコンピュータ、特定目的のコンピュータ、又は特定目的の処理デバイスに、ある機能又は機能群を行わせる命令及びデータを含み得る。主題が構造上の特徴及び／又は方法論的な行為に特有の言葉で説明されているが、添付の特許請求の範囲に規定される主題は必ずしも上述の特定の特徴又は行為に限定されない、ということが理解されるべきである。むしろ、上述の特定の特徴又は行為は、特許請求の範囲の実装の例としての形として開示されている。

ここで用いられているように、「モジュール」又は「コンポーネント」という用語は、計算システム上で実行するソフトウェアオブジェクト又はルーチンを表す。ここで説明されるさまざまなコンポーネント、モジュール、エンジン、及びサービスは、計算システム上で実行するオブジェクト又はプロセスとして実装され得る（例えば分離したスレッドとして）。ここで説明されるシステム及び方法は、ソフトウェアで実装され得るが、ハードウェア又はソフトウェアとハードウェアとの組み合わせでの実装も可能であり、意図されている。この説明において、「計算する実体（computing entity）」はここでは前に定義されたようないかなる計算システム、又は計算システム上で走るいかなるモジュール又はモジュールの組み合わせでもあり得る。

全ての例及びここで説明された条件を表す言葉は、本発明及び発明者が寄与し技術を促進する概念を読者が理解する助けとなるように教育的な目的が意図されており、限定なしにそのような具体的に説明された例及び条件として解釈されるべきである。本発明の実施形態が詳細に説明されたが、さまざまな交換、置き換え、及び変更が、本発明の精神及び範囲を逸脱することなくここに行われ得る。

Claims (20)

1. 平面視ビデオの第１フレームと前記平面視ビデオの第２フレームとの間の動きを求めること、
   前記動きに基づいてカメラ効果を分析すること、
   前記カメラ効果の分析に基づいて立体視ビデオの左目ビューフレームを生成すること、及び、
   前記カメラ効果の分析に基づいて前記立体視ビデオの右目ビューフレームを生成すること、
   を含む、立体視ビデオを生成する方法。
2. 前記カメラ効果を分析することは、前記カメラ効果が、パン効果、ズーム効果、又はいずれでもない、のいずれであるかを求めることを含む
   請求項１の方法。
3. 前記第１フレーム及び前記第２フレームに基づいて、前景及び背景のうちの少なくとも１つを求めること、
   前記前景及び前記背景のうちの少なくとも１つに関連する、前記第１フレームと前記第２フレームとの間の動きを求めること、及び、
   前記前景及び前記背景のうちの少なくとも１つに関連する前記動きに基づいて、前記左目ビューフレーム及び前記右目ビューフレームを生成すること、
   を更に含む請求項１の方法。
4. 前記第１フレームと前記第２フレームとの間の動きに基づいて、前記第１フレーム及び前記第２フレームに関連するシーンの後続フレームを推測すること、及び、
   前記推測された後続フレームに基づいて、前記左目ビューフレーム及び前記右目ビューフレームのうちの少なくとも１つを生成すること、
   を更に含む請求項１の方法。
5. 前記第１フレーム及び前記第２フレームに関連するシーンから他のシーンへの、前記平面視ビデオにおけるシーンチェンジを検出すること、及び、
   前記シーンチェンジを検出することに応じて、前記後続フレームを推測すること、
   を更に含む請求項４の方法。
6. 前記動きに基づいて修正第１フレームを生成すること、及び、
   前記修正第１フレームに基づいて前記左目ビューフレーム及び前記右目ビューフレームのうちの少なくとも１つを生成すること、
   を更に含む請求項１の方法。
7. 前記第１フレームと前記第２フレームとの間の前記動きによって生成される穴が埋められるように、前記第１フレーム及び前記第２フレームに基づいて前記修正第１フレームを生成すること
   を更に含む請求項６の方法。
8. 前記カメラ効果に基づいて前記修正第１フレームを生成すること
   を更に含む請求項６の方法。
9. 前記カメラ効果が右へのパン効果であることを求めること、
   前記右へのパン効果に基づいて前記第１フレームを前記左目ビューフレームとして指定すること、及び、
   前記右へのパン効果に基づいて前記修正第１フレームを前記右目ビューフレームとして指定すること、
   を更に含む請求項６の方法。
10. 前記カメラ効果が左へのパン効果であることを求めること、
    前記左へのパン効果に基づいて前記第１フレームを前記右目ビューフレームとして指定すること、及び、
    前記左へのパン効果に基づいて前記修正第１フレームを前記左目ビューフレームとして指定すること、
    を更に含む請求項６の方法。
11. システムに立体視ビデオを生成するための動作を行わせるコンピュータ実行可能な命令を含む、コンピュータ読み取り可能な記憶媒体であって、前記動作は、
    平面視ビデオの第１フレームと前記平面視ビデオの第２フレームとの間の動きを求めること、
    前記動きに基づいてカメラ効果を分析すること、
    前記カメラ効果の分析に基づいて立体視ビデオの左目ビューフレームを生成すること、及び、
    前記カメラ効果の分析に基づいて前記立体視ビデオの右目ビューフレームを生成すること、
    を含む、コンピュータ読み取り可能な記憶媒体。
12. 前記カメラ効果を分析することは、前記カメラ効果が、パン効果、ズーム効果、又はいずれでもない、のいずれであるかを求めることを含む
    請求項１１のコンピュータ読み取り可能な記憶媒体。
13. 前記動作は、
    前記第１フレーム及び前記第２フレームに基づいて、前景及び背景のうちの少なくとも１つを求めること、
    前記前景及び前記背景のうちの少なくとも１つに関連する、前記第１フレームと前記第２フレームとの間の動きを求めること、及び、
    前記前景及び前記背景のうちの少なくとも１つに関連する前記動きに基づいて、前記左目ビューフレーム及び前記右目ビューフレームを生成すること、
    を更に含む請求項１１のコンピュータ読み取り可能な記憶媒体。
14. 前記動作は、
    前記第１フレームと前記第２フレームとの間の動きに基づいて、前記第１フレーム及び前記第２フレームに関連するシーンの後続フレームを推測すること、及び、
    前記推測された後続フレームに基づいて、前記左目ビューフレーム及び前記右目ビューフレームのうちの少なくとも１つを生成すること、
    を更に含む請求項１１のコンピュータ読み取り可能な記憶媒体。
15. 前記動作は、
    前記第１フレーム及び前記第２フレームに関連するシーンから他のシーンへの、前記平面視ビデオにおけるシーンチェンジを検出すること、及び、
    前記シーンチェンジを検出することに応じて、前記後続フレームを推測すること、
    を更に含む請求項１４のコンピュータ読み取り可能な記憶媒体。
16. 前記動作は、
    前記動きに基づいて修正第１フレームを生成すること、及び、
    前記第１修正フレームに基づいて前記左目ビューフレーム及び前記右目ビューフレームのうちの少なくとも１つを生成すること、
    を更に含む請求項１１のコンピュータ読み取り可能な記憶媒体。
17. 前記動作は、
    前記第１フレームと前記第２フレームとの間の前記動きによって生成される穴が埋められるように、前記第１フレーム及び前記第２フレームに基づいて前記修正第１フレームを生成すること
    を更に含む請求項１６のコンピュータ読み取り可能な記憶媒体。
18. 前記動作は、
    前記カメラ効果に基づいて前記修正第１フレームを生成すること
    を更に含む請求項１６のコンピュータ読み取り可能な記憶媒体。
19. 前記動作は、
    前記カメラ効果が右へのパン効果であることを求めること、
    前記右へのパン効果に基づいて前記第１フレームを前記左目ビューフレームとして指定すること、及び、
    前記右へのパン効果に基づいて前記修正第１フレームを前記右目ビューフレームとして指定すること、
    を更に含む請求項１６のコンピュータ読み取り可能な記憶媒体。
20. 前記動作は、
    前記カメラ効果が左へのパン効果であることを求めること、
    前記左へのパン効果に基づいて前記第１フレームを前記右目ビューフレームとして指定すること、及び、
    前記左へのパン効果に基づいて前記修正第１フレームを前記左目ビューフレームとして指定すること、
    を更に含む請求項１６のコンピュータ読み取り可能な記憶媒体。