JP2016519905A - 2次元ビデオの3次元ビデオへの変換方法及びシステム - Google Patents

2次元ビデオの3次元ビデオへの変換方法及びシステム Download PDF

Info

Publication number
JP2016519905A
JP2016519905A JP2016507524A JP2016507524A JP2016519905A JP 2016519905 A JP2016519905 A JP 2016519905A JP 2016507524 A JP2016507524 A JP 2016507524A JP 2016507524 A JP2016507524 A JP 2016507524A JP 2016519905 A JP2016519905 A JP 2016519905A
Authority
JP
Japan
Prior art keywords
frame
video
motion
view frame
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016507524A
Other languages
English (en)
Other versions
JP6333952B2 (ja
Inventor
エー マレキ ベールーズ
エー マレキ ベールーズ
サーコーシュ サルヴェナーズ
サーコーシュ サルヴェナーズ
Original Assignee
ビッタニメイト インコーポレイテッド
ビッタニメイト インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビッタニメイト インコーポレイテッド, ビッタニメイト インコーポレイテッド filed Critical ビッタニメイト インコーポレイテッド
Publication of JP2016519905A publication Critical patent/JP2016519905A/ja
Application granted granted Critical
Publication of JP6333952B2 publication Critical patent/JP6333952B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

2次元ビデオの3次元ビデオへの変換方法。前記方法は、ビデオフレームxの少なくとも一部をビデオフレームyの対応する少なくとも一部と比較することによって、これらの間の動きを求めるステップ、前記求められた動きに基づいて、動きの方向及び動きの大きさを計算するステップ、前記動きの方向に基づいてビューフレームL及びビューフレームRを求めるステップ、及び、前記動きの方向及び前記動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成するステップを含む。代替の実施形態は、2次元ビデオを3次元ビデオへ変換するビデオ表示デバイスである。他の代替の実施形態は、実行されたときに、2次元ビデオを3次元ビデオへ変換するようにビデオ表示デバイスを構成する、実行可能な命令を格納する1以上のデバイス読み取り可能な媒体を含む。

Description

本発明は、2次元(平面視)ビデオを3次元(立体視)ビデオへ変換する方法及びシステムに向けられており、より詳細には、2次元ビデオを3次元ビデオへリアルタイムで変換する方法及びシステムに向けられている。
人間は、およそ2.5インチ(およそ6.5センチメートル)の間隔をおいて離れている2つの目を用いる両眼視システムを有している。それぞれの目はわずかに異なる視点から世界を見る。脳は、距離を計算又は判定するためにこれらの視点の差を利用する。この両眼視システムは、およそ20フィート離れたところまでの物体の距離を比較的よい精度で求める能力を担っている。視野における複数の物体の相対距離も求められる。1つの目のみを用いると、この距離を求める精度が大きく低下する。
従来の3次元映画又はビデオ(以下では総称して「ビデオ」と称される)は、約3(例えば、人間の目の間隔と同じ距離)から8インチ離れて横に並んで搭載された2つのビデオソース(例えば、カメラ)を用いて作成される。この距離は軸間距離又は眼間距離と呼ばれることが多い。2つのビデオソースは、実際、2つのビデオを作成する。1つは左目用、1つは右目用である。各ビデオは、一連の「フレーム」(「フレーム」又は「ビデオフレーム」と称される)から成る。
従来より、3次元ビデオの投影又は表示は、例えば色識別システムや偏光システムを用いて、複数のビデオを投影又は表示することによって行われてきた。これは、それぞれがビデオのうちの1つを表示する複数の投影又は表示デバイス(例えば、プロジェクター)を用いて行われ得る。これは、また、ビデオをオーバーラップ又はインターリーブするやり方で表示する単一の投影又は表示デバイス(例えば、コンピュータのデジタル又はアナログ表示システム、BETAMAX(登録商標)プレーヤー、ビデオカセットレコーダー、DVDプレーヤー、ブルーレイプレーヤー、テレビジョン)を用いて行われてきた。人間の両眼視システムは、オーバーラップ又はインターリーブする表示のうちの1つのみをそれぞれの目が見るので、これらのオーバーラップする表示を自動的に互いに関連付けることができる。
図1は、色を識別のために使用する3次元ビデオ22を投影又は表示する例示的な従来の色識別(color differentiation)システム20を示す。第1ビデオソース24は第1カラーフィルタ(例えば赤)を通して投影し、第2ビデオソース26は第2カラーフィルタ(例えば青)を通して投影する。この図のビデオ22は、誇張された二重像で示されている。観察者は、対応する色レンズ30、32を有する特殊なメガネ28を装着する。例えば、第1レンズ30は、カラーフィルタのうちの1つと同じ色であり(例えば青−−図面ページの下部に平行な水平線として示されている)、第2レンズ32は、もう1つのカラーフィルタと同じ色であろう(例えば赤−−図面ページの側方に平行な垂直線として示されている)。画面表示は両方の色を有するであろう(画面から投影する矢印として示されている)。第1レンズ30によって覆われる目は、反対の色を投影又は表示するビデオソース24によって投影又は表示されるピクチャを見るであろう。ChromaDepth(登録商標)は、同じ基本原理で働くメガネを生み出す(類似の2色技術を用いた微少プリズムを用いて)。
図2は、偏光を識別のために使用する3次元ビデオ42を投影又は表示する例示的な偏光識別(polarization differentiation)システム40を示す。この図のビデオ42は、誇張された二重像で示されている。このシステムは、偏光された光が偏光メガネを、両者が同じ方向に偏光されている場合にのみ通るという事実を利用している。したがって、第1ビデオソース44は第1偏光フィルタ(例えば水平)を通して投影し、第2ビデオソース46は第2偏光フィルタ(例えば垂直)を通して投影する。観察者は、対応する偏光レンズ50、52を有する特殊なメガネ48を装着する。例えば、第1レンズ50は、偏光フィルタのうちの1つと偏光を有し(例えば垂直の破線として示されている)、第2レンズ52は、もう1つの偏光フィルタと同じ偏光を有するであろう(例えば水平の破線として示されている)。この例では、第1レンズ50によって覆われる目は、水平に偏光されたピクチャを投影するビデオソース44によって投影又は表示されるピクチャを見るであろうし、第2レンズ52によって覆われる目は、垂直に偏光されたピクチャを投影するビデオソース46によって投影又は表示されるピクチャを見るであろう。
3次元映画を表示するために用いられるもう一つの技術は、液晶シャッターメガネを使用する。液晶シャッターメガネは、液晶及び偏光フィルタを使用し、電圧が与えられるまでは透明で、電圧が与えられたときに黒くなる。赤外線送信器は、最初に1つの目、次にもう一方の目というように、レンズが透明と黒とを交互に切り換えるように、電圧をトリガーする赤外線信号を送信する。この交互に透明/黒にすることは、交互フレームシーケンス(alternate-frame sequencing)と呼ばれる技術を用いて第1の目のための第1の表示と第2の目のための第2の表示とを交互に表示する、特化した表示画面のリフレッシュレートと同期している。液晶シャッターメガネと特化した表示画面は、ともに用いられると、3次元ピクチャ(又は少なくともピクチャの3次元要素)の錯覚を作り出す。
3次元映画は長い間存在してきた。しかし、その1950年代の最盛期の後、メディアとしての3次元映画は衰退し、映画プロデューサーたちは関心を他の技術に向けた。しかし、新技術(偏光識別システムを含む)は、このメディアをより魅力的なものにし、新たな映画が3次元映画として作成され、リリースされている。この第1の理由は、3次元映画の質に大きな向上があったということである。3次元映画が人気を得たもう1つの理由は、映画を見る人々がこの特殊な効果に進んで追加料金を払うように見えるということである。
たとえ映画プロデューサーが新たな3次元映画を作成するために新技術に投資しようとしても、3次元技術を用いる映画を撮影するのは、2次元技術を用いるのと比べるとかなり多くの費用がかかる。更に、既に作成された何百万もの2次元映画が存在する。このため、2次元映画を3次元映画に変換するシステム及び方法を見つける必要がある。
この必要を鑑みて、発明者たちは2次元映画を3次元映画に変換する方法及びシステムを作り出そうとし続けてきた。例えば、2次元映画を3次元視するための方法及びシステムに向けられた多数の特許が存在する。これらの特許の多くは、シーンの1以上の要素又は物体を「識別し」、「切り抜き」、及び/又は「移動する」分析のいくつかのタイプを説明し、その要素又は物体を層状に積み重ねて奥行きの錯覚を作り出す。この部類に属する特許には、Richardsの米国特許第6,477,267号及びNaskeの米国特許第7,321,374号が含まれるが、これらには限定されない。しかし、2次元映画を3次元視(立体視)に変換するこれらの先行技術の方法は、全く機能しない(すなわち、理論上は機能するかもしれないが、現在利用可能なコンピュータ技術はこれらの計算量の大きな方法を実現するのに十分な性能を有していないので、実際にはそれらは機能することができない)、リソースを多く使用する、及び/又は、許容できる結果を生み出さない(例えば、書き割り効果(cardboard cut-out effect))。例えば、先行技術の方法のいくつかは、多くの計算量が大きいので、現在のプロセッサは、各シーンにおいて2、3個より多くの要素又は物体のための計算を扱うのに十分な性能を有していない。
本発明の好適な一実施形態は、2次元ビデオを3次元ビデオに変換する方法に向けられている。前記方法は、ビデオフレームxの少なくとも一部をビデオフレームyの対応する少なくとも一部と比較することによって、これらの間の動きを求めるステップと、前記求められた動きに基づいて、動きの方向及び動きの大きさを計算するステップと、前記動きの方向に基づいてビューフレームL及びビューフレームRを求めるステップと、前記動きの方向及び前記動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成するステップとを含む。
好適な実施形態において、前記比較するステップは、ビデオフレームxの所定の数のピクセルをビデオフレームyの対応する所定の数のピクセルと比較することを更に含む。代替の実施形態において、前記比較するステップは、ビデオフレームxのエッジにある少なくとも1つのピクセルをビデオフレームyのエッジにある対応する少なくとも1つのピクセルと比較するステップ、ビデオフレームxの中央部の少なくとも1つのピクセルをビデオフレームyの中央部の対応する少なくとも1つのピクセルと比較するステップ、及び/又は、ビデオフレームxの少なくとも2つのコーナーにある少なくとも1つのピクセルをビデオフレームyの少なくとも2つのコーナーにある対応する少なくとも1つのピクセルと、これらの間の動きを求めるために、比較するステップを、更に含む。
好適な実施形態において、前記動きの方向に基づいてビューフレームL及びビューフレームRを求めるステップは、(1)動きの方向が右向きである場合には、ビデオフレームxをビューフレームLであるとして設定し、ビデオフレームyをビューフレームRであるとして設定するステップ、及び、(2)動きの方向が左向きである場合には、ビデオフレームxをビューフレームRであるとして設定し、ビデオフレームyをビューフレームLであるとして設定するステップとを、更に含む。
好適な実施形態において、ビューフレームRを修正するステップは、ビューフレームRをデジタル的に歪ませることによって、修正ビューフレームR’を作成するステップを更に含む。デジタル歪みは、ビューフレームRを引き延ばされた台形にデジタル的に歪ませることによって、修正ビューフレームR’を作成することであり得る。デジタル歪みは、ビューフレームRを、オリジナルのフレームサイズを超えるエッジがトリミングされた引き延ばされた台形に、デジタル的に歪ませることによって、修正ビューフレームR’を作成することであり得る。
本発明は、2次元ビデオを3次元ビデオへ変換するビデオ表示デバイスにも向けられ得る。
本発明は、実行されたときに、2次元ビデオを3次元ビデオへ変換するようにビデオ表示デバイスを構成する実行可能な命令を格納する、1以上のデバイス読み取り可能な媒体にも向けられ得る。
本発明の以上の、並びに他の目的、特徴、及び利点は、以下の本発明の詳細な説明を添付の図面と併せて考慮することによってより容易に理解されるであろう。
添付の図面は、この明細書に組み込まれ、この明細書の一部を構成し、さまざまな例示的な実施形態を図示する。
図1は、例示的な従来の色識別システムの簡素化された透視図である。 図2は、例示的な従来の偏光識別システムの簡素化された透視図である。 図3は、2次元ビデオの3次元ビデオへの変換方法及びシステムの例示的な好適な実施形態を示すフローチャートである。 図4は、色識別システムの例示的な好適な実施形態を用いて連続するビデオフレームの一対を組み合わせてビューフレームを作成するシステムの例示的な好適な実施形態の簡素化されたブロック図である。 図5は、偏光識別システムの例示的な好適な実施形態を用いて連続するビデオフレームの一対を組み合わせてビューフレームを作成するシステムの例示的な好適な実施形態の簡素化されたブロック図である。 図6は、それぞれがピクセル(P)のアレイを有する例示的なビデオフレームx及びyのセット、並びに、ビデオフレームxにおける例示的なエッジ領域、例示的な中央領域、及び2つの例示的なコーナーをビデオフレームyの対応する例示的なエッジ領域、対応する例示的な中央領域、及び2つの対応する例示的なコーナーとともに示す図示の簡素化された表示である。 図7は、どのようにさまざまな領域が連続して次々に照合されるかの例示的な好適な実施形態のフローチャートである。 図8(A)−8(D)は、動きが右向きであるときの、本発明の例示的な好適な実施形態の一連の図による表現である。 図9(A)−9(D)は、動きが左向きであるときの、本発明の例示的な好適な実施形態の一連の図による表現である。 図10は、その上にオーバーレイされた2つの連続するフレームからの要素を有するピクセル(P)のアレイの簡素化された図であり、要素は2つのフレームの間で数ピクセル(P)分移動する。 図11は、その上にオーバーレイされた2つの連続するフレームからの要素を有するピクセル(P)のアレイの簡素化された図であり、要素は2つのフレームの間で多くのピクセル(P)分移動する。 図12は、オリジナルの形のビューフレームRの均等に間隔が空けられているコンポーネント(X)のアレイの簡素化された画面図である。 図13は、伸張歪みが与えられた後のビューフレームRのコンポーネント(X)のアレイの簡素化された画面図である。 図14は、台形歪みが与えられた後のビューフレームRのコンポーネント(X)のアレイの簡素化された画面図である。
本発明は、2次元(平面視)ビデオを3次元(立体視)ビデオに変換する方法及びシステムに向けられている。この発明は、変換をリアルタイムでなし得るように、最低限の計算リソースを使用する。シーンにおける要素や物体の、多くのリソースを要する分析や同定を使用し、同定された要素や物体を切り抜く、多くのリソースを要する処理を使用し、それらの要素や物体のみ位置を変える(時には空白で埋める必要がある)、多くのリソースを要する処理を使用する従来技術と比べて、本発明はリソースを大いに節約する。これにより、本発明が2次元ビデオを3次元ビデオにリアルタイムで変換することが可能になる。
ここに記載された発明、例、及び実施形態は、特に例示された物質、方法、及び/又は構造には限定されない、ということが理解されるべきである。更に、ここに引用された全ての出版物、特許、及び特許出願は、上記のものも下記のものも、それらの全体が参照としてここに組み込まれる。
本発明及び図面を説明する前に、いくつかの用語が明確にされるべきである。
上述のように、「ビデオ」(video)という用語は、一連の「フレーム」(「フレーム」又は「ビデオフレーム」と称される)で構成される映画(movie)又はビデオを表すために用いられる。明確にするために、連続するビデオフレームは、ビデオフレームx及びビデオフレームyと称される。これらの用語は関係があることが意図されており、したがって、ビデオフレームyはビデオフレームxに続くフレームとなる。論じられるように、左目に示されるビデオフレームはビューフレーム(viewing frame)Lと称され、右目に示されるビデオフレームはビューフレームRと称される。しかし、ビューフレームL及びビューフレームRのうちの1つ又は両方は、修正されてもよい、ということに注意すべきである。表示されるものが修正版である場合には、表示されるビューフレームは「修正ビューフレーム(modified viewing frame)」として表される。
各ビデオフレーム及び/又はビューフレームは、要素や物体(一般に要素と称される)を含む「ピクチャ」を表示する。例えば、空(そら)の「ピクチャ」において、飛行機の「要素」が画面を横切って飛行し得る。要素は、動く要素又は静止した要素であり得る。デジタルイメージングにおいては、「ピクセル」という用語は、画像内における情報の最小のものを示すために一般に使用される。ピクセルは、通常は2次元グリッドに配置される。「ピクセル」という用語は、本発明においては、主に、ピクチャ又はその中の要素を表示するために使用される表示デバイス上のピクセルの形式で使用される。それは、オリジナルのビデオフレームx及びyのデジタルデータを表現するためにも使用され得る。ピクセル(P)は、例えば図6,10,及び11に関して、表示され、論じられる。この発明の理解のために、ピクチャは、ピクチャの小部分を表しアレイ状に配置されたコンポーネント(X)のアレイから構成されるとして説明されてもよい。デジタルメディアでは、コンポーネント(X)は、例えば、電子データ及び/又はピクセルであり得る。アナログメディア(例えばフィルム及びビデオテープ)では、コンポーネント(X)は、実際のセルロイドであり得る。コンポーネント(X)は、例えば、図12−14に関して、表示され、論じられる。状況によってはこれらは交換可能であるが、本発明のためには、コンポーネント(X)をピクセル(P)から区別するのは、コンポーネント(X)は歪み処理において移動させられ得るということである。これは図12及び図14を見ることによってよりよく理解されるかもしれない。図12において、右上のコーナーのコンポーネント(X)は右上のコーナーのピクセル(P)(図示せず)と同じかもしれないが、フレームが図14に示されているように歪ませられた後では、右上のコーナーのコンポーネント(X)は、フレームの外にあるであろうし、依然として図12におけるのと同じ位置にあるであろう右上のコーナーのピクセル(P)(図示せず)とは同じではないであろう。
本発明は、ビデオ表示システム(例えば、ビデオカセットレコーダー、映画プロジェクター、テレビジョン、及び他の投影又は表示デバイス)、コンピュータ(例えば、ワークステーション、ハンドヘルドテクニカルデバイス、又は他のプログラマブル装置)、ビデオを投影又は表示可能な専用又は汎用のデバイス、又は、ビデオを投影又は表示可能な、実質的に全ての現在又は将来の技術手段を含むがこれらには限定されないさまざまなタイプの技術を用いて、実現され得る。これらの全ては、この明細書では「ビデオ表示デバイス」と称される。ビデオ表示デバイスは、1以上の処理ユニットで構成され得る。ビデオ表示デバイスは、本発明のビデオ表示デバイスとしてともに機能する、テレビジョン及び取り付けられた「ボックス」のような、デバイスの組合せであってもよい。また、本発明のビデオ表示デバイスは、例えば、記録段階(例えば、CD、DVD、又はテープを焼く又はこれらに記録する)と再生段階(例えば、CD、DVD、又はテープを再生する)という、2つの時間的及び/又は物理的に別個の段階で実現されてもよい。ビデオ表示デバイスは、特に本発明のために作られてもよく、及び/又は、本発明を用いて使用されるようにプログラムされ又は適合させられていてもよい。
本発明の方法は、エンコードされ、及び/又は、ビデオ表示デバイス又はビデオ表示デバイスと連携して働くデバイスによって「読み取り」されることが可能な媒体に格納され得る、ということに注意すべきである。この媒体は、メモリ媒体(例えば、RAM、PROM、EPROM、又はフラッシュEPROM)、磁気媒体(例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、又は磁気テープ)、光学媒体(例えば、CDROM、及びDVD)、物理媒体(例えば、パンチカード、又は紙テープ)、又は、現在又は将来の実質的に全てのメモリ及び/又は記憶手段を含むが、これらには限定されず、これらの全てはこの明細書において「メモリ」、「メモリ手段」、及び/又は「デバイス読み取り可能な媒体」と称される。メモリは、揮発性及び/又は非揮発性であり得る。メモリは、ビデオ表示デバイスと一体化、及び/又はビデオ表示デバイスとは別個のものであり得る。例として、ビデオ表示デバイスがコンピュータである場合には、メモリは、実行されたときに、本発明に従って2次元ビデオを3次元ビデオに変換するようにビデオ表示デバイスに指示する、コンピュータ実行可能な命令を有しているコンピュータ読み取り可能な媒体であり得る。
本発明は、2次元ビデオを3次元ビデオに変換する方法として実現されてもよい、ということに注意すべきである。本発明は、2次元ビデオを3次元ビデオに変換するシステムとして実現されてもよい、ということに注意すべきである。「システム」は、ビデオ表示デバイス、及び/又は、実行されたときに、2次元ビデオを3次元ビデオに変換するようにビデオ表示デバイスを構成する、実行可能な命令を格納しているデバイス読み取り可能な1以上の媒体であってもよい、ということに注意すべきである。
本明細書を通して、用語やフレーズは別の定義及び/又は例を有し得る、ということに注意されたい。特に定義されていない語、フレーズ、及び頭字語には、当該技術における通常の意味が与えられている。典型的な実施形態は図面を参照してよりよく理解され得るが、これらの実施形態は限定する性質のものであるとは意図されていない。同一の参照番号は、この文書において図面及び説明を通して、同一又は類似の部分を参照するために使用される。最後に、この明細書及び添付の特許請求の範囲で使用されているように、内容が明確に異なる規定をしていなければ、単数形は複数の指示対象を含む。
図3及び7は、方法及びシステムを図示するフローチャートである。たとえ方法におけるステップに関してのみ説明されていても、これらのフローチャートの各ブロック、及びこれらのフローチャートのブロックの組合せは、ソフトウェア(例えば、プログラム命令、ソフトウェアプログラム、及びサブプログラム)によって、ハードウェア(例えば、プロセッサ及びメモリ)によって、ファームウェアによって、及び/又は、これらの形式の組合せによって実現され得ると理解される。例として、ソフトウェアの場合、ビデオ表示デバイス上で実行される命令がフローチャートのブロックで規定された機能を実現するための構造を作成するように、プログラム命令はビデオ表示デバイス(又はビデオ表示デバイスのメモリ)上にロードされ、装置を生成する。メモリに格納された命令が、フローチャートのブロックで規定された機能を実現する命令構造を含む製品を生成するような、特定の方法で機能するようにビデオ表示デバイスに指示することができるこれらのプログラム命令は、メモリに格納されてもよい。一連の動作ステップがビデオ表示デバイス上で、又はビデオ表示デバイスによって実行されるようにして、ビデオ表示デバイス上で実行される命令が、フローチャートのブロックで規定された機能を実現するステップを提供するようなビデオ表示デバイス実現処理を生成するように、プログラム命令は、ビデオ表示デバイスにロードされてもよい。したがって、フローチャートのブロックは、規定された機能を実行するステップ、構造、及び/又はモジュールの組合せをサポートする。フローチャートの各ブロック、及びフローチャートのブロックの組合せは、本発明の範囲に影響を与えることなく、分割及び/又はフローチャートの他のブロックと結合され得る、ということも理解されるであろう。
まず、本発明は単一の2次元ビデオから始まる、ということが強調されるべきである。図1及び2に関連して述べられた従来技術は、2つの2次元ビデオから始まり、それぞれは2つのビデオソースの独立した1つから作られている。
図3は、2次元ビデオを3次元ビデオに変換する方法を示すフローチャートであり、これは4つの基本的なステップを含む。第1ステップは、ステップ100に示されているように、ビデオフレームxの少なくとも一部をビデオフレームyの対応する少なくとも一部と比較することによって、これらの間の動きを求めることである。第2ステップは、ステップ102に示されているように、求められた動きに基づいて動きの方向及び動きの大きさを計算することである。第3ステップは、ステップ104に示されているように、動きの方向に基づいてビューフレームL及びビューフレームRを求めることである。第4ステップは、ステップ106に示されているように、動きの方向及び動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成することである。これらのステップは、ここでより詳細に説明される。これらのステップ(ステップ100、102、104、及び106)は、複数の連続するフレームのために繰り返され得る。上述のように、この明細書における全てのフローチャートの場合と同様に、この方法はソフトウェアによって実現されるのみではなく、ハードウェア、ファームウェア、及び/又は、ハードウェア、ファームウェア及び/又はソフトウェアの組合せを使用するシステムとしても実現され得る。
図4及び5は、本発明の2つの例示的な実施形態を説明するために使用され得る簡素化したブロック図である。図4は、色識別システムを用いる例示的な好適な実施形態において用いられ得、図5は、1秒あたり先行システムより多くのフレームを表示可能な最近のシステムを利用する例示的な偏光識別システムを用いる例示的な好適な実施形態において用いられ得る。例えば、従来システムは1秒に24フレームしか表示しないが、より最近の(そして将来の)システムは、1秒に60、120、144、又はより多くのフレームを表示可能である。これらの図の両方における上のボックス列において、F1−F5はビデオにおける連続するフレームを表すために使われている。2つの連続するフレームは、ビデオフレームx(第1)及びビデオフレームy(第2)と呼ばれるであろう。図4における下のボックス列は、同時に表示されるビューフレームL及び修正ビューフレームR’を表す。ビューフレームL及び修正ビューフレームR’の両方は、それぞれの目(例えば、目にはカラーフィルタが用いられ得る)のみによって見ることができるように、修正されてもよく(ビューフレームL)、更に修正されてもよい(修正ビューフレームR’)、ということに注意すべきである。この修正又は更なる修正は、修正ビューフレームR’の歪曲修正(distortion modification)の前又は後で行われ得る、ということに注意すべきである。図5の下のボックス列は、交互に表示されるビューフレームL及び修正ビューフレームR’を表している。ビューフレームL及び修正ビューフレームR’の両方は、それぞれの目(例えば、下のボックス列の下の方向を示す矢印で示されているように、フレームは偏光方向を交互に変えて表示され得る)のみによって見ることができるように、修正されてもよく(ビューフレームL)、更に修正されてもよい(修正ビューフレームR’)、ということに注意すべきである。この修正又は更なる修正は、修正ビューフレームR’の歪曲修正の前又は後で行われ得る、ということに注意すべきである。
図3のステップ100は、ビデオフレームxの少なくとも一部をビデオフレームyの対応する少なくとも一部と比較することによって、これらの間の動きを求めることである。本発明の好適な実施形態は、ビデオフレームxの一部をビデオフレームyの対応する一部と比較するのみであるので、計算資源を節約することができる。第1フレームの全ピクセルを第2フレームの全ピクセルと比較する従来の比較方法と比べると、本発明は、ビデオフレームxの全てをビデオフレームyの全てと比較するシステムによって使用される計算資源の1%よりかなり少ない資源しか使用しない。
図6は、大きく誇張したピクセル(P)を有するビデオフレームx及びyの簡略化された組を示す。例示的な画面はピクセル(P)の1920×1080のアレイを有し得る。しかし、本発明は、ピクセル(P)のいかなるサイズのアレイをも処理するであろう。代替の好適な実施形態においては、ステップ100は、それらの間でのピクセル(P)の動きを求めるために疑似パターン認識(pseudo-pattern recognition)を用いて行われ得る。ほとんど全てのパターン認識又は疑似パターン認識方法がこの目的のために使用され得るが、例、及び/又は実施可能性を提供するため、この目的のために使用され得る例示的な方法が、Kanekoらの米国特許出願公開第20070217685号、Nystadらの米国特許出願公開第20070146380号、Cavallaroらの米国特許出願公開第20090028425号、Florentの米国特許第5,406,501号、及びLoらの米国特許第5,109,435号に開示されている。これらの参考文献は、参照としてここに組み込まれる。他の代替の好適な実施形態では、ステップ100は、ビデオフレームxの所定の数のピクセル(P)をビデオフレームyの対応する所定の数のピクセル(P)と、これらの間の動きを求めるために、比較することによって行われ得る。例として、所定の数のピクセル(P)は、ピクセル(P)の1920×1080のアレイを有する例示的なディスプレイに対しては、5から30ピクセル(P)の間であり得る。所定の数のピクセル(P)は、単純なプリセットされた数、画面の特性(サイズ及び/又はピクセル数)に基づいて求められた数、又は、例えば1秒あたりのフレーム数、画面の大きさ、及び/又は画面上のピクセル数に基づいて計算された数であり得る、ということに注意すべきである。本発明の好適な実施形態において、所定の数のピクセル(P)は、画面のピクセルの総数の10%未満であろう、ということに注意すべきである。本発明の代替の好適な実施形態において、所定の数のピクセル(P)は、画面のピクセルの総数の1%未満であろう、ということに注意すべきである。
他の代替の好適な実施形態において、ステップ100は、ビデオフレームxのエッジにある少なくとも1つのピクセル(P)をビデオフレームyのエッジにある対応する少なくとも1つのピクセル(P)と、これらの間の動きを求めるために、比較することによって、ビデオフレームxの中央部にある少なくとも1つのピクセル(P)をビデオフレームyの中央部にある対応する少なくとも1つのピクセル(P)と、これらの間の動きを求めるために、比較することによって、及び/又は、ビデオフレームxの少なくとも2つのコーナーにある少なくとも1つのピクセル(P)をビデオフレームyの少なくとも2つのコーナーにある対応する少なくとも1つのピクセル(P)と、これらの間の動きを求めるために、比較することによって、行われ得る。図6は、例示的なエッジ領域120、例示的な中央領域122、及び2つの例示的なコーナー124a、124bを有するビデオフレームxと、対応する例示的なエッジ領域120’、対応する例示的な中央領域122’、及び2つの対応する例示的なコーナー124a’、124b’を有するビデオフレームyとを示す。これらの例示的な領域は、本発明の範囲を制限することを意図していない。
上述のように、ステップ100は、ビデオフレームxのエッジにある少なくとも1つのピクセル(P)をビデオフレームyのエッジにある対応する少なくとも1つのピクセル(P)と、これらの間の動きを求めるために、比較することによって、ビデオフレームxの中央部にある少なくとも1つのピクセル(P)をビデオフレームyの中央部にある対応する少なくとも1つのピクセル(P)と、これらの間の動きを求めるために、比較することによって、及び/又は、ビデオフレームxの少なくとも2つのコーナーにある少なくとも1つのピクセル(P)をビデオフレームyの少なくとも2つのコーナーにある対応する少なくとも1つのピクセル(P)と、これらの間の動きを求めるために、比較することによって、行われ得る(最後の比較は、少なくとも1つのコーナーの少なくとも1つのピクセル、及び少なくとも第2のコーナーの少なくとも1つのピクセルを意味している−−2つのコーナーを用いることは、シーンが、ズームイン、すなわちより近づいている、又はズームアウト、すなわちより遠くに離れて行く場合に、特に効果的であろう)。これらの比較はいずれも、個々に、又はいかなる組合せ又は順序でも行われ得る。また、ステップは、異なる大きさ及び/又は範囲を用いて繰り返され得る(例えば、まず所定の領域の5個のピクセル(P)を比較し、次に同じ所定の領域の10ピクセル(P)を比較し、次に同じ所定の領域の20ピクセル(P)を比較する)。しかし、ある好適な実施形態においては、順序は変わり得る、ということに注意すべきであるが、さまざまな領域が連続して次々に照合される。図7は、これがどのようにして働き得るかの例を示すフローチャートである。130において示されているように、ビデオフレームxのエッジにある少なくとも1つのピクセル(P)がビデオフレームyのエッジにある対応する少なくとも1つのピクセル(P)と比較されることによって、これらの間の動きが求められる。判断132は、130において動きが見つかったか否かを尋ねる。見つかった場合には、分析は完了し、次のステップは図3のステップ102(求められた動きに基づいて動きの方向及び動きの大きさを計算する)である。一方、動きが見つからなかった場合には、134において示されているように、ビデオフレームxの中央部にある少なくとも1つのピクセル(P)がビデオフレームyの中央部にある対応する少なくとも1つのピクセル(P)と比較されることによって、これらの間の動きが求められる。判断136は、134において動きが見つかったか否かを尋ねる。見つかった場合には、分析は完了し、次のステップは図3のステップ102(求められた動きに基づいて動きの方向及び動きの大きさを計算する)である。一方、動きが見つからなかった場合には、138において示されているように、ビデオフレームxの少なくとも2つのコーナーにある少なくとも1つのピクセル(P)がビデオフレームyの少なくとも2つのコーナーにある対応する少なくとも1つのピクセル(P)と比較されることによって、これらの間の動きが求められる。判断140は、138において動きが見つかったか否かを尋ねる。見つかった場合には、分析は完了し、次のステップは図3のステップ102(求められた動きに基づいて動きの方向及び動きの大きさを計算する)である。一方、動きが見つからなかった場合には、いくつかのシナリオがあり得る。ある好適な例示的な実施形態においては、ビデオフレームx及びビデオフレームyの他の「領域」が比較される。他の好適な例示的な実施形態においては、ビデオフレームx及びビデオフレームyの全てのピクセル(P)が比較される。更に他の好適な例示的な実施形態においては、分析が終了し、ビデオフレームx及びビデオフレームyが表示される。
図7に示されたステップの順序は変化してもよい。例えば、中央領域が常に最初に検討されてもよい。更に、いずれの領域が最初に検討されるかの選択は、「インテリジェント」なものであってもよい。例えば、ステップ130(エッジ領域)で動きが見つからないが、ステップ134(中央領域)で見つかる場合には、ビデオフレームの次のセットはステップ134を最初に用いて比較されてもよい。このオプションは、一連のフレームにおいて動きは類似する可能性が高いという事実を利用する。例えば、映画のシーンに画面の中央で動く人がいる場合には、その一連のフレームは、その領域に動きを有するであろう。
上述のように、図4及び5は、一連のビデオフレームの簡略化されたブロック図、及び色識別システム(図4)及び偏光識別システム(図5)を用いてビューフレームを作成するために連続するビデオフレームがどのように組み合わされるかを示す。ビデオのビデオフレームx及びyとビューフレームL及びRとの間のステップ(例えば、図3からのステップ102、104、及び106)における更なる詳細が、図8(A)−8(D)及び図9(A)−9(D)に示されている。図8(A)−8(D)と図9(A)−9(D)との間の最も重要な違いは、図8(A)−8(D)が右向き(左から右へ)の動きを示し、図9(A)−9(D)が左向き(右から左へ)の動きを示す、ということである。それゆえ、類似するものが、修飾子のみが異なる同一の参照番号を用いて説明される(図8(A)−8(D)には「a」、図9(A)−9(D)には「b」)。修飾子のない参照番号は、図の両方のセットにあてはまる。これらの図において、本発明のいくつかの局面は大いに誇張されている(例えば、「歪み」のサイズは、全画面領域のずっと小さな割合であろう)。他の局面は、他の図においてより明瞭に示されている(例えば、図14には台形歪みがより明瞭に示されている)。
上述のように、本発明の例示的な処理の好適な実施形態の第2ステップ102(図3)は、求められた動きに基づいて、動きの方向及び動きの大きさを計算している。このステップは、ステップ100から得られた情報を用いて実行される(ビデオフレームxの少なくとも一部をビデオフレームyの対応する少なくとも一部と比較することによって、これらの間の動きを求める)。図8(A)及び9(A)を見ると、2つの連続したビデオフレーム(x及びyと名付けられている)は、これらの中央領域(矩形150a、150bとして示されている)において動きを有する。ビデオフレームx内の矩形150aがフレームの左半分にあり、ビデオフレームy内の矩形150aが右に向かいフレームのより中央の位置まで動いた、という点で、図8(A)において、矩形150aの動く方向は右向きである。ビデオフレームx内の矩形150bがフレームの右半分にあり、ビデオフレームy内の矩形150bが左に向かいフレームのより中央の位置まで動いた、という点で、図9(A)において、矩形150bの動く方向は左向きである。左向き又は右向きは動きの方向であり、いくつかの好適な実施形態においては、他の方向(例えば、上向き及び下向き)は無視され、更に他の方向(例えば、斜め)は、その左向き及び右向きのコンポーネントに「クレジット」が与えられるのみである。
動きの大きさは、ビデオフレームxとビデオフレームyとの間でどの程度動きがあったかということである。動きの大きさは、ピクセル(P)単位で測定され得る。遅い動き(例えば、一連の多くのフレームにおいてピクチャを横切って静かに浮いている雲という要素)は、「わずかな」ピクセル(P)しか動かず、動きの大きさは小さい。速い動き(例えば、一連の多くのフレームにおいてピクチャを横切って疾走しているレーシングカーという要素)は、「多くの」ピクセル(P)を動き、動きの大きさは大きい。「わずかな」及び「多くの」は、所定の数のピクセル(P)に基づいて相対的なものである。この所定の数のピクセル(P)は、「シャドウ」効果を作成するのに必要であろう「理想的な」数のピクセル(P)であろう。例えば、ピクセル(P)の1920×1080のアレイを有する例示的な画面を用いて、理想的な数のピクセル(P)は、10から20ピクセル(P)であり得る。この発明を論ずるために、所定の数のピクセル(P)は、15ピクセル(P)であるとして論じられる。
動きの大きさが小さい例として、図10は、その上にオーバーレイされた2つの連続するフレームからの要素152、154を有するピクセル(P)のアレイ(例示的な画面の小部分に過ぎないであろう)を示す。要素152、154は、その中にプラス記号を有する円として示されている(要素154は想像線で示されている)。プラス記号の中心を用い、上方/下方への動きを無視すると、数ピクセル(P)(4として示されている)がフレームの要素152、154の間にあるのみである。要素152が第1要素(ビューフレームx)であり、要素154が第2要素(ビューフレームy)であるとすると、動きの方向は左向きであり、動きの大きさは4ピクセル(P)である。要素154が第1要素(ビューフレームx)であり、要素152が第2要素(ビューフレームy)であるとすると、動きの方向は右向きであり、動きの大きさはやはり4ピクセル(P)である。
動きの大きさが大きい例として、図11は、その上にオーバーレイされた2つの連続するフレームからの要素156、158を有するピクセル(P)のアレイ(例示的な画面の小部分に過ぎないであろう)を示す。要素156、158は、その中にプラス記号を有する円として示されている(要素158は想像線で示されている)。プラス記号の中心を用い、上方/下方への動きを無視すると、多くのピクセル(P)(11として示されている)がフレームの要素156、158の間にある。要素156が第1要素(ビューフレームx)であり、要素158が第2要素(ビューフレームy)であるとすると、動きの方向は左向きであり、動きの大きさは11ピクセル(P)である。要素158が第1要素(ビューフレームx)であり、要素156が第2要素(ビューフレームy)であるとすると、動きの方向は右向きであり、動きの大きさはやはり11ピクセル(P)である。
上述のように、本発明の例示的な処理の好適な実施形態の第3ステップ104(図3)は、動きの方向に基づいてビューフレームL及びビューフレームRを求めている。好適な実施形態において、動きの方向が右向きであるとすると、ビデオフレームxはビューフレームLであるとして設定され、ビデオフレームyはビューフレームRであるとして設定される。これは、図8(A)と図8(B)との間の遷移として示される。更に、好適な実施形態において、動きの方向が左向きであるとすると、ビデオフレームxはビューフレームRであるとして設定され、ビデオフレームyはビューフレームLであるとして設定される。これは、図9(A)と図9(B)との間の遷移として示される。
上述のように、本発明の例示的な処理の好適な実施形態の第4ステップ106(図3)は、動きの方向及び動きの大きさに基づいてビューフレームRを修正しており、修正ビューフレームR’を作成する。このステップの理解のために、オリジナルの形では、ビューフレームRに示されたピクチャのコンポーネント(X)は、図12において示されているようにアレイにおいて均等に間隔が空けられている。動きの方向は、ビューフレームR’を作成するためにビューフレームRをどの方向に修正するかを決定する。動きの大きさは、ビューフレームR’を作成するためにビューフレームRをどの程度修正するかを決定する。
ステップ106の好適な実施形態は、ビューフレームRをデジタル的に「歪ませること」によって、修正ビューフレームR’を作成することを含む。動きの方向は、フレームに示されたピクチャの「歪み」の方向を決定する。「歪ませること」という用語は、いかなるタイプの歪みであってもよいが、例においては伸張(図13)及び台形状の引き延ばし(図14)(以下で論じられる)として示される。オリジナルピクチャ(図12)から、伸張歪みを有する修正ビューフレームR’のピクチャ(図13)への変更によって示されているように、動きの方向が右向きであるので、左エッジは同じ場所にあり、右エッジはデジタル的に引っ張られている。図12において、コンポーネント(X)はそのオリジナルの形であり、実質的に均等に間隔が空けられている。図13は、左エッジにより近い、ピクチャのコンポーネント(X)がより小さく歪ませられ、右側により近い、ピクチャのコンポーネント(X)がより大きく歪ませられるように、歪ませられた(伸張された)ビューフレームを示す。歪ませられるのは個々の要素(図8(B)の矩形150aのような)ではなく、歪ませられる「ピクチャ」全体のコンポーネントである(個々の要素はピクチャの残りのコンポーネント(X)に比例して歪ませられるが)。動きの方向が左向きであったなら、右エッジは同じ場所にあり、左エッジは図9(C)での示され方と同様にデジタル的に引っ張られた(伸張された)であろう、ということに注意すべきである。ピクチャがどれだけ歪ませられるかは、動きの大きさに依存する。動きの大きさが小さい(例えば、4ピクセル(P))場合には、より大きな伸張歪みが使用される。例えば、ピクセル(P)の「理想的な」数が15である場合には、伸張歪みは11である(これは、理想的な数より現在の数だけ少ない)。動きの大きさが大きい(例えば、11ピクセル(P))場合には、より小さな伸張歪みが使用される。例えば、ピクセル(P)の「理想的な」数が15である場合には、伸張歪みは4である(これは、理想的な数より現在の数だけ少ない)。動きの大きさが理想的な数より大きい場合には、好適な実施形態においてビューフレームRは更なる歪みなしに修正ビューフレームR’として表示され得る。オリジナルのフレームサイズ(想像線で示される)を超えるエッジは、好ましくは「トリミング(cropped off)」され、さもなければ修正ビューフレームR’の一部としては表示されない。
ステップ106のもう一つの好適な実施形態は、ビューフレームRをデジタル的に「歪ませること」によって、図14に示されているような、台形状に引き延ばされた修正ビューフレームR’を作成することを含む。オリジナルのピクチャ(図12)から、台形状に引き延ばされた歪みを有する修正ビューフレームR’のピクチャ(図14)への変化によって示されているように、動きの方向が右向きであるので、左エッジは同じ場所にあり、右エッジはデジタル的に引っ張られている。図12において、コンポーネント(X)はそのオリジナルの形であり、実質的に均等に間隔が空けられている。図14は、左エッジにより近い、ピクチャのコンポーネント(X)がより小さく歪ませられ、右側により近い、ピクチャのコンポーネント(X)がより大きく歪ませられるように、歪ませられた(伸張された)ビューフレームを示す。加えて、フレームの右側では、垂直方向の歪み(上方及び下方の両方)が存在する。好適な実施形態において、垂直方向の歪みは水平方向の歪みと同じ又はほぼ同等(例えば50%から150%)である。例えば、水平方向の歪みが10ピクセル(P)(又は10ピクセル(P)に相当する長さ)である場合には、10ピクセル(P)(又は10ピクセル(P)に相当する長さ)の垂直方向の歪みがある(例えば、上に5ピクセル(P)、下に5ピクセル(P))。歪ませられるのは個々の要素(図8(B)の矩形150aのような)ではなく、歪ませられる「ピクチャ」全体のコンポーネントである(個々の要素はピクチャの残りのコンポーネント(X)に比例して歪ませられるが)。これは、矩形150aが、ピクチャの残りの部分の歪みに実質的に比例する台形150a’になるように歪ませられている、図8(C)においてある程度見ることができる。動きの方向が左向きであったなら、右エッジは同じ場所にあり、左エッジは図9(C)に示されているようにデジタル的に歪ませられたであろう、ということに注意すべきである。ピクチャがどれだけ歪ませられるかは、先の例で論じられたように動きの大きさに依存する。動きの大きさが理想的な数より大きい場合には、好適な実施形態においてビューフレームRは、更なる歪みなしに又は垂直方向の歪みのみを有して、修正ビューフレームR’として表示され得る。オリジナルのフレームサイズ(想像線で示される)を超えるエッジは、「トリミング」されてもよく、さもなければ修正ビューフレームR’の一部としては表示されない。
図8(D)及び図9(D)は修正されていないビューフレームL及び修正ビューフレームR’のために論じられた主要な修正を示すが、本発明のいくつかの好適な実施形態においては、ビューフレームL及び修正ビューフレームR’の両方は、ビューフレームを特定の目で見ることができるようにする更なる修正を有してもよい。例えば、フレームLがユーザの左目で見るために修正され、修正フレームR’がユーザの右目で見るために修正されてもよい。この修正は、例えば、第1の色(例えば赤)をビューフレームLから除去し、第2の色(例えば青又は緑)を修正ビューフレームR’から除去することであってもよい。他の例は、この修正が、ビューフレームLからは第1方向(例えば垂直)に偏光させること、及び修正ビューフレームR’からは第2方向(例えば水平)に偏光させることであってもよい、ということである。ビューフレームL及び修正ビューフレームR’は、既知の又はこれから開発される他の技術(例えば、液晶シャッターメガネを用いる技術)に合わせて修正され得る、ということが理解されるべきである。
ビューフレームL及び修正ビューフレームR’を特定の目で見られるように修正するステップは、本発明の方法におけるいくつかの異なる点において行われ得る、ということに注意すべきである。例えば、好適な実施形態において、この修正は、ステップ102(求められた動きに基づいて動きの方向及び動きの大きさを計算する)の前、後、又はステップ102と同時に行われ得る。他の好適な実施形態において、この修正は、ステップ104(動きの方向に基づいてビューフレームL及びビューフレームRを求める)の前、後、又はステップ104と同時に行われ得る。他の好適な実施形態において、この修正は、ステップ106(動きの方向及び動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成する)の前、後、又はステップ106と同時に行われ得る。
本発明の好適な実施形態は、ビューフレームLをユーザの左目によって見るために、修正ビューフレームR’をユーザの右目によって見るために、表示するステップを、好ましくは含む。この「表示する」ことは、図4に関して論じられたように同時に、又は、図5に関して論じられたようにインターリーブして、行われ得る。代替技術(例えば、液晶シャッターメガネ)は代替の表示方法を有し得る。この表示するステップは、投影又は表示デバイスを用いて達成され得る。
本発明の他の好適な実施形態は、ユーザの左目によって見るためのビューフレームL、及びユーザの右目によって見るための修正ビューフレームR’を、格納するステップを好ましくは含む。これは、2次元ビデオが3次元ビデオに変換され、後の表示のためにメモリ(例えば、メモリ媒体、磁気媒体、光学媒体)に格納され得るということを、効果的に意味するであろう。例えば、新たに作成された3次元ビデオは、後の表示のためにCD、DVD、又はテープに保存され得る。
ここで論じられた方法の好適な実施形態は、論じられたステップを実現するための少なくとも1つの処理ユニットを含むビデオ表示デバイス上で実現されるように設計されている。処理ユニットは、CPU(central processing unit)、GPU(graphics processing unit)、数値演算コプロセッサ、及び/又は既知の又はこれから開発される特別に適合したプロセッサを含むが、これらには限定されない。複数の処理ユニットが組み合わせて使用され得る。例えば、CPUは、命令及び幾何データをグラフィックカード上に置かれたGPUに送り得る。好適な実施形態において、GPUが使用する命令は、コンパイルされたシェーディング言語プログラム(「シェーダー(shader)」)の形である。シェーダーは、コンピュータグラフィックスの分野では、主に、グラフィックハードウェア上でレンダリング効果を計算するために用いられるソフトウェア命令のセットであり、高度な柔軟性を持つ。シェーダーの例示的なタイプは、頂点シェーダー、ピクセルシェーダー、及び幾何シェーダーである。シェーダーは、要素の大きなセットに、例えば、画面の領域の各ピクセル(P)に、又はモデルの各頂点のために、同時に変形を行うことが可能である。シェーダーは、例えば、台形状に延ばすことや歪ませることのため、及び/又はフィルター(例えば、色及び/又は偏光の)を適用するために使用され得る。
特に明記されていない限り、「又は」という用語は非排他的な形で用いられる(例えば、「A又はB」はA、B、A及びB、又はこれらのいかなる組合せをも含むが、これらの可能性のあるもの全てを含む必要はない)、ということに注意すべきである。特に明記されていない限り、「及び/又は」は同様に用いられる(例えば、「A及び/又はB」はA、B、A及びB、又はこれらのいかなる組合せをも含むが、これらの可能性のあるもの全てを含む必要はない)、ということに注意すべきである。特に明記されていない限り、「含む」という用語は「構成される」を意味する(例えば、A及びBを含む又はA及びBで構成されるは、A及びBを含有するが、オプションとしてC、又は、A及びB以外の更なる構成要素を含有してもよい)、ということに注意すべきである。特に明記されていない限り、単数形は、特に文脈が明瞭に規定していなければ、1以上のものを表す、ということに注意すべきである。
上述の明細書において採用された用語及び表現は、限定のことばではなく説明のことばとして用いられており、提示され説明された特徴の等価物を除外することを意図していない。この出願は、本発明のあらゆる改作物又は変形物を対象として含むことを意図している。同じ目的を達成するように作られたいかなる仕組みも、提示された特定の実施形態の代わりに用いられ得る、ということが当業者によって理解されるであろう。以下の特許請求の範囲は、ここに説明された本発明の包括的な及び特定の特徴の全て、並びに、ことばが原因でそれらの間にあたると言い得る本発明の範囲の全ての陳述を対象として含むことを意図している、ということも理解されるべきである。

Claims (20)

  1. 2次元ビデオの3次元ビデオへの変換方法であって、前記2次元ビデオは一連のビデオフレームを有し、
    (a)ビデオフレームxの一部とビデオフレームyの一部との間の動きの、動きの方向及び動きの大きさを計算すること、
    (b)前記動きの方向に基づいてビューフレームL及びビューフレームRを求めること、及び、
    (c)前記動きの方向及び前記動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成すること、
    を含む、方法。
  2. 複数の連続するビデオフレームのために、(a)から(c)を繰り返すことを更に含む
    請求項1の方法。
  3. 前記ビデオフレームxの一部を前記ビデオフレームyと比較することによって、前記動きを求めることを更に含む、
    請求項1の方法。
  4. 前記ビデオフレームxの一部を前記ビデオフレームyと比較することは、疑似パターン認識を行うことを含む、
    請求項3の方法。
  5. 前記ビデオフレームxの一部を前記ビデオフレームyと比較することは、ビデオフレームxの所定の数のピクセルをビデオフレームyの対応する所定の数のピクセルと比較することを含む、
    請求項3の方法。
  6. 前記ビデオフレームxの一部を前記ビデオフレームyと比較することは、ビデオフレームxのエッジにある少なくとも1つのピクセルをビデオフレームyのエッジにある対応する少なくとも1つのピクセルと比較することを含む、
    請求項3の方法。
  7. 前記ビデオフレームxの一部を前記ビデオフレームyと比較することは、ビデオフレームxの中央部に実質的に近い少なくとも1つのピクセルをビデオフレームyの中央部に実質的に近い対応する少なくとも1つのピクセルと比較することを含む、
    請求項3の方法。
  8. 前記ビデオフレームxの一部を前記ビデオフレームyと比較することは、ビデオフレームxの2以上のコーナーのそれぞれにある少なくとも1つのピクセルをビデオフレームyの2以上のコーナーのそれぞれにある対応する少なくとも1つのピクセルと、前記動きを求めるために、比較することを含む、
    請求項3の方法。
  9. 前記ビデオフレームxの一部を前記ビデオフレームyと比較することは、
    (a)ビデオフレームxのエッジにある少なくとも1つのピクセルをビデオフレームyのエッジにある対応する少なくとも1つのピクセルと比較すること、
    (b)(a)において動きが見つからない場合に、ビデオフレームxの中央部に実質的に近い少なくとも1つのピクセルをビデオフレームyの中央部に実質的に近い対応する少なくとも1つのピクセルと比較すること、及び、
    (c)(a)及び(b)において動きが見つからない場合に、
    ビデオフレームxの2以上のコーナーのそれぞれにある少なくとも1つのピクセルをビデオフレームyの2以上のコーナーのそれぞれにある対応する少なくとも1つのピクセルと比較すること、
    を含む、請求項3の方法。
  10. 前記動きの方向に基づいてビューフレームL及びビューフレームRを求めることは、
    (a)動きの方向が右向きである場合には、ビデオフレームxをビューフレームLであるとして設定し、ビデオフレームyをビューフレームRであるとして設定すること、及び、
    (b)動きの方向が左向きである場合には、ビデオフレームxをビューフレームRであるとして設定し、ビデオフレームyをビューフレームLであるとして設定すること、
    を含む、請求項1の方法。
  11. 前記動きの方向及び前記動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成することは、ビューフレームRをデジタル的に歪ませることによって、修正ビューフレームR’を作成することを含む、
    請求項1の方法。
  12. 前記動きの方向及び前記動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成することは、ビューフレームRを引き延ばされた台形にデジタル的に歪ませることによって、修正ビューフレームR’を作成することを含む、
    請求項1の方法。
  13. 前記動きの方向及び前記動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成することは、ビューフレームRを、オリジナルのフレームサイズを超えるエッジがトリミングされた引き延ばされた台形に、デジタル的に歪ませることによって、修正ビューフレームR’を作成することを含む、
    請求項1の方法。
  14. フレームLをユーザの左目で見るために修正し、フレームRをユーザの右目で見るために修正することを更に含む、
    請求項1の方法。
  15. 第1の色を除去することによってビューフレームLをユーザの左目で見るために修正し、第2の色を除去することによってビューフレームRをユーザの右目で見るために修正することを更に含む、
    請求項1の方法。
  16. 第1方向に偏光させることによってビューフレームLをユーザの左目で見るために修正し、第2方向に偏光させることによってビューフレームRをユーザの右目で見るために修正することを更に含む、
    請求項1の方法。
  17. ビューフレームLをユーザの左目によって見るために、修正ビューフレームR’をユーザの右目によって見るために、表示することを更に含む、
    請求項1の方法。
  18. ビューフレームLをユーザの左目によって見るために、修正ビューフレームR’をユーザの右目によって見るために、格納することを更に含む、
    請求項1の方法。
  19. 2次元ビデオの3次元ビデオへの変換を行うビデオ表示デバイスであって、前記2次元ビデオは一連のビデオフレームを有し、
    (a)処理ユニットと、
    (b)実行されたときに、前記処理ユニットに、
    ビデオフレームxの少なくとも一部をビデオフレームyの対応する少なくとも一部と比較することによって、これらの間の動きを求め、
    前記求められた動きに基づいて、動きの方向及び動きの大きさを計算し、前記動きの方向に基づいてビューフレームL及びビューフレームRを求め、
    前記動きの方向及び前記動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成する
    ように指示をする、ビデオ表示デバイスで実行可能な命令を有するメモリ構造と、
    を有する、ビデオ表示デバイス。
  20. 実行されたときに、2次元ビデオを3次元ビデオへ変換するようにビデオ表示デバイスを構成する実行可能な命令を格納する、1以上のデバイス読み取り可能な媒体であって、前記2次元ビデオは一連のビデオフレームを有し、実行されたときに、
    (a)ビデオフレームxの所定の数のピクセルをビデオフレームyの対応する所定の数のピクセルと比較することによって、これらの間の動きを求めること、
    (b)前記求められた動きに基づいて、動きの方向及び動きの大きさを計算すること、
    (c)(i)動きの方向が右向きである場合には、ビデオフレームxをビューフレームLであるとして設定し、ビデオフレームyをビューフレームRであるとして設定すること、及び、
    (ii)動きの方向が左向きである場合には、ビデオフレームxをビューフレームRであるとして設定し、ビデオフレームyをビューフレームLであるとして設定すること
    を含み、前記動きの方向に基づいてビューフレームL及びビューフレームRを求めること、並びに、
    (d)前記動きの方向及び前記動きの大きさに基づいてビューフレームRをデジタル的に歪ませることによって、修正ビューフレームR’を作成すること、
    を含む行為を更に行うように前記ビデオ表示デバイスを構成する実行可能な命令を格納する、1以上のデバイス読み取り可能な媒体。
JP2016507524A 2013-04-09 2013-04-09 ビデオフレーム間の動きに基づく2次元ビデオの3次元ビデオへの変換 Expired - Fee Related JP6333952B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/035843 WO2014168614A1 (en) 2013-04-09 2013-04-09 Two-dimensional video to three-dimensional video conversion method and system

Publications (2)

Publication Number Publication Date
JP2016519905A true JP2016519905A (ja) 2016-07-07
JP6333952B2 JP6333952B2 (ja) 2018-05-30

Family

ID=51689873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507524A Expired - Fee Related JP6333952B2 (ja) 2013-04-09 2013-04-09 ビデオフレーム間の動きに基づく2次元ビデオの3次元ビデオへの変換

Country Status (9)

Country Link
EP (1) EP2984820A4 (ja)
JP (1) JP6333952B2 (ja)
KR (1) KR101729883B1 (ja)
CN (1) CN105531997B (ja)
AU (1) AU2013385831B2 (ja)
CA (1) CA2909245C (ja)
RU (1) RU2642367C2 (ja)
SG (1) SG11201508332YA (ja)
WO (1) WO2014168614A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07307961A (ja) * 1994-05-13 1995-11-21 Pioneer Electron Corp 立体表示方法及び装置
JPH08149517A (ja) * 1994-09-22 1996-06-07 Sanyo Electric Co Ltd 2次元映像から3次元映像を生成する方法
JPH08149510A (ja) * 1994-11-18 1996-06-07 Sanyo Electric Co Ltd 2次元3次元映像変換方法
JP2000285253A (ja) * 1999-01-28 2000-10-13 Toshiba Corp 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
JP2001515287A (ja) * 1997-09-02 2001-09-18 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像処理方法および装置
WO2012078621A1 (en) * 2010-12-06 2012-06-14 Teranex Systems Inc. Pseudo-3d forced perspective methods and devices

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001039512A1 (en) * 1999-11-26 2001-05-31 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
US8325220B2 (en) * 2005-12-02 2012-12-04 Koninklijke Philips Electronics N.V. Stereoscopic image display method and apparatus, method for generating 3D image data from a 2D image data input and an apparatus for generating 3D image data from a 2D image data input
WO2008075276A1 (en) * 2006-12-19 2008-06-26 Koninklijke Philips Electronics N.V. Method and system to convert 2d video into 3d video
KR20100127423A (ko) * 2009-05-26 2010-12-06 엘지전자 주식회사 영상표시기기에서 영상 디스플레이 장치 및 방법
RU92595U1 (ru) * 2009-12-24 2010-03-20 Михаил Михайлович Слепко Устройство для формирования 3d стереоскопического изображения из 2d моноскопического изображения
KR101660910B1 (ko) * 2010-04-28 2016-09-29 주식회사 알티캐스트 영상 데이터 처리장치 및 방법
US9261710B2 (en) * 2010-06-01 2016-02-16 Intel Corporation 2D quality enhancer in polarized 3D systems for 2D-3D co-existence
US9300947B2 (en) * 2011-03-24 2016-03-29 Kodak Alaris Inc. Producing 3D images from captured 2D video
KR20130010613A (ko) * 2011-07-19 2013-01-29 엘지전자 주식회사 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법
CN102724530B (zh) * 2012-05-29 2014-10-22 清华大学 基于反馈控制的平面视频立体化方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07307961A (ja) * 1994-05-13 1995-11-21 Pioneer Electron Corp 立体表示方法及び装置
JPH08149517A (ja) * 1994-09-22 1996-06-07 Sanyo Electric Co Ltd 2次元映像から3次元映像を生成する方法
JPH08149510A (ja) * 1994-11-18 1996-06-07 Sanyo Electric Co Ltd 2次元3次元映像変換方法
JP2001515287A (ja) * 1997-09-02 2001-09-18 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像処理方法および装置
JP2000285253A (ja) * 1999-01-28 2000-10-13 Toshiba Corp 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
WO2012078621A1 (en) * 2010-12-06 2012-06-14 Teranex Systems Inc. Pseudo-3d forced perspective methods and devices
JP2014506039A (ja) * 2010-12-06 2014-03-06 テラネックス システムズ インコーポレイテッド 疑似3d強化遠近法を用いた方法及び装置

Also Published As

Publication number Publication date
JP6333952B2 (ja) 2018-05-30
CN105531997B (zh) 2018-07-13
SG11201508332YA (en) 2015-11-27
KR20160022295A (ko) 2016-02-29
CA2909245C (en) 2018-02-27
EP2984820A1 (en) 2016-02-17
RU2015147541A (ru) 2017-05-12
RU2642367C2 (ru) 2018-01-24
KR101729883B1 (ko) 2017-04-24
CN105531997A (zh) 2016-04-27
CA2909245A1 (en) 2014-10-16
AU2013385831A1 (en) 2015-11-12
WO2014168614A1 (en) 2014-10-16
AU2013385831B2 (en) 2016-09-01
EP2984820A4 (en) 2017-03-22

Similar Documents

Publication Publication Date Title
US8358332B2 (en) Generation of three-dimensional movies with improved depth control
Devernay et al. Stereoscopic cinema
JP2019511024A (ja) パノラマフレームを生成するプロセスにおけるフレームの適応ステッチング
US9558541B2 (en) Method of correcting image overlap area, recording medium, and execution apparatus
JP2015043573A (ja) 映像重合領域の補正方法、記録媒体、及び起動装置
JP2010510569A (ja) 2次元から3次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
US9536347B2 (en) Apparatus and method for forming light field image
KR101713875B1 (ko) 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템
JP2014095853A (ja) 画像処理装置、投影装置、画像処理方法及びプログラム
US10291900B2 (en) Method and apparatus for normalizing size of content in multi-projection theater
US9172940B2 (en) Two-dimensional video to three-dimensional video conversion based on movement between video frames
US20210152737A1 (en) Apparatus and method for stitching together multiple images
JP6333952B2 (ja) ビデオフレーム間の動きに基づく2次元ビデオの3次元ビデオへの変換
CN104584075B (zh) 用于描述对象空间的对象点以及用于其执行的连接方法
JP6457964B2 (ja) 装置、投影装置、表示装置、画像生成装置、それらの方法、およびプログラム
JP5645448B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
JP2014135006A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6079135B2 (ja) 画像処理装置、映像データ補正方法及びプログラム
US20230350344A1 (en) Information processing device, information processing method, program, and hologram display system
JP2011150213A (ja) 浮遊立体表示装置システム
WO2012157459A1 (ja) 立体視用画像生成システム
JP2021111859A (ja) 立体画像生成装置及びそのプログラム
JP2019013012A (ja) データ構造

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180425

R150 Certificate of patent or registration of utility model

Ref document number: 6333952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees