JP2020520032A - 電子ディスプレイの前方または上に投影されて見える仮想3次元画像を作製するためのシステム、方法、およびソフトウェア - Google Patents

電子ディスプレイの前方または上に投影されて見える仮想3次元画像を作製するためのシステム、方法、およびソフトウェア Download PDF

Info

Publication number
JP2020520032A
JP2020520032A JP2019571431A JP2019571431A JP2020520032A JP 2020520032 A JP2020520032 A JP 2020520032A JP 2019571431 A JP2019571431 A JP 2019571431A JP 2019571431 A JP2019571431 A JP 2019571431A JP 2020520032 A JP2020520032 A JP 2020520032A
Authority
JP
Japan
Prior art keywords
virtual object
virtual
viewpoints
image
reference plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019571431A
Other languages
English (en)
Other versions
JP6810873B2 (ja
Inventor
リチャード エス フリーマン
リチャード エス フリーマン
スコット エー ホリンガー
スコット エー ホリンガー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxx Media Group LLC
Original Assignee
Maxx Media Group LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxx Media Group LLC filed Critical Maxx Media Group LLC
Publication of JP2020520032A publication Critical patent/JP2020520032A/ja
Application granted granted Critical
Publication of JP6810873B2 publication Critical patent/JP6810873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Abstract

電子ディスプレイ(12)上に表示される仮想シーン(10)を作製するためのシステム、方法、およびソフトウェア。仮想基準面(24)が定義される。基準面(24)は、複数の周辺境界(27,28、29、30)を有する。仮想オブジェクト(20)は、仮想シーン(10)中の基準面(24)の上に位置づけられる。基準面(24)の複数の周辺境界(27、28、29、30)内で、基準面(24)を用いて仮想オブジェクト(20)を撮像することのできる立体視カメラの複数の視点が計算される。仮想オブジェクト(20)は、立体画像が作られる前および/または立体視的に像が作られた後に、デジタル的に変更される。この変更は、仮想オブジェクト(20)の一部分を曲げること、先細りさせること、または傾けること、および/または基準面(24)の一部分を傾けることを含む。複数の境界の共通するセットが重ねられた画像のために設定され、最終画像(48)が作られる。

Description

発明の技術分野
概して、本発明は、電子ディスプレイに表示される仮想立体画像および/または自動立体画像を作るのに用いられるシステム、方法、およびソフトウェアに関連する。より特定的には、本発明は、電子ディスプレイの垂直上部または正面に投影されて見える仮想画像を作るシステム、方法、またはソフトウェアに関連する。この方法では、仮想画像が電子ディスプレイの頂上に立つまたは電子ディスプレイの上に浮かぶように、および/または電子ディスプレイの正面に浮かぶように見えるようにすることができる。
背景技術
立体画像および自動立体画像を作るための多くのシステムが存在している。これらの画像は2次元画像であるが、3Dグラスを用いて標準的なディスプレイを見た場合や、3Dグラス無しで自動立体画像を見た場合に3次元に見える。しかし、従来技術のシステムによって作られた画像は3次元画像ではあるが、それらの画像は、典型的には電子スクリーンの面の後または下に存在するように見える。したがって、電子ディスプレイは、後に3次元のシーンを見ることができる窓となる効果を有している。
表示されるスクリーンの上または正面に立つように見える仮想画像を作ることは、はるかに難しい。ディスプレイの上または正面に見える仮想画像を作るためには、画像を作ることに高度な調整を組み込む必要がある。そのような調整には、多くの場合、仮想画像に設計された視差および画角についての複雑な調整が含まれる。
立体画像の視差および画角を修正する従来のシステムは、フリーマンの米国特許第7,589,759号に示されている。
フリーマンの米国特許第7,589,759号には、ディスプレイ画面の正面または上に存在するように見える仮想3Dオブジェクトを作るシステムが開示されている。これは、オブジェクトが撮像されるときに、撮像する立体視カメラの視野の視差および画角を創造的なやり方で変更することで、主に達成される。
3Dオブジェクトの仮想画像は、新しい方法で撮像されたオブジェクトの画像を変更することにより、より現実的に、より明確に作ることができるということが発見されてきている。本発明において、出願人は、従来技術のいくつかの改善点を組み込み、前方へまたは垂直方向へ投影されたオブジェクトの外観を作製し、次元の効果が劇的に改善されるより良い立体画像/自動立体画像を作るシステムおよび方法を発見した。画像は高品質であり、技術の進歩を示している。改善されたシステムおよび方法は、以下に説明され主張される。
発明の開示
本発明は、電子ディスプレイから垂直にまたは電子ディスプレイの前方に投影されて見える仮想3Dシーンを作製するためのシステム、方法、およびソフトウェアである。仮想シーンは、固定画像または動的ビデオであり得る。仮想シーンは、電子ディスプレイに表示された場合に3次元に見える仮想オブジェクトを含んでいる。
仮想シーンを作るために、仮想ゼロ視差基準面が定義される。基準面は、前部境界、後部境界、および複数の側部境界を含む複数の周辺境界を有している。少なくとも1つの仮想オブジェクトが、仮想シーンに加えられる。仮想オブジェクトは、基準面の複数の境界の内部において、基準面の上の視点から見られる。電子ディスプレイ上または正面の仮想オブジェクトの外観を改善するために、仮想オブジェクトおよび/または仮想シーンの要素は、デジタル的に変更される。
基準面の複数の周辺境界内で、仮想オブジェクトを撮像することのできる立体視カメラの複数の視点が計算される。仮想オブジェクトは、撮像される前および/または撮像された後に、デジタル的に変更される。仮想オブジェクトの変更は、仮想オブジェクトの一部分を曲げること、仮想オブジェクトの一部分を先細りにすること、仮想オブジェクトを傾けること、および/または基準面の全てまたは一部分を傾けることを含む。
仮想シーンは、立体視的な複数の視点から撮像される。撮像は、第1および第2の画像を作る。変更された仮想オブジェクトの2つの画像は重ねられ、重ねられた画像を作る。複数の境界の共通するセットが重ねられた画像に設定され、最終画像が作られる。最終画像は、電子ディスプレイに表示することができ、仮想シーン中に用いられる基準面は、電子ディスプレイのスクリーンの面と整合される。その結果、仮想シーン中の仮想オブジェクトが、電子ディスプレイの傾きに応じて、電子ディスプレイの上または正面に見えるようになる。
図面の簡単な説明
本発明をより理解するために、添付の図面と併せて考慮される、その例示的な実施例についての次の記載について、以下のように参照される。
本発明のシステム、方法、およびソフトウェアを作り、利用するために必要なシステムを示す。 仮想シーンの例示的な実施例の斜視図である。 図2の仮想シーンの側面図である。 仮想シーン中の基準面および/または仮想オブジェクトに対してなされたデジタル的な傾きの修正を示す側面図である。 仮想シーン中の基準面および/または仮想オブジェクトに対してなされたデジタル的な曲げの修正を示す側面図である。 仮想シーン中の基準面および/または仮想オブジェクトに対してなされたデジタル的な先細りの修正を示す側面図である。 仮想シーンのそれぞれ左および右の立体画像を示す図である。 仮想シーンのそれぞれ左および右の立体画像を示す図である。 複数のガイド線の重ね合わせを示す立体画像の上面図である。 図9に先に示されていた複数のガイド線を使って作られたデジタル的に訂正された立体画像を示す図である。 重ねられた左および右の立体画像を持つ最終画像を示す図である。 本発明によって利用されるソフトウェア方法論のためのブロック図論理フローを示す図である。
発明を実行するためのベストモードの詳細な説明
本発明のシステム、方法、およびソフトウェアは、多くの方法で具体化することができるが、説明された実施例は、恐竜の画像をシミュレートするために用いられるシステム、方法、およびソフトウェアを示している。この実施例は、記載および説明の目的で選ばれる。恐竜は、システムを通じて撮像され提示することができる、現実または想像上のあらゆるオブジェクトを提示することを意図している。しかし、説明される実施例は、純粋に例示であり、添付の特許請求の範囲を解釈する際に制限と見なされるべきではない。
図1を参照して、本発明が、電子デバイス14のディスプレイ12の仮想シーン10を作製するのに用いられるということが理解されるであろう。仮想シーン10は、仮想シーン10を見る人間には、3次元である特徴を有するように見える。さらに、仮想シーン10は、見る人にとってディスプレイ12の平面上に延在するように見える要素を有している。電子デバイス14が従来のLEDまたはLCDディスプレイを有する場合、仮想シーン10の3次元効果を観察するために、仮想シーン10を3Dグラスで見る必要がある。電子デバイス14が自動立体ディスプレイを有する場合、特殊なグラスを必要とせずに、仮想シーン10の3次元効果を観察することができる。
電子デバイス14に表示される仮想シーン10は、静止画像またはビデオであり得る。さらに、仮想シーン10は、ビデオゲームまたは映画の一部であり得る。仮想シーン10が提示される状況に関係なく、ユーザーは、画像、モバイルアプリケーション、ゲーム、映画、または他のそのような準備されたソフトウェアファイル16を、仮想シーン10を含む電子デバイス14にダウンロードまたは入力しなければならない。
準備されたソフトウェアファイル16は、グラフィックアーティスト、ゲームデザイナー、または同様のコンテンツプロデューサーによって作られる。コンテンツプロデューサーは、コンテンツプロデューサーのコンピューターシステム19で実行されるグラフィックモデリングソフトウェア18を使用して、準備されたソフトウェアファイル16の中で仮想シーン10を作る。後で説明されるように、グラフィックモデリングソフトウェア18は、2つの立体画像の使用を必要とする。仮想シーン10が複数の仮想オブジェクトを含んでいる場合、仮想オブジェクトは複数の仮想カメラで撮像される。仮想シーン10が複数の実オブジェクトを含んでいる場合、実オブジェクトは複数の実カメラ17の立体視的なセットによって撮像され得る。
図1と併せて図2および図3を参照して、グラフィックモデリングソフトウェア18を用いて作られた例示的な仮想シーン10が示されている。仮想シーン10は1次オブジェクト20を含んでいる。示されている例では、1次オブジェクト20は恐竜22である。しかしながら、仮想シーン10において任意のオブジェクトをモデル化できることが理解されるであろう。仮想シーン10は基準面24を有している。基準面24は、オブジェクトが上、前、および/または下に見える仮想シーン10内の任意の平面であり得る。示されている実施例では、基準面24は、恐竜22が立つ地面に合わせられている。仮想シーン10の基準面24は、電子ディスプレイ12上に表示された場合に、電子ディスプレイ12の平面に沿って合わせられるであろう。そのため、仮想シーン10が見られた場合、基準面24上に画像化されたあらゆるオブジェクトは前方に投影され、ディスプレイ12の向きに応じて、ディスプレイ12の正面またはディスプレイ12の上に延在するように見える。逆に、仮想シーン10が表示された場合、基準面24の下に画像化されたあらゆるオブジェクトは後方に投影され、仮想のゼロ視差基準面の下または後ろに見える。
仮想シーン10が印刷されるものである場合、基準面24は、コンテンツプロデューサーによって選択される。基準面は、通常、仮想シーン10が印刷される紙の面に対応するように選択される。しかし、他の基準面も選択され得る。
実カメラ17を用いて実オブジェクトを撮像し、デジタルの立体画像および/または自動立体画像を生成できるが、この技術は例として提供されない。提供される例では、撮像されるオブジェクトは、コンテンツプロデューサーのコンピューターシステム19で実行されるグラフィックモデリングソフトウェア18によって生成された仮想オブジェクトである。そのため、例として、作られる1次オブジェクト20は、仮想シーン10中に設定され、複数の仮想カメラで撮像された仮想オブジェクトであるものとする。しかし、ここで説明される同じ技術を使用して、複数の実カメラ17を用いて実オブジェクトを撮像することにより、実オブジェクトの立体画像および/または自動立体画像を作れることを理解されるであろう。
仮想シーン10の複数の立体視ビューが撮影される。複数の立体視ビューは、仮想の左カメラ視点25および仮想の右カメラ視点26から撮影される。仮想のカメラの複数の視点25、26の間の距離D1、および仮想のカメラの視点25、26の仰角A1は、仮想シーン10の範囲に依存する。仮想シーン10は、電子ディスプレイ12上に表示されるために作られる。ほとんどの電子ディスプレイは、長方形の形状であり、長さの50%から80%の間の幅を有している。したがって、仮想シーン10は、典型的な電子ディスプレイ12にとって適切なサイズおよびスケールとなる複数の境界内に作られる。複数の境界は、前部境界27、後部境界28、ならびに2つの側部境界29、30を含んでいる。電子ディスプレイ12に表示されるどのような仮想シーン10も、見えるためには複数の境界27、28、29、30内に存在しなければならない。
後方画像境界28は、仮想シーン10に対して設定される。仮想シーン10で撮像される全てのオブジェクトは、後方画像境界28の前方に見えることになる。1次オブジェクト20は、高さH1を有している。仮想のカメラの複数の視点25、26は、第2の高さH2に設定される。第2の高さH2は、オブジェクトの高さH1および後方画像境界28の関数である。仮想のカメラの視点25、26の第2の高さH2は十分に高く、その結果、仮想のカメラの視点25、26から見た場合に、1次オブジェクト20の頂部が後方画像境界28の上方に延びない。仮想のカメラの視点25、26の仰角およびカメラの視点25および26の収束角は、シーン境界27、28、29、39、および1次オブジェクト20の高さH1に依存する直接的な数学的関係を有している。
仮想のカメラの視点25、26は、仮想のカメラの視点25、26が基準面24で交差するように視差角を有する。すなわち、仮想のカメラの2つの視点25、26は、基準面24でゼロ視差を達成する。1次オブジェクト20が基準面24上にある場合、収束点Pは、1次オブジェクト20の底部および後部の近くの点に対応するように選択されることが好ましい。例えば、示された実施例では、基準面24は、恐竜22が立っている地面に対応する。仮想カメラの視点25、26は、恐竜の体の後ろのすぐ下の地面に向けられている。しかし、仮想シーンが雲の中を飛んでいる飛行機のシーンである場合、基準面は飛行機の位置よりもかなり下になる可能性がある。このシナリオでは、仮想のカメラの視点25、26は、仮想の飛行機がその下を飛行しているように見える基準面24に向けられる。仮想のカメラの視点25、26の角度は、1次オブジェクト20が基準面24に対して移動する場合に、フレームごとに調整される。
図3と併せて図4を参照して、仮想シーン10は、単にカメラの視点25、26から撮像されるのではないことを説明することができる。むしろ、仮想シーン10の撮像の前および/または後に、仮想シーン10は、取得される立体画像にとって有益な様々な方法でデジタル的に操作される。デジタル操作には次のものが含まれるが、これらに限定されない。
i:仮想シーンの基準面を傾ける操作。
ii:仮想シーン内の1次および2次オブジェクトを傾ける操作。
iii:仮想シーン内の複数のオブジェクトを曲げる操作。および
iv:仮想シーン内の複数のオブジェクトを先細りにする操作。
用いられる操作は、仮想シーン10で撮像されるオブジェクトの中身に依存する。
図4は、使用可能な2つの可能な傾ける操作を示している。第1の傾ける操作では、基準面24を、仮想のカメラの視点25、26に向かって、または仮想のカメラの視点25、26から離れるように傾けることができる。好ましい傾斜角A2は、1次オブジェクト20の最終的に知覚された高さに応じて、一般的に水平に対して1度から20度の間である。第2の傾ける操作では、オブジェクト20を、仮想のカメラの視点25、26に向かって、または仮想のカメラの視点25、26から離れるように傾けることができる。好ましい傾斜角A1は、1次オブジェクト20の最終的に知覚された高さに応じて、一般的に水平に対して1度から20度の間である。1次オブジェクト20の傾斜角A1は、仮想シーン10内の基準面の傾斜角A2および他の要素から独立している。
1次オブジェクト20の下のカメラの視点変換点Pを支点として用いて、基準面24をデジタル的に操作して、基準面24を前方または後方に傾けることができる。基準面24の傾斜角T2は、1次オブジェクト20の傾斜角T1から独立している。基準面24を傾けることにより、1次オブジェクト20の知覚された位置に関する後方画像境界28の位置が変化する。これによって、数学的関係の範囲内で1次オブジェクト20高さを比例して増加するようにできる。
図5を参照して、好ましい曲げ操作が示されている。図5では、説明を簡単にするために、1次オブジェクト20Bは恐竜ではなく長方形として示されている。恐竜の複雑な形状への曲げは、知覚するのことが難しいだろう。曲げ点B1は、1次オブジェクト20Bの高さに沿って選択される。曲げ点B1は、1次オブジェクト20Bの全高の1/3と1次オブジェクト20Bの全高の2/3との間である。1次オブジェクト20Bも、その高さに沿って3つの領域31、33、35に分割される。第1の領域31では、1次画像20Bは操作されない。第2の領域33では、曲げ線B1まで操作は行われない。曲げ線B1の上方であって第2の領域33内の1次オブジェクト20Bの任意の部分が、第1の角度AA1だけデジタル的に傾けられる。第3の領域35では、1次オブジェクト20Bは、第1の角度AA1よりも大きい第2の角度AA2で傾斜している。第1の角度AA1および第2の角度AA2は、仮想のカメラの視点25、26が設定される垂直平面に対して平行な仮想垂直平面に関して測定される。その結果、仮想シーン10を、後方画像境界28を超えることなく大きくて高くすることができる。仮想のカメラの視点25、26から見た場合、1次オブジェクト20Bはより高く見え、前方または垂直により顕著に投影される。
図6を参照して、好ましい先細り操作について説明される。ここでも、説明を簡単にするために、1次オブジェクト20Bは恐竜ではなく代表的な長方形として示されている。1次オブジェクト20Bは、その高さに沿って2つの領域37、39に分割される。第1の領域37では、1次オブジェクト20Bは操作されない。第2の領域39では、1次オブジェクト20Bは、1度と25度との間の角度AA3での前方から後方への先細りを使用してサイズが縮小される。先細りが始まる点は、1次オブジェクト20Bの高さの1/3と1次オブジェクト20Bの高さの2/3との間だけ上方に存在する。その結果、側部境界29、30を超えて延在することなく仮想シーン10を広げることができる。見た場合、1次オブジェクト20Bはより高く見え、前方または垂直により顕著に投影される。
記載された方法の1つ以上で仮想シーン10がデジタル的に調整されると、変更された仮想シーンが作られる。あるいは、デジタル的な調整の前に仮想シーンを画像化することができ、2つの画像を立体画像または自動立体画像(立体画像)に結合した後に、デジタル的な調整を行うことができる。
図2と併せて図7および図8を参照して、2つの画像40、42は立体的であり、一方は左カメラ画像40(図7)であり、他方は右カメラ画像42(図8)であることが分かる。それぞれの立体画像40、42は、カメラの複数の視点の角度に起因して、フェードする遠近感を有している。これにより、前部画像境界27は、後部画像境界28よりも広く見えるようになる。
図9を参照して、図7または図8からの立体画像40、42のうちの1つの上面図が示されている。立体画像の一方のみが示されているが、記載されたプロセスが2つの立体画像の両方で行われることが理解されるであろう。したがって、両方の立体画像の参照番号40、42は、プロセスが両方に影響することを示すために使用されている。
一時的な基準ガイドが、立体画像40、42に重ねられる。基準ガイドは、複数の内側ガイド線44のセットと、複数の外側ガイド線46のセットとを含んでいる。複数の内側ガイド線44は、後方画像境界28から前方画像境界27まで伸びる複数の平行線である。複数の内側ガイド線44は、立体画像40、42が後方境界線28にぶつかった点P2で始まる。複数の外側ガイド線46も後方画像境界28から前方画像境界27へ伸びる複数の平行線である。複数の外側ガイド線46の位置は、仮想シーン10が表示される電子ディスプレイ12の寸法に依存する。複数の外側ガイド線46の間の幅は、使用する電子ディスプレイのピクセル幅に対応している。
図9と併せて図10を参照して、立体画像40、42は、複数の外側ガイド線46のパラメーター内に収まるようにデジタル的に変更されていることがわかる。したがって、立体画像40、42は、後方画像境界28に向かって広げられ、前方画像境界27に向かって圧縮される。これにより、訂正された立体画像40A、42Aが作られる。複数の内側ガイド線44は、訂正された立体画像40A、42A上に残る。
図10と併せて図11を参照して、訂正された左右の立体画像40A、42Aは、重ねられる。訂正された立体画像40A、42Aの両方の内側ガイド線44が位置合わせされる。位置合わせが完了すると、複数の内側ガイド線44は削除される。これにより、最終画像48が作られる。最終画像48がどのように表示されるかに応じて、訂正された立体画像40A、42Aを赤または青に着色したり、訂正された画像40A、42Aを逆向きに偏光したりすることができる。このような方法で、3Dグラスを用いてまたは自動立体ディスプレイに最終画像48が表示されるとき、最終画像48は3次元に見える。
以前のすべての図を考慮して図12を参照すると、システム全体のソフトウェア方法論を要約することができる。ブロック50に示されるように、コンテンツプロデューサーは、仮想シーン10内に3Dオブジェクトとして見える1つ以上のオブジェクト20を含む仮想シーン10を作成する。図1および図2の前述の説明を参照されたい。コンテンツプロデューサーは、仮想シーン10のための基準面24も選択する。ブロック52を参照されたい。基準面16および選択されたオブジェクト20を用いて、コンテンツプロデューサーは、仮想シーン10の複数の境界を決定できる。ブロック54を参照されたい。
仮想シーン10と基準面24との境界を知って、コンテンツプロデューサーは、複数の実立体視カメラ17の仮想のカメラの視点25、26の角度および高さを設定する。カメラの複数の視点は、複数の立体視カメラの視線が基準面24でゼロ視差を達成するように設定される。ブロック56を参照されたい。また、図3の以前の説明も参照されたい。
ブロック58、60、および62によって示されるように、仮想シーン10は、傾ける操作、曲げる操作、および先細りにする操作を用いてデジタル的に変更される。図4、図5、および図6の以前の説明を参照されたい。次に、2つの立体画像40、42が仮想シーンのために取得される。ブロック64を参照されたい。また、図7および図8の以前の説明を参照されたい。次に、立体画像40、42は、仮想画像10の複数の境界線に合うように訂正される。ブロック66を参照されたい。また、図9および図10の以前の説明を参照されたい。最後に、訂正された複数の立体画像が重ねられる。ブロック68を参照されたい。図11の以前の説明も参照されたい。その結果、ユーザーによって見られた場合に、ディスプレイ12の上または前方に延在するように見える最終画像48となる。
図示および説明される本発明の実施例は単なる例示であり、当業者はその実施例に対して多くの変形を行うことができることが理解されるであろう。そのような実施例はすべて、添付の特許請求の範囲によって定義される本発明の範囲内に含まれることが意図されている。

Claims (20)

  1. ディスプレイに表示される仮想的なシーンを作製する方法であって、前記仮想的なシーンは、前記ディスプレイに表示された場合に3次元に見える仮想オブジェクトを含み、前記方法は、
    前部境界、後部境界、および複数の側部境界を含む複数の周辺境界を有する仮想基準面を定義することと、
    前記仮想オブジェクトを、前記仮想基準面上に設定することと、
    前記基準面の前記複数の周辺境界内で、前記基準面を用いて、前記仮想オブジェクトを撮像することを可能にする立体視カメラの複数の視点を決定することと、
    前記仮想オブジェクトの一部分を仮想的に曲げることにより、前記仮想オブジェクトを変更し、変更した前記仮想オブジェクトを作ることと、
    前記立体視カメラの複数の視点から前記変更した仮想オブジェクトを撮像することとを備え、前記立体視カメラの複数の視点から前記変更した仮想オブジェクトを撮像することは、第1および第2の画像を作り、前記方法はさらに、
    前記第1の画像と前記第2の画像とを重ね、重ねられた画像を作ることと、
    前記重ねられた画像の複数の境界の共通するセットを定義し、最終画像を作ることと、
    前記最終画像を前記ディスプレイに表示することとを備え、前記最終画像は少なくとも部分的に前記ディスプレイから延在して見える、方法。
  2. 前記ディスプレイはスクリーン面を有し、前記最終画像は、前記スクリーン面に対して前記基準面が合う状態で表示される、請求項1に記載の方法。
  3. 前記立体視カメラの複数の視点は、共通する平面内に存在し、前記共通する平面から見た場合に、前記仮想オブジェクトの前記一部分を仮想的に曲げることにより、前記仮想オブジェクトを変更する、請求項1に記載の方法。
  4. 前記仮想オブジェクトの一部分を仮想的に曲げることにより、前記仮想オブジェクトを変更することは、前記仮想オブジェクト上の第1の高さにおいて第1の曲げ点を選択することと、前記第1の曲げ点の上のみで前記仮想オブジェクトを曲げることとを含む、請求項1に記載の方法。
  5. 前記仮想オブジェクトは、知覚された高さを有しており、前記第1の曲げ点の前記第1の高さは、前記知覚された高さの3分の1と前記知覚された高さの3分の2との間の高さである、請求項4に記載の方法。
  6. 前記仮想オブジェクトの一部分を仮想的に曲げることにより、前記仮想オブジェクトを変更することは、前記仮想オブジェクト上の第1の高さにおいて第1の曲げ点を選択し、前記仮想オブジェクト上の第2の高さにおいて第2の曲げ点を選択することを含み、前記仮想オブジェクトは、前記第1の曲げ点上の第1の角度および前記第2の曲げ点上の第2の角度で曲げられる、請求項1に記載の方法。
  7. 前記第2の角度は前記第1の角度よりも大きい、請求項6に記載の方法。
  8. 前記仮想オブジェクトの少なくとも一部分を、前記立体視カメラの複数の視点から仮想的に先細りにすることにより、前記仮想オブジェクトをさらに変更することを含む、請求項1に記載の方法。
  9. 前記立体視カメラの複数の視点から見た場合に、前記基準面の少なくとも一部分を仮想的に傾けることにより、前記仮想オブジェクトを変更することをさらに含む、請求項1に記載の方法。
  10. 前記立体視カメラの複数の視点から見た場合に、前記仮想オブジェクトの少なくとも一部分を仮想的に傾けることにより、前記仮想オブジェクトを変更することをさらに含む、請求項1に記載の方法。
  11. ディスプレイに表示される仮想的なシーンを作製する方法であって、前記仮想的なシーンは、少なくとも部分的に、前記ディスプレイに表示された場合に3次元に見え、前記ディスプレイから延在して見える仮想オブジェクトを含み、前記方法は、
    前部境界、後部境界、および複数の側部境界を含む複数の周辺境界を有する仮想基準面を定義することと、
    前記仮想オブジェクトを、前記仮想基準面上に設定することと、
    前記基準面の前記複数の周辺境界内で、前記基準面を用いて、前記仮想オブジェクトを撮像することを可能にする立体視カメラの複数の視点を決定することと、
    前記基準面の少なくとも一部分を仮想的に傾けることにより、前記仮想オブジェクトを変更し、変更した仮想オブジェクトを作ることと、
    前記立体視カメラの複数の視点から前記変更した仮想オブジェクトを画像化することとを備え、前記立体視カメラの複数の視点から前記変更した仮想オブジェクトを画像化することは、第1および第2の画像を作り、前記方法はさらに、
    前記第1の画像と前記第2の画像とを重ね、重ねられた画像を作ることと、
    前記重ねられた画像の複数の境界の共通するセットを定義し、最終画像を作ることとを備えた、方法。
  12. 前記ディスプレイはスクリーン面を有し、前記最終画像は、前記スクリーン面に対して前記基準面が合う状態で表示される、請求項11に記載の方法。
  13. 前記立体視カメラの複数の視点は、共通する平面内に存在し、前記基準面の少なくとも一部分を仮想的に傾けることにより、前記仮想オブジェクトを変更することは、前記立体視カメラの複数の視点から見た場合に、前記後部境界に最も近い前記基準面を傾けることを含む、請求項11に記載の方法。
  14. 前記立体視カメラの複数の視点は、共通する平面内に存在し、前記基準面の少なくとも一部分を仮想的に傾けることにより、前記仮想オブジェクトを変更することは、前記立体視カメラの複数の視点を基準にして前記仮想オブジェクトを傾けることを含む、請求項11に記載の方法。
  15. 前記共通する平面を基準にして前記仮想オブジェクトの一部分を仮想的に曲げることにより、前記仮想オブジェクトを変更することをさらに含む、請求項11に記載の方法。
  16. 前記仮想オブジェクトの少なくとも一部分を、前記立体視カメラの複数の視点から仮想的に先細りにすることにより、前記仮想オブジェクトを変更することをさらに含む、請求項11に記載の方法。
  17. ディスプレイに表示される仮想的なシーンを作製する方法であって、前記仮想的なシーンは、少なくとも部分的に、前記ディスプレイに表示された場合に3次元に見え、前記ディスプレイから延在して見える仮想オブジェクトを含み、前記方法は、
    複数の周辺境界を有する仮想基準面を定義することと、
    前記仮想オブジェクトを、前記仮想基準面上に設定することと、
    前記基準面の前記複数の周辺境界内で、前記基準面を用いて、前記仮想オブジェクトを撮像することを可能にする立体視カメラの複数の視点を決定することと、
    前記立体視カメラの複数の視点から見た場合に前記仮想オブジェクトの一部分を仮想的に先細りにすることにより、前記仮想オブジェクトを変更し、変更された仮想オブジェクトを作ることと、
    前記立体視カメラの複数の視点から前記変更した仮想オブジェクトを画像化することとを備え、前記立体視カメラの複数の視点から前記変更した仮想オブジェクトを画像化することは、第1および第2の画像を作り、前記方法はさらに、
    前記第1の画像と前記第2の画像とを重ね、重ねられた画像を作り、最終画像を作ることとを備えた、方法。
  18. 前記最終画像を前記ディスプレイ内に見せることをさらに備え、前記ディスプレイはスクリーン面を有し、前記基準面が前記スクリーン面に対して合う状態で前記最終画像は表示される、請求項17に記載の方法。
  19. 前記立体視カメラの複数の視点から見た場合に前記仮想オブジェクトの一部分を仮想的に先細りにすることにより、前記仮想オブジェクトを変更することは、前記仮想オブジェクト上の第1の高さにおいて第1の点を選択することと、前記第1の点の上のみで前記仮想オブジェクトを先細りにすることとを含む、請求項17に記載の方法。
  20. 前記仮想オブジェクトは、知覚された高さを有し、前記第1の点の前記第1の高さは、前記知覚された高さの3分の1と前記知覚された高さの3分の2との間の高さである、請求項17に記載の方法。
JP2019571431A 2016-04-08 2018-04-05 電子ディスプレイの前方または上に投影されて見える仮想3次元画像を作製するためのシステム、方法、およびソフトウェア Active JP6810873B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662319788P 2016-04-08 2016-04-08
US15/481,447 US10136121B2 (en) 2016-04-08 2017-04-06 System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
US15/481,447 2017-04-06
PCT/US2018/026345 WO2018187635A1 (en) 2016-04-08 2018-04-05 System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display

Publications (2)

Publication Number Publication Date
JP2020520032A true JP2020520032A (ja) 2020-07-02
JP6810873B2 JP6810873B2 (ja) 2021-01-13

Family

ID=59999534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019571431A Active JP6810873B2 (ja) 2016-04-08 2018-04-05 電子ディスプレイの前方または上に投影されて見える仮想3次元画像を作製するためのシステム、方法、およびソフトウェア

Country Status (21)

Country Link
US (1) US10136121B2 (ja)
EP (1) EP3607530B1 (ja)
JP (1) JP6810873B2 (ja)
KR (1) KR102281462B1 (ja)
CN (1) CN110915206B (ja)
AU (1) AU2018249563B2 (ja)
BR (1) BR112019020608A2 (ja)
CA (1) CA3057513C (ja)
CL (1) CL2019002812A1 (ja)
CO (1) CO2019012408A2 (ja)
CR (1) CR20190461A (ja)
DO (1) DOP2019000254A (ja)
EA (1) EA201992286A1 (ja)
IL (1) IL269726B (ja)
JO (1) JOP20190237A1 (ja)
NI (1) NI201900104A (ja)
PE (1) PE20191751A1 (ja)
PH (1) PH12019502289A1 (ja)
SG (1) SG11201909306YA (ja)
WO (1) WO2018187635A1 (ja)
ZA (1) ZA201906582B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469803B2 (en) 2016-04-08 2019-11-05 Maxx Media Group, LLC System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display
US10475233B2 (en) 2016-04-08 2019-11-12 Maxx Media Group, LLC System, method and software for converting images captured by a light field camera into three-dimensional images that appear to extend vertically above or in front of a display medium
US10230939B2 (en) 2016-04-08 2019-03-12 Maxx Media Group, LLC System, method and software for producing live video containing three-dimensional images that appear to project forward of or vertically above a display
WO2018187724A1 (en) * 2017-04-06 2018-10-11 Maxx Media Group, LLC System, method and software for converting images captured by a light field camera into three-dimensional images that appear to extend vertically above or in front of a display medium
WO2018187655A1 (en) * 2017-04-06 2018-10-11 Maxx Media Group, LLC System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display
CA3057723C (en) * 2017-04-06 2022-04-12 Maxx Media Group, LLC System, method and software for producing live video containing three-dimensional images that appear to project forward of or vertically above a display
JP7349808B2 (ja) * 2019-03-20 2023-09-25 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178579A (ja) * 2002-11-12 2004-06-24 Namco Ltd 立体視用印刷物の製造方法、立体視用印刷物
WO2007029686A1 (ja) * 2005-09-07 2007-03-15 Sharp Kabushiki Kaisha 立体画像記録再生システム
JP2008083534A (ja) * 2006-09-28 2008-04-10 Toshiba Corp 三次元画像表示方法および三次元画像表示装置
JP2012090256A (ja) * 2010-09-22 2012-05-10 Nikon Corp 画像表示装置及び撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3723904A (en) 1971-10-13 1973-03-27 Trw Inc Film mount and mask for a pair of panoramic stereoscopic images
JP3376023B2 (ja) 1993-06-01 2003-02-10 キヤノン株式会社 立体画像表示方法及び画像表示装置
JP3376868B2 (ja) 1997-08-11 2003-02-10 日産自動車株式会社 ナビゲーションシステムの立体地形表示方法、ナビゲーションシステム及び立体地形表示プログラムを記録した媒体
US6614427B1 (en) 1999-02-01 2003-09-02 Steve Aubrey Process for making stereoscopic images which are congruent with viewer space
US6389236B1 (en) * 2000-02-01 2002-05-14 Owen C. Western Anaglyph and method
US6591285B1 (en) 2000-06-16 2003-07-08 Shuo-Yen Robert Li Running-sum adder networks determined by recursive construction of multi-stage networks
US7321682B2 (en) * 2002-11-12 2008-01-22 Namco Bandai Games, Inc. Image generation system, image generation method, program, and information storage medium
US7364300B2 (en) 2004-01-12 2008-04-29 Actuality Systems, Inc. Theta-parallax-only (TPO) displays
US7589759B1 (en) 2004-02-07 2009-09-15 Richard Stewart Freeman Vertical 3D imaging method
EP2087742A2 (en) * 2006-11-29 2009-08-12 F. Poszat HU, LLC Three dimensional projection display
US8355019B2 (en) * 2007-11-02 2013-01-15 Dimension Technologies, Inc. 3D optical illusions from off-axis displays
JP2011060116A (ja) 2009-09-11 2011-03-24 Fujifilm Corp 画像処理装置
JP2012156680A (ja) 2011-01-25 2012-08-16 Jvc Kenwood Corp 3d画像処理装置
JP2012256214A (ja) * 2011-06-09 2012-12-27 Sony Corp 情報処理装置、情報処理方法、およびプログラム
KR20150026373A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178579A (ja) * 2002-11-12 2004-06-24 Namco Ltd 立体視用印刷物の製造方法、立体視用印刷物
WO2007029686A1 (ja) * 2005-09-07 2007-03-15 Sharp Kabushiki Kaisha 立体画像記録再生システム
JP2008083534A (ja) * 2006-09-28 2008-04-10 Toshiba Corp 三次元画像表示方法および三次元画像表示装置
JP2012090256A (ja) * 2010-09-22 2012-05-10 Nikon Corp 画像表示装置及び撮像装置

Also Published As

Publication number Publication date
EP3607530A4 (en) 2020-03-25
EA201992286A1 (ru) 2020-02-18
NZ757902A (en) 2021-03-26
PH12019502289A1 (en) 2020-07-06
EP3607530C0 (en) 2023-06-07
IL269726B (en) 2022-02-01
JP6810873B2 (ja) 2021-01-13
IL269726A (en) 2019-11-28
KR20190134715A (ko) 2019-12-04
ZA201906582B (en) 2022-03-30
CA3057513C (en) 2021-06-15
CR20190461A (es) 2020-01-22
US20170294052A1 (en) 2017-10-12
WO2018187635A1 (en) 2018-10-11
KR102281462B1 (ko) 2021-07-28
CN110915206B (zh) 2023-09-26
US10136121B2 (en) 2018-11-20
JOP20190237A1 (ar) 2017-06-16
CN110915206A (zh) 2020-03-24
AU2018249563B2 (en) 2020-07-23
AU2018249563A1 (en) 2019-10-10
CA3057513A1 (en) 2018-10-11
EP3607530B1 (en) 2023-06-07
NI201900104A (es) 2020-04-02
SG11201909306YA (en) 2019-11-28
BR112019020608A2 (pt) 2020-04-22
CL2019002812A1 (es) 2020-03-13
DOP2019000254A (es) 2019-12-15
EP3607530A1 (en) 2020-02-12
CO2019012408A2 (es) 2020-01-17
PE20191751A1 (es) 2019-12-12

Similar Documents

Publication Publication Date Title
JP6810873B2 (ja) 電子ディスプレイの前方または上に投影されて見える仮想3次元画像を作製するためのシステム、方法、およびソフトウェア
US8957892B2 (en) Stereo composition based on multiple camera rigs
US9445072B2 (en) Synthesizing views based on image domain warping
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
US11663778B2 (en) Method and system for generating an image of a subject from a viewpoint of a virtual camera for a head-mountable display
US9087406B2 (en) Automated stereoscopic computer-animation techniques for determining scaled stereo parameters
JP4489610B2 (ja) 立体視可能な表示装置および方法
TWI531212B (zh) 呈現立體影像之系統及方法
JP2003284093A (ja) 立体画像処理方法および装置
US9196080B2 (en) Medial axis decomposition of 2D objects to synthesize binocular depth
JP2003284095A (ja) 立体画像処理方法および装置
US10110876B1 (en) System and method for displaying images in 3-D stereo
US10475233B2 (en) System, method and software for converting images captured by a light field camera into three-dimensional images that appear to extend vertically above or in front of a display medium
NZ757902B2 (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
OA19355A (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
WO2018187724A1 (en) System, method and software for converting images captured by a light field camera into three-dimensional images that appear to extend vertically above or in front of a display medium
KR20140108900A (ko) 3차원 이미지 생성 장치
JP2005284183A (ja) 立体視画像作成方法および装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191223

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200115

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191223

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201105

R150 Certificate of patent or registration of utility model

Ref document number: 6810873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250