JP2019516202A - 任意ビューの生成 - Google Patents

任意ビューの生成 Download PDF

Info

Publication number
JP2019516202A
JP2019516202A JP2019500759A JP2019500759A JP2019516202A JP 2019516202 A JP2019516202 A JP 2019516202A JP 2019500759 A JP2019500759 A JP 2019500759A JP 2019500759 A JP2019500759 A JP 2019500759A JP 2019516202 A JP2019516202 A JP 2019516202A
Authority
JP
Japan
Prior art keywords
image
viewpoint
view
pixels
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019500759A
Other languages
English (en)
Inventor
チュイ・クラレンス
パーマー・マヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Outward Inc
Original Assignee
Outward Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Outward Inc filed Critical Outward Inc
Publication of JP2019516202A publication Critical patent/JP2019516202A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

【課題】【解決手段】複数の他の既存ビューから任意ビューを生成するための技術が開示されている。いくつかの実施形態において、任意ビュー生成は:第1視点を有する第1画像および第2視点を有する第2画像をリトリーブし;第1画像および第2画像の各々を第3視点に変換し;変換された第1画像からのピクセルの少なくとも一部および変換された第2画像からのピクセルの少なくとも一部を統合することによって、第3視点を有する第3画像を生成することを含む。【選択図】図1

Description

既存のレンダリング技術は、品質および速度という相反する目標の間のトレードオフに直面している。高品質なレンダリングは、かなりの処理リソースおよび時間を必要とする。しかしながら、遅いレンダリング技術は、インタラクティブなリアルタイムアプリケーションなど、多くのアプリケーションで許容できない。通例は、低品質だが高速なレンダリング技術が、かかるアプリケーションでは好まれる。例えば、比較的高速なレンダリングのために品質を犠牲にして、ラスタ化が、リアルタイムグラフィックスアプリケーションによって一般に利用される。したがって、品質も速度も大きく損なうことのない改良技術が求められている。
以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。
シーンの任意ビューを生成するためのシステムの一実施形態を示すハイレベルブロック図。
データベースアセットの一例を示す図。
任意視点を生成するための処理の一実施形態を示すフローチャート。
本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および/または、プロセッサ(プロセッサに接続されたメモリに格納および/またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ)を含め、様々な形態で実装されうる。本明細書では、これらの実装または本発明が取りうる任意の他の形態を、技術と呼ぶ。一般に、開示された処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、ある時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、1または複数のデバイス、回路、および/または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。
以下では、本発明の原理を示す図面を参照しつつ、本発明の1または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。
シーンの任意ビューを生成するための技術が開示されている。本明細書に記載の実例は、非常に低い処理または計算オーバヘッドを伴いつつ、高精細度出力も提供し、レンダリング速度と品質との間の困難なトレードオフを効果的に排除する。開示されている技術は、インタラクティブなリアルタイムグラフィックスアプリケーションに関して、高品質出力を非常に高速に生成するために特に有効である。かかるアプリケーションは、提示されたインタラクティブなビューまたはシーンのユーザ操作に応答してそれに従って、好ましい高品質出力を実質的に即時に提示することに依存する。
図1は、シーンの任意ビューを生成するためのシステム100の一実施形態を示すハイレベルブロック図である。図に示すように、任意ビュー生成器102が、任意ビューの要求を入力104として受信し、既存のデータベースアセット106に基づいて要求された視点を生成し、入力された要求に応答して、生成された視点を出力108として提供する。様々な実施形態において、任意ビュー生成器102は、中央処理装置(CPU)またはグラフィックス処置装置(GPU)などのプロセッサを備えてよい。図1に示すシステム100の構成は、説明のために提示されている。一般に、システム100は、記載した機能を提供する任意の他の適切な数および/または構成の相互接続された構成要素を備えてもよい。例えば、別の実施形態において、任意ビュー生成器102は、異なる構成の内部構成要素110〜116を備えてもよく、任意ビュー生成器102は、複数の並列物理および/または仮想プロセッサを備えてもよく、データベース106は、複数のネットワークデータベースまたはアセットのクラウドを備えてもよい、などである。
任意ビュー要求104は、シーンの任意の視点の要求を含む。いくつかの実施形態において、シーンの要求された視点は、シーンの他の視点すなわちビューポイントを含むアセットデータベース106内にまだ存在してはいない。様々な実施形態において、任意ビュー要求104は、プロセスまたはユーザから受信されてよい。例えば、入力104は、提示されたシーンまたはその一部のユーザ操作(提示されたシーンのカメラビューポイントのユーザ操作など)に応答して、ユーザインターフェスから受信されうる。別の例において、任意ビュー要求104は、シーンのフライスルーなど、仮想環境内での運動または移動の経路の指定に応答して受信されてもよい。いくつかの実施形態において、要求できるシーンの可能な任意ビューは、少なくとも部分的に制約されている。例えば、ユーザは、提示されたインタラクティブシーンのカメラビューポイントを任意のランダムな位置に操作することができなくてもよく、シーンの特定の位置または視点に制約される。
データベース106は、格納された各アセットの複数のビューを格納する。所与の文脈において、アセットとは、仕様が複数のビューとしてデータベース106に格納されている個々のシーンのことである。様々な実施形態において、シーンは、単一のオブジェクト、複数のオブジェクト、または、リッチな仮想環境を含みうる。具体的には、データベース106は、各アセットの異なる視点すなわちビューポイントに対応する複数の画像を格納する。データベース106に格納された画像は、高品質の写真または写実的レンダリングを含む。データベース106に投入するかかる高精細度すなわち高解像度の画像は、オフライン処理中にキャプチャまたはレンダリングされるかもしくは外部ソースから取得されてよい。いくつかの実施形態において、対応するカメラ特性が、データベース106に格納された各画像と共に格納される。すなわち、相対的な位置または場所、向き、回転、奥行情報、焦点距離、絞り、ズームレベルなどのカメラ属性が、各画像と共に格納される。さらに、シャッター速度および露出などのカメラの光学情報が、データベース106に格納された各画像と共に格納されてもよい。
様々な実施形態において、アセットの任意の数の異なる視点がデータベース106に格納されてよい。図2は、データベースアセットの一例を示す。与えられた例では、椅子オブジェクトの周りの異なる角度に対応する73のビューがキャプチャまたはレンダリングされ、データベース106に格納される。ビューは、例えば、椅子の周りでカメラを回転させるかまたはカメラ前でイスを回転させることによってキャプチャされてよい。相対的なオブジェクトおよびカメラの位置および向きの情報が、生成された各画像と共に格納される。図2は、1つのオブジェクトを含むシーンのビューを具体的に示している。データベース106は、複数のオブジェクトまたはリッチな仮想環境を含むシーンの仕様も格納してよい。かかるケースにおいては、シーンまたは三次元空間の中の異なる位置または場所に対応する複数のビューがキャプチャまたはレンダリングされ、対応するカメラ情報と共にデータベース106に格納される。一般に、データベース106に格納された画像は、二または三次元を含んでよく、アニメーションまたはビデオシーケンスのスチールまたはフレームを含んでよい。
すでにデータベース106に存在しないシーンの任意のビューの要求104に応答して、任意のビュー生成器102は、データベース106に格納されたシーンの複数の他の既存ビューから、要求された任意ビューを生成する。図1の構成例では、任意ビュー生成器102のアセット管理エンジン110が、データベース106を管理する。例えば、アセット管理エンジン110は、データベース106におけるデータの格納およびリトリーブを容易にしうる。シーン104の任意ビューの要求に応答して、アセット管理エンジン110は、データベース106からシーンの複数の他の既存ビューを特定して取得する。いくつかの実施形態において、アセット管理エンジン110は、データベース106からシーンのすべての既存ビューをリトリーブする。あるいは、アセット管理エンジン110は、既存ビューの一部(例えば、要求された任意ビューに最も近いビュー)を選択してリトリーブしてもよい。かかるケースにおいて、アセット管理エンジン110は、要求された任意ビューを生成するためのピクセルの収集元になりうる一部の既存ビューをインテリジェントに選択するよう構成される。様々な実施形態において、複数の既存ビューが、アセット管理エンジン110によって一緒にリトリーブされてもよいし、任意ビュー生成器102のその他の構成要素によって必要になり次第リトリーブされてもよい。
アセット管理エンジン110によってリトリーブされた各既存ビューの視点は、任意ビュー生成器102の視点変換エンジン112によって、要求された任意ビューの視点に変換される。上述のように、正確なカメラ情報が既知であり、データベース106に格納された各画像と共に格納されている。したがって、既存ビューから要求された任意ビューへの視点変更は、単純な幾何マッピングまたは幾何変換を含む。様々な実施形態において、視点変換エンジン112は、既存ビューの視点を任意ビューの視点に変換するために、任意の1または複数の適切な数学的手法を用いてよい。要求されたビューがどの既存ビューとも同一ではない任意ビューを含む場合、任意ビューの視点への既存ビューの変換は、少なくともいくつかのマッピングされていないピクセルまたは失われたピクセル、すなわち、既存ビューに存在しない任意ビューに導入された角度または位置にあるピクセルを含むことになる。
単一の視点変換された既存ビューからのピクセル情報では、別のビューのすべてのピクセルを埋めることができない。しかしながら、多くの場合、すべてではないが、要求された任意ビューのほとんどのピクセルが、複数の視点変換された既存ビューから収集されうる。任意ビュー生成器102のマージエンジン114が、複数の視点変換された既存ビューからのピクセルを組み合わせて、要求された任意ビューを生成する。理想的には、任意ビューを構成するすべてのピクセルが既存ビューから収集される。これは、例えば、考慮対象となる十分に多様なセットの既存ビューまたはアセットの視点が利用可能である場合、および/または、要求された視点が既存の視点とはそれほど異なっていない場合に、可能でありうる。
複数の視点変換された既存ビューからのピクセルを統合またはマージして、要求された任意ビューを生成するために、任意の適切な技術が用いられてよい。一実施形態において、要求された任意ビューに最も近い第1既存ビューが、データベース106から選択されてリトリーブされ、要求された任意ビューの視点に変換される。次いで、ピクセルが、この視点変換された第1既存ビューから収集され、要求された任意ビュー内の対応するピクセルを埋めるために用いられる。第1既存ビューから取得できなかった要求された任意ビューのピクセルを埋めるために、これらの残りのピクセルの少なくとも一部を含む第2既存ビューが、データベース106から選択されてリトリーブされ、要求された任意ビューの視点へ変換される。次いで、第1既存ビューから取得できなかったピクセルは、この視点変換された第2既存ビューから収集され、要求された任意ビュー内の対応するピクセルを埋めるために用いられる。この処理は、要求された任意ビューのすべてのピクセルが埋められるまで、および/または、すべての既存ビューが使い果たされるかまたは所定の閾値数の既存ビューが利用されるまで、任意の数のさらなる既存ビューについて繰り返されてよい。
いくつかの実施形態において、要求された任意ビューは、どの既存ビューからも取得できなかったいくつかのピクセルを含みうる。かかる場合、補間エンジン116が、要求された任意ビューのすべての残りのピクセルを埋めるよう構成されている。様々な実施形態において、要求された任意ビュー内のこれらの埋められていないピクセルを生成するために、任意の1または複数の適切な補間技術が補間エンジン116によって用いられてよい。利用可能な補間技術の例は、例えば、線形補間、最近隣補間などを含む。ピクセルの補間は、平均法または平滑化を導入する。全体の画像品質は、ある程度の補間によって大きい影響を受けることはないが、過剰な補間は、許容できない不鮮明さを導入しうる。したがって、補間は、控えめに用いることが望ましい場合がある。上述のように、要求された任意ビューのすべてのピクセルを既存ビューから取得できる場合には、補間は完全に回避される。しかしながら、要求された任意ビューが、どのビューからも取得できないいくつかのピクセルを含む場合には、補間が導入される。一般に、必要な補間の量は、利用可能な既存ビューの数、既存ビューの視点の多様性、および/または、任意ビューの視点が既存ビューの視点に関してどれだけ異なるか、に依存する。
図2に示した例に関して、椅子オブジェクトの周りの73のビューが、椅子の既存ビューとして格納される。格納されたビューとのいずれとも異なるすなわち特有の椅子オブジェクトの周りの任意ビューが、もしあったとしても好ましくは最小限の補間で、複数のこれらの既存ビューを用いて生成されうる。しかしながら、既存ビューのかかる包括的なセットを生成して格納することが、効率的でなかったり望ましくなかったりする場合がある。いくつかの場合、その代わりに、十分に多様なセットの視点を網羅する十分に少ない数の既存ビューが生成および格納されてもよい。例えば、椅子オブジェクトの73のビューが、椅子オブジェクトの周りの少数のビューの小さいセットに縮小されてもよい。
上述のように、いくつかの実施形態において、要求できる可能な任意ビューが、少なくとも部分的に制約されてもよい。例えば、ユーザは、インタラクティブなシーンに関連する仮想カメラを特定の位置に動かすことから制限されうる。図2で与えられた例に関して、要求できる可能な任意ビューが、椅子オブジェクトの周りの任意の位置に制限されてよいが、例えば、椅子オブジェクトの底部のために存在するピクセルデータが不十分であるので、椅子オブジェクトの下の任意の位置を含まなくてよい。許容される任意ビューについてのかかる制約は、要求された任意ビューを任意ビュー生成器102によって既存データから生成できることを保証する。
任意ビュー生成器102は、入力された任意ビュー要求104に応答して、要求された任意ビュー108を生成して出力する。生成された任意ビュー108の解像度または品質は、既存ビューからのピクセルが任意ビューを生成するために用いられているので、それを生成するために用いられた既存ビューの品質と同じであるかまたは同等である。したがって、ほとんどの場合に高精細度の既存ビューを用いると、高精細度の出力が得られる。いくつかの実施形態において、生成された任意ビュー108は、関連シーンの他の既存ビューと共にデータベース106に格納され、後に、任意ビューに対する将来の要求に応答して、そのシーンの他の任意ビューを生成するために用いられてよい。入力104がデータベース106内の既存ビューの要求を含む場合、要求されたビューは、上述のように、他のビューから生成される必要がなく;その代わり、要求されたビューは、簡単なデータベースルックアップを用いてリトリーブされ、出力108として直接提示される。
任意ビュー生成器102は、さらに、記載した技術を用いて任意アンサンブルビューを生成するよう構成されてもよい。すなわち、入力104は、複数のオブジェクトを単一のカスタムビューに統合するための要求を含んでよい。かかる場合、上述の技術は、複数のオブジェクトの各々に対して実行され、複数のオブジェクトを含む単一の統合されたビューすなわちアンサンブルビューを生成するように統合される。具体的には、複数のオブジェクトの各々の既存ビューが、アセット管理エンジン110によってデータベース106から選択されてリトリーブされ、それらの既存ビューは、視点変換エンジン112によって、要求されたビューの視点に変換され、視点変換された既存ビューからのピクセルが、マージエンジン114によって、要求されたアンサンブルビューの対応するピクセルを埋めるために用いられ、アンサンブルビュー内の任意の残りの埋められていないピクセルが、補間エンジン116によって補間される。いくつかの実施形態において、要求されたアンサンブルビューは、アンサンブルを構成する1または複数のオブジェクトのためにすでに存在する視点を含みうる。かかる場合、要求された視点に対応するオブジェクトアセットの既存ビューは、オブジェクトの他の既存ビューから要求された視点を最初に生成する代わりに、アンサンブルビュー内のオブジェクトに対応するピクセルを直接埋めるために用いられる。
複数のオブジェクトを含む任意アンサンブルビューの一例として、図2の椅子オブジェクトおよび別個に撮影またはレンダリングされたテーブルオブジェクトを考える。椅子オブジェクトおよびテーブルオブジェクトは、両方のオブジェクトの単一のアンサンブルビューを生成するために、開示されている技術を用いて統合されてよい。したがって、開示された技術を用いて、複数のオブジェクトの各々の別個にキャプチャまたはレンダリングされた画像またはビューが、複数のオブジェクトを含み所望の視点を有するシーンを生成するために、矛盾なく統合されうる。上述のように、各既存ビューの奥行情報は既知である。各既存ビューの視点変換は、奥行変換を含んでおり、複数のオブジェクトが、アンサンブルビュー内で互いに対して適切に配置されることを可能にする。
任意アンサンブルビューの生成は、複数の単一オブジェクトをカスタムビューに組み合わせることに限定されない。むしろ、複数のオブジェクトまたは複数のリッチな仮想環境を有する複数のシーンが、同様にカスタムアンサンブルビューに統合されてもよい。例えば、複数の別個に独立して生成された仮想環境(おそらくは異なるコンテンツ生成源に由来し、おそらくは異なる既存の個々の視点を有する)が、所望の視点を有するアンサンブルビューに統合されてよい。したがって、一般に、任意ビュー生成器102は、おそらくは異なる既存ビューを含む複数の独立したアセットを、所望のおそらくは任意の視点を有するアンサンブルビューに矛盾なく統合または調和させるよう構成されてよい。すべての統合されたアセットが同じ視点に正規化されるので、完璧に調和した結果としてのアンサンブルビューが生成される。アンサンブルビューの可能な任意視点は、アンサンブルビューを生成するために利用可能な個々のアセットの既存ビューに基づいて制約されうる。
図3は、任意視点を生成するための処理の一実施形態を示すフローチャートである。処理300は、例えば、図1の任意ビュー生成器102によって用いられてよい。様々な実施形態において、処理300は、所定のアセットの任意ビューまたは任意アンサンブルビューを生成するために用いられてよい。
処理300は、任意視点の要求が受信される工程302で始まる。いくつかの実施形態において、工程302で受信された要求は、シーンのどの既存の利用可能な視点とも異なる所定のシーンの任意視点の要求を含みうる。かかる場合、例えば、任意視点要求は、そのシーンの提示されたビューの視点の変更を要求されたことに応じて受信されてよい。視点のかかる変更は、カメラのパン、焦点距離の変更、ズームレベルの変更など、シーンに関連する仮想カメラの変更または操作によって促されてよい。あるいは、いくつかの実施形態において、工程302で受信された要求は、任意アンサンブルビューの要求を含んでもよい。一例として、かかる任意アンサンブルビュー要求は、複数の独立したオブジェクトの選択を可能にして、選択されたオブジェクトの統合された視点修正済みのアンサンブルビューを提供するアプリケーションに関して受信されうる。
工程304で、要求された任意視点の少なくとも一部を生成する元となる複数の既存画像が、1または複数の関連アセットデータベースからリトリーブされる。複数のリトリーブされた画像は、工程302で受信された要求が所定のアセットの任意視点の要求を含む場合には、所定のアセットに関連してよく、また、工程302で受信された要求が任意アンサンブルビューの要求を含む場合には、複数のアセットに関連してよい。
工程306で、異なる視点を有する工程304でリトリーブされた複数の既存画像の各々が、工程302で要求された任意視点に変換される。工程304でリトリーブされた既存画像の各々は、関連する視点情報を含む。各画像の視点は、相対位置、向き、回転、角度、奥行、焦点距離、絞り、ズームレベル、照明情報など、その画像の生成に関連するカメラ特性によって規定される。完全なカメラ情報が各画像について既知であるので、工程306の視点変換は、単純な数学演算を含む。いくつかの実施形態において、工程306は、任意選択的に、すべての画像が同じ所望の照明条件に一貫して正規化されるような光学変換をさらに含む。
工程308で、工程302で要求された任意視点を有する画像の少なくとも一部が、視点変換済みの既存画像から収集されたピクセルで埋められる。すなわち、複数の視点補正済みの既存画像からのピクセルが、要求された任意視点を有する画像を生成するために用いられる。
工程310で、要求された任意視点を有する生成された画像が完成したか否かが判定される。要求された任意視点を有する生成された画像が完成していないと工程310で判定された場合、生成された画像の任意の残りの埋められていないピクセルを取得するためのさらなる既存画像が利用可能であるか否かが工程312で判定される。さらなる既存画像が利用可能であると工程312で判定された場合、1または複数のさらなる既存画像が工程314でリトリーブされ、処理300は工程306に進む。
要求された任意視点を有する生成された画像が完成していないと工程310で判定され、かつ、もはや既存画像が利用できないと工程312で判定された場合、生成された画像のすべての残りの埋められていないピクセルが工程316で補間される。任意の1または複数の適切な補間技術が、工程316で用いられてよい。
要求された任意視点を有する生成された画像が完成したと工程310で判定された場合、または、工程316ですべての残りの埋められていないピクセルを補間した後、要求された任意視点を有する生成済みの画像が工程318で出力される。その後、処理300は終了する。
上述のように、開示した技術は、他の既存の視点に基づいて任意視点を生成するために用いられてよい。カメラ情報が各既存視点と共に保存されているので、異なる既存の視点を共通の所望の視点に正規化することが可能である。所望の視点を有する結果としての画像は、視点変換された既存画像からピクセルを取得することで構築できる。開示した技術を用いた任意視点の生成に関連する処理は、高速でほぼ即時であるだけでなく、高品質の出力も生み出すため、開示した技術は、インタラクティブなリアルタイムグラフィックスアプリケーションに対して特に強力な技術となっている。
上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。

Claims (20)

  1. システムであって、
    プロセッサであって、
    第1視点を有する第1画像および第2視点を有する第2画像をリトリーブし、
    前記第1画像および前記第2画像の各々を第3視点に変換し、
    前記変換された第1画像からのピクセルの少なくとも一部および前記変換された第2画像からのピクセルの少なくとも一部を統合することによって、前記第3視点を有する第3画像を生成するよう構成された、プロセッサと、
    前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されたメモリと、
    を備える、システム。
  2. 請求項1に記載のシステムであって、
    前記第1視点、前記第2視点、および、前記第3視点はすべて、異なる視点を含む、システム。
  3. 請求項1に記載のシステムであって、
    前記第1画像および前記第2画像は、既存の画像を含む、システム。
  4. 請求項1に記載のシステムであって、
    前記第3視点を有する前記第3画像は、異なる視点を有する複数の既存の画像から生成される、システム。
  5. 請求項1に記載のシステムであって、
    各画像の前記視点は、各画像の生成に関連したカメラ特性によって規定される、システム。
  6. 請求項5に記載のシステムであって、
    前記カメラ特性は、位置、向き、回転、角度、奥行、焦点距離、絞り、および、ズームレベルの内の1または複数を含む、システム。
  7. 請求項1に記載のシステムであって、
    カメラ特性が、前記第1画像および前記第2画像の各々と共に格納されており、各画像について既知である、システム。
  8. 請求項1に記載のシステムであって、
    前記第3画像を生成することは、前記第3画像の1または複数のピクセルを補間することを含む、システム。
  9. 請求項1に記載のシステムであって、
    前記第1画像、前記第2画像、および、前記第3画像は、異なる視点を有する同じシーンの画像を含む、システム。
  10. 請求項9に記載のシステムであって、
    前記シーンは、単一のオブジェクトまたは複数のオブジェクトを含む、システム。
  11. 請求項9に記載のシステムであって、
    前記シーンは、仮想環境を含む、システム。
  12. 請求項1に記載のシステムであって、
    前記第1画像は第1オブジェクトを含み、前記第2画像は第2オブジェクトを含み、前記第3画像は前記第1オブジェクトおよび前記第2オブジェクトを含む、システム。
  13. 請求項1に記載のシステムであって、
    前記第1画像は第1シーンを含み、前記第2画像は第2シーンを含み、前記第3画像は前記第1シーンおよび前記第2シーンのアンサンブルを含む、システム。
  14. 請求項13に記載のシステムであって、
    各シーンは、単一のオブジェクト、複数のオブジェクト、または、仮想環境を含む、システム。
  15. 請求項1に記載のシステムであって、
    前記第1画像、前記第2画像、および、前記第3画像は、静止画像を含む、システム。
  16. 請求項1に記載のシステムであって、
    前記第1画像、前記第2画像、および、前記第3画像は、三次元空間のビューを含む、システム。
  17. 請求項1に記載のシステムであって、
    前記第1画像、前記第2画像、および、前記第3画像は、アニメーションまたはビデオシーケンスのフレームを含む、システム。
  18. 請求項1に記載のシステムであって、
    前記プロセッサは、さらに、前記第3視点とは異なる視点を有する1または複数のさらなる画像をリトリーブし、前記1または複数のさらなる画像を前記第3視点に変換し、前記変換された1または複数のさらなる画像から少なくとも一部のピクセルを前記第3画像の生成に用いるよう構成されている、システム。
  19. 方法であって、
    第1視点を有する第1画像および第2視点を有する第2画像をリトリーブする工程と、
    前記第1画像および前記第2画像の各々を第3視点に変換する工程と、
    前記変換された第1画像からのピクセルの少なくとも一部および前記変換された第2画像からのピクセルの少なくとも一部を統合することによって、前記第3視点を有する第3画像を生成する工程と、
    を備える、方法。
  20. コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、
    第1視点を有する第1画像および第2視点を有する第2画像をリトリーブするためのコンピュータ命令と、
    前記第1画像および前記第2画像の各々を第3視点に変換するためのコンピュータ命令と、
    前記変換された第1画像からのピクセルの少なくとも一部および前記変換された第2画像からのピクセルの少なくとも一部を統合することによって、前記第3視点を有する第3画像を生成するためのコンピュータ命令と、
    を備える、コンピュータプログラム製品。
JP2019500759A 2016-03-25 2017-03-24 任意ビューの生成 Pending JP2019516202A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/081,553 2016-03-25
US15/081,553 US9996914B2 (en) 2016-03-25 2016-03-25 Arbitrary view generation
PCT/US2017/024101 WO2017165818A1 (en) 2016-03-25 2017-03-24 Arbitrary view generation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020195632A Division JP7116142B2 (ja) 2016-03-25 2020-11-26 任意ビューの生成

Publications (1)

Publication Number Publication Date
JP2019516202A true JP2019516202A (ja) 2019-06-13

Family

ID=59898995

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019500759A Pending JP2019516202A (ja) 2016-03-25 2017-03-24 任意ビューの生成
JP2020195632A Active JP7116142B2 (ja) 2016-03-25 2020-11-26 任意ビューの生成
JP2022120065A Active JP7569356B2 (ja) 2016-03-25 2022-07-28 任意ビューの生成
JP2024091888A Withdrawn JP2024113100A (ja) 2016-03-25 2024-06-06 任意ビューの生成

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020195632A Active JP7116142B2 (ja) 2016-03-25 2020-11-26 任意ビューの生成
JP2022120065A Active JP7569356B2 (ja) 2016-03-25 2022-07-28 任意ビューの生成
JP2024091888A Withdrawn JP2024113100A (ja) 2016-03-25 2024-06-06 任意ビューの生成

Country Status (7)

Country Link
US (4) US9996914B2 (ja)
EP (1) EP3433720A4 (ja)
JP (4) JP2019516202A (ja)
KR (5) KR102530116B1 (ja)
CN (2) CN109074235B (ja)
CA (1) CA3018749C (ja)
WO (1) WO2017165818A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022553846A (ja) * 2019-11-08 2022-12-26 アウトワード・インコーポレーテッド 任意ビューの生成
WO2024048210A1 (ja) * 2022-09-02 2024-03-07 富士フイルム株式会社 視点画像生成装置、視点画像生成方法、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600245B1 (en) 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US9996914B2 (en) * 2016-03-25 2018-06-12 Outward, Inc. Arbitrary view generation
US10163250B2 (en) * 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
CN110148088B (zh) * 2018-03-14 2023-09-19 北京邮电大学 图像处理方法、图像去雨方法、装置、终端及介质
KR102245931B1 (ko) 2018-10-22 2021-04-28 주식회사 엘지화학 디메틸올부탄알의 제조방법 및 이를 이용한 트리메틸올프로판의 제조방법
GB2586985B (en) * 2019-09-10 2023-04-05 Hitomi Ltd Signal delay measurement
EP4310498A4 (en) 2021-03-17 2024-09-11 Jvckenwood Corp CONJUGATE FORMATION METHODS, METHODS FOR MEASURING A SUBSTANCE OF INTEREST AND KIT

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137815A (ja) * 1998-11-02 2000-05-16 Gen Tec:Kk 新視点画像生成方法
JP2003187261A (ja) * 2001-12-14 2003-07-04 Canon Inc 3次元画像生成装置、3次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体
JP2009211335A (ja) * 2008-03-04 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010140097A (ja) * 2008-12-09 2010-06-24 Nippon Telegr & Teleph Corp <Ntt> 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222947B1 (en) * 1997-02-19 2001-04-24 Canon Kabushiki Kaisha Image editing apparatus and method and medium on which programs are recorded
US6377257B1 (en) 1999-10-04 2002-04-23 International Business Machines Corporation Methods and apparatus for delivering 3D graphics in a networked environment
JP2001140097A (ja) 1999-11-18 2001-05-22 Nippon Paint Co Ltd 複層電着塗膜およびこの塗膜を含む多層塗膜の形成方法
WO2003005303A2 (en) * 2001-07-02 2003-01-16 Matchlight Software, Inc. System and method for discovering and categorizing attributes of a digital image
GB2400513B (en) 2003-03-14 2005-10-05 British Broadcasting Corp Video processing
JP3971714B2 (ja) * 2003-03-19 2007-09-05 日本電信電話株式会社 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
WO2004114224A1 (ja) * 2003-06-20 2004-12-29 Nippon Telegraph And Telephone Corporation 仮想視点画像生成方法及び3次元画像表示方法並びに装置
EP1605408A1 (en) 2004-06-11 2005-12-14 Saab Ab Image-based rendering (IBR)
US8331637B2 (en) 2006-03-03 2012-12-11 Medic Vision-Brain Technologies Ltd. System and method of automatic prioritization and analysis of medical images
IL188569A (en) * 2007-01-17 2014-05-28 Mediguide Ltd Method and system for coordinating a 3D image coordinate system with a medical position coordinate system and a 2D image coordinate system
US8655052B2 (en) * 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
US8200039B2 (en) * 2007-04-05 2012-06-12 Adobe Systems Incorporated Laying out multiple images
JP5222597B2 (ja) 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
WO2010039966A1 (en) 2008-10-03 2010-04-08 3M Innovative Properties Company Systems and methods for optimizing a scene
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
JP2011091527A (ja) 2009-10-21 2011-05-06 Panasonic Corp 映像変換装置及び撮像装置
KR20110097690A (ko) * 2010-02-23 2011-08-31 삼성전자주식회사 다시점 정지 영상 서비스 제공 방법 및 그 장치, 다시점 정지 영상 서비스 수신 방법 및 그 장치
JP5444139B2 (ja) 2010-06-29 2014-03-19 クラリオン株式会社 画像のキャリブレーション方法および装置
US10158846B2 (en) 2010-12-06 2018-12-18 Teranex Systems, Inc. Pseudo-3d forced perspective methods and devices
US9177381B2 (en) 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
KR20120137205A (ko) * 2011-06-10 2012-12-20 삼성전자주식회사 영상 처리를 위한 방법 및 장치
WO2013049388A1 (en) 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding
KR101415147B1 (ko) * 2012-08-10 2014-07-08 광운대학교 산학협력단 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법
US9305371B2 (en) * 2013-03-14 2016-04-05 Uber Technologies, Inc. Translated view navigation for visualizations
US9558423B2 (en) 2013-12-17 2017-01-31 Canon Kabushiki Kaisha Observer preference model
CN203870604U (zh) * 2014-03-28 2014-10-08 索尼公司 显示设备
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
GB2532075A (en) 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
US9916525B2 (en) 2015-10-13 2018-03-13 Siemens Healthcare Gmbh Learning-based framework for personalized image quality evaluation and optimization
US10163250B2 (en) * 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US9996914B2 (en) * 2016-03-25 2018-06-12 Outward, Inc. Arbitrary view generation
US10163251B2 (en) * 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US10163249B2 (en) * 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137815A (ja) * 1998-11-02 2000-05-16 Gen Tec:Kk 新視点画像生成方法
JP2003187261A (ja) * 2001-12-14 2003-07-04 Canon Inc 3次元画像生成装置、3次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体
JP2009211335A (ja) * 2008-03-04 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010140097A (ja) * 2008-12-09 2010-06-24 Nippon Telegr & Teleph Corp <Ntt> 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022553846A (ja) * 2019-11-08 2022-12-26 アウトワード・インコーポレーテッド 任意ビューの生成
WO2024048210A1 (ja) * 2022-09-02 2024-03-07 富士フイルム株式会社 視点画像生成装置、視点画像生成方法、及びプログラム

Also Published As

Publication number Publication date
JP2021044004A (ja) 2021-03-18
JP2024113100A (ja) 2024-08-21
JP2022141937A (ja) 2022-09-29
CA3018749C (en) 2021-03-16
US20170278228A1 (en) 2017-09-28
KR102530116B1 (ko) 2023-05-10
US10748265B2 (en) 2020-08-18
KR20210024218A (ko) 2021-03-04
US11544829B2 (en) 2023-01-03
US20230088433A1 (en) 2023-03-23
CA3018749A1 (en) 2017-09-28
KR102324651B1 (ko) 2021-11-11
WO2017165818A1 (en) 2017-09-28
JP7569356B2 (ja) 2024-10-17
KR102221937B1 (ko) 2021-03-04
CN109074235B (zh) 2022-04-05
US9996914B2 (en) 2018-06-12
KR20220054902A (ko) 2022-05-03
EP3433720A4 (en) 2019-08-28
EP3433720A1 (en) 2019-01-30
CN109074235A (zh) 2018-12-21
KR20200096691A (ko) 2020-08-12
KR102143098B1 (ko) 2020-08-10
US20180247398A1 (en) 2018-08-30
US20200334798A1 (en) 2020-10-22
JP7116142B2 (ja) 2022-08-09
CN114663571A (zh) 2022-06-24
KR20210137235A (ko) 2021-11-17
KR20180125970A (ko) 2018-11-26

Similar Documents

Publication Publication Date Title
JP7116142B2 (ja) 任意ビューの生成
US10163249B2 (en) Arbitrary view generation
US11676332B2 (en) Arbitrary view generation
US20210217225A1 (en) Arbitrary view generation
JP6637855B2 (ja) データ処理装置、データ処理方法およびコンピュータプログラム
JP7538862B2 (ja) 任意ビューの生成
JP7410289B2 (ja) 任意ビューの生成
JP2020187528A (ja) 画像処理装置、画像処理システム、画像生成方法、および、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200428

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200728