JP2019534511A

JP2019534511A - 自由動作ｆｖｖアプリケーションのためのマルチレイヤｕｖマップに基づくテクスチャレンダリング

Info

Publication number: JP2019534511A
Application number: JP2019518235A
Authority: JP
Inventors: 洋一廣田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-10-07
Filing date: 2017-10-03
Publication date: 2019-11-28
Anticipated expiration: 2037-10-03
Also published as: US20180101978A1; CN109791704B; JP6845490B2; WO2018067601A1; US10453244B2; CN109791704A

Abstract

本明細書では、時間的に整合するテクスチャＵＶマップを用いたオクルージョンのための時空間テクスチャ合成と、さらなるマルチレイヤテクスチャＵＶマップを用いたシームレスな／鏡面反射性の色のための視点依存テクスチャマッピングと、さらなるフローＵＶマップを用いた自然なマッピングのための視点依存テクスチャアラインメントとを可能にするスケーラブルなテクスチャデータ表現について説明する。【選択図】図１

Description

〔関連出願との相互参照〕
本出願は、２０１６年１０月７日に出願された「自由動作ＦＶＶアプリケーションのためのマルチレイヤＵＶマップに基づくテクスチャレンダリング（ＭＵＬＴＩ−ＬＡＹＥＲＵＶＭＡＰＢＡＳＥＤＴＥＸＴＵＲＥＲＥＮＤＥＲＩＮＧＦＯＲＦＲＥＥ−ＲＵＮＮＩＮＧＦＶＶＡＰＰＬＩＣＡＴＩＯＮＳ）」という名称の米国仮特許出願第６２／４０５，６９６号、及び２０１６年１１月２８日に出願された「自由動作ＦＶＶアプリケーションのためのマルチレイヤＵＶマップに基づくテクスチャレンダリング（ＭＵＬＴＩ−ＬＡＹＥＲＵＶＭＡＰＢＡＳＥＤＴＥＸＴＵＲＥＲＥＮＤＥＲＩＮＧＦＯＲＦＲＥＥ−ＲＵＮＮＩＮＧＦＶＶＡＰＰＬＩＣＡＴＩＯＮＳ）」という名称の米国仮特許出願第６２／４２６，７３９号の合衆国法典第３５編第１１９条（ｅ）に基づく優先権を主張するものであり、これらの出願はいずれもその全体が全ての目的で引用により本明細書に組み入れられる。

本発明は、３次元グラフィックスに関する。具体的には、本発明は、スパースビューマルチビュー３次元グラフィックス（ｓｐａｒｓｅｖｉｅｗｍｕｌｔｉ−ｖｉｅｗｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌｇｒａｐｈｉｃｓ）に関する。

自由視点映像（ＦＶＶ）は、ユーザが映像の視点をいつでも変更できる映像である。例えば、スポーツ映像を観ているユーザは、ホームベースの後ろの視点から観ているスポーツ映像を外野からの視点に変更することができる。これにより、ユーザ／視聴者は、コンテンツを独自の視点から見ることができる。

米国特許出願代理人整理番号Ｓｏｎｙ−６９５００

Ｃｏｌｌｅｔ他著、「高品質ストリーミング可能な自由視点映像（Ｈｉｇｈ−ＱｕａｌｉｔｙＳｔｒｅａｍａｂｌｅＦｒｅｅ−ＶｉｅｗｐｏｉｎｔＶｉｄｅｏ）」、Ｍｉｃｒｏｓｏｆｔ社Ｖｏｌｉｎｏ他著、「最適なマルチビュー映像表現（ＯｐｔｉｍａｌＲｅｐｒｅｓｅｎｔａｔｉｏｎｏｆＭｕｌｔｉ−ＶｉｅｗＶｉｄｅｏ）」

これまでのテクスチャ合成の試みでは単層テクスチャＵＶマップを利用していたが、異なるカメラからのテクスチャを融合することによるテクスチャの継ぎ目又は低コントラスト色が観察される。他のテクスチャ合成の試みは、異なるカメラからのテクスチャを包括的に表面上で整列させるものであり、不自然にスケーリングされたテクスチャが容易に観察される。

本明細書では、時間的に整合するテクスチャＵＶマップを用いたオクルージョンのための時空間テクスチャ合成と、さらなるマルチレイヤテクスチャＵＶマップを用いたシームレスな／鏡面反射性の色のための視点依存テクスチャマッピングと、さらなるフローＵＶマップを用いた自然なマッピングのための視点依存テクスチャアラインメントとを可能にするスケーラブルなテクスチャデータ表現について説明する。

１つの態様では、装置のメモリにプログラムされた、自由視点映像コンテンツにおけるオブジェクト上にテクスチャをレンダリングする方法が、ＵＶマップ領域においてインペインティングを実行するステップと、マルチレイヤテクスチャＵＶマップを利用してテクスチャセグメントを組み合わせるステップと、誤った形状を防ぐようにフローＵＶマップを使用して形状にテクスチャを適用するステップとを含み、インペインティングを実行するステップ、マルチレイヤテクスチャＵＶマップを利用するステップ、及びフローＵＶマップを使用するステップが、オブジェクトの時間的に整合するテクスチャを生成する。ＵＶマップ領域においてインペインティングを実行するステップは、異なる時点に取り込まれたテクスチャを用いてオブジェクトのテクスチャのあらゆる遮蔽された外観を埋めるステップを含む。マルチレイヤテクスチャＵＶマップを利用するステップは、加重和を用いてテクスチャセグメントを組み合わせるステップを含む。フローＵＶマップを使用するステップは、テクスチャのグローバルアラインメント情報を生成して記憶するステップを含む。インペインティングを実行するステップ、マルチレイヤテクスチャＵＶマップを利用するステップ、及びフローＵＶマップを使用するステップは、自由視点映像コンテンツを処理するステップであってジオメトリ処理をさらに含むステップに含まれる。方法は、時間的に整合するテクスチャを有するオブジェクトを含む自由視点映像コンテンツを送信し、レンダリングして表示するステップをさらに含む。方法は、最大で１０台のビデオカメラを用いて自由視点映像コンテンツを取得するステップをさらに含む。方法は、全ての軸上の他のカメラからの分離が少なくとも３０度であるビデオカメラを用いて自由視点映像コンテンツを取得するステップをさらに含む。

別の態様では、装置が、非一時的メモリと、メモリに結合されたプロセッサとを含み、メモリは、ＵＶマップ領域においてインペインティングを実行し、マルチレイヤテクスチャＵＶマップを利用してテクスチャセグメントを組み合わせ、誤った形状を防ぐようにフローＵＶマップを使用して形状にテクスチャを適用するためのアプリケーションを記憶し、インペインティングを実行すること、マルチレイヤテクスチャＵＶマップを利用すること、及びフローＵＶマップを使用することは、オブジェクトの時間的に整合するテクスチャを生成し、プロセッサは、アプリケーションを処理するように構成される。ＵＶマップ領域においてインペインティングを実行することは、異なる時点に取り込まれたテクスチャを用いてオブジェクトのテクスチャのあらゆる遮蔽された外観を埋めることを含む。マルチレイヤテクスチャＵＶマップを利用することは、加重和を用いてテクスチャセグメントを組み合わせることを含む。フローＵＶマップを使用することは、テクスチャのグローバルアラインメント情報を生成して記憶することを含む。インペインティングを実行すること、マルチレイヤテクスチャＵＶマップを利用すること、及びフローＵＶマップを使用することは、自由視点映像コンテンツを処理することであってジオメトリ処理をさらに含むことに含まれる。装置は、時間的に整合するテクスチャを有するオブジェクトを含む自由視点映像コンテンツを送信し、レンダリングして表示することをさらに含む。装置は、最大で１０台のビデオカメラを用いて自由視点映像コンテンツを取得することをさらに含む。装置は、全ての軸上の他のカメラからの分離が少なくとも３０度であるビデオカメラを用いて自由視点映像コンテンツを取得することをさらに含む。

別の態様では、システムが、それぞれが自由視点映像コンテンツを取り込むように構成された複数のカメラ装置と、第１のコンピュータ装置と、第２のコンピュータ装置とを備え、第１のコンピュータ装置は、ＵＶマップ領域においてインペインティングを実行し、マルチレイヤテクスチャＵＶマップを利用してテクスチャセグメントを組み合わせ、誤った形状を防ぐようにフローＵＶマップを使用して形状にテクスチャを適用するように構成され、インペインティングを実行すること、マルチレイヤテクスチャＵＶマップを利用すること、及びフローＵＶマップを使用することは、自由視点映像コンテンツにおけるオブジェクトの時間的に整合するテクスチャを生成し、第２のコンピュータ装置は、自由視点映像コンテンツを第２のコンピュータ装置上に表示するように構成される。ＵＶマップ領域においてインペインティングを実行することは、異なる時点に取り込まれたテクスチャを用いてオブジェクトのテクスチャのあらゆる遮蔽された外観を埋めることを含む。マルチレイヤテクスチャＵＶマップを利用することは、加重和を用いてテクスチャセグメントを組み合わせることを含む。フローＵＶマップを使用することは、テクスチャのグローバルアラインメント情報を生成して記憶することを含む。インペインティングを実行すること、マルチレイヤテクスチャＵＶマップを利用すること、及びフローＵＶマップを使用することは、自由視点映像コンテンツを処理することであってジオメトリ処理をさらに含むことに含まれる。システムは、時間的に整合するテクスチャを有するオブジェクトを含む自由視点映像コンテンツを送信し、レンダリングして表示することをさらに含む。システムは、最大で１０台のビデオカメラを用いて自由視点映像コンテンツを取得することをさらに含む。システムは、全ての軸上の他のカメラからの分離が少なくとも３０度であるビデオカメラを用いて自由視点映像コンテンツを取得することをさらに含む。

いくつかの実施形態による、マルチレイヤテクスチャＵＶマップに基づくテクスチャレンダリング方法の図である。いくつかの実施形態による、ＵＶマップに基づく合成によって解決される３つの問題点の画像を示す図である。いくつかの実施形態によるテクスチャＵＶマップを示す図である。いくつかの実施形態による、ＵＶマップ領域におけるインペインティングの図である。いくつかの実施形態による、視点非依存テクスチャマッピング対視点依存テクスチャマッピング（テクスチャ合成のための単一レイヤＵＶマップ対マルチレイヤＵＶマップ）の図である。いくつかの実施形態による、視点依存テクスチャアラインメントを用いて誤った形状の問題に対処する図である。いくつかの実施形態による、ＵＶマップに基づく合成を行うように構成された例示的なコンピュータ装置のブロック図である。いくつかの実施形態による装置のネットワークの図である。

デンス（高密度）ビュー３Ｄビデオキャプチャでは、（例えば、４０〜１００台以上の）多くのカメラを利用して多くの異なる角度からコンテンツを取り込む。具体的には、各カメラ間のカメラ間間隔を非常に小さく（例えば、５度未満に）することができる。スパースビュー３Ｄビデオキャプチャではデンスビュー３Ｄビデオキャプチャ中に発生しない問題が発生するので、デンスビュー３Ｄビデオキャプチャではスパースビューと比べて相対的に処理が単純である。例えば、スパースビュー３Ｄビデオキャプチャを使用する際にはオクルージョンの問題がさらに大きくなる。

スパースビュー３Ｄビデオキャプチャでは、はるかに少ない数のカメラを使用して多くの異なる角度からコンテンツを取り込む。例えば、スパースビュー３Ｄビデオキャプチャでは、デンスビュー３Ｄビデオキャプチャが１００台のカメラを使用する同じ空間で１０台又はそれ未満のカメラを使用することができる。換言すれば、カメラ間の（少なくとも１つの又は全ての軸上の）間隔を４５度又は９０度にすることができる。

ＵＶマッピングは、３Ｄモデルの表面に２Ｄ画像を投影してテクスチャマッピングを行う３Ｄモデリング処理である。３Ｄオブジェクトの軸をモデル空間内で表すためにＸ、Ｙ及びＺを使用するので、２Ｄテクスチャの軸はＵ及びＶである。

本明細書では、時間的に整合するテクスチャＵＶマップを用いたオクルージョンのための時空間テクスチャ合成と、さらなるマルチレイヤテクスチャＵＶマップを用いたシームレスな／鏡面反射性の色のための視点依存テクスチャマッピング（ｖｉｅｗ−ｄｅｐｅｎｄｅｎｔｔｅｘｔｕｒｅ）と、さらなるフローＵＶマップを用いた自然なマッピングのための視点依存テクスチャアラインメント（ｖｉｅｗ−ｄｅｐｅｎｄｅｎｔｔｅｘｔｕｒｅａｌｉｇｎｍｅｎｔ）とを可能にするスケーラブルなテクスチャデータ表現について説明する。

レイヤの積み重ねに関して言えば、オブジェクト毎又は反射率毎などの異なる方法でレイヤを生成することができる。さらに、方法の拡張性に起因して、状況（例えば、帯域幅、処理能力）に基づいて１つ又は少数のレイヤを選択することもできる。

図１は、いくつかの実施形態による、マルチレイヤテクスチャＵＶマップに基づくテクスチャレンダリング法の図である。ステップ１００において、コンテンツを取り込む。ステップ１２０において、取り込んだコンテンツを処理する。ステップ１４０において、処理したコンテンツを送信する。ステップ１６０において、送信したコンテンツをレンダリングする。ステップ１８０において、レンダリングしたコンテンツを表示する。

本明細書で説明するように、ステップ１００において、スパースビュー３Ｄビデオカメラを用いてコンテンツを取り込む。例えば、取り込むべきオブジェクトの前方、後方、左側及び右側などの複数の異なる角度から複数のカメラが３Ｄ映像を取り込む。

ステップ１２０において、取り込んだコンテンツを処理する。この処理は、ジオメトリ処理及びテクスチャ処理を含む。ジオメトリ処理は、（例えば、視体積交差法（ｖｉｓｕａｌｈｕｌｌ）を用いて）３６０度形状の再生及び時間整合性（例えば、メッシュ追跡）を含む。３６０度形状の再生は、メッシュテンプレートを使用し、取得したコンテンツに基づいてテンプレートの比較及び選択を行い、複数のビューを用いて取得コンテンツの形状に基づいてテンプレートを修正することなどの、３Ｄ緻密化又は他のいずれかのタイプの形状生成を含むマルチビューステレオを利用することができる。メッシュ追跡は、確率的メッシュ追跡、又は非剛体変形におけるメッシュの時間的追跡、又は「パーツベースのキーフレーム及び演繹的モデルを用いたロバストなメッシュ追跡及び統合（ＲＯＢＵＳＴＭＥＳＨＴＲＡＣＫＩＮＧＡＮＤＦＵＳＩＯＮＢＹＵＳＩＮＧＰＡＲＴ−ＢＡＳＥＤＫＥＹ−ＦＲＡＭＥＳＡＮＤＰＲＩＯＲＩ−ＭＯＤＥＬ）」という名称の米国特許出願代理人整理番号Ｓｏｎｙ−６９５００に記載されているようなメッシュ追跡などのいずれかのタイプのメッシュ追跡を含むことができ、後者の文献はその全体が全ての目的で引用により本明細書に組み入れられる。別のメッシュ追跡の実装例は、Ｍｉｃｒｏｓｏｆｔ社のＣｏｌｌｅｔ他による「高品質ストリーミング可能な自由視点映像（Ｈｉｇｈ−ＱｕａｌｉｔｙＳｔｒｅａｍａｂｌｅＦｒｅｅ−ＶｉｅｗｐｏｉｎｔＶｉｄｅｏ）」に記載されており、この文献では、各フレームがキーフレームであることの実現可能性スコアを推定し、最も期待できる非追跡フレームをキーフレームとして選択し、非線形登録を行ってキーフレームメッシュを近隣フレームに合わせ、全てのフレームがキーフレームに関連付けられるまでこれを繰り返すことが教示されている。メッシュ追跡は、メッシュシーケンスをキーフレームと予測フレームとに分割することによって実装できるメッシュ圧縮にとって重要であり、キーフレームメッシュは幾何学情報と接続性情報とを含み、幾何学情報は頂点位置とＵＶ座標とを含む。テクスチャ処理は、ＵＶマップに基づく合成などの時空間合成を利用することができる。

本明細書で説明するように、ＵＶマップに基づく合成は、ＵＶマップ領域内でインペインティング（ｉｎｐａｉｎｔｉｎｇ）を実行してオクルージョンに対処し、マルチレイヤテクスチャＵＶマップ及び重み付けスキームを用いて顕著なテクスチャ継ぎ目を回避し、視点依存アラインメントにフローＵＶマップを利用して誤った形状を防ぐことによって実装される。

ステップ１４０において、処理したコンテンツを送信（例えば、ストリーミング）する。処理したコンテンツの送信は、ジオメトリ及びテクスチャのコンパクトなデータ表現のためのあらゆるタイプの３Ｄコーディングを含むことができる。いくつかの実施形態では、処理したコンテンツの送信が、コンテンツを第１の装置から第２の装置に符号化及び復号することを含む。

ステップ１６０において、送信したコンテンツをレンダリングする。例えば、レンダリング装置が、処理した形状情報及びテクスチャ情報を用いてＦＶＶ映像をレンダリングする。

ステップ１８０において、レンダリングしたＦＶＶ映像を（例えば、テレビ又は仮想現実ヘッドセット上に）表示する。

いくつかの実施形態では、これよりも少ない又はさらなるステップが実装される。いくつかの実施形態では、ステップの順序が変更される。

いくつかの実施形態では、本明細書で説明するステップが同じ装置上で行われ、いくつかの実施形態では、これらのステップが別個の装置（例えば、取り込み装置、処理装置、送信装置、レンダリング装置及びディスプレイ装置）上で行われる。別の例では、取り込み装置が複数の３Ｄカメラを含み、処理装置がサーバ又はコンピュータ装置であり、レンダリング／ディスプレイ装置がテレビである。

図２に、いくつかの実施形態による、ＵＶマップに基づく合成によって解決される３つの問題点の画像を示す。ＵＶマップに基づく合成は、ＦＶＶコンテンツにおけるオクルージョン、テクスチャ継ぎ目及び誤ったオブジェクト形状に対処する。ＦＶＶコンテンツは、まばらな間隔のカメラを用いて取り込まれるので、オクルージョン（例えば、オブジェクトの遮られた又は見えない外観）の可能性が非常に高くなる。異なるカメラからの複数のテクスチャを共にステッチングした（つなぎ合わせた）時のテクスチャ継ぎ目は目に付きやすく、美的にも不快である。また、オブジェクトの形状は様々な誤差に起因して正しくないことがあり、従って異なるカメラからのテクスチャは互いに表面上で包括的に整列させる（グローバルアラインメント）必要があり、そうでなければこれらのテクスチャは変位してしまう。しかしながら、たとえグローバルアラインメントを使用した場合でも、相変わらず不自然に伸びたテクスチャが観察される。

オクルージョン問題に対処するために、（例えば、どのカメラによっても取り込まれない領域を埋める）インペインティングを利用する。

図３に、いくつかの実施形態によるテクスチャＵＶマップを示す。このＵＶマップは、３Ｄ形状を２Ｄ領域上にアンラップ（展開）することによって生成される。ＵＶアンラッパの例には、マイクロソフト社製のＵＶＡｔｌａｓがある。これらの相関性に基づいて、このテクスチャＵＶマップと呼ばれる生成されたＵＶマップ上に取り込み画像をワーピング（変形処理）する。テクスチャＵＶマップを使用する利点は、常に全てのテクスチャに２Ｄ領域でアクセスできる点である。これによってあらゆる種類の従来の２Ｄインペインティング技術を使用できるようになる。

図４に、いくつかの実施形態による、ＵＶマップ領域におけるインペインティングの図を示す。テクスチャＵＶマップ上では、遮蔽テクスチャを周囲のテクスチャによって容易に空間的にインペインティングすることができ、これは空間合成とも呼ばれる。また、時間的にレジストレーション処理したメッシュ（例えば、時間と共に動く形状）を使用すれば、テクスチャが時間を越えて同じＵＶ位置に留まるので時間合成も可能である。時間合成は、前の時点及び後の時点で取り込まれたテクスチャを使用する、遮蔽テクスチャに使用するインペインティングの別表現である。例えば、時点０において取得したテクスチャＵＶマップは、人物が立っている時に取得されたテクスチャを含み、時点１において取得したテクスチャＵＶマップは、人物が逆立ちをしている時に取得されたテクスチャを含み、時点２において取得したテクスチャＵＶマップは、再び人物が立っている時に取得されたテクスチャを含む。空間合成及び時間合成を使用すれば、テクスチャＵＶマップからのテクスチャ及び／又はテクスチャＵＶマップを用いてテクスチャＵＶマップ内のあらゆる遮蔽（欠落）テクスチャをインペインティングする（例えば、埋める）ことができる。

図５に、いくつかの実施形態による、視点非依存テクスチャマッピング対視点依存テクスチャマッピング（テクスチャ合成のための単一レイヤＵＶマップ対マルチレイヤＵＶマップ）の図を示す。単一レイヤＵＶマップを使用した場合には、各カメラからのテクスチャが共にステッチングされて完全な面（又は他のオブジェクト）が生成される。しかしながら、図示のように、各カメラ間には、共にステッチングされた各テクスチャ要素の外観（例えば、色）に影響を与える差異が存在する。この結果、各テクスチャ要素間の継ぎ目が明らかになってしまう。

マルチレイヤテクスチャＵＶマップを使用した場合には、各カメラからの複数のレイヤ（例えば、色）が存在し、これらの複数のレイヤの加重和を使用することによって、テクスチャ継ぎ目が知覚されないようにテクスチャ要素間の差異を最小化することができる。カメラの重みは、レンダリングのための仮想カメラがどこに構成／配置されているかに依存（すなわち、視点依存）することができる。例えば、図示のように仮想カメラがカメラ０の近くに位置し、従ってカメラ１よりもカメラ０の重みの方が大きく、カメラ２は最も遠くのカメラであるためカメラ２よりもカメラ１の重みの方が大きい。仮想カメラは、どこにでも位置することができる。いくつかの実施形態では、仮想カメラが位置する場所をユーザが制御する。例えば、ユーザが特定の位置からＦＶＶコンテンツを見ることを選択した場合、この位置が仮想カメラの位置になる。いくつかの実施形態では、仮想カメラの位置が自動的に（例えば、システムによって）決定される。例えば、コンピュータシステムは、視聴者にオブジェクト全体が見えるようにするという理由でオブジェクトの側面からＦＶＶコンテンツを表示することが最良であると判断し、仮想カメラの位置である横方向からの映像を表示する。重みに関して言えば、重みはあらゆる形で使用することができる。例えば、マルチレイヤテクスチャＵＶマップに異なる重みを乗算すると、明らかなテクスチャ継ぎ目が存在しないオブジェクトの外観を有するテクスチャの加重和がもたらされる。各カメラに１つのレイヤが割り当てられているが、あらゆる種類のレイヤ割り当てを使用することができる。例えば、視認性に基づくレイヤ割り当てでは、Ｎ番目に良く見えるカメラからのテクスチャがＮ番目のレイヤに保存され、すなわち各レイヤが複数のカメラからのテクスチャを含む。Ｖｏｌｉｎｏ他による「最適なマルチビュー映像表現（ＯｐｔｉｍａｌＲｅｐｒｅｓｅｎｔａｔｉｏｎｏｆＭｕｌｔｉ−ＶｉｅｗＶｉｄｅｏ）」にも、視点間の表面ベースオプティカルフローアラインメントを用いてジオメトリ再生及びカメラ較正における誤差を補正するマルチレイヤテクスチャマップ映像が記載されている。Ｖｏｌｉｎｏによる方法は、再生されて時間的に整列したメッシュシーケンスを含む一連のカメラ視野を取得するものであり、この場合のメッシュの再生は、マルチビュー再生法及び表面整列法（ｓｕｒｆａｃｅａｌｉｇｎｍｅｎｔｔｅｃｈｎｉｑｕｅ）を用いて行われる。

図６は、いくつかの実施形態による、視点依存テクスチャアラインメントを用いて誤った形状の問題に対処する図である。形状上にテクスチャを配置する際に、フローＵＶマップを使用することによってテクスチャが適切に形状を覆って歪みの視認性を最小化するように整列させる。フローＵＶマップは、テクスチャＵＶマップを生成する際にＵＶマップ領域にグローバルアラインメント情報を保存することによって利用される。グローバルアラインメント情報は、各テクスチャをどこに配置すべきであるかを示す。いくつかの実施形態では、グローバルアラインメント情報が各テクスチャの座標を記憶する。いくつかの実施形態では、グローバルアラインメント情報が、各テクスチャがどのテクスチャの隣に位置するかを示す。グローバルアラインメント情報は、テクスチャを引き伸ばして元々の位置に戻す方法を示す。グローバルアラインメント情報は、各カメラからの座標／位置情報を含む取り込まれたテクスチャ情報を分析し、この情報をＵＶマップに保存して、テクスチャ情報とグローバル座標／アラインメント情報とを含むフローＵＶマップを生成することなどのいずれかの方法で決定することができる。仮想カメラに近いカメラは大きな重みを有する（すなわち、視点依存）ので、仮想カメラの位置に基づいてカメラ視野に重みを適用し、重み付きフローＵＶマップを使用することができる。重み付きフローＵＶマップは、テクスチャに合わせて最適化される。例えば、フローＵＶマップに保存された情報に重みを適用（例えば、乗算）することによって、スケーリングされたテクスチャＵＶマップを生成し、これを形状に適用して、まるで正しい形状のＦＶＶオブジェクトであるかのように見せることができる（例えば、この形状は依然として不正確であるが、スケーリングされたテクスチャが不正確さを隠す）。

図７は、いくつかの実施形態による、ＵＶマップに基づく合成を実装するように構成された例示的なコンピュータ装置のブロック図である。コンピュータ装置７００は、画像及び映像（例えば、ＦＶＶ）などの情報の取得、記憶、計算、処理、通信及び／又は表示を行うために使用することができる。コンピュータ装置７００は、取り込み、処理、送信、レンダリング及び／又は表示などの、ＵＶマップに基づく合成の態様のいずれかを実装することができる。一般に、コンピュータ装置７００を実装するのに適したハードウェア構造は、ネットワークインターフェイス７０２、メモリ７０４、プロセッサ７０６、Ｉ／Ｏ装置７０８、バス７１０及び記憶装置７１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサを選択する限り重要ではない。メモリ７０４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置７１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置７００は、１又は２以上のネットワークインターフェイス７０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置７０８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。記憶装置７１２及びメモリ７０４には、ＵＶマップに基づく合成を実装するために使用されるＵＶマップに基づく合成アプリケーション７３０が記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置７００には、図７に示すものよりも多くの又は少ないコンポーネントを含めることもできる。いくつかの実施形態では、ＵＶマップに基づく合成ハードウェア７２０が含まれる。図７のコンピュータ装置７００は、ＵＶマップに基づく合成のためのアプリケーション７３０及びハードウェア７２０を含むが、ＵＶマップに基づく合成は、ハードウェア、ファームウェア、ソフトウェア、又はこれらのあらゆる組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、ＵＶマップに基づく合成アプリケーション７３０がメモリにプログラムされ、プロセッサを用いて実行される。別の例として、いくつかの実施形態では、ＵＶマップに基づく合成ハードウェア７２０が、ＵＶマップに基づく合成を実装するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。

いくつかの実施形態では、ＵＶマップに基づく合成アプリケーション７３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールは、１又は２以上のサブモジュールをさらに含む。いくつかの実施形態では、これよりも少ない又はさらなるモジュールを含めることもできる。

いくつかの実施形態では、ＵＶマップに基づく合成ハードウェア７２０が、レンズ、画像センサ及び／又は他のいずれかのコンポーネントなどのカメラコンポーネントを含む。

好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートホン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、拡張現実装置、仮想現実装置、スマートジュエリ（例えば、スマートウォッチ）、又はその他のあらゆる好適なコンピュータ装置が挙げられる。

図８は、いくつかの実施形態による装置のネットワークの図である。３Ｄ／ＦＶＶ映像コンテンツの取得には複数のカメラ８００が利用される。映像コンテンツは、１又は２以上のプロセッサ装置８０２において（インペインティング、マルチレイヤテクスチャＵＶマップの利用、フローＵＶマップの使用を含めて）処理される。処理されたコンテンツは、ネットワーク８０４（例えば、インターネット、セルラネットワーク又は他のいずれかのネットワーク）を介して１又は２以上のレンダラ／ディスプレイ装置８０６に送信／ストリーミングされる。いくつかの実施形態では、コンテンツがネットワークを介すことなく１又は２以上のレンダラ／ディスプレイ装置８０６に直接送信される。いくつかの実施形態では、レンダラ装置及び／又はディスプレイ装置が別個の装置である。装置のネットワークの１又は２以上の装置（例えば、プロセッサ装置、レンダラ／ディスプレイ装置）は、本明細書で説明したＵＶマップに基づく合成の実装を実行するように構成される。１又は２以上のプロセッサ装置８０２及び１又は２以上のレンダラ／ディスプレイ装置８０６は、サーバ、パーソナルコンピュータ、スマートホン、テレビ、ゲームシステム、仮想現実装置、本明細書で説明した装置のいずれか、又は本明細書で説明した装置のいずれかの組み合わせ、などのいずれかの装置とすることができる。いくつかの実施形態では、（単複の）カメラ８００が、処理及び／又はレンダリングなどのＵＶマップに基づく合成のさらなる態様を実行する。

本明細書で説明したＵＶマップに基づく合成を利用するには、デジタルカメラ／カムコーダーなどの装置を使用して３Ｄ／ＦＶＶコンテンツを取得する。ＵＶマップに基づく合成は、ユーザ支援を用いて、又はユーザ関与を伴わずに自動的に実行して、３Ｄ／ＦＶＶコンテンツのテクスチャを効率的かつ正確に処理／適用することができる。その後、取得したコンテンツの再生時に、（例えば、アーティファクトが少ない又はゼロの）より正確なコンテンツが表示される。

動作中、このＵＶマップに基づく合成は、これまでの実装よりも正確なコンテンツ、具体的には時間的に整合するテクスチャを生成する。さらに、ＵＶマップに基づく合成は、オクルージョン、テクスチャ継ぎ目及び誤った形状という、テクスチャに関する３つの重要な問題点に対処する。

自由動作ＦＶＶアプリケーションのためのマルチレイヤＵＶマップに基づくテクスチャレンダリング
１．装置のメモリにプログラムされた、自由視点映像コンテンツにおけるオブジェクト上にテクスチャをレンダリングする方法であって、
ＵＶマップ領域においてインペインティングを実行するステップと、
マルチレイヤテクスチャＵＶマップを利用してテクスチャセグメントを組み合わせるステップと、
誤った形状を防ぐようにフローＵＶマップを使用して形状にテクスチャを適用するステップと、
を含み、インペインティングを実行するステップ、マルチレイヤテクスチャＵＶマップを利用するステップ、及びフローＵＶマップを使用するステップは、オブジェクトの時間的に整合するテクスチャを生成する、方法。

２．ＵＶマップ領域においてインペインティングを実行するステップは、異なる時点に取り込まれたテクスチャを用いてオブジェクトのテクスチャのあらゆる遮蔽された外観を埋めるステップを含む、条項１の方法。

３．マルチレイヤテクスチャＵＶマップを利用するステップは、加重和を用いてテクスチャセグメントを組み合わせるステップを含む、条項１の方法。

４．フローＵＶマップを使用するステップは、テクスチャのグローバルアラインメント情報を生成して記憶するステップを含む、条項１の方法。

５．インペインティングを実行するステップ、マルチレイヤテクスチャＵＶマップを利用するステップ、及びフローＵＶマップを使用するステップは、自由視点映像コンテンツを処理するステップであってジオメトリ処理をさらに含むステップに含まれる、条項１の方法。

６．時間的に整合するテクスチャを有するオブジェクトを含む自由視点映像コンテンツを送信し、レンダリングして表示するステップをさらに含む、条項１の方法。

７．最大で１０台のビデオカメラを用いて自由視点映像コンテンツを取得するステップをさらに含む、条項１の方法。

８．全ての軸上の他のカメラからの分離が少なくとも３０度であるビデオカメラを用いて自由視点映像コンテンツを取得するステップをさらに含む、条項１の方法。

９．非一時的メモリと、
メモリに結合されたプロセッサと、
を備えた装置であって、メモリは、
ＵＶマップ領域においてインペインティングを実行し、
マルチレイヤテクスチャＵＶマップを利用してテクスチャセグメントを組み合わせ、
誤った形状を防ぐようにフローＵＶマップを使用して形状にテクスチャを適用する、
ためのアプリケーションを記憶し、インペインティングを実行すること、マルチレイヤテクスチャＵＶマップを利用すること、及びフローＵＶマップを使用することは、オブジェクトの時間的に整合するテクスチャを生成し、
プロセッサは、アプリケーションを処理するように構成される、装置。

１０．ＵＶマップ領域においてインペインティングを実行することは、異なる時点に取り込まれたテクスチャを用いてオブジェクトのテクスチャのあらゆる遮蔽された外観を埋めることを含む、条項９の装置。

１１．マルチレイヤテクスチャＵＶマップを利用することは、加重和を用いてテクスチャセグメントを組み合わせることを含む、条項９の装置。

１２．フローＵＶマップを使用することは、テクスチャのグローバルアラインメント情報を生成して記憶することを含む、条項９の装置。

１３．インペインティングを実行すること、マルチレイヤテクスチャＵＶマップを利用すること、及びフローＵＶマップを使用することは、自由視点映像コンテンツを処理することであってジオメトリ処理をさらに含むことに含まれる、条項９の装置。

１４．時間的に整合するテクスチャを有するオブジェクトを含む自由視点映像コンテンツを送信し、レンダリングして表示することをさらに含む、条項９の装置。

１５．最大で１０台のビデオカメラを用いて自由視点映像コンテンツを取得することをさらに含む、条項９の装置。

１６．全ての軸上の他のカメラからの分離が少なくとも３０度であるビデオカメラを用いて自由視点映像コンテンツを取得することをさらに含む、条項９の装置。

１７．それぞれが自由視点映像コンテンツを取り込むように構成された複数のカメラ装置と、
第１のコンピュータ装置と、
第２のコンピュータ装置と、
を備えたシステムであって、第１のコンピュータ装置は、
ＵＶマップ領域においてインペインティングを実行し、
マルチレイヤテクスチャＵＶマップを利用してテクスチャセグメントを組み合わせ、
誤った形状を防ぐようにフローＵＶマップを使用して形状にテクスチャを適用する、
ように構成され、インペインティングを実行すること、マルチレイヤテクスチャＵＶマップを利用すること、及びフローＵＶマップを使用することは、自由視点映像コンテンツにおけるオブジェクトの時間的に整合するテクスチャを生成し、
前記第２のコンピュータ装置は、
前記自由視点映像コンテンツを前記第２のコンピュータ装置上に表示する、
ように構成される、システム。

１８．ＵＶマップ領域においてインペインティングを実行することは、異なる時点に取り込まれたテクスチャを用いてオブジェクトのテクスチャのあらゆる遮蔽された外観を埋めることを含む、条項１７のシステム。

１９．マルチレイヤテクスチャＵＶマップを利用することは、加重和を用いてテクスチャセグメントを組み合わせることを含む、条項１７のシステム。

２０．フローＵＶマップを使用することは、テクスチャのグローバルアラインメント情報を生成して記憶することを含む、条項１７のシステム。

２１．インペインティングを実行すること、マルチレイヤテクスチャＵＶマップを利用すること、及びフローＵＶマップを使用することは、自由視点映像コンテンツを処理することであってジオメトリ処理をさらに含むことに含まれる、条項１７のシステム。

２２．時間的に整合するテクスチャを有するオブジェクトを含む自由視点映像コンテンツを送信し、レンダリングして表示することをさらに含む、条項１７のシステム。

２３．最大で１０台のビデオカメラを用いて自由視点映像コンテンツを取得することをさらに含む、条項１７のシステム。

２４．全ての軸上の他のカメラからの分離が少なくとも３０度であるビデオカメラを用いて自由視点映像コンテンツを取得することをさらに含む、条項１７のシステム。

本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。

１００取り込み
１２０処理
１４０送信
１６０レンダリング
１８０表示

Claims

装置のメモリにプログラムされた、自由視点映像コンテンツにおけるオブジェクト上にテクスチャをレンダリングする方法であって、
ＵＶマップ領域においてインペインティングを実行するステップと、
マルチレイヤテクスチャＵＶマップを利用してテクスチャセグメントを組み合わせるステップと、
誤った形状を防ぐようにフローＵＶマップを使用して形状にテクスチャを適用するステップと、
を含み、インペインティングを実行するステップ、前記マルチレイヤテクスチャＵＶマップを利用するステップ、及び前記フローＵＶマップを使用するステップは、前記オブジェクトの時間的に整合するテクスチャを生成する、
ことを特徴とする方法。
前記ＵＶマップ領域においてインペインティングを実行するステップは、異なる時点に取り込まれた前記テクスチャを用いて前記オブジェクトの前記テクスチャのあらゆる遮蔽された外観を埋めるステップを含む、
請求項１に記載の方法。
前記マルチレイヤテクスチャＵＶマップを利用するステップは、加重和を用いて前記テクスチャセグメントを組み合わせるステップを含む、
請求項１に記載の方法。
前記フローＵＶマップを使用するステップは、前記テクスチャのグローバルアラインメント情報を生成して記憶するステップを含む、
請求項１に記載の方法。
前記インペインティングを実行するステップ、前記マルチレイヤテクスチャＵＶマップを利用するステップ、及び前記フローＵＶマップを使用するステップは、前記自由視点映像コンテンツを処理するステップであってジオメトリ処理をさらに含むステップに含まれる、
請求項１に記載の方法。
前記時間的に整合するテクスチャを有する前記オブジェクトを含む前記自由視点映像コンテンツを送信し、レンダリングして表示するステップをさらに含む、
請求項１に記載の方法。
最大で１０台のビデオカメラを用いて前記自由視点映像コンテンツを取得するステップをさらに含む、
請求項１に記載の方法。
全ての軸上の他のカメラからの分離が少なくとも３０度であるビデオカメラを用いて前記自由視点映像コンテンツを取得するステップをさらに含む、
請求項１に記載の方法。
非一時的メモリと、
前記メモリに結合されたプロセッサと、
を備えた装置であって、前記メモリは、
ＵＶマップ領域においてインペインティングを実行し、
マルチレイヤテクスチャＵＶマップを利用してテクスチャセグメントを組み合わせ、
誤った形状を防ぐようにフローＵＶマップを使用して形状にテクスチャを適用する、
ためのアプリケーションを記憶し、インペインティングを実行すること、前記マルチレイヤテクスチャＵＶマップを利用すること、及び前記フローＵＶマップを使用することは、前記オブジェクトの時間的に整合するテクスチャを生成し、
前記プロセッサは、前記アプリケーションを処理するように構成される、
ことを特徴とする装置。
前記ＵＶマップ領域においてインペインティングを実行することは、異なる時点に取り込まれた前記テクスチャを用いて前記オブジェクトの前記テクスチャのあらゆる遮蔽された外観を埋めることを含む、
請求項９に記載の装置。
前記マルチレイヤテクスチャＵＶマップを利用することは、加重和を用いて前記テクスチャセグメントを組み合わせることを含む、
請求項９に記載の装置。
前記フローＵＶマップを使用することは、前記テクスチャのグローバルアラインメント情報を生成して記憶することを含む、
請求項９に記載の装置。
前記インペインティングを実行すること、前記マルチレイヤテクスチャＵＶマップを利用すること、及び前記フローＵＶマップを使用することは、前記自由視点映像コンテンツを処理することであってジオメトリ処理をさらに含むことに含まれる、
請求項９に記載の装置。
前記時間的に整合するテクスチャを有する前記オブジェクトを含む前記自由視点映像コンテンツを送信し、レンダリングして表示することをさらに含む、
請求項９に記載の装置。
最大で１０台のビデオカメラを用いて前記自由視点映像コンテンツを取得することをさらに含む、
請求項９に記載の装置。
全ての軸上の他のカメラからの分離が少なくとも３０度であるビデオカメラを用いて前記自由視点映像コンテンツを取得することをさらに含む、
請求項９に記載の装置。
それぞれが自由視点映像コンテンツを取り込むように構成された複数のカメラ装置と、
第１のコンピュータ装置と、
第２のコンピュータ装置と、
を備えたシステムであって、前記第１のコンピュータ装置は、
ＵＶマップ領域においてインペインティングを実行し、
マルチレイヤテクスチャＵＶマップを利用してテクスチャセグメントを組み合わせ、
誤った形状を防ぐようにフローＵＶマップを使用して形状にテクスチャを適用する、
ように構成され、インペインティングを実行すること、前記マルチレイヤテクスチャＵＶマップを利用すること、及び前記フローＵＶマップを使用することは、前記自由視点映像コンテンツにおける前記オブジェクトの時間的に整合するテクスチャを生成し、
前記第２のコンピュータ装置は、
前記自由視点映像コンテンツを前記第２のコンピュータ装置上に表示する、
ように構成される、
ことを特徴とするシステム。
前記ＵＶマップ領域においてインペインティングを実行することは、異なる時点に取り込まれた前記テクスチャを用いて前記オブジェクトの前記テクスチャのあらゆる遮蔽された外観を埋めることを含む、
請求項１７に記載のシステム。
前記マルチレイヤテクスチャＵＶマップを利用することは、加重和を用いて前記テクスチャセグメントを組み合わせることを含む、
請求項１７に記載のシステム。
前記フローＵＶマップを使用することは、前記テクスチャのグローバルアラインメント情報を生成して記憶することを含む、
請求項１７に記載のシステム。
前記インペインティングを実行すること、前記マルチレイヤテクスチャＵＶマップを利用すること、及び前記フローＵＶマップを使用することは、前記自由視点映像コンテンツを処理することであってジオメトリ処理をさらに含むことに含まれる、
請求項１７に記載のシステム。
前記時間的に整合するテクスチャを有する前記オブジェクトを含む前記自由視点映像コンテンツを送信し、レンダリングして表示することをさらに含む、
請求項１７に記載のシステム。
最大で１０台のビデオカメラを用いて前記自由視点映像コンテンツを取得することをさらに含む、
請求項１７に記載のシステム。
全ての軸上の他のカメラからの分離が少なくとも３０度であるビデオカメラを用いて前記自由視点映像コンテンツを取得することをさらに含む、
請求項１７に記載のシステム。