JP2020513703A5 - - Google Patents

Description

取り込むビューの数を減らし、しかも依然として自由なビューナビゲーションを可能にするために、ジオメトリをプロキシとして用いて、取得したビューを修正し、および以前に取り込んでいないビュー位置を合成することができる。シーンのジオメトリを取得する１つの方法は、アクティブ深度カメラを利用すること、または取り込んだビューから深度を推定することである。この処理段階に起因する表現フォーマットは、深度マップとしても既知である、各々取り込んだＲＧＢ画素の深度にすることができる。疎ＲＧＢカメラ視野および対応する深度マップの伝送は、３Ｄ−ＨＥＶＣのような利用可能な規格を用いても行うことができる。しかしながら、通常、カメラは、直線的に配置され、しかも互いに接近するように制約されており、これによりナビゲーション空間が制限される。さらに、疎ビュー３Ｄ映像の取込みを用いるとき、オクルージョンがさらに関心事となる。

密集ビュー３Ｄ映像の取込みは、多くの異なる角度からコンテンツを取り込むために多くのカメラ（例えば４０〜１００＋）を利用する。より具体的には、カメラ間の間隔は、各カメラ間で非常に小さく（例えば、５度未満）することができる。密集ビュー３Ｄ映像の取込みは、疎ビュー３Ｄ映像の取込みと比べて処理が比較的簡単であり、その理由は、疎ビューには密集ビュー３Ｄ映像の取込みでは発生しない問題があるためである。たとえば、疎ビュー３Ｄ映像の取込みを用いるとき、オクルージョンがより大きな関心事となる。

Claims (16)

1. 方法であって、
   自由視点映像コンテンツを前処理する段階と、
   符号器を使用して、前記自由視点映像コンテンツを、符号化された自由視点映像コンテンツに符号化する段階と、
   復号器を使用して、前記符号化された自由視点映像コンテンツを、復号された自由視点映像コンテンツに復号する段階と、
   前記復号された自由視点映像コンテンツを装置上にレンダリングする段階と、
   を備え、前記自由視点映像コンテンツを前処理する段階は、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含み、前記ＵＶアトラス生成および前記テクスチャマッピングは、前記復号器からの復号された形状を利用することを特徴とする方法。
2. 前記自由視点映像コンテンツを符号化する段階は、ジオメトリ符号器を用いて頂点座標を符号化する段階と、ＵＶテクスチャ符号器を用いてテクスチャを符号化する段階とを含む、請求項１に記載の方法。
3. 前記自由視点映像コンテンツを復号する段階は、ジオメトリ復号器およびＵＶテクスチャ復号器を用いて復号する段階を含む、請求項１に記載の方法。
4. 前記復号された自由視点映像コンテンツをレンダリングする段階は、復号された形状情報、復号されたテクスチャ情報およびカメラ識別情報を利用する、請求項１に記載の方法。
5. 前記復号器においてカメラ識別情報を生成し、前記カメラ識別情報は、前記符号化された自由視点映像コンテンツを前記復号された自由視点映像コンテンツに復号するために利用される段階をさらに備える、請求項１に記載の方法。
6. 前記自由視点映像コンテンツを最大１０台の映像カメラを用いて取得する段階をさらに含む、請求項１に記載の方法。
7. 複数台の映像カメラを用いて前記自由視点映像コンテンツを取得し、前記複数映像カメラは、各軸上で他のカメラから少なくとも３０度離れている段階をさらに備える、請求項１に記載の方法。
8. ビューに依存するレンダリングについて、複数レイヤーテクスチャの使い方を信号で送る段階をさらに備える、請求項１に記載の方法。
9. 複数レイヤーテクスチャ表現の各テクスチャレイヤー内の画素にカメラ識別情報を関連付ける段階をさらに備える、請求項１に記載の方法。
10. 装置であって、
    アプリケーションを記憶するための非一時的メモリーであって、前記アプリケーションは、
    自由視点映像コンテンツを前処理し、
    符号器を使用して、前記自由視点映像コンテンツを、符号化された自由視点映像コンテンツに符号化し、
    符号器を使用して、自由視点映像コンテンツを、符号化された自由視点映像コンテンツに符号化するメモリーと、
    前記メモリーに結合され、前記アプリケーションを処理するように構成されたプロセッサと、を備え、
    前記自由視点映像コンテンツを前処理することは、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含み、前記ＵＶアトラス生成および前記テクスチャマッピングは、前記復号器からの復号された形状を利用することを特徴とする装置。
11. 前記自由視点映像コンテンツを符号化することは、ジオメトリ符号器を用いて頂点座標を符号化すること、およびＵＶテクスチャ符号器を用いてテクスチャを符号化することを含む、請求項１０に記載の装置。
12. システムであって、
    各々が自由視点映像コンテンツを取り込むように構成された複数台のカメラ装置と、
    第１のコンピュータ装置であって、
    自由視点映像コンテンツを前処理し、および
    符号器を使用して、自由視点映像コンテンツを、符号化された自由視点映像コンテンツに符号化するように構成された第１のコンピュータ装置と、
    第２のコンピュータ装置であって、
    復号器を使用して、前記符号化された自由視点映像コンテンツを、復号された自由視点映像コンテンツに復号し、および
    前記復号された自由視点映像コンテンツを、前記第２のコンピュータ装置上でレンダリングする第２のコンピュータ装置と、
    を備え、前記自由視点映像コンテンツを前処理することは、メッシュ生成、メッシュ追跡、ＵＶアトラス生成およびテクスチャマッピングを含み、前記ＵＶアトラス生成および前記テクスチャマッピングは、前記復号器からの復号された形状を利用することを特徴とするシステム。
13. 前記自由視点映像コンテンツを符号化することは、ジオメトリ符号器を用いて頂点座標を符号化すること、およびＵＶテクスチャ符号器を用いてテクスチャを符号化することを含む、請求項１２に記載のシステム。
14. 前記自由視点映像コンテンツを復号することは、ジオメトリ復号器およびＵＶテクスチャ復号器を用いて復号することを含む、請求項１２に記載のシステム。
15. 前記復号された自由視点映像コンテンツをレンダリングすることは、復号された形状情報、復号されたテクスチャ情報およびカメラ識別情報を利用する、請求項１２に記載のシステム。
16. 前記第２のコンピュータ装置は、前記復号器においてカメラ識別情報を生成し、前記カメラ識別情報は、前記符号化された自由視点映像コンテンツを前記復号された自由視点映像コンテンツに復号するために利用するように構成されている、請求項１２に記載のシステム。