JP2019534500A - 没入型ビデオフォーマットのための方法、機器、及びシステム - Google Patents

Abstract

オブジェクトの少なくとも一部を表現する点群の点に関連するデータを取得すること、オブジェクトの少なくとも一部に関連する少なくとも幾何学的特性及び少なくとも１つの画像を取得するために使用される取得装置の姿勢情報に従ってパラメトリック曲面を取得すること、パラメトリック曲面に関連する高さマップ及び１つ又は複数のテクスチャマップを取得すること、少なくともパラメータに関する第１の構文要素、高さマップに関する第２の構文要素、少なくとも１つのテクスチャマップに関する第３の構文要素、及び取得装置の位置に関する第４の構文要素を組み合わせることによってストリームを生成することを含む、オブジェクトの画像からストリームを生成するための方法及び装置。本開示は、そのように取得したストリームからオブジェクトの画像をレンダリングするための方法及び装置に更に関する。

Description

１．技術分野
本開示は没入型ビデオコンテンツの分野に関する。本開示は、例えばモバイル装置やヘッドマウントディスプレイ等のエンドユーザ装置上でレンダリングするための没入型コンテンツを表すデータのフォーマッティングの脈絡でも理解される。

２．背景
この節は、以下に記載の及び／又は特許請求の範囲に記載の本開示の様々な態様に関係し得る技術の様々な側面を読者に紹介することを目的とする。この解説は、本発明の様々な態様をより良く理解するのを助けるための背景情報を読者に与えるのに有用だと考えられる。従って、これらの記述は従来技術の承認としてではなく、かかる観点から読まれるべきことを理解すべきである。

ヘッドマウントディスプレイ（ＨＭＤ）やＣＡＶＥ等のディスプレイシステムは、利用者が没入型ビデオコンテンツを閲覧することを可能にする。没入型ビデオコンテンツはＣＧＩ（コンピュータ生成画像）技法によって得ることができる。かかる没入型ビデオコンテンツにより、コンテンツを見ている利用者の視点に従ってコンテンツを計算することができるが、非現実的なグラフィカル品質が伴う。没入型ビデオコンテンツは、球体や立方体等の面上にビデオ（例えば数台のカメラによって取得されるビデオ）をマッピングすることによって得ることができる。かかる没入型ビデオコンテンツは優れた画質を提供するが、とりわけ前景の、即ちカメラに近いシーンのオブジェクトに関して視差に関する問題が生じる。

没入型ビデオコンテンツの脈絡において自由視点ビデオ（ＦＶＶ：free-viewpoint video）とは、マルチビュービデオの表現及びコード化並びに任意の視点からのその後の再レンダリングのための技法である。没入型コンテンツにおけるユーザエクスペリエンスを高める一方、レンダラに搬送すべきデータ量が非常に重要であり問題になり得る。

３．概要
本明細書での「一実施形態」、「或る実施形態」、「一実施形態例」、「特定の実施形態」への言及は、記載される実施形態が特定の特徴、構造、又は特性を含み得るが、全ての実施形態がそれらの特定の特徴、構造、又は特性を必ずしも含まなくても良いことを意味する。更に、かかる語句は必ずしも同じ実施形態を指すものではない。更に、或る実施形態に関連して特定の特徴、構造、又は特性が記載される場合、明確に記載されていようがいまいが、かかる特徴、構造、又は特性を他の実施形態に関連して目指すことが当業者の知識の範囲内にあると考えられる。

本開示は、シーンのオブジェクトの少なくとも１つの画像からストリームを生成する方法に関し、この方法は、
−オブジェクトの少なくとも一部を表現する点群の点に関連するデータを取得すること、
−少なくとも１つの取得装置によって計算されるライトフィールド及び少なくとも１つの取得装置と点群との間の最短距離である距離に従ってパラメトリック曲面を表す少なくともパラメータを取得すること、
−データからパラメトリック曲面に関連する高さマップを取得することであって、高さマップはオブジェクトの少なくとも一部とパラメトリック曲面との間の距離を表す情報を含む、取得すること、
−データからパラメトリック曲面に関連する少なくとも１つのテクスチャマップを取得すること、
−少なくともパラメータに関する第１の構文要素と、高さマップに関する第２の構文要素と、少なくとも１つのテクスチャマップに関する第３の構文要素と、取得装置の位置に関する第４の構文要素とを組み合わせることによってストリームを生成すること
を含む。

特定の特性によれば、少なくともパラメータがオブジェクトの少なくとも一部の変形に従って経時変化する。

特定の特性によれば、データがテクスチャ情報及び深度を表す情報を含む。

本開示は、シーンのオブジェクトの少なくとも１つの画像からストリームを生成する上記の方法を実装するように構成される装置にも関する。

本開示はシーンのオブジェクトを表現するデータを運ぶストリームにも関し、データは
−オブジェクトの少なくとも一部に関連する少なくとも幾何学的特性及び少なくとも１つの画像を取得するために使用される取得装置の姿勢情報に従って得られるパラメトリック曲面を表す少なくともパラメータに関する第１の構文要素であって、前述の少なくとも幾何学的特性はオブジェクトの少なくとも一部に関連する点群の点に関連する面から得られる、第１の構文要素、
−オブジェクトの少なくとも一部を表現する点群の点に関連する第２のデータから得られる高さマップに関する第２の構文要素であって、高さマップはオブジェクトの少なくとも一部とパラメトリック曲面との間の距離を表す情報を含む、第２の構文要素、
−第２のデータから得られる少なくとも１つのテクスチャマップに関する第３の構文要素、及び
−取得装置の位置に関する第４の構文要素
を含む。

特定の特性によれば、オブジェクトの少なくとも一部の変形に従って変化する少なくともパラメータの変化に応じて第１の構文要素が経時変化する。

特定の特性によれば、第２のデータがテクスチャ情報及び深度を表す情報を含む。

本開示は、オブジェクトを表現するデータを運ぶストリームから前述のオブジェクトの少なくとも一部の画像をレンダリングする方法にも関し、この方法は、
−ストリームの第１の構文要素からパラメトリック曲面を表す少なくともパラメータを取得すること、
−ストリームの第２の構文要素から高さマップを取得することであって、高さマップはオブジェクトの少なくとも一部とパラメトリック曲面との間の距離を表す情報を含む、取得すること、
−ストリームの第３の構文要素から少なくとも１つのテクスチャマップを取得すること、
−パラメトリック曲面、高さマップ、及び少なくとも１つのテクスチャマップからオブジェクトの少なくとも一部を表現する点群の点に関連するデータを取得すること、
−データ及びストリームの第４の構文要素からの取得装置の位置を表す情報に基づいて画像をレンダリングすること
を含む。

特定の特性によれば、データがテクスチャ情報及び深度を表す情報を含む。

特定の特性によれば、レンダリングが前述のデータのスプラットレンダリングを含む。

本開示は、オブジェクトを表現するデータを運ぶストリームから前述のオブジェクトの少なくとも一部の画像をレンダリングする上記の方法を実装するように構成される装置にも関する。

本開示は、コンピュータ上で実行されるとき、オブジェクトを表現するデータを運ぶストリームから前述のオブジェクトの少なくとも一部の画像をレンダリングする方法のステップを実行するためのプログラムコード命令を含むコンピュータプログラム製品にも関する。

本開示は、シーンのオブジェクトの少なくとも１つの画像からストリームを生成する方法のステップを実行するためのプログラムコード命令を含むコンピュータプログラム製品にも関する。

本開示は、シーンのオブジェクトの少なくとも１つの画像からストリームを生成する少なくとも上記の方法をプロセッサに実行させるための命令を内部に記憶している（非一時的）プロセッサ可読媒体にも関する。

本開示は、コンピュータ上で実行されるとき、オブジェクトを表現するデータを運ぶストリームから前述のオブジェクトの少なくとも一部の画像をレンダリングする少なくとも上記の方法をプロセッサに実行させるための命令を内部に記憶している（非一時的）プロセッサ可読媒体にも関する。

４．図面一覧
以下の説明を読めば本開示がより良く理解され、他の特定の特徴及び利点が現われ、本説明は以下の付属図面を参照する。

本原理の特定の実施形態による没入型コンテンツを示す。 本原理の特定の実施形態による、図１の没入型コンテンツの少なくとも一部を取得するためにシーンの画像を取得するように構成されるライトフィールド取得装置を示す。 本原理の特定の実施形態による、図１の没入型コンテンツの少なくとも一部を取得するためにシーンの画像を取得するように構成されるライトフィールド取得装置を示す。 本原理の特定の実施形態による、図２Ａ及び図２Ｂの取得装置を用いて取得されたシーンのオブジェクトの一部の表現を示す。 本原理の特定の実施形態による、図３のオブジェクトを表現するためのプロセス内で使用されるパラメトリック曲面を示す。 図４のパラメトリック曲面のサンプリングの例示的実施形態を示す。 図４のパラメトリック曲面のサンプリングの例示的実施形態を示す。 図４のパラメトリック曲面のサンプリングの例示的実施形態を示す。 本原理の特定の実施形態による、図３のオブジェクトの変形に関する図４のパラメトリック曲面のマッチングを示す。 本原理の第１の特定の実施形態による、図４のパラメトリック曲面に対するテクスチャ情報の関連付けを示す。 本原理の第２の特定の実施形態による、図４のパラメトリック曲面に対するテクスチャ情報の関連付けを示す。 本原理の一例による、図１２及び／又は図１３の方法を実装するように構成される装置のアーキテクチャの一例を示す。 本原理の一例による、通信ネットワーク上で通信する図９の２つの遠隔装置を示す。 本原理の一例による、図３のオブジェクトの記述を運ぶ信号の構文を示す。 本原理の一例による、図３のオブジェクトの記述するデータのストリームを生成する方法を示す。 本原理の一例による、図３のオブジェクトの画像をレンダリングする方法を示す。 本原理の特定の実施形態による、取得装置のライトフィールドに従って計算され、図３のオブジェクトを表現するためのプロセス内で使用されるパラメトリック曲面の一例を示す。

５．実施形態の詳細な説明
次に本内容を図面に関して説明し、図面では全体を通して同様の要素を指すために同様の参照番号を使用する。以下の説明では、本内容の完全な理解を与えるために多数の具体的詳細を説明目的で記載する。但し本内容の実施形態はそれらの具体的詳細なしに実践できることが明白であり得る。

この説明は本開示の原理を示す。従って、本明細書では明確に説明し又は図示しないが本開示の原理を実施する様々な構成を当業者なら考案できることが理解されよう。

本原理は、シーンのオブジェクトを表現するデータのストリームを生成する方法の特定の実施形態、及び／又は生成したデータストリームからそのオブジェクトの１つ又は複数の画像をレンダリングする方法の特定の実施形態に関して説明する。１つ又は複数の取得装置を用いて取得したオブジェクト（又はその一部）の１つ又は複数の画像からオブジェクト（又はその一部）を表す点群を求める。オブジェクト（又はその一部）を表現するための基礎としてパラメトリック曲面を計算し、パラメトリック曲面はオブジェクトの幾何学的特性（例えば点群の極点及び／又は点群から得られるオブジェクトの外面の要素に関連する法線の情報）及び（例えばパラメトリック曲面をオリエントするための）取得装置の姿勢情報を使用することによって計算される。別の実施形態では、パラメトリック曲面が取得装置によって定められるライトフィールドに従って計算される。パラメトリック曲面は、例えば取得装置の全ての光学的中心ごとにセンタリングされる平滑な半球の区分的組合せとして形作られ、各半球の半径は他のものと重複しないように十分小さい。パラメトリック曲面は、取得装置と点群の最接近点との間に位置する。高さマップ及び１つ又は複数のテクスチャマップを決定し、パラメトリック曲面に関連付ける。高さマップの高さ情報、テクスチャマップのテクスチャ情報を取得装置の姿勢情報と共に用いてパラメトリック曲面を表す情報（即ちパラメータ）を組み合わせる及び／又はコード化することによってデータストリームが生成される。復号器／レンダリングされる側では、パラメトリック曲面を表す情報並びに関連する高さマップ及びテクスチャマップを復号する／抽出することによってオブジェクト（又はその一部）の画像を取得することができる。

パラメトリック曲面のサンプルに関連するテクスチャ情報及び高さ情報と共にオブジェクトを表現するための基準としてパラメトリック曲面を使用することは、点群を用いた表現と比較してオブジェクトを表現するのに必要なデータ量を減らすことを可能にする。

図１は、本原理の特定の且つ非限定的な実施形態による、４πステラジアンビデオコンテンツの非限定的な例示的形態における没入型コンテンツ１０の一例を示す。図１は、没入型コンテンツ１０の平面表現に対応する。没入型コンテンツ１０は、例えば１台又は複数台のカメラを用いて取得した現実シーン又は現実オブジェクトと仮想オブジェクトとを含む混合現実シーンに対応し、仮想オブジェクトは例えば３Ｄエンジンを使用することによって合成される。没入型コンテンツ１０の一部１１は、例えば没入型コンテンツを視覚化するように適合される表示装置上で表示される没入型コンテンツの一部に対応し、部分１１のサイズは例えば表示装置によって提供される視野に等しい。

没入型コンテンツ１０を視覚化するために使用される表示装置は、例えば利用者の頭部に又はヘルメットの一部として着用されるＨＭＤ（ヘッドマウントディスプレイ）である。ＨＭＤは有利には１つ又は複数の表示画面（例えばＬＣＤ（液晶ディスプレイ）、ＯＬＥＤ（有機発光ダイオード）、ＬＣＯＳ（エルコス：Liquid Crystal On Silicon））、及び現実世界の１軸、２軸、又は３軸（ピッチ軸、ヨー軸、及び／又はロール軸）に従ってＨＭＤの位置変化を測定するように構成されるセンサ、例えばジャイロスコープやＩＭＵ（慣性計測装置）を含む。ＨＭＤの測定位置に対応する没入型コンテンツ１０の一部１１は、有利には現実世界内のＨＭＤに関連する視点と没入型コンテンツ１０に関連する仮想カメラの視点との間の関係を確立する特定の関数によって決定される。ＨＭＤの測定位置に従ってＨＭＤの表示画面上に表示されるビデオコンテンツの一部１１を制御することは、ＨＭＤを着用している利用者が、ＨＭＤの表示画面に関連する視野よりも大きい没入型コンテンツを見て回ることを可能にする。例えばＨＭＤによって提供される視野が（例えばヨー軸の周りの）１１０°に等しい場合、且つ没入型コンテンツが１８０°のコンテンツを提供する場合、ＨＭＤを着用している利用者は自分の頭を右又は左に回転させて、ＨＭＤによって提供される視野外のビデオコンテンツ部分を見ることができる。別の例によれば、没入型システムがＣＡＶＥ（Cave自動仮想環境）システムであり、没入型コンテンツが部屋の壁に投影される。ＣＡＶＥの壁は、例えば背面映写スクリーンやフラットパネルディスプレイで作られる。従って、利用者は自分の視線を部屋の様々な壁上において見て回ることができる。ＣＡＶＥシステムは、有利には、利用者の画像を取得して利用者の視線方向をそれらの画像をビデオ処理することによって決定するためのカメラを備える。改変形態によれば利用者の視線又は姿勢が追跡システム、例えば赤外線追跡システムによって決定され、利用者は赤外線センサを着用している。別の改変形態によれば、没入型システムが触覚表示画面を有するタブレットであり、利用者は１本又は複数本の指を触覚表示画面上でスライドさせてコンテンツをスクロールすることによってコンテンツ内を見て回る。

没入型コンテンツ１０並びに部分１１は、前景オブジェクト及び背景オブジェクトを含み得る。

当然ながら、没入型コンテンツ１０は４πステラジアンビデオコンテンツに限定されず、視野１１よりも大きいサイズを有する任意のビデオコンテンツ（又は視聴覚コンテンツ）に及ぶ。没入型コンテンツは、例えば２π、２．５π、３πステラジアンコンテンツ等とすることができる。

図２Ａ及び図２Ｂはライトフィールド取得装置の一例を示す。より詳細には、図２Ａ及び図２Ｂは、本原理の２つの特定の実施形態によるカメラアレイ２Ａ、２Ｂ（マルチカメラアレイとも呼ぶ）をそれぞれ示す。

カメラアレイ２Ａは、幾つかのマイクロレンズ２０１、２０２から２０ｐ（ｐはマイクロレンズの数に対応する整数）を含むレンズ又はマイクロレンズのアレイ２０と、１つ又は幾つかのセンサアレイ２１とを含む。カメラアレイ２Ａはメインレンズを含まない。レンズのアレイ２０は、マイクロレンズアレイと一般に名付けられる小型装置とすることができる。単一のセンサを有するカメラアレイは、メインレンズが無限の焦点距離を有するプレノプティックカメラの特別な事例と見なすことができる。光センサの数がマイクロレンズの数と等しい、即ち１つの光センサが１つのマイクロレンズと光学的に関連付けられる特定の構成によれば、カメラアレイ２０は、例えば（図２Ａに示す）正方形の構成や五の目型の構成等、複数の密集した個々のカメラ（例えばマイクロカメラ）の構成と見なすことができる。

カメラアレイ２Ｂは、レンズ及び光センサアレイをそれぞれ含む個々のカメラのリグに対応する。カメラは例えば数センチメートル以下や５ｃｍ、７ｃｍ、又は１０ｃｍに等しい距離隔てられる。

かかるカメラアレイ２Ａ又は２Ｂによって得られる（所謂ライトフィールド画像を形成する）ライトフィールドデータはシーンの複数のビュー、即ち小型レンズアレイと光センサアレイとの間の距離がマイクロレンズの焦点距離に等しいプレノプティックカメラに相当するタイプ１．０のプレノプティックカメラやそうではないタイプ２．０のプレノプティックカメラ（フォーカスドプレノプティックカメラとも呼ばれる）等のプレノプティックカメラを用いて得られる生画像を多重分離しデモザイク処理することによって得ることができる最終的なビューに対応する。カメラアレイ２Ｂのカメラは任意の既知の方法に従って較正され、即ちカメラの固有パラメータ及び外部パラメータは知られている。

ライトフィールド取得装置によって得られる様々なビューは、没入型コンテンツ又は没入型コンテンツの少なくとも一部を取得することを可能にする。当然ながら、没入型コンテンツはライトフィールド取得装置と異なる取得装置によって、例えば深度センサ（例えばMicrosoftのKinect等の赤外線発光器／受光器やレーザ発光器を有するを有する）に関連するカメラを用いて得ても良い。

図３は、没入型コンテンツによって表されるシーンのオブジェクト又はその一部の２つの異なる表現を示す。図３の例によれば、オブジェクトは例えばシーン内を移動している人物であり、頭部に相当するオブジェクトの一部を図３に示す。

オブジェクトの一部の第１の表現３０は点群である。この点群はオブジェクト、例えばオブジェクトの外面や外部形状を表す複数の点の大きな集合に相当する。点群はベクトルに基づく構造と見なすことができ、各点はその座標（例えば三次元座標ＸＹＺや所与の視点からの深度／距離）及び成分とも呼ばれる１つ又は複数の属性を有する。成分の一例は、様々な色空間、例えばＲＧＢ（赤色、緑色、及び青色）やＹＵＶ（Ｙはルマ成分でありＵＶは２つのクロミナンス成分）内で表現され得る色成分である。点群は、所与の視点又は一連の視点から見たオブジェクトの表現である。点群は様々なやり方、例えば以下のように取得することができる。
・任意選択的に深度アクティブ感知装置によって補完される、図２のカメラアレイのようなカメラのリグによって撮像される現実オブジェクトを捕捉したものから取得される。
・モデリングツールにおける仮想カメラのリグによって撮像される仮想／合成オブジェクトを捕捉したものから取得される。
・現実オブジェクト及び仮想オブジェクトを混合したものから取得される。

（現実オブジェクトの捕捉からの）第１の事例では、１組のカメラが様々なビュー（様々な視点）に対応する１組の画像又は一連の画像（ビデオ）を生成する。各カメラ中心からオブジェクト表面までの距離を意味する深度情報が、例えば赤外域において且つ構造化光分析又は飛行時間に基づくアクティブ深度感知装置によって、又は視差アルゴリズムに基づいて取得される。両方の場合において、全てのカメラを固有に且つ外部的に較正する必要がある。視差アルゴリズムは、典型的には１次元ラインに沿って行われる、１対の補正されたカメラ画像上での同様の視覚的特徴の探索で構成され、画素列の差が大きくなるほどこの特徴の表面が近くなる。カメラアレイの場合、複数のカメラの対の利点を利用し、複数のピア視差情報を組み合わせることによってグローバル深度情報を取得し、従って信号対雑音比（ＳＮ比）を改善することができる。

第２の事例（合成オブジェクト）では、モデル化ツールが深度情報を直接提供する。

オブジェクトの一部の第２の表現３１は点群表現３０から取得することができ、第２の表現は表面表現に対応する。点群はその表面を計算するために処理することができる。そのために、点群の所与の点に関し、この所与の点における局所表面に対する法線を計算するためにこの所与の点に隣接する点を使用し、この所与の点に関連する表面要素は法線から導出される。表面を取得するためにこのプロセスを全ての点に対して繰り返す。点群から表面を再構築するための方法は、例えばMatthew Bergerらによって“State of the Art in Surface Reconstruction from Point Clouds”, State of the Art Report, 2014の中で記載されている。改変形態によれば、この所与の点に対してスプラットレンダリングを適用することによって点群の所与の点に関連する表面要素が取得される。オブジェクトの表面（オブジェクトの陰関数曲面又は外面とも呼ばれる）は、点群の点に関連する全てのスプラット（例えば楕円体）を混合することによって得られる。

特定の実施形態では、点群がオブジェクト全体ではなくオブジェクトの部分的なビューのみを表現し、かかるビューはレンダリング側、例えば映画のシーン内でオブジェクトがどのように見えることになるのかに対応する。例えば、平面カメラアレイの方を向いているキャラクタを撮像することはリグ側だけの点群を生成する。キャラクタの背後は存在すらしておらず、オブジェクト自体が閉じておらず、従ってこのオブジェクトの幾何学的特性はリグの方を向いている１組の全ての表面である（各局所表面の法線と取得装置に戻る光線との間の角度は例えば１８０°未満である）。

図４は、本原理の非限定的な実施形態による、オブジェクト４３を表現するために使用される表面４４を示す。表面４４はパラメトリック曲面、即ちパラメータによって定義され、パラメトリック方程式によって定義される表面である。

図４に示すように、あり得るパラメトリック曲面の一例を円筒によって与える（明瞭にするために１つの次元しか示していないが、表面は２次元又は３次元で定めることができる）。パラメトリック曲面は、表面がパラメトリック方程式、即ち限られた数のパラメータを用いて定義され得る限り任意の形態、例えば正方形、矩形、又はより複雑な形状を取り得る。オブジェクト４３（図３のオブジェクトに対応し得る）は３つの取得装置４０、４１、及び４２、例えば３台のＲＧＢカメラを用いて取得される。各取得装置４０、４１、４２に異なる視点が関連付けられる。平坦な円筒表面４５上へのオブジェクト４３の表面の投影は、パラメトリック曲面４４のマッピング／投影を矩形上に行うことに対応する。オブジェクト４３の点に関連し、取得装置４０、４１、４２を用いて得られる画像から取得され及び／又は計算される色情報及び深度情報が平坦な円筒表面４５の対応する点に関連付けられ、即ち色＋高さ情報が行インデックス及び列インデックスによって定義される各点／画素に関連付けられる。表面４５の一部４５０に関連する色情報及び高さ情報は取得装置４０のビューから取得され、表面４５の一部４５１に関連する色情報及び高さ情報は取得装置４１に関連するビューから取得され、表面４５の一部４５２に関連する色情報及び高さ情報は取得装置４２に関連するビューから取得される。

楕円体４６は表面４５の一部を示し、円形の点はオブジェクト４３の点群表現の点をパラメトリック曲面４４又はそのフラット表現４５に投影したものに対応する。パラメトリック曲面４４のサンプリングは、点群に由来するサンプリングとは異なることがある。パラメトリック曲面のサンプリングは、楕円体４６内の十字「＋」によって表現し、限られた数のパラメータを用いて記述される。図５Ａ、図５Ｂ、及び図５Ｃの例示的実施形態の中で示すように、パラメトリック曲面４４のサンプリングは均一でも不均一でも良い。

図５Ａの例では、パラメトリック曲面のサンプリング５０が均一であり、即ちサンプル点の列が互いに等距離に、即ち距離「ａ」で配置されており、同じことが行にも該当する。

図５Ｂの例では、パラメトリック曲面のサンプリング５１が不均一であり、即ちサンプル点の列が互いに異なる距離で配列されており、即ち（左側から始まる）最初の２つの列は距離「ａ」隔てられ、次いで２つの列間の距離は「ａ＋ｂ」になり、次に「ａ＋２ｂ」になり、次に「ａ＋３ｂ」等のようになる。図５Ｂの例では、行は互いに等距離隔てられている。

図５Ａ及び図５Ｂの例では、各サンプルに関連する高さ情報に関連する方向がパラメトリック曲面と直交する。図５Ｃの例では、サンプリング５３のサンプルに関連する高さ情報に関連する方向が可変角度θ_０＋ｑ^＊Δθで或るサンプルから別のサンプルへと変化し、但しθ_０は初期角度であり、ｑは０から最大値Ｎまで変化する整数であり、Δθは２つの連続したサンプル間の角度変化に対応する。

パラメトリック曲面上のサンプリングの密度は、例えば以下に応じて調節される：
・オブジェクト、即ち点群のサンプリング、及び／又は
・期待されるレンダリング品質
例えばオブジェクトが遠いほどカメラのサンプリングの密度が低下し、パラメトリック曲面上のサンプリングの密度が低下し得る。

パラメトリック曲面のサンプルに関連付けられる値は以下の通りである：
・幾何学的情報、即ちパラメトリック曲面とオブジェクトの陰関数曲面との間の距離。
・色情報。最も簡単な形態では、パラメトリック曲面の各サンプルに対応するオブジェクト表面領域に関する様々なビューから混色値を計算することができ、例えば平均ディフューズ色（即ちパラメトリック曲面のサンプルに関連し得る点群の点の色情報の平均）が得られる。

パラメトリック曲面のサンプルに関連する高さ情報は、パラメトリック曲面と同数のサンプルを有する高さマップ内に記憶することができる。パラメトリック曲面のサンプルに関連する色情報は、パラメトリック曲面と同数のサンプルを有するテクスチャマップ内に記憶することができる。

所与のサンプルに関連付けられる高さ情報は、（図５Ａ、図５Ｂ、及び図５Ｃに関して説明したサンプリングに応じてパラメトリック曲面と直交するように又は直交しないように）所与のサンプルからの光線をキャストすることによって得ることができる、高さは、光線と点群から取得されるオブジェクトの表面との間の交点に関連する点群の領域に属する点群の点からサンプルを分ける距離から求められる。この領域に幾つかの点が属する場合、距離は領域の複数の点からサンプルを分ける距離の平均とすることができる。パラメトリック曲面及び点群は取得装置に関する世界空間内で定められ、パラメトリック曲面のサンプルとオブジェクトの外面の点との間の距離はユークリッド距離であるものとして取得される。

同様に、所与のサンプルに関連付けられるテクスチャ情報は、所与のサンプルからの光線をキャストすることによって得ることができる。テクスチャ情報は、光線とオブジェクトの表面との間の交点に対応する領域に属する点群の点のテクスチャ／色情報（例えば平均）から取得される。別の実施形態では、パラメトリック曲面の分析表現（即ちパラメトリック曲面のジオメトリ及び法線）が知られている場合、例えば反復的なニュートン法を利用して点群を（法線及びサイズの関連情報を使用して）パラメトリック曲面上に直接スプラットすることができる。その場合、テクスチャ情報はスプラットの混合から得られる。

改変形態では、複数のパラメトリック曲面が同じオブジェクトに関連し得る。オブジェクトは複数の部分にセグメント化することができ、各部分に異なるパラメトリック曲面を関連付けることができ、所与の部分に関連するパラメトリック曲面はその部分の特定のジオメトリに従って、及びその部分を取得するために使用される取得装置の姿勢情報に従って決定される。この改変形態によれば、高さマップ及び１つ又は複数のテクスチャマップが各パラメトリック曲面に関連付けられる。例えばオブジェクトが人物である場合、第１のパラメトリック曲面を片方の脚に関連付けることができ、第２のパラメトリック曲面をもう片方の足に関連付けることができ、第３のパラメトリック曲面を腕に関連付けることができ、第４のパラメトリック曲面を他方の腕に関連付けることができ、第５のパラメトリック曲面を胴体に関連付けることができ、第６のパラメトリック曲面を頭部に関連付けることができる。

選択肢として、レンダリングに必要だが時間のかかる、ＭＬＳ（移動最小二乗法）からの計算上の副産物を記録するために追加のテクスチャを追加することができる。例は、例えばＣＧＩ法線マップと等価のモードにおける法線ベクトルのテクスチャ又は大小の軸方向やサイズ等のスプラットジオメトリである。これらの追加のテクスチャの制約は、圧縮エンジンに良好に適合するために優れた空間的及び時間的なコヒーレンス特性を示すべきことである。全ての必要な情報が伝送されると、ＭＬＳカーネルパラメータの伝送はもはや有用ではなくなる。

図７に示す特定の実施形態では、複数のテクスチャマップが１つ又は複数のパラメトリック曲面に関連し得る。図７は、オブジェクトの一部７０に関する２つのパラメトリック曲面７１、７２の生成を示し、部分７０は例えば異なる角度に応じて異なる色を発光する。この場合、（例えばビューポートの方向に従って２色間の補間を行うことによって）クライアント側で正しくレンダリングするために、色の角度広がりの情報並びに別のテクスチャ情報を記録し搬送することができる。改変形態によれば、２つのパラメトリック曲面７０、７１の代わりに単一のパラメトリック曲面を生成することができ、様々なテクスチャマップが単一のパラメトリック曲面に関連付けられる。

図８に示す特定の実施形態では、オブジェクトの同一部分について複数のパラメトリック曲面を生成することができる。例えば、第１のパラメトリック曲面を人物の顔８１について計算する（及び関連付ける）ことができる。第２のパラメトリック曲面を顔８１の一部、即ち目を含む部分８２について計算する（及び関連付ける）ことができる。第１の高さマップ及び第１のテクスチャマップが第１のテクスチャマップに関連付けられても良く、例えば第１の詳細度８３で顔を表現することを可能にする。第２の高さマップ及び第２のテクスチャマップが第２のテクスチャマップに関連付けられても良く、例えば第２の詳細度８４で顔の一部８２を表現することを可能にする。この目的を達成するために、第１の定義が第１のパラメトリック曲面に関連付けられ、（第１の定義よりも上位の）第２の定義が第２のパラメトリック曲面に関連付けられる。顔をレンダリングする際に第２のテクスチャを視認可能にするために、第２の高さマップを生成するために計算された高さ値からオフセット値を減算する。高さ値は第２の高さマップ内に記憶し、顔の外面から第２のパラメトリック曲面を分ける計算された現実の高さ値よりも小さい。顔をレンダリングする際、レンダリングの観点に関して第２のテクスチャ情報が第１のテクスチャ情報の前に置かれる。

特定の実施形態では、図１４に示すリグの取得装置に従ってパラメトリック曲面が計算される。この例では、図２Ａ及び図２Ｂに示すように取得システムは擬似ピンホールカメラの平面リグである。オブジェクト１４０が３台のカメラ１４１ａ、１４１ｂ、及び１４１ｃによって捕捉される。オブジェクト１４０は例えば人間のキャラクタである。図１４ではオブジェクト１４０を上から見ており、腕が体の前にある。右腕の点１４２が３台のカメラ１４１ａ、１４１ｂ、及び１４１ｃによって捕捉される。体の点１４３がカメラ１４１ｂ及び１４１ｃによって捕捉され、点１４３はカメラ１４１ａにとって腕によって隠されている。上記の原理に従ってパラメトリック曲面１４４、例えば円筒を構築するとき、点１４２が点１４５においてパラメトリック曲面１４４上に投影される。点１４３は、より離れた距離において点１４２と同じ法線上にあるのでパラメトリック曲面１４４上には投影されない。その結果、点１４３は３台のカメラのうちの２台によって捕捉されていながら高さマップ及びテクスチャマップ上で表現されない。復号器側では、これは偽の掩蔽をもたらす。パラメトリック曲面１４４は非常に少量のパラメータの記述を必要とし、さほど詳細ではない点群の表現を必要とする応用に十分である。

上記の幾何学的パラメトリック曲面１４４の代わりに、リグの取得装置のライトフィールドに従って計算されるパラメトリック曲面１４６を使用することができる。図１４の例では、カメラのリグをそのライトフィールド（即ちリグがそれに沿って捕捉可能な１組の直線の光線）によって光学的に定めることができる。パラメトリック曲面１４６の法線はライトフィールドに沿って方向を有し、カメラのリグによって捕捉される全ての点がパラメトリック曲面上に投影される。例えばパラメトリック曲面１４６は、取得装置の全ての光学的中心ごとにセンタリングされる平滑な半球の区分的組合せとして形作られ、各半球の半径は他のものと重複しないように十分小さい。パラメトリック曲面１４６は、取得装置と点群の最接近点との間に位置する。

かかるパラメトリック曲面１４６を使い、リグによって捕捉される各点が最大で捕捉された回数に至るまで投影される。図１４の例では点１４２が３台のカメラによって捕捉されており、そのため点１４７ａ、１４７ｂ、及び１４７ｃにおいて３回まで投影される。点１４３は、点１４８ｂ及び１４８ｃにおいてパラメトリック曲面１４６上に２回まで投影される。改変形態では、冗長データを符号化しないために、投影されるこれらの点の１つだけを点集合によって保つことができる。例えば、高さマップ内で最小値を有する点だけを保つ。改変形態では、最も中央にあるカメラに対応する半球上に投影される点を保つ。図１４の例では、点１４７ｂ及び１４８ｂを保ち、点１４７ａ、１４７ｃ、及び１４８ｃを破棄する。これらの２つの基準は限定的ではなく、例えばリグに対する法線とパラメトリック曲面に対する法線との間の最小角度を有する点を保つこと等の他の基準が使用されても良い。

図６は、本原理の特定の且つ非限定的な実施形態による、オブジェクトの変形に関するパラメトリック曲面のマッチングを示す。図６の左側の部分は、時点ｔにおいて（又はビデオの第１のフレームＡについて）取得したオブジェクト６００に関連するパラメトリック曲面６０４を示し、図６の右側の部分は、時点ｔ＋１において（又は時間的に第１のフレームＡの後に続くビデオの第２のフレームＢについて）取得したオブジェクト６０１（オブジェクト６００に対応するが外形が異なる、即ちオブジェクト６００の変形されたバージョンに対応するオブジェクト６０１）に関連するパラメトリック曲面６０５を示す。オブジェクト６００、６０１は、例えば図４の取得装置４０、４１、４２に対応する１組のカメラ６０、６１、６２を用いて取得される。図６の上の部分は利用者及びカメラの上面図に対応し、図６の下の部分は例えば利用者及びカメラの正面図に対応し、下の部分上ではカメラを黒色の円板で示す。

オブジェクトに最良に追従するように、（典型的には固定されている）カメラ６０、６１、６２のリグ側で、パラメトリック曲面に対応する部分円筒６０４、６０５が、オブジェクト６００、６０１それぞれに近接してオブジェクト６００、６０１をそれぞれ部分的に取り囲む。パラメトリック曲面６００、６０１の座標は、オブジェクト６００、６０１をそれぞれ取り囲む境界ボックス６０２、６０３を計算することによって取得することができ、境界ボックス６０２、６０３は点群の各極（ｘ，ｙ，ｚ）座標によって画定される）。パラメトリック曲面６０４、６０５を表現するパラメータ（例えば円筒形状のパラメトリック曲面の高さ、半径、中心位置）は境界ボックスを包含可能なものとして決定され、パラメトリック曲面６０４、６０５はカメラのビューの方向に開いている。この例は、パラメトリック曲面が（移動）オブジェクト及びカメラのリグの位置の両方に依存することを示す。

カメラ６０、６１、６２によって捕捉されるオブジェクト６００、６０１が時点ｔから時点ｔ＋１に移る場合、オブジェクトを表現するために使用される点群も変化し、つまりトポロジ（又はオブジェクトの幾何学的特性）が例えばオブジェクトの動きに従って（又はオブジェクトに適用される変形に従って）、例えばオブジェクト変化の幅及び／又は高さに従って変化する。従って、ビデオフレームごとに、点群に関係する全ての幾何学的情報及び／又はテクスチャ情報を記録し及び／又は搬送する関連する高さマップ及びテクスチャマップを用いてオブジェクトを表現するために使用されるパラメトリック曲面のトポロジを調節することに関連がある。以下の制約が適用され得る：及び／又は
−パラメトリック曲面上に点群を投影することが、例えばＨ２６４／ＭＰＥＧ４やＨ２６５／ＨＥＶＣ等の規格や他の任意の規格に基づいて通常の圧縮エンジンによって効率的に圧縮され得るように優れた空間的及び時間的整合性を有するビデオ画像を形成することができ、これは表面がサッカードなしに平滑に漸進的変化できることを意味する。
−点群の投影によってカバーされるパラメトリック曲面の部分を最大化するために、及び点群までのパラメトリック曲面の距離を最小化するためにパラメトリック曲面を点群に関して配置することができ、従って例えばＰＳＮＲメトリクによって測定される最終的な画像の質が保たれる。より詳細には、パラメトリック曲面は以下のように選択される：
１．その（幅×高さ）の画像解像度を最大限に利用する、及び／又は
２．深度をコード化するのに有用なビットの数を最適化する。
−各フレームにおけるパラメトリック曲面の漸進的変化／変化は容易に記録し、メタデータとして搬送し、復号器／レンダラ側で復元することができ、これはパラメトリック曲面が限られた数のパラメータによって表現され得ることを意味する。

図１２は、本原理の非限定的な実施形態による、例えば（図９に関して説明した）装置９内で実装されるシーンのオブジェクトを表現するデータを含むストリームを生成するための方法を示す。

ステップ１２００で、装置９の様々なパラメータを更新する。特に、オブジェクトの表現に関連するデータを任意のやり方で初期化する。

ステップ１２０１で、オブジェクトの一部又はオブジェクト全体を表現する点群の点に関連するデータを取得する。このデータは、例えば装置９のローカルメモリや（例えばインターネットやローカルエリアネットワーク等のネットワーク経由で）サーバ等の遠隔記憶装置等のメモリ装置から受信される。別の例によれば、このデータはオブジェクトを含むシーンの１つ又は複数のビューを取得するために使用される１つ又は複数の取得装置から受信される。このデータは、例えばテクスチャ情報（例えば色情報）及び距離情報（例えば検討中の点と検討中の点に関連する視点、即ち検討中の点を取得するのに使用される取得装置の視点との間の距離に対応する高さの深度）を含む。

ステップ１２０２で、パラメトリック曲面を表現する１つ又は複数のパラメータを取得する。パラメトリック曲面は点群によって表現されるオブジェクトの一部（又はオブジェクト全体）に関連する。例示的なパラメトリック曲面の一般式は以下の通りであり：
ｘ＝ｆ_１（ｔ_１，ｔ_２）
ｙ＝ｆ_２（ｔ_１，ｔ_２）
ｚ＝ｆ_３（ｔ_１，ｔ_２）
但しｘ、ｙ、ｚ座標は３つの次元を成し、ｆ_１、ｆ_２、ｆ_３は連続関数であり、ｔ_１、ｔ_２はパラメータである。パラメトリック曲面のパラメータは、点群に関連する外面の幾何学的特性に従って、及び点群の点を取得するために使用される１つ又は複数の取得装置の姿勢情報から取得される。オブジェクトの検討中の部分に関連付けられるパラメトリック曲面を決定するために、例えば点に関連する座標から点群の極点の座標を決定することができる。極点は、座標が表現される空間の次元の少なくとも１つについて最小値又は極大を有する点に対応する。点群を包含する境界ボックスを極点から取得する。パラメトリック曲面は、中心として境界ボックスの背面の中心を有し、境界ボックスの前端を通過する円筒として取得することができ、取得装置が基準とされる。従って、パラメトリック曲面の向きは取得装置の姿勢情報を使用することによって決定される。

改変形態によれば、オブジェクトの一部の外面に関連する法線ベクトルが点群から計算される。パラメトリック曲面が外面の形状変化に近密に追従するように、法線ベクトルの向きの変化を使用してパラメトリック曲面を決定することができる。

ステップ１２０３では、ステップ１２０２で取得したパラメトリック曲面に関連する高さマップを取得、即ち決定し又は計算する。（例えば検討中のサンプルにおいてパラメトリック曲面に対して直交する）光線を発射することによってパラメトリック曲面のサンプルごとに高さ値を計算する。検討中のサンプルに関連付けられる高さ値は、検討中のサンプルと（光線と外面との間の交点に対応する）オブジェクト点の部分の外面の要素との間の距離に対応する。外面の要素に関連する座標は、例えば外面のこの表面要素を生成するために使用される点群の点から取得される。高さマップを取得するために、パラメトリック曲面のサンプルごとに高さ値を計算することができ、高さマップは例えばマップのサンプルごとに高さ値を記憶する例えば２次元マップ（又は画像）に対応し、マップのサンプルの数はパラメトリック曲面のサンプリングのサンプルの数に対応する。

ステップ１２０４では、ステップ１２０２で取得されたパラメトリック曲面に関連するテクスチャマップを取得、即ち決定し又は計算する。テクスチャマップは、例えばマップのサンプルごとにテクスチャ情報（例えば色情報）を記憶する２次元マップ（又は画像）に対応し、テクスチャマップのサンプルの数はパラメトリック曲面のサンプリングのサンプルの数に対応する。パラメトリック曲面の検討中のサンプルに関連するテクスチャ情報は、例えば検討中のサンプルにおいてパラメトリック曲面に対して直交する光線を発射することによって決定される。テクスチャマップ内に記憶するテクスチャ情報は、光線が横断するオブジェクトの部分の外面の表面要素に関連するテクスチャ情報に対応する。表面要素に関連するテクスチャ情報は、この表面要素を取得するために使用される点群の点のテクスチャ情報から取得される。改変形態では、パラメトリック曲面について幾つかのテクスチャマップを取得することができる。

ステップ１２０５では、ステップ１２０２で取得したパラメータ、ステップ１２０３で取得した高さ情報、及びステップ１２０４で取得したテクスチャ情報を組み合わせることにより、オブジェクトの一部を表現するデータを含むデータストリーム１１００を取得する。かかるストリーム１１００の構造の一例を図１１に関して説明する。高さマップ及び１つ又は複数のテクスチャマップに関連するパラメトリック曲面形式でオブジェクトの一部を表現することには、点群を用いた表現と比較してオブジェクトの一部を表現するのに必要なデータ量が減る利点がある。点群を取得するために使用される取得装置の位置を表現する更なる情報をストリームに追加することができる。この更なる情報は、オブジェクトの一部を取得する視点の範囲の限界内にレンダリング装置上でのオブジェクトの一部のレンダリングを制約し、それにより、ストリームに含まれるオブジェクトの一部を表現する基礎となる点群を取得するために使用される視点の範囲に対応しない視点に従ってデータストリームからオブジェクトの一部をレンダリングしようと試みるとき生じ得るレンダリングアーティファクトを回避する利点を有する。

任意選択的なステップでは、オブジェクトの一部をレンダリングし又は表示するためにデータストリームを符号器に送信し、復号器又はレンダラによって受信する。

改変形態では、例えばオブジェクトの一部の形状又は外面が経時変化するとき、ストリームのデータが例えばフレームごとに経時変化する。外面が変化するとき、オブジェクトの一部の形状の変化を表現するためにパラメトリック曲面のパラメータを高さマップ及びテクスチャマップによって更新する。

別の改変形態では、オブジェクトの同一部分を例えば様々なサンプリング解像度に従って表現するために、幾つかのパラメトリック曲面を使用することができる。

オブジェクト全体を表現するために単一のパラメトリック曲面を使用することができ、又はオブジェクト全体を表現するために様々なパラメトリック曲面を使用することができ、例えば１つの別個のパラメトリック曲面がオブジェクトの異なる各部分を表現するために決定される。かかる改変形態では、異なるパラメトリック曲面並びに関連する高さマップ及びテクスチャマップを組み合わせることによってデータストリームが取得される。

別の改変形態によれば、オブジェクトの背景を表現するフラットビデオ（即ち２Ｄビデオ）が例えばｍｐ４やｍｋｖ等のメディアコンテナ内でストリームに追加される。

図１３は、図１２の方法を用いて取得したストリームからオブジェクトの少なくとも一部を表現する画像をレンダリングするための方法を示す。このレンダリング方法は、例えば本願の原理の非限定的な実施形態に従って（図９に関して説明した）装置９内で実施される。

ステップ１３００で、装置９の様々なパラメータを更新する。特に、オブジェクトの少なくとも一部の表現に関連するデータを任意のやり方で初期化する。

ステップ１３０１で、パラメトリック曲面を表現する１つ又は複数のパラメータをデータストリーム１１００から取得し、かかるストリームの構造の一例を図１１に記載した。１つ又は複数のパラメータは、例えばステップ１２０２で取得したパラメータに対応する。

ステップ１３０２では、ステップ１３０１で取得したパラメトリック曲面に関連する高さマップをストリーム１１００から取得する。高さマップは、例えばステップ１２０３で取得した高さマップに対応する。

ステップ１３０３では、ステップ１３０１で取得したパラメトリック曲面に関連する１つ又は複数のテクスチャマップをストリーム１１００から取得する。テクスチャマップは、例えばステップ１２０４で取得したテクスチャマップに対応する。

ステップ１３０４で、ステップ１３０１で取得したパラメトリック曲面、ステップ１３０２で取得した高さマップ、及びステップ１３０３で取得したテクスチャマップから点群の点に関連するデータを取得する。点はパラメトリック曲面のサンプルを逆投影することによって取得し、点の座標はサンプルの座標及びサンプルに関連する高さ情報から導出し、点のテクスチャ情報はサンプルに関連するテクスチャ情報から取得する。

ステップ１３０５で、ストリーム１１００内に含まれる位置情報によって制約される視点からの、パラメトリック曲面、高さマップ、及びテクスチャマップによって表現されるオブジェクトの一部の画像をレンダリングする。例えば取得した点群の点に対してスプラットレンダリング技法を適用することによってオブジェクトの一部の外面を取得することができる。改変形態では、ストリームが一連のフレーム（即ち画像）にわたってオブジェクト又はその一部を表現する情報を含む場合、一連の画像がレンダリングされる。

図９は、図１２及び／又は図１３に関して説明した方法を実装するように構成され得る装置９の例示的アーキテクチャを示す。

装置９は、データ及びアドレスバス９１によってつながれる以下の要素、つまり
−例えばＤＳＰ（即ちデジタル信号プロセッサ）であるマイクロプロセッサ９２（又はＣＰＵ）、
−ＲＯＭ（即ち読取専用メモリ）９３、
−ＲＡＭ（即ちランダムアクセスメモリ）９４、
−記憶域インタフェース９５、
−アプリケーションから伝送するためのデータを受信するためのＩ／Ｏインタフェース９６、及び
−電源、例えば電池
を含む。

一例によれば、電源が装置の外にある。言及したメモリのそれぞれにおいて、本明細書で使用する「レジスタ」という用語は小容量（数ビット）の領域又は非常に大きい領域（例えば全プログラムや大量の受信データ又は復号データ）に対応し得る。ＲＯＭ９３は、少なくともプログラム及びパラメータを含む。ＲＯＭ９３は、本原理による技法を実行するためのアルゴリズム及び命令を記憶し得る。オンにされるとき、ＣＰＵ９２がプログラムをＲＡＭ内にアップロードし、対応する命令を実行する。

ＲＡＭ９４は、ＣＰＵ９２によって実行され、装置９がオンにされた後でアップロードされるプログラム、レジスタ内の入力データ、レジスタ内の本方法の様々な状態の中間データ、及びレジスタ内の本方法の実行に使用される他の変数をレジスタ内に含む。

本明細書に記載した実装形態は、例えば方法若しくはプロセス、機器、コンピュータプログラム製品、データストリーム、又は信号によって実装され得る。単一形式の実装形態の脈絡でしか論じられていなくても（例えば方法又は装置としてしか論じられていなくても）、論じられた特徴の実装形態は他の形式（例えばプログラム）でも実装することができる。機器は、例えば適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は例えばプロセッサ等の機器によって実装することができ、プロセッサは例えばコンピュータ、マイクロプロセッサ、集積回路、プログラム可能論理装置を含む処理装置全般を指す。プロセッサは、例えばコンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、エンドユーザ間の情報の通信を助ける他の装置等の通信装置も含む。

符号化又は符号器の一例によれば、第１の構文要素、第２の構文要素、第３の構文要素、及び／又は第４の構文要素が情報源から得られる。例えば情報源は、
−ローカルメモリ（９３又は９４）、例えばビデオメモリやＲＡＭ（即ちランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（即ち読取専用メモリ）、ハードディスク、
−記憶域インタフェース（９５）、例えば大容量記憶域、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、又は磁気支持とのインタフェース、
−通信インタフェース（９６）、例えば有線インタフェース（例えばバスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）や無線インタフェース（ＩＥＥＥ ８０２．１１インタフェースやBluetooth（登録商標）インタフェース等）、及び
−利用者がデータを入力することを可能にするグラフィカルユーザインタフェース等のユーザインタフェース
を含む組に属する。

復号又は復号器の一例によれば、第１の情報、第２の情報、及び／又は第３の情報が宛先に送信され、とりわけその宛先は、
−ローカルメモリ（９３又は９４）、例えばビデオメモリやＲＡＭ、フラッシュメモリ、ハードディスク、
−記憶域インタフェース（９５）、例えば大容量記憶域、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、又は磁気支持とのインタフェース、及び
−通信インタフェース（９６）、例えば有線インタフェース（例えばバスインタフェース（例えばＵＳＢ（即ちユニバーサルシリアルバス））、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース、ＨＤＭＩ（登録商標）（高精細度マルチメディアインタフェース）インタフェース）や無線インタフェース（ＩＥＥＥ ８０２．１１インタフェース、WiFi（登録商標）インタフェース、Bluetooth（登録商標）インタフェース等）
を含む組に属する。

符号化又は符号器の例によれば、オブジェクトを表現するデータを含むビットストリームが宛先に送信される。一例として、ビットストリームはローカルメモリ又は遠隔メモリ、例えばビデオメモリ（９４）、ＲＡＭ（９４）、ハードディスク（９３）内に記憶される。改変形態では、ビットストリームが記憶域インタフェース（９５）、例えば大容量記憶域、フラッシュメモリ、ＲＯＭ、光ディスク、磁気支持とのインタフェースに送信され、及び／又は通信インタフェース（９６）、例えば二地点間リンク、通信バス、一地点対多地点間リンク、又はブロードキャストネットワークへのインタフェース上で伝送される。

復号、復号器、又はレンダラの例によれば、ビットストリームが情報源から取得される。例示的には、ビットストリームはローカルメモリ、例えばビデオメモリ（９４）、ＲＡＭ（９４）、ＲＯＭ（９３）、フラッシュメモリ（９３）、ハードディスク（９３）から読み出される。改変形態では、ビットストリームが記憶域インタフェース（９５）、例えば大容量記憶域、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク、磁気支持とのインタフェースから受信され、及び／又は通信インタフェース（９５）、例えば二地点間リンク、バス、一地点対多地点間リンク、又はブロードキャストネットワークへのインタフェースから受信される。

例によれば、装置９は図１２に関して説明した方法を実装するように構成され、
−モバイル装置、
−通信装置、
−ゲーム機、
−タブレット（又はタブレットコンピュータ）、
−ラップトップ、
−静止画像カメラ、
−ビデオカメラ、
−符号化チップ、
−サーバ（例えばブロードキャストサーバ、ビデオオンデマンドサーバ、又はウェブサーバ）
を含む組に属する。

例によれば、装置９は図１３に関して説明したレンダリング方法を実装するように構成され、
−モバイル装置、
−通信装置、
−ゲーム機、
−セットトップボックス、
−ＴＶセット、
−タブレット（又はタブレットコンピュータ）、
−ラップトップ、及び
−ディスプレイ（例えばＨＭＤ等）
を含む組に属する。

図１０に示す一例によれば、通信ネットワークＮＥＴ１０００上での２つの（装置９の種類の）遠隔装置１００１と１００２との間の伝送の脈絡では、装置１００１が図１２に関して説明したストリームを生成するための方法を実装するように構成される手段を含み、装置１００２が図１３に関して説明した画像をレンダリングするための方法を実装するように構成される手段を含む。

一例によれば、ネットワーク１０００は、装置１００１から装置１００２を含む復号／レンダリング装置に静止画又はビデオピクチャを関連する音声情報と共にブロードキャストするように適合されるＬＡＮ又はＷＬＡＮネットワークである。

図１１は、パケットベースの伝送プロトコル上でデータが伝送される場合のかかる信号の構文の実施形態の一例を示す。図１１は、没入型ビデオストリームの構造１１００の一例を示す。この構造は、ストリームを独立した構文要素単位で組織化するコンテナで構成される。この構造は、ストリームの全構文要素に共通の１組のデータであるヘッダ部分１１０１を含み得る。例えばヘッダ部分は、構文要素それぞれの性質及び役割を記述する構文要素に関するメタデータを含む。この構造は構文要素１１０２、１１０３、１１０４、及び１１０５を含むペイロードを含むことができ、第１の構文要素１１０２はパラメトリック曲面を定めるパラメータに関係し、第２の構文要素はパラメトリック曲面に関連する高さマップに関係し、第３の構文要素はパラメトリック曲面に関連する１つ又は複数のテクスチャマップに関係し、第４の構文要素は取得装置の位置情報に関係する。

当然ながら本開示は先に記載した実施形態に限定されない。

具体的には、本開示はストリームを生成するための方法及び装置に限定されず、シーンのオブジェクトを表現するデータを含むパケットを符号化／復号するための方法、及びこの方法を実装する任意の装置、とりわけ少なくとも１個のＣＰＵ及び／又は少なくとも１個のＧＰＵを含む任意の装置にも及ぶ。

本開示は、シーンのオブジェクトを表現する情報を含むデータストリームからレンダリングされる画像を表示するための方法（及びそのように構成される装置）、及びフラットビデオによってオブジェクトをレンダリングし表示するための方法（及びそのように構成される装置）にも関する。

本開示はストリームを送信及び／又は受信するための方法（及びそのように構成される装置）にも関する。

本明細書に記載した実装形態は、例えば方法若しくはプロセス、機器、コンピュータプログラム製品、データストリーム、又は信号によって実装され得る。単一形式の実装形態の脈絡でしか論じられていなくても（例えば方法又は機器としてしか論じられていなくても）、論じられた特徴の実装形態は他の形式（例えばプログラム）でも実装することができる。機器は、例えば適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は例えばプロセッサ等の機器によって実装することができ、プロセッサは例えばコンピュータ、マイクロプロセッサ、集積回路、プログラム可能論理装置を含む処理装置全般を指す。プロセッサは、例えばスマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、及びエンドユーザ間の情報の通信を助ける他の装置等の通信装置も含む。

本明細書に記載した様々なプロセス及び特徴の実装形態は、多岐にわたる異なる機器又はアプリケーション、とりわけ例えばデータの符号化、データの復号、ビュー生成、テクスチャ処理、並びに画像及び関係するテクスチャ情報及び／又は深度情報の他の処理に関連する機器やアプリケーションによって具体化することができる。かかる機器の例は、符号器、復号器、復号器からの出力を処理する後処理系、符号器に入力を与える前処理系、ビデオ符号器、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信装置を含む。明白であるように、機器は可搬式とすることができ、移動車両内に設置することさえできる。

加えて、これらの方法はプロセッサによって実行される命令によって実装されても良く、かかる命令（及び／又は実装形態によって作り出されるデータ値）は例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えばデジタル多用途ディスクやデジタルビデオディスクとしばしば呼ばれるＤＶＤ等）、ランダムアクセスメモリ（「ＲＡＭ」）、読取専用メモリ（「ＲＯＭ」）等、例えば集積回路、ソフトウェア担体、又は他の記憶装置等のプロセッサ可読媒体上に記憶され得る。命令は、プロセッサ可読媒体上で有形に具体化されるアプリケーションプログラムを形成し得る。命令は、例えばハードウェア、ファームウェア、ソフトウェア、又は組合せの中にあり得る。命令は、例えばオペレーティングシステム、別個のアプリケーション、又はその２つの組合せの中で見つけることができる。従ってプロセッサは、例えばプロセスを実行するように構成される装置及びプロセスを実行するための命令を有するプロセッサ可読媒体（記憶装置等）を含む装置の両方として特徴付けることができる。更にプロセッサ可読媒体は、実装形態によって作り出されるデータ値を命令に加えて又は命令の代わりに記憶し得る。

当業者に明らかなように、実装形態は例えば記憶され又は伝送され得る情報を運ぶようにフォーマットされる多岐にわたる信号を作り出し得る。かかる情報は、例えば方法を実行するための命令や、記載した実装形態の１つによって作り出されるデータを含み得る。例えば信号は、記載した実施形態の構文を読み書きするための規則をデータとして運ぶように、又は記載した実施形態によって書かれる実際の構文値をデータとして運ぶようにフォーマットされ得る。かかる信号は、例えば電磁波として（例えばスペクトルの無線周波数部分を用いて）、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えばデータストリームを符号化し、符号化データストリームで担体を変調することを含み得る。信号が運ぶ情報は、例えばアナログ情報又はデジタル情報とすることができる。信号は、知られているように様々な異なる有線リンク又は無線リンク上で伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。

幾つかの実装形態を記載してきた。それでもなお、様々な修正が加えられ得ることが理解されよう。例えば、他の実装形態を作り出すために別の実装形態の要素が組み合わせられ、補われ、修正され、又は除去され得る。更に、開示した構造及びプロセスを他の構造及びプロセスが置換しても良く、その結果生じる実装形態が開示した実装形態と少なくともほぼ同じ結果を実現するために、少なくともほぼ同じ機能を少なくともほぼ同じやり方で実行することを当業者なら理解されよう。従って、これらの及び他の実装形態も本願によって予期される。

Claims (15)

1. 複数の取得装置によって捕捉されるオブジェクトの少なくとも１つの画像からストリームを生成する方法であって、
   −前記オブジェクトの少なくとも一部を表現する点群の点に関連するデータを取得すること（１２０１）、
   −前記複数の取得装置のライトフィールドに従ってパラメトリック曲面（１４６）を表す少なくともパラメータを取得すること（１２０２）、
   −前記データから前記パラメトリック曲面に関連する高さマップを取得すること（１２０３）であって、前記高さマップは前記オブジェクトの前記少なくとも一部と前記パラメトリック曲面との間の距離を表す情報を含む、取得すること（１２０３）、
   −前記データから前記パラメトリック曲面に関連する少なくとも１つのテクスチャマップを取得すること（１２０４）、
   −前記少なくともパラメータを含む第１の構文要素と、前記高さマップを含む第２の構文要素と、前記少なくとも１つのテクスチャマップを含む第３の構文要素と、前記複数の取得装置の位置を含む第４の構文要素とを組み合わせることによって前記ストリームを生成すること（１２０５）
   を含む、方法。
2. 前記パラメトリック曲面が、前記複数の取得装置の全ての光学的中心ごとにセンタリングされる平滑な半球の区分的組合せとして計算される、請求項１に記載の方法。
3. 前記データに関連する前記点が前記高さマップ及び前記テクスチャマップ上で１回だけ投影される、請求項１乃至２の何れか一項に記載の方法。
4. 複数の取得装置によって捕捉されるオブジェクトの少なくとも１つの画像からストリームを生成するように構成される装置であって、
   −前記オブジェクトの少なくとも一部を表現する点群の点に関連するデータを取得すること、
   −前記複数の取得装置のライトフィールドに従ってパラメトリック曲面を表す少なくともパラメータを取得すること、
   −前記データから前記パラメトリック曲面に関連する高さマップを取得することであって、前記高さマップは前記オブジェクトの前記少なくとも一部と前記パラメトリック曲面との間の距離を表す情報を含む、取得すること、
   −前記データから前記パラメトリック曲面に関連する少なくとも１つのテクスチャマップを取得すること、
   −前記少なくともパラメータを含む第１の構文要素と、前記高さマップを含む第２の構文要素と、前記少なくとも１つのテクスチャマップを含む第３の構文要素と、前記複数の取得装置の位置を含む第４の構文要素とを組み合わせることによって前記ストリームを生成すること
   を行うように構成された少なくとも１個のプロセッサに関連するメモリを含む、装置。
5. 前記パラメトリック曲面が、前記複数の取得装置の全ての光学的中心ごとにセンタリングされる平滑な半球の区分的組合せとして計算される、請求項４に記載の装置。
6. 前記データに関連する前記点が前記高さマップ及び前記テクスチャマップ上で１回だけ投影される、請求項４又は５に記載の装置。
7. 複数の取得装置によって捕捉されるオブジェクトを表現する第１のデータを運ぶストリームであって、前記データが
   −前記複数の取得装置のライトフィールドに従って取得されるパラメトリック曲面を表す少なくともパラメータを含む第１の構文要素（１１０２）、
   −前記オブジェクトの前記少なくとも一部を表現する点群の点に関連する第２のデータから得られる高さマップを含む第２の構文要素（１１０３）であって、前記高さマップは前記オブジェクトの前記少なくとも一部と前記パラメトリック曲面との間の距離を表す情報を含む、第２の構文要素（１１０３）、
   −前記第２のデータから得られる少なくとも１つのテクスチャマップを含む第３の構文要素（１１０４）、及び
   −前記複数の取得装置の位置を含む第４の構文要素（１１０５）
   を含む、ストリーム。
8. 前記第１の構文要素（１１０２）が、前記複数の取得装置の全ての光学的中心ごとにセンタリングされる平滑な半球の区分的組合せとして形作られるパラメトリック曲面を表す、請求項７に記載のストリーム。
9. 前記第２のデータがテクスチャ情報及び深度を表す情報を含む、請求項７又は８に記載のストリーム。
10. オブジェクトを表現するデータを運ぶストリームから前記オブジェクトの少なくとも一部の画像をレンダリングする方法であって、
    −前記ストリームの第１の構文要素からパラメトリック曲面を表す少なくともパラメータを取得すること（１３０１）、
    −前記ストリームの第２の構文要素から高さマップを取得すること（１３０２）であって、前記高さマップは前記オブジェクトの前記少なくとも一部と前記パラメトリック曲面との間の距離を表す情報を含む、取得すること（１３０２）、
    −前記ストリームの第３の構文要素から少なくとも１つのテクスチャマップを取得すること（１３０３）、
    −前記パラメトリック曲面、前記高さマップ、及び前記少なくとも１つのテクスチャマップから前記オブジェクトの前記少なくとも一部を表現する点群の点に関連するデータを取得すること（１３０４）、
    −前記データ及び前記ストリームの第４の構文要素からの複数の取得装置の位置を表す情報に基づいて前記画像をレンダリングすること（１３０５）
    を含む、方法。
11. 前記データがテクスチャ情報及び深度を表す情報を含む、請求項１０に記載の方法。
12. 前記レンダリングが前記データのスプラットレンダリングを含む、請求項１０又は１１に記載の方法。
13. オブジェクトを表現するデータを運ぶストリームから前記オブジェクトの少なくとも一部の画像をレンダリングするように構成される装置であって、
    −前記ストリームの第１の構文要素からパラメトリック曲面を表す少なくともパラメータを取得すること、
    −前記ストリームの第２の構文要素から高さマップを取得することであって、前記高さマップは前記オブジェクトの前記少なくとも一部と前記パラメトリック曲面との間の距離を表す情報を含む、取得すること、
    −前記ストリームの第３の構文要素から少なくとも１つのテクスチャマップを取得すること、
    −前記パラメトリック曲面、前記高さマップ、及び前記少なくとも１つのテクスチャマップから前記オブジェクトの前記少なくとも一部を表現する点群の点に関連するデータを取得すること、
    −前記データ及び前記ストリームの第４の構文要素からの複数の取得装置の位置を表す情報に基づいて前記画像をレンダリングすること
    を行うように構成された少なくとも１個のプロセッサに関連するメモリを含む、装置。
14. 前記データがテクスチャ情報及び深度を表す情報を含む、請求項１３に記載の装置。
15. 前記画像をレンダリングするために前記データのスプラットレンダリングを行うように前記少なくとも１個のプロセッサが更に構成される、請求項１３又は１４に記載の装置。

Images