JP2020536300A - ３ｄシーンの点の属性を修正するための方法及び装置 - Google Patents

３ｄシーンの点の属性を修正するための方法及び装置 Download PDF

Info

Publication number
JP2020536300A
JP2020536300A JP2020515188A JP2020515188A JP2020536300A JP 2020536300 A JP2020536300 A JP 2020536300A JP 2020515188 A JP2020515188 A JP 2020515188A JP 2020515188 A JP2020515188 A JP 2020515188A JP 2020536300 A JP2020536300 A JP 2020536300A
Authority
JP
Japan
Prior art keywords
point
depth
image
points
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020515188A
Other languages
English (en)
Inventor
ラセール，セバスチャン
グーデ，セリーヌ
ツァイ，カンイン
Original Assignee
インターデジタル ヴイシー ホールディングス， インコーポレイテッド
インターデジタル ヴイシー ホールディングス， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス， インコーポレイテッド, インターデジタル ヴイシー ホールディングス， インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス， インコーポレイテッド
Publication of JP2020536300A publication Critical patent/JP2020536300A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

３Ｄシーンの１つ又は複数の点の属性を修正するための方法及び装置。属性は深度画像及びテクスチャ画像内にそれぞれ記憶される深度属性及びテクスチャ属性を含む。その目標を達成するために、深度画像内の少なくとも第１の点の近傍に関連する深度情報に対して矛盾した深度情報を有する３Ｄシーンの少なくとも第１の点を識別する。次いで、深度画像及びテクスチャ画像内の少なくとも第１の点の近傍を分析することにより、少なくとも第１の点の属性が訂正可能かどうかを判定する。訂正可能な属性を有する第１の点ごとに、深度画像及び／又はテクスチャ画像内に記憶される属性を深度画像及び／又はテクスチャ画像内の近傍に応じて修正する。

Description

１．技術分野
本明細書は、３Ｄシーンを処理する分野に関する。排他的ではないが、とりわけ本原理の技術分野は、３Ｄオブジェクトのジオメトリ及びテクスチャを表す点群の点を処理することに関する。本原理の技術分野は、テクスチャ及び深度投影スキームを使用する３Ｄ画像データの符号化／復号にも関し得る。
２．背景
この節は、以下に記載の及び／又は特許請求の範囲に記載の本明細書の様々な態様に関係し得る技術の様々な側面を読者に紹介することを目的とする。この解説は、本発明の様々な態様をより良く理解するのを助けるための背景情報を読者に与えるのに有用だと考えられる。従って、これらの記述は従来技術の承認としてではなくかかる観点から読まれるべきである。
点群又はメッシュを用いて３Ｄオブジェクトを表すことはよく知られている。
メッシュは、頂点及び頂点を接続するエッジでそれぞれ表されるメッシュ要素（例えば三角形）を含む。メッシュは３Ｄオブジェクトの外面を表すように通常意図される。
点群は３Ｄオブジェクトの外面、更にはメッシュのような他のデータ形式によって効率的に表現できない可能性がある毛髪、毛皮等のより複雑なジオメトリも表すことを通常意図する１組の点である。点群の各点は、しばしば３Ｄ空間位置（３Ｄ空間内のＸ、Ｙ、及びＺ座標）によって定められ、場合によっては例えばＲＧＢ又はＹＵＶ色空間内で表される色、透明度、反射率、２成分法線ベクトル等の他の関連属性によって定められる。有色の点群、即ち１組の６成分の点（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ）又は等価に（Ｘ，Ｙ，Ｚ，Ｙ，Ｕ，Ｖ）を検討することができ、（Ｘ，Ｙ，Ｚ）は３Ｄ空間内の点の空間位置を定め、（Ｒ，Ｇ，Ｂ）又は（Ｙ，Ｕ，Ｖ）はその点の色又はテクスチャを定める。
点群は、画像ベースの点群表現に対応するテクスチャ及び深度投影で表すことができる。
エンドユーザに伝送する前にテクスチャ及び深度の両方を圧縮することができる。更に、より優れた圧縮性能及び標準的なビデオ配信ワークフローとの後方互換性を得るために、テクスチャのクロマを圧縮前に４：４：４形式から４：２：０形式にダウンサンプリングすることができる。クロマエッジを平滑化する傾向があるクロマ圧縮と共に、これは異なる色を有する２つのオブジェクトの境界線において強いクロマアーティファクトをもたらす。従って、点群を再構築するときオブジェクトのエッジ付近の一部の点が不適当な色を示し、それはそれらの点の真の色がオブジェクトの（エッジの反対側に位置する）別の部分の色で平均されるからであり、このことは３Ｄオブジェクトの表示品質を変える。
深度圧縮の後、３Ｄオブジェクトの「エッジにおける」一部の点が、３Ｄオブジェクトの一部と３Ｄオブジェクトの別の部分との間に空間的に位置することがあり、それはそれらの２つの部分間で深度値が平均される可能性があり、真の３Ｄオブジェクトから離れて浮く点がもたらされるからである。かかる点が発生することは、深度画像を圧縮するとき低ビットレートで不可避である深度のぼけ／拡散が原因である。かかるぼけ／拡散は３Ｄオブジェクトをレンダリングするとき視覚的なアーティファクトを発生させる。
３．概要
本明細書での「一実施形態」、「或る実施形態」、「一実施形態例」、「特定の実施形態」への言及は、記載される実施形態が特定の特徴、構造、又は特性を含み得るが、全ての実施形態がそれらの特定の特徴、構造、又は特性を必ずしも含まなくてもよいことを意味する。更に、かかる語句は必ずしも同じ実施形態を指すものではない。更に、或る実施形態に関連して特定の特徴、構造、又は特性が記載される場合、明確に記載されていようがいまいが、かかる特徴、構造、又は特性を他の実施形態に関連して影響させることが当業者の知識の範囲に含まれると考えられる。
本明細書は、３Ｄシーンの１つ又は複数の点の属性を修正する方法であって、属性は深度画像及びテクスチャ画像内にそれぞれ記憶される深度属性及びテクスチャ属性を含み、
深度画像内の少なくとも第１の点の近傍に関連する深度情報に対して矛盾した深度情報を有する３Ｄシーンの少なくとも第１の点を識別すること、
深度画像及びテクスチャ画像内の少なくとも第１の点の近傍を分析することにより、少なくとも第１の点の属性が訂正可能かどうかを判定すること、及び
訂正可能な属性を有する第１の点ごとに、深度画像及び／又はテクスチャ画像内に記憶される属性を深度画像及び／又はテクスチャ画像内の近傍に応じて修正すること
を含む、方法に関する。
本明細書は、３Ｄシーンの１つ又は複数の点の属性を修正するように適合される装置／機器であって、属性は深度画像及びテクスチャ画像内にそれぞれ記憶される深度属性及びテクスチャ属性を含み、
深度画像内の少なくとも第１の点の近傍に関連する深度情報に対して矛盾した深度情報を有する３Ｄシーンの少なくとも第１の点を識別すること、
深度画像及びテクスチャ画像内の少なくとも第１の点の近傍を分析することにより、少なくとも第１の点の属性が訂正可能かどうかを判定すること、及び
訂正可能な属性を有する第１の点ごとに、深度画像及び／又はテクスチャ画像内に記憶される属性を深度画像及び／又はテクスチャ画像内の近傍に応じて修正すること
を行うように構成される少なくとも１つのプロセッサに関連するメモリ
を含む、装置／機器にも関する。
本明細書は、３Ｄシーンの１つ又は複数の点の属性を修正するように適合される装置／機器であって、属性は深度画像及びテクスチャ画像内にそれぞれ記憶される深度属性及びテクスチャ属性を含み、
深度画像内の少なくとも第１の点の近傍に関連する深度情報に対して矛盾した深度情報を有する３Ｄシーンの少なくとも第１の点を識別するための手段と、
深度画像及びテクスチャ画像内の少なくとも第１の点の近傍を分析することにより、少なくとも第１の点の属性が訂正可能かどうかを判定するための手段と、
訂正可能な属性を有する第１の点ごとに、深度画像及び／又はテクスチャ画像内に記憶される属性を深度画像及び／又はテクスチャ画像内の近傍に応じて修正するための手段と
を含む、装置／機器にも関する。
或る特性によれば、識別することは、少なくとも第１の点の近傍の第２の点と呼ばれるどの点が、少なくとも第１の点に対して第１の決定値を上回る深度差を有するのかを深度画像内で明らかにすることを含み、少なくとも第１の点は第２の点の数が第２の決定値を上回る場合に識別される。
特定の特性によれば、属性が訂正可能かどうかを判定することが、
少なくとも第１の点の近傍の第３の点と呼ばれるどの点が、少なくとも第１の点に対して第３の決定値を下回る深度差を有するのかを深度画像内で明らかにすること、及び
少なくとも第１の点の近傍の第４の点と呼ばれるどの点が、少なくとも第１の点の属性を修正するために使用可能かをテクスチャ画像内で明らかにすること
を含み、
属性は、第３の点の数が第５の決定値を上回る場合、及び第４の点の数が１以上である場合に訂正可能だと判定される。
別の特性によれば、第４の点を明らかにすることが、テクスチャ画像内の少なくとも第１の点の第４の点候補と呼ばれる近傍の点の中で、深度画像内の第４の点候補の近傍の第５の点と呼ばれるどの点が第４の点候補に対して第４の決定値を下回る深度差を有するのかを明らかにすることを含み、第４の点候補は第５の点の数が第６の決定値を上回る場合に第４の点になる。
更なる特性によれば、属性は少なくとも１つの第４の点の属性に基づいて修正される。
更なる特性によれば、この方法は（この装置は）、深度画像内の自らの近傍に関連する深度情報に対して矛盾した深度情報を有するものとして識別された３Ｄシーンの更なる点の属性を修正するために使用可能な属性を有する点のリストに、修正済みの属性を有する少なくとも第１の点を追加することを含む（そのように更に構成される）。
別の特性によれば、深度画像及びテクスチャ画像が受信ビットストリームから復号される。
更なる特性によれば、３Ｄシーンの１つ又は複数の点が点群の一部である。
本明細書は、プログラムがコンピュータ上で実行されるとき、属性を修正する上記の方法を少なくとも１つのプロセッサによって実行するためのプログラムコードの命令を含むコンピュータプログラム製品にも関する。
本明細書は、属性を修正する少なくとも上記の方法をプロセッサに実行させるための命令を内部に記憶している（非一時的）プロセッサ可読媒体にも関する。
４．図面一覧
以下の説明を読めば本明細書がよりよく理解され、他の特定の特徴及び利点が現れ、説明は付属図面を参照する。
本原理の一例による、３Ｄオブジェクトの一例を示す。 本原理の非限定的な実施形態による、図１の３Ｄオブジェクトに関連する属性画像の一例を示す。 本原理の非限定的な実施形態による、図１の３Ｄオブジェクトに関連する属性画像の一例を示す。 本原理の非限定的な実施形態による、図２Ａ及び図２Ｂの属性画像を得るための第１の例を示す。 本原理の非限定的な実施形態による、図２Ａ及び図２Ｂの属性画像を得るための第２の例を示す。 本原理の非限定的な実施形態による、図１の３Ｄオブジェクトの点に関連する深度画像の（又はテクスチャ画像の）ピクセルを示す。 本原理の非限定的な実施形態による、図１の３Ｄオブジェクトの点の属性を修正するための方法を示す。 本原理の非限定的な実施形態による、属性を修正するための候補である図１の３Ｄオブジェクトの点を識別するための方法を示す。 本原理の非限定的な実施形態による、属性を修正するための候補である図１の３Ｄオブジェクトの点の属性が修正可能かどうかを判定するための方法を示す。 本原理の非限定的な実施形態による、図６、図７、及び／又は図８の方法を実施するための機器のアーキテクチャの一例を示す。 本原理の非限定的な実施形態による、図１の３Ｄオブジェクトを表す点群の符号化／復号スキームの一例を示す。 本原理の非限定的な実施形態による、図１０のスキームによって得られるビットストリームを搬送する信号の構文の一例を示す。 本原理の非限定的な実施形態による、図１の３Ｄオブジェクトを表す点群を符号化する際に実施されるプロセスの一例を示す。 本原理の非限定的な実施形態による、図１のオブジェクト図１の３Ｄオブジェクトを表す復号済みの点群を得るためにビットストリームを復号するためのプロセスの一例を示す。
５．実施形態の詳細な説明
次に本内容を図面に関して説明し、図面では全体を通して同様の要素を指すために同様の参照番号を使用する。以下の説明では、本内容の完全な理解を与えるために多数の具体的詳細を説明目的で記載する。但し本内容の実施形態はそれらの具体的詳細なしに実践できることが明白であり得る。
本明細書の非限定的な実施形態によれば、３Ｄオブジェクトの１つ又は複数の点の属性を修正するための方法及び装置が開示される。
以下、画像は画像（又はビデオ）のピクセル値に関する全ての情報、並びに例えば画像（又はビデオ）を視覚化し及び／又は復号するためにディスプレイ及び／又は他の任意の装置によって使用され得る全ての情報を規定する特定の画像／ビデオ形式にあるサンプル（ピクセル値）の１つ又は幾つかのアレイを含む。画像は、サンプルの第１のアレイの形を取る、通常は輝度（又はルミナンス）成分である少なくとも１つの成分と、場合によるとサンプルの少なくとも１つの他のアレイの形を取る、通常は色成分である少なくとも１つの他の成分とを含む。又は同等に、同じ情報が従来の三色ＲＧＢ表現等の色サンプルの１組のアレイによって表現される場合もある。
以下、ピクチャは画像、即ちサンプルのアレイとして、又は画像の集合として考えることができる。
ピクセル値はｎｖ値のベクトルによって表され、ｎｖは成分の数である。ベクトルのそれぞれの値は、ピクセル値の最大ダイナミックレンジを定めるビット数で表される。
本原理は、三次元（３Ｄ）オブジェクトの１つ又は複数の点の属性を修正するための方法（及びそのように構成される機器）の特定の実施形態に関して説明する。属性は点群の点に関連し、テクスチャ情報（テクスチャ属性）及び／又は深度情報（深度属性）に対応する。深度（又は距離）属性は深度画像内に記憶され（即ち深度画像のピクセルに関連し）、テクスチャ（又は色）属性はテクスチャ画像内に記憶される（即ちテクスチャ画像のピクセルに関連する）。属性を修正する（深度及び／又はテクスチャ）ための候補である３Ｄオブジェクトの１つ又は複数の点（第１の点と呼ぶ）を識別する。属性を修正するための候補である点は、深度画像内のこの候補点の近傍に関連する深度情報と比較して矛盾した関連深度属性を有する点である。深度属性間の比較は深度画像内で行うことができ、深度画像の各ピクセルは３Ｄオブジェクトの１つの対応する点に関連する。識別済みの第１の点の近傍を深度画像及びテクスチャ画像の両方において分析して、この識別済みの第１の点の属性が訂正可能かどうか、即ち識別済みの第１の点の属性を修正するために使用可能な信頼できる情報が深度及び／又はテクスチャ画像内にあるかどうかを判定する。識別済みの第１の点の属性が訂正可能だと判定される場合、深度画像及び／又はテクスチャ画像内のこの第１の点の近傍を使用して属性（深度及び／又はテクスチャ属性）を修正する。
深度画像（個々にテクスチャ画像）内の３Ｄオブジェクトの点の近傍は、前述の３Ｄオブジェクトの点に対応する深度画像（個々にテクスチャ画像）のピクセルの近傍に位置する深度画像（個々にテクスチャ画像）のピクセルに対応する。ピクセルの近傍は、例えばこの例に限定されないが、前述のピクセルに隣接する全てのピクセルを包含し得る。例えば近傍は、前述のピクセルに隣接するピクセル、及び前述のピクセルに隣接する各ピクセルに隣接する全てのピクセル、又は更に多くのピクセルを包含し得る。
属性が訂正可能かどうかを判定することは、属性を確実に訂正できない点を迅速に破棄することを可能にし、したがって処理時間及び資源を節約する。（３Ｄオブジェクトの３Ｄ空間の代わりに）深度画像を使用することは、どの点が誤っている可能性があるのか（例えば自らが属するオブジェクトに対応しないテクスチャをどの点が有し得るのか）を迅速に識別することを可能にし、深度画像及びテクスチャ画像の両方を使用することは、識別済みの第１の点（誤った又は疑わしい点）の属性を訂正するためにどの点を使用することができるのかを確実に判定することを可能にする。
３Ｄオブジェクトの深度画像及び関連するテクスチャ画像の単一の対に関して説明したとしても、本原理は深度及び関連するテクスチャ画像の複数の対に同様に適用される。
図１は、非限定的な実施形態による、３Ｄオブジェクト又はその一部の２つの異なる表現を示す。３Ｄオブジェクトは、例えば複数の３Ｄオブジェクトを含む３Ｄシーンに属することができる。図１の例によれば、オブジェクトは例えばシーン内で移動する人物であり、頭部に対応するオブジェクトの一部が図１に示されている。図１は、オブジェクト１０の三次元（３Ｄ）モデル及び３Ｄモデル１０に対応する点群１１の点も示し得る。モデル１０は３Ｄメッシュ表現とすることができ、点群１１の点はメッシュの頂点であり得る。点１１は、メッシュの面の表面に広がる点とすることもできる。モデル１０は群の点１１のスプラットされたバージョンとして表すこともでき、モデル１０の表面は群の点１１の点をスプラットすることによって作成される。モデル１０は、ボクセル又はスプライン等の多くの異なる表現によって表すことができる。図１は、３Ｄオブジェクトの表面表現から点群を定めることが常に可能であること、及び逆に群の点から３Ｄオブジェクトの表面表現を作成することが常に可能であることを示す。本明細書で使用するとき、３Ｄオブジェクトの点を（３Ｄシーンの拡張点によって）画像に投影することは、この３Ｄオブジェクトの任意の表現をオブジェクトに投影することと等価である。
オブジェクトの一部の第１の表現１０は点群である。点群はオブジェクト、例えばオブジェクトの外面又は外部形状を表す点の大きな集合に相当する。点群はベクトルベースの構造として見ることができ、各点はその座標（例えば三次元座標ＸＹＺ又は所与の視点からの深度／距離）と、成分とも呼ばれる１つ又は複数の属性とを有する。成分の一例は様々な色空間、例えばＲＧＢ（赤色、緑色、及び青色）又はＹＵＶ（Ｙは輝度成分でありＵＶは２つのクロミナンス成分である）内で表すことができる色成分である。点群は、所与の視点又は一連の視点から見たオブジェクトの表現である。点群は様々なやり方、例えば
・深度アクティブ検知装置によって任意選択的に補完されるカメラのリグによって撮像された現実オブジェクトの捕捉から、
・モデリングツール内の仮想カメラのリグによって撮像された仮想／合成オブジェクトの捕捉から、
・現実オブジェクト及び仮想オブジェクトの両方の混合から
得ることができる。
（現実オブジェクトの捕捉に由来する）第１の事例では、１組のカメラが異なるビュー（異なる視点）に対応する１組の画像又は一連の画像（ビデオ）を生成する。各カメラ中心からオブジェクト表面までの距離を意味する深度情報が、例えば赤外領域内で及び構造化光分析又は飛行時間に基づくアクティブ深度検知装置によって、又は視差アルゴリズムに基づいて取得される。何れの場合にも、全てのカメラを内的に及び外的に較正する必要がある。視差アルゴリズムは、典型的には１次元ライン沿いに作成される１対の補正されたカメラ画像上の同様の視覚的特徴を探索することで構成され、ピクセル列の差が大きくなるほどこの特徴の表面が近くなる。カメラアレイの場合、複数のカメラの対の利点を利用し、複数のピア視差情報を組み合わせることによってグローバル深度情報を得ることができ、それにより信号対雑音比を改善する。
第２の事例（合成オブジェクト）では、モデリングツールが深度情報を直接提供する。
点群１０は時間と共に進化する動的な点群とすることができ、即ち点の数は時間と共に変化する可能性があり、及び／又は１つ又は複数の点の位置（例えば座標Ｘ、Ｙ、及びＺの少なくとも１つ）が経時変化し得る。点群の進化は、点群によって表されるオブジェクトの動き及び／又はオブジェクト若しくはオブジェクトの一部の任意の形状変化に対応し得る。
点群１０は、ピクチャ内で又は時間的に連続したピクチャの１つ又は複数のグループ内で表すことができ、各ピクチャは決定された時点「ｔ」における点群の表現を含む。時間的に連続したピクチャの１つ又は複数のグループは、点群１０の少なくとも一部を表すビデオを形成することができる。
オブジェクトの一部の第２の表現１１は点群表現１０から取得することができ、この第２の表現は表面表現に相当する。その表面を計算するために点群を処理することができる。そのために、点群の所与の点について、この所与の点における局所表面に対する法線を計算するためにこの所与の点の近傍の点を使用し、この所与の点に関連する表面要素は法線から導出される。このプロセスは表面を得るために全ての点に対して繰り返される。点群から表面を再構築するための方法は、例えば“State of the Art In Surface Reconstruction from Point Clouds”, State of the Art Report, 2014の中でMatthew Bergerらによって記載されている。改変形態によれば、点群の所与の点に関連する表面要素は、この所与の点にスプラットレンダリングを適用することによって得られる。オブジェクトの表面（オブジェクトの陰面又は外面とも呼ばれる）は、点群の点に関連する全てのスプラット（例えば楕円面）を混合することによって得られる。
特定の実施形態では、点群がオブジェクト全体ではなくオブジェクトの部分的なビューしか表さず、かかる部分的なビューは、オブジェクトがレンダリング側、例えば映画のシーン内でどのように見られるべきかに対応する。例えば平面カメラアレイの方を向いているキャラクタを撮像することはリグ側の点群だけを生成する。キャラクタの背後は存在すらしておらず、オブジェクト自体が閉じておらず、従ってオブジェクトの幾何学的特性はリグの方を向いている１組の全ての表面である（各局所表面の法線と取得装置に戻る光線との間の角度は例えば９０°未満である）。
図２Ａ及び図２Ｂは、本原理の特定の非限定的な実施形態による、点群１０のピクチャをそれぞれ示す。
図２Ａは、点群のピクチャ２０、例えば点群のＧＯＰ（ピクチャ群：Group of Pictures）のピクチャの第１の例を示す。ピクチャ２０は１組のｎ個の画像２０１、２０２、２０３、２０ｎで構成され、ｎは２以上の整数である。画像２０１から２０ｎのそれぞれはピクセルのアレイに対応し、そのサイズ及び／又は定義は画像ごとに異なり得る。例えば画像２０１及び２０ｎの定義は同じであるのに対し、画像２０２、２０３の定義は互いに及び画像２０１及び２０ｎの定義と異なる。図２Ａの例では、画像２０１から２０ｎは、画像間の重複なしにピクチャ２０の全体を覆うように空間的に配置されている。改変形態によれば、画像２０１から２０ｎがピクチャ全体を覆うことはなく、画像２０１から２０２の間に又はそれらの少なくとも一部の間に空間が存在し、即ち隣接する２つの画像のエッジが接触しない場合がある。画像２０１から２０ｎの各ピクセルにデータ、例えばテクスチャ情報及び／又は深度情報が関連し得る。テクスチャ情報は、例えば色空間（例えばＲＧＢ色空間又はＹＵＶ色空間）の各チャネルに関連するグレーレベルの形で記憶することができ、各チャネルのグレーレベルは例えば第１の決定されたビット数、例えば８ビット、１０ビット、又は１２ビットで表される。深度情報は、第２の決定されたビット数、例えば８ビット、１０ビット、又は１２ビットを用いて例えばαチャネル内の値の形で記憶することができる。従って、決定された時点「ｔ」における点群を表すために、４つの成分ＲＧＢα又はＹＵＶα（例えば４つの１０ビットチャネル）が例えばピクチャ２０内の各ピクセルに関連し得る。改変形態によれば、第１のピクチャ２０はテクスチャ情報（例えば３つの成分ＲＧＢ又はＹＵＶ）を記憶するために使用され、画像の同じ配置を有する第２のピクチャが深度情報を記憶するために使用され、どちらのピクチャも時点「ｔ」における点群を表す。ピクチャ２０を形成する１組の画像は、例えば投影、例えば図３に示すように第１の画像につき異なる投影に従って点群の点を投影することによって得ることができる。
図３は、本原理の非限定的な例による、点群１０の少なくとも一部に境界をつける立方体３１を示す。
立方体３１は、例えば第１の細分レベルにおいて８個の下位の立方体へと細分される（明瞭にするために８個の下位の立方体のうちの１個の下位の立方体３２だけを示す）。下位の立方体３２は、第２の細分レベルにおいて更に８個の下位の立方体へと細分される（明瞭にするために８個の下位の立方体のうちの１個の下位の立方体３３だけを示す）。各細分レベルにおいて、点群の点の一部を立方体の１つ又は複数の面（例えば灰色で埋めた面）上に（例えば正投影に従って）投影することができる。例えば点群の点は、立方体３１の面３０１上に、立方体３２の面３０２上に、及び立方体３３の面３０３上に投影される。立方体の細分レベルに依存する定義／サイズを有するピクセルのアレイを形成するために、これらの面を例えば離散化する。例えば立方体の面のピクセルに関して、前述のピクセル上に投影される点群の点は、前述のピクセルからの及び前述のピクセルを含む面に対して直角な光線を追跡するとき前述のピクセルから最も近い点群の点に対応する。前述のピクセルに関連する属性は、前述のピクセル上に投影される点の属性（テクスチャ及び／又は深度）に対応する。
面３０１は、例えば画像２０１を形成するために使用され、面３０２は画像３０２を形成するために使用され、面３０３は画像３０３を形成するために使用される。
図２Ｂは、点群のピクチャ２１、例えば点群のＧＯＰのピクチャの第２の例を示す。ピクチャ２１は、１組のｍ個の画像２１１、２１２、２１３、２１４、２１ｍで構成され、ｍは２以上の整数である。画像２１１から２１ｍの配置はピクチャ２０の配置と異なることができ、例えば画像２１１から２１ｍの間には空き空間がある。画像２１１から２１ｍは様々なサイズ及び／又は定義を有し得る。各ピクチャは点群の点から属性を受け取ることができ、前述の属性は各画像２１１から２１ｍのピクセルの少なくとも一部に関連する。例えば点群から属性を受け取る各画像の一部を灰色の領域として示す一方、点群から属性を受け取らない画像の一部を白い領域として示し、前述の白い領域は画像間の空き空間のように既定値で埋めることができる。図２Ａのピクチャ２０と同様に、画像２１１から２１ｎのピクセルに関連するデータはテクスチャ情報及び／又は深度情報に対応し得る。改変形態では、第１のピクチャ２１はテクスチャ情報（例えば３つの成分ＲＧＢ又はＹＵＶ）を記憶するために使用され、画像２１１から２１ｍの同じ配置を有する第２のピクチャ２１が深度情報を記憶するために使用され、どちらのピクチャも時点「ｔ」における点群を表す。
ピクチャ２１を形成する１組の画像は、例えば１つ又は複数の第１の画像、及びことによると１つ又は複数の第２の画像を含むことができる。第１の画像（それぞれの第１の画像の少なくとも灰色の領域）は、例えば第１の投影、例えば図４に示すように第１の画像につき異なる第１の投影に従って点群の点を投影することによって得ることができる。
図４は、本原理の非限定的な例による、ピクチャ２１を形成する１組の画像の第１の画像を取得することを示す。３Ｄオブジェクト４を表す点群は複数の３Ｄ部分、例えば５０個、１００個、１０００個以上の３Ｄ部分に分割され、これらのうちの３個、即ち３Ｄ部分４２、４３、及び４４を図４に示し、３Ｄ部分４４は（例えば図１の点群１０に対応する）人物の頭部の一部を表す点群の点を含み、３Ｄ部分４２は人物の脇を表す点群の点を含み、３Ｄ部分４３は人物の手を表す点群の点を含む。各３Ｄ部分を二次元で、即ち２Ｄパラメータ化に従って表すために、各３Ｄ部分の又は３Ｄ部分の一部の１つ又は複数の画像を生成する。例えば２Ｄパラメータ化４０１が３Ｄ部分４４について得られ、２Ｄパラメータ化４０２が３Ｄ部分４２について得られ、２つの異なる２Ｄパラメータ化４０３及び４０４が３Ｄ部分４３について得られる。２Ｄパラメータ化は３Ｄ部分ごとに異なり得る。例えば３Ｄ部分４１に関連する２Ｄパラメータ化４０１は線遠近法投影であるのに対し、３Ｄ部分４２に関連する２Ｄパラメータ化４０２はＬＬＥであり、３Ｄ部分４３に関連する２Ｄパラメータ化４０３及び４０４はどちらも異なる視点による正投影である。改変形態によれば、全ての３Ｄ部分に関連する全ての２Ｄパラメータ化が同じ種類、例えば線遠近法投影又は正投影のものである。改変形態によれば、同じ３Ｄ部分に異なる２Ｄパラメータ化を使用することができる。
点群の或る所与の３Ｄ部分に関連する２Ｄパラメータ化は、所与の３Ｄ部分のサンプリングを可能にする点群の所与の３Ｄ部分の２次元での閲覧に対応し、即ちこの所与の３Ｄ部分のコンテンツ（即ち点）の２Ｄ表現は（第１の画像のピクセルに対応し得る）複数のサンプルを含み、その数は適用されるサンプリングステップに依存する。２Ｄパラメータ化は様々なやり方で、例えば以下の方法の何れか１つを実施することによって得ることができる：
−視点に関連する平面上に点群の３Ｄ部分の点を線遠近法投影すること。線遠近法投影を代表するパラメータは仮想カメラの位置、空間的なサンプリングのステップ、及び２次元での視野を含む。
−点群の３Ｄ部分の点を表面上に正投影すること。正投影を代表するパラメータは投影表面のジオメトリ（形状、サイズ、及び方向）及び空間的なサンプリングのステップを含む。
−本明細書では３Ｄから２Ｄに変換／変形するために適用される次元縮小の数学演算に相当するＬＬＥ（局所線形埋め込み：Locally-Linear Embedding）。ＬＬＥを代表するパラメータは変換係数を含む。
ピクチャ２１に対するパッキングプロセスを容易にするために、各画像は有利には矩形の形状を有する。
図５は、本原理の非限定的な例による、３Ｄオブジェクトの点と３Ｄオブジェクトに関連する深度マップのピクセルとの間の関連付けを示す。図５は深度マップの一例を示すが、３Ｄオブジェクトに関連するテクスチャ画像にも同じことが当てはまる。３Ｄオブジェクトに関連する深度画像と３Ｄオブジェクトに関連するテクスチャ画像との唯一の違いは、深度画像及びテクスチャ画像が含むデータにある。深度画像は深度（距離）情報を（深度画像のピクセルごとに）含むのに対し、テクスチャ画像はテクスチャ（色）情報を（テクスチャ画像のピクセルごとに）含む。図５は、点５１を含む１組の点５を示す。１組の点５は、例えば図１の点群１０の点の部分集合又は３Ｄオブジェクト１０、１１の少なくとも一部を含む３Ｄシーンの１組の点である。深度画像５００は３Ｄオブジェクトに関連し、図５には深度画像５００の一部しか図示しておらず、深度画像はピクセルのアレイを含む矩形画像に概して対応する。２つの異なる灰色の陰影を使い、深度画像５００の２つの異なる領域５００１及び５００２を図５に示す。第１の領域５００１は灰色の濃い陰影を使って図示するのに対し、第２の領域５００２は灰色の薄い陰影を使って図示している。破線で示すエッジ５００３により、第１の領域５００１と第２の領域５００２とが互いに隔てられている。第１の領域５００１は例えば３Ｄオブジェクトの第１の部分に関連し、第２の領域は３Ｄオブジェクトの第２の部分に関連し、第１の部分は例えば第２の部分に対して前景に位置する。別の例によれば、第１の領域５００１が３Ｄシーンの第１のオブジェクトに関連し、第２の領域５００２が、第１のオブジェクトに対して前景に位置する３Ｄシーンの第２のオブジェクトに関連する。どちらの例でも、第１の領域５００１に関連する深度情報が第２の領域５００２に関連する深度情報と異なる。テクスチャ画像に適用される場合、前のどちらの例も第１の領域５００１に関連するテクスチャ情報が第２の領域５００２に関連するテクスチャ情報と異なることを含意する。
図５の例によれば、１組の点５の点５１は深度画像５００のピクセル５０１に関連する。深度画像５００（個々にテクスチャ画像）内の点５１の近傍は、点５１に対応するピクセル５０１の近傍に位置する深度画像（個々にテクスチャ画像）のピクセルに対応する。ピクセル５０１の近傍は、例えばピクセル５０１に隣接する（及びその周りに位置する）１組のピクセル５０２から５０９に対応し得る。この例によれば、近傍はピクセル５０１を中心とした９ピクセルのブロックのピクセル５０１を除くピクセルに対応し、即ち近傍はピクセル５０１を取り囲むブロックの８ピクセルを含む。別の例によれば、ピクセル５０１の近傍は、前述のピクセル５０２から５０９に隣接するピクセル５１０から５２５と共に、前述のピクセル５０１に隣接するピクセル５０２から５０９を含む。この例によれば、近傍はピクセル５０１を中心とした２５ピクセルのブロックのピクセル５０１を除くピクセルに対応し、即ち近傍はピクセル５０１を取り囲むブロックの２４ピクセルを含む。別の例によれば、ピクセル５０１の近傍は、前述のピクセル５０１を含むが前述のピクセル５０１を中心としないピクセルのブロック、例えばピクセル５０１から５１８を含むピクセルのブロック又はピクセル５０１を含む任意の形状のスーパーピクセルに対応し得る。
図６は、本原理の非限定的な実施形態による、例えば（図９に関して説明した）装置９内で実施される３Ｄシーンの点の属性を修正する方法を示す。
最初の操作６１で、３Ｄシーンに関連する深度画像、又は図２Ａ、図２Ｂ、及び／又は図４に関して説明したように幾つかの深度画像が３Ｄシーンに関連する場合は３Ｄシーンに関連する深度画像の１つを分析することにより、３Ｄシーンの１つ又は複数の点（例えば点群１０の１つ又は複数の点）を識別する。識別した３Ｄシーンの点を第１の点と呼ぶ。深度画像の各ピクセルは３Ｄシーンの１つの点に対応し、３Ｄシーンの点に関連する深度情報を含む。３Ｄシーンの第１の点を識別するために、深度画像内のこの第１の点の近傍を分析する。図５に関して説明したように、深度画像内の３Ｄシーンの点の近傍は３Ｄシーンの前述の点に関連する深度画像のピクセルの近傍に対応する。第１の点を識別することは、３Ｄシーンのどの点が深度画像内のそれらの点の近傍に対して矛盾しているのかを明らかにすることを目指し、第１の点は、それらの点のそれぞれに関連する深度に関して疑いがあるので疑わしい点とも呼ばれる。２つの領域５００１及び５００２がエッジ５００３によって隔てられている図５の例にあるような、異なる深度にある異なるオブジェクト間のエッジ又はオブジェクトの異なる部分間のエッジ上に又はかかるエッジ付近に位置する点に対して例えば間違った深度が割り当てられる場合がある。第１の点（又は疑わしい点）は、（深度画像内の第１の点の対応するピクセルに関連する）第１の点の深度情報が、第１の点の近傍に関連する深度と深度情報の正確さが疑われるほど異なる場合に識別することができる。第１の点は、例えば第１の点の深度情報を第１の点の近傍に関連する深度情報と比較することによって識別することができ、第１の点の深度情報と第１の点の近傍の深度情報（例えば平均深度）との差が第１の決定値を上回る場合、第１の点であるものとして点を識別する。
第２の操作６２で、操作６１の間に識別した第１の点の属性（即ち深度情報及び／又はテクスチャ情報）が訂正可能かどうかを判定する。この判定は、深度画像内の識別済みのそれぞれの第１の点の近傍を分析すること、及びテクスチャ画像内の前述の識別済みのそれぞれの第１の点の近傍を分析することに基づく。深度画像及びテクスチャ画像の所与の第１の点に対応するピクセルに対して同じ位置にある同数のピクセル（例えば深度画像及びテクスチャ画像内の前述の所与の第１の点に対応するピクセルを中心とした９ピクセルのブロック（即ちかかるピクセルを取り囲む８ピクセル））をどちらの近傍も含む場合、深度画像内の３Ｄシーンの前述の所与の第１の点の近傍は３Ｄシーンの１組の点を指し、テクスチャ画像内の３Ｄシーンの前述の所与の第１の点の近傍は３Ｄシーンの同じ１組の点を指す。
第３の操作６３で、深度画像及び／又はテクスチャ画像内の前述の第１の点の近傍の属性を使用し、操作６２の間に訂正可能だと判定した第１の点の属性を修正する。前述の第１の点に関して、深度情報は例えば深度画像内の近傍の深度情報を使用することによって修正することができ、テクスチャ情報はテクスチャ画像内の前述の第１の点の少なくとも１つの点のテクスチャ情報を使用することによって修正することができる。操作６３は、操作６２で訂正可能だと判定した属性を有する第１の点ごとに繰り返すことができる。
図７は、本原理の非限定的な実施形態による、３Ｄシーンの点の中の１つ又は複数の第１の点を識別する方法を示す。操作６１は、例えば疑わしい点と呼ぶ第１の点を識別するための図７の方法に基づくことができる。３Ｄシーンの現在の点に関して（即ち深度画像の空間内の３Ｄ点に対応する深度画像の現在のピクセルを用いて）図７の方法を説明する。当然ながら、前述の現在の点に適用される操作は、疑わしい点を識別するために３Ｄシーンの各点に又は３Ｄシーンの少なくとも一部に適用することができる。例えば図７の方法の操作は、３Ｄシーンに関連する深度画像の全てのピクセル又はピクセルの一部に適用することができる。例えば９ピクセル又は２５ピクセルのスライディングブロックを深度画像の複数のピクセルの各ピクセルの周りで決定し、分析を行って３Ｄシーンの第１の点（疑わしい点）にそれらのピクセルが対応するかどうかを判定することができる。図７の方法の操作についての説明は、図５の点５１及び深度画像５００の点５１の対応するピクセル５０１の例を使用して記載する。
最初の操作７１で、深度画像内の点５１の近傍の第２の点を決定する。近傍は、例えば点５１に対応するピクセル５０１を中心とした深度画像５００のピクセル、例えばピクセル５０２から５０９又はピクセル５０２から５２５のブロックとして定義する。第２の点は、（深度画像内に記憶され深度画像内のその対応するピクセルに関連する）第２の点の深度情報を（同じく深度画像内に記憶されピクセル５０１に関連する）点５１の深度情報と比較することによって点５１の近傍で決定される。深度差をth_dubiousと呼ぶ第１の決定値と比較し、深度差が第１の決定値を上回る場合、近傍の点を所謂第２の点であるものとして決定する。実際的に、各ピクセル５０２から５０９（個々に５０２から５２５）の深度情報をピクセル５０１の深度情報と比較し、深度差が第１の決定値を上回る場合、３Ｄシーンの対応する点を第２の点として識別し又はラベル付けする。第１の決定値は、例えば５、１０、２０、又は５０に等しくあり得る。
第２の操作７２で、操作７１の間に決定した第２の点を数え上げ、第２の点の数N2nd pointsをN_dubiousと呼ぶ第２の決定値と比較する。第２の点の数N2nd pointsが第２の決定値N_dubious以上である場合は点５１を第１の点、即ち疑わしい点であるものとして識別する。第２の点の数N2nd pointsが第２の決定値N_dubiousを下回る場合は点５１を第１の点ではないものとして、即ち関連する深度がその近傍と矛盾しておらず、従って正しい３Ｄシーンの点であるものとして識別する。第２の決定値は、例えば第１の点を識別するために検討される近傍の点の数に依存し得る。例えば検討する近傍が８個の点を含む場合、第２の決定値N_dubiousは例えば２、３、又は４に等しくあり得る。検討する近傍が２４個の点を含む場合、第２の決定値N_dubiousは例えば５、８、又は１０に等しくあり得る。
第１の点であるものとして点５１を識別したら、３Ｄシーンの識別済みの第１の点を含むリストに第１の点５１を追加することができ、このリストは例えば以下の操作（例えば操作６２）に使用される。
第１の点は、シーンの２つのオブジェクト間のエッジ又はシーンの同じ３Ｄオブジェクトの２つの異なる部分間のエッジに又はかかるエッジ付近に位置する点に対応する。第１の点は、例えばピクセル５２３、５０９、５０８、５０１、５０６、５０５、５１７、及び５１６に対応する３Ｄシーンの点に対応し得る。これらの点５２３、５０９、５０８、５０１、５０６、５０５、５１７、及び５１６について、その深度及び／又はテクスチャについて疑いがある場合がある。例えばかかる第１の点に関連する深度は、第１の領域５００１の深度と第２の領域５００２の深度との間の値に相当し得る。同じように、かかる第１の点に関連するテクスチャは第１の領域５００１に関連するテクスチャと第２の領域５００２に関連するテクスチャとの混合に相当し得る。深度及び／又はテクスチャの誤りは、例えば３Ｄオブジェクトのデータを符号化するとき及び／又は３Ｄオブジェクトのデータを復号するとき発生する誤りによって現れ得る。
図８は、本原理の非限定的な実施形態による、第１の点の属性を訂正できるかどうかを判定するための方法を示す。操作６２及び６３は、例えば図８の方法の操作に基づく又はかかる操作を含むことができる。
最初の操作８１で、（例えば図７に関して説明したように生成されている）リスト８０１の第１の点を選択する。選択される第１の点は、まだ処理されていないリストの第１の点に対応する。一例として、選択される第１の点は第１の点５１に対応する。
第２の操作８２で、選択した第１の点５１の近傍のどの点が、選択した第１の点５１に対してth_repair_geoと呼ぶ第３の決定値を下回る深度差を有するのかを深度画像内で明らかにする。後者の不等性を満たす選択した第１の点５１の近傍の点を第３の点と呼ぶ。その目標を達成するために、選択した第１の点５１に対応するピクセル５０１の近傍を分析する。この近傍は、第１の点を識別するために使用する近傍と同じであり得る（例えば操作７１参照）。改変形態によれば、この近傍は第１の点を識別するために使用する近傍と異なる。ピクセル５０１の近傍の各ピクセル（例えばピクセル５０２から５０９又はピクセル５０２から５２５）の深度情報をピクセル５０１の深度情報と比較し、深度差が第３の決定値を下回る場合、３Ｄシーンの対応する点を第３の点として識別し又はラベル付けする。第３の決定値th_repair_geoは、例えば３、５、又は１０に等しくあり得る。第３の点を決定することは、選択した第１の点５１の近傍のどの点が３Ｄシーンの同じオブジェクトに（又は３Ｄオブジェクトの同じ部分に）属する可能性が高いのかを識別することを可能にする。図５の例によれば、ピクセル５０１はエッジ５００３上だが第１の領域５００１の側に位置するので、第３の点はピクセル５０９、５０２、５０３、５０４、及び５０５に対応する点に相当することができ、ピクセル５０９、５０２、５０３、５０４、及び５０５も第１の領域５００１に属する。
第３の操作８３で、操作８２の間に決定した第３の点５０９、５０２、５０３、５０４、及び５０５を数え上げ、第３の点の数Nthird pointsをN_repair_geoと呼ぶ第５の決定値と比較する。第３の点の数Nthird pointsが第５の決定値N_repair_geoを上回る場合、訂正可能又は修復可能なジオメトリ（深度情報）を有するものとして点５１を識別し又はラベル付けし、即ち選択した第１の点５１の近傍には第１の点５１の深度に十分近い深度を有する十分な点があり、即ち点５１の深度及び／又はテクスチャを必要に応じて訂正し又は修復するために使用することができる近傍の十分な点がある。この場合、選択した第１の点５１を以下の操作８４によって更に処理する。
第３の点の数Nthird pointsが第５の決定値N_repair_geoを下回る場合、訂正又は修復することができない属性を有するものとして点５１を識別し又はラベル付けし、別の第１の点をリスト８０１内で選択し、その新たに選択した第１の点に対して操作８２及び８３を繰り返す。
第３の決定値は、例えば第３の点を決定するために検討される近傍の点の数に依存し得る。例えば検討する近傍が８個の点を含む場合、第３の決定値N_repair_geoは例えば２又は３に等しくあり得る。検討する近傍が２４個の点を含む場合、第３の決定値N_repair_geoは例えば５、６、７、又は８に等しくあり得る。
第４の操作８４で、選択した第１の点５１に関連するテクスチャを訂正／修復するために使用可能な第４の点と呼ばれる少なくとも１つの点が選択した第１の点５１の近傍にあるかどうかを判定する（選択した第１の点５１が訂正可能だと操作８３で識別している場合）。その目標を達成するために、操作８２の間に決定した第３の点の１つが、選択した第１の点５１のテクスチャ情報を訂正するために使用可能な点のリスト８０２に属するかどうかを判定する。疑わしい点のテクスチャ情報を訂正するために使用可能な点、即ち第４の点は、例えば同じオブジェクトに（又はオブジェクトの同じ部分に）属する点（即ち第３の点である点、即ち疑わしい点の深度に近い深度を有する点）であり、且つそれ自体が疑わしい点ではない点（即ちエッジ上にない点）である。操作８２で決定した第３の点、即ち第３の点５０９、５０２、５０３、５０４、及び５０５のうち、点５０２、５０３、及び５０４は第１の領域５００１の中に完全に位置し且つエッジ５００３上に位置しないので、点５０２、５０３、及び５０４は点５０１のテクスチャを訂正するために使用可能な適格点であり得る。
選択した第１の点５１の属性を訂正するために使用可能な少なくとも１つの点が選択した第１の点５１の近傍にある場合、選択した第１の点５１を操作８５によって更に処理する。選択した第１の点５１の属性を訂正するために使用可能な点が選択した第１の点５１の近傍にない場合はこのプロセスは終了し、操作８２から８４によって処理されるようにリスト８１から更なる第１の点を選択する。
第５の操作８５で、選択した第１の点５１の属性を修正する。例えば深度属性は、例えば第３の点５０９、５０２、５０３、５０４、及び５０５に関連する深度値を平均することにより、第３の点５０９、５０２、５０３、５０４、及び５０５に関連する深度情報を使用することによって修正され、深度情報は深度画像内に記憶される。別の例によれば、深度属性はリスト８０２に属する第３の点５０２、５０３、及び／又は５０４の深度属性を使用することによって修正される。例えばリスト８０２内に含まれる第３の点５０２、５０３、及び／又は５０４に関連するテクスチャ情報を使用することにより、選択した第１の点５１のテクスチャ属性も修正することができ、これらの第３の点５０２、５０３、及び／又は５０４のテクスチャ情報はテクスチャ画像内に記憶される。
選択した第１の点５１の属性を修正、即ち修復し又は訂正したら、選択した第１の点５１を疑わしい点のリスト８０１から除去し、更なる疑わしい点のテクスチャ情報を訂正するために使用可能な点のリスト８０２に追加する。
次いで、更なる第１の点（疑わしい点）をリスト８０１から選択し、その更なる第１の点に対して操作８１から８５を繰り返すことができる。
任意選択的な操作８６では、テクスチャ画像内の選択した第１の点５１の近傍の点を検査して、選択した第１の点５１の属性、例えばテクスチャ属性を訂正するためにそれらの点が使用可能かどうかを確認する。テクスチャ画像内の選択した第１の点の近傍の各点を検査することができ、又は操作８２で識別した第３の点だけを検査する。テクスチャ画像内の選択した第１の点５１の近傍の点に対して行う検査は、テクスチャを訂正するためにその点が使用可能かどうかを判定することを目的とする。テクスチャ画像内の選択した第１の点５１の近傍の候補点について、深度画像内のこの候補点の近傍のどの点が候補点に対してth_repair_colorと呼ぶ第４の決定値を下回る深度差を有するのかを明らかにする。th_repair_colorの値は、第１の決定値th_dubiousと同じでも異なってもよい。候補点に対して第４の決定値を下回る深度差を有する深度画像内のこの候補点の近傍の点を第５の点と呼ぶ。
第５の点を数え上げ、第５の点の数Nfifth pointsをN_eligible_colorと呼ぶ第６の決定値と比較する。N_eligible_colorの値は、第２の決定値N_dubiousと同じでも異なってもよい。第５の点の数Nfifth pointsが第６の決定値N_eligible_colorを上回る場合、選択した第１の点５１のテクスチャ属性を訂正するために使用可能なものとして候補点を識別し、この候補点をリスト８０２に追加する。第５の点の数Nfifth pointsが第６の決定値N_eligible_colorを下回る場合、テクスチャ属性を訂正するために使用できないものとして候補点を識別し、この候補点をリスト８０２に追加しない。
改変形態によれば、操作８６は、操作８１から８４の前に又はそれらの操作と並行してリスト８０２を生成するためにテクスチャ画像全体に適用される。
図９は、本原理の非限定的な実施形態による、図６、図７、及び図８に関して記載した方法の少なくとも１つを実装するように適合された機器９のアーキテクチャの一例を示す。
機器９は、データ及びアドレスバス９１によってつながれる以下の要素、つまり
−例えばＤＳＰ（即ちデジタル信号プロセッサ）であるマイクロプロセッサ９２（又はＣＰＵ）、
−ＲＯＭ（即ち読取専用メモリ）９３、
−ＲＡＭ（即ちランダムアクセスメモリ）９４、
−記憶域インタフェース９５、
−アプリケーションから伝送するためのデータを受信するためのＩ／Ｏインタフェース９６、及び
−電源、例えば電池
を含む。
一例によれば、電源が装置の外部にある。言及したメモリのそれぞれにおいて、本明細書で使用する「レジスタ」という用語は小容量（数ビット）の領域又は非常に大きい領域（例えば全プログラム又は大量の受信データ若しくは復号データ）に対応し得る。ＲＯＭ９３は、少なくともプログラム及びパラメータを含む。ＲＯＭ９３は、本原理による技法を実行するためのアルゴリズム及び命令を記憶し得る。オンにされるとき、ＣＰＵ９２がプログラムをＲＡＭ内にアップロードし、対応する命令を実行する。
ＲＡＭ９４は、ＣＰＵ９２によって実行され、機器９がオンにされた後でアップロードされるプログラム、レジスタ内の入力データ、レジスタ内の本方法の様々な状態の中間データ、及びレジスタ内の本方法の実行に使用される他の変数をレジスタ内に含む。
本明細書に記載した実装形態は、例えば方法若しくはプロセス、機器、コンピュータプログラム製品、データストリーム、又は信号によって実装され得る。単一形式の実装形態の脈絡でしか論じられていなくても（例えば方法又は装置としてしか論じられていなくても）、論じられた特徴の実装形態は他の形式（例えばプログラム）でも実装することができる。機器は、例えば適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は例えばプロセッサ等の機器によって実装することができ、プロセッサは例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理装置を含む処理装置全般を指す。プロセッサは、例えばコンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、及びエンドユーザ間の情報の通信を助ける他の装置等の通信装置も含む。
３Ｄシーンの点（例えば点群の点）及び関連するデータ／属性（例えば点の深度及びテクスチャ）が情報源から得られる。例えば情報源は、
−ローカルメモリ（９３又は９４）、例えばビデオメモリ又はＲＡＭ（即ちランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（即ち読取専用メモリ）、ハードディスク、
−記憶域インタフェース（９５）、例えば大容量記憶域、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、又は磁気支持とのインタフェース、
−通信インタフェース（９６）、例えば有線インタフェース（例えばバスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）又は無線インタフェース（IEEE 802.11インタフェース又はBluetooth（登録商標）インタフェース等）、及び
−ユーザがデータを入力することを可能にするグラフィカルユーザインタフェース等のユーザインタフェース
を含む組に属する。
復号／レンダリング又は復号器／レンダラの例によれば、復号済みの点又は再構築済みの３Ｄシーンが宛先に送信され、とりわけその宛先は、
−ローカルメモリ（９３又は９４）、例えばビデオメモリ又はＲＡＭ、フラッシュメモリ、ハードディスク、
−記憶域インタフェース（９５）、例えば大容量記憶域、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、又は磁気支持とのインタフェース、及び
−通信インタフェース（９６）、例えば有線インタフェース（例えばバスインタフェース（例えばＵＳＢ（即ちユニバーサルシリアルバス））、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース、ＨＤＭＩ（高精細度マルチメディアインタフェース）インタフェース）又は無線インタフェース（IEEE 802.11インタフェース、WiFi（登録商標）インタフェース、又はBluetooth（登録商標）インタフェース等）
を含む組に属する。
例によれば、機器９は図６から図８の少なくとも１つに関して説明した方法を実装するように構成され、
−モバイル装置、
−通信装置、
−ゲーム機、
−タブレット（又はタブレットコンピュータ）、
−ラップトップ、
−静止画像カメラ、
−ビデオカメラ、
−符号化チップ、
−サーバ（例えばブロードキャストサーバ、ビデオオンデマンドサーバ、又はウェブサーバ）、
−セットトップボックス、
−ＴＶセット、及び
−ディスプレイ（例えばＨＭＤ等）
を含む組に属する。
図１０は、本原理の特定の及び非限定的な実施形態による、３Ｄシーン、例えば点群１０３の符号化／復号スキームの図を概略的に示す。
点群１０３は、モジュールＭ１０１内で実施される符号化プロセス１０１により、ビットストリーム１０４の形で符号化データへと符号化される。このビットストリームは、復号済みの点群１０５を得るために符号化データを復号するための復号プロセス１０２を実施するモジュールＭ１０２に伝送される。モジュールＭ１０１及びＭ１０２はハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせであり得る。
点群１０３はオブジェクト、例えばオブジェクトの外面又は外部形状を表す点の大きな集合に相当する。点群はベクトルベースの構造として見ることができ、各点はその座標（例えば三次元座標ＸＹＺ又は所与の視点からの深度／距離）と、１つ又は複数の成分とを有する。成分の一例は様々な色空間、例えばＲＧＢ（赤色、緑色、及び青色）又はＹＵＶ（Ｙは輝度成分でありＵＶは２つのクロミナンス成分である）内で表すことができる色成分である。点群は、１つ又は複数の視点から見たオブジェクトの表現であり得る。点群は様々なやり方、例えば
・深度アクティブ検知装置によって任意選択的に補完される１つ又は複数のカメラによって撮像された現実オブジェクトの捕捉から、
・モデリングツール内の１つ又は複数の仮想カメラによって撮像された仮想／合成オブジェクトの捕捉から、
・現実オブジェクト及び仮想オブジェクトの両方の混合から
得ることができる。
点群１０３は時間と共に進化する動的な点群とすることができ、即ち点の数は時間と共に変化する可能性があり、及び／又は１つ又は複数の点の位置（例えば座標Ｘ、Ｙ、及びＺの少なくとも１つ）が経時変化し得る。点群の進化は、点群によって表されるオブジェクトの動き及び／又はオブジェクト若しくはオブジェクトの一部の任意の形状変化に対応し得る。
点群１０３は、ピクチャ内で又は時間的に連続したピクチャの１つ又は複数のグループ内で表すことができ、各ピクチャは決定された時点「ｔ」における点群の表現を含む。時間的に連続したピクチャの１つ又は複数のグループは、点群１０３の少なくとも一部を表すビデオを形成することができる。
符号化プロセス１０１は、例えばイントラピクチャコード化及び／又はインタピクチャコード化を実施することができる。イントラピクチャコード化は、効果的なデルタコーディングのために既にコード化されたピクセルから外挿によって予測値を計算することにより、空間的冗長性、即ち１つのピクチャ内のピクセル間の相関を活用するイントラピクチャ予測に基づく。インタピクチャコード化は、時間的冗長性を活用するインタピクチャ予測に基づく。時間的に独立にコード化される所謂イントラピクチャ「Ｉ」は、イントラコード化だけを使用する。時間的にコード化される予測ピクチャ「Ｐ」（又は「Ｂ」）はイントラピクチャ予測及びインタピクチャ予測を使用することができる。
符号化プロセスによって符号化されたデータを復号するために、復号プロセス１０２は、例えば符号化プロセス１０１の逆の操作に相当し得る。
図１１は、データがパケットベースの伝送プロトコル上で伝送されるとき、例えば２つの遠隔装置間で伝送される信号の構文の一例を示す。各伝送パケットＰは、ヘッダＨ及びペイロードデータＰＡＹＬＯＡＤを含む。
実施形態によれば、ペイロードＰＡＹＬＯＡＤは以下の要素の少なくとも１つを含み得る：
−決定された時点ｔにおける点群を表す少なくとも１つのピクチャを表すビット。例えばこのビットは少なくとも１つのピクチャのピクセルに関連するテクスチャ情報及び／又は深度情報を表し得る。
−投影情報データ及び投影と少なくとも１つのピクチャの画像との間のマッピングを表すビット。
図１２は、本原理の特定の及び非限定的な実施形態による、３Ｄシーン、例えば点群１０３を符号化するための操作を示す。この操作は符号化プロセス１０１の一部とすることができ、図９の機器９によって実施され得る。
操作１２０で、点群のピクチャ２０のデータを符号器ＥＮＣ１によって符号化する。ピクチャ２０は例えばピクチャ群（ＧＯＰ）の一部であり、決定された時点「ｔ」における点群を表すデータを含む。ピクチャ２０は１組の画像を含むことができ、その組の画像の少なくとも１つはピクチャ２０のデータの少なくとも一部に対応する属性を含む。属性は、各画像内の点群の一部を決定済みの投影に従って投影することによって得ることができ、属性は前述の各画像上に投影される点群の一部の点の属性に対応する。属性は、テクスチャ（又は色）情報及び／又は深度（又は視点までの距離）情報に対応し得る。符号器ＥＮＣ１は、例えば以下のような旧来型の符号器に準拠する：
・ＪＰＥＧ仕様 ＩＳＯ／ＣＥＩ １０９１８−１ ＵＩＴ−Ｔ勧告Ｔ．８１、https://www.itu.int/rec/T-REC-T.81/en
・ＭＰＥＧ−４ ＡＶＣ又はｈ２６４とも名付けられているＡＶＣ。ＵＩＴ−Ｔ Ｈ．２６４及びＩＳＯ／ＣＥＩ ＭＰＥＧ−４ Ｐａｒｔ１０（ＩＳＯ／ＣＥＩ １４４９６−１０）の両方の中で規定されている。http://www.itu.int/rec/T-REC-H.264/en
・ＨＥＶＣ（その仕様はＩＴＵのウェブサイト、Ｔ勧告Ｈシリーズｈ２６５で見つかる。http://www.itu.int/rec/T-REC-H.265-201612-l/en）又は
・３Ｄ−ＨＥＶＣ（その仕様がＩＴＵのウェブサイト、Ｔ勧告Ｈシリーズｈ２６５で見つかるＨＥＶＣの拡張。http://www.itu.int/rec/T-REC-H.265-201612-l/en付録Ｇ及びＩ）
ピクチャ２０の符号化データは記憶し及び／又はビットストリーム１０４内で伝送することができる。
操作１２１で、ピクチャ２０の符号化データを復号器ＤＥＣ１によって復号する。復号器ＤＥＣ１は符号器ＥＮＣ１に準拠し、例えば
・ＪＰＥＧ、
・ＭＰＥＧ−４ ＡＶＣ又はｈ２６４とも名付けられているＡＶＣ
・ＨＥＶＣ、又は
・３Ｄ−ＨＥＶＣ（ＨＥＶＣの拡張）
等の旧来型の復号器に準拠する。
ピクチャ２０に関連する参照ピクチャ１２５を生成する際に使用するために、操作１２０で符号化した属性を操作１２１で復号及び取得し、例えばバッファメモリ内に記憶する。
モジュールＭ１２２が実施する操作１２２で、例えば符号化プロセス１２０／復号プロセス１２１から生じ得る疑わしい点の属性を修正／訂正するために、各画像を図６、図７、及び／又は図８に関して記載したように処理する。
参照ピクチャ１２５は、モジュールＭ１２２から得られる訂正済みの画像から得ることができる。
参照ピクチャ１２５は、モジュールＭ１２４が実施する操作１２４内で使用することができる。操作１２４は、例えばピクチャ２０と異なる点群の１つ又は複数のピクチャ（例えばピクチャ２０の時点「ｔ」と異なる決定された時点における点群のピクチャ）をコード化するためのインタ予測用の予測子を生成することを含む。次いで参照ピクチャ１２５を参照することにより、点群１０３又は点群を表すピクチャを符号化することができる。改変形態によれば、モジュールＭ１２４が符号器ＥＮＣ１の一部である。
当然ながら、参照ピクチャ１２５と同じやり方で複数の参照ピクチャを得ることができ、それらの複数のうちの各参照ピクチャは点群を表す特定のピクチャから得られ、点群１０３の符号化は１つ又は幾つかの参照ピクチャを参照する。
図１３は、本原理の特定の及び非限定的な実施形態による、ビットストリーム１０４から点群１０３の符号化バージョンを復号するための操作を示す。この操作は復号プロセス１０２の一部とすることができ、図９の機器９によって実施され得る。
操作１３１で、点群の１つ又は複数のピクチャ（例えば１つ又は複数のＧＯＰの又はintra periodのピクチャ）の符号化データを受信ビットストリーム１０４から復号器ＤＥＣ２によって復号する。ビットストリーム１０４は１つ又は複数のピクチャの符号化データを含む。各ピクチャは１組の画像を含み、その組の画像の少なくとも１つは符号化されているピクチャのデータの少なくとも一部に対応する属性を含む。属性は、それぞれの第１の画像内の点群の一部を第１の投影に従って投影することによって得ることができ、属性は前述のそれぞれの第１の画像上に投影される点群の一部の点の属性に対応する。属性は、テクスチャ（又は色）情報及び／又は深度（又は視点までの距離）情報に対応し得る。復号器ＤＥＣ２は図１２の復号器ＤＥＣ１に対応することができ、例えば
・ＪＰＥＧ、
・ＭＰＥＧ−４ ＡＶＣ又はＨ２６４とも名付けられているＡＶＣ
・ＨＥＶＣ、又は
・３Ｄ−ＨＥＶＣ（ＨＥＶＣの拡張）
等の旧来型の復号器に準拠する。
１つ又は複数の参照ピクチャ１３５を生成する際に使用するために、操作１３１で復号した属性を取得し、例えばバッファメモリ内に記憶し、各参照ピクチャは１つのピクチャに関連する。以下、明瞭にするために及び簡潔にする目的で１つのピクチャに関連する１つの参照ピクチャだけを検討する。
（図１２のモジュールＭ１２２と同一であり得る）モジュールＭ１３２が実施する操作１３２で、例えば符号化プロセス１２０／復号プロセス１３１から生じ得る疑わしい点の属性を修正／訂正するために、復号済みの属性を図６、図７、及び／又は図８に関して記載したように処理する。
（図１２の参照ピクチャ１２５と同一であり得る）参照ピクチャ１３５は、操作１２１で得た復号済みの第１の属性を操作１２３で得た第２の属性と融合することによってピクチャから得ることができる。参照ピクチャはピクチャと同じ構造、即ち１組の画像の同じ空間的配置を含むことができるが、異なるデータ、即ち復号済みの第１の属性及び取得済みの第２の属性を伴う。参照ピクチャを得るためのプロセスの一例の詳細な説明は図９の説明によって上記で行った。
参照ピクチャ１３５は、モジュールＭ１３４が実施する操作１３４内で使用することができる。操作１３４は、例えばビットストリーム内に含まれる符号化データを復号することにより、インタ予測用の予測子を生成することを含む。予測子を生成することに関連するこれらのデータは、
−予測の種類、例えば予測モードがイントラかインタかを示すフラグ、
−動きベクトル、及び／又は
−参照ピクチャのリストからの或る参照ピクチャを示すためのインデックス
を含み得る。
当然ながら、参照ピクチャ１３５と同じやり方で複数の参照ピクチャを得ることができ、それらの複数のうちの各参照ピクチャは点群を表す特定のピクチャの復号済みのデータから得られ、ビットストリーム１０４のデータの復号は復号済みの点群１０５を得るための１つ又は幾つかの参照ピクチャに基づくことができる。
当然ながら本明細書は先に記載した実施形態に限定されない。
本明細書は点群を符号化及び／又は復号する方法に限定されず、点群を符号化することによって得られるビットストリームを伝送するための方法及び装置、及び／又は点群を符号化することによって得られるビットストリームを受信するための方法及び装置にも及ぶ。本明細書は、復号済みの点群、即ち復号済みの点群によって表される３Ｄオブジェクトの画像をレンダリング及び／又は表示するための方法及び装置にも及び、各画像には視点が関連する。
本明細書に記載した実装形態は、例えば方法若しくはプロセス、機器、ソフトウェアプログラム、データストリーム、又は信号によって実装され得る。単一形式の実装形態の脈絡でしか論じられていなくても（例えば方法又は装置としてしか論じられていなくても）、論じられた特徴の実装形態は他の形式（例えばプログラム）でも実装することができる。機器は、例えば適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は例えばプロセッサ等の機器によって実装することができ、プロセッサは例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理装置を含む処理装置全般を指す。プロセッサは、例えばスマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、及びエンドユーザ間の情報の通信を助ける他の装置等の通信装置も含む。
本明細書に記載した様々なプロセス及び特徴の実装形態は、多岐にわたる異なる機器又は応用、とりわけ例えばデータの符号化、データの復号、ビュー生成、テクスチャ処理、並びに画像及び関係するテクスチャ情報及び／又は深度情報の他の処理に関連する機器又は応用によって具体化することができる。かかる機器の例は、符号器、復号器、復号器からの出力を処理する後処理系、符号器に入力を与える前処理系、ビデオ符号器、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、ＨＭＤ（ヘッドマウントディスプレイ）、スマートグラス、及び他の通信装置を含む。明白であるように、機器は可搬式とすることができ、移動車両内に設置することさえできる。
加えて、これらの方法はプロセッサによって実行される命令によって実装されてもよく、かかる命令（及び／又は実装形態によって作り出されるデータ値）は例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えばデジタル多用途ディスク又はデジタルビデオディスクとしばしば呼ばれるＤＶＤ等）、ランダムアクセスメモリ（「ＲＡＭ」）、又は読取専用メモリ（「ＲＯＭ」）等、例えば集積回路、ソフトウェア担体、又は他の記憶装置等のプロセッサ可読媒体上に記憶され得る。命令は、プロセッサ可読媒体上で有形に具体化されるアプリケーションプログラムを形成し得る。命令は、例えばハードウェア、ファームウェア、ソフトウェア、又は組み合わせの中にあり得る。命令は、例えばオペレーティングシステム、別個のアプリケーション、又はその２つの組み合わせの中で見つけることができる。従ってプロセッサは、例えばプロセスを実行するように構成される装置及びプロセスを実行するための命令を有するプロセッサ可読媒体（記憶装置等）を含む装置の両方として特徴付けることができる。更にプロセッサ可読媒体は、実装形態によって作り出されるデータ値を命令に加えて又は命令の代わりに記憶し得る。
当業者に明らかなように、実装形態は例えば記憶され又は伝送され得る情報を運ぶようにフォーマットされる多岐にわたる信号を作り出し得る。かかる情報は、例えば方法を実行するための命令、又は記載した実装形態の１つによって作り出されるデータを含み得る。例えば信号は、記載した実施形態の構文を読み書きするための規則をデータとして運ぶように、又は記載した実施形態によって書かれる実際の構文値をデータとして運ぶようにフォーマットされ得る。かかる信号は、例えば電磁波として（例えばスペクトルの無線周波数部分を用いて）、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えばデータストリームを符号化し、符号化データストリームで担体を変調することを含み得る。信号が運ぶ情報は、例えばアナログ情報又はデジタル情報とすることができる。信号は、知られているように様々な異なる有線リンク又は無線リンク上で伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。
幾つかの実装形態を記載してきた。それでもなお、様々な修正が加えられ得ることが理解されよう。例えば、他の実装形態を作り出すために別の実装形態の要素が組み合わせられ、補われ、修正され、又は除去され得る。更に、開示した構造及びプロセスを他の構造及びプロセスが置換してもよく、その結果生じる実装形態が開示した実装形態と少なくともほぼ同じ結果を実現するために、少なくともほぼ同じ機能を少なくともほぼ同じやり方で実行することを当業者なら理解されよう。従って、これらの及び他の実装形態も本願によって予期される。

Claims (15)

  1. ３Ｄシーンの１つ又は複数の点の属性を修正する方法であって、前記属性は深度画像及びテクスチャ画像内にそれぞれ記憶される深度属性及びテクスチャ属性を含み、
    前記深度画像内の前記少なくとも第１の点の近傍に関連する深度情報に対して矛盾した深度情報を有する前記３Ｄシーンの少なくとも第１の点を識別すること、
    前記深度画像及び前記テクスチャ画像内の前記少なくとも第１の点の近傍を分析することにより、前記少なくとも第１の点の前記属性が訂正可能かどうかを判定すること、及び
    訂正可能な属性を有する第１の点ごとに、前記深度画像及び／又はテクスチャ画像内に記憶される前記属性を前記深度画像及び／又は前記テクスチャ画像内の前記近傍に応じて修正すること
    を含む、方法。
  2. 前記識別することは、前記少なくとも第１の点の前記近傍の第２の点と呼ばれるどの点が、前記少なくとも第１の点に対して第１の決定値を上回る深度差を有するのかを前記深度画像内で明らかにすることを含み、前記少なくとも第１の点は第２の点の数が第２の決定値を上回る場合に識別される、請求項１に記載の方法。
  3. 属性が訂正可能かどうかを前記判定することが、
    前記少なくとも第１の点の前記近傍の第３の点と呼ばれるどの点が、前記少なくとも第１の点に対して第３の決定値を下回る深度差を有するのかを前記深度画像内で明らかにすること、及び
    前記少なくとも第１の点の前記近傍の第４の点と呼ばれるどの点が、前記少なくとも第１の点の前記属性を修正するために使用可能かを前記テクスチャ画像内で明らかにすること
    を含み、
    前記属性は、第３の点の数が第５の決定値を上回る場合、及び第４の点の数が１以上である場合に訂正可能だと判定される、
    請求項１及び２の何れか一項に記載の方法。
  4. 前記第４の点を前記明らかにすることが、前記テクスチャ画像内の前記少なくとも第１の点の第４の点候補と呼ばれる前記近傍の前記点の中で、前記深度画像内の前記第４の点候補の前記近傍の第５の点と呼ばれるどの点が前記第４の点候補に対して第４の決定値を下回る深度差を有するのかを明らかにすることを含み、第４の点候補は第５の点の数が第６の決定値を上回る場合に第４の点になる、請求項３に記載の方法。
  5. 前記属性が前記少なくとも１つの第４の点の前記属性に基づいて修正される、請求項３及び４の何れか一項に記載の方法。
  6. 前記深度画像内の自らの近傍に関連する深度情報に対して矛盾した深度情報を有するものとして識別された前記３Ｄシーンの更なる点の属性を修正するために使用可能な属性を有する点のリストに、修正済みの属性を有する前記少なくとも第１の点を追加することを更に含む、請求項１乃至５の何れか一項に記載の方法。
  7. 前記深度画像及び前記テクスチャ画像が受信ビットストリームから復号される、請求項１乃至６の何れか一項に記載の方法。
  8. 前記３Ｄシーンの前記１つ又は複数の点が点群の一部である、請求項１乃至７の何れか一項に記載の方法。
  9. ３Ｄシーンの１つ又は複数の点の属性を修正するように構成される装置あって、前記属性は深度画像及びテクスチャ画像内にそれぞれ記憶される深度属性及びテクスチャ属性を含み、
    前記深度画像内の前記少なくとも第１の点の近傍に関連する深度情報に対して矛盾した深度情報を有する前記３Ｄシーンの少なくとも第１の点を識別すること、
    前記深度画像及び前記テクスチャ画像内の前記少なくとも第１の点の近傍を分析することにより、前記少なくとも第１の点の前記属性が訂正可能かどうかを判定すること、及び
    訂正可能な属性を有する第１の点ごとに、前記深度画像及び／又はテクスチャ画像内に記憶される前記属性を前記深度画像及び／又は前記テクスチャ画像内の前記近傍に応じて修正すること
    を行うように構成される少なくとも１つのプロセッサに関連するメモリ
    を含む、装置。
  10. 前記少なくとも１つのプロセッサは、前記少なくとも第１の点の前記近傍の第２の点と呼ばれるどの点が、前記少なくとも第１の点に対して第１の決定値を上回る深度差を有するのかを前記深度画像内で明らかにするように更に構成され、前記少なくとも第１の点は第２の点の数が第２の決定値を上回る場合に識別される、請求項９に記載の装置。
  11. 属性が訂正可能かどうかを判定するために、前記少なくとも１つのプロセッサが
    前記少なくとも第１の点の前記近傍の第３の点と呼ばれるどの点が、前記少なくとも第１の点に対して第３の決定値を下回る深度差を有するのかを前記深度画像内で明らかにすること、及び
    前記少なくとも第１の点の前記近傍の第４の点と呼ばれるどの点が、前記少なくとも第１の点の前記属性を修正するために使用可能かを前記テクスチャ画像内で明らかにすること
    を行うように更に構成され、
    前記属性は、第３の点の数が第５の決定値を上回る場合、及び第４の点の数が１以上である場合に訂正可能だと判定される、
    請求項９及び１０の何れか一項に記載の装置。
  12. 前記少なくとも１つのプロセッサは、前記テクスチャ画像内の前記少なくとも第１の点の第４の点候補と呼ばれる前記近傍の前記点の中で、前記深度画像内の前記第４の点候補の前記近傍の第５の点と呼ばれるどの点が前記第４の点候補に対して第４の決定値を下回る深度差を有するのかを明らかにするように更に構成され、第４の点候補は第５の点の数が第６の決定値を上回る場合に第４の点になる、請求項１１に記載の装置。
  13. 前記属性が前記少なくとも１つの第４の点の前記属性に基づいて修正される、請求項１１及び１２の何れか一項に記載の装置。
  14. 前記少なくとも１つのプロセッサが、前記深度画像内の自らの近傍に関連する深度情報に対して矛盾した深度情報を有するものとして識別された前記３Ｄシーンの更なる点の属性を修正するために使用可能な属性を有する点のリストに、修正済みの属性を有する前記少なくとも第１の点を追加するように更に構成される、請求項９乃至１３の何れか一項に記載の装置。
  15. 前記少なくとも１つのプロセッサが、受信ビットストリームから前記深度画像及び前記テクスチャ画像を復号するように更に構成される、請求項９乃至１４の何れか一項に記載の装置。
JP2020515188A 2017-09-29 2018-09-27 ３ｄシーンの点の属性を修正するための方法及び装置 Pending JP2020536300A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306302.5A EP3462415A1 (en) 2017-09-29 2017-09-29 Method and device for modifying attributes of points of a 3d scene
EP17306302.5 2017-09-29
PCT/US2018/053073 WO2019067687A1 (en) 2017-09-29 2018-09-27 METHOD AND DEVICE FOR MODIFYING POINT ATTRIBUTES OF A 3D SCENE

Publications (1)

Publication Number Publication Date
JP2020536300A true JP2020536300A (ja) 2020-12-10

Family

ID=60119964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020515188A Pending JP2020536300A (ja) 2017-09-29 2018-09-27 ３ｄシーンの点の属性を修正するための方法及び装置

Country Status (6)

Country Link
US (1) US20200273258A1 (ja)
EP (2) EP3462415A1 (ja)
JP (1) JP2020536300A (ja)
CN (1) CN111213182A (ja)
RU (1) RU2020114757A (ja)
WO (1) WO2019067687A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190398A1 (ja) * 2021-03-09 2022-09-15 株式会社Mawari ３ｄオブジェクトのストリーミング方法、装置、及びプログラム

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) * 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
CN114331915B (zh) * 2022-03-07 2022-08-05 荣耀终端有限公司 图像处理方法及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270752B2 (en) * 2009-03-17 2012-09-18 Mitsubishi Electric Research Laboratories, Inc. Depth reconstruction filter for depth coding videos
EP2538242B1 (en) * 2011-06-24 2014-07-02 Softkinetic Software Depth measurement quality enhancement.
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
CN105096259B (zh) * 2014-05-09 2018-01-09 株式会社理光 深度图像的深度值恢复方法和系统
US9626810B2 (en) * 2015-08-25 2017-04-18 Hyundai Motor Company Method for providing telematics service
US9818232B2 (en) * 2015-08-26 2017-11-14 Adobe Systems Incorporated Color-based depth smoothing of scanned 3D model to enhance geometry in 3D printing

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190398A1 (ja) * 2021-03-09 2022-09-15 株式会社Mawari ３ｄオブジェクトのストリーミング方法、装置、及びプログラム
WO2022191200A1 (ja) * 2021-03-09 2022-09-15 株式会社Mawari ３ｄオブジェクトに関するユーザ入力の解析方法、装置、及びプログラム
WO2022191070A1 (ja) * 2021-03-09 2022-09-15 株式会社Mawari ３ｄオブジェクトのストリーミング方法、装置、及びプログラム
JP2022137826A (ja) * 2021-03-09 2022-09-22 株式会社Mawari ３ｄオブジェクトのストリーミング方法、装置、及びプログラム
JP7430411B2 (ja) 2021-03-09 2024-02-13 マワリ コーポレーション ３ｄオブジェクトのストリーミング方法、装置、及びプログラム

Also Published As

Publication number Publication date
CN111213182A (zh) 2020-05-29
WO2019067687A1 (en) 2019-04-04
US20200273258A1 (en) 2020-08-27
EP3462415A1 (en) 2019-04-03
RU2020114757A (ru) 2021-10-29
EP3688722A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
JP2020536300A (ja) ３ｄシーンの点の属性を修正するための方法及び装置
CN112219398B (zh) 用于深度编码和解码的方法和装置
US20190108655A1 (en) Method and apparatus for encoding a point cloud representing three-dimensional objects
US11830210B2 (en) Method and device for generating points of a 3D scene
CN111433821B (zh) 用于重建表示3d对象的点云的方法和装置
US10931956B2 (en) Methods for MR-DIBR disparity map merging and disparity threshold determination
KR20200024219A (ko) 3ｄ 객체의 기하구조 및 컬러들을 표현하는 컬러화된 포인트 클라우드를 인코딩/디코딩하기 위한 방법 및 장치
US11019363B2 (en) Method and device for encoding a point cloud
US20200302652A1 (en) A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
US20210166435A1 (en) Method and apparatus for encoding/decoding the geometry of a point cloud representing a 3d object
EP3429206A1 (en) Method and device for encoding a point cloud
WO2022023002A1 (en) Methods and apparatus for encoding and decoding a 3d mesh as a volumetric content
CN114051734A (zh) 一种解码三维场景的方法和装置
US20200296427A1 (en) A method and apparatus for encoding/decoding the colors of a point cloud representing a 3d object
KR20210031456A (ko) 포인트 클라우드의 포인트들의 텍스처를 인코딩/디코딩하기 위한 방법
RU2788439C2 (ru) Способ и устройство для генерации точек трехмерной (3d) сцены
WO2024093215A1 (en) Encoding/decoding point cloud geometry data
WO2023179277A1 (en) Encoding/decoding positions of points of a point cloud encompassed in a cuboid volume
WO2023179279A1 (en) Encoding/decoding positions of points of a point cloud emcompassed in a cuboid volume
WO2024066306A1 (en) Encoding/decoding positions of points of a point cloud comprised in cuboid volumes