JP2018198421A - 二次元ポイントクラウドを符号化および復号する方法および装置 - Google Patents

Abstract

【課題】二次元ポイントクラウドを表すデータを格納、圧縮および送信するための符号化および復号方法を提供する。【解決手段】フレームとしてのポイントクラウド３０を符号化する際、大多数の画素は使用されない。高密度マッピング演算子２１は、画素の使用を最適化するが、ストリームにおいて多くのデータの符号化を必要とし、その逆演算子は演算が難しい。本原理によれば、簡易マッピング演算子は、高密度マッピング演算子に従って生成され、かつ展開グリッドを表す二次元座標の行列として格納され、ストリームにおいて小さい空間を必要とする。逆演算子は、展開グリッドによる生成が簡単である。【選択図】図３

Description

本開示は、特にポイントクラウドが密集部分および空隙部分を含む場合に、画素のフレームとしての二次元ポイントクラウドを表すデータを符号化および復号する領域に関する。

フレームは、値（例えば、カラー値または深度値）を含む画素のアレイである。フレームは、画像を表すために使用することができ、この場合、すべての画素が意味のある値に設定される。また、フレームは、他の種類のデータ（例えば、二次元ポイントクラウド）を符号化するために使用することもできる。二次元ポイントクラウドは、例えば、色または深度情報など、値と関連付けられた二次元座標の集合である。ポイントの座標は、フレームの基準のフレームにおいて表現される。二次元ポイントクラウドは、表面へのｎ次元ポイントクラウド（ここで、ｎは２より大きい）の投影の結果であり得る。

この場合、画素は、ポイントを含み、意味のある値（例えば、色または深度）が与えられるものもあれば、ポイントを含まず、値が全く与えられないものもある。そのような画像を符号化するため、デフォルト値は、未使用の画素に帰するものである。デフォルト値は、意味のある値の範囲から除外されなければならない。加えて、フレームはラスタライズされた表面であるため、２つの近接ポイントは、同じ画素において符号化しなければならない可能性がある。これにより、もはや単一の情報からこれらの２つのポイントを区別することができないため、復号側において問題が生じる。この問題は、１つの未使用の画素を使用して２つのポイントの１つを符号化することにより、従って単一の画素においてそれらの値を混合しないことにより解決することができる。次いで、ポイントのオリジナルの座標を取り戻す上で問題が生じる。

未使用の画素を含むフレームにおける画素の使用を最適化するための様々な技法が存在する。例えば、グリッド生成アルゴリズムは、フレーム上で二次元ポイントクラウドのポイントをより良好に拡散させるためにマッピング演算子を生成する。原理は、投影されたポイントクラウドの密集部分を拡げ、かつ投影されたポイントクラウドの空隙部分を引き締めることにより、可能な限り別個の画素において別個のポイントを符号化することを含む。マッピング演算子は、関数でない場合が多く（より複雑なアルゴリズムであり）、可逆でない場合がある。そのようなマッピング演算子は、パラメータ化関数ではなく複雑なアルゴリズムであるため、ストリームにおいて大きい空間を符号化する必要がある。加えて、復号側では、オリジナルのポイントクラウドを取り戻すために、マッピング演算子の逆演算子を演算する必要がある。そのような逆演算子の演算は、可能であっても多大な時間および資源を要する。実際に、見出されたマッピング最適化解決法のいくつかは、逆演算子を有さない。ストリーム内において、逆マッピング演算子が効率的に埋め込まれた、フレーム上で拡散したポイントクラウドを最適化するための技術的解決法が欠如している。

本開示の態様は、フレームとしての二次元ポイントクラウドを格納、圧縮および送信するための符号化および復号方法の欠如を克服することに関与する。

本開示の別の態様は、ビットストリームから二次元ポイントクラウドを復号する方法に関する。方法は、
− ビットストリームから、画素のフレームと、展開グリッドを表すデータとを得ることであって、データは、フレームと関連付けられている、得ることと、
− 前記展開グリッドに従って逆マッピング演算子を決定することと、
− 逆マッピング演算子をフレームに適用することにより、ポイントクラウドを復号することと
を含む。

実施形態では、逆マッピング演算子は、展開グリッドでパラメータ化された区分双線形補間子であり得る。

別の態様によれば、展開グリッドは、ビットストリームにおいてフレームの群と関連付けられ得、方法は、フレームの群のフレームを、前記展開グリッドに従って決定された逆マッピング演算子をその群のフレームに適用することによって復号することをさらに含む。

また、本開示は、ビットストリームにおいて二次元ポイントクラウドを符号化する方法にも関する。方法は、
− 高密度マッピング演算子に従って規則的なグリッドをマッピングすることにより、展開グリッドを生成することと、
− マッピング演算子をポイントクラウドに適用することによって画素のフレームを生成することであって、前記マッピング演算子は、展開グリッドに従って決定される、生成することと、
− ビットストリームにおいて前記展開グリッドを表すデータと関連付けられた前記フレームを符号化することにより、ビットストリームを生成することと
を含む。

方法は、「未使用の」画素の数を最小化し、かつ情報画素の数を最大化するために、フレーム上のポイントの分布を最適化する演算子を生成する。方法の利点は、ビットストリームにおけるマッピング演算子の符号化に必要なデータのサイズが小さく、かつ演算子および復号におけるその逆演算子の演算に必要な処理資源が少ないことに関係し得る。

実施形態では、マッピング演算子は、展開グリッドでパラメータ化された区分双線形補間子である。

態様によれば、高密度マッピング演算子は、ポイントクラウドの群に対して決定され、方法は、ポイントクラウドの群の各ポイントクラウドに対してフレームを生成することと、ビットストリームにおいて展開グリッドを生成されたフレームの群と関連付けることとをさらに含む。

実施形態では、二次元ポイントクラウドは、表面へのｎ次元ポイントクラウドの投影であり得、ｎは、２より大きい。

また、本開示は、少なくとも１つのプロセッサと関連付けられたメモリを含むデバイスであって、少なくとも１つのプロセッサは、
− ビットストリームから、画素のフレームと、展開グリッドを表すデータとを得ることであって、前記データは、前記フレームと関連付けられている、得ることと、
− 展開グリッドに従って逆マッピング演算子を決定することと、
− 逆マッピング演算子をフレームに適用することにより、ポイントクラウドを復号することと
を行うように構成されている、デバイスにも関する。

実施形態では、逆マッピング演算子は、展開グリッドでパラメータ化された区分双線形補間子を含む。

別の態様によれば、展開グリッドは、ビットストリームにおいてフレームの群と関連付けられ得、少なくとも１つのプロセッサは、フレームの群のフレームを、展開グリッドに従って決定された逆マッピング演算子をそのフレームに適用することによって復号するようにさらに構成され得る。

また、本開示は、少なくとも１つのプロセッサと関連付けられたメモリを含むデバイスであって、少なくとも１つのプロセッサは、
− 高密度マッピング演算子に従って規則的なグリッドをマッピングすることにより、展開グリッドを生成することと、
− マッピング演算子を二次元ポイントクラウドに適用することによって画素のフレームを生成することであって、マッピング演算子は、展開グリッドに従って決定される、生成することと、
− ビットストリームにおいて展開グリッドを表すデータと関連付けられたフレームを符号化することにより、ビットストリームを生成することと
を行うように構成されている、デバイスにも関する。

実施形態では、マッピング演算子は、展開グリッドでパラメータ化された区分双線形補間子を含む。

別の態様によれば、高密度マッピング演算子は、ポイントクラウドの群に対して決定され得、少なくとも１つのプロセッサは、前記ポイントクラウドの群の各ポイントクラウドに対してフレームを生成することと、ビットストリームにおいて前記展開グリッドを生成されたフレームの群と関連付けることとを行うようにさらに構成され得る。

実施形態では、二次元ポイントクラウドは、表面へのｎ次元ポイントクラウドの投影であり得、ｎは、２より大きい。

また、本開示は、二次元ポイントクラウドを表すデータを保持するストリームであって、データは、
− 高密度マッピング演算子に従って規則的なグリッドをマッピングすることによって生成された展開グリッドに対する第１のシンタックス要素と、
− マッピング演算子を二次元ポイントクラウドに適用することによって生成された画素の少なくとも１つのフレームに対する第２のシンタックス要素であって、マッピング演算子は、展開グリッドに従って決定される、第２のシンタックス要素と
を含み、
展開グリッドは、前記少なくとも１つのフレームと関連付けられ得る、ストリームにも関する。

添付の図面を参照する以下の説明を読みことで、本開示がよりよく理解され、他の具体的な特徴および利点が明らかになるであろう。

本原理の実施形態による、ラスタライズされたフレームにおいてポイントクラウドを符号化するためのマッピング演算子を示す。 本原理の実施形態による、非直交方法で図１のポイントクラウドのポイントをフレームにマッピングする高密度マッピング演算子（ＤＭＯ）を示す。 本原理による、図２の高密度マッピング演算子からの簡易マッピング演算子（ＳＭＯ）の計算を概略的に示す。 実施形態による、図３で説明されるようなＳＭＯを使用した長方形のフレーム上における図１のポイントクラウドの符号化を概略的に示す。 実施形態による、図４のフレームおよび図３のデータにそれぞれ対応するデータと関連付けられたフレームからのポイントクラウドの復号を概略的に示す。 本原理に従ってどのように双線形区分補間を使用することができるかを示す。 本原理の非限定的な実施形態による、二次元ポイントクラウドを符号化する方法を示す。 本原理の実施形態による、フレームと、二次元展開グリッドを表すデータとを含むストリームから二次元ポイントクラウドを復号する方法を示す。 本原理の実施形態による、図７および／または８に関連して説明される方法を実装するように構成され得るデバイスの例示的なアーキテクチャを示す。 本原理の実施形態による、通信ネットワーク上での図９の２つのリモートデバイス間の図３、４および５のフレームおよびデータの送信の例を示す。 本原理の実施形態による、データがパケットベースの送信プロトコル上で送信される際のそのようなストリームの構文の実施形態の例を示す。

ここで、図面を参照して主題について説明し、同様の参照番号は、全体を通じて同様の要素を指すために使用される。以下の説明では、説明の目的で、主題の完全な理解を提供するために、多くの具体的な詳細を記載する。主題の実施形態は、これらの具体的な詳細がなくとも実践できることが理解される。

本開示の非限定的な実施形態によれば、本明細書では、二次元ポイントクラウドを符号化、送信および復号する方法およびデバイスが開示される。

二次元ポイントクラウドは、基準のフレームで表現され、かつ値（例えば、色または深度）と関連付けられた二次元座標の集合である。二次元ポイントクラウドは、表面へのｎ次元ポイントクラウド（ここで、ｎは２より大きい）の投影の結果であり得る。二次元ポイントクラウドは、基準のフレームにマッピングされたラスタライズされたフレーム（すなわち、画素のアレイ）において符号化することができる。ポイントクラウドのすべてのポイントは、１つの画素にマッピングされる。数個のポイントは、単一の画素にマッピングすることができる。２つ以上のポイントが単一の画素にマッピングされる場合、それらの関連情報は組み合わされる（例えば、平均される）。所定の画素に対し、ポイントがマッピングされない場合、この画素は、「未使用の」値に設定される。色または深度画素は「未使用の」値を埋め込むことを意図していないため、当技術分野では、画素にブール値（「未使用」／「使用」）が埋め込まれ、未使用の画素にはデフォルト値が与えられる追加のフレームを作成することはよく見られることである。そのようなフレームは「キーフレーム」（またはキー画像）と呼ばれる。キーフレームは、意味のある画素と未使用の画素とを区別するためのマスクとして使用される。キー画像における小さい誤差は、復号済みの画像における大きい誤差をもたらす可能性があるため、キーフレームは、通常、圧縮されないかまたはロスレス圧縮される。数個の情報フレーム（例えば、色フレームおよび深度フレーム）に対して同じキーフレームを使用することができる。情報フレームとキーフレームとは、両方ともストリームにおいて符号化され、共に送信される。変形形態では、情報フレームおよびキーフレームは別々に送信される。

図１は、ラスタライズされたフレームにおいてポイントクラウドを符号化するための通常のマッピング演算子を示す。ポイントクラウド１０の各ポイントは、空間と関連付けられた基準のフレームにおける座標を有し、少なくとも１つの情報（例えば、深度または色）を埋め込む。マッピング演算子１１は、各ポイントをフレーム１２の画素にマッピングするために使用される。フレーム１２は、幅（すなわち、画素列の数）および高さ（すなわち、画素行の数）を有する。恒等マッピング演算子１１（ＩＭＯ）は、フレーム１２の幅および高さによるポイントクラウド１０のポイントの座標を表現する。恒等マッピング演算子１１は、［ｕ_ｍｉｎ，ｕ_ｍａｘ］×［ｖ_ｍｉｎ，ｖ_ｍａｘ］に属する座標（ｕ，ｖ）を有するポイントを、［０，Ｗ−１］×［０，Ｈ−１］に属する対応する画素（ｉ，ｊ）と関連付け、ここで、ＷおよびＨはそれぞれフレーム１２の幅および高さを表す。

マッピング演算子１１の一般的な形態は、以下によって得ることができる。

式中、Ｍ_０は、正規化マッピング演算子であり、Ｍ_０＝ＩＭＯ １１の場合には恒等関数である。そのような演算子は、演算が直接的かつ簡単な逆演算子で実装が簡単であるという利点を有する。この演算子は、最先端技術においてデフォルトマッピング演算子および逆マッピング演算子として使用されるため、ストリームにおいて符号化する必要はない。ＩＭＯ １１は、フレーム１２の画素１３にポイント情報を格納する。ポイントクラウドの密集部分では、２つ以上のポイントが同じ画素にマッピングされる可能性が極めて高い。次いで、それぞれの関連値を組み合わせて独自の（例えば、平均）値が得られる。フレーム画素の大部分１４は、「未使用の」値に設定される。このエリア１４は、不要である一方、ＩＭＯ １１によって組み合わされて同じ画素にされた別個のポイントの情報を格納するために使用することができる。

図２は、非直交方法で図１のポイントクラウド１０のポイントをフレーム２２にマッピングする高密度マッピング演算子２１（ＤＭＯ）を示す。ＤＭＯ ２１は、クラウドにおけるポイントの局所密度に従って異なる方法でフレームにポイントをマッピングする演算子である。そのような演算子は、「未使用の」画素の数を最小化し、かつ情報画素の数を最大化するために、フレーム上のポイントの分布を最適化する。この技術的効果は図２に示されている。フレーム２２の有用な部分１３は、図１のフレーム１２の有用な部分より広く、フレーム２２の「未使用の」部分１４は、フレーム１２の「未使用の」部分１４より小さい。技法は、そのような高密度マッピング演算子２１を演算するため、および適応ワーピングを実行するために存在する。これらの技法の中では、グリッド生成アルゴリズムのカテゴリ（例えば、“A Practical Guide to Direct Optimization for Planar Grid-Generation”, J.E. CASTILLO, J.S. OTTOのような）は、そのような演算子が有するべきいくつかの主要な特性を保証するという利点を有する。具体的には、グリッド生成アルゴリズムは、フレーム空間におけるポイントクラウド空間の展開投影を生成するように選択しなければならない。それは、例えば双線形区分補間子として、簡易マッピング演算子の演算を可能にするために選択された高密度マッピング演算子の必要な特性である。

最適化された高密度マッピング演算子２１は、１つのフレームまたは一続きのフレーム（映像圧縮規格のピクチャ群（ＧＯＰ）など）に対して計算することができる。そのようなＤＭＯの演算は、多大な時間および資源を要する。また、逆演算子の演算も複雑である。いくつかの場合、逆演算子は、数学的に定義することさえできない。いずれの場合にも、そのようなアルゴリズムの符号化は、ロスレス圧縮されたもの（または全く圧縮されていないもの）でなければならない多くのパラメータを必要とするであろう。ＤＭＯの符号化またはその逆演算子のＤＭＯ^−１の符号化をフレームまたはＧＯＰと関連付けることは効率的でないであろう。１つの画像または一続きの画像に対して最適化されたＤＭＯの演算は、本開示の範囲外である。ＤＭＯは、１つのポイントクラウドまたはポイントクラウドの群に対して最適であるように演算される。符号化用のポイントクラウドが異なれば、ＤＭＯ ２１も異なり得る。フレーム２２へのポイントクラウド１０のマッピングは［方程式１］に従い、式中、Ｍ_０＝ＤＭＯ ２１である。

図３は、本原理による、高密度マッピング演算子２１からの簡易マッピング演算子３１の計算を概略的に示す。最初に、Ｋ^＊Ｌポイントの規則的なグリッド３０が設定される。図３では、グリッドのポイントは、単に見やすくするためにセグメントによってつながれる。グリッドは、ポイントクラウドの空間にわたって規則的に分布するポイントの集合である。これらのポイントの座標は、空間の基準のフレームにおいて規則的に分布する。これらのポイントと関連付けられる情報は、存在値（すなわち、ブール値）である。この規則的なポイントクラウド（それは、さらに「グリッド」と呼ばれる）３０は、図２のポイントクラウド（またはポイントクラウドの群）１０に対して演算されたＤＭＯ ２１を使用してフレーム３２にマッピングされる。その結果、グリッド３０のＫ^＊Ｌポイントは、フレーム３２の画素にマッピングされる。フレーム３２は、フレーム２２と同じサイズを有する。図３では、フレーム３２のポイントは、単に見やすくするためにセグメントによってつながれる。セグメントは、ＤＭＯ ２１などの高密度マッピング演算子の展開キー特徴を示す。ＤＭＯ ２１によるグリッド３０の投影の結果はグリッドである。すなわち、「マッピング済みのグリッドのセグメントは、マッピング済みのグリッドの別のセグメントと交差しない」と言える。グリッド３０のポイントは、ＤＭＯ ２１によるマッピング後も同じ構造的順番を維持する。グリッド３０の２つのポイントＡおよびＢは、画像３２の同じ画素に投影することができる。ＤＭＯ ２１がそのような状況をもたらす場合、それは、ポイントＡおよびＢの座標間（および／またはＡおよびＢの近隣の範囲内）の図２のポイントクラウド（またはポイントクラウドの群）１０にポイントがないという事実によるものである。

本原理によれば、このステップでは２つのオブジェクトが生成される。第１に、グリッド３０のマッピング済みのポイントのＫ^＊Ｌ座標がデータ３３に格納され、符号化される。データ３３は、二次元座標のＫ^＊Ｌ行列として符号化される。変形形態では、データ３３は、整数または浮動小数点数の２つのＫ^＊Ｌ行列として符号化される。変形形態では、Ｋ^＊Ｌ座標は、画像の幅および高さにおいて正規化され、データ３３に格納される。これらの行列は、例えばパラメータ化により、逆演算子を定義するために使用される。第２に、グリッド３２のポイント間の補間子として簡易マッピング演算子３１が演算される。例えば、補間子は、投影ポイント間の双線形区分補間子であり得る。変形形態では、補間子は、例えば、Fritsch, F. N., & Carlson, R. E. (1980)“Monotone piecewise cubic interpolation”; SIAM Journal on Numerical Analysis, 17(2), 238-246で説明されているような双三次区分補間子であり得る。別の変形形態では、補間子は、当業者によってよく知られているランチョス（Lanczos）フィルタであり得る。

図６に示される双線形区分補間は、画像処理の領域で当業者によってよく知られている技法である。ＩＭＯ １１によってマッピングされたポイントクラウド１０のポイントは、座標６０ａを有するであろう。この位置は、規則的なグリッド３０の４つのポイント６１ａ、６２ａ、６３ａおよび６４ａによって定義された長方形の基準のフレームにおいて表現することができる。この位置は、長方形に正規化される。例えば、座標６０ａは、セグメント［６１ａ−６２ａ］の長さのパーセンテージ６５（およびセグメント［６４ａ−６３ａ］の長さのパーセンテージ）に等しいｘ値と、セグメント［６１ａ−６４ａ］の長さのパーセンテージ６６（およびセグメント［６２ａ−６３ａ］の長さのパーセンテージ）に等しいｙ値とを有する。双線形区分補間は、ＤＭＯ ２１による規則的なグリッド３０の４つのポイント６１ａ、６２ａ、６３ａおよび６４ａのマッピングに対応するセグメントに従ってこれらのパーセンテージを維持する。座標６１ｂ、６２ｂ、６３ｂおよび６４ｂ（データ３３に格納される）は、ＤＭＯ ２１によるそれぞれの座標６１ａ、６２ａ、６３ａおよび６４ａのマッピングである。次いで、座標６０ａの双線形区分補間は６０ｂである。パーセンテージ値６５および６６は、この変換により、マッピング済みの基準のフレームにおいて、ｘ値の場合にはセグメント［６１ｂ−６２ｂ］および［６４ｂ−６３ｂ］上に、かつｙ値の場合にはセグメント［６１ｂ−６４ｂ］および［６２ｂ−６３ｂ］上にそれぞれ維持される。この演算子は、座標６１ｂ、６２ｂ、６３ｂおよび６４ｂによって決定するのが簡単であり、ポイントクラウドへのその適用により、演算が非常に速くなる。逆関数は、同じ原理に基づき、データ３３に格納された座標６１ｂ、６２ｂ、６３ｂおよび６４ｂによって決定するのが簡単であり、フレームへのその適用により、演算が非常に速くなる。さらに、区分双線形補間子は、場合により少数のならびに転送および格納が容易なノードポイントのサブリストによって完全に決定できるという利点を有する。

図４は、本原理の特定の実施形態による、図３で説明されるようなＳＭＯ ３１を使用した長方形のフレーム４２上におけるポイントクラウド１０の符号化を概略的に示す。ポイントクラウド１０のポイントの座標が図３のグリッド３０のポイントの１つに対応する場合、このポイントのマッピングは、データ３３に格納された展開グリッド３２の対応するポイントである。他の場合、ポイントクラウド１０のポイントの座標は、グリッド３０の「長方形」に属する。すなわち、座標は、グリッド３０の４つのポイント間に位置する。マッピングは、投影グリッド３２の対応する４つのポイント間の双線形区分補間である。ＳＭＯ ２１を使用したポイントクラウド１０の投影は、フレーム４２を生成し、有用な部分１３は、図１のフレーム１２の有用な部分より広く、「未使用の」部分１４は、フレーム１２の「未使用の」部分１４より小さい。ＳＭＯ ２１の適用は、［方程式１］に従い、式中、Ｍ_０＝ＳＭＯ ２１である。

フレーム４２は、符号化され、データ３３と関連付けられる。フレーム４２は、標準画像または映像圧縮アルゴリズムを使用して圧縮することができる。圧縮アルゴリズムは、ロスレスになるように選択することができる。変形形態では、キーマップは、フレーム４２に従って生成することができ、フレーム４２およびデータ３３と関連付けることができる。キーマップは、ブール値（例えば、０または１）を含むフレームであり、有用な画素は、所定の値（例えば、１）に設定され、不要な画素は、他の値（例えば、０）に設定される。通常、キーマップは、圧縮されないかまたはロスレス圧縮される。関連付けられた符号化済みのデータは、１つまたは複数のストリームとしてデコーダに送信される。変形形態では、関連付けられた符号化済みのデータは、ローカルメモリまたは記憶媒体上に格納される。

図５は、図４のフレーム４２および図３のデータ３３にそれぞれ対応するデータ５３と関連付けられたフレーム５２からのポイントクラウド５０の復号を概略的に示す。フレーム５２およびデータ５３は、供給源から得られる。本明細書では、フレームおよび／またはデータの取得は、供給源からデータを受信することまたは供給源上でデータを読み取ることとして理解しなければならない。例えば、供給源は、
− ローカルメモリ（例えば、ビデオメモリまたはＲＡＭ（もしくはランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（もしくは読み取り専用メモリ）、ハードディスク）、
− 記憶装置インタフェース（例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気サポートとのインタフェース）、および
− 通信インタフェース（例えば、有線インタフェース（例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）または無線インタフェース（ＩＥＥＥ８０２．１１インタフェースもしくはBluetooth（登録商標）インタフェースなど））
を含むセットに属する。

変形形態では、データ５３およびフレーム５２は、異なる供給源から得られる。データ５３は、図３を参照して説明されるように計算されたデータ３３に対応する。圧縮および送信は、図３を参照して説明されるものをわずかに変更したものであり得る。変形形態では、ロスレス圧縮方法が使用されており、安全な送信が保証され、データ５３はデータ３３と全く同じである。データ５３は、グリッド５４のＫ^＊Ｌポイントの座標を含む。変形形態では、データ３３は、符号化において正規化されている。この変形形態によれば、データ５３に含まれる座標は、正規化された空間において表現される。逆簡易マッピング演算子５１（ＳＭＯ^−１ ５１と呼ばれる）は、データ５３に従って（すなわち、対応する展開グリッド５４に従って）計算される。正規化された画素座標（ａ，ｂ）の場合、ＳＭＯ^−１（ａ，ｂ）の評価は、４つの近隣値：

間の双線形区分補間に行き着き、Ａ＝ｆｌｏｏｒ（Ｋａ）およびＢ＝ｆｌｏｏｒ（Ｌｂ）である。

ＳＭＯ^−１ ５１の適用の結果は、二次元ポイントクラウド５０である。ＳＭＯ ３１は、ＤＭＯ ２１の利点を有し、その欠点はない。ＤＭＯ ２１による規則的なグリッド３０のマッピングに基づく双線形区分補間の使用により、画素の使用が最適化された（すなわち、未使用の画素の数が最小化され、同じ画素にマッピングされるポイントクラウド１０のポイントの数が最小化される）フレーム４２が生成される。異なるＳＭＯは、一続きのポイントクラウド（例えば、映像）の各ポイントクラウドと関連付けることができる。変形形態では、最適化されたＳＭＯは、一続きのポイントクラウドのうちのポイントクラウドの群に対して演算することができる。同時に、ＳＭＯ ２１の符号化は、二次元座標のＫ^＊Ｌ行列として少量のデータ３３を必要とする。復号側では、データ５３からのＳＭＯ^−１の演算は、複雑でないものであり、その適用（双線形区分補間）は、非常に効率的であり、限られた時間および処理資源を必要とする。

図７は、本原理の非限定的な実施形態による、二次元ポイントクラウドを符号化する方法７０を示す。ステップ７１では、符号化用のポイントクラウド（または一続きのポイントクラウド）が供給源から得られる。供給源は、例えば、ローカルメモリ、記憶装置インタフェースまたは通信インタフェースであり得る。二次元ポイントクラウドは、表面へのｎ次元ポイントクラウドの投影によって得ることができ、ｎは、２より大きい。一続きのポイントクラウドの場合、標準映像圧縮方法では、ピクチャはＧＯＰの群を成すため、ポイントクラウドは群を成すことができる。フレームサイズ（目標フレームの幅および高さ）が決定される。例えば、決定されるフレームサイズは、６４０×４８０（ＶＧＡ）または１９２０×１２００（ワイドスクリーン）のような標準画像サイズである。高密度マッピング演算子は、ポイントクラウド（またはポイントクラウドの群）に対して決定されたサイズのフレームの画素の使用を最適化するように決定される。決定されたＤＭＯは、未使用の画素の数を最小化する。

ステップ７２では、決定されたＤＭＯがＫ^＊Ｌポイントの規則的なグリッドに適用される。この演算の結果は、複数対の浮動小数点数のＫ^＊Ｌ行列に格納されたＫ^＊Ｌマッピング済みの二次元座標の展開グリッドである。変形形態では、これらの座標は、浮動小数点数の２つの行列に格納される。別の変形形態では、これらの座標は、フレームにマッピングされ、マッピング済みの画素のインデックスは、複数対の整数の１つの行列または整数の２つの行列に格納される。これらの座標は、双線形区分補間子である簡易マッピング演算子をパラメータ化するために使用される。

ステップ７３では、パラメータ化されたＳＭＯが符号化用のポイントクラウド（またはポイントクラウドの群の各々）に適用される。ステップ７１で決定されたサイズのフレーム（またはフレームの群）が生成される。ステップ７４では、例えば、ＭＰＥＧ２またはＨ２６４のような標準画像または映像圧縮方法を使用して、生成されたフレーム（またはフレームの群）が符号化される。ステップ７２で演算されたマッピング済みのグリッドの行列（または複数の行列）を表すデータが符号化される。符号化済みのフレーム（またはフレームの群）およびデータは、ストリームと関連付けられる。変形形態では、符号化済みのフレームおよびデータは、異なるストリームにおいて符号化される。ストリームは、このステップで生成され、送り先に送信される。送り先は、例えば、
− ローカルメモリ（例えば、ビデオメモリまたはＲＡＭ（もしくはランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（もしくは読み取り専用メモリ）、ハードディスク）、
− 記憶装置インタフェース（例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気サポートとのインタフェース）、および
− 通信インタフェース（例えば、有線インタフェース（例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）または無線インタフェース（ＩＥＥＥ８０２．１１インタフェースもしくはBluetooth（登録商標）インタフェースなど））
を含むセットに属する。

図８は、フレームと、二次元展開グリッドを表すデータとを含むストリームから二次元ポイントクラウドを復号する方法８０を示す。ステップ８１では、画素のフレームと、展開グリッドを表す（すなわち、二次元座標の行列を表す）関連データとが供給源から得られる。供給源は、ローカルメモリ、記憶装置インタフェースおよび通信インタフェースを含むセットに属する。データの座標は、ポイントの展開グリッドを表す。逆簡易マッピング演算子（ＳＭＯ^−１）は、データの座標およびフレームのサイズ（画素の幅および高さ）に従ってパラメータ化される。ＳＭＯ^−１は、双線形区分補間子である。ステップ８３では、パラメータ化されたＳＭＯ^−１がステップ８１で得られたフレームに適用される。この適用により、二次元ポイントクラウドが生成される。同じデータは、フレームの群と関連付けることができ、同じＳＭＯ^−１は、フレームの群のフレームを復号するために使用される。そのような演算子のパラメータ化および適用は、簡単かつ高速であり、限られた時間およびプロセッサまたはグラフィックボードの処理資源を必要とする。

図９は、図７および／または８に関連して説明される方法を実装するように構成され得るデバイス９０の例示的なアーキテクチャを示す。

デバイス９０は、データおよびアドレスバス９１によってつながっている以下の要素：
− 例えば、ＤＳＰ（またはデジタル信号プロセッサ）であるマイクロプロセッサ９２（またはＣＰＵ）、
− ＲＯＭ（または読み取り専用メモリ）９３、
− ＲＡＭ（またはランダムアクセスメモリ）９４、
− 記憶装置インタフェース９５、
− アプリケーションから送信用のデータを受信するＩ／Ｏインタフェース９６、および
− 電源（例えば、バッテリ）
を含む。

例によれば、電源は、デバイスの外部のものである。言及されるメモリの各々では、本明細書で使用される＜＜レジスタ＞＞という用語は、小容量のエリア（数ビット）または非常に大きいエリア（例えば、全プログラムまたは大量の受信もしくは復号データ）に対応し得る。ＲＯＭ ９３は、プログラムおよびパラメータを少なくとも含む。ＲＯＭ ９３は、本原理による技法を実行するためのアルゴリズムおよび命令を格納することができる。電源を入れると、ＣＰＵ ９２は、ＲＡＭのプログラムをアップロードし、対応する命令を実行する。

ＲＡＭ ９４は、ＣＰＵ ９２によって実行され、デバイス９０の電源を入れた後にアップロードされるプログラムをレジスタに含み、入力データをレジスタに含み、方法の異なる状態の中間データをレジスタに含み、方法の実行のために使用される他の変数をレジスタに含む。

符号化またはエンコーダの例によれば、ポイントクラウド（または一続きのポイントクラウド）は、供給源から得られる。例えば、供給源は、
− ローカルメモリ（９３または９４）（例えば、ビデオメモリまたはＲＡＭ（もしくはランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（もしくは読み取り専用メモリ）、ハードディスク）、
− 記憶装置インタフェース（９５）（例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気サポートとのインタフェース）、
− 通信インタフェース（９６）（例えば、有線インタフェース（例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース）または無線インタフェース（ＩＥＥＥ８０２．１１インタフェースもしくはBluetooth（登録商標）インタフェースなど））、および
− ユーザがデータを入力できるようにするグラフィカルユーザインタフェースなどのユーザインタフェース
を含むセットに属する。

復号またはデコーダの例によれば、フレームと、座標の行列を表すデータとは、送り先に送信される。具体的には、送り先は、
− ローカルメモリ（９３または９４）（例えば、ビデオメモリまたはＲＡＭ、フラッシュメモリ、ハードディスク）、
− 記憶装置インタフェース（９５）（例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気サポートとのインタフェース）、および
− 通信インタフェース（９６）（例えば、有線インタフェース（例えば、バスインタフェース（例えば、ＵＳＢ（もしくはユニバーサルシリアルバス））、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース、ＨＤＭＩ（高解像度マルチメディアインタフェース）インタフェース）または無線インタフェース（ＩＥＥＥ８０２．１１インタフェース、ＷｉＦｉ（登録商標）もしくはBluetooth（登録商標）インタフェースなど））
を含むセットに属する。

符号化またはエンコーダの例によれば、フレームと、二次元座標の行列を表すデータとを含むビットストリームは、送り先に送信される。例として、ビットストリームは、ローカルまたはリモートメモリ（例えば、ビデオメモリ（９４）またはＲＡＭ（９４）、ハードディスク（９３））に格納される。変形形態では、ビットストリームは、記憶装置インタフェース（９５）（例えば、大容量記憶装置、フラッシュメモリ、ＲＯＭ、光ディスクもしくは磁気サポートとのインタフェース）に送信され、かつ／または通信インタフェース（９６）（例えば、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンクもしくは放送ネットワークとのインタフェース）上で送信される。

復号もしくはデコーダまたはレンダラの例によれば、ビットストリームは、供給源から得られる。例示として、ビットストリームは、ローカルメモリ（例えば、ビデオメモリ（９４）、ＲＡＭ（９４）、ＲＯＭ（９３）、フラッシュメモリ（９３）またはハードディスク（９３））から読み取られる。変形形態では、ビットストリームは、記憶装置インタフェース（９５）（例えば、大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスクもしくは磁気サポートとのインタフェース）から受信され、かつ／または通信インタフェース（９５）（例えば、ポイントツーポイントリンク、バス、ポイントツーマルチポイントリンクもしくは放送ネットワークとのインタフェース）から受信される。

例によれば、デバイス９０は、図７に関連して説明される方法を実装するように構成され、
− モバイルデバイス、
− 通信デバイス、
− ゲームデバイス、
− タブレット（またはタブレットコンピュータ）、
− ラップトップ、
− 静止ピクチャカメラ、
− ビデオカメラ、
− 符号化チップ、
− サーバ（例えば、放送サーバ、ビデオオンデマンドサーバまたはウェブサーバ）
を含むセットに属する。

例によれば、デバイス９０は、図８に関連して説明されるレンダリング方法を実装するように構成され、
− モバイルデバイス、
− 通信デバイス、
− ゲームデバイス、
− セットトップボックス、
− ＴＶセット、
− タブレット（またはタブレットコンピュータ）、
− ラップトップ、および
− ディスプレイ（例えば、ＨＭＤなど）
を含むセットに属する。

図１０に示される例によれば、通信ネットワークＮＥＴ １００上における２つのリモートのデバイス１０１および１０２（デバイス９０のタイプの）間の送信に関連して、デバイス１０１は、図７に関連して説明されるように、ポイントクラウドを符号化してストリームを生成する方法を実装するように構成された手段を含み、デバイス１０２は、図８に関連して説明されるように、ポイントクラウドを復号する方法を実装するように構成された手段を含む。

例によれば、ネットワーク１００は、関連データを伴う静止ピクチャまたは映像ピクチャをデバイス１０１から復号デバイス（デバイス１０２を含む）に放送するように適応させたＬＡＮまたはＷＬＡＮネットワークである。

図１１は、データがパケットベースの送信プロトコル上で送信される際のそのようなストリームの構文の実施形態の例を示す。図１１は、ビットストリームの構造１１０の例を示す。構造は、独立したシンタックス要素にストリームを構造化するコンテナを含む。構造は、ストリームのすべてのシンタックス要素に共通するデータの集合であるヘッダ部分１１１を含み得る。例えば、ヘッダ部分は、シンタックス要素の各々の性質および役割について説明するシンタックス要素についてのメタデータを含む。構造は、シンタックス要素１１２および１１３を含むペイロードを含み得、第１のシンタックス要素１１２は、展開グリッド（例えば、二次元座標の行列としての）を表すデータに対するものであり、第２のシンタックス要素１１３は、簡易マッピング演算子に従って生成されたフレームに対するものである。展開グリッドを表すデータは、展開グリッドを少なくとも１つのフレームと関連付ける情報を含む。例えば、フレームは、ＧＯＰの数およびＧＯＰ内のフレームの数によって識別される。ＧＯＰの数は、このＧＯＰのフレームを生成したＳＭＯの展開グリッドと関連付けられる。

当然ながら、本開示は、以前に説明される実施形態に限定されない。

具体的には、本開示は、１つの二次元ポイントクラウドを符号化または復号する方法に限定されず、ポイントクラウドを表すストリームを送信するいかなる方法、一続きの二次元ポイントクラウドを符号化および復号する方法、ならびにこれらの方法を実装するいかなるデバイスまでも拡張する。ＳＭＯを代表するフレームおよびデータの生成に必要な計算の実装は、シェーダタイプのマイクロプログラムの実装に限定されず、いかなるプログラムタイプ（例えば、ＣＰＵタイプのマイクロプロセッサによって実行することができるプログラム）の実装までも拡張する。本開示の方法の使用は、ライブの利用に限定されず、他のいかなる利用（例えば、録音スタジオのポストプロダクション処理として知られている処理のため）までも拡張する。

本明細書で説明される実装形態は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装することができる。実装の単一の形態に関連しのみ論じられる（例えば、方法またはデバイスとしてのみ論じられる）場合でも、論じられる特徴の実装形態は、他の形態（例えば、プログラム）で実装することもできる。装置は、例えば、適切なハードウェア、ソフトウェアおよびファームウェアで実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路またはプログラマブル論理デバイスを含む、例えば、一般に処理デバイスを指す装置（例えば、プロセッサなど）で実装することができる。また、プロセッサは、例えば、スマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。

本明細書で説明される様々なプロセスおよび特徴の実装形態は、様々な異なる機器またはアプリケーション（特に、例えば、データ符号化、データ復号、ビュー生成、テクスチャ処理、ならびに画像および関連テクスチャ情報および／または深度情報の他の処理と関連付けられた機器またはアプリケーション）で具体化することができる。そのような機器の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡおよび他の通信デバイスを含む。明確であるべきように、機器は、モバイルであり得、移動車両にインストールすることさえも可能である。

加えて、方法は、プロセッサによって実行される命令によって実装することができ、そのような命令（および／または実装形態によって生成されたデータ値）は、例えば、集積回路、ソフトウェアキャリアまたは他の記憶装置（例えば、ハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えば、デジタル多用途ディスクまたはデジタルビデオディスクと称される場合が多いＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）または読み取り専用メモリ（「ＲＯＭ」））などのプロセッサ可読媒体上に格納することができる。命令は、プロセッサ可読媒体上で有形に具体化されたアプリケーションプログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェアまたは組合せにおけるものであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーションまたはその２つの組合せに見出すことができる。従って、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有するプロセッサ可読媒体（記憶装置など）を含むデバイスとの両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令に加えてまたは命令の代わりに、実装形態によって生成されたデータ値を格納することができる。

当業者に明らかであるように、実装形態は、例えば、格納または送信することができる、情報を伝えるようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明される実装形態の１つによって生成されたデータを含み得る。例えば、信号は、説明される実施形態の構文を書き込むかもしくは読み取るための規則をデータとして伝えるように、または説明される実施形態によって書き込まれた実際の構文−値をデータとして伝えるようにフォーマットすることができる。そのような信号は、例えば、電磁波として（例えば、スペクトルの高周波部分を使用して）またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化すること、および符号化されたデータストリームで搬送波を変調することを含み得る。信号が伝える情報は、例えば、アナログまたはデジタル情報であり得る。信号は、知られているように、様々な異なる有線または無線リンク上で送信することができる。信号は、プロセッサ可読媒体上に格納することができる。

多くの実装形態について説明してきた。それにもかかわらず、様々な変更形態がなされ得ることが理解されるであろう。例えば、他の実装形態を生成するために、異なる実装形態の要素を組み合わせることも、補足することも、変更することも、除去することもできる。加えて、当業者は、開示されるものの代わりに、他の構造およびプロセスを代用することができ、結果として得られる実装形態は、開示される実装形態と少なくとも実質的に同じ結果を達成するために、少なくとも実質的に同じ方法で少なくとも実質的に同じ機能を実行することを理解するであろう。それに従って、これらのおよび他の実装形態が本出願によって企図される。

Claims (15)

1. ビットストリームから二次元ポイントクラウドを復号する方法であって、
   前記ビットストリームから、画素のフレームと、展開グリッドを表す二次元座標の行列とを得ることであって、前記行列は、前記フレームと関連付けられている、得ることと、
   前記行列に従って逆マッピング演算子を決定することと、
   前記逆マッピング演算子を前記フレームに適用することにより、前記ポイントクラウドを復号することと
   を含む、方法。
2. 前記逆マッピング演算子は、前記行列でパラメータ化された区分双線形補間子を含む、請求項１に記載の方法。
3. 前記行列は、前記ビットストリームにおいてフレームの群と関連付けられ、前記方法は、前記フレームの群のフレームを、前記行列に従って決定された前記逆マッピング演算子を前記フレームに適用することによって復号することをさらに含む、請求項１または２に記載の方法。
4. ビットストリームにおいて二次元ポイントクラウドを符号化する方法であって、
   高密度マッピング演算子に従って規則的なグリッドをマッピングすることにより、展開グリッドを表す二次元座標の行列を生成することであって、高密度マッピング演算子は、ポイントクラウドに対するフレームの画素の使用を最適化するマッピング演算子である、生成することと、
   マッピング演算子を前記ポイントクラウドに適用することによって画素のフレームを生成することであって、前記マッピング演算子は、前記行列に従って決定される、生成することと、
   前記ビットストリームにおいて前記展開グリッドを表す二次元座標の前記行列と関連付けられた前記フレームを符号化することにより、前記ビットストリームを生成することと
   を含む、方法。
5. 前記マッピング演算子は、前記行列でパラメータ化された区分双線形補間子を含む、請求項４に記載の方法。
6. 前記高密度マッピング演算子は、ポイントクラウドの群に対して決定され、前記方法は、前記ポイントクラウドの群の各ポイントクラウドに対してフレームを生成することと、前記ビットストリームにおいて前記行列を前記生成されたフレームの群と関連付けることとをさらに含む、請求項４または５に記載の方法。
7. 前記二次元ポイントクラウドは、表面へのｎ次元ポイントクラウドの投影であり、ｎは、２より大きい、請求項４〜６のいずれか一項に記載の方法。
8. 少なくとも１つのプロセッサと関連付けられたメモリを含むデバイスであって、前記少なくとも１つのプロセッサは、
   ビットストリームから、画素のフレームと、展開グリッドを表す二次元座標の行列とを得ることであって、前記データは、前記フレームと関連付けられている、得ることと、
   前記行列に従って逆マッピング演算子を決定することと、
   前記逆マッピング演算子を前記フレームに適用することにより、前記ポイントクラウドを復号することと
   を行うように構成されている、デバイス。
9. 前記逆マッピング演算子は、前記行列でパラメータ化された区分双線形補間子を含む、請求項８に記載のデバイス。
10. 前記行列は、前記ビットストリームにおいてフレームの群と関連付けられ、前記少なくとも１つのプロセッサは、前記フレームの群のフレームを、前記行列に従って決定された前記逆マッピング演算子を前記フレームに適用することによって復号するようにさらに構成されている、請求項８または９に記載のデバイス。
11. 少なくとも１つのプロセッサと関連付けられたメモリを含むデバイスであって、前記少なくとも１つのプロセッサは、
    高密度マッピング演算子に従って規則的なグリッドをマッピングすることにより、展開グリッドを表す二次元座標の行列を生成することであって、高密度マッピング演算子は、ポイントクラウドに対するフレームの画素の使用を最適化するマッピング演算子である、生成することと、
    マッピング演算子を前記二次元ポイントクラウドに適用することによって画素のフレームを生成することであって、前記マッピング演算子は、前記行列に従って決定される、生成することと、
    ビットストリームにおいて前記行列と関連付けられた前記フレームを符号化することにより、前記ビットストリームを生成することと
    を行うように構成されている、デバイス。
12. 前記マッピング演算子は、前記行列でパラメータ化された区分双線形補間子を含む、請求項１１に記載のデバイス。
13. 前記高密度マッピング演算子は、ポイントクラウドの群に対して決定され、前記少なくとも１つのプロセッサは、前記ポイントクラウドの群の各ポイントクラウドに対してフレームを生成することと、前記ビットストリームにおいて前記行列を前記生成されたフレームの群と関連付けることとを行うようにさらに構成されている、請求項１１または１２に記載のデバイス。
14. 前記二次元ポイントクラウドは、表面へのｎ次元ポイントクラウドの投影であり、ｎは、２より大きい、請求項１１〜１３のいずれか一項に記載のデバイス。
15. 二次元ポイントクラウドを表すデータを保持するストリームであって、前記データは、
    高密度マッピング演算子に従って規則的なグリッドをマッピングすることによって生成された展開グリッドを表す二次元座標の行列を保持する第１のシンタックス要素であって、高密度マッピング演算子は、ポイントクラウドに対するフレームの画素の使用を最適化するマッピング演算子である、第１のシンタックス要素と、
    マッピング演算子を前記二次元ポイントクラウドに適用することによって生成された画素の少なくとも１つのフレームに対する第２のシンタックス要素であって、前記マッピング演算子は、前記行列に従って決定される、第２のシンタックス要素と
    を含み、
    前記行列は、前記少なくとも１つのフレームと関連付けられている、ストリーム。