JP2022542419A - 点群表現を介したメッシュ圧縮 - Google Patents

Abstract

本明細書では、投影ベースの手法を使用し、投影ベースの点群圧縮のために既に生成されているツール及び構文を活用してメッシュを圧縮する方法について説明する。メッシュは、Ｖ－ＰＣＣ手法と同様に表面パッチにセグメント化され、唯一の相違点はセグメントがメッシュの連結性に従う点である。各表面パッチ（又は３Ｄパッチ）は２Ｄパッチに投影され、これによってメッシュの場合、三角形表面サンプリングは、コンピュータグラフィックスで使用される一般的なラスタ化手法と同様である。投影された頂点の位置は、これらの頂点の連結性と共にパッチ毎にリスト内に保持される。サンプリングされた表面はこの時点で点群に類似し、点群圧縮に使用される同じ手法で符号化される。また、頂点及び連結性のリストがパッチ毎に符号化され、このデータが符号化された点群データと共に送信される。【選択図】 図１

Description

〔関連出願との相互参照〕
本出願は、２０１９年１２月１０日に出願された「点群表現を介したメッシュ圧縮（ＭＥＳＨ ＣＯＭＰＲＥＳＳＩＯＮ ＶＩＡ ＰＯＩＮＴ ＣＬＯＵＤ ＲＥＰＲＥＳＥＮＴＡＴＩＯＮ）」という名称の米国仮特許出願第６２／９４６，１９４号の米国特許法第１１９条に基づく優先権を主張するものであり、この文献は全ての目的でその全体が引用により本明細書に組み入れられる。

本発明は、３次元グラフィックスに関する。具体的には、本発明は、３次元グラフィックスの符号化に関する。

近年、３Ｄから２Ｄへの投影に基づいて点群を圧縮する新規方法が標準化されている。このＶ－ＰＣＣ（ビデオベースの点群圧縮）としても知られている方法は、３Ｄ点群データを複数の２Ｄパッチにマッピングした後に、さらにこれらのパッチをアトラス画像に編成し、その後にビデオエンコーダで符号化する。アトラス画像は、点の幾何形状、それぞれのテクスチャ、及びどの位置を点群再構成のために検討すべきであるかを示す占有マップに対応する。

２０１７年、ＭＰＥＧは、点群圧縮のための公募要領（ｃａｌｌ ｆｏｒ ｐｒｏｐｏｓａｌ：ＣｆＰ）を発行した。現在ＭＰＥＧは、複数の提案の評価後に、（八分木及び同様の符号化法に基づく）３Ｄネイティブ符号化技術、又は３Ｄから２Ｄへの投影後に従来のビデオ符号化を行うもの、という２つの異なる点群圧縮技術を検討している。動的３Ｄシーンの場合、ＭＰＥＧは、パッチ表面モデリング、３Ｄから２Ｄ画像へのパッチの投影、及びＨＥＶＣなどのビデオエンコーダを使用した２Ｄ画像の符号化に基づく試験モデルソフトウェア（ＴＭＣ２）を使用している。この方法は、ネイティブな３Ｄ符号化よりも効率的であり、容認可能な品質で競争的ビットレートを達成できることが証明されている。

この標準は、（ビデオベースの方法又はＶ－ＰＣＣとしても知られている）投影ベースの方法の３Ｄ点群符号化の成功を受けて、将来のバージョンでは３Ｄメッシュなどのさらなる３Ｄデータを含むことが予想されている。しかしながら、この標準の現在のバージョンは、一連の未連結の点の送信にしか適しておらず、従って３Ｄメッシュ圧縮で必要とされるような点の連結性を送信する機構は存在しない。

Ｖ－ＰＣＣの機能をメッシュに拡張する方法も提案されてきた。１つの可能な方法は、Ｖ－ＰＣＣを使用して頂点を符号化した後に、ＴＦＡＮ又はＥｄｇｅｂｒｅａｋｅｒなどのメッシュ圧縮法を使用して連結性を符号化するものである。この方法の限界は、頂点から生成された点群が疎であることなく投影後に効率的に符号化できるように、元々のメッシュが密である必要があるという点である。さらに、頂点の順序が連結性の符号化に影響を与えるため、メッシュ連結性を再編する異なる方法が提案されている。疎なメッシュを符号化する別の方法は、ＲＡＷパッチデータを使用して３Ｄにおける頂点位置を符号化するものである。ＲＡＷパッチは直接符号化（ｘ，ｙ，ｚ）を行うので、この方法では、全ての頂点がＲＡＷデータとして符号化される一方で、上述したような同様のメッシュ圧縮法によって連結性が符号化される。ＲＡＷパッチでは、いずれかの好ましい順序で頂点を送信することができ、従って連結性符号化から生じた順序を使用することができる。この方法は疎な点群を符号化することはできるが、ＲＡＷパッチは３Ｄデータの符号化効率が悪く、この手法からは三角面の属性などのさらなるデータが失われることがある。

本明細書では、投影ベースの手法を使用し、投影ベースの点群圧縮のために既に生成されているツール及び構文を活用してメッシュを圧縮する方法について説明する。メッシュは、Ｖ－ＰＣＣ手法と同様に表面パッチにセグメント化され、唯一の相違点はセグメントがメッシュの連結性に従う点である。各表面パッチ（又は３Ｄパッチ）は２Ｄパッチに投影され、これによってメッシュの場合、三角形表面サンプリングは、コンピュータグラフィックスで使用される一般的なラスタ化手法と同様である。投影された頂点の位置は、これらの頂点の連結性と共にパッチ毎にリスト内に保持される。サンプリングされた表面はこの時点で点群に類似し、点群圧縮に使用される同じ手法で符号化される。また、頂点及び連結性のリストがパッチ毎に符号化され、このデータが符号化された点群データと共に送信される。

さらなる連結性データは、各パッチのために生成されたベースメッシュとして解釈され、この追加データを使用するか否かの柔軟性をデコーダに与えることができる。このデータを使用して、レンダリング及び点フィルタリングアルゴリズムを改善することができる。さらに、メッシュは、投影ベースの圧縮の同じ原理を使用して符号化され、これによって現在の投影ベースの点群符号化のＶ－ＰＣＣ手法との統合が良好になる。

１つの態様では、装置の非一時的メモリにプログラムされた方法が、入力メッシュに対してメッシュボクセル化を実行するステップと、パッチ生成を実行することによって、メッシュを、ラスタライズされたメッシュ表面、並びに頂点位置及び連結性情報を含むパッチにセグメント化するステップと、ラスタライズされたメッシュ表面からビデオベースの点群圧縮（Ｖ－ＰＣＣ）画像を生成するステップと、頂点位置及び連結性情報を使用してベースメッシュ符号化を実行するステップと、Ｖ－ＰＣＣ画像及びベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームを生成するステップと、を含む。メッシュボクセル化は、負の値及び非整数値を避けるようにメッシュ値をシフトさせ及び／又はスケーリングするステップを含む。メッシュボクセル化は、ゼロ未満の最も低い頂点値を発見し、最も低い頂点値がゼロを上回るようにメッシュ値をシフトさせるステップを含む。パッチ生成を実行するステップは、三角形毎の法線を計算するステップを含む。三角形の法線を計算するステップは、エッジ間の外積を使用するステップを含む。方法は、法線に従って三角形をカテゴリ分けするステップをさらに含む。方法は、隣接する三角形を分析することによって精細化プロセスを実行するステップをさらに含む。ベースメッシュ符号化は、頂点の（ｕ，ｖ）座標を符号化するステップを含む。Ｖ－ＰＣＣビットストリームを生成するステップは、ベースメッシュシグナリングを含み、マルチレイヤ実装を利用する。マルチレイヤ実装の第１のレイヤは未加工点群を含み、マルチレイヤ実装の第２のレイヤは疎なメッシュを含み、マルチレイヤ実装の第３のレイヤは密なメッシュを含む。方法は、各パッチのさらなる連結性データを含むベースメッシュを生成するステップをさらに含み、さらなる連結性データを利用すべきであるかどうかをデコーダが決定し、さらに、さらなる連結性データはレンダリング及び点フィルタリングを改善する。連結性情報は、色コードに基づいて符号化される。Ｖ－ＰＣＣ画像及びベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームを生成するステップは、パッチ毎の連結性情報を利用する。

別の態様では、装置が、入力メッシュに対してメッシュボクセル化を実行し、パッチ生成を実行することによって、メッシュを、ラスタライズされたメッシュ表面、並びに頂点位置及び連結性情報を含むパッチにセグメント化し、ラスタライズされたメッシュ表面からビデオベースの点群圧縮（Ｖ－ＰＣＣ）画像を生成し、頂点位置及び連結性情報を使用してベースメッシュ符号化を実行し、Ｖ－ＰＣＣ画像及びベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームを生成するためのアプリケーションを記憶する非一時的メモリと、メモリに結合されてアプリケーションを処理するように構成されたプロセッサと、を含む。メッシュボクセル化は、負の値及び非整数値を避けるようにメッシュ値をシフトさせ及び／又はスケーリングすることを含む。メッシュボクセル化は、ゼロ未満の最も低い頂点値を発見し、最も低い頂点値がゼロを上回るようにメッシュ値をシフトさせることを含む。パッチ生成を実行することは、三角形毎の法線を計算することを含む。三角形の法線を計算することは、エッジ間の外積を使用することを含む。アプリケーションは、さらに法線に従って三角形をカテゴリ分けする。アプリケーションは、さらに隣接する三角形を分析することによって精細化プロセスを実行する。ベースメッシュ符号化は、頂点の（ｕ，ｖ）座標を符号化することを含む。Ｖ－ＰＣＣビットストリームを生成することは、ベースメッシュシグナリングを含み、マルチレイヤ実装を利用する。マルチレイヤ実装の第１のレイヤは未加工点群を含み、マルチレイヤ実装の第２のレイヤは疎なメッシュを含み、マルチレイヤ実装の第３のレイヤは密なメッシュを含む。アプリケーションは、さらに各パッチのさらなる連結性データを含むベースメッシュを生成し、さらなる連結性データを利用すべきであるかどうかをデコーダが決定し、さらに、さらなる連結性データはレンダリング及び点フィルタリングを改善する。連結性情報は、色コードに基づいて符号化される。Ｖ－ＰＣＣ画像及びベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームを生成することは、パッチ毎の連結性情報を利用する。

別の態様では、システムが、３次元コンテンツを取得する１又は２以上のカメラと、入力メッシュに対してメッシュボクセル化を実行し、パッチ生成を実行することによって、メッシュを、ラスタライズされたメッシュ表面、並びに頂点位置及び連結性情報を含むパッチにセグメント化し、ラスタライズされたメッシュ表面からビデオベースの点群圧縮（Ｖ－ＰＣＣ）画像を生成し、頂点位置及び連結性情報を使用してベースメッシュ符号化を実行し、Ｖ－ＰＣＣ画像及びベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームを生成することによって３次元コンテンツを符号化するエンコーダと、を含む。メッシュボクセル化は、負の値及び非整数値を避けるようにメッシュ値をシフトさせ及び／又はスケーリングすることを含む。メッシュボクセル化は、ゼロ未満の最も低い頂点値を発見し、最も低い頂点値がゼロを上回るようにメッシュ値をシフトさせることを含む。パッチ生成を実行することは、三角形毎の法線を計算することを含む。三角形の法線を計算することは、エッジ間の外積を使用することを含む。エンコーダは、さらに法線に従って三角形をカテゴリ分けする。エンコーダ、さらに隣接する三角形を分析することによって精細化プロセスを実行する。ベースメッシュ符号化は、頂点の（ｕ，ｖ）座標を符号化することを含む。Ｖ－ＰＣＣビットストリームを生成することは、ベースメッシュシグナリングを含み、マルチレイヤ実装を利用する。マルチレイヤ実装の第１のレイヤは未加工点群を含み、マルチレイヤ実装の第２のレイヤは疎なメッシュを含み、マルチレイヤ実装の第３のレイヤは密なメッシュを含む。エンコーダは、各パッチのさらなる連結性データを含むベースメッシュを生成するようにさらに構成され、さらなる連結性データを利用すべきであるかどうかをデコーダが決定し、さらに、さらなる連結性データはレンダリング及び点フィルタリングを改善する。連結性情報は、色コードに基づいて符号化される。Ｖ－ＰＣＣ画像及びベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームを生成することは、パッチ毎の連結性情報を利用する。

いくつかの実施形態によるメッシュ圧縮法を示す図である。 いくつかの実施形態によるメッシュボクセル化を示す図である。 いくつかの実施形態による、パッチ生成に関連する画像を示す図である。 いくつかの実施形態による、点群表現のための投影された三角形の図である。 いくつかの実施形態による頂点及び三角形の例示的な画像を示す図である。 いくつかの実施形態による、三角形連結性を示す幾何学的画像の色チャネルを使用することによって連結性を符号化する例を示す図である。 いくつかの実施形態による、ベースメッシュシグナリングのためのネットワーク抽象レイヤ（ＮＡＬ）ユニット及びマルチレイヤ実装を示す図である。 いくつかの実施形態による、ベースメッシュシグナリングのためのマルチレイヤ実装を示す図である。 いくつかの実施形態による幾何形状精細化の図である。 いくつかの実施形態による、メッシュ圧縮法を使用した点群レンダリングのフローチャートを示す図である。 いくつかの実施形態による、メッシュ圧縮法を実装するように構成された例示的なコンピュータ装置のブロック図である。

上記では、メッシュ表面の点群表現を使用した３Ｄメッシュデータの圧縮法について説明した。実施形態は、３Ｄ表面パッチを利用して点群を表し、３Ｄパッチ表面データから２Ｄキャンバス画像への時間的に一貫したグローバルマッピングを実行する。

ビデオエンコーダを使用した３Ｄ点群符号化では、点群を表すビデオを生成するために３Ｄから２Ｄへの投影が重要である。これらのビデオを生成する最も効率的な方法は、３Ｄパッチを使用することによって物体の表面をセグメント化し、正射影を使用して、共にバンドル化されてビデオエンコーダの入力として使用されるセグメント化された深度画像を生成することである。現在の点群標準では、メッシュの連結性を符号化する規定の方法が存在しないため、３Ｄメッシュを符号化することができない。さらに、この標準は頂点間の相関性を活用することができないので、頂点データが疎である場合には上手く機能しない。

本明細書では、点群圧縮のためのビデオベースの標準を使用してメッシュの符号化を実行する方法について説明する。メッシュ表面のセグメント化、接合面サンプリング、及び２Ｄパッチ生成法を開示する。また、開示する方法は、各パッチが局所的連結性のために符号化されることを説明し、頂点の位置が２Ｄパッチに投影される。連結性及び頂点位置をシグナリングして元々の入力メッシュの再構成を可能にする方法についても説明する。

実施形態は、テクスチャなどのメッシュ属性を含む密な時変メッシュ（ｄｅｎｓｅ ｔｉｍｅ－ｖａｒｙｉｎｇ ｍｅｓｈｅｓ）に適用することができる。

図１に、いくつかの実施形態によるメッシュ圧縮法を示す。ステップ１００において、入力メッシュに対してメッシュボクセル化が実行される。メッシュボクセル化は、入力メッシュの点の位置の浮動小数点値を整数に変換するものである。整数の精度は、ユーザによって又は自動的に設定することができる。いくつかの実施形態では、メッシュボクセル化が、負数が存在しないように値をシフトさせることを含む。ステップ１０２において、パッチ形成／生成を実行することによってメッシュをパッチにセグメント化する。パッチ生成は、１）ラスタライズされたメッシュ表面、並びに２）頂点位置及び連結性情報も生成する。ラスタライズされたメッシュ表面は、ステップ１０４においてＶ－ＰＣＣ画像生成を経てＶ－ＰＣＣ画像として符号化される点集合である。頂点位置及び連結性情報は、ステップ１０６においてベースメッシュ符号化のために受け取られる。ステップ１０８において、Ｖ－ＰＣＣ画像生成及びベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームが生成される。いくつかの実施形態では、これよりも少ない又はさらなるステップが実行される。いくつかの実施形態では、ステップの順序が変更される。

メッシュボクセル化
図２に、いくつかの実施形態によるメッシュボクセル化を示す。画像２００に示すように、元々のメッシュは軸線未満であることによって負数を生じる。メッシュは、メッシュボクセル化を介して負の値及び非整数値を避けるようにシフト及び／又はスケーリングされる。１つの実装では、ゼロ未満の最も低い頂点値が見つかると、最も低い頂点値がゼロを上回るようにこれらの値をシフトさせることができる。いくつかの実施形態では、これらの値の範囲が（例えば、スケーリングによって）１１ビットなどの指定ビット範囲に収まる。

画像２０２は、元々のメッシュとボクセル化されたメッシュとの間に知覚的相違がないことを示す。

パッチ生成
本明細書で説明するパッチ生成は、Ｖ－ＰＣＣのパッチ生成と同様である。しかしながら、点毎の法線を計算する代わりに三角形毎の法線を計算する。エッジ間の外積を使用して三角形毎の法線を計算して法線ベクトルを決定する。次に、法線に従って三角形をカテゴリ分けする。例えば、法線を前、後、上、下、左及び右などのｎ個（例えば、６つ）のカテゴリに分割する。これらの法線は、初期セグメンテーションを示す異なる色で示される。図３の画像３００は、異なる色が異なる法線を示すように異なる色を黒色及びライトグレーなどのグレースケールで示す。画像３００では見えづらいかもしれないが、上面（例えば、人物の頭頂部、ボールの上部及びスニーカーの上部）は１つの色（例えば、緑色）であり、人物／ボールの第１の側面は非常に暗くて別の色（例えば、赤色）を表し、ボールの下部は別の色（例えば、紫色）であり、ほとんどがライトグレーである人物及びボールの正面は別の色（例えば、シアン）を表す。

法線の積に方向を乗算することによって主要方向を発見することができる。隣接する三角形に目を向けることによって平滑化／精細化プロセスを実行することもできる。例えば、閾値を上回る数の隣接する三角形が全て青色である場合には、たとえ最初に三角形が赤色であることを示す異常が存在していた場合でも、この三角形も青色として分類することができる。例えば、参照符号３０２によって示す赤色の三角形は、参照符号３０４で示すようにシアンに補正することができる。

画像３１０は、法線ベクトルを含む三角形の例を示す。

三角形の連結成分は、どの三角形が同じ色を有するか（例えば、少なくとも１つの頂点を共有する同じカテゴリの三角形）を識別するように生成される。

連結性情報は、３Ｄにおいてどのように点が連結されているかを表す。これらの連結（具体的には、３つの点を共有する３つの異なる連結）が組み合わさって三角形を生成し、結果としてこれらの三角形が（三角形の集合によって表される）表面を生成する。本明細書では三角形について説明しているが、他の幾何形状（例えば、矩形）も可能である。

色は、異なる色の三角形を識別することによって連結性を符号化するために使用することができる。３つの連結によって識別される各三角形は固有の色で符号化される。

このメッシュを２Ｄ表面上に投影することにより、三角形の投影によって覆われる領域も画素の集合によって決定される。グループ分けした画素を異なる色で符号化すれば、画像内の異なる色によって三角形を識別することができる。三角形が分かると、三角形を形成する３つの連結のみを識別することによって連結性を取得することができる。

各三角形はパッチに投影される。投影された頂点の位置が既に占有されている場合、三角形は別のパッチに符号化され、従って失われた三角形リストが後で再び処理されるようになる。或いは、マップを使用して重複する頂点を識別し、さらに重複する頂点を含む三角形を表すこともできる。別の選択肢では、点を別々のレイヤに分離することもできる（例えば、１つのレイヤ内の１つの点集合及び第２のレイヤ内の第２の点集合）。

三角形は、点群表現のための点を生成するようにラスタライズされる。

図４に、いくつかの実施形態による、点群表現のための投影された三角形の図を示す。三角形４００は、グリッド４０２（例えば、三角形の２Ｄ投影）に投影されている。グリッド４０２内の各正方形は点群における点である。頂点の元々の点である点が存在する。点は、投影されると、ボクセル化されて図示のような位置に投影される。２Ｄ投影内の点４０４は、元々のメッシュ上の頂点をマーキングする。三角形４００の領域では、表面をラスタライズすることによって点が生成される。三角形内のグリッド要素は、点群における点になってメッシュから点群を生成する（例えば、投影面上でラスタ化が実行される）。

点群に追加された点はメッシュの構造に従い、従って点群幾何形状は基礎を成すメッシュと同じぐらい疎であることができる。しかしながら、この幾何形状は、各ラスタライズされた画素のさらなる位置を送信することによって改善することができる。

ベースメッシュ符号化
パッチ内の点のリストは三角形の頂点であり、メッシュの連結性は投影後も同じである。図５に、いくつかの実施形態による頂点及び三角形の例示的な画像を示す。頂点は黒色の点であり、連結性は黒色の点を連結する線である。

連結性は（例えば、色コードに基づいて）符号化される。いくつかの実施形態では、整数値のリストが符号化される。リスト内の差分パルス符号変調（ＤＰＣＭ）を使用することができる。いくつかの実施形態では、リストを精細化することができ、又はスマートメッシュ符号化を実行することができる。いくつかの実施形態では、（例えば、いずれも符号化アルゴリズムであるＥｄｇｅｂｒｅａｋｅｒ又はＴＦＡＮを使用する）さらに高度な手法も可能である。

いくつかの実施形態では、頂点の（ｘ，ｙ，ｚ）ではなく（ｕ，ｖ）座標が符号化される。（ｕ，ｖ）座標は、（例えば、頂点が投影された）２Ｄグリッド上の位置である。（ｘ，ｙ，ｚ）情報は、幾何学的画像内の投影から決定することができる。ＤＰＣＭ法も可能である。いくつかの実施形態では、（ｕ，ｖ）座標がリスト内に記憶される。順序は、連結性によって決定することができる。連結性に基づいて、いくつかの頂点は連結しており、従って連結された頂点の（ｕ，ｖ）の値は類似するはずであることが分かり、これによって平行四辺形予測（例えば、Ｄｒａｃｏ、メッシュ圧縮アルゴリズム）などの予測も可能になる。

図６に、いくつかの実施形態による、三角形連結性を示す幾何学的画像の色チャネルを使用することによって連結性を符号化する例を示す。例えば、いくつかの三角形が同じものである場合、色によって三角形及びメッシュの連結性が識別されるように、これらの三角形を黄色とし、異なる三角形を青色などとすることができる。

ベースメッシュシグナリング
その他の情報はパッチ毎に送信される。各パッチ情報内では、連結成分（例えば、頂点）のリスト及び２Ｄ空間内の頂点の位置が送信される。より効率的な表記法は、本明細書で説明するような顔及び頂点のためのＤＰＣＭスキームを使用することもできる。

図７に、いくつかの実施形態による、ベースメッシュのシグナリングのためのネットワーク抽象レイヤ（ＮＡＬ）ユニット及びマルチレイヤ実装を示す。ＮＡＬ７００は、ヘッダ、グループレイヤ、顔の数、頂点の数、顔の数及び頂点位置などの情報を含む。

いくつかの実施形態では、ＮＡＬにおけるマルチレイヤ実装を使用して、連結性情報を含む追加レイヤを送信する。マルチレイヤ実装で利用されるＶ－ＰＣＣユニットストリーム７０２を示す。第１のレイヤ（例えば、レイヤ０）は点群を定め、レイヤ１はメッシュレイヤを定める。いくつかの実施形態では、レイヤが互いに関連する。いくつかの実施形態では、追加レイヤが利用される。

図８に、いくつかの実施形態による、ベースメッシュシグナリングのためのマルチレイヤ実装を示す。階層表現では、ｌａｙｅｒ＿ｉｄを使用して異なる解像度のメッシュを送信することができる。例えば、レイヤ０は未加工点群であり、レイヤ１は疎なメッシュであり、レイヤ２は密なメッシュである。追加レイヤを実装することもできる（例えば、レイヤ３は非常に密なメッシュである）。いくつかの実施形態ではレイヤの順序が異なり、例えばレイヤ０が密なメッシュであり、レイヤ１が疎なメッシュであり、レイヤ２が未加工点群である。いくつかの実施形態では、追加レイヤが前のレイヤとの相違又は差分（ｄｅｌｔａ）のみを提供する。例えば、図８に示すように、レイヤ１は３つの三角形を有し、レイヤ２は６つの三角形を有し、大きな三角形は４つの三角形に分割され、大きな三角形の分割（例えば、４つの三角形）はレイヤ２に含まれる。

パッチデータユニット構文は、以下を含むように修正することができる。

いくつかの実施形態では、ＴＦＡＮ又はＥｄｇｅｂｒｅａｋｅｒなどを使用する別の符号化を実装して、頂点の平行四辺形予測及び／又はＤＰＣＭ符号化を使用してパッチ連結性を符号化する。

図９に、いくつかの実施形態による幾何形状精細化の図を示す。より正確な点の位置は、ベースメッシュ表面から点群の実際の位置に差分情報を送信することによって改善することができる。メッシュ表面がラスタライズされている場合、生成される点群は、メッシュ表面と同様の疎であることができる幾何形状を有するようになる。差分情報は、メッシュ表面からの差分を送信することによって取得することができ、メッシュの法線方向を検討することもできる。

本明細書で説明したように、三角形は平面とみなされるので、三角形毎のさらなる情報を送信することができる。

レンダリング最適化及び幾何形状フィルタリングを実装することもできる。ベースメッシュは表面を示すので、三角形の境界に含まれる全ての点は論理的に連結される。点を再投影すると、幾何形状の相違及び異なるベースライン距離に起因して穴が現れることがある。しかしながら、レンダラーは、基礎を成すメッシュ情報を使用して再投影を改善することができる。レンダラーは、表面内で点が論理的に連結されているはずであることをメッシュから認識しているので、たとえ他のいずれかの情報を送信しなくても補間点を生成して穴を閉じることができる。

例えば、点群には投影に起因して穴が存在する瞬間があるが、表面は三角形によって表されたものであることが分かっているので、この表面上では全ての点が満たされるはずであり、従ってたとえメッシュ表現から点が明確に符号化されていなくても、幾何形状フィルタリングを使用して失われた点を満たすことができる。

本明細書で説明したように、メッシュ圧縮法は投影ベースの手法を使用し、本明細書では、投影ベースの点群圧縮のために既に生成されているツール及び構文を活用することについて説明する。メッシュは、Ｖ－ＰＣＣ手法と同様に表面パッチにセグメント化され、唯一の相違点はセグメントがメッシュの連結性に従う点である。各表面パッチ（又は３Ｄパッチ）は２Ｄパッチに投影され、これによってメッシュの場合、三角形表面サンプリングは、コンピュータグラフィックスで使用される一般的なラスタ化手法と同様である。投影された頂点の位置は、これらの頂点の連結性と共にパッチ毎にリスト内に保持される。サンプリングされた表面はこの時点で点群に類似し、点群圧縮に使用される同じ手法で符号化される。また、頂点及び連結性のリストがパッチ毎に符号化され、このデータが符号化された点群データと共に送信される。

さらなる連結性データは、各パッチのために生成されたベースメッシュとして解釈され、この追加データを使用するか否かの柔軟性をデコーダに与えることができる。このデータを使用して、レンダリング及び点フィルタリングアルゴリズムを改善することができる。さらに、メッシュは、投影ベースの圧縮の同じ原理を使用して符号化され、これによって現在の投影ベースの点群符号化のＶ－ＰＣＣ手法との統合が良好になる。

図１０に、いくつかの実施形態による、メッシュ圧縮法を使用した点群レンダリングのフローチャートを示す。ステップ１０００において、Ｖ－ＰＣＣを使用してメッシュを符号化し、及び／又は符号化されたメッシュを（例えば、装置において）受け取る。ステップ１００２において、符号化されたメッシュをＶ－ＰＣＣデコーダによって復号し、これによって点群１００４及びメッシュ１００６を得る。ステップ１００８において、点群１００４及びメッシュ１００６に点群フィルタリングを適用する。フィルタリングされた点群及びメッシュ１００６は、ステップ１０１０の点群レンダリングにおいて使用される。いくつかの実施形態では、これよりも少ない又はさらなるステップが実行される。いくつかの実施形態では、ステップの順序が変更される。

図１１に、いくつかの実施形態による、メッシュ圧縮法を実行するように構成された例示的なコンピュータ装置のブロック図を示す。コンピュータ装置１１００は、３Ｄコンテンツを含む画像及びビデオなどの情報の取得、記憶、計算、処理、通信及び／又は表示のために使用することができる。コンピュータ装置１１００は、メッシュ圧縮の態様のいずれかを実装することができる。一般に、コンピュータ装置１１００を実装するのに適したハードウェア構造は、ネットワークインターフェイス１１０２、メモリ１１０４、プロセッサ１１０６、Ｉ／Ｏ装置１１０８、バス１１１０及び記憶装置１１１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサが選択される限り重要ではない。メモリ１１０４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置１１１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置１１００は、１又は２以上のネットワークインターフェイス１１０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置１１０８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。記憶装置１１１２及びメモリ１１０４には、メッシュ圧縮法を実行するために使用される（単複の）メッシュ圧縮アプリケーション１１３０が記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置１１００には、図１１に示すものよりも多くの又は少ないコンポーネントを含めることもできる。いくつかの実施形態では、メッシュ圧縮ハードウェア１１２０が含まれる。図１１のコンピュータ装置１１００は、メッシュ圧縮法のためのアプリケーション１１３０及びハードウェア１１２０を含むが、メッシュ圧縮法は、ハードウェア、ファームウェア、ソフトウェア、又はこれらのいずれかの組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、メッシュ圧縮アプリケーション１１３０がメモリにプログラムされ、プロセッサを使用して実行される。別の例として、いくつかの実施形態では、メッシュ圧縮ハードウェア１１２０が、メッシュ圧縮法を実装するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。

いくつかの実施形態では、（単複の）メッシュ圧縮アプリケーション７３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールが１又は２以上のサブモジュールも含む。いくつかの実施形態では、これよりも少ない又はさらなるモジュールを含めることもできる。

好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートホン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、拡張現実装置、仮想現実装置、スマートジュエリ（例えば、スマートウォッチ）、車両（例えば、自動走行車両）、又はその他のいずれかの好適なコンピュータ装置が挙げられる。

メッシュ圧縮法を利用するには、装置が３Ｄコンテンツを取得又は受信し、３Ｄコンテンツの正しい効率的な表示を可能にするように最適化された方法でコンテンツを処理及び／又は送信する。メッシュ圧縮法は、ユーザの支援を伴って、又はユーザの関与を伴わずに自動的に実行することができる。

動作中、メッシュ圧縮法は、これまでの実装に比べてより効率的かつ正確なメッシュ圧縮を可能にする。

例示的な実装では、本明細書で説明したメッシュ圧縮を１フレームのみ及び単一のマップと共にＴＭＣ２ｖ８．０上に実装した。この実装からの情報は以下を含む。

点群表現を介したメッシュ圧縮のいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
入力メッシュに対してメッシュボクセル化を実行するステップと、
パッチ生成を実行することによって、前記メッシュを、ラスタライズされたメッシュ表面、並びに頂点位置及び連結性情報を含むパッチにセグメント化するステップと、
前記ラスタライズされたメッシュ表面からビデオベースの点群圧縮（Ｖ－ＰＣＣ）画像を生成するステップと、
前記頂点位置及び連結性情報を使用してベースメッシュ符号化を実行するステップと、
前記Ｖ－ＰＣＣ画像及び前記ベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームを生成するステップと、
を含む方法。

２．メッシュボクセル化は、負の値及び非整数値を避けるようにメッシュ値をシフトさせ及び／又はスケーリングするステップを含む、条項１の方法。

３．メッシュボクセル化は、ゼロ未満の最も低い頂点値を発見し、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトさせるステップを含む、条項２の方法。

４．パッチ生成を実行するステップは、三角形毎の法線を計算するステップを含む、条項１の方法。

５．前記三角形の前記法線を計算するステップは、エッジ間の外積を使用するステップを含む、条項４の方法。

６．前記法線に従って三角形をカテゴリ分けするステップをさらに含む、条項４の方法。

７．隣接する三角形を分析することによって精細化プロセスを実行するステップをさらに含む、条項４の方法。

８．ベースメッシュ符号化は、頂点の（ｕ，ｖ）座標を符号化するステップを含む、条項１の方法。

９．前記Ｖ－ＰＣＣビットストリームを生成するステップは、ベースメッシュシグナリングを含み、マルチレイヤ実装を利用する、条項１の方法。

１０．前記マルチレイヤ実装の第１のレイヤは未加工点群を含み、前記マルチレイヤ実装の第２のレイヤは疎なメッシュを含み、前記マルチレイヤ実装の第３のレイヤは密なメッシュを含む、条項９の方法。

１１．各パッチのさらなる連結性データを含むベースメッシュを生成するステップをさらに含み、前記さらなる連結性データを利用すべきであるかどうかをデコーダが決定し、さらに、前記さらなる連結性データはレンダリング及び点フィルタリングを改善する、条項１の方法。

１２．前記連結性情報は、色コードに基づいて符号化される、条項１の方法。

１３．前記Ｖ－ＰＣＣ画像及び前記ベースメッシュ符号化に基づいて前記Ｖ－ＰＣＣビットストリームを生成するステップは、パッチ毎の前記連結性情報を利用する、条項１の方法。

１４．
入力メッシュに対してメッシュボクセル化を実行し、
パッチ生成を実行することによって、前記メッシュを、ラスタライズされたメッシュ表面、並びに頂点位置及び連結性情報を含むパッチにセグメント化し、
前記ラスタライズされたメッシュ表面からビデオベースの点群圧縮（Ｖ－ＰＣＣ）画像を生成し、
前記頂点位置及び連結性情報を使用してベースメッシュ符号化を実行し、
前記Ｖ－ＰＣＣ画像及び前記ベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームを生成するためのアプリケーションを記憶する、
非一時的メモリと、
前記メモリに結合されて前記アプリケーションを処理するように構成されたプロセッサと、
を備える装置。

１５．メッシュボクセル化は、負の値及び非整数値を避けるようにメッシュ値をシフトさせ及び／又はスケーリングすることを含む、条項１４の装置。

１６．メッシュボクセル化は、ゼロ未満の最も低い頂点値を発見し、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトさせることを含む、条項１５の装置。

１７．パッチ生成を実行することは、三角形毎の法線を計算することを含む、条項１４の装置。

１８．前記三角形の前記法線を計算することは、エッジ間の外積を使用することを含む、条項１７の装置。

１９．前記アプリケーションは、さらに前記法線に従って三角形をカテゴリ分けする、条項１７の装置。

２０．前記アプリケーションは、さらに隣接する三角形を分析することによって精細化プロセスを実行する、条項１７の装置。

２１．ベースメッシュ符号化は、頂点の（ｕ，ｖ）座標を符号化することを含む、条項１４の装置。

２２．前記Ｖ－ＰＣＣビットストリームを生成することは、ベースメッシュシグナリングを含み、マルチレイヤ実装を利用する、条項１４の装置。

２３．前記マルチレイヤ実装の第１のレイヤは未加工点群を含み、前記マルチレイヤ実装の第２のレイヤは疎なメッシュを含み、前記マルチレイヤ実装の第３のレイヤは密なメッシュを含む、条項２２の装置。

２４．前記アプリケーションは、さらに各パッチのさらなる連結性データを含むベースメッシュを生成し、前記さらなる連結性データを利用すべきであるかどうかをデコーダが決定し、さらに、前記さらなる連結性データはレンダリング及び点フィルタリングを改善する、条項１４の装置。

２５．前記連結性情報は、色コードに基づいて符号化される、条項１４の装置。

２６．前記Ｖ－ＰＣＣ画像及び前記ベースメッシュ符号化に基づいて前記Ｖ－ＰＣＣビットストリームを生成することは、パッチ毎の前記連結性情報を利用する、条項１４の装置。

２７．
３次元コンテンツを取得する１又は２以上のカメラと、
入力メッシュに対してメッシュボクセル化を実行し、
パッチ生成を実行することによって、前記メッシュを、ラスタライズされたメッシュ表面、並びに頂点位置及び連結性情報を含むパッチにセグメント化し、
前記ラスタライズされたメッシュ表面からビデオベースの点群圧縮（Ｖ－ＰＣＣ）画像を生成し、
前記頂点位置及び連結性情報を使用してベースメッシュ符号化を実行し、
前記Ｖ－ＰＣＣ画像及び前記ベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームを生成することによって前記３次元コンテンツを符号化する、
エンコーダと、
を備えるシステム。

２８．メッシュボクセル化は、負の値及び非整数値を避けるようにメッシュ値をシフトさせ及び／又はスケーリングすることを含む、条項２７のシステム。

２９．メッシュボクセル化は、ゼロ未満の最も低い頂点値を発見し、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトさせることを含む、条項２８のシステム。

３０．パッチ生成を実行することは、三角形毎の法線を計算することを含む、条項２７のシステム。

３１．前記三角形の前記法線を計算することは、エッジ間の外積を使用することを含む、条項３０のシステム。

３２．前記エンコーダは、さらに前記法線に従って三角形をカテゴリ分けする、条項３０のシステム。

３３．前記エンコーダ、さらに隣接する三角形を分析することによって精細化プロセスを実行する、条項３０のシステム。

３４．ベースメッシュ符号化は、頂点の（ｕ，ｖ）座標を符号化することを含む、条項２７のシステム。

３５．前記Ｖ－ＰＣＣビットストリームを生成することは、ベースメッシュシグナリングを含み、マルチレイヤ実装を利用する、条項２７のシステム。

３６．前記マルチレイヤ実装の第１のレイヤは未加工点群を含み、前記マルチレイヤ実装の第２のレイヤは疎なメッシュを含み、前記マルチレイヤ実装の第３のレイヤは密なメッシュを含む、条項３５のシステム。

３７．前記エンコーダは、各パッチのさらなる連結性データを含むベースメッシュを生成するようにさらに構成され、前記さらなる連結性データを利用すべきであるかどうかをデコーダが決定し、さらに、前記さらなる連結性データはレンダリング及び点フィルタリングを改善する、条項２７のシステム。

３８．前記連結性情報は、色コードに基づいて符号化される、条項２７のシステム。

３９．前記Ｖ－ＰＣＣ画像及び前記ベースメッシュ符号化に基づいて前記Ｖ－ＰＣＣビットストリームを生成することは、パッチ毎の前記連結性情報を利用する、条項２７のシステム。

本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。

１００ メッシュボクセル化
１０２ パッチ生成
１０４ Ｖ－ＰＣＣ画像生成
１０６ ベースメッシュ符号化
１０８ Ｖ－ＰＣＣビットストリーム

Claims (39)

1. 装置の非一時的メモリにプログラムされた方法であって、
   入力メッシュに対してメッシュボクセル化を実行するステップと、
   パッチ生成を実行することによって、前記メッシュを、ラスタライズされたメッシュ表面、並びに頂点位置及び連結性情報を含むパッチにセグメント化するステップと、
   前記ラスタライズされたメッシュ表面からビデオベースの点群圧縮（Ｖ－ＰＣＣ）画像を生成するステップと、
   前記頂点位置及び連結性情報を使用してベースメッシュ符号化を実行するステップと、
   前記Ｖ－ＰＣＣ画像及び前記ベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームを生成するステップと、
   を含むことを特徴とする方法。
2. メッシュボクセル化は、負の値及び非整数値を避けるようにメッシュ値をシフトさせ及び／又はスケーリングするステップを含む、
   請求項１に記載の方法。
3. メッシュボクセル化は、ゼロ未満の最も低い頂点値を発見し、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトさせるステップを含む、
   請求項２に記載の方法。
4. パッチ生成を実行するステップは、三角形毎の法線を計算するステップを含む、
   請求項１に記載の方法。
5. 前記三角形の前記法線を計算するステップは、エッジ間の外積を使用するステップを含む、
   請求項４に記載の方法。
6. 前記法線に従って三角形をカテゴリ分けするステップをさらに含む、
   請求項４に記載の方法。
7. 隣接する三角形を分析することによって精細化プロセスを実行するステップをさらに含む、
   請求項４に記載の方法。
8. ベースメッシュ符号化は、頂点の（ｕ，ｖ）座標を符号化するステップを含む、
   請求項１に記載の方法。
9. 前記Ｖ－ＰＣＣビットストリームを生成するステップは、ベースメッシュシグナリングを含み、マルチレイヤ実装を利用する、
   請求項１に記載の方法。
10. 前記マルチレイヤ実装の第１のレイヤは未加工点群を含み、前記マルチレイヤ実装の第２のレイヤは疎なメッシュを含み、前記マルチレイヤ実装の第３のレイヤは密なメッシュを含む、
    請求項９に記載の方法。
11. 各パッチのさらなる連結性データを含むベースメッシュを生成するステップをさらに含み、前記さらなる連結性データを利用すべきであるかどうかをデコーダが決定し、さらに、前記さらなる連結性データはレンダリング及び点フィルタリングを改善する、
    請求項１に記載の方法。
12. 前記連結性情報は、色コードに基づいて符号化される、
    請求項１に記載の方法。
13. 前記Ｖ－ＰＣＣ画像及び前記ベースメッシュ符号化に基づいて前記Ｖ－ＰＣＣビットストリームを生成するステップは、パッチ毎の前記連結性情報を利用する、
    請求項１に記載の方法。
14. 入力メッシュに対してメッシュボクセル化を実行し、
    パッチ生成を実行することによって、前記メッシュを、ラスタライズされたメッシュ表面、並びに頂点位置及び連結性情報を含むパッチにセグメント化し、
    前記ラスタライズされたメッシュ表面からビデオベースの点群圧縮（Ｖ－ＰＣＣ）画像を生成し、
    前記頂点位置及び連結性情報を使用してベースメッシュ符号化を実行し、
    前記Ｖ－ＰＣＣ画像及び前記ベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームを生成する、
    ためのアプリケーションを記憶する非一時的メモリと、
    前記メモリに結合されて前記アプリケーションを処理するように構成されたプロセッサと、
    を備えることを特徴とする装置。
15. メッシュボクセル化は、負の値及び非整数値を避けるようにメッシュ値をシフトさせ及び／又はスケーリングすることを含む、
    請求項１４に記載の装置。
16. メッシュボクセル化は、ゼロ未満の最も低い頂点値を発見し、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトさせることを含む、
    請求項１５に記載の装置。
17. パッチ生成を実行することは、三角形毎の法線を計算することを含む、
    請求項１４に記載の装置。
18. 前記三角形の前記法線を計算することは、エッジ間の外積を使用することを含む、
    請求項１７に記載の装置。
19. 前記アプリケーションは、さらに前記法線に従って三角形をカテゴリ分けする、
    請求項１７に記載の装置。
20. 前記アプリケーションは、さらに隣接する三角形を分析することによって精細化プロセスを実行する、
    請求項１７に記載の装置。
21. ベースメッシュ符号化は、頂点の（ｕ，ｖ）座標を符号化することを含む、
    請求項１４に記載の装置。
22. 前記Ｖ－ＰＣＣビットストリームを生成することは、ベースメッシュシグナリングを含み、マルチレイヤ実装を利用する、
    請求項１４に記載の装置。
23. 前記マルチレイヤ実装の第１のレイヤは未加工点群を含み、前記マルチレイヤ実装の第２のレイヤは疎なメッシュを含み、前記マルチレイヤ実装の第３のレイヤは密なメッシュを含む、
    請求項２２に記載の装置。
24. 前記アプリケーションは、さらに各パッチのさらなる連結性データを含むベースメッシュを生成し、前記さらなる連結性データを利用すべきであるかどうかをデコーダが決定し、さらに、前記さらなる連結性データはレンダリング及び点フィルタリングを改善する、
    請求項１４に記載の装置。
25. 前記連結性情報は、色コードに基づいて符号化される、
    請求項１４に記載の装置。
26. 前記Ｖ－ＰＣＣ画像及び前記ベースメッシュ符号化に基づいて前記Ｖ－ＰＣＣビットストリームを生成することは、パッチ毎の前記連結性情報を利用する、
    請求項１４に記載の装置。
27. ３次元コンテンツを取得する１又は２以上のカメラと、
    入力メッシュに対してメッシュボクセル化を実行し、
    パッチ生成を実行することによって、前記メッシュを、ラスタライズされたメッシュ表面、並びに頂点位置及び連結性情報を含むパッチにセグメント化し、
    前記ラスタライズされたメッシュ表面からビデオベースの点群圧縮（Ｖ－ＰＣＣ）画像を生成し、
    前記頂点位置及び連結性情報を使用してベースメッシュ符号化を実行し、
    前記Ｖ－ＰＣＣ画像及び前記ベースメッシュ符号化に基づいてＶ－ＰＣＣビットストリームを生成する、
    ことによって前記３次元コンテンツを符号化するエンコーダと、
    を備えることを特徴とするシステム。
28. メッシュボクセル化は、負の値及び非整数値を避けるようにメッシュ値をシフトさせ及び／又はスケーリングすることを含む、
    請求項２７に記載のシステム。
29. メッシュボクセル化は、ゼロ未満の最も低い頂点値を発見し、前記最も低い頂点値がゼロを上回るように前記メッシュ値をシフトさせることを含む、
    請求項２８に記載のシステム。
30. パッチ生成を実行することは、三角形毎の法線を計算することを含む、
    請求項２７に記載のシステム。
31. 前記三角形の前記法線を計算することは、エッジ間の外積を使用することを含む、
    請求項３０に記載のシステム。
32. 前記エンコーダは、さらに前記法線に従って三角形をカテゴリ分けする、
    請求項３０に記載のシステム。
33. 前記エンコーダ、さらに隣接する三角形を分析することによって精細化プロセスを実行する、
    請求項３０に記載のシステム。
34. ベースメッシュ符号化は、頂点の（ｕ，ｖ）座標を符号化することを含む、
    請求項２７に記載のシステム。
35. 前記Ｖ－ＰＣＣビットストリームを生成することは、ベースメッシュシグナリングを含み、マルチレイヤ実装を利用する、
    請求項２７に記載のシステム。
36. 前記マルチレイヤ実装の第１のレイヤは未加工点群を含み、前記マルチレイヤ実装の第２のレイヤは疎なメッシュを含み、前記マルチレイヤ実装の第３のレイヤは密なメッシュを含む、
    請求項３５に記載のシステム。
37. 前記エンコーダは、各パッチのさらなる連結性データを含むベースメッシュを生成するようにさらに構成され、前記さらなる連結性データを利用すべきであるかどうかをデコーダが決定し、さらに、前記さらなる連結性データはレンダリング及び点フィルタリングを改善する、
    請求項２７に記載のシステム。
38. 前記連結性情報は、色コードに基づいて符号化される、
    請求項２７に記載のシステム。
39. 前記Ｖ－ＰＣＣ画像及び前記ベースメッシュ符号化に基づいて前記Ｖ－ＰＣＣビットストリームを生成することは、パッチ毎の前記連結性情報を利用する、
    請求項２７に記載のシステム。

Images