JP2022522730A - ポイントクラウドグローバルテトリスパッキング - Google Patents
ポイントクラウドグローバルテトリスパッキング Download PDFInfo
- Publication number
- JP2022522730A JP2022522730A JP2021550292A JP2021550292A JP2022522730A JP 2022522730 A JP2022522730 A JP 2022522730A JP 2021550292 A JP2021550292 A JP 2021550292A JP 2021550292 A JP2021550292 A JP 2021550292A JP 2022522730 A JP2022522730 A JP 2022522730A
- Authority
- JP
- Japan
- Prior art keywords
- patch
- patches
- matching
- matched
- occupancy map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
ここで、更に効率的な時間的コーディングのために、3Dポイントクラウドデータを2D表面内にマッピングする方法を説明する。ポイントクラウドグローバルテトリスパッキングは、3D表面パッチを利用してポイントクラウドを表現して、3Dパッチ表面データの2Dキャンバス画像内への時間的に一貫したグローバルマッピングを実行する。【選択図】図5
Description
〔関連出願の相互参照〕
本出願は、米国特許法第119条(e)の下で、2019年3月18日出願の米国仮特許出願第62/819,856号「ポイントクラウドグローバルテトリスパッキング(POINT CLOUD GLOBAL TETRIS PACKING)」の優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。
本出願は、米国特許法第119条(e)の下で、2019年3月18日出願の米国仮特許出願第62/819,856号「ポイントクラウドグローバルテトリスパッキング(POINT CLOUD GLOBAL TETRIS PACKING)」の優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。
本発明は、3次元グラフィックに関する。より具体的には、本発明は、3次元グラフィックのコーディングに関する。
ポイントクラウドは、3Dスキャナ、LIDARセンサによって取り込まれる又は仮想現実/拡張現実(VR/AR)などの一般的な用途に使用される3Dデータの伝送のための候補フォーマットとして考えられてきた。ポイントクラウドは、3D空間内のポイントの組である。空間位置(X,Y,Z)の他に、各ポイントは、通常、色(R,G,B)又は更には反射率及び経時的なタイムスタンプ(例えばLIDAR画像内)などの関連する属性を有する。対象3Dオブジェクトの高忠実度表現を得るために、装置は、数千又は更には数百万程度のポイントのポイントクラウドを取り込む。更に、VR/AR用途に使用される動的3Dシーンのために、全ての単一のフレームは、多くの場合、固有の高密度のポイントクラウドを有し、その結果、毎秒数百万個のポイントクラウドを伝送することになる。このような大量のデータの実現可能な伝送のために、多くの場合、圧縮が適用される。
2017年、MPEGは、ポイントクラウドの圧縮のための提案募集(CfP)を実施した。いくつかの提案の評価の後、MPEGは、ポイントクラウド圧縮のための2つの異なる技術、すなわち、(octree及び同様のコーディング方法に基づく)3Dネイティブコーディング技術、又は3Dから2Dへの投影後に従来のビデオコーディングを行うことを考えている。動的3Dシーンの場合、MPEGは、パッチ表面モデリング、3D画像から2D画像へのパッチの投影、及びHEVCなどのビデオエンコーダで2D画像を符号化することに基づいて、テストモデルソフトウェア(TMC2)を使用している。この方法は、ネイティブ3Dコーディングよりも効率的であることが判明しており、許容品質で競合ビットレートを実現することができる。
ポイントクラウドを符号化する時、TMC2は、2Dキャンバス画像内のパッチ位置及びバウンディングボックスサイズなどのパッチ投影に関連する補助情報を符号化する。補助情報の時間的コーディングのために、現在のポイントクラウドからのパッチと直ちに復号されたポイントクラウドからのパッチとの間のパッチマッチングを使用して予測を行う。この手順は直接の近隣に限定され、シーケンス内の全てのフレームに対してデルタコーディングを実行することを含む。
本明細書では、更に効率的な時間的コーディングのために、3Dポイントクラウドデータを2D表面内にマッピングする方法を説明する。ポイントクラウドグローバルテトリスパッキングは、3D表面パッチを利用してポイントクラウドを表現して、3Dパッチ表面データの2Dキャンバス画像内への時間的に一貫したグローバルマッピングを実行する。
一態様では、装置の非一時的メモリにプログラムされた方法は、パッチマッチングを実行して、一致したパッチを決定するステップと、前記一致したパッチを含む双方向連結リストを生成するステップと、前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、を含む。パッチマッチングを実行するステップは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含む。前記双方向連結リストは、前方パッチ及び/又は後方パッチと一致するものがあるかどうかを指示する。前記累積オキュパンシーマップを計算するステップは、前記一致したパッチの論理和をとることによって生成される。前記累積オキュパンシーマップを計算するステップは、パッチのバウンディングボックスを位置合わせするステップを含む。各パッチの前記重みを計算するステップは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づく。前記方法は、更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けるステップを含む。前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づく。
別の態様では、装置は、アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、パッチマッチングを実行して、一致したパッチを決定するステップと、前記一致したパッチを含む双方向連結リストを生成するステップと、前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、を実行するためのものである、非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を含む。パッチマッチングを実行するステップは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含む。前記双方向連結リストは、前方パッチ及び/又は後方パッチと一致するものがあるかどうかを指示する。前記累積オキュパンシーマップを計算するステップは、前記一致したパッチの論理和をとることによって生成される。前記累積オキュパンシーマップを計算するステップは、パッチのバウンディングボックスを位置合わせするステップを含む。各パッチの前記重みを計算するステップは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づく。前記アプリケーションは、更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けるステップを実行するためのものである。前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づく。
別の態様では、システムは、3次元コンテンツを取得するための1又は2以上のカメラと、エンコーダであって、パッチマッチングを実行して、一致したパッチを決定し、前記一致したパッチを含む双方向連結リストを生成し、前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算すること、によって、前記3次元コンテンツを符号化するためのエンコーダと、を含む。パッチマッチングを実行することは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含む。前記双方向連結リストは、前方パッチ及び/又は後方パッチと一致するものがあるかどうかを指示する。前記累積オキュパンシーマップを計算することは、前記一致したパッチの論理和をとることによって生成される。前記累積オキュパンシーマップを計算することは、パッチのバウンディングボックスを位置合わせすることを含む。各パッチの前記重みを計算することは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づく。前記システムは、更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けることを含む。前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づく。
本明細書では、更に効率的な時間的コーディングのために、3Dポイントクラウドデータを2D表面内にマッピングする方法を説明する。ポイントクラウドグローバルテトリスパッキングは、3D表面パッチを利用してポイントクラウドを表現して、3Dパッチ表面データの2Dキャンバス画像内への時間的に一貫したグローバルマッピングを実行する。
ビデオエンコーダを使用する3Dポイントクラウドコーディングでは、3Dから2Dへの投影を使用して、ポイントクラウドを表現するビデオを生成する。このビデオを生成する最も効率的な方法は、3Dパッチを使用して、オブジェクトの表面をセグメント化し、直交投影を使用して、一緒にまとめられてビデオエンコーダの入力として使用されるセグメント化された深度画像を生成する。現在のポイントクラウドの規格では、パッチが、第1のフレーム内のそのサイズに従って、次に、後続のフレーム内の一致したパッチに従って、2Dキャンバス内に配置される。この方法は、時間的に一貫したパッチ割り当てを保証せず、圧縮効率を低下させる。
本明細書では、一致したパッチ間の時間的一貫性を保証するように、時間的パッチマッチングを実行して、その後、パッチをソートして2Dキャンバス内に配置するための方法を説明する。この方法は、新規の重み計算によって一致したパッチのより長いランを識別して、このようなパッチの割り当てを優先させる。更に、パッチが複数のフレームにわたってもそれらの一致したパッチに対して一貫した3D位置を維持できるように、パッチを配置する。
図1A及び図1Bに、いくつかの実施形態によるポイントクラウドのパッチ及び結果を示す。例えば、ポイントクラウドのパッチ(又はセグメント)を2D表面にマッピングする。
ポイントクラウドがセグメント化された時、時間的に、多くのパッチは互いに類似しており、パッチが類似している時、それらは一致したパッチとして見なされる。1又は2以上の後続のフレーム内で、1又は複数のパッチを探索する。時間的に一貫するように、2Dキャンバス上にパッチを配置する。したがって、パッチが同じである(例えば、一致するものが見つかった)場合、同じ位置にパッチを配置して、次のフレーム内で同じ位置にパッチが存在するようにすべきである。例えば、ヘルメットをかぶっている兵士のビデオでは、ヘルメットは時間を通して一貫しているので、2Dキャンバス内の同じ位置にヘルメットを配置することができる。
一致するパッチは、画像を比較して、画像がどのくらい類似しているかを判定するための画像処理を使用するなどの任意の方法で識別される。例えば、2つの画像の画素の95%が同じ位置で同じ色である場合、これらの画像は一致している。別の例では、他のコーディング及び/又は位置決めマッチングを実装して、一致するものが検出されたかどうかを判定する。パッチは、3Dの表面、オブジェクトの表面のセグメントを表現し、それらの表面が3D空間内又は投影された2D空間内のいずれかで重なる時、一致がある。一致があるためには、バウンディングボックスは同様のサイズを有し、できるだけ重なるべきである。いくつかの実施形態では、このような場合、ジオメトリ情報のみを考慮し、色情報は考慮に入れない。いくつかの実施形態では、ジオメトリ情報及び色情報の両方を考慮する。
双方向連結リスト(又は他のデータ構造)を生成し、これを使用して、一致したパッチ(前方及び後方)を格納する。時間的に前方に向いて一致するものが存在する場合、第1の矢印(リンク)を追加し、時間的に後方に向いて一致するものが存在する場合、第2の矢印(リンク)を追加する。完成時、双方向連結リストは、どのパッチが時間的に一致するかを指示する。
一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算する。
図2に、いくつかの実施形態による重みを決定して累積オキュパンシーマップを生成する図を示す。フレーム3の画像では、オキュパンシーマップは、どの画素が有効であるかを示す。フレーム2の画像では、パッチがわずかに異なる(例えば、手が動いた)。フレーム3のオキュパンシーマップとフレーム2のオキュパンシーマップとの間の「論理和」演算を実行して、オキュパンシーマップを得る。論理和演算の結果、いずれかのオキュパンシーマップからの画素が1である場合、画素が満たされる。オキュパンシーマップの互いの論理和がとられるので、オキュパンシーマップは満たされる。結果として得られるオキュパンシーマップを使用してパッチを配置して、この領域の全てがパッチによって占められることになる。
重みについては、後方から前方まで、パッチが後方一致パッチを有する場合、最後のフレームを重み1で初期化する。そうでない場合には、重みを0として初期化する。その他のフレームについては、同じ初期化を実行して、1+前方一致パッチの重みを追加する。
最初のフレームについては、重みに従ってリストをソートして、パッチを配置する。後続のフレームについては、(block2Patchに対して)前のフレームと同じ順序を使用して、一致したパッチを最初に配置し、次に、パッチの残りを、それらのそれぞれの重みに従ってソートする。バウンディングボックスは、同じU0,V0を有する必要がない。配置アルゴリズムは、任意のもの(例えば、アンカー、フレキシブルな向き、テトリスパッキング)とすることができる。
図3に、いくつかの実施形態による累積オキュパンシーマップの図を示す。3D座標(U1,V1)に基づいて、バウンディングボックスを位置合わせして、次に、影響を受けた領域全体を成長させることによって、累積オキュパンシーマップを推定する。
図4に、いくつかの実施形態によるパッチソートアルゴリズムの図を示す。いくつかの実施形態では、ソートアルゴリズムは、1)より長いランによるソート、2)サイズによるソート、3)一致したパッチに対して前のフレームと同じ順序に従うこと、である。例えば、一連の3つの小さいパッチが、一連の2つの大きいパッチの前に来て、その一連の2つの大きいパッチは、一連の2つの小さいパッチの前に来る。時間領域内で一致するいくつかの一連のパッチを、2Dキャンバス内に最初に配置して、他のパッチは、これらのパッチに衝突/干渉することができない。いくつかの実施形態では、ソートアルゴリズムが異なる(例えば、サイズによるソートが最初である)。
図5に、いくつかの実施形態によるポイントクラウドグローバルテトリスパッキングを実装する方法のフローチャートを示す。ステップ500において、パッチマッチングを実行して、一致したパッチを決定する。パッチマッチングは、画像を比較して、画像がどのくらい類似しているかを判定するための画像処理を使用するなどの任意の方法で実装される。例えば、2つの画像の画素の95%が同じ位置で同じ色である場合、これらの画像は一致している。別の例では、他のコーディング及び/又は位置決めマッチングを実装して、一致するものが検出されたかどうかを判定する。任意の画像比較/マッチングプロセスを使用して、一致するパッチを決定することができる。ステップ502において、一致したパッチを含む双方向連結リスト(又は他の同様のデータ構造)を生成する。双方向連結リストは、一致するフレーム間のポインタ(リンク)を含む。例えば、フレーム3内のパッチがフレーム2内のパッチと一致する場合、この2つのフレーム内のパッチ間のリンクがあり、フレーム2内のパッチがフレーム1内のパッチと一致する場合、フレーム2及びフレーム1内のパッチ間のリンクがあり、フレーム1内のパッチがフレーム0と一致する場合、フレーム1及びフレーム0内のパッチ間のリンクがある。ステップ504において、一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算する。パッチの互いの論理和をとることによって、累積オキュパンシーマップを計算する。分かりやすくするために、論理和をとることは、下式を意味する。
0 OR 0 = 0,
0 OR 1 = 1,
1 OR 0 = 1,
1 OR 1 = 1.
例えば、フレーム3及びフレーム2からの一致したパッチの論理和がとられる場合、フレーム3からのパッチからの第1の画素(例えば、最も左上の画素)と対応する画素(例えば、最も左上の画素)との論理和がとられて、最後の画素(例えば、最も右下の画素)まで、パッチに対してプロセスを続行する。この例を更に進めて、フレーム3内のパッチ内の最も左上の画素が0であり、フレーム2内のパッチ内の対応する画素が0であるので、累積オキュパンシーマップは、最も左上の画素において0を有するが、次の画素がフレーム3内で1、フレーム2内で0であるので、累積オキュパンシーマップは、次の画素などにおいて1を有する。実装に応じて、次の一致するパッチ(例えば、4つの一致するパッチがあると仮定する)とオキュパンシーマップとの論理和をとって、最後のオキュパンシーマップが、論理和がとられたパッチ(例えば、4つのパッチ)の組み合わせであるようにする。
0 OR 0 = 0,
0 OR 1 = 1,
1 OR 0 = 1,
1 OR 1 = 1.
例えば、フレーム3及びフレーム2からの一致したパッチの論理和がとられる場合、フレーム3からのパッチからの第1の画素(例えば、最も左上の画素)と対応する画素(例えば、最も左上の画素)との論理和がとられて、最後の画素(例えば、最も右下の画素)まで、パッチに対してプロセスを続行する。この例を更に進めて、フレーム3内のパッチ内の最も左上の画素が0であり、フレーム2内のパッチ内の対応する画素が0であるので、累積オキュパンシーマップは、最も左上の画素において0を有するが、次の画素がフレーム3内で1、フレーム2内で0であるので、累積オキュパンシーマップは、次の画素などにおいて1を有する。実装に応じて、次の一致するパッチ(例えば、4つの一致するパッチがあると仮定する)とオキュパンシーマップとの論理和をとって、最後のオキュパンシーマップが、論理和がとられたパッチ(例えば、4つのパッチ)の組み合わせであるようにする。
いくつかの実施形態では、累積オキュパンシーマップは、3D座標(U1,V1)が与えられたパッチのバウンディングボックスを位置合わせして、影響を受けた領域全体を成長させることによって累積オキュパンシーマップを推定することにも基づく。
パッチをどのように編成する/順序付けるかを決定することは、本明細書で説明するようなパッチソートアルゴリズム(例えば、より長いランによるソート、サイズによるソート、及び一致したパッチに対して前のフレームと同じ順序に従うこと)に基づく。
後方から前方まで、各パッチの重みを計算する。ここで、最後のフレームのパッチが後方一致パッチを有する場合、最後のフレームのパッチは重み1を有する。そうでない場合には、パッチは重み0を有する。そして、その他のフレームのパッチについては、同じ初期化を実行して、1+前方一致パッチの重みを追加する。例えば、フレーム3のパッチ(フレーム0~3からのパッチが一致する場合)が、後方一致パッチを有するので、パッチは重み1を有する。次に、フレーム2は、フレーム1への後方一致パッチを有するので、1+(1+1)=3の重みを有する。フレーム1は、フレーム0への後方一致パッチを有するので、1+(1+3)=5の重みを有する。フレーム0は、後方一致パッチを有さないので、0+(1+5)=6の重みを有する。いくつかの実施形態では、より少ない又は追加のステップを実装する。いくつかの実施形態では、ステップの順序が変更される。
図6に、いくつかの実施形態によるポイントクラウドグローバルテトリスパッキングを実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置600を使用して、3Dコンテンツを含む画像及びビデオなどの情報を、取得、記憶、計算、処理、通信及び/又は表示することができる。コンピュータ装置600は、ポイントクラウドグローバルテトリスパッキングの態様のいずれかを実装することができる。一般に、コンピュータ装置600を実装するのに適したハードウェア構造は、ネットワークインタフェース602、メモリ604、プロセッサ606、I/Oデバイス608、バス610、及び記憶装置612を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ604は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置612は、ハードドライブ、CDROM、CDRW、DVD、DVDRW、高精細ディスク/ドライブ、超高精細ドライブ、フラッシュメモリカード又は他の任意の記憶装置を含むことができる。コンピュータ装置600は、1又は2以上のネットワークインタフェース602を含むことができる。ネットワークインタフェースの一例は、イーサネット又は他のタイプのLANに接続されるネットワークカードを含む。I/Oデバイス608は、以下のもの、すなわち、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインタフェース及び他のデバイスのうちの1又は2以上を含むことができる。ポイントクラウドグローバルテトリスパッキングを実装するのに使用されるポイントクラウドグローバルテトリスパッキングアプリケーション630は、記憶装置612及びメモリ604に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置600は、図6に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、ポイントクラウドグローバルテトリスパッキングハードウェア620が含まれる。図6のコンピュータ装置600は、ポイントクラウドグローバルテトリスパッキングのためのアプリケーション630及びハードウェア620を含むが、ポイントクラウドグローバルテトリスパッキングは、コンピュータ装置に、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせとして実装することができる。例えば、いくつかの実施形態では、ポイントクラウドグローバルテトリスパッキングアプリケーション630は、メモリにプログラムされて、プロセッサを使用して実行される。別の例では、いくつかの実施形態では、ポイントクラウドグローバルテトリスパッキングハードウェア620は、ポイントクラウドグローバルテトリスパッキングを実装するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。
いくつかの実施形態では、ポイントクラウドグローバルテトリスパッキングアプリケーション630は、いくつかのアプリケーション及び/又はモジュールを含む。いくつかの実施形態では、モジュールは、1又は2以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。
いくつかの実施形態では、ポイントクラウドグローバルテトリスパッキングハードウェア620は、レンズなどのカメラコンポーネント、イメージセンサ、及び/又は他の任意のカメラコンポーネントを含む。
好適なコンピュータ装置の例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話/携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、移動体デバイス、ビデオプレーヤー、ビデオディスクライター/プレーヤー(例えば、DVDライター/プレーヤー、高精細ディスクライター/プレーヤー、超高精細ディスクライター/プレーヤー)、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー(例えば、スマートウォッチ)、車両(例えば、自動運転車両)又は他の任意の好適なコンピュータ装置を含む。
ポイントクラウドグローバルテトリスパッキング方法を利用するために、装置が3Dコンテンツを取得又は受信して、3Dコンテンツの適切で効率的な表示を可能にするように最適化された方法でコンテンツを処理及び/又は送信する。ポイントクラウドグローバルテトリスパッキングは、ユーザの援助によって又はユーザが関与することなく自動的に実装することができる。
動作時、ポイントクラウドグローバルテトリスパッキングは、符号化に関してより効率的である。エンコーダ側で生成される連結リストを見て時間的一貫性を強化して、より大きいオキュパンシーマップ(いくつかの単一オキュパンシーマッチの論理和の結果)を利用することによって、パッチ割り当てのためのキャンバス内の空間を確保して、パッチの衝突を回避することによって、2Dキャンバス内にパッチを配置することによって、効率の向上を達成する。
ポイントクラウドグローバルテトリスパッキングのいくつかの実施形態
1.装置の非一時的メモリにプログラムされた方法であって、
パッチマッチングを実行して、一致したパッチを決定するステップと、
前記一致したパッチを含む双方向連結リストを生成するステップと、
前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、
を含む方法。
1.装置の非一時的メモリにプログラムされた方法であって、
パッチマッチングを実行して、一致したパッチを決定するステップと、
前記一致したパッチを含む双方向連結リストを生成するステップと、
前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、
を含む方法。
2.パッチマッチングを実行するステップは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含む、第1項に記載の方法。
3.前記双方向連結リストは、前方パッチ及び/又は後方パッチと一致するものがあるかどうかを指示する、第1項に記載の方法。
4.前記累積オキュパンシーマップを計算するステップは、前記一致したパッチの論理和をとることによって生成される、第1項に記載の方法。
5.前記累積オキュパンシーマップを計算するステップは、パッチのバウンディングボックスを位置合わせするステップを含む、第1項に記載の方法。
6.各パッチの前記重みを計算するステップは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づく、第1項に記載の方法。
7.更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けるステップを含む、第1項に記載の方法。
8.前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づく、第7項に記載の方法。
9.装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
パッチマッチングを実行して、一致したパッチを決定するステップと、
前記一致したパッチを含む双方向連結リストを生成するステップと、
前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、
を実行するためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
パッチマッチングを実行して、一致したパッチを決定するステップと、
前記一致したパッチを含む双方向連結リストを生成するステップと、
前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、
を実行するためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。
10.パッチマッチングを実行するステップは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含む、第9項に記載の装置。
11.前記双方向連結リストは、前方パッチ及び/又は後方パッチと一致するものがあるかどうかを指示する、第9項に記載の装置。
12.前記累積オキュパンシーマップを計算するステップは、前記一致したパッチの論理和をとることによって生成される、第9項に記載の装置。
13.前記累積オキュパンシーマップを計算するステップは、パッチのバウンディングボックスを位置合わせするステップを含む、第9項に記載の装置。
14.各パッチの前記重みを計算するステップは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づく、第9項に記載の装置。
15.前記アプリケーションは、更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けるステップを実行するためのものである、第9項に記載の装置。
16.前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づく、第15項に記載の装置。
17.システムであって、
3次元コンテンツを取得するための1又は2以上のカメラと、
エンコーダであって、
パッチマッチングを実行して、一致したパッチを決定し、
前記一致したパッチを含む双方向連結リストを生成し、
前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算すること、
によって、前記3次元コンテンツを符号化するためのエンコーダと、
を含むシステム。
3次元コンテンツを取得するための1又は2以上のカメラと、
エンコーダであって、
パッチマッチングを実行して、一致したパッチを決定し、
前記一致したパッチを含む双方向連結リストを生成し、
前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算すること、
によって、前記3次元コンテンツを符号化するためのエンコーダと、
を含むシステム。
18.パッチマッチングを実行することは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含む、第17項に記載のシステム。
19.前記双方向連結リストは、前方パッチ及び/又は後方パッチと一致するものがあるかどうかを指示する、第17項に記載のシステム。
20.前記累積オキュパンシーマップを計算することは、前記一致したパッチの論理和をとることによって生成される、第17項に記載のシステム。
21.前記累積オキュパンシーマップを計算することは、パッチのバウンディングボックスを位置合わせすることを含む、第17項に記載のシステム。
22.各パッチの前記重みを計算することは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づく、第17項に記載のシステム。
23.更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けることを含む、第17項に記載のシステム。
24.前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づく、第23項に記載のシステム。
本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。
500 パッチマッチングを実行して、一致したパッチを決定
502 一致したパッチを含む双方向連結リストを生成
504 一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算
600 コンピュータ装置
602 ネットワークインタフェース
604 メモリ
606 プロセッサ
608 I/Oデバイス
610 バス
612 記憶装置
620 ポイントクラウドグローバルテトリスパッキングハードウェア
630 ポイントクラウドグローバルテトリスパッキングアプリケーション
502 一致したパッチを含む双方向連結リストを生成
504 一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算
600 コンピュータ装置
602 ネットワークインタフェース
604 メモリ
606 プロセッサ
608 I/Oデバイス
610 バス
612 記憶装置
620 ポイントクラウドグローバルテトリスパッキングハードウェア
630 ポイントクラウドグローバルテトリスパッキングアプリケーション
Claims (24)
- 装置の非一時的メモリにプログラムされた方法であって、
パッチマッチングを実行して、一致したパッチを決定するステップと、
前記一致したパッチを含む双方向連結リストを生成するステップと、
前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、
を含むことを特徴とする方法。 - パッチマッチングを実行するステップは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含むことを特徴とする、請求項1に記載の方法。
- 前記双方向連結リストは、前方パッチ及び/又は後方パッチと一致するものがあるかどうかを指示することを特徴とする、請求項1に記載の方法。
- 前記累積オキュパンシーマップを計算するステップは、前記一致したパッチの論理和をとることによって生成されることを特徴とする、請求項1に記載の方法。
- 前記累積オキュパンシーマップを計算するステップは、パッチのバウンディングボックスを位置合わせするステップを含むことを特徴とする、請求項1に記載の方法。
- 各パッチの前記重みを計算するステップは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づくことを特徴とする、請求項1に記載の方法。
- 更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けるステップを含むことを特徴とする、請求項1に記載の方法。
- 前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づくことを特徴とする、請求項7に記載の方法。
- 装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
パッチマッチングを実行して、一致したパッチを決定するステップと、
前記一致したパッチを含む双方向連結リストを生成するステップと、
前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、
を実行するためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含むことを特徴とする装置。 - パッチマッチングを実行するステップは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含むことを特徴とする、請求項9に記載の装置。
- 前記双方向連結リストは、前方パッチ及び/又は後方パッチと一致するものがあるかどうかを指示することを特徴とする、請求項9に記載の装置。
- 前記累積オキュパンシーマップを計算するステップは、前記一致したパッチの論理和をとることによって生成されることを特徴とする、請求項9に記載の装置。
- 前記累積オキュパンシーマップを計算するステップは、パッチのバウンディングボックスを位置合わせするステップを含むことを特徴とする、請求項9に記載の装置。
- 各パッチの前記重みを計算するステップは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づくことを特徴とする、請求項9に記載の装置。
- 前記アプリケーションは、更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けるステップを実行するためのものであることを特徴とする、請求項9に記載の装置。
- 前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づくことを特徴とする、請求項15に記載の装置。
- システムであって、
3次元コンテンツを取得するための1又は2以上のカメラと、
エンコーダであって、
パッチマッチングを実行して、一致したパッチを決定し、
前記一致したパッチを含む双方向連結リストを生成し、
前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算すること、
によって、前記3次元コンテンツを符号化するためのエンコーダと、
を含むことを特徴とするシステム。 - パッチマッチングを実行することは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含むことを特徴とする、請求項17に記載のシステム。
- 前記双方向連結リストは、前方パッチ及び/又は後方パッチと一致するものがあるかどうかを指示することを特徴とする、請求項17に記載のシステム。
- 前記累積オキュパンシーマップを計算することは、前記一致したパッチの論理和をとることによって生成されることを特徴とする、請求項17に記載のシステム。
- 前記累積オキュパンシーマップを計算することは、パッチのバウンディングボックスを位置合わせすることを含むことを特徴とする、請求項17に記載のシステム。
- 各パッチの前記重みを計算することは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づくことを特徴とする、請求項17に記載のシステム。
- 更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けることを含むことを特徴とする、請求項17に記載のシステム。
- 前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づくことを特徴とする、請求項23に記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962819856P | 2019-03-18 | 2019-03-18 | |
US62/819,856 | 2019-03-18 | ||
US16/655,673 US11107249B2 (en) | 2019-03-18 | 2019-10-17 | Point cloud global tetris packing |
US16/655,673 | 2019-10-17 | ||
PCT/IB2020/052033 WO2020188402A1 (en) | 2019-03-18 | 2020-03-09 | Point cloud global tetris packing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022522730A true JP2022522730A (ja) | 2022-04-20 |
JP7185194B2 JP7185194B2 (ja) | 2022-12-07 |
Family
ID=72515210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021550292A Active JP7185194B2 (ja) | 2019-03-18 | 2020-03-09 | ポイントクラウドグローバルテトリスパッキング |
Country Status (5)
Country | Link |
---|---|
US (2) | US11107249B2 (ja) |
EP (1) | EP3922024A1 (ja) |
JP (1) | JP7185194B2 (ja) |
KR (1) | KR20210107846A (ja) |
WO (1) | WO2020188402A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11107249B2 (en) * | 2019-03-18 | 2021-08-31 | Sony Group Corporation | Point cloud global tetris packing |
WO2020190093A1 (ko) * | 2019-03-20 | 2020-09-24 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08241437A (ja) * | 1995-01-31 | 1996-09-17 | Mitsubishi Electric Res Lab Inc | ボクセルに基づくオブジェクト表現のための衝突回避システム |
US20130084008A1 (en) * | 2010-06-12 | 2013-04-04 | Cambridge Enterprise Limited | Methods and systems for semantic label propagation |
US20150212521A1 (en) * | 2013-05-23 | 2015-07-30 | Irobot Corporation | Simultaneous Localization And Mapping For A Mobile Robot |
US20180268570A1 (en) * | 2017-03-16 | 2018-09-20 | Samsung Electronics Co., Ltd. | Point cloud and mesh compression using image/video codecs |
WO2019016158A1 (en) * | 2017-07-21 | 2019-01-24 | Thomson Licensing | METHODS, DEVICES AND FLOWS FOR ENCODING AND DECODING VOLUMETRIC VIDEO |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7003136B1 (en) * | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
EP1673627A4 (en) * | 2003-10-14 | 2008-02-20 | Verseon | METHOD AND DEVICE FOR PARTITIONING A MOLECULE |
US8577538B2 (en) * | 2006-07-14 | 2013-11-05 | Irobot Corporation | Method and system for controlling a remote vehicle |
JP5206752B2 (ja) * | 2010-08-30 | 2013-06-12 | 株式会社デンソー | 走行環境認識装置 |
US9020637B2 (en) * | 2012-11-02 | 2015-04-28 | Irobot Corporation | Simultaneous localization and mapping for a mobile robot |
US10154246B2 (en) * | 2014-11-20 | 2018-12-11 | Cappasity Inc. | Systems and methods for 3D capturing of objects and motion sequences using multiple range and RGB cameras |
US9396554B2 (en) * | 2014-12-05 | 2016-07-19 | Symbol Technologies, Llc | Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code |
US20180374267A1 (en) * | 2017-06-08 | 2018-12-27 | Fernando Jose Yurkin | Method and System to Enhance Spectator Experience |
GB2564401B (en) * | 2017-07-06 | 2020-10-07 | Sony Interactive Entertainment Inc | System and method of enhancing a 3D printed model |
US10909725B2 (en) * | 2017-09-18 | 2021-02-02 | Apple Inc. | Point cloud compression |
EP3769507A4 (en) * | 2018-03-23 | 2022-03-30 | Netradyne, Inc. | MAPPING OF TRAFFIC BOUNDARIES |
US10909726B2 (en) * | 2018-04-10 | 2021-02-02 | Apple Inc. | Point cloud compression |
US11012713B2 (en) * | 2018-07-12 | 2021-05-18 | Apple Inc. | Bit stream structure for compressed point cloud data |
WO2020026846A1 (ja) * | 2018-08-02 | 2020-02-06 | ソニー株式会社 | 画像処理装置および方法 |
US20200153885A1 (en) * | 2018-10-01 | 2020-05-14 | Lg Electronics Inc. | Apparatus for transmitting point cloud data, a method for transmitting point cloud data, an apparatus for receiving point cloud data and/or a method for receiving point cloud data |
US11430155B2 (en) * | 2018-10-05 | 2022-08-30 | Apple Inc. | Quantized depths for projection point cloud compression |
US11107249B2 (en) * | 2019-03-18 | 2021-08-31 | Sony Group Corporation | Point cloud global tetris packing |
CN111524238B (zh) * | 2020-04-23 | 2022-02-01 | 南京航空航天大学 | 一种基于编码点驱动的三维点云变形方法 |
-
2019
- 2019-10-17 US US16/655,673 patent/US11107249B2/en active Active
-
2020
- 2020-03-09 WO PCT/IB2020/052033 patent/WO2020188402A1/en unknown
- 2020-03-09 KR KR1020217024171A patent/KR20210107846A/ko not_active Application Discontinuation
- 2020-03-09 EP EP20714282.9A patent/EP3922024A1/en active Pending
- 2020-03-09 JP JP2021550292A patent/JP7185194B2/ja active Active
-
2021
- 2021-07-26 US US17/385,044 patent/US11605184B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08241437A (ja) * | 1995-01-31 | 1996-09-17 | Mitsubishi Electric Res Lab Inc | ボクセルに基づくオブジェクト表現のための衝突回避システム |
US20130084008A1 (en) * | 2010-06-12 | 2013-04-04 | Cambridge Enterprise Limited | Methods and systems for semantic label propagation |
US20150212521A1 (en) * | 2013-05-23 | 2015-07-30 | Irobot Corporation | Simultaneous Localization And Mapping For A Mobile Robot |
US20180268570A1 (en) * | 2017-03-16 | 2018-09-20 | Samsung Electronics Co., Ltd. | Point cloud and mesh compression using image/video codecs |
WO2019016158A1 (en) * | 2017-07-21 | 2019-01-24 | Thomson Licensing | METHODS, DEVICES AND FLOWS FOR ENCODING AND DECODING VOLUMETRIC VIDEO |
Also Published As
Publication number | Publication date |
---|---|
JP7185194B2 (ja) | 2022-12-07 |
US20210350582A1 (en) | 2021-11-11 |
EP3922024A1 (en) | 2021-12-15 |
US20200302648A1 (en) | 2020-09-24 |
US11605184B2 (en) | 2023-03-14 |
WO2020188402A1 (en) | 2020-09-24 |
US11107249B2 (en) | 2021-08-31 |
CN113545075A (zh) | 2021-10-22 |
KR20210107846A (ko) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102402494B1 (ko) | 지오메트리 정보의 모션 보상 | |
US11010955B2 (en) | Point cloud mapping | |
JP7276697B2 (ja) | ポイントクラウドジオメトリパディング | |
JP7003994B2 (ja) | 画像処理装置および方法 | |
CN110276829B (zh) | 通过多尺度体素哈希处理的三维表示 | |
JP2023514853A (ja) | 投影ベースのメッシュ圧縮 | |
JP2016522485A (ja) | 再構成からの隠消現実感効果および媒介現実感効果 | |
US20170064279A1 (en) | Multi-view 3d video method and system | |
US11605184B2 (en) | Point cloud global tetris packing | |
JP2022522729A (ja) | ポイントクラウド圧縮のための量子化ステップパラメータ | |
JP2022519462A (ja) | ホモグラフィ変換を使用した点群符号化 | |
TW201436552A (zh) | 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置 | |
US10735766B2 (en) | Point cloud auxiliary information coding | |
CN113545075B (zh) | 点云全局方块打包 | |
CN113557745B (zh) | 点云几何结构填充 | |
JP7450861B2 (ja) | ルックアップテーブルを使用するポイントクラウド圧縮のためのフォワード及び逆量子化 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7185194 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |