JP2014532945A - 予測位置復号 - Google Patents

予測位置復号 Download PDF

Info

Publication number
JP2014532945A
JP2014532945A JP2014540282A JP2014540282A JP2014532945A JP 2014532945 A JP2014532945 A JP 2014532945A JP 2014540282 A JP2014540282 A JP 2014540282A JP 2014540282 A JP2014540282 A JP 2014540282A JP 2014532945 A JP2014532945 A JP 2014532945A
Authority
JP
Japan
Prior art keywords
cell
empty child
empty
cells
symbol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014540282A
Other languages
English (en)
Other versions
JP2014532945A5 (ja
JP5932051B2 (ja
Inventor
ウェンフェイ ジアン
ウェンフェイ ジアン
カンイン ツァイ
カンイン ツァイ
テン マー
テン マー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2014532945A publication Critical patent/JP2014532945A/ja
Publication of JP2014532945A5 publication Critical patent/JP2014532945A5/ja
Application granted granted Critical
Publication of JP5932051B2 publication Critical patent/JP5932051B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

3次元メッシュモデルを位置復号するための方法および装置であって、空でない子セルCl,kのシンボル確率を予測するステップであって、Cl,kは、レイヤlにおけるk番目のセルを示し、シンボル確率は、フィッティングされた平面Pの精度に基づいて推定される、ステップと、受信された空でない子セルの予測された確率に応答して、空でない子セルを復号するステップと、空でない子セルが2つ以上の頂点を有する場合、空でない子セルを細分するステップと、レイヤlに未処理の空でない子セルがそれ以上あるかどうか判定するステップと、レイヤlに未処理の空でない子セルがそれ以上ない場合、空でない子セルの最も下のレイヤに達したかどうか判定するステップと、空でない子セルの最も下のレイヤに達した場合、3次元メッシュモデルを再生するステップとを含む方法および装置について記載されている。

Description

本発明は、3次元(3D)モデルに関し、より詳細には、3Dメッシュデータモデルを圧縮および送信すること、ならびに圧縮された3Dデータを受信および復号することに関する。
建築設計、化学工場、および機械のコンピュータ支援設計(CAD)設計のような大規模な3Dエンジニアリングモデルが、Second Life(商標)およびGoogle Earth(商標)など様々な仮想世界アプリケーション内でますます展開されつつある。大抵のエンジニアリングモデルには、多数の小さいサイズから中サイズの接続構成要素があり、各構成要素は、平均で最大数百ポリゴンを有する。さらに、これらのタイプのモデルは、様々な位置、スケール、および向きで繰り返されるいくつかの幾何学的特徴を有する。コンピュータゲームおよびビデオゲームは、映画(ムービー)産業と同様に3Dモデルを使用する。ムービー産業は、アニメーション映画および実写映画内のキャラクタおよび物体として3Dモデルを使用する。3Dモデルは、医薬および建築でも使用される。
1990年代初頭以来、3Dメッシュを効率的に圧縮するために、様々なアルゴリズムが開発されている。しかし、初期の研究は、大抵、滑らかなサーフェスと小さな三角形を有する単接続の3Dモデルを圧縮することに集中していた。大規模な3Dエンジニアリングモデルなど多接続の3Dモデルの場合、これらの構成要素は、別々に圧縮される。これは、比較的効果のない圧縮の原因となる。実際、圧縮性能は、異なる接続構成要素間の冗長性を除去することによって大きく高めることができる。映画産業における3Dモデルの圧縮は、ブロードバンドを介して消費者に3D映画を送信する際に、また劇場に送信する際に非常に重要である。3Dメッシュモデル(たとえば、ムービー、映画)は、非常に大量の帯域幅を消費する。
大規模な3Dエンジニアリングモデル内の繰り返す幾何学的特徴を自動的に発見するための方法が非特許文献1(以下、「Shikare」)で提案されている。しかし、3Dエンジニアリングモデルのより効率的な圧縮のために多くの余地が残されていた。たとえば、元のモデルを復元するために必要な、繰り返されるインスタンスの変形情報をカバーする圧縮解決策は提供されていなかった。3Dエンジニアリングモデルが通常有する接続構成要素の大きなサイズを考えると、この種の情報もまた、大量のストレージを消費する。さらに、構成要素の頂点の位置のPCA(主成分分析)が使用される場合、同じ幾何形状、および異なる接続可能性(connectivity)を有する構成要素は、同じ平均値(mean)および同じ配向軸を有することになる。したがって、現況技術は、様々なスケールで繰り返すパターンを検出するのに適していない。スケール(すなわち、サイズ)が異なるだけの2つの構成要素は、同じ同値類の繰り返す特徴として認識されない。さらに、Shikareに記載されているものより高い圧縮率を達成することが望ましい。
非特許文献2(以下「Devillers」)は、メッシュモデルの接続構成要素すべての手段(means)を符号化するためのKD木ベースの圧縮アルゴリズムについて記載している。各反復において、このアルゴリズムは、セルを2つの子セルに細分し、2つの子セルの1つにおける頂点の数を符号化する。親セルがp個の頂点を含む場合、子セルの1つにおける頂点の数を、算術コーダでlog(p+1)ビットを使用して符号化することができる。この細分は、空でない各セルが頂点を1つしか含まない十分に小さいものとなり、頂点位置の十分正確な再構築を可能にするまで帰納的に適用される。Devillersには、このアルゴリズムは非一様分布にとって最も効率的であり、規則的な分布は最悪の場合であることが述べられている。
シンボルがアルファベットまたはシンボルセットから選択される一連のシンボルを、エントロピー符号化によって圧縮することができる。エントロピー符号化エンジンは、統計モデル、すなわちシンボルの確率分布に基づいてシンボルのために符号語を割り当てる。一般に、最も頻繁に使用されるシンボルは、より少ないビットでエントロピー符号化され、あまり頻繁に発生しないシンボルは、より多くのビットでエントロピー符号化される。
エントロピー符号化は、数十年の間研究されている。基本的に、3つのタイプのエントロピー符号化法、すなわち、ハフマン符号化のような可変長符号化(VLC)、算術符号化、およびLempel−Ziv(LZ)圧縮またはLempel−Ziv−Welch(LZW)圧縮のような辞書ベースの圧縮がある。
VLC符号は、整数のビットを使用し、各シンボルを表す。ハフマン符号化は、最も広く使用されているVLC法である。ハフマン符号化は、より少ないビットをより確率の高いシンボルに割り当て、一方、より多くのビットをより確率の低いシンボルに割り当てる。ハフマン符号化は、各シンボルの確率が1/2の整数乗であるとき最適である。算術符号化は、整数分の一のビット数を各シンボルに割り振ることができ、その結果、エントロピーにより近づくことができる。ハフマン符号化および算術符号化は、既存の画像(ビデオ)圧縮標準、たとえばJPEG、MPEG−2、H.264/AVCで広く使用されている。LZまたはLZWは、繰り返されるデータストリングをテーブルエントリで置換するテーブルベースの圧縮モデルを使用する。大抵のLZ法の場合、テーブルは、それより前の入力データから動的に生成される。この辞書ベースのアルゴリズムは、たとえばGIF、Zip、PNG標準で使用されている。
空間木ベースの手法を使用し、ウォータータイトな3Dモデルのランダムな点位置および頂点位置など幾何学データを圧縮することができる。ウォータータイトな3Dモデルは、頂点が均等かつ密に分配されるモデルである。空間木ベースの手法は、八分木またはKD木によって入力空間点を編成する。この木がトラバースされ、木の復元に必要とされる情報が記憶される。
最初に、3Dモデルのすべての点周りに境界ボックスが構築される。3D点すべての境界ボックスは、初めに単一のセルとみなされる。空間木を構築するために、空でない各セルが、頂点を1つしか含まず、頂点位置の十分正確な再構築を可能にするのに十分に小さいものとなるまでセルが帰納的に細分される。頂点位置は対応するセルの中心座標から復元することができるので、空間木ベースのアルゴリズムは、単一解像度圧縮アルゴリズムと同じ圧縮率で多重解像度圧縮を達成することができる。
図1は、2Dの場合におけるKD木符号化の原理を示す。この2Dモデルは、親セルと呼ばれる境界ボックス10によって囲まれる。7つの頂点が親セル内に配置される。KD木符号化アルゴリズムは、所定の数のビットを使用して頂点の総数を符号化することから開始し、次いでセルを帰納的に細分する。親セルを2つの子セルに細分するたびに、2つの子セルの1つにおける頂点の数を符号化する。慣例により、これは左の子セル(垂直分割後)または上のセル(水平分割後)とすることができる。親セルがp個の頂点を含む場合、子セルの1つにおける頂点の数を、算術コーダでlog(p+1)ビットを使用して符号化することができる。この細分は、空でない各セルが、頂点を1つしか含まず、頂点位置の十分正確な再構築を可能にするのに十分に小さいものとなるまで帰納的に適用される。繰り返されるインスタンスすべての位置を圧縮するために、すべての位置の境界ボックス10全体が、初めに親セルとみなされる。図1の例では、頂点の総数(7)が32ビットを使用して符号化される。次いで、垂直分割が適用され、その結果、左の子セルV1および右の子セルV2が得られる。次の符号化ステップでは、左の子セルV1内の頂点の数、4つが符号化される。符号化に使用されるビットの数は、親セル内の頂点の数によって決定され、この例では、log(7+1)=3ビットである。親セル内の頂点の数および左の子セルV1内の頂点の数から、右の子セルV2内の頂点の数は推論され、したがって符号化される必要がない。
次のステップでは、水平分割が適用される。左の子セルV1、今や親セルV1が、上の子セルV1H1、および下の子セルV1H2に分割される。右の子セルV2、今や親セルV2は、上の子セルV2H1、および下の子セルV2H2に分割される。符号化は、2つの頂点を有する左上の子セルV1H1で続行する。したがって、次に数2が符号化され、算術コーダにおいてlog(4+1)=2.3ビットが使用される。上述のように、左下の子セルV1H2内の頂点の数は、左のセルV1内、および左上の子セルV1H1内の頂点の数から推論することができるので、符号化される必要がない。次いで、同じ手順が右のセルV2に適用され、これは、2つのビットを使用してゼロを符号化することになる。図1に示されているように、各頂点が別々のセル内に入るまで、あと2つの分割ステップが必要であり、各頂点がそのセル内で十分に局在化されるまで、さらに多くのステップが必要である。各ステップは、ますます多くの1または0の符号化を必要とする。必要とされる精度に応じて、追加のステップの数は高くなり得る。
一方、八分木ベースの手法は、各反復において、空でないセルを8個の子セルに細分する。例示を簡単にするために、四分木を示す2Dの例が図2および図3に示されている。トラバースの順序が矢印によって示されている。符号化するためには、現在の親セルが、予め定義された順序でトラバースされる4つの子セルに分割され、子セル当たり単一のビットが、その子セル内に点がある否かを示す。たとえば、図2では、2つの親セル1、2の子セルが、矢印で示されているようにトラバースされ、空でないセルは、灰色に着色されている。第1の親セル1の子セル210、211、212、213は、第1のシーケンス「1010」によって表される。トラバーサルの第1の子セル210および第3の子セル212は、空でなく(すなわち、1または複数の点を含む)、それらは「1」によって示される。第2の子セル211および第4の子セル213は、空であり(すなわち、点を含まない)、それらは「0」によって示される。図3は、異なるトラバーサル、および得られるシーケンスを使用して同じセルを示す。
図4は、八分木方式の親セルおよび子セルを示す。八分木方式では、親セルが8個の子セル40、...、46に分割される(左下のセル42の背後の1つの隠れた子セルは示されていない)。可能なトラバースの順序は、左から右、上から下、および手前から後ろであり、セル40−41−42−43−44−45−(左下のセル42の背後の隠れたセル)−46のトラバースシーケンスになる。それに対応して、八分木の場合には、空でない子セル構成が8ビットの2進数によって示され、空の子セルおよび空でない子セルの255の可能な組合せすべてをカバーする。空でない子セルの数を別々に符号化することは必要とされない。表1は、シーケンスの例である。
Figure 2014532945
親セル内の子セルの特定のトラバースの順序は、本実施形態にとってそれほど関連がないことに留意されたい。原理上、任意のトラバースの順序を本実施形態のために使用することができる。以下では、子セル構成を表すために使用されるビットストリングは、シンボルとして示される。表1の例では、各シンボルについて8ビットが使用される。他の実装では、シンボル内のビットの数は様々なものであってよい。たとえば、四分木のための子セル構成を表すために4ビットが使用され、したがって、図2の例におけるシンボルについてのビットの数は4である。
図5は、八分木構造の例を示す。各ノードがシンボルに関連付けられ、各レイヤは、木表現のある種の精密さに対応する。最初のセルは、8個のセルに分割される。子セル1、2、5、6、7はより多くの頂点を含み、子セル3、4、8は空であり、レイヤ0での子セル構成を表すために8ビットシンボル11001110(510)になる。空でない各子セルがさらに分割され、対応する子セル構成は、レイヤ1で表される。この細分は、空でない各子セルが頂点を1つしか含まなくなるまで続行することができる。
Figure 2014532945
八分木の横型トラバーサル(breadth−first traversal)を使用して、3Dメッシュの頂点位置を一連のシンボルに編成することができる。図5における例の場合、シンボルのシーケンスは、11001110、11000000、10010100、00100110、00001000、および00001000になる。
複雑な3Dモデルにおける最も頻繁に発生するシンボルの確率分布が、表2に確率の大きなものから示されている。表2からわかるように、2進表現で「1」を1つだけ有するシンボルが、支配的な確率(93%超)で発生する。幾何学的説明は、いくつかの細分後、頂点がセルを共用することはほとんどないこととすることができる。すなわち、八分木の下部のレイヤは「1」を1つだけ有するシンボルによって占められ、他のシンボルは、上部のレイヤでよりしばしば発生する。
本実施形態によれば、2つのシンボル、すなわち、可能なシンボルすべてを含む全シンボルセットS0={1,2,3,...,255}、および「1」を1つ有するシンボル、すなわち最も頻繁に発生するシンボルだけを含むシンボルセットS1={1,2,4,8,16,32,64,128}が定義される。表現を簡単にするために、8ビット2進ストリングが十進数として書かれていることに留意されたい。シンボルは、シンボルセットS1に属する場合、S1シンボルと呼ばれ、そうでない場合は、非S1シンボルと呼ばれる。
八分木の統計的特性から受益するために、「A Model−Adaptive Entropy Coding Method for Octree Compression」という名称のPCT出願(特許文献1参照)は、八分木によって表されたシーケンスを、S0またはS1で適応的に符号化されるいくつかのサブシーケンスに区分することを提案している。サブシーケンス境界のインデックスが補足情報として符号化される。補足情報のオーバーヘッド(たとえば、各インデックスについて2バイト)のため、連続するS1シンボルの概して大きなサブシーケンスがシンボルセットS1で符号化される。
S1シンボルと非S1シンボルが共にシーケンスの一部分内で発生し、S1シンボルがはるかに高い確率を有するとき、そのような一部分をいくつかのサブシーケンスに分割することは、オーバーヘッドにより効率的でない。一方、そのような一部分をシンボルセットS0で符号化することもまた、非S1シンボルが低い確率で発生するので効率的でない。
3Dメッシュ符号化では、幾何学データは、通常、空間木分解ベースの手法、たとえばDevillersに記載のKD木ベースの手法、または非特許文献3(以下「Peng」)および非特許文献4(以下「Huang」)に記載の八分木ベースの手法によって圧縮される。プログレッシブ符号化をサポートする他に、Devillers、Peng、およびHuangの方法は、かなりの圧縮利得をも達成する。これらのコーダは、所与の3Dモデルの最も小さな軸平行境界ボックスを、KD木または八分木データ構造においてそれぞれ2つまたは8つの子に帰納的に細分する。空でない各セルが、頂点を1つしか含まず、頂点位置の十分正確な再構築を可能にするのに十分に小さいものとなるまでセルが帰納的に細分される。各セル細区画について、各子セルが空であるか否かは、いくつかのシンボルによって示される。本明細書ではトラバースシンボルシーケンスと呼ばれるKD木または八分木を示すシンボルシーケンスが、八分木を横型トラバースし、遭遇したノードの細分を表すシンボルを収集することによって生成される。次いで、エントロピーコーダ−デコーダ(コーデック)を使用し、そのシンボルシーケンスを圧縮する。シンボルシーケンスのエントロピーを低減し、次いで符号化効率を改善するために、PengおよびHuangは共に、子セルの並べ直しをベースとする、または何らかの隣接者をベースとする予測子を実施する。
各セル細区画について、Pengは、あらゆる可能な組合せの中で、空でない子セルの数T(1<=T<=8)、およびその空でない子セル構成のインデックスを符号化する。空でない子セルを表現する間、幾何学情報が考慮され、圧縮はより良好になるが複雑さがより増大する。
特許文献1および特許文献2は、空でない子セルの数Tを破棄することを提案している。そのような場合には、空でない子セル構成は、8ビットの2進数によって示され、255個の組合せすべてをカバーする。これらの8ビットの2進数は、エントロピー符号化によって圧縮される。
特許文献1および特許文献2で提案されている統計ベースの手法は、ランダムに分布する位置符号化において、DevillersおよびPengよりはるかに低い計算複雑さとより良好なロバスト性に通じる。逆の面は、ウォータータイトな3Dモデルの頂点圧縮の場合である。その理由は、特許文献1および特許文献2は、ビットの点で著しくコストがかかる幾何形状の冗長性を除去しないことである。
PCT/CN2011/077279 PCT/CN2011/078936
D. Shikare, S. Bhakar and S. P. Mudur, "Compression of Large 3D Engineering models Using Automatic Discovery of repeating geometric Features", 6th International Fall Workshop on Vision, Modeling and Visualization (VMV2001), November 21 − 23, 2001, Stuttgart, Germany O. Devillers, P. Gandoin, "Geometric Compression for Interactive transmission", in IEEE Visualization, 2000, pp. 319−326 J. L. Peng, C. C. Jay Kuo, "Geometry Guided Progressive Lossless 3D Mesh Coding with Octree Decomposition", ACM SIGGRAPH (ACM Transactions on Graphics 24 (3)), pp 609−616, 2005 Y. Huang, J. Peng, C. C. J. Kuo, and M. Gopi, "A Generic Scheme for Progressive Point Cloud Coding", IEEE Transactions on Visualization and Computer Graphicsl4, pp 440 −453, 2008
本発明は、位置符号化のために確率予測を実施する。統計的符号化は、ウォータータイトな3Dモデルの頂点位置における冗長性を効果的に除去することができない。本発明は、位置符号化中に幾何形状の特徴を使用する。3Dモデルについて八分木を構築するとき、3Dモデルのサーフェスの滑らかさに基づいて、空でない子セル構成の確率が特定のセルごとに予測される。エントロピーコーデックが、頻繁に発生するコード値(0100など)に短い符号語を割り当て、逆も同様である。たとえば、0100の確率が50%である場合、短い符号語(約−log2(0.5)=1ビット)が割り当てられる。0110の確率が12.5%である場合、長い符号語(約−log2(0.125)=3ビット)が割り当てられる。したがって、入って来るコード値が高確率のシンボルとして予測される場合、対応する符号語は、通常短いものである。確率が幾何学的相関に基づくので、幾何学的冗長性が実際に除去される。このようにして、空間冗長性を効率的に除去することができ、より高い圧縮を達成することができる。
3次元メッシュモデルを位置復号するための方法および装置であって、空でない子セルCl,kのシンボル確率を予測するステップであって、Cl,kは、レイヤlにおけるk番目のセルを示し、シンボル確率は、フィッティングされた平面Pの精度に基づいて推定される、ステップと、受信された空でない子セルの予測された確率に応答して、空でない子セルを復号するステップと、空でない子セルが2つ以上の頂点を有する場合、空でない子セルを細分するステップと、レイヤlに未処理の空でない子セルがそれ以上あるかどうか判定するステップと、レイヤlに未処理の空でない子セルがそれ以上ない場合、空でない子セルの最も下のレイヤに達したかどうか判定するステップと、空でない子セルの最も下のレイヤに達した場合、3次元メッシュモデルを再生するステップとを含む方法および装置について記載されている。
本発明は、添付の図面と併せ読めば以下の詳細な説明から最もよく理解される。図面は、以下で簡単に説明される以下の図を含む。
2次元(2D)の場合についてKD木ベースの幾何学符号化の絵画図である。 2Dの場合における四分木ベースの幾何学符号化の絵画図である。 2Dの場合における四分木ベースの幾何学符号化の絵画図である。 セル区分の絵画図である。 例示的な八分木の絵画図である。 例示的な四分木構造に使用されるトラバースの順序の図である。 例示的な四分木構造についての2D空間の階層分割の図である。 例示的な四分木構造についての図6Bの階層2D分割から得られる四分木シンボルの図である。 接続可能性情報が使用可能な場合の2D位置予測の一例の図である。 接続可能性情報が使用可能でない場合の2D位置予測の一例の図である。 本発明の原理による本発明の予測位置符号化方法の例示的な実施形態の流れ図である。 図8のステップ805の分解図である。 本発明の原理による本発明の予測位置復号方法の例示的な実施形態の流れ図である。 図9のステップ905の分解図である。 本発明の原理による予測位置符号化を含むデバイスの例示的な実施形態のブロック図である。 本発明の原理による予測位置復号を含むデバイスの例示的な実施形態のブロック図である。
例示のために、四分木を構築するプロセスが図6A〜図6Cに示されている。図6Aは、例示的な四分木構造に使用されるトラバースの順序を示す。図6Bは、例示的な四分木構造についての2D空間の階層分割を示す。小さな黒い正方形は、符号化するべき点を示す。図6Bの最も左の四分木は、平面を4つの等しいサイズのサブセルに分割する。各サブセルは少なくとも1つの点を含むので、対応する空でない子セル構成は1111である。図6Bの中央の四分木は、各サブセルを4つのサブセルにさらに分割し、空でない子セル構成を符号化する。たとえば、図6Bにおけるサブセル「TL」の右下の子セルだけが点を含む。したがって、対応する空でない子セル構成は、0010である。続いて図6Bの最も右の四分木に進むと、それらのセルが反復的に細分され、空でない子セル構成が符号化される。図6Cは、例示的な四分木構造についての図6Bの階層2D分割から得られる四分木シンボルを示す。四分木は図6Cに示されているように構築され、各レイヤは、1回の細分の反復に対応する。
本発明は、規則的に分布する頂点の位置を効率的に圧縮する。本発明は、5つの重要な点を有する。すなわち、
1.空でない子セル構成のシンボル確率は、各子セルの中心と、隣接するセルの中心点をフィッティングすることによって得られる平面との間の距離で計算される。
2.空でない子セル構成のシンボル確率は、何らかの子セルの中心点と隣接するセルの中心点によって形成される凸包の表面積の値である距離測度で計算される。
3.セルのために平面をフィッティングするために、接続可能性情報が使用可能である場合、コーデックは、少なくとも1つの頂点が現在のセル内の頂点の1つと接続されるセルの中心点を使用する。
4.セルのために平面をフィッティングするために、接続可能性情報が使用可能でない場合、コーデックは、少なくとも1つの頂点を含む隣接するセルの中心点を使用する。
5.予測された確率は、フィッティング平面の精度に基づいて調整される。たとえば、フィッティング誤差が小さい場合、確率は、ちょうど予測された値として設定される。そうでない場合には、確率は、一様分布により近づけて設定される。フィッティング誤差のための閾値が、構成パラメータとして設定されてもよい。閾値が設定される場合には、その閾値を使用し、フィッティング誤差が大きいか、それとも小さいか、したがってシンボル確率が調整されるかどうか判定する。
例示を簡単にするために、本発明の位置予測方法について、2Dの例を使用して述べる。平面フィッティングは、2Dの場合、線分フィッティングになる。図7Aおよび図7Bは、2D空間における例示的な頂点分布を示す。図7Aは、接続可能性情報が使用可能な場合の2D位置予測の一例を示す。図7Bは、接続可能性情報が使用可能でない場合の2D位置予測の一例を示す。
A:
既知の接続可能性情報があるので、隣接するセルを簡単に得ることができる。子セルがフィッティング平面に近いほど、それが空でない見込みが高くなる。この測度から、1つの観察されることは、子がフィッティング平面に近いほど、現在の子セルの中心点とすべての隣接するセルの中心点によって形成される凸包の表面積が小さくなることである。この凸包は、0(nlogn)の複雑さを有する標準的なアルゴリズム(グラハム走査など)によって計算することができる。この凸包が得られた後で、予備的な幾何学方法を用いて、表面積を容易に計算することができる。子セルp、q、r、sについて、この面積測度は、distによって示され、ここでk=p、q、r、sである。
dist=area(ConvexHull(k,NeighboringCells)) (1a)
B:
図7Aでは、接続可能性情報が使用可能である。頂点の接続可能性が与えられると、各レイヤでのサブセルの接続可能性を計算することができる。図7Aに示されているように、頂点は、セルC(i,j)の子セルqにある。すなわち、四分木シンボルは、図6Aのトラバースの順序を使用して0100である。セルC(i,j)がセルC(i−2,j−1)、C(i+2,j)、C(i+2,j+1)と接続されることは既知である。これらのセルを含むセルセットSが定義される。線分がセルセットS内の点に、S内のセルの中心座標に基づいてフィッティングされ、線分Lを得る。この線分を示す関数は、ax+by+c=0によって示すことができる。
図7Bでは、接続可能性情報が使用可能でない。図7Bに示されているように、頂点は、セルC(i,j)の子セルqにある。すなわち、四分木シンボルは、図6Aのトラバースの順序を使用して、やはり0100である。曲線は、実際のエッジを示す。セルC(i−1,j−1)、C(i,j−1)、C(i+1,j)、C(i+1,j+1)およびC(i,j)内に頂点が存在することが既知である。これらのセルは、セルセットS内に含まれ、セルセットS内の点の中心座標に基づいて線分がフィッティングされ、線分Lを得る。この線分を示す関数は、ax+by+c=0によって示すことができる。
以前に提案されている方法は、等確率を空でない子セル構成のシンボルに割り当てた(0001、0010、0100、1000)。本発明は、フィッティングされた線分と子セルp、q、r、sの中心点との距離に基づいて適応的に不等確率を割り当てる。子セルの中心点をC(x,y)によって、またフィッティングされた線分までのそれらの距離をdist k=p,q,r,sによって示すと、
Figure 2014532945
であり、上式で、sizeは、分割するべきセルの幅である。
(1a)または(1b)によって得られたdistの値に基づいて、確率は、
Figure 2014532945
Figure 2014532945
として計算され、probは、頂点が子セルkにある確率であり、uは、下記で論じるパラメータである。
図7Aおよび図7Bでわかるように、線分Lと子セルqの中心座標との間の距離は、すべての子セルの中で最小であり、シンボル0100の確率は、最大の値に設定される。したがって、この細区画のためのシンボル(0100)のビットコストが低減される。
空でない子セル構成のシンボルは、0001、0010、0100、1000だけでないことに留意されたい。セル構成のシンボル0001、0010、0100、1000は、空でない子セル内の頂点1つだけを反映する。セルが複数の頂点を含む場合に関する確率は何であろう。シンボル0111を例にとれば、これは、それぞれ子セルq、r、s内に3つの頂点があることを意味する。そのような場合に関する重みをweightqrsによって示す。
Figure 2014532945
そのような場合はめったに起こらず、weightqrsは依然として大きく、その結果、重みが再スケールされる。コーデックは、単一頂点のシンボル(0001、0010、0100、1000)および現在のレイヤ内の複数頂点のシンボルの確率を推定する。各シンボルのための重みに、推定された対応する確率が乗じられる。最後に、各シンボルのための確率が、式(2)のように、対応する重みを正規化することによって得られる。
フィッティング精度を検査するために、フィッティングされた線分LとS内のセルの中心点との距離が計算される。S内のセルがC(x,y)であると考えてみる。k=1〜nであり、
Figure 2014532945
Figure 2014532945
であり、uは、フィッティング精度を示す。より大きな値のuは、より小さなフィッティング誤差を示す。式(3)によって計算される確率は、信頼性がより高い。より小さな値のuは、より大きなフィッティング誤差を示す。したがって、式(3)によって計算される確率は、信頼性がより低くなる。uの値が式(2)に取り入れられたとき、確率関数は、uが増大するにつれて一様分布に近づく。フィッティング誤差のための閾値が、構成パラメータとして設定されてもよい。閾値が設定される場合には、その閾値を使用し、フィッティング誤差が大きいか、それとも小さいか、したがってシンボル確率が調整されるかどうか判定する。
3D平面では、上記の線分フィッティングではなく本発明の予測位置符号化にフィッティングが使用される。頂点の3D位置を表すために、コーデックは八分木を構築し、サブセルの占有を示す。各細区画について、平面が、注目の頂点を有する子セルの、隣接する頂点とフィッティングされる。3Dの場合には、点位置(注目の頂点)はc(i,j,k)の形態で示され、フィッティングされた平面のための関数は、ax+by+cz+w=0の形態にある。次に、フィッティングされた平面の精度が検査され、パラメータuを得る。式(5)が
Figure 2014532945
に拡張される。最後に、空でない子セル構成についての異なるシンボルの確率が設定される。得られた確率モデルが、実際の空でない子セル構成のエントロピー符号化に適用される。
図8は、本発明の原理による本発明の予測位置符号化方法の例示的な実施形態の流れ図である。セルカウンタを初期化する。805では、Cl,kの空でない子セル構成の予測が計算され、ここでCl,kは、レイヤlにおけるk番目のセルを示す。810では、セルCl,kが再び細分される。815では、セルカウンタ(k)が増分される。820では、テストを実施し、現在のレイヤに未処理のセルがそれ以上あるかどうか判定する。未処理のセルがそれ以上ある場合には、処理は805に進む。未処理のセルがそれ以上ない場合には、825で、エントロピー符号化によってテストを実施し、最も深いレイヤにおける空でない子セルすべてが1つ以下の点(頂点)を含むかどうか、またサブセルの中心とサブセルvl,k内の点との距離が、許容される最大誤差以下であることを判定し、ここで、許容される最大誤差はthであり、Cl,kは、Cl,kの中心点である。最も深いレイヤにおけるセルすべてが1つ以下の点(頂点)を含み、またサブセルの中心とサブセルvl,k内の点との距離が、許容される最大誤差以下である場合には、830で、空でない子セルのシンボルが符号化される。最も深いレイヤにおけるセルすべてが1つ以下の点(頂点)を含まないか、またはサブセルの中心とサブセルvl,k内の点との距離が、許容される最大誤差より大きい場合には、835で、セルカウンタ(k)が再初期化され、レイヤカウンタ(l)が増分される。次いで、処理は805に進む。ステップ805、810、815、820、835は、本質的に上述の平面フィッティングであり、ステップ825は、上述の平面フィッティング精度であり、ステップ830は、確率を設定し、得られた確率にエントロピー符号化を適用するステップを含む。
図8Aは、図8のステップ805の分解図である。840では、レイヤlにおいて「1」を1つだけ有する空でない子セルの確率は、確率をprob1として示す。845では、テストを実施し、接続可能性情報が使用可能であるかどうか判定する。接続可能性が使用可能である場合には、850で、現在のセルに接続されるセルの中心座標を使用し、平面Pをフィッティングする。855では、空でない子セルCl,kのシンボル確率が、サブセルの中心座標とフィッティングされた平面との間の距離に基づいて予測される。「1」を1つだけ有する空でない子セルの確率(たとえば、10000000、01000000...)にprob1が乗じられる。複数の「1」を有する空でない子セルの確率(たとえば、11000000、01000100...)には(1−prob1)が乗じられる。860では、フィッティング精度が検査され、それに応じて推定された確率が調整される。フィッティング誤差が小さい(精度が高い)場合、予測されたシンボル確率は調整されない。フィッティング誤差が大きい(精度が低い)場合、予測されたシンボル確率は、一様分布に近くなるように設定される。接続可能性情報が使用可能でない場合には、865で、隣接する空でないセルの中心座標を使用し、平面Pをフィッティングする。
復号プロセスは、本質的に符号化プロセスの逆である。符号化されたシンボルは、劇場または消費者デバイスで受信され、すべてのシンボルが復号されるまで予測された確率に基づいてレイヤごとに一度に復号される。符号化されたシンボルは、処理前または処理後、記憶手段に記憶されてもよい。シンボルが復号された後で、消費者デバイスまたは劇場でレンダリングするために、3Dメッシュモデルが再生される。再生される3Dメッシュモデルは、レンダリング前に記憶手段に記憶されてもよい。
図9は、本発明の原理による本発明の予測位置復号方法の例示的な実施形態の流れ図である。セルカウンタを初期化する。905では、符号化されたシンボルが受信デバイスで予測される。符号化されたシンボルは、処理前または処理後、記憶手段に記憶されてもよい。空でない子セル構成Cl,kの受信された(符号化された)シンボルは、910で予測された確率に基づいて復号される。セルCl,kは、915で復号された構成に従って細分される。920では、セルカウンタ(k)が増分される。925では、テストを実施し、このレイヤに未処理のセルがそれ以上あるかどうか判定する。このレイヤに未処理のセルがそれ以上ある場合には、処理は905に進む。このレイヤに未処理のセルがそれ以上ない場合には、930でテストを実施し、八分木の最下部が受信されたかどうか判定する。八分木の最下部が受信された場合には、935で、レンダリングするために、3Dメッシュモデルが再生される。再生される3Dメッシュモデルは、レンダリング前に記憶手段に記憶されてもよい。八分木の最下部が受信されていない場合には、940で、レイヤカウンタ(l)が増分され、セルカウンタ(k)が再初期化される。処理は905に進む。
図9Aは、図9のステップ905の分解図である。940では、レイヤlにおいて「1」を1つだけ有する空でない子セルの確率は、確率をprob1として示す。945では、テストを実施し、接続可能性情報が使用可能であるかどうか判定する。接続可能性が使用可能である場合には、950で、現在のセルに接続されるセルの中心座標が平面Pをフィッティングするために使用される。955では、空でない子セルCl,kのシンボル確率が、サブセルの中心座標とフィッティングされた平面との間の距離に基づいて予測される。「1」を1つだけ有する空でない子セルの確率(たとえば、10000000、01000000...)にprob1が乗じられる。複数の「1」を有する空でない子セルの確率(たとえば、11000000、01000100...)には(1−prob1)が乗じられる。960では、フィッティング精度が検査され、それに応じて推定された確率が調整される。フィッティング誤差が小さい(精度が高い)場合、予測されたシンボル確率は調整されない。フィッティング誤差が大きい(精度が低い)場合、予測されたシンボル確率は、一様分布に近くなるように設定される。接続可能性情報が使用可能でない場合には、965で、隣接する空でないセルの中心座標を使用し、平面Pをフィッティングする。
図10は、本発明の原理による予測位置符号化を含むデバイスの例示的な実施形態のブロック図である。次に図10を参照すると、上述の特徴および原理を適用することができるデータ送信システムまたは装置1000が示されている。データ送信システムまたは装置1000は、たとえば衛星、ケーブル、電話回線、または地上放送など様々な媒体のいずれかを使用して信号を送信するための、たとえばヘッドエンドまたは送信システムとすることができる。また、あるいは代替として、データ送信システムまたは装置1000を使用し、たとえば記憶するために信号を提供してもよい。送信は、インターネット、または何らかの他のネットワークを介してもよい。データ送信システムまたは装置1000は、たとえば3Dメッシュモデルなど、たとえばビデオコンテンツおよび他のコンテンツを生成および送達することが可能である。
データ送信システムまたは装置1000は、処理されたデータおよび他の情報をプロセッサ1005から受信する。一実装では、プロセッサ1005は、3Dメッシュモデルの幾何学データを処理し、シンボルのシーケンスを生成する。また、プロセッサ1005は、メタデータを1000に提供し、たとえば八分木の木データ構造が各部にどのように分割されるか、および他の情報を示すことができる。
データ送信システムまたは装置1000は、符号化器1010と、符号化された信号を送信することが可能な送信機1015とを含む。符号化器1010は、データ情報をプロセッサ1005から受信する。符号化器1010は、符号化された信号を生成する。符号化器1010のエントロピー符号化エンジンは、たとえば算術コーダまたはハフマンコーダとすることができる。
符号化器1010は、たとえば様々な情報を受信し、記憶または送信するために構造化されたフォーマットに組み立てるための組立ユニットを含めて、サブモジュールを含むことができる。様々な情報は、たとえば符号化された、または符号化されていないビデオ、ならびに、たとえばサブストリーム長さインジケータおよび構文要素など符号化された、または符号化されていない要素を含むことができる。実装によっては、符号化器1010はプロセッサ1005を含み、したがってプロセッサ1005の演算を実施する。符号化器1010は、図8および図8Aに関連して上述した原理に従って動作する。
送信機1015は、符号化された信号を符号化器1010から受信し、符号化された信号を1または複数の出力信号で送信する。送信機1015は、たとえば、符号化されたピクチャおよび/またはそれに関連する情報を表す1または複数のビットストリームを有するプログラム信号を送信するように適合されてもよい。典型的な送信機は、たとえば、誤り訂正符号化を提供すること、データを信号内にインターリーブすること、エネルギーを信号内でランダム化すること、変調器1020を使用して信号を1または複数の搬送波上に変調することのうちの1または複数の、機能を実施する。送信機1015は、アンテナ(図示せず)を含み、またはアンテナとインターフェースすることができる。さらに、送信機1015の実装は、変調器1020に制限されてもよい。
また、データ送信システムまたは装置1000は、記憶ユニット1025に通信可能に結合される。一実装では、記憶ユニット1025は、符号化器1010に結合され、符号化器1010からの符号化されたビットストリームを記憶する。他の実装では、記憶ユニット1025は、送信機1015に結合され、送信機1015からのビットストリームを記憶する。送信機1015からのビットストリームは、たとえば、送信機1015によってさらに処理された1または複数の符号化されたビットストリームを含むことができる。記憶ユニット1025は、異なる実装では、標準的なDVD、ブルーレイディスク、ハードドライブ、または何らかの他の等価な記憶デバイスのうちの1または複数である。
図11は、本発明の原理による予測位置復号を含むデバイスの例示的な実施形態のブロック図である。次に図11を参照すると、上述の特徴および原理を適用することができるデータ受信システムまたは装置1100が示されている。データ受信システムまたは装置1100は、たとえば記憶デバイス、衛星、ケーブル、電話回線、または地上放送など様々な媒体を介して信号を受信するように構成されてもよい。信号は、インターネット、または何らかの他のネットワークを介して受信されてもよい。
データ受信システムまたは装置1100は、たとえば、携帯電話、コンピュータ、セットトップボックス、テレビ、または符号化されたビデオを受信し、たとえば復号されたビデオ信号を、表示するため(たとえば、ユーザに対する表示)、処理するため、もしくは記憶するために提供する他のデバイスとすることができる。また、データ受信装置1100は、劇場の観客向けにレンダリングするために信号を受信している劇場内の機器であってもよい。したがって、データ受信システムまたは装置1100は、その出力を、たとえばテレビの画面、コンピュータモニタ、(記憶、処理、もしくは表示するために)コンピュータ、または何らかの他の等価な記憶、処理、もしくは表示デバイスに提供することができる。
データ受信システムまたは装置1100は、データ情報を受信および処理することが可能であり、ここでデータ情報は、たとえば3Dメッシュモデルを含むことができる。データ受信システムまたは装置1100は、たとえば本願の実装に記載の信号など、符号化された信号を受信するための受信機1105を含む。受信機1105は、たとえば、3Dメッシュモデルおよび/もしくはテクスチャ画像のうちの1または複数を提供する信号、または図10のデータ送信システム1000から出力された信号を受信することができる。
受信機1105は、たとえば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受信するように適合されてもよい。典型的な受信機は、たとえば、変調および符号化されたデータ信号を受信すること、復調器1110を使用して1または複数の搬送波からのデータ信号を復調すること、信号内のエネルギーをランダム化解除すること、信号内のデータをデインターリーブすること、信号を誤り訂正復号することのうちの1または複数の、機能を実施する。受信機1105は、アンテナ(図示せず)を含み、またはアンテナとインターフェースすることができる。受信機1105の実装は、復調器1110に制限されてもよい。
データ受信システムまたは装置1100は、復号器1115を含む。受信機1105は、受信された信号を復号器1115に提供する。受信機1105によって復号器1115に提供された信号は、1または複数の符号化されたビットストリームを含むことができる。復号器1115は、たとえばビデオ情報を含めて復号されたビデオ信号など、復号された信号を出力する。復号器1115は、図9および図9Aに関連して上述した原理に従って動作する。
また、データ受信システムまたは装置1100は、記憶ユニット1120に通信可能に結合される。一実装では、記憶ユニット1120は受信機1105に結合され、受信機1105は、記憶ユニット1120からのビットストリームにアクセスする。他の実装では、記憶ユニット1120は復号器1115に結合され、復号器1115は、記憶ユニット1120からのビットストリームにアクセスする。記憶ユニット1120からアクセスされるビットストリームは、異なる実装では、1または複数の符号化されたビットストリームを含む。記憶ユニット1120は、異なる実装では、標準的なDVD、ブルーレイディスク、ハードドライブ、または何らかの他の等価な記憶デバイスのうちの1または複数である。
復号器1115からの出力データは、一実装では、プロセッサ1125に提供される。プロセッサ1125は、一実装では、3Dメッシュモデルの再構築を実施するように構成されたプロセッサである。実装によっては、復号器1115はプロセッサ1125を含み、したがってプロセッサ1125の演算を実施する。他の実装では、プロセッサ1125は、たとえばセットトップボックスもしくはテレビ、または映画館における他の機器(デバイス、装置)など下流デバイスの一部である。
特定の機能および態様を有する1または複数の実装が提供される。具体的には、エントロピー符号化および復号に関連するいくつかの実装が提供される。予測位置エントロピー符号化および復号は、たとえば3Dメッシュの幾何学データ、ランダム2D座標、および様々な統計を有する任意のデータソースの圧縮など、様々な応用例を可能にすることができる。しかし、これらの実装の変形形態および追加の応用例が企図されており、また本願内にあり、記載の実装の特徴および態様は、他の実装に適合されてもよい。
本願に記載の実装および特徴のいくつかは、MPEG 3DGC標準およびその拡張の状況で使用することができる。さらに、これらの実装および特徴は、別の(既存もしくは将来の)標準の状況、または標準を含まない状況で使用することができる。
さらに、本願またはその特許請求の範囲は、様々な情報を「determining(決定すること、判定すること)」に言及することがある。情報を決定(判定)することは、たとえば、情報を推定すること、情報を計算すること、情報を予測すること、情報をメモリから取り出すことのうちの1または複数を含むことができる。
さらに、多数の実装は、符号化器(たとえば、符号化器1010)、復号器(たとえば、復号器1115)、復号器からの出力を処理するポストプロセッサ(たとえば、プロセッサ1125)、または符号化器に入力を提供するプリプロセッサ(たとえば、プロセッサ1005)のうちの1または複数で実現することができる。さらに、他の実装が本開示によって企図されている。
本発明は、様々な形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組合せで実現することができることを理解されたい。本発明は、ハードウェアとソフトウェアの組合せとして実現されることが好ましい。さらに、ソフトウェアは、プログラム記憶デバイス上に有形に含まれるアプリケーションプログラムとして実現されることが好ましい。アプリケーションプログラムは、任意の好適なアーキテクチャを備える機械にアップロードされ、それによって実行されてもよい。機械は、1または複数の中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、および(1または複数の)入力/出力(I/O)インターフェースなどハードウェアを有するコンピュータプラットフォーム上で実現される。また、コンピュータプラットフォームは、オペレーティングシステム、およびマイクロ命令コードを含む。本明細書に記載の様々な処理および機能は、オペレーティングシステムを介して実行される、マイクロ命令コードの一部でもアプリケーションプログラムの一部でも(またはそれらの組合せでも)よい。さらに、様々な他の周辺デバイスを、追加のデータ記憶デバイスおよび印刷デバイスなど、コンピュータプラットフォームに接続することができる。
さらに、添付の図に示されている構成体のシステム構成要素および方法ステップの一部がソフトウェアで実現されることが好ましいので、システム構成要素(またはプロセスステップ)間の実際の接続は、本発明がプログラムされる方法に応じて様々なものになり得ることを理解されたい。本明細書における教示を考えると、当業者なら、本発明のこれらの、また同様の実装または構成を企図することが可能である。

Claims (19)

  1. 3次元メッシュモデルを位置復号するための方法であって、
    空でない子セルCl,kのシンボル確率を予測するステップであって、Cl,kは、レイヤlにおけるk番目のセルを示し、前記シンボル確率は、フィッティングされた平面Pの精度に基づいて推定される、ステップと、
    前記受信された前記空でない子セルの予測された確率に応答して、前記空でない子セルを復号するステップと、
    前記空でない子セルが2つ以上の頂点を有する場合、前記空でない子セルを細分するステップと、
    レイヤlに未処理の空でない子セルがそれ以上あるかどうか判定するステップと、
    レイヤlに未処理の空でない子セルがそれ以上ない場合、空でない子セルの最も下のレイヤに達したかどうか判定するステップと、
    空でない子セルの前記最も下のレイヤに達した場合、前記3次元メッシュモデルを再生するステップと、
    を含む、前記方法。
  2. 前記シンボル確率は、レイヤlにおいて「1」を1つ有する前記空でない子セルについて推定される、請求項1に記載の方法。
  3. 接続可能性情報が使用可能な場合、前記フィッティングされた平面Pに対して、現在の空でない子セルに接続されたセルの中心座標が使用される、請求項2に記載の方法。
  4. 現在の空でない子セルの中心座標および現在の空でない子セルに接続されたセルの中心座標によって形成される凸包の表面積に応答して、前記空でない子セルCl,kのシンボル確率を予測するステップをさらに含む、請求項3に記載の方法。
  5. サブセルの中心座標と前記フィッティングされた平面Pとの距離に応答して前記空でない子セルCl,kのシンボル確率を予測するステップと、
    前記フィッティングされた平面Pのフィッティング誤差を検査するステップと、
    前記推定されたシンボル確率を調整するステップと、
    をさらに含む、請求項3に記載の方法。
  6. 前記フィッティング誤差が閾値より小さい場合、前記予測されたシンボル確率は調整されない、請求項5に記載の方法。
  7. 前記フィッティング誤差が閾値より大きい場合、前記予測されたシンボル確率は一様分布に近くなるように設定される、請求項5に記載の方法。
  8. 前記フィッティング誤差は、関数用のパラメータとして空でない子セル構成のシンボル確率を計算し、前記パラメータが増大するにつれて、空でない子セルの前記推定されたシンボル確率が一様分布に近づくようにするために使用される、請求項5に記載の方法。
  9. 接続可能性情報が使用可能でない場合、前記フィッティングされた平面Pに対して、隣接する空でないセルの中心座標が使用される、請求項2に記載の方法。
  10. サブセルの中心座標と前記フィッティングされた平面Pとの距離に応答して前記空でない子セルCl,kのシンボル確率を予測するステップと、
    前記フィッティングされた平面Pのフィッティング誤差を検査するステップと、
    前記推定されたシンボル確率を調整するステップと、
    をさらに含む、請求項9に記載の方法。
  11. 前記フィッティング誤差が閾値より小さい場合、前記予測されたシンボル確率は調整されない、請求項10に記載の方法。
  12. 前記フィッティング誤差が閾値より大きい場合、前記予測されたシンボル確率は一様分布に近くなるように設定される、請求項10に記載の方法。
  13. 前記フィッティング誤差は、関数用のパラメータとして空でない子セル構成のシンボル確率を計算し、前記パラメータが増大するにつれて、空でない子セルの前記推定されたシンボル確率が一様分布に近づくようにするために使用される、請求項10に記載の方法。
  14. 前記シンボル確率は、レイヤlにおいて複数の「1」を有する前記空でない子セルについて推定される、請求項1に記載の方法。
  15. 重みが各頂点に割り当てられ、前記重みは、前記重みが大きすぎる場合再スケールされ、前記推定された確率は、対応する重みによって正規化される、請求項14に記載の方法。
  16. 3次元メッシュモデルを位置復号するための復号器であって、
    符号化された信号を受信し、3次元メッシュモデルを生成する復号器を備え、前記復号器は、
    空でない子セルCl,kのシンボル確率を予測する動作であって、Cl,kは、レイヤlにおけるk番目のセルを示し、前記シンボル確率は、フィッティングされた平面Pの精度に基づいて推定される、動作と、
    前記受信された前記空でない子セルの予測された確率に応答して、前記空でない子セルを復号する動作と、
    前記空でない子セルが2つ以上の頂点を有する場合、前記空でない子セルを細分する動作と、
    レイヤlに未処理の空でない子セルがそれ以上あるかどうか判定する動作と、
    レイヤlに未処理の空でない子セルがそれ以上ない場合、空でない子セルの最も下のレイヤに達したかどうか判定する動作と、
    空でない子セルの前記最も下のレイヤに達した場合、前記3次元メッシュモデルを再生する動作と、
    を実施するように適合される、前記復号器。
  17. 前記シンボル確率は、レイヤlにおいて「1」を1つ有する前記空でない子セルについて推定され、接続可能性情報が使用可能な場合、前記フィッティングされた平面Pに対して、現在の空でない子セルに接続されたセルの中心座標が使用され、さらに前記復号器は、
    サブセルの中心座標と前記フィッティングされた平面Pとの距離に応答して前記空でない子セルCl,kのシンボル確率を予測する動作と、
    前記フィッティングされた平面Pのフィッティング誤差を検査する動作と、
    前記推定されたシンボル確率を調整する動作と、
    を実施する、請求項16に記載の復号器。
  18. 前記シンボル確率は、レイヤlにおいて「1」を1つ有する前記空でない子セルについて推定され、接続可能性情報が使用可能でない場合、前記フィッティングされた平面Pに対して、隣接する空でないセルの中心座標が使用され、前記復号器は、
    サブセルの中心座標と前記フィッティングされた平面Pとの距離に応答して前記空でない子セルCl,kのシンボル確率を予測する動作と、
    前記フィッティングされた平面Pのフィッティング誤差を検査する動作と、
    前記推定されたシンボル確率を調整する動作と、
    を実施する、請求項16に記載の復号器。
  19. 前記シンボル確率は、レイヤlにおいて複数の「1」を有する前記空でない子セルについて推定され、重みが各頂点に割り当てられ、前記重みは、前記重みが大きすぎる場合再スケールされ、前記推定された確率は、対応する重みによって正規化される、請求項16に記載の復号器。
JP2014540282A 2011-11-07 2011-11-07 予測位置復号 Expired - Fee Related JP5932051B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/081878 WO2013067673A1 (en) 2011-11-07 2011-11-07 Predictive position decoding

Publications (3)

Publication Number Publication Date
JP2014532945A true JP2014532945A (ja) 2014-12-08
JP2014532945A5 JP2014532945A5 (ja) 2015-01-22
JP5932051B2 JP5932051B2 (ja) 2016-06-08

Family

ID=48288437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014540282A Expired - Fee Related JP5932051B2 (ja) 2011-11-07 2011-11-07 予測位置復号

Country Status (6)

Country Link
US (1) US10032309B2 (ja)
EP (1) EP2777019A4 (ja)
JP (1) JP5932051B2 (ja)
KR (1) KR20140089426A (ja)
CN (1) CN104040592A (ja)
WO (1) WO2013067673A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210068040A (ko) * 2018-01-18 2021-06-08 블랙베리 리미티드 포인트 클라우드의 이진 엔트로피 코딩 방법 및 디바이스

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US10733766B2 (en) 2016-10-19 2020-08-04 Google, Llc Methods and apparatus to encode and/or decode normals of geometric representations of surfaces
US10313673B2 (en) 2016-10-19 2019-06-04 Google Llc Methods and apparatus to encode and/or decode normals of geometric representations of surfaces
US10430975B2 (en) 2016-11-17 2019-10-01 Google Llc Advanced k-D tree encoding for point clouds by most significant axis selection
US10496336B2 (en) 2016-11-17 2019-12-03 Google Llc K-D tree encoding for point clouds using deviations
US9787321B1 (en) 2016-11-17 2017-10-10 Google Inc. Point cloud data compression using a space-filling curve
US10950042B2 (en) 2017-06-02 2021-03-16 Google Llc Guided traversal in compression of triangular meshes
US10553035B2 (en) 2017-06-02 2020-02-04 Google Llc Valence based implicit traversal for improved compression of triangular meshes
WO2019068259A1 (en) * 2017-10-02 2019-04-11 Huawei Technologies Co., Ltd. POINT CLOUD CODING
EP3553745B1 (en) 2018-04-09 2021-09-01 BlackBerry Limited Methods and devices for binary entropy coding of point clouds
CA3104630A1 (en) * 2018-06-27 2020-01-02 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US10891758B2 (en) 2018-07-23 2021-01-12 Google Llc Geometry encoder
WO2020072865A1 (en) * 2018-10-05 2020-04-09 Interdigital Vc Holdings, Inc. A method and device for encoding and reconstructing missing points of a point cloud
CN111247802B (zh) * 2019-01-10 2023-07-07 深圳市大疆创新科技有限公司 用于三维数据点集处理的方法和设备
EP3935581A4 (en) 2019-03-04 2022-11-30 Iocurrents, Inc. DATA COMPRESSION AND COMMUNICATION USING MACHINE LEARNING
CN110825831B (zh) * 2019-10-30 2022-09-16 广州海格星航信息科技有限公司 数字孪生城市多尺度空间网格编码方法及装置
CN112514397A (zh) * 2020-03-31 2021-03-16 深圳市大疆创新科技有限公司 点云的编解码方法和装置
US20240236305A1 (en) * 2023-01-06 2024-07-11 Tencent America LLC Vertices grouping in mesh motion vector coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002501650A (ja) * 1998-01-30 2002-01-15 ユニバーシティー オブ サザン カリフォルニア 3次元メッシュの圧縮および符号化
US20090202160A1 (en) * 2008-02-13 2009-08-13 Samsung Electronics Co., Ltd. Method for coding and decoding 3d data implemented as a mesh model
JP2011134361A (ja) * 2000-03-14 2011-07-07 Samsung Electronics Co Ltd ノード処理方法及び三次元シーンノード処理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966469A (en) 1995-10-26 1999-10-12 Hyundai Electronics Industries Co., Ltd. Sequential polygon approximation apparatus for contour and method thereof
CN1181690C (zh) * 1999-07-20 2004-12-22 皇家菲利浦电子有限公司 用于压缩视频序列的编码方法
EP1134702A3 (en) 2000-03-14 2003-10-29 Samsung Electronics Co., Ltd. Method for processing nodes in 3D scene and apparatus thereof
US6868420B2 (en) * 2002-07-31 2005-03-15 Mitsubishi Electric Research Laboratories, Inc. Method for traversing quadtrees, octrees, and N-dimensional bi-trees
CN1946180B (zh) * 2006-10-27 2010-05-12 北京航空航天大学 一种基于Octree的三维模型压缩编码方法
US8760450B2 (en) * 2007-10-30 2014-06-24 Advanced Micro Devices, Inc. Real-time mesh simplification using the graphics processing unit
WO2009128617A2 (en) 2008-04-18 2009-10-22 Electronics And Telecommunications Research Institute Apparatus and method for low-complexity three-dimensional mesh compression
US8169434B2 (en) 2008-09-29 2012-05-01 Microsoft Corporation Octree construction on graphics processing units
EP2261859A1 (en) 2009-06-10 2010-12-15 Thomson Licensing Method for encoding/decoding a 3D mesh model that comprises one or more components
JP5936687B2 (ja) 2011-07-18 2016-06-22 トムソン ライセンシングThomson Licensing ツリー構造の適応的エントロピー符号化方法
EP2749023A4 (en) 2011-08-25 2016-04-06 Thomson Licensing HIERARCHICAL ENCODING AND DECODING BY ENTROPY

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002501650A (ja) * 1998-01-30 2002-01-15 ユニバーシティー オブ サザン カリフォルニア 3次元メッシュの圧縮および符号化
JP2011134361A (ja) * 2000-03-14 2011-07-07 Samsung Electronics Co Ltd ノード処理方法及び三次元シーンノード処理装置
US20090202160A1 (en) * 2008-02-13 2009-08-13 Samsung Electronics Co., Ltd. Method for coding and decoding 3d data implemented as a mesh model

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210068040A (ko) * 2018-01-18 2021-06-08 블랙베리 리미티드 포인트 클라우드의 이진 엔트로피 코딩 방법 및 디바이스
KR20210068041A (ko) * 2018-01-18 2021-06-08 블랙베리 리미티드 포인트 클라우드의 이진 엔트로피 코딩 방법 및 디바이스
JP2022501744A (ja) * 2018-01-18 2022-01-06 ブラックベリー リミテッドBlackBerry Limited 点群のバイナリエントロピコーディングのための方法およびデバイス
JP2022503986A (ja) * 2018-01-18 2022-01-12 ブラックベリー リミテッド 点群のバイナリエントロピコーディングのための方法およびデバイス
US11900641B2 (en) 2018-01-18 2024-02-13 Malikie Innovations Limited Methods and devices for binary entropy coding of point clouds
JP7504086B2 (ja) 2018-01-18 2024-06-21 ブラックベリー リミテッド 点群のバイナリエントロピコーディングのための方法およびデバイス
US12020460B2 (en) 2018-01-18 2024-06-25 Malikie Innovations Limited Methods and devices for binary entropy coding of point clouds
JP7507750B2 (ja) 2018-01-18 2024-06-28 ブラックベリー リミテッド 点群のバイナリエントロピコーディングのための方法およびデバイス
KR102690197B1 (ko) 2018-01-18 2024-07-30 블랙베리 리미티드 포인트 클라우드의 이진 엔트로피 코딩 방법 및 디바이스
KR102690193B1 (ko) 2018-01-18 2024-07-30 블랙베리 리미티드 포인트 클라우드의 이진 엔트로피 코딩 방법 및 디바이스

Also Published As

Publication number Publication date
JP5932051B2 (ja) 2016-06-08
US10032309B2 (en) 2018-07-24
US20140303944A1 (en) 2014-10-09
KR20140089426A (ko) 2014-07-14
EP2777019A1 (en) 2014-09-17
EP2777019A4 (en) 2016-07-06
WO2013067673A1 (en) 2013-05-16
CN104040592A (zh) 2014-09-10

Similar Documents

Publication Publication Date Title
JP5932051B2 (ja) 予測位置復号
US9111333B2 (en) Predictive position encoding
KR101715962B1 (ko) 반복된 패턴을 갖는 3d 메시의 압축
US20140184430A1 (en) Hierarchical entropy encoding and decoding
US10003794B2 (en) Terminable spatial tree-based position coding and decoding
US10592490B2 (en) Position coding based on spatial tree with duplicate points
KR100910031B1 (ko) 3차원 메쉬 모델의 부호화 장치, 그 방법 및 이를 기록한기록매체
EP4133728A1 (en) Trisoup syntax signaling for geometry-based point cloud compression
US20220180567A1 (en) Method and apparatus for point cloud coding
WO2022131948A1 (en) Devices and methods for sequential coding for point cloud compression
KR101883532B1 (ko) 반복적인 구조 발견 기반 3d 모델 압축의 비트스트림을 생성하기 위한 방법 및 장치
KR101086772B1 (ko) 양자화 기법에 기반한 3차원 메쉬 압축 장치 및 방법
WO2024074123A1 (en) Method, apparatus, and medium for point cloud coding
CN118175319A (zh) 点云编码方法、点云解码方法及相关设备
CN117157671A (zh) 用于编码及解码3d点云的方法、编码器及解码器
EP4233006A2 (en) Devices and methods for spatial quantization for point cloud compression
CN116033186A (zh) 一种点云数据处理方法、装置、设备以及介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150728

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160427

R150 Certificate of patent or registration of utility model

Ref document number: 5932051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees