JP2022530765A - 点群コーディング用の属性をコーディングする方法 - Google Patents
点群コーディング用の属性をコーディングする方法 Download PDFInfo
- Publication number
- JP2022530765A JP2022530765A JP2021563220A JP2021563220A JP2022530765A JP 2022530765 A JP2022530765 A JP 2022530765A JP 2021563220 A JP2021563220 A JP 2021563220A JP 2021563220 A JP2021563220 A JP 2021563220A JP 2022530765 A JP2022530765 A JP 2022530765A
- Authority
- JP
- Japan
- Prior art keywords
- predictor
- code
- attribute
- computer
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 151
- 230000008569 process Effects 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 29
- 230000011664 signaling Effects 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 15
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000005192 partition Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/005—Statistical coding, e.g. Huffman, run length coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本願は、2020年3月30日付で出願された米国仮出願第63/002,316号、及び2020年12月31日付で出願された米国出願第17/139,177号による優先権の利益を主張しており、それらの出願は全体的に参照により本願に援用される。
本開示は、一般にデータ処理の分野に関連し、特に、予測子の選択及び残差のエントロピー符号化を含む属性コーディングの方法を含むポイント・クラウド(点群)コーディング(Point Cloud Coding,POC)に関連するものが開示されている。
点群のバウンダリ・ボックスの1つ以上の逆量子化されたディメンジョンを或るプロセスにより生成することを1つ以上のコンピュータ・プロセッサに行わせるように構成された逆量子化コードであって、プロセスは、ビットストリームからの点群のバウンダリ・ボックスのディメンジョンを解析し;点群のバウンダリ・ボックスのエントロピー符号化されたディメンジョンをエントロピー復号化し;点群のバウンダリ・ボックスのディメンジョンを逆量子化することを含む、逆量子化コード;圧縮されたビデオ・データは属性ベースの予測子又は幾何学ベースの予測子を使用することによって予測されたかどうかを判定することを1つ以上のコンピュータ・プロセッサに行わせるように構成された判定コード;圧縮されたビデオ・データは属性ベースの予測子を使用することによって予測された旨の判定に基づいて、復号化のための予測子は属性ベースの予測子であると決定し;圧縮されたビデオ・データは属性ベースの予測子を使用することによって予測された旨の判定に基づいて、復号化のための予測子は幾何学ベースの予測子であると決定することを1つ以上のコンピュータ・プロセッサに行わせるように構成された予測子選択コード;及び決定された予測子を使用して、点群の占有コードを含むバウンダリ・ボックスの逆量子化されたディメンジョンに従って点群のバウンダリ・ボックスを細分化することによって、オクトツリー構造を構築することを1つ以上のコンピュータ・プロセッサに行わせるように構成されたオクトツリー構築コードを含む。
点群占有コードを含む圧縮されたビデオ・データを含むエントロピー符号化されたビットストリームを受信するステップ;点群のバウンダリ・ボックスの1つ以上の逆量子化されたディメンジョンを或るプロセスにより生成するステップであって、プロセスは、ビットストリームからの点群のバウンダリ・ボックスのディメンジョンを解析し;点群のバウンダリ・ボックスのエントロピー符号化されたディメンジョンをエントロピー復号化し;点群のバウンダリ・ボックスのディメンジョンを逆量子化することを含む、ステップ;圧縮されたビデオ・データは属性ベースの予測子又は幾何学ベースの予測子を使用することによって予測されたかどうかを判定するステップ;圧縮されたビデオ・データは属性ベースの予測子を使用することによって予測された旨の判定に基づいて、復号化のための予測子は属性ベースの予測子であると決定するステップ;圧縮されたビデオ・データは属性ベースの予測子を使用することによって予測された旨の判定に基づいて、復号化のための予測子は幾何学ベースの予測子であると決定するステップ;及び決定された予測子を使用して、点群の占有コードを含むバウンダリ・ボックスの逆量子化されたディメンジョンに従って点群のバウンダリ・ボックスを細分化することによって、オクトツリー構造を構築するステップを行わせる。
一実施形態において、予測残差r[i]は、先ず、次式のように、非負の数R[i]に変換されてもよい:
テーブル1
converted_prediction_residual_is_oneは、R[i]が1に等しいかどうかを指定し、
converted_prediction_residual_is_twoは、R[i]が2に等しいかどうかを指定し、
converted_prediction_residual_minus_threeは、次のようにしてR[i]を指定する:
R[i]=converted_prediction_residual_minus_three + 3
一実施形態では、Umax=2であり、シンタックス・テーブルは簡潔性のために省略される。
テーブル2
converted_prediction_residual_minus_oneは、次のようにしてR[i]を指定する:
R[i]=converted_prediction_residual_minus_one + 1
別の実施形態では、TUmax=0である。この場合、1つのEGKコードのみが使用される。換算予測残差R[i]のシンタックス・テーブルは次のように簡略化される:
テーブル3
R[i]=converted_prediction_residual
異なる特性を示す異なる点群、又は異なる属性量子化パラメータを伴う同じ点群の場合、換算予測残差は異なる統計量を有する可能性がある。適応的な方式が望ましい場合がある。
実施形態によれば、各ビットの確率が、TUコード、即ちb0b1...bTUmax-1において算出されてもよい。例えば次のとおりである。
これらの統計量を用いて、TUmax以上である換算予測誤差の平均は、例えば以下の式(3)に基づいて算出されてもよい
ここで、AThは、指数ゴロム・コードの次数を決定するためにATと置換するために使用される。
一実施形態では、変換された残差統計量及び適応選択の収集TUmax及びkmaxは、ポイントの連続するチャンクすべての開始時に実行されてもよく、各チャンクにおけるポイントの数はCである。
例えば、図4は、実施形態の概念の例示として、各チャネルでの統計量の収集及び適応パラメータの決定を示す。即ち、図3と比較すると、図3は開始時におけるものを示し、図4は周期的におけるもの(例えば、すべてのチャンクにおけるもの)を示す。一実施形態において、予測残差r[i]は、直接的にコーディングされてもよい。実施形態によれば、先ず、
テーブル4
ここで、sign_of_prediction_residualは、以下の式6に基づいてr[i]の符号を指定する:
r[i]=sign(r[i])×(absolute_prediction_residual_minus_three + 3)
一実施形態では、属性コーディングは幾何学的コーディング順序に続き、即ち、点の属性は、点の幾何学的な位置がコーディングされた後にコーディングされる。I番目の点の候補リストは、Ncand個の最近のコーディングされた点を含み、即ち以下の式7のように示される:
実施形態によれば、予測子は、候補リスト内の点及びi番目の点の幾何学的な位置に基づいて選択されてもよい。一実施形態では、予測子は、次の式8に示されるように、i番目の点に最も近い点として選択されてもよい:
一実施形態では、以下の式9のように加重ノルム演算が定義されてもよい:
異なる点群は異なる特性を示すので、幾何学ベースの予測選択は、あるタイプの点群に対しては、属性ベース予測子選択法より優れているかもしれないが、別のタイプの点群に対しては劣っているかもしれない。適応的な方式が望ましい。
点群占有コードを含む圧縮されたビデオ・データを含むエントロピー符号化されたビットストリームを受信することを1つ以上のコンピュータ・プロセッサに行わせるように構成された受信コード;点群のバウンダリ・ボックスの1つ以上の逆量子化されたディメンジョンを或るプロセスにより生成することを1つ以上のコンピュータ・プロセッサに行わせるように構成された逆量子化コードであって、プロセスは、ビットストリームからの点群のバウンダリ・ボックスのディメンジョンを解析し;点群のバウンダリ・ボックスのエントロピー符号化されたディメンジョンをエントロピー復号化し;点群のバウンダリ・ボックスのディメンジョンを逆量子化することを含む、逆量子化コード;圧縮されたビデオ・データは属性ベースの予測子又は幾何学ベースの予測子を使用することによって予測されたかどうかを判定することを1つ以上のコンピュータ・プロセッサに行わせるように構成された判定コード;圧縮されたビデオ・データは属性ベースの予測子を使用することによって予測された旨の判定に基づいて、復号化のための予測子は属性ベースの予測子であると決定し;圧縮されたビデオ・データは属性ベースの予測子を使用することによって予測された旨の判定に基づいて、復号化のための予測子は幾何学ベースの予測子であると決定することを1つ以上のコンピュータ・プロセッサに行わせるように構成された予測子選択コード;及び決定された予測子を使用して、点群の占有コードを含むバウンダリ・ボックスの逆量子化されたディメンジョンに従って点群のバウンダリ・ボックスを細分化することによって、オクトツリー構造を構築することを1つ以上のコンピュータ・プロセッサに行わせるように構成されたオクトツリー構築コードを含む。
(付記1)
復号化方法であって:
点群占有コードを含む圧縮されたビデオ・データを含むエントロピー符号化されたビットストリームを受信するステップ;
点群のバウンダリ・ボックスの1つ以上の逆量子化されたディメンジョンを或るプロセスにより生成するステップであって、前記プロセスは、前記ビットストリームからの前記点群の前記バウンダリ・ボックスのディメンジョンを解析し;前記点群の前記バウンダリ・ボックスのエントロピー符号化されたディメンジョンをエントロピー復号化し;前記点群の前記バウンダリ・ボックスの前記ディメンジョンを逆量子化することを含む、ステップ;
前記圧縮されたビデオ・データは属性ベースの予測子又は幾何学ベースの予測子を使用することによって予測されたかどうかを判定するステップ;
前記圧縮されたビデオ・データは前記属性ベースの予測子を使用することによって予測された旨の判定に基づいて、復号化のための予測子は前記属性ベースの予測子であると決定するステップ;
前記圧縮されたビデオ・データは前記属性ベースの予測子を使用することによって予測された旨の判定に基づいて、前記復号化のための予測子は前記幾何学ベースの予測子であると決定するステップ;及び
前記決定された予測子を使用して、前記点群の前記占有コードを含む前記バウンダリ・ボックスの前記逆量子化されたディメンジョンに従って前記点群の前記バウンダリ・ボックスを細分化することによって、オクトツリー構造を構築するステップ;
を含む方法。
(付記2)
前記属性ベースの予測子又は前記幾何学ベースの予測子を点の幾何学的な位置に基づいて候補リスト内で選択するステップ;
を更に含む付記1に記載の方法。
(付記3)
前記圧縮されたビデオ・データは前記属性ベースの予測子又は前記幾何学ベースの予測子を使用することによって予測されたかどうかを、前記ビットストリームのシンタックスにおけるシグナリングに基づいて判定するステップ;
を更に含む付記1に記載の方法。
(付記4)
前記占有コードの属性がスカラー値である場合に、前記復号化のための予測子は前記幾何学ベースの予測子であると決定するステップ;
を更に含む付記1に記載の方法。
(付記5)
前記復号化のための予測子は固定長コードに二進化され、個々のビットはコンテキスト・モデリングで符号化された算術コードである、付記1に記載の方法。
(付記6)
前記復号化のための予測子は、前記復号化のための予測子の最大値として設定される最大値を有するトランケーテッド・ユーナリ(TU)コードに二進化される、付記1に記載の方法。
(付記7)
前記点群の属性は1つ以上の色又は反射率を含む、付記1に記載の方法。
(付記8)
前記属性ベースの予測子及び前記幾何学ベースの予測子の各々について、チャンク当たりの残差の平均を決定するステップ;及び
前記属性ベースの予測子又は前記幾何学ベースの予測子を使用するかどうかを、前記残差の決定された平均に基づいて決定するステップ;
を更に含む付記1に記載の方法。
(付記9)
残差又は変換された残差がトランケーテッド・ユーナリ(TU)コード最大値より小さい場合に、前記符号化のために最大値のTUコードを使用するステップ;及び
前記残差又は前記変換された残差が前記TUコード最大値より小さくない場合に、前記符号化のために指数コードを使用するステップ;
を更に含む付記1に記載の方法。
(付記10)
前記指数コードは、次数0の指数ゴロム・コードである、付記9に記載の方法。
(付記11)
前記TUコードのビットに対して、コンテキスト・ベースの算術コードを使用するステップ;及び
前記指数コードのビットに対して、バイパス・コーディングを使用するステップ;
を更に含む付記9に記載の方法。
(付記12)
前記幾何学ベースの予測子とともに始まり;
ある期間の後に、点のチャンクを閾値と比較し;
前記点のチャンクが前記閾値より大きい場合に、前記属性ベースの予測子を使用するステップ;
を更に含む付記1に記載の方法。
(付記13)
最良の予測候補がレート&歪関数の最小コストをもたらすレート歪最適化法に基づいて、最良の予測候補を選択するステップ;
を更に含む付記1に記載の方法。
(付記14)
構築されたオクトツリー構造に少なくとも部分的に基づいて、表示可能な画像を生成するステップ;及び
前記表示可能な画像がディスプレイによって表示されるように制御を行うステップ;
を更に含む付記1に記載の方法。
(付記15)
ビデオ・データを復号化するコンピュータ・システムであって、前記コンピュータ・システムは:
コンピュータ・プログラム・コードを記憶するように構成された1つ以上のコンピュータ読み取り可能な非一時的な記憶媒体;及び
前記コンピュータ・プログラム・コードにアクセスし、前記コンピュータ・プログラム・コードによって指示されたように動作するように構成される1つ以上のコンピュータ・プロセッサ;
を含み、前記コンピュータ・プログラム・コードは:
点群占有コードを含む圧縮されたビデオ・データを含むエントロピー符号化されたビットストリームを受信することを前記1つ以上のコンピュータ・プロセッサに行わせるように構成された受信コード;
点群のバウンダリ・ボックスの1つ以上の逆量子化されたディメンジョンを或るプロセスにより生成することを前記1つ以上のコンピュータ・プロセッサに行わせるように構成された逆量子化コードであって、前記プロセスは、前記ビットストリームからの前記点群の前記バウンダリ・ボックスのディメンジョンを解析し;前記点群の前記バウンダリ・ボックスのエントロピー符号化されたディメンジョンをエントロピー復号化し;前記点群の前記バウンダリ・ボックスの前記ディメンジョンを逆量子化することを含む、逆量子化コード;
前記圧縮されたビデオ・データは属性ベースの予測子又は幾何学ベースの予測子を使用することによって予測されたかどうかを判定することを前記1つ以上のコンピュータ・プロセッサに行わせるように構成された判定コード;
前記圧縮されたビデオ・データは前記属性ベースの予測子を使用することによって予測された旨の判定に基づいて、復号化のための予測子は前記属性ベースの予測子であると決定し;前記圧縮されたビデオ・データは前記属性ベースの予測子を使用することによって予測された旨の判定に基づいて、前記復号化のための予測子は前記幾何学ベースの予測子であると決定することを前記1つ以上のコンピュータ・プロセッサに行わせるように構成された予測子選択コード;及び
前記決定された予測子を使用して、前記点群の前記占有コードを含む前記バウンダリ・ボックスの前記逆量子化されたディメンジョンに従って前記点群の前記バウンダリ・ボックスを細分化することによって、オクトツリー構造を構築することを前記1つ以上のコンピュータ・プロセッサに行わせるように構成されたオクトツリー構築コード;
を含む、コンピュータ・システム。
(付記16)
前記予測子選択コードは、
前記圧縮されたビデオ・データは前記属性ベースの予測子又は前記幾何学ベースの予測子を使用することによって予測されたかどうかを、前記ビットストリームのシンタックスにおけるシグナリングに基づいて判定する
ことを前記1つ以上のコンピュータ・プロセッサに行わせるように更に構成されている、付記15に記載のコンピュータ・システム。
(付記17)
ディスプレイを更に含み、前記コンピュータ・プログラム・コードは:
構築されたオクトツリー構造に少なくとも部分的に基づいて、表示可能な画像を生成し、前記表示可能な画像が前記ディスプレイによって表示されるように制御を行う
ことを前記1つ以上のコンピュータ・プロセッサに行わせるように構成された表示コード;
を更に含む、付記15に記載のコンピュータ・システム。
(付記18)
前記点群の属性は1つ以上の色又は反射率を含む、付記15に記載のコンピュータ・システム。
(付記19)
ビデオ・データを復号化するコンピュータ・プログラムを記憶している非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ・プログラムは、1つ以上のコンピュータ・プロセッサに:
点群占有コードを含む圧縮されたビデオ・データを含むエントロピー符号化されたビットストリームを受信するステップ;
点群のバウンダリ・ボックスの1つ以上の逆量子化されたディメンジョンを或るプロセスにより生成するステップであって、前記プロセスは、前記ビットストリームからの前記点群の前記バウンダリ・ボックスのディメンジョンを解析し;前記点群の前記バウンダリ・ボックスのエントロピー符号化されたディメンジョンをエントロピー復号化し;前記点群の前記バウンダリ・ボックスの前記ディメンジョンを逆量子化することを含む、ステップ;
前記圧縮されたビデオ・データは属性ベースの予測子又は幾何学ベースの予測子を使用することによって予測されたかどうかを判定するステップ;
前記圧縮されたビデオ・データは前記属性ベースの予測子を使用することによって予測された旨の判定に基づいて、復号化のための予測子は前記属性ベースの予測子であると決定するステップ;
前記圧縮されたビデオ・データは前記属性ベースの予測子を使用することによって予測された旨の判定に基づいて、前記復号化のための予測子は前記幾何学ベースの予測子であると決定するステップ;及び
前記決定された予測子を使用して、前記点群の前記占有コードを含む前記バウンダリ・ボックスの前記逆量子化されたディメンジョンに従って前記点群の前記バウンダリ・ボックスを細分化することによって、オクトツリー構造を構築するステップ;
を行わせるように構成されている、非一時的なコンピュータ読み取り可能な記憶媒体。
(付記20)
前記コンピュータ・プログラムは、前記1つ以上のコンピュータ・プロセッサに:
構築されたオクトツリー構造に少なくとも部分的に基づいて、表示可能な画像を生成するステップ;及び
前記表示可能な画像がディスプレイによって表示されるように制御を行うステップ;
を行わせるように構成されている、付記19に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
Claims (16)
- 復号化方法であって:
点群占有コードを含む圧縮されたビデオ・データを含むエントロピー符号化されたビットストリームを受信するステップ;
点群のバウンダリ・ボックスの1つ以上の逆量子化されたディメンジョンを或るプロセスにより生成するステップであって、前記プロセスは、前記ビットストリームからの前記点群の前記バウンダリ・ボックスのディメンジョンを解析し;前記点群の前記バウンダリ・ボックスのエントロピー符号化されたディメンジョンをエントロピー復号化し;前記点群の前記バウンダリ・ボックスの前記ディメンジョンを逆量子化することを含む、ステップ;
前記圧縮されたビデオ・データは属性ベースの予測子又は幾何学ベースの予測子を使用することによって予測されたかどうかを判定するステップ;
前記圧縮されたビデオ・データは前記属性ベースの予測子を使用することによって予測された旨の判定に基づいて、復号化のための予測子は前記属性ベースの予測子であると決定するステップ;
前記圧縮されたビデオ・データは前記属性ベースの予測子を使用することによって予測された旨の判定に基づいて、前記復号化のための予測子は前記幾何学ベースの予測子であると決定するステップ;及び
前記決定された予測子を使用して、前記点群の前記占有コードを含む前記バウンダリ・ボックスの前記逆量子化されたディメンジョンに従って前記点群の前記バウンダリ・ボックスを細分化することによって、オクトツリー構造を構築するステップ;
を含む方法。 - 前記属性ベースの予測子又は前記幾何学ベースの予測子を点の幾何学的な位置に基づいて候補リスト内で選択するステップ;
を更に含む請求項1に記載の方法。 - 前記圧縮されたビデオ・データは前記属性ベースの予測子又は前記幾何学ベースの予測子を使用することによって予測されたかどうかを、前記ビットストリームのシンタックスにおけるシグナリングに基づいて判定するステップ;
を更に含む請求項1又は2に記載の方法。 - 前記占有コードの属性がスカラー値である場合に、前記復号化のための予測子は前記幾何学ベースの予測子であると決定するステップ;
を更に含む請求項1-3のうちの何れか1項に記載の方法。 - 前記復号化のための予測子は固定長コードに二進化され、個々のビットはコンテキスト・モデリングで符号化された算術コードである、請求項1-4のうちの何れか1項に記載の方法。
- 前記復号化のための予測子は、前記復号化のための予測子の最大値として設定される最大値を有するトランケーテッド・ユーナリ(TU)コードに二進化される、請求項1-4のうちの何れか1項に記載の方法。
- 前記点群の属性は1つ以上の色又は反射率を含む、請求項1-6のうちの何れか1項に記載の方法。
- 前記属性ベースの予測子及び前記幾何学ベースの予測子の各々について、チャンク当たりの残差の平均を決定するステップ;及び
前記属性ベースの予測子又は前記幾何学ベースの予測子を使用するかどうかを、前記残差の決定された平均に基づいて決定するステップ;
を更に含む請求項1-7のうちの何れか1項に記載の方法。 - 残差又は変換された残差がトランケーテッド・ユーナリ(TU)コード最大値より小さい場合に、前記符号化のために最大値のTUコードを使用するステップ;及び
前記残差又は前記変換された残差が前記TUコード最大値より小さくない場合に、前記符号化のために指数コードを使用するステップ;
を更に含む請求項1-4のうちの何れか1項に記載の方法。 - 前記指数コードは、次数0の指数ゴロム・コードである、請求項9に記載の方法。
- 前記TUコードのビットに対して、コンテキスト・ベースの算術コードを使用するステップ;及び
前記指数コードのビットに対して、バイパス・コーディングを使用するステップ;
を更に含む請求項9に記載の方法。 - 前記幾何学ベースの予測子とともに始まり;
ある期間の後に、点のチャンクを閾値と比較し;
前記点のチャンクが前記閾値より大きい場合に、前記属性ベースの予測子を使用するステップ;
を更に含む請求項1-11のうちの何れか1項に記載の方法。 - 最良の予測候補がレート&歪関数の最小コストをもたらすレート歪最適化法に基づいて、最良の予測候補を選択するステップ;
を更に含む請求項1-12のうちの何れか1項に記載の方法。 - 構築されたオクトツリー構造に少なくとも部分的に基づいて、表示可能な画像を生成するステップ;及び
前記表示可能な画像がディスプレイによって表示されるように制御を行うステップ;
を更に含む請求項1-13のうちの何れか1項に記載の方法。 - ビデオ・データを復号化するコンピュータ・システムであって、前記コンピュータ・システムは:
コンピュータ・プログラム・コードを記憶するように構成された1つ以上のコンピュータ読み取り可能な非一時的な記憶媒体;及び
前記コンピュータ・プログラム・コードにアクセスし、前記コンピュータ・プログラム・コードによって指示されたように動作するように構成される1つ以上のコンピュータ・プロセッサ;
を含み、前記コンピュータ・プログラム・コードは、請求項1-14のうちの何れか1項に記載の方法を前記1つ以上のコンピュータ・プロセッサに実行させる、コンピュータ・システム。 - 請求項1-14のうちの何れか1項に記載の方法をプロセッサに実行させるコンピュータ・プログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063002316P | 2020-03-30 | 2020-03-30 | |
US63/002,316 | 2020-03-30 | ||
US17/139,177 | 2020-12-31 | ||
US17/139,177 US11317117B2 (en) | 2020-03-30 | 2020-12-31 | Method of coding attributes for point cloud coding |
PCT/US2021/018105 WO2021202003A1 (en) | 2020-03-30 | 2021-02-15 | Method of coding attributes for point cloud coding |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022530765A true JP2022530765A (ja) | 2022-07-01 |
JP7330291B2 JP7330291B2 (ja) | 2023-08-21 |
Family
ID=77856893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021563220A Active JP7330291B2 (ja) | 2020-03-30 | 2021-02-15 | 点群コーディング用の属性をコーディングする方法 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11317117B2 (ja) |
EP (1) | EP4128540A4 (ja) |
JP (1) | JP7330291B2 (ja) |
KR (1) | KR20210144880A (ja) |
CN (1) | CN113796014B (ja) |
AU (1) | AU2021246918B2 (ja) |
CA (1) | CA3137933C (ja) |
SG (1) | SG11202111636XA (ja) |
WO (1) | WO2021202003A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11399192B2 (en) * | 2020-02-10 | 2022-07-26 | Tencent America LLC | Spatial scalable coding for point cloud coding |
WO2023075453A1 (ko) * | 2021-10-27 | 2023-05-04 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
WO2023090616A1 (ko) * | 2021-11-19 | 2023-05-25 | 현대자동차주식회사 | 포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩을 위한 방법 및 장치 |
WO2023131136A1 (en) * | 2022-01-04 | 2023-07-13 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for point cloud coding |
WO2023131131A1 (en) * | 2022-01-04 | 2023-07-13 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for point cloud coding |
WO2023158249A1 (ko) * | 2022-02-16 | 2023-08-24 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
WO2023191605A1 (ko) * | 2022-04-01 | 2023-10-05 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
WO2023198168A1 (en) * | 2022-04-14 | 2023-10-19 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for point cloud coding |
CN116996674A (zh) * | 2022-04-26 | 2023-11-03 | 中兴通讯股份有限公司 | 一种编码方法、解码方法、通信节点及存储介质 |
WO2024043659A1 (ko) * | 2022-08-22 | 2024-02-29 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070040711A1 (en) * | 2005-08-22 | 2007-02-22 | Streaming Networks (Pvt.) Ltd. | Method and system for fast context based adaptive binary arithmetic coding |
WO2019240167A1 (ja) * | 2018-06-12 | 2019-12-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
WO2020005363A1 (en) * | 2018-06-26 | 2020-01-02 | Futurewei Technologies, Inc. | High-level syntax designs for point cloud coding |
US20200021844A1 (en) * | 2018-07-10 | 2020-01-16 | Tencent America LLC | Method and apparatus for video coding |
WO2020054739A1 (ja) * | 2018-09-11 | 2020-03-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018126228A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Sign and lane creation for high definition maps used for autonomous vehicles |
US10897269B2 (en) * | 2017-09-14 | 2021-01-19 | Apple Inc. | Hierarchical point cloud compression |
US11010928B2 (en) * | 2018-04-10 | 2021-05-18 | Apple Inc. | Adaptive distance based point cloud compression |
CN109559374B (zh) * | 2018-11-20 | 2023-05-05 | 广州方舆科技有限公司 | 基于点云数据的高效测绘系统 |
CN110443810B (zh) * | 2019-07-17 | 2022-09-16 | 北京建筑大学 | 基于快速邻接体素查询的点云平面分割方法 |
-
2020
- 2020-12-31 US US17/139,177 patent/US11317117B2/en active Active
-
2021
- 2021-02-15 JP JP2021563220A patent/JP7330291B2/ja active Active
- 2021-02-15 SG SG11202111636XA patent/SG11202111636XA/en unknown
- 2021-02-15 CA CA3137933A patent/CA3137933C/en active Active
- 2021-02-15 EP EP21781555.4A patent/EP4128540A4/en active Pending
- 2021-02-15 WO PCT/US2021/018105 patent/WO2021202003A1/en unknown
- 2021-02-15 CN CN202180002863.0A patent/CN113796014B/zh active Active
- 2021-02-15 KR KR1020217035705A patent/KR20210144880A/ko active Search and Examination
- 2021-02-15 AU AU2021246918A patent/AU2021246918B2/en active Active
-
2022
- 2022-03-17 US US17/697,283 patent/US11812058B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070040711A1 (en) * | 2005-08-22 | 2007-02-22 | Streaming Networks (Pvt.) Ltd. | Method and system for fast context based adaptive binary arithmetic coding |
WO2019240167A1 (ja) * | 2018-06-12 | 2019-12-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
WO2020005363A1 (en) * | 2018-06-26 | 2020-01-02 | Futurewei Technologies, Inc. | High-level syntax designs for point cloud coding |
US20200021844A1 (en) * | 2018-07-10 | 2020-01-16 | Tencent America LLC | Method and apparatus for video coding |
WO2020054739A1 (ja) * | 2018-09-11 | 2020-03-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
Also Published As
Publication number | Publication date |
---|---|
US11317117B2 (en) | 2022-04-26 |
US11812058B2 (en) | 2023-11-07 |
EP4128540A1 (en) | 2023-02-08 |
EP4128540A4 (en) | 2023-11-22 |
CN113796014B (zh) | 2023-11-03 |
CN113796014A (zh) | 2021-12-14 |
JP7330291B2 (ja) | 2023-08-21 |
AU2021246918B2 (en) | 2023-03-02 |
AU2021246918A1 (en) | 2021-11-18 |
CA3137933C (en) | 2024-03-19 |
US20210306664A1 (en) | 2021-09-30 |
CA3137933A1 (en) | 2021-10-07 |
KR20210144880A (ko) | 2021-11-30 |
US20220210472A1 (en) | 2022-06-30 |
WO2021202003A1 (en) | 2021-10-07 |
SG11202111636XA (en) | 2021-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7098746B2 (ja) | 並行処理による履歴ベースの動きベクトル予測のための方法並びのその装置とコンピュータプログラム | |
JP7330291B2 (ja) | 点群コーディング用の属性をコーディングする方法 | |
JP7213264B2 (ja) | デコードまたはエンコードのための方法並びに装置およびコンピュータプログラム | |
JP7053947B2 (ja) | ビデオシーケンスを復号する方法、装置及びコンピュータプログラム | |
JP2021516509A (ja) | 履歴ベースの動きベクトル予測のための方法並びにその装置及びコンピュータプログラム | |
JP7130851B2 (ja) | ビデオ符号化において追加中間候補を有するマージモードの方法及び装置 | |
JP7055485B2 (ja) | 映像符号化のための方法並びに、その、装置及びコンピュータプログラム | |
JP7257516B2 (ja) | ビデオ・コーディングのための方法、装置及びコンピュータ・プログラム | |
JP2022511865A (ja) | ビデオ符号化又は復号の方法及び装置並びにコンピュータプログラム | |
JP2022511851A (ja) | 最大変換サイズの制御 | |
JP2022515126A6 (ja) | ビデオ・コーディングのための方法、装置及びコンピュータ・プログラム | |
JP7066919B2 (ja) | 階層的タイル | |
JP2022512109A (ja) | ビデオ復号及び符号化の方法、装置並びにプログラム | |
US11399192B2 (en) | Spatial scalable coding for point cloud coding | |
JP2022518894A (ja) | 点群符号化のためのパラメータセット設計の方法並びにその装置及びプログラム | |
JP2021521755A (ja) | マルチラインイントラ予測のためのモードリストを生成する方法、並びにその装置及びコンピュータプログラム | |
JP7061680B2 (ja) | ビデオ符号化において縮減された前のラインバッファを使用するインター予測の方法及び装置 | |
JP2022524106A (ja) | ビデオビットストリームにおけるピクチャサイズおよび分割情報の効率的なシグナリングのための方法、装置、およびコンピュータプログラム | |
RU2773384C1 (ru) | Способ кодирования атрибутов для кодирования облака точек | |
RU2782436C1 (ru) | Способ и устройство для эффективной сигнализации информации о размере и разбиении изображения в битовом потоке видео | |
RU2775739C1 (ru) | Способ поуровневого произвольного доступа в кодированном видеопотоке | |
JP2023543592A (ja) | ビデオエンコーダの少なくとも1つのプロセッサによって実行される方法、システム、及びコンピュータプログラム、並びにビデオデコーダの少なくとも1つのプロセッサによって実行される方法 | |
CN117678219A (zh) | 基于时间预测的顶点位置压缩 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7330291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |