JP2022549431A - 容積ビデオを符号化、送信、及び復号化するための方法及び装置 - Google Patents
容積ビデオを符号化、送信、及び復号化するための方法及び装置 Download PDFInfo
- Publication number
- JP2022549431A JP2022549431A JP2022518235A JP2022518235A JP2022549431A JP 2022549431 A JP2022549431 A JP 2022549431A JP 2022518235 A JP2022518235 A JP 2022518235A JP 2022518235 A JP2022518235 A JP 2022518235A JP 2022549431 A JP2022549431 A JP 2022549431A
- Authority
- JP
- Japan
- Prior art keywords
- view
- graph
- pruned
- views
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013138 pruning Methods 0.000 claims abstract description 61
- 230000000670 limiting effect Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000009877 rendering Methods 0.000 description 17
- 230000015654 memory Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 208000012886 Vertigo Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 231100000889 vertigo Toxicity 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Abstract
Description
-非枝刈りマルチビューフレームのビューを連結する非周期グラフを取得することであって、グラフのリンクが、ビュー枝刈り優先順位を表す、取得することと、
-第1のビューが、枝刈り優先順位リンクによって、第1のビューに連結されたビューの後に枝刈りされるように、マルチビュー画像のビューのピクセルを決定された順序で枝刈りすることと、
-データストリーム内のグラフ及びプルーンビューを符号化することと、を含む。
-データストリームから枝刈りされたマルチビューフレームを取得することと、
-データストリームから非周期グラフを取得することであって、グラフが、マルチビュー画像のビューを連結し、グラフのリンクが、ビュー枝刈り優先順位を表す、取得することと、
-グラフの枝刈り優先順位の関数として、枝刈りされたマルチビューフレームの各ビューの寄与を決定することによって、視認姿勢に従ってビューポートフレームを生成することと、を含む。
-枝刈りされたマルチビューフレームを表すデータと、
-非周期グラフを表すデータであって、グラフが、マルチビュー画像のビューを連結し、グラフのリンクが、ビュー枝刈り優先順位を表す、データと、を含む、データストリームに関する。
・任意選択的に奥行きアクティブセンシングデバイスによって補完された、カメラのリグによって撮影された実オブジェクトの捕捉から、
・モデリングツールにおける仮想カメラのリグによって撮影された仮想/合成オブジェクトの捕捉から、
・実オブジェクトと仮想オブジェクトの両方の混合物から、取得され得る。
-JPEG、仕様ISO/CEI10918-1UIT-T推奨T.81、https://www.itu.int/rec/T-REC-T.81/en;
-MPEG-4AVC又はh264とも呼ばれるAVCなどのエンコーダに準拠する。UIT-TH.264及びISO/CEI MPEG-4-Part 10(ISO/CEI14496-10)、http://www.itu.int/rec/T-REC-H.264/en,HEVC(その仕様は、ITUウェブサイト、T推奨、H系列、h265、http://www.tigh.int/rec/T-REC-H.265-201612-I/enで見出される)、
-3D-HEVC(仕様がITUウェブサイト、T推奨、H系列、h265、http://www.itu.int/rec/T-REC-H.265-201612-I/en annexG及びIで見出されるHEVCの拡張子)、
-Googleによって開発されたVP9、
-Alliance for Open Mediaによって開発されたAV1(AO媒体ビデオ1)又は
-Versatile Video Coder又はMPEG-I又はMPEG-V の将来のバージョンのような将来の標準などのエンコーダに適合する。
-例えば、ビデオメモリ又はRAM(又はランダムアクセスメモリ)、フラッシュメモリ、ROM(又は読み取り専用メモリ)、ハードディスクなどのローカルメモリと、
-例えば、質量ストレージ、RAM、フラッシュメモリ、ROM、光学ディスク又は磁気サポートとのインターフェースなどのストレージインターフェースと、
-例えば、有線インターフェース(例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース)又は無線インターフェース(IEEE802.11インターフェース又はBluetooth(登録商標)インターフェースなど)などの通信インターフェースと、
-ユーザがデータを入力することを可能にするグラフィカルユーザインターフェースなどのユーザインターフェースと、を含むセットに属する。
-例えば、DSP(又はデジタル信号プロセッサ)であるマイクロプロセッサ32(又はCPU)と、
-ROM(又は読み取り専用メモリ)33と、
-RAM(又はランダムアクセスメモリ)34と、
-ストレージインターフェース35と、
-アプリケーションから、送信するデータを受信するためのI/Oインターフェース36と、
-電源、例えば、バッテリと、を備える。
-モバイルデバイスと、
-通信デバイスと、
-ゲームデバイスと、
-タブレット(又はタブレットコンピュータ)と、
-ラップトップと、
-静止画カメラと、
-ビデオカメラと、
-符号化チップと、
-サーバ(例えば、ブロードキャストサーバ、ビデオオンデマンドサーバ又はウェブサーバ)と、を含むセットに属する。
1)ピクセルpは、そのビューの子に関連付けられた(まだ「枝狩りされていない」)ビュー上に投影解除され、それがそれらのビューポートに寄与する場合、次いで、関連付けられた投影解除ピクセルステータスは、取り込まれる。
2)投影解除されたピクセルが枝刈りされた(かつ有効な値がないままである)と識別される場合、その色及び奥行き値はピクセルp(色及び/又は奥行き)の値に設定され、プロセスは、後者のビューの子に対して反復的に繰り返される。
3)投影解除されたピクセルが非枝刈りされた(かつ有効な値を有する)として識別される場合、その色及び奥行き値は変化しないままであり、それ以上のグラフの検査はこの後者のビューの子に向かって行われない。
4)ピクセルpがその子のうちの1つのビューポート内に入っていない場合、プロセスは、孫に対して再帰的に繰り返される。
Claims (15)
- データストリーム内の枝刈りされたマルチビューフレームを符号化するための方法であって、
-非枝刈りマルチビューフレームのビューを連結する非周期グラフを取得することであって、前記グラフのリンクが、ビュー枝刈り優先順位を表す、取得することと、
-第1のビューが、枝刈り優先順位リンクによって、前記第1のビューに連結されたビューの後に枝刈りされるように、前記マルチビュー画像のビューのピクセルを決定された順序で枝刈りすることと、
-前記データストリーム内の前記グラフ及び枝刈りされたビューを符号化することと、を含む、方法。 - ビューのピクセルを枝刈りすることが、前記枝刈り優先順位リンクに従って、前記マルチビューフレームの枝刈りされていないビューのピクセル内で共有されるように、冗長な情報を記憶する、ビューのピクセルの前記値を、決定された値によって置き換えることを含む、請求項1に記載の方法。
- 前記グラフが、前記マルチビューフレームのビューごとに、前記ビューが関連するビューのリストを含むリストとして、前記データストリーム内でシグナリングされる、請求項1又は2に記載の方法。
- データストリーム内の枝刈りされたマルチビューフレームを符号化するためのデバイスであって、
-非枝刈りマルチビューフレームのビューを連結する非周期グラフを取得することであって、前記グラフのリンクが、ビュー枝刈り優先順位を表す、取得することと、
-第1のビューが、枝刈り優先順位リンクによって、前記第1のビューに連結されたビューの後に枝刈りされるように、前記マルチビュー画像のビューのピクセルを決定された順序で枝刈りすることと、
-前記データストリーム内の前記グラフ及び枝刈りされたビューを符号化することと、を行うように構成されたプロセッサを備える、デバイス。 - ビューのピクセルを枝刈りすることが、前記枝刈り優先順位リンクに従って、前記マルチビューフレームの枝刈りされていないビューのピクセル内で共有されるように、冗長な情報を記憶する、ビューのピクセルの前記値を、決定された値によって置き換えることを含む、請求項4に記載のデバイス。
- 前記グラフが、前記マルチビューフレームのビューごとに、前記ビューが関連するビューのリストを含むリストとして、前記データストリーム内でシグナリングされる、請求項4又は5に記載の方法。
- データストリームから枝刈りされたマルチビューフレームを復号化する方法であって、
-前記データストリームから前記枝刈りされたマルチビューフレームを取得することと、
-前記データストリームから非周期グラフを取得することであって、前記グラフが、前記マルチビュー画像のビューを連結し、前記グラフのリンクが、ビュー枝刈り優先順位を表す、取得することと、
-前記グラフの前記枝刈り優先順位の関数として、前記枝刈りされたマルチビューフレームの各ビューの前記寄与を決定することによって、視認姿勢に従って、ビューポートフレームを生成することと、を含む、方法。 - ビューの枝刈りされたピクセルの値が、所定の値を有する、請求項7に記載の方法。
- 前記グラフが、前記マルチビューフレームのビューごとに、前記ビューが関連するビューのリストを含むリストとして、前記データストリーム内でシグナリングされる、請求項7又は8に記載の方法。
- データストリームから枝刈りされたマルチビューフレームを復号化するためのデバイスであって、
-前記データストリームから前記枝刈りされたマルチビューフレームを取得することと、
-前記データストリームから非周期グラフを取得することであって、前記グラフが、前記マルチビュー画像のビューを連結し、前記グラフのリンクが、ビュー枝刈り優先順位を表す、取得することと、
-前記グラフの前記枝刈り優先順位の関数として、前記枝刈りされたマルチビューフレームの各ビューの前記寄与を決定することによって、視認姿勢に従って、ビューポートフレームを生成することと、を含む、デバイス。 - ビューの枝刈りされたピクセルの値が、所定の値を有する、請求項10に記載のデバイス。
- 前記グラフが、前記マルチビューフレームのビューごとに、前記ビューが関連するビューのリストを含むリストとして、前記データストリーム内でシグナリングされる、請求項10又は11に記載のデバイス。
- データストリームであって、
-枝刈りされたマルチビューフレームを表すデータと、
-非周期グラフを表すデータであって、前記グラフが、前記マルチビュー画像のビューを連結し、前記グラフのリンクが、ビュー枝刈り優先順位を表す、データと、を含む、データストリーム。 - ビューの枝刈りされたピクセルの値が、所定の値を有する、請求項13に記載のデータストリーム。
- 前記非周期グラフが、前記マルチビューフレームのビューごとに、前記ビューが関連するビューのリストを含むリストとして、前記データストリーム内でシグナリングされる、請求項13又は14に記載のデータストリーム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19306222.1 | 2019-09-30 | ||
EP19306222 | 2019-09-30 | ||
EP20305005 | 2020-01-07 | ||
EP20305005.9 | 2020-01-07 | ||
PCT/EP2020/076355 WO2021063732A1 (en) | 2019-09-30 | 2020-09-22 | A method and apparatus for encoding, transmitting and decoding volumetric video |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022549431A true JP2022549431A (ja) | 2022-11-25 |
Family
ID=72517265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022518235A Pending JP2022549431A (ja) | 2019-09-30 | 2020-09-22 | 容積ビデオを符号化、送信、及び復号化するための方法及び装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20220368879A1 (ja) |
EP (1) | EP4038880A1 (ja) |
JP (1) | JP2022549431A (ja) |
KR (1) | KR20220066328A (ja) |
CN (1) | CN114731416A (ja) |
BR (1) | BR112022005231A2 (ja) |
TW (1) | TW202116063A (ja) |
WO (1) | WO2021063732A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11838485B2 (en) * | 2020-04-16 | 2023-12-05 | Electronics And Telecommunications Research Institute | Method for processing immersive video and method for producing immersive video |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11432009B2 (en) * | 2019-07-02 | 2022-08-30 | Intel Corporation | Techniques for encoding and decoding immersive video |
-
2020
- 2020-09-22 US US17/763,745 patent/US20220368879A1/en active Pending
- 2020-09-22 JP JP2022518235A patent/JP2022549431A/ja active Pending
- 2020-09-22 CN CN202080071154.3A patent/CN114731416A/zh active Pending
- 2020-09-22 EP EP20772079.8A patent/EP4038880A1/en active Pending
- 2020-09-22 BR BR112022005231A patent/BR112022005231A2/pt unknown
- 2020-09-22 KR KR1020227012856A patent/KR20220066328A/ko unknown
- 2020-09-22 WO PCT/EP2020/076355 patent/WO2021063732A1/en unknown
- 2020-09-25 TW TW109133189A patent/TW202116063A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
KR20220066328A (ko) | 2022-05-24 |
US20220368879A1 (en) | 2022-11-17 |
CN114731416A (zh) | 2022-07-08 |
WO2021063732A1 (en) | 2021-04-08 |
TW202116063A (zh) | 2021-04-16 |
EP4038880A1 (en) | 2022-08-10 |
BR112022005231A2 (pt) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11979546B2 (en) | Method and apparatus for encoding and rendering a 3D scene with inpainting patches | |
US20220343549A1 (en) | A method and apparatus for encoding, transmitting and decoding volumetric video | |
US11968349B2 (en) | Method and apparatus for encoding and decoding of multiple-viewpoint 3DoF+ content | |
US20230042874A1 (en) | Volumetric video with auxiliary patches | |
JP2022549431A (ja) | 容積ビデオを符号化、送信、及び復号化するための方法及び装置 | |
US20220377302A1 (en) | A method and apparatus for coding and decoding volumetric video with view-driven specularity | |
WO2020185529A1 (en) | A method and apparatus for encoding and decoding volumetric video | |
US20220345681A1 (en) | Method and apparatus for encoding, transmitting and decoding volumetric video | |
US20230239451A1 (en) | A method and apparatus for encoding and decoding volumetric content in and from a data stream | |
US20220343546A1 (en) | Haptic atlas coding and decoding format | |
JP2024514066A (ja) | 光効果をサポートする容積ビデオ | |
JP2023507586A (ja) | 3dof構成要素からの6dofコンテンツを符号化、復号化、及びレンダリングするための方法及び装置 | |
EP4133738A1 (en) | Different atlas packings for volumetric video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220524 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220530 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220720 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230922 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20231121 |