JP2022533225A - ビデオベースポイントクラウドストリーム - Google Patents

ビデオベースポイントクラウドストリーム Download PDF

Info

Publication number
JP2022533225A
JP2022533225A JP2021569053A JP2021569053A JP2022533225A JP 2022533225 A JP2022533225 A JP 2022533225A JP 2021569053 A JP2021569053 A JP 2021569053A JP 2021569053 A JP2021569053 A JP 2021569053A JP 2022533225 A JP2022533225 A JP 2022533225A
Authority
JP
Japan
Prior art keywords
track
region
pcc
video
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021569053A
Other languages
English (en)
Other versions
JPWO2020237072A5 (ja
Inventor
ハムザ、アフマド
フ、ヨン
Original Assignee
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2022533225A publication Critical patent/JP2022533225A/ja
Publication of JPWO2020237072A5 publication Critical patent/JPWO2020237072A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

1つ又は複数のISOベースメディアファイルフォーマット(ISOBMFF)コンテナファイル内のビデオベースポイントクラウドストリームに関係するシステム、方法及び手段が本明細書において開示される。ポイントクラウドデータのコンテナフォーマットが提供され、コンテナフォーマットは、ポイントクラウドの3D領域と1つ又は複数のビデオベースポイントクラウド圧縮(V-PCC)トラックとの少なくとも関係を示す。V-PCCトラックは、纏めてグルーピングされ、そして3D領域への空間的アクセスを可能にするために3D領域へリンクされ得る。

Description

関連出願の相互参照
[0001] 本出願は、参照のためその開示の全体を本明細書に援用する2019年5月23日出願の米国仮特許出願第62/852,046号及び2019年9月27日出願の米国仮特許出願第62/907,249号の利益を主張する。
背景
[0002] ビデオコード化システムはデジタルビデオ信号を圧縮及び/又は圧縮解除するために(例えばこのような信号に必要な格納及び/又は送信帯域を低減するために)使用され得る。3次元(3D)ポイントクラウドは没入型メディアの高度表現として出現した。これらのポイントクラウドは、例えば複数のカメラ、深さセンサ及び/又は光検出及び測距(LiDAR:light detection and ranging)レーザスキャナを使用する多くのやり方で捕捉され得る。3D空間内のオブジェクト及び/又はシーンを現実的に再構築するために必要とされるポイントの数はほぼ何百万又は何十億であり得る。したがって、ポイントクラウドデータを格納及び/又は送信するための効率的表現、圧縮、及び/又は配送技術が望ましい。
概要
[0003] 3次元(3D)空間に関連付けられたビデオデータを処理するためのシステム、方法及び手段が開示される。本明細書において説明されるビデオ復号装置は、ビデオベースポイントクラウド圧縮(V-PCC:video-based point cloud compression)ビットストリームを含むメディアコンテナファイル(例えば国際標準化機構(ISO:International Organization for Standardization)ベースメディアファイルフォーマット(ISOBMFF)コンテナファイル)を受信するように構成されたプロセッサを含み得る。プロセッサは、3D空間内の3D領域の領域識別子(ID)と3D空間に関連付けられた1つ又は複数のトラックグループのそれぞれのトラックグループIDとを決定するために、メディアコンテナファイル及び/又はその中に含まれるV-PCCビットストリームを解析し得る。プロセッサは、1つ又は複数のトラックグループが3D領域に関連付けられているということを1つ又は複数のトラックグループのそれぞれのトラックグループIDが3D領域の領域IDへリンクされているという決定に基づき決定し得る。プロセッサは、3D空間の3D領域の視覚的表現を描画するために、1つ又は複数のトラックグループに属するビデオトラック(例えば2Dフレーム内の1つ又は複数のタイルに対応する)を復号し得る。本明細書において説明される1つ又は複数のトラックグループは共通トラックグループタイプを共有し得、1つ又は複数のトラックグループは、3D領域に関連付けられているということをトラックグループタイプにさらに基づき決定され得る。メディアルコンテナファイルは、3D空間に関連付けられた領域の数及びこれらの領域のそれぞれに関連付けられたトラックグループの数を定義する1つ又は複数の構造を含み得、プロセッサは1つ又は複数のトラックグループのそれぞれのトラックグループIDが3D領域の領域IDへリンクされているということを構造に含まれる情報に基づき決定するように構成され得る。
[0004] メディアルコンテナファイルは、更新された領域のサブセットに関連付けられた情報を含む時限(timed)メタデータを含み得、時限メタデータはこの領域のサブセットに対する更新(例えば位置、次元など)を示し得る。さらに、ビデオトラックは1つ又は複数のサンプルエントリを含み得、1つ又は複数のサンプルエントリのそれぞれは、ネットワーク抽出層(NAL:network abstraction layer)ユニットサイズを示すデータフィールドの長さのインジケーションを含み得る。サンプルエントリはさらに、サンプルエントリに関連付けられたV-PCCパラメータセットの数又はサンプルエントリに関連付けられたアトラス(atlas)NALユニットのアレイの数のインジケーションを含み得る。
図面の簡単な説明
[0005]1つ又は複数の開示された実施形態が実装され得る例示的通信システムを示すシステム図である。 [0006]一実施形態による図1Aに示す通信システム内で使用され得る例示的無線送信/受信ユニット(WTRU:wireless transmit/receive unit)を示すシステム図である。 [0007]一実施形態による図1Aに示す通信システム内で使用され得る例示的無線アクセスネットワーク(RAN:radio access network)及び例示的コアネットワーク(CN:core network)を示すシステム図である。 [0008]一実施形態による図1Aに示す通信システム内で使用され得る別の例示的RAN及び別の例示的CNを示すシステム図である。 [0009]複数のV-PCCユニットを含む例示的ビデオベースポイントクラウド圧縮(V-PCC)ビットストリーム構造を示す。 [0010]例示的メディアコンテナ構造を示す。 [0011]コンポーネントのイントラランダムアクセスポイント(IRAP:intra-random access point)サンプルがアライメントされる例示的制約を示す。 [0012]V-PCC IRAPを示すためにIRAP期間の最小公倍数を使用する例を示す。 [0013]3D空間内の特定領域への空間的アクセスを可能にするために使用され得る例示的メディアコンテナ構造を示す。
詳細な説明
[0014] より詳細な理解は添付図面と併せて一例として与えられる以下の説明から得られ得る。
[0015] 図1Aは、1つ又は複数の開示された実施形態が実装され得る例示的通信システム100を示すダイアグラムである。通信システム100は、音声、データ、ビデオ、メッセージング、同報通信などのコンテンツを複数の無線ユーザへ提供する多元アクセスシステムであり得る。通信システム100は、複数の無線ユーザがシステム資源(無線帯域を含む)の共有を介し、このようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム100は、1つ又は複数のチャネルアクセス方法(符号分割多元アクセス(CDMA:code division multiple access)、時分割多元アクセス(TDMA:time division multiple access)、周波数分割多元アクセス(FDMA:frequency division multiple access)、直交FDMA(OFDMA:orthogonal FDMA)、単一キャリヤFDMA(SC-FDMA:single-carrier FDMA)、ゼロテイルユニークワードDFT拡散OFDM(ZT UW DTS-s OFDM:zero-tail unique-word DFT-Spread OFDM)、ユニークワードOFDM(UW-OFDM:unique word OFDM)、リソースブロックフィルタOFDM、フィルタバンクマルチキャリヤ(FBMC:filter bank multicarrier)など)を採用し得る。
[0016] 図1Aに示すように、通信システム100は無線送信/受信ユニット(WTRU:wireless transmit/receive unit)102a、102b、102c、102d、RAN104/113、CN106/115、公衆交換電話網(PSTN:public switched telephone network)108、インターネット110、及び他のネットワーク112を含み得る。但し、開示された実施形態は任意数のWTRU、基地局、ネットワーク、及び/又はネットワーク要素を企図するということを理解することになる。WTRU102a、102b、102c、102dのそれぞれは、無線環境において動作及び/又は通信するように構成された任意のタイプの装置であり得る。一例として、WTRU102a、102b、102c、102d(いずれも「ステーション」及び/又は「STA」とも呼ばれ得る)は、無線信号を送信及び/又は受信するように構成され得、そしてユーザ装置(UE:user equipment)、移動ステーション、固定又は可動加入者ユニット、サブスクリプションベースユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント(PDA:personal digital assistant)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポット又はMi-Fi装置、「モノのインターネット(IoT:Internet of Things)」装置、時計又は他のウェアブル装置、頭部装着型ディスプレイ(HMD:head-mounted display)、車両、ドローン、医療装置及びアプリケーション(例えば遠隔手術)、工業装置及びアプリケーション(例えば、ロボット、及び/又は工業及び/又は自動化処理チェーン文脈において動作する他の無線装置)、民生用電子装置、商用及び/又は工業用無線ネットワーク上で動作する装置などを含み得る。WTRU102a、102b、102c、102dのいずれもUEとして交換可能に呼ばれ得る。
[0017] 通信システム100はまた基地局114a及び/又は基地局114bを含み得る。基地局114a、114bのそれぞれは、1つ又は複数の通信ネットワーク(CN106/115、インターネット110、及び/又は他のネットワーク112など)へのアクセスを容易にするためにWTRU102a、102b、102c、102dの少なくとも1つと無線でインターフェースするように構成された任意のタイプの装置であり得る。一例として、基地局114a、114bはベース送受信機ステーション(BTS:base transceiver station)、ノードB、eNode B、Home Node B、Home eNode B、gNB、NR NodeB、サイトコントローラ、アクセスポイント(AP:access point)、無線ルータなどであり得る。基地局114a、114bはそれぞれ単一要素として描写されるが任意数の相互接続された基地局及び/又はネットワーク要素を含み得るということが理解されることになる。
[0018] 基地局114aは、他の基地局及び/又はネットワーク要素(基地局コントローラ(BSC:base station controller)、無線ネットワークコントローラ(RNC:radio network controller)、中継ノードなど)(図示せず)も含み得るRAN104/113の一部であり得る。基地局114a及び/又は基地局114bは、無線信号を1つ又は複数のキャリヤ周波数上で送信及び/又は受信するように構成され得、セル(図示せず)とも呼ばれることがある。これらの周波数は、認可スペクトル、無認可スペクトル、又は認可及び無認可スペクトルの組み合わせであり得る。セルは、比較的固定され得る又は時間とともに変化し得る無線サービスのカバレッジを特定地理的エリアへ提供し得る。セルはさらにセルセクタへ分割され得る。例えば、基地局114aに関連付けられたセルは3つのセクタへ分割され得る。したがって、一実施形態では、基地局114aは3つの送受信機(すなわち、セルのセクタ毎に1つ)を含み得る。一実施形態では、基地局114aは、マルチ入力マルチ出力(MIMO:multiple-input multiple output)技術を採用し得、そしてセルのセクタ毎に複数の送受信機を利用し得る。例えば、ビーム形成(beamforming)が、信号を所望空間方向に送信及び/又は受信するために使用され得る。
[0019] 基地局114a、114bは、任意の好適な無線通信リンク(例えば無線周波数(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外線(UV)、可視光など)であり得る無線インターフェース116上でWTRU102a、102b、102c、102dの1つ又は複数と通信し得る。無線インターフェース116は任意の好適な無線アクセス技術(RAT:radio access technology)を使用して確立され得る。
[0020] 具体的には、上に指摘したように、通信システム100は、多元アクセスシステムであり得、CDMA、TDMA、FDMA、OFDMA、SC-FDMAなどの1つ又は複数のチャネルアクセス方式を採用し得る。例えば、RAN104/113内の基地局114a及びWTRU102a、102b、102cは、広帯域CDMA(WCDMA)を使用して無線インターフェース115/116/117を確立し得る無線技術(汎用移動体電話システム(UMTS:Universal Mobile Telecommunications System)地上無線アクセス(UTRA:Terrestrial Radio Access)など)を実施し得る。WCDMAは、高速パケットアクセス(HSPA:High-Speed Packet Access)及び/又は拡張HSPA(HSPA+)などの通信プロトコルを含み得る。HSPAは高速ダウンリンク(DL)パケットアクセス(HSDPA:High-Speed Downlink Packet Access)及び/又は高速ULパケットアクセス(HSUPA:High-Speed UL Packet Access)を含み得る。
[0020] 一実施形態では、基地局114a及びWTRU102a、102b、102cは、ロングタームエボリューション(LTE:Long Term Evolution)及び/又はLTE-Advanced(LTE-A)及び/又はLTE-Advanced Pro(LTE-A Pro)を使用することにより無線インターフェース116を確立し得る無線技術(拡張UMTS地上無線アクセス(E-UTRA:Evolved UMTS Terrestrial Radio Access)など)を実施し得る。
[0022] 一実施形態では、基地局114a及びWTRU102a、102b、102cは、New Radio(NR)を使用することにより無線インターフェース116を確立し得るNR無線アクセス(NR Radio Access)などの無線技術を実施し得る。
[0023] 一実施形態では、基地局114a及びWTRU102a、102b、102cは複数の無線アクセス技術を実施し得る。例えば、基地局114a及びWTRU102a、102b、102cは、例えばデュアル接続性(DC:dual connectivity)原理を使用することによりLTE無線アクセス及びNR無線アクセスを併せて実施し得る。したがって、WTRU102a、102b、102cにより利用される無線インターフェースは、複数のタイプの基地局へ/から送信される複数のタイプの無線アクセス技術及び/又は伝送(例えばeNB及びgNB)により特徴付けられ得る。
[0024] 他の実施形態では、基地局114a及びWTRU102a、102b、102cは、IEEE 802.11(すなわちワイヤレスフィデリティ(WiFi)、IEEE 802.16(すなわちWorldwide Interoperability for Microwave(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定標準規格2000(IS-2000)、暫定標準規格95(IS-95)、暫定標準規格856(IS-856)、世界移動体通信システム(GSM:Global System for Mobile communications)、Enhanced Data rates for GSM Evolution(EDGE)、GSM EDGE(GERAN)などの無線技術を実施し得る。
[0025] 例えば、図1Aにおける基地局114bは、無線ルータ、Home Node B、Home eNode B又はアクセスポイントであり得、そして事業所、自宅、車両、敷地、工業施設、空中回廊(air corridor)(例えばドローンによる使用のための)、車道などの局所エリア内の無線接続性を容易にするための任意の好適なRATを利用し得る。一実施形態では、基地局114b及びWTRU102c、102dは無線ローカルエリアネットワーク(WLAN)を確立するためにIEEE 802.11などの無線技術を実施し得る。一実施形態では、基地局114b及びWTRU102c、102dは無線パーソナルネットワーク(WPAN)を確立するためにIEEE 802.15などの無線技術を実施し得る。さらに別の実施形態では、基地局114b及びWTRU102c、102dは、ピコセル又はフェムトセルを確立するためにセルラベースRAT(例えばWCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NRなど)を利用し得る。図1Aに示すように、基地局114bはインターネット110への直接接続を有し得る。したがって、基地局114bはCN106/115を介しインターネット110にアクセスすることを要求されないかもしれない。
[0026] RAN104/113は、音声、データ、アプリケーション及び/又はボイスオーバーインターネットプロトコル(VoIP:voice over internet protocol)サービスをWTRU102a、102b、102c、102dの1つ又は複数へ提供するように構成された任意のタイプのネットワークであり得るCN106/115と通信し得る。データは、様々なスループット要件、待ち時間要件、エラー許容要件、信頼性要件、データスループット要件、モビリティ要件など種々のサービス品質(QoS)要件を有し得る。CN106/115は、呼制御、課金サービス、モバイルロケーションベースサービス、プリペイドコール、インターネット接続、ビデオ配信などを提供し得る及び/又はユーザ認証などのハイレベルセキュリティ機能を行い得る。図1Aには示さないが、RAN104/113及び/又はCN106/115はRAN104/113と同じRAT又は異なるRATを採用する他のRANと直接又は間接通信し得るということが理解されることになる。例えば、NR無線技術を利用し得るRAN104/113へ接続されることに加えて、CN106/115はまた、GSM、UMTS、CDMA 2000、WiMAX、E-UTRA又はWiFi無線技術を採用する別のRAN(図示せず)と通信し得る。
[0027] CN106/115はまた、PSTN108、インターネット110、及び/又は他のネットワーク112へアクセスするためにWTRU102a、102b、102c、102dのゲートウエイとして働き得る。PSTN108は、旧来の電話サービス(POTS:plain old telephone service)を提供する回線交換電話ネットワークを含み得る。インターネット110は、伝送制御プロトコル(TCP:transmission control protocol)、ユーザデータグラムプロトコル(UDP)及び/又はTCP/IPインターネットプロトコル一式内のインターネットプロトコル(IP)などの共通通信プロトコルを使用する相互接続されたコンピュータネットワーク及び装置の地球規模システムを含み得る。ネットワーク112は、他のサービス提供者により所有及び/又は運用される有線及び/又は無線通信ネットワークを含み得る。例えば、ネットワーク112は、RAN104/113と同じRAT又は異なるRATを採用し得る1つ又は複数のRANへ接続される別のCNを含み得る。
[0028] 通信システム100内のWTRU102a、102b、102c、102dの一部又はすべてはマルチモード能力を含み得る(例えば、WTRU102a、102b、102c、102dは、様々な無線リンク上で様々な無線ネットワークと通信するための複数の送受信機を含み得る)。例えば、図1Aに示すWTRU102cは、セルラベース無線技術を採用し得る基地局114a及びIEEE 802無線技術を採用し得る基地局114bと通信するように構成され得る。
[0029] 図1Bは例示的WTRU102を示すシステム図である。図1Bに示すように、WTRU102は、数ある中でもプロセッサ118、送受信機120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、着脱不能メモリ130、着脱可能メモリ132、電源134、全地球測位システム(GPS:global positioning system)チップセット136、及び/又は他の周辺機器138を含み得る。WTRU102は実施形態に準拠する一方で前述の要素の任意の副組み合わせを含み得るということが理解されることになる。
[0030] プロセッサ118は、汎用プロセッサ、特殊用途プロセッサ、従来のプロセッサ、デジタルシグナルプロセッサ(DSP:digital signal processor)、複数のマイクロプロセッサ、DSPコアに関連する1つ又は複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、任意の他のタイプの集積回路(IC)、ステートマシンなどであり得る。プロセッサ118は信号コード化、データ処理、電力制御、入力/出力処理、及び/又はWTRU102が無線環境内で動作することを可能にする他の機能性を行い得る。プロセッサ118は、送信/受信要素122へ結合され得る送受信機120へ結合され得る。図1Bはプロセッサ118及び送受信機120を別個のコンポーネントとして描写するが、プロセッサ118及び送受信機120は電子パッケージ又はチップ内に併せて一体化され得るということが理解されることになる。
[0031] 送信/受信要素122は、無線インターフェース116上で信号を基地局(例えば基地局114a)へ送信する又はそれから受信するように構成され得る。例えば、一実施形態では、送信/受信要素122はRF信号を送信及び/又は受信するように構成されたアンテナであり得る。一実施形態では、送信/受信要素122は、例えばIR、UV、又は可視光信号を送信及び/又は受信するように構成された発射器/検出器であり得る。さらに別の実施形態では、送信/受信要素122はRF信号及び光信号の両方を送信及び/又は受信するように構成され得る。送信/受信要素122は任意の組み合わせの無線信号を送信及び/又は受信するように構成され得るということが理解されることになる。
[0032] 送信/受信要素122は図1Bでは単一要素として描写されるが、WTRU102は任意数の送信/受信要素122を含み得る。具体的には、WTRU102はMIMO技術を採用し得る。したがって、一実施形態では、WTRU102は、無線インターフェース116上で無線信号を送信及び受信するための2つ以上の送信/受信要素122(例えば複数のアンテナ)を含み得る。
[0033] 送受信機120は、送信/受信要素122により送信される信号を変調するとともに送信/受信要素122により受信される信号を復調するように構成され得る。上に指摘したように、WTRU102はマルチモード能力を有し得る。したがって、送受信機120は、WTRU102が例えばNR及びIEEE 802.11などの複数のRATを介し通信することを可能にするための複数の送受信機を含み得る。
[0034] WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、及び/又はディスプレイ/タッチパッド128(例えば液晶ディスプレイ(LCD)表示ユニット又は有機発光ダイオード(OLED)表示ユニット)へ結合され得、そしてユーザ入力データをそれから受信し得る。プロセッサ118はまた、ユーザデータをスピーカ/マイクロフォン124、キーパッド126及び/又はディスプレイ/タッチパッド128へ出力し得る。加えて、プロセッサ118は、着脱不能メモリ130及び/又は着脱可能メモリ132などの任意のタイプの好適なメモリから情報にアクセスしそしてデータをその中に格納し得る。着脱不能メモリ130はランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク、又は任意の他のタイプのストレージ装置を含み得る。着脱可能メモリ132は加入者識別モジュール(SIM:subscriber identity module)カード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含み得る。他の実施形態では、プロセッサ118はWTRU102上(サーバ又はホームコンピュータ(図示せず)上など)に物理的に配置されないメモリから情報にアクセスしそしてデータをその中に格納し得る。
[0035] プロセッサ118は、電源134から電力を受信し、そしてこの電力をWTRU102内の他のコンポーネントへ分配及び/又は制御するように構成され得る。電源134はWTRU102の給電のための任意の好適な装置であり得る。例えば、電源134は1つ又は複数の乾電池(例えばニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li-ion)など)、太陽電池、燃料電池などを含み得る。
[0036] プロセッサ118はまた、WTRU102の現在位置に関する位置情報(例えば経度及び緯度)を提供するように構成され得るGPSチップセット136へ結合され得る。GPSチップセット136からの情報に加えて又はその代わりに、WTRU102は位置情報を無線インターフェース116上で基地局(例えば基地局114a、114b)から受信し得る及び/又は信号が2つ以上のすぐそばの基地局から受信されるタイミングに基づきその位置を決定し得る。WTRU102は実施形態に準拠する一方で任意の好適な位置決定方法により位置情報を取得し得るということが理解されることになる。
[0037] プロセッサ118さらに、追加特徴、機能性及び/又は有線又は無線接続性を提供する1つ又は複数のソフトウェア及び/又はハードウェアモジュールを含み得る他の周辺機器138へ結合される。例えば、周辺機器138は、加速度計、eコンパス、衛星送受信機、デジタルカメラ(写真及び/又はビデオ用)、ユニバーサルシリアルバス(USB)ポート、振動装置、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実及び/又は拡張現実(VR/AR:Virtual Reality and/or Augmented Reality)装置、活動追跡器などを含み得る。周辺機器138は1つ又は複数のセンサを含み得、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、配向センサ、近接センサ、温度センサ、時間センサ、地理的位置センサ、高度計、光センサ、接触センサ、磁力計、気圧計、ジェスチャセンサ、生体測定センサ、及び/又は湿度センサの1つ又は複数であり得る。
[0038] WTRU102は、信号(例えばUL(例えば送信用)及びダウンリンク(例えば受信用)の両方のリンクの特定サブフレームに関連付けられた)の一部又はすべての送信及び受信が同時であり得る全二重無線を含み得る。全二重無線は、ハードウェア(例えばチョーク)を介した自己干渉又はプロセッサ(例えば、別個のプロセッサ(図示せず)又はプロセッサ118)を介した信号処理を介した自己干渉のいずれかを低減する及び/又はほぼなくすために干渉管理ユニットを含み得る。一実施形態では、WRTU102は、信号(UL(例えば送信用)及びダウンリンク(例えば受信用)の特定サブフレームに関連付けられた)の一部又はすべての送信及び受信のための半二重無線を含み得る。
[0039] 図1Cは一実施形態によるRAN104及びCN106を示すシステム図である。上に指摘したように、RAN104は、無線インターフェース116上でWTRU102a、102b、102cと通信するためにE-UTRA無線技術を採用し得る。RAN104はまたCN106と通信し得る。
[0040] RAN104はeNode-B 160a、160b、160cを含み得る。但し、RAN104は実施形態に準拠する一方で任意数のeNode-Bを含み得るということが理解されることになる。eNode-B 160a、160b、160cはそれぞれ、無線インターフェース116上でWTRU102a、102b、102cと通信するための1つ又は複数の送受信機を含み得る。一実施形態では、eNode-B 160a、160b、160cはMIMO技術を実施し得る。したがって、eNode-B 160aは例えば、無線信号をWTRU102aへ送信する及び/又はそれから受信するために複数のアンテナを使用し得る。
[0041] eNode-B 160a、160b、160cのそれぞれは、特定セル(図示せず)に関連付けられ得、そして無線資源管理決定、ハンドオーバ決定、UL及び/又はDL内のユーザのスケジューリングなどを扱うように構成され得る。図1Cに示すように、eNode-B 160a、160b、160cはX2インターフェース上で互いに通信し得る。
[0042] 図1Cに示すCN106はモビリティ管理エンティティ(MME:mobility management entity)162、サービングゲートウエイ(SGW:serving gateway)164及びパケットデータ網(PDN:packet data network)ゲートウエイ(又はPGW)166を含み得る。前述の要素のそれぞれはCN106の一部として描写されたが、これらの要素の任意のものはCNオペレータ以外のエンティティにより所有及び/又は運用され得るということが理解されることになる。
[0043] MME162はS1インターフェースを介しRAN104内のeNode-B 162a、162b、162cのそれぞれへ接続され得、そして制御ノードとして働き得る。例えば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラ活性化/非活性化、及びWTRU102a、102b、102cの初期タスク生成中に特定サービングゲートウエイを選択すること等々に責任があり得る。MME162は、RAN104とGSM及び/又はWCDMAなどの他の無線技術を採用する他のRAN(図示せず)との間の切り替えのための制御プレーン機能を提供し得る。
[0044] SGW164は、S1インターフェースを介しRAN104内のeNode B 160a、160b、160cのそれぞれへ接続され得る。SGW164は通常、ユーザデータパケットをWTRU102a、102b、102cへ/からルーティング及び転送し得る。SGW164は、他の機能(eNode B間ハンドオーバ中のユーザプレーンを固定すること、DLデータがWTRU102a、102b、102cに利用可能な場合にページングをトリガすること、WTRU102a、102b、102cのコンテキストを管理及び格納することなど)を行い得る。
[0045] SGW164は、WTRU102a、102b、102cとIP可能(IP-enabled)装置との間の通信を容易にするために、WTRU102a、102b、102cにインターネット110などのパケット交換網へのアクセスを提供し得るPGW166へ接続され得る。
[0046] CN106は他のネットワークとの通信を容易にし得る。例えば、CN106は、WTRU102a、102b、102cと伝統的地上回線通信装置との間の通信を容易にするために、WTRU102a、102b、102cにPSTN108などの回線交換網へのアクセスを提供し得る。例えば、CN106は、CN106とPSTN108との間のインターフェースとして働くIPゲートウエイ(例えばIPマルチメディアサブシステム(IMS:IP multimedia subsystem)サーバ)を含み得る又はそれと通信し得る。加えて、CN106は、他のサービス提供者により所有及び/又は運用される他の有線及び/又は無線ネットワークを含み得る他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供し得る。
[0047] WTRUは無線端末として図1A~1Dでは説明されるが、いくつかの代表的実施形態ではこのような端末は通信ネットワークとの有線通信インターフェースを(例えば一時的に又は恒久的に)使用し得るということが企図される。
[0048] 代表的実施形態では、他のネットワーク112はWLANであり得る。
[0049] インフラストラクチャ基本サービスセット(BSS:Basic Service Set)モードにおけるWLANは、BSSのアクセスポイント(AP)とAPに関連付けられた1つ又は複数のステーション(STA)とを有し得る。APは、トラフィックをBSS内へ及び/又BSSから運ぶ分散システム(DS:Distribution System)又は別のタイプの有線/無線ネットワークへのアクセス又はインターフェースを有し得る。BSSの外側から発するSTAへのトラフィックはAPを介しSTAへ到達し得、そしてSTAへ配送され得る。STAに由来するBSSの外側の送付先へのトラフィックはそれぞれの送付先へ配送されるためにAPへ送信され得る。BSS内のSTA間のトラフィックは例えばAPを介し送信され得、ここで、送信元STAはトラフィックをAPへ送信し得、そしてAPはトラフィックを送付先STAへ配送し得る。BSS内のSTA間のトラフィックはピアツーピアトラフィックと考えられ得る及び/又は呼ばれ得る。ピアツーピアトラフィックは、直接リンクセットアップ(DLS:direct link setup)により送信元及び送信先STA間で(例えば、直接)送信され得る。いくつかの代表的実施形態では、DLSは802.11e DLS又は802.11z tunneled DLS(TDLS)を使用し得る。独立BSS(IBSS:Independent BSS)モードを使用するWLANはAPを有しないかもしれなく、そしてIBSS内の又はIBSSを使用するSTA(例えばSTAのすべて)は互いに直接通信し得る。通信のIBSSモードは本明細書では通信の「アドホック」モードと時折呼ばれることがあり得る。
[0050] 802.11acインフラストラクチャ動作モード又は同様な動作モードを使用する場合、APは一次チャネルなどの固定チャネル上でビーコンを送信し得る。一次チャネルは、固定幅(例えば20MHz広帯域幅)又はシグナリングを介する動的設定幅であり得る。一次チャネルは、BSSの運用チャネルであり得、そしてAPとの関連を確立するためにSTAにより使用され得る。いくつかの代表的実施形態では、キャリヤ感知多元アクセス/衝突回避方式(CSMA/CA:Carrier Sense Multiple Access with Collision Avoidance)は例えば802.11システムにおいて実施され得る。CSMA/CAに関して、APを含むSTA(例えばあらゆるSTA)は一次チャネルを感知し得る。一次チャネルが特定STAによりビジーであると感知/検出及び/又は決定されれば、特定STAは退き得る。1つのSTA(例えばただ1つのステーション)が所与のBSSにおいて所定時刻に送信し得る。
[0051] 高スループット(HT:High Throughput)STAは、例えば40MHz広帯域チャネルを形成するために一次20MHzチャネルと隣接又は非隣接20MHzチャネルとの組み合わせを介し通信のための40MHz広帯域チャネルを使用し得る。
[0052] 極高スループット(VHT:Very High Throughput)STAは20MHz、40MHz、80MHz、及び/又は160MHz広帯域チャネルをサポートし得る。40MHz及び/又は80MHzチャネルは隣接する20MHzチャネルを組み合わせることにより形成され得る。80+80構成と呼ばれることがある160MHzチャネルは、8つの隣接する20MHzチャネルを組み合わせることにより又は2つの不連続80MHzチャネルを組み合わせることにより形成され得る。80+80構成に関して、チャネル符号化後のデータは、データを2つのストリームへ分割し得るセグメント解析器を通され得る。逆高速フーリエ変換(IFFT)処理及びタイムドメイン処理は各ストリーム上で別々に行われ得る。ストリームは2つの80MHzチャネルへマッピングされ得、データは送信STAにより送信され得る。STAを受信する受信機では、80+80構成の上述の動作が反転され得、合成データはメディアアクセス制御(MAC:Medium Access Control)へ送信され得る。
[0503] サブ1GHz動作モードは802.11af及び802.11ahによりサポートされる。チャネル動作帯域幅及びキャリヤは802.11n及び802.11acおいて使用されるものに対して802.11af及び802.11ahまで低減される。802.11afはTVホワイトスペース(TVWS:TV White Space)スペクトル内の5MHz、10MHz及び20MHz帯域幅をサポートし、802.11ahは非TVWSスペクトルを使用することにより1MHz、2MHz、4MHz、8MHz及び16MHz帯域幅をサポートする。代表的実施形態によると、802.11ahはマクロカバレッジエリア内のMTC装置などのMeter Type Control/Machine-Type通信をサポートし得る。MTC装置は、いくつかの能力(例えばいくつかの帯域幅及び/又は制限された帯域幅のサポート(例えば、サポートだけ)を含む制限された能力)を有し得る。MTC装置は、閾値を越えるバッテリ寿命を有する電池を含み得る(例えば非常に長いバッテリ寿命を維持するために)。
[0054] 複数のチャネル及び802.11n、802.11ac、802.11af、802.11ahなどの複数のチャネル及びチャネル帯域幅をサポートし得るWLANシステムは、一次チャネルとして指定され得るチャネルを含む。一次チャネルは、BSS内のすべてのSTAによりサポートされる最大共通動作帯域幅に等しい帯域を有し得る。一次チャネルの帯域は、BSS内で動作する際にすべてのSTAの中から、最小帯域動作モードをサポートするSTAにより設定及び/又は制限され得る。802.11ahの例では、一次チャネルは、AP及びBSS内の他のSTAが2MHz、4MHz、8MHz、16MHz、及び/又は他のチャネル帯域幅動作モードをサポートしたとしても、1MHzモードをサポートする(例えば、1MHzモードだけサポートする)STA(例えばMTCタイプ装置)の1MHz幅であり得る。キャリヤセンス及び/又はネットワークアロケーションベクトル(NAV:Network Allocation Vector)設定は一次チャネルの状態に依存し得る。一次チャネルがAPへ送信することで、例えば(1MHz動作モードだけをサポートする)STAに起因してビジーであれば、利用可能全周波数帯域は、たとえ周波数帯域の大多数がアイドルなままでありそして利用可能かもしれなくてもビジーであると考えられ得る。
[0055] 米国では802.11ahにより使用され得る利用可能周波数帯域は902MHz~928MHzである。韓国では利用可能周波数帯域は917.5MHz~923.5MHzである。日本では利用可能周波数帯域が916.5MHz~927.5MHzである。802.11ahの利用可能全帯域は国識別コードに依存して6MHz~26MHzである。
[0056] 図1Dは一実施形態によるRAN113及びCN115を示すシステム図である。上に指摘したように、RAN113は、無線インターフェース116上でWTRU102a、102b、102cと通信するためにNR無線技術を採用し得る。RAN113はまたCN115と通信し得る。
[0057] RAN113はgNB180a、180b、180cを含み得る、但し、RAN113は実施形態に準拠する一方で任意数のgNBを含み得るということが理解されることになる。gNB180a、180b、180cはそれぞれ、無線インターフェース116上でWTRU102a、102b、102cと通信するための1つ又は複数の送受信機を含み得る。一実施形態では、gNB180a、180b、180cはMIMO技術を実施し得る。例えば、gNB180a、108bは、信号をgNB180a、180b、180cへ送信する及び/又はそれから受信するためにビーム形成を利用し得る。したがって、gNB180aは例えば、無線信号をWTRU102aへ送信する及び/又はそれから受信するために複数のアンテナを使用し得る。一実施形態では、gNB180a、180b、180cはキャリヤアグリゲーション技術を実施し得る。例えば、gNB180aは複数のコンポーネントキャリヤをWTRU102a(図示せず)へ送信し得る。これらのコンポーネントキャリヤのサブセットは無認可スペクトル上に在り得る一方で、残りのコンポーネントキャリヤは認可スペクトル上に在り得る。一実施形態では、gNB180a、180b、180cはコーディネートマルチポイント(CoMP:Coordinated Multi-Point)技術を実施し得る。例えば、WTRU102aはgNB180a及びgNB180b(及び/又はgNB180c)からコーディネート済み送信を受信し得る。
[0058] WTRU102a、102b、102cはスケーラブルニューメロロジィ(numerology)に関連付けられた送信を使用することによりgNB180a、180b、180cと通信し得る。例えば、OFDMシンボル間隔及び/又はOFDMサブキャリヤ間隔は、様々な送信、様々なセル、及び/又は無線送信スペクトルの様々な部分に関し変化し得る。WTRU102a、102b、102cは、様々な又はスケーラブルな長さのサブフレーム又は送信時間間隔(TTI:transmission time interval)を使用することにより(例えば様々な数のOFDMシンボルを含むことにより及び/又は様々な長さの絶対時間の間持続することにより)gNB180a、180b、180cと通信し得る。
[0509] gNB180a、180b、180cは、スタンドアロン構成及び/又は非スタンドアロン構成のWTRU102a、102b、102cと通信するように構成され得る。スタンドアロン構成では、WTRU102a、102b、102cは、他のRAN(例えばeNode-B 160a、160b、160cなど)へもアクセスすることなくgNB180a、180b、180cと通信し得る。スタンドアロン構成では、WTRU102a、102b、102cはgNB180a、180b、180cの1つ又は複数をモビリティアンカポイントとして利用し得る。スタンドアロン構成では、WTRU102a、102b、102cは無認可帯域内の信号を使用することによりgNB180a、180b、180cと通信し得る。非スタンドアロン構成では、WTRU102a、102b、102cは、gNB180a、180b、180cと通信/接続する一方でeNode-B 160a、160b、160cなどの別のRANとも通信/接続する。例えば、WTRU102a、102b、102cは、1つ又は複数のgNB180a、180b、180c及び1つ又は複数のeNode-B 160a、160b、160cとほぼ同時に通信するためにDC原理を実施し得る。非スタンドアロン構成では、eNode-B 160a、160b、160cはWTRU102a、102b、102cのモビリティアンカーとして働き得、gNB180a、180b、180cはWTRU102a、102b、102cをサービスするための追加カバレッジ及び/又はスループットを提供し得る。
[0060] gNB180a、180b、180cのそれぞれは、特定セル(図示せず)に関連付けられ得、そして無線資源管理決定、ハンドオーバ決定、UL及び/又はDL内のユーザのスケジューリング、ネットワークスライシングのサポート、デュアル接続性、NR及びE-UTRA間での相互作用、ユーザプレーン機能(UPF:User Plane Function)184a、184bの方向へのユーザプレーンデータのルーティング、アクセス及びモビリティ管理機能(AMF:Access and Mobility Management Function)182a、182bの方向への制御プレーン情報のルーティングなどを扱うように構成され得る。図1Dに示すように、gNB180a、180b、180cはXnインターフェース上で互いに通信し得る。
[0061] 図1Dに示すCN115は、少なくとも1つのAMF182a、182b、少なくとも1つのUPF184a、184b、少なくとも1つのセッション管理機能(SMF)183a、183b、及び可能性としてデータネットワーク(DN)185a、185bを含み得る。前述の要素のそれぞれはCN115の一部として描写されたが、これらの要素の任意のものはCNオペレータ以外のエンティティにより所有及び/又は運用され得るということが理解されることになる。
[0062] AMF182a、182bは、N2インターフェースを介しRAN113内のgNB180a、180b、180cの1つ又は複数へ接続され得、そして、制御ノードとして働き得る。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザを認証すること、ネットワークスライシング(例えば様々な要件を有する様々なPDUセッションの取り扱い)のサポート、特定SMF183a、183bを選択すること、登録エリアの管理、NASシグナリングの終了、モビリティ管理などに責任があり得る。ネットワークスライシングは、WTRU102a、102b、102cにより利用されるサービスのタイプに基づきWTRU102a、102b、102cのCNサポートをカスタム化するためにAMF182a、182bにより使用され得る。例えば、様々なネットワークスライスは、ultra-reliable low latency(URLLC)アクセスに依存するサービス、enhanced massive mobile broadband(eMBB)アクセスに依存するサービス、マシンタイプ通信(MTC)アクセスのサービス等々など様々な使用ケースのために確立され得る。AMF162は、RAN113と、LTE、LTE-A、LTE-A Pro及び/又はnon-3GPPアクセス技術(WiFiなど)の他の無線技術を採用する他のRAN(図示せず)との間の切り替えのための制御プレーン機能を提供し得る。
[0063] SMF183a、183bはN11インターフェースを介しCN115内のAMF182a、182bへ接続され得る。SMF183a、183bもまた、N4インターフェースを介しCN115内のUPF184a、184bへ接続され得る。SMF183a、183bは、UPF184a、184bを選択及び制御し、そしてUPF184a、184bを介しトラフィックのルーティングを構成し得る。SMF183a、183bは、UE IPアドレスを管理し割り振ること、PDUセッションを管理すること、ポリシー執行及びQoSを制御すること、ダウンリンクデータ通知を提供すること等々の他の機能を行い得る。PDUセッションタイプはIPベース、非IPベース、イーサーネットベースなどであり得る。
[0064] UPF184a、184bは、WTRU102a、102b、102cとIP対応装置との間の通信を容易にするために、RAN113内のgNB180a、180b、180cの1つ又は複数(WTRU102a、102b、102cにインターネット110などのパケット交換網へのアクセスを提供し得る)へN3インターフェースを介し接続され得る。UPF184、184bは、他の機能(パケットをルーティングして転送すること、ユーザプレーンポリシーを執行すること、multi-homed PDUセッションをサポートすること、ユーザプレーンQoSを取り扱うこと、ダウンリンクパケットをバッファすること、モビリティアンカーリングを提供すること等々)を行い得る。
[0065] CN115は他のネットワークとの通信を容易にし得る。例えば、CN115は、CN115及びPSTN108間のインターフェースとして働くIPゲートウエイ(例えばIPマルチメディアサブシステム(IMS:IP multimedia subsystem)サーバ)を含み得る又はそれと通信し得る。加えて、CN115は、WTRU102a、102b、102cに、他のサービス提供者により所有及び/又は運用される他の有線及び/又は無線ネットワークを含み得る他のネットワーク112へのアクセスを提供し得る。一実施形態では、WTRU102a、102b、102cは、UPF184a、184bへのN3インターフェース並びにUPF184a、184bとDN185a、185bとの間のN6インターフェースを介し、UPF184a、184bを介しローカルデータネットワーク(DN)185a、185bへ接続され得る。
[0606] 図1A~1D及び図1A~1Dの対応説明の観点では、WTRU102a-d、基地局114a-b、eNode-B 160a-c、MME162、SGW164、PGW166、gNB180a-c、AMF182a-b、UPF184a-b、SMF183a-b、DN185a-b、及び/又は本明細書で説明される他の装置のうちの1つ又は複数に関して本明細書において説明される機能の1つ又は複数又はすべては、1つ又は複数のエミュレーション装置(図示せず)により行われ得る。エミュレーション装置は、本明細書において説明される機能の1つ又は複数又はすべてをエミュレートするように構成された1つ又は複数の装置であり得る。例えば、エミュレーション装置は他の装置を試験する及び/又はネットワーク及び/又はWTRU機能をシミュレートするために使用され得る。
[0067] エミュレーション装置は、実験室環境内及び/又はオペレータネットワーク環境内の他の装置の1つ又は複数の試験を実施するように設計され得る。例えば、1つ又は複数のエミュレーション装置は、通信ネットワーク内の他の装置を試験するために有線及び/又は無線通信ネットワークの一部として十分に又は部分的に実施及び/又は配備される間に機能のうちの1つ又は複数又はすべを行い得る。1つ又は複数のエミュレーション装置は、有線及び/又は無線通信ネットワークの一部として一時的に実施/配備される間に機能のうちの1つ又は複数又はすべを行い得る。エミュレーション装置は、試験の目的のために別の装置へ直接結合され得る及び/又は無線通信を使用することにより試験を行い得る。
[0068] 1つ又は複数のエミュレーション装置は、有線及び/又は無線通信ネットワークの一部として実施/配備されない間に1つ又は複数の機能(すべての機能を含む)を行い得る。例えば、エミュレーション装置は、1つ又は複数のコンポーネントの試験を実施するために、試験室及び/又は非配備(例えば試験)有線及び/又は無線通信ネットワークにおける試験シナリオにおいて利用され得る。1つ又は複数のエミュレーション装置は試験機器であり得る。RF回路構成を介した直接RF結合及び/又は無線通信(例えば、1つ又は複数のアンテナを含み得る)はデータを送信及び/又は受信するためにエミュレーション装置により使用され得る。
[0069] 3Dポイントクラウド(例えば高品質3Dポイントクラウド)は没入型メディアを表すために使用され得る。ポイントクラウドは、各ポイントの位置及び/又は1つ又は複数の属性を示す座標を使用することにより3D空間内に表さられ得る1つ又は複数(例えば、一組)のポイントを含み得る。例えば、属性は、各ポイントに関連付けられた色、透明性、取得の時間、レーザの反射又は材料特性等々のうちの1つ又は複数を含み得る。ポイントクラウドは多くのやり方で捕捉され得る。例えば、複数のカメラ及び深さセンサがポイントクラウドを捕捉するために使用され得る。光検出及び測距(LiDAR:light detection and ranging)レーザスキャナがポイントクラウドを捕捉するために使用され得る。3D空間内のオブジェクト及び/又はシーンを現実的に再構築するためのポイントクラウドに含まれるポイントの数はおよそ何百万又は何十億であり得る。効率的表現及び圧縮は、ポイントクラウドデータを格納及び/又は送信することを容易にし得る。
[0070] 図2は、符号化装置により送信され(例えば、信号伝達され)そして復号装置により解析及び復号され得るビデオベースポイントクラウド圧縮(V-PCC)のためのビットストリームの例示的構造200を示す。V-PCCビットストリーム200は一組の1つ又は複数のV-PCCユニット202を含み得、表1はV-PCCユニットを信号伝達するための例示的構文を含む。各V-PCCユニット202はV-PCCユニットヘッダ204及びV-PCCユニットペイロード206を含み得、V-PCCユニットペイロード206は1つ又は複数のシーケンスパラメータセット208、占有ビデオデータ210、様々なタイプのパッチデータグループ212、ジオメトリビデオデータ214、又は属性ビデオデータ216を含み得る。V-PCCユニットヘッダ204は、V-PCCユニットのV-PCCユニットタイプ(例えば、表2内のvpcc_unit_typeフィールドにより示されるような)を定義し得、これは、例えば占有、ジオメトリ、属性、パッチデータグループ、及びシーケンスパラメータセットデータユニットにそれぞれ対応し得るVPCC_OVD、VPCC_GVD及びVPCC_AVD、VPCC_PDG、VPCC_SPSを含む複数の値のうちの1つであり得る。これらのユニットタイプのうちのいくつか又はすべてのユニットタイプのV-PCCユニットがポイントクラウドを再構築するために使用され得る。V-PCC属性ユニットヘッダは属性タイプ及びその指標を規定し得る。V-PCC属性ユニットヘッダは、同じ属性タイプの複数のインスタンスがサポートされることを可能にし得る。示されるように、vpcc_unit_typeはV-PCCユニットのタイプを示し得、vpcc_sequence_parameter_set_idは、V-PCCシーケンスパラメータセットの識別子を示し得、vpcc_attribute_indexはV-PCC属性の指標を示し得、vpcc_attribute_dimension_indexはV-PCC属性の次元分割(dimension partition)の指標を示し得、sps_multiple_layer_streams_present_flagはシーケンスパラメータセット(SPS:sequence parameter set)が複数の層又はビューに関連付けられかどうかを示し得、vpcc_layer_indexは複数層のうちの1つの層の指標を示し得、pcm_separate_video_dataはパルス符号変調(PCM)ビデオデータ(例えば別個のビデオストリーム内の)及び/又はPCMデータのコード化に関連付けられたパラメータを示し得、そしてvpcc_reserved_zero_23bits又はvpcc_reserved_zero_27bitsは予約されたゼロビットの数を示し得る。
[0071] 占有のペイロード、ジオメトリ、及び/又は属性V-PCCユニットは、ビデオ復号装置により復号される可能性があるビデオデータユニット(例えばHEVCネットワーク抽出層(NAL:network abstraction layer)ユニット)に対応し得る(例えば対応する占有、ジオメトリ及び属性パラメータセットV-PCCユニットで規定される)。表3は例示的V-PCCユニットペイロード構文を示す。
Figure 2022533225000002
Figure 2022533225000003
Figure 2022533225000004
[0072] いくつかの例(例えば、無損失コード化がV-PCCおいて使用される場合)では、符号器は、圧縮されたV-PCCビットストリームからの再構築後に欠落し得るポイントに関する情報を含む欠落ポイントのパッチを生成し得る。欠落ポイントは欠落パルス符号変調(PCM)ポイントと呼ばれることがある。PCMポイントは、例えばパッチプロジェクションプロセスを利用すること無く直接コード化され得る。欠落ポイントのパッチは、V-PCC符号器への入力として提供され得るオリジナルポイントクラウドを復号器が再構築(例えば、完全に再構築)することを可能にし得る。欠落ポイントに関連する情報を含むパッチは、同じビデオ(例えば他のポイントを運ぶストリームと同じビデオストリーム)内に又は別個のビデオ(例えば他のポイントを運ぶストリームとは別個のビデオストリーム)内に詰め込まれ得る。
[0073] パッチデータグループ(PDG)はパッチNAL(PNAL)ユニット(例えば、又はアトラスNALユニット)で置換され得る。PNALユニットは、ビデオストリームに使用されるネットワーク抽出層(NAL)ユニットと等価であり得る。各PNALユニットは、ユニットタイプ及び/又は追加情報(例えば層識別など)を含むヘッダを含み得る。PNALユニットは1つ又は複数のフォーマットで定義され得る。1つ又は複数のフォーマットは単純なPNALユニットストリームフォーマット及び/又はサンプルストリームフォーマットを含み得る。サンプルストリームフォーマットでは、追加ヘッダはPNALユニットに先行し得る。追加ヘッダはPNALユニットのサイズ(例えば正確なサイズ)を示し得る。
[0074] 国際標準化機構(ISO:International Organization for Standardization)ベースメディアファイルフォーマット(ISOBMFF)は構造的メディア独立ファイルフォーマットを定義し得る。ISOBMFF(例えばISOBMFFコンテナファイル)は構造的及び/又はメディアデータ情報(例えば音声、ビデオなどのメディアコンテンツの時限プレゼンテーションのための)を含み得る。ISOBMFFコンテナファイルは、非時限データ(ファイル構造内の様々なレベルにおけるメタデータなど)のサポートを含み得る。ファイルの論理構造は、一組の時間並列トラックを含み得るムービーのものであり得る(例えば、ムービーを真似し得る)。ファイルの時間構造は、トラックが時間におけるサンプルのシーケンスを含み得るということである。このサンプルのシーケンスはムービー全体のタイムラインへマッピングされ得る。ISOBMFFはボックス構造ファイルの概念に基づき得る。ボックス構造ファイルは、それぞれのサイズ及び/又はタイプを有し得る一連のボックス(例えばアトム)を含み得る(例えば、各ボックスはサイズ及びタイプに関連付けられ得る)。このタイプは、32-ビット値であり得、そして4つの印刷可能文字(4文字コード(4CC:four-character code)としても知られる)により表され得る。非時限データは、例えばファイルレベルにおいてメタデータボックス内に含まれ得る及び/又はムービー内のムービーボックスへ又は時限データのストリーム(例えばトラック)の1つに付加され得る。
[0075] ISOBMFFコンテナ(例えばISOBMFFコンテナファイル)はMovieBox(「moov」)を含み得る。MovieBoxは、ファイル内に存在するメディアストリーム(例えば連続メディアストリーム)のメタデータを含み得る。メタデータはムービーボックス内のボックスの階層内で(例えばTrackBox(「trak」)内で)信号伝達され得る。トラックはファイル内に存在するメディアルストリーム(例えば連続メディアストリーム)を表し得る。メディアストリームは、基本メディアストリームのオーディオ又はビデオアクセスユニットなど一系列のサンプル(例えばサンプルエントリ)を含み得、そしてMediaDataBox(「mdat」)(例えばコンテナのトップレベルに存在し得る)内に封入され得る。各トラックのメタデータはサンプル記述エントリのリストを含み得、各サンプル記述エントリはトラックおいて使用されるコード化又はカプセル化フォーマット及びこのフォーマットを処理するための初期化データを提供する。各サンプルはトラックのサンプル記述エントリの1つに関連付けられ得る。各トラックの明示的タイムラインマップを定義するためのツールが使用され得る。例えば、編集リストは各トラックの明示的タイムラインマップを定義し得る。編集リストは、表4に示される例示的構文を有するEditListBox(又は同様なエンティティ)を使用することにより信号伝達され得、ここでは、各エントリは、例えば合成タイムラインをマッピングすることにより又は「空の」時間又は「空の」編集(例えば、いかなるメディアもマッピングしないプレゼンテーションタイムラインのいくつかの部分)を示すことによりトラックタイムラインの一部を定義する。
Figure 2022533225000005
[0076] ISOBMFFは、ファイルオーサ(例えば符号化装置)がプレーヤ又はレンダラ(renderer)に対して実行する特定のアクションを示し得る状況を扱うために使用され得る。ビデオストリームの場合、ファイルオーサは、限定的ビデオ方式トラックの使用によりこのようなアクションを示し得る。ビデオトラックが限定的ビデオ方式トラック(例えば、ISO/IEC 14496-12標準規格の副節8.15内に定義されるような)である場合、ポスト復号器要件がトラック上で信号伝達され得る。トラックは、そのサンプルエントリコードを4文字コード(4CC)「resv」へ設定し、そしてRestrictedSchemeInfoBox(又は同様なエンティティ)をそのサンプル記述へ追加することにより限定的ビデオ方式トラックへ変換され得る。1つ又は複数の(例えばすべての他の)ボックスは未修正のまま残され得る。オリジナルサンプルエントリタイプ(ストリームを符号化するために使用されるビデオコーデックに基づく)はRestrictedSchemeInfoBox内のOriginalFormatBox(又は同様なエンティティ)内に格納され得る。RestrictedSchemeInfoBoxは3つのボックス:OriginalFormatBox、SchemeTypeBox及びSchemeInformationBoxを含み得る。OriginalFormatBoxは、コンポーネントストリームを符号化するために使用されるビデオコーデックに基づくオリジナルサンプルエントリタイプを格納し得る。制約の性質(例えば特徴)はSchemeTypeBox内で定義され得る。
[0077] 図3はISOBMFF V-PCCコンテナ300の例示的構造を示す。この例示的構造に基づき、V-PCC ISOBMFFコンテナは以下のうちの1つ又は複数を含み得る。V-PCC ISOBMFFコンテナはV-PCCトラック302を含み得る。V-PCCトラック302は、1つ又は複数のシーケンスパラメータセット及び/又は1つ又は複数の非ビデオ符号化情報V-PCCユニットのペイロード(例えばV-PCCユニットタイプのVPCC_SPS及び/又はVPCC_PDG)を運ぶサンプルを含み得る。V-PCCトラック302は、1つ又は複数のビデオ圧縮V-PCCユニットのペイロード(例えばV-PCCユニットタイプのVPCC_GVD、VPCC_AVD、及び/又はVPCC_OVD)を運ぶサンプルを含む他のトラックへトラックリファレンスを提供し得る。V-PCC ISOBMFFコンテナは、そのサンプルがジオメトリデータのビデオコード化基本ストリームのNALユニットを含み得る1つ又は複数の限定的ビデオ方式トラック304(例えばタイプVPCC_GVDのV-PCCユニットのペイロード)を含み得る。V-PCC ISOBMFFコンテナは、そのサンプルが属性データのビデオコード化基本ストリームのNALユニットを含み得る1つ又は複数の限定的ビデオ方式トラック306(例えばタイプVPCC_AVDのV-PCCユニットのペイロード)を含み得る。V-PCC ISOBMFFコンテナは、そのサンプルが占有マップデータのビデオコード化基本ストリームのNALユニットを含み得る1つ又は複数の限定的ビデオ方式トラック308(例えばタイプVPCC_OVDのV-PCCユニットのペイロード)を含み得る。
[0078] ポイントクラウドデータのコンテナフォーマットが提供され得る。欠落PCMポイント情報の伝送はポイントクラウドデータのコンテナフォーマットによりサポートされ得る。V-PCCタイルグループ及び/又は空間的アクセスのシグナリングが提供され得る。V-PCCトラックのサンプルフォーマットはPNALユニットをサポートし得る。V-PCCビットストリーム内の様々なコンポーネント、層、及び/又は空間的領域への柔軟なアクセスを可能にする多くのファイルフォーマット構造が、PCM情報をサポートする及び/又はシグナリングを提供するために提供され得る。トラック(例えば単一トラックだけ)は、例えばV-PCCコンポーネントの層が単一ビデオストリームを構成する場合V-PCCコンポーネントの層(例えばすべての層)の情報を格納するために使用され得る。サンプルグルーピング機構は各層に属するサンプルをグルーピングするために使用され得る。
[0079] 層が別個のトラックに格納されている場合、トラックグルーピングツールは、別個のトラックが同じV-PCCコンポーネントに属する層のものであるということを信号伝達するために使用され得る。例えば、トラックグループタイプ(例えばVPCCComponentGroupBox又は同様なエンティティ)は例えばTrackGroupTypeBoxを拡張することにより定義され得る。TrackGroupTypeBoxは、グループの識別子であるtrack_group_idフィールド及びグループタイプを識別する4文字コードを格納するtrack_group_typeフィールドを含み得る。track_group_idとtrack_group_typeとの対がコンテナファイル内のトラックグループを識別し得る。VPCCComponentGroupBoxは次のように定義され得る。VPCCComponentGroupBoxは「vplg」のボックスタイプであり得、そしてTrackGroupBoxコンテナ内に配置され得る。いくつかの例では、VPCCComponentGroupBoxは任意選択的であり得る(例えば、強制的でない)。いくつかの例では、TrackGroupBox内に複数のVPCCComponentGroupBoxボックスが存在し得る。
[0080] 表5は例示的VPCCComponentGroupBox構文を示す。
Figure 2022533225000006
[0081] 同じコンポーネントの層に属するトラック(例えばすべてのトラック)は、TrackGroupBox内にVPCCComponentGroupBoxを有し得る。各VPCCComponentGroupBoxでは、track_group_idの値は同じであり得る。V-PCCメディアプレーヤは、コンテナ内の各トラックを解析することにより及び/又は同じtrack_group_id値を備えるVPCCComponentGroupBoxesを有するものを識別することにより同じV-PCCコンポーネントに属するトラックを識別し得る。
[0082] 同じコンポーネントに属する基準トラック(例えばすべてのトラック)を一括して参照するために、主要V-PCCトラック内のV-PCCコンポーネントに対応するトラックリファレンスは、コンポーネントのトラックグループのtrack_group_idを使用し得る(例えばコンポーネントに関連付けられた1つ又は複数のトラックグループを識別するために)。例えば、コンポーネントに対応するTrackReferenceTypeBoxは、コンポーネントのトラックグループを識別するためにtrack_group_idを使用するそのtrack_IDsアレイ内にエントリを有し得る。
[0083] いくつかの例では、TrackGroupTypeBoxはフラグフィールドを含み得、ビット(例えば、フィールドのビット0:ビット0は最下位ビットである)はtrack_group_idの一意性を示すために使用され得る。同じ層のジオメトリ及び/又は属性情報を運ぶトラックはグルーピングされ得る。ジオメトリ及び/又は属性情報を運ぶグルーピングトラックは、メディアプレーヤがV-PCCコンテンツへのスケーラブルアクセスを行うことを可能にし得る。VPCCLayerGroupBox又は同様なエンティティが、定義され得、そしてボックスタイプ「vplg」を与えられ得る。VPCCLayerGroupBoxはTrackGroupBoxコンテナ内に配置され得る。いくつかの例では、VPCCLayerGroupBoxは任意選択的であり得る(例えば、強制的でない)。いくつかの例では、TrackGroupBox内に複数のVPCCLayerGroupBoxボックスが存在し得る。
[0084] 表6は例示的VPCCLayerGroupBox構文を示す。
Figure 2022533225000007
[0085] 例示的構文に示すように、VPCCLayerGroupBoxフィールドは以下のフィールドうちの1つ又は複数を含み得る。layer_indexフィールドはグループの1つ又は複数のトラックが属する層の指標を示し得る。absolute_coding_flagフィールドは、このトラックグループ内のジオメトリトラックが別の層内のジオメトリトラックに依存するかどうかを示し得る。absolute_coding_flagが1へ設定されれば、トラックは別の層に依存しなくてもよい。absolute_coding_flagが0へ設定されれば、トラックは別の層に依存し得る。predictor_layer_indexフィールドは、このグループ内のジオメトリトラックが依存する層の指標を示し得る。
[0086] V-PCCコンポーネントトラックが提供され得る。いくつかの例では(例えば占有、ジオメトリ、及び/又は属性コンポーネントなどの1つ又は複数のV-PCCストリームコンポーネントがビデオコード化される場合)、V-PCCストリームコンポーネントに関連する情報(例えば占有、ジオメトリ、及び/又は属性コンポーネントのうちの任意のもの)を運ぶ1つ又は複数のトラックは、限定的ビデオ方式トラックとして信号伝達され得る。限定的ビデオ方式トラックは直接レンダリング用ではない場合がある。SchemeTypeBox内のscheme_typeフィールドはV-PCCコンテンツ(例えば「pccv」)のコンポーネントに関して4CCに設定され得る。V-PCC方式に関連付けられたデータはSchemeInformationBox内に格納され得る。例えば、SchemeInformationBoxにおいて運ばれそして以下のように定義され得るV-PCC方式に関連付けられたデータはVPCCComponentInfoBox(又は同様なエンティティ)内で信号伝達され得る。
[0087] 表7は例示的VPCCComponentInfoBox構文を示す。
Figure 2022533225000008
[0088] 例示的セマンティックスに示すように、VPCCComponentInfoBoxは以下のうちの1つ又は複数のフィールドを含み得る。component_typeフィールドはコンポーネントのタイプを示し得る。例えば、component_typeの0の値が予約され得る。component_typeの1の値は占有マップコンポーネントを示し得る。component_typeの2の値はジオメトリコンポーネントを示し得る。component_typeの3の値は属性コンポーネントを示し得る。これらの数字は一例として本明細書では提供されておりそして他の数字が様々なコンポーネントタイプを示すために使用され得るということに注意すべきである。is_pcm_flagフィールドは、トラック内で運ばれる情報がPCMポイントのものかどうかを示し得る。is_pcm_flagが(例えば1の値に)設定されると、トラックはcomponent_typeにより示されるコンポーネントのPCM情報を運び得る。all_layers_present_flagフィールドは、トラックがコンポーネントのすべての層の情報を運んでいるかどうかを示し得る。コンポーネントの層(例えばすべての層)のコード化データは、例えばall_layers_present_flagが(例えば1の値に)設定される場合トラック内に存在し得る。そうでなければ(例えばall_layers_present_flagが設定されない又は0の値に設定されると)、トラックはコンポーネントの単一層のコード化データを運び得る。layer_indexフィールドは、トラックにより運ばれるデータが属するコンポーネント層の指標を示し得る。
[0089] SchemeInformationBoxは、例えばコンポーネントトラックが属性情報を運んでいれば(例えば、component_typeが3に設定されれば)属性コンポーネントの追加記述を提供し得る追加VPCCAttributeInfoBox(又は同様なエンティティ)を含み得る。VPCCAttributeInfoBoxは表8に示すように定義され得る。
Figure 2022533225000009
[0090] 表8の例示的セマンティックスに示すように、VPCCAttributeInfoBoxは以下のうちの1つ又は複数のフィールドを含み得る。attr_indexフィールドは属性のリスト内の属性の指標を示し得る。attr_typeフィールドは属性タイプの属性を示し得る。attr_dimensionsフィールドは属性の次元の数(例えば、総数)を示し得る。attr_first_dim_indexフィールドはトラックにより運ばれる第1の属性次元の指標(例えばゼロベース指標)を示し得る。
[0091] VPCCAttributeInfoBoxは分割指標を含み得る。表9は別の例示的VPCCAttributeInfoBox構文を示す。
Figure 2022533225000010
[0092] 表9の例示的構文に示すように、VPCCAttributeInfoBoxは以下のうちの1つ又は複数のフィールドを含み得る。attr_indexフィールドは属性のリスト内の属性の指標を示し得る。attr_typeフィールドは属性のタイプを示し得る。attr_dimensionsフィールドは属性の次元の数(例えば、総数)を示し得る。attr_dim_partition_indexフィールドはトラックにより運ばれる次元分割の指標(例えば、ゼロベース)を表し得る。
[0093] いくつかの例では、VPCCComponentBoxは、トラックにより運ばれるコンポーネント情報に対応するvpcc_unit_typeのvpcc_unit_header()HLS structを運び得る(例えば、直接運び得る)。vpcc_unit_typeがVPCC_AVDであれば、SchemeInformationBox内のVPCCAttributeInfoBoxの存在は任意選択的であり得る。
[0094] 欠落PCMポイントに関する情報はジオメトリデータ及び/又は属性データを含み得る。PCMポイント情報は、関連コンポーネントのビデオストリーム内に詰め込まれ得る及び/又は別個のビデオストリーム(例えば、コンポーネント毎に1つのビデオストリーム)として利用可能である。PCMポイント情報は、例えばPCMポイント情報が別々に利用可能である場合は別個のトラック(例えば、あるコンポーネントに関係する情報の1トラック)において運ばれ得る。別個のトラックは、VPCCComponentBox内のis_pcm_flagフィールドが1に設定される限定的ビデオ方式トラックとして信号伝達され得る(例えば、本明細書において説明されるように)。PCMポイント情報を運ぶ各トラックは、関連コンポーネントのトラックグループに含まれ得る。主要トラックからV-PCCコンポーネントのtrack_group_idへのトラックリファレンスはPCM及び/又は非PCMポイントのトラックを参照(例えば、一括して参照)し得る。
[0095] PCMに関連付けられたジオメトリ情報及び属性情報は、例えば簡単な識別と欠落ポイントへのアクセスとを可能にするためにグルーピングされ得る。トラックグルーピングは、例えばPCMポイント情報を有するトラックを識別するために表10に示すようなVPCCPCMTrackGroupBox(又は同様なエンティティ)を使用して定義され得る。
Figure 2022533225000011
[0096] あるV-PCCコンテンツのPCMポイントに関係する情報を運ぶトラックは、TrackGroupBox内にVPCCPCMTrackGroupBox(又は同様なエンティティ)を含み得る。各VPCCPCMTrackGroupBoxでは、track_group_idの値は同じであり得る。
[0097] TrackReferenceTypeBoxのreference_typeフィールドの4CC値(例えば「pccp」)が定義され得る。4CC値はPCMポイントデータ(例えば、ジオメトリ及び/又は属性データを含む)を運ぶトラックリファレンスを信号伝達するために使用され得る。
[0098] いくつかの例では、V-PCCビットストリームの様々なコンポーネントを符号化するために使用される予測構造に関するいかなる制約も無い場合がある。したがって、様々なコンポーネント及び/又は(例えばコンポーネントが同じビデオストリーム内に無ければ)同じコンポーネントの様々な層を、様々なコンポーネントサブストリームにわたる非アラインイントラリフレッシュ(non-aligned intra-refresh)期間を生じるだろう符号化構成により符号化することが可能であり得る。様々なコンポーネントサブストリームにわたるこのような非アラインイントラリフレッシュ期間は、所与の復号時間における主要V-PCCトラック内のパッチストリーム内のイントラコード化サンプルが、同じ復号時間の他のコンポーネントトラック内の対応するイントラコード化サンプルを有しない可能性があるので、ランダムアクセスを難しいものにし得る。コンポーネントトラック内の同期サンプルが主要トラックに対してどの位置にあるかを示す追加情報が無ければ、メディアプレーヤは、最も近い同期サンプルのコンポーネントトラックを走査することに頼り得る。
[0099] 1つのV-PCCコンポーネント内の同期サンプルは他のコンポーネント内の同期サンプルと正しく位置合わせされていない可能性がある。主要トラック内の同期サンプルは、他の(例えばすべての他の)コンポーネントトラックの対応する同期サンプルを有し得る。例えば、パッチシーケンスストリームのイントラリフレッシュ期間が30フレーム毎に一回である場合、ジオメトリコンポーネントは60フレーム毎に一回のイントラリフレッシュ期間を有し得る及び/又はテクスチャ属性は30フレーム毎に一回のイントラリフレッシュ期間を有し得る。例えば、イントラリフレッシュフレームは主要トラック及び他の(例えばすべての他の)コンポーネントにおいて30秒毎に存在してもよい。イントラリフレッシュフレームは同じ復号時間を有し得る。
[0100] コンポーネント全体にわたるコード化イントラランダムアクセスポイント(IRAP)期間に関する制約は、IRAPサンプルがトラック全体にわたってアライメントされるように定義され得る(例えばランダムアクセスをサポートするために)。例えば、符号器は、一定間隔でアライメントした同期サンプルを有するサブストリームを生成するために制約され得る。この制約により、復号器及び/又はクライアントは次のことを想定し得る:IRAPサンプルは、IRAPサンプルが1つの(例えば任意の)コンポーネントトラック内で検出されるのと同時に1つ又は複数の他の(例えばすべての他の)コンポーネント内で利用可能である。各コンポーネントのIRAPはVPCCビットストリームのIRAPを表し得る。図4はコンポーネントのIRAPサンプルがアライメントされる制約の例を示す。
[0101] 本明細書において説明される制約は、トラック全体にわたる同期サンプルの一致を信号伝達するための追加情報の必要性を排除し得る。同期サンプルが主要トラック内に到達すると、同じ復号時間を有する対応する同期サンプルが他の(例えばすべての他の)コンポーネントトラック内に発見され得る。
[0102] いくつかの例では、様々なコンポーネントのIRAP期間及び主要パッチシーケンストラックは、時間アライメントされた(例えば、同期された)イントラサンプルが一定間隔で出現するように選択され得る。時間アライメントされた(例えば、同期された)イントラサンプルが一定間隔で出現すると、主要V-PCCトラック内の同期サンプルにアクセスするV-PCCメディアプレーヤは他のコンポーネントトラック内の同じ復号時間の対応する同期サンプルを発見し得る。各コンポーネントは様々なIRAP期間を有し得る。主要V-PCCトラックのIRAP期間は他の(例えばすべての)コンポーネントトラックのIRAP期間の最小公倍数であり得る。主要V-PCCトラックのIRAPはV-PCCビットストリームのIRAPを表し得る。図5はV-PCC IRAPを示すためにIRAP期間の最小公倍数を使用する例を示す。
[0103] いくつかの例では、V-PCCコンポーネントのIRAP期間に関するいかなる制約も無い場合がある。主要V-PCCトラックのIRAPはV-PCCビットストリームのIRAPを表し得る。他のコンポーネントに関して、最も近いIRAPは、主要V-PCC内のIRAPの復号及び/又はプレゼンテーション時間を所与として配置され得る。
[0104] V-PCCハイレベル構文(HLS:high-level syntax)はタイルグループをサポートし得る。ビデオコード化標準規格(例えばHEVC)では、2Dフレームはタイルのグリッドへ分割され得る。1つ又は複数のタイルグループは多くのタイルを含む2Dフレーム内の矩形領域に対応し得る。動き制約タイルセット(MCTS:motion constrained tile set)が、復号(例えば、独立に復号)され得、そしてフレーム内の特定領域の抽出を可能にし得る。V-PCCでは、空間のある領域(例えば3D領域又は立方体)に属するポイントに対応するパッチが1つ又は複数のMCTS内に詰め込まれ得る。タイルグループ及びMCTSは本明細書では交換可能に使用され得る。
[0105] 図6は3D空間内の特定領域への空間的アクセスを可能にするために使用され得るV-PCCコンテナ構造600の例を示す。示されるように、ポイントクラウドの3D空間602(例えば3D空間に対応する境界ボックス)は、3D空間内の複数の領域及び/又はオブジェクトを表す3D立方グリッド(例えば立方体602a、602b、602cなど)へ分割され得る。3D空間内の領域及び/又はオブジェクトのそれぞれに属するポイントはクラスタ化され得、そして境界ボックスは当該領域又はオブジェクトを表すために使用され得る。同じオブジェクトの様々な部分に属するポイントは、纏めてグルーピングされ得、そして当該部分のそれぞれの境界ボックスにより表され得る。
[0106] 結果として生じる境界ボックスの各境界ボックス内のポイントの投影から生じるパッチは、複数のV-PCCコンポーネントストリーム又はトラック(例えば占有、ジオメトリ、及び/又は属性ストリーム又はトラック)の2Dフレーム内の1つ又は複数のタイルグループへ一緒に詰め込まれ得る。パッチはタイルグループ(例えば、独立復号可能タイルグループ)を生成する符号化構成を使用して符号化され得る。これらのタイルグループはISOBMFFコンテナ内の別個のトラックにおいて運ばれ得、したがって、用語「タイルグループ」は本明細書では「トラックグループ」と交換可能に使用され得る(例えば、タイルグループはトラックグループのインスタンスであり得る)。別個のトラックにおいてタイルグループを運ぶことは、復号装置(例えばメディアプレーヤ)が、3D空間内の特定領域又はオブジェクトに関連する情報を運ぶトラックにアクセスすること及び/又はそれをダウンロードすることを可能にし得る。例えば、タイルグループがV-PCCビットストリームの別個のトラックにおいて運ばれる場合、メディアプレーヤは、特定領域を復号する際に(例えば領域の視覚的表現を描画する際に)3D空間の特定領域に関連するトラックにのみアクセスすること及び/又はそれをダウンロードすることができる。
[0107] V-PCCコンポーネント全体にわたる対応するタイルグループを有する(例えば領域又はオブジェクトを表す境界ボックス内のポイントの情報を運ぶ)トラックはトラックグルーピングツールを使用することにより纏めてグルーピングされ得る。TrackGroupBox(「trgr」)又は同様なエンティティはこれらのトラックのそれぞれトラックのTrackBoxへ追加され得、そして、V-PCCタイルグループのトラックグルーピングタイプは、以下に示されるようにTrackGroupTypeBoxを拡張することにより定義され得る(例えば、track_group_id又はtile_group_idフィールドを利用することにより)。
[0108] 表11は例示的VPCCTileGroupBox構文を示す。
Figure 2022533225000012
[0109] 表11の例示的セマンティックスに示すように、VPCCTileGroupBoxは、V-PCCタイルグループを識別するtile_group_idフィールド(又は同様なフィールド)を(例えば、V-PCCタイルグループの識別子として)含み得る。いくつかの例では、tile_group_idは、タイルグループアドレス(例えば、V-PCCビットストリームのタイルグループヘッダに含まれ得るptgh_addressなどのフィールド)に対応し得る(例えば、それと同一であり得る)。同じポイントクラウドタイルグループに属するトラックはtrack_group_type「vptg」のtrack_group_idの同じ値を有し得る。1つのポイントクラウドタイルグループからのトラックのtrack_group_idは、他のポイントクラウドタイルグループからのトラックのtrack_group_idとは異なり得る。例えば、図6に示すように、3D領域602aに対応する第1のタイルグループは1のトラックグループIDを有し得、3D領域602bに対応する第2のタイルグループは2のトラックグループIDを有し得る。したがって、「vptg」(又は同様な4CC値)に等しいtrack_group_typeを有するTrackGroupTypeBox内のtrack_group_idはISOBMFFコンテナファイル内のポイントクラウドタイルグループの識別子として使用され得る。
[0110] 例えば、サンプルグルーピングはどのサンプルがどのV-PCCタイルグループに属するかを信号伝達するために使用され得る。例えば、サンプルグルーピングは、1つのV-PCCコンポーネントに関して2つ以上のV-PCCタイルグループに関係する情報がトラックにおいて運ばれる場合に使用され得る(例えば、一組のV-PCCタイルグループに関し、トラック内には一組のサンプルグループが在り、サンプルの各グループはそれぞれのV-PCCタイルグループに関連付けられる)。サンプルグループエントリが定義され得(例えば以下の表12に示すように)、ここでは、tile_group_idのセマンティックス(例えば定義)は本明細書に記載のようなVPCCTileGroupBoxにおいて定義されるtile_group_idのものと同一であり得る。グループタイプは「vpge」又は同様な4CC値であり得る。コンテナはSampleGroupDescriptionBox(「sgpd」)又は同様なエンティティであり得る。VPCCTileGroupBoxは強制的でないかもしれなく(例えば、任意選択的であり得)、そして各トラックはマルチプルVPCCTileGroupBoxを有し得る(例えば、関連付けられ得る)。表12はVPCCTileGroupEntryの例示的構文を示す。
Figure 2022533225000013
[0111] いくつかの例では、1つ又は複数のV-PCCタイルグループを運ぶサブトラックはコンポーネントトラック内で定義され得る。1つ又は複数のV-PCCタイルグループは、SubTrackSampleGroupBox(又は同様なエンティティ)を使用しそして対応するSubTrackSampleGroupBox内の各サブトラックにおいて運ばれるV-PCCタイルグループに対応するVPCCTileGroupEntryインスタンス(又は同様なエンティティ)を列挙することにより(例えばそれらのgroup_description_indexを参照することにより)定義され得る。1つ又は複数のV-PCCタイルグループは、V-PCC固有VPCCTileGroupSubTrackBoxを定義することにより定義され得る(例えば表13に示すように)。ボックスタイプは「vpst」又は同様な4CC値に設定され得る。コンテナはSubTrackDefinitionBox(「strd」)又は同様なエンティティであり得る。VPCCTileGroupSubTrackBoxは強制的でないかもしれなく(例えば、任意選択的であり得)、各トラックはマルチプルVPCCTileGroupSubTrackBoxを有し得る。
Figure 2022533225000014
[0112] VPCCTileGroupSubTrackBox内のtile_group_idsの和集合(例えば集合)はボックスにより定義されるサブトラックを記述し得る(例えば、一括して記述し得る)。VPCCTileGroupSubTrackBoxのセマンティックスは以下のフィールドうちの1つ又は複数を含み得る。item_countフィールドは、VPCCTileGroupSubTrackBoxにおいて列挙されるタイルグループの数のカウントを表し得る。tile_group_idフィールドは、このサブトラックに含まれるV-PCCタイルグループの識別子を表し得る。VPCCTileGroupSubTrackBox内のtile_group_idフィールドはVPCCTileGroupEntryにおいて定義されるtile_group_idに整合(例えば、対応)し得る。
[0113] 例えば3D空間内のある領域(例えば境界ボックスにより表されるような)を描画するためにどのトラックをアクセス/ダウンロードすべきかをクライアント(例えばメディアプレイ又は復号装置)が識別することを可能にするために、3D空間内の領域又はオブジェクト(例えば3D境界ボックスのそれぞれ)とそれぞれのタイルグループとの間のマッピングが提供され得る。2Dフレーム内のタイルグループの位置は変化しないかもしれないが3D空間内の境界ボックス(例えば領域)の位置及び可能性としてサイズ(例えば次元)は例えば境界ボックス内のポイントにより表されるオブジェクトの動きに起因して時間とともに変化し得るということに留意すべきである。ポイントクラウド内の3D領域は表14に示す例示的3D領域構造を使用して定義される。
Figure 2022533225000015
[0114] 表14の例示的セマンティックスに示すように、3DRegionStuctは以下のうちの1つ又は複数のフィールドを含み得る。region_idフィールドは3D領域の一意的識別子を表し得る。region_xフィールドは3D領域(例えば領域に関連付けられた境界ボックス)に関連付けられた基準点のx座標を表し得る。region_yフィールドは基準点のy座標を表し得る。region_zフィールドは基準点のz座標を表し得る。region_widthフィールドはx軸に沿った3D領域(例えば領域に関連付けられた境界ボックス)の長さを示し得る。region_heightフィールドはy軸に沿った3D領域(例えば領域に関連付けられた境界ボックス)の長さを示し得る。region_depthフィールドはz軸に沿った3D領域(例えば領域に関連付けられた境界ボックス)の長さを示し得る。dimensions_included_flagフィールドは、3D領域(例えば領域に関連付けられた境界ボックス)の次元がstructの同じインスタンスにおいて信号伝達されるかどうかを示し得る。例えば、dimensions_included_flagが0の値を有する場合、これは、次元が信号伝達されないということと、同じ領域の次元が既に信号伝達されたかもしれない(例えば、同じregion_idを有するVPCC3DRegionStructの以前のインスタンスが次元を信号伝達した)ということとを示し得る。dimensions_included_flagが1の値を有する場合、これは、次元が信号伝達されるということを示し得る。
[0115] ポイントクラウド内の3D領域又はオブジェクトは、VPCCRegionToTileGroupBox又は同様なエンティティを使用することにより1つ又は複数のポイントクラウドタイルグループ(例えばトラックグループのインスタンス)に関連付けられ得る。表15は例示的VPCCRegionToTileGroupBox構文を示す。
Figure 2022533225000016
[0116] 表15の例示的セマンティックスに示すように、VPCCRegionToTileGroupBoxは、3D空間内の領域(又はオブジェクト)と1つ又は複数のタイルグループ(例えばトラックグループ)との間のマッピング関係を示し得る。VPCCRegionToTileGroupBoxは以下のフィールドのうちの1つ又は複数を含み得る。num_regionsフィールドは3D空間に関連付けられたポイントクラウド内の3D領域の数を示し得る。region_idフィールドは3D領域を識別し得る(例えば、識別子を含み得る)。num_tile_groupsフィールドは3D領域に関連付けられたV-PCCタイルグループの数を示し得る。tile_group_idフィールドはV-PCCタイルグループを識別し得る。したがって、VPCCRegionToTileGroupBoxは1つ又は複数のタイルを少なくともtile_group_idフィールド及びregion_idフィールドを介し3D領域へリンクし得る。
[0117] VPCCRegionToTileGroupBoxは、図6に示すように主要V-PCCトラック604のサンプルエントリにおいて又は主要V-PCCトラックに関連付けられた別個の時限メタデータトラック606のサンプルエントリにおいて信号伝達され得る。時限メタデータトラック606(例えば主要V-PCCトラックとは別個であり得る)は、ISOBMFFコンテナ内に含まれ得、そしてポイントクラウドの定義済み3D領域の1つ又は複数の特性(例えば位置及び/又は次元)を例えば時間とともに更新するために使用され得る。この時限メタデータトラック606は「vp3r」の4CC(又は同様な4CC値)を有する定義されたサンプルエントリ(例えばVPCC3DRegionSampleEntry)を含み得、そして定義されたサンプルエントリは、表16内の(例えばVPCC3DRegionInfoBox又は同様なエンティティの)例示的構文により示されるようにMetadataSampleEntry又は同様なエンティティを拡張し得る。
Figure 2022533225000017
[0118] 表16の例示的セマンティックスに示すように、VPCC3DRegionInfoBoxは3D空間内の3D領域の総数を示すnum_regionsフィールドを含み得る。時限メタデータトラック606は、例えばトラックリファレンスとして「cdsc」の4CC(又は同様な4CC値)を使用することにより主要V-PCCトラック604へリンクされ得る。この時限メタデータトラック内の(例えば各)サンプルは、例えば以下の表17に示される例示的構文を使用することにより3D領域を規定し得る。VPCC3DRegionSample構造(例えば、又は同様なエンティティ)は導出されたトラックフォーマットで拡張され得る。
Figure 2022533225000018
[0119] 表17の例示的セマンティックスに示すように、VPCC3DRegionSampleは、サンプル内で信号伝達されている3D領域の数を示し得るnum_regionsフィールドを含み得る。サンプル内で信号伝達される3D領域の数は利用可能領域の総数と等しくてもよいし等しくなくてもよい。例えば、サンプル内で信号伝達される3D領域の数は、その特性(例えば、位置及び/又は次元)がサンプル内で更新される3D領域を示し得る。
[0120] パッチ情報はV-PCCトラックにおいて運ばれ得る。V-PCCトラックのVPCCDecoderConfigurationRecord(又は同様なエンティティ)及びサンプルフォーマット構文は、例えば一系列のパッチネットワーク抽出層(PNAL)ユニットとして構造化されるパッチ情報サブストリームの伝送をサポートするようにフォーマット化され得る。VPCCDecoderConfigurationRecordは構成情報を復号器へ提供し得る(例えば復号過程の始めに)。VPCCDecoderConfigurationRecordは1つ又は複数のパラメータセット及び/又は1つ又は複数の補足エンハンスメント情報(SEI:supplemental enhancement information)メッセージを含み得る。VPCCDecoderConfigurationRecordはlengthSizeMinusOneフィールドを含み得る。例示的VPCCDecoderConfigurationRecord構文が以下の表18に示され得る。
Figure 2022533225000019
[0121] 表18の例示的セマンティックスに示すように、VPCCDecoderConfigurationRecordは構成レコードの現在バージョンを示すconfigurationVersionフィールドを含み得る。いくつかの例では、復号器構成レコードに対する非適合変更は構成バージョン番号の変更により示され得る。復号装置は、構成バージョン番号が認識されない場合、適用される構成レコード又はストリームを復号することを試みないように構成され得る。VPCCDecoderConfigurationRecordはlengthSizeMinusOneフィールドを含み得、lengthSizeMinusOneの値プラス1は、V-PCCサンプル内の(例えばこの構成レコードが適用されるストリーム内の)PNALUnitLengthフィールドの長さを(例えばバイトで)示し得る。例えば、1バイトのPNALUnitLengthフィールド長は0のlengthSizeMinusOne値により示され得る。lengthSizeMinusOneフィールドの値は、1、2又は4バイトにより符号化される長さ(例えばPNALUnitLength)それぞれに対応し得る0、1、又は3であり得る。
[0122] いくつかの例では、復号器構成レコードは、V-PCCパラメータセットの第1のセットアップユニットアレイなどの1つ又は複数のセットアップユニットアレイ(例えばVsequenceパラメータセット、及びパッチ情報サブストリームの他のセットアップユニットの第2のセットアップユニットアレイ)を含み得る。以下の表19は1つ又は複数のセットアップユニットアレイを示す例を示す。
Figure 2022533225000020
[0123] 表19のセマンティックスの例に示すように、VPCCDecoderConfigurationRecord(又は同様なエンティティ)は以下のフィールドのうちの1つ又は複数を含み得る。configurationVersionフィールド(又は同様な名前のフィールド)は構成レコードの現在バージョンを示し得る。いくつかの例では、復号器構成レコードに対する非適合変更は構成バージョン番号の変更により示され得る。復号装置は、構成バージョン番号が認識されない場合、適用される構成レコード又はストリームを復号することを試みないように構成され得る。numOfSequenceParameterSetsフィールド(又は同様な名前のフィールド)は、(例えば復号器構成レコードが適用されるストリームの)復号器構成レコード内の署名された(例えば、定義された)V-PCCパラメータセット(例えばアレイ)の数を示し得る。numOfSetupUnitArraysフィールドは、(例えば復号器構成レコードが適用されるストリームの)復号器構成レコード内の署名された(例えば、定義された)示されたタイプ(例えばPNAL_unit_typeにより示される)のPNALユニットのアレイの数を示し得る。array_completenessフィールドはすべてのPNALユニットがアレイに含まれるかどうかを示し得る。例えば、array_completenessフィールドが1に等しい場合、これは、所与タイプのPNALユニット(例えばすべてのPNALユニット)が後続アレイに含まれる(例えば、ストリーム内には何も無い)ということを示し得る。array_completenessフィールドが0に等しい場合、これは、示されたタイプの追加PNALユニットがストリーム内に存在し得るということを示し得る。array_completenessのデフォルト値及び/又は許容値は、対応するサンプルエントリのサンプルエントリ名又はサンプルエントリタイプにより制約され得る。例えば、VPCCDecoderConfigurationRecordは様々なサンプルエントリおいて使用され得る。VPCCDecoderConfigurationRecordのコンテナは、VPCCSampleEntry内に含まれるボックスであり得るVPCCDecoderConfigurationBox(又は同様なエンティティ)であり得る。VPCCSampleEntryは異なるタイプのものであり得、サンプルエントリのタイプは、封入されたVPCCDecoderConfigurationRecord内のarray_completenessフィールドの許容値及び/又はデフォルト値に関する制約を設定し得る。
[0124] VPCCDecoderConfigurationRecord(又は同様なエンティティ)は、後続アレイ内のPNALユニットのタイプを示すPNAL_unit_typeフィールドを含み得る(例えば、アレイ内のPNALユニットのすべては示されたタイプのものであり得る)。PNAL_unit_typeフィールドは、PUP_PSPS、PUP_PREFIX_SEI又はPUP_SUFFIX_SEI PNALユニットを示す以下の値のうちの1つを有し得る(例えば、採るように制限され得る)。VPCCDecoderConfigurationRecord(又は同様なエンティティ)は、(例えばこの構成レコードが適用されるストリームの)構成レコードに含まれる示されたタイプのPNALユニットの数を示すnumPNALUnitsフィールドを含み得る。補足エンハンスメント情報(SEI)アレイは宣言SEIメッセージを含み得る(例えば、これだけを含み得る)。宣言SEIメッセージはストリーム全般に関する情報を示すSEIメッセージを含み得る。例えば、ユーザデータSEIは宣言SEIメッセージであり得る。
[0125] VPCCDecoderConfigurationRecord(又は同様なエンティティ)は、PNALユニットの長さを示すpnalUnitLengthフィールドを(例えばバイトで)含み得る。VPCCDecoderConfigurationRecord(又は同様なエンティティ)はPUP_PSPS又は宣言SEI PNALユニットを保持するために使用され得るpnalUnitフィールドを含み得る。
[0126] 本明細書で示された例示的VPCCDecoderConfigurationRecord構文に基づき、V-PCCトラック内のサンプル(例えば、VPCCSampleとして表された)のサンプルフォーマットが以下の表20に示される。
Figure 2022533225000021
[0127] 表20の例示的セマンティックスに示すように、VPCCDecoderConfigurationRecordフィールドは対応V-PCCサンプルエントリ内の復号器構成レコードを示し得る。PNALUnitLengthフィールドはPNALユニットのサイズ(例えば、バイトで測定される)を示し得る。いくつかの例では、PNALUnitLengthフィールドはPNALユニットヘッダ及びPNALユニットペイロードの両方のサイズを含み得る。いくつかの例では、PNALUnitLengthフィールドはPNALUnitLengthフィールド自体のサイズを含まないかもしれない。さらに、PNALUnitフィールドはPNALユニット(例えば単一アトラスNALユニット)を表すために含まれ得る。
[0128] いくつかの例では、V-PCCトラックのサンプル内のパッチ情報は、パッチ情報サンプルストリーム(例えばアトラスサンプルストリーム)に基づきフォーマット化され得る。VPCCDecoderConfigurationRecord(又は同様なエンティティ)はlengthSizeMinusOneフィールドを含み得る。表21は別の例示的VPCCDecoderConfigurationRecord構文を示す。
Figure 2022533225000022
[0129] 表21の例示的構文内のフィールド(例えば変数)は表19内のものと同様に定義され得る。例えば、lengthSizeMinusOneプラス1の値は、PNALUnitLengthフィールド(例えばこの構成レコードが適用されるストリーム内のV-PCCサンプル内の)の長さを(例えばバイトで)示し得る。したがって、PNALUnitLengthフィールドの1つのバイトのサイズは0の値を有するlengthSizeMinusOneフィールドにより示され得る。表21の例示的構文では、lengthSizeMinusOneフィールドは無署名int(3)として定義され得、したがって、lengthSizeMinusOneフィールドの値は0~7の範囲であり得る。
[0130] 特徴及び要素は特に組み合わせで上に説明されたが、各特徴又は要素は、単独で、又は他の特徴及び要素との任意の組み合わせで使用され得るということを当業者は理解することになる。加えて、本明細書において説明される方法は、コンピュータ又はプロセッサによる実行のために、コンピュータプログラム、ソフトウェア、又はコンピュータ可読メディア内に取り込まれたファームウェアで実現され得る。コンピュータ可読メディアの例は電子信号(有線又は無線接続上で送信される)及びコンピュータ可読ストレージメディアを含む。コンピュータ可読ストレージメディアの例は、限定しないが、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリ装置、内部ハードディスク及び着脱可能ディスクなどの磁気メディア、磁気光学メディア、CD-ROMディスクなどの光メディア、及びデジタル多用途ディスク(DVD)を含む。ソフトウェアに関連するプロセッサは、WTRU、UE、端末、基地局、RNC又は任意のホストコンピュータにおいて使用される無線周波数送受信機を実現するために使用され得る。

Claims (20)

  1. 3次元(3D)空間に関連付けられたビデオデータを処理するように構成されたビデオ復号装置であって、
    メディアコンテナファイルを受信し、
    前記3D空間内の3D領域の領域識別子(ID)と前記3D空間に関連付けられた1つ又は複数のトラックグループのそれぞれのトラックグループIDとを決定するために前記メディアルコンテナファイルを解析し、
    前記1つ又は複数のトラックグループのそれぞれのトラックグループIDが前記3D領域の前記領域IDへリンクされているという決定に基づいて、前記1つ又は複数のトラックグループが前記3D領域に関連付けられていることを決定し、
    前記3D空間の前記3D領域の視覚的表現を描画するために、前記1つ又は複数のトラックグループに属するビデオトラックを復号するように構成されたプロセッサを含むビデオ復号装置。
  2. 前記1つ又は複数のトラックグループは共通トラックグループタイプを共有しており、前記1つ又は複数のトラックグループが前記共通トラックグループタイプを共有しているという決定にさらに基づいて、前記1つ又は複数のトラックグループは、前記3D領域に関連付けられていると決定される、請求項1に記載のビデオ復号装置。
  3. 前記メディアコンテナファイルは、前記3D空間に関連付けられた領域の数及び前記領域のそれぞれに関連付けられたトラックグループの数を定義する構造を含み、前記プロセッサは、前記構造に含まれる情報に基づいて、前記1つ又は複数のトラックグループの前記それぞれのトラックグループIDが前記3D領域の前記領域IDへリンクされていると決定するように構成されている、請求項1に記載のビデオ復号装置。
  4. 前記メディアルコンテナファイルは前記3D領域の少なくとも1つの特性に対する更新を示す時限メタデータを含む、請求項1に記載のビデオ復号装置。
  5. 前記プロセッサは、前記時限メタデータに基づいて、前記1つ又は複数のトラックグループの前記それぞれのトラックグループIDが前記3D領域の前記領域IDへリンクされていることを決定するように構成されている、請求項4に記載のビデオ復号装置。
  6. 前記3D空間は複数の領域を含み、前記時限メタデータは、更新された前記領域のサブセットに関連付けられた情報を含む、請求項4に記載のビデオ復号装置。
  7. 前記プロセッサは、前記メディアルコンテナファイルに基づいて前記3D領域及び前記3D領域の次元に関連付けられた基準点を決定するようにさらに構成されている、請求項1に記載のビデオ復号装置。
  8. 前記1つ又は複数のトラックグループに属する前記ビデオトラックは2次元(2D)フレーム内の1つ又は複数のタイルに対応する、請求項1に記載のビデオ復号装置。
  9. 前記ビデオトラックは1つ又は複数のサンプルエントリを含み、前記1つ又は複数のサンプルエントリのそれぞれはネットワーク抽出層(NAL)ユニットサイズを示すデータフィールドの長さのインジケーションを含む、請求項1に記載のビデオ復号装置。
  10. 前記1つ又は複数のサンプルエントリのそれぞれはさらに、前記サンプルエントリに関連付けられたV-PCCパラメータセットの数又は前記サンプルエントリに関連付けられたアトラスNALユニットのアレイの数のインジケーションを含む、請求項9に記載のビデオ復号装置。
  11. 3次元(3D)空間に関連付けられたビデオデータを復号する方法であって、
    メディアコンテナファイルを受信することと、
    前記3D空間内の3D領域の領域識別子(ID)と前記3D空間に関連付けられた1つ又は複数のトラックグループのそれぞれのトラックグループIDとを決定するために前記メディアルコンテナファイルを解析することと、
    前記1つ又は複数のトラックグループのそれぞれのトラックグループIDが前記3D領域の前記領域IDへリンクされているという決定に基づいて、前記1つ又は複数のトラックグループが前記3D領域に関連付けられていることを決定することと、
    前記3D空間の前記3D領域の視覚的表現を描画するために、前記1つ又は複数のトラックグループに属するビデオトラックを復号することと
    を含む方法。
  12. 前記1つ又は複数のトラックグループは共通トラックグループタイプを共有しており、前記1つ又は複数のトラックグループが前記共通トラックグループタイプを共有しているという決定にさらに基づいて、前記1つ又は複数のトラックグループは、前記3D領域に関連付けられていると決定される、請求項11に記載の方法。
  13. 前記メディアコンテナファイルは、前記3D空間に関連付けられた領域の数及び前記領域のそれぞれに関連付けられたトラックグループの数を定義する構造を含み、前記構造に含まれる情報に基づいて、前記1つ又は複数のトラックグループの前記それぞれのトラックグループIDは、前記3D領域の前記領域IDへリンクされていると決定される、請求項11に記載の方法。
  14. 前記メディアコンテナファイルは前記3D領域の少なくとも1つの特性に対する更新を示す時限メタデータを含む、請求項11に記載の方法。
  15. 前記3D空間は複数の領域を含み、前記時限メタデータは、更新された前記領域のサブセットに関連付けられた情報を含む、請求項14に記載の方法。
  16. 前記1つ又は複数のトラックグループに属する前記ビデオトラックは2次元(2D)フレーム内の1つ又は複数のタイルに対応する、請求項11に記載の方法。
  17. 前記ビデオトラックは1つ又は複数のサンプルエントリを含み、前記1つ又は複数のサンプルエントリのそれぞれは、ネットワーク抽出層(NAL)ユニットサイズを示すデータフィールドの長さのインジケーションを含む、請求項11に記載の方法。
  18. 前記1つ又は複数のサンプルエントリのそれぞれはさらに、前記サンプルエントリに関連付けられたV-PCCパラメータセットの数又は前記サンプルエントリに関連付けられたアトラスNALユニットのアレイの数のインジケーションを含む、請求項17に記載の方法。
  19. 3次元(3D)空間に関連付けられた情報を符号化し送信するように構成されたビデオ符号化装置であって、
    前記3D空間を、それぞれがそれぞれの領域識別子(ID)を割り当てられる1つ又は複数の3D領域に分割し、
    前記1つ又は複数の3D領域の少なくとも1つに関連付けられたビデオデータを複数のビデオベースポイントクラウド圧縮(V-PCC)コンポーネントトラックへ符号化し、
    前記複数のV-PCCコンポーネントトラックをトラックグループへ編成し、トラックグループIDを前記トラックグループへ割り当て、
    前記3D空間が前記1つ又は複数の3D領域を含むということと前記トラックグループは前記1つ又は複数の3D領域の前記少なくとも1つへリンクされるということとを別個のV-PCCトラックにおいて示し、前記トラックグループは、前記トラックグループの前記トラックグループID及び前記1つ又は複数の3D領域の前記少なくとも1つの領域IDを介し前記1つ又は複数の3D領域の前記少なくとも1つへリンクされ、
    メディアコンテナファイルを受信装置へ送信し、前記メディアルコンテナファイルは前記1つ又は複数のV-PCCコンポーネントトラック及び前記別個のV-PCCトラックを含む、ように構成されたプロセッサを含むビデオ符号化装置。
  20. 前記メディアコンテナファイルはさらに、前記1つ又は複数の3D領域に関連付けられた更新を示す時限メタデータを含む、請求項19に記載のビデオ符号化装置。
JP2021569053A 2019-05-23 2020-05-21 ビデオベースポイントクラウドストリーム Pending JP2022533225A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962852046P 2019-05-23 2019-05-23
US62/852,046 2019-05-23
US201962907249P 2019-09-27 2019-09-27
US62/907,249 2019-09-27
PCT/US2020/034035 WO2020237072A1 (en) 2019-05-23 2020-05-21 Video-based point cloud streams

Publications (2)

Publication Number Publication Date
JP2022533225A true JP2022533225A (ja) 2022-07-21
JPWO2020237072A5 JPWO2020237072A5 (ja) 2023-05-22

Family

ID=71070056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021569053A Pending JP2022533225A (ja) 2019-05-23 2020-05-21 ビデオベースポイントクラウドストリーム

Country Status (9)

Country Link
US (1) US20220239947A1 (ja)
EP (1) EP3973713A1 (ja)
JP (1) JP2022533225A (ja)
KR (1) KR20220022897A (ja)
CN (1) CN114026878B (ja)
AU (1) AU2020280072A1 (ja)
MX (1) MX2021014278A (ja)
TW (1) TW202112139A (ja)
WO (1) WO2020237072A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11711506B2 (en) * 2021-01-05 2023-07-25 Samsung Electronics Co., Ltd. V3C video component track alternatives
CN114629924B (zh) * 2022-04-13 2024-02-13 北京赛博云睿智能科技有限公司 一种容器进行业务数据同步运行的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419737B2 (en) * 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10419768B2 (en) * 2016-03-30 2019-09-17 Qualcomm Incorporated Tile grouping in HEVC and L-HEVC file formats
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
CN110892453B (zh) * 2017-07-10 2024-02-13 三星电子株式会社 使用图像/视频编解码器的点云和网格压缩
US11178377B2 (en) * 2017-07-12 2021-11-16 Mediatek Singapore Pte. Ltd. Methods and apparatus for spherical region presentation
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
EP3474562A1 (en) * 2017-10-20 2019-04-24 Thomson Licensing Method, apparatus and stream for volumetric video format
CN108731693A (zh) * 2018-06-05 2018-11-02 北京智行者科技有限公司 区块地图采集方法
CN108827317B (zh) * 2018-08-20 2022-05-24 重庆金美汽车电子有限公司 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法

Also Published As

Publication number Publication date
EP3973713A1 (en) 2022-03-30
CN114026878B (zh) 2024-04-19
AU2020280072A1 (en) 2021-12-16
KR20220022897A (ko) 2022-02-28
US20220239947A1 (en) 2022-07-28
MX2021014278A (es) 2022-02-03
WO2020237072A1 (en) 2020-11-26
CN114026878A (zh) 2022-02-08
TW202112139A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
JP7460611B2 (ja) ポイントクラウド圧縮ビットストリームフォーマットに対する方法および装置
JP2020522932A (ja) 次世代ネットワークを介した360度ビデオ配信
JP2022500914A (ja) フレキシブルグリッドリージョンのための方法および装置
JP2022533225A (ja) ビデオベースポイントクラウドストリーム
US20230281923A1 (en) Tile tracks for geometry-based point cloud data
US20220329923A1 (en) Video-based point cloud streams
JP2023523393A (ja) ビデオベース点群ストリームのisobmffコンテナにおける部分的なアクセスサポート
JP2024502822A (ja) ビジュアルボリュメトリックビデオベース(v3c)及びジオメトリベース点群(g-pcc)メディアのストリーミングのためのmmtシグナリング
TW202207714A (zh) 基於幾何之點雲的適應性串流
TWI845715B (zh) 在串流服務中立體內容成分次位元串流動態適應
CN116830588A (zh) 用于基于视觉体积视频(v3c)媒体和基于几何的点云(g-pcc)媒体的流式传输的mmt信令
CN118285108A (zh) 基于几何的点云的自适应流传输
KR20240089338A (ko) 기하구조 기반 포인트 클라우드의 적응적 스트리밍

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240424