CN112740282B - 用于点云压缩比特流格式的方法和装置 - Google Patents
用于点云压缩比特流格式的方法和装置 Download PDFInfo
- Publication number
- CN112740282B CN112740282B CN201980061212.1A CN201980061212A CN112740282B CN 112740282 B CN112740282 B CN 112740282B CN 201980061212 A CN201980061212 A CN 201980061212A CN 112740282 B CN112740282 B CN 112740282B
- Authority
- CN
- China
- Prior art keywords
- bitstream
- video track
- isobmff
- track
- bit stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000015654 memory Effects 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 239000000463 material Substances 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 61
- 238000010586 diagram Methods 0.000 description 31
- 238000005516 engineering process Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 22
- 239000012634 fragment Substances 0.000 description 17
- 241000760358 Enodes Species 0.000 description 14
- 238000012360 testing method Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000011664 signaling Effects 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 8
- 239000000969 carrier Substances 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 2
- 241000700159 Rattus Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- UGODCLHJOJPPHP-AZGWGOJFSA-J tetralithium;[(2r,3s,4r,5r)-5-(6-aminopurin-9-yl)-4-hydroxy-2-[[oxido(sulfonatooxy)phosphoryl]oxymethyl]oxolan-3-yl] phosphate;hydrate Chemical compound [Li+].[Li+].[Li+].[Li+].O.C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP([O-])(=O)OS([O-])(=O)=O)[C@@H](OP([O-])([O-])=O)[C@H]1O UGODCLHJOJPPHP-AZGWGOJFSA-J 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mobile Radio Communication Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
Abstract
提供了用于对包括译码点云序列的点云比特流进行编码和/或解码的方法、装置、系统、架构和接口。在这些方法、装置、系统、架构和接口中包括可以包括处理器和存储器的装置。一种方法可以包括以下中的任意者:将所述点云比特流的分量映射到轨道中;根据所述分量的所述映射,生成标识几何结构流或纹理流中的任意者的信息;生成与对应于各个几何结构分量流的层相关联的信息;以及生成指示与所述点云比特流相关联的操作点的信息。
Description
背景技术
以下主要涉及无线和/或有线通信网络。例如,本文公开的一个或多个实施例涉及用于解码与三维(3D)点云相关联的信息的方法和装置,所述三维点云可以使用无线和/或有线通信网络来发送和/或接收。3D点云可以提供物理空间、虚拟空间和/或沉浸式媒体的表示。例如,点云可以是表示3D空间的点的集合,其使用指示每个点的位置的坐标以及与这些点中的一个或多个点相关联的一个或多个属性(诸如,颜色、透明度、获取时间、激光的反射率或材料属性等中的任意者)。点云可以以多种方式被捕获。点云可以通过使用多个相机和深度传感器中的任意者(诸如,例如光检测和测距(LiDAR)激光扫描仪)而被捕获。为了表示3D空间,使用点云来(例如,实际地)重构对象和场景的点的数量可以是数百万或数十亿的数量级,并且数量可进一步增加。点云的这种大量的点可能需要用于点云数据的存储和传输的有效表示和压缩,并且例如可被应用于以改善在远程呈现、虚拟现实和大规模动态3D地图等领域中使用的3D点的捕获和渲染。
附图说明
通过以下结合附图以示例性方式给出的详细描述,可以得到更详细的理解。说明中的附图是示例。因此,附图和详细描述不应被视为限制性的,并且其他同等有效的示例也是可行的和可能的。此外,附图中相同的附图标记表示相同的元素,并且其中:
图1A是示出了其中可以实施一个或多个公开的实施例的示例性通信系统的系统图。
图1B是示出了根据实施例的可在图1A中所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图;
图1C是示出了根据实施例的可在图1A中所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图;
图1D是示出了根据实施例的可在图1A中所示的通信系统内使用的另一示例性RAN和另一示例性CN的系统图;
图2是示出了其中可以执行和/或实施一个或多个实施例的示例视频编码和解码系统的框图;
图3是示出了用于基于视频的点云压缩(V-PCC)的比特流的结构的示图;
图4是示出了作为V-PCC单元序列的V-PCC比特流的结构的示图;
图5是示出了V-PCC单元数据类型、单元头部语法和对活动序列参数集(SPS)的引用的示图;
图6是示出了SPS参数集和PSD参数集的示图;
图7是示出了GOF流到电影片段的映射的示图;
图8是示出了根据实施例的V-PCC比特流结构的示图;
图9是示出了根据实施例的用于V-PCC比特流的分段ISOBMFF容器的示图;
图10是示出了根据实施例的PSD参数集引用(reference)结构的示图;以及
图11是示出了根据实施例的另一PSD参数集引用结构的示图。
具体实施方式
示例性网络及设备
图1A是示出了可以实施一个或多个所公开的实施例的例示通信系统100的示图。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够接入此类内容。举例来说,通信系统100可以使用一种或多种信道接入方法,例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图1A所示,通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112,然而应该了解,所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说,任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”,其可以被配置成发射和/或接收无线信号,并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。每一个基站114a、114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。举例来说,基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、新无线电(NR)节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件,然而应该了解。基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分,并且所述RAN还可以包括其他基站和/或网络部件(未显示),例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如,与基站114a相关联的小区可被分为三个扇区。由此,在一个实施例中,基站114a可以包括三个收发信机,也就是说,每一个收发信机都对应于小区的一个扇区。在实施例中,基站114a可以使用多输入多输出(MIMO)技术,并且可以为小区的每一个扇区使用多个收发信机。举例来说,通过使用波束成形,可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信,其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说,如上所述,通信系统100可以是多址接入系统,并且可以使用一种或多种信道接入方案,例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如,RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术,例如通用移动电信系统(UMTS)陆地无线电接入(UTRA),其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中,基站114a和WTRU 102a、102b、102c可以实施某种无线电技术,例如演进型UMTS陆地无线电接入(E-UTRA),其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。
在实施例中,基站114a和WTRU 102a、102b、102c可以实施某种无线电技术,例如NR无线电接入,其中所述无线电技术可以使用新型无线电(NR)来建立空中接口116。
在实施例中,基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。举例来说,基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此,WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在其他实施例中,基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术,例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-D0、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图1A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点,并且可以使用任何适当的RAT来促成局部区域中的无线连接,例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中,基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中,基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一实施例中,基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图1A所示,基站114b可以直连到因特网110。由此,基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信,其中所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求,例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等,和/或可以执行用户验证之类的高级安全功能。虽然在图1A中没有显示,然而应该了解,RAN104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如,除了与使用NR无线电技术的RAN 104/113相连之外,CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备系统。网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如,网络112可以包括与一个或多个RAN相连的另一个CN,其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。
通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如,WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如,图1A所示的WTRU 102c可被配置成与可以使用基于蜂窝的无线电技术的基站114a通信,以及与可以使用IEEE 802无线电技术的基站114b通信。
图1B是示出了例示WTRU 102的系统图示。如图1B所示,WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边设备138。应该了解的是,在保持符合实施例的同时,WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120,收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独组件,然而应该了解,处理器118和收发信机120也可以集成在一个电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子,在一个实施例中,发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例,在实施例中,发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在实施例中,发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是,发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图1B中将发射/接收部件122描述成是单个部件,但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说,WTRU 102可以使用MIMO技术。由此,在实施例中,WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制,以及对发射/接收部件122接收的信号进行解调。如上所述,WTRU 102可以具有多模能力。因此,收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元),并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外,处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息,以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中,处理器118可以从那些并非实际位于WTRU 102的存储器存取信息,以及将数据存入这些存储器,作为示例,此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力,并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如,电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136,该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换,WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息,和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是,在保持符合实施例的同时,WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138,其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如,周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。周边设备138可以包括一个或多个传感器,所述传感器可以是以下的一个或多个:陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU 102可以包括全双工无线电设备,其中对于该无线电设备来说,一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元139。在实施例中,WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
图1C是示出了根据实施例的RAN 104和CN 106的系统图示。如上所述,RAN 104可以在空中接口116上使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN104还可以与CN 106进行通信。
RAN 104可以包括e节点B 160a、160b、160c,然而应该了解,在保持符合实施例的同时,RAN 104可以包括任何数量的e节点B。每一个e节点B 160a、160b、160c都可以包括在空中接口116上与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施例中,e节点B 160a、160b、160c可以实施MIMO技术。由此,举例来说,e节点B 160a可以使用多个天线来向WTRU 102a发射无线信号,和/或以及接收来自WTRU 102a的无线信号。
每一个e节点B 160a、160b、160c都可以关联于一个特定小区(未显示),并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图1C所示,e节点B 160a、160b、160c彼此可以通过X2接口进行通信。
图1C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然前述的每一个部件都被描述成是CN 106的一部分,然而应该了解,这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b、160c,并且可以充当控制节点。例如,MME 142可以负责验证WTRU 102a、102b、102c的用户,执行承载激活/去激活处理,以及在WTRU 102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162还可以提供一个用于在RAN 104与使用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b、160c。SGW164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且,SGW 164还可以执行其他功能,例如在eNB间的切换过程中锚定用户平面,在DL数据可供WTRU 102a、102b、102c使用时触发寻呼处理,以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164可以连接到PGW 166,所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如因特网110)接入,以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如,CN 106可以为WTRU 102a、102b、102c提供电路交换网络(例如PSTN 108)接入,以便促成WTRU 102a、102b、102c与传统的陆线通信设备之间的通信。例如,CN 106可以包括一个IP网关(例如IP多媒体子系统(IMS)服务器)或与之进行通信,并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外,CN 106可以为WTRU 102a、102b、102c提供针对其他网络112的接入,其中该网络可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。
虽然在图1A-1D中将WTRU描述成了无线终端,然而应该想到的是,在某些典型实施例中,此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。
在一些典型实施例中,所述其他网络112可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以接入或是对接到分布式系统(DS)或是将业务量送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务量可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务量可被发送至AP,以便递送到相应的目的地。处于BSS内部的STA之间的业务量可以通过AP来发送,例如源STA可以向AP发送业务量并且AP可以将业务量递送至目的地STA。处于BSS内部的STA之间的业务量可被认为和/或称为点到点业务量。所述点到点业务量可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在某些典型实施例中,DLS可以使用802.11e DLS或802.11z通道化DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP,并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里,IBSS通信模式有时可被称为“自组织”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时,AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是借助信令动态设置的宽度。主信道可以是BSS的工作信道,并且可被STA用来与AP建立连接。在某些典型实施例中,所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说,包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙,那么所述特定STA可以回退。在指定的BSS中,在任何指定时间可有一个STA(例如只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说,在信道编码之后,数据可被传递并经过一个分段解析器,所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行反向快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上,并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上,用于80+80配置的上述操作可以是相反的,并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持1GHz以下的工作模式。与802.11n和802.11ac相比,在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽,并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据某些典型实施例,802.11ah可以支持仪表类型控制/机器类型通信(例如宏覆盖区域中的MTC设备)。MTC可以具有某种能力,例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池,并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如,802.11n、802.11ac、802.11af以及802.11ah)来说,所述WLAN系统包括一个可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制,其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中,即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式,但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说,主信道的宽度可以是1MHz。载波感测和/或网络分配矢量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如因为STA(其只支持1MHz工作模式)对AP进行传输),那么即使大多数的频带保持空闲并且可供使用,也可以认为整个可用频带繁忙。
在美国,可供802.11ah使用的可用频带是902MHz到928MHz。在韩国,可用频带是917.5MHz到923.5MHz。在日本,可用频带是916.5MHz到927.5MHz。依照国家码,可用于802.11ah的总带宽是6MHz到26MHz。
图1D是示出了根据实施例的RAN 113和CN 115的系统图示。如上所述,RAN 113可以在空中接口116上使用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。
RAN 113可以包括gNB 180a、180b、180c,但是应该了解,在保持符合实施例的同时,RAN 113可以包括任何数量的gNB。每一个gNB 180a、180b、180c都可以包括一个或多个收发信机,以便通过空中接口116来与WTRU 102a、102b、102c通信。在一个实施例中,gNB180a、180b、180c可以实施MIMO技术。例如,gNB 180a、180b可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此,举例来说,gNB 180a可以使用多个天线来向WTRU 102a发射无线信号,和/或接收来自WTRU 102a的无线信号。在实施例中,gNB180a、180b、180c可以实施载波聚合技术。例如,gNB 180a可以向WTRU 102a传送多个分量载波(未显示)。这些分量载波的一个子集可以处于无授权频谱上,而剩余分量载波则可以处于授权频谱上。在实施例中,gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如,WTRU 102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩数字配置相关联的传输来与gNB 180a、180b、180c进行通信。例如,对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说,OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中,WTRU 102a、102b、102c可以在不接入其他RAN(例如e节点B 160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中,WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚点。在独立配置中,WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中,WTRU 102a、102b、102c会在与别的RAN(例如e节点B 160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说,WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B 160a、160b、160c进行通信。在非独立配置中,e节点B 160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点,并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量,以便为WTRU 102a、102b、102c提供服务。
每一个gNB 180a、180b、180c都可以关联于特定小区(未显示),并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、实施双连接性、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图1D所示,gNB 180a、180b、180c彼此可以通过Xn接口通信。
图1D所示的CN 115可以包括至少一个AMF 182a、182b,至少一个UPF 184a、184b,至少一个会话管理功能(SMF)183a、183b,并且有可能包括数据网络(DN)185a、185b。虽然每一个前述部件都被描述了CN 115的一部分,但是应该了解,这其中的任一部件都可以被CN运营商之外的其他实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的一者或多者gNB 180a、180b、180c,并且可以充当控制节点。例如,AMF 182a、182b可以负责验证WTRU 102a、102b、102c的用户,支持网络切片(例如处理具有不同需求的不同PDU会话),选择特定的SMF 183a、183b,管理注册区域,终止NAS信令,以及移动性管理等等。AMF 182a、1823b可以使用网络切片处理,以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU 102a、102b、102c提供的CN支持。举例来说,针对不同的使用情况,可以建立不同的网络切片,所述使用情况例如为依赖于超可靠低延时(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类型通信(MTC)接入的服务等等。AMF 182可以提供用于在RAN 113与使用其他无线电技术(例如LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b,并且可以通过UPF 184a、184b来配置业务量路由。SMF 183a、183b可以执行其他功能,例如管理和分配WTRU或UE IP地址,管理PDU会话,控制策略实施和QoS,以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的,不基于IP的,以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接到RAN 113中的一者或多者gNB 180a、180b、180c,这样可以为WTRU 102a、102b、102c提供对分组交换网络(例如因特网110)的接入,以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信,UPF 184、184b可以执行其他功能,例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。
CN 115可以促成与其他网络的通信。例如,CN 115可以包括或者可以与充当CN115与PSTN 108之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)进行通信。此外,CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入,这其中可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。在一个实施例中,WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与DN 185a、185b之间的N6接口并通过UPF 184a、184b连接到本地数据网络(DN)185a、185b。
有鉴于图1A-1D以及关于图1A-1D的相应描述,在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行:WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF 184a-b、SMF 183a-b、DN185a-b和/或这里描述的其他任何设备(一个或多个)。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说,这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
所述仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如,所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能,以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试,和/或可以使用空中无线通信来执行测试。
所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如,所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用,以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例,该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
数字视频能力可被并入到广泛范围的设备中,这些设备可包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录设备、视频游戏设备、视频游戏控制台、蜂窝式、卫星或其它无线无线电电话等。许多数字视频设备实施视频压缩技术,例如由运动图像专家组(MPEG)界定的标准中所描述的那些技术,例如MPEG-2、MPEG-4;以及由国际电信联盟(ITU)界定的标准中所描述的那些技术,例如ITU-T H.263或ITU-T H.264/MPEG-4第10部分、高级视频译码(AVC)以及这些标准的扩展,以更有效地发送和接收数字视频信息(其包括与三维(3D)点云相关联的信息)。
图2是示出了其中可以执行和/或实施一个或多个实施例的示例视频编码(encoding)和解码(decoding)系统10的框图。该系统10可包括源设备12,其经由通信信道16将编码的视频信息传输到目的地设备14。
所述源设备12和目的地设备14可以是各种设备中的任意者。在一些实施例中,所述源设备12和目的地设备14可以包括无线发射和/或接收单元(WTRU),例如无线手持机或者可以在通信信道16上传送视频信息的任意无线设备,在这种情况下,所述通信信道16包括无线链路。然而,本文中描述、公开或以其它方式明确地、隐含地和/或固有地提供(统称为“提供”)的方法、装置和系统不一定限于无线应用或设置。例如,这些技术可应用于空中电视广播、有线电视传输、卫星电视传输、因特网视频传输、编码到存储介质上的编码数字视频、或其它场景。因此,所述通信信道16可包括和/或可为适于传输编码视频数据的无线或有线媒体的任意组合。
所述源设备12可以包括视频编码器单元18、发射和/或接收(Tx/Rx)单元20和Tx/Rx元件22。如图所示,所述源设备12可可选地包含视频源24。所述目的地设备14可包含Tx/Rx元件26、Tx/Rx单元28和视频解码器单元30。如图所示,所述目的地设备14可以可选地包括显示设备32。所述Tx/Rx单元20、28中的每一个可以是或包括发射机、接收机或发射机和接收机的组合(例如,收发信机或发射机-接收机)。所述Tx/Rx元件22、26中的每一个可以是例如天线。根据本公开,源设备12的视频编码器单元18和/或所述目的地设备的视频解码器单元30可被配置和/或适配(统称为″适配″)以应用本文中所提供的译码(coding)技术。
所述源设备12和目的地设备14可以包括其他元件/组件或布置。例如,所述源设备12可以适于从外部视频源接收视频数据。并且,所述目的地设备14可以与外部显示设备(未示出)对接,而不是包括和/或使用所述(例如,集成的)显示设备32。在一些实施例中,由所述视频编码器单元18产生的数据流可例如通过直接数字传送而被传送到其它设备,而不需要将该数据调制到载波信号上,其中所述其它设备可以调制或不调制用于传输的数据。
图2所示的系统10仅是一个示例。本文所提供的技术可由任意数字视频编码和/或解码设备执行。尽管通常由单独的视频编码和/或视频解码设备来执行本文所提供的技术,但所述技术也可由通常称为“编解码器(CODEC)”的组合视频编码器/解码器来执行。此外,本文所提供的技术还可由视频预处理器等来执行。所述源设备12和目的地设备14仅为这些译码设备的示例,其中所述源设备12产生(和/或接收视频数据且产生)编码的视频信息以供传输到所述目的地设备14。在一些实施例中,所述设备12、14可以大致对称的方式操作,使得所述设备12、14中的每一者包括视频编码和解码组件和/或元件(统称为“元件”)。因此,所述系统10可以支持设备12、14之间的单向和双向视频传输中的任意者,例如,用于视频流传输、视频回放、视频广播、视频电话和视频会议中的任意者。在一些实施例中,所述源设备12可为(例如)视频流传输服务器,其适于产生(和/或接收视频数据并产生)用于一个或一个以上目的地设备的编码的视频信息,其中所述目的地设备可经由有线和/或无线通信系统与所述源设备12通信。
外部视频源和/或视频源24可以是和/或包括视频捕获设备,诸如摄像机、包含先前捕获的视频档案、和/或来自视频内容提供方的视频馈送。或者,所述外部视频源和/或视频源24可产生基于计算机图形的数据作为源视频或或关于现场视频、存档视频和计算机产生视频的组合。在一些实施例中,如果视频源24是视频相机,那么源设备12和目的地设备14可为或实施为相机电话或视频电话。然而,如上文所提及,本文所提供的技术可大体上适用于视频译码,且可应用于无线和/或有线应用。在任意情况下,所捕获的、预俘获的、计算机产生的视频、视频馈送或其它类型的视频数据(统称为“未编码的视频”)可由视频编码器单元18编码以便形成编码的视频信息。
所述Tx/Rx单元20可以例如根据通信标准调制编码的视频信息,以便形成携带编码的视频信息的一个或多个调制信号。所述Tx/Rx单元20还可以将调制信号传递到其发射机以便发射。该发射机可以经由Tx/Rx元件22将所述调制信号发送到所述目的地设备14。
在所述目的地设备14处,所述Tx/Rx单元28可以经由Tx/Rx元件26从信道16上接收所述调制信号。所述Tx/Rx单元28可以解调所述调制信号以获得所述编码的视频信息。Tx/RX单元28可将所述编码的视频信息传递到视频解码器单元30。
视频解码器单元30可对所述编码的视频信息进行解码以获得解码的视频数据。所述编码的视频信息可包含由视频编码器单元18界定的语法信息。该语法信息可以包括一个或多个元素(“语法元素”);其中的一些或全部语法元素可用于对所述编码的视频信息进行解码。所述语法元素可包括例如所述编码的视频信息的特性。所述语法元素还可包括用于形成所述编码的视频信息的未编码视频的特性和/或描述对其的处理。
所述视频解码器单元30可输出解码的视频数据以供稍后存储和/或在外部显示器(未图示)上显示。或者,所述视频解码器单元30可以将解码的视频数据输出到显示设备32。该显示设备32可以是和/或包括任意单独的或多个适于向用户显示解码的视频数据的各种显示设备、或其组合或多个显示设备的组合。这种显示设备的例子包括液晶显示器(LCD)、等离子显示器、有机发光二极管(0LED)显示器、阴极射线管(CRT)等。
所述通信信道16可以是任意无线或有线通信介质(诸如射频(RF)频谱或一个或多个物理传输线),或无线和有线媒体的任意组合。所述通信信道16可形成基于分组的网络的一部分,例如局域网、广域网或全球网络(例如,因特网)的一部分。所述通信信道16通常表示用于将视频数据从所述源设备12传输到所述目的地设备14的任意适当的通信介质或不同通信媒体的集合,这其中包括有线或无线媒体的任意适当的组合。所述通信信道16可包含路由器、交换机、基站或可用于促进从源设备12到目的地设备14的通信的任意其它装备。下面参考图8、9提供了可以促进设备12、14之间的这种通信的示例通信系统的细节。下面还提供了可以代表设备12、14的设备的细节。
所述视频编码器单元18和所述视频解码器单元30可根据一个或一个以上标准和/或规范操作,例如MPEG-2、H.261、H.263、H.264/AVC、根据SVC扩展(“H.264/SVC”)扩展的H.264等。然而,应当理解,这里提供的方法、装置和系统可应用于根据不同标准实施(和/或符合不同标准)的其它视频编码器、解码器和/或CODEC,或者可应用于专用视频编码器、解码器和/或CODEC,这其中可包括未来的将要开发的视频编码器、解码器和/或CODEC。然而,此外,本文提供的技术不限于任何特定译码标准。
上述H.264/AVC的相关部分可从国际电信联盟获得,例如,ITU-T建议H.264,或者更具体的,“ITU-T Rec.H.264和ISO/IEC14496-10(MPEG4-AVC)”、“Advanced Video Codingfor Generic Audiovisual Services,’v5,March,2010;”,其通过引用结合于此,并且其在此可以被称为H.264标准或H.264规范、或者H.264/AVC标准或规范。所述H.264/AVC标准是由ITU-T视频译码专家组(VCEG)与ISO/IEC MPEG一起制定的,作为共同伙伴关系(称为联合视频团队(JVT))的产品。在一些方面,本文提供的技术可应用于通常符合H.264标准的设备。所述JVT继续在对H.264/AVC标准进行扩展。
在ITU-T的各种论坛(例如,Key Technologies Area(KTA)论坛),已经进行了推进H.264/AVC标准的工作。至少一些论坛部分地寻求推进表现出比H.264/AVC标准所表现出的译码效率更高的译码效率的译码技术。例如,ISO/IEC MPEG和ITU-T VCEG已经建立了视频译码的联合协作团队(JCT-VC),其已经开始开发下一代视频译码和/或压缩标准,即,高效视频译码(HEVC)标准。在一些方面中,本文所提供的技术可提供相对于和/或根据H.264/AVC和/或HEVC(当前草案)标准的译码改进。
尽管图2中未展示,但在一些方面中,所述视频编码器单元18及视频解码器单元30中的每一者可包括音频编码器和/或解码器和/或集成有音频编码器和/或解码器(视情况而定)。所述视频编码器和视频解码器单元18、30可包括适当的MUX-DEMUX单元或其它硬件和/或软件,以处理公共数据流或单独数据流中的音频和视频这两者的编码。如果适用,所述MUX-DEMUX单元可符合例如ITU-T建议H.223多路复用器协议或例如用户数据报协议(UDP)等的其它协议。
所述视频编码器单元18和视频解码器单元30中的每一者或多者可被包括在一个或一个以上编码器或解码器中;其中的任意者可以被集成为CODEC的一部分,并且可以与相应的相机、计算机、移动设备、用户设备、广播设备、机顶盒、服务器等集成或以其他方式组合。此外,所述视频编码器单元18及所述视频解码器单元30可分别被实施为多种合适编码器及解码器电路中的任意者,例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任意组合。或者,所述视频编码器单元18及视频解码器单元30中的任一者或两者可大体上以软件实施,且因此,视频编码器单元18和/或视频解码器单元30的元件的操作可由一个或一个以上处理器(未图示)执行的适当软件指令执行。同样,除了所述处理器之外,这样的实施例还可以包含芯片外的组件,例如外部存储器(例如,以非易失性存储器的形式)、输入/输出接口等。
在其它实施例中,所述视频编码器单元18及所述视频解码器单元30中的每一者的元件中的一些元件可实施为硬件,而其它元件可使用由一个或一个以上处理器(未图示)执行的适当软件指令来实施。在其中视频编码器和/或视频解码器单元18、30的元件的操作可由一个或一个以上处理器执行的软件指令执行的任意实施例中,此软件指令可维持在计算机可读介质上,所述计算机可读介质包括磁盘、光盘和CPU可读的任意其它易失性(例如,随机存取存储器(“RAM”))或非易失性(例如,只读存储器(“ROM”))大容量存储系统。所述计算机可读介质可以包括协作的或互连的计算机可读介质,其专门存在于处理系统上,或者分布在对于该处理系统可以是本地或远程的多个互连的处理系统中。
国际标准化组织/国际电工委员会(ISO/IEC)联合技术委员会1/SC29/工作组11(JTC1/SC29/WG11)运动图像专家组(MPEG)的3D图形子组已经开发了3D点云压缩(PCC)标准,其包括:(1)用于静态点云的基于几何结构(geometry)的压缩标准;以及(2)用于动态点云的基于视频的压缩标准。这些标准可以提供3D点云的存储和传输。这些标准还可以支持点云几何结构坐标和属性的有损和/或无损译码。
图3是示出了用于基于视频的点云压缩(V-PCC)的比特流的结构的示图。
参照图3,比特流(例如,所生成的视频比特流)和元数据可以被复用在一起以生成V-PCC比特流。比特流语法(例如,与MPEG相关的V-PCC标准的比特流语法)可以如表1所示定义。
表1-V-PCC比特流语法
参考图3的比特流语法,比特流可以例如以全局头部开始,其可以应用于整个PCC比特流,并且该全局头部之后可以跟随有帧组(GOF)单元的序列。GOF(例如,一个GOF单元)可提供任意数量的PCC帧的表示(例如,级联表示),这些PCC帧共享可在GOF头部(例如,头部前导和/或在GOF单元的开始处)中定义的属性。也就是说,GOF单元可以包括GOF头部,其后跟随有分量流的序列。
分量流可以包括一个或多个视频流(例如,用于纹理的视频流、用于几何结构结构的一个或两个视频流)和元数据流。然而,本公开不限于此,并且分量流可以包括任意数量的元数据流。该元数据流可以包括子流,例如用于占用图的子流和用于辅助信息的子流。所述元数据流中的所述信息可以与几何结构帧相关联,并且可以用于重构点云。GOF单元内的流可以是:(1)按顺序的;以及(2)不是逐帧地交织的。
图4是示出了作为V-PCC单元序列的V-PCC比特流的结构的示图。
在V-PCC社区草案(CD)的一个版本中,V-PCC比特流可由一组V-PCC单元组成,如图4所示。例如,如在V-PCC CD中定义的V-PCC单元的语法在下表1中示出。在这种情况下,每个V-PCC单元具有V-PCC单元头部和V-PCC单元有效载荷。所述V-PCC单元头部描述V-PCC单元类型,如下表2所示。
具有单元类型2、3和4的V-PCC单元可分别被定义(例如,在V-PCC CD中)为占用数据单元、几何结构数据单元和属性数据单元。这些数据单元表示用于重构点云的(例如,所需的)三个(例如,主要)分量。除了V-PCC单元类型之外,V-PCC属性单元头部还指定属性类型及其索引,从而允许支持相同属性类型的多个实例。
所述占用V-PCC单元、几何结构V-PCC单元和属性V-PCC单元的有效载荷对应于可由在对应的占用、几何结构和属性参数集V-PCC单元中指定的视频解码器解码的视频数据单元(例如,HEVC NAL单元)。
表1 V-PCC单元语法
表2 V-PCC单元头部语法
表3 V-PCC单元有效载荷语法
所述V-PCC CD将V-PCC比特流指定为一组V-PCC单元,其中存在五种类型的V-PCC单元:VPCC_SPS、VPCC_PSD、VPCC_OVD、VPCC_GVD和VPCC_AVD。所述VPCC_SPS由其它单元类型通过单元头部处的VPCC_sequence_parameter_set_id引用。
图5是示出了V-PCC单元数据类型、单元头部语法和对活动序列参数集(SPS)的引用的示图。SPS包含序列级语法元素,诸如SPS_frame_width、SPS_frame_height、SPS_layer_count_minus1和配置标志。SPS还包括语法结构,诸如profile_tier_level(简档_层级_级别)、occupancy_parameter_set、geometry_parameter_set和一个或多个attribute_parameter_set。
VPCC_PSD还包括多个PSD参数集单元类型,例如PSD_SPS、PSD_GFPS、PSD_GPPS、PSD_AFPS、PSD_APPS、PSD_FPS和PSD_PFLU。每个参数集可以引用不同的序列级参数集或PSD级参数集,并且每个参数集包括多个覆盖标志、使能标志或呈现标志,例如,以减少开销。
图6是示出了SPS参数集和PSD参数集的示图。SPS和PSD中包括的参数集以及参数集与较高级参数集之间的引用链路在图6中示出。图6的虚线指示较高参数集处的参数可以被较低级别参数集覆盖。
ISO基本媒体文件格式
根据MPEG标准(例如ISO/IEC14496(MPEG-4)标准),用于基于时间的媒体的文件格式可以包括几个部分。例如,这些部分可以基于ISO基本媒体文件格式(ISOBMFF)、包括在ISO基本媒体文件格式(ISOBMFF)中和/或从ISO基本媒体文件格式(ISOBMFF)导出,所述ISO基本媒体文件格式是结构化的、与媒体无关的定义。
根据ISOBMFF的文件格式可支持(例如可包含、包括等)用于媒体数据的定时呈现的结构信息和/或媒体数据信息,所述媒体数据诸如音频、视频、虚拟/增强现实等。ISOBMFF还可支持非定时数据,诸如文件结构内不同级别的元数据。根据ISOBMFF,文件可具有电影的逻辑结构,使得该电影可包含一组时间并行轨道(track)。根据ISOBMFF,文件可具有时间结构,使得所述轨道可包括例如在时间上的样本序列。该样本序列可被映射到整个电影的时间线中。ISOBMFF基于盒子结构文件的概念。盒子结构化文件可包括一系列盒子(例如,其中盒子可被称为基元),其具有大小和类型。根据ISOBMFF,所述类型可根据32比特值来标识,这些值可由四个可打印字符表示,也称为四字符码(4CC)。根据ISOBMFF,未定时数据可以包含在元数据盒子中(例如在文件级别的元数据盒子中),或者可以被附加到电影盒子或所述电影内的定时数据流,例如轨道。
ISOBMFF容器包括可被称为电影盒子(MovieBox(mopv))的盒子,该盒子可包含文件(例如,所述容器)中所包括的(例如,连续的)媒体流的元数据。元数据可以在MovieBox中的盒子层次结构内(例如,在轨道盒子(TrackBox(Trak))内被用信号通知。轨道可以表示包括在所述文件中的连续媒体流。媒体流可以是样本序列,诸如基本媒体流的音频或视频接入单元,并且可以被装入在文件(例如容器)的顶层处存在的媒体数据盒子(MediaDataBox(mdat))中。每个轨道的元数据可以包括具有样本描述条目的列表,每个样本描述条目提供例如:(1)在轨道中使用的译码和/或封装格式;以及(2)用于处理该格式的初始化数据。每个样本可以与所述轨道的样本描述条目相关联。(例如,对于每个轨道的)显式时间线映射可以使用工具(例如,编辑列表)来定义。该编辑列表可以使用编辑列表盒子(EditListBoc)来发信号通知,其中每个条目可以通过以下各项中的任意者来定义所述轨道时间线的一部分:(1)对合成时间线的部分进行映射;或(2)指示空时间(例如,在呈现时间线的多个部分没有映射到媒体的情况下,‘空’编辑)。所述EditListBox可具有以下语法:
媒体文件可以通过使用工具(例如,分段)而被递增地生成、渐进地下载和/或自适应地流式传输。根据ISOBMFF,分段容器可包括MovieBox,其后跟随有分段序列,例如电影片段。每个电影片段可以包括:(1)电影片段盒子(MovieFragmentBox(moof)),其可包括样本表的子集;以及(2)媒体数据盒子(MediaDataBox(mdat)),其可以包括所述样本表的所述子集的样本。所述MovieBox可以仅包含非样本特定信息,例如轨道和/或样本描述信息。在所述电影片段内,一组轨道片段可以由多个轨道片段盒子(TrackFragmentBox(Traf))实例来表示。轨道片段可以具有零个或多个轨道运行,并且轨道运行可以记录(例如,表示)该轨道的样本的连续运行。MovieFragmentBox可包括电影片段头部盒子(MovieFragmentHeaderBox(mfhd)),其可包括序列号(例如,以1开始且针对文件中的每一电影片段在值上循序改变的号)。
3D点云
3D点云可以用于新媒体,诸如VR和沉浸式3D图形,以便实现与VR和/或新媒体的新形式的交互和通信。MPEG通过3D工作组已经开发了定义压缩动态点云的比特流的标准。在MPEG标准中定义的比特流被组织成帧组(GOF)单元的序列,并且每个GOF单元包括多个帧的分量流的序列。在MPEG标准比特流的情况下,PCC解码器可能需要分析整个比特流,例如从第一比特开始,以便寻找某个GOF和/或同步GOF边界。在这种情况下,由于PCC帧不在GOF单元内进行内部交织,因此需要接入(例如,读取、存储等)整个GOF单元以便安全解码和重构。此外,在这种情况下,回放定时信息是视频译码分量比特流的帧定时信息所固有的。此外,在这种情况下,所利用的用于分量流的视频编解码器可以不在PCC比特流中的较高级别上被用信号通知,并且所述PCC比特流可以不提供对PCC特定的媒体简档、层级和/或级别的支持。
根据实施例,诸如PCC比特流的比特流可以基于(例如,可以符合、可以类似于等)ISOBMFF。例如,V-PCC比特流的文件格式可基于所述ISOBMFF。根据实施例,V-PCC比特流可提供PCC流的(例如,不同的、多个、多组等)分量的灵活存储和提取。根据实施例,V-PCC比特流可(例如,以ISOBMFF比特流的方式、根据ISOBMFF比特流、类似于ISOBMFF比特流、符合ISOBMFF比特流等)被重构为ISOBMFF比特流。
图7是示出了GOF流到电影片段的映射的示图。
片段(例如,ISOBMFF片段)可用于定义(例如,标识、描绘、划分等)V-PCC比特流。参照图7,片段(例如,每个电影片段)可以通过以下映射而被定义:(1)将GOF头部数据映射到到MovieFragmentBox;以及(2)将GOF视频流和/或GOF元数据(例如,辅助信息、占用图等)映射到所述电影片段的MediaDataBox。在图7的情况下,每个GOF单元可以被映射到ISOBMFF片段,或者换句话说,仅示出了GOF单元和电影片段之间的一对一映射。
另外,在某些情况下,用于VPCC面片(patch)序列数据单元(VPCC_PSD)的参数集引用结构设计可能存在问题。也就是说,当patch_frame_parameter_set经由PFPS_patch_sequence_parameter_set_id引用活动面片序列参数集、经由PFPS_geometry_patch_frame_parameter_set_id引用活动几何结构面片参数集、以及经由PFPS_attribute_patch_frame_parameter_set_id引用活动属性面片参数集时,可能会存在问题。每个活动几何结构面片参数集通过gpps_geometry_frame_parameter_set_id引用活动几何结构帧参数集,每个活动几何结构帧参数集通过gfps_patch_sequence_parameter_set_id引用活动面片序列参数集。此外,每个活动属性面片参数集通过apps_attribute_frame_parameter_set_id引用活动属性帧参数集,且每个活动属性帧参数集通过afps_patch_sequence_parameter_set_id引用活动面片序列参数集。
在上述有问题的情况下,当pfps_patch_sequence_parameter_set_id、gfps_patch_sequence_parameter_set_id和afps_patch_sequence_parameter_set_id的值不同时,面片帧参数集可以结束引用三个不同的活动面片序列参数集,并且当不同的活动面片序列参数集包含不同的参数值时,这是有问题的。
基于ISOBMFF的V-PCC比特流
图8是示出了根据实施例的V-PCC比特流结构的示图。
根据实施例,V-PCC比特流结构可基于ISOBMFF比特流结构。根据实施例,例如如图8所示的项目和/或元素(例如,盒子)可被映射到(例如,对应的)ISOBMFF盒子。根据实施例,分量流可被映射到例如容器文件内的各个轨道。根据实施例,V-PCC流的分量流可包括以下中的任意者:(1)用于几何结构或纹理信息中的任意者的一个或多个(例如,两个或三个)视频流;以及(2)用于占用图或辅助信息中的任意者的一个或多个定时元数据流。
根据实施例,其它分量流(例如,不同于以上讨论的分量流的类型)可被包括在V-PCC流中。例如,其它流可以包括与点云(例如,3D点云)的点相关联的任意数量或类型的属性的流。根据实施例,例如,为了提供GOF头部信息,可以在容器文件中包括(例如,附加的)定时元数据轨道。根据实施例,可以用信号通知元数据。根据实施例,元数据(例如,描述文件中的分量流的特性和/或不同轨道之间的关系的信息)可以例如使用根据MPEG标准提供的工具而被用信号通知。
根据实施例,媒体和/或定时元数据轨道的样本可以被包含在MediaDataBox(mdat)中。根据实施例,流的样本可以被顺序地存储在所述MediaDataBox中。例如,在媒体存储的情况下,每个流的样本可以一起存储在MediaDataBox中,其中所述流是按顺序的,使得包括第一流的所有样本的序列之后可以是包括第二流的所有样本的另一序列。
根据实施例,分量(例如,分量流)的样本可被分成组块(chunk)。例如,可以根据GOF单元的任意大小而将分量流的样本分成组块。根据实施例,块组可以被交织。例如,组块可在MediaDataBox内被交织,以便支持V-PCC比特流的渐进式下载。根据实施例,组块可以具有(即,可以具有)不同的大小,并且组块内的样本可以具有(即,可以具有)不同的大小。
样本至组块盒子(SampleToChunkBox(stsc))可以被包含在轨道的样本表盒子(SampleTableBox(stbl))中,并且SampleToChunkBox(stsc)可以包括表。根据实施例,SampleToChunkBox可用于找到(例如,可指示、可用于确定)以下各项中的任意者:包含样本的组块、与组块相关联的位置(例如,一个或多个样本)、或描述与组块相关联的样本的信息。根据实施例,组块偏移盒子(ChunkOffsetBox(stco或co64))可被包括在轨道的SampleTableBox(stbl)中,并且可指示(例如,可被给予)在一包含文件中(例如,容器中)的每个组块的索引。
几何结构轨道和纹理轨道
根据实施例,PCC比特流的分量视频流可被映射到ISOBMFF容器文件中的轨道。例如,PCC比特流中的每个分量视频流(例如,纹理流和几何结构流中的每个)可被映射到ISOBMFF容器文件中的轨道。在这种情况下,分量流的接入单元(AU)可以被映射到相应轨道的样本。可能存在这样一种情况,即,分量流(例如,纹理流和几何结构流)不被直接渲染。
根据实施例,可以使用受限视频方案来发信号通知与分量流的轨道相关联的后解码器要求。例如,如根据ISOBMFF定义的受限视频方案可以用于用信号通知与纹理流和几何结构流的轨道相关联的后解码器要求。根据实施例,用信号通知与分量流的轨道相关联的后解码器要求可使得播放器/解码器能够检查文件(例如,容器)并识别用于渲染比特流的要求。根据实施例,用信号通知与分量流的轨道相关联的后解码器要求可以使得传统播放器/解码器不解码和/或不渲染分量流。根据实施例,受限方案(例如,受限视频方案)可以应用于PCC比特流的几何结构轨道和纹理轨道中的任意者。
根据实施例,几何结构轨道和纹理轨道中的任意者可以是(例如,被变换成、被标记为、被认为是等)受限视频方案轨道。根据实施例,对于任意几何结构轨道和纹理轨道,例如,可以将各个样本条目代码设置为四字符码(4CC)“resv”,并且可以将受限方案信息盒子(RestrictedSchemeInfoBox)添加到各个样本描述,而不修改所有其它盒子。根据实施例,可以基于用于对流进行编码的视频编解码器的原始样本条目类型可被存储在RestrictedSchemeInfoBox内的原始格式盒子(0riginalFormatBox)中。
可以在方案类型盒子(SchemeTypeBox)中定义限制的性质(例如,方案类型),并且可以将与该方案相关联的信息(例如,该方案所需的数据)存储在方案信息盒子(SchemeInformationBox)中,例如,如ISOBMFF所定义的。SchemeTypeBox和SchemeInformationBox可被存储在RestrictedSchemeInfoBox中。根据实施例,scheme_type字段(例如,被包括在SchemeTypeBox中)可以用于指示点云几何结构受限方案。例如,在几何结构视频流轨道的情况下,包括在SchemeTypeBox中的scheme_type字段可以被设置为’pcgm’,以指示所述限制的所述性质是点云几何结构受限方案。作为另一示例,在纹理视频流轨道的情况下,scheme_type字段可以被设置为’pctx’,指示点云纹理受限方案。PCC深度平面信息盒子(PCCDepthPlaneInfoBox)可以被包括在每个轨道的SchemeInformationBox中。根据实施例,在两个或多个几何结构轨道存在于文件(例如,容器)中的情况下,PCCDepthPlaneInfoBox可指示(例如,标识、包括指示以下内容的信息等)每一轨道的相应深度图像平面信息。例如,在存在两个几何结构轨道的情况下,所述深度图像平面信息可指示哪个轨道包含深度图像平面0视频流以及哪个轨道包含深度图像平面1视频流。根据实施例,PCCDepthPlaneInfoBox可包括depth_image_layer,该depth_image_layer可以是包括深度图像平面信息的字段。例如,depth_image_layer可以是深度图像平面的索引(例如,指示深度图像平面的索引的信息),其中值0指示深度图像平面0,值1指示深度图像平面1,并且其它值被保留以供将来使用。根据实施例,包括depth_image_layer的PCCDepthPlaneInfoBox可被定义为:
根据实施例,在以下情况下:(1)对于任意几何结构分量或纹理分量,多层都是可用的,以及(2)在分量轨道中携带了任意数量的分量层,这些层可以在轨道的SchemeInformationBox中的PCC分量层信息盒子(PCCComponentLayerInfoBox)中被用信号通知。PCCComponentLayerInfoBox可以被定义为:
根据实施例,PCCComponentLayerInfoBox的语义可以包括:(1)min_layer可指示轨道携带的V-PCC分量的最小层的索引;以及(2)max_layer可指示轨道携带的V-PCC分量的最大层的索引。
根据实施例,V-PCC纹理分量可为(例如,被认为是)通用(例如,更为通用的)视频译码分量类型的子类型,其可被称为V-PCC属性分量。此外,一组属性轨道可以存在于容器中,其中这些轨道的子集可以携带纹理属性的信息。属性轨道可以是受限视频方案轨道,例如,SchemeTypeBox的scheme_type字段被设置为4CC“pcat”。SchemeInformationBox中的PCC属性信息盒子(PCCAttributeInfoBox)可以标识属性的类型,而attribute_type的值可以指示所述属性的所述类型,例如,如V-PCC CD中所定义的。PCCAttributeInfoBox可以被定义为:
用于对纹理视频流和几何结构视频流进行编码的视频译码器不受限制。此外,可以使用不同的视频编解码器来编码纹理视频流和几何结构视频流。根据实施例,解码器(例如,PCC解码器/播放器)可识别用于分量视频流的编解码器(例如,编解码器的类型)。例如,PCC解码器/播放器可识别用于特定分量视频流的编解码器的类型,其可通过检查其轨道在ISOBMFF容器文件中的样本条目来进行识别。V-PCC流中的每个GOF的头部可包括例如absolute_d1_flag的标志,该标志指示如何对除最接近投影平面的层之外的几何结构层进行译码。在设置了absolute_d1_flag的情况下,可以使用两个几何结构流来重构3D点云,而在没有设置absolute_d1_flag的情况下,可以仅使用一个几何结构流来重构3D点云。
根据实施例,absolute_d1_flag的值可跨GOF单元而改变。例如,对于呈现时间内的一个或多个时段,在第二几何结构轨道中可能没有样本。根据实施例,可以使用第二几何结构轨道中的EditListBox来发信号通知跨GOF单元的absolute_d1_flag的值的改变。根据实施例,解析器(例如,被包括在PCC解码器/播放器中)可以基于编辑列表中的信息来确定是否可以重构第二几何结构轨道。例如,PCC解码器/播放器可通过检查第二几何结构轨道的编辑列表是否可在给定时间戳处获得样本来确定是否可重构第二几何结构轨道。
占用图和辅助信息轨道
根据实施例,解码器可以使用占用图和辅助信息中的任意者来重构3D点云。例如,在解码器侧,可以使用所述占用图和辅助信息从几何结构流重构点云。所述占用图和辅助信息可以是每个GOF单元内的几何结构流之外的流的一部分。根据实施例,所述占用图和辅助信息可以被包括在(例如,单独的)定时元数据轨道中,我们可以将其称为占用图轨道。根据实施例,占用图轨道的样本可以包含单个帧的占用图和辅助信息中的任意者。根据实施例,占用图轨道可以由轨道的样本描述中的以下样本条目来标识:
aligned(8)class PCCOccupancyMapSampleEntry extends
MetaDataSampleEntry(’pcom’){
}.
根据实施例,两个定时元数据轨道可以用于分别携带占用图信息和辅助信息。根据实施例,对于单个组合的占用图和辅助信息轨道的情况,占用图轨道可以具有如上所示的样本条目。根据实施例,用于辅助信息的定时元数据轨道在其样本描述中可以具有以下样本条目:
aligned(8)class PCCAuxInfoSampleEntry extends
MetaDataSampleEntry(’pcax’){
}.
根据实施例,诸如面片数据的辅助信息可以在点云元数据轨道的样本中被携带,并且例如,可以不需要单独的辅助信息轨道。
根据实施例,可以使用视频译码器来译码占用图,并且可以将所生成的视频流放置在受限视频方案轨道中。根据实施例,例如,为了指示点云占用图受限视频方案,受限视频方案轨道的SchemeTypeBox的scheme_type字段可以被设置为’pomv’。
点云元数据轨道
PCC比特流的元数据可出现在比特流内的不同级别,例如,出现在全局头部和GOF单元的头部中。此外,元数据可以适用于占用图的面片级别和帧级别中的任意级别。根据实施例,点云元数据轨道可包括与全局头部和GOF头部的任意者相关联的元数据。根据实施例,点云元数据轨道可以是(例如,单独的、单个的等)定时元数据轨道,并且元数据信息可如下所述那样被组织。
全局头部信息可应用于流内的所有GOF单元。根据实施例,全局头部信息可存储在定时元数据轨道的样本描述处,其在解析PCC文件时被认为是条目点。根据实施例,解码/播放所述PCC流的PCC解码器/播放器可在容器中寻找该定时元数据轨道。根据实施例,该定时元数据轨道可以由该轨道的样本描述中的点云样本条目(PointCloudSampleEntry)标识。根据实施例,该PointCloudSampleEntry可以包含PCC解码器配置记录(PCCDecoderConfigurationRecord),例如,以便提供以下各项中的任意者:(1)关于比特流的PCC简档的信息;以及(2)关于播放器为了解码分量流而可能需要支持的视频编解码器的信息。根据实施例,所述PointCloudSampleEntry还可以包含PCC头部盒子(PCCHeaderBox),例如,以便包括在(例如,MPEG V-PCC的)全局比特流头部中用信号通知的信息。
根据实施例,所述PointCloudSampleEntry的语法可以如下:
根据实施例,PCC头部结构(PCCHeaderStruct)的字段的语义可以是:(1)PCC_category2_container_version指示PCC比特流的版本;(2)GOF_metadata_enabled_flag指示在GOF级是否使能PCC元数据;(3)GOF_scale_enabled_flag指示在GOF级是否使能缩放;(4)GOF_offset_enabled_flag指示在GOF级别是否使能偏移;(5)GOF_rotation_enabled_flag指示在GOF级是否使能旋转;(6)GOF_point_size_enabled_flag指示在GOF级是否使能点大小;以及(7)GOF_point_shape_enabled_flag指示在GOF级是否使能点形状。根据实施例,PCC解码器配置记录(PCCDecoDerconfigurationRecord)的字段的语义可以是:(1)ConfigurationVersion是版本字段;对记录的不兼容改变由该版本字段中的版本号的改变来指示;(2)general_profile_space指定用于解释general_profile_idc的上下文;(3)general_tier_flag指定用于解释general_level_idc的层级上下文;(4)general_profile_idc,当general_profile_space等于0时,指示译码的点云序列所符合的简档;(5)general_level_idc表示所述译码的点云序列所符合的级别。
根据实施例,应用于GOF单元的信息(例如,应用于所有GOF单元的任意信息)可以被存储在定时元数据轨道的样本描述处。根据实施例,PCCDecoDerconfigurationRecord的字段可以是PCCHeaderStruct的一部分。根据实施例,PCCHeaderBox可以是MovieBox内的顶层盒子。根据实施例,PCC解码器/播放器可(例如,容易地)识别其是否能够解码和播放文件,并且可确定是否支持所列出的简档,例如,而不必解析文件中的所有轨道来寻找所述PCC元数据轨道。根据实施例,点云元数据轨道中的每个样本可包含例如根据MPEG V-PCC定义的GOF头部信息。根据实施例,以下示出了GOF头部样本(GOFHeaderSample)和GOFHeaderStruct(其是一包括了在GOF头中定义的所有字段的数据结构)的语法:
根据实施例,解析器(例如,PCC解码器/播放器)可通过解析GOF元数据样本来识别GOF单元中有多少帧。例如,该解析器可以识别例如GOF单元中有多少帧,从而可以从几何结构视频轨道和纹理视频轨道中读取正确数量的样本。根据实施例,点云元数据轨道可被链接到分量视频轨道。例如,ISOBMFF标准的轨道引用工具可以用于将点云元数据轨道链接到分量视频轨道。
根据实施例,内容描述引用’cdsc’可以用于将PCC元数据轨道链接到分量轨道。或者换句话说,可以生成从PCC元数据轨道到分量轨道的内容描述引用’cdsc’。根据实施例,所述链接可以由以下形成:(1)将轨道引用盒子(TrackReferenceBox)添加到TrackBox(例如,添加到TrackBox内);以及(2)将类型’cdsc’的轨道引用类型盒子(TrackReferenceTypeBox)放置在TrackReferenceBox内。根据实施例,TrackReferenceTypeBox可以包含指定所述PCC元数据引用的分量视频轨道的任意数量的Track_ID。根据实施例,例如,可以定义用于PCC比特流的新的轨道引用类型,而不是’cdsc’。根据实施例,轨道引用链可以通过以下而被使用:(1)添加从PCC元数据轨道到几何结构视频轨道(一个或多个)的’cdsc’轨道引用;以及(2)添加从几何结构视频轨道(一个或多个)到占用图轨道和纹理轨道的’auxl’轨道引用。
根据实施例,例如,可以使用点云参数集轨道来代替定时元数据轨道。根据实施例,点云参数集轨道可类似于AVC参数集轨道,例如,如ISO/IEC所定义的。根据实施例,该轨道的样本条目可以被定义如下:
根据实施例,PCC参数流样本条目可包含(例如,包括)PCC参数流配置盒子,其可被定义如下:
class PCCConfigurationBox extends Box(’pccC’){
PCCDecoderConfigurationRecord()PCCConfig;
}.
根据实施例,PCC参数集轨道中的样本可具有一解码时间,该解码时间等于(例如,在实例处)参数集(一个或多个)生效的时间(例如,在对应GOF的第一帧被解码的时间/在对应GOF的第一帧被解码时)。
根据实施例,例如,如V-PCC CD中所描述的,在比特流被构造为V-PCC单元序列的情况下,参数集V-PCC单元可以被携带在例如由媒体处理程序类型4CC’vpcc’所标识的并且具有类型’vpc1’的样本条目的轨道(例如,新类型的轨道)中。根据实施例,由媒体处理程序类型4CC’vpcc’标识的轨道(例如,新类型的轨道)可以被定义为:
根据实施例,vpcc_unit_payload阵列可以(例如,仅)包含序列级参数集的有效载荷。根据实施例,在序列参数集被定义为包括例如如V-PCC CD中定义的占用参数集、几何结构参数集或属性参数集的任意者的情况下,则vpcc_unit_payload阵列可以(例如,仅)包含序列参数集V-PCC单元。根据实施例,在定义了多个序列级参数集的情况下,例如通过将序列参数集与其他分量参数集(例如,几何结构参数集、占有参数集和属性参数集)分离,VPCC_unit_payload可以(例如,应当)是序列级参数集之一(例如,序列参数集、几何结构参数集、占有参数集或属性参数集的任意者)的有效载荷。根据实施例,在面片单元序列参数集(例如,如V-PCC CD中定义的PSD_SPS)包含应用于整个序列的信息的情况下,PSD_SPS有效载荷可以(例如,也可以)被存储在VPCC样本条目(VPCCSampleEntry)的vpcc_unit_payload阵列中。根据实施例,例如,作为直接扩展样本条目(SampleEntry)的替代,VPCCSampleEntry可以被定义为扩展(例如,新定义的)体积样本条目(VolumecenterSampleEntry),其可以扩展SampleEntry并且可以提供用于体积媒体的基本样本条目类型。该轨道中的样本可以对应于点云帧。例如,在具有仅包含patch_sequence_data V-PCC单元有效载荷的限制的情况下,每个V-PCC样本可包含任意数量的vpcc_unit_payload实例。对应于分量轨道上的相同帧的样本可以具有与V-PCC轨道中的该帧的对应样本相同的合成时间。
根据实施例,VPCCSampleEntry可以使得vpcc_unit_payload阵列可以(例如,仅)包含序列级参数集的有效载荷,例如序列参数集,以及如果是分离的,则包含几何结构参数集、占用参数集和属性参数集。根据实施例,VPCCSampleEntry可以被定义为:
aligned(8)class VPCCSampleEntry extends SampleEntry(′vpcl′){
PCCConfigurationBoxconfig,
}
具有多层的分量轨道
分量轨道可以携带多于一层的分量,并且播放器可以(例如,应当)能够识别和提取属于特定层的样本。根据实施例,可以利用样本分组特征(例如,ISO/IEC14496-12的样本分组特征)。根据实施例,例如分组类型被设置为4CC’vpld’的用于对分量层样本进行分组的新样本组描述可以被定义为:
根据实施例,用于VPPCC层样本分组条目(VPCCLayerSampleGroupEntry)的语义可以是:(1)layer_index可以是组的样本所属的层的索引;(2)absolute_coding_flag可以指示与样本组相关联的层的样本是否依赖于来自另一层样本组的样本,其中,在absolute_coding_flag被设置为1的情况下,所述样本可以(例如,确实)不依赖于另一层的样本,并且其中,在absolute_coding_flag被设置为0的情况下,所述样本可以依赖于另一层的样本;以及(3)predictor_layer_index可以是该组的样本所依赖的层的索引。
根据实施例,可以使用例如ISO/IEC14496-12中定义的样本至组盒子(SampleToGroupBox)来完成样本到相应层组的映射。例如,所述SampleToGroupBox可以包含多个条目,其中每个条目将多个连续样本与样本至组描述盒子(SampleToGroupDescriptionBox)中的组条目之一相关联。用于容器文件中的点云数据的 单点条目
根据实施例,关于构成单个V-PCC内容的(例如,所有)轨道的信息可以在所述容器文件中的单个位置中用信号通知,并且例如,播放器可以尽可能早地识别这些轨道及其类型,而不必解析每个轨道的样本描述。根据实施例,这种早期识别可以通过在一个盒子中(例如,在容器文件的顶层,或者在该文件顶层的原盒子(MetaBox(’meta’))内)用信号发送轨道信息来实现。
根据实施例,这样的盒子可以是具有新盒子类型的(例如,新定义的)盒子,或者是继承并扩展例如在ISO/IEC14496-12中定义的实体至组盒子(EntityToGroupBox)的盒子。根据实施例,用信号通知的信息可包括属于所述V-PCC内容的轨道(例如,所有轨道)的轨道ID的列表。对于每个信号通知的轨道,轨道类型(例如,元数据、占用图、几何结构等)以及由该轨道携带的分量层(如果适用的话)可以(例如,也可以)在这样的盒子中被用信号通知。根据实施例,这样的盒子可以(例如,也可以)包含关于所述内容的简档和级别的信息。根据实施例,这种携带前述信息的盒子(例如,新定义的盒子)可以被定义为:
根据实施例,VPCC内容盒子(VPCCContentBox)的字段的语义可以是:(1)content_id是存储在容器中的所有V-PCC内容中的V-PCC内容的唯一id;num_tracks指示作为所述V-PCC内容的一部分的轨道的总数;(2)track_id是存储在容器中的轨道之一的trackID;(3)track_type指示分量轨道的类型(例如,纹理、几何结构、元数据等);(4)min_layer指示由所述轨道携带的V-PCC分量的最小层的索引;以及(5)max_layer指示由所述轨道携带的V-PCC分量的最大层的索引。
根据实施例,V-PCC内容信息盒子的定义的另一示例可以用于在扩展例如如ISO/IEC所定义的EntityToGroupBox时。即,根据实施例,所述V-PCC内容信息可以被定义为:
根据实施例,track_type、min_layer和max_layer中的任意者的语义可以与上面定义的VPCCContentBox的对应字段的语义相同。
用信号通知点云内容和分量的替代版本
根据实施例,在ISOBMFF容器中可获得相同点云的多于一个版本(例如,相同点云的不同分辨率)的情况下,每个版本可具有单独的点云元数据轨道。
根据实施例,在ISO/IEC14496-12中定义的替代轨道机制可以用于发信号通知这些轨道是彼此的替代。根据实施例,作为彼此的替换的点云元数据轨道可以(例如,应当)在ISOBMFF容器中的它们各自的一个或多个轨道头部盒子(TrackHeaderBox)中的alternate_group字段具有相同值。
类似地,当点云分量(例如,几何结构分量、占有分量或属性分量中的任意者)的多个版本(例如,比特率)可用时,用于该分量的不同版本的一个或多个TrackHeaderBox中的alternate_group字段可(例如,应当)具有相同值。
根据实施例,携带用于相同点云的不同版本的元数据的单个点云元数据轨道可在ISOBMFF容器中获得。根据实施例,可以在轨道的样本表的样本描述盒子(SampleDescriptionBox)中的单独样本条目中用信号通知每个版本的序列参数集。这些样本条目的类型可以是VPCCSampleEntry。根据实施例,样本分组特征(例如,ISO/IEC14496-12中的样本分组特征)可以用于对点云元数据轨道中属于每个版本的样本进行分组。
用于V-PCC比特流的分段ISOBMFF容器
图9是示出了根据实施例的用于V-PCC比特流的分段ISOBMFF容器的示图。
根据实施例,GOF单元可被映射到ISOBMFF电影片段。参照图9,每个电影片段可对应于(例如,基本的)V-PCC比特流中的一个或多个GOF单元。根据实施例,电影片段可以仅包含相应GOF单元的样本。根据实施例,与整个比特流有关的元数据(例如,全局流头部)以及容器中存在(例如,包括)的轨道的数量可被存储在MovieBox中。根据实施例,MovieBox可包含用于每个分量流的(例如,一个)TrackBox和用于GOF头部定时元数据轨道的(例如,附加的)TrackBox。
根据实施例,可以存在一对一映射的情况,其中每个电影片段仅包含一个GOF单元。在这种情况下,可能不需要所述GOF头部定时元数据轨道。根据实施例,GOF头部可被存储在MovieFragmentHeaderBox中。根据实施例,所述MovieFragmentHeaderBox可包括可选盒子,该可选盒子包括PCCGOF头部盒子(PCCGOFHeaderBox)。根据实施例,PCCGOFHeaderBox可以被定义如下:
aligned(8)class PCCGOFHeaderBox extends Box(’pcgh’){
GOFHeaderStruct();
}.
根据实施例,在V-PCC基本流由一组V-PCC单元组成的情况下,V-PCC序列参数集信息可被包括在MovieBox中的点云元数据轨道的VPCCSampleEntry中。
多个点云流
根据实施例,ISOBMFF容器可包括多于一个V-PCC流。根据实施例,每个流可以由一组轨道表示。根据实施例,轨道分组(例如,轨道分组工具)可以用于识别轨道所属的流。根据实施例,例如,对于一个PCC流,轨道组盒子(TrackGroupBox)(‘trgr’)可被添加到:(1)所有分量流的TrackBox;以及(2)PCC元数据轨道。根据实施例,PCC组盒子(PCCGroupBox)的语法可以定义轨道分组类型(例如,新的类型),其中轨道组类型盒子(TrackGroupTypeBox)可以根据ISOBMFF来定义,并且可以包含单个track_group_id字段。根据实施例,PCCGroupBox的语法如下:
aligned(8)class PCCGroupBox extends TrackGroupTypeBox(’pccs’){
}.
根据实施例,属于相同PCC流的轨道对于track_group_type’pccs’可以具有相同的track_group_id(例如,track_group_id的相同值),并且属于不同PCC流的轨道可以具有不同/相应的track_group_id。根据实施例,PCC流可根据具有track_group_type等于’pccs’的track_group_type盒子内的track_group_id来标识。
根据实施例,例如,在单个容器中包括(例如,允许)多个点云流的情况下,PCCHeaderBox可用于指示每个PCC流的操作点和全局头部。根据实施例,PCCHeaderBox的语法可以如下:
根据实施例,上述标识的字段的语义可以是:(1)number_of_PCC_streams可以指示在文件中可以存储多少点云流;以及(2)PCC_stream_id可以是与分量流的轨道的track_group_id相对应的每个点云流的唯一标识符。
用信号发送PCC简档
为了以可互操作的方式实施媒体译码标准,例如,在具有类似功能要求的各种应用中实施媒体译码标准,可以使用(例如,可以指定)简档、层级和级别作为一致点。简档可以定义在生成(例如,一致的)比特流时使用的一组译码工具和/或算法,并且级别可以定义(例如,可以放置)关于比特流的(例如,某些、关键等)参数的约束,例如,与解码器处理负载、存储器能力等中的任意者相对应的参数。
根据实施例,品牌(brand)可用于例如通过以轨道特定方式指示品牌来指示与V-PCC简档的一致性。ISOBMFF包括品牌的概念,其可以使用文件类型盒子(FileTypeBox)中的compatible_brands列表而被指示。每个品牌是向ISO注册的四字符代码,其标识精确的规范。FileTypeBox的compatible_brands列表中品牌的存在可用于指示文件符合该品牌的要求。类似地,轨道类型盒子(TrackTypeBox)(例如,其在TrackBox内部)可用于指示个体轨道与特定品牌的一致性。根据实施例,品牌可用于指示与V-PCC简档的一致性,例如,因为TrackTypeBox可具有与FileTypeBox类似或相同的语法,并且可用于以轨道特定的方式指示品牌。根据实施例,V-PCC简档也可以作为PCCHeaderBox的一部分而被用信号发送。根据实施例,V-PCC简档也可以在VPCC内容盒子(VPCCConentBox)中被用信号发送,例如,如上文参考容器文件中的点云数据的单点条目所定义的。
VPCC参数集引用
如上所述,为VPCC_PSD设计的某些参数集引用结构可能是有问题的。
图10是示出了根据实施例的PSD参数集引用结构的示图。
根据实施例,例如,与有问题的结构相反,帧级几何结构参数集和属性参数集的参数可以被集成到单个分量参数集中。根据实施例,这种单个分量参数集可以引用单个活动面片序列参数集,并且将几何结构面片参数集以及属性面片参数集的参数集成到单个分量面片参数集,该单个分量面片参数集引用活动几何结构属性帧参数集。根据实施例,面片帧参数集可引用单个活动几何结构属性面片参数集。图10示出了提出的PSD参数集引用结构。
图11是示出了根据实施例的另一PSD参数集引用结构的示图。
根据实施例,几何结构帧参数集以及属性帧参数集中的任意者的参数可以被包括在面片序列参数集中。即,几何结构面片参数集的参数和属性面片参数集的参数可被组合以形成component_patch_parameter_set。根据实施例,该component_patch_parameter_set可以引用活动面片序列参数集。根据实施例,如图11所示,面片帧参数集可引用活动分量面片参数集。
支持空间接入和发信号通知感兴趣区域
点云中的感兴趣区域(RoI)可以由3D边界盒子定义。根据实施例,例如由RoI内的点的投影产生的面片可以被打包到几何结构分量、占有分量和属性分量中的任意者的2D帧中的一组图块(tile)内。根据实施例,可以以更高的质量/分辨率来编码该图块(例如,2D帧中的图块集合),且可(例如,接着)独立地译码该图块。例如,该图块可被独立地译码为HEVCMCTS图块,并且它们各自的样本可被存储在单独的ISOBMFF轨道中。例如,这可以允许(例如,促进)对RoI的空间随机接入,而不必解码整个2D帧。
根据实施例,例如来自点云的分量的(例如,该点云的分量之中)的对应2D图块轨道可例如通过使用(例如,如上所述的)轨道分组工具而被分组在一起。根据实施例,可以将TrackGroupBox(‘trgr’)添加到与(例如,所有)分量轨道相关联的TrackBox。根据实施例,V-PCC分量轨道的2D图块轨道的新型轨道分组可以具有(例如,根据ISO/IEC定义的)轨道组类型盒子(TrackGroupTypeBox)并且可以包含单个track_group_id字段。所述新型轨道分组可以被定义为:
aligned(8)class VPCC2DTileGroupBox extends TrackGroupTypeBox(’p2dt’){
}.
根据实施例,属于相同点云2D图块的轨道可具有对于track_group_type’p2dt’的相同track_group_id值。根据实施例,与点云2D图块相关联的轨道的track_group_id可不同于与另一(例如,任意其它)点云2D图块相关联的轨道的track_group_id。具有track_group_type等于’p2dt’的TrackGroupTypeBox内的track_group_id可以用作所述点云2D图块的标识符。
根据实施例,例如,通过使用VPCC感兴趣区域盒子(VPCCRegionOfInterestBox),点云中的3D RoI可以与任意数量的点云2D图块相关联。根据实施例,VPCCRegionOfInterestBox可以被定义为:
根据实施例,3D区域盒子(3DRegionBox)和/或VPCC感兴趣区域盒子(VPCCRegionOfInterestBox)的字段的语义可以包括以下各项中的任意者:(1)region_x可以是边界盒子的参考点的x坐标;(2)region_y可以是边界盒子的参考点的y坐标;(3)region_z可以是边界盒子的参考点的z坐标;(4)region_width可以指示边界盒子沿x轴的长度;(5)region_height可以指示边界盒子沿y轴的长度;(6)region_depth可以指示边界盒子沿z轴的长度;(7)roi_count可指示点云中的RoI的数量;(8)2d_tile_count可以指示与所述RoI相关联的点云2D图块的数量;以及(9)track_group_id可以是用于(例如,对应于点云2D图块的)类型’p2dt’的轨道组的轨道组标识符的阵列。
根据实施例,在点云序列中的RoI是静态(例如,不改变)的情况下,VPCCRegionOfInterestBox可被包括在PCC元数据轨道中的VPCCSampleEntry或MetaBox中的VPCC内容分组盒子(VPCCContentGroupingBox)中的任意者中。根据实施例,在点云序列中的RoI是动态的情况下,可以在所述PCC元数据轨道的样本中用信号通知所述VPCCRegionOfInterestBox。
结论
尽管上述按照特定组合描述了特征和元素,但是本领域技术人员将理解的是每个特征或元素可以被单独使用或以与其它特征和元素的任何组合来使用。此外,于此描述的方法可以在嵌入在计算机可读介质中由计算机或处理器执行的计算机程序、软件或固件中实施。非暂态计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除磁盘之类的磁媒体、磁光媒体、以及诸如CD-ROM碟片和数字多用途碟片(DVD)之类的光媒体。与软件相关联的处理器可以用于实施在WTRU 102、UE、终端、基站、RNC或任意主计算机中使用的射频收发信机。
此外,在上述的实施方式中,提及了处理平台、计算系统、控制器以及包含处理器的其他设备。这些设备可以包含至少一个中央处理单元(“CPU”)和存储器。根据计算机编程领域的技术人员的实践,对动作和操作或指令的符号描述的引用可以由各种CPU和存储器执行。这些动作和操作或指令可以称为“被执行”、“计算机执行”或“CPU执行”。
本领域技术人员可以理解动作和符号描述的操作或指令包括CPU对电信号的操纵。电气系统表示可以标识数据比特,其使得电信号产生变换或还原以及数据比特在存储系统中的存储位置的维持由此以重新配置或其他方式改变CPU的操作以及信号的其他处理。维持数据比特的存储位置是具有对应于或代表数据比特的特定电、磁、光或有机属性。应当理解,示例性实施方式不限于上述的平台或CPU且其他平台和CPU可以支持提供的方法。
数据比特也可以被维持在计算机可读介质上,其包括磁盘、光盘以及任意其他易失性(例如随机存取存储器(“RAM”))或非易失性(例如只读存储器(“ROM”))CPU可读的大存储系统。计算机可读介质可以包括协作或互连的计算机可读介质,其专门存在于处理器系统上或分布在可以是处理系统本地的或远程的多个互连处理系统间。可以理解代表性实施方式不限于上述的存储器且其他平台和存储器可以支持所描述的方法。
在示出的实施方式中,这里描述的操作、处理等的任意可以被实施为存储在计算机可读介质上的计算机可读指令。该计算机可读指令可以由移动单元、网络元件和/或任意其他计算设备的处理器执行。
系统方面的硬件和软件实施之间有一点区别。硬件或软件的使用一般(但不总是,因为在某些环境中硬件与软件之间的选择可以是很重要的)是考虑成本与效率折中的设计选择。可以有影响这里描述的过程和/或系统和/或其他技术的各种工具(例如,硬件、软件、和/或固件),且优选的工具可以随着部署的过程和/或系统和/或其他技术的上下文而改变。例如,如果实施方确定速度和精度是最重要的,则实施方可以选择主要是硬件和/或固件工具。如果灵活性是最重要的,则实施方可以选择主要是软件实施。可替换地,实施方可以选择硬件、软件和/或固件的某种组合。
上述详细描述通过使用框图、流程图和/或示例已经提出了设备和/或过程的各种实施方式。在这些框图、流程图和/或示例包含一个或多个功能和/或操作的范围内,本领域技术人员可以理解这些框图、流程图或示例内的每个功能和/或操作可以被宽范围的硬件、软件或固件或实质上的其任意组合方式单独实施和/或一起实施。合适的处理器包括例如通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、专用标准产品(ASSP);场可编程门阵列(FPGA)电路、任意其他类型的集成电路(IC)和/或状态机。
虽然以上以特定的组合提供了特征和元素,但是本领域技术任意可以理解每个特征或元素可以单独使用或与其他特征和元素任意组合使用。本公开不限于本申请描述的特定实施方式,这些实施方式旨在作为各种方面的示例。在不背离其实质和范围的情况下可以进行许多修改和变形,这些对本领域技术任意是所知的。本申请的描述中使用的元素、动作或指令不应被理解为对本发明是关键或必要的除非明确说明。除了本文中列举的这些方法和装置本领域技术人员根据以上描述还可以知道在本公开范围内的功能上等同的方法和装置。这些修改和变形也应落入所附权利要求书的范围。本公开仅由所附权利要求书限定,包括其等同的全面的范围。应当理解本公开不限于特定的方法或系统。
还应该理解,这里使用的术语仅用于描述特定的实施方式,且不是限制性的。这里使用的术语“站”及其缩写“STA”、“用户设备”及其缩写“UE”可以表示(i)无线发射和/或接收单元(WTRU),例如下文所述;(ii)任意数量的WTRU的实施方式,例如下文所述;(iii)具有无线能力和/或有线能力(例如可接线的)设备,被配置(尤其)WTRU(例如上述的)的一些或所有结构和功能;(iii)具有无线能力和/或有线能力的设备,被配置少于WTRU的所有结构和功能,例如下文所述;和/或(iv)其他。可以表示(或可与之互换使用)这里描述的任意UE或移动设备的示例WTRU的细节已在上面参考图1A至1D被提供。
在某些代表性实施方式中,这里描述的主题的一些部分可以经由专用集成电路(ASIC)、场可编程门阵列(FPGA)、数字信号处理器(DSP)和/或其他集成格式来实施。但是,本领域技术人员可以理解这里公开的实施方式的一些方面,其整体或部分,可以同等地由集成电路实施,作为在一个或多个计算机上运行的一个或多个计算机程序(例如在一个或多个计算机系统上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(例如在一个或多个微处理器上运行的一个或多个程序)、固件、或实质上地这些的任意组合,以及根据本公开针对该软件和/或固件设计电路和/或写代码是本领域技术人员所知的。此外,本领域技术人员可以理解这里描述的主题的机制可以被分布为各种形式的程序产品,以及这里描述的主题的示例性实施方式适用,不管用于实际执行该分布的信号承载介质的特定类型如何。信号承载介质的示例包括但不限于以下:可记录类型的介质,例如软盘、硬盘、CD、DVD、数字带、计算机存储器等,以及传输类型的介质,例如数字和/或模拟通信介质(例如光缆、波导、有线通信链路、无线通信链路等)。
这里描述的主题有时示出了不同组件,其包含在或连接到不同的其他组件。可以理解这些描绘的架构仅是示例,且实际中实施相同的功能的许多其他架构可以被实施。在概念上,实施相同功能更的组件的任何安排有效地“相关联”由此可以实施期望的功能。因此,这里组合以实施特定功能的任意两个组件可以视为彼此“相关联”由此实施期望的功能,不管架构或中间组件如何。同样地,相关联的任意两个组件也可以被视为彼此“操作上连接”或“操作上耦合”以实施期望的功能,以及任意两个能够这样相关联的组件也可以被视为彼此“操作上可耦合”以实施期望的功能。操作上可耦合的特定示例包括但不限于物理上可配对和/或物理上交互的组件和/或无线可交互的和/或无线交互的组件和/或逻辑上交互和/或逻辑上可交互的组件。
关于这里使用基本上任何复数和/或单数术语,本领域技术人员可以在适合上下文和/或应用时从复数转义到单数和/或从单数转义到复数。为了清晰,这里可以明确提出各种单数/复数置换。
本领域技术人员可以理解一般地这里使用的术语以及尤其在权利要求书中使用的术语(例如权利要求书的主体部分)一般是“开放性”术语(例如术语“包括”应当理解为“包括但不限于”,术语“具有”应当理解为“至少具有”,术语“包括”应当理解为“包括但不限于”等)。本领域技术人员还可以理解如果权利要求要描述特定数量,则在权利要求中会显式描述,且在没有这种描述的情况下不存在这种意思。例如,如果要表示仅一个项,则可以使用术语“单个”或类似的语言。为帮助理解,以下的权利要求书和/或这里的描述可以包含前置短语“至少一个”或“一个或多个”的使用以引出权利要求描述。但是,这些短语的使用不应当理解为暗示被不定冠词“一”引出的权利要求描述将包含这样的被引出的权利要求描述的任意特定权利要求限定到包含仅一个这样的描述的实施方式,即使在同一个权利要求包括前置短语“一个或多个”或“至少一个”以及不定冠词(例如“一”)(例如“一”应当被理解为表示“至少一个”或“一个或多个”)。对于用于引出权利要求描述的定冠词的使用也是如此。此外,即使引出的权利要求描述的特定数量被明确描述,但是本领域技术人员可以理解这种描述应当被理解为表示至少被描述的数量(例如光描述“两个描述”没有其他修改符,表示至少两个描述,或两个或更多个描述)。
此外,在使用类似于“A、B和C等中的至少一者”的惯例的这些实例中,一般来说这种惯例是本领域技术人员理解的惯例(例如“系统具有A、B和C中的至少一者”可以包括但不限于系统具有仅A、仅B、仅C、A和B、A和C、B和C和/或A、B和C等)。在使用类似于“A、B或C等中的至少一者”的惯例的这些实例中,一般来说这种惯例是本领域技术人员理解的惯例(例如“系统具有A、B或C中的至少一者”可以包括但不限于系统具有仅A、仅B、仅C、A和B、A和C、B和C和/或A、B和C等)。本领域技术人员还可以理解表示两个或更多个可替换项的实质上任何分隔的字和/或短语,不管是在说明书中、权利要求书还是附图中,应当被理解为包括包含两个项之一、任意者或两个项的可能性。例如,短语“A或B”被理解为包括“A”或“B”或“A”和“B”的可能性。此外,这里使用的术语“任意”之后接列举的多个项和/或多种项旨在包括该多个项和/或多种项的“任意”、“任意组合”、“任意多个”和/或“多个的任意组合”,单独或与其他项和/或其他种项结合。此外,这里使用的术语“集合”或“群组”旨在包括任意数量的项,包括零。此外,这里使用的术语“数量”旨在包括任意数量,包括零。
此外,如果按照马库什组描述本公开的特征或方面,本领域技术人员可以理解也按照马库什组的任意单独成员或成员子组来描述本公开。
本领域技术人员可以理解,出于任意和所有目的,例如为了提供书面描述,这里公开的所有范围还包括任意和所有可能的子范围以及其子范围的组合。任意列出的范围可以容易被理解为足以描述和实施被分成至少相等的两半、三份、四份、五份、十份等的相同范围。作为非限制性示例,这里描述的每个范围可以容易被分成下三分之一、中三分之一和上三分之一等。本领域技术人员还可以理解诸如“多至”、“至少”、“大于”、“小于”等的所有语言包括描述的数字并至可以随之被分成上述的子范围的范围。最后,本领域技术人员可以理解,范围包括每个单独的成员。因此,例如具有1-3个小区的群组和/或集合指具有1、2、或3个小区的群组/集合。类似地,具有1-5个小区的群组/集合指具有1、2、3、4或5个小区的群组/集合等等。
此外,权利要求书不应当理解为限制到提供的顺序或元素除非描述有这种效果。此外,在任意权利要求中术语“用于…的装置”的使用旨在援引35 U.S.C.§112,6或装置+功能的权利要求格式,没有术语“用于…的装置”的任意权利要求不具有此种意图。
与软件相关联的处理器可以用于实施在无线发射/接收单元(WTRU)、用户设备(UE)、终端、基站、移动管理实体(MME)或演进分组核(EPC)或任何主机计算机中使用的射频收发信机。WTRU可以结合以硬件和/或软件实施的模块(包括软件定义无线电(SDR))和其他组件,该组件例如是相机、视频相机模块、视频电话、对讲电话、振动设备、扬声器、麦克风、电视收发信机、免提耳机、键盘、模块、调频(FM)无线电单元、近场通信(NFC)模块、液晶显示(LCD)显示单元、有机发光二极管(0LED)显示单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器和/或任意无线局域网(WLAN)或超宽带(UWB)模块。
虽然在通信系统方面描述了本发明,但是可以理解系统可以在微处理器/通用计算机(未示出)上以软件实施。在某些实施方式中,各种组件的功能中的一个或多个可以以控制通用计算机的软件来实施。
此外,虽然参考特定实施方式示出和描述了本发明,但是本发明无意于限于示出的细节。相反,在权利要求书的等同范围内且不背离本发明的情况下可以在细节上进行各种修改。
在整个公开内容中,技术人员理解某些代表性实施例可以替代其他代表性实施例或与其他代表性实施例组合使用。
尽管上述按照特定组合描述了特征和元素,但是本领域技术人员将理解的是每个特征或元素可以被单独使用或以与其它特征和元素的任何组合来使用。此外,于此描述的方法可以在嵌入在计算机可读介质中由计算机或处理器执行的计算机程序、软件或固件中实施。非暂态计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除磁盘之类的磁媒体、磁光媒体、以及诸如CD-ROM碟片和数字多用途碟片(DVD)之类的光媒体。与软件相关联的处理器可以用于实施在WTRU、uE、终端、基站、RNC或任意主计算机中使用的射频收发信机。
此外,在上述的实施方式中,提及了处理平台、计算系统、控制器以及包含处理器的其他设备。这些设备可以包含至少一个中央处理单元(“CPU”)和存储器。根据计算机编程领域的技术人员的实践,对动作和操作或指令的符号描述的引用可以由各种CPU和存储器执行。这些动作和操作或指令可以称为“被执行”、“计算机执行”或“CPU执行”。
本领域技术人员可以理解动作和符号描述的操作或指令包括CPU对电信号的操纵。电气系统表示可以标识数据比特,其使得电信号产生变换或还原以及数据比特在存储系统中的存储位置的维持由此以重新配置或其他方式改变CPU的操作以及信号的其他处理。维持数据比特的存储位置是具有对应于或代表数据比特的特定电、磁、光或有机属性。
数据比特也可以被维持在计算机可读介质上,其包括磁盘、光盘以及任意其他易失性(例如随机存取存储器(“RAM”))或非易失性(例如只读存储器(“ROM”))CPU可读的大型存储系统。计算机可读介质可以包括协作或互连的计算机可读介质,其专门存在于处理器系统上或分布在可以是处理系统本地的或远程的多个互连处理系统间。可以理解代表性实施方式不限于上述的存储器且其他平台和存储器可以支持所描述的方法。
作为示例,合适的处理器包括通用处理器、专用处理器、传统处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、特定应用标准产品(ASSP)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)和/或状态机。
尽管已经就通信系统描述了本发明,但是可以预期,系统可以在微处理器/通用计算机(未示出)上的软件中被实施。在某些实施例中,各种组件的一个或多个功能可以用控制通用计算机的软件来实施。
另外,尽管本文参考特定实施例说明和描述了本发明,但是本发明并不旨在限于所示的细节。相反,在权利要求书的等同范围内且不背离本发明的情况下可以在细节上进行各种修改。
Claims (19)
1.一种传送译码的点云PC序列的PC比特流的解码信息的方法,所述方法包括:
将所述PC比特流的元数据分量比特流映射到国际标准化组织/国际电工委员会基本媒体文件格式ISOBMFF的第一受限视频轨道,其中所述ISOBMFF的所述第一受限视频轨道包括所述元数据分量比特流的一个或多个接入单元;
将所述PC比特流的几何结构子比特流映射到所述ISOBMFF的第二受限视频轨道,其中所述ISOBMFF的所述第二受限视频轨道包括所述几何结构子比特流的一个或多个接入单元;
将所述PC比特流的占用子比特流映射到所述ISOBMFF的第三受限视频轨道,其中所述ISOBMFF的所述第三受限视频轨道包括所述占用子比特流的一个或多个接入单元,其中所述第一受限视频轨道包括在所述ISOBMFF中编码的所述PC比特流的一个或多个分量比特流的指示,并且其中所述PC比特流的所述一个或多个分量比特流包括所述几何结构子比特流和所述占用子比特流;
将受限方案信息盒子添加到所述第一受限视频轨道、所述第二受限视频轨道和所述第三受限视频轨道,所述受限方案信息盒子指示相应视频轨道是受限视频轨道;以及
生成ISOBMFF容器以发送所述PC比特流的所述元数据分量比特流映射、所述几何结构子比特流映射和所述占用子比特流映射。
2.根据权利要求1所述的方法,其中,所述第一受限视频轨道包括与所述PC比特流的所述元数据分量比特流相关联的多个样本,所述第二受限视频轨道包括与所述PC比特流的所述几何结构子比特流相关联的多个第二样本,以及所述第三受限视频轨道包括与所述PC比特流的所述占用子比特流相关联的多个第三样本。
3.根据权利要求1所述的方法,其中,所述第二受限视频轨道和所述第三受限视频轨道包括所述PC比特流的一个或多个层的指示。
4.根据权利要求3所述的方法,其中,所述一个或多个层中的每一层与相对于深度图像平面的相应深度相关联。
5.根据权利要求1所述的方法,还包括:将所述PC比特流的属性子比特流映射到所述ISOBMFF的第四受限视频轨道,其中所述ISOBMFF的所述第四受限视频轨道包括所述属性子比特流的一个或多个接入单元。
6.根据权利要求5所述的方法,其中,所述属性子比特流与包括颜色、透明度、获取时间或另一种材料属性的属性类型相关联。
7.根据权利要求1所述的方法,其中,在一个译码的PC序列中的所述第一受限视频轨道、所述第二受限视频轨道和所述第三受限视频轨道在所述ISOBMFF的单个位置中被用信号通知。
8.根据权利要求1所述的方法,其中,所述元数据分量比特流包括PC头部信息和全局头部信息中的一个或多个。
9.根据权利要求1所述的方法,还包括:生成一个或多个定时元数据分量比特流,其中与所述定时元数据分量比特流相关联的样本被包括在媒体数据盒子MediaDataBox中。
10.根据权利要求1所述的方法,其中,ISOBMFF轨道引用工具被用于将所述PC比特流的所述元数据分量比特流链接到所述第一受限视频轨道、所述第二受限视频轨道和所述第三受限视频轨道。
11.一种装置,包括用于传送译码的点云PC序列的PC比特流的解码信息的电路,所述电路包括发射机、接收机、处理器和存储器中的任何一个,被配置为:
将所述PC比特流的元数据分量比特流映射到国际标准化组织/国际电工委员会基本媒体文件格式ISOBMFF的第一受限视频轨道,其中所述ISOBMFF的所述第一受限视频轨道包括所述元数据分量比特流的一个或多个接入单元;
将所述PC比特流的几何结构子比特流映射到所述ISOBMFF的第二受限视频轨道,其中所述ISOBMFF的所述第二受限视频轨道包括所述几何结构子比特流的一个或多个接入单元;
将所述PC比特流的占用子比特流映射到所述ISOBMFF的第三受限视频轨道,其中所述ISOBMFF的所述第三受限视频轨道包括所述占用子比特流的一个或多个接入单元,其中所述第一受限视频轨道包括在所述ISOBMFF中编码的所述PC比特流的一个或多个分量比特流的指示,并且其中所述PC比特流的所述一个或多个分量比特流包括所述几何结构子比特流和所述占用子比特流;
将受限方案信息盒子添加到所述第一受限视频轨道、所述第二受限视频轨道和所述第三受限视频轨道,所述受限方案信息盒子指示相应视频轨道是受限视频轨道;以及
生成ISOBMFF容器以发送所述PC比特流的所述元数据分量比特流映射、所述几何结构子比特流映射和所述占用子比特流映射。
12.根据权利要求11所述的装置,其中,所述第一受限视频轨道包括与所述PC比特流的所述元数据分量比特流相关联的多个样本,所述第二受限视频轨道包括与所述PC比特流的所述几何结构子比特流相关联的多个第二样本,以及所述第三受限视频轨道包括与所述PC比特流的所述占用子比特流相关联的多个第三样本,以及其中所述第二受限视频轨道和所述第三受限视频轨道包括所述PC比特流的一个或多个层的指示。
13.根据权利要求12所述的装置,其中,所述一个或多个层中的每一层与相对于深度图像平面的相应深度相关联。
14.根据权利要求11所述的装置,其中,所述处理器还被配置为:将所述PC比特流的属性子比特流映射到所述ISOBMFF的第四受限视频轨道,其中所述ISOBMFF的所述第四受限视频轨道包括所述属性子比特流的一个或多个接入单元。
15.根据权利要求14所述的装置,其中,所述属性子比特流与包括颜色、透明度、获取时间或另一种材料属性的属性类型相关联。
16.根据权利要求11所述的装置,其中,所述处理器还被配置为:生成一个或多个定时元数据分量比特流,其中与所述定时元数据分量比特流相关联的样本被包括在媒体数据盒子MediaDataBox中。
17.根据权利要求11所述的装置,其中,ISOBMFF轨道引用工具被用于将所述PC比特流的所述元数据分量比特流链接到所述第一受限视频轨道、所述第二受限视频轨道和所述第三受限视频轨道。
18.根据权利要求11所述的装置,其中,所述元数据分量比特流包括PC头部信息和全局头部信息中的一个或多个。
19.根据权利要求11所述的装置,其中,在一个译码的PC序列中的所述第一受限视频轨道、所述第二受限视频轨道和所述第三受限视频轨道在所述ISOBMFF的单个位置中被用信号通知。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410551127.6A CN118447142A (zh) | 2018-09-18 | 2019-09-11 | 用于点云压缩比特流格式的方法和装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862732774P | 2018-09-18 | 2018-09-18 | |
US62/732,774 | 2018-09-18 | ||
US201962820026P | 2019-03-18 | 2019-03-18 | |
US62/820,026 | 2019-03-18 | ||
PCT/US2019/050541 WO2020060813A1 (en) | 2018-09-18 | 2019-09-11 | Methods and apparatus for point cloud compression bitstream format |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410551127.6A Division CN118447142A (zh) | 2018-09-18 | 2019-09-11 | 用于点云压缩比特流格式的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112740282A CN112740282A (zh) | 2021-04-30 |
CN112740282B true CN112740282B (zh) | 2024-05-24 |
Family
ID=68165705
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980061212.1A Active CN112740282B (zh) | 2018-09-18 | 2019-09-11 | 用于点云压缩比特流格式的方法和装置 |
CN202410551127.6A Pending CN118447142A (zh) | 2018-09-18 | 2019-09-11 | 用于点云压缩比特流格式的方法和装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410551127.6A Pending CN118447142A (zh) | 2018-09-18 | 2019-09-11 | 用于点云压缩比特流格式的方法和装置 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11568573B2 (zh) |
EP (1) | EP3853822A1 (zh) |
JP (2) | JP7460611B2 (zh) |
KR (1) | KR20210074278A (zh) |
CN (2) | CN112740282B (zh) |
AU (2) | AU2019342612B2 (zh) |
MX (1) | MX2021003179A (zh) |
TW (2) | TW202345604A (zh) |
WO (1) | WO2020060813A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11902555B2 (en) * | 2018-12-28 | 2024-02-13 | Sony Group Corporation | Information processing device and information processing method |
JP7402976B2 (ja) * | 2019-09-30 | 2023-12-21 | 中興通訊股▲ふん▼有限公司 | 点群データのためのファイルフォーマット |
JP7384269B2 (ja) * | 2019-10-09 | 2023-11-21 | ソニーグループ株式会社 | 点群再構成前の復号フレーム同期 |
CN115668938A (zh) * | 2020-03-18 | 2023-01-31 | Lg电子株式会社 | 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法 |
US20230111994A1 (en) * | 2020-04-03 | 2023-04-13 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
WO2021210867A1 (ko) * | 2020-04-12 | 2021-10-21 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
EP4131961A4 (en) * | 2020-04-13 | 2023-09-13 | LG Electronics, Inc. | DEVICE FOR TRANSMITTING POINT CLOUD DATA, METHOD FOR TRANSMITTING POINT CLOUD DATA, DEVICE FOR RECEIVING POINT CLOUD DATA AND METHOD FOR RECEIVING POINT CLOUD DATA |
WO2021210763A1 (ko) * | 2020-04-14 | 2021-10-21 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
JP7467646B2 (ja) * | 2020-06-24 | 2024-04-15 | 中興通訊股▲ふん▼有限公司 | 3次元コンテンツ処理方法および装置 |
US11706450B2 (en) * | 2020-09-18 | 2023-07-18 | Samsung Electronics Co., Ltd. | Partial decoding and reconstruction of a video-based point cloud compression bitstream |
CN114549778A (zh) * | 2020-11-26 | 2022-05-27 | 腾讯科技(深圳)有限公司 | 非时序点云媒体的处理方法、装置、设备及存储介质 |
JP2024504050A (ja) * | 2021-01-05 | 2024-01-30 | テレフオンアクチーボラゲット エルエム エリクソン(パブル) | 3dストリーム処理 |
CN115243053B (zh) * | 2021-04-22 | 2024-04-16 | 腾讯科技(深圳)有限公司 | 点云编解码方法及相关设备 |
CN116744007A (zh) * | 2022-04-22 | 2023-09-12 | 腾讯科技(深圳)有限公司 | 点云媒体的编解码方法及相关产品 |
WO2024143466A1 (ja) * | 2022-12-28 | 2024-07-04 | ソニーグループ株式会社 | 情報処理装置および方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106105220A (zh) * | 2014-01-07 | 2016-11-09 | 诺基亚技术有限公司 | 用于视频编码和解码的方法和装置 |
CN107426559A (zh) * | 2016-05-24 | 2017-12-01 | 汤姆逊许可公司 | 用于沉浸式视频格式的方法、装置和流 |
EP3310052A1 (en) * | 2016-10-12 | 2018-04-18 | Thomson Licensing | Method, apparatus and stream for immersive video format |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160373771A1 (en) * | 2015-06-18 | 2016-12-22 | Qualcomm Incorporated | Design of tracks and operation point signaling in layered hevc file format |
EP3349182A1 (en) * | 2017-01-13 | 2018-07-18 | Thomson Licensing | Method, apparatus and stream for immersive video format |
US11514613B2 (en) | 2017-03-16 | 2022-11-29 | Samsung Electronics Co., Ltd. | Point cloud and mesh compression using image/video codecs |
US11736675B2 (en) * | 2018-04-05 | 2023-08-22 | Interdigital Madison Patent Holdings, Sas | Viewpoint metadata for omnidirectional video |
EP3820147A4 (en) | 2018-07-06 | 2022-07-20 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM |
US11095908B2 (en) * | 2018-07-09 | 2021-08-17 | Samsung Electronics Co., Ltd. | Point cloud compression using interpolation |
US11138762B2 (en) * | 2018-07-11 | 2021-10-05 | Samsung Electronics Co., Ltd. | Visual quality of video based point cloud compression using one or more additional patches |
US11132818B2 (en) * | 2018-09-28 | 2021-09-28 | Apple Inc. | Predicting attributes for point cloud compression according to a space filling curve |
US11109012B2 (en) | 2018-10-03 | 2021-08-31 | Samsung Electronics Co., Ltd. | Carriage of PCC in ISOBMFF for flexible combination |
US11902555B2 (en) | 2018-12-28 | 2024-02-13 | Sony Group Corporation | Information processing device and information processing method |
-
2019
- 2019-09-11 AU AU2019342612A patent/AU2019342612B2/en active Active
- 2019-09-11 US US17/277,064 patent/US11568573B2/en active Active
- 2019-09-11 EP EP19783764.4A patent/EP3853822A1/en active Pending
- 2019-09-11 MX MX2021003179A patent/MX2021003179A/es unknown
- 2019-09-11 CN CN201980061212.1A patent/CN112740282B/zh active Active
- 2019-09-11 CN CN202410551127.6A patent/CN118447142A/zh active Pending
- 2019-09-11 JP JP2021515151A patent/JP7460611B2/ja active Active
- 2019-09-11 WO PCT/US2019/050541 patent/WO2020060813A1/en unknown
- 2019-09-11 KR KR1020217008119A patent/KR20210074278A/ko unknown
- 2019-09-16 TW TW112118967A patent/TW202345604A/zh unknown
- 2019-09-16 TW TW108133216A patent/TWI805840B/zh active
-
2022
- 2022-12-14 US US18/081,050 patent/US20230119983A1/en active Pending
-
2024
- 2024-03-21 JP JP2024045278A patent/JP2024079755A/ja active Pending
- 2024-08-16 AU AU2024205823A patent/AU2024205823A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106105220A (zh) * | 2014-01-07 | 2016-11-09 | 诺基亚技术有限公司 | 用于视频编码和解码的方法和装置 |
CN107426559A (zh) * | 2016-05-24 | 2017-12-01 | 汤姆逊许可公司 | 用于沉浸式视频格式的方法、装置和流 |
EP3310052A1 (en) * | 2016-10-12 | 2018-04-18 | Thomson Licensing | Method, apparatus and stream for immersive video format |
Also Published As
Publication number | Publication date |
---|---|
AU2019342612A1 (en) | 2021-04-22 |
KR20210074278A (ko) | 2021-06-21 |
CN118447142A (zh) | 2024-08-06 |
EP3853822A1 (en) | 2021-07-28 |
TWI805840B (zh) | 2023-06-21 |
US11568573B2 (en) | 2023-01-31 |
US20230119983A1 (en) | 2023-04-20 |
JP2024079755A (ja) | 2024-06-11 |
AU2024205823A1 (en) | 2024-09-05 |
JP2022501898A (ja) | 2022-01-06 |
CN112740282A (zh) | 2021-04-30 |
TW202037174A (zh) | 2020-10-01 |
TW202345604A (zh) | 2023-11-16 |
AU2019342612B2 (en) | 2024-05-16 |
WO2020060813A1 (en) | 2020-03-26 |
JP7460611B2 (ja) | 2024-04-02 |
MX2021003179A (es) | 2021-08-11 |
US20220051443A1 (en) | 2022-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112740282B (zh) | 用于点云压缩比特流格式的方法和装置 | |
US20220329923A1 (en) | Video-based point cloud streams | |
JP2022500914A (ja) | フレキシブルグリッドリージョンのための方法および装置 | |
TW202205857A (zh) | 用於基於視訊的點雲流的isobmff容器中的部分存取支援 | |
TWI845715B (zh) | 在串流服務中立體內容成分次位元串流動態適應 | |
CN115989676A (zh) | 用于基于几何的点云数据的瓦片轨道 | |
CN114026878B (zh) | 基于视频的点云流 | |
US20230276053A1 (en) | Adaptive streaming of geometry-based point clouds | |
KR20240136401A (ko) | 몰입형 장면 설명에서의 볼륨 비주얼 비디오 기반 코딩 콘텐츠의 시그널링 | |
CN118285108A (zh) | 基于几何的点云的自适应流传输 | |
JP2024150694A (ja) | フレキシブルグリッドリージョンのための方法および装置 | |
CN118055299A (zh) | 用于v3c媒体和g-pcc媒体的流式传输的mmt信令 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240809 Address after: Delaware, USA Patentee after: Interactive Digital VC Holdings Country or region after: U.S.A. Address before: Wilmington, Delaware, USA Patentee before: VID SCALE, Inc. Country or region before: U.S.A. |