CN113678463A - 用于子图片自适应分辨率变化的方法和装置 - Google Patents

用于子图片自适应分辨率变化的方法和装置 Download PDF

Info

Publication number
CN113678463A
CN113678463A CN202080027777.0A CN202080027777A CN113678463A CN 113678463 A CN113678463 A CN 113678463A CN 202080027777 A CN202080027777 A CN 202080027777A CN 113678463 A CN113678463 A CN 113678463A
Authority
CN
China
Prior art keywords
sub
picture
pictures
parameter set
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080027777.0A
Other languages
English (en)
Inventor
贺勇
拉鲁夫·奈夫
贺玉文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN113678463A publication Critical patent/CN113678463A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了与通信系统中的图片和视频编码有关的方法和装置。其中包括一种方法,该方法包括:确定与参数集相关联的一个或多个层;生成语法元素,该语法元素包括指出与该参数集相关联的该一个或多个层是否被独立地编码的指示;以及生成包括该语法元素的消息。

Description

用于子图片自适应分辨率变化的方法和装置
相关申请的交叉引用
本申请要求2019年3月11日提交于美国专利商标局的美国临时申请号62/816,686以及2019年6月25日提交于美国专利商标局的美国临时申请号62/866,528的优先权和权益,这些申请中的每个申请的整个内容以引用方式并入本文,如同在下文出于所有可用目的而完整地阐述全文。
发明内容
本文所公开的实施方案整体涉及用于通信系统中的图片和/或视频编码的方法和装置。
附图说明
从以下结合附图以示例方式给出的详细描述中可以获得更详细的理解。与详细描述一样,此类附图中的图是示例。因此,附图和详细描述不应被认为是限制性的,并且其他同样有效的示例是合理的和可能的。另外,附图中类似的附图标号指示类似的元件,并且其中:
图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统的系统图;
图1B是示出根据一个实施方案可在图1A所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图;
图1C是示出根据一个实施方案可在图1A所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图;
图1D是示出根据一个实施方案可在图1A所示的通信系统内使用的另外的示例性RAN和另外的示例性CN的系统图;
图2是示出根据一个或多个实施方案的视频流式传输架构的示例的框图;
图3示出了根据一个或多个实施方案的自适应分辨率变化(ARC)的示例;
图4示出了根据一个或多个实施方案的视口自适应流式传输的示例;
图5示出了根据一个或多个实施方案的视口切换的示例;
图6示出了根据一个或多个实施方案的具有ARC的视口切换的示例;
图7示出了根据一个或多个实施方案的基于由补充增强信息(SEI)消息提供的子图片属性信息执行的ARC的示例;
图8示出了根据一个或多个实施方案的低分辨率表示和高分辨率表示之间的ARC转变的示例;
图9示出了根据一个或多个实施方案的用以确定一个或多个ARC转变点的示例性编码程序;并且
图10示出了根据一个或多个实施方案的基于层间预测的ARC的示例。
具体实施方式
在以下详细描述中,阐述了许多具体细节以提供对本文所公开的实施方案和/或示例的透彻理解。然而,应当理解,此类实施方案和示例可在没有本文阐述的一些或所有具体细节的情况下被实践。在其他情况下,未详细描述熟知的方法、程序、部件和电路,以免模糊以下描述。此外,本文未具体描述的实施方案和示例可代替本文中明确、隐含和/或固有地描述、公开或以其他方式提供(统称为“提供”)的实施方案和其他示例来实践,或与这些实施方案和示例组合来实践。尽管本文描述和/或要求保护了各种实施方案,其中装置、系统、设备等和/或其任何元件执行操作、过程、算法、功能等和/或其任何部分,但应当理解,本文所述和/或受权利要求书保护的任何实施方案假定任何装置、系统、设备等和/或其任何元件被配置为执行任何操作、过程、算法、功能等和/或其任何部分。
在本申请中,术语“重建”和“解码”可以互换使用,术语“像素”和“样本”可以互换使用,术语“图像”、“图片”和“帧”可以互换使用。通常,但不是必须地,术语“重建”在编码器侧使用,而“解码”在解码器侧使用。
本文描述了各种方法,并且方法中的每种方法包括用于实现所述方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作,否则可修改或组合特定步骤和/或动作的顺序和/或用途。另外,诸如“第一”、“第二”等的术语可在各种实施方案中用于修改元件、部件、步骤、操作等,诸如“第一解码”和“第二解码”。除非特别要求,否则使用此类术语并不暗示对修改的操作的排序。因此,在该示例中,第一解码不需要在第二解码之前执行,并且可例如在与第二解码重叠的时间段之前、期间或之中发生。
代表性通信网络
本文提供的方法、装置和系统非常适于涉及有线网络和无线网络两者的通信。有线网络是众所周知的。相对于图1A至图1D提供了各种类型的无线设备和基础结构的概述,其中网络的各种元件可利用本文提供的方法、装置和系统,执行本文提供的方法、装置和系统,根据本文提供的方法、装置和系统布置,并且/或者针对本文提供的方法、装置和系统进行适配和/或配置。
图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的示意图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如,通信系统100可采用一个或多个信道接入方法,诸如码分多址接入(CDMA)、时分多址接入(TDMA)、频分多址接入(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。
如图1A所示,通信系统100可包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网(PSTN)108、互联网110和其他网络112,但应当理解,所公开的实施方案设想了任何数量的WTRU、基站、网络和/或网络元件。WTRU102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例,WTRU 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“STA”)可被配置为传输和/或接收无线信号,并且可包括用户装备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如,远程手术)、工业设备和应用(例如,在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。WTRU 102a、102b、102c和102d中的任一者可互换地称为UE。
通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备,其被配置为与WTRU 102a、102b、102c、102d中的至少一者无线对接以促进对一个或多个通信网络(诸如CN106/115、互联网110和/或其他网络112)的访问。作为示例,基站114a、114b可为基站收发台(BTS)、节点B、演进节点B、家庭节点B、家庭演进节点B、gNB、新无线电(NR)节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件,但应当理解,基站114a、114b可包括任何数量的互连基站和/或网络元件。
基站114a可以是RAN 104/113的一部分,该RAN还可包括其他基站和/或网络元件(未示出),诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可被称为小区(未示出))上传输和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖,该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如,与基站114a相关联的小区可被划分为三个扇区。因此,在一个实施方案中,基站114a可包括三个收发器,例如,小区的每个扇区一个收发器。在一个实施方案中,基站114a可采用多输入多输出(MIMO)技术并且可针对小区的每个扇区利用多个收发器。例如,可使用波束成形在所需的空间方向上传输和/或接收信号。
基站114a、114b可通过空中接口116与WTRU 102a、102b、102c、102d中的一者或多者通信,该空中接口可为任何合适的无线通信链路(例如,射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。可使用任何合适的无线电接入技术(RAT)来建立空中接口116。
更具体地讲,如上所指出,通信系统100可为多址接入系统,并且可采用一个或多个信道接入方案,诸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如,RAN 104/113中的基站114a和WTRU 102a、102b、102c可实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术,其可使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可包括诸如高速分组接入(HSPA)和/或演进的HSPA(HSPA+)之类的通信协议。HSPA可包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在一个实施方案中,基站114a和WTRU 102a、102b、102c可实现诸如演进的UMTS陆地无线电接入(E-UTRA)之类的无线电技术,其可使用长期演进(LTE)和/高级LTE(LTE-A)和/或高级LTE Pro(LTE-A Pro)来建立空中接口116。
在一个实施方案中,基站114a和WTRU 102a、102b、102c可实现诸如NR无线电接入之类的无线电技术,其可使用新无线电(NR)来建立空中接口116。
在一个实施方案中,基站114a和WTRU 102a、102b、102c可实现多种无线电接入技术。例如,基站114a和WTRU 102a、102b、102c可例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此,WTRU 102a、102b、102c所利用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的基站(例如,eNB和gNB)发送的传输来表征。
在其他实施方案中,基站114a和WTRU 102a、102b、102c可实现诸如IEEE 802.11(例如,无线保真(WiFi))、IEEE 802.16(例如,全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、暂行标准2000(IS-2000)、暂行标准95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM增强数据率演进(EDGE)、GSM EDGE(GERAN)等无线电技术。
图1A中的基站114b可为例如无线路由器、家庭节点B、家庭演进节点B或接入点,并且可利用任何合适的RAT来促进诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如,供无人机使用)、道路等局部区域中的无线连接。在一个实施方案中,基站114b和WTRU102c、102d可实现诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在一个实施方案中,基站114b和WTRU 102c、102d可实现诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。在又一个实施方案中,基站114b和WTRU 102c、102d可利用基于蜂窝的RAT(例如,WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图1A所示,基站114b可具有与互联网110的直接连接。因此,基站114b可不需要经由CN106/115访问互联网110。
RAN 104/113可与CN 106/115通信,该CN可以是被配置为向WTRU 102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(VoIP)服务的任何类型的网络。数据可具有不同的服务质量(QoS)要求,诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。CN 106/115可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等,和/或执行高级安全功能,诸如用户认证。尽管未在图1A中示出,但是应当理解,RAN 104/113和/或CN 106/115可与采用与RAN 104/113相同的RAT或不同RAT的其他RAN进行直接或间接通信。例如,除了连接到可利用NR无线电技术的RAN 104/113之外,CN 106/115还可与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。
CN 106/115也可充当WTRU 102a、102b、102c、102d的网关,以访问PSTN 108、互联网110和/或其他网络112。PSTN 108可包括提供普通老式电话服务(POTS)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(TCP)、用户数据报协议(UDP)和/或TCP/IP互联网协议组中的互联网协议(IP))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如,网络112可包括连接到一个或多个RAN的另一个CN,其可采用与RAN 104/113相同的RAT或不同的RAT。
通信系统100中的一些或所有WTRU 102a、102b、102c、102d可包括多模式能力(例如,WTRU 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如,图1A所示的WTRU 102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信,并且与可采用IEEE 802无线电技术的基站114b通信。
图1B是示出示例性WTRU 102的系统图。如图1B所示,WTRU 102可包括处理器118、收发器120、发射/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等。应当理解,WTRU 102可包括前述元件的任何子组合,同时保持与实施方案一致。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能,这些其他功能使WTRU 102能够在无线环境中工作。处理器118可耦合到收发器120,该收发器可耦合到发射/接收元件122。虽然图1B将处理器118和收发器120描绘为单独的部件,但是应当理解,处理器118和收发器120可在电子封装或芯片中集成在一起。
发射/接收元件122可被配置为通过空中接口116向基站(例如,基站114a)传输信号或从基站接收信号。例如,在一个实施方案中,发射/接收元件122可以是被配置为传输和/或接收RF信号的天线。在一个实施方案中,发射/接收元件122可以是被配置为传输和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一个实施方案中,发射/接收元件122可被配置为传输和/或接收RF和光信号。应当理解,发射/接收元件122可被配置为传输和/或接收无线信号的任何组合。
尽管发射/接收元件122在图1B中被描绘为单个元件,但是WTRU 102可包括任何数量的发射/接收元件122。更具体地讲,WTRU 102可采用MIMO技术。因此,在一个实施方案中,WTRU 102可包括用于通过空中接口116传输和接收无线信号的两个或更多个发射/接收元件122(例如,多个天线)。
收发器120可被配置为调制将由发射/接收元件122传输的信号并且解调由发射/接收元件122接收的信号。如上所指出,WTRU 102可具有多模式能力。因此,收发器120可包括多个收发器,以便使WTRU 102能够经由多种RAT(诸如NR和IEEE 802.11)进行通信。
WTRU 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如,液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)并且可从其接收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。此外,处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息,并且将数据存储在任何类型的合适存储器中。不可移动存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方案中,处理器118可从未物理上定位在WTRU 102上(诸如,服务器或家用计算机(未示出)上)的存储器访问信息,并且将数据存储在该存储器中。
处理器118可从电源134接收电力,并且可被配置为向WTRU 102中的其他部件分配和/或控制电力。电源134可以是用于为WTRU 102供电的任何合适的设备。例如,电源134可包括一个或多个干电池组(例如,镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器118还可耦合到GPS芯片组136,该GPS芯片组可被配置为提供关于WTRU 102的当前位置的位置信息(例如,经度和纬度)。除了来自GPS芯片组136的信息之外或代替该信息,WTRU 102可通过空中接口116从基站(例如,基站114a、114b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的定时来确定其位置。应当理解,在与实施方案保持一致的同时,该WTRU 102可通过任何合适的位置确定方法来获取位置信息。
处理器118还可耦合到其他外围设备138,该其他外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块和/或硬件模块。例如,外围设备138可包括加速度计、电子指南针、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发器、免提耳麦、
Figure BDA0003294803860000081
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备138可包括一个或多个传感器,该传感器可为以下一者或多者:陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器;地理位置传感器;测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。
WTRU 102可包括全双工无线电台,对于该全双工无线电台,一些或所有信号的传输和接收(例如,与用于UL(例如,用于传输)和下行链路(例如,用于接收)的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元139,该干扰管理单元用于经由硬件(例如,扼流圈)或经由处理器(例如,单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在一个实施方案中,WTRU 102可包括全双工无线电台,对于该全双工无线电台,一些或所有信号的发射和接收(例如,与用于UL(例如,用于发射)和下行链路(例如,用于接收)的特定子帧相关联)可为并发的和/或同时的。
图1C是示出根据一个实施方案的RAN 104和CN 106的系统图。如上所述,RAN 104可采用E-UTRA无线电技术通过空中接口116与WTRU102a、102b、102c通信。RAN 104还可与CN106通信。
RAN 104可包括演进节点B 160a、160b、160c,但是应当理解,RAN 104可包括任何数量的演进节点B,同时保持与实施方案一致。演进节点B160a、160b、160c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在一个实施方案中,演进节点B 160a、160b、160c可实现MIMO技术。因此,演进节点B 160a例如可使用多个天线来向WTRU 102a传输无线信号和/或从WTRU 102a接收无线信号。
演进节点B 160a、160b、160c中的每一者可与特定小区(未示出)相关联,并且可被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户的调度等。如图1C所示,演进节点B 160a、160b、160c可通过X2接口彼此通信。
图1C所示的CN 106可包括移动性管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(或PGW)166。虽然前述元件中的每一者被描绘为CN 106的一部分,但是应当理解,这些元件中的任何元件可由除CN运营商之外的实体拥有和/或操作。
MME 162可经由S1接口连接到RAN 104中的演进节点B 160a、160b、160c中的每一者,并且可用作控制节点。例如,MME 162可负责认证WTRU 102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c的初始附加期间选择特定服务网关等。MME 162可提供用于在RAN 104和采用其他无线电技术(诸如GSM和/或WCDMA)的其他RAN(未示出)之间进行切换的控制平面功能。
SGW 164可经由S1接口连接到RAN 104中的演进节点B 160a、160b、160c中的每一者。SGW 164通常可向/从WTRU 102a、102b、102c路由和转发用户数据分组。SGW 164可执行其他功能,诸如在演进节点B间切换期间锚定用户平面、当DL数据可用于WTRU 102a、102b、102c时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文等。
SGW 164可连接到PGW 166,该PGW可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问,以促进WTRU 102a、102b、102c和启用IP的设备之间的通信。
CN 106可有利于与其他网络的通信。例如,CN 106可为WTRU 102a、102b、102c提供对电路交换网络(诸如,PSTN 108)的访问,以有利于WTRU 102a、102b、102c与传统传统陆线通信设备之间的通信。例如,CN 106可包括用作CN 106与PSTN 108之间的接口的IP网关(例如,IP多媒体子系统(IMS)服务器)或者可与该IP网关通信。另外,CN 106可向WTRU 102a、102b、102c提供对其他网络112的访问,该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。
尽管WTRU在图1A至图1D中被描述为无线终端,但是可以设想到,在某些代表性实施方案中,这种终端可(例如,临时或永久)使用与通信网络的有线通信接口。
在一些代表性实施方案中,其他网络112可为WLAN。
处于基础结构基本服务集(BSS)模式的WLAN可具有用于BSS的接入点(AP)以及与AP相关联的一个或多个站点(STA)。AP可具有至分配系统(DS)或将流量携带至和/或携带流量离开BSS的另一种类型的有线/无线网络的接入或接口。源自BSS外部并通向STA的流量可通过AP到达并且可被传递到STA。源自STA并通向BSS外部的目的地的流量可被发送到AP以被传递到相应目的地。BSS内的STA之间的流量可通过AP发送,例如,其中源STA可向AP发送流量,并且AP可将流量传递到目的地STA。BSS内的STA之间的流量可被视为和/或称为点对点流量。可利用直接链路建立(DLS)在源和目的地STA之间(例如,直接在它们之间)发送点对点流量。在某些代表性实施方案中,DLS可使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP,并且IBSS内或使用IBSS的STA(例如,所有STA)可彼此直接通信。IBSS通信模式在本文中有时可称为“ad-hoc”通信模式。
当使用802.11ac基础结构操作模式或相似操作模式时,AP可在固定信道(诸如主信道)上传输信标。主信道可为固定宽度(例如,20MHz宽带宽)或经由信令动态设置的宽度。主信道可为BSS的操作信道,并且可由STA用来建立与AP的连接。在某些代表性实施方案中,可例如在802.11系统中实现载波侦听多路访问/冲突避免(CSMA/CA)。对于CSMA/CA,STA(例如,每个STA)(包括AP)可侦听主信道。如果主信道被特定STA侦听/检测和/或确定为繁忙,则特定STA可退避。一个STA(例如,仅一个站)可在给定BSS中在任何给定时间传输。
高吞吐量(HT)STA可使用40MHz宽的信道进行通信,例如,经由主20MHz信道与相邻或不相邻的20MHz信道的组合以形成40MHz宽的信道。
极高吞吐量(VHT)STA可支持20MHz、40MHz、80MHz和/或160MHz宽的信道。40MHz和/或80MHz信道可通过组合连续的20MHz信道来形成。可通过组合8个连续的20MHz信道,或通过组合两个非连续的80MHz信道(这可被称为80+80配置)来形成160MHz信道。对于80+80配置,在信道编码之后,数据可通过可将数据分成两个流的段解析器。可单独地对每个流进行快速傅里叶逆变换(IFFT)处理和时间域处理。可将这些流映射到两个80MHz信道,并且可通过发射STA来传输数据。在接收STA的接收器处,可颠倒上述用于80+80配置的操作,并且可将组合的数据发送到介质访问控制(MAC)。
802.11af和802.11ah支持低于1GHz的操作模式。相对于802.11n和802.11ac中使用的那些,802.11af和802.11ah中减少了信道操作带宽和载波。802.11af支持电视白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽,并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施方案,802.11ah可支持仪表类型控制/机器类型通信,诸如宏覆盖区域中的MTC设备。MTC设备可具有某些能力,例如有限的能力,包括支持(例如,仅支持)某些带宽和/或有限的带宽。MTC设备可包括电池寿命高于阈值(例如,以保持非常长的电池寿命)的电池。
可支持多个信道的WLAN系统以及诸如802.11n、802.11ac、802.11af和802.11ah之类的信道带宽包括可被指定为主信道的信道。主信道可具有等于由BSS中的所有STA支持的最大公共操作带宽的带宽。主信道的带宽可由来自在BSS中操作的所有STA的STA(其支持最小带宽操作模式)设置和/或限制。在802.11ah的示例中,对于支持(例如,仅支持)1MHz模式的STA(例如,MTC型设备),主信道可为1MHz宽,即使AP和BSS中的其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽操作模式。载波侦听和/或网络分配向量(NAV)设置可取决于主信道的状态。如果主信道繁忙,例如,由于STA(仅支持1MHz操作模式)正在向AP传输,即使大多数频段保持空闲并且可能可用,整个可用频段也可被视为繁忙。
在美国,可供802.11ah使用的可用频段为902MHz至928MHz。在韩国,可用频段为917.5MHz至923.5MHz。在日本,可用频段为916.5MHz至927.5MHz。802.11ah可用的总带宽为6MHz至26MHz,具体取决于国家代码。
图1D是示出根据一个实施方案的RAN 113和CN 115的系统图。如上所指出,RAN113可采用NR无线电技术通过空中接口116与WTRU 102a、102b、102c通信。RAN 113还可与CN115通信。
RAN 113可包括gNB 180a、180b、180c,但是应当理解,RAN 113可包括任何数量的gNB,同时保持与实施方案一致。gNB 180a、180b、180c各自可包括一个或多个收发器以便通过空中接口116与WTRU 102a、102b、102c通信。在一个实施方案中,gNB 180a、180b、180c可实现MIMO技术。例如,gNB 180a、108b可利用波束成形来向gNB 180a、180b、180c传输信号和/或从gNB 180a、180b、180c接收信号。因此,gNB 180a例如可使用多个天线来向WTRU102a传输无线信号和/或从WTRU 102a接收无线信号。在一个实施方案中,gNB 180a、180b、180c可实现载波聚合技术。例如,gNB 180a可向WTRU 102a(未示出)传输多个分量载波。这些分量载波的子集可在免许可频谱上,而其余分量载波可在许可频谱上。在一个实施方案中,gNB 180a、180b、180c可实现协作多点(CoMP)技术。例如,WTRU 102a可从gNB 180a和gNB180b(和/或gNB 180c)接收协作传输。
WTRU 102a、102b、102c可使用与可扩展参数集相关联的传输来与gNB 180a、180b、180c通信。例如,OFDM符号间隔和/或OFDM子载波间隔可因不同传输、不同小区和/或无线传输频谱的不同部分而变化。WTRU 102a、102b、102c可使用各种或可扩展长度的子帧或传输时间间隔(TTI)(例如,包含不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB180a、180b、180c通信。
gNB 180a、180b、180c可被配置为以独立配置和/或非独立配置与WTRU 102a、102b、102c通信。在独立配置中,WTRU 102a、102b、102c可与gNB 180a、180b、180c通信,同时也不访问其他RAN(例如,诸如演进节点B 160a、160b、160c)。在独立配置中,WTRU 102a、102b、102c可将gNB180a、180b、180c中的一者或多者用作移动性锚定点。在独立配置中,WTRU 102a、102b、102c可在未许可频带中使用信号与gNB 180a、180b、180c通信。在非独立配置中,WTRU 102a、102b、102c可与gNB 180a、180b、180c通信或连接,同时也与其他RAN(诸如,eNode-B160a、160b、160c)通信或连接。例如,WTRU 102a、102b、102c可实现DC原理以基本上同时与一个或多个gNB 180a、180b、180c和一个或多个演进节点B 160a、160b、160c通信。在非独立配置中,演进节点B 160a、160b、160c可用作WTRU 102a、102b、102c的移动性锚点,并且gNB 180a、180b、180c可提供用于服务WTRU 102a、102b、102c的附加覆盖和/或吞吐量。
gNB 180a、180b、180c中的每一者可与特定小区(未示出)相关联,并且可被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户的调度、网络切片的支持、双连接、NR和E-UTRA之间的互通、用户平面数据朝向用户平面功能(UPF)184a、184b的路由、控制平面信息朝向接入和移动性管理功能(AMF)182a、182b的路由等。如图1D所示,gNB 180a、180b、180c可通过Xn接口彼此通信。
图1D所示的CN 115可包括至少一个AMF 182a、182b、至少一个UPF 184a,184b、至少一个会话管理功能(SMF)183a、183b以及可能的数据网络(DN)185a、185b。虽然前述元件中的每一者被描绘为CN 115的一部分,但是应当理解,这些元件中的任何元件可由除CN运营商之外的实体拥有和/或操作。
AMF 182a、182b可在RAN 113中经由N2接口连接到gNBs 180a、180b、180c中的一者或多者,并且可用作控制节点。例如,AMF 182a、182b可负责认证WTRU 102a、102b、102c的用户、网络切片的支持(例如,具有不同要求的不同PDU会话的处理)、选择特定SMF 183a、183b、注册区域的管理、NAS信令的终止、移动性管理等。AMF 182a、182b可使用网络切片,以便基于WTRU 102a、102b、102c所使用的服务的类型来为WTRU 102a、102b、102c定制CN支持。例如,可针对不同的用例(诸如,依赖超高可靠低延迟(URLLC)接入的服务、依赖增强型移动宽带(eMBB)接入的服务、用于机器类型通信(MTC)接入的服务等)建立不同的网络切片。AMF182可提供用于在RAN 113和采用其他无线电技术(诸如LTE、LTE-A、LTE-A Pro和/或非3GPP接入技术,诸如WiFi)的其他RAN(未示出)之间进行切换的控制平面功能。
SMF 183a、183b可经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可选择并控制UPF184a、184b,并且配置通过UPF 184a、184b进行的流量路由。SMF 183a、183b可执行其他功能,诸如管理和分配WTRU或UE IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等。PDU会话类型可以是基于IP的、非基于IP的、基于以太网的等。
UPF 184a、184b可经由N3接口连接到RAN 113中的gNB 180a、180b、180c中的一者或多者,这些gNB可向WTRU 102a、102b、102c提供对分组交换网络(诸如互联网110)的访问,以促进WTRU 102a、102b、102c和启用IP的设备之间的通信。UPF 184、184b可执行其他功能,诸如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等。
CN 115可有利于与其他网络的通信。例如,CN 115可包括用作CN 115与PSTN 108之间的接口的IP网关(例如,IP多媒体子系统(IMS)服务器)或者可与该IP网关通信。另外,CN 115可向WTRU 102a、102b、102c提供对其他网络112的访问,该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。在一个实施方案中,WTRU 102a、102b、102c可通过UPF 184a、184b经由至UPF 184a、184b的N3接口以及UPF 184a、184b与本地数据网络(DN)185a、185b之间的N6接口连接到DN 185a、185b。
鉴于图1A至图1D以及图1A至图1D的对应描述,本文参照以下中的一者或多者描述的功能中的一个或多个功能或全部功能可由一个或多个仿真设备(未示出)执行:WTRU102a-d、基站114a-b、演进节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF182a-b、UPF 184a-b、SMF 183a-b、DN 185a-b和/或本文所述的任何其他设备。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如,仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如,该一个或多个仿真设备可执行一个或多个或所有功能,同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分,以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能,同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。
该一个或多个仿真设备可执行一个或多个(包括所有)功能,同时不被实现/部署为有线和/或无线通信网络的一部分。例如,仿真设备可在测试实验室和/或非部署(例如,测试)有线和/或无线通信网络中的测试场景中使用,以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试设备。经由RF电路(例如,其可包括一个或多个天线)进行的直接RF耦合和/或无线通信可由仿真设备用于传输和/或接收数据。
代表性架构/框架
视频编码系统可用于压缩数字视频信号,这可减少存储需要和/或视频信号的传输带宽。视频编码系统可包括基于块的、基于小波的和/或基于对象的系统。基于块的视频编码系统可以基于一个或多个标准,使用一个或多个标准,按照一个或多个标准,符合一个或多个标准,等等,该一个或多个标准诸如为MPEG-1/2/4第2部分、H.264/MPEG-4第10部分AVC、VC-1、高效视频编码(HEVC)和/或通用视频编码(VVC)。基于块的视频编码系统可包括基于块的混合视频编码框架。
图2是示出视频流式传输架构200的示例的框图。在该示例中,服务器202可包括一个或多个视频编码器(例如,编码器204、206和208),每个编码器可以以不同分辨率、帧速率或比特率生成视频比特流。可使用或配置中间框210。在一个示例中,中间框210可以是媒体感知网络元件(MANE)。中间框210可生成、转发、标识或解析输入视频比特流的高级语法,从一个输入视频比特流提取子比特流,并且/或者将所提取的子比特流输出到客户端或解码器212。中间框210可以从多个输入视频比特流中提取多个子比特流并将它们组合在一起以形成递送到客户端或解码器212的新输出视频比特流。
在各种实施方案中,一个或多个编码器(例如,编码器204、206和/或208)、中间框210和/或解码器212可在具有与存储器通信地耦接的处理器的设备中实现。存储器可包括可由处理器执行的指令,包括用于执行本文所公开的各种实施方案(例如,代表性程序)中的任一者的指令。在各种实施方案中,该设备可被配置为和/或配置有无线发射和接收单元(WTRU)的各种元件。本文在图1A至图1D和所附公开内容中提供了WTRU及其元件的示例性细节。
本申请中描述的各种方法和方面可用于修改模块,例如,如图2所示的一个或多个视频编码器(例如,编码器204、206和208)和解码器212的帧内预测、熵编码和/或解码模块。此外,本发明方面不限于VVC或HEVC,并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外,否则本申请中所述的方面可单独或组合使用。
在本申请中使用各种数值。具体值是用于示例性目的,并且所描述的方面不限于这些具体值。
用于分辨率变化的自适应程序的代表性程序
使用AVC和/或HEVC的各种方案可能不具有在不引入帧内随机接入点(IRAP)图片的情况下改变分辨率的能力。以合理质量编码的IRAP图片通常具有比非IRAP图片大得多的帧大小(例如,用于对帧进行编码的更多数量的位)。另外,IRAP图片解码更复杂。自适应分辨率变化(ARC)可以指其中空间分辨率可在非IRAP图片处改变的方案和能力中的任一者。
图3示出了ARC机制300的示例。参见图3,3号高分辨率图片帧可以用来自具有相同分辨率的2号参考图片帧的帧间预测来编码,并且5号低分辨率图片帧可以用来自具有相同分辨率的4号参考图片帧的帧间预测来编码。在ARC期间,3号高分辨率图片帧可由2号参考图片帧重建,该参考图片帧由2号低分辨率图片帧放大以用于运动补偿,并且5号低分辨率图片帧可由4号参考图片帧重建,该参考图片帧由4号高分辨率图片帧缩小以用于运动补偿。因此,分辨率切换可在一个或多个非IRAP帧上发生或执行。
在各种具体实施中,例如,多方视频会议可受益于使用ARC来处理图片和/或视频(“图片/视频”)帧,其中一个或多个或所有参与者(即,其图片/视频)单独显示在共享屏幕上,并且活动发言者(即,其图片/视频)以比其余参与者更大的视频大小显示。如果活动发言者频繁改变,则可使用ARC(例如,需要使用ARC)来有效地实现由于换入新的活动发言者和换出旧的活动发言者而导致的频繁和/或不可预测的分辨率变化。当前的自适应视频流式传输方法通常在IRAP图片之后改变视频表示比特率或分辨率以匹配不同的网络带宽。
ARC可通过消除发送一个或多个高(或大)帧大小IRAP图片的需要来改善自适应流式传输性能。ARC可减少流式传输开始延迟,因为应用程序通常在显示之前,并且例如考虑到较小大小的图片,缓冲多达一定数量的经解码图片和/或一定范围的解码时间。在当前基于运动约束图块集(MCTS)的视口自适应360度视频流下,表示视口的子图片通常使用高分辨率来递送,并且表示其他区域(例如,不在用户视野中的区域)的子图片通常使用较低分辨率来递送。当视口改变时,子图片的对应分辨率相应地改变,并且用户体验受到高质量视口的切换延迟的影响。
图4示出了视口自适应流式传输机制400的示例。从大分辨率360度视频(1号表示)中提取视口子图片(例如,前视图),并且从低分辨率360度视频(2号表示)中提取表示其他区域的子图片。所提取的子图片可组合成单个表示(例如,如图4右下方的一系列帧所示)。将所得的组成或合并的视口自适应视频递送到用户(或客户端),使得用户可体验具有减小的递送带宽的高质量视口。在用户将视口从前视图改变为右视图的情况下,在IRAP图片上提取高分辨率右视图子图片,并且形成结合高分辨率右视图子图片和低分辨率前子图片的组成或合并视频的新视频帧。因此,IRAP距离的长度可影响高质量视口切换延迟,并且高比特率IRAP图片也可增加网络和/或处理负载。ARC可实现更快的视口切换,并且可支持不同(例如,360度)视频表示的不同IRAP距离。
可通过重新缩放参考图片(例如,使用[1]和/或[2]中提出的方法)来跨分辨率预测图片/视频帧。可在图片参数集(PPS)中发信号通知图片分辨率指数(PRI)以指示切片(例如,与图片相关联)来自图片并且具有由指数指示的分辨率。可能期望允许将源自随机存取(例如,IRAP)图片的子图片和源自非随机存取(例如,非IRAP)图片的另一个子图片合并成符合通用视频编码(VVC)的相同编码图片(例如,使用[3]中提出的方案)。
用于视口切换的代表性程序
对于视口自适应流式传输(例如,结合360度视频),可以从其原始比特流和/或表示中提取对应于每个子图片的子比特流,并且可以合并多个子比特流以形成新比特流。原始比特流和/或新比特流可以是例如HEVC、VVC和/或类似类型的比特流。在当前视口自适应流式传输中,在压缩域中执行子比特流合并,并且这样做可能引入若干问题。例如,只有当所有涉及的子图片都是瞬时解码刷新(IDR)图片时才发生视口切换,以确保(在时间上)跟随的非IRAP图片具有正确的参考图片和/或参考子图片。然而,使用IDR图片可能会引入延迟问题。
图5示出了视口切换机制500,其中当前视口切换到新视口。参见图5,右视图子图片经历从较低分辨率到较高分辨率的切换,并且前视图子图片经历从较高分辨率到较低分辨率的切换,以匹配新视口。虚线表示时间帧间预测。在当前视口切换方案中,切换可仅在较高分辨率下的右视图子图片和较低分辨率下的前视图子图片两者均为IDR图片时发生,因为相同视图的随后子图片从相同分辨率子图片进帧间预测。其他子图片,诸如顶视图、后视图、左视图和底视图,不必被编码为IRAP图片,因为在具有相同分辨率的子图片上继续进行帧间预测。
根据本文提供的方法和/或技术,可以结合自适应视点切换(和/或自适应视口流式传输)来执行ARC,使得例如可以以不同分辨率从相同视图的子图片来预测子图片。图6示出了具有ARC的视口切换机制600的示例。参见图6,可以从先前的低分辨率右视图子图片预测高分辨率右视图子图片,并且可以从先前的高分辨率前视图子图片预测低分辨率前视图子图片。通过使用先前的子图片,可在不引入IRAP子图片的情况下预测要预测的子图片。可通过不引入IRAP子图片来减少切换延迟和传输比特率。
当前,VVC不指定用于这样的子图片提取和重新定位方案的解码过程,包括当相同视图的子图片可在图片内的不同位置(例如,在某些时间改变的位置)处打包时。每个子图片的运动向量可提供从解码子图片中的坐标到参考子图片中的坐标的偏移,并且坐标在具有相同分辨率的整个图片上应当是(或至少可假设为)一致的。
仍然参见图6,可以按比例放大或按比例缩小参考子图片以匹配当前子图片的分辨率,但是参考子图片和当前子图片在图片内的坐标可不同。根据本文提供的方法和/或技术,可修改当前解码过程和相关联的信令以实现和/或实施本文所公开的视口自适应方法。本文提供的方法和/或技术解决了与解码相关联的当前信令中的缺陷,包括以下缺陷:例如在基本比特流级别或系统级别,不存在用以标识映射到相同二维(2D)或三维(3D)内容区域的多个表示的子图片的集合或组的信令或元数据。
若干补充增强信息(SEI)消息指定HEVC中的矩形区域和360度视频信息。平移扫描矩形SEI消息指定一个或多个矩形区域相对于由活动SPS指定的一致性裁剪窗口的坐标。等量矩形和立方体映射投影SEI消息提供用以使得能够将投影图片的颜色样本重新映射到球体坐标空间(例如,使用球形坐标寻址)上以支持360度视频图片的信息。区域方式打包SEI消息提供用以使得能够将裁剪的解码图片的颜色样本重新映射到投影图片上的信息,以及关于保护带(如果有的话)的位置和大小的信息。然而,所有这些SEI消息都被设计用于单个表示(或层),并且因此不会跨具有不同分辨率的多个表示对子图片之间的关系进行寻址。
用于基于子图片的应用的代表性程序
对于一些基于子图片的应用,每个所提取的子图片可以被分配给新图片中的不同位置。如本文所用,子图片属性SEI消息是指包括子图片属性信息的SEI消息,该子图片属性信息可指示跨与相同源内容区域相关联的多个层或表示的一个或多个子图片或图块组(和/或限定该一个或多个子图片或图块组的属性或指示的定义属性)。在一个实施方案中,子图片属性信息可包括一个或多个附加指示符以指示一个或多个推荐的ARC切换点。另选地,子图片属性SEI消息或类似类型的SEI消息可包括指示符以指示一个或多个推荐的ARC切换点。在一个实施方案中,子图片属性信息可包括一个或多个实际的ARC切换点,例如,以实现更好的重建图片质量或应用某些约束。另选地,子图片属性SEI消息或类似类型的SEI消息可包括一个或多个实际的ARC切换点。
子图片属性SEI消息
在一个实施方案中,视频内容可被编码成多个编码版本或表示(或层)。每个表示可以以不同的分辨率和/或质量来编码。例如,对于360度视频,每个表示可以是不同的投影和/或区域方式打包格式。原始内容区域可映射到表示的不同部分,即子图片。子图片可以在不同表示中不同地旋转、缩放或投影。对应于相同内容区域的子图片的位置和大小也可跨不同的表示改变。中间框或客户端可以跨表示获取一个或多个子图片。中间框或客户端可以使用多个获取的子图片来形成用于视口相关的流式传输应用的新图片。新图片可以以不同的质量水平和/或分辨率组合不同的子图片。例如,可以执行新的图片形成以满足(例如,360度)视频客户端的流式传输需要。
在一个实施方案中,内容制作者可生成多个表示。与相同内容相关联的所有表示可被配置到多层结构中。在一个实施方案中,每个表示可为层。每个层可被独立地编码或者可取决于其他层。层ID可用于标识特定的编码视频表示。每个层可具有多个子图片。每个子图片可由唯一的子图片ID或图块组ID来标识。可以从与每个表示相关联的投影和区域方式打包SEI消息导出子图片和原始内容区域(例如,360度内容球体上的区域)之间的对应关系。然而,这样做将需要中间框或客户端解析来自每个层的多个SEI消息,并且导出过程可增加中间框或客户端的工作负荷。描述子图片属性(例如,跨多个层的子图片之间的对应关系,以及每个层中子图片到(例如,360度)视频球体上的区域的映射)的单个SEI消息或参数集可简化子图片和对应的原始内容区域之间的映射,以便于基于子图片的应用。
在一个实施方案中,可以在PPS中发信号通知子图片划分布局。可以明确地发信号通知子图片分辨率(例如,在PPS或图块组标头中)。另选地,可从图块组布局和整个图片分辨率导出子图片分辨率。为了将(例如,每个)子图片映射到对应的球体空间,子图片属性SEI消息可包括和/或提供信息,诸如层ID、图块组ID、子图片的坐标及其在球体坐标空间上的映射。SEI消息可列出可用于视口自适应流式传输和子图片的区域方式打包的任何或所有子图片。解码器可基于这样的SEI消息来标识可以或可以不与当前子图片并置的对应参考子图片。根据参考子图片的分辨率,解码器可以针对ARC缩放子图片并对齐当前子图片和参考子图片之间的坐标。
表1提供了子图片属性SEI消息语法结构的示例。表1列出了球体区域(视口)的数量和覆盖相同球体区域的子图片。表1还提供了每个重新定位的子图片相对于由活动序列参数集(SPS)指定的一致性裁剪窗口的坐标。
表1–子图片属性SEI消息的示例
Figure BDA0003294803860000211
在表1中,num_source_content_regions_minus1加1可指定由SEI消息指定的源内容区域的数量。
在表1中,source_content_region_position可指定第i个源内容区域的位置。对于2D源内容,其可以是2D坐标中区域的左上位置。对于360度视频内容,其可以是球体中心方位角和倾斜位置。
在表1中,source_content_region_size可指定第i个源内容区域的大小。对于2D源内容,其可以是区域的宽度和高度。对于360度视频内容,其可以是通过球体范围的中心点的球体区域的相对于全局坐标轴、方位角范围和仰角范围的以度为单位的倾斜角。
在表1中,num_subpics_minus1[i]加1可指定与第i个源内容区域相关联的子图片的数量。
在表1中,layer_id[i][j]可指定与第i个源内容区域相关联的第j个子图片所属的层标识符。
在表1中,subpic_coordinate[i][j]可指定与图片内的第i个源内容区域相关联的第j个子图片的坐标。其可以是子图片的左上位置或子图片的中心位置。
在表1中,subpic_id[i][j]可指定与第i个源内容区域相关联的第j个子图片的子图片ID。子图片ID和/或图块组ID可用于标识子图片。
在表1中,subpic_width[i][j]和subpic_height[i][j]可指定与第i个源内容区域相关联的第j个子图片的分辨率。
在各种实施方案中,每个子图片或子图片组的属性诸如位深度、颜色子采样、编码配置文件和/或编码级别可包括在子图片属性SEI消息中。
在各种实施方案中,子图片属性SEI消息可指示与多个表示或层中的相同源内容区域相关联的子图片的数量。解码器可确定先前图片中可用的对应参考子图片,并且从活动PPS导出参考子图片位置和大小以执行ARC。所公开的SEI消息可明确地发信号通知每个子图片的位置和大小,例如,以简化导出,使得解码器不必解析每个表示或层的参数集或SEI消息。所公开的子图片属性SEI消息的语法元素也可由诸如视频参数集(VPS)或解码器参数集(DPS)之类的跨层参数集携带。
在各种实施方案中,中间框可依赖于所公开的SEI消息。例如,中间框可基于SEI消息来提取匹配视口的子图片。中间框可使用所提取的子图片来形成ARC图片,例如以减小帧大小(例如,对帧进行编码所需的位的数量)。客户端可依赖于所提出的SEI消息。例如,客户端可基于SEI消息来标识ARC子图片和相关联的参考子图片。客户端可以将ARC子图片和参考子图片之间的坐标对齐,以用于适当的运动补偿过程。
图7示出了基于子图片的ARC机制700的示例。参见图7,可将立方体映射投影格式的每个子图片编码成两个分辨率。匹配视口的子图片可从高分辨率表示中提取。其余子图片可从低分辨率表示中提取。在各种实施方案中,子图片属性SEI消息可指示与相同源内容区域相关联的那些子图片。例如,0号图块组和6号图块组两者均覆盖左面,并且1号图块组和7号图块组两者均覆盖前面,但分辨率不同且表示不同。
在提取器提取非IRAP高分辨率子图片以匹配视口变化的情况下,提取器可用子图片属性SEI消息发信号通知ARC发生。解码器可断定右子图片和前子图片两者均为ARC子图片,因为在先前图片中2号(右)子图片和7号(前)子图片不可用。为了重建ARC子图片,解码器可解析SEI消息并且可标识跟与2号图块组和7号图块组相同的区域相关联的那些子图片。例如,1号图块组可跟与7号图块组相同的内容区域相关联,并且可以在先前解码的图片中可用。8号图块组可跟与2号图块组相同的内容区域相关联,并且可以在先前解码的图片中可用。基于从PPS导出的子图片位置和大小,解码器可按比例缩小经解码的1号子图片并按比例放大经解码的8号子图片以用于ARC运动补偿。2号子图片的每个样本的运动向量可以(例如,应该)移位2号子图片的坐标与8号子图片的坐标之间的偏移,例如,如图7中所标记的(dMVx,dMVy)。例如,偏移可相对于亮度采样栅格以十六分之一样本间距为单位。相同的运动向量移位也可应用于7号图块组的每个样本。
在一个实施方案中,可以将与相同源内容区域相关联的所有子图片分配给子图片组,每个子图片组可以具有其自身的唯一ID。子图片组ID及其属性诸如区域位置和大小可以携带在图块组标头中,或PPS图块组布局语法字段中。
在一个实施方案中,SEI属性消息可以在ARC期间发信号通知当前子图片及其相关联的参考子图片的属性,包括标识符、坐标、子图片大小、位深度、色度子采样、投影格式、区域方式打包等。表2提供了ARC子图片属性SEI消息的示例。
表2–ARC子图片属性SEI消息的示例
Figure BDA0003294803860000231
Figure BDA0003294803860000241
在表2中,num_arc_subpics_minus1加1可指定与自适应分辨率变化相关联的子图片的数量。
在表2中,arc_subpic_id[i]和arc_subpic_id[i]可指定第i个ARC子图片和相关联的参考子图片的标识符。
在表2中,arc_subpic_coordinate[i]和arc_subpic_size[i]可指定第i个ARC子图片的坐标(例如中心或左上样本位置)和大小。
在表2中,reference_subpic_coordinate[i]和reference_subpic_size[i]可指定第i个ARC子图片的参考子图片的坐标(例如中心或左上样本位置)和大小。
在各种实施方案中,ARC子图片SEI消息可包括指示ARC子图片和相关联的参考子图片的格式的信息,包括位深度、颜色子采样、编码配置文件和/或编码级别。
在各种实施方案中,ARC子图片SEI消息可包括指示ARC之后的编码子图片和ARC之前的对应参考子图片的信息。客户端可基于此类指示缩放或变换(例如,镜像、缩放或旋转)对应参考图片以用于运动补偿。消息可以(例如,通常)由提取和重新定位子图片比特流的中间框或提取器生成。消息可以(例如,应该)附加到ARC图片。基于这样的消息,客户端或解码器可标识ARC子图片和相关联的参考子图片,并且对齐两个子图片之间的坐标以用于运动补偿。
推荐的ARC转变SEI消息
在各种实施方案中,ARC可以使用缩放重建图片作为参考图片,例如,以避免高比特率IDR或IRAP图片和/或保持可接受的解码图片质量。可存在相同内容的多个版本的编码视频。包括重建图片质量和误差传播的ARC转变性能可取决于缩放滤波器设计、参考图片和时间层。
图8示出了时间可缩放性机制800,其中4号POC上的ARC转变可能不会引起误差传播。根据子图片在不同版本和编码结构之间的相关性,编码器可知道最佳ARC转变点。例如,编码器可在每个IRAP间隔或图片组(DSP)间隔内模拟ARC以确定ARC的转变点。
图9示出了确定最佳ARC转变点的示例。除了常规的时间帧间预测和运动补偿之外,编码器可通过参考来自不同表示的缩放图片来模拟重建图片,并计算PSNR,并且将实现最高峰值信噪比(PSNR)的图片标记为推荐的ARC转变点。
在一个实施方案中,为了确定ARC转变点(例如,3号POC),机制900可以在两个表示之间周期性地执行如SHVC中指定的层间预测。当执行ARC时,附加层间编码数据可被递送给最终用户。
图10示出了示例性机制1000,其中从缩放的低分辨率IRAP图片周期性地预测高分辨率表示图片。这些图片被标记为ARC转变图片。从低分辨率到高分辨率表示的转变可仅在这些ARC转变点处发生,而从高分辨率到低分辨率表示的转变可在任何低分辨率IRAP图片处发生,因为低分辨率IRAP图片的大小比高分辨率IRAP图片的大小小得多。当执行ARC时,低分辨率IRAP图片可以作为高分辨率图片的层间参考图片被携带在比特流中。
仍然参见图10,1号比特流可以是具有周期性IRAP图片的时间预测低分辨率编码流,2号比特流可以是具有从低分辨率IRAP图片层间预测的ARC图片的时间预测高分辨率编码流。ARC转变比特流可包括低分辨率参考图片(4号POC)、层间预测的ARC图片(4号POC)和随后的时间预测的高分辨率图片。
在各种实施方案中,推荐的ARC转变SEI消息可以包括在子图片属性SEI消息中,或者被单独使用或传输。推荐的ARC转变SEI消息可包括高分辨率表示的POC值、具有表示ID(诸如层ID或图块组ID)的对应下层参考图片的POC值、缩放滤波器系数和预测方法(例如,时间预测或层间预测)。
表3提供了推荐的ARC转变SEI消息的示例性语法。该消息标识推荐的ARC子图片与其层ID、POC值和子图片ID。该消息还指示推荐从其切换的多个子图片。缩放滤波器可支持定制的缩放滤波器以改善ARC质量。
表3–推荐的ARC转变SEI消息的示例
Figure BDA0003294803860000261
在表3中,arc_layer_id可指定ARC子图片与其相关联的层的标识符。
在表3中,arc_poc_lsb可指定ARC子图片的POC LSB值。
在表3中,arc_subpic_id可指定ARC子图片的标识符。
在表3中,num_ref_subpic_minus1加一可指定从ARC期间切换的推荐子图片的数量。
在表3中,reference_subpic_id[i]可指定从ARC期间切换的第i个子图片。
在表3中,scaling_filter可以是包含推荐的缩放滤波器系数的结构。
在各种实施方案中,SEI消息可提供多个推荐的ARC转变点并对这些点进行优先级排序。可以在SEI消息中发信号通知优先级指示符以指示执行ARC的子图片的优先级。较高的优先级指示可以在相关联的子图片上实现更好的ARC性能。
ARC切换指示符
指示符可用于在SEI消息中发信号通知PPS或子图片相关参数集以向解码器指示ARC发生。指示符可携带参数诸如层ID和POC号。由于ARC切换点之后的一些图片将使用缩放的图片作为参考,因此运动补偿误差可能损害依赖于准确时间信息和参考样本的那些编码工具的性能。例如,双向光流(BDOF)需要使用来自前向和后向预测的两个时间预测之间的差值和空间梯度,基于时间预测信号导出每个4×4子块的Δ运动向量。在ARC切换点之后参考图片的空间缩放之后,时间差和空间梯度两者均将改变,导出结果将极大地改变。解码器侧运动向量细化(DMVR)使用来自两个参考图片的两个时间预测来导出编码单元内的每个子块(例如,16×16)的Δ运动向量。如果缩放时间参考图片,则将改变导出结果。解码器侧导出相关的编码技术诸如BDOF和DMVR应在ARC图片和解码顺序中下一个IRAP图片之前的所有后续图片处被禁用。在各种实施方案中,这些编码技术可基于在ARC相关SEI消息中发信号通知的指示符而被禁用,或者它们可基于缩放比率而被自适应地禁用。如果缩放比率接近1,则它们可被启用;否则,如果缩放比率远离1,则它们可被禁用。禁用那些编码工具可进一步减少解码器工作负荷和功率消耗,而不影响编码性能。
时间运动向量预测(TMVP)和子块时间运动向量预测(SbTMVP)也可由于分辨率变化而由于运动向量缩放受到影响,并且运动向量误差可由于运动向量预测而在一个图片内传播。由于运动补偿,运动向量的误差对图片质量具有很大影响。在各种实施方案中,编码器可在对那些图片(诸如可能受参考图片缩放和运动向量缩放影响的ARC切换点之后的那些帧间图片)进行编码时禁用这些解码器侧导出相关的编码技术TMVP和SbTMVP,使得图片质量在ARC切换之后将不会影响过多。
在各种实施方案中,指示或标志(例如,约束标志)可用于指示是否在ARC转变点处禁用一个或多个编码工具(例如,预先确定的编码工具)。在一个示例中,解码器可检测SPS中设置的约束标志,并且约束标志指示一个或多个编码工具的约束应用于整个编码视频序列(CVS)。例如,基于层的空间可缩放性可允许从低分辨率(例如,基底层)图片预测每个高分辨率增强图片,并且一个或多个编码工具的约束应用于每个增强层(例如,除了作为比特流中的第一层的基底层之外的层)帧。对于单层序列,编码器可在某些或每个确定的帧上设置约束标志以用于ARC转变。解码器可以以切片级检测标志并且对相关联的帧(例如,包含切片的帧)执行ARC。
表4提供了SPS的示例性语法,包括约束标志sps_arc_constraint_flag,其在SPS中用信号通知。
表4–SPS语法的示例
Figure BDA0003294803860000271
Figure BDA0003294803860000281
在表4中,sps_arc_constraint_flag是约束标志。当sps_arc_constraint_flag的值等于1时,其指示或指定应针对与SPS相关联的CVS禁用编码工具TMVP、DMVR和/或BDOF(例如,具有等于0的值的slice_temporal_mvp_enabled_flag、bdofFlag和/或dmvrFlag)。当sps_arc_constraint_flag具有等于0的值时,该标志指示或指定其不施加约束。
表5提供了切片标头的示例性语法。在切片标头中发信号通知约束标志slice_arc_constraint_flag。
表5–切片标头语法的示例
Figure BDA0003294803860000282
在表5中,slice_arc_constraint_flag是约束标志。当slice_arc_constraint_flag的值等于1时,其指示或指定应针对相关联的切片禁用编码工具TMVP、DMVR和/或BDOF(例如,具有等于0的值的相关联切片的slice_temporal_mvp_enabled_flag、bdofFlag和/或dmvrFlag)。当slice_arc_constraint_flag具有等于0的值时,该标志指示或指定其不施加约束。当slice_arc_constraint_flag不存在时,推断具有等于1的值。
在各种实施方案中,编码工具的约束(例如,如使用上述一个或多个约束标志发信号通知的)可指示在ARC转变之后要禁用的已知或固定工具集合(或提供对其的参考)。例如,编码工具的约束可在ARC转变之后和/或直到下一个IRAP图片之前禁用BDOF和DMVR。在另一个实施方案中,可在语法中提供附加信令(例如,一个或多个附加标志)以自适应地指定当编码工具的约束有效时哪些编码工具要被禁用。例如,第一标志可指定BDOF是否将被编码工具的约束禁用,第二标志可指定DMVR是否将被编码工具的约束禁用,并且一个或多个附加标志可指定其他工具是否将被编码工具的约束禁用。
在各种实施方案中,表6提供了VPS的示例性语法,其中使用全层独立标志来指示每个层被独立地编码,使得不需要指定层之间的依赖性。
表6–VPS语法的示例
Figure BDA0003294803860000291
在表6中,等于1的vps_all_layers_independent_flag可指定每个层(由VPS指定)是独立层,并且等于0的vps_all_layers_independent_flag可指定一个或多个层(由VPS指定)可以不是独立层。当vps_all_layers_independent_flag被设置为1时,不必发信号通知层依赖性信令(例如,direct_dependency_flag)。
在各种实施方案中,提供了用于通信系统中的图片和/或视频编码的方法和装置。例如,方法可包括在SEI消息中选择性地包括子图片属性信息以与视口的自适应切换一起使用,以及生成/传输SEI消息。该方法还可包括标识与视口相关联的子图片集合,以及标识与所标识的子图片集合相关联的子图片属性信息。在一个示例中,在SEI消息中选择性地包括子图片属性信息可包括生成包括所标识的子图片属性信息的SEI消息。
在各种实施方案中,子图片属性信息指示和/或包括以下中的任一者:一个或多个层标识(ID)、一个或多个图块组ID、每个子图片的坐标、子图片集合中的每个子图片的位置和格式、要映射到图片的球体坐标空间上的每个子图片的映射信息、一个或多个子图片的位深度、颜色子采样信息、编码配置文件、以及编码级别。
在各种实施方案中,该方法可包括生成语法以指示SEI消息中的子图片属性信息。
在各种实施方案中,子图片集合可以是与图片相关联的图块组集合。
在各种实施方案中,方法可包括在SEI消息中选择性地包括子图片属性信息以结合视口的自适应切换与ARC一起使用,以及生成/传输SEI消息。在一个示例中,子图片属性信息可包括指示低分辨率子图片和高分辨率子图片中的任一者的信息,ARC可应用于该低分辨率子图片和高分辨率子图片中的任一者以用于视口的自适应切换。一个示例中,低分辨率子图片和高分辨率子图片与用于视口的相同源内容区域相关联。
在各种实施方案中,可在包括第一IRAP图片的帧之后并且在包括第二IRAP图片的下一帧之前传输SEI消息。
在各种实施方案中,本文所讨论的方法中的任一种方法可包括标识与可用于ARC的图片相关联的子图片集合,并且子图片集合包括低分辨率子图片和高分辨率子图片;以及标识与所标识的子图片集合相关联的子图片属性信息。在一个示例中,在SEI消息中选择性地包括子图片属性信息可包括生成包括所标识的子图片属性信息的SEI消息。
在各种实施方案中,方法可包括接收SEI消息,该SEI消息包括与视口的自适应切换一起使用的子图片属性信息;以及基于子图片属性信息来执行ARC。
在各种实施方案中,子图片属性信息可包括指示低分辨率子图片和高分辨率子图片中的任一者的信息,ARC可应用于该低分辨率子图片和高分辨率子图片中的任一者以用于视口的自适应切换。
在各种实施方案中,可以至少部分地通过将所指示的低分辨率子图片调整为高分辨率子图片并且/或者将所指示的高分辨率子图片调整为低分辨率子图片来执行ARC。
在各种实施方案中,执行ARC可包括基于子图片属性信息结合视口的自适应切换来执行ARC。
在各种实施方案中,可在不引入IRAP图片帧的情况下执行ARC。
在各种实施方案中,可以至少部分地通过将所指示的低分辨率子图片调整为高分辨率子图片并且将所指示的高分辨率子图片调整为低分辨率子图片来执行ARC。
在各种实施方案中,本文所讨论的方法中的任一种方法可包括对所接收的SEI消息进行解码。
在各种实施方案中,执行ARC可以包括基于子图片属性信息按比例放大低分辨率子图片。
在各种实施方案中,执行ARC可以包括基于子图片属性信息按比例缩小高分辨率子图片。
在各种实施方案中,执行ARC可包括基于子图片属性信息将子图片集合和对应的参考子图片集合之间的坐标对齐。
在各种实施方案中,执行ARC可以包括基于子图片属性信息确定子图片的位置和格式,确定对应的参考子图片的分辨率,基于所确定的位置和格式以及参考子图片的分辨率来缩放子图片的分辨率,以及将所缩放的子图片映射到图片的对应坐标。
各种实施方案中,子图片可包括图块组。
在各种实施方案中,本文讨论的方法中的任一种方法可包括基于子图片属性信息来确定对应的参考子图片是否与子图片并置。
在各种实施方案中,SEI消息可包括具有子图片属性信息的语法。
各种实施方案中,语法可由跨层参数集携带。
在各种实施方案中,子图片属性信息可指示每个重新定位的子图片相对于一致性裁剪窗口的坐标。
在各种实施方案中,本文讨论的方法中的任一种方法可包括确定一个或多个先前图片中可用的对应参考子图片,以及基于子图片属性信息导出对应参考子图片的位置和格式。
在各种实施方案中,子图片属性信息可指示包括一个或多个低分辨率子图片和一个或多个高分辨率子图片的子图片集合的属性。
在各种实施方案中,方法可包括标识ARC切换点,其中ARC切换点之后的一个或多个图片使用缩放的图片作为参考;以及发送指示ARC切换点的指示符。
在各种实施方案中,指示符以以下中的任一者传输:SEI消息、图片参数集(PPS)和子图片相关的参数集。
在各种实施方案中,指示符包括参数,其中参数包括以下中的任一者:层ID和图片顺序计数(POC)值。
在各种实施方案中,方法可包括接收指示ARC切换点的指示符,以及标识ARC切换点和缩放的图片。在各种实施方案中,在ARC切换点之后接收的一个或多个图片可以使用缩放图片作为参考。
在各种实施方案中,方法可包括标识与可用于或推荐为执行ARC的图片相关联的子图片集合,以及生成/发送指示子图片集合的一个或多个参数的SEI消息。
在各种实施方案中,上文讨论的一个或多个参数可包括以下中的任一者:图片的高分辨率表示的POC值、具有表示ID的对应较低层参考图片的POC值、一个或多个缩放滤波器系数和预测方法。
在各种实施方案中,表示ID可以是层ID或图块组ID。
在各种实施方案中,预测方法可包括以下中的任一者:时间预测和层间预测。
在各种实施方案中,语法可指示子图片集合中的子图片的信息,其中该信息包括以下中的任一者:层ID、POC值以及与子图片相关联的子图片ID。
在各种实施方案中,方法可包括接收与图片相关联的SEI消息,以及基于SEI消息中指示的一个或多个参数来标识被推荐为执行ARC的子图片集合,以及从子图片集合中选择一个或多个子图片以执行ARC。
在各种实施方案中,SEI消息可包括指示子图片集合中的相应子图片的优先级的优先级指示符。
在各种实施方案中,本文所讨论的优先级可以是指示相应子图片上的更好ARC性能的高优先级。
在各种实施方案中,装置可包括实现或执行本文所讨论的任何方法的一个或多个处理器、编码器、解码器、发射器、接收器和/或存储器。
在各种实施方案中,中间框可包括实现或执行本文所讨论的任何方法的一个或多个处理器、编码器、解码器、发射器、接收器和/或存储器。
以下参考文献中的每个参考文献以引用方式并入本文:[1]JCTVC-F158,“Resolution switching for coding efficiency and resilience(用于编码效率和弹性的分辨率切换)”,2011年7月;[2]JVET-M0135,“On adaptive resolution change for VVC(用于VVC的自适应分辨率变化)”,2019年1月;[3]JVET-M0259,“Use cases and proposeddesign choices or adaptive resolution changing(用例和提议的设计选择或自适应分辨率改变)”,2019年1月;[4]JVET-M0261,“AHG12:On grouping of tiles(AHG12:图块的分组)”,2019年1月;以及[5]美国临时专利申请No.62/775,130。
结论
尽管上文以特定组合描述了特征和元件,但是本领域的普通技术人员将理解,每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。另外,本文所述的方法可在结合于计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实现。非暂态计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如CD-ROM磁盘和数字通用光盘(DVD))。与软件相关联的处理器可用于实现用于WTRU 102、UE、终端、基站、RNC或任何主计算机的射频收发器。
此外,在上述实施方案中,指出了处理平台、计算系统、控制器、以及包含处理器的其他设备。这些设备可包含至少一个中央处理单元(“CPU”)和存储器。根据计算机编程领域的技术人员的实践,对动作和操作或指令的符号表示的引用可由各种CPU和存储器执行。此类动作和操作或指令可被认为是正在“执行的”、“计算机执行的”或“CPU执行的”。
本领域的普通技术人员将会知道,动作和符号表示的操作或指令包括CPU对电信号的操纵。电系统表示数据位,这些数据位可导致电信号的最终变换或电信号的减少以及对在存储器系统中的存储器位置处的数据位的保持,从而重新配置或以其他方式改变CPU的操作以及进行信号的其他处理。保持数据位的存储器位置是具有与数据位对应或表示数据位的特定电属性、磁属性、光学属性或有机属性的物理位置。应当理解,代表性实施方案不限于上述平台或CPU,并且其他平台和CPU也可支持所提供的方法。
数据位还可保持在计算机可读介质上,该计算机可读介质包括磁盘、光盘和CPU可读的任何其他易失性(例如,随机存取存储器(“RAM”))或非易失性(例如,只读存储器(“ROM”))海量存储系统。计算机可读介质可包括协作或互连的计算机可读介质,该协作或互连的计算机可读介质唯一地存在于处理系统上或者分布在多个互连的处理系统中,该多个互连的处理系统相对于该处理系统可以是本地的或远程的。应当理解,代表性实施方案不限于上述存储器,并且其他平台和存储器也可支持所述的方法。
在例示性实施方案中,本文所述的操作、过程等中的任一者可实现为存储在计算机可读介质上的计算机可读指令。计算机可读指令可由移动单元、网络元件和/或任何其他计算设备的处理器执行。
在系统的各方面的硬件具体实施和软件具体实施之间几乎没有区别。硬件或软件的使用通常是(例如但不总是,因为在某些上下文中,硬件和软件之间的选择可能会变得很重要)表示在成本与效率之间权衡的设计选择。可存在可影响本文所述的过程和/或系统和/或其他技术的各种媒介(例如,硬件、软件和/或固件),并且优选的媒介可随部署过程和/或系统和/或其他技术的上下文而变化。例如,如果实施者确定速度和准确度最重要,则实施者可选择主要为硬件和/或固件的媒介。如果灵活性最重要,则实施者可选择主要为软件的具体实施。另选地,实施者可选择硬件、软件和/或固件的一些组合。
上述详细描述已经通过使用框图、流程图和/或示例列出了设备和/或过程的各种实施方案。在此类框图、流程图和/或示例包含一个或多个功能和/或操作的情况下,本领域的技术人员应当理解,此类框图、流程图或示例内的每个功能和/或操作可单独地和/或共同地由广泛范围的硬件、软件、固件或几乎它们的任何组合来实现。合适的处理器包括(以举例的方式示出)通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、专用标准产品(ASSP)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)和/或状态机。
尽管上文以特定组合提供了特征和元件,但是本领域的普通技术人员将理解,每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。本公开并不限于就本专利申请中所述的具体实施方案而言,这些具体实施方案旨在作为各个方面的例证。在不脱离本发明的实质和范围的前提下可进行许多修改和变型,因其对于本领域的技术人员而言将是显而易见的。除非明确如此提供,否则本申请说明书中使用的任何元件、动作或说明均不应理解为对本发明至关重要或必要。根据前面的描述,除了本文列举的那些之外,在本公开的范围内的功能上等同的方法和装置对于本领域的技术人员而言将是显而易见的。此类修改和变型旨在落入所附权利要求书的范围内。本公开仅受限于所附权利要求的条款以及此类享有权利的权利要求的等同形式的全部范围。应当理解,本公开不限于特定的方法或系统。
还应当理解,本文所用的术语仅用于描述具体实施方案的目的,并非旨在进行限制。如本文所用,当在本文中提及时,术语“站”及其缩写“STA”、“用户装备”及其缩写“UE”可意指:(i)无线发射和/或接收单元(WTRU),诸如下文所述;(ii)WTRU的若干实施方案中的任一个实施方案,诸如下文所述;(iii)具有无线功能和/或具有有线功能(例如,可拴系)的设备配置有(特别是)WTRU的一些或全部结构和功能,诸如下文所述;(iii)具有无线功能和/或具有有线功能的设备配置有少于WTRU的全部结构和功能的结构和功能,诸如下文所述;或(iv)等。下文相对于图1A至图1D提供可代表本文所述的任何UE或移动设备(或可与其互换)的示例性WTRU的细节。
在某些代表性实施方案中,本文所述主题的若干部分可经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)和/或其他集成格式来实现。然而,本领域的技术人员将认识到,本文所公开的实施方案的一些方面整体或部分地可等效地在集成电路中实现为在一个或多个计算机上运行的一个或多个计算机程序(例如,在一个或多个计算机系统上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(例如,在一个或多个微处理器上运行的一个或多个程序)、固件或几乎它们的任何组合,并且根据本公开,设计电路和/或写入软件和/或固件的代码将完全在本领域技术人员的技术范围内。另外,本领域的技术人员将会知道,本文所述主题的机制可以多种形式作为程序产品分布,并且本文所述主题的例示性实施方案适用,而不管用于实际执行该分布的信号承载介质的具体类型如何。信号承载介质的示例包括但不限于以下各项:可记录类型介质(诸如软盘、硬盘驱动器、CD、DVD、数字磁带、计算机存储器等);和传输类型介质(诸如数字和/或模拟通信介质(例如,光纤电缆、波导、有线通信链路、无线通信链路等))。
本文所述的主题有时示出了包含在不同的其他部件内或与不同的其他部件连接的不同的部件。应当理解,此类描绘的架构仅仅是示例,并且事实上可实现达成相同功能的许多其他架构。在概念意义上,达成相同功能的部件的任何布置是有效“相关联的”,使得可实现期望的功能。因此,本文组合以达成特定功能的任何两个部件可被视为彼此“相关联”,使得实现期望的功能,而与架构或中间部件无关。同样,如此相关联的任何两个部件也可被视为彼此“可操作地连接”或“可操作地耦合”以实现期望的功能,并且能够如此相关联的任何两个部件也可被视为“可操作地可耦合”于彼此以实现期望的功能。可操作地可耦合的具体示例包括但不限于可物理配合和/或物理交互的部件和/或可无线交互和/或无线交互的部件和/或逻辑交互和/或可逻辑交互的部件。
关于本文使用的基本上任何复数和/或单数术语,本领域的技术人员可根据上下文和/或应用适当地从复数转换成单数和/或从单数转换成复数。为清楚起见,本文可明确地列出了各种单数/复数排列。
本领域的技术人员应当理解,一般来讲,本文尤其是所附权利要求(例如,所附权利要求的主体)中使用的术语通常旨在作为“开放式”术语(例如,术语“包括”应解释为“包括但不限于”,术语“具有”应解释为“具有至少”,术语“包含”应解释为“包含但不限于”等)。本领域的技术人员还应当理解,如果意图说明特定数量的引入的权利要求叙述对象,则此类意图将在权利要求中明确叙述,并且在不存在此类叙述对象的情况下,不存在此类意图。例如,在预期仅一个项目的情况下,可使用术语“单个”或类似的语言。为了有助于理解,以下所附权利要求和/或本文的描述可包含使用引导短语“至少一个”和“一个或多个”来引入权利要求叙述对象。然而,此类短语的使用不应理解为暗示通过不定冠词“一个”或“一种”将包含此类引入的权利要求叙述对象的任何特定权利要求限制为包含仅一个此类叙述对象的实施方案来引入权利要求叙述对象。即使当同一权利要求包括引导短语“一个或多个”或“至少一个”和不定冠词诸如“一个”或“一种”(例如,“一个”和/或“一种”应解释为意指“至少一个”或“一个或多个”)时,也是如此。这同样适用于使用用于引入权利要求叙述对象的定冠词。另外,即使明确叙述了特定数量的引入的权利要求叙述对象,本领域的技术人员也将认识到,此类叙述应解释为意指至少所述的数量(例如,在没有其他修饰语的情况下,对“两个叙述对象”的裸叙述意指至少两个叙述对象、或者两个或更多个叙述对象)。
另外,在使用类似于“A、B和C等中的至少一者”的惯例的那些实例中,一般来讲,此类构造的含义是本领域的技术人员将理解该惯例(例如,“具有A、B和C中的至少一者的系统”将包括但不限于单独具有A、单独具有B、单独具有C、同时具有A和B、同时具有A和C、同时具有B和C和/或同时具有A、B和C等的系统)。在使用类似于“A、B或C等中的至少一者”的惯例的那些实例中,一般来讲,此类构造的含义是本领域的技术人员将理解该惯例(例如,“具有A、B或C中的至少一者的系统”将包括但不限于单独具有A、单独具有B、单独具有C、同时具有A和B、同时具有A和C、同时具有B和C和/或同时具有A、B和C等的系统)。本领域的技术人员还应当理解,事实上,无论在说明书、权利要求书还是附图中,呈现两个或更多个另选术语的任何分离的词语和/或短语都应当理解为设想包括术语中的一个术语、术语中的任一个术语或这两个术语的可能性。例如,短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。另外,如本文所用,后面跟着列出多个项目和/或多个项目类别的术语“…中的任一个”旨在包括单独的或与其他项目和/或其他项目类别结合的项目和/或项目类别“中的任一个”、“的任何组合”、“的任何倍数”和/或“的倍数的任何组合”。此外,如本文所用,术语“组”或“群组”旨在包括任何数量的项目,包括零。另外,如本文所用,术语“数量”旨在包括任何数量,包括零。
另外,在根据马库什群组描述本公开的特征或方面的情况下,由此本领域的技术人员将认识到,也根据马库什群组的任何单独的成员或成员的子群组来描述本公开。
如本领域的技术人员将理解的,出于任何和所有目的(诸如就提供书面描述而言),本文所公开的所有范围还涵盖任何和所有可能的子范围以及它们的子范围的组合。任何列出的范围均可容易地被识别为充分地描述并且使得相同的范围能够被划分成至少相等的两半、三分之一、四分之一、五分之一、十分之一等。作为非限制性示例,本文所讨论的每个范围可容易地被划分成下三分之一、中三分之一和上三分之一等。如本领域的技术人员还将理解的,诸如“最多至”、“至少”、“大于”、“小于”等的所有语言包括所引用的数字并且是指随后可被划分为如上所述的子范围的范围。最后,如本领域的技术人员将理解的,范围包括每个单独的数字。因此,例如具有1至3个单元的群组是指具有1、2或3个单元的群组。类似地,具有1至5个单元的群组是指具有1、2、3、4或5个单元的群组等。
此外,除非另有说明,否则权利要求书不应被理解为受限于所提供的顺序或元件。另外,在任何权利要求中使用术语“用于…的装置”旨在调用35 U.S.C.§112,
Figure BDA0003294803860000381
6或装置加功能的权利要求格式,并且没有术语“用于…的装置”的任何权利要求并非意在如此。
与软件相关联的处理器可用于实现射频收发器在无线发射接收单元(WTRU)、用户设备(UE)、终端、基站、移动性管理实体(MME)或演进分组核心(EPC)或任何主机中的使用。WTRU可与模块结合使用,可在包括以下部件的硬件和/或软件中实现:软件无线电(SDR)和其他部件,诸如相机、视频相机模块、可视电话、扬声电话、振动设备、扬声器、麦克风、电视收发器、免提头戴式耳机、键盘、
Figure BDA0003294803860000391
模块、调频(FM)无线电单元、近场通信(NFC)模块、液晶显示器(LCD)显示单元、有机发光二极管(OLED)显示单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器和/或任何无线局域网(WLAN)或超宽带(UWB)模块。
虽然已经根据通信系统描述了本发明,但是可设想,该系统可在微处理器/通用计算机(未示出)上的软件中实现。在某些实施方案中,各种部件的功能中的一个或多个功能可在控制通用计算机的软件中实现。
另外,虽然本文参考具体实施方案示出和描述了本发明,但本发明并非旨在限于所示的细节。相反,在不脱离本发明的情况下,可在权利要求的等同形式的领域和范围内对细节进行各种修改。
在整个公开内容中,技术人员应当理解,某些代表性实施方案可替代地或与其他代表性实施方案结合使用。
尽管上文以特定组合描述了特征和元件,但是本领域的普通技术人员将理解,每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。另外,本文所述的方法可在结合于计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实现。非暂态计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如CD-ROM磁盘和数字通用光盘(DVD))。与软件相关联的处理器可用于实现用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发器。
此外,在上述实施方案中,指出了处理平台、计算系统、控制器、以及包含处理器的其他设备。这些设备可包含至少一个中央处理单元(“CPU”)和存储器。根据计算机编程领域的技术人员的实践,对动作和操作或指令的符号表示的引用可由各种CPU和存储器执行。此类动作和操作或指令可被认为是正在“执行的”、“计算机执行的”或“CPU执行的”。
本领域的普通技术人员将会知道,动作和符号表示的操作或指令包括CPU对电信号的操纵。电系统表示数据位,这些数据位可导致电信号的最终变换或电信号的减少以及对在存储器系统中的存储器位置处的数据位的保持,从而重新配置或以其他方式改变CPU的操作以及进行信号的其他处理。保持数据位的存储器位置是具有与数据位对应或表示数据位的特定电属性、磁属性、光学属性或有机属性的物理位置。
数据位还可保持在计算机可读介质上,该计算机可读介质包括磁盘、光盘和CPU可读的任何其他易失性(例如,随机存取存储器(“RAM”))或非易失性(例如,只读存储器(“ROM”))海量存储系统。计算机可读介质可包括协作或互连的计算机可读介质,该协作或互连的计算机可读介质唯一地存在于处理系统上或者分布在多个互连的处理系统中,该多个互连的处理系统相对于该处理系统可以是本地的或远程的。应当理解,代表性实施方案不限于上述存储器,并且其他平台和存储器也可支持所述的方法。
合适的处理器包括(以举例的方式示出)通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、专用标准产品(ASSP)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)和/或状态机。
虽然已经根据通信系统描述了本发明,但是可设想,该系统可在微处理器/通用计算机(未示出)上的软件中实现。在某些实施方案中,各种部件的功能中的一个或多个功能可在控制通用计算机的软件中实现。
另外,虽然本文参考具体实施方案示出和描述了本发明,但本发明并非旨在限于所示的细节。相反,在不脱离本发明的情况下,可在权利要求的等同形式的领域和范围内对细节进行各种修改。

Claims (21)

1.一种方法,所述方法包括:
确定与参数集相关联的一个或多个层;
生成语法元素,所述语法元素包括指出与所述参数集相关联的所述一个或多个层是否被独立编码的指示;以及
生成包括所述语法元素的消息。
2.根据权利要求1所述的方法,其中所述指示是指出与所述参数集相关联的所述一个或多个层中的每个层被独立编码的全层独立标志。
3.根据权利要求1所述的方法,其中所述指示指出将不发信号通知层依赖性信息。
4.根据权利要求1所述的方法,其中所述指示指出与所述参数集相关联的所述一个或多个层中的至少一个层未被独立地编码。
5.根据权利要求1所述的方法,其中所述参数集是跨层参数集。
6.根据权利要求5所述的方法,其中所述跨层参数集是视频参数集(VPS)或解码器参数集(DPS)。
7.根据权利要求1所述的方法,还包括发送包括所述语法元素的所述消息。
8.一种方法,所述方法包括:
接收至少包括语法元素的消息;
从所述语法元素确定指出与参数集相关联的每个层是否被独立编码的指示;以及
基于所述指示对与所述参数集相关联的一个或多个层进行解码。
9.根据权利要求8所述的方法,其中所述指示是指出与所述参数集相关联的每个层被独立编码的全层独立标志。
10.根据权利要求8所述的方法,其中所述指示指出与所述参数集相关联的每个层被独立地编码,并且将不发信号通知层依赖性信息。
11.根据权利要求8所述的方法,其中所述指示指出与所述参数集相关联的至少一个层未被独立地编码。
12.根据权利要求11所述的方法,还包括:
接收未被独立编码的所述至少一个层的层依赖性信息,并且
其中对所述一个或多个层进行解码包括使用所接收的层依赖性信息对所述至少一个层进行解码。
13.根据权利要求8所述的方法,其中所述参数集是跨层参数集。
14.根据权利要求13所述的方法,其中所述跨层参数集是视频参数集(VPS)或解码器参数集(DPS)。
15.一种方法,所述方法包括:
在补充增强信息(SEI)消息中选择性地包括用于与视口的自适应切换一起使用的子图片属性信息;以及
在比特流中包括所述SEI消息。
16.根据权利要求15所述的方法,还包括:
标识与所述视口相关联的子图片集合;以及
标识与所标识的子图片集合相关联的所述子图片属性信息,其中在所述SEI消息中选择性地包括所述子图片属性信息包括:
生成包括所标识的子图片属性信息的所述SEI消息。
17.根据权利要求15所述的方法,其中所述子图片属性信息指示或包括以下中的任一者:一个或多个层标识(ID)、一个或多个图块组ID、每个子图片的坐标、所述子图片集合中的每个子图片的位置和格式、要映射到所述图片的球体坐标空间上的每个子图片的映射信息、一个或多个子图片的位深度、颜色子采样信息、编码配置文件、以及编码级别。
18.根据权利要求15所述的方法,其中在所述SEI消息中选择性地包括所述子图片属性信息包括:
生成语法以指示所述SEI消息中的所述子图片属性信息。
19.根据权利要求16所述的方法,其中所述子图片集合是与所述图片相关联的图块组集合。
20.一种方法,所述方法包括:
接收与图片相关联的补充增强信息(SEI)消息;
基于所述SEI消息中所指示的一个或多个参数来标识被推荐为执行自适应分辨率变化(ARC)的子图片集合;以及
从所述子图片集合中选择一个或多个子图片以执行所述ARC。
21.一种装置,所述装置包括被配置为执行根据权利要求1至20中任一项所述的方法的一个或多个处理器。
CN202080027777.0A 2019-03-11 2020-03-11 用于子图片自适应分辨率变化的方法和装置 Pending CN113678463A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962816686P 2019-03-11 2019-03-11
US62/816,686 2019-03-11
US201962866528P 2019-06-25 2019-06-25
US62/866,528 2019-06-25
PCT/US2020/022006 WO2020185842A1 (en) 2019-03-11 2020-03-11 Methods and apparatus for sub-picture adaptive resolution change

Publications (1)

Publication Number Publication Date
CN113678463A true CN113678463A (zh) 2021-11-19

Family

ID=70057365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080027777.0A Pending CN113678463A (zh) 2019-03-11 2020-03-11 用于子图片自适应分辨率变化的方法和装置

Country Status (9)

Country Link
US (1) US20220191543A1 (zh)
EP (1) EP3939311A1 (zh)
JP (2) JP2022525399A (zh)
KR (1) KR20210146901A (zh)
CN (1) CN113678463A (zh)
CA (1) CA3133224A1 (zh)
SG (1) SG11202109950UA (zh)
TW (1) TW202101985A (zh)
WO (1) WO2020185842A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228659A1 (en) 2019-05-11 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Coding tools with reference picture resampling
US20200404241A1 (en) * 2019-06-20 2020-12-24 At&T Intellectual Property I, L.P. Processing system for streaming volumetric video to a client device
EP3987785A1 (en) * 2019-06-20 2022-04-27 InterDigital VC Holdings France, SAS Lossless mode for versatile video coding
WO2020264529A1 (en) * 2019-06-28 2020-12-30 Beijing Dajia Internet Information Technology Co., Ltd. Lossless coding modes for video coding
CN114223203A (zh) * 2019-08-27 2022-03-22 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法和解码方法
EP4018659A4 (en) 2019-09-19 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SCALE WINDOW IN VIDEO CODING
KR20220061108A (ko) 2019-09-19 2022-05-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 레퍼런스 샘플 위치 유도
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
KR20220073752A (ko) 2019-10-12 2022-06-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩 툴들을 위한 상위 레벨 신택스
KR102637881B1 (ko) 2019-10-12 2024-02-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 정제 비디오 코딩 툴의 사용 및 시그널링
MX2022004200A (es) * 2019-10-13 2022-05-02 Beijing Bytedance Network Tech Co Ltd Interaccion entre remuestreo de imagen de referencia y herramientas de codificacion de video.
KR20220113379A (ko) 2019-12-27 2022-08-12 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 픽처 헤더의 슬라이스 유형의 시그널링
CN115804086A (zh) 2020-06-08 2023-03-14 字节跳动有限公司 补充增强消息中的子图片级信息信令
US20240064317A1 (en) * 2020-12-29 2024-02-22 Koninklijke Kpn N.V. Adaptive resolution coding for video coding
US20230007305A1 (en) * 2021-06-28 2023-01-05 Tencent America LLC Subpicture partitioning and scaling window information
EP4300960A1 (en) * 2022-06-27 2024-01-03 Panasonic Intellectual Property Corporation of America Encoder, decoder, encoding method, and decoding method
WO2024004708A1 (en) * 2022-06-27 2024-01-04 Panasonic Intellectual Property Corporation Of America Decoding apparatus, encoding apparatus, decoding method, and encoding method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301476A1 (en) * 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling change in output layer sets
US20140355692A1 (en) * 2013-06-03 2014-12-04 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
CN105706451A (zh) * 2013-10-11 2016-06-22 Vid拓展公司 Hevc扩展的高级句法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140010291A1 (en) * 2012-07-05 2014-01-09 Vid Scale, Inc. Layer Dependency and Priority Signaling Design for Scalable Video Coding
EP3254466A1 (en) * 2015-02-05 2017-12-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-video codec supporting inter-component prediction
JP7273193B2 (ja) * 2019-05-12 2023-05-12 北京字節跳動網絡技術有限公司 参照ピクチャ再サンプリングのための信号通知

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301476A1 (en) * 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling change in output layer sets
US20140355692A1 (en) * 2013-06-03 2014-12-04 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
CN105706451A (zh) * 2013-10-11 2016-06-22 Vid拓展公司 Hevc扩展的高级句法

Also Published As

Publication number Publication date
JP2022525399A (ja) 2022-05-13
JP2024063173A (ja) 2024-05-10
SG11202109950UA (en) 2021-10-28
EP3939311A1 (en) 2022-01-19
KR20210146901A (ko) 2021-12-06
US20220191543A1 (en) 2022-06-16
TW202101985A (zh) 2021-01-01
CA3133224A1 (en) 2020-09-17
WO2020185842A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US20220191543A1 (en) Methods and apparatus for sub-picture adaptive resolution change
CN111183646B (zh) 用于编码的方法和装置、用于解码的方法和装置以及存储介质
CN110199523B (zh) 用于帧内平面编码的预测方法
CN111316649B (zh) 重叠块运动补偿
CA3081335A1 (en) Sub-block motion derivation and decoder-side motion vector refinement for merge mode
CN112740282A (zh) 用于点云压缩比特流格式的方法和装置
TWI830777B (zh) 可撓柵區方法及裝置
JP7249948B2 (ja) ジオメトリパディングに基づいた360度ビデオのための予測符号化
US20220007019A1 (en) Tile group partitioning
US20220377344A1 (en) Systems and methods for versatile video coding
JP2022516094A (ja) 組みあわせたインターおよびイントラ予測
CN113728643A (zh) 对称合并模式运动向量编码
TW201937923A (zh) 360度視訊編碼適應性訊框填裝
CN114097241A (zh) 流传输服务中的体积内容分量子比特流的动态适配
CN115152228A (zh) 合并模式、自适应运动向量精度和变换跳过语法
CN113383542A (zh) 使用合并模式运动向量候选对象的改善的帧内平面预测
WO2023057488A1 (en) Motion vector coding with input motion vector data
WO2024079187A1 (en) Video coding combining intra-sub partition and template-based intra-mode derivation techniques
WO2024133880A1 (en) History-based intra prediction mode
WO2023194558A1 (en) Improved subblock-based motion vector prediction (sbtmvp)
WO2024133053A1 (en) Combination of intra template prediction and intra block copy with other coding tools
CN111630855A (zh) 基于局部照明补偿的运动补偿双向预测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination