CN113875236A - 视频译码中的帧内子分区 - Google Patents

视频译码中的帧内子分区 Download PDF

Info

Publication number
CN113875236A
CN113875236A CN202080020678.XA CN202080020678A CN113875236A CN 113875236 A CN113875236 A CN 113875236A CN 202080020678 A CN202080020678 A CN 202080020678A CN 113875236 A CN113875236 A CN 113875236A
Authority
CN
China
Prior art keywords
sub
partition
samples
prediction
partitions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080020678.XA
Other languages
English (en)
Inventor
杨华
拉胡尔·瓦纳姆
贺玉文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN113875236A publication Critical patent/CN113875236A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

可针对当前块启用帧内子分区(ISP),例如,基于ISP指示。所述块可被分区成多个子分区,且子分区可属于预测单元(PU)。可获得当前块的子分区宽度及最小预测块宽度。可基于所述子分区宽度和所述最小预测块宽度来确定对应于当前子分区的PU。举例来说,当子分区宽度小于最小预测块宽度时,PU可包括多个子分区。在示例中,最小预测块宽度可为四个样本。可确定参考样本,且可使用所述参考样本来预测所述PU。

Description

视频译码中的帧内子分区
相关申请的交叉引用
本申请要求保护2019年3月11日提交的美国临时专利申请序列号62/816,548和2019年6月11日提交的美国临时专利申请序列与62/860,122的权益,其内容通过引用整体并入到本文中。
背景技术
视频译码系统可以用于压缩数字视频信号,例如,以减少这种信号所需的存储和/或传输带宽。视频译码系统可以包括基于块、基于小波和/或基于对象的系统。该系统可以采用视频译码技术,例如某些预测技术。
发明内容
帧内子分区(Intra sub-partition,ISP)可以是帧内译码工具。提供了系统、方法和手段,其中,子分区预测可以部分地或完全地独立于先前相邻子分区的重构。可以使用来自从相邻子分区的样本预测子分区。可以使用来自先前相邻子分区的预测样本和重构样本预测子分区。
可以使用基于多个子分区的预测,其中可以从相关视频块(例如,译码单元(CU)相邻参考样本)同时进行两个或更多个子分区的帧内预测。可以使用与PU相邻的参考样本来预测包括多个子分区的预测单元(PU)。
可以针对当前块启用ISP,例如基于ISP指示。可以确定当前块的子分区宽度。子分区宽度可被用于对当前块进行子分区划分以进行帧内预测。子分区可属于PU。可以基于子分区宽度和最小预测块宽度来确定与子分区对应的PU。在示例中,最小预测块宽度可为四个样本。可以基于PU来执行预测。举例来说,可确定参考样本,且可使用该参考样本预测PU。参考样本可以与PU相邻。
可结合子分区的预测来使用最小预测块宽度。一个PU可包括被垂直分割或被水平分割的两个或更多个的子分区。预测块宽度可以是子分区宽度或子分区宽度的倍数。子分区宽度和最小预测块宽度可以用于确定预测块。举例来说,当子分区宽度小于最小预测块宽度时,具有多个子分区的预测块可用于预测。例如,当最小预测块宽度是4个样本时,在子分区宽度小于4个样本时,具有4个样本的宽度的预测块可以用于预测。
PU可包含多个变换块子分区。举例来说,对于具有4×8、4×N(例如,N>8)及8×N的大小的CU,相应CU中的PU可包含多个变换块子分区。
可使用CU相邻样本和/或来自重构子分区的样本来预测CU的PU。例如,对于具有4×8和4×N大小的CU,视频解码器或编码器可使用CU相邻样本预测PU。对于具有8×N大小的CU,视频解码器或编码器可使用CU相邻样本和来自CU中的重构子分区的样本来预测PU。
一种方法可以包括确定针对当前块启用ISP。所述方法可包含确定当前块的子分区宽度。所述方法可包含针对所述当前块中的子分区,基于所述子分区宽度和最小预测块宽度来确定对应预测块。该方法可以包括确定参考样本。所述方法可包含使用所述参考样本来预测所述预测块。本文的方法可以由解码器执行。在一些示例中,本文的方法或对应的方法可由编码器执行。
一种计算机可读介质可以包括用于使一个或多个处理器执行本文所述的(一种或多种)方法的指令。
一种计算机程序产品包括指令,当程序由一个或多个处理器执行时,所述指令可以使一个或多个处理器执行本文所述的(一种或多种)方法。
附图说明
图1A是示出了可以在其中实现一个或多个公开的实施例的示例通信系统的系统图。
图1B是示出了根据实施例的可以在图1A所示的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图。
图1C是示出了根据实施例的可以在图1A中所示的通信系统中使用的示例无线电接入网络(RAN)和示例核心网络(CN)的系统图。
图1D是示出了根据实施例的可以在图1A中所示的通信系统中使用的另一示例RAN和另一示例CN的系统图。
图2是示例的基于块的视频编码器的图。
图3是示例视频解码器的图。
图4示出了在其中实现各个方面和示例的系统的示例的框图。
图5示出了可允许用于CU(例如,4×8像素CU或8×4像素CU)的分区或CU分割的示例。
图6示出了可允许用于CU(例如,大于4×8像素或8×4像素的CU)的分区的示例。
图7示出了帧内子分区(ISP)中的示例预测的示图(a)、(b)和(c)。
图8是用于参考线零帧内预测的最可能模式(MPM)列表构造的示例流程图。
图9是用于多参考线帧内预测的MPM列表构造的示例流程图。
图10a-10c示出了用于ISP的MPM列表构造的示例流程图。
图11是用于统一MPM列表构造的示例流程图。
图12示出了示例的基于CU的预测的图(a)和(b),其中使用邻接CU的上方和左侧参考线来预测子分区A、B和C的底行。
图13示出了示例的基于子分区的预测的图(a)和(b),其中(a)所预测子分区A的底行用于预测B,以及(b)子分区B的底行用于预测子分区C。
图14(a)是针对ISP的流水线阶段的示例的示意图。
图14(b)是针对使用基于子分区的预测的ISP的流水线阶段的示例的示意图。
图14(c)针对使用基于多个子分区(multiple sub-partition based)的预测或基于多子分区(multi-sub-partition based)的预测的ISP的流水线阶段的示例的示意图。
图15是混合预测的示例的图,其中可使用重构样本或来自相邻子分区的预测样本来预测子分区。
图16示出了示例混合预测的图(a)和(b)。
图17示出了基于多个子分区的预测或基于多子分区的帧内预测的示例。
图18示出了水平分割CU和垂直分割CU的ISP子分区的各个示例。
图19A示出了其中图18中所示的1×N(N≥16)和2×N(N≥8)子分区可被移除并由4×N子分区替代的示例。
图19B示出了其中图18中所示的N×2(N≥8)子分区可被移除并由N×4个子分区替代的示例。
图19C示出了PU可以包括32个样本的示例。
图19D示出了可以同时应用图19A、19B和19C中所示的示例的示例。
图20示出了统一MPM列表生成/构造的示例。
具体实施方式
现在将参考各个附图来描述说明性实施例的详细描述。尽管这样的描述提供了可能实现的详细示例,但是应当注意,这些细节旨在是示例的,而决不是限制本申请的范围。
图1A是示出了可以在其中实现一个或多个所公开的实施例的示例通信系统500的图。通信系统500可以是向多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多接入系统。通信系统500可以使多个无线用户能够通过共享包括无线带宽的系统资源来访问这样的内容。例如,通信系统500可以采用一种或多种信道接入方法,例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT-UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。
如图1A所示,通信系统500可包括无线发射/接收单元(WTRU)502a、502b、502c、502d、RAN504/513、CN506/515、公共交换电话网络(PSTN)508、因特网510、以及其他网络512,但是应当理解,所公开的实施例考虑了任意数量的WTRU、基站、网络、和/或网络元件。每一个WTRU502a、502b、502c、502d可以是被配置为在无线环境中操作和/或通信的任何类型的设备。举例来说,WTRU502a、502b、502c、502d(其中任何一个WTRU可以被称为“站”和/或“STA”)可以被配置成发射和/或接收无线信号,并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或MiFi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如,远程手术)、工业设备和应用(例如,在工业和/或自动化处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等等。任何WTRU502a、502b、502c及502d可互换地称为UE。
通信系统500还可以包括基站514a和/或基站514b。基站514a、514b的每一个可以是被配置成与WTRU502a、502b、502c、502d的至少一个无线连接以便于接入一个或多个通信网络的任何类型的设备,所述通信网络例如CN506/515、因特网510和/或其他网络512。作为示例,基站514a、514b可以是基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站514a、514b各自被描绘为单个元件,但是将理解,基站514a、514b可包括任何数目的互连基站和/或网络元件。
基站514a可以是RAN504/513的一部分,其还可以包括其他基站和/或网络元件(未示出),例如基站控制器(BSC)、无线网络控制器(RNC)、中继节点等。基站514a和/或基站514b可被配置成在一个或多个载波频率上发射和/或接收无线信号,这些载波频率可被称为蜂窝小区(未示出)。这些频率可以在许可频谱、未许可频谱或者许可和未许可频谱的组合中。小区可以向特定地理区域提供无线服务的覆盖,该特定地理区域可以是相对固定的或者可以随时间而改变。小区可以进一步被划分为小区扇区。例如,与基站514a相关联的小区可以被划分为三个扇区。因此,在一个实施例中,基站514a可以包括三个收发信机,即,小区的每个扇区对应一个收发信机。在实施例中,基站514a可以采用多输入多输出(MIMO)技术,并且可以针对小区的每个扇区使用多个收发信机。例如,波束成形可以用于在期望的空间方向上发射和/或接收信号。
基站514a、514b可通过空中接口516与WTRU502a、502b、502c、502d中的一者或多者通信,该空中接口可以是任何合适的无线通信链路(例如,射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。空中接口516可以使用任何合适的无线接入技术(RAT)来建立。
更具体地说,如上所述,通信系统500可以是多接入系统,并且可以采用一个或多个信道接入方案,例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如,RAN504/513中的基站514a和WTRU502a、502b、502c可以实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术,其可以使用宽带CDMA(WCDMA)来建立空中接口515/516/517。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中,基站514a和WTRU502a、502b、502c可以实现诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术,该无线电技术可以使用长期演进(LTE)和/或高级LTE(LTE-A)和/或高级LTE Pro(LTE-A Pro)来建立空中接口516。
在实施例中,基站514a和WTRU502a、502b、502c可以实现诸如NR无线电接入的无线电技术,该无线电技术可以使用新无线电(NR)来建立空中接口516。
在实施例中,基站514a和WTRU502a、502b、502c可以实现多种无线电接入技术。例如,基站514a和WTRU502a、502b、502c可以例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此,WTRU502a、502b、502c所利用的空中接口可由多种类型的无线电接入技术和/或发送到多种类型的基站(例如eNB和gNB)或从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在其他实施例中,基站514a和WTRU502a、502b、502c可以实现无线电技术,例如IEEE802.11(即无线保真(WiFi)、IEEE802.16(即全球微波接入互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、GSM演进的增强数据速率(EDGE)、GSM EDGE(GERAN)等。
图1A中的基站514b可以是例如无线路由器、家庭节点B、家庭e节点B或接入点,并且可以利用任何合适的RAT来促进局部区域中的无线连接,该局部区域诸如营业场所、家庭、交通工具、校园、工业设施、空中走廊(例如,供无人机使用)、道路等。在一个实施例中,基站514b及WTRU502c、502d可以实现诸如IEEE802.11的无线电技术以建立无线局域网(WLAN)。在一实施例中,基站514b和WTRU502c、502d可以实现诸如IEEE802.15的无线电技术以建立无线个人局域网(WPAN)。在又一实施例中,基站514b和WTRU502c、502d可利用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图1A所示,基站514b可具有到因特网510的直接连接。因此,基站514b可以不需要经由CN506/515接入因特网510。
RAN504/513可与CN506/515通信,其可以是被配置成向WTRU502a、502b、502c、502d中的一者或多者提供语音、数据、应用和/或基于网际协议的语音(VoIP)服务的任何类型的网络。数据可具有变化的服务质量(QoS)要求,例如不同吞吐量要求、时延要求、容错要求、可靠性要求、数据吞吐量要求、移动性要求等。CN506/515可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等,和/或执行高级安全功能,例如用户认证。尽管在图1A中未示出,但是应当理解,RAN504/513和/或CN506/515可以与使用与RAN504/513相同的RAT或不同的RAT的其他RAN进行直接或间接的通信。例如,除了连接到可以利用NR无线电技术的RAN504/513之外,CN506/515还可以与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)进行通信。
CN506/515也可作为WTRU502a、502b、502c、502d的网关以接入PSTN508、因特网510、和/或其他网络512。PSTN508可以包括提供普通老式电话服务(POTS)的电路交换电话网。因特网510可以包括使用公共通信协议的互连计算机网络和设备的全球系统,所述公共通信协议例如是TCP/IP因特网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或因特网协议(IP)。网络512可以包括由其他服务提供商拥有和/或运营的有线和/或无线通信网络。例如,网络512可以包括连接到一个或多个RAN的另一CN,所述RAN可以采用与RAN504/513相同的RAT或不同的RAT。
通信系统500中的一些或全部WTRU502a、502b、502c、502d可包括多模式能力(例如,WTRU502a、502b、502c、502d可包括多个收发信机,以通过不同无线链路与不同无线网络通信)。例如,图1A所示的WTRU502c可以被配置成与可以采用基于蜂窝的无线电技术的基站51a通信,以及与可以采用IEEE802无线电技术的基站514b通信。
图1B是示出了示例WTRU502的系统图。如图1B所示,WTRU502可以包括处理器518、收发信机520、发射/接收元件522、扬声器/麦克风524、键盘526、显示器/触摸板528、不可移除存储器530、可移除存储器532、电源534、全球定位系统(GPS)芯片组536和/或其他外围设备538等等。可以理解,WTRU502可以包括前述元件的任何子组合,同时保持与实施例一致。
处理器518可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器518可以执行信号译码、数据处理、功率控制、输入/输出处理和/或任何其他使WTRU502能够在无线环境中操作的功能。处理器518可以耦合到收发信机520,收发信机520可以耦合到发射/接收元件522。虽然图1B将处理器518和收发信机520描绘为单独的组件,但将了解,处理器518和收发信机520可一起集成在电子封装或芯片中。
发射/接收元件522可以被配置为通过空中接口516向基站(例如,基站514a)发射信号或从其接收信号。例如,在一个实施例中,发射/接收元件522可以是被配置为发射和/或接收RF信号的天线。在一实施例中,发射/接收元件522可以是被配置为发射和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一实施例中,发射/接收元件522可被配置为发射和/或接收RF及光信号两者。应当理解,发射/接收元件522可以被配置为发射和/或接收无线信号的任何组合。
尽管发射/接收单元522在图1B中被描述为单个元件,但是WTRU502可以包括任意数量的发射/接收单元522。更具体地,WTRU502可以使用MIMO技术。因此,在一个实施例中,WTRU502可以包括两个或更多个的发射/接收元件522(例如多个天线),用于通过空中接口516发射和接收无线信号。
收发信机520可以被配置为对要由发射/接收元件522发射的信号进行调制,以及对由发射/接收元件522接收的信号进行解调。如上所述,WTRU502可以具有多模式能力。因此,举例而言,收发信机520可以包括用于使WTRU502能够经由多个RAT进行通信的多个收发信机,多个RAT例如NR和IEEE802.11。
WTRU502的处理器518可以耦合到扬声器/麦克风524、键盘526和/或显示器/触摸板528(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元),并且可以从其接收用户输入数据。处理器518还可以向扬声器/麦克风524、键盘526和/或显示器/触摸板528输出用户数据。另外,处理器518可以从任何类型的适当存储器存取信息,并且将数据存储在所述存储器中,所述存储器诸如不可移除存储器530和/或可移除存储器532。不可移除存储器530可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移除存储器532可以包括用户身份模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施例中,处理器518可以从存储器访问信息并将数据存储在存储器中,该存储器不是物理地位于WTRU502上,例如位于服务器或家用计算机(未示出)上。
处理器518可以从电源534接收电力,并且可以被配置成分配和/或控制给WTRU502中的其他组件的电力。电源534可以是用于为WTRU502供电的任何合适的设备。例如,电源534可以包括一个或多个干电池(例如,镍镉、镍锌、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器518还可以耦合到GPS芯片组536,该GPS芯片组536可以被配置成提供关于WTRU502的当前位置的位置信息(例如经度和纬度)。除了来自GPS芯片组536的信息之外,或者作为其替代,WTRU502可以通过空中接口516从基站(例如基站514a、514b)接收位置信息,和/或基于从两个或更多邻近基站接收的信号的定时来确定其位置。应该理解,WTRU502可以通过任何合适的位置确定方法来获取位置信息,同时保持与实施例一致。
处理器518还可以耦合到其他外围设备538,该其他外围设备538可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如,外围设备538可以包括加速度计、电子罗盘、卫星收发信机、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure GDA0003370023260000111
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备538可以包括一个或多个传感器,传感器可以是陀螺仪、加速计、霍尔效应传感器、磁力计、方向传感器、接近传感器、温度传感器、时间传感器中的一个或多个;地理位置传感器;高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU502可以包括全双工无线电,对于该全双工无线电,一些或所有信号(例如,与用于UL(例如,用于传输)和下行链路(例如,用于接收)的特定子帧相关联的信号)的传输和接收可以是同时的和/或同时的。
图1C是示出了根据实施例的RAN504和CN506的系统图。如上所述,RAN504可采用E-UTRA无线电技术以通过空中接口516与WTRU502a、502b、502c通信。RAN504还可以与CN506通信。
RAN504可包含e节点B560a、560b、560c,但应了解,RAN504可包含任何数目的e节点B,同时保持与实施例一致。e节点B560a、560b、560c中的每一个可以包括一个或多个收发信机,用于通过空中接口516与WTRU502a、502b、502c进行通信。在一个实施例中,e节点B560a、560b、560c可以实现MIMO技术。因此,e节点B560a例如可以使用多个天线来向WTRU502a传送无线信号和/或从其接收无线信号。
e节点B560a、560b、560c中的每一个可以与特定小区(未示出)相关联,并且可以被配置为处理无线电资源管理决策、切换决策、UL和/或DL中用户调度等。如图1C中所示,e节点B560a、560b、560C可通过X2接口彼此通信。
图1C中所示的CN506可以包括移动性管理实体(MME)562、服务网关(SGW)564和分组数据网络(PDN)网关(或PGW)566。虽然前述元件中的每一个被描绘为CN506的一部分,但是将理解,这些元件中的任何一个可以由CN运营商之外的实体拥有和/或运营。
MME562可经由S1接口连接到RAN504中的e节点B562a、562b、562c中的每一者,且可充当控制节点。例如,MME562可以负责认证WTRU502a、502b、502c的用户、承载激活/去激活、在WTRU502a、502b、502c的初始附着期间选择特定的服务网关等等。MME562可以提供控制平面功能,用于在RAN504和采用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未示出)之间进行切换。
SGW564可经由S1接口连接到RAN504中的e节点B560a、560b、560c中的每一者。SGW564通常可以路由和转发去往/来自WTRU502a、502b、502c的用户数据分组。SGW564可以执行其他功能,例如在e节点B间切换期间锚定用户平面、当DL数据可用于WTRU502a、502B、502c时触发寻呼、管理和存储WTRU502a、502b、502c的上下文等等。
SGW564可以连接到PGW566,其可以向WTRU502a、502b、502c提供至诸如因特网510的分组交换网络的接入,以促进WTRU502a、502b、502c和IP使能设备之间的通信。
CN506可以促进与其他网络的通信。例如,CN506可向WTRU502a、502b、502c提供至电路交换网络(例如PSTN508)的接入,以促进WTRU502a、502b、502c和传统陆线通信设备之间的通信。例如,CN506可以包括IP网关(例如,IP多媒体子系统(IMS)服务器),或者可以与IP网关通信,该IP网关用作CN506和PSTN508之间的接口。此外,CN506可向WTRU502a、502b、502c提供至其他网络512的接入,该其他网络512可包括其他服务提供商拥有和/或运营的其他有线和/或无线网络。
虽然WTRU在图1A-1D中被描述为无线终端,但是可以预期在某些代表性实施例中,这种终端可以使用(例如临时或永久)与通信网络的有线通信接口。
在代表性实施例中,其他网络512可以是WLAN。
基础设施基本服务集(BSS)模式中的WLAN可以具有用于BSS的接入点(AP)和与AP相关联的一个或多个站(STA)。AP可以具有到分布系统(DS)或另一类型的有线/无线网络的接入或接口,该网络承载进入和/或离开BSS的业务。发起于BSS外部的STA的业务可以通过AP到达,并且可以被递送到STA。从STA发起的到BSS外部的目的地的业务可以被发送到AP以被递送到相应的目的地。BSS内的STA之间的业务可以通过AP来发送,例如,其中源STA可以向AP发送业务,并且AP可以向目的地STA递送业务。BSS内的STA之间的业务可以被认为和/或称为点对点业务。点对点业务可以利用直接链路建立(DLS)在源STA和目的STA之间(例如,直接在源STA和目的STA之间)发送。在某些代表性实施例中,DLS可使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可能不具有AP,并且在IBSS内或使用IBSS的STA(例如,所有STA)可以彼此直接通信。IBSS通信模式在这里有时可以被称为“自组织(ad-hoc)”通信模式。
当使用802.11ac基础设施操作模式或类似的操作模式时,AP可以在固定信道上发送信标,例如主信道。主信道可以是固定宽度(例如,20MHz宽的带宽)或经由信令动态设置的宽度。主信道可以是BSS的操作信道,并且可以由STA用来建立与AP的连接。在某些代表性实施例中,例如在802.11系统中,可以实现具有冲突避免的载波侦听多路访问(CSMA/CA)。对于CSMA/CA,包括AP在内的STA(例如,每个STA)可以感测主信道。如果主信道被特定STA感测/检测和/或确定为忙,则该特定STA可以退避(back off)。一个STA(例如,仅一个站)可以在给定BSS中在任何给定时间进行传送。
高吞吐量(HT)STA可以使用40MHz宽信道进行通信,例如,通过将主20MHz信道与相邻或非相邻的20MHz信道组合以形成40MHz宽信道。
甚高吞吐量(VHT)STA可以支持20MHz、40MHz、80MHz和/或160MHz宽的信道。40MHz和/或80MHz信道可通过组合相邻的20MHz信道来形成。160MHz信道可通过组合8个连续的20MHz信道或通过组合两个非连续的80MHz信道来形成,这可被称为80+80配置。对于80+80配置,在信道编码之后,数据可以经过分段解析器,该分段解析器可以将数据划分成两个流。可以对每个流分别进行快速傅立叶逆变换(IFFT)处理和时域处理。流可以被映射到两个80MHz信道上,并且数据可以由进行传送的STA来发送。在进行接收的STA的接收机处,上述80+80配置的操作可以颠倒,并且组合数据可以被发送到媒体接入控制(MAC)。
低于1GHz的操作模式由802.11af和802.11ah支持。相对于802.11n和802.11ac中使用的信道操作带宽和载波,在802.11af和802.11ah中信道操作带宽和载波被减少。802.11af支持TV空白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽,而802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施例,802.11ah可以支持仪表类型控制/机器类型通信,诸如宏覆盖区域中的MTC设备。MTC设备可具有某些能力,例如,包括对某些和/或有限带宽的支持(例如,仅支持)的受限能力。MTC设备可包括具有高于阈值的电池寿命的电池(例如,以维持非常长的电池寿命)。
可以支持多个信道和信道带宽的WLAN系统,例如802.11n、802.11ac、802.11af和802.11ah,包括可以被指定为主信道的信道。主信道可以具有等于BSS中的所有STA所支持的最大公共操作带宽的带宽。主信道的带宽可以由在BSS中操作的所有STA之中的STA来设置和/或限制,该STA支持最小带宽操作模式。在802.11ah的示例中,对于支持(例如,仅支持)1MHz模式的STA(例如,MTC型设备),主信道可以是1MHz宽,即使AP和BSS中的其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽操作模式。载波侦听和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙,例如,由于STA(其仅支持1MHz操作模式)向AP进行传送,则即使大多数频带保持空闲并且可用,也可以认为整个可用频带繁忙。
在美国,802.11ah可使用的可用频带是从902MHz到928MHz。在韩国,可用频带是从917.5MHz到923.5MHz。在日本,可用频带是从916.5MHz到927.5MHz。根据国家代码,可用于802.11ah的总带宽是6MHz到26MHz。
图1D是示出了根据实施例的RAN513和CN515的系统图。如上所述,RAN513可采用NR无线电技术来通过空中接口516与WTRU502a、502b、502c通信。RAN513还可以与CN515通信。
RAN513可以包括gNB580a、580b、580c,但是应当理解,RAN513可以包括任意数目的gNB,同时保持与实施例一致。gNB580a、580b、580c中的每一者可包括一个或多个收发信机,用于通过空中接口516与WTRU502a、502b、502c通信。在一个实施例中,gNB580a、580b、580c可以实现MIMO技术。例如,gNB580a、508b可以利用波束成形来向gNB580a、580b、580c发射信号和/或从其接收信号。因此,gNB580a例如可使用多个天线来向WTRU502a发射无线信号和/或从其接收无线信号。在一个实施例中,gNB580a、580b、580c可以实现载波聚合技术。例如,gNB580a可向WTRU502a传送多个分量载波(未示出)。这些分量载波的子集可以在未许可频谱上,而剩余分量载波可以在许可频谱上。在实施例中,gNB580a、580b、580c可以实现协作多点(CoMP)技术。例如,WTRU502a可以从gNB580a和gNB580b(和/或gNB580c)接收协调的传输。
WTRU502a、502b、502c可以使用可扩缩参数配置(numerology)相关联的传输来与gNB580a、580b、580c通信。例如,OFDM符号间隔和/或OFDM子载波间隔可以针对不同的传输、不同的小区和/或无线传输频谱的不同部分而变化。WTRU502a、502b、502c可以使用子帧或具有各种或可缩放长度(例如包含不同数量的OFDM符号和/或持续变化的绝对时间长度)的传输时间间隔(TTI)来与gNB580a、580b、580c进行通信。
gNB580a、580b、580c可被配置成在独立配置和/或非独立配置中与WTRU502a、502b、502c通信。在独立配置中,WTRU502a、502b、502c可以与gNB580a、580b、580c通信,而不需要也接入其他RAN(例如e节点B560a、560b、560c)。在独立配置中,WTRU502a、502b、502c可以利用gNB580a、580b、580c中的一个或多个作为移动性锚点。在独立配置中,WTRU502a、502b、502c可以使用未许可频带中的信号与gNB580a、580b、580c通信。在非独立配置中,WTRU502a、502b、502c可以与gNB580a、580b、580c通信/连接,同时也与诸如e节点B560a、560b、560c的另一RAN通信/连接。例如,WTRU502a、502b、502c可以实现DC原理,以便基本上同时与一个或多个gNB580a、580b、580c以及一个或多个e节点B560a、560b、560c进行通信。在非独立配置中,e节点B560a、560b、560c可以用作WTRU502a、502b、502c的移动性锚,并且gNB580a、580b、580c可以提供用于服务WTRU502a、502b、502c的附加覆盖和/或吞吐量。
gNB580a、580b、580c中的每一个可以与特定小区(未示出)相关联,并且可以被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、网络切片的支持、双连接性、NR和E-UTRA之间的交互工作、向用户平面功能(UPF)584a、584b路由用户平面数据、向接入和移动性管理功能(AMF)582a、582b路由控制平面信息等。如图1D所示,gNB580a、580b、580c可以通过Xn接口彼此通信。
图1D中所示的CN515可以包括至少一个AMF582a、582b、至少一个UPF584a、584b、至少一个会话管理功能(SMF)583a、583b以及可能的数据网络(DN)585a、585b。虽然前述元件中的每一个被描绘为CN515的一部分,但是将理解,这些元件中的任何一个可以由CN运营商之外的实体拥有和/或运营。
AMF582a、582b可以通过N2接口连接到RAN513中的gNB580a、580b、580c中的一个或多个,并且可以充当控制节点。例如,AMF582a、582b可负责认证WTRU502a、502b、502c的用户、支持网络切片(例如,处理具有不同需求的不同PDU会话)、选择特定的SMF583a、583b、管理注册区域、终止NAS信令、移动性管理等等。网络切片可由AMF582a、582b使用,以基于WTRU502a、502b、502c所使用的服务类型来定制CN对WTRU502a、502b、502c的支持。例如,可以针对不同的用例建立不同的网络切片,所述用例诸如依赖于超可靠低延迟(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、用于机器类型通信(MTC)接入的服务等。AMF562可以提供用于在RAN513和采用其他无线电技术(例如,LTE、LTE-A Pro和/或诸如WiFi的非3GPP接入技术)的其他RAN(未示出)之间进行切换的控制平面功能。
SMF583a、583b可以经由N11接口连接到CN515中的AMF582a、582b。SMF583a、583b还可以经由N4接口连接到CN515中的UPF584a、584b。SMF583a、583b可以选择和控制UPF584a、584b,并且配置通过UPF584a、584b的业务的路由。SMF583a、583b可以执行其他功能,例如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等。PDU会话类型可以是基于IP的、非基于IP的、基于以太网的等等。
UPF584a、584b可以经由N3接口连接到RAN513中的gNB580a、580b、580c中的一个或多个,这可以为WTRU502a、502b、502c提供对诸如因特网510的分组交换网络的接入,以促进WTRU502a、502b、502c与IP使能设备之间的通信。UPF584、584b可以执行其他功能,例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等等。
CN515可以促进与其他网络的通信。例如,CN515可以包括IP网关(例如,IP多媒体子系统(IMS)服务器)或者可以与IP网关通信,该IP网关用作CN515与PSTN508之间的接口。此外,CN515可向提供WTRU502a、502b、502c至其他网络512的接入,该其他网络512可包括其他服务提供商拥有和/或运营的其他有线和/或无线网络。在一个实施例中,WTRU502a、502b、502c可以经由到UPF584a、584b的N3接口以及UPF584a、584b与DN585a、585b之间的N6接口,通过UPF584a、584b连接到本地数据网络(DN)585a、585b。
鉴于图1A-1D和图1A-1D的相应描述,本文关于以下中的一者或多者描述的功能中的一个或多个或全部可以由一个或多个仿真设备(未示出)执行:WTRU502a-d、基站514a-b、e节点B560a-c、MME562、SGW564、PGW566、gNB580a-c、AMF582a-b、UPF584a-B、SMF583a-b、DN585a-b和/或本文描述的任何(一个或多个)其他设备。仿真设备可以是被配置为仿真本文描述的功能中的一个或多个或全部的一个或多个设备。例如,仿真设备可以用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的一个或多个测试。例如,一个或多个仿真设备可以执行一个或多个或所有功能,同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分,以便测试通信网络内的其他设备。一个或多个仿真设备可以执行一个或多个或所有功能,同时被临时实现/部署为有线和/或无线通信网络的一部分。仿真设备可出于测试目的而直接耦合到另一设备,和/或可使用空中无线通信执行测试。
一个或多个仿真设备可以执行一个或多个功能,包括所有功能,而不是作为有线和/或无线通信网络的一部分来实现/部署。例如,仿真设备可以在测试实验室和/或非部署(例如,测试)有线和/或无线通信网络中的测试场景中使用,以便实现一个或多个组件的测试。一个或多个仿真设备可以是测试装备。仿真设备可以使用经由RF电路(例如,其可以包括一个或多个天线)的直接RF耦合和/或无线通信来发射和/或接收数据。
本申请描述了多个方面,包括工具、特征、示例、模型、方法等。这些方面中的许多被描述为具有特异性,并且至少为了示出个体特性,通常以可能听起来受限的方式来描述。然而,这是为了描述清楚的目的,并且不限制那些方面的应用或范围。实际上,所有不同的方面可以组合和互换以提供另外的方面。此外,这些方面也可以与在较早提交的文档中描述的方面进行组合和互换。
本申请中描述和设想的方面可以以许多不同的形式实现。本文描述的图1-20可提供一些示例,但设想了其他示例,并且图1-20的讨论不限制实现的广度。至少一个方面一般涉及视频编码和解码,并且至少一个其他方面一般涉及传送所生成或编码的比特流。这些和其他方面可以实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
在本申请中,术语“重构”和“解码”可以互换使用,术语“像素”和“样本”可以互换使用,术语“图像”、“图片”和“帧”可以互换使用。通常,但不是必须地,“解码”在解码器侧使用。术语“重构”在编码器侧和/或解码器侧使用。
本文描述了各种方法,并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作,否则可修改或组合特定步骤和/或动作的顺序和/或使用。另外,诸如“第一”、“第二”等术语可以在各种示例中用来修改元素、组件、步骤、操作等,诸如“第一解码”和“第二解码”。除非特别要求,否则这些术语的使用并不意味着对修改后的操作的排序。因此,在该示例中,第一解码不需要在第二解码之前执行,并且可以例如在第二解码之前、期间或在与第二解码重叠的时间段中发生。
本申请中描述的各种方法和其他方面可用于修改模块,举例而言,如图2和图3中所示的视频编码器100和解码器200的解码模块。此外,本发明的方面不限于VVC或HEVC,并且可以应用于例如其他标准和建议(无论是预先存在的还是将来开发的),以及任何这样的标准和建议的扩展(包括VVC和HEVC)。除非另外指出或在技术上排除,本申请中描述的方面可以单独或组合使用。
在本申请中使用各种数值,例如,4×8、4×N、8×4和8×N的CU大小,最小预测块宽度为四个样本,包含32个或更多个样本的PU等。具体值是出于示例目的,并且所描述的方面不限于这些具体值。
基于块的视频译码系统,例如VVC,可以包括基于块的混合视频译码框架。图2示出了示例的基于块的混合视频编码系统200的框图。可以设想该编码器200的变型,但是为了清楚起见,编码器200在下面被描述,而没有描述所有预期的变型。输入视频信号202可以被逐块(例如,译码单元(CU))处理。CU可包含高达128×128像素的CU大小。译码树单元(CTU)可被分割成CU以适应基于四/二/三叉树的变化的局部特性。CU可以用作预测和变换的基本单元,而无需进一步的划分。在多类型树结构中,CTU可以由四叉树结构进行划分。四叉树叶节点(例如,每个四叉树引导节点)可以进一步由二叉树和三叉树结构划分。
参照图2,对于输入视频块(例如,宏块(MB)或CU),可执行空间预测260或运动预测262。空间预测(例如,或帧内预测)可使用来自同一视频图片和/或切片中的已译码相邻块的像素来预测当前视频块。空间预测可以减少视频信号中固有的空间冗余。时间预测(例如,称为帧间预测或运动补偿预测)可使用来自已译码视频图片的像素来预测当前视频块。时间预测可减少视频信号中固有的时间冗余。可通过一个或多个运动向量(MV)来用信号通知CU的时间预测信号,该运动向量(MV)可以指示当前CU与其时间参考之间的运动的量和方向。如果支持多个参考图片,则可以将参考图片索引用信号通知给解码器。参考索引可以用于识别时间预测信号可以来自参考图片存储264中的哪个参考图片。
在空间和/或时间预测之后,编码器中的模式决定280可例如基于率失真(rate-distortion)优化机制来选择预测模式。在216处,可从当前视频块减去预测块。预测残差可以使用变换模块204和量化模块206来去相关,以实现目标比特率。量化的残差系数可以在210被逆量化,并且在212被逆变换,以形成重构的残差。在226处,可以将重构的残差添加回到预测块以形成重构视频块。在266处,在将重构视频块放入参考图片存储264之前,可以将诸如去块滤波器和/或自适应环路滤波器之类的环路滤波器应用于该重构视频块。参考图片存储264中的参考图片可用于译码未来的视频块。可以形成输出视频比特流220。译码模式(例如,帧间或帧内)、预测模式信息、运动信息和/或量化的残差系数可被发送到熵译码单元208以被压缩和打包以形成比特流220。
图3示出了示例的基于块的视频解码器300的一般框图。视频比特流302可以在熵解码单元308处被接收、解包和/或熵解码。可将译码模式和/或预测信息发送到空间预测单元360(例如,如果被帧内译码)和/或发送到时间预测单元362(例如,如果被帧间译码)以形成预测块。可将残差变换系数发送到逆量化单元310和逆变换单元312以重构残差块。在326处,可添加预测块及残差块。重构块可经历环路内滤波366且可存储在参考图片存储364中。参考图片存储364中的重构视频可用于驱动显示设备和/或预测未来的视频块。例如,解码器300可以在接收、解包和/或熵解码视频比特流302之后确定针对当前块启用ISP。可将译码模式信息(例如,帧内译码模式)发送到空间预测单元360以形成预测块。解码器300可基于经解包和/或熵解码的视频比特流302来确定当前块的S个子分区宽度。对于当前块中的子分区,解码器可基于子分区宽度和最小预测块宽度来确定对应预测块。最小预测块宽度可以是预测块宽度的预定值。解码器300可在空间预测单元360确定参考样本。解码器300可以使用参考样本来预测预测块。
图4示出了在其中实现各个方面和示例的系统的示例的框图。系统1000可以被实施为包括以下描述的各种组件的设备,并且被配置为执行本文中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备,诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器以及服务器。系统1000的元件可以单独地或组合地实施在单个集成电路(IC)、多个IC和/或分立组件中。例如,在至少一个示例中,系统1000的处理和编码器/解码器元件跨多个IC和/或分立组件分布。在各种示例中,系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到一个或多个其他系统或其他电子设备。在各种示例中,系统1000被配置为实现本文中描述的一个或多个方面。
系统1000包括至少一个处理器1010,其被配置为执行加载在其中的指令,以用于实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如,易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040,其可以包括非易失性存储器和/或易失性存储器,包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例,存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的和不可拆卸的存储设备)和/或网络可访问的存储设备。在示例中,包括一个或多个处理器的装置可被配置成执行确定针对当前块启用ISP。所述一个或多个处理器可被配置成执行确定所述当前块的子分区宽度。所述一个或多个处理器可被配置为针对所述当前块中的子分区,基于所述子分区宽度和最小预测块宽度执行确定对应预测块。所述一个或多个处理器可以被配置为执行确定参考样本。所述一个或多个处理器可被配置为使用所述参考样本来执行预测所述预测块。包括一个或多个处理器的装置可以是解码器或编码器。
可以发送信号以使该装置能够执行本文的一个或多个步骤。例如,一种装置可以包括:被配置为访问使该装置能够执行本文中的一个或多个步骤的数据的访问单元;以及被配置为传送数据的发射机。一种方法可以包括访问使装置能够执行本文的一个或多个步骤的数据并且传送该数据。一种计算机可读介质可以包括使得装置能够执行本文的一个或多个步骤的数据。
系统1000包括编码器/解码器模块1030,其被配置为例如处理数据以提供编码视频或解码视频,并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的,设备可以包括编码和解码模块中的一个或两个。另外,编码器/解码器模块1030可实现为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中,并且随后加载到存储器1020上以供处理器1010执行。根据各种示例,处理器1010、存储器1020、存储设备1040、以及编码器/解码器模块1030中的一者或多者可以在执行本文档中所描述的过程期间存储各种项中的一者或多者。这些存储的项可以包括但不限于输入视频、被解码的视频或被解码的视频的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间结果或最终结果。
在一些示例中,处理器1010和/或编码器/解码器模块1030内部的存储器被用于存储指令并且提供用于在编码或解码期间需要的用于进行处理的工作存储器。然而,在其他示例中,处理设备外部的存储器(例如,处理设备可为处理器1010或编码器/解码器模块1030)用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040,例如,动态易失性存储器和/或非易失性闪存。在若干示例中,外部非易失性闪存用于存储例如电视的操作系统。在至少一个示例中,诸如RAM之类的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器,诸如用于MPEG-2(MPEG是指运动图像专家组,MPEG-2也被称为ISO/IEC13818,并且13818-1也被称为H.222,并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频译码,也被称为H.265和MPEG-H部分2)或VVC(通用视频译码,由JVET开发的新标准,联合视频专家组)的工作存储器。
如框1130中所示,可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于(i)接收例如由广播公司通过空中传输的RF信号的射频(RF)部分,(ii)组件(COMP)输入端子(或一组COMP输入端子),(iii)通用串行总线(USB)输入端子,和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图4中未示出的其他示例包括合成视频。
在各种示例中,如本领域已知的,框1130的输入设备具有相关联的相应输入处理元件。例如,RF部分可以与适于以下的元件相关联:(i)选择期望频率(也称为选择信号,或将信号频带限制到一频带);(ii)下变频选择的信号;(iii)再次频带限制到一较窄频带,以选择(例如)信号频带,在某些示例中,该信号频带可以称为信道;(iv)解调被下变频和频带限制的信号;(v)执行纠错;以及(vi)解复用以选择期望的数据分组流。各种示例的RF部分包括执行这些功能的一个或多个元件,例如频率选择器、信号选择器、限频带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器,这些功能包括例如将接收的信号下变频到较低频率(例如,中频或近基带频率)或基带。在一个机顶盒的示例中,RF部分及其相关的输入处理元件接收通过有线(例如,电缆)介质传送的RF信号,并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。各种示例重新安排上述(和其他)元件的顺序、移除这些元件中的一些和/或添加执行类似或不同功能的其他元件。添加元件可以包括在现有元件之间插入元件,例如插入放大器和模数转换器。在各种示例中,RF部分包括天线。在示例中,设备可以包括本文的装置以及以下至少一者:(i)被配置为接收包括表示图像的数据的信号的天线;(ii)被配置为将所接收的信号限制到包括表示图像的数据的频带的频带限制器;或者(iii)被配置为显示图像的显示器。
另外,USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统1000连接到其他电子设备的相应接口处理器。应当理解,输入处理的各个方面,例如所罗门(Reed-Solomon)纠错,可以根据需要在例如单独的输入处理IC或处理器1010内实现。类似地,USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件,包括例如处理器1010和编码器/解码器1030,它们与存储器和存储元件结合操作以根据需要处理数据流以便在输出设备上呈现。
系统1000的各种元件可以被提供在集成外壳内。在该集成外壳内,各种元件可以使用合适的连接布置1140来互连和在其间传输数据,该合适的连接布置1140例如本领域已知的内部总线,包括IC间(I2C)总线、布线和印刷电路板,。
系统1000包括通信接口1050,其使得能够经由通信信道1060与其他设备通信。通信接口1050可以包括但不限于被配置为通过通信信道1060发射和接收数据的收发信机。通信接口1050可以包括但不限于调制解调器或网卡,并且通信信道1060可以例如在有线和/或无线介质内实现。
在各种示例中,使用诸如Wi-Fi网络(例如IEEE802.11(IEEE指的是电气和电子工程师协会))的无线网络,将数据流式传输或以其他方式提供给系统1000。这些示例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050来接收。这些示例的通信信道1060通常连接到接入点或路由器,该接入点或路由器提供至包括因特网的外部网络的接入,以允许流传输应用和其他云上(over-the-top)通信。其他示例使用通过输入块1130的HDMI连接递送数据的机顶盒来向系统1000提供流数据。还有其他的示例使用输入块1130的RF连接向系统1000提供流数据。如上所述,各种示例以非流式的方式提供数据。另外,各种示例使用除Wi-Fi之外的无线网络,例如蜂窝网络或蓝牙网络。
系统1000可以向各种输出设备提供输出信号,包括显示器1100、扬声器1110和其他外围设备1120。各种示例的显示器1100包含例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器中的一者或多者。显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。显示器1100还可与其他组件集成(例如,如在智能电话中),或是单独的(例如,用于膝上型计算机的外部监视器)。在示例的各种示例中,其他外围设备1120包括独立数字视频盘(或数字多功能盘)(DVR,针对两个术语)、盘播放器、立体声系统和/或照明系统中的一者或多者。各种示例使用基于系统1000的输出提供功能的一个或多个外围设备1120。例如,盘播放器执行播放系统1000的输出的功能。
在各种示例中,使用诸如AV链路、消费电子控制(CEC)或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议的信令,在系统1000和显示器1100、扬声器1110或其他外围设备1120之间传送控制信号。输出设备可以经由通过相应接口1070、1080和1090的专用连接通信地耦合到系统1000。或者,输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。在诸如电视机的电子设备中,显示器1100和扬声器1110可以与系统1000的其他组件一起集成的单个单元中。在各种示例中,显示接口1070包括显示驱动器,例如定时控制器(T Con)芯片。
例如,如果输入1130的RF部分是单独机顶盒的一部分,则显示器1100和扬声器1130可以可替换地与一个或多个其他组件分离。在显示器1100和扬声器1130是外部组件的各种示例中,输出信号可以经由专用输出连接来提供,例如包括HDMI端口、USB端口或COMP输出。
这些示例可以由处理器1010、硬件或硬件和软件的组合实现的计算机软件来执行。作为非限制性示例,这些示例可以由一个或多个集成电路来实现。存储器1020可以是适合于技术环境的任何类型,并且可以使用任何适当的数据存储技术来实现,作为非限制性示例,诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移除存储器。处理器1010可以是适合于技术环境的任何类型,作为非限制性示例,并且可以包含微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
各种实现涉及解码。如本申请中所使用的,“解码”可以包括例如对接收到的编码序列执行的全部或部分过程,以便产生适合于显示的最终输出。在各种示例中,这样的过程包括通常由解码器执行的一个或多个过程,例如熵解码、逆量化、逆变换和差分解码。在各种示例中,这样的过程还或可替代地包含在本申请中所描述的各种实现的解码器执行的过程,举例来说,针对当前块中的子分区,基于子分区宽度和最小预测块宽度确定对应预测块。
作为进一步的示例,在一个示例中,“解码”仅指熵解码,在另一示例中,“解码”仅指差分解码,并且在另一示例中,“解码”指熵解码和差分解码的组合。短语“解码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的解码过程基于具体描述的上下文将是清楚的,并且相信是本领域技术人员所充分理解的。
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式,如在本申请中使用的“编码”可以包括例如对输入视频序列执行的全部或部分过程,以便产生编码比特流。在各种示例中,这样的过程包括通常由编码器执行的一个或多个过程,例如,分区、差分编码、变换、量化和熵编码。在各种示例中,这样的过程还或可替代地包含由本申请中所描述的各种实现的编码器执行的过程,举例来说,针对当前块中的子分区,基于子分区宽度和最小预测块宽度确定对应预测块。
作为进一步的示例,在一个示例中,“编码”仅指熵编码,在另一示例中,“编码”仅指差分编码,并且在另一示例中,“编码”指差分编码和熵编码的组合。短语“编码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的编码过程基于具体描述的上下文将是清楚的,并且相信是本领域技术人员所充分理解的。
注意,在此使用的语法元素是描述性术语。因此,它们不排除使用其他语法元素名称。
当附图被呈现为流程图时,应当理解,它还提供了对应装置的框图。类似地,当附图被呈现为框图时,应当理解,它还提供了对应的方法/过程的流程图。
各种示例涉及率失真优化。特别地,在编码过程期间,通常考虑速率(rate)和失真之间的平衡或折衷,通常给出计算复杂度的约束。率失真优化通常被公式化为最小化率失真函数,率失真函数是速率和失真的加权和。存在不同的方法来解决率失真优化问题。例如,这些方法可以基于对所有编码选项(包括所有考虑的模式或译码参数值)的广泛测试,对它们的译码成本和译码和解码后的重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度,特别是基于预测或预测残差信号而不是重构信号来计算近似失真。还可以使用这两种方法的混合,例如通过仅对一些可能的编码选项使用近似失真,而对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地,许多方法采用各种技术中的任何一种来执行优化,但是优化不一定是对译码成本和相关失真两者的完整评估。
本文描述的实现和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中讨论(例如,仅作为方法讨论),所讨论的特征的实现也可以以其他形式(例如,装置或程序)来实现。例如,可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现,所述处理器通常指处理设备,包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备,例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。
对“一个示例”或“示例”或“一个实现”或“实现”以及它们的其他变型的引用意味着结合该示例描述的特定特征、结构、特性等被包括在至少一个示例中。因此,在本申请中的各个地方出现的短语“在一个示例中”或“在示例中”或“在一个实现中”或“在实现中”以及它们的任何其他变型的出现不一定全部指代相同的示例。
另外,本申请可以涉及“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。获得可以包括接收、确定、识别和/或检索。
此外,本申请可以涉及“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如,从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
另外,本申请可以涉及“接收”各种信息。如同“访问”一样,接收旨在是广义的术语。接收信息可以包括例如访问信息或检索信息(例如从存储器)中的一者或多者。此外,在诸如存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间,通常以一种方式或另一种方式涉及“接收”。
应当理解,例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下,使用以下“/”、“和/或”以及“……中的至少一个”中的任何一个旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的示例,在“A、B和/或C”和“A、B和C中的至少一个”的情况下,这样的短语旨在涵盖仅对第一列出的选项(A)的选择,或者仅对第二列出的选项(B)的选择,或者仅对第三列出的选项(C)的选择,或者仅对第一和第二列出的选项(A和B)的选择,或者仅对第一和第三列出的选项(A和C)的选择,或者仅对第二和第三列出的选项(B和C)的选择,或者对所有三个选项(A和B和C)的选择。如本领域和相关领域的普通技术人员所清楚的,这可以扩展到所列的多个项。
此外,如本文所使用的,词语“信号”,除了别的以外,是指向对应的解码器指示某物。例如,在某些示例中,编码器用信号通知指示要用于预测子分区的样本的选择的索引中的特定一个。以这种方式,在示例中,在编码器侧和解码器侧两者处使用相同的参数。因此,例如,编码器可以向解码器传送(显式信令)特定参数,使得解码器可以使用相同的特定参数。相反,如果解码器已经具有特定参数以及其他参数,则可以使用信令而不进行发送(隐式信令),以简单地允许解码器知道并选择特定参数。通过避免任何实际功能的传输,在各种示例中实现了比特节省。应当理解,可以以各种方式来完成信令。例如,在各种示例中,一个或多个语法元素、标志等被用于将信息用信号通知给对应的解码器。虽然前述内容涉及词语“信号”的动词形式,但是词语“信号”在本文中也可以用作名词。
如对于本领域普通技术人员将显而易见的,实现可以产生各种被格式化的信号以携带例如可以被存储或传送的信息。该信息可以包括例如用于执行方法的指令,或者由所描述的实现之一产生的数据。例如,信号可以被格式化以携带所描述的示例的比特流。这种信号可以被格式化为例如电磁波(例如,使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且利用编码的数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。如已知的,信号可以通过各种不同的有线或无线链路来传送。该信号可以存储在处理器可读介质上。
我们描述了多个示例。这些示例的特征可以在各种要求权利的类别和类型上单独地或以任何组合提供。此外,示例可以包括跨越各种要求权利的类别和类型的单独或任意组合的以下特征、设备或方面中的一者或多者:
尽管以上以特定的组合描述了特征和元素,但是本领域的普通技术人员将理解,每个特征或元素可以单独使用或与其他特征和元素任意组合使用。另外,本文描述的方法可以在计算机程序、软件或固件中实现,所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读介质的示例包括电子信号(通过有线或无线连接传送)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘等的磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD)等的光介质。与软件相关联的处理器可以用于实现在WTRU、UE、终端、基站、RNC或任何主机计算机中使用的射频收发信机。
可使用帧内译码工具,例如,帧内子分区(ISP)工具。ISP工具可应用于亮度通道。ISP工具可将CU划分成多个子分区(例如,两个或四个子分区)。子分区可包括多个(例如,至少16个)样本。可以在水平方向和/或垂直方向上执行划分。CU分割可在水平方向和/或垂直方向上执行。图5示出了可允许用于CU(例如,4×8像素CU或8×4像素CU)的分区或CU-分割的示例。如图5中所示,ISP工具可将CU分割成两个子分区。ISP分割类型可以是垂直的或水平的。图6示出了可允许用于CU(例如,大于4×8像素或8×4像素的CU)的分区的示例。如图6所示,对于相对较大CU(例如,大于4×8像素或8×4像素的CU),ISP工具可将CU分割成四个子分区。帧内预测模式可用于子分区。举例来说,可将相同帧内预测模式用于CU中的子分区。
例如,当用于ISP的帧内模式是最可能模式(MPM)列表的成员时,可以设置MPM标志(例如,设置为一)。对于ISP,可以禁用帧内参考样本平滑滤波器和/或依赖于位置的帧内预测组合(PDPC)。参考线零可用于ISP。可禁用多参考线帧内预测。
对于水平分割,可自顶到底处理子分区。对于垂直分割,可从左到右处理子分区。可预测子区分,且可将残差添加到所预测的子分区,例如,以产生重构子分区。来自重构子分区的样本可用于预测下一子分区。图7显示了在帧内子分区(ISP)中的示例预测的图。在图7(a)-(c)中,水平地分割的子分区被处理。图7(a)示出了包括四个子分区A、B、C和D的CU。图7(b)示出了子分区A可以被预测和重构,并且在重构的子分区A的底行中的一个或多个样本可以被用于预测子分区B。图7(c)示出了子分区B可以被预测和重构,并且在重构的子分区B的底行中的一个或多个样本可以被用于预测子分区C。如图7(b)所示,子分区A(例如,最顶部的子分区)可以使用CU的上方和左侧参考样本来预测。可以通过将在熵解码、逆量化和逆变换中的一者或多者之后获得的残差相加来重构子分区A。重构子分区A的底行中的一个或多个样本可用于预测子分区B,接着重构建子分区B。可针对后续子分区重复所述预测及所述重构。
对于参考线零帧内预测、多参考线帧内预测和ISP,可以维护各自MPM列表(例如,大小为六的单独MPM列表)。MPM列表可保持指示(例如,发信号通知)待使用的帧内模式。用于参考线零帧内预测、多参考线帧内预测和ISP的MPM列表构造可以不同,例如,如图8、图9和图10a-10c所示。图8是用于参考线零帧内预测的MPM列表构造的示例流程图。图9是用于多参考线帧内预测的MPM列表构造的示例流程图。图10a-10c示出了用于ISP的MPM列表构造的示例流程图。MPM列表构造(例如,如图8、图9和图10a-10c中所示)可在列表构造期间考虑相邻的左侧CU(表示为‘A’)的帧内模式和/或上方的CU(表示为‘B’)的帧内模式。可以例如使用模式‘A’和‘B’来检查多个条件(例如,四个条件)。如果满足条件,则可以生成MPM列表。例如,每个满足条件可以导致单独的MPM列表。表1示出了可以在MPM列表构造中使用的四个条件(例如,图8、图9和图10a-10c中所示的三个MPM列表构造)以及它们的相应逻辑条件(按照帧内模式A和B)的示例。
Figure GDA0003370023260000341
表1-在图8、图9和图10a-10c中所示的列表构造中使用的示例条件
如图8、图9和/或图10a-10c所示,MPM列表可以包括索引(例如,从零到五)及其相关联的帧内模式。更接近于零的索引可以更接近于MPM列表的顶部。例如,如图8所示,默认条件可以产生包括帧内模式‘A’作为其第零个元素的MPM列表。‘A’和‘B’的最小值和最大值分别表示为minAB和maxAB,并且‘%’表示模运算符。如图10a-10c所示,例如在ISP中,在MPM构造中可以考虑分割的类型(例如,水平分割或垂直分割)。
图11是用于统一MPM列表构造的示例流程图。图11示出了针对帧内译码工具(例如,参考线零帧内预测、多参考线帧内预测和ISP)的统一MPM列表构造。可以针对多参考线帧内预测和ISP修改统一MPM列表。在多参考线帧内预测的情况下,例如,由于DC和平面模式不用于多参考线帧内预测,因此可以从统一MPM列表中跳过DC模式和平面模式。在ISP的情况下,例如,由于DC模式不用于ISP,因此DC模式可从统一MPM列表中跳过或由统一MPM列表中的角度模式替换。
在ISP中,子分区可以基于ISP分割类型自顶到底或从左到右来被预测(例如,连续预测)和重构。举例来说,在使用水平分割时,可自顶到底预测并重构子分区。当使用垂直分割时,可从左到右预测并重构子分区。例如,当已重构先前子分区时,可预测子区分(例如,后续子分区)。在一些示例中,子分区预测可以独立于相邻分区或先前分区的重构。可以减少时延。
(一个或多个)MPM列表构造过程可对应于参考线零帧内预测、多参考线帧内预测和ISP。在示例中,可以统一用于不同帧内译码工具(例如,参考线零帧内预测、多参考线帧内预测和ISP)的各个MPM列表构造过程。统一的MPM列表可以基于多个条件。MPM列表可以在满足相应的条件时改变。例如,每个条件可以产生不同的MPM列表。可以构造统一的MPM列表。
公开了用于例如通过减少ISP中的时延和/或简化MPM列表构造过程来实现ISP的系统、方法和手段。在一些示例中,可以使用来自先前相邻子分区的预测样本来预测后续子分区。在一些示例中,可以使用来自先前相邻子分区的预测样本或重构样本来预测后续子分区。本文关于水平分区的一个或多个示例也可适用于垂直分区。在垂直分区中,相关行可以由列替代,并且相关的底行可以由右列替代。本文的一个或多个示例可以减少时延。
先前子分区预测样本可用作用于预测的参考样本。ISP可以连续地执行子分区的预测和重构。在一些示例中,子分区的预测可以不取决于来自其相邻子分区的重构样本。可以使用邻接CU的上方参考行和左侧参考列预测第一子分区。第一子分区可为用于水平分割的最顶部子分区。第一子分区可为用于垂直分割的最左侧子分区。可针对其余子分区执行预测。
可执行基于CU的预测,例如,以预测子分区、变换单元(TU)或预测单元(PU)。举例来说,如果N表示预测CU中的子分区的数目,那么在基于CU的预测中,可如下执行预测。可预测第一N-1子分区中的每一者的底行(例如,用于水平分割)或右列(例如,用于垂直分割)。图12包括(a)和(b),示出了示例的基于CU的预测,其中可使用邻接CU的上方和左侧参考线中的样本来预测子分区A、B和C的底行。如图12所示,CU可被水平分割为四个子分区A、B、C及D。前三个子分区A、B及C中的每一者的底行可被预测,例如,如图12(a)及图12(b)所示。这些行(或在垂直分割的情况下为列)可使用邻接CU的上方参考行和左侧参考列来预测。这些行(或在垂直分割的情况下为列)可利用与CU的帧内模式相同的预测模式进行预测。所预测的行(或列)可用于预测相邻子分区。举例来说,如图12(b)所示,子分区B的所预测的底行样本可用于预测子分区C。CU的子分区中的每一者(例如,N-1个子分区)可被预测。
例如,一旦完成预测,就可以基于子分区或在整个CU上执行重构。如果基于子分区执行重构,则可以通过基于子分区应用逆量化和逆变换来生成残差。如果对CU(例如,整个CU)执行重构过程,那么可针对整个CU生成残差。基于CU的预测可例如针对ISP减少时延。
可执行基于子分区的预测。可使用(例如)来自先前子分区的预测样本来连续执行子分区的预测。图13示出了基于子分区的预测的示例。如图13所示,CU可水平分割成四个子分区A、B、C和D。如图13所示,可使用邻接CU的上方参考行和左侧参考列来预测第一子分区。在示例中,第一子分区可为最顶部子分区A。如图13(a)中所示,来自A的底行且具有左侧参考列的预测样本可以用于预测子分区B。参考图13(b),子分区B的底行预测样本(例如,与左侧参考列一起)可以用于预测子分区C。可重复所述过程直到预测到最后一个子分区为止。可对垂直分割的子分区执行如图13中所示的基于子分区的预测。
例如,一旦完成预测,就可以基于子分区或在整个CU上执行重构。如果基于子分区执行重构,则可以通过基于子分区应用逆量化和逆变换来生成残差。如果在CU(例如,整个CU)上执行重构过程,那么可针对整个CU生成残差。基于CU的预测可例如针对ISP减少时延。
图14(a)-(c)是针对以下的流水线阶段的示例的示意图:(a)ISP,(b)使用基于子分区的预测的ISP,以及(c)使用基于多个子分区的预测或基于多子分区的预测的ISP。图14(a)和图14(b)示出了针对ISP的流水线,且当考虑具有子分区A和B的CU时,针对ISP的流水线可以利用基于子分区的预测。图14(a)和图14(b)示出了流水线的各个阶段:预测;逆量化和逆变换;以及重构。图14(c)示出了基于多子分区帧内预测的ISP(例如,相对于原始ISP)的流水线阶段。子分区B的预测可以不依赖于子分区A的重构。例如,如图14(a)-(c)所示,可以实现时延的减少。
例如,可以执行混合预测以预测子分区、TU或PU。可以利用来自相邻子分区的预测样本或来自相邻子分区的重构样本来预测子分区。对于预测样本,可利用基于CU的预测或基于子分区的预测。图15示出了混合预测的示例,其中可使用重构样本或来自相邻子分区的预测样本来预测子分区。如图15所示,例如,可以使用如本文所述的基于CU的预测来预测子分区A的底行。例如,通过利用逆量化和逆变换操作,可确定子分区A、B、C和D的残差。例如,在获得残差之后,可以预测子分区A和B。可以使用邻接CU的上方参考行和左侧参考列预测子分区A。可以使用子分区A的底部预测行和CU的左侧参考列来预测子分区B。可重构子分区A及子分区B。子分区B的底部重构行和左侧参考列可以用于预测子分区C。子分区C的底部预测行和左侧参考列可以用于预测子分区D,例如,使用本文描述的基于子分区的预测。
例如,如本文所描述的,可从来自邻接子分区的重构样本预测最后的子分区。举例来说,最后的子分区可距参考线中的一者最远。在水平分割中,底部子分区可最远离上方参考行。可改进最后的子分区的预测的准确性。
混合预测可用于预测CU。举例来说,可基于另外的(一个或多个)子分区的重构样本来预测CU的(一个或多个)某子分区,且可基于(一个或多个)其他子分区的预测样本来预测CU的(一个或多个)某子分区。图16示出了混合预测的示例。在图16中,可从子分区C的底行重构样本预测子分区D。如图16(a)中所示,可通过利用基于子分区的预测从子分区B的底行预测样本来预测子分区C。如图16(b)中所示,可通过利用基于CU的预测从子分区B的底行预测样本来预测子分区C。
可基于CU大小选择预测类型(例如,基于CU的预测、基于子分区的预测或混合预测)。例如,对于较大的CU(例如,大小大于16×16像素的CU),可以使用混合预测。对于较小的CU(例如,大小高达16×16像素的CU),可使用基于子分区的预测。
可基于帧内模式选择预测类型。对于帧内角度模式,可使用基于子分区的预测,而对于非角度模式,可使用基于CU的预测。
本文所述的一个或多个预测类型可以与常规ISP(regular ISP)预测一起使用,其中子分区的预测和重构被连续地执行(例如,自顶到底或从左到右)。本文所述的基于分区的预测可以应用于相对较小的CU,例如,大小为8×4像素或4×8像素的CU,并且常规ISP可以用于较大的CU(例如,大小大于8×4像素或4×8像素的CU)。在一些情况下,可针对相对较小的CU(例如,大小为8×4像素和4×8像素的CU)禁用常规ISP,而可将ISP应用于较大CU(例如,大小大于8×4像素及4×8像素的CU)。
在示例中,可自适应地选择用于预测子分区的样本。举例来说,选择的样本可为重构样本、来自基于CU的预测所预测的样本、来自基于子分区的预测所预测的样本。可在比特流中将索引用信号通知给视频解码设备。可针对每一CU用信号通知索引。所述索引可指示由视频编码设备使用的样本的选择。表2示出了例如当考虑具有四个子分区的CU时,在自适应方案中可用的选择的示例。如表2所示,索引2针对子分区B使用基于CU的预测、针对子分区C使用基于子分区的预测、以及针对子分区D基于重构样本的预测(例如,ISP)。如表2中所示,自适应方案可限制子分区A使用ISP,且限制子分区B使用基于CU的预测。如表2中进一步所示,自适应方案中的选择的数目可以被限制为所列出的选择的子集。可以减少用于索引的信令开销。例如,选择的数目可以被限制为与索引0、1、2和4相对应的四个选择,如表2所示。最后的子分区D的预测准确性可随着这些受限选择而改进。
索引 子分区B 子分区C 子分区D
0 CU recon recon
1 CU CU recon
2 CU sub-part recon
3 CU recon CU
4 CU recon sub-part
5 CU CU sub-part
6 CU sub-part CU
7 CU sub-part sub-part
8 CU CU CU
表2,自适应方案列出了子分区预测的不同选择。子分区A可以使用ISP。在表2中使用了以下符号:CU,表示基于CU的预测;sub-part,表示基于子分区的预测;以及recon,表示从重构样本进行预测。
子分区的帧内预测可基于与当前块相邻的参考样本,例如CU相邻参考样本。图17示出了基于多个子分区的预测或基于多子分区的帧内预测的示例。可并行地执行两个及更多个子分区的帧内预测。如图17中所示,可根据与各个子分区相关联的CU相邻参考样本,同时(例如,一次全部)执行两个或更多个子分区的帧内预测。可以减少每个ISP子分区的重构时延。连续多个ISP子分区的重构可以并行地执行。图14(c)示出了基于多子分区帧内预测的ISP(例如,相对于原始ISP)的流水线阶段。
要被帧内预测的PU可以包括变换单元(TU)。PU和TU可以具有相同的大小。在一些示例中,一个PU可包括两个或更多个的TU。TU可以包括子分区。通过将多个TU合并为更大大小的PU(例如,大于单个TU),可以同时执行多个TU的PU帧内预测。TU的解码/重构可以并行地执行。可降低TU的解码和/或处理时延。
设备可执行以下一者或多者:基于CU的帧内预测、基于子分区的帧内预测、基于多个子分区的帧内预测。图18示出了水平分割CU和垂直分割CU的ISP子分区的各个示例。如图18所示,ISP可以应用于各种大小的CU。图18提供各种垂直分割的CU和水平分割的CU的示例,例如,4×8、4×N、8×4和8×N。设备可以接收子分区类型(例如,ISP的类型)是水平分割还是垂直分割的指示。举例来说,根据本文中的一个或多个示例,设备可基于垂直分割或水平分割执行预测。基于子分区类型为水平分割的指示,设备可在水平方向上执行子分区。基于子分区类型为垂直分割的指示,设备可在垂直方向上执行子分区。在示例中,设备可以基于ISP的类型来预测预测块。
针对译码块的PU可具有预测块宽度。预测块宽度可指从PU的一侧到该PU的另一侧测量的样本的数目。最小预测块宽度可以与子分区的预测结合使用。一个PU可包括被垂直分割或水平分割的两个或更多个子分区(例如,TU子分区),如图19C和19D中所示。预测块宽度可以是子分区宽度或子分区宽度的倍数,例如,如图19C和19D中所示。子分区宽度和最小预测块宽度可以用于确定用于预测的预测块。举例来说,在子分区划分类型为垂直分割时,当子分区宽度小于最小预测块宽度时,具有多个子分区的预测区块可用于预测。如图19C和19D中所示,最小预测块宽度可为4个样本。当子分区宽度小于4个样本时,预测块宽度可以是4个样本。当子分区宽度等于或大于最小预测块宽度时,具有子分区的预测块可以用于预测。预测块宽度可以是子分区宽度。
图19A示出了一示例,其中图18中所示的1×N(N≥16)及2×N(N≥8)子分区可被移除并由4×N(例如,N>8)子分区替代。1×N子分区可表示一个样本宽和N个样本高的子分区。2×N子分区可表示两个样本宽和N个样本高的子分区。4×N子分区可表示四个样本宽和N个样本高的子分区。
4×N子分区的子分区宽度是四个样本。4×N子分区的子分区高度是N个样本。子分区宽度和/或子分区高度可用于对当前块进行子分区划分以进行帧内预测。可至少部分基于当前块的ISP类型是垂直分割还是水平分割来确定当前块的子分区宽度,如图18中所示。
最小预测块宽度可以是四个样本。如本文所描述,PU可包括一个或多个水平或垂直分割的子分区。PU可包括一个或多个4×N子分区,例如,因为1×N(N≥16)和2×N(N≥8)子分区被4×N子分区所替代。可结合图19A中所示的示例来执行使用基于多个子分区的帧内预测的ISP。最小预测块宽度可以用于确定对应于相应子分区的PU。
预测块的预测可基于CU相邻样本和/或重构的子分区。如图19A中所示,用4×N子分区替换1×N(N≥16)及2×N(N≥8)子分区可导致没有针对4×8、4×N(N≥16)CU垂直分割ISP。子分区的预测可以基于不小于4个样本宽度的预测单元。在这样的4×8或4×N(N≥16)CU中的预测块的预测可基于CU相邻样本而不基于例如重构的子分区。用4×N子分区替换1×N(N≥16)和2×N(N≥8)子分区可导致针对8×N(N≥8)CU的两个4×N垂直分割子分区,其根据粗体和下划线字体突出显示。在这样的8×N(N≥8)CU中的预测块的预测可基于CU相邻样本和重构的子分区。
对于某些CU大小,PU可以包括多个TU子分区。4×8CU可表示宽为四个样本宽且高为八个样本的CU或译码块。4×N CU可以表示宽为四个样本和高为N个样本的CU或译码块。PU可包含多个TU子分区,例如,针对4×8、4×N、8×4和8×N大小的CU。
在本文的一个或多个示例中,CU和译码块可互换使用,PU和预测块可互换使用,且TU和变换块可互换使用。
在示例中,设备可以确定针对当前块启用ISP。所述设备可确定当前块的子分区宽度。对于当前块中的子分区,设备可基于子分区宽度及最小预测块宽度确定对应预测块。所述设备可使用与预测块相邻的参考样本来预测所述预测块。举例来说,参考样本可包含CU相邻参考样本和/或来自重构的子分区的样本。
参考样本可与CU、PU或TU相邻。举例来说,与PU相邻的参考样本可包含邻近于PU或与PU空间分离的参考样本。与PU相邻的参考样本可包含在相邻子分区中的参考样本。与PU相邻的参考样本可包含在相邻的CU、PU或TU中的参考样本。相邻子分区可邻近于PU或与PU空间分离。
可移除N×2(N≥8)个子分区并用N×4个子分区替代。图19B示出了一示例,其中除用图19A中所示的4×N子分区替换1×N(N≥16)及2×N(N≥8)子分区之外,图18中所示的N×2(N≥8)个子分区可被移除并用N×4子分区替换。如图19B中所示,除了没有针对4×8、4×N(N≥16)CU垂直分割ISP之外,例如,没有水平分割ISP可以应用于8×4CU。两个N×4水平分割子分区可以应用于N×8(N≥8)CU,其根据粗体和下划线字体突出显示。可结合图19B中所示的示例来执行使用基于多个子分区的帧内预测的ISP。
PU可包括32个或更多个样本。图19C示出了一示例,其中例如除用图19A中所示的4×N子分区替换1×N(N≥16)和2×N(N≥8)子分区之外,PU可包含32个样本。例如,通过强制帧内预测的最小PU大小,可以实现从每PU16个样本到每PU32个样本的这种变化。在示例中,最小PU大小可以包括4×8或8×4PU大小,图19C中用粗体和下划线突出显示。如图19C中所示,最小大小的PU(例如,4×8PU或8×4PU)可涉及一个相同PU大小的TU子分区或两个半PU大小(例如,4×4)的TU子分区。可结合图19C中所示的示例来执行使用基于多个子分区的帧内预测的ISP。例如,当PU可以包括32个或更多个样本时,可以执行本文描述的多子分区预测。
图19D示出了一示例,其中图19A、19B和19C中所示的示例可同时应用。在示例中,1×N、2×N、N×2子分区移除可以与4×8或8×4最小PU大小强制同时应用,例如,与每PU周期32个样本的吞吐量的ISP最坏情况一起应用。可结合图19D中所示的示例来执行使用基于多个子分区的帧内预测的ISP。
可以为MPM列表构造提供系统、方法和手段。图20示出了统一MPM列表生成/构造的示例。在统一MPM列表构造示例中,可检查多个条件(例如,表1中列出的四个条件)以确定组合的MPM列表。例如,表1中列出的条件1和3可以合并为单一条件。表3示出了统一MPM列表构造的条件的示例。如表3中所示,可利用单个条件(例如,条件(b))来检查帧内模式A或帧内模式B是否为角度模式。
Figure GDA0003370023260000441
表3,用于统一MPM列表构造的示例条件
在示例中,如图11中所示,在满足表3中所列的条件(例如条件(b))时生成的MPM列表可以与在满足表1中所列的条件(例如条件3)时生成的MPM列表相同。图20中示出了示例统一MPM列表构造。

Claims (16)

1.一种装置,包括:
处理器,其被配置为:
确定针对当前块启用帧内子分区(ISP);
确定所述当前块的子分区宽度;
针对所述当前块中的子分区,基于所述子分区宽度和最小预测块宽度,确定对应预测块;
确定所述预测块的参考样本;以及
使用所述参考样本来预测所述预测块。
2.根据权利要求1所述的装置,其中所述最小预测块宽度为4个样本。
3.根据权利要求1所述的装置,其中在当前块宽度为4个样本且当前块高度为8个样本或更大时,所述预测块包括多个变换块子分区。
4.根据权利要求1所述的装置,其中在当前块宽度为8个样本且当前块高度为8个样本或更大时,所述预测块包括多个变换块子分区。
5.根据权利要求1所述的装置,其中当所述当前块被垂直分割、当前块宽度为4个样本且当前块高度为8个样本或更大时,使用与所述当前块相邻的样本来预测所述预测块。
6.根据权利要求1所述的装置,其中所述预测块通过使用与所述当前块相邻的样本以及来自所述当前块中的重构子分区的样本而被预测。
7.根据权利要求1所述的装置,其中在当前块宽度为8个样本且当前块高度为8个样本或更大时,所述预测块通过使用与所述当前块相邻的样本以及来自所述当前块中的重构子分区的样本而被预测。
8.根据权利要求1所述的装置,其中所述处理器还被配置为接收所述当前块的ISP指示,且所述ISP基于所述ISP指示而被确定为针对所述当前块启用。
9.根据权利要求1所述的装置,其中所述处理器还被配置为接收关于ISP的类型是垂直分割还是水平分割的指示,且所述预测块基于ISP的所述类型而被预测。
10.根据权利要求1所述的装置,其中所述当前块的所述子分区宽度至少部分基于所述当前块的所述ISP类型是垂直分割还是水平分割而被确定。
11.根据权利要求1所述的装置,其中所述预测块的所述参考样本包括与所述预测块相邻的样本。
12.根据权利要求1所述的装置,其中所述装置包括用于对图像的一部分进行解码的解码设备或者用于对图像的一部分进行编码的编码设备中的至少一者。
13.一种方法,包括:
确定针对当前块启用帧内子分区(ISP);
确定所述当前块的子分区宽度;
针对所述当前块中的子分区,基于所述子分区宽度和最小预测块宽度,确定对应预测块;
确定参考样本;以及
使用所述参考样本来预测所述预测块。
14.根据权利要求13所述的方法,其中所述最小预测块宽度为4个样本。
15.根据权利要求13所述的方法,其中在当前块宽度为4个样本且当前块高度为8个样本或更大时,所述预测块包括多个变换块子分区。
16.根据权利要求13所述的方法,其中在所述当前块被垂直分割、当前块宽度为4个样本且当前块高度为8个样本或更大时,所述预测块通过使用与所述当前块相邻的样本而被预测。
CN202080020678.XA 2019-03-11 2020-03-11 视频译码中的帧内子分区 Pending CN113875236A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962816548P 2019-03-11 2019-03-11
US62/816,548 2019-03-11
US201962860122P 2019-06-11 2019-06-11
US62/860,122 2019-06-11
PCT/US2020/022121 WO2020185910A1 (en) 2019-03-11 2020-03-11 Intra sub-partitions in video coding

Publications (1)

Publication Number Publication Date
CN113875236A true CN113875236A (zh) 2021-12-31

Family

ID=70110419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080020678.XA Pending CN113875236A (zh) 2019-03-11 2020-03-11 视频译码中的帧内子分区

Country Status (9)

Country Link
US (1) US20220150486A1 (zh)
EP (1) EP3939268A1 (zh)
JP (1) JP2022524523A (zh)
KR (1) KR20210148113A (zh)
CN (1) CN113875236A (zh)
CA (1) CA3132980A1 (zh)
SG (1) SG11202109847XA (zh)
TW (1) TW202103493A (zh)
WO (1) WO2020185910A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117581544A (zh) * 2021-05-19 2024-02-20 抖音视界有限公司 用于视频处理所述的方法、设备和介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929931B2 (en) * 2004-12-24 2011-04-19 Sharp Kabushiki Kaisha Broadcast receiver
TWI339073B (en) * 2006-11-13 2011-03-11 Univ Nat Chiao Tung Video coding method using image data skipping
KR101403338B1 (ko) * 2007-03-23 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US20150223705A1 (en) * 2010-03-12 2015-08-13 Rajendra Padma Sadhu Multi-functional user wearable portable device
US10091529B2 (en) * 2010-07-09 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding/decoding a transform coefficient
TWI536811B (zh) * 2013-12-27 2016-06-01 財團法人工業技術研究院 影像處理方法與系統、解碼方法、編碼器與解碼器
KR20170102806A (ko) * 2016-03-02 2017-09-12 한국전자통신연구원 비디오 신호 부호화/복호화 방법 및 이를 위한 장치
US10531085B2 (en) * 2017-05-09 2020-01-07 Futurewei Technologies, Inc. Coding chroma samples in video compression
EP3750306A1 (en) * 2018-02-09 2020-12-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Partition-based intra coding concept
WO2020061395A1 (en) * 2018-09-21 2020-03-26 Interdigital Vc Holdings, Inc. Motion vector prediction in video encoding and decoding
KR20210084567A (ko) * 2018-11-28 2021-07-07 주식회사 윌러스표준기술연구소 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
US11490112B2 (en) * 2018-11-29 2022-11-01 Interdigital Vc Holdings, Inc. Motion vector predictor candidates ordering in merge list

Also Published As

Publication number Publication date
WO2020185910A1 (en) 2020-09-17
US20220150486A1 (en) 2022-05-12
SG11202109847XA (en) 2021-10-28
TW202103493A (zh) 2021-01-16
KR20210148113A (ko) 2021-12-07
JP2022524523A (ja) 2022-05-06
EP3939268A1 (en) 2022-01-19
CA3132980A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US20220377344A1 (en) Systems and methods for versatile video coding
US20220394298A1 (en) Transform coding for inter-predicted video data
CN116527926A (zh) 合并模式、自适应运动向量精度和变换跳过语法
CN115552906A (zh) 量化参数编码
CN113875236A (zh) 视频译码中的帧内子分区
US20220345701A1 (en) Intra sub-partitions related infra coding
US20240196007A1 (en) Overlapped block motion compensation
WO2023194138A1 (en) Transform index determination
WO2023194193A1 (en) Sign and direction prediction in transform skip and bdpcm
WO2023194568A1 (en) Template based most probable mode list reordering
WO2023194395A1 (en) Chroma direct mode
WO2024133058A1 (en) Gradual decoding refresh padding
WO2024079193A1 (en) Extended angular prediction modes with decoder side refinement
WO2024133053A1 (en) Combination of intra template prediction and intra block copy with other coding tools
WO2024003115A1 (en) Chroma multiple transform selection
WO2023118048A1 (en) Most probable mode list generation with template-based intra mode derivation and decoder-side intra mode derivation
WO2024002947A1 (en) Intra template matching with flipping
WO2023057487A2 (en) Transform unit partitioning for cloud gaming video coding
WO2024079187A1 (en) Video coding combining intra-sub partition and template-based intra-mode derivation techniques
WO2023046955A1 (en) Template-based syntax element prediction
WO2024133762A1 (en) Extension of spatial geometric prediction mode
TW202416715A (zh) 非幀內預測編碼區塊的等效幀內模式
WO2023198535A1 (en) Residual coefficient sign prediction with adaptive cost function for intra prediction modes
WO2023057501A1 (en) Cross-component depth-luma coding
WO2023057488A1 (en) Motion vector coding with input motion vector data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination