CN113396591A - 针对用于基于模板的视频译码的改进的线性模型估计的方法、架构、装置和系统 - Google Patents

针对用于基于模板的视频译码的改进的线性模型估计的方法、架构、装置和系统 Download PDF

Info

Publication number
CN113396591A
CN113396591A CN201980091368.4A CN201980091368A CN113396591A CN 113396591 A CN113396591 A CN 113396591A CN 201980091368 A CN201980091368 A CN 201980091368A CN 113396591 A CN113396591 A CN 113396591A
Authority
CN
China
Prior art keywords
samples
minimum
template
luma
chroma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980091368.4A
Other languages
English (en)
Inventor
索拉夫·班德亚帕德耶
修晓宇
贺玉文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN113396591A publication Critical patent/CN113396591A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了针对用于基于模板的视频译码的改进的线性模型估计的过程、方法、架构、装置、系统、设备和计算机程序产品。其中包括一种方法,该方法包括:确定与译码块相邻的亮度和色度样本的最小和最大(“min/max”)值,其中最小/最大色度值对应于最小/最大亮度值;(i)基于单个查找表和所述最小/最大色度值并且(ii)以不大于16位的精度,确定基于模板的视频译码技术的第一线性模型参数;(i)基于所述第一线性模型参数以及所述最小色度和亮度值并且(ii)以不大于16位的精度,确定所述基于模板的视频译码技术的第二线性模型参数;以及基于所述译码块的重构亮度样本以及所述第一和第二线性模型参数,预测所述译码块的色度样本。

Description

针对用于基于模板的视频译码的改进的线性模型估计的方 法、架构、装置和系统
相关申请的交叉引用
本申请要求2018年12月21日提交的美国临时专利申请No.62/784,341的权益,其通过引用而被并入本文。
背景技术
视频译码(coding)系统可以用于压缩数字视频信号,例如,以减少这种信号所需的存储和/或传输带宽。视频译码系统可以包括基于块、基于小波和/或基于对象的系统。这些系统可以采用各种基于模板的译码技术(例如,工具),诸如交叉分量线性模型(CCLM)和局部照度补偿(LIC),如当前所构造的,其具有多个缺点,这其中包括繁重的硬件实现以及单独和组合的计算复杂性。
附图说明
从以下结合附图以示例方式给出的详细描述中可以获得更详细的理解。说明书中的附图是示例。类似于详细描述,以下附图中图示不应被认为是限制性的,并且其它等效的示例是可能的并且是可能的。此外,图中相同的附图标记(“ref.”)表示相同的元素,其中:
图1A是示出了示例通信系统的系统图示;
图1B是示出了可以在图1A所示的通信系统内部使用的示例无线发射/接收单元(WTRU)的系统图示;
图1C是示出了可以在图1A所示的通信系统内部使用的例示无线电接入网络(RAN)和例示核心网络(CN)的系统图示;
图1D是示出了可以在图1A所示的通信系统内部使用的另一个例示RAN和另一个例示CN的系统图示;
图2是示出了示例性基于块的视频编码器(encoder)的框图;
图3示出了四元分区、水平二元分区、垂直二元分区、水平三元分区和垂直三元分区的示例;
图4是示出了示例性视频解码器(decoder)的框图;
图5是具有一般化双向预测(GBi)支持的示例性的基于块的视频编码器的框图;
图6是示出了用于编码器的示例GBi单元的框图;
图7为示出了具有GBi支持的示例性的基于块的视频解码器的框图;
图8是示出了用于解码器的示例GBi单元的框图;
图9是示出了可以对其执行局部照度补偿(LIC)的一组帧/图片的框图;
图10示出了跨分量线性模型(CCLM)的左和上因果样本的示例位置;
图11示出了用于导出线性模型参数的示例性CCLM直线估计模型;
图12示出了用于导出线性模型参数的示例LIC直线估计模型;
图13是示出了基于上方样本的用于任何CCLM和LIC直线估计模型的示例线性模型模式(LM_A模式)的框图;
图14是示出了基于左样本的用于任何CCLM和LIC直线估计模型的示例线性模型模式(LM_L模式)的框图;
图15示出了具有两个基于LIC最小-最大(min-max)的线性模型的示例多模型参数估计方法;
图16示出了多模型相对于单模型LIC的示例点分布驱动选择;
图17是示出了根据一个或多个实施例的示例流程的流程图;以及
图18是示出了根据一个或多个实施例的示例流程的流程图。
具体实施方式
在以下详细描述中,阐述了许多具体细节以提供对本文所公开的实施例和/或示例的透彻理解。然而,将理解,可以在没有本文阐述的一些或全部具体细节的情况下实践这样的实施例和示例。在其它情况下,没有详细描述公知的方法、过程、组件和电路,以免混淆下面的描述。此外,本文中没有具体描述的实施例和示例可以代替本文中描述、公开或以其他方式明确地、隐含地和/或固有地(统称为“提供”)提供的实施例和其他示例或与其组合地实施。尽管本文描述和/或要求保护了其中装置、系统、设备等和/或其任何元件执行操作、过程、算法、功能等和/或其任何部分的各种实施例,但是应当理解,本文描述和/或要求保护的任何实施例假定任何装置、系统、设备等和/或其任何元件被配置成执行任何操作、过程、算法、功能等和/或其任何部分。
示例通信系统
本文提供的方法、装置和系统非常适合于涉及有线和无线网络两者的通信。有线网络是公知的。关于图1A-1D提供了各种类型的无线设备和基础设施的概述,其中网络的各种元件可以利用、执行、根据这里提供的方法、装置和系统来布置和/或被适配和/或配置用于这里提供的方法、装置和系统。
图1A是示出了可以实施所公开的一个或多个实施例的例示通信系统100的图示。提供示例通信系统100仅用于说明的目的,而不是对所公开的实施例的限制。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说,通信系统100可以使用一种或多种信道接入方法,例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾(ZT)唯一字(UW)离散傅里叶变换(DFT)扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图1A所示,通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、无线电接入网络(RAN)104/113、核心网络(CN)106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112,然而应该了解,所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说,任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”,其可以被配置成发射和/或接收无线信号,并且可以包括(或为)用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如,远程手术)、工业设备和应用(例如,机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。每一个基站114a和/或基站114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来例如促使其接入一个或多个通信网络(例如,CN 106/115、因特网110、和/或网络112)的任何类型的设备。例如,基站114a、114b可以是基地收发信台(BTS)、节点B(NB)、e节点B(eNB)、家庭节点B(HNB)、家庭e节点B(HeNB)、g节点B(gNB)、NR节点B(NR NB)、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件,然而应该了解,基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分,并且所述RAN还可以包括其他基站和/或网络部件(未显示),例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如,与基站114a相关联的小区可被分为三个扇区。由此,在一个实施例中,基站114a可以包括三个收发信机,即,每一个收发信机都对应于小区的一个扇区。在一个实施例中,基站114a可以使用多输入多输出(MIMO)技术,并且可以为小区的每一个或任意扇区使用多个收发信机。例如,通过使用波束成形,可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一个或多个进行通信,其中所述空中接口可以是任何适当的无线通信链路(例如,射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说,如上所述,通信系统100可以是多址接入系统,并且可以使用一种或多种信道接入方案,例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如,RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术,例如通用移动电信系统(UMTS)陆地无线电接入(UTRA),其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
在一个实施例中,基站114a和WTRU 102a、102b、102c可以某种无线电技术,例如演进型UMTS陆地无线电接入(E-UTRA),其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。
在其它实施例中,基站114a及WTRU 102a、102b、102c可实施无线技术,例如IEEE802.16(即,全球微波存接入操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、增强型数据速率GSM演进技术(EDGE)、以及GSM EDGE(GERAN)等。
在一个实施例中,基站114a和WTRU 102a、102b、102c可以实施某种无线电技术,例如NR无线电接入,其中所述无线电技术可以建立使用新型无线电(NR)的空中接口116。
在一个实施例中,基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如,基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如,使用双连接(DC)原理)。由此,WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如,eNB和gNB)发送的传输来表征。
在其他实施例中,基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术,例如IEEE 802.11(即,无线高保真(Wi-Fi))、IEEE802.16(即,全球微波接入互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图1A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点,并且可以使用任何适当的RAT来促成局部区域中的无线连接,例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如,供无人机使用)以及道路等等。在一实施例中,基站114b与WTRU102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在一个实施例中,基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在一实施例中,基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如,WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立小型小区、微微小区或毫微微小区中的任意者。如图1A所示,基站114b可以直连到因特网110。由此,基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信,所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求,例如不同的吞吐量需求、时延需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等,和/或可以执行用户验证之类的高级安全功能。虽然在图1A中没有显示,然而应该了解,RAN 104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如,除了与使用NR无线电技术的RAN 104/113相连之外,CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或Wi-Fi无线电技术中的任意者的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如,TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP))的全球性互联计算机网络设备系统。网络112可以包括由其他服务供应商拥有和/或运营的有线或无线通信网络。例如,网络112可以包括与一个或多个RAN相连的另一个CN,其中所述一个或多个RAN可以与RAN 104/114使用相同RAT或不同RAT。
通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如,WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如,图1A所示的WTRU 102c可被配置成与使用基于蜂窝的无线电技术的基站114a通信,以及与可以使用IEEE 802无线电技术的基站114b通信。
图1B是例示WTRU 102的系统图示。示例性WTRU 102仅是为了说明的目的而提供的,并不限制所公开的实施例。如图1B所示,WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边设备138。应该了解的是,在保持符合实施例的同时,WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120,收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独组件,然而应该了解,处理器118和收发信机120也可以集成在一个电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如,基站114a)的信号。举个例子,在一实施例中,发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例,在一实施例中,发射/接收部件122可以是被配置成发射和接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中,发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是,发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
另外,虽然在图1B中将发射/接收部件122描述成是单个部件,但是WTRU 102可以包括任何数量的发射/接收部件122。例如,WTRU 102可以使用MIMO技术。由此,在一个实施例中,WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如,多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制,以及对发射/接收部件122接收的信号进行解调。如上所述,WTRU102可以具有多模能力。因此,收发信机120可以包括允许WTRU 102借助多种RAT(例如,NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如,液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元),并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、数字键盘126和/或显示器/触摸板128输出用户数据。此外,处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息,以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中,处理器118可以从那些并非实际位于WTRU 102的存储器存取信息,以及将数据存入这些存储器,作为示例,此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力,并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如,电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136,该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如,经度和纬度)。作为来自GPS芯片组136的信息的补充或替换,WTRU 102可以经由空中接口116接收来自基站(例如,基站114a、114b)的位置信息,和/或根据从两个或多个附近基站接收的信号定时来确定其位置。应该了解的是,在保持符合实施例的同时,WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138,其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块/单元。例如,周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(例如,用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0003197876350000101
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。周边设备138可以包括一个或多个传感器,所述传感器可以是以下的一个或多个:陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
WTRU 102可以包括全双工无线电设备,其中对于该无线电设备来说,一些或所有信号(例如,与用于UL(例如,对传输而言)和下行链路(例如,对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如,扼流线圈)或是凭借处理器(例如,单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在一个实施例中,WTRU 102可以包括传送或接收一些或所有信号(例如,与用于UL(例如,对传输而言)或下行链路(例如,对接收而言)的特定子帧相关联)的半双工无线电设备。
图1C是根据另一个实施例的RAN 104和CN 106的系统图示。如上所述,RAN 104可以在空中接口116上使用E-UTRA无线电技术来与WTRU102a、102b和102c进行通信。所述RAN104还可以与CN 106进行通信。
RAN 104可以包括e节点B 160a、160b、160c,然而应该了解,在保持符合实施例的同时,RAN 104可以包括任何数量的e节点B。每一个e节点B 160a、160b、160c都可以包括在空中接口116上与WTRU 102a、102b、102c通信的一个或多个收发信机。在一实施例中,e节点B 160a、160b、160c可以实施MIMO技术。由此,举例来说,e节点B 140a可以使用多个天线来向WTRU 102a发射无线信号,和接收来自WTRU 102a的无线信号。
每一个e节点B 160a、160b和160c都可以关联于一个特定小区(未显示),并且可被配置成处理无线电资源管理决策、切换决策、上行链路(UL)和/或下行链路(DL)中的用户调度等等。如图1C所示,e节点B 160a、160b、160c彼此可以通过X2接口进行通信。
图1C所示的核心网络106可以包括移动性管理网关(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关166。虽然前述的每一个部件都被描述成是CN 106的一部分,然而应该了解,这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的每一个e节点B160a、160b、160c,并且可以充当控制节点。例如,MME 142可以负责验证WTRU 102a、102b、102c的用户,执行承载激活/去激活处理,以及在WTRU102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162还可以提供一个用于在RAN 104与使用其他无线电技术(例如,GSM或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b、160c。SGW164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且,SGW 164还可以执行其他功能,例如在e节点B间的切换过程中锚定用户平面,在DL数据可供WTRU102a、102b、102c使用时触发寻呼处理,以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164还可以连接到PDN网关166,所述PGW可以为WTRU102a、102b、102c提供分组交换网络(例如,因特网110)接入,以便促成WTRU102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如,CN 106可以为WTRU102a、102b、102c提供电路交换网络(例如,PSTN 108)接入,以便促成WTRU102a、102b、102c与传统的陆线通信设备之间的通信。例如,CN 106可以包括一个IP网关(例如,IP多媒体子系统(IMS)服务器)或与之进行通信,并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外,CN 106可以为WTRU 102a、102b、102c提供针对其他网络112的接入,其中该网络可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。
虽然在图1A-1D中将WTRU描述成了无线终端,然而应该想到的是,在某些代表性实施例中,此类终端与通信网络可以使用(例如,临时或永久性)有线通信接口。
在一些代表性的实施例中,其他网络112可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以访问或是对接到分布式系统(DS)或是将业务量送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务量可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务量可被发送至AP,以便递送到相应的目的地。处于BSS内部的STA之间的业务量可以通过AP来发送,例如其中源STA可以向AP发送业务量并且AP可以将业务量递送至目的地STA。处于BSS内部的STA之间的业务量可被认为和/或称为点到点业务量。所述点到点业务量可以在源与目的地STA之间(例如,在其间直接)用直接链路建立(DLS)来发送。在某些代表性实施例中,DLS可以使用802.11e DLS或802.11z隧道化DLS(TDLS))。举例来说,使用独立BSS(IBSS)模式的WLAN可不具有AP,并且处于所述IBSS内部或是使用所述IBSS的STA(例如,所有STA)彼此可以直接通信。在这里,IBSS通信模式有时可被称为“自组织”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时,AP可以在固定信道(例如,主信道)上传送信标。所述主信道可以具有固定宽度(例如,20MHz的带宽)或是借助信令动态设置的宽度。主信道可以是BSS的工作信道,并且可被STA用来与AP建立连接。在某些代表性实施例中,所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如,在802.11系统中)。对于CSMA/CA来说,包括AP在内的STA(例如,每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙,那么所述特定STA可以退避。在指定的BSS中,在任何指定时间都有一个STA(例如,只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如,借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说,在信道编码之后,数据可被传递并经过一个分段解析器,所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行反向快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上,并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上,用于80+80配置的上述操作可以是相反的,并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持次1GHz的工作模式。相比于802.11n和802.11ac,在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽,并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。依照代表性实施例,802.11ah可以支持仪表类型控制/机器类型通信(MTC)(例如,宏覆盖区域中的MTC设备)。MTC可以具有某种能力,例如包含了支持(例如,只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池,并且该电池的电池寿命高于阈值(例如,用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如,802.11n、802.11ac、802.11af以及802.11ah)来说,这些系统包含了一个可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制,其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中,即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式,但对支持(例如,只支持)1MHz模式的STA(例如,MTC类型的设备)来说,主信道的宽度可以是1MHz。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如,因为STA(其只支持1MHz工作模式)对AP进行传输),那么即使大多数的频带保持空间并且可供使用,也可以认为整个可用频带繁忙。
在美国,可供802.11ah使用的可用频带是902MHz到928MHz。在韩国,可用频带是917.5MHz到923.5MHz。在日本,可用频带是916.5MHz到927.5MHz。依照国家码,可用于802.11ah的总带宽是6MHz到26MHz。
图1D是示出了根据一个实施例的RAN 113和CN 115的系统图示。如上所述,RAN113可以在空中接口116上使用NR无线电技术来与WTRU102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。
RAN 113可以包括gNB 180a、180b、180c,但是应该了解,在保持符合实施例的同时,RAN 113可以包括任意数量的gNB。每一个gNB 180a、180b、180c都可以包括一个或多个收发信机,以便通过空中接口116来与WTRU 102a、102b、102c通信。在一个实施例中,gNB180a、180b、180c可以实施MIMO技术。例如,gNB 180a、180b可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此,举例来说,gNB 180a可以使用多个天线来向WTRU 102a发射无线信号,和/或接收来自WTRU102a的无线信号。在一个实施例中,gNB 180a、180b、180c可以实施载波聚合技术。例如,gNB 180a可以向WTRU 102a传送多个分量载波(未显示)。这些分量载波的一个子集可以处于无授权频谱上,而剩余分量载波则可以处于授权频谱上。在一个实施例中,gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如,WTRU 102a可以接收来自gNB 180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩参数配置相关联的传输来与gNB 180a、180b、180c进行通信。例如,对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说,OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如,包含了不同数量的OFDM符号和/或持续不同的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中,WTRU 102a、102b、102c可以在不接入其他RAN(例如,e节点B 160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中,WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一个或多个作为移动锚点。在独立配置中,WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中,WTRU 102a、102b、102c会在与别的RAN(例如,e节点B 160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说,WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B 160a、160b、160c进行通信。在非独立配置中,e节点B 160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点,并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量,以便为WTRU102a、102b、102c提供服务。
每一个gNB 180a、180b、180c都可以关联于特定小区(未显示),并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、实施双连接性、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图1D所示,gNB 180a、180b、180c彼此可以通过Xn接口通信。
图1D所示的CN 115可以包括至少一个AMF 182a、182b,至少一个UPF 184a、184b,至少一个会话管理功能(SMF)183a、183b,并且有可能包括至少一个数据网络(DN)185a、185b。虽然每一个前述部件都被描述了CN115的一部分,但是应该了解,这其中的任一部件都可以被CN运营商之外的其他实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的一个或多个gNB 180a、180b、180c,并且可以充当控制节点。例如,AMF 182a、182b可以负责验证WTRU 102a、102b、102c的用户,支持网络切片(例如,处理具有不同需求的不同分组数据单元(PDU)会话),选择特定的SMF 183a、183b,管理注册区域,终止NAS信令,以及移动性管理等等。AMF 182a、1823b可以使用网络切片处理,以便例如基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU102a、102b、102c提供的CN支持。作为示例,针对不同的使用情况,可以建立不同的网络切片,例如依赖于超可靠低时延(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于MTC接入的服务等等。AMF 162可以提供用于在RAN 113与使用其他无线电技术(例如,LTE、LTE-A、LTE-A Pro和/或诸如Wi-Fi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b,并且可以通过UPF184a、184b来配置业务量路由。SMF 183a、183b可以执行其他功能,例如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的、不基于IP的、以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接到RAN 113中的一个或多个gNB 180a、180b、180c,这样可以为WTRU 102a、102b、102c提供分组交换网络(例如,因特网110)接,以便例如促成WTRU 102a、102b、102c与启用IP的设备之间的通信,UPF 184、184b可以执行其他功能,例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。
CN 115可以促成与其他网络的通信。例如,CN 115可以包括或者可以与充当CN115与CN 108之间的接口的IP网关(例如,IP多媒体子系统(IMS)服务器)进行通信。此外,CN115可以为WTRU 102a、102b、102c提供针对其他网络112的接入,这其中可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。在一个实施例中,WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与DN185a、185b之间的N6接口并通过UPF 184a、184b连接到本地数据网络(DN)185a、185b。
有鉴于图1A-1D以及关于图1A-1D的相应描述,在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个部件/仿真设备(未显示)来执行:WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF184a-b、SMF 183a-b、DN 185a-b和/或这里描述的其他任何部件/设备。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说,这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如,所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能,以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试,和/或可以使用空中无线通信来执行测试。
一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如,所述仿真设备可以在测试实验室和/或未被部署(例如,测试)的有线和/或无线通信网络的测试场景中使用,以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例,该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
介绍
视频译码系统可以用于压缩数字视频信号,这可以减少视频信号的存储需求和/或传输带宽。视频译码系统可以包括基于块、基于小波和/或基于对象的系统。基于块的视频译码系统可以基于、使用、符合一个或多个标准,诸如MPEG-1/2/4第2部分、H.264/MPEG-4第10部分AVC、VC-1、高效视频译码(HEVC)和/或通用视频译码(VVC),这其中包括与其相关联的任何参考模型。基于块的视频译码系统可以包括基于块的混合视频译码框架。
代表性体系结构/框架
图2是示出了用于编码器的示例性基于块的混合视频译码框架200的框图。所述编码器以及因此示例性的基于块的混合视频译码框架200可以在具有与存储器通信地耦合的处理器的设备中实现。所述存储器可以包括可由处理器执行的指令,这其中包括用于执行本文公开的各种实施例中的任何实施例(例如,代表性过程)的指令。在各种实施例中,所述设备可以是或可以被配置为和/或具有无线发射和接收单元(WTRU)的各种元件。WTRU及其元件的示例细节在此提供于图1A-1D及其附带的公开中。
所述基于块的混合视频译码框架200可以包括变换单元204、量化单元206、熵译码单元208、逆量化单元210、逆变换单元212、第一加法器216、第二加法器226、空间预测单元260、运动/时间预测单元262、参考图片存储库264、滤波器266、以及模式决策和其它编码器控制逻辑单元280。所述基于块的混合视频译码框架200(和编码器)可以包括附加的和/或不同的元件。为了简洁和清楚起见,没有示出这些元件。
基于块的经历了基于块的混合视频译码框架200的处理的视频信号202在逐块的基础上被执行。经历处理的每个块包括NxM个像素;定义该块的大小(“块大小”)。在不同的基于块的视频译码系统中使用了各种术语,以通过其块大小来指代块。为了说明的简单性,术语“译码单元”或其缩写“CU”在本文中用以指代经历由所述基于块的混合视频译码框架200或任何其它基于块的混合视频译码框架处理的块。可基于变换内核的最大大小而将每一CU分割成多个TU。根据当前VVC协议,CU可包括多达128×128个像素。然而,应认识到,CU可包含多于128×128个像素(即,N和/或M可大于128),且CU可为较大像素集合/块的分区。举例来说,CU可为图片(例如,图片的切片)的译码树单元CTU的分区。所述CTU可基于一个或多个分区机制被拆分成多个CU,例如以适应变化的局部特性。所述分区机制可以包括四叉树、二叉树和三叉树结构中的任意者。使用四元分区、水平二元分区、垂直二元分区、水平三元分区和垂直三元分区的CTU划分的示例在图3中分别示出为(a)、(b)、(c)、(d)和(e)。在一个实施例中,可以采用多类型树结构,其中使用一种类型的分区来分割CTU,并且针对所执行的每个分区使用相同或不同类型的分区来进一步一次或多次分区其分区。作为示例,可以使用四叉树结构来分区CTU以形成四叉树叶节点,并且可以使用二叉树结构和三叉树结构中的任意者来进一步分区每个四叉树叶节点。
再次参看图2,CU可分别使用空间预测单元260和运动/时间预测单元262来经历空间预测和时间预测中的任意者。空间预测(例如,帧内预测)可使用来自同一视频图片/切片中的经译码相邻块的样本(例如,参考样本)的像素来预测当前视频块。所述空间预测可以减少例如视频信号中固有的空间冗余。
所述时间预测(例如,帧间预测和/或运动补偿预测)可使用来自经译码视频图片的经重构像素来预测当前视频块。时间预测可以减少例如视频信号中固有的时间冗余。可通过(例如,使用)一个或多个运动向量(MV)用信号发送CU的时间预测信号。这些MV可指示所述CU与其时间参考之间的运动的量和/或方向(一个或多个)。如果支持用于一(例如,每一)视频块的多个参考图片,那么可发送该视频块的参考图片索引。该参考图片索引可以用于标识所述时间预测信号可以从所述参考图片存储库264中的哪个参考图片导出。
在空间和/或时间预测之后,模式决策单元280可例如基于速率失真优化(RDO)来确定预测模式(例如,最佳预测模式)。可在加法器216处从当前视频块减去预测块,和/或可使用变换单元204和/或量化单元206对预测残差进行去相关。可以分别使用逆量化单元210和逆变换单元212对量化的残差系数进行逆量化和/或逆变换,以形成重构的残差。可使用加法器226将所述经重构残差加回到所述预测块以形成经重构CU。在将所述经重构CU存储在参考图片存储库264中之前,可使用滤波器单元266对所述经重构CU应用环路内滤波(例如,解块滤波器和自适应环路滤波器中的任意者,例如样本自适应偏移SAO和自适应环路内滤波器ALF)。存储于参考图片存储库264中的经重构CU可用于译码视频块(例如,未来视频块)。可将包含译码模式(帧间或帧内)、预测模式信息、运动信息和经量化残差系数的各种信息传递到熵译码单元208。该熵译码单元208可以压缩和/或封装这种信息以形成输出视频比特流220。
图4是示出了用于解码器的示例性的基于块的混合视频译码框架300的框图。该解码器以及因此示例性的基于块的混合视频译码框架300可以在具有与存储器通信地耦合的处理器的设备中实现。所述存储器可以包括可由处理器执行的指令,这其中包括用于执行本文公开的各种实施例中的任何实施例(例如,代表性过程)的指令。在各种实施方式中,该设备可以被配置为WTRU的各种元件和/或被配置有WTRU的各种元件。
所述基于块的混合视频译码框架300可以包括熵解码单元308、逆量化单元310、逆变换单元312、加法器326、空间预测单元360、运动/时间预测单元362、参考图片存储库364和滤波器366。所述基于块的混合视频译码框架300(和解码器)可以包括附加的和/或不同的元件。为了简洁和清楚起见,没有示出这些元件。
视频比特流302(例如,图2的视频比特流220)可以在熵解码单元308处被解包(例如,首先被解包)和/或熵解码。可将译码模式和预测信息传递到空间预测单元360(例如,如果经帧内译码)和/或运动/时间预测单元362(例如,如果经帧间译码和/或时间译码)以形成预测块。可将残差变换系数传递到逆量化单元310和/或逆变换单元312,例如以重构所述残差块。可在加法器326处将预测块与残差块加在一起。所述重构块可在滤波器366处经历环内滤波,例如,这可发生在所述重构块被存储于参考图片存储库364中之前。参考图片存储库364中的经重构视频320可经发送以驱动显示设备和/或用于预测视频块(例如,未来视频块)。
在视频编解码器中使用双向运动补偿预测(MCP)可以通过利用图片之间的时间相关性来去除时间冗余。双向预测信号可以通过使用权重值(例如,0.5)组合两个单向预测信号来形成。在某些视频中,照度特性可从一个参考图片到另一参考图片快速改变。因此,预测技术可通过将全局或局部权重和偏移值应用于参考图片中的一或多个样本值来补偿照度随时间的变化(例如,衰落转变)。
其他译码工具(例如,加权预测(WP))可以在执行运动补偿时补偿照度随时间的变化。举例来说,对于每一参考图片列表(L0及L1)中的每一参考图片,可在切片处用信号发送一组乘法权重及加法偏移。当可以使用对应的参考图片时,可以在MCP阶段期间应用所述权重和偏移。由此,当照度从图片到图片线性地改变时和/或当照度的改变在图片/切片层级为全局时,可采用WP译码工具。
一般化双向预测(GBi)可以改进双向预测模式的MCP。在双向预测模式中,如所给出的样本x处的预测信号可通过等式(“等式”)(1)来计算:
P[x]=w0*P0[x+v0]+w1*P1[x+v1], (1)
在等式(1)中,P[x]可以表示位于图片位置x的样本x的结果预测信号。Pi[x+vi]可以是使用第i个列表(例如,列表0、列表1等)的运动向量(MV)vi的x的运动补偿预测信号。w0和w1可以是在块中的(例如,所有)样本之间共享的两个权重值。基于此等式,可通过调整权重值w0和w1来获得多种预测信号。w0和w1的一些配置可以暗示与单向预测和双向预测相同的预测。例如,(w0,w1)=(1,0)可以用于利用参考列表L0的单向预测。(w0,w1)=(0,1)可以用于利用参考列表L1的单向预测。(w0,w1)=(0.5,0.5)可以用于利用两个参考列表的双向预测。可针对每一CU用信号发送所述权重。为了减少信令开销,可以应用约束,诸如w0+w1=1,使得可以用信号发送一个权重。因此,等式(1)可以如等式(2)所示被进一步简化:
P[x] = (1-w1)*P0[x+v0]+w1*P1[x+v1]. (2)
为了进一步减少权重信令开销,w1可以被离散化(例如,-2/8、2/8、3/8、4/8、5/8、6/8、10/8等)。然后,每个权重值可以由(例如,小的)有限范围内的索引值来指示。
图5是示出了具有GBi支持的示例性的视频编码器的框图。该编码器可包括模式决策单元404、空间预测单元406、运动预测单元408、变换单元410、量化单元412、逆量化单元416、逆变换单元418、环路滤波器420、参考图片存储库422和熵译码单元414。编码器的单元或组件(例如,空间预测单元406)中的一些或全部可与结合图2所描述的那些单元或组件相同或类似。另外,空间预测单元406和运动预测单元408可为像素域预测单元。因此,输入视频比特流402可以以与输入视频比特流202类似的方式被处理,尽管运动预测单元408可以进一步包括GBi支持。因此,运动预测单元408可以加权平均方式组合两个单独预测信号。此外,可以在输入视频比特流402中用信号通知所选择的权重索引。
图6是示出了可在编码器的运动预测单元(例如,运动预测单元408)中采用的GBi估计单元500的框图。该GBi估计单元500可包括权重值估计单元502和运动估计单元504。这样,GBi估计单元500可利用两步骤过程来生成帧间预测信号,诸如最终帧间预测信号。运动估计单元504可以使用从参考图片存储库506接收的参考图片(一个或多个)并通过搜索指向(例如,两个)参考块的两个最佳运动向量(MV)来执行运动估计。所述权重值估计单元502可搜索最佳权重索引以最小化当前视频块与双向预测信号之间的加权双向预测误差。一般化双向预测的预测信号可被计算为两个预测块的加权平均。
图7是示出了可解码来自支持GBi的编码器(例如,结合图4所描述的编码器)的比特流的示例性的视频解码器的框图。如图6所示,所述解码器可以包括熵解码器604、空间预测单元606、运动预测单元608、参考图片存储库610、逆量化单元612、逆变换单元614和环路滤波器单元618。所述解码器的一些或所有单元可以与结合图2描述的那些相同或相似。所述运动预测单元608可以被配置用于GBi支持。如此,可使用所述译码模式和预测信息来使用空间预测或具有GBi支持的MCP导出预测信号。对于GBi,可接收块运动信息及权重值(例如,呈指示权重值的索引的形式)且对其进行解码以产生所述预测块。
图8是示出了可在解码器的运动预测单元(例如,运动预测单元608)中采用的GBi预测单元700的框图。该GBi预测单元700可包括加权平均单元702和运动补偿单元704,其可从参考图片存储库706接收一个或多个参考图片。GBi预测单元700可使用块运动信息和权重值,将GBi的预测信号计算为(例如,两个)经运动补偿预测块的加权平均值。
在特定视频内可以有各种类型的运动,诸如放大/缩小、旋转、透视运动和其他不规则运动。平移运动模型和/或仿射运动模型可以结合各种类型的运动中的一个或多个而应用于MCP。所述仿射运动模型可为四参数和/或六参数。可用信号发送用于(例如,每一)经帧间译码CU的第一标志以指示所述平移运动模型或仿射运动模型是否应用于帧间预测。如果应用所述仿射运动模型,那么可发送第二标志以指示该模型是四参数还是六参数。
所述四参数仿射运动模型可包含用于水平及垂直方向上的平移运动的两个参数、用于水平及垂直方向上的缩放运动的一个参数和/或用于水平及垂直方向上的旋转运动的一个参数。水平缩放参数可以等于垂直缩放参数。水平旋转参数可以等于垂直旋转参数。可使用在(例如,当前)CU的左上角和右上角处界定的两个控制点位置处的两个运动向量来译码(例如,在VVC测试模型(VTM)中)所述四参数仿射运动模型。
各种基于模板的译码技术(例如,工具)可以由所公开的基于块的混合视频译码框架(例如,框架200、300、400和/或600)、编码器和/或解码器来执行。这种基于模板的译码技术采用相应的模型/方法;每个技术由一个或多个参数表征。当前,在用于参数估计的基于模板的译码技术中(包括利用相同或相似类型参数的基于模板的译码技术),没有统一的模型/方法。作为示例,考虑当前的基于模板的交叉分量线性模型(CCLM)和局部照度补偿(LIC)的译码技术。尽管CCLM假设译码块中亮度和色度分量之间的线性相关,并且LIC假设参考帧和当前帧的亮度样本之间的线性相关,但是它们采用不同的模型/方法来进行参数估计。
图9是示出了可以对其执行LIC的一组帧/图片的框图900。LIC是一种帧间译码工具,其可用于补偿(i)来自参考帧的样本(预测)与(ii)来自当前帧的样本之间的照度差。例如,当相机捕捉在帧之间具有照度差的场景时,预测(例如,使用传统预测技术)可能失败。由于在当前帧和参考帧之间具有照度差的淡出、淡入、渐隐场景(一个或多个),可能发生光照的变化。LIC可访问当前帧中邻近CU的经重构样本和参考帧中的对应样本以计算用于照度补偿模型的LIC参数。可以将该照度补偿模型应用于当前运动补偿像素以补偿照度差。
对于当前CU,CU和参考帧的参考块这两者的顶部和左侧的行和列中的相邻经重构样本用作输入以确定由缩放因子α和偏移β表征的线性模型。使用来自当前CU块的相邻块的对应参考样本的自适应下采样技术来产生局部照度补偿参数。
LIC可以针对每个帧间译码CU而被自适应地开启和关闭。分别对于整数像素运动搜索和分数像素运动搜索,获得均值移除绝对差之和(MR-SAD)和均值移除绝对Hadamard变换差之和(MR-SATD),而不是SAD和SATD。当在2N×2N合并模式中对每一CU进行译码时,以类似于合并模式中的运动信息复制的方式从被选择为合并候选者的相邻块复制LIC标志。否则,用信号发送针对所述CU的LIC标志以指示LIC是否适用。
当LIC应用时,使用最小二乘误差法来确定线性模型的缩放因子α和偏移β。目标是最小化重构相邻样本和其相应的调整预测样本之间的误差,其中所调整的预测样本是利用应用于预测样本的线性模型生成的,如等式(3)所示。
P′L(x,y)=α·PL(x,y)+β (3)
其中,PL(x,y)表示未经调整的相邻亮度样本的预测,且P′L(x,y)表示经调整的预测样本。通过最小化当前帧中译码块的重构相邻亮度样本与调整后的预测样本之间的回归误差来导出参数α和β。
当LIC和GBI工具一起使用时(例如,在BMS-2.1rc1(VTM配置中),两个工具的增益是累积的。对于双向预测的块,分别针对每个预测方向估计LIC参数(权重和偏移)。将所估计的LIC参数分别应用于每个预测信号,然后将两个LIC修改的预测信号组合以形成双向预测信号,换言之,将两个单独的LIC过程用于双向预测的CU。
如上所述,当LIC应用于CU时,使用最小平方误差方法来确定缩放因子α和偏移β。参数α和β通过最小化当前和参考亮度样本之间的回归误差而被导出如下。
给定一组n个点(Xi,Yi),目标是找到最佳拟合线
Figure BDA0003197876350000271
从而使误差
Figure BDA0003197876350000272
最小化。这需要求解最小二乘模型,这是计算上复杂的运算。
在CCLM下,可以利用线性模型从亮度分量中预测块中的色度分量。添加色度分量的附加速率失真(RD)成本检查,以选择色度帧内预测模式。当使用LM模式时,所述色度分量从重构亮度样本预测为:
Predc(x,y)=α·Rec′L(x,y)+β (5)
其中,Predc(x,y)表示色度样本的预测,并且Rec′L(x,y)表示经重构的亮度样本值。Rec′L(x,y)可以从译码块中的重构亮度样本中下采样,以针对非4:4:4色度格式,将来自亮度分量的预测样本与色度分量对准。所述参数α和β确定用于预测的模型。在一些实施方式中,使用最小二乘最小化方法来确定最优参数。所述参数α和β通过最小化当前块周围的相邻重构亮度和色度样本之间的回归误差而被导出如下:
Figure BDA0003197876350000281
Figure BDA0003197876350000282
其中,L(n)表示下采样的顶部及左侧相邻重构亮度样本,C(n)表示顶部及左侧相邻重构色度样本,且N等于当前色度译码块的宽度及高度的最小值的两倍。对于具有正方形形状的译码块,等式(6)被直接使用。对于非正方形译码块,首先对较长边界的相邻样本进行子采样,以具有与较短边界相同的样本数量。图10示出了用于CCLM模式的当前块的样本以及左侧和上方因果样本的示例位置。
回归误差最小化计算(等式(6))作为解码过程的一部分被执行以导出α和β值,而不仅仅是作为编码器搜索操作。这意味着不需要语法元素来用信号发送所述α和β值。
在一种实现中,对CCLM使用直线估计(即,代替最小二乘(LS)算法)。图11示出了用于导出线性模型参数α和β的直线估计的示例。
所述线性模型参数α和β是使用一组相邻样本(例如,如图所示)内的最小和最大亮度和色度样本值对以及以下等式获得的:
Figure BDA0003197876350000291
其中,沿着x轴的值xA和xB是在点A和B的亮度值。沿y轴的值yA和yB分别是点A和B处的色度值。
常规直线估计形式的CCLM(“CCLM-SLE”)使用两个查找表(LUT)、等式(8)以及伪代码A的实例化(下文)以计算最高有效位(MSB)和最低有效位(LSB)。
Figure BDA0003197876350000292
Figure BDA0003197876350000293
在常规的直线估计形式的CCLM-SLE中,MSB和LSB LUT都具有512个条目;其中的每一个是16位(因此,MSB和LSB是使用1024个条目以16位的计算精度来计算的(即,n=16)。所述MSB和LSB LUT被用于计算模型参数α和β如下。所述亮度和色度样本的最小值和最大值被确定,这些参数α和β是根据下面的伪代码A来计算的:
shift=(BitDepthC>8)?BitDepthC-9:0
add=shift?1<<(shift-1):0
diff=(MaxLuma-MinLuma+add)>>shift
k=16
If(diff>0)
div=((ChromaForMaxLuma-ChromaForMinLuma)*(LSB)>>16
α=(((ChromaForMaxLuma-ChromaForMinLuma)*(MSB)+div+add)>>shift)
Otherwise,
α=0
β=ChromaForMinLuma-((a*MinLuma)>>k)
伪代码A-常规的CCLM-SLE
其中,BitDepthC为色度位深度,MaxLuma为下采样的顶部和左侧相邻亮度样本的最大值,MinLuma为下采样的顶部和左侧相邻亮度样本的最小值,ChromaForMaxLuma选自顶部和左侧相邻重构色度样本,并且对应于亮度最大值的色度,ChromaForMinLuma选自顶部和左侧相邻重构色度样本,并且对应于亮度样本最小值的色度。
根据上述伪代码,参数BitDepthC将色度位深度限制为9位。使用来自MSB和LSBLUT的值以16位精度计算斜率α和偏移β参数。通过LSB计算来减轻使用MSB产生的误差,即,添加参数div以解决由于在计算所述斜率和偏移度量时基于整数的操作而引入的误差。
CCLM-SLE有两个缺点。首先,硬件实现是昂贵的,因为必须占用2K字节的存储器来存储LUT,该LUT用于在计算CCLM-SLE参数期间计算MSB和LSB。其次,在计算CCLM-SLE参数时出现误差,因为CCLM-SLE使用一组相邻亮度样本中的一组最小值和最大值,并且该最小值和最大值由于存在异常值而易于出错。
除了以上关于LIC和CCLM所述的缺点之外,由于尽管LIC和CCLM都估计线性模型参数,但二者的估计方法不同,所以硬件实现上还存在额外的负担。
概述
如本领域技术人员基于本文的教导将理解的,在本文描述的实施例内包括但不限于针对用于基于模板的视频译码的改进的线性模型估计的过程、方法、架构、装置、系统、设备和计算机程序产品。其中包括一种装置(例如,实现编码器或解码器中的任意者),该装置可以被配置为使用由基于模板的译码技术(例如,工具)(诸如,CCLM、LIC等)所采用的直线估计模型/方法来预测当前译码块的色度(或亮度)分量,其中,使用单个查找表(“LUT”)并且以不大于16位的精度来计算模型参数α(例如,斜率)和β(例如,截距)。
包括在所述过程、方法、架构、装置、系统、设备和计算机程序产品之中的是一种方法,该方法可以在编码器和解码器中的任意者中实现,并且可以包括确定与译码块相邻的亮度样本的最小值和最大值;确定与所述译码块相邻的色度样本的最小值和最大值,所述色度样本的最小值和最大值分别对应于所述亮度样本的最小值和最大值;确定(例如,计算)基于模板的视频译码技术的第一线性模型参数(例如,斜率),所述第一线性模型参数(例如,斜率)是(i)作为单个LUT以及所述色度样本的所述最小值和最大值的函数,以及(ii)精度不大于16位的;确定(例如,计算)所述基于模板的视频译码技术的第二线性模型参数(例如,截距),所述第二线性模型参数(例如,截距)是(i)所述色度样本的所述最小值、所述亮度样本的所述最小值和所述第一线性模型参数的函数,以及(ii)精度不大于16位;以及基于所述第一线性模型参数、所述第二线性模型参数和所述译码块的重构亮度样本来预测所述译码块的色度样本。
在实施例中,所述单个LUT可以排除用于确定最低有效位的值。或者,所述单个LUT可包括用于仅确定最低有效位的值(例如,仅LSB LUT)或用于仅确定最高有效位的值(例如,仅MSB LUT)。
在实施例中,所述亮度和色度的所述最小值和最大值可以对应于相应的模板。在实施例中,所述亮度和色度的所述最小值和最大值可对应于相应模板,但可能不包括此类模板的所有样本。
在实施例中,所述方法可包含以下任意者:修剪亮度模板的一或多个样本以获得用于确定所述亮度样本的所述最小值和最大值的所述亮度样本(例如,在其之前获得);以及修剪所述亮度模板的一或多个样本以获得用于(例如,在其之前)确定所述亮度样本的所述最小值和最大值的所述亮度样本(例如,在其之前获得)(1704)。在一个实施例中,所述亮度/色度样本的所述修剪可以包括去除异常值或基于统计方法以其他方式排除亮度/色度模板的一个或多个样本。在一个实施例中,所述亮度和色度样本属于具有单个区域的点分布或属于该点分布的多个区域之一。
在一个实施例中,该方法可以确定与所述译码块相邻的色度样本的最小值和最大值,然后可以确定与所述译码块相邻的亮度样本的最小值和最大值,其分别对应于所述色度样本的最小值和最大值。在一个实施例中,可以通过执行术语“色度”和“亮度”互换的方法来预测当前译码块的亮度分量而不是色度分量。
包括在过程、方法、架构、装置、系统、设备和计算机程序产品之中的是一种方法,该方法可以在编码器和解码器中的任意者中实现,并且可以包括:基于一个或多个阈值,将与译码块相邻的亮度和色度样本分离成多个样本集群;以及在第一和第二样本集群的分离满足分离度量的条件下:确定第一样本群集的亮度样本的最小值和最大值;确定所述第一样本群集的所述色度样本的最小值和最大值,其分别对应于所述第一样本群集的所述亮度样本的所述最小值和最大值;确定(例如,计算)第一基于模板的视频译码技术的第一线性模型参数,所述第一线性模型参数(i)为所述第一样本群集的所述色度样本的所述最小值和最大值的函数,且(ii)为第一精度;确定(例如,计算)所述第一基于模板的视频译码技术的第二线性模型参数,所述第二线性模型参数(i)为所述第一样本群集的所述色度样本的所述最小值、所述第一样本群集的所述亮度样本的所述最小值及所述第一基于模板的视频译码技术的所述第一线性模型参数的函数且(ii)为所述第一精度;确定第二样本集群的亮度样本的最小值和最大值;确定所述第二样本集群的所述色度样本的最小值和最大值,所述最小值和最大值分别对应于所述第二样本集群的所述亮度样本的所述最小值和最大值;确定(例如,计算)第二基于模板的视频译码技术的第一线性模型参数,所述第一线性模型参数(i)为所述第二样本集群的所述色度样本的所述最小值和最大值的函数,并且(ii)处于第二精度;确定(例如,计算)计算所述第二基于模板的视频译码技术的第二线性模型参数,所述第二线性模型参数(i)作为所述第二样本集群的所述色度样本的所述最小值、所述第二样本集群的所述亮度样本的所述最小值和所述第二基于模板的视频译码技术的所述第一线性模型参数的函数,且(ii)具有所述第二精度;以及基于所述第一和第二基于模板的视频译码技术的所述第一和第二线性模型参数以及所述译码块的重构亮度样本来预测所述译码块的色度样本。
在一个实施例中,至少一个所述阈值可以基于与所述译码块相邻的所述亮度样本的平均值。在一个实施例中,所述第一和第二基于模板的视频译码技术中的每一个的所述第一和第二线性模型参数是斜率和截距。
在一个实施例中,该方法可以包括:在任何两个集群的分离不满足分离度量的条件下,重新组合两个集群,并且使用由基于模板的译码技术所采用的单个直线估计模型/方法来进行预测。
在实施例中,所述第一基于模板的视频译码技术的所述第一线性模型参数可以被计算为所述第一样本集群的所述色度样本的所述最小值和最大值以及一个或多个第一LUT的函数。在一个实施例中,所述第二基于模板的视频译码技术的所述第一线性模型参数被计算为所述第二样本集群的所述色度样本的所述最小值和最大值以及一个或多个LUT的函数。在实施例中,所述LUT中的任意者都可以排除用于确定最低有效位的值。在实施例中,所述LUT中的任意者可以包括仅用于确定最低有效位的值。在实施例中,所述LUT中的任意者可以包括仅用于确定最高有效位的值。
在一实施例中,所述第一精度可基于所述第一样本群集内的样本的统计描述(例如,分布)。在一实施例中,所述第二精度可基于所述第二样本群集内的所述样本的统计描述(例如,分布)。在一个实施例中,可以以不大于16位的精度来计算所述第一基于模板的视频译码技术的所述第一线性模型参数。在一个实施例中,可以以不大于16位的精度来计算所述第一基于模板的视频译码技术的所述第二线性模型参数。在一个实施例中,可以以不大于16位的精度来计算所述第二基于模板的视频译码技术的所述第一线性模型参数。在一个实施例中,可以以不大于16位的精度来计算所述第一基于模板的视频译码技术的所述第二线性模型参数。
在实施例中,所述亮度和色度的所述最小值和最大值可以对应于相应的模板。在实施例中,所述亮度和色度的所述最小值和最大值可对应于相应模板,但可能不包括此类模板的所有样本。在实施例中,该方法可以包括在分离之前,修剪亮度和/或色度模板的一个或多个样本。
在一实施例中,所述方法可包括:在确定所述第一样本群集的亮度/色度样本的最小和最大值之前,修剪所述第一样本群集的一个或多个亮度/色度样本,和/或在确定所述第二样本群集的所述亮度/色度样本的最小和最大值之前,修剪所述第二样本群集的一个或多个亮度/色度样本。在实施例中,所述亮度/色度样本的所述修剪可以包括去除异常值或基于统计方法,例如基于描述性统计(例如,如本文所述),以其他方式排除亮度/色度模板的一个或多个样本。
在一实施例中,所述方法可包括:确定所述第一(和/或第二)样本群集的所述色度样本的最小及最大值,且接着可确定分别对应于所述色度样本的所述最小及最大值的所述第一(和/或第二)样本群集的所述亮度样本的最小及最大值。在一个实施例中,可以通过执行术语“色度”和“亮度”互换的方法来预测当前译码块的亮度分量而不是色度分量。
包括在过程、方法、体系结构、装置、系统、设备和计算机程序产品中的是一种方法,该方法包括:将统一线性模型参数估计方法用于诸如LIC和CCLM之类的各种基于模板的视频译码技术。在一个实施例中,LIC参数计算可以采用根据传统的CCLM(例如,CCLM-SLE)的线性模型。在一实施例中,LIC和CCLM参数计算都可采用线性模型,这在存储器上比常规的CCLM版本(例如,CCLM-SLE)的负担小。在实施例中,亮度和/或色度样本的统计方法和/或测量(例如,亮度和/或色度样本的均值和方差或分布的其它统计方法)可用于计算线性模型参数(例如,参数α和β)。在一个实施例中,统计方法和/或测量可以是基于以下假设的,和/或统计方法和/或测量的应用可以是以以下假设为条件的:基于重构的分布和其预测是相关的假设。在实施例中,所述统计方法和/或测量可以基于以下确定,和/或统计方法和/或测量的应用可以以以下确定为条件:确定所述重构的分布及其预测是相关的。
根据本文提供的方法和技术,由于使用统计测量来计算缩放因子α和偏移β,因此可以相对于传统解决方案改进参数估计鲁棒性。在一个实施例中,可以使用统计测量来采用异常值去除技术。去除异常值可以增加优于传统的CCLM的鲁棒性。
在以下描述中,基于最小-最大的方法可用于计算线性模型参数。本领域技术人员将认识到,也可以使用基于加权预测的方法来计算这些参数。
在针对用于基于模板的视频译码的改进的线性模型估计的方法中,一种方法可以包括以下步骤中的任何步骤:生成用于各种基于模板的视频译码技术中的任意者的模型,这可基于其被估计或以其他方式使用统一线性模式而被确定的参数;以及使用所生成的模型来执行基于模板的视频译码。
在一个实施例中,所述各种基于模板的视频译码技术可以包括CCLM和LIC中的任意者。在一个实施例中,所述基于模板的译码技术利用相同或相似类型的模型参数。在一个实施例中,所述模型参数包括斜率和偏移中的任意者。
在一个实施例中,该方法可以包括估计模型参数,或以其他方式使用统一线性模型和模板样本来确定模型参数。在一个实施例中,所述统一线性模型可以包括以下任意者:基于最小-最大的方法和基于加权预测的方法。
在实施例中,所述模板样本可以包括亮度和色度样本中的任意者。在一实施例中,所述模板样本可包括置于CU上方和/或左侧的样本。
在一个实施例中,所述统一线性模型可以使用关于模板样本的统计方法(例如,描述性统计)和/或模板样本的测量来计算所述模型参数。在一个实施例中,所述统计方法和/或测量可以包括平均值、中值、方差和标准偏差中的任意者。
在一个实施例中,该方法可以包括去除所述模板样本中的异常值(例如,在计算所述模型参数之前)。在一个实施例中,所述统一线性模型可以包括以下中的任意者:基于最小-最大的方法和基于加权预测的方法。
在过程、方法、架构、装置、系统、设备和计算机程序产品之中的是一种装置,其可以包括处理器和存储器中的任意者,被配置为执行针对本文提供的用于基于模板的视频译码的改进的线性模型估计的方法及其实施例中的任意者。在一个实施方式中,该装置可以是WTRU的元件,可以被配置为WTRU的元件,和/或可以配置有WTRU的元件。
在过程、方法、架构、装置、系统、设备和计算机程序产品之中的是一种系统,其可以包括处理器和存储器中的任意者,被配置为执行针对本文提供的用于基于模板的视频译码的改进的线性模型估计的方法及其实施例中的任意者。此外,在过程、方法、架构、装置、系统、设备和计算机程序产品之中的是有形计算机可读存储介质,其上存储有用于执行针对本文提供的用于基于模板的视频译码的改进的线性模型估计的任何方法及其实施例的计算机可执行指令。
图12示出用于导出线性模型参数的示例LIC直线估计模型。该线性模型参数α和β可以使用最小和最大亮度预测以及一组相邻亮度样本(例如,如图所示)内的亮度模板点对和以下等式来获得。
Figure BDA0003197876350000371
其中沿着x轴的值xA和xB可以分别是在点A和B处的模板预测亮度值,以及沿着y轴的值yA和yB可以分别是在点A和B处的模板亮度值。
根据等式(4)及其问题公式化,
Figure BDA0003197876350000372
可以是Xi的方差,
Figure BDA0003197876350000373
可以是Yi的方差,σxy可以是Xi和Yi的互相关,以及
Figure BDA0003197876350000374
假设E(Y|X)是Y的最佳预测因子并且最佳预测因子是线性函数,E(Y|X)可以与Y的最佳线性预测因子一致。推导列于以下等式(11)-(13)的推导过程是针对有条件期望是线性[等式(10)]的情况的。
Figure BDA0003197876350000375
在一个实施例中,所述统一线性模型参数估计方法可以采用数学模型来基于输入数据分布而统计地确定所述偏移和斜率。等式(10)可以如下使用线性模型的期望值来拟合数据而被导出如下。
E(Y)=aE(X)+b
Figure BDA0003197876350000376
所述斜率可以计算为由下式给出的两个分布的标准偏差的比率:
Figure BDA0003197876350000377
用于LIC参数推导的代表性模板选择
作为一起使用上模板和左模板来计算线性模型系数(类似于CCLM-SLE)的替换(或附加),可以分别在LM_A模式和LM_L模式中单独使用上模板和左模板。图13和14是分别示出了示例性的LM_A模式和LM_L模式的框图。在LM_A模式(图13)中,仅可使用所述上模板来计算所述线性模型系数,而在LM_L模式(图14)中,仅可使用左模板来计算所述线性模型系数。可以在JVET-L0336中找到可以表示所述LIC LM_A模式和LM_L模式的示例细节。
用于参数导出的代表性多模型扩展
用于LIC和CCLM的统一线性模型参数估计方法(例如,本文公开的基于最小-最大的直线估计模型)可以扩展到多模型参数估计方法。多模型参数估计方法可能特别有用的一个使用情况是当不能使用单个模型来有效地对亮度方差的变化进行建模(或者可能不能有效地对亮度方差的变化进行建模)时。所述多模型参数估计方法可以使用基于阈值而分离的两个或更多个线性模型。为了训练的目的,可以独立地对待每个组,以导出用于LIC或CCLM线性模型参数α和β的统一线性模型参数估计方法。所述多模型参数估计方法可以被认为是对具有n个组的K均值集群方法的简化。线性回归的n个组中的每个组可以具有足够的样本来计算α和β。图15示出具有两个基于LIC min-max的线性模型(“多模型LIC”)的示例多模型参数估计方法。尽管未示出,但是根据这里伴随图15的描述,具有两个基于CCLM min_max的线性模型的多模型参数估计方法对于本领域技术人员将是显而易见的。
所述基于最小-最大的线性模型在平滑区域中可以比LS算法执行得更好,该平滑区域与单个线性模型可能不能有效地描述数据分布的纹理区域相比具有更高的相关性。在一个实施例中,所述多模型最小-最大方法可对LS近似建模。这种多模型最小-最大方法可以更好地表征纹理的变化以及亮度变化。
所述多模型LIC可以数学地表示为:
Figure BDA0003197876350000391
其中各组可以被独立地处理。或者,如果数据建议可将所述组并成单个群集,则可将组合并,尽管两个分类器可对点分布建模。作为示例,并且参考图16,如果两个组的质心之间的距离小于或以其他方式满足阈值,则可以合并这些组以形成单个集群并且一起对待(即使两个分类器可以对所述分布进行建模)。每个集群中的数据点的数量可以用作一度量,以保证每个区域具有足够数量的数据点以有效地对所述分类器建模。基于所述数据点的出现,这种方法可以被认为是数据的分段式线性模型。
多模型LIC分类器的代表性过程
可以使用阈值将所述点分布分成两个区域。所述阈值可以是亮度样本的平均值或基于亮度样本的平均值。或者,所述阈值可以基于各种直方图分析中的任意者,这其中如以下文章中所描述的:J.Liu,S.Wu以及J.V.Zidek,"On segmented multivariateregression(关于分段多元回归),"Statist.Sinica,vol.7,no.2,pp.497-525,1997。
可以计算所述两个区域的质心之间的距离。该距离可以以各种方式计算。作为示例,对于两个集群中的第一个,可以计算数据点和该集群中的质心之间的距离(D1)。对于所述两个集群中的第二个,可以计算数据点和该集群中的质心之间的距离(D2)。可以计算两个质心之间的距离(DN)。在(DN≤λ*(D1+D2))的条件下,所述两个区域可以合并成单个区域,并且单个最小-最大方法可以用于估计/确定α和β。在DN>λ*(D1+D2))的条件下,所述多模型最小-最大方法可以用于估计/确定α00和α11
该距离(DN)可以被计算为欧几里得距离或曼哈顿距离。λ可以是预定义的阈值(例如,1.0)。如果质心之间的距离(DN)足够大,则编码器可以基于速率失真优化(RDO)标准来决定使用单分类器模型或多分类器模型。在一个实施例中,上下文译码的CU级别标志可以由编码器用信号发送以指示关于模型选择的选择。解码器可以使用该标志来执行模型选择。
参见下面的图18。
与GBi的代表性LIC交互
如上所述,一般化双向预测的预测信号被计算为两个预测块的加权平均,如下:
P[x]=(1-w)×P0[x+v0]+w×P1[x+v1] (15)
其中,P[x]是位于图片位置x的当前块样本x的预测,每个Pi[x+vi]是使用来自参考列表Li中的参考图片的运动向量(MV)vi的x的运动补偿预测,1-w和w表示分别应用于P0[x+v0]和P1[x+v1]的权重值。
对于用LIC继之以GBi译码的每一CU,等式(15)中的预测可以被重新公式化为:
P[x]=(1-w)×(α0×P0[x+v0]+β0)+w×(α1×P1[x+v1]+β1) (16)
其中,β0和β1可以是用于分别校正P0和P1的DC值的导出偏移值,并且α0和α1可以是斜率。如果在GBi之后应用LIC,那么对于用GBi继之以LIC译码的每一CU,等式(15)中的预测可以被重新公式化为:
P′[x]=(α′×P[x]+β′) (17)
其中,β′可以是用于校正P′的DC值的导出偏移值,并且α′可以是LIC斜率。在GBi之后应用LIC比应用LIC继之以GBi在计算上更便宜,因为对于后者,LIC可以执行两次(例如,对于P0和P1两者),而对于前者,LIC可以执行一次(例如,对于P′)。
代表性的CCLM计算
如上所述,计算CCLM参数可使用分别从MSB LUT和LSB LUT获得的MSB和LSB两者作为输入。所述MSB LUT和LSB LUT的填充可以根据等式(8)来执行。用于实例化所述MSB LUT和LSB LUT所消耗的存储器可以是例如2K字节(例如,2个LUT×16位精度-2个LUT x(2字节×512个条目))。在一实施例中,可使用MSB而不使用LSB来计算所述CCLM参数。在计算中不使用LSB可以消除所述LSB LUT(例如,512个条目,每个16位)和用于将其存储在存储器中的负担(例如,1K字节)。
所述MSB LUT可使用以下来填充
Figure BDA0003197876350000411
其中可以使用n=16位的计算精度。
使用MSB LUT(而不是LSB)来计算所述CCLM模型参数α和β可以如下进行。可确定所述亮度和色度参数的最小和最大值。所确定的亮度和色度参数的最小值和最大值可以用作可以根据以下伪代码(”伪代码B“)执行的计算的输入:
shift=(BitDepthC>8)?BitDepthC-9:0
add=shift?1<<(shift-1):0
diff=(MaxLuma-MinLuma+add)>>shift
k=16
If(diff>0)
α=(((ChromaForMaxLuma-ChromaForMinLuma)*(MSB)+add)>>shift)
Otherwise,
α=0
β=ChromaForMinLuma-((a*MinLuma)>>k)
伪代码B–单LUT线性模型参数估计其中BitDepthC可以是色度位深,MaxLuma可以是下采样的顶部和左侧相邻亮度样本的最大值,MinLuma可以是下采样的顶部和左侧相邻亮度样本的最小值,ChromaForMaxLuma可以从顶部和左侧相邻重构色度样本中选择的,并且可以对应于亮度最大值的色度,ChromaForMinLuma可以从顶部和左侧相邻重构色度样本中选择的,并且可以对应于亮度样本最小值的色度。
根据上述伪代码,参数BitDepthC可以将色度位深度限制为9位,并且可以使用MSBLUT值(并且没有LSB和LSB LUT)以16位精度计算所述参数α(斜率)和β(偏移)。根据实验结果,当使用MSB和LSB两者计算模型参数α和β时与使用MSB而不是LSB计算模型参数α和β时,没有发现显著差异。如所观察到的,通过以16位精度计算所产生的误差是可忽略的。通过使用LSB可以减轻的误差(如果有的话)大部分是由于通过计算在受限位深度(9位)处的BitDepthC而导致的精度降低。
在一实施例中,可使用MSB和LSB两者但不使用MSB LUT来计算所述CCLM参数。在计算中不使用MSB LUT(例如,512个条目,每个条目16位)可消除将MSB LUT存储在存储器中的负担(例如,1K字节)。在一个实施例中,可以使用8位精度来计算最小和最大样本值之间的差。MSB可基于下限(floor)和上限(ceiling)的平均值来计算(例如,使用测量)。基于所述下限和上限的平均值的计算可以减轻由于使用下限函数而不是上限函数而产生的损失。通过使用来自LSB LUT的LSB,可以减轻在没有MSB LUT的情况下计算MSB所引起的损耗。LSB可以16位(或更高)精度来计算,并且LSB LUT可以包括512个(或更多)条目。或者,可使用8位精度来计算LSB,且LSB LUT可包含256个条目而不会显著降低性能。除了复杂性降低之外,具有8位精度的256个条目的LSB LUT的存储器负担是256字节(而不是具有16位精度的512个条目的LSB LUT所需的1K字节)。也可使用除8位精度和256个条目之外的计算精度和LUT大小的组合。
MSB计算(没有任何LUT)可以如下计算。
MSB=(2n-floorLog2(diff)+2n-1-floorLog2(diff))>>1 (19)
其中foor(Log2(diff))可以是输入的对数底数2的下限,diff(非负的)可以是最小和最大样本值之间的差,并且n可以是计算精度(例如,16位、8位等)。
可使用以下等式来填充所述LSB LUT
Figure BDA0003197876350000431
其中MSB可来自等式(19),diff(非负)可以是最小和最大样本值之间的差,并且n可以是计算精度(例如,16位、8位等)。如下执行对CCLM模型参数α和β的计算,其中使用MSB(例如,基于等式(19)计算的值)和LSB LUT(例如,使用等式(20)而被填充)两者,但不使用MSB LUT。可确定亮度和色度参数的最小值和最大值。所确定的亮度和色度参数的最小值和最大值可以用作可以根据以下伪代码(“伪代码C”)执行的计算的输入:
shift=(BitDepthC>8)?BitDepthC-9:0
add=shift?1<<(shift-1):0
diff=(MaxLuma-MinLuma+add)>>shift
k=16,8,etc
If(diff>0)
div=((ChromaForMaxLuma-ChromaForMinLuma)*(LSB)>>k
α=(((ChromaForMaxLuma-ChromaForMinLuma)*(MSB)+div+add)>>shift)
Otherwise,
α=0
β=ChromaForMinLuma-((a*MinLuma)>>k)
伪代码C-精度减小的线性模型参数估计其中BitDepthC可以是色度位深度,MaxLuma可以是下采样的顶部和左侧相邻亮度样本的最大值,MinLuma可以是下采样的顶部和左侧相邻亮度样本的最小值,ChromaForMaxLuma可以从顶部和左侧相邻重构色度样本中选择,并且可以对应于亮度最大值的色度,ChromaForMinLuma可以从顶部和左侧相邻重构色度样本中选择,并且可以对应于亮度样本最小值的色度。
根据上述伪代码,参数BitDepthC可以将色度位深度限制为9比特,并且可以使用LSB LUT值以n-位精度中的任意者来计算参数α(斜率)和β(偏移)。MSB计算可以使用逐位移位操作来执行,并且不需要MSB LUT。MSB计算所引入的误差容限(如果有的话)可由LSB减轻,且此减轻可克服较低计算精度所引入的误差容限。根据实验结果,可以8位精度且使用具有64个条目的LSB LUT来计算CCLM模型参数,其中对于共同测试条件序列具有可忽略的损失。可使用除8位以外的精度并使用具有多于或少于64个条目的LSB LUT来计算所述CCLM模型参数。使用计算精度和LSB LUT大小的各种组合来观察常见测试条件序列在一些情况下的微小增益或可忽略的损失。
代表性的CCLM鲁棒性技术
直线近似可能易受由于异常值引起的误差的影响,因为它取决于最小值和最大值的选择。在一个实施例中,可以通过丢弃例如小于模板样本的平均值γ并且大于模板样本的平均值的δ倍来去除所述异常值。γ和δ的值可以根据经验从共同测试条件序列中确定,其中平均值、最小值和最大值用于确定γ和δ。另外和/或可选地,可以使用中值测量代替平均测量。另外,和/或可选地,可以使用其他统计测量,例如使用K均值集群方法的异常值去除或方差。
图17是示出根据一个或多个实施例的示例流程1700的流程图。按照流程1700,可以使用由基于模板的译码技术(例如,CCLM、LIC等)采用的直线估计模型/方法来预测当前译码块的色度分量,其中,使用LUT并以不大于16位的精度来计算线性模型参数(例如,作为LUT配置的结果)。流程1700可由装置(例如,设备、系统、WTRU等)和/或在这样的装置中实现的编码器和解码器中的任意者(在下面的流程1700的描述中统称为“装置”)来执行。
参考图17,该装置可以确定与译码块相邻的亮度样本的最小值和最大值(1702)。该装置可以确定与所述译码块相邻并且分别与所述亮度样本的所述最小和最大值相对应的色度样本的最小和最大值(1704)。所述装置可基于所述色度样本的最小值和最大值且使用单个LUT来确定(例如,计算)基于模板的视频译码技术的第一线性模型参数(例如,斜率)(1706)。举例来说,所述设备可依据所述色度样本的所述最小值和最大值且使用单个LUT来以不大于16位的精度计算第一线性模型参数。在实施例中,所述单个LUT可以排除用于确定最低有效位的值。或者,所述单个LUT可包括用于仅确定最低有效位的值(例如,仅LSB LUT)或用于仅确定最高有效位的值(例如,仅MSB LUT)。
所述装置可以基于所述色度和亮度样本的所述最小值以及所述第一参数来确定基于模板的视频译码技术的第二线性模型参数(1708)。例如,该装置可以根据所述色度和亮度样本的最小值以及所述第一线性模型参数,以不大于16位的精度来计算所述第二线性模型参数。在一个实施例中,该装置可以基于等式(18)或者其变型和伪代码B的实例化来计算所述第一和第二线性模型参数。所述装置可以基于所述译码块的重构亮度样本以及所述第一和第二线性模型参数来预测所述译码块的色度样本(1710)。
在实施例中,所述亮度和色度的所述最小值和最大值可以对应于相应的模板。在实施例中,所述亮度和色度的所述最小值和最大值可对应于相应模板,但可能不包括此类模板的所有样本。尽管图17中未展示,但所述装置可修剪所述亮度模板的一个或多个样本以获得用于确定亮度样本的最小值和最大值的亮度样本(例如,在该确定之前进行修剪)(1702),和/或修剪所述亮度模板的一个或多个样本以获得用于确定所述亮度样本的最小值和最大值的亮度样本(例如,在该确定之前进行修剪)(1704)。在实施例中,所述亮度/色度样本的所述修剪可以包括去除异常值,或基于统计方法,例如基于描述性统计(例如,如本文所述),以其他方式排除所述亮度/色度模板的一个或多个样本。在一个实施例中,所述亮度和色度样本属于具有单个区域的点分布(例如,如图11所示)或属于所述点分布的多个区域之一(例如,图15所示的区域上的一个区域)。
尽管未示出,但是本领域技术人员将认识到,所述装置可以确定与所述译码块相邻的色度样本的最小值和最大值(1702),然后可以确定与所述译码块相邻的亮度样本的最小值和最大值,其分别对应于所述色度样本的所述最小值和最大值(1704)。另外,本领域技术人员将认识到,当前译码块的亮度分量也可以使用流程1700来预测(例如,通过互换术语“色度”和“亮度”)。
图18是示出根据一个或多个实施例的示例流程1800的流程图。按照流程1800,可以使用由诸如CCLM、LIC等的一个或多个基于模板的译码技术所采用的多个直线估计模型/方法来预测当前译码块的色度分量。流程1800可由装置(例如,设备、系统、WTRU等)和/或在这样的装置中实现的编码器和解码器中的任意者(在随后的流程1800的描述中统称为“装置”)来执行。
参考图18,所述装置可以基于一个或多个阈值,将与译码块相邻的亮度和色度样本分离成多个样本集群(1802)。在一个实施例中,至少一个所述阈值可以基于与所述译码块相邻的亮度样本的平均值。
所述装置可以确定第一样本集群和第二样本集群的分离是否满足分离度量(1804)。该分离度量可以是例如在以上标题为多模型LIC分类器的代表性过程下描述的距离度量,和/或基于由Otsu方法确定的分离阈值或基于应用于亮度样本的线性判别分析(LDA)。在任何两个集群的分离不满足所述分离度量的条件下,所述装置可以重新组合这两个集群,并且使用由基于模板的译码技术采用的单个直线估计模型/方法来继续进行预测,诸如在流程1700(图17)中那样,否则该装置继续执行流程1800。
所述装置可确定第一样本群集的亮度样本的最小值和最大值(1806)。所述装置可确定所述第一样本群集的色度样本的最小值和最大值,其分别对应于所述第一样本群集的亮度样本的最小值和最大值(1808)。所述装置可(i)基于所述第一样本群集的所述色度样本的所述最小值和最大值且(ii)以第一精度,确定(例如,计算)第一基于模板的视频译码技术的第一线性模型参数(例如,斜率)(1810)。所述装置可(i)基于所述第一样本群集的所述色度和亮度样本的所述最小值和所述第一参数且(ii)以所述第一精度,确定所述第一基于模板的视频译码技术的第二线性模型参数(例如,截距)(1812)。
所述装置可确定所述第二样本群集的亮度样本的最小值和最大值(1814)。所述装置可确定所述第二样本群集的色度样本的最小值和最大值,其分别对应于所述第二样本群集的所述亮度样本的所述最小值和最大值(1816)。
所述装置可(i)基于所述第二样本群集的所述色度样本的最小值和最大值且(ii)以第二精度,确定(例如,计算)第二基于模板的视频译码技术的第一线性模型参数(例如,斜率)(1818)。该装置可以(i)基于所述第二样本集群的所述色度和亮度样本的所述最小值以及所述第二基于模板的视频译码技术的所述第一参数,并且(ii)以所述第二精度,确定第二基于模板的视频译码技术的第二线性模型参数(例如,截距)(1820)。该装置可以基于所述译码块的重构亮度样本以及所述第一和第二基于模板的视频译码技术中的每一个的所述第一和第二线性模型参数来预测所述译码块的色度样本(1822)。
在实施例中,所述第一基于模板的视频译码技术的所述第一线性模型参数可以被计算为所述第一样本集群的所述色度样本的所述最小值和最大值以及一个或多个第一查找表的函数。在一个实施例中,所述第二基于模板的视频译码技术的所述第一线性模型参数被计算为所述第二样本集群的所述色度样本的所述最小值和最大值以及一个或多个查找表的函数。在实施例中,所述查找表中的任意者可以排除用于确定最低有效位的值。在实施例中,所述查找表中的任意者可以包括用于仅确定最低有效位的值。在实施例中,所述查找表中的任意者可以包括用于仅确定最高有效位的值。
在一实施例中,所述第一精度可基于所述第一样本群集内的样本的统计描述(例如,分布)。在一实施例中,所述第二精度可基于所述第二样本群集内的样本的统计描述(例如,分布)。在一个实施例中,可以以不大于16位的精度来计算所述第一基于模板的视频译码技术的所述第一线性模型参数。在一个实施例中,可以以不大于16位的精度来计算所述第一基于模板的视频译码技术的所述第二线性模型参数。在一个实施例中,可以以不大于16位的精度来计算所述第二基于模板的视频译码技术的所述第一线性模型参数。在一个实施例中,可以以不大于16位的精度来计算所述第一基于模板的视频译码技术的所述第二线性模型参数。
在实施例中,所述亮度和色度的所述最小值和最大值可以对应于相应的模板。在实施例中,所述亮度和色度的所述最小值和最大值可对应于相应模板,但可能不包括此类模板的所有样本。尽管图18中未展示,但所述装置可在分离之前,修剪亮度和/或色度模板的一个或多个样本(1802)。
在一实施例中,所述装置可在确定所述第一样本群集的所述亮度/色度样本的最小和最大值之前,修剪所述第一样本群集的一个或多个亮度/色度样本,和/或在确定所述第二样本群集的所述亮度/色度样本的所述最小和最大值之前,修剪所述第二样本群集的一个或多个亮度/色度样本。在实施例中,所述亮度/色度样本的所述修剪可以包括去除异常值或基于统计方法,例如基于描述性统计(例如,如本文所述),以其他方式排除所述亮度/色度模板的一个或多个样本。
尽管未展示,但所属领域的技术人员将全部认识到,所述装置可确定所述第一(和/或第二)样本群集的色度样本的最小及最大值(1806、1814),且接着可确定分别对应于所述色度样本的所述最小及最大值的第一(和/或第二)样本群集的亮度样本的最小及最大值(1808、1816)。另外,本领域技术人员将认识到,也可以使用流程1800来预测当前译码块的亮度分量(例如,通过互换术语“色度”和“亮度”)。
结论
虽然在上文中提供采用特定组合的特征和要素,但是本领域普通技术人员将会认识到,每一个特征或要素既可以单独使用,也可以与其他特征和要素进行任何组合。本公开并不是依照本申请中描述的实施例而被限制的,其中所述实施例的目的是对不同的方面进行例证。本领域技术人员将会了解,在不脱离实质和范围的情况,众多的修改和变化都是可行的。除非以显性地方式提供,否则不应将本申请的说明书中使用的要素、行为或指令解释成是对本发明至关重要的。除了这里枚举的方法和装置之外,本领域技术人员可以从以上描述中清楚了解处于本公开的范围以内的功能等价的方法和装置。此类修改和变化都应该落入附加权利要求的范围以内。本公开仅仅是依照附加权利要求以及此类权利要求所具有的完整等价范围限制的。应该理解的是,本公开并不局限于特定的方法或系统。
为了简单起见,前述实施例针对具有红外能力的设备(即,红外发射器和接收器)的术语和结构而被论述。然而,所讨论的实施例不限于这些系统,而是可以应用于使用其它形式的电磁波或非电磁波诸如声波的其它系统。
还应理解,本文所用的术语仅是为了描述特定实施例的目的,而不是旨在限制。如本文所使用的,术语“视频”或术语“图像”可以表示在时间基础上显示的快照、单个图像和/或多个图像中的任意者。作为另一个例子,当在此引用时,术语“用户装置”及其缩写“UE”、术语“远程”和/或术语“头戴式显示器”或其缩写“HMD”可以表示或包括:(i)无线发射和/或接收单元(WTRU);(ii)WTRU的多个实施方式中的任意者;(iii)无线和/或有线(例如可无线通信的)设备,其配置有WTRU的一些或所有结构和功能等;(iii)具有无线能力和/或有线能力的设备,其被配置有少于WTRU的所有结构和功能;或(iv)类似物。本文参考附图1A-1D提供了示例WTRU的细节,该示例WTRU可以代表本文所述的任何WTRU。作为另一示例,本文的上文和下文中所公开的各种实施例被描述为利用头戴式显示器。本领域技术人员将认识到,可以利用除头戴式显示器之外的设备,并且可以相应地修改本公开和各种公开的实施例中的一些或全部,而无需过度的实验。这样的其他设备的示例可以包括被配置为流式传输用于提供适配的现实体验的信息的无人机或其他设备。
此外,这里提供的方法可以在引入到计算机可读介质中以供计算机或处理器运行的计算机程序、软件或固件中实施。关于计算机可读媒体的示例包括电子信号(其通过有线或无线连接而被传送)和计算机可读存储媒体。关于计算机可读媒体的示例包括但不局限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、磁媒体(例如,内部硬盘和可移除磁盘)、磁光媒体以及光媒体(例如,CD-ROM碟片和数字多用途碟片(DVD))。与软件相关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任何计算机主机中使用的射频收发信机。
在不背离本发明的范围的情况下,上面提供的方法、装置和系统的变化是可能的。鉴于可以应用的实施例的广泛多样性,应当理解,所图示的实施例仅是示例,并且不应当被认为限制所附权利要求的范围。例如,本文提供的实施例包括手持设备,其可以包括或与提供任何适当电压的任何适当电压源(诸如电池等)一起使用。
此外,在上述实施例中提到了处理平台、计算系统、控制器和其他设备(包括含有处理器的约束服务器和集结点/服务器)。这些设备可以包括至少一个中央处理器(“CPU”)和存储器。依照计算机编程领域的技术人员实践,对于操作或指令的行为或符号性表示的引用可以由不同的CPU和存储器来执行。此类行为和操作或指令可被称为“运行”、“计算机运行”或“CPU运行”。
本领域普通技术人员将会了解,行为以及用符号表示的操作或指令包括由CPU来操纵电子信号。电子系统代表的是数据比特,该数据比特可能导致电子信号由此变换或减少,以及将数据比特保存在存储器系统中的存储器位置,由此重新配置或以其他方式变更CPU操作以及其他信号处理的数据比特。保持数据比特的存储器位置是具有与数据比特对应或代表数据比特的特定电、磁、光或有机属性的物理位置。应该理解的是,这里的实施例并不局限于上述平台或CPU,并且其他平台和CPU同样可以支持所提供的方法。
数据比特还可以保持在计算机可读介质上,其中所述介质包括磁盘、光盘以及其他任何可供CPU读取的易失(例如,随机存取存储器(“RAM”))或非易失(例如,只读存储器(“ROM”))大容量存储系统。计算机可读介质可以包括协作或互连的计算机可读介质,这些介质既可以单独存在于处理系统之上,也可以分布在多个位于处理系统本地或远端的互连处理系统之中。应该理解的是,这些实施例并不局限于上述存储器,其他的平台和存储器同样可以支持所提供的方法。
在一个说明性实施例中,这里描述的任何操作、处理等等都可以作为保存在计算机可读介质上的计算机可读指令来实施。所述计算机可读指令可以由移动单元、网络部件和/或其他任何计算设备的处理器来运行。
在关于系统的各个方面的硬件和软件实施例之间几乎是没有区别的。使用硬件还是软件通常(但也并不是始终如此,因为在某些上下文中,在硬件和软件之间做出的选择有可能会很重要)是代表了成本与效率之间的折衷的设计选择。这里描述的处理和/或系统和/或其他技术可以由各种载体来实施(例如,硬件、软件和/或固件),并且优选的载体可以随着部署所述处理和/或系统和/或其他技术的上下文而改变。举例来说,如果实施方案确定速度和精度是首要的,那么实施方可以倾向于主要采用硬件和/或固件载体。如果灵活性是首要的,那么实施方可以倾向于主要采用软件的实施例。作为替换,实施者可以选择硬件、软件和/或固件的某种组合。
以上的具体实施例部分已经借助于使用框图、流程图和/或示例而对设备和/或处理的不同实施例进行了描述。就像此类框图、流程图和/或示例包含了一个或多个功能和/或操作那样,本领域技术人员将会理解,此类框图、流程图或示例内部的每一个功能和/操作可以单独和/或共同地由范围广泛的硬件、软件、固件或者近乎其任何组合来实施。在一实施例中,这里描述的主题的若干个部分可以借助于专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)和/或其他集成格式来实现。然而,本领域技术人员将会认识到,这里公开的实施例的一些方面可以全部或者部分在集成电路中以等效的方式实施,作为在一个或多个计算机上运行的一个或多个计算机程序(例如,作为在一个或多个计算机系统上运行的一个或多个程序)来实施,作为在一个或多个处理器上运行的一个或多个程序(例如,作为在一个或多个微处理器上运行的一个或多个程序)来实施,作为固件来实施,或者作为近乎其任何组合来实施,并且依照本公开,关于软件和/或固件的电路设计和/或代码编写同样落入本领域技术人员的技术范围以内。此外,本领域技术人员将会了解,这里描述的主题的机制可以作为程序产品而以各种形式分发,并且无论使用了何种特定类型的信号承载介质来实际执行所述分发,这里描述的主题的说明性实施例都是适用的。关于信号承载介质的示例包括但不限于以下各项:可记录型介质,例如软盘、硬盘驱动器、CD、DVD、数字磁带、计算机存储器等等,以及传输类型介质,例如数字和/或模拟通信介质(例如,光缆、波导、有线通信链路、无线通信链路等等)。
本领域技术人员将认识到,在本领域中,以这里阐述的方式描述设备和/或过程,并且此后使用工程实践来将这样描述的设备和/或过程集成到数据处理系统中是常见的。也就是说,本文描述的设备和/或过程的至少一部分可以经由合理数量的实验而被集成到数据处理系统中。本领域技术人员将认识到,典型的数据处理系统通常可以包括以下中的一者或多者:系统单元外壳、视频显示设备、诸如易失性和非易失性存储器的存储器、诸如微处理器和数字信号处理器的处理器、诸如操作系统、驱动器、图形用户界面和应用程序的计算实体、诸如触摸板或触摸屏的一个或多个交互设备、和/或包括反馈环和控制电机(例如,用于感测位置和/或速度的反馈、用于移动和/或调整组件和/或量的控制电机)的控制系统。典型的数据处理系统可以利用任何合适的商业上可获得的组件来实现,诸如通常在数据计算/通信和/或网络计算/通信系统中找到的那些组件。
这里描述的主题有时示出了包含在其他不同的组件内部或是与之相连的不同组件。应该理解的是,以这种方式描述的体系结构仅仅是一些示例,并且用于实施相同功能的其他众多的架构实际上都是可以实施的。从概念上讲,实现相同功能的部件的任何布置都被有效地“关联”,由此可以实现期望的功能。因此,在这里组合在一起以实现特定功能的任何两个组件都可被认为是彼此“关联”的,由此将会实现期望的功能,而不用考虑架构或中间组件。同样地,以这种方式关联的任何两个部件也可以被视为彼此“可操作地连接”或“可操作地耦合”,以便实现期望的功能,并且能以这种方式关联的任何两个部件也可以被视为彼此“能够可操作地耦合”,以便实现期望的功能。关于能够可操作地耦合的特定示例包括但不局限于可以在物理上配对和/或在物理上交互的组件和/或可以以无线方式交互和/或无线交互的组件和/或在逻辑上交互和/或可在逻辑上交互的组件。
至于在这里使用了实质上任何的复数和/或单数术语,本领域技术人员可以根据上下文和/或应用适当地从复数转换为单数和/或从单数转换为复数。为了清楚起见,在这里可以明确地阐述各种单数/复数排列。
本领域技术人员将会理解,一般来说,在这里尤其是附加权利要求(例如,附加权利要求的主体)中使用的术语通常应该作为“开放式”术语(举例来说,术语“包括”应被解释成“包括但不局限于”,术语“具有”被解释成“至少具有”,术语“包含”应被解释为“包括但不局限于”等等)。本领域技术人员将会进一步理解,如果所引入的权利要求叙述针对的是特定的数量,那么在该权利要求中应该明确地叙述这种意图,并且如果没有这种叙述,那么此类意图是不存在的。举例来说,如果所预期的是仅仅一个项目,那么可以使用术语“单个”或类似语言。作为理解辅助,后续的附加权利要求和/或这里的描述可以包括使用介绍性短语“至少一个”以及“一个或多个”来引入权利要求的叙述。然而,使用此类短语不应被解释成是这样一种权利要求叙述的引入方式,即通过不定冠词“一”或“一个”来将包含以这种方式引入的权利要求叙述的任何特定的权利要求局限于只包含一个此类叙述的实施例,即使相同的权利要求包含了介绍性短语“一个或多个”或者“至少一个”以及诸如“一”或“一个”之类的不定冠词的时候也是如此(例如,“一”和/或“一个”应该被解释成是指“至少一个”或者“一个或多个”)。对于用于引入权利要求叙述的定冠词的使用,亦是如此。此外,即使明确叙述了所引入的特定数量的权利要求叙述,本领域技术人员也会认识到,这种叙述应被解释成至少是指所叙述的数量(例如,在没有其他修饰语的条件下的关于“两个叙述”的无修饰叙述意味着至少两个叙述或是两个或更多叙述)。此外,在这些示例中,如果使用了与“A、B和C等等中的至少一者”相类似的规约,那么此类结构通常应该具有本领域技术人员所理解的该规约的意义(例如,“具有A、B和C中的至少一者的系统”将会包括但不局限于只具有A、只具有B、只具有C、具有A和B、具有A和C、具有B和C和/或具有A、B和C等等的系统)。在使用了与“A、B或C等等中的至少一者”相似的规约的示例中,此类结构通常应该具有本领域技术人员所理解的所述规约的意义(举例来说,“具有A、B或C中的至少一者的系统”包括但不限于只具有A,只具有B、只具有C、具有A和B,具有A和C,具有B和C和/或具有A、B和C等等的系统)。本领域技术人员会将进一步理解,无论在说明书,权利要求书还是附图中,提出两个或更多替换项的几乎任何分离性的词语和/或短语都应被理解成预期了包括这些项中的一个、任一项或是所有两项的可能性。举例来说,短语“A或B”将被理解成包括“A”或“B”或“A和B”的可能性。此外,这里使用的跟随有一系列的多个项目和/或多个项目类别的术语“任意者”旨在包括单独或与其他项目和/或其他项目类别相结合的项目和/或项目类别中的“任意者”,“任何组合”,“任意的多个”和/或“任意的多个的组合”。此外,这里使用的术语“集合”应该包括任意数量的项目,其中包括零个。作为补充,这里使用的术语“数量”旨在包括任意数量,其中包括零。
此外,如果本公开的特征或方面是依照马库什群组的方式描述的,那么本领域技术人员将会认识到,本公开由此是依照马库什组中的任意的单个成员或成员子群组描述的。
本领域技术人员将会理解,出于任何和所有目的(例如,在提供书面描述方面),这里公开的所有范围还包含了任何和所有可能的子范围以及其子范围组合。所列出的任何范围都可以很容易地被认为是充分描述和启用了被分解成至少两等分、三等分、四等分、五等分、十等分等等的相同范围。作为非限制性示例,本文论述的每一个范围都很容易即可分解成下部的三分之一、中间的三分之一以及上部的三分之一范围。本领域技术人员将会理解,诸如“至多”、“至少”、“大于”、“小于”等等的所有语言包含了所叙述的数字,并且指代的是随后可被分解成如上所述的子范围的范围。最后,正如本领域技术人员所理解的那样,一个范围会包括每一个单独的成员。由此,举例来说,具有1-3个小区的群组指的是具有1、2或3个小区的群组。同样,具有1-5个小区的群组是指具有1、2、3、4或5个小区的群组,依此类推。
此外,除非进行说明,权利要求不应该被错误地当作仅限于所描述的顺序或要素。作为补充,任何权利要求中使用的术语“用于……的装置”旨在援引25 U.S.C.§112,
Figure BDA0003197876350000561
或者意味着“装置加功能(means-plus-function)”权利要求格式,并且没有单词“装置”的任何权利要求均不具有这种意义。

Claims (15)

1.一种在编码器和解码器中的任意者中实现的方法,所述方法包括:
确定与译码块相邻的亮度样本的最小值和最大值;
确定与所述译码块相邻的色度样本的最小值和最大值,所述色度样本的最小值和最大值分别对应于所述亮度样本的最小值和最大值;
(i)根据单个查找表和所述色度样本的所述最小值和最大值,并且(ii)以不大于16位的精度,计算基于模板的视频译码技术的第一线性模型参数;
(i)根据所述色度样本的所述最小值、所述亮度样本的所述最小值和所述第一线性模型参数,并且(ii)以不大于16位的精度,计算所述基于模板的视频译码技术的第二线性模型参数;以及
基于所述第一线性模型参数、所述第二线性模型参数和所述译码块的重构亮度样本,预测所述译码块的色度样本。
2.根据权利要求1所述的方法,其中,所述基于模板的视频译码技术是交叉分量线性模型(CCLM)和局部照度补偿(LIC)中的任意者。
3.根据权利要求1-2中任意项的方法,其中所述第一和第二线性模型参数是斜率和截距。
4.根据权利要求1-3中任意项所述的方法,其中所述单个查找表排除用于确定最低有效位的值。
5.根据权利要求1-3中任意项所述的方法,其中所述单个查找表包括用于仅确定最低有效位的值。
6.根据权利要求1-3中任意项所述的方法,其中,所述单个查找表包括用于仅确定最高有效位的值。
7.根据权利要求1到6中任意项所述的方法,其中所述亮度及色度样本对应于相应模板,所述方法进一步包括以下各者中的至少一者:
修剪所述亮度模板的一或多个样本以获得所述亮度样本;以及
修剪所述色度模板的一或多个样本以获得所述色度样本。
8.根据权利要求7所述的方法,其中修剪所述亮度模板的一或多个样本以获得所述亮度样本包括:基于统计方法,排除所述亮度模板的一或多个样本。
9.根据权利要求7和8中任意项所述的方法,其中修剪所述色度模板的一或多个样本以获得所述色度样本包括:基于统计方法,排除所述色度模板的一个或多个样本。
10.根据权利要求1到9中任意项所述的方法,其中所述亮度及色度样本属于具有单个区的点分布或属于所述点分布的多个区中的一者。
11.一种在编码器和解码器中的任意者中实现的方法,所述方法包括:
基于一个或多个阈值,将与译码块相邻的亮度和色度样本分离成多个样本集群;以及
在第一和第二样本集群的所述分离满足分离度量的条件下:
确定第一样本群集的所述亮度样本的最小值和最大值;
确定所述第一样本群集的所述色度样本的最小值和最大值,所述色度样本的所述最小值和最大值分别对应于所述第一样本群集的所述亮度样本的所述最小值和最大值;
(i)根据所述第一样本群集的所述色度样本的所述最小值和最大值,并(ii)以第一精度,计算第一基于模板的视频译码技术的第一线性模型参数;
(i)根据所述第一样本群集的所述色度样本的所述最小值、所述第一样本群集的所述亮度样本的所述最小值及所述第一基于模板的视频译码技术的所述第一线性模型参数,并(ii)以所述第一精度,计算所述第一基于模板的视频译码技术的第二线性模型参数;
确定第二样本集群的所述亮度样本的最小值和最大值;
确定所述第二样本集群的所述色度样本的最小值和最大值,所述最小值和最大值分别对应于所述第二样本集群的所述亮度样本的所述最小值和最大值;
(i)根据所述第二样本集群的所述色度样本的所述最小值和最大值,并(ii)以第二精度,计算第二基于模板的视频译码技术的第一线性模型参数;
(i)根据所述第二样本集群的所述色度样本的所述最小值、所述第二样本集群的所述亮度样本的所述最小值及所述第二基于模板的视频译码技术的所述第一线性模型参数,并(ii)以所述第二精度,计算所述第二基于模板的视频译码技术的第二线性模型参数;以及
基于所述第一和第二基于模板的视频译码技术的所述第一和第二线性模型参数以及所述译码块的重构亮度样本,预测所述译码块的色度样本。
12.根据权利要求11所述的方法,其中所述阈值基于与所述译码块相邻的所述亮度样本的平均值。
13.根据权利要求11至12中任意项所述的方法,其中:
所述第一精度是基于所述第一样本群集内的样本的统计描述[例如,分布]的;和/或
第二精度是基于所述第二样本集群内的样本的统计描述[例如,分布]的。
14.一种装置,其可以包括处理器和存储器中的任意者,被配置为执行如前述权利要求中的至少一个所述的方法。
15.根据权利要求14所述的装置,其中所述装置被配置为无线发射/接收单元(WTRU)的元件和/或被配置有无线发射/接收单元(WTRU)的元件。
CN201980091368.4A 2018-12-21 2019-12-20 针对用于基于模板的视频译码的改进的线性模型估计的方法、架构、装置和系统 Pending CN113396591A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862784341P 2018-12-21 2018-12-21
US62/784,341 2018-12-21
PCT/US2019/068038 WO2020132556A2 (en) 2018-12-21 2019-12-20 Methods, architectures, apparatuses and systems directed to improved linear model estimation for template based video coding

Publications (1)

Publication Number Publication Date
CN113396591A true CN113396591A (zh) 2021-09-14

Family

ID=69326679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980091368.4A Pending CN113396591A (zh) 2018-12-21 2019-12-20 针对用于基于模板的视频译码的改进的线性模型估计的方法、架构、装置和系统

Country Status (5)

Country Link
US (2) US11909977B2 (zh)
EP (1) EP3900347A2 (zh)
KR (1) KR20210113188A (zh)
CN (1) CN113396591A (zh)
WO (1) WO2020132556A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116704A1 (en) * 2021-12-21 2023-06-29 Mediatek Inc. Multi-model cross-component linear model prediction

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116781915A (zh) 2018-12-13 2023-09-19 华为技术有限公司 色度块的预测方法和装置
CA3125393A1 (en) 2018-12-31 2020-07-09 Huawei Technologies Co., Ltd. Method and apparatus of cross-component linear modeling for intra prediction
JP7263529B2 (ja) * 2019-02-14 2023-04-24 北京字節跳動網絡技術有限公司 デコーダ側精緻化ツールのサイズ選択アプリケーション
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
US11924409B2 (en) * 2021-02-21 2024-03-05 Alibaba (China) Co., Ltd. Systems and methods for inter prediction compensation
WO2023071778A1 (en) * 2021-10-29 2023-05-04 Mediatek Singapore Pte. Ltd. Signaling cross component linear model
WO2023096472A1 (ko) * 2021-11-29 2023-06-01 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치
US20230247215A1 (en) * 2022-01-31 2023-08-03 Tencent America LLC Adaptive parameter selection for cross-component prediction in image and video compression
WO2024010291A1 (ko) * 2022-07-05 2024-01-11 엘지전자 주식회사 휘도 보상(illumination compensation)에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2024022325A1 (en) * 2022-07-27 2024-02-01 Mediatek Inc. Method and apparatus of improving performance of convolutional cross-component model in video coding system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103891279A (zh) * 2011-10-11 2014-06-25 高通股份有限公司 用于帧内预测译码的最大概率变换
CN105075259A (zh) * 2013-03-29 2015-11-18 高通股份有限公司 用于视频译码预测的存储器减少
CN106464877A (zh) * 2014-06-11 2017-02-22 高通股份有限公司 在视频译码中确定将解块滤波应用于经调色板译码块

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6401309B2 (ja) * 2014-06-19 2018-10-10 ヴィド スケール インコーポレイテッド 3次元ベースのカラーマッピングでのモデルパラメータ最適化のためのシステムおよび方法
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
GB2571314A (en) * 2018-02-23 2019-08-28 Canon Kk Methods and devices for linear component sample prediction using a double classification
EP3791586A1 (en) * 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
WO2020053804A1 (en) * 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. Downsampling in cross-component linear modeling
CN112789863B (zh) * 2018-10-05 2022-08-19 华为技术有限公司 帧内预测方法及设备
WO2020094061A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Multi-models for intra prediction
US11197005B2 (en) * 2018-11-08 2021-12-07 Qualcomm Incorporated Cross-component prediction for video coding
CN113170122B (zh) * 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
US11095921B2 (en) * 2018-12-18 2021-08-17 Tencent America LLC Method and apparatus for video encoding or decoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103891279A (zh) * 2011-10-11 2014-06-25 高通股份有限公司 用于帧内预测译码的最大概率变换
CN105075259A (zh) * 2013-03-29 2015-11-18 高通股份有限公司 用于视频译码预测的存储器减少
CN106464877A (zh) * 2014-06-11 2017-02-22 高通股份有限公司 在视频译码中确定将解块滤波应用于经调色板译码块

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUILLAUME LAROCHE 等: "CE3-5.1: On cross-component linear model simplification", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》, pages 1 - 4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116704A1 (en) * 2021-12-21 2023-06-29 Mediatek Inc. Multi-model cross-component linear model prediction

Also Published As

Publication number Publication date
US11909977B2 (en) 2024-02-20
US20240171748A1 (en) 2024-05-23
KR20210113188A (ko) 2021-09-15
US20220094940A1 (en) 2022-03-24
WO2020132556A3 (en) 2020-07-30
WO2020132556A2 (en) 2020-06-25
EP3900347A2 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
US11909977B2 (en) Methods, architectures, apparatuses and systems directed to improved linear model estimation for template based video coding
JP7390300B2 (ja) ビデオコーディングにおける適応ループフィルタを簡略化する方法
US20230188748A1 (en) Bi-directional optical flow method with simplified gradient derivation
EP3857886B1 (en) Bi-prediction for video coding
US10917660B2 (en) Prediction approaches for intra planar coding
CN111630855A (zh) 基于局部照明补偿的运动补偿双向预测
CN111345041A (zh) 重叠块运动补偿的复杂度降低
CN111316649A (zh) 重叠块运动补偿
EP4221223A1 (en) Systems, apparatus and methods for inter prediction refinement with optical flow
WO2019006363A1 (en) LOCAL LIGHTING COMPENSATION USING GENERALIZED BI-PREDICTION
US20220070441A1 (en) Combined inter and intra prediction
CN113728643A (zh) 对称合并模式运动向量编码
CN113826400A (zh) 用于利用光流的解码器侧运动向量细化的预测细化的方法和装置
US20230045182A1 (en) Quantization parameter coding
CN113383542A (zh) 使用合并模式运动向量候选对象的改善的帧内平面预测
CN114556928A (zh) 帧内子分区相关的帧内编码
TW202416715A (zh) 非幀內預測編碼區塊的等效幀內模式
JP2024513939A (ja) 重複ブロック動き補償
WO2023057488A1 (en) Motion vector coding with input motion vector data
WO2023194556A1 (en) Implicit intra mode for combined inter merge/intra prediction and geometric partitioning mode intra/inter prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination