CN112106367B - 基于编码和解码时延减少的基于模板的帧间预测技术 - Google Patents

基于编码和解码时延减少的基于模板的帧间预测技术 Download PDF

Info

Publication number
CN112106367B
CN112106367B CN201980015288.0A CN201980015288A CN112106367B CN 112106367 B CN112106367 B CN 112106367B CN 201980015288 A CN201980015288 A CN 201980015288A CN 112106367 B CN112106367 B CN 112106367B
Authority
CN
China
Prior art keywords
template
prediction
based inter
samples
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980015288.0A
Other languages
English (en)
Other versions
CN112106367A (zh
Inventor
X.修
Y.何
Y.叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN112106367A publication Critical patent/CN112106367A/zh
Application granted granted Critical
Publication of CN112106367B publication Critical patent/CN112106367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission

Abstract

描述了视频编码方法，用于减小基于模板的帧间预测中的时延。在一些实施例中，提供了用于对包括当前图片和至少一个参考图片的视频进行编码的方法。对于当前图片中的至少当前块，针对与当前块相邻的模板区域中的每个样本，生成相应的预测值(例如，使用运动补偿预测)。一旦针对模板区域中的每个样本生成了预测值，则调用过程，以通过使用模板区域中的预测值和参考图片中的样本值来确定基于模板的帧间预测参数。能够无需等待模板区域中的重构样本值而调用该过程。然后，使用所确定的基于模板的帧间预测参数来执行当前块的基于模板的帧间预测。

Description

基于编码和解码时延减少的基于模板的帧间预测技术
背景技术
视频编码系统被广泛地用于压缩数字视频信号以减少这种信号的存储需求和/或传输带宽。在诸如基于块的、基于小波的和基于对象的系统的各种类型的视频编码系统中，如今，基于块的混合视频编码系统被最广泛地使用和部署。基于块的视频编码系统的示例包括国际视频编码标准，诸如MPEG1/2/4第2部分；H.264/MPEG-4第10部分AVC、VC-1；以及由ITU-T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT-VC(视频编码联合协作团队)开发的、称为高效视频编码(HEVC)的最新视频编码标准。
HEVC标准的第一版本于2013年1月完成，与上一代视频编码标准H.264/MPEG AVC相比，在等同感知质量下节省约50％的比特率。尽管HEVC标准相对于其前身提供了显著的编码改进，但有证据表明，在HEVC上使用附加编码工具能够实现更高的编码效率。基于此，VCEG和MPEG二者开始了用于未来视频编码标准化的新编码技术的探索工作。在2015年10月，ITU-T VCEG和ISO/IEC MPEG组成了联合视频探索团队(JVET)，开始对能够在HEVC上大大提高编码效率的先进技术进行重要研究。同月，为未来视频编码探索工作建立了称为联合探索模型(JEM)的软件代码库。JEM参考软件是基于JCT-VC为HEVC开发的HEVC测试模型(HM)的。附加提出的编码工具可以集成到JEM软件中，并使用JVET通用测试条件(CTC)进行测试。
发明内容
示例性实施例包括在视频编码和解码(统称为“编码”)中使用的方法。在一些实施例中，提供了一种对包括当前图片和至少第一参考图片视频进行编码或解码的方法。对于当前图片中的至少当前块，针对与当前块相邻的模板区域中的每个样本，生成预测值(例如，使用运动补偿预测)。通过将模板区域中的样本的至少子集的预测值与至少第一参考图片中的至少一个参考模板区域中的对应样本值(可以是重构样本值)进行比较，来确定至少一个基于模板的帧间预测参数。使用所确定的基于模板的帧间预测参数来执行当前块的基于模板的帧间预测。
在一些实施例中，响应于针对模板区域中每个样本生成了预测值，调用用于确定基于模板的帧间预测参数的过程。这允许当前块中的样本值的预测与模板区域中的样本值的重构并行地进行。
在一些实施例中，模板区域中的样本中的至少一个具有已编码的非零残差。在一些实施例中，在确定了基于模板的帧间预测参数之后，将已编码的非零残差值加至模板区域中的预测值中的至少一个，以生成相应的重构样本值。
在一些实施例中，模板区域中的样本的子集被选择为仅包括具有零残差值的样本。包含该样本的相应块的编码块标志的值可以用于标识那些具有零残差值的样本。在一些实施例中，模板区域具有至少两个子区域(例如，当前块上方的样本的第一子区域和当前块左侧的样本的第二子区域)，并且仅在子区域中的所有样本具有零残差值的情况下才选择该子区域中的样本。
在一些实施例中，在确定了基于模板的帧间预测参数之后，对模板区域中的至少一些样本执行交叠块运动补偿(OBMC)。
在一些实施例中，基于模板区域中相应样本的估计(或实际)残差幅度，对用于确定基于模板的帧间预测参数的样本进行加权，估计(或实际)残差幅度越小，所使用的权重越大。估计(或实际)残差幅度可以基于未执行解量化或逆变换而获得的信息。在一些实施例中，样本的残差幅度是基于包含相应样本的块的编码块标志的值来确定的。在一些实施例中，样本的残差幅度是基于包含相应样本的块的变换系数的总能量来估计的。在一些实施例中，第一预定较低权重用于具有非零的估计残差幅度的样本，第二预定较高权重用于具有被估计(或已知)为零的残差幅度的样本。
在一些实施例中，代替仅使用模板区域中的预测值来确定基于模板的帧间预测参数，模板区域中的至少一些样本值被部分地重构以用于确定参数。例如，可以通过将DC预测残差分量加至预测值来部分地重构样本值。可以在未执行逆变换的情况下获得DC分量。在一些实施例中，仅针对使用DCT-II或DCT-V编码的块中的样本值执行该部分重构。在一些实施例中，仅针对未使用NSST编码的块中的那些样本值，执行样本值的部分重构。
在一些实施例中，使用局部照明补偿(LIC)来执行当前块的基于模板的帧间预测。在这样的实施例中，基于模板的帧间预测参数包括至少一个缩放因子α和至少一个偏移β。
在一些实施例中，使用基于模板的帧速率上转换(FRUC)来执行当前块的基于模板的帧间预测。在这样的实施例中，基于模板的帧间预测参数包括用于当前块的预测的运动矢量。在一些实施例中，LIC和FRUC二者用于预测当前块。
本文描述的附加方法利用自适应模板尺寸。提供了一种这样的方法，用于编码或解码包括当前图片和至少第一参考图片的视频。对于当前图片中的至少当前块，基于当前块的尺寸选择模板尺寸，并且使用基于模板的帧间预测来生成针对当前块的预测。例如，可以将与当前块相邻并且具有所选模板尺寸的模板区域中的样本与至少第一参考模板中的对应样本值进行比较，以确定至少一个基于模板的帧间预测参数，并且确定的参数可以用于执行当前块的基于模板的帧间预测。
本文描述的另一方法利用模板切片，其中在一个模板切片中的当前块的编码或解码被约束为不同模板切片中的样本不用于当前块的基于模板的帧间编码。除了基于模板的帧间编码以外的预测模式仍可以利用不同模板切片中的样本(或诸如运动矢量的其他编码信息)。在一种这样的方法中，在当前图片中限定了多个模板切片，每个模板切片包括多个块。针对当前模板切片中的每个块的编码确定预测模式。预测模式选自至少一种基于模板的帧间预测模式和至少一种非基于模板的预测模式。针对当前模板切片中的每个块生成预测，其中约束使用基于模板的预测模式的当前模板切片中的任何块的预测，不使用在当前图片中但在当前模板切片外部的任何样本用于预测。可以在比特流中用信号发送关于模板切片的边界的信息。例如，关于每个模板切片中的编码树单元(CTU)的数量或每个模板切片中的CTU的行数的信息可以在比特流中用信号发送。如本文所描述的模板切片的使用允许并行地对不同的模板切片进行编码或解码。
另外的实施例包括被配置为执行本文描述的方法的编码器和解码器(统称为“编解码器”)系统。这样的系统可以包括处理器和存储指令的非暂时性计算机存储介质，该指令当在处理器上执行时可操作以执行本文描述的方法。
附图说明
图1A是图示了其中可以实现一个或多个所公开的实施例的示例通信系统的系统图。
图1B是图示了根据实施例的可以在图1A中图示的通信系统内使用的示例无线发送/接收单元(WTRU)的系统图。
图2图示了示例的基于块的视频编码器。
图3图示了示例的基于块的视频解码器。
图4图示了局部照明补偿。
图5图示了基于帧速率上转换(FRUC)的模板匹配的示例。
图6图示了在计算用于预测变换系数的符号的边界不连续性中所使用的样本。
图7图示了在运动矢量差符号推导的示例中所使用的运动矢量差候选。
图8图示了用于子块模式的交叠块运动补偿(OBMC)过程，其中使用来自所有四个相邻块(例如，带阴影的子CU块a、b、c、d)的MV，将OBMC应用于所有子CU块(例如，子CU块A)。
图9图示了由HEVC解码器进行的并行解码的示例。
图10图示了JEM中的解码时延的示例。
图11图示了通过使用MCP样本(具有OBMC)作为用于基于模板的帧间预测技术的模板而减少的解码时延。
图12图示了通过使用MCP样本(没有OBMC)作为用于基于模板的帧间预测技术的模板而减少的解码时延。
图13图示了基于模板的帧间预测所使用的模板样本的示例。
图14图示了在JEM中使用的主变换的最低频率响应。
图15图示了当前图片被划分为三个模板切片的示例。
图16图示了根据实施例的用于使用基于模板的帧间预测对块进行编码的示例过程。
图17图示了根据实施例的用于使用基于模板的帧间预测对块进行解码的示例过程。
具体实施方式
用于实现实施例的示例网络
图1A是图示了其中可以实现一个或多个所公开的实施例的示例通信系统100的图。通信系统100可以是向多个无线用户提供诸如语音、数据、视频、消息、广播等的内容的多址系统。通信系统100可以使多个无线用户能够通过共享包括无线带宽的系统资源来访问这种内容。例如，通信系统100可以采用一种或多种信道接入方法，诸如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。
如图1A所示，通信系统100可以包括无线发送/接收单元(WTRU)102a、102b、102c、102d，RAN 104，CN 106，公共交换电话网(PSTN)108，互联网110以及其他网络112，但是将理解的是，所公开的实施例考虑任何数量的WTRU、基站、网络和/或网络元件。每个WTRU 102a、102b、102c、102d可以是被配置为在无线环境中操作和/或通信的任何类型的装置。作为示例，任何一个可以称为“站”和/或“STA”的WTRU 102a、102b、102c、102d可以被配置为发送和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi装置、物联网(IoT)装置、手表或其他可穿戴装置、头戴式显示器(HMD)、车辆、无人机、医疗装置和应用(例如，远程手术)、工业装置和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线装置)、消费类电子装置、在商业和/或工业无线网络上操作的装置等。任何WTRU 102a、102b、102c和102d可以可互换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。每个基站114a、114b可以是被配置为与WTRU 102a、102b、102c、102d中的至少一个进行无线接合以便于接入一个或多个通信网络(诸如，CN 106、互联网110和/或其他网络112)的任何类型的装置。作为示例，基站114a、114b可以是基站收发信台(BTS)、节点B、eNode B、家庭节点B、家庭eNode B、gNB、NRNodeB、站点控制器、接入点(AP)、无线路由器等。尽管基站114a、114b每个被描绘为单个元件，但是将理解，基站114a、114b可以包括任何数量的互连基站和/或网络元件。
基站114a可以是RAN 104的一部分，该RAN 104也可以包括其他基站和/或网络元件(未示出)，诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可以被配置为在可以被称为小区(未示出)的一个或多个载波频率上发送和/或接收无线信号。这些频率可以是许可频谱、未许可频谱、或者许可频谱和未许可频谱的组合。小区可以向可能相对固定的或随时间变化的特定地理区域提供无线服务的覆盖范围。小区可以进一步划分为小区扇区。例如，与基站114a相关联的小区可以被划分为三个扇区。因此，在一个实施例中，基站114a可以包括三个收发器，即，该小区的每个扇区一个收发器。在实施例中，基站114a可以采用多输入多输出(MIMO)技术，并且可以针对小区的每个扇区利用多个收发器。例如，波束成形可以用于在期望的空间方向上发送和/或接收信号。
基站114a、114b可以经由空中接口116与WTRU 102a、102b、102c、102d中的一个或多个进行通信，该空中接口可以是任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等)。可以使用任何合适的无线电接入技术(RAT)来建立空中接口116。
更具体地，如上所述，通信系统100可以是多址系统，并且可以采用一种或多种信道接入方案，诸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN 104中的基站114a以及WTRU 102a、102b、102c可以实现诸如通用移动电信系统(UMTS)地面无线电接入(UTRA)的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口116。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实现诸如演进型UMTS地面无线接入(E-UTRA)的无线电技术，其可以使用长期演进(LTE)和/或LTE-高级(LTE-A)和/或LTE-高级Pro(LTE-A Pro)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实现诸如NR无线电接入的无线电技术，其可以使用新无线电(NR)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实现多种无线电接入技术。例如，基站110a和WTRU 102a、102b、102c可以例如使用双重连接性(DC)原理一起实现LTE无线电接入和NR无线电接入。因此，WTRU 102a、102b、102c所利用的空中接口可以由多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的传输来特征化。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实现无线电技术，诸如IEEE 802.11(即，无线保真(WiFi))、IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暂时标准2000(IS-2000)、暂时标准95(IS-95)、暂时标准856(IS-856)、全球移动通信系统(GSM)、增强型数据速率GSM演进(EDGE)、GSMEDGE(GERAN)等。
例如，图1A中的基站114b可以是无线路由器、家庭节点B、家庭eNode B或接入点，并且可以利用任何合适的RAT来促进在诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等的局部区域中的无线连接。在一个实施例中，基站114b和WTRU 102c、102d可以实现诸如IEEE 802.11的无线电技术，以建立无线局域网(WLAN)。在实施例中，基站114b和WTRU 102c、102d可以实现诸如IEEE 802.15的无线电技术，以建立无线个域网(WPAN)。在又一个实施例中，基站114b和WTRU 102c、102d可以利用基于蜂窝的RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等)以建立微微小区或毫微微小区。如图1A所示，基站114b可以具有到互联网110的直接连接。因此，可以不需要基站114b以经由CN 106接入互联网110。
RAN 104可以与CN 106通信，CN 106可以是被配置为向WTRU l02a、102b、102c、102d中的一个或多个提供语音、数据、应用和/或互联网协议语音(VoIP)服务的任何类型的网络。数据可以具有变化的服务质量(QoS)要求，诸如不同的吞吐量要求、时延要求、容错要求、可靠性要求、数据吞吐量要求、移动性要求等。CN 106可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、互联网连接性、视频分发等，和/或执行高级安全功能，诸如用户认证。尽管在图1A中未示出，但是将理解，RAN 104和/或CN 106可以与其他RAN直接或间接通信，该其他RAN采用与RAN 104相同的RAT或不同的RAT。例如，除了连接到可以正在利用NR无线电技术的RAN 104之外，CN 106也可以与采用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。
CN 106还可以用作WTRU 102a、102b、102c、102d接入PSTN 108、互联网110和/或其他网络112的网关。PSTN 108可以包括提供普通的旧电话服务(POTS)的电路交换电话网络。互联网110可以包括使用诸如TCP/IP互联网协议套中的传输控制协议(TCP)、用户数据报协议(UDP)和/或互联网协议(IP)的通用通信协议的互连计算机网络和装置的全球系统。网络112可以包括由其他服务提供方拥有和/或运营的有线和/或无线通信网络。作为示例，网络112可以包括连接到可以采用与RAN 104相同的RAT或不同的RAT的一个或多个RAN的另一CN。
通信系统100中的WTRU 102a、102b、102c、102d中的一些或全部可以包括多模式能力(例如，WTRU 102a、102b、102c、102d可以包括用于经由不同无线链路与不同无线网络进行通信的多个收发器)。例如，图1A中所示的WTRU 102c可以被配置为与可以采用基于蜂窝的无线电技术的基站114a通信，并且可以与可以采用IEEE 802无线电技术的基站114b通信。
图1B是图示了WTRU 102的系统图。如图1B所示，WTRU 102可以包括处理器118、收发器120、发送/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等。将理解的是，WTRU 102可以包括前述元件的任何子组合，同时保持与实施例一致。
处理器118可以是通用处理器、专用处理器、传统处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理和/或使WTRU 102能够在无线环境中操作的任何其他功能。处理器118可以耦接到收发器120，收发器120可以耦接到发送/接收元件122。尽管图1B将处理器118和收发器120描绘为单独的组件，但是将理解，处理器118和收发器120可以一起集成在电子封装件或芯片中。
发送/接收元件122可以被配置为经由空中接口116向基站(例如，基站114a)发送信号或从基站(例如，基站114a)接收信号。例如，在一个实施例中，发送/接收元件122可以是被配置为发送和/或接收RF信号的天线。在实施例中，例如，发送/接收元件122可以是被配置为发送和/或接收IR、UV或可见光信号的发射器/检测器。在又一个实施例中，发送/接收元件122可以被配置为发送和/或接收RF和光信号二者。将理解的是，发送/接收元件122可以被配置为发送和/或接收无线信号的任何组合。
尽管发送/接收元件122在图1B中被描绘为单个元件，但是WTRU 102可以包括任何数量的发送/接收元件122。更具体地，WTRU 102可以采用MIMO技术。因此，在一个实施例中，WTRU 102可以包括用于经由空中接口116发送和接收无线信号的两个或更多个发送/接收元件122(例如，多个天线)。
收发器120可以被配置为调制要由发送/接收元件122发送的信号，以及对发送/接收元件122接收的信号进行解调。如上所述，WTRU 102可以具有多模式功能。因此，例如，收发器120可以包括用于使WTRU 102能够经由诸如NR和IEEE 802.11的多个RAT进行通信的多个收发器。
WTRU 102的处理器118可以耦接到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或者有机发光二极管(OLED)显示单元)，以及可以扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单元或者有机发光二极管(OLED)显示单元)接收用户输入数据。处理器118还可以向扬声器/麦克风124、小键盘126和/或显示器/触摸板128输出用户数据。另外，处理器118可以从诸如不可移动存储器130和/或可移动存储器132的任何类型的合适存储器访问信息以及在诸如不可移动存储器130和/或可移动存储器132的任何类型的合适存储器中存储数据。不可移动存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器储存装置。可移动存储器132可以包括订户身份模块(SIM)卡、存储棒、安全数字(SD)存储卡等。在其他实施例中，处理器118可以从物理上不位于WTRU 102上(诸如位于服务器或家用计算机(未示出)上)的存储器访问信息以及在物理上不位于WTRU 102上(诸如位于服务器或家用计算机(未示出)上)的存储器中存储数据。
处理器118可以从电源134接收电力，并且可以被配置为向WTRU 102中的其他组件分配和/或控制电力。电源134可以是用于向WTRU 102供电的任何合适的装置。例如，电源134可以包括一个或多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li离子)等)、太阳能电池、燃料电池等。
处理器118还可以耦接到可以被配置为提供关于WTRU 102的当前位置的位置信息(例如，经度和纬度)的GPS芯片组136。除了来自GPS芯片组136的信息或代替来自GPS芯片组136的信息，WTRU 102可以经由空中接口116从基站(例如，基站1l4a、1l4b)接收位置信息，和/或基于从两个或更多个附近基站接收到的信号的定时来确定其位置。将理解的是，WTRU102可以在保持与实施例一致的情况下，通过任何合适的位置确定方法来获取位置信息。
处理器118可以进一步耦接到其他外围设备138，其他外围设备138可以包括提供附加特征、功能和/或有线或无线连接性的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子罗盘、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动装置、电视收发器、免提耳机、蓝牙
Figure BDA0002648659370000101
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)装置、活动跟踪器等。外围设备138可以包括一个或多个传感器，传感器可以是陀螺仪、加速计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、姿势传感器、生物特征传感器和/或湿度传感器中的一个或多个。
WTRU 102可以包括全双工无线电，对于该全双工无线电，一些或所有信号(例如，与用于UL(例如，用于发送)和下行链路(例如，用于接收)二者的特定子帧相关联)的发送和接收可以并发和/或同时进行。全双工无线电可以包括干扰管理单元，以减少和/或基本上消除经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或者经由处理器118)的信号处理的自干扰。在实施例中，WRTU 102可以包括半双工无线电，对于该半双工无线电，一些或所有信号的发送和接收(例如，与用于UL(例如，用于发送)或下行链路(例如，用于接收)的特定子帧相关联)。
尽管在图1A-图1B中将WTRU描绘为无线终端，但是可想到的是，在某些代表性实施例中，这样的终端可以使用(例如，临时地或永久地)与通信网络的有线通信接口。
鉴于图1A-图1B以及图1A-图1B的对应描述，可以由一个或多个仿真装置(未示出)来执行本文关于以下中的一项或多项所描述的功能中的一个或多个或全部：WTRU 102a-d、基站114a-b、eNode-B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF184a-b、SMF 183a-b、DN 185a-b和/或本文所描述的任何其他装置。仿真装置可以是被配置为仿真本文所描述的功能中的一个或多个或全部的一个或多个装置。例如，仿真装置可以用于测试其他装置和/或模拟网络和/或WTRU功能。
仿真装置可以被设计为在实验室环境和/或操作员网络环境中实现对其他装置的一项或多项测试。例如，一个或多个仿真装置可以在被全部或部分地实现和/或部署为有线和/或无线通信网络的一部分的同时执行一个、或多个、或全部功能，以便测试通信网络中的其他装置。一个或多个仿真装置可以在临时实现/部署为有线和/或无线通信网络的一部分的同时执行一个、或多个、或全部功能。仿真装置可以出于测试的目的而直接耦接到另一装置，和/或可以使用经由空中的无线通信来执行测试。
一个或多个仿真装置可以在没有被实现/部署为有线和/或无线通信网络的一部分的同时执行一个或多个功能，包括全部功能。例如，可以在测试实验室和/或未部署(例如，测试)的有线和/或无线通信网络中的测试场景中利用仿真装置，以实现对一个或多个组件的测试。一个或多个仿真装置可以是测试设备。可以由仿真装置使用直接RF耦接和/或经由RF电路(例如，可以包括一个或多个天线)的无线通信来发送和/或接收数据。
详细描述
基于块的混合视频编码。
像HEVC测试模型(HM)那样，联合探索模型(JEM)软件也建立在基于块的混合视频编码框架(100)上。图2图示了基于块的混合视频编码系统的框图。注意，在本申请中，术语“重构”和“解码”可以互换使用。通常，但并非必须，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
在编码之前，视频序列可以经过预处理，例如，对输入的颜色图片应用颜色变换(例如，从RGB 4：4：4到YCbCr 4：2：0的转换)，或者执行输入图片分量的重新映射以便得到对压缩更具弹性的信号分布(例如，使用颜色分量中的一个分量的直方图均衡)。元数据可以与预处理相关联，并附加到比特流。
将输入视频信号102逐块处理。HEVC规范在“块”和“单元”之间进行区分，其中“块”涉及样本阵列(例如，亮度，Y)中的特定区域，而“单元”包括所有编码颜色分量(例如，Y、Cb、Cr或单色)的并置块、语法元素以及与块相关联的预测数据(例如，运动矢量)。在本申请中，术语“块”能够用于指代各种尺寸的数据阵列，并且其可以用于指代如H.264/AVC中规定的宏块和分区；如HEVC中的编码树单元(CTU)、编码单元(CLT)、预测单元(PU)、变换单元(TLT)、编码块(CB)、预测块(PB)和变换块(TB)中任何一种；如AV1中的超级块或子分区；如VVC(通用视频编码)或其他视频编码标准中的CTU、CU、TU、CB和TB。
在HEVC中，扩展的块尺寸用于有效地压缩高分辨率(1080p及更高)视频信号。在HEVC中，CU能够高达64x64像素。CU能够进一步分区为预测单元，针对该预测单元应用单独的预测方法。对于每个输入视频块(MB或CU)，可以执行空间预测(160)和/或时间预测(162)。
空间预测(或“帧内预测”)使用来自同一视频图片/切片中已经编码的相邻块的样本(称为参考样本)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。
时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已编码视频图片的重构像素来预测当前视频块。时间预测减少了视频信号中固有的时间冗余。给定视频块的时间预测信号通常通过指示当前块与其参考块之间的运动量和方向的一个或多个运动矢量来用信号发送。而且，如果支持多个参考图片(如，在诸如H.264/AVC或HEVC的最近视频编码标准的情况)，则对于每个视频块，附加地发送其参考图片索引；参考索引用于标识时间预测信号是来自参考图片库(164)中的哪个参考图片。
在空间和/或时间预测之后，编码器中的模式判定块(180)例如基于速率失真优化方法来选择最佳预测模式。然后，从当前视频块中减去预测块(116)；并且使用变换(104)和量化(106)对预测残差进行解相关。
编码器对已编码块进行解码，以提供用于进一步预测的参考。对量化后的残差系数进行逆量化(110)以及逆变换(112)，以形成重构的残差，然后将重构的残差添加回预测块(126)以形成重构的视频块。
编码器还可以跳过变换，并且直接对未变换的残差信号应用量化。编码器还可以绕过变换和量化二者，即，在不应用变换或量化过程的情况下直接对残差进行编码。在直接脉冲编码调制(PCM)编码中，不应用预测，并且将编码单元样本直接编码到比特流中。
在重构视频块被放入参考图片库(164)中并且用于对未来视频块进行编码之前，对重构视频块应用诸如解块滤波器、SAO(样本自适应偏移)滤波器和自适应环路滤波器之类的其他环内滤波。为了形成输出视频比特流120、编码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数全部被发送给熵编码单元(108)，以被进一步压缩和打包以形成比特流。
图3图示了基于块的视频解码器(200)的总体框图。视频解码器通常执行与对应编码通路相对的解码通路，其执行视频解码作为编码视频数据的一部分。视频比特流202首先在熵解码单元208处被解包并被熵解码。编码模式和预测信息被发送给空间预测单元260(如果是帧内编码的)或时间预测单元262(如果是帧间编码的)，以形成预测块。残差变换系数被发送给逆量化单元210和逆变换单元212以重构残差块。然后，在226处将预测块和残差块加在一起。在将重构块存储在参考图片库264中之前，重构块可以进一步经历环内滤波(266)。然后，参考图片库中的重构视频(220)可以被存储、传输或用于驱动显示装置，以及用于预测未来的视频块。
已解码图片可以进一步经历后处理，例如，逆颜色变换(例如，从YCbCr 4：2：0到RGB 4：4：4的转换)或逆重新映射，执行在预编码处理中执行的重新映射过程的逆过程。后处理可以使用在预编码处理中推导出的以及在比特流中用信号发送的元数据。
HEVC和JEM二者遵守如图2和图3所示的基于块的运动补偿混合视频编码/解码工作流，并且基于相同的功能模块，诸如空间预测(即，帧内预测)、时间预测(即，帧间预测)、变换、量化、熵编码和环路滤波器。然而，几个帧间编码模块，尤其是与运动补偿预测相关联的帧间编码模块被进一步扩展和改进。
基于模板的帧间预测技术。
在HEVC中，在编码器处通过速率失真(R-D)优化来确定用于帧间预测的编码参数(例如，运动矢量(MV)、参考索引、加权预测参数)，并用信号向解码器发送该用于帧间预测的编码参数。因此，用于对这些帧间编码参数进行编码的开销可能导致输出比特流的不可忽略的部分。为了避免用信号发送这些参数，在JEM中应用两种基于模板的帧间预测技术，通过基于模板样本(例如，当前块的先前解码的重构相邻样本)在解码器处推导出那些帧间编码参数。第一种方法称为局部照明补偿(LIC)。LIC基于根据模板样本推导出的缩放和偏移来补偿运动补偿预测，以解决不同图片之间的局部照明变化问题。第二种方法称为帧速率上转换(FRUC)模板模式，其中基于模板匹配在解码器处推导运动信息(MV和参考索引)。
除了LIC和FRUC之外，还已经提出了其他基于模板的方法，以应用于帧间预测和残差系数信令二者。在这些方法中，重构的相邻样本用于当前块的解码。在下文中，这些基于模板的编码方法的多个方面也被简要描述。
局部照明补偿。
LIC是在JEM中用于解决时间相邻图片中存在的局部照明变化问题的编码工具，如J.Chen，E.Alshina，G.J.Sullivan，J.R.Ohm，J.Boyce的“Algorithm description ofJoint Exploration Test Model 7(JEM7)”(JVET-G1001，2017年7月，意大利，托里诺)中所描述的。LIC基于将缩放因子和偏移应用于参考样本以获得当前块的预测样本的线性模型。具体而言，可以通过下式对LIC进行数学建模：
P(x，y)＝α·Pr(x+vx，y+vy)+β (1)
其中，P(x,y)是当前块在坐标(x,y)处的预测信号；Pr(x+vx,y+vy)是运动矢量(vx,vy)指向的参考块；α和β是应用于参考块的对应缩放因子和偏移。图4图示了LIC过程。在图4中，当LIC应用于视频块时，采用线性最小均方差(LLMSE)方法，以通过最小化当前块的相邻样本(图4中的模板T)及在时间参考图片中其对应的参考样本(即，图4中的T0或T1)之间的差，来推导出LIC参数(α和β)的值，例如
Figure BDA0002648659370000141
Figure BDA0002648659370000142
其中，N表示用于推导LIC参数的模板样本数；T(xi,yi)是当前块在坐标(xi,yi)处的模板样本；并且
Figure BDA0002648659370000143
是基于当前块的运动矢量(L0或L1)的模板样本的对应参考样本。另外，为了降低计算复杂度，模板样本和参考模板样本二者可以被子采样(2：1子采样)以推导LIC参数，例如，仅图4中带阴影样本可以用于推导出α和β。
基于模板匹配的帧速率上转换。
为了减少用信号发送运动信息的开销，FRUC支持用于JEM中的帧间块。当启用FRUC时，无需用信号发送当前块的MV和参考图片索引二者；相反，在解码器侧生成当前块的MV和参考图片索引二者。具体而言，对于FRUC运动推导，检查从当前块的空间邻居和时间邻居生成的一组初始MV候选，并选择使绝对差之和(SAD)最小的候选作为初始MV。然后，执行初始MV周围的局部搜索，并且具有最小SAD的MV被用作整个块的MV。在现有的FRUC中，支持两种搜索算法，包括模板匹配和双边匹配。在模板匹配中，当前块的已解码顶相邻样本和/或已解码左相邻样本(未应用环内滤波器)用于通过寻找在模板与参考图片中的其对应块(例如，与模板具有相同尺寸的对应块)之间提供最佳匹配的MV，来推导块的运动信息。图5图示了基于模板匹配的FRUC。
变换系数的符号预测。
在一些基于模板的编码方法中，应用符号预测方法，以减少用信号发送变换系数的符号的开销。在以下文献中描述了这种方法的示例：Y.-W.Chen等人的“Description ofSDR,HDR and 360°video coding technology proposal by Qualcomm and Technicolor-low and high complexity versions”，JVET-J0021，2018年4月，美国，圣地亚哥；以及A.Alshin等人的“Description of SDR,HDR and 360°video coding technologyproposal by Samsung,Huawei,GoPro,and HiSilicon-mobile application scenario”，JVET-J0024，2018年4月，美国，圣地亚哥。
符号预测方法进行操作，以对编码块的变换系数执行多个逆变换。对于每个逆变换，将非零变换系数的符号设置为负或正。选择使成本函数最小化的符号组合作为符号预测器，以预测当前块的变换系数的符号。对于说明该构思的一个示例，假设当前块包含两个非零系数，则存在四种可能的符号组合，即(+，+)、(+，-)、(-，+)和(-，-)。对于所有四种组合，计算成本函数，并选择具有最小成本的组合作为符号预测器。按照位于当前块及其因果邻居之间的边界上的样本的不连续性度量来计算在该示例中的成本函数。如图6所示，如下按照当前块的边界样本与当前块上方和左侧的重构相邻样本的绝对二阶导数之和来计算成本函数：
Figure BDA0002648659370000161
其中，在坐标(x,y)处，Rx，y是重构相邻样本，Px，y是当前块的预测，而rx，y是残差假设。
运动矢量差异符号推导。
还已经提出了模板匹配技术，用于减少运动矢量差(MVD)的符号的信令。在一种这样的技术中，基于接收到的MVD的绝对值，通过使用水平MVD和垂直MVD中的每一个的符号值的不同组合，来生成候选MVD列表。然后，使用当前块的模板样本(重构的相邻样本)来计算每个MVD候选的成本。基于计算出的成本值对MVD候选进行排序。通过从编码器向解码器发送在排序的候选列表中的索引，来选择最终的MVD。图7示出了一个示例来说明运动矢量差符号推导的构思，其中A、B、C和D是通过为接收到的绝对MVD值指派不同符号值而生成的四个可能的MVD候选。用信号发送索引以标识四个候选中的一个候选，并且使用所标识的候选来重构当前块的最终MV。
基于模板匹配的运动矢量预测。
在一些实现方式中，对于HM和JEM中的每个常规帧间编码块，生成两个运动矢量预测器(MVP)候选，并且通过从编码器向解码器用信号发送MVP索引，来选择具有最佳预测质量的候选。在Y.-W.Chen等人的文献(同上)中，使用基于模板的MVP推导方法来避免MVP信令。具体地，使用模板匹配以在解码器侧推导MVP。首先，检查两个默认的MVP候选，然后选择使模板与其参考之间的SAD较小的候选作为起点。然后，执行基于起点周围的模板匹配的局部搜索，并选择得到最小匹配成本的MV作为当前块的MVP。
运动候选重新排序。
在C.-W.Hsu等人的“Description of SDR video coding technology proposalby MediaTek”(JVET-J0018，20184月，美国，圣地亚哥)中，使用运动候选重新排序方法来提高合并模式的效率。具体地，在生成初始合并候选列表之后，基于模板匹配成本对列表中的原始合并候选进行重新排序，该模板匹配成本是在当前CU的模板样本与模板的对应参考样本之间使用合并候选的运动而计算的。在重新排序后，具有越小成本的合并候选能够放在具有越大成本的合并候选之前。由此，能够通过在提供更好的预测质量的合并候选上花费更少的比特，来提高合并候选索引的信令效率。
变换语法重新排序。
当使用增强多变换(EMT)和/或不可分二次变换(NSST)时，在C.-W.Hsu等人的文献(同上)中已经提出了变换语法重新排序，用于使用块的重构相邻样本，例如基于与用于变换系数的符号预测的成本函数(如以上在“变换系数的符号预测”部分中所描述的)相同的成本函数，对能够选择的多变换的索引进行重新排序。基于成本对可能的EMT和/或NSST变换候选进行重新排序，而成本较小的候选将被指派短的码字。
交叠块运动补偿。
在JEM参考软件中使用交叠块运动补偿(OBMC)，以在运动补偿阶段去除块伪影。在JEM中，除了块的右边界和底边界之外，对所有块间边界执行OBMC。另外，当块被划分成多个子块并且每个子块与它自己的MV(例如，FRUC块)相关联时，还针对每个子块边界执行OBMC。图8图示了OBMC的概念。具体地，当OBMC应用于子块(例如，图8中的子块A)时，除了当前子块的MV之外，四个相邻子块的MV也用于推导当前子块的预测信号。然后，对使用相邻子块的MV的多个预测信号取平均，以生成当前子块的最终预测。
自适应多核变换。
除了在HEVC中使用的DCT-II和DST-VII核变换之外，使用自适应多变换(AMT)工具，用于在JEM中对帧间和帧内块的残差进行编码。具体而言，AMT引入了来自DCT/DST变换族的四个附加核变换，包括DCT-VIII、DCT-V、DST-VII和DST-I。AMT应用于宽度和高度不大于64的所有编码块，并用信号发送标志以指示AMT是否启用。当标志等于0时，它指示DCT-II用作块的变换；否则(即，标志等于1)，定义了三个变换子集(每个子集包含两个不同的AMT核变换，如表1所指定的)。当AMT应用于帧内块时，首先基于块的帧内预测方向选择变换子集。然后，用信号发送两个附加标志，以指示哪个变换(在所选变换子集中的两个核变换当中的)分别用作水平变换和垂直变换。对于帧间块，仅使用由DCT-VIII和DST-VII组成的变换子集#0。
表1.JEM中定义的三个变换子集。
变换子集序号 核变换
0 DST-VII、DCT-VIII
1 DST-VII、DST-I
2 DST-VII、DCT-V
依赖于模式的不可分二次变换。
由于空间相邻样本之间的相关性通常小于时域中的相关性，因此在由帧内预测生成的残差样本内通常存在强相关性。为了进一步提高帧内编码效率，通过应用不可分变换来对帧内块的系数进行变换，在JEM中应用称为依赖于模式的不可分二次变换(NSST)的工具。具体而言，如果块的宽度和高度均不小于8，则8x8不可分变换应用于该块的2D变换系数阵列的左上8x8区域；否则(即，宽度或高度等于4，这是JEM中的最小编码块尺寸)，将4x4不可分变换应用于该块的变换系数的左上区域(尺寸为min(8,W)x min(8,H))。为了说明NSST，假设输入X是4x4块，被指定为：
Figure BDA0002648659370000181
为了应用NSST，输入块被转换为如下矢量：
Figure BDA0002648659370000182
/>
然后，通过
Figure BDA0002648659370000183
来应用NSST，其中/>
Figure BDA0002648659370000184
指示变换系数矢量，并且T是16x16 NSST变换矩阵。使用该块的扫描顺序(水平、垂直或对角线)将16x1系数矢量/>
Figure BDA0002648659370000191
重新组织为4x4块。在JEM中，代替使用矩阵乘法，而是使用基于蝶形实现方式的超立方体给定变换(HyGT)，以减少不可分变换的计算复杂度。
示例性实施例中解决的问题。
像其前身那样，HEVC标准采用运动补偿预测(MCP)，以有效减少图片之间的时间冗余，从而实现高的帧间编码效率。由于MCP仅使用来自已解码图片中的样本来预测当前图片中的样本，因此空间相邻块的MCP之间没有依赖关系。这意味着相同图片/切片中的帧间块的MCP彼此独立。因此，当前图片中的多个帧间块的解码过程能够并行进行，例如，它们能够被指派给不同线程以利用并行性。
如上所述，在JEM中应用一些基于模板的帧间预测方法(例如，基于模板匹配的FRUC和LIC)。为了避免用信号发送编码参数，基于模板的帧间预测方法使用当前块的空间邻居的已重构样本在编码器和解码器两者处推导这些参数。因此，当通过这些基于模板的帧间预测技术之一对块进行编码时，其解码过程等待，直到其相邻块的样本(当前块的模板样本)被完全重构为止。这可能使流水线设计复杂化，尤其是在解码器侧，因此导致硬件实现方式的复杂度显著增加。
为了理解由基于模板的帧间预测方法引起的并行处理问题，图9和图10示出了比较HEVC和JEM的解码过程的示例。为了便于说明，使用图片中块尺寸相等的四个连续编码块为例，每个编码块由单独的解码线程解码，并且假设每个单个解码模块(例如，MCP、OBMC、解量化和逆变换)的解码复杂度对于这四个编码块是相同的。另外，假设基于基于模板的帧间预测技术中的一种技术对JEM示例中的所有编码块进行编码。在图9和图10中，块表示MCP、OBMC、解量化和逆变换的解码过程，并且变量TMCP、TOBMC、Tde-quant和Tinv-trans是这四个模块的解码时间。如图9所示，因为四个编码块能够被并行地解码，所以HEVC的总解码时间等于一个编码块的解码时间，即，TMCP+Tde-quant+Tinv-trans。
由于基于模板的预测技术所引入的依赖性，对于JEM的解码过程(如图10所示)，每个单独编码块的解码无法被调用，直到完全重构其空间相邻块为止。因此，JEM的总解码时间等于四个块的解码时间总和，即，Ttotal＝4*(TMCP+TOBMC+Tde-quant+Tinv-trans)。注意，尽管图10中的示例假设使用OBMC，但是即使不使用OBMC，也存在相同的时延问题。一般而言，由于HEVC中的MCP过程仅需要来自已经完全重构的参考图片的样本，因此HEVC中的帧间编码块的重构能够彼此独立地执行。这意味着在HEVC中容易并行化帧间块的重构。相反，在JEM中使用基于模板的方法(诸如，FRUC和LIC)引入了相邻帧间编码块之间的依赖性。如果使用这些模式之一对帧间块进行编码，则无法开始该块的MCP，直到完全重构其相邻块为止，因此时延显著增加。
实施例的概述。
为了解决上述时延问题，本文描述了用于在保持基于模板的帧间预测方法的主要编码增益的同时减少其编码/解码时延的方法。在提出的方法中，基于模板的帧间预测方法的一些功能保留与现有设计中的相同。例如，对于LIC，参数推导和线性样本调整过程保留相同；以及对于FRUC，基于模板匹配的运动搜索过程保留不变。然而，修改了基于模板的帧间预测所使用的模板样本的生成，以降低相邻块之间的依赖性，从而降低由于基于模板的帧间预测而导致的总体编码/解码时延。具体而言，与JEM中现有的基于模板的方法相比，本公开中提出的改变包括以下描述的内容。
与JEM中的现有的基于模板的帧间预测方法(其中重构的相邻样本用于推导编码参数)相比，提出了使用空间邻居的预测信号(即，从MCP和OBMC(如果可用)生成的预测样本)作为当前块的模板样本。以这种方式，一旦基于模板的编码块的相邻块的预测信号变得可用，就能够调用基于模板的编码块的编码/解码。仅使用预测信号作为模板可能不如完全重构的信号准确，这是因为尚未添加重构的残差。这可能导致一些编码性能劣化。为了减少性能损失，提出了附加方法，进一步提高基于模板的帧间预测在预测信号用作模板样本的源时的编码性能。
为了减少基于模板的帧间预测的时延，进一步提出了将图片/切片划分为多个“模板切片”，使得模板切片内的帧间块的解码能够独立于其他模板切片来执行。为了实现这种并行性，提出了禁止编码块使用不在块的相同模板切片中的样本作为模板样本。另外，为了减少潜在的编码损失，模板切片仅打破了模板样本依赖性，但仍允许其他编码过程(例如，环内滤波器、帧内预测、高级运动矢量预测(AMVP)等)跨模板切片边界进行操作。
在不失一般性的情况下，在以下讨论中，使用基于模板匹配的FRUC和LIC作为示例来解释所提出的方法。然而，将要描述的方案也可应用于其中在编码和/或解码过程期间使用块的重构的相邻样本的其他基于模板的编码方案。
基于预测信号的基于模板的帧间预测。
如以上所指出的，与HEVC相比，使用重构的相邻样本作为基于模板的帧间预测方法的模板对于编解码器实现方式中的并行编码/解码是不友好的，这是因为基于模板的编码块的编码/解码需要等待，直到通过MCP、OBMC(如果可用)、解量化和逆变换完全重构了其所有因果相邻样本为止。
为了减少编码/解码时延，在本公开的一个实施例中，提出了基于来自相邻块的预测信号而不是完全重构的信号来执行基于模板的帧间预测。在一个实施例中，代替使用重构的相邻样本，使用空间相邻块的预测样本在FRUC运动搜索、LIC参数推导、和/或其他基于模板的参数推导中作为当前块的模板。基于这样的设计，基于模板的编码块的编码/解码能够在生成其相邻块的预测信号之后立即开始，而无需等待重构相邻块的残差。考虑到现在去除了由相邻块的解量化和逆变换引起的编码/解码时延，这对于基于模板的帧间预测方法可以导致时延显著减少。
基于图9和图10中的假设，图11图示了当本文提出的方法应用于基于模板的帧间预测方法时的并行解码过程。如图11所示，因为每个基于模板的编码块的解码过程能够在其相邻块的帧间预测之后立即被调用，所以两个连续块之间的解码时延等于用于生成第一块的预测信号的解码时间，即，Tlatency＝TMCP+TOBMC。因此，四个编码块的总解码时间现在减少为Ttotal＝4*(TMCP+TOBMC)+Tde-quant+Tinv-trans。
在图11中，应用OBMC以生成帧间块的预测样本，该帧间块的样本随后被用作用于推导其相邻块的对应编码参数(例如，FRUC MV和LIC参数)的模板样本。尽管OBMC通过去除由于执行多次运动补偿而引起的块伪影能够提高预测质量，但它也会引入编码/解码复杂度的增加，因此当它与基于模板的帧间预测方法结合时将导致不可忽略的编码/解码时延。另一方面，因为OBMC仅修改了编码块的边界样本，所以当考虑到生成预测信号的其复杂度增加时，其对推导编码参数的准确度的影响相对较低。
因此，为了实现更好的性能/时延权衡，在一些实施例中提出了使用在OBMC之前生成的预测信号作为基于模板的帧间预测方法的模板样本。图12图示了当上述方法应用于基于模板的帧间预测时的并行解码过程。如图12所示，因为每个基于模板的块的解码能够在其邻居的MCP完成之后立即开始，所以两个相邻块之间的解码时延进一步减小为Tlatency＝TMCP。相应地，四个编码块的总解码时间现在变为Ttotal＝4*TMCP+TOBMC+Tde-quant+Tinv-trans。
注意，在图11和图12中，假设针对当前块和/或其相邻块启用了OBMC。这仅仅是示例。当未启用OMBC时，提出的基于预测信号的模板匹配方法同样适用。
在一些实施例中，帧内编码块的预测样本也能够用作用于对模板编码的块进行解码的模板样本。然而，由于帧内编码块还使用其相应的空间邻居的重构样本来生成预测样本的事实，由于从相邻帧内编码块传播到当前模板块的编码/解码时延，这种预测样本的使用对于硬件设计可能不是最佳的。在一些实施例中，例如，当如本文所公开的那样将预测样本用于基于模板的方法时，以帧内模式编码的相邻块的预测样本被禁止用作当前块的模板样本。具体地，在这样的实施例中，如果模板样本来自帧内编码的相邻块，则将其视为对于当前块不可用。
在图11和图12中，使用预测样本(在应用OBMC之后或之前生成的)来代替重构样本作为基于模板的帧间预测方法的模板样本。尽管这些方法能够显著减少编码/解码时延，但是预测样本和重构样本(重构的残差信号)之间的差异可能会导致为基于模板的帧间预测所推导的编码参数(例如，用于FRUC的运动矢量或用于LIC的权重/偏移参数)变得不太准确，因此对整体编码性能产生负面影响。本文中进一步提出了附加方法，以补偿当在基于模板的帧间预测中采用预测信号时可能的编码性能下降。
通过基于非零残差的存在而自适应地启用预测样本的基于模板的帧间预测。
在基于模板的预测中使用预测信号的实施例能够保持基于模板的帧间预测的大部分编码增益，尤其是在重构信号和预测信号非常相似的情况下。然而，当对于相邻模板样本存在大的预测误差(即，具有大幅度的非零残差)时，使用预测信号可能不太令人满意。在另一种情况下，如果相邻模板样本利用零残差来编码，则将其用作当前块的模板样本仍然是可靠的，这是鉴于它们与重构样本相同。
在一些实施例中，提出当应用基于模板的帧间预测(例如，FRUC和/或LIC)时，仅使用与零残差相关联的预测样本作为模板样本。在一些实施例中，基于在比特流中用信号发送的编码块标志(CBF)来做出关于预测样本是否具有非零残差的判定，该编码块标志指示块是否包含非零变换系数。当标志等于1时，它表示当前块中存在非零残差；因此，其预测样本对于用于基于模板的帧间预测可能不太可靠(并且在这种情况下，可以禁止使用这种预测样本作为模板样本)。否则(即，如果CBF等于0)，则这用信号发送与当前块相关联的全部残差为零；因此，将预测样本用于基于模板的帧间预测是安全的(并且在这种情况下，可以启用使用这种预测样本作为模板样本)。
图13示出了一个示例来说明这种方法。在图13中，标记为A0和A1的相邻样本位置以及标记为L0至L3的相邻样本位置分别属于二者都具有等于0的CBF的上相邻块Blk0和左相邻块Blk2。由于对于这两个相邻块仅存在零残差，所以在基于模板的方法(例如，FRUC和/或LIC)中，标记为A0和A1以及L0至L3的那些位置处的预测样本能够用作模板样本。然而，由于标记为A2和A3的相邻样本位置来自其CBF等于1的上相邻块Blk1，因此在一些实施例中对应的预测样本可能不用作模板样本；这是因为它们与重构的样本值不同，因此可以被认为不太准确。
在一些这样的方法中，针对每个相邻样本做出关于残差是否全部为零的判定，并且关于相同模板中的样本的判定可以彼此不同。这种基于样本的区分可能对实际的硬件实现方式不友好，例如，可能需要特别关注其中模板中的样本被基于他们是否具有残差而不同地处理的FRUC SAD计算和LIC参数推导过程。
为了避免这种复杂性，提出了完全启用/禁用在当前块上方或左侧的模板子区域的样本。具体地，通过这种方法，块的模板子区域(左模板子区域或上模板子区域)中的样本仅当与该模板子区域中的所有样本相关联的所有残差为零时，才允许用作模板样本。基于图13中的相同示例，由于左模板子区域(即，L0至L3)中的所有样本来自CBF为0的相同相邻块，所以针对基于模板的帧间预测，启用左模板子区域。另一方面，因为包含样本A2和A3的相邻块具有残差，所以整个上模板子区域(即，A0至A3)不用作模板样本。
基于加权预测样本的基于模板的帧间预测。
如上所讨论的，是否存在残差是确定预测样本和重构样本的相似程度的因素。在一些实施例中，残差小的预测样本比残差大的预测样本扮演更重要的角色，以实现对基于模板的帧间预测的编码参数的准确估计。在一些这样的实施例中，提出了基于其残差的值向不同的预测样本应用不相等的权重。
再次，使用与图13中相同的示例，由于预测样本A0和A1以及L0至L3没有残差，因此认为它们更可靠。使用这些样本估计模板参数时，可以为这些样本指派更大的权重。相反，因为预测样本A2和A3具有非零残差，因此这些样本在用作模板样本时将被给予较小的权重。将使用加权的预测样本作为模板参数估计的输入。具体而言，利用在FRUC模板匹配中并入加权模板样本，如下计算块的模板样本与其在参考图片中的匹配样本之间的加权SAD：
Figure BDA0002648659370000241
其中T(xi,yi)是在坐标(xi,yi)处的模板样本；Tr(xi+vx,yi+vy)是参考图片中基于运动矢量(vx,vy)的模板样本的对应参考样本；wi是指派给T(xi,yi)的权重。另外，利用将权重集成到LIC的缩放因子和偏移的推导中，式(2)和式(3)将变为：
Figure BDA0002648659370000242
Figure BDA0002648659370000243
可以使用不同的方法来计算wi的值。在一个实施例中，提出了根据每个预测样本的残差的幅度来计算该预测样本的权重值。具体而言，在这种方法中，如下计算指派给模板样本的权重：
Figure BDA0002648659370000244
其中，W(xi,yi)是模板样本T(xi,yi)的非归一化权重因子，并且可以基于模板样本的残差Res(xi,yi)的幅度来推导W(xi,yi)：
Figure BDA0002648659370000251
因为在JEM中应用的所有主变换和二次变换都是正交变换，所以在变换/逆变换前后保留了编码块的残差信号的总能量。因此，除了由于在变换/逆变换中将浮点运算转换为定点运算而导致的舍入误差所引起的微小影响之外，块的残差样本的总能量基本上与该块的变换系数的总能量相同。基于这样的特性，为了减少编码/解码时延，可以在变换域中计算在式(10)中使用的幅度比，而无需应用解量化和逆变换。
在另一实施例中，使用两个固定权重w0和w1(其中，w0>w1且w0+w1＝1)；w0用于具有零残差的所有预测样本，而w1用于具有非零残差的所有预测样本。
基于将DC偏移添加至预测样本的基于模板的帧间预测。
如图2和图3所示，像HEVC及其先前的标准那样，JEM中还使用了2D变换和2D逆变换，以实现对预测残差的良好能量压实。对于大多数情况，在水平和/或垂直变换之后，编码块中的大部分信号能量集中在少量低频系数中。特别地，对于被覆盖在缺少强方向性边缘、纹理和/或快速移动对象的区域中的一些编码块，该块的原始信号和预测信号之间的误差(即，该块的残差)可能在块内贯穿不同样本位置相对恒定或缓慢变化。在这种情况下，2D变换甚至可以将残差的能量压实在变换域中的单个系数中(例如，用于在HEVC和先前标准中使用的传统DCT-II变换的DC系数)。
如上所讨论的，推导出的模板参数的准确度取决于模板样本的预测信号与重构信号之间的相似度。仔细研究如何执行FRUC运动搜索以及如何执行LIC参数推导，人们发现通常以集体方式(以SAD形式或下式(2)和(3)的形式)来评估模板样本值。这意味着模板信号中的高频分量可能远不如模板的低频分量重要。在一些实施例中，提出了通过在预测样本被用作基于模板的帧间预测方法的模板样本之前仅将DC分量添加至预测样本，来校正预测信号。这样做将校正模板样本的最重要频率(即，DC分量)而不会引起时延，因为DC分量的重构相对容易，并且不需要逆变换。
在基于块的视频编码中，当应用有损编码时，变换系数(包括DC系数)在从编码器向解码器发送之前，需要进行量化。因此，在一些实施例中，为了获取残差的正确DC值(DCrec)，从比特流解析出的DC系数(DCcoef)在被添加至预测信号之前将被解量化，例如如下：
Figure BDA0002648659370000261
其中round(·)是将输入浮点值舍入为其最接近的整数的函数；Qstep是量化步长尺寸；QP是量化参数。此外，由于2D正交变换(例如，DCT/DST族中的核变换)引起的动态范围增加，向式(11)中引入另一因子，以确保计算出的DC值处于正确的动态范围中。具体而言，在提出的方法中，以下DC偏移被添加至预测样本：
Figure BDA0002648659370000262
其中，nTh和nTv是正应用于该块的水平和垂直变换的尺寸。式(12)是浮点运算。实际上，式(12)中的除法和乘法能够通过乘以缩放因子然后右移适当位来近似。基于这样的考虑，在一个实施例中，式(12)变为：
Figure BDA0002648659370000263
其中，MBsize和LBSize是(连同
Figure BDA0002648659370000264
的右移)近似/>
Figure BDA0002648659370000265
的值所使用的缩放因子和右移位数，如下计算：
Figure BDA0002648659370000266
如式(14)中所示，当不能完全通过右移来实现由于2D变换尺寸而导致的动态范围增大时，引入MBsize和LBSize以补偿0.5位右移。基于HEVC和JEM中的现有量化设计，量化步长尺寸随QP的每个增量大约增加21/6倍，而QP的每3个增量大约增加20.5。因此，在另一实施例中，代替基于缩放的方法(如式(14)中那样)，提出了当2D变换的动态范围增大不是精确地等于2的幂时，将QP值减小3以近似0.5位右移。具体而言，在这种方法中，如下计算DC偏移：
Figure BDA0002648659370000271
Figure BDA0002648659370000272
其中，QPoffset等于：
Figure BDA0002648659370000273
除了传统DCT-II核变换之外，在当前JEM中的主变换阶段和二次变换阶段二者使用其他变换基，例如DCT-VIII、DCT-V、DST-VII、DST-I和基于KLT的NSST变换基，以进一步提高变换编码效率。由于这些变换基函数的不同特性，最低频率下的变换系数可能不对应于真实的DC值。
图14图示了当前JEM中使用的主变换函数的最低频率响应，其中每个子图对应于一对水平变换和垂直变换。如图14所示，除了变换DCT-II+DCT II和DCT-V+DCT-V之外，其他核变换基函数的最低频率响应远不能准确地近似真实DC值。基于这样的观察，在一个实施例中，提出了仅在通过使用DCT-II或DCT-V的主变换对块进行编码时，将DC偏移(例如，如式(12)中计算出的偏移)加至预测信号；对于使用其他主变换函数的块，预测信号将直接用作模板样本，而无需添加偏移。
在另一实施例中，提出了仅在没有用NSST对块进行编码时将DC偏移添加至预测信号；对于用NSST编码的块，预测信号将直接用作模板样本，而无需添加偏移。在另一实施例中，提出了将DC偏移加至所有块的预测信号，而与使用什么主变换函数以及是否应用NSST无关。
在另一实施例中，当在启用AMT或NSST的情况下对块进行编码时，提出了引入另一DC缩放因子以补偿最低频率变换系数与真实DC值之间的差。通过并入这样的缩放因子，式(12)进一步变为：
Figure BDA0002648659370000274
其中，ScaleDC是DC缩放因子，可以按照所应用的变换函数(例如，图14中所示的函数)的最低频率响应的信号能量相对于其最低频率响应是真实DC的DCT-II变换的最低频率响应的信号能量之比来计算DC缩放因子。作为一种特殊情况，当DCT-II用作主变换时，ScaleDC的值等于1，即，不应用缩放。
基于自适应模板尺寸的基于模板的帧间预测。
在JEM中的当前基于模板的帧间预测方法中，使用固定的模板尺寸(例如，对于FRUC模板匹配模式为四行/列的相邻样本，而对于LIC为一行/列的相邻样本)。但是，由于编码块的样本与其模板样本之间的相关性取决于所选模板尺寸，因此这种设计可能不是最佳的。例如，选择较大的模板尺寸具有以下缺点：模板的样本倾向于远离目标块。因此，当前块与其模板之间的相关性可能不足。另一方面，较大的模板尺寸在以下意义上也可以是有利的：在存在噪声(例如，视频捕获噪声和由编码过程引起的噪声)的情况下它能够产生更可靠的估计。一些实施例进行操作以针对不同块尺寸选择合适的模板尺寸，该模板尺寸应足够大以抵抗噪声，同时不超过确保模板和目标块之间的相关性足够的尺寸限制。
在一个实施例中，对于其宽度或高度小于或等于8的块，使用2的模板尺寸。否则(宽度和高度都大于8)，使用4的较大模板尺寸(即，L＝4)。在另一实施例中，可以在编码器处自适应地选择模板尺寸，并用信号发送给解码器寸。为此，例如可以在序列、图片和/或切片级上引入附加的语法元素，以指定用于不同块尺寸的对应模板尺寸。可以在编码器处应用各种方法，以确定最佳模板尺寸(例如，对于给定的块尺寸)。例如，可以在编码器处进行分析以确定原始视频中包含的噪声以及编码过程可能引入的编码噪声(例如，基于QP值)。如果噪声等级高，则可以选择大的模板尺寸来抵消噪声；否则(即，噪声等级小)，可以选择小的模板尺寸，以确保当前块的样本与模板充分相关。
基于模板切片的基于模板的帧间预测。
如上所述，基于模板的帧间预测方法的编码/解码时延的一个原因是基于模板的编码块的MCP与其相邻样本的重构之间的依赖性。另外，如图10所示，由基于模板的预测引入的最坏情况的编码/解码时延直接与由基于模板的帧间预测方法所编码的连续块的最大数量有关。
在一些实施例中，“模板切片”用于限制基于模板的帧间预测技术的最大编码/解码时延。具体地，通过使用模板切片，将图片/切片划分为多个单独的片段(或模板切片)，并且仅允许将片段中每个块的已解码样本用作相同片段中其他块的基于模板的编码的模板样本，但不允许用作任何其他片段中块的基于模板的编码的模板样本。这样，每个模板切片中的块的编码/解码能够完全独立于其他模板切片。
另外，在实施例中，与传统切片不同，模板切片仅破坏了基于模板的帧间预测的依赖性；它们不会影响其他解码过程。例如，环内滤波器、帧内预测和AMVP仍然能够跨模板切片边界进行操作。以这种方式，能够使由于去除了模板切片之间的模板样本依赖性而导致的潜在编码损失最小化。图15给出了一个示例来说明所提出的模板切片的概念。如图15所示，多个模板切片的解码过程现在能够通过将他们指派给不同线程来并行地进行。
类似于HEVC和JEM中的其他并行性工具(例如，切片、图块和波前并行处理(WPP))，对于模板切片，能够由编码器自由选择模板切片的数量以及每个模板切片在图片/切片内部的位置，并用信号发送给解码器。各种选择(例如，模板切片的数量、以及它们的尺寸和位置)能够得到编码性能与编码/解码并行性之间的不同权衡。通常，具有越多模板切片会提高并行度，但也会降低编码效率。
就模板切片信令而言，可以在序列和/或图片级添加语法元素。例如，每个模板切片中的CTU的数量可以在序列参数集(SPS)和/或图片参数集(PPS)中用信号发送，或者可以在切片标头中用信号发送。可以使用语法元素的其他变型，例如，可以使用CTU行的数量，或者可以使用每个图片中的模板切片的数量等等。可以用信号发送标志以在序列或图片级指示是否使用模板切片。
在另一实施例中，每个模板切片的CTU或CTU行的数量可以彼此不同。例如，可以首先在SPS、PPS和/或切片中用信号发送语法元素，以指示当前序列、图片或切片中的模板切片的数量，随后是分别指定每个模板切片中的CTU或CTU行的对应数量的一组其他语法元素。另外，在以上讨论中，每个模板切片的边界始终与CTU边界对齐(使得模板切片的尺寸是CTU尺寸的倍数)。在另一实施例中，提出了在比特流中用信号发送用于组成模板切片的基本单元的尺寸(必须是SPS中指定的最小编码块尺寸的倍数)。
将提出的基于模板的方法应用于其他基于模板的编码方法。
在以上讨论中，以FRUC模板匹配和LIC为例来说明所提出的基于模板的方法，诸如在以上“基于预测信号的基于模板的帧间预测”和“基于模板切片的基于模板的帧间预测”的部分中描述的方法。然而，在一些实施例中，所提出的方法应用于其他基于模板的编码方案。如以上所讨论的提出的方法能够适用于其他基于模板的编码方法，其中重构的相邻样本用于当前块的编码/解码，包括诸如变换系数符号预测、运动矢量差符号推导、基于模板的运动矢量预测、合并候选重新排序和变换语法重新排序的基于模板的编码方法。
例如，当基于预测样本而不是重构的相邻样本将提出的模板样本推导用于那些基于模板的编码方法时，使用预测样本(添加或不添加DC分量)来计算用于选择符号值(例如，变换系数符号预测和运动矢量差符号推导)和运动矢量(例如，基于模板的运动预测和合并候选重新排序)的成本函数。作为一个示例，当将基于预测的模板推导应用于变换系数的符号预测时，如式(4)中所描述的成本函数变为
Figure BDA0002648659370000301
其中，Pred是相邻样本的预测信号，P是当前块的预测，而r是残差假设。
更一般而言，当多种预测技术(例如，AMVP或类似于HEVC的合并模式、FRUC、LIC、基于模板的MVD符号预测、基于模板的MV预测、基于模板的符号预测和OBMC)可用时，能够使用一种或多种预测技术为相邻块生成预测信号的版本。可以基于一种或多种其他预测技术来进一步调整该初始版本以改进预测信号，其能够添加至相邻块的预测残差以重构相邻块。对于要编码或解码的当前块，当将基于模板的帧间预测应用于当前块时，能够使用相邻块的预测信号(初始版本或调整后的版本)来形成模板。
在如图9-图12所示的示例中，假设在预测残差生成过程(解量化和逆变换)之前要执行预测过程(MCP、OBMC)。然而，能够独立于预测残差生成过程来实现预测过程，并且可以以与之前所描述的顺序不同的顺序来获得预测块和残差块。应当注意，当以不同顺序生成残差块时，将相邻预测样本用于当前块的基于模板的帧间预测的本技术仍将适用。
图16图示了根据实施例的用于使用基于模板的帧间预测对块进行编码的示例方法1600。方法1600在初始化步骤1605处开始。在初始化步骤中，编码器可以访问能够用于形成模板的相邻块的预测样本和相邻块的CBF。在步骤1610，基于相邻块的预测样本形成当前块的模板。如前所述，模板可以由来自顶部和左侧相邻块的相邻样本形成，或者可以通过进一步使用指示相邻样本是对应于零残差还是非零残差的信息来形成模板。模板的尺寸也可以适合于块尺寸或噪声等级。可以在执行部分或全部帧间预测过程之后获得用于模板的预测样本。然后，使用重构样本形成参考图片中的对应模板。
使用模板，然后执行基于模板的帧间预测。在步骤1620，执行FRUC以获得运动矢量。在步骤1630，针对LIC获得权重和偏移。从步骤1620和1630获得的参数可以用于在步骤1640生成当前块的预测。诸如OBMC的其他预测技术也可以用于生成预测。在步骤1650，能够通过从原始块减去预测块来生成当前块的预测残差。然后能够对预测残差进行量化、变换和熵编码。
图17图示了根据实施例的用于使用基于模板的帧间预测对块进行解码的示例方法1700。方法1700在初始化步骤1705处开始。在初始化步骤中，解码器可以访问能够用于形成模板的相邻块的预测样本、相邻块的CBF、以及当前块的量化变换系数。在步骤1710，基于相邻块的预测样本形成当前块的模板。为了正确地解码比特流，解码器侧的模板应当以与编码器侧相同的方式来形成。然后，使用重构的样本形成参考图片中的对应模板。
使用模板，然后执行基于模板的帧间预测。在步骤1720，执行FRUC以获得运动矢量。在步骤1730，针对LIC获得权重和偏移。从步骤1720和1730获得的参数可以用于在步骤1740生成当前块的预测。诸如OBMC的其他帧间预测技术也能够用于生成预测。在步骤1750，能够通过将预测块加至当前块的预测残差来对当前块进行解码。
在图16和图17的示例中，FRUC和LIC用于生成预测块。还可以执行其他基于模板的编码技术，以有助于当前块的预测(和/或重构)。应当注意，编码或解码方法可以仅用FRUC(没有LIC)、仅用LIC(没有FRUC)、用FRUC和LIC两者进行，或者更一般地用如以上所描述的基于模板的编码方法的任何可行组合进行。
本申请中描述的各种方法和其他方面能够用于修改如图2和图3所示的视频编码器100和解码器200的模块，例如，帧间预测和/或变换模块(162、104、112、262、212)。此外，本方面不限于VVC或HEVC，并且能够应用于例如其他标准和建议、以及任何这样的标准和建议的扩展。
在本申请中使用各种数值，例如，用于确定模板尺寸的块尺寸。提供特定值用于示例目的，并且所描述的方面不限于这些特定值。
各种实现方式涉及解码。如本申请中所使用的“解码”能够涵盖例如对接收到的编码序列执行的、以便产生适于显示的最终输出的全部或部分过程。在各种实施例中，这样的过程包括通常由解码器执行的一个或多个过程，例如，熵解码、逆量化、逆变换和差分解码。基于特定描述的上下文，短语“解码”是旨在专门指代操作的子集还是广义上指代更宽泛的解码过程将是清楚的，并且相信本领域技术人员将很好地理解。
各种实现方式涉及编码。以与上述关于“解码”的讨论类似的方式，在本申请中使用的“编码”能够涵盖例如对输入视频序列执行的、以便产生编码比特流的全部或部分过程。在各种实施例中，这样的过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。
尽管以上以特定组合描述了特征和元件，但是本领域普通技术人员将理解，每个特征或元件能够单独使用或与其他特征和元件以任何组合使用。另外，本文描述的方法可以在并入计算机可读介质中以由计算机或处理器执行的计算机程序、软件或固件中实现。非暂时性计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储装置、诸如内部硬盘和可移动盘的磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD)的光学介质。与软件相关联的处理器可以用于实现在UE、WTRU、终端、基站、RNC或任何主计算机中使用的射频收发器，视频编码器、视频解码器或两者。
此外，在上述实施例中，注意到处理平台、计算系统、控制器和包含处理器的其他装置。这些装置可以包含至少一个中央处理单元(“CPU”)和存储器。根据计算机编程领域技术人员的实践，可以由各种CPU和存储器来执行对动作以及操作或指令的符号表示的引用。这样的动作以及操作或指令可以称为被“执行”、“计算机执行”或“CPU执行”。
本领域普通技术人员将理解，动作和符号地表示的操作或指令包括CPU对电信号的操纵。电系统表示数据比特，这些数据比特能够导致电信号的所得变换或还原以及在存储系统中存储位置处的数据比特的维持，从而重新配置或以其他方式更改CPU的操作以及信号的其他处理。数据比特所维持在的存储位置是具有对应于或代表数据比特的特定电、磁或光学属性的物理位置。应当理解，示例性实施例不限于上述平台或CPU，并且其他平台和CPU可以支持所提供的方法。
数据比特还可以被维持在计算机可读介质上，该计算机可读介质包括CPU可读取的磁盘、光盘以及任何其他易失性(例如，随机存取存储器(“RAM”))或非易失性(例如，只读存储器(“ROM”))大容量存储系统。计算机可读介质可以包括协作的或互连的计算机可读介质，该计算机可读介质专有的存在于处理系统上，或者分布在可以在该处理系统本地或远程的多个互连处理系统当中。应该理解，代表性实施例不限于上述存储器，并且其他平台和存储器可以支持所描述的方法。
在说明性的实施例中，本文描述的任何操作、过程等可以被实现为存储在计算机可读介质上的计算机可读指令。计算机可读指令可以由移动单元、网络元件和/或任何其他计算装置的处理器执行。
硬件或软件的使用通常是(但并非总是，因为在一些上下文中，硬件和软件之间的选择可能变得重要)表示成本与效率权衡的设计选择。可以存在可以实现本文所描述的过程和/或系统和/或其他技术的各种载具(例如，硬件、软件和/或固件)，并且优选的载具可以随其中部署过程和/或其他技术的环境而变化。例如，如果实现者确定速度和准确度是最重要的，则实现者可以选择主要硬件和/或固件载具。如果灵活度是最重要的，则实现者可以选择主要软件实现方式。替代地，实现者可以选择硬件、软件和/或固件的一些组合。
前面的详细描述已经通过使用框图、流程图和/或示例阐述了装置和/或过程的各种实施例。只要此类框图、流程图和/或示例包含一个或多个功能和/或操作，本领域技术人员将理解，可以由宽范围的硬件、软件、固件或实质上其任何组合单个地和/或共同地实现此类框图、流程图或示例内的每个功能和/或操作。作为示例，合适的处理器包括通用处理器、专用处理器、传统处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、专用标准产品(ASSP)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)和/或状态机。
尽管以上以特定组合提供了特征和元件，但是本领域普通技术人员将理解，每个特征或元件能够单独使用或与其他特征和元件以任何组合使用。本公开不限于本申请中描述的特定实施例，特定实施例旨在作为各个方面的说明。如对于本领域技术人员将显而易见的，可以在不脱离其精神和范围的情况下进行许多修改和变型。除非明确地如此提供，否则在本申请的描述中使用的任何元件、动作或指令都不应被解释为对本发明是关键或必要的。根据前述描述，除了本文所列举的方法和设备之外，本公开范围内的功能等同的方法和装置对于本领域技术人员将是显而易见的。这样的修改和变型旨在落入所附权利要求的范围内。本公开仅由所附权利要求的术语以及这些权利要求所赋予的等同物的全部范围来限制。应该理解，本公开不限于特定的方法或系统。
还应理解，本文使用的术语仅是出于描述特定实施例的目的，并非旨在进行限制。
在一些代表性实施例中，可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)和/或其他集成格式来实现本文描述的主题的几个部分。然而，本领域技术人员将认识到，本文公开的实施例的一些方面可以整体上或部分地等同地在集成电路中实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，在一个或多个计算机系统上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(例如，在一个或多个微处理器上运行的一个或多个程序)、固件或实质上其任何组合，并且根据本公开，设计电路和/或编写用于软件和/或固件的代码将是本领域技术人员所知的。另外，本领域技术人员将理解，本文描述的主题的机制可以以各种形式作为程序产品来分发，并且本文描述的主题的说明性实施例适用，而与用于实际实施分发所使用的信号承载介质的具体类型无关。信号承载介质的示例包括但不限于以下：诸如软盘、硬盘驱动器、CD、DVD、数字磁带、计算机存储器等的可记录类型的介质；以及诸如数字和/或模拟通信介质(例如，光纤线缆、波导、有线通信链路、无线通信链路等)的传输类型介质。
本文描述的主题有时说明了包含在不同的其他组件中或与不同的其他组件连接的不同组件。应当理解，这样描绘的架构仅是示例，并且实际上实现相同功能的许多其他架构也可以被实施。从概念上讲，实现相同功能的组件的任何布置被有效地“相关联”，使得可以实现期望的功能。因此，本文中组合以实现特定功能的任何两个组件可以被视为彼此“相关联”，使得实现期望的功能，而与架构或中间组件无关。同样，如此相关联的任何两个组件也可以被视为彼此“可操作地连接”或“可操作地耦接”以实现期望的功能，并且能够如此相关联的任何两个组件也可以被视为彼此“可操作地可耦接”以实现期望的功能。可操作地可耦接的特定示例包括但不限于物理上可配合和/或物理上交互的组件和/或无线地可交互和/或无线交互的组件和/或逻辑上交互和/或逻辑上可交互的组件。
关于本文中实质上任何复数和/或单数术语的使用，本领域技术人员能够在适合于上下文和/或应用的情况下从复数转换为单数和/或从单数转换为复数。为了清楚起见，可以在本文中明确提出各种单数/复数置换。
本领域技术人员将理解，一般而言，本文中使用的并且尤其是在所附权利要求(例如，所附权利要求的主体)中使用的术语通常旨在作为“开放式”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”，术语“包括”应解释为“包括但不限于”，等等)。本领域技术人员将进一步理解，如果意图表示所引出权利要求记载的特定数量，则这样的意图将显式地记载在权利要求中，并且在没有这种记载的情况下，不存在这种意图。例如，在意图表示仅一个项的情况下，可以使用术语“单个”或类似语言。为了帮助理解，以下所附权利要求和/或本文的描述可以包含引导性短语“至少一个”和“一个或多个”的使用以引出权利要求记载。然而，使用这样的短语不应该被解释为暗示由不定冠词“一(a)”或“一(an)”引出的权利要求记载将包含这样引出的权利要求记载的任何特定权利要求限制为包含仅一个这样的记载的实施例，即使相同权利要求包括引导性短语“一个或多个”或“至少一个”和诸如“一(a)”或“一(an)”(例如，“一(a)”和/或“一(an)”应解释为“至少一个”或“一个或多个”)的不定冠词。对于用于引出权利要求记载的定冠词也是如此。另外，即使显式地记载了所引出权利要求记载的特定数量，本领域技术人员将认识到，这样的记载应被解释为表示至少所记载的数量(例如，在没有其他修饰语的情况下，“两个记载”的直白记载表示至少两个记载，或者两个或更多个记载)。此外，在使用类似于“A、B和C等中的至少一个”的惯例的那些情况下，通常意图在本领域技术人员能够理解该惯例的层面上进行这样的解释(例如，“具有A、B和C中至少一个的系统”将包括但不限于单独具有A、单独具有B、单独具有C、具有A和B一起、具有A和C一起、具有B和C一起、和/或具有A、B和C一起、等等的系统)。在使用类似于“A、B或C等中的至少一个”的惯例的那些情况下，通常意图在本领域技术人员能够理解该惯例的层面上进行这样的解释(例如，“具有A、B或C中至少一个的系统”将包括但不限于单独具有A、单独具有B、单独具有C、具有A和B一起、具有A和C一起、具有B和C一起、和/或具有A、B和C一起、等等的系统)。本领域技术人员将进一步理解，实际上无论是在说明书、权利要求书还是附图中，呈现两个或更多个可替换项的任何可分离的字词和/或短语应理解为可想到包括这些项之一、这些项中的任意一个、或者两个项的可能性。例如，短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。此外，如本文所使用的，跟在多个项和/或多个类型的项的列表之后的术语“中的任何”旨在单独或者与其他项和/或其他类型的项结合来包括项和/或类型的项“中的任何”、“中的任何组合”、“中的任何多个”、和/或“中的多个的任何组合”。此外，如本文中所使用的，术语“集合”或“组”旨在包括任何数量的项，该任何数量包括零。另外，如本文所使用的，术语“数量”旨在包括任何数量，包括零。
另外，在按照马库什组描述本公开的特征或方面的情况下，本领域技术人员将认识到，由此也按照马库什组的任何单个成员或成员的子组来描述本公开。
如本领域技术人员将理解的，出于任何和所有目的，诸如就提供书面描述而言，本文公开的所有范围也涵盖任何和所有可能的其子范围及子范围的组合。任何列出的范围能够容易地被认识为充分描述并且能够实现将相同范围分解成至少相等的两份、三份、四份、五份、十份等。作为非限制性示例，本文所讨论的每个范围可以容易地分解成下三分之一、中三分之一和上三分之一等。如本领域技术人员还将理解的那样，诸如“最多”、“至少”、“大于”、“小于”等的所有语言包括所记载的数量，并且是指能够随后分解为上述子范围的范围。最后，如本领域技术人员将理解的，范围包括每个单独的构件。因此，例如，具有1-3个单元的组是指具有1个、2个或3个单元的组。类似地，具有1-5个单元的组是指具有1个、2个、3个、4个或5个单元的组，依此类推。
此外，权利要求书不应被理解为限于所提供的顺序或元件，除非提及此效果。另外，在任何权利要求中使用术语“用于……的部件”旨在援引35 U.S.C.§112、
Figure BDA0002648659370000371
或“部件加功能”的权利要求格式，以及没有术语“用于……的部件”的任何权利要求并非有此意图。
可想到的是可以在微处理器/通用计算机(未示出)上以软件来实现系统。在一些实施例中，各种组件的一个或多个功能可以以控制通用计算机的软件来实现。
另外，尽管这里参照特定实施例说明和描述了本发明，但是本发明并非旨在限于所示出的细节。而是，可以在权利要求的范围及等同范围内并且不脱离本发明的情况下，在细节上进行各种修改。

Claims (20)

1.一种对视频进行解码的方法，所述视频包括当前图片和至少第一参考图片，所述方法包括：对于所述当前图片中的至少当前块：
针对与所述当前块相邻的模板区域中的每个样本，生成相应的预测值；
使用以下各项，针对所述当前块执行基于模板的帧间预测：(1)所述模板区域中的样本的至少子集的预测值，以及(2)在至少第一参考图片中的至少一个参考模板区域中的对应样本值；以及
将相应的非零残差值加至所述模板区域中的所述预测值中的至少一个，以生成相应的重构样本值，
其中，所述基于模板的帧间预测包括以下中的任一：
确定至少一个基于模板的帧间预测参数，其中，使用所确定的基于模板的帧间预测参数来执行所述基于模板的帧间预测；
对多个可用的基于模板的帧间预测参数进行排序，并且使用所述可用的基于模板的帧间预测参数中的所选的一个，针对所述当前块执行所述基于模板的帧间预测，并且其中在比特流中用信号发送指示所述可用的基于模板的帧间预测参数中的所述所选的一个的索引；以及
从至少两个运动矢量预测器候选当中执行基于模板的选择，并在所选择的运动矢量预测器候选周围执行局部的基于模板的搜索，以选择运动矢量预测器。
2.一种对视频进行编码的方法，所述视频包括当前图片和至少第一参考图片，所述方法包括：对于所述当前图片中的至少当前块：
针对与所述当前块相邻的模板区域中的每个样本，生成相应的预测值；
使用以下各项，针对所述当前块执行基于模板的帧间预测：(1)所述模板区域中的样本的至少子集的预测值，以及(2)在至少第一参考图片中的至少一个参考模板区域中的对应样本值；以及
将相应的非零残差值加至所述模板区域中的所述预测值中的至少一个，以生成相应的重构样本值，
其中，所述基于模板的帧间预测包括以下中的任一：
确定至少一个基于模板的帧间预测参数，其中，使用所确定的基于模板的帧间预测参数来执行所述基于模板的帧间预测；
对多个可用的基于模板的帧间预测参数进行排序，并且使用所述可用的基于模板的帧间预测参数中的所选的一个，针对所述当前块执行所述基于模板的帧间预测，并且其中在比特流中用信号发送指示所述可用的基于模板的帧间预测参数中的所述所选的一个的索引；以及
从至少两个运动矢量预测器候选当中执行基于模板的选择，并在所选择的运动矢量预测器候选周围执行局部的基于模板的搜索，以选择运动矢量预测器。
3.根据权利要求1或2所述的方法，其中，针对所述模板区域中的每个样本，所述相应的预测值直接来自运动补偿预测。
4.根据权利要求1或2所述的方法，其中，使用运动补偿预测和交叠块运动补偿(OBMC)，针对所述模板区域中的每个样本，生成所述相应的预测值。
5.根据权利要求1或2所述的方法，其中，并行地执行在所述模板区域中重构所述样本值以及针对所述当前块执行基于模板的帧间预测。
6.根据权利要求1或2所述的方法，其中，通过应用与所述模板区域中的样本的至少子集的所述预测值相关联的权重，来确定用于所述当前块的至少一个基于模板的帧间预测参数，并且其中所述权重基于所述模板区域中相应样本的残差幅度，残差幅度越小，权重越大。
7.根据权利要求6所述的方法，其中，第一权重用于具有非零残差幅度的样本，并且第二权重用于具有零残差幅度的样本，所述第二权重高于所述第一权重。
8.根据权利要求1或2所述的方法，还包括：
调整所述模板区域中的样本的至少子集的所述预测值，其中，调整后的预测值用于针对所述当前块执行基于模板的帧间预测。
9.根据权利要求8所述的方法，其中，所述调整包括将DC预测残差分量加至所述预测值。
10.根据权利要求9所述的方法，其中，仅针对使用DCT-II或DCT-V编码的块中的那些样本值，执行对所述预测值的调整。
11.一种用于视频解码的设备，所述设备包括处理器和存储器，被配置为：
针对与当前图片中的当前块相邻的模板区域中的每个样本，生成相应的预测值；
使用以下各项，针对所述当前块执行基于模板的帧间预测：(1)所述模板区域中的样本的至少子集的预测值，以及(2)在至少第一参考图片中的至少一个参考模板区域中的对应样本值；以及
将非零残差值加至所述模板区域中的所述预测值中的至少一个，以重构相应的重构样本值，
其中，所述基于模板的帧间预测包括以下中的任一：
确定至少一个基于模板的帧间预测参数，其中，使用所确定的基于模板的帧间预测参数来执行所述基于模板的帧间预测；
对多个可用的基于模板的帧间预测参数进行排序，并且使用所述可用的基于模板的帧间预测参数中的所选的一个，针对所述当前块执行所述基于模板的帧间预测，并且其中在比特流中用信号发送指示所述可用的基于模板的帧间预测参数中的所述所选的一个的索引；以及
从至少两个运动矢量预测器候选当中执行基于模板的选择，并在所选择的运动矢量预测器候选周围执行局部的基于模板的搜索，以选择运动矢量预测器。
12.一种用于视频编码的设备，所述设备包括处理器和存储器，被配置为：
针对与当前图片中的当前块相邻的模板区域中的每个样本，生成相应的预测值；
使用以下各项，针对所述当前块执行基于模板的帧间预测：(1)所述模板区域中的样本的至少子集的预测值，以及(2)在至少第一参考图片中的至少一个参考模板区域中的对应样本值；以及
将非零残差值加至所述模板区域中的所述预测值中的至少一个，以重构相应的重构样本值，
其中，所述基于模板的帧间预测包括以下中的任一：
确定至少一个基于模板的帧间预测参数，其中，使用所确定的基于模板的帧间预测参数来执行所述基于模板的帧间预测；
对多个可用的基于模板的帧间预测参数进行排序，并且使用所述可用的基于模板的帧间预测参数中的所选的一个，针对所述当前块执行所述基于模板的帧间预测，并且其中在比特流中用信号发送指示所述可用的基于模板的帧间预测参数中的所述所选的一个的索引；以及
从至少两个运动矢量预测器候选当中执行基于模板的选择，并在所选择的运动矢量预测器候选周围执行局部的基于模板的搜索，以选择运动矢量预测器。
13.根据权利要求11或12所述的设备，其中，针对所述模板区域中的每个样本，所述相应的预测值直接来自运动补偿预测。
14.根据权利要求11或12所述的设备，其中，使用运动补偿预测和交叠块运动补偿(OBMC)，针对所述模板区域中的每个样本，生成所述相应的预测值。
15.根据权利要求11或12所述的设备，其中，并行地执行在所述模板区域中重构所述样本值以及针对所述当前块执行基于模板的帧间预测。
16.根据权利要求11或12所述的设备，其中，通过应用与所述模板区域中的样本的至少子集的所述预测值相关联的权重，来确定用于所述当前块的至少一个基于模板的帧间预测参数，并且其中所述权重基于所述模板区域中相应样本的残差幅度，残差幅度越小，权重越大。
17.根据权利要求16所述的设备，其中，第一权重用于具有非零残差幅度的样本，并且第二权重用于具有零残差幅度的样本，所述第二权重高于所述第一权重。
18.根据权利要求11或12所述的设备，其中，所述设备还被配置为：
调整所述模板区域中的样本的至少子集的所述预测值，其中，调整后的预测值用于针对所述当前块执行基于模板的帧间预测。
19.根据权利要求18所述的设备，其中，所述调整包括将DC预测残差分量加至所述预测值。
20.根据权利要求19所述的设备，其中，仅针对使用DCT-II或DCT-V编码的块中的那些样本值，执行对所述预测值的调整。
CN201980015288.0A 2018-03-30 2019-03-22 基于编码和解码时延减少的基于模板的帧间预测技术 Active CN112106367B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862650956P 2018-03-30 2018-03-30
US62/650,956 2018-03-30
US201862656247P 2018-04-11 2018-04-11
US62/656,247 2018-04-11
PCT/US2019/023557 WO2019190907A1 (en) 2018-03-30 2019-03-22 Template-based inter prediction techniques based on encoding and decoding latency reduction

Publications (2)

Publication Number Publication Date
CN112106367A CN112106367A (zh) 2020-12-18
CN112106367B true CN112106367B (zh) 2023-05-30

Family

ID=66041754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980015288.0A Active CN112106367B (zh) 2018-03-30 2019-03-22 基于编码和解码时延减少的基于模板的帧间预测技术

Country Status (6)

Country Link
US (2) US11317085B2 (zh)
EP (1) EP3777167A1 (zh)
JP (1) JP7337072B2 (zh)
CN (1) CN112106367B (zh)
TW (1) TWI799554B (zh)
WO (1) WO2019190907A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7334730B2 (ja) * 2018-03-30 2023-08-29 ソニーグループ株式会社 画像処理装置および方法
BR112020022234A2 (pt) * 2018-05-07 2021-02-02 Interdigital Vc Holdings, Inc. dependência de dados em codificação/decodificação
US11533491B2 (en) * 2019-08-28 2022-12-20 Qualcomm Incorporated Picture and sub-picture boundary processing for combined bilateral filter and Hadamard transform domain filter as in-loop filters
US11412264B2 (en) * 2019-09-24 2022-08-09 Qualcomm Incorporated Parameter set signaling for video coding
JP7400114B2 (ja) 2020-02-24 2023-12-18 バイトダンス インコーポレイテッド ビデオコーディングでのピクチャレベルスライスインデックスの使用
CN115211044A (zh) * 2020-03-03 2022-10-18 字节跳动有限公司 使用条带头信令通知控制缩放处理
US20220248047A1 (en) * 2021-01-29 2022-08-04 Qualcomm Incorporated Model-based motion vector difference derivation and template matching prediction for video coding
WO2022214100A1 (en) * 2021-04-09 2022-10-13 Beijing Bytedance Network Technology Co., Ltd. Adaptive motion candidate list
US20220417500A1 (en) * 2021-06-29 2022-12-29 Qualcomm Incorporated Merge candidate reordering in video coding
WO2023046955A1 (en) * 2021-09-27 2023-03-30 Interdigital Vc Holdings France, Sas Template-based syntax element prediction
US20230094825A1 (en) * 2021-09-28 2023-03-30 Qualcomm Incorporated Motion vector difference sign prediction for video coding
US20230104476A1 (en) * 2021-10-05 2023-04-06 Tencent America LLC Grouping based adaptive reordering of merge candidate
WO2023072216A1 (en) * 2021-10-28 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US20230140628A1 (en) * 2021-11-04 2023-05-04 Meta Platforms, Inc. Novel buffer format for a two-stage video encoding process
US20230164322A1 (en) * 2021-11-22 2023-05-25 Tencent America LLC Constrained template matching
US20230328227A1 (en) * 2022-04-07 2023-10-12 Tencent America LLC Systems and methods for joint coding of motion vector difference using template matching based scaling factor derivation
WO2023194600A1 (en) * 2022-04-08 2023-10-12 Interdigital Ce Patent Holdings, Sas Latency constrained template-based operations
WO2023195824A1 (ko) * 2022-04-08 2023-10-12 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2023202569A1 (en) * 2022-04-19 2023-10-26 Mediatek Inc. Extended template matching for video coding
WO2024012460A1 (en) * 2022-07-12 2024-01-18 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US20240022763A1 (en) * 2022-07-13 2024-01-18 Tencent America LLC Intra block copy (ibc) candidate list construction with motion information of intra template-matching prediction

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557514B (zh) * 2008-04-11 2011-02-09 华为技术有限公司 一种帧间预测编解码方法、装置及系统
CN101686393B (zh) * 2008-09-28 2012-10-17 华为技术有限公司 应用于模板匹配的快速运动搜索方法及装置
TW201032600A (en) 2009-02-20 2010-09-01 Sony Corp Image processing device and method
JP2010268259A (ja) 2009-05-15 2010-11-25 Sony Corp 画像処理装置および方法、並びにプログラム
CN105791823B (zh) * 2009-12-08 2019-11-29 交互数字麦迪逊专利控股公司 视频编码和解码的自适应模版匹配预测的方法和装置
US20140153636A1 (en) * 2012-07-02 2014-06-05 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
EP3090559A2 (en) * 2014-01-02 2016-11-09 VID SCALE, Inc. Two-dimensional palette coding for screen content coding
KR102319384B1 (ko) * 2014-03-31 2021-10-29 인텔렉추얼디스커버리 주식회사 템플릿 매칭 기반의 화면 내 픽쳐 부호화 및 복호화 방법 및 장치
WO2016019207A1 (en) 2014-08-01 2016-02-04 Boston Scientific Scimed, Inc. Pressure sensing guidewires
CN104363449B (zh) * 2014-10-31 2017-10-10 华为技术有限公司 图像预测方法及相关装置
CN108028942B (zh) * 2015-06-04 2020-06-26 清华大学 像素预测方法、编码方法、解码方法及其装置、存储介质
US10341297B2 (en) * 2015-12-18 2019-07-02 Nicira, Inc. Datapath processing of service rules with qualifiers defined in terms of template identifiers and/or template matching criteria
US10148696B2 (en) * 2015-12-18 2018-12-04 Nicira, Inc. Service rule console for creating, viewing and updating template based service rules
EP3446480A1 (en) * 2016-04-22 2019-02-27 VID SCALE, Inc. Prediction systems and methods for video coding based on filtering nearest neighboring pixels
CN115118971A (zh) * 2016-05-13 2022-09-27 Vid拓展公司 用于视频编码的通用式多假设预测的系统及方法
WO2018021585A1 (ko) * 2016-07-26 2018-02-01 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
US10390015B2 (en) 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
WO2018049594A1 (en) 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
WO2018062892A1 (ko) * 2016-09-28 2018-04-05 엘지전자(주) 가중치 인덱스에 기초하여 최적의 예측을 수행하는 방법 및 장치
US10880570B2 (en) * 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
US10750203B2 (en) * 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
WO2018113658A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Method and apparatus of motion refinement for video coding
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
KR20200014913A (ko) * 2017-07-04 2020-02-11 엘지전자 주식회사 인터 예측 기반의 영상 처리 방법 및 이를 위한 장치
US10757442B2 (en) 2017-07-05 2020-08-25 Qualcomm Incorporated Partial reconstruction based template matching for motion vector derivation
US11368676B2 (en) * 2018-01-16 2022-06-21 Vid Scale, Inc. Motion compensated bi-prediction based on local illumination compensation
EP3744102A1 (en) * 2018-01-24 2020-12-02 Vid Scale, Inc. Generalized bi-prediction for video coding with reduced coding complexity
US10511852B1 (en) * 2018-07-13 2019-12-17 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
JP7337072B2 (ja) 2023-09-01
CN112106367A (zh) 2020-12-18
US11317085B2 (en) 2022-04-26
US20220201290A1 (en) 2022-06-23
TWI799554B (zh) 2023-04-21
WO2019190907A1 (en) 2019-10-03
RU2020128729A (ru) 2022-05-04
TW201943276A (zh) 2019-11-01
EP3777167A1 (en) 2021-02-17
JP2021518059A (ja) 2021-07-29
US20200374513A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
CN112106367B (zh) 基于编码和解码时延减少的基于模板的帧间预测技术
TWI805788B (zh) 降低解碼器側運動精化的寫碼潛時的方法及裝置
JP7311589B2 (ja) 双方向オプティカルフローのための複雑性低減およびビット幅制御
KR102612975B1 (ko) 광류를 사용한 인터 예측 개선을 위한 시스템, 장치 및 방법
US20240107024A1 (en) Affine motion model derivation method
EP3987778B1 (en) Precision refinement for motion compensation with optical flow
US20220182634A1 (en) Methods and systems for post-reconstruction filtering
US20230007283A1 (en) Methods and apparatus for performing real-time vvc decoding
RU2789522C2 (ru) Методики промежуточного предсказания на основе шаблона, основанные на уменьшении задержки кодирования и декодирования
JP2022534569A (ja) オプティカルフローを用いたブロック境界予測リファインメント
TWI834722B (zh) 雙向光流複雜度降低及位元寬度控制的裝置及方法
RU2811563C2 (ru) Системы, устройства и способы для уточнения интерпрогнозирования с помощью оптического потока
RU2803895C2 (ru) Уточнение прогнозирования с компенсацией движения с помощью оптического потока
US20220132136A1 (en) Inter prediction bandwidth reduction method with optical flow compensation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant