CN114600450A - 使用位置相关帧内预测组合进行画面编码和解码的方法和设备 - Google Patents
使用位置相关帧内预测组合进行画面编码和解码的方法和设备 Download PDFInfo
- Publication number
- CN114600450A CN114600450A CN202080058711.8A CN202080058711A CN114600450A CN 114600450 A CN114600450 A CN 114600450A CN 202080058711 A CN202080058711 A CN 202080058711A CN 114600450 A CN114600450 A CN 114600450A
- Authority
- CN
- China
- Prior art keywords
- value
- block
- prediction
- sample
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000001419 dependent effect Effects 0.000 title abstract description 9
- 239000000523 sample Substances 0.000 claims abstract description 51
- 239000013074 reference sample Substances 0.000 claims abstract description 48
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012805 post-processing Methods 0.000 abstract description 21
- 230000006835 compression Effects 0.000 abstract description 7
- 238000007906 compression Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 33
- 230000015654 memory Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000003491 array Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种视频编解码系统包括使用位置相关帧内预测组合的后处理阶段,其中基于左侧或顶部参考采样的值和所获得的采样的预测的值之间的加权来修改预测的采样,其中基于帧内预测角度来确定左侧或顶部参考采样。这提供了更好的计算效率,同时保持了相同的压缩性能。提出了基于该后处理阶段的编码方法、解码方法、编码装置和解码装置。
Description
技术领域
本实施例中的至少一个通常涉及视频编解码系统,并且更具体地,涉及用于位置相关帧内预测组合的后处理阶段。
背景技术
为了实现高压缩效率,图像和视频编解码方案通常采用预测和变换以利用(leverage)视频内容中的空间和时间冗余。通常,使用帧内或帧间预测来利用帧内或帧间相关性,然后原始图像块和预测图像块之间的差(通常表示为预测误差或预测残差)被变换、量化和熵编解码。在编码期间,原始图像块通常被分割/划分为子块(例如可能使用四叉树分割)。为了重构视频,通过与预测、变换、量化和熵编解码对应的逆处理来解码经压缩的数据。
发明内容
一种视频编解码系统包括用于位置相关帧内预测组合的后处理阶段,其中预测的采样是基于左侧或顶部参考采样的值和所获得的采样的预测的值之间的加权来修改的,其中左侧或顶部参考采样是基于帧内预测角度来确定的。这提供了更好的计算效率,同时保持了相同的压缩性能。提出了基于该后处理阶段的编码方法、解码方法、编码装置和解码装置。
根据至少一个实施例的第一方面,一种用于确定图像的块的采样的值的方法,该值是根据表示帧内预测角度的值进行帧内预测的,该方法包括获得采样的预测的值,并且当帧内预测角度与标准匹配时,基于左侧或顶部参考采样的值和所获得的采样的预测的值之间的加权来确定采样的值,其中左侧或顶部参考采样是基于帧内预测角度来确定的。
根据至少一个实施例的第二方面,一种视频编码方法包括,对于视频的块的每个采样,对该采样执行帧内预测,根据第一方面修改该采样的值,以及对该块进行编码。
根据至少一个实施例的第三方面,一种视频解码方法包括,对于视频的块的每个采样,对该采样执行帧内预测,以及根据第一方面修改该采样的值。
根据至少一个实施例的第四方面,一种视频编码装置包括编码器,该编码器被配置为对于视频的块的每个采样,对该采样执行帧内预测,根据第一方面修改该采样的值,以及对该块进行编码。
根据至少一个实施例的第五方面,一种视频解码装置包括解码器,该解码器被配置为对于视频的块的每个采样,对该采样执行帧内预测,以及根据第一方面修改该采样的值。
本实施例的一个或多个实施例还提供了一种非暂时性计算机可读存储介质,其上存储有用于根据上述任何方法中的至少一部分对视频数据进行编码或解码的指令。一个或多个实施例还提供了一种计算机程序产品,包括用于执行上述任何方法中的至少一部分的指令。
附图说明
图1A示出了根据一实施例的视频编码器的框图。
图1B示出了根据一实施例的视频解码器的框图。
图2示出了其中实现了各种方面和实施例的系统的示例的框图。
图3A和3B示出了与角度帧内预测相关的符号。
图4示出了左下模式(模式66)的位置相关帧内预测组合。
图5A和5B示出了分别与模式66和模式2相邻的角度模式。
图6示出了PDPC的角度模式的示例,其中在方向的投影和参考像素之间存在失配。
图7示出了根据VTM 5.0的示例实现方式的对角(模式2和66)和相邻对角模式的PDPC处理的示例流程图。
图8示出了垂直对角模式66的PDPC的示例,对于该垂直对角模式66,左侧参考采样对目标像素不可用。
图9示出了根据修改的PDPC处理的第一实施例的示例流程图。
图10示出了根据修改的PDPC处理的第二实施例的示例流程图。
图11示出了第一实施例的实现方式的结果。
图12示出了第二实施例的实现方式的结果。
图13示出了根据本公开中描述的各种实施例的示例流程图。
具体实施方式
各种实施例涉及一种用于图像的块的采样的预测值的后处理方法,该值是根据帧内预测角度预测的,其中采样的值在该预测之后被修改,使得其基于左侧参考采样的值和所获得的采样的预测值之间的差的加权来确定,其中左侧参考采样是基于帧内预测角度确定的。提出了基于该后处理方法的编码方法、解码方法、编码装置、解码装置。
此外,尽管描述了与VVC(通用视频编解码)或HEVC(高效视频编解码)规范的特定草案相关的原理,但是本方面不限于VVC或HEVC,并且可以应用于例如其他标准和推荐,无论是现有的还是未来开发的,以及任何这种标准和推荐(包括VVC和HEVC)的扩展。除非另有说明,或者技术上被排除,否则本申请中描述的各方面可以单独使用或者组合使用。
图1A示出了视频编码器100。预期了该编码器100的变型,但是为了清楚起见,下面描述了编码器100而未描述所有预期的变型。在经编码之前,视频序列可以经过预编码处理(101),例如,对输入颜色画面应用颜色变换(例如,从RGB 4:4:4转换为YCbCr 4:2:0),或者执行输入画面分量的重新映射,以便获得对压缩更有弹性的信号分布(例如使用颜色分量之一的直方图均衡)。可将元数据与预处理相关联,并将元数据附接到比特流。
在编码器100中,由编码器元件对画面进行编码,如下所述。例如以CU为单位对要编码的画面进行分割(102)和处理。使用例如帧内或者帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时,其执行帧内预测(160)。在帧间模式中,执行运动估计(175)和补偿(170)。编码器判断(105)使用帧内模式或帧间模式中的哪一个用于对单元进行编码,并通过例如预测模式标志来指示该帧内/帧间判断。例如,通过从原始图像块中减去(110)预测块,来计算预测残差。
然后对预测残差进行变换(125)和量化(130)。对经量化的变换系数、以及运动矢量和其他语法元素进行熵编解码(145)以输出比特流。编码器可以跳过变换,并对未变换的残差信号直接应用量化。编码器可以绕过变换和量化,即,直接对残差进行编解码,而不应用变换或量化处理。
编码器对已编码的块进行解码,以为进一步的预测提供参考。对量化的变换系数进行去量化(140)并进行逆变换(150)以对预测残差进行解码。在组合(155)经解码的预测残差和预测块的情况下,重构图像块。环内滤波器(165)被应用于重构的画面,以执行例如去块/SAO(采样自适应偏移)、自适应环路滤波器(ALF)滤波以减少编码伪影。滤波后的图像存储在参考画面缓冲器(180)中。
图1B示出了视频解码器200的框图。在解码器200中,由解码器元件对比特流进行解码,如下所述。视频解码器200通常执行与图18中描述的编码遍历相反(reciprocal)的解码遍历。编码器100通常还执行视频解码作为编码视频数据的一部分。特别地,解码器的输入包括视频比特流,其可以由视频编码器100生成。首先对该比特流进行熵解码(230)以获得变换系数、运动矢量和其他编解码信息。画面分割信息指示如何对画面进行分割。因此,解码器可以根据经解码的画面分割信息来对画面进行划分(235)。对变换系数进行去量化(240)和逆变换(250)以对预测残差进行解码。通过组合(255)经解码的预测残差和预测块,重构图像块。可以从帧内预测(260)或运动补偿预测(即,帧间预测)(275)中获得(270)预测块。对经重构的图像应用环内滤波器(265)。将经滤波的图像存储在参考画面缓冲器(280)中。
经解码的画面可以进一步经过后解码处理(285),例如逆颜色变换(例如,从YCbCr4:2:0转换为RGB 4:4:4)、或执行在预编码处理(101)中所执行的重新映射处理的逆的逆重新映射。后解码处理可以使用从预编码处理中导出并在比特流中用信号通知的元数据。
图2示出了其中实现了各个方面和实施例的系统的示例的框图。系统1000可以被实施为包括以下描述的各种组件的设备,并且被配置为执行本文档中描述的各方面中的一个或多个。这种设备的示例包括但不限于各种电子设备,诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器、以及服务器。系统1000的元件可以单独或组合地实施在单个集成电路(IC)、多个IC、和/或分立组件中。例如,在至少一个实施例中,系统1000的处理和编码器/解码器元件被分布在多个IC和/或分立组件上。在各种实施例中,系统1000经由例如通信总线或通过专用输入和/或输出端口来通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中,系统1000被配置为实现本文档中描述的各方面中的一个或多个。
系统1000包括至少一个处理器1010,其被配置为执行加载在其中的用于实现例如本文档中描述的各个方面的指令。处理器1010可以包括嵌入式存储器、输入输出接口、和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如,易失性存储器件和/或非易失性存储器件)。系统1000包括存储设备1040,该存储设备1040可以包括非易失性存储器和/或易失性存储器,包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例,存储设备1040可以包括内部存储设备、附接存储设备(包括可拆卸和不可拆卸存储设备)和/或网络可访问存储设备。
系统1000包括编码器/解码器模块1030,其被配置为例如处理数据以提供编码的视频或解码的视频,并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可以被包括在设备中以执行编码和/或解码功能的(多个)模块。如已知的,设备可以包括编码和解码模块中的一个或两者。此外,编码器/解码器模块1030可以被实现为系统1000的分离元件,或者可以作为本领域技术人员已知的硬件和软件的组合被合并在处理器1010内。
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以被存储在存储设备1040中,并随后加载到存储器1020上以供处理器1010运行。根据各种实施例,处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行本文档中描述的处理期间存储各种项目中的一个或多个。这种存储的项目可以包括但不限于输入视频、解码的视频或解码的视频中的部分、比特流、矩阵、变量、以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。
在一些实施例中,处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令,并为编码或解码期间所需的处理提供工作存储器。然而,在其他实施例中,可以使用处理设备(例如,处理设备可以是处理器1010或编码器/解码器模块1030)外部的存储器用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040,例如动态易失性存储器和/或非易失性闪存。在几个实施例中,使用外部非易失性闪存来存储例如电视的操作系统。在至少一个实施例中,诸如RAM的快速外部动态易失性存储器被用作用于视频编解码和解码操作的工作存储器,诸如用于MPEG-2(MPEG是指动态画面专家组,MPEG-2也被称为ISO/IEC 13818,而13818-1也被称为H.222,并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频编解码,也被称为H.265和MPEG-H第2部分)、或VVC(通用视频编解码,联合视频专家小组JVET正在开发的新标准)。
如块1130中所示,可以通过各种输入设备提供到系统1000的元件的输入。这种输入设备包括但不限于:(i)接收例如由广播者通过空中发送的射频(RF)信号的RF部分,(ii)组件(COMP)输入端(或COMP输入端集合),(iii)通用串行总线(USB)输入端,和/或(iv)高清晰度多媒体接口(HDMI)输入端。图18中未示出的其他示例包括复合视频。
在各种实施例中,块1130的输入设备具有相关联的相应的本领域已知的输入处理元件。例如,RF部分可以与适用于以下操作的元件相关联:(i)选择期望的频率(也称为选择信号,或者将信号频带限制到频带),(ii)下变换所选择的信号,(iii)再次频带限制到较窄的频带,以选择(例如)信号频带(在某些实施例中可以称为信道),(iv)解调经下变换和频带限制的信号,(v)执行纠错,以及(vi)解复用以选择期望的数据分组的流。各种实施例的RF部分包括执行这些功能的一个或多个元件,例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变换器、解调器、纠错器、和解复用器。RF部分可以包括执行这些功能中的各种功能的调谐器,这些功能包括例如将接收的信号下变换至较低频率(例如,中频或近基带频率)或基带。在一个机顶盒实施例中,RF部分及其相关联的输入处理元件接收通过有线(例如,电缆)介质发送的RF信号,并通过滤波、下变换和再次滤波至期望的频带来执行频率选择。各种实施例重新排列上述(和其他)元件的顺序,移除这些元件中的一些,和/或添加执行类似或不同的功能的其他元件。添加元件可以包括在现有元件之间插入元件,诸如,例如,插入放大器和模数转换器。在各种实施例中,RF部分包括天线。
此外,USB和/或HDMI终端可以包括相应的接口处理器,以用于通过USB和/或HDMI连接将系统1000连接至其他电子设备。应当理解,可以根据需要在例如单独的输入处理IC内或处理器1010内实现输入处理的各个方面,例如里德-所罗门纠错。类似地,可以根据需要在单独的接口IC内或处理器1010内实现USB或HDMI接口处理的各方面。将经解调、纠错和解复用的流提供至各种处理元件,包括例如处理器1010、和编码器/解码器1030,其与存储器和存储元件组合操作以根据需要处理数据流,以用于在输出设备上呈现。
可以将系统1000的各种元件提供在集成外壳内。在集成外壳内,各种元件可以使用合适的连接布置1140(例如,本领域已知的内部总线,包括IC间(I2C)总线、布线、和印刷电路板)互连并在其间发送数据。
系统1000包括实现经由通信信道1060与其他设备通信的通信接口1050。通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡,并且通信信道1060可以在例如有线和/或无线介质内实现。
在各种实施例中,使用诸如Wi-Fi网络的无线网络(例如IEEE 802.11(IEEE指电气和电子工程师协会)),将数据流式传输或以其他方式提供至系统1000。这些实施例的Wi-Fi信号是通过适于Wi-Fi通信的通信信道1060和通信接口1050来接收的。这些实施例的通信信道1060通常被连接至提供对包括互联网的外部网络的接入的接入点或路由器,以用于允许流式传输的应用和其他过顶通信(over-the-top communication)。其他实施例使用机顶盒向系统1000提供流式传输的数据,机顶盒通过输入块1130的HDMI连接传送数据。还有其他实施例使用输入块1130的RF连接向系统1000提供流式传输的数据。如上所述,各种实施例以非流式传输的方式提供数据。此外,各种实施例使用除Wi-Fi外的无线网络,例如蜂窝网络或蓝牙网络。
系统1000可以向各种输出设备提供输出信号,输出设备包括显示器1100、扬声器1110和其他外围设备1120。各种实施例的显示器1100包括例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器、和/或可折叠显示器中的一个或多个。显示器1100可以用于电视机、平板计算机、膝上型计算机、蜂窝电话(移动电话)、或其他设备。显示器1100也可以与其他组件集成(例如,如在智能电话中),或者分离(例如,用于膝上型计算机的外部监视器)。在实施例的各种示例中,其他外围设备1120包括独立运行的数字视频盘(或数字多功能盘)(对于两个术语均为DVR)、盘播放器、立体声系统、和/或照明系统中的一个或多个。各种实施例使用基于系统1000的输出提供功能的一个或多个外围设备1120。例如,盘播放器执行播放系统1000的输出的功能。
在各种实施例中,使用诸如AV.Link、消费电子控制(CEC)、或在有或没有用户干预的情况下实现设备到设备的控制的其他通信协议的信令来在系统1000和显示器1100、扬声器1110、或其他外围设备1120之间通信控制信号。输出设备可以通过相应的接口1070、1080和1090经由专用的连接通信地耦合至系统1000。替代地,输出设备可以使用通信信道1060经由通信接口1050连接至系统1000。在电子设备(诸如,例如,电视机)中,显示器1100和扬声器1110可以与系统1000的其他组件集成在单一单元中。在各种实施例中,显示接口1070包括显示驱动器,诸如,例如,时序控制器(T Con)芯片。
显示器1100和扬声器1110可以替代地与其他组件中的一个或多个分离,例如如果输入1130的RF部分是单独的机顶盒的部分。在显示器1100和扬声器1110是外部组件的各种实施例中,可以经由包括例如HDMI端口、USB端口、或COMP输出的专用输出连接来提供输出信号。
这些实施例可以通过由处理器1010实现的计算机软件、或通过硬件、或通过硬件和软件的组合来实现。作为非限制性示例,实施例可以由一个或多个集成电路来实现。作为非限制性示例,存储器1020可以是适合于技术环境的任何类型,并且可以使用任何适当的数据存储技术来实现,诸如光存储设备、磁存储设备、基于半导体的存储设备、固定存储器、和可移除存储器。作为非限制性示例,处理器1010可以是适合于技术环境的任何类型,并且可以包括微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。
在通用视频编解码(VVC)中,帧内预测被应用于所有帧内帧(intra frame)以及帧间帧(inter frame)中的帧内块(intra block),其中目标块(称为编解码单元(CU))是从同一帧中的因果邻居块(即顶部和右上的块、左侧和左下的块以及左上块)空间预测的。基于这些块中的解码的像素值,编码器为目标块构建不同的预测,并选择带来最佳速率失真(RD)性能的预测。针对67种预测模式来测试预测,这67种预测模式包括一种PLANAR模式(索引为模式0)、一种DC模式(索引为模式1)和65种角度模式。对于矩形块,角度模式可以仅包括从模式2到模式66的常规角度预测模式,或者还包括在从45度到-135度的常规角度范围之外定义的宽角度模式。
根据预测模式,预测的采样还可以经历后处理阶段,诸如位置相关帧内预测组合(PDPC)。PDPC旨在平滑某些预测模式的块边界处的不连续性,以改善对目标块的预测。DC和PLANAR预测模式、以及若干角度预测模式(诸如严格垂直(模式50)、严格水平(模式18)、对角模式2和VDIA_IDX(模式66)、以及所有其他正角度模式(包括宽角度模式)),可能导致目标块的一侧的预测值与相邻参考阵列上的参考采样有很大不同。在没有任何类型的后滤波的情况下,随后的残差信号将导致块效应,尤其是在较高QP值时。PDPC的目的是通过以优雅的方式平滑目标块边界处的预测来防止这些块效应,使得目标块边界处的强度变化相当平缓。然而,PDPC要以显著的复杂性来实现这一点。预测的采样与来自顶部和左侧参考阵列的参考采样组合为加权的平均值,这涉及乘法和裁剪(clipping)。
对于要进行帧内预测的给定目标块,编码器或解码器首先构建两个参考阵列(一个在顶部,另一个在左侧)。参考采样取自顶部、右上、左侧、左下和左上解码的块中的解码的采样。如果顶部或左侧的采样中的一些不可用,由于对应的CU不在同一条带(slice)中,或者当前CU位于帧边界处等,则执行称为参考采样替换的方法,在该方法中,丢失的采样从可用采样中沿顺时针方向复制。然后,根据当前CU大小和预测模式,使用指定的滤波器对参考采样进行滤波。
为了通用性,我们将假设宽度为W个像素、高度为H个像素的矩形目标块。我们将把顶部和左侧的参考阵列分别表示为refMain和refSide。阵列refMain有2*W+1个像素,并且它们被索引为refMain[0]到refMain[2W],其中refMain[0]对应于左上参考像素。类似地,阵列refSide有2*H+1个像素,并且它们被索引为refSide[0]到refSide[2H],其中refSide[0]再次对应于左上参考像素。对于每侧具有N个像素的方形块的特殊情况,两个参考阵列都将具有2N+1个像素。水平预测模式(即,索引小于对角模式DIA_IDX的模式,或模式34)可以通过交换顶部和左侧参考阵列(同样,目标块的高度和宽度)来实现。由于垂直(水平)模式关于严格垂直(水平)方向的对称性,这是可能的。贯穿本文档,我们将假设,对于水平预测模式,refMain和refSide表示在其已被交换后的顶部和左侧参考阵列。此外,由于PDPC仅应用于一些正的垂直和正的水平方向(除了PLANAR和DC模式的非角度情况,以及严格垂直和严格水平模式),因此我们将在本公开中将我们的讨论限制于仅正的预测方向。
对于任何目标像素,refMain上的参考采样将被称为其预测因子(predictor)。对于给定的角度预测模式,refMain上的预测因子采样是在目标PU内沿对应方向复制的。一些预测因子采样可以具有整数位置,在这种情况下,它们与对应的参考采样相匹配;其他预测因子的位置将具有指示它们的位置将落在两个参考采样之间的分数部分。在后一种情况下,预测因子采样被使用4抽头立方或4抽头高斯滤波器针对LUMA分量进行插值,并针对CHROMA分量进行线性插值。
模式2与以45度角从左下向右上的预测方向对应,而模式66(也称为模式VDIA_IDX)与相反的方向对应。对于这两种模式,当前块中的所有目标像素在refMain上的整数位置都有其预测因子。也就是说,由于45度角,每个预测采样总是与唯一的参考采样一致。对于每个目标像素,PDPC沿着预测方向找到两个参考像素,其中在每个参考阵列上找到一个参考像素,然后将它们的值与预测值进行组合。
图3A和3B示出了与角度帧内预测相关的符号。图3A示出了模式编号,而图3B示出了对应的intraPredAngle值。
图4示出了左下模式(模式66)的位置相关帧内预测组合。顶部参考采样和左侧参考采样位于对角相对的方向。左侧参考采样不可用的目标像素不进行PDPC。它示出了模式66的两个参考像素。假设顶部和左侧参考以及目标块的高度和宽度已被交换,可以为模式2获得相同的图。
首先,对于模式66,让我们假设目标像素P具有坐标(x,y),其中0≤x<W并且0≤y<H。PDPC通过扩展预测方向找到refMain和refSide上的参考像素。令Ptop和Pleft表示与目标像素P对应的顶部和左侧参考像素的值。于是:
Ptop=refMain[c+1];
Pleft=refSide[c+1];
其中c=1+x+y。如果Ppred(x,y)表示预测的值,则像素P处的最终预测的值被获得如下
P(x,y)=Clip(((64-wr-wL)*Ppred(x,y)+wT*Ptop+wL*Pleft+32)>>6), (1)
其中权重wT和wL计算如下:
wT=16>>rmin(31,((y<<1)>>scale));
wL=16>>rmin(31,((x<<1)>>scale));
其中scale被预先计算为
scale=((log2(W)-2+log2(H)-2+2)>>2)
对于目标像素,如果refSide上的第二个参考采样位于其长度之外,则该像素被视为不可用。在这种情况下,目标像素不经历以上修改,并且像素的第一预测的值保持不变。图3示出了目标块的右下方未经历PDPC的灰色像素。
对于模式2,一旦顶部与左侧参考阵列已连同目标块的高度与宽度一起交换,PDPC处理就与模式66完全相同。
图5A示出了与模式66相邻的角度模式,并且图5B示出了与模式2相邻的角度模式。实际上,与模式2和66相邻的角度模式也可以受益于PDPC。特别地,与模式2和66中的每一个相邻的8个常规模式被考虑用于PDPC。此外,所有宽角度模式也被考虑用于PDPC。因此,如图4所示,对于W=2*H的示例性平坦矩形块,模式58至65以及宽角度模式67至72经历PDPC。类似地,对于H=2*W的示例性高矩形块,如图5所示,模式3到10以及宽角度模式-1到-6经历PDPC。对于目标块,可应用的宽角度模式的数量是其长宽比(即宽度与高度的比率)的函数。在一些实现方式中,不管目标块的形状如何,其所有有效的宽角度模式都可以考虑用于PDPC。图4和图5中所示的场景就是这样的情况,其中极限角度模式72和-6分别有效,因为所需的参考像素是可用的。对于W=2H或H=2W的矩形块,宽角度模式的数量为6。
图6示出了PDPC的角度模式的示例,其中在方向的投影和参考像素之间存在不匹配。实际上,在模式68的这个示例中,左侧参考像素与整数采样位置不一致,使得必须选择最近的参考像素。更准确地,交叉点的最近邻居被选择作为左侧参考像素。
在VVC中,参考像素的索引计算如下:
令Δx表示第一个参考采样从目标像素位置的水平位移:其中A是角度参数intraPredAngle,其取决于由VVC指定的预测模式索引,如下表1所示。正预测方向具有正的A值,并且负预测方向具有负的A值。Δx可以有分数部分。
表1示出了VVC中的示例性模式索引到角度参数A的针对垂直方向的映射。针对水平方向的映射可以通过交换垂直和水平索引来推导。
表1
为了导出左侧参考像素,应用了类似的处理。令invAngle表示与为PDPC考虑的预测模式对应的逆角度参数。invAngle值取决于模式参数,并且可以从intraPredAngle推导。表2示出了VVC中的示例性模式索引到逆角度参数的针对垂直方向的示例映射。针对水平方向的映射可以通过交换垂直和水平索引来推导。
表2
令Pleft表示与坐标(x,y)处的目标像素P对应的左侧参考像素的值。Pleft获得如下:
deltaPos=((1+x)invAngle+2)>>2;
deltaInt=deltaPos>>6;
deltaFrac=deltaPos&63:
deltay=1+y+deltaInt;
Pleft=refSide[deltay+(deltaFrac>>5)]
在上文中,deltaPos表示Pleft到参考像素refSide[1+y]的距离,其分辨率为(1/64)。deltaInt是deltaPos的整数部分,其分辨率为1,并且deltaFrac表示剩余的分数部分(其分辨率为(1/64))(相当于deltaPos=(deltaInt<<6)+deltaFrac)。当deltaFrac小于32时,Pleft是较小的整数邻居refSide[deltay];并且当deltaFrac大于或等于32时,Pleft是较大的整数邻居refSide[deltay+1]。
如果Ppred(x,y)表示初始预测的值,则像素P处的最终预测的值被获得为:
P(x,y)=Clip(((64-wL)*Ppred(x,y)+wL*Pleft+32)>>6) (2)
其中权重wL被计算为:wL=32>>min(31,((x<<1)>>scale)),并且scale被预先计算为:scale=((log2(W)-2+log2(H)-2+2)>>2)。
对于目标像素,如果refSide上的左侧参考采样位于其长度之外,则该像素被视为不可用。在这种情况下,目标像素不经历以上修改,并且像素的第一预测的值保持不变。换句话说,在这种情况下不应用PDPC后处理。
对于模式2周围经历PDPC的水平预测模式的情况,一旦顶部与左侧参考阵列已连同目标块的高度与宽度一起交换,则该处理是类似的。
这里需要注意,wL是x的非负递减函数。如果对于x=xn有wL=0,则对于x>xn有wL=0。根据等式(2),我们观察到,如果wL=0,则左侧参考像素对权重的和没有影响。在这种情况下,对于所考虑的目标像素不需要PDPC操作。由于wL的以上属性,也不需要对块的同一行上的剩余目标像素应用PDPC。因此,一旦wL变为0,当前PDPC工具就终止PDPC操作。
图7示出了根据VTM 5.0的示例实现方式的对角(模式2和66)和相邻对角模式的PDPC处理的示例流程图。流程图不包括用于PLANAR、DC、严格垂直和严格水平帧内预测模式的PDPC。由于VTM 5.0在模式为水平时(即,模式索引<34但不等于0或1时)交换参考阵列refMain和refSide,当模式索引等于2或其任何相邻模式时,refMain表示当前CU左侧的参考阵列,并且refSide表示当前CU顶部的参考阵列。因此,在这些情况下,参数wL、wT、Pleft、Ptop等实际上分别对应于参数wT、wL、Ptop、Pleft等。该处理包括多次测试(步骤710、730)和每次计算中所需的多次乘法(步骤743和753)。在该处理中,首先,当intraPredAngle不大于或等于12时,在步骤710的分支“否”中,帧内预测终止,并且不应用PDPC后处理。当intraPredAngle等于32时,在步骤730的分支“是”中,然后在步骤741计算wT和wL,在步骤742获得Ptop和Pleft,然后在步骤743应用PDPC后处理。在步骤744,该处理对下一像素进行迭代,直到所有行都被处理。当intraPredAngle不等于32时,在步骤730的分支“否”中,然后在步骤751中计算wL,在步骤752中获得Pleft,然后在步骤753中应用PDPC后处理。在步骤754,该处理对下一像素进行迭代,直到所有行都被处理。
下文描述的实施例是考虑到前述内容而已经设计的。
图1A的编码器100、图1B的解码器200和图2的系统1000适于实现下述实施例中的至少一个。
在至少一个实施例中,视频编解码或解码包括用于位置相关帧内预测组合的后处理阶段,其中计算被简化以提供更好的计算效率,同时保持相同的压缩性能。
第一简化
参考图3,任何目标像素的预测的值等于该像素的顶部参考像素。也就是说,Ppred等于Ptop。将Ptop的值代入等式(1)中,我们得到:
P(x,y)=Clip(((64-wT-wL)*Ppred(x,y)+wT*Ppred(x,y)+wL*Pleft+32)>>6)
在取消wT*Ppred(x,y)一项后,以上表达式被简化为
P(x,y)=Clip(((64-wL)*Ppred(x,y)+wL*Pleft+32)>>6) (3)
其中wL=16>>min(31,((x<<1)>>scale));
除了权重wL的值之外,该表达式与等式(2)相同。正如我们所见,没有必要计算wT,也没有必要计算Ptop,因此没有必要计算项wT*Ptop。由于这种简化,有可能将模式2和模式66的PDPC情况与其他角度模式的PDPC情况进行合并。在这种情况下:
wL=wLmax>>min(31,((x<<1)>>scale));
wLmax=16如果predMode=2或predMode=66;
=32,其他
由于当且仅当角度参数intraPredAngle等于32时,predMode等于2或66,因此wL的以上表达式可以重新表述为:
wL=wLmax>>min(31,((x<<1)>>scale));
wLmax=16如果intraPredAngle=32;
=32,其他
deltaPos=((1+x)*256+2)>>2=(1+x)*64;
deltaInt=deltaPos>>6=(1+x);
deltaFrac=deltaPos&63=0;
deltay=1+y+deltaInt=1+y+1+x;
Pleft=refSide[1+y+1+x]=refSide[c+1]其中c=1+x+y;
如我们所见,这与之前在模式2和66的情况下计算的值相同。因此,以上合并将导致与传统实现方式相同的结果,但是基于需要执行更少操作的等式,因此关于计算要求是更有效的。
事实上,deltaFrac项真的不起任何作用。在最初的PDPC提案中,由于左侧参考采样的位置是基于deltaFrac的值线性插值的,因此包括了deltaFrac。在另一提案中,线性插值被最近邻所替代。然而,对于这一点,对deltaFrac项的计算是相当冗余的,如我们在下一个实施例中所示。
第二简化
如上所计算的,deltay项导致左侧参考采样可能占据其间的相邻整数对中较小的值。deltaFrac的值决定左侧参考像素到refSide[deltay]或refSide[deltay+1]的映射,这分别取决于是否deltaFrac<32或者是否deltaFrac>=32。这个处理对检查左侧参考像素的可用性有不良影响。如前所述,PDPC不适用于左侧参考像素位于左侧参考阵列的长度之外的那些目标像素。在这种情况下,认为左侧参考像素是不可用的,并且不修改初始预测的值。
图8示出了垂直对角模式66的PDPC的示例,对于该垂直对角模式66,左侧参考采样对目标像素不可用。
回想一下,左侧参考阵列refSide的长度是2H+1,其中第一个采样在索引0处(refSide[0]),以及最后一个采样在索引2H处(refSide[2H]),使用PDPC,如果deltay>(2*H-1),则检查deltay以决定左侧采样是否不可用。该公式允许对左侧像素进行插值(如果deltaFrac为非空)。为了插值,需要refSide[deltay]和refSide[deltay+1]对。这里,由于使用最近邻代替插值,该工具然后根据deltaFrac的值决定该对中的一个像素。但是,在模式2和模式66的PDPC情况下,由于左侧参考采样位于整数位置(refSide[c+1]=refSide[2+x+y]),因此工具会对c>=2*H进行检查,以决定左侧参考采样是否不可用。这引入了一些模糊性。
如我们之前所见,左侧参考采样的导出涉及计算距离deltaPos:deltaPos=((1+x)invAngle+2)>>2;
右手侧的项仅为递归和。因此,deltaPos可以按如下方式计算,以去除与x的乘法:
invAngleSum[-1]=2;
对于0<=x<W
invAngleSum[x]=invAngleSum[x-1]+invAngle;
deltaPos=invAngleSum[x]>>2;
deltaInt=deltaPos>>6;
deltaFrac=deltaPos&63;
deltay=1+y+deltaInt;
Pleft=refSide[deltay+(deltaFrac>>5)]
在至少一个实施例中,我们提出修改该处理如下
invAngleSum[-1]=128;
对于0<=x<W
invAngleSum[x]=invAngleSum[x-1]+invAngle;
deltay=1+y+(invAngleSum[x]>>8),
Pleft=refSide[deltay]
注意,在上面的简化中,我们将以下三个步骤合并为一个:
deltaPos=invAngleSum[x]>>2;
deltaInt=deltaPos>>6;
deltay=1+y+deltaInt;
我们用128而不是2来初始化invAngleSum,使得移位操作(invAngleSum>>8)会因为舍入而产生最接近的整数。这避免了计算参数deltaFrac。因此,我们只需要检查是否deltay>2*H,以知道左侧参考像素是否不可用。这与PDPC应用于模式2或模式66时的检查相同。
这种简化的副效果是更好地使用refSide中的最后一个参考像素,即refSide[2H]。如果参考采样的实际位置介于2H和2H+1之间,并且更接近于refSide[2H],则以上处理会将位置映射到2H,并将像素refSide[2H]用作Pleft。在传统的PDPC实现方式中,这种情况可以根据deltay>2H而被简单地跳过,因此当前像素的初始预测的值将保持不变。除了这种特殊情况,所提出的简化将导致与VTM 5.0相同的对目标像素的预测的值。
因此,通过权重的和不需要裁剪的观察,等式(3)可以被简化:
P(x,y)=((64-wL)*Ppred(x,y)+wL*Pleft+32)>>6
对于0≤x<W,0≤y<H;
该等式可以被进一步简化为
P(x,y)=(64*Ppred(x,y)-wL*Ppred(x,y)+wL*Pleft+32)>>6
=Ppred(x,y)+((wL*(Pleft-Ppred(x,y))+32)>>6)。
这种简化避免了与(64-wL)的乘法,其不一定是2的幂。如我们所见,wL只有非负值。如果wL>0,则其也是2的幂。因此,以上等式中的唯一乘法可以用等式(4)中所示的移位来执行。
在至少一个实施例中,视频编解码或解码包括使用PDPC的后处理阶段,其中预测计算使用以下等式(4):
P(x,y)=Ppred(x,y)+((((Pleft-Ppred(x,y))<<log2(wL))+32)>>6) (4)
本领域技术人员将注意到,以上简化提案与具有迭代循环并且在循环外初始化invAngleSum以避免乘法的VTM 5.0代码对应。同样可以等效地写成如下:
对于0<=x<W
deltay=1+y+(((1+x)*invAngle+128)>>8)
Pleft=refSide[deltay]
注意,refSide参考阵列在左上像素处(即在重构采样的坐标(-1,-1)处)具有其第0个坐标。如果以其他方式在坐标(-1,0)处初始化,则以上等式将被修改为:
对于0<=x<W
deltay=y+(((1+x)*invAngle+128)>>8)
Pleft=refSide[deltay]
因此,通过以上坐标调整,对垂直模式66和模式66的相邻模式所提出的PDPC简化如下:
对于0<=x<W
deltay=y+(((1+x)*invAngle+128)>>8)
Pleft=refSide[deltay]
P(x,y)=Ppred(x,y)+((wL*(Pleft-Ppred(x,y))+32)>>6)
wL=wLmax>>min(31,((x<<1)>>scale))
wLmax=16如果mode=66,否则wLmax=32
类似地,对于水平预测模式2和模式2的相邻模式,所提出的PDPC修改如下:
对于0<=y<H
deltax=x+(((1+y)*invAngle+128)>>8)
Ptop=refMain[deltax]
P(x,y)=Ppred(x,y)+((wT*(Ptop-Ppred(x,y))+32)>>6)
wT=wTmax>>min(31,((y<<1)>>scale))
wTmax=16如果mode=2,否则wTmax=32
其中,refMain表示目标块顶部的参考阵列,并且Ptop表示通过与预测方向的扩展相交而获得的目标块上的参考像素。
图9示出了根据修改的PDPC处理的第一实施例的示例流程图,其遵循基于VTM 5.0的示例实现方式。在该修改的处理中,视频编解码或解码包括在角度模式下使用PDPC的后处理阶段,其中两个不同的预测计算被合并,并且画面块的至少一个像素根据其预测值和根据角度方向加权的相邻块中的参考值而被重构,如以上第一简化中所示和所述。如图7的右分支所示,当预测模式为水平时,refSide表示当前CU顶部的参考阵列。因此,当模式索引等于2或其任何相邻模式时,参数wL、wLMax、Pleft等实际上分别对应于参数wT、wTMax、Ptop等。
在该实施例中,后处理包括,当角度参数intraPredAngle大于12(因此对应于大于或等于58或者小于或等于10的模式索引,如表1以及图3A和3B所示)时,在步骤910的分支“是”中,对于像素,在步骤951中计算加权值wL,在步骤952中通过将预测方向扩展到左侧参考阵列来获得左侧参考像素,并且在步骤953中根据等式(3)计算预测的像素的后处理值:
P(x,y)=Clip(((64-wL)*Ppred(x,y)+wL*Pleft+32)>>6) (3)
换句话说,预测的像素是基于其预测的值与基于角度预测模式的角度从块左侧的列中选择的参考像素之间的加权而被修改的。
注意,在步骤201完成的测试可以对模式索引值而不是对intraPredAngle值完成,但是在这种情况下,将需要两次或更多次比较来检查预测角度是否在值的范围内,其中范围可以对应于垂直模式集合或水平模式集合。尽管在该实施例中,相对于与模式索引10和58对应的固定值12来测试intraPredAngle,但是可以使用比较的其他值,并且这些值与该第一实施例的原理兼容。例如,在另一实施例中,相对于与模式索引18和50对应的固定值0来测试intraPredAngle。在另一实施例中,相对于与10和18之间以及50和58之间的模式索引对应的0到12范围内的固定值来测试intraPredAngle。
图10示出了根据修改的PDPC处理的第二实施例的示例流程图,其遵循基于VTM5.0的示例实现方式。在该第二实施例中,视频编解码或解码包括在角度模式下使用PDPC的后处理阶段,其中两个不同的预测计算被合并,并且画面块的至少一个像素根据其预测值和根据角度方向加权的相邻块中的参考值而被重构,如图9所示并且在上面被描述为第二简化。如图9所示,当预测模式为水平时,refSide表示当前CU顶部的参考阵列。因此,当模式索引等于2或其任何相邻模式时,参数wL、wLMax、Pleft等实际上分别对应于参数wT、wTMax、Ptop等。
在该实施例中,后处理包括,当角度参数intraPredAngle大于预定值(例如12)时,对于像素,在步骤1003中计算加权值wL,在步骤1004中通过将预测方向扩展到左侧参考阵列来获得左侧参考像素,并且在步骤1005中根据等式(4)计算预测的像素的后处理值:
P(x,y)=Ppred(x,y)+((((Pleft-Ppred(x,y))<<log2(wL))+32)>>6) (4)
换句话说,预测的像素是基于其预测的值与基于角度预测模式的角度从包括该像素的块左侧的列中选择的参考像素之间的加权而被修改的。
传统的PDPC使用多次检查和多次乘法,而第二实施例仅使用单次检查和移位、加法和减法操作,这些操作在计算要求方面比乘法操作高效得多。
尽管在该实施例中,intraPredAngle是相对于固定值12来测试的,但是可以使用比较的其他值,并且这些值与该第一实施例的原理兼容。
第三实施例
第三实施例是基于第一或第二实施例的,其中,对于(x,y)处的目标像素,左侧参考采样总是refSide[c+1],其中c=1+x+y,而与intraPredAngle的值无关。
第四实施例
第四实施例是基于上述实施例之一的,其中左侧参考采样的位置超出了refSide的长度,我们使用最后一个参考采样refSide[2H]而不是在行上的当前目标像素处终止PDPC。
第五实施例
第五实施例是基于上述实施例之一的,其中除了四个固定模式(PLANAR(模式0)、DC(模式1)、严格垂直(模式50)和严格水平(模式18))之外,所有正的垂直和水平方向都作为PDPC的合格模式。
第六实施例
第六实施例是基于上述实施例之一的,其中使用用于导出权重wL的任何其他非负和递减函数。作为示例,权重可以基于预测方向被导出为:
wL=wLmax>>((x<<1)>>scale);
wLmax=16*((intraPredAngle+32)>>5)
第七实施例
第七实施例是基于上述实施例之一的,其中检查有和无对合格模式的PDPC的RD性能。PDPC的使用作为一比特PDPC标志在CU级被用信号通知给解码器。该标志可以被上下文编码,其中上下文可以是固定值,或者可以从邻域、预测方向等推导。
第八实施例
第八实施例是基于上述实施例之一的,其中对条带中的所有CU执行PDPC,并且使用条带报头中的一比特标志向解码器用信号通知对这种PDPC的应用。
第九实施例
第九实施例是基于上述实施例之一的,其中对条带中的所有CU执行PDPC,并且使用画面参数集(PPS)报头中的一比特标志向解码器用信号通知对这种PDPC的应用。
第十实施例
第十实施例是基于上述实施例之一的,其中对序列的任何帧执行PDPC,并且使用序列参数集(SPS)报头中的一比特标志向解码器用信号通知对这种PDPC的应用。
结果
在具有所有所需的测试条件的全帧内(AI)配置中,已经用VTM 5.0编解码器进行了实验。
图11示出了第一实施例的实现方式的结果,并且图12示出了第二实施例的实现方式的结果。这些图示出了所提出的简化方案与VTM 5.0锚(anchor)相比的BD速率性能。在这些表格中,行表示与原始视频内容的采样对应的待编码或解码的不同类别的内容。第一列列出了这些类别。列2、3和4(分别命名为Y、U、V)示出了VTM 5.0编解码器和所提出的分别用于原始视频的Y、U、V分量的实施例之间在大小方面的差。因此,这些列示出了与VTM 5.0相比压缩效率的差。列5和6(分别命名为EncT和DecT)示出了编码和解码时间分别相对于VTM5.0编码和解码时间的差。与VTM 5.0实现方式相比,比较编码和解码所需的时间表示了所提出的实施例的压缩效率。图11示出了关于编码和解码时间的整体改进。图12示出了关于编码和解码时间以及编码大小的整体改进。
图13示出了根据本公开中描述的各种实施例的示例流程图。当可能发生PDPC后处理并对采样块的采样进行迭代时,该流程图被激活。首先,在步骤1301中,测试表示预测角度的信息,并确定其是否匹配标准。该角度对应于用于执行帧内预测并因此生成当前采样的角度。该测试可以基于角度值,对帧内预测模式、intraPredAngle参数的值或表示预测角度的任何值来完成。在分支1302中,当角度不正确时,将不执行PDPC后处理,并且不修改预测的采样。
在至少一个实施例中,当intraPredAngle参数大于或等于12时,该角度被认为是正确的。在变型实施例中,当帧内预测模式在-6至10或58至72的范围内时,该角度被认为是正确的。本领域技术人员将注意到,这两个不同的匹配标准对应于角度帧内预测的相同角度范围。
当角度被认为是正确的时,在步骤1303中计算加权。这种加权将允许在采样预测的值和参考采样之间平衡校正量,从而平衡所得采样的值。
在步骤1305中,获得参考采样。在至少一个实施例中,通过将角度帧内预测方向扩展到块左侧的列,并从左侧参考阵列中选择与角度帧内预测方向和块左侧的列之间的交点最接近的采样,来从包含块左侧的列的采样值的左侧参考阵列中获得参考采样。可以以简单方式计算对该阵列的索引,如前面在名称deltay下提到的。
在步骤1307,根据所获得和计算的参数确定采样值。上述等式3和4提供了用于计算采样值的不同公式。这些等式(并且更具体地,等式4)至少具有比传统技术需要更少计算的优点。一个原因是没有考虑来自顶部参考阵列的参考采样,因为其已被考虑来确定采样的预测值。至少另一原因是不再考虑分数部分,从而允许进一步的计算简化。另一原因是取消了一个附加的角度测试。根据步骤1307的采样值的确定也可以被理解为对先前预测的采样的校正、修改或后处理。
步骤1301的操作可以对每个块执行一次。然而,图13的步骤1303至1307的操作需要对块的每个采样执行,因为所涉及的参数取决于采样的位置和/或值。一旦已经处理了该块的所有采样,则该块可以被处理,例如被编码。
本申请描述了各种方面,包括工具、特征、实施例、模型、方法等。这些方面中的多个方面被具体地描述,并且至少为了显示各自特性而通常被以听起来可能是限制性的方式进行描述。然而,这是出于描述清楚的目的,而并不限制那些方面的应用或范围。事实上,所有不同的方面都可以被组合和互换以提供进一步的方面。此外,这些方面也可以与更早的文件中描述的各方面相结合和互换。
本申请中描述和预期的方面可以以多种不同的形式实现。图1A、1B和2提供了一些实施例,但是可以预期其他实施例,并且这些图的讨论并不限制实现方式的广度。这些方面中的至少一个通常涉及视频编码和解码,并且至少一个其他方面通常涉及发送生成或编码的比特流。这些和其他方面可以被实现为方法、装置、其上存储有用于根据所述方法中的任何一个来对视频数据进行编码或解码的指令的计算机可读存储介质、和/或其上存储有根据所述方法中的任何一个生成的比特流的计算机可读存储介质。
本文描述了各种方法,并且这些方法中的每一种都包括用于实现所述方法的一个或多个步骤或动作。除非该方法的正确操作需要步骤或动作的特定顺序,否则特定步骤和/或动作的顺序和/或使用可以被修改或组合。
本申请中描述的各种方法和其他方面可用于修改如图1A和图1B所示的视频编码器100和解码器200的模块,例如运动补偿和运动估计模块(170、175、275)。此外,本方面不限于VVC或HEVC,并且可以应用于例如其他标准和推荐,无论是现有的还是未来开发的,以及任何这种标准和推荐(包括VVC和HEVC)的扩展。除非另有说明,或者技术上被排除,否则本申请中描述的各方面可以单独使用或者组合使用。
在本申请中使用了各种数值。这些特定值是出于示例的目的,并且所描述的各方面不限于这些特定值。
各种实现方式涉及解码。本申请中使用的“解码”可以包含例如对接收的编码序列执行的全部或部分处理,以便产生适于显示的最终输出。在各种实施例中,这种处理包括通常由解码器执行的处理中的一个或多个。在各种实施例中,这种处理也包括或者替代地包括由本申请中描述的各种实现方式的解码器执行的处理。
作为进一步的示例,在一个实施例中,“解码”仅指代熵解码,在另一实施例中,“解码”仅指代差分解码,而在另一实施例中,“解码”指代熵解码和差分解码的组合。基于具体描述的上下文,短语“解码处理”旨在具体指代操作的子集还是泛指更广泛的解码处理将会是清楚的,并且被认为是由本领域技术人员完全理解的。
各种实现方式涉及编码。以类似于上面关于“解码”的讨论的方式,本申请中使用的“编码”可以包含例如对输入视频序列执行的全部或部分处理,以便产生编码的比特流。在各种实施例中,这种处理包括通常由编码器执行的处理中的一个或多个。在各种实施例中,这种处理也包括或者替代地包括由本申请中描述的各种实现方式的编码器执行的处理。
作为进一步的示例,在一个实施例中,“编码”仅指代熵编码,在另一实施例中,“编码”仅指代差分编码,而在另一实施例中,“编码”指代差分编码和熵编码的组合。基于具体描述的上下文,短语“编码处理”旨在具体指代操作的子集还是泛指更广泛的编码处理将会是清楚的,并且被认为是由本领域技术人员完全理解的。
注意,本文使用的语法元素是描述性术语。因此,其不排除对其他语法元素名称的使用。
当图被呈现为流程图时,应当理解其也提供了对应的装置的框图。类似地,当图被呈现为框图时,应当理解其也提供了对应的方法/处理的流程图。
各种实施例涉及速率失真优化。特别是,在编码处理期间,通常会考虑速率和失真之间的平衡或权衡,通常会给定计算复杂性的限制。速率失真优化通常被公式化为最小化速率失真函数,其是速率和失真的加权和。存在不同的方法来解决速率失真优化问题。例如,这些方法可以基于对所有编码选项的广泛测试,包括所有考虑的模式或编解码参数值,以及对它们的编解码成本与编解码和解码后重构的信号的相关失真的完整评估。还可以使用更快的方法来节省编码复杂性,特别是基于预测或预测残差信号而不是重构信号来计算近似失真。也可以使用这两种方法的混合,诸如通过只对可能的编码选项中的一些使用近似失真,而对其他编码选项使用完全失真。其他方法只评估可能的编码选项的子集。更一般地,许多方法采用多种技术中的任何一种来执行优化,但是优化不一定是对编解码成本和相关失真两者的完整评估。
本申请描述了各种方面,包括工具、特征、实施例、模型、方法等。这些方面中的多个方面被具体地描述,并且至少为了显示各自特性而通常被以听起来可能是限制性的方式进行描述。然而,这是出于描述清楚的目的,而并不限制那些方面的应用或范围。事实上,所有不同的方面都可以被组合和互换以提供进一步的方面。此外,这些方面也可以与更早的文件中描述的各方面相结合和互换。
本文描述的实现方式和各方面可以例如以方法或处理、装置、软件程序、数据流、或信号来实现。即使仅在单一形式的实现方式的上下文中进行讨论(例如,仅作为方法讨论),所讨论的特征的实现方式也可以其他形式(例如,装置或程序)来实现。装置可以例如以适当的硬件、软件和固件来实现。所述方法可以在例如处理器中实现,该处理器一般指代处理设备,包括例如计算机、微处理器、集成电路、或可编程逻辑器件。处理器还包括通信设备,诸如,例如计算机、平板计算机、智能手机、手机、便携式/个人数字助理、和有助于终端用户之间的信息通信的其他设备。
对“一个实施例”或“实施例”或“一种实现方式”或“实现方式”、及其其他变型的引用意味着结合实施例所描述的特定特征、结构、特性等等被包括在至少一个实施例中。因此,贯穿本申请在各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一种实现方式中”或“在实现方式中”、以及任何其他变型的出现并不一定全都指代相同的实施例。
此外,本申请可涉及“确定”各条信息。确定信息可以包括例如估计信息、计算信息、预测信息、或从存储器中检索信息中的一个或多个。
此外,本申请可涉及“访问”各条信息。访问信息可以包括例如接收信息、(例如,从存储器中)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息、或估计信息中的一个或多个。
此外,本申请可涉及“接收”各条信息。与“访问”一样,接收意欲为广义的术语。接收信息可以包括例如访问信息、或(例如,从存储器中)检索信息中的一个或多个。此外,通常在诸如例如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息、或估计信息的操作期间,以一种方式或另一方式涉及“接收”。
在本申请中,术语“重构”和“解码”可以互换使用,术语“像素”和“采样”可以互换使用,术语“图像”、“画面”、“帧”、“条带”和“图块”可以互换使用。通常,但不是必须的,术语“重构”被用于编码器侧,而“解码”被用于解码器侧。
应当理解,例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下,对以下“/”、“和/或”和“...中的至少一个”中的任何一个的使用意欲包含仅选择第一个列出的选项(A),或仅选择第二个列出的选项(B),或选择两个选项(A和B)。作为另一示例,在“A、B、和/或C”和“A、B、和C中的至少一个”的情况下,这种措辞意欲包含仅选择第一个列出的选项(A),或仅选择第二个列出的选项(B),或仅选择第三个列出的选项(C),或仅选择第一和第二个列出的选项(A和B),或仅选择第一和第三个列出的选项(A和C),或仅选择第二和第三个列出的选项(B和C),或者选择所有三个选项(A和B和C)。正如本领域和相关领域的普通技术人员所清楚的那样,这可以扩展到所列出的尽可能多的项目。
此外,如本文所使用的,“信号(signal)”一词除了其他以外是指向对应解码器指示某物。例如,在某些实施例中,编码器用信号通知照明补偿参数中的特定一个。以这种方式,在实施例中,在编码器侧和解码器侧均使用相同的参数。因此,例如,编码器可以向解码器发送(显式信令)特定参数,使得解码器可以使用相同的特定参数。相反,如果解码器已经具有特定参数以及其他参数,则可以使用信令而不发送(隐式信令)来简单地允许解码器知道并选择特定参数。通过避免任何实际功能的传输,在各种实施例中实现了比特节省。应当理解,信令可以以多种方式完成。例如,在各种实施例中,一个或多个语法元素、标志等被用于向对应的解码器用信号通知信息。虽然前面涉及“信号”一词的动词形式,但是“信号”一词在本文也可以用作名词。
对于本领域普通技术人员来说将显而易见的是,各实现方式可以产生各种信号,这些信号被格式化以携带可被例如存储或发送的信息。该信息可以包括,例如用于执行方法的指令、或由所述实现方式中的一种所产生的数据。例如,信号可以被格式化以携带所述实施例的比特流。这种信号可以被格式化为例如电磁波(例如,使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并用经编码的数据流来调制载波。信号携带的信息可以是,例如模拟或数字信息。如已知的,信号可以通过各种不同的有线或无线链路来发送。信号可以被存储在处理器可读介质上。
在第一方面的第一变型中,当帧内预测角度小于或等于第一值或者大于或等于第二值时,角度标准被认为是匹配的,其中第一值小于第二值。在第一变型的变型中,第一值是10,并且第二值是58。
在第一方面的第二变型中,当表示帧内预测角度的intraPredAngle值大于或等于一值时,角度标准被认为是匹配的。在第一变型的变型中,当表示帧内预测角度的intraPredAngle值大于或等于12时,角度标准被认为是匹配的。
在第一方面的另一变型中,对于垂直角度方向,左侧参考采样是从左侧参考阵列确定的,该左侧参考阵列包括块左侧的列的采样的值,该左侧参考采样是通过将垂直角度帧内预测方向扩展到块左侧的列并从左侧参考阵列中选择与垂直角度帧内预测方向和块左侧的列之间的交点最接近的采样来确定的,并且对于水平角度方向,顶部参考采样是从顶部参考阵列确定的,该顶部参考阵列包括块顶部的行的采样的值,该顶部参考采样是通过将水平角度帧内预测方向扩展到块顶部的行并从顶部参考阵列中选择与水平角度帧内预测方向和块顶部的行之间的交点最接近的采样来确定的。
在第一方面的另一变型中,对于垂直方向,根据P(x,y)=Ppred(x,y)+((((Pleft-Ppred(x,y))<<log2(wL))+32)>>6)来确定采样P(x,y)的值,并且对于水平方向,根据P(x,y)=Ppred(x,y)+((((Ptop-Ppred(x,y))<<log2(wT))+32)>>6)来确定采样P(x,y)的值,其中,Ppred(x,y)是所获得的采样的预测的值,Pleft或Ptop是左侧参考采样或顶部参考采样的值,并且wL或wT是加权。
在第一方面的另一变型中,对于垂直角度方向,左侧参考采样Pleft的值由下式确定:Pleft=refSide[deltay],其中refSide是块左侧的列的采样的值的阵列,deltay=y+(((1+x)*invAngle+128)>>8),并且对于水平角度方向,顶部参考采样Ptop的值由下式确定:Ptop=refMain[deltax],其中refMain是块顶部的行的采样的值的阵列,deltax=x+(((1+y)*invAngle+128)>>8),其中invAngle是与预测角度对应的角度参数的倒数。
在第一方面的另一变型中,加权根据以下来确定:
wL=wLmax>>min(31,((x<<1)>>scale)),其中当intraPredAngle等于32时wLmax=16,否则wLmax=32,wT=wTmax>>min(31,((y<<1)>>scale)),其中当intraPredAngle等于32时wTmax=16,否则wTmax=32,并且scale等于((log2(W)-2+log2(H)-2+2)>>2)。
Claims (17)
1.一种用于确定图像的块的采样的值的方法,包括:
获得所述采样的预测的值,所述值根据表示帧内预测角度的值被帧内预测;以及
当所述帧内预测角度与标准匹配(1301)时,基于垂直角度模式的左侧参考采样或水平角度模式的顶部参考采样的值与所获得的所述采样的预测的值之间的加权(1303)来确定(1307)所述采样的值,其中,基于所述帧内预测角度来确定(1305)所述左侧参考采样或所述顶部参考采样。
2.根据权利要求1所述的方法,其中,当表示所述帧内预测角度的intraPredAngle值大于或等于要匹配的值时,角度标准被认为是匹配的。
3.根据权利要求2所述的方法,其中,所述要匹配的值是12。
4.根据权利要求2所述的方法,其中,所述要匹配的值是0。
5.根据权利要求1所述的方法,其中当表示所述帧内预测角度的模式值小于或等于水平角度模式的第一模式值或者大于或等于垂直角度模式的第二模式值时,角度标准被认为是匹配的,第一值小于第二值,并且所述模式值不同于0或1,
其中,大于或等于34的模式值指示垂直模式,并且小于34的模式值指示水平模式。
6.根据权利要求5所述的方法,其中,所述第一值是10,并且所述第二值是58。
7.根据权利要求6所述的方法,其中,所述第一值是18,并且所述第二值是50。
8.根据权利要求1至7中任一项所述的方法,其中:
对于垂直角度方向,所述左侧参考采样是从左侧参考阵列确定的,所述左侧参考阵列包括所述块的左侧的列的采样的值,所述左侧参考采样是通过将垂直角度帧内预测方向扩展到所述块的左侧的列,并从所述左侧参考阵列中选择与所述垂直角度帧内预测方向和所述块的左侧的列之间的交点最接近的采样来确定的,
以及对于水平角度方向,所述顶部参考采样是从顶部参考阵列确定的,所述顶部参考阵列包括所述块的顶部的行的采样的值,所述顶部参考采样是通过将水平角度帧内预测方向扩展到所述块的顶部的行,并从所述顶部参考阵列中选择与所述水平角度帧内预测方向和所述块的顶部的行之间的交点最接近的采样来确定的。
9.根据权利要求1至8中任一项所述的方法,其中,所述采样P(x,y)的值是根据以下来确定的:
对于垂直方向:
P(x,y)=Ppred(x,y)+((((Pleft–Ppred(x,y))<<log2(wL))+32)>>6)以及
对于水平方向:
P(x,y)=Ppred(x,y)+((((Ptop–Ppred(x,y))<<log2(wT))+32)>>6),
其中,Ppred(x,y)是所获得的所述采样的预测的值,Pleft或Ptop是所述左侧参考采样或所述顶部参考采样的值,并且wL或wT是所述加权。
10.根据权利要求1至9中任一项所述的方法,其中,
对于垂直方向,所述左侧参考采样Pleft的值由下式确定:
Pleft=refSide[deltay],其中refSide是所述块的左侧的列的采样的值的阵列,deltay=y+(((1+x)*invAngle+128)>>8),
以及对于水平方向,所述顶部参考采样Ptop的值由下式确定:
Ptop=refMain[deltax],其中refMain是所述块的顶部的行的采样的值的阵列,deltax=x+(((1+y)*invAngle+128)>>8),
其中invAngle是与所述预测角度对应的角度参数的倒数。
11.根据权利要求1至10中任一项所述的方法,其中,所述加权是根据以下来确定的:
对于垂直方向:wL=wLmax>>min(31,((x<<1)>>scale)),其中当intraPredAngle等于32时wLmax=16,否则wLmax=32,
对于水平方向:wT=wTmax>>min(31,((y<<1)>>scale)),其中当intraPredAngle等于32时wTmax=16,否则wTmax=32,
以及scale等于((log2(W)–2+log2(H)-2+2)>>2)。
12.一种用于对视频的块进行编码的方法,包括:对于视频的块:
对于所述视频的块的每个采样:
对所述采样执行帧内预测,
根据权利要求1至11中任一项所述的方法修改所述采样的值,对所述块进行编码。
13.一种用于对视频的块进行解码的方法,包括:对于视频的块:
对于所述视频的块的每个采样:
对所述采样执行帧内预测,
根据权利要求1至11中任一项所述的方法修改所述采样的值。
14.一种包括用于对画面数据进行编码的编码器(1030)的装置(1000),所述编码器被配置为,对于视频的块:
对于所述视频的块的每个采样:
对所述采样执行帧内预测,
根据权利要求1至11中任一项所述的方法修改所述采样的值,对所述块进行编码。
15.一种包括用于对画面数据进行解码的解码器(1030)的装置(1000),所述解码器被配置为,对于视频的块:
对于所述视频的块的每个采样:
对所述采样执行帧内预测,
根据权利要求1至11中任一项所述的方法修改所述采样的值。
16.非暂时性计算机可读介质,包括程序代码指令,所述程序代码指令在由处理器执行时用于实现根据权利要求1至13中至少一项所述的方法的步骤。
17.计算机程序,包括程序代码指令,所述程序代码指令在由处理器执行时用于实现根据权利要求1至13中至少一项所述的方法的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19305798.1 | 2019-06-20 | ||
EP19305798 | 2019-06-20 | ||
PCT/EP2020/066522 WO2020254264A1 (en) | 2019-06-20 | 2020-06-15 | Method and device for picture encoding and decoding using position dependent intra prediction combination |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114600450A true CN114600450A (zh) | 2022-06-07 |
Family
ID=67437685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080058711.8A Pending CN114600450A (zh) | 2019-06-20 | 2020-06-15 | 使用位置相关帧内预测组合进行画面编码和解码的方法和设备 |
Country Status (8)
Country | Link |
---|---|
US (2) | US11991361B2 (zh) |
EP (1) | EP3987780A1 (zh) |
JP (1) | JP2022537173A (zh) |
KR (1) | KR20220024643A (zh) |
CN (1) | CN114600450A (zh) |
IL (1) | IL289036A (zh) |
TW (1) | TW202106008A (zh) |
WO (1) | WO2020254264A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4074048A4 (en) * | 2019-12-31 | 2023-03-08 | Huawei Technologies Co., Ltd. | METHOD AND DEVICE FOR INTRAPREDICTION |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10506228B2 (en) * | 2016-10-04 | 2019-12-10 | Qualcomm Incorporated | Variable number of intra modes for video coding |
EP3410722A1 (en) * | 2017-05-31 | 2018-12-05 | Thomson Licensing | Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding |
US11611757B2 (en) * | 2018-04-02 | 2023-03-21 | Qualcomm Incorproated | Position dependent intra prediction combination extended with angular modes |
US11159806B2 (en) * | 2018-06-28 | 2021-10-26 | Qualcomm Incorporated | Position dependent intra prediction combination with multiple reference lines for intra prediction |
US11128872B2 (en) * | 2018-07-16 | 2021-09-21 | Qualcomm Incorporated | Position dependent intra prediction combination with wide angle intra prediction |
US10652537B1 (en) * | 2018-11-21 | 2020-05-12 | Alibaba Group Holding Limited | Coding unit size adaptive palette mode for video compression system |
CN112889281B (zh) * | 2018-11-26 | 2022-11-18 | 华为技术有限公司 | 对图像中的块进行帧内预测的方法、设备和存储介质 |
US10778972B1 (en) * | 2019-02-27 | 2020-09-15 | Google Llc | Adaptive filter intra prediction modes in image/video compression |
-
2020
- 2020-06-15 CN CN202080058711.8A patent/CN114600450A/zh active Pending
- 2020-06-15 EP EP20733270.1A patent/EP3987780A1/en active Pending
- 2020-06-15 US US17/619,047 patent/US11991361B2/en active Active
- 2020-06-15 WO PCT/EP2020/066522 patent/WO2020254264A1/en active Application Filing
- 2020-06-15 KR KR1020227001620A patent/KR20220024643A/ko unknown
- 2020-06-15 JP JP2021574780A patent/JP2022537173A/ja active Pending
- 2020-06-19 TW TW109120687A patent/TW202106008A/zh unknown
-
2021
- 2021-12-15 IL IL289036A patent/IL289036A/en unknown
-
2024
- 2024-03-26 US US18/617,160 patent/US20240244215A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20220024643A (ko) | 2022-03-03 |
US20220303541A1 (en) | 2022-09-22 |
WO2020254264A1 (en) | 2020-12-24 |
US11991361B2 (en) | 2024-05-21 |
TW202106008A (zh) | 2021-02-01 |
EP3987780A1 (en) | 2022-04-27 |
IL289036A (en) | 2022-02-01 |
JP2022537173A (ja) | 2022-08-24 |
US20240244215A1 (en) | 2024-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220038684A1 (en) | Multi-reference line intra prediction and most probable mode | |
US20220078405A1 (en) | Simplifications of coding modes based on neighboring samples dependent parametric models | |
US11985306B2 (en) | Method and apparatus for video encoding and decoding with matrix based intra-prediction | |
WO2022063729A1 (en) | Template matching prediction for versatile video coding | |
EP3878178A1 (en) | Video encoding or decoding using block extension for overlapped block motion compensation | |
US20240244215A1 (en) | Method and device for picture encoding and decoding using position dependent intra prediction combination | |
EP3644612A1 (en) | Method and device for picture encoding and decoding | |
EP3709643A1 (en) | Intra prediction mode partitioning | |
KR20210058846A (ko) | 인트라 변환 코딩 및 광각 인트라 예측의 조화 | |
CN112335240A (zh) | 使用可变权重的多参考帧内预测 | |
EP3641311A1 (en) | Encoding and decoding methods and apparatus | |
US20240171731A1 (en) | Geometric partitions with switchable interpolation filter | |
US11979585B2 (en) | Current picture referencing block vector initialization with dual tree | |
CN114930819A (zh) | 三角形合并模式中的子块合并候选 | |
EP3606069A1 (en) | Multiple reference intra prediction using variable weights | |
WO2024033116A1 (en) | Geometric partition mode boundary prediction | |
WO2023046518A1 (en) | Extension of template based intra mode derivation (timd) with isp mode | |
CN112806013A (zh) | 仿射模式下基于块大小的运动矢量编码 | |
CN114586348A (zh) | 可切换的插值滤波器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20231030 Address after: Paris France Applicant after: Interactive digital CE patent holding Co. Address before: Seville, France Applicant before: Interactive digital VC holding France |
|
TA01 | Transfer of patent application right |