CN111630856A - 基于响应于相邻样本的线性模型进行视频编码和解码的方法和设备 - Google Patents
基于响应于相邻样本的线性模型进行视频编码和解码的方法和设备 Download PDFInfo
- Publication number
- CN111630856A CN111630856A CN201980009774.1A CN201980009774A CN111630856A CN 111630856 A CN111630856 A CN 111630856A CN 201980009774 A CN201980009774 A CN 201980009774A CN 111630856 A CN111630856 A CN 111630856A
- Authority
- CN
- China
- Prior art keywords
- block
- samples
- template
- linear model
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 140
- 230000015654 memory Effects 0.000 claims description 30
- 238000005286 illumination Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 8
- 239000000523 sample Substances 0.000 description 118
- 230000008569 process Effects 0.000 description 35
- 238000005070 sampling Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 18
- 238000005192 partition Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 238000009795 derivation Methods 0.000 description 11
- 230000000670 limiting effect Effects 0.000 description 11
- 239000013074 reference sample Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000011664 signaling Effects 0.000 description 7
- 238000012821 model calculation Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- YEPGIYSLLAGBSS-UHFFFAOYSA-M chloro-[3-[(4-iodophenyl)carbamoylamino]-2-methoxypropyl]mercury Chemical compound Cl[Hg]CC(OC)CNC(=O)NC1=CC=C(I)C=C1 YEPGIYSLLAGBSS-UHFFFAOYSA-M 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- -1 variables Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
描述了不同的实施方式，特别是，提出了基于响应于相邻样本的线性模型的用于视频编码和解码的实施方式。因此，为画面中正在被编码或解码的块，确定至少一个空间相邻模板并且基于至少一个空间相邻模板的重构样本，确定至少一个线性模型参数。在第一实施例中，重构样本的数量N对应于N＝2k，其中k的选取使得N为小于块宽度和块高度之和的最大整数。在第二实施例中，确定在该块的左侧或顶部相邻行的样本中模板的第一样本的相对位置的偏移。在第三实施例中，在该块的较大维度上将重构样本的数量设置为较高的数量。
Description
技术领域
通常，本实施例的至少一个涉及例如用于视频编码或解码的方法或设备，具体而言，涉及一种基于至少一个空间相邻模板的重构样本来为正在被编码或解码的块确定至少一个线性模型参数的方法或设备。
背景技术
所述一个或多个实施方式的技术领域通常与视频压缩有关。与诸如HEVC之类的现有视频压缩体系相比(HEVC是指高效视频编码(High Efficiency Video Coding)，也称为H.265和MPEG-H第2部分，如《ITU-T H.265ITU电信标准化部门(2014年10月)，H系列：视听和多媒体系统、视听服务的基础设施-运动视频编码、高效视频编码、ITU-T H.265建议书》中所述)，或者与正在开发的视频压缩体系如VVC相比(VVC是指多功能视频编码(VersatileVideo Coding)，是由联合视频专家组(Joint Video Experts Team)JVET开发的新标准)，至少一些实施例涉及提高压缩效率。
为了实现高压缩效率，图像和视频编码方案通常采用包括运动矢量预测的预测方法，并进行变换以利用视频内容中的空间和时间冗余。通常，使用帧内预测或帧间预测来利用帧内或帧间帧相关性，然后对原始图像和预测图像之间的差(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构视频，通过对应于熵编码、量化、变换和预测的逆过程来对压缩数据进行解码。
高效压缩技术的最近增加的内容包括基于线性建模的预测模型，该线性建模响应于正在被处理的块的邻域。特别是，在解码过程中，基于位于正在被处理的块的空间邻域中的样本来计算一些预测参数。这种空间邻域包含已经重构的画面样本，其在下文中称为模板。根据非限制性示例，这种具有基于空间邻域确定的预测参数的预测模型包括跨分量线性模型(Cross-component linear model，CCLM)、局部照明补偿(Local IlluminationCompensation，LIC)、或双向光流(Bi-directional Optical flow，BIO)。在解码过程中，基于一些重构画面样本确定一些预测参数，这些重构画面样本位于正在被处理的块的左侧和/或顶部。因此，需要优化为正在被编码或解码的块确定至少一个空间相邻模板，在所述至少一个空间相邻模板上确定了至少一个线性模型参数，以便提供准确的线性模型。
发明内容
本发明的目的是克服现有技术的至少一个缺点。为此，根据至少一个实施例的一般方面，提出了一种用于视频编码的方法，包括：为画面中正在被编码的块，确定至少一个空间相邻模板；基于所述至少一个空间相邻模板的重构样本，为所述正在被编码的块确定至少一个线性模型参数；以及，基于所确定的至少一个线性模型参数，使用线性模型对所述块进行编码；其中，所述确定至少一个空间相邻模板，包括：确定所述至少一个空间相邻模板中的重构样本的数量n，对应于n＝2k，其中k的选取使得n为小于块宽度和块高度之和的最大整数。
根据至少一个实施例的另一个一般方面，提出了一种用于视频解码的方法，包括：为正在被解码的块，确定至少一个空间相邻模板；基于所述至少一个空间相邻模板的重构样本，为所述正在被解码的块确定至少一个线性模型参数；以及，基于所确定的至少一个线性模型参数，使用线性模型对所述块进行解码；其中，所述确定至少一个空间相邻模板，包括：确定所述至少一个空间相邻模板中的重构样本的数量n，对应于n＝2k，其中k的选取使得n为小于块宽度和块高度之和的最大整数。
根据至少一个实施例的另一个一般方面，提出了一种用于视频编码的设备，包括用于实现所述编码方法的任一实施例的部件。
根据至少一个实施例的另一个一般方面，提出了一种用于视频解码的设备，包括用于实现所述解码方法的任一实施例的部件。
根据至少一个实施例的另一个一般方面，提出了一种用于视频编码的设备，其包括一个或多个处理器和至少一个存储器。所述一个或多个处理器被配置为实施到编码方法的任一实施例。
根据至少一个实施例的另一个一般方面，提出了一种用于视频解码的设备，其包括一个或多个处理器和至少一个存储器。所述一个或多个处理器被配置为实施到解码方法的任一实施例中。
根据至少一个实施例的另一个一般方面，确定正在被编码或解码的块的左侧相邻行(列)的样本中的第一样本的相对位置的偏移，或者，确定正在被编码或解码的块的顶部相邻行(行)中的样本中的第一样本的相对位置的偏移。
在左侧相邻列的情况下，所述“第一样本的相对位置”对应于该列的参考样本之中位于该列的上部/顶部位置的样本，或者该列的参考样本中位于该列的下部/底部位置的样本，这取决于扫描方向的选择。类似地，在顶部相邻行的情况下，所述“第一样本的相对位置”对应于该行的参考样本中位于该行最左侧位置的样本，或者对应于该行的参考样本中位于最右侧位置的样本，这取决于扫描方向的选择。
根据至少一个实施例的另一个一般方面，将所述至少一个空间相邻模板的重构样本的数量设置为正在被编码或解码的块在较大维度上的较高的样本数量。
根据至少一个实施例的另一个一般方面，所述至少一个空间相邻模板包括所述正在被编码或解码的块的顶部相邻行的样本中的样本、或者所述正在被编码或解码的块的左侧相邻行的样本中的样本。优选地，对顶部相邻行的样本或左侧相邻行的样本进行子采样。在一个变型中，从偏移开始对顶部相邻行的样本或左侧相邻行的样本进行子采样。
根据一个变型，已经使用一种特定的编码模式(例如，帧内模式、组合的帧内/帧间模式、帧内块复制模式、IPCM…)或使用一个特定的编码参数(例如，运动矢量值、标志等等)重构的模板的样本不被考虑和/或从模板中移除。
根据至少一个实施例的另一个一般方面，在左侧相邻行的重构样本不可用以及顶部相邻行的重构样本不可用的情况下，在编码或解码时隐式禁用所述线性模型。在一个变型中，在块宽度和块高度小于某一值的情况下，在编码或解码时隐式禁用线性模型。
根据一个变型，如果已经使用一种特定编码模式或使用一种特定编码参数来重构模板的所有样本，则隐式禁用线性模型。在另一个变型中，如果已经使用一种特定编码模式或使用一种特定编码参数重构的模板中的样本数量大于一阈值，则隐式禁用线性模型。
根据至少一个实施例的另一个一般方面，所述块宽度和块高度中的至少一个不等于2的幂。
根据至少一个实施例的另一个一般方面，所述块宽度和块高度不相等。
根据至少一个实施例的另一个一般方面，所述线性模型属于包括以下项的集合：跨分量线性模式；基于块的照明补偿线性模型；以及，双向光流。
根据至少一个实施例的另一个一般方面，通过最小化所述正在被编码或解码的块的空间相邻模板的样本和正在被编码或解码的块的参考块的空间相邻模板的样本之间的失真，来获得基于所述至少一个空间相邻模板的重构样本的所述至少一个线性模型。
根据至少一个实施例的另一个一般方面，提出了一种非暂时性计算机可读介质，该非暂时性计算机可读介质包含根据前述任一方法或设备生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种信号，该信号包括根据前述任一方法或设备生成的视频数据。
本发明的一个或多个实施例还提出了一种计算机可读存储介质，其上存储指令，用于根据上述任一方法对视频数据进行编码或解码。本发明实施例还提出了一种计算机可读存储介质，其上存储根据上述方法生成的比特流。本发明实施例还提出了一种用于传输根据上述方法生成的比特流的方法和设备。本发明实施例还提出了一种计算机程序产品，其包括用于执行所述任一方法的指令。
附图说明
图1示出了根据至少一个实施例的一般方面的示例编码或解码方法，其包括确定在线性模型参数推导中使用的相邻模板。
图2示出了现有技术中从相邻的重构样本中以及从正方形块和矩形块的运动矢量平移后的对应参考样本中导出LIC参数。
图3和图4示出了现有技术中矩形CU的左侧参考样本和顶部参考样本的位置的示例。
图5示出了现有技术中的非矩形分区(顶部)和相关联的OBMC对角加权(底部)的示例。
图6示出了现有技术中的两个三角形CU分区(左)和相关联的预测单元对(右)的示例。
图7示出了在现有技术中帧间模式和帧内模式组合的情况下的多重假设预测的示例。
图8示出了根据至少一个实施例的一般方面的示例编码或解码方法，其包括优化选取在线性模型参数推导中使用的样本。
图9示出了根据至少一个实施例的一般方面的具有偏移的矩形CU的左侧参考样本和顶部参考样本的位置的实例。
图10A、图10B、图10C和图10D示出了根据至少一个实施例的一般方面的至少一个空间相邻模板的重构样本的数量的图示示例。
图11示出了根据至少一个实施例的一般方面的示例编码方法。
图12示出了根据至少一个实施例的一般方面的解码方法的示例。
图13、图14、图15和图16示出了根据至少一个实施例的一般方面的确定重构样本的数量的方法的各种示例。
图17示出了其中可以实现实施例的各个方面的视频编码器的实施例的框图。
图18示出了可以实现实施例的各个方面的视频编码器的实施例的框图。
图19示出了可以实现实施例的各个方面的示例设备的框图。
具体实现方式
应该理解的是，附图和说明书已经进行了简化，只示出与清楚理解本原理有关的要素，同时为了清楚起见，省去了可在典型的编码和/或解码设备中发现的许多其他要素。应理解的是，尽管本文可以使用第一和第二等术语来描述各种要素，但是这些要素不应受到这些术语的限制。这些术语仅用于将一个要素与另一个要素进行区分。
针对画面的编码/解码，描述了各种实施例。各种实施例可以应用于编码/解码部分画面，例如条带或片(tile)、或整个画面序列。
上文描述了各种方法，每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非该方法的正确操作需要特定的步骤或动作顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。
至少一些实施例涉及使确定相邻模板的样本以导出例如在局部照明补偿(LocalIllumination Compensation，LIC)中使用的线性模型适应于新的编码(预测)模式。尽管本文主要基于LIC作为线性模型，但是本领域技术人员将容易地将本原理扩展到另一线性模型，如CCLM。此外，尽管本文是基于线性模型来最小化基于均方差(MSE)的失真，但是本发明原理的至少一些实施例也适用于其他线性模型，其用于最小化基于预测样本和参考样本之间的一组差中的最小和/或最大值的失真，或最小化基于预测样本和参考样本之间的差的中位数的失真。
通过新的编码(预测)模式，本领域技术人员将考虑其中使用非正方形块或非矩形块(例如，三角形)和/或空间可变权重(例如，多重假设)构建预测样本的编码模式。因此，需要使LIC的顶部和左侧样本的选择适应于这种编码模式，以提供准确的LIC模型。
在第1节中，公开了关于选择参考样本以用于导出线性模型参数的一些限制。
在第2节中，公开了确定LIC参数推导中使用的参考样本的修改方法的若干个实施例。其可扩展到确定CCLM和BIO的参考样本。
在第3节中，公开了附加信息和一般实施例。
1.关于选择参考样本以用于导出线性模型参数的限制
1.1.关于选择参考样本以用于导出LIC参数的限制
根据第一非限制性示例，基于线性模型的局部照明补偿(LIC)用于补偿正在被编码的图像和其参考图像之间的照明变化，其中使用比例因子a和偏移b。其是对于每个帧间模式编码的编码单元(CU)自适应地启用或禁用。当CU应用LIC时，采用均方差(MSE)方法通过当前CU的相邻样本及其对应的参考样本来导出参数a和b。更具体地，使用该CU(图2中的当前块)的相邻样本和参考画面中的对应样本(由图2中的当前CU或子CU或参考块的运动信息MV标识出)。IC参数被导出并分别应用于每个预测方向。LIC参数将当前CU(访问图2右侧的相邻重构样本)的顶部和左侧相邻重构样本rec_cur(r)和通过帧间预测确定的相应参考样本(访问图2左侧的附加参考样本)的顶部和左侧相邻重构样本rec_ref(s)之间的均方差(MSE)进行最小化。其中s＝r+MV，MV是来自帧间预测的运动矢量：
dist＝∑r∈Vcur,s∈Vref(rec_cur(r-a.rec_ref(s-b)2 (等式1)
通过最小二乘法获得(a，b)的值 (等式2)：
一旦编码器或解码器获得了当前CU的LIC参数，那么当前CU的预测pred(current_block)则在于(单向预测情况)：
pred(current_block)＝a×ref_block+b (等式3)
其中，current_block是要预测的当前块，pred(current_block)是当前块的预测，ref_block是通过常规运动补偿(MV)处理构建的参考块，用于对当前块的时间预测。
调整(渐进地减少)推导中使用的参考样本的数量N的值，以使等式2中的求和项保持低于允许的最大整数存储数值(例如N<216)或用于应对矩形块。因此，在现有技术的方法中，在被用于导出LIC参数(a，b)之前，对参考样本进行子采样(水平和/或垂直地进行的子采样步长stepH或stepV)，如图3所示。
一组相邻重构样本和一组参考样本(参见图3中的灰色样本)具有相同数量和相同图案。在下文中，我们将位于当前块左侧的一组相邻重构样本(或一组参考样本)标识为“左侧样本”，将位于当前块顶部的一组相邻重构样本(或一组参考样本)标识为“顶部样本”。我们将“左侧样本”和“顶部样本”的集合之一标识为“样本集”。优选地，所述“样本集”属于块的左侧或顶部相邻行。
在选择用于导出LIC参数的左侧和顶部样本(请参见图3中的灰色样本)时，存在一些限制：
R1)左侧样本数和顶部样本数之和应为2的幂，以便使用右移实现除法。
R2)左侧样本数(NL)和顶部样本数(NT)相同，等于Ns(N＝2.Ns):
n＝min(cuHeight,cuWidth)
x＝log2(n)
Ns＝2x (等式4)
R3)左侧(stepV)或顶部(stepH)样本之间的步长等于：
stepV＝cuHeight>>log2(Ns) (等式5)
stepH＝cuWidth>>log2(Ns)
因此，发明人已经认识到在上述现有技术中关于用于导出LIC参数的参考样本的选择方面的一些限制。这些限制是：
a)在窄矩形(R3)的情况下，样本集是次优的：
如图3所示，在具有不平衡尺寸(宽度远大于高度或相反)的矩形CU的情况下，“左侧样本”和“顶部样本”集合可能是次优的。之所以是次优的，是因为与“左侧样本”集相比，在顶部使用的“顶部样本”数量非常稀少。平均而言，“左侧样本”比“顶部样本”更远离当前CU样本，因此，先验地更不适合估计局部照明变化。
b)在矩形CU中至少有一个样本集不可用的情况下，样本集是次优的：
限制R2中不考虑一个(或两个)参考样本边界不可用的情况。在当前CU(图2-右)或参考CU(图2-左)位于顶部或左侧画面(或条带或片)边界时，可能发生这种情况，如图3右下角的示例所示。在此示例中，根据cuHeight＝4选择Ns，而剩余样本不可用。例如，更好的选择是Ns＝16。
对于CU位于左上边界的情况，“左侧样本”集和“顶部样本”集均不可用。在某些编解码器中，推断重构样本等于(1<<-bit-depth-1)，并通过填充推断参考样本。
c)在对于CU大小不是2的幂时，样本数量可能是次优的：
R1的要求通过R2获得，但是由于N＝2.Ns且Ns＝exp(log2(n))＝2x，N可以被4除，因而，增加了不必要的约束。
在图4的示例中，其示出了矩形12x4 CU的左侧参考样本和顶部参考样本的位置的示例，该规则导致Ns＝4和N＝8，而更好地选择是N＝16，以避免参考样本稀疏性。
d)左上和右上样本的位置是次优的：
无论子采样值(stepV和stepH)如何，左上(x＝0；y＝-1)和更左上(x＝-1；y＝0)样本的位置接近。
而最右上方的样本或最左下方的样本的位置可能相对于当前CU的采样位置的最右上方的样本(x＝cuWidth-1；y＝-1)(或在最左下角的样本(x＝-1；y＝cuHeight-1)相对较远。
e)对于非矩形PU的情况，样本集是次优的：
在非矩形预测的情况下，CU预测由两个非矩形预测(PU)组成，如图5的示例所示.
如图6所示，有可能因为样本集与PU样本较远且不邻接，对于三角形分区，当前CU的样本集的默认位置不适合于相关联的PU。
f)在MH的情况下，样本集是次优的：
在多重假设预测的情况下，两个常规预测通过加权平均组合在一起。在一个预测模式为帧内预测且另一预测模式为帧间预测的情况下，用信号通知帧内预测模式(其可以是典型的预测模式的子集(例如，4))。在一个变型中，当前块被分成4个面积相等的区域。随着区域远离帧内参考样本，权重逐渐减小。每个权重集表示为(w0＝w_intrai,w1＝w_interi)，其中i从1到4，(w_intra1,w_inter1)＝(6,2),(w_intra2,w_inter2)＝(5,3),(w_intra3,w_inter3)＝(3,5),(w_intra4,w_inter4)＝(2,6)，且应用于对应的区域，如图7所示，用于帧内垂直方向预测。在另一个变型中，权重在CU上是统一的，但是对于帧内和帧间(w_intra≠w_inter)可以不同。当选择DC或平面模式，或者CU宽度或高度小于4时，将应用统一的权重。
在这些情况下，与其他区域相比，权重(w_inter)低的区域对最终预测样本值的重要性较小。因此，对这些第一区域使用相邻参考样本来导出将用于具有较高权重的帧间预测的其他区域的LIC参数可能是低效的。
在统一权重的情况下，如果w_inter低于阈值，则可以禁用LIC。
1.2关于选择参考样本以用于导出LM参数的限制
根据第二非限制性示例，为了减少跨分量冗余，在JEM中使用跨分量线性模型(CCLM)预测模式，其中使用如下线性模型基于相同CU的重构亮度样本来预测色度样本：
predC(i,j)＝α·recL′(i,j)+β (等式6)
其中，predC(i,j)表示CU中的预测色度样本，recL(i,j)表示相同CU的下采样的重构亮度样本。通过如下最小化当前块周围的相邻重构亮度和色度样本之间的回归误差(均方差)来导出参数α和β：
Error＝∑n∈N(C(n)-α.L(n)-β)2 (等式7)
求解出：
其中，L(n)表示下采样的顶部和左侧相邻重构亮度样本，C(n)表示顶部和左侧相邻重构色度样本，N值等于当前色度编码块的宽度和高度最小值的两倍。对于正方形的编码块，直接应用上述两个等式。因此，针对LIC的限制也适用于LM。
1.3关于选择参考样本以用于细化帧间预测的限制
使用基于JEM版本中描述的相邻模板的线性模型的又一个非限制性示例是双向光流(Bi-directional Optical flow，BIO)，其提出了在按块的双向预测运动补偿的基础上进行按样本的运动细化。
因此，至少一个实施例通过用于线性模型(LIC、LM、BIO)参数的推导的参考样本的更好地选择(数量、子采样步长、位置)来改善线性模型过程。根据当前CU的几何形状、编码模式和大小来选择这些样本而实现，如以下章节所述。
2.用于确定用于导出LIC参数的参考样本的方法的至少一个实施例
为了应对在第1节中提出的限制，至少一个实施例的一般方面旨在通过在用于导出线性模型的空间相邻模板的重构样本中确定改进的模板来提高线性模型的准确性。本领域技术人员可以理解，正在在被编码或解码的块具有零个或不具有可用的模板(例如，对于图像的第一块)、具有一个可用的模板(与左侧或顶部图像相邻)或具有重构像素的两个可用的相邻模板(顶部和左侧模板)。空间相邻模板包括正在被处理的块的一行上方相邻样本中的样本，或正在被处理的块的一行左侧相邻样本中的样本。在第一实施例中，至少一个空间相邻模板的重构样本的总数N(即，如果可用，则都在左侧模板和顶部模板中)，对应于N＝2k，其中k的选取使得N是小于块宽度和块高度的总和的最大整数。在第二实施例中，确定模板中正在被处理的块的左侧(或顶部)相邻行的样本之中的第一样本的相对位置的偏移。在第三实施例中，将至少一个空间相邻模板的重构样本的数量设置为正在被处理的块的较大维度上的较高的样本数量。
对于LIC参数的非限制性示例，在第2.1至2.7节中描述了这3个实施例和若干个其他实施例，可以通过各种实施例的任意组合将这些实施例结合在一起。特别地，在将最大值、最小值(例如CCLM的实施例中或在现有技术的LIC可选实施例中)、或中间值进行最小化的基础上，关于顶部和左侧相邻样本的权重或关于样本偏移的实施例非常适合于线性模型。因此，在没有关于模板中的样本数量的实施例的情况下，可以实现关于邻域权重的实施例。此外，在没有关于模板中的样本数量的实施例的情况下，可以实现关于偏移的实施例。
图1示出了根据至少一个实施例的一般方面的示例编码或解码方法，其包括确定在线性模型参数推导中使用的相邻模板。
编码或解码方法301基于正在被编码或解码的块的至少一个空间相邻模板的重构样本来确定至少一个线性模型参数。然后，将线性模型用于编码或解码方法中。这样的线性模型参数包括如等式3或等式6中定义的模型的仿射系数。因此，线性模型属于包括以下项的集合：交叉分量线性模型、基于块的照明补偿线性模型、双向光流。
首先，在步骤302中，该方法根据下文所述的任一实施例，为画面中正在被处理的块，确定至少一个空间相邻模板。
在步骤303中，该方法基于所述至少一个空间相邻模板的重构样本，为正在被处理的块确定至少一个线性模型参数。如等式1或等式7所示，通过最小化所述块的空间相邻模板的样本和该块的参考块的空间相邻模板的样本之间的失真，来获得基于所述至少一个空间相邻模板的重构样本的线性模型参数。通过MSE或任何其他方法估算失真。
最后，在步骤304中，该方法基于所确定的至少一个线性模型参数(例如针对CCLM或LIC)并且响应于所确定的模板，对应用线性模型的块进行编码/解码。
图8示出了根据特定实施例的另一示例编码或解码方法，其包括优化选择线性模型参数推导中使用的样本。
在步骤302中，该方法为在画面中正在被编码或解码的块，确定至少一个空间相邻模板。图8中的实施例结合了以上公开的各种实施例。用于确定模板的子步骤300至370的任何实施例是可选的，可以独立地从方法301中移除或以任何顺序进行处理。定义了以下变量：cuHeight表示正在被处理的块的高度；cuWidth表示正在被处理的块的宽度；模板中样本的总数N，N＝2k＝NL+NT，其中NL和NT分别表示左侧和顶部模板中的样本的数量；OffX和OffY分别表示顶部和左侧相邻模板中的第一个样本在顶部和左侧模板中的相对偏移；分别为“左侧样本”集和“顶部样本”集的最后的样本定义了子采样步长stepV和stepH。
在子步骤300中，如在第2.4节所述，测试左侧样本的可用性。在左侧样本不可用的情况下，将cuHeight的值设置为等于零，cuHeight＝0。然后在以下子步骤中，将N值设置为等于2k，其中k＝ceil(log2(cuWidth))，且NT＝N,NL＝0。在子步骤310中，如第2.4节所讨论的，测试顶部样本的可用性。在顶部样本不可用的情况下，将cuWidth的值设置为等于零，即cuWidth＝0。然后在以下子步骤中，将N值设置为等于2k，其中k＝ceil(log2(cuHeight))，且NT＝0，NL＝N。在子步骤320中，如第2.5节所讨论的，不测试顶部和左侧样本的可用性。在顶部和左侧样本都不可用的情况下(或相邻样本中没有足够的样本可用)，则在步骤395中，隐式地导出线性模型标志，该线性模型标志启用或禁用使用线性模型的预测，并且针对该块将其设置为假，并且针对该块结束所述方法。在至少一个模板可用的情况下，在子步骤330、340、350中，如第2.1节所述，确定(多个)模板中的样本数量N。因此，在子步骤330中，将k值确定为k＝ceil(log2(cuWidth+cuHeight))，其中ceil是上限函数，ceiling(x)返回大于或等于x的最小整数。在子步骤340中，子采样值“sub”(相同方向上的两个样本之间的距离)等于1。在步骤350中，将N的值设置为等于2k。然后，在子步骤360中，根据第2.2节中详述的任何变型，确定相邻样本之间的第一样本的偏移量(高度OffY和/或宽度OffX)。在子步骤370中，调整表示左侧模板和顶部模板中的样本数量的NL和NT(以及子采样步长sub)，从而如第2.3节所述，在更大尺寸的维度上选择更多的样本。因此，根据本实施例，在步骤302中确定用于线性模型推导的改进模板。
在步骤303中，该方法基于所述至少一个空间相邻模板的重构样本，为正在被编码或解码的块确定至少一个线性模型参数。最后，在步骤304中，该方法基于所确定的响应于所确定的模板的至少一个线性模型参数，对应用线性模型的块进行编码/解码。
2.1.第一实施例：样本总数N是2的幂，但是NL或NT不一定是2的幂
第一实施例包括适配在LIC中使用的样本的数量N，其中N＝2k，k的选取使得N是小于块宽度和块高度之和的最大整数。
有利地是，本实施例允许在窄矩形的情况下(情况a)或对于CU大小不是2的幂的情况(情况c)优化样本集。
因此，在步骤330中，将k值确定为：
k＝ceil(log2(cuWidth+cuHeight))
其中，ceil是上限函数，ceiling(x)返回大于或等于x的最小整数。
在步骤340中，子采样值“sub”(相同方向上的两个样本之间的距离)等于1。在步骤350中，将N值设置为等于2k。本实施例与先前的限制兼容，例如，k值可被进一步调整(渐进地减小)并且“sub”的值相应地被增加(340)，使得等式2中的求和项保持在上述允许的最大整数存储数值以下。
2.2.第二实施例：第一顶部或左侧样本不是(x＝0；y＝-1)和(x＝-1；y＝0)
第二实施例包括确定“顶部样本”集中的第一样本的相对位置的偏移和/或确定“左侧样本”集中的第一样本的相对位置的偏移。
有利地是，本实施例允许优化左上和右上样本的位置(情况d)。
因此，在步骤360中，“顶部样本”集中的第一样本的位置和“左侧样本”集中的第一样本的位置不为零，而是以偏移量移动(分别为offX和offY)，如图9的左侧所示。
在一个变型中，“顶部样本”集的最后一个样本的位置是(x＝cuWidth-1；y＝-1)，“左侧样本”集的最后一个样本的位置是(x＝-1；y＝cuHeight-1)，如图9的右侧所示。
在另一个变型中，定义了“顶部样本”集的第一个样本的位置的偏移、“左侧样本”集的第一个样本的位置的偏移、“顶部样本”集的最后一个样本的位置的偏移、“左侧样本”集的最后一个样本的位置的偏移。然后，响应于“顶部样本”集的第一个样本和“顶部样本”集的最后一个样本之间的宽度，以及响应于“左侧样本”集的第一个样本和“左侧样本”集的最后一个样本的高度，来定义子采样步长(stepV、stepH)。
在另一个变型中，将“offX”(或“offY”)的值设置为等于“stepH/2”(或“stepV/2”)。
在另一个变型中，“offX，offY”的值是使当前CU的像素到用于导出LIC参数的较近参考样本的距离之和最小的值：
其中，p是CU的样本，mindistref(p)是“p”到较近的参考样本的距离。
有利地是，(offX，offY)值可以是先验确定的，并针对一组可能的CU尺寸(cuWidth；cuHeight)制成表格。
2.3.第三实施例：较大尺寸维度的更多样本
第三实施例包括在块的较大维度上选择更高的样本数量。
有利地是，在矩形CU的情况下，本实施例允许通过针对最大尺寸引入更高的样本权重来优化样本集。
因此，在步骤370中，对于给定的子采样“sub”值，如果A是较大的CU维度(A＝Left，NA＝NL或A＝Top，NA＝NT)，而B是另一个维度，则NA计算为：
NA＝cuSizeA>>(sub-1)
NB＝N–NA (等式11)
其中，如果A＝Top，则cuSizeA＝cuWidth；如果A＝Left，则cuSizeA＝cuHeight。
2.4.第四实施例：一个样本集不可用
第四实施例包括：在左侧样本不可用的情况下，调整用于LIC的样本数量N，其中N＝2k，k的选取使得N是小于块宽度的最大整数。第四实施例包括：在顶部样本不可用的情况下，调整LIC中使用的样本数量N，其中N＝2k，k的选取使得N是小于块高度的最大整数。
根据不同的变型，“样本不可用”可以涵盖以下情况：
-当前CU位于画面或条带的边界
-当前CU位于预定义的VPDU(视频处理数据单元)或CTU的边界。其中VPDU是预定义的最大硬件处理单元大小。
有利地是，本实施例允许在矩形CU的情况下优化样本集，其中至少一个样本集不可用(情况d)。
因此，在图8的方法中，在300和310中引入了至少一个附加测试，其中检验了样本的可用性。在左侧(300)或顶部(310)的样本不可用的情况下，将N的值设置为等于2k，其中k＝ceil(log2(cuWidth))或k＝ceil(log2(cuHeight))，且(NT＝N；NL＝0)或(NL＝N；NT＝0)。
2.5.第五实施例：两个样本集不可用
第四实施例包括在左侧样本不可用且顶部样本不可用的情况下，在编码或解码时导出被设置为假的IC标志。第四实施例的一个变型包括在块宽度小于第一值并且块高度小于第二值的情况下，在编码或解码时导出设置为假的IC标志。第四实施例的另一个变型在块宽度大于第一值并且块高度大于第二值的情况下，在编码或解码时导出设置为假的IC标志。
有利地是，本实施例允许提高压缩效率，因为推断出了IC标志并且其未在比特流中编码。
在一个变型中，如果“左侧样本”和“顶部样本”都不可用，则在步骤320中将IC标志推断为假，并且不将其在比特流中编码。
在一个变型中，如果一个样本集(顶部或左侧)不可用，而另一个样本集(左侧或顶部)的维度尺寸小于(或大于)阈值，则将IC标志推断为假，并且不将其在比特流中编码。
根据IC推导的变型，还修改了熵编码和熵解码，以便对不使用LIC的CU，不进行LIC参数标志的编码。
2.6.第六实施例：适用于非矩形情况
第六实施例包括在三角形预测的情况下选择在空间上与PU三角形邻接的样本以导出LIC参数。第六实施例的变型包括根据三角形分区方向，选择在空间上与PU三角形邻接的样本以导出LIC参数。
第六实施例的一个变型包括在三角形预测的情况下，编码/解码2个IC标志，其中每一个用于块的一个维度。
有利地是，本实施例允许在三角形CU的情况下通过选择空间封闭(closed)样本来优化样本集。
在三角形预测单元(参见图6)的情况下，对样本集进行如下修改：
-仅使用在空间上与PU三角形邻接的样本来导出LIC参数。例如，在图6(左上)的三角形配置的情况下，仅使用三角形“a”的“顶部样本”集(N＝NT)和三角形“b”的“左侧样本”集(N＝NL)。在图6(左下)的三角形配置的情况下，使用三角形“c”的“顶部样本”集和“左侧样本”集，并且推断三角形“d”的IC标志为假。
-在一个变型，编码两个IC标志，每个对应一个PU。在三角形“d”中，没有编码IC标志。
图5右上侧的4个非矩形分区可应用相同的策略。其中仅保留与PU尺寸和CU尺寸相同的维度有关的样本。这意味着非矩形PU分区3和5与PU三角形1具有相同的样本集，非矩形PU分区4和6与PU三角形2具有相同的样本集。
在一个变型，两个样本集由仅与非矩形PU邻接的样本组成。
根据2个IC标志的变型，还修改了熵编码和熵解码，以便为不使用2个标志的CU编码LIC参数标志。
2.7.第七实施例：适用于多重假设的情况
第七实施例包括：在多重假设预测的情况下，选择在空间上与其混合权重大于或等于用于导出LIC参数的值的区域邻接的样本。
有利地是，本实施例允许在多重假设预测的CU的情况下，通过选择具有较高权重的参考样本来优化样本集。
样本集由与区域邻接的样本组成，这些区域的w_inter值大于或等于阈值。阈值可以是零。
图7描绘了示例中，帧内预测方向是垂直的，并且“阈值”的值为0.5，这是使用左下方参考样本的子集来导出LIC参数的结果。可以使用右上方参考样本的子集来导出帧内预测方向为水平的相同样本，用于导出LIC参数。
在一个变型，如果帧内模式为DC，则LIC始终对MH禁用。在一个变型，如果帧内模式为“平面”，则LIC始终对MH禁用。在一个变型，LIC始终对MH禁用。
2.8.第八实施例：适用于QTBT分区
图11示出了根据至少一个实施例的一般方面的示例性编码方法500。如针对示例性实施例解释的，作为跨分量线性模型(CCLM)预测模式或局部照明补偿(LIC)，所述方法500基于正在被编码的块的至少一个空间相邻模板的重构样本来确定至少一个线性模型参数。这一线性模型参数包括例如等式3或6中定义的模型的仿射系数。因此，线性模型属于包括以下各项的集合：跨分量线性模型、基于块的照明补偿线性模型、双向光流。图11的实施例是图1的编码方法实施例的特定实现方式。
在本实施例中，定义了以下变量：H(cuHeight)表示正在被处理的块的高度；W(cuWidth)表示正在被处理的块的宽度；模板中样本的总数为N，N＝2k＝NumY+NumX，其中NumY，NumX(NL NT)分别表示左侧和顶部模板中的样本数；Ystep和Xstep分别表示左侧和顶部相邻的子采样步长。
首先，在510中，方法500为在画面中正在被编码的块，确定至少一个空间相邻模板。如图10A至图10D所示，根据各种块分区，空间相邻模板401、402具有各种大小。图10A示出了正在被编码的块400是正方形块的情况，其宽度W和高度H是2的幂，例如W＝H＝32。宽度W和高度H的单位是图像样本。因此，为块400确定了重构样本的两个相邻模板401、402。顶部相邻模板401的大小是32×1个样本，而左侧相邻模板的大小是1×32个样本。本领域技术人员可以理解，取决于图像中块的位置和解码中的扫描顺序，正在被编码或解码的块具有重构像素的零个(对于图像的第一块)、具有一个(在左侧或顶部相邻)、或两个相邻模板。此外，本领域技术人员将注意到，空间相邻模板401、402包括顶部相邻样本的行401和左侧相邻样本的行402中正在被处理的块的每个相邻样本。对于具有顶部和左侧模板的一般情况下的各种实施例很容易适用于只有一个相邻模板在顶部或左侧的情况。在520中，所述方法500基于正在被编码的块的宽度和高度，为所述正在被编码的块确定对应于2的幂的至少一个空间相邻模板的重构样本的数量。因此，对于图10A的示例性情况，顶部相邻模板的重构样本的数量NumX和左侧相邻模板的重构样本的数量NumY被设置为32＝2^5。在530中，所述方法500基于所述至少一个空间相邻模板的重构样本为所述正在被编码的块确定至少一个线性模型参数。实际上，该方法在相邻样本中选择所确定的数量的样本NumX和NumY来执行产生线性模型的处理。例如，线性模型参数是等式3或等式6中定义的仿射系数，其响应于邻域中Numx和NumY重构样本的值。通过最小化正在被编码或解码的块的空间相邻模板的样本与该正在被编码或解码的块的参考块的空间相邻模板的样本之间的失真来获得基于至少一个空间相邻模板的重构样本的线性模型参数。求解最小化问题的等式中的2^5的除法可以简单地通过右移来实现。最终，在540中，所述方法500基于所确定的至少一个线性模型参数(诸如针对CCLM或LIC)，使用线性模型来对所述块进行编码。
图10A示出的一个示例中，在线性模型计算中使用的块大小、并且由此的重构样本的数量本质上是2的幂，并且对于左侧邻域和顶部邻域是相等的。因此，已知的线性模型参数的确定很好地适用于该分区。但是，图10B、图10C和图10D示出的示例中，线性模型参数的确定导致不准确的、并因此是次优的计算。
图10B示出了正在被编码的块400是高度H为3×2^N的矩形块的情况，即H＝24且W＝32。根据图13的一个实施例，顶部相邻模板的重构样本的数量NumX和左侧相邻模板的重构样本的数量NumY被设置为8＝2^3。换句话说，左侧模板的样本进行子采样以保持3个样本中的1个，即24/3＝8，顶部模板的样本进行子采样以保持4个样本中的1个，使得线性模型计算中使用的顶部相邻模板的重构样本的数量NumX与左侧相邻模板的重构样本的数量NumY相等并设置为8。
图10C示出了在正在被编码的块400是高度H为3×2^N的矩形块的情况下的另一实施例，即H＝24并且W＝32。根据图14揭示的一个实施例，将顶部相邻模板的重构样本的数量NumX和左侧相邻模板的重构样本的数量NumY设置为16＝2^4。换句话说，左侧模板的样本进行子采样以保持3个样本中的2个，即24*2/3＝16，然后，对顶部模板的样本进行子采样以保持2个样本中的1个，使得在线性模型计算中使用的顶部相邻模板的重构样本的数量NumX和左侧相邻模板的重构样本的数量NumY相等并设置为16。
图10D示出了正在被编码的块400是一个矩形块的情况，该矩形块的一个维度比另一个维度小得多，即H＝8和W＝32。根据图9所述的一个实施例，将顶部相邻模板的重构样本的数量NumX与左侧相邻模板的重构样本的数量NumY之和设置为32＝2^8。换句话说，在计算中保留左侧模板中的最小样本数，并将其数量NumY＝8从顶部模板的样本数量中移除，以使顶部模板中保留NumX＝32-8＝24个样本，使得在线性模型计算中使用的顶部相邻模板的重构样本的总数NumX＝24和左侧相邻模板的重构样本的数量NumY＝8的总和相等并设置为32。
图12示出了根据至少一个实施例的一般方面的解码方法的示例。本领域技术人员可以理解，编码方法500和解码方法700适用相同的原理。图12的实施例也是图1的实施例的特定实施方式。因此，方法600基于正在被解码的块的至少一个空间相邻模板的重构样本来确定至少一个线性模型参数。这一线性模型参数例如是等式3或等式6中所定义的模型的仿射系数。首先，在610中，该方法600为画面中正在被解码的块确定至少一个空间相邻模板，如图10A至图10D中示例实施例所述。因此，为块400确定重构样本的2个相邻模板401、402。顶部相邻模板401的大小是W×1个样本，而左侧相邻模板的大小是1×H个样本。在620中，该方法600基于正在被解码的块的宽度和高度，为正在被解码的块确定对应于2的幂的至少一个空间相邻模板的重构样本的数量。因此，对于图10A的示例性情况，将顶部相邻模板的重构样本的数量NumX和左侧相邻模板的重构样本的数量NumY设置为32＝2^5。自然地，还根据如图10B至图10D所示的各种实施例来确定顶部相邻模板的重构样本的数量NumX和左侧相邻模板的重构样本的数量NumY。在630中，该方法600基于所述至少一个空间相邻模板的重构样本为正在被解码的块确定至少一个线性模型参数。例如，基于邻域的NumX和NumY个重构样本的值，计算等式3或等式6中定义的仿射系数。对于图10A的示例性例子中等式中2^5的除法，可以简单地通过右移来实现。最后，在640中，该方法600基于所确定的至少一个线性模型参数(诸如针对CCLM或LIC)，使用线性模型对所述块进行解码。
图13示出了根据至少一个实施例的一方面，编码方法500或解码方法600中确定520、620重构样本的数量的示例性细节，特别适用于当相邻块具有至少一个3x2^N的维度的情况。本领域技术人员可以理解，这种情况的发生是考虑到QTBT中的不对称编码单元，其中宽度W或高度H或W、H两个的大小均为3x2^N。根据本实施例，模板的样本被连续地进行子采样以保持3个样本中的1个样本(NumiX，NumiY)并且在两个模板中保持相同数量(NumX，NumY)。因此，在710中，测试宽度W以检验其是否为3的倍数，W％3＝0？，其中％表示模算子。在正在被编码或解码的块的宽度是3的倍数(分支Y)，W＝3x 2^N的情况下，在730中，将所确定的顶部空间相邻模板的重构样本的数量NumiX除以3。换句话说，重构样本的数量NumiX对应于正在被处理的块的宽度除以3，NumiX＝W/3。根据一个变型，并非确定重构样本的数量NumiX，而是确定子采样步长Xstepi，Xstepi＝3。在正在被处理的块的宽度不是3的倍数(分支N)的情况下，根据所考虑的块分区，正在被处理的块的宽度是2的幂(W＝2^N)，所确定的顶部空间相邻模板的重构样本的数量NumiX保持不变，即在740中设置为W。根据子采样的变型，子采样步长Xstepi设为1，Xstepi＝1。
在720、750和760中，分别对块的高度H应用相同的过程。在720中，测试高度H以检验其是否为3的倍数。在正在被处理块的高度为3的倍数(分支Y)的情况下，则H＝3x 2^N，在750中，将所确定的左侧空间相邻模板的重构样本的数量NumiY除以3。在正在被处理块的高度H不为3的倍数(分支N)的情况下，所确定的左侧空间相邻模板的重构样本的数量NumiY保持不变，即在760中设置为H。当然，在图7中未示出的预备步骤中，检验顶部空间相邻模板和左侧空间相邻模板的存在；并且，例如，在没有因果块的情况下，通过将W或H的值设置为0，可以轻松地将该方法应用于现有的空间相邻模板。
然后在770中，将左侧空间相邻模板中的样本数量NumY和顶部空间相邻模板中的样本数量NumX归一化以在两个模板中保持相同的数量。在正在被处理的块的宽度不等于正在被处理的块的高度的情况下，将所确定的顶部空间相邻模板的重构样本的数量和所确定的左侧空间相邻模板的重构样本的数量设置为相同的值，为对应于正在被处理块的最小维度的2的幂，。本实施例中实现的是，在770中，测试中间数NumiX和NumiY，以检验在顶部和左侧邻域中是否可以使用相同数量的样本来计算线性模型参数。将所确定的顶部空间相邻模板的重构样本的数量NumX设置为中间数量NumiX和NumiY的最小值。根据子采样的变型，中间子采样步长Xstepi乘以比率NumiX/min(NumiX，NumiY)，因此Xstep＝Xstepi x NumiX/min(NumiX，NumiY)。此外，将所确定的左侧空间相邻模板的重构样本的数量NumY设置为中间数量NumiX和NumiY的最小值。根据子采样的变型，中间子采样步长Ystepi乘以比率NumiY/min(NumiX，NumiY)，因此Ystep＝Ystepi xNumiX/min(NumiX，NumiY)。子采样步长用于在编码方法的步骤530中或在解码方法的步骤630中确定用于计算的顶部模板的Xstep个样本中的1个样本或左侧模板中Ystep个样本中的一个样本来确定线性模型参数。所选样本可以沿着模板有规律地分布，或者仅保留第一个样本。样本数量的任意选择都与本原理兼容。本领域技术人员可以理解，Step和Num的值是冗余的，在本实施例中可以仅确定两个值之一。
因此，图13的实施例中将以下两个特征进行组合：对大小为3x2^N的块的归一化、以及使两个空间相邻模板中具有相同的数量的归一化。图10B示出了本实施例的一个示例。在W＝32和H＝24的情况下，在步骤740和750之后，NumiX＝32(Xstepi＝1)和NumiY＝8(Ystepi＝3)，最后在步骤770之后，NumX＝8(Xstep＝4)和NumY＝8(Ystep＝3)。
因此，本发明人已经认识到通过使用现有JEM编解码器的任何块分区来确定采样数为2的幂的若干种方式来改善线性模型参数的计算上的潜在优势。
图14示出了根据另一实施例的编码方法500或解码方法600中确定520、620重构样本的数量的示例性细节，其适用于当相邻块具有至少3x2^N的维度的情况。根据本实施例，对模板的样本进行子采样以保持3个样本中的2个样本(NumiX，NumiY)，并且在两个模板中保持相同的数量(NumX，NumY)。因此，在810中，测试宽度W以检验其是否为3的倍数，W％3＝0？，其中％表示模算子。在正在被编码或解码的块的宽度是3的倍数(分支Y)，W＝3×2^N的情况下，在830中，将所确定的顶部空间相邻模板的重构样本的数量NumiX乘以2/3。换句话说，重构样本的数量NumiX对应于正在被处理的块的宽度乘以2/3，NumiX＝2xW/3。根据子采样的变型，子采样步长Xstepi被设置为3/2。在正在被处理的块的宽度不是3的倍数(分支N)的情况下，则根据所考虑的块分区，正在被处理的块的宽度是2的幂(W＝2^N)，所确定的顶部空间相邻模板的重构样本的数量NumiX保持不变，即在840中设置为W。根据子采样的变型，子采样步长Xstepi被设置为1。
在820、850和860中，分别对块的高度H应用相同的过程。在820中，测试高度H以检验其是否为3的倍数。在正在被处理块的高度为3的倍数(分支Y)的情况下，则H＝3x 2^N，在850中，将所确定的左侧空间相邻模板的重构样本的数量NumiY乘以2/3。在正在被处理块的高度H不为3的倍数(分支N)的情况下，所确定的左侧空间相邻模板的重构样本的数量NumiY保持不变，即在860中设置为H。然后在870中，对左侧空间相邻模板中的样本的数量NumY和顶部空间相邻模板中的样本的数量NumX进行归一化，以在两个模板中保持相同的数量，如图7所述。在正在被处理的块的宽度不等于正在被处理的块的高度的情况下，将所确定的顶部空间相邻模板的重构样本的数量和所确定的左侧空间相邻模板的重构样本的数量设置为相同的值，为对应于正在被处理的块的最小维度的2的幂。本实施例中实现的是，在870中，测试中间数NumiX和NumiY，以检验在顶部和左侧邻域中是否可以使用相同数量的样本来计算线性模型参数。将所确定的顶部空间相邻模板的重构样本的数量NumX，或者左侧相邻模板的NumY设置为中间数量NumiX和NumiY的最小值。
因此，图14的实施例中将以下两个特征进行组合：对大小为3x2^N的块通过2/3进行归一化、以及使两个空间相邻模板中具有相同的数量的归一化。图4C示出了本实施例的一个示例。在W＝32和H＝24的情况下，在步骤840和850之后，NumiX＝32(Xstepi＝1)和NumiY＝16(Ystepi＝3/2)，最后在步骤870之后，NumX＝16(Xstep＝2)和NumY＝16(Ystep＝3/2)。
因此，与先前描述的实施例相比，这种实施例增加了用于线性模型参数的计算的样本数量，从而提高了模型的准确性。
图15示出了根据另一实施例的编码方法500或解码方法600中确定520、620重构样本的数量的示例性细节，其适用于相邻块具有至少非正方形维度的情况，特别是当一个维度比另一个维度大得多时。然而，本实施例还解决了由一维(最小维度)不等于2的幂的块引起的问题。本实施例不具有尺寸为3×2^N的块的归一化特征，不过当然，如图16所示，两个特征兼容。
因此，在970中，测试左侧空间相邻模板的样本数量NumX和顶部空间相邻模板中的样本数量NumY，以检验两个模板中是否存在相同数量。在正在被处理的块的宽度等于正在被处理的块的高度(分支Y)的情况下，则该块为正方形，并且将所确定的顶部空间相邻模板的重构样本的数量和所确定的左侧空间相邻模板的重构样本的数量设置为相同的值，对应于在步骤980的高度和宽度的2的幂。不需要进行子采样，将Xstep和Ystep设置为1。在正在被处理的块的宽度不等于(分支N)正在被处理的块的高度的情况下，将所确定的顶部空间相邻模板的重构样本的数量NumX和所确定的左侧空间相邻模板的重构样本的数量NumY之和设置为2的幂，对应于正在被编码或解码的块的最大维度。为此，在975中测试最大值。在块宽度大于块高度(分支Y)的情况下，在990中，将所确定的左侧空间相邻模板的重构样本的数量NumY设置为H，为块的最小维度，以及将顶部空间相邻模板的重构样本的数量NumX设置为W-H，以使NumX+NumY的和等于2的幂，对应于正在被编码或解码的块的最大维度。因此，对于子采样的变型，将Xstep设置为W/W-H(使用W个样本中的W-H个样本)，将Ystep设置为1(使用所有样本中，1个样本中的1个)。在块宽度小于块高度(分支N)的其他情况(分支N)中，在985中，将所确定的顶部空间相邻模板的重构样本的数量NumX设置为W，为块的最小维度；将左侧空间相邻模板的重构样本的数量NumY设置为H-W。因此，对于子采样的变型，将Xstep设置为1，将Ystep设置为H/H-W。
因此，图16的实施例将线性模型计算中的样本数量最大化，尤其是当宽度和高度完全不同时。如图10D的示例所示。在W＝32且H＝8的情况下，在步骤970之后，NumX＝32-8＝8且NumY＝8，而图13的实施例中，所使用的样本数量将是NumX＝NumY＝8，从而导致总共使用了16个样本，而不是本实施例中的32个。此外，应该强调的是，在本实施例中，较大维度的相邻模板被赋予相对重要的权重，例如，如2.3节所述，与NumY＝8相比，NumX＝24。由于在线性模型计算中增大了较大模板的权重，因此本实施例提高了模型的准确性。
图16示出了根据至少一个实施例的一般方面来确定重构样本的数量的方法的示例。图16实施例中将以下两个特征进行组合：对大小为3x2^N的块的归一化、以及使两个空间相邻模板中的数量之和为2的幂的归一化。
在830和850中，对模板的样本进行子采样，以保留3个样本中的2个样本(NumiX，NumiY)。因此，在810中，测试宽度W以检验其是否为3的倍数，W％3＝0？。在正在被编码或解码的块的宽度是3的倍数(分支Y)的情况下，W＝3×2^N，则在830中，将所确定的顶部空间相邻模板的重构样本的数量NumiX乘以2/3。根据子采样的变型，子采样步长Xstepi被设置为3/2。在正在被处理的块的宽度不是3的倍数(分支N)的情况下，则根据所考虑的块分区，正在被处理的块的宽度是2的幂(W＝2^N)，所确定的顶部空间相邻模板的重构样本的数量NumiX保持不变，即在1040中设置为W。根据子采样的变型，子采样步长Xstepi设置为1。在820、850和860中，分别对块的高度H应用相同的过程。
然后，在970中，测试所得的样本数量，检验是否存在较大的维度NumXi＝NumYi。在第一次正则化之后的样本数NumXi和NumYi相等(分支Y)的情况下，所确定的顶部空间相邻模板的重构样本的数量NumX和所确定的左侧空间相邻模板的重构样本的数量NumY相等，且在980中设置为2的幂。在第一次正则化之后的样本数NumXi和NumYi不相等(分支N)的情况下，所确定的顶部空间相邻模板的重构样本的数量NumX和所确定的左侧空间相邻模板的重构样本的数量NumY之和被设置为2的幂，对应于第一次正规化后模板的最大维度。为此，在975中测试最大值。当所确定的顶部空间相邻模板的重构样本的数量NumiX大于所确定的左侧空间相邻模板的重构样本的数量NumiY(分支Y)，在990中，将所确定的左侧空间相邻模板的重构样本的数量NumY设置为NumiY，并且将所确定的顶部空间相邻模板的重构样本的数量NumX设置为NumiX-NumiY，以使NumX+NumY之和等于2的幂，对应于第一次子采样后模板的最大维度。在其他情况下(分支N)，在985中，将所确定的顶部空间相邻模板的重构样本的数量NumX设置为NumiX，并且将左侧空间相邻模板的重构样本的数量NumY设置为NumiY-NumiX。
3.其他实施例和信息
本申请描述了包括工具、特征、实施例、模型、方法等的各种方面。这些方面中，多数方面进行了专门描述，以至少示出各个特征，通常以听起来可能受到限制的方式来描述。然而，这是为了清楚地描述，并不是限制这些方面的应用或范围。实际上，所有不同方面都可以组合和互换以进一步提供其他方面。此外，这些方面也可以与先前申请中所述的方面进行组合和互换。
可以通过多种不同的形式来实现本申请中描述和考虑的方面。下文中图17、图18、图19提供了一些实施例，但是也可以构想其他实施例，且图17、图18、图19的论述中不限制实施方式的范围。这些方面中的至少一个方面大体上涉及视频编码和解码，并且至少另一个方面大体上涉及传输所生成或编码的比特流。这些和其他方面可以实现为方法、设备、其上存储有用于根据所描述的任何方法对视频数据进行编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“画面”和“帧”可以互换使用。通常但并非必须地，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
本文描述了各种方法，每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非该方法的正确操作需要特定的步骤或动作顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。
本申请中描述的各种方法和其他方面可用于修改模块，例如，图17和图18所示的视频编码器100和视频解码器200中的运动补偿(170、275)、运动估计(175)、熵编码、帧内(160、260)和/或解码模块(145、230)。此外，本方面不限于VVC或HEVC，而例如可以应用于其他标准和建议书(无论是预先存在的还是将来开发的)，以及任何此类标准和建议书的扩展(包括VVC和HEVC)中。除非另外指出或在技术上被排除，否则本申请中描述的方面可以单独或组合使用。
例如，在本申请中使用各种数值。特定值是出于示例目的，并且所描述的方面不限于这些特定值。
图17示出了编码器100。可以设想该编码器100的变型。但是为了清楚起见，下面仅描述了编码器100，而没有描述所有预期的变型。
在正在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入的彩色画面进行颜色变换(例如，从RGB 4：4：4转换到YCbCr 4：2：0)，或对输入画面分量执行重新映射，以便获得对压缩更具弹性的信号分布(例如，使用颜色分量之一的直方图均衡化)。元数据可以与预处理相关联，并附加到比特流中。
在编码器100中，如下所述，通过编码器元件对画面进行编码。例如，以CU为单位对要编码的画面进行分区(102)和处理。例如，使用帧内或帧间模式对每个单元进行编码。当单元以帧内模式编码时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。该编码器决定(105)帧内模式或帧间模式中的哪一个用于对单元进行编码，并且通过例如预测模式标志表明帧内/帧间的决定。例如，通过从原始图像块中减去(110)预测块来计算预测残差。
然后，对预测残差进行变换(125)和量化(130)。对量化后的变换系数以及运动矢量和其他语法元素进行熵编码(145)以输出比特流。编码器可以跳过变换，而直接对未变换的残差信号进行量化。编码器可以绕过变换和量化两者，即，残差被直接编码而无需应用变换或量化过程。
该编码器对编码块进行解码，以为进一步的预测提供参考。对量化后的变换系数进行反量化(140)并进行逆变换(150)以解码预测残差。结合(155)解码后的预测残差和预测块，重构图像块。环内滤波器(165)被应用于重构画面以执行，例如去块/样本自适应偏移(Sample Adaptive Offset，SAO)滤波以减少编码伪像。滤波后的图像被存储在参考画面缓冲器(180)中。
图18示出了视频解码器200的框图。在该解码器200中，如下所述，由解码器元件对比特流进行解码。如图17所示，视频解码器200通常执行与编码过程相对应的解码过程。编码器100通常执行视频解码，作为编码视频数据的一部分。
特别地，解码器的输入包括可由视频编码器100生成的视频比特流。首先，对该比特流进行熵解码(230)以获得变换系数、运动矢量和其他编码信息。画面分区信息指示如何对画面进行分区。因此，解码器可以根据解码后的画面分区信息来对画面进行划分(235)。对变换系数进行反量化(240)和逆变换(250)以解码预测残差。结合(255)解码后的预测残差和预测块，来重构图像块。可以从帧内预测(260)或运动补偿预测(即帧间预测)(275)获得(270)所述预测块。环内滤波器(265)被应用于重构的图像。滤波后的图像被存储在参考画面缓冲器(280)中。
解码的画面可以进一步经历后解码处理(285)，例如，逆颜色变换(例如，从YCbCr4：2：0转换到RGB 4：4：4)或逆重新映射，即在预编码处理(101)中执行重新映射的逆过程。解码后处理可以使用在编码预处理中导出并在比特流中用信号通知的元数据。
图19示出了其中实现了各个方面和实施例的系统的示例的框图。系统1000可以体现为包括以下描述的各种组件的设备，并且被配置为执行本文中描述的一个或多个方面。这样的设备的示例包括但不限于各种电子设备，例如个人计算机、笔记本电脑、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器、和服务器等。系统1000的元件可以单独或组合地体现在单个集成电路(IC)、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理元件和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中，系统1000被配置为实现本文中描述的一个或多个方面。
系统1000包括至少一个处理器1010，该至少一个处理器1010被配置为执行其上加载的指令，以实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器，输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储设备和/或非易失性存储设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、连接的存储设备(包括可拆卸和不可拆卸的存储设备)、和/或网络可访问存储设备。
系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供编码视频或解码视频，编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可以被包括在设备中以执行编码和/或解码功能的(多个)模块。众所周知，设备可以包括编码和解码模块中一个或两个。另外，编码器/解码器模块1030可以被实现为系统1000的独立的元件，或者可以作为硬件和软件的组合并入处理器1010内，如本领域技术人员已知的。
加载到处理器1010或编码器/解码器1030上以执行本文中描述的各个方面的程序代码可以被存储在存储设备1040中，并且随后被加载到存储器1020上以正在被处理器1010执行。根据各种实施例，在执行本文中描述的过程期间，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以存储各种项目中的一个或多个。这样存储的项目可以包括但不限于输入视频、解码视频或解码视频的一部分、比特流、矩阵、变量以及对等式、公式、运算和运算逻辑进行处理得到的中间或最终结果。
在一些实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令并为编码或解码期间所需的处理提供工作存储。然而，在其他实施例中，处理设备外部的存储器(例如，处理设备可以是处理器1010或编码器/解码器模块1030)被用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在若干实施例中，外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中，诸如RAM之类的快速外部动态易失性存储器被用作视频编码和解码操作的工作存储器，例如用于MPEG-2(MPEG是指运动图像专家组(Moving PictureExperts Group)，MPEG-2也是指ISO/IEC 13818，13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码(High Efficiency Video Coding)，也称为H.265和MPEG-H第2部分)、或VVC(通用视频编码(Versatile Video Coding)，其是由联合视频专家组JVET开发的新标准)。
如框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。这种输入设备包括但不限于(i)射频(RF)部分，其接收例如广播公司通过空中传输的RF信号；(ii)组件(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或，(iv)高清多媒体接口(HDMI)输入端子。其他示例包括合成视频，图10中未示出。
在各种实施例中，框1130中的输入设备具有本领域中已知的、各个相关的输入处理元件。例如，RF部分可以与适合于以下功能的元件相关联：(i)选择所需频率(也称为选择信号，或将信号带限制在一个频带内)，(ii)下转换所选信号，(iii)再次将频带限制到较窄的频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下转换后并限制频带的信号，(v)执行纠错，以及(vi)执行解复用，以选择所需的数据包流。各种实施例的RF部分包括一个或多个执行这些功能的元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下转换器、解调器、纠错器和解复用器。RF部分可以包括执行这些各种功能的调谐器，包括例如将接收到的信号下转换为较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关的输入处理元件接收通过有线介质(例如电缆)传输的RF信号，并通过滤波、下转换和再次滤波来执行频率选择以获得预期的频带。各种实施例重新安排上述(和其他)元件的顺序，将这些元件中的一些移除掉，和/或添加执行类似或不同功能的其他元件。添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各个实施例中，RF部分包括天线。
另外，USB和/或HDMI端子可以包括相应的接口处理器，用于通过USB和/或HDMI连接方式将系统1000连接到其他电子设备。应当理解的是，例如，可以根据需要在单独的输入处理IC内或在处理器1010内实现输入处理的各个方面，例如里德-所罗门纠错(Reed-Solomon error correction)。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用后的数据流被提供给各种处理元件，包括例如处理器1010、以及与存储器和存储元件结合操作的编码器/解码器1030，以根据需要处理数据流，从而在输出设备上呈现。
可以在集成壳体内提供系统1000的各种元件。在集成壳体内，可以使用适当的连接方式，例如本领域中已知的内部总线，包括Inter-IC(I2C)总线、布线和印刷电路板等，将各种元件相互连接，并在它们之间传输数据。
系统1000包括通信接口1050，其经由通信信道1060与其他设备进行通信。通信接口1050可以包括但不限于被配置为经由通信信道1060发送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用诸如Wi-Fi网络之类的无线网络，例如IEEE 802.11(IEEE是指电气和电子工程师协会Institute of Electrical and Electronics Engineers)，将数据流传输或以其他方式提供给系统1000。这些实施例中的Wi-Fi信号在适于Wi-Fi通信的通信信道1060和通信接口1050上被接收。这些实施例的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流应用程序和其他过顶通信(over-the-top communications)。其他实施例使用机顶盒向系统1000提供流传输的数据，该机顶盒通过输入块1130的HDMI连接来传递数据。另一些实施例使用输入块1130的RF连接向系统1000提供流传输的数据。如上所述，各种实施例以非流传输方式提供数据。另外，各种实施例使用除Wi-Fi之外的无线网络，例如蜂窝网络或蓝牙网络。
系统1000可以向包括显示器1100、扬声器1110和其他外围设备1120的各种输出设备提供输出信号。各种实施例中的显示器1100包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一个或多个。显示器1100可以用于电视、平板电脑、笔记本电脑、手机(移动电话)或其他设备。显示器1100还可以与其他组件(例如，在智能电话中)集成在一起，或独立使用(例如，用于笔记本电脑的外部监视器)。在实施例的各种示例中，其他外围设备1120包括以下各项中的一项或多项：独立数字视频盘(或数字多功能盘)(两个术语均为DVR)、盘播放器、立体声系统和/或照明系统。各种实施例中使用一个或多个外围设备1120，其基于系统1000的输出来提供对应功能。例如，盘播放器执行播放系统1000的输出的功能。
在各种实施例中，通过诸如AV.Link的信令、消费电子控制(ConsumerElectronics Control，CEC)、或其他通信协议，无论有无用户干预均可启用设备到设备控制，控制信号可在该系统1000和所述显示器1100、扬声器1110或其他外围设备1120之间进行通信，而通信的进行是。输出设备可以经由各个接口1070、1080和1090通过专用连接通信地耦合至系统1000。可替换地，输出设备可以经由通信接口1050利用通信信道1060而连接至系统1000。显示器1100和扬声器1110可以与电子设备中的系统1000的其他组件集成在单个单元中，例如在电视中。在各种实施例中，显示接口1070包括显示驱动器，例如，时序控制器(timing controller，T Con)芯片。
例如，如果输入1130的RF部分是独立的机顶盒的一部分，则显示器1100和扬声器1110可替代地与一个或多个其他组件分开。在显示器1100和扬声器1110是外部组件的各种实施例中，可以经由专用输出连接来提供输出信号，该专用输出连接包括例如HDMI端口、USB端口或COMP输出。
可以通过由处理器1010实现的计算机软件或通过硬件，或者通过硬件和软件的组合来实施实施例。作为非限制性示例，实施例可以由一个或多个集成电路实现。作为非限制性示例，存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，例如光存储设备、磁存储设备、基于半导体的存储设备、固定存储器和可移动存储器。作为非限制性示例，处理器1010可以是适合技术环境的任何类型，并且可以包括微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。
各种实现涉及解码。本申请中所使用的“解码”可以涵盖例如对接收到的编码序列执行的全部或部分过程，以便产生适合于显示的最终输出。在各种实施例中，这样的过程包括通常由解码器执行的一个或多个过程，例如，熵解码、逆量化、逆变换和差分解码。在各种实施例中，这样的过程还或者可替代地包括由本申请中描述的各种实现方式中的解码器执行的过程，例如，确定用于导出局部照明补偿参数的样本，所述确定基于块的几何形状、编码模式和大小，以及通过导出参数利用局部照明补偿来确定该块的时间预测。
作为进一步的示例，在一个实施例中，“解码”仅是指熵解码，在另一实施例中，“解码”仅是指差分解码，并且在另一实施例中，“解码”是指熵解码和差分解码的组合。基于特定描述的上下文，该短语“解码过程”是旨在具体指代操作的子集还是广义上指的是更广泛的解码过程将是明显的，相信本领域技术人员会很好地理解。
各种实现涉及编码。以与上述关于“解码”的讨论类似的方式，在本申请中使用的“编码”可以涵盖例如对输入视频序列执行的全部或部分过程以便产生编码的比特流。在各种实施例中，这样的过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施例中，这样的过程还或者替代地包括由本申请中描述的各种实现方式的编码器执行的过程，例如，例如确定用于导出局部照明补偿参数的样本，所述确定基于块的几何形状、编码模式和大小，以及通过导出参数利用局部照明补偿来确定该块的时间预测。
作为进一步的示例，在一个实施例中，“编码”仅是指熵编码，在另一实施例中，“编码”仅是指差分编码，在另一实施例中，“编码”是指差分编码和熵编码的组合。基于特定描述的上下文，该短语“编码过程”是旨在具体指代操作的子集还是一般指更广泛的编码过程将是明显的，相信本领域技术人员将很好地理解。
请注意，这里使用的语法元素，例如LIC标志，是描述性术语。因此，不排除对其使用其他语法元素名称。
当附图表示为流程图时，应当理解的是，其还提供了相应设备的框图。类似地，当附图表示为框图时，应当理解的是，其还提供了相应方法/过程的流程图。
本文描述的实现方式和方面可以例如以方法或过程、设备、软件程序、数据流或信号来实现。即使仅在单一形式的实现方式中进行讨论(例如，仅作为一种方法讨论)，所讨论的特征的实现也可以以其他形式(例如，设备或程序)来实现。例如，设备可以以适当的硬件、软件和固件来实现。例如，该方法可以在处理器中实现，该处理器通常指的是处理装置，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、手机、便携式/个人数字助理(“PDA”)，以及其他有助于终端用户之间信息通信的设备。
参照“一个实施例”或“实施例”或“一种实施方式”或“实施方式”，以及它们的其他变型表达，是指结合该实施方式描述的特定特征、结构、特性等等包括在至少一个实施例中。因此，在本申请中各处出现的短语“在一个实施例中”或“在实施例中”或“在一种实施方式中”或“在实施方式中”以及任何其他变型表达不一定全部是指相同的实施例。
另外，本申请可以涉及“确定”各种信息。确定信息可以包括例如以下中的一项或多项：估计信息、计算信息、预测信息或从存储器中检索信息。
此外，本申请可以涉及“访问”各种信息。访问信息可以包括例如以下一项或多项：接收信息、(例如，从存储器中)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息、或估计信息。
另外，本申请可以涉及“接收”各种信息。与“访问”一样，接收是一个广义术语。接收信息可以包括例如访问信息或(例如，从存储器中)检索信息中的一项或多项。此外，“接收”通常以一种或另一种方式在操作过程中涉及诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估算信息。
应当理解的是，例如在“A/B”、“A和/或B”、和“A和B中的至少一个”中使用以下“/”、“和/或”、以及“至少一个”中的任何一个，旨在涵盖仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或两个选项(A和B)都选。再例如，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这种措词旨在涵盖仅选择第一列出的选项(A)，或仅选择第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一个和第二个列出的选项(A和B)，或仅选择列出第一个和第三个选项(A和C)，或者仅选择列出的第二个和第三个选项(B和C)，或者选择所有三个选项(A和B和C)。对于本领域和相关领域的普通技术人员清楚的是，这些措辞可以扩展使用，以列出的尽可能多的项目。
另外，如本文所使用的词语“信号”尤其是指向相应的解码器指示一些内容中的某些内容。例如，在特定实施例中，编码器用信号通知多个参数中的特定一个，以用于LIC的基于区域的参数选择。例如，启用/禁用LIC可以取决于区域的大小。这样，在一个实施例中，在编码器侧和解码器侧都使用相同的参数。因此，例如，编码器可以向解码器发送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其他参数，则可以使用信令而无需发送(隐式信令)以仅仅让解码器知道并选择特定参数。通过避免传输任何实际功能，在各种实施例中实现了比特节省。应当理解，可以以多种方式来完成信令(signaling)。例如，在各个实施例中，使用一个或多个语法元素、标志等等将信息用信号通知相应的解码器。尽管前面涉及单词“信号”的动词形式，但是单词“信号”在本文中也可以用作名词。
对于本领域的普通技术人员来说，明显的是，实现方式可以产生各种信号，这些信号被格式化以携带例如可以被存储或发送的信息。该信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如，可以将信号格式化以携带所述实施例中的比特流。例如，可以将这种信号格式化为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且利用编码数据流来调制载波。信号所携带的信息可以是例如模拟或数字信息。众所周知，该信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
描述了许多实施例。这些实施例的特征可以单独地或以任何组合提供，其涵盖各种权利要求类别和类型。此外，实施例可以单独地或以任意组合包括以下特征、装置、或方面中的一个或多个，其涵盖各种权利要求类别和类型：
·修改在解码器和/或编码器中应用的帧间预测过程中使用的局部照明补偿。
·修改在解码器和/或编码器中应用的帧间预测过程中使用的局部照明补偿参数的推导步骤。
·使所述确定局部照明补偿中使用的样本适应于新的编码(预测)模式。
·使所述确定本地照明补偿中使用的样本适应于CU的几何形状、编码模式和大小。
·调整LIC中使用的样本数量n，其中n＝2k，k的选取使得n是小于块宽度和块高度之和的最大整数。
·确定顶部样本集中的第一样本的相对位置的偏移，和/或确定左侧样本集中的第一样本的相对位置的偏移。
·在块的更大维度中选择更高数量的样本。
·选择使用特定编码模式或特定编码参数重构的样本。在左侧样本不可用且顶部样本不可用的情况下，在编码器或解码器中导出被设置为假的IC标志。
·在块宽度小于第一值且块宽度小于第二值的情况下，在编码或解码时导出被设置为假的IC标志。
·在进行三角形预测的情况下，编码和/或解码2个IC标志，其用于块的每个维度。
·在解码器和/或编码器中启用或禁用照明补偿方法。
·在信令语法中插入使解码器能够识别要使用的照明补偿方法的元素。
·在进行三角形预测的情况下，选择在空间上与PU三角形邻接的样本以导出LIC参数。
·根据三角形分区方向选择样本以导出LIC参数。
·在进行多重假设预测的情况下，选择在空间上与区域邻接的样本，其混合权重大于或等于用于导出LIC参数的值。
·基于这些语法元素，选择要在解码器上应用的QP预测方法。
·在解码器上应用导出LIC参数的方法。
·包含一个或多个所述语法元素或其变体的比特流或信号。
·包含用于传递根据任一所述实施例生成的信息的语法的比特流或信号。
·在信令语法中插入使解码器能够以与编码器使用的方式相对应的方式适配LIC。
·创建和/或发送和/或接收和/或解码包括一个或多个所述语法元素或其变体的比特流或信号。
·根据所述任一实施例进行创建和/或发送和/或接收和/或解码。
·根据所述任一实施例的方法、过程、装置、存储指令的介质、存储数据的介质、或信号。
·根据所述任一实施例执行LIC参数适配的电视、机顶盒、手机、平板电脑、或其他电子装置。
·根据所述任一实施例执行LIC参数适配的电视、机顶盒、手机、平板电脑、或其他电子装置，并显示(例如，使用监视器、屏幕或其他类型的显示器)所得到的图像。
·根据所述任一实施例的电视、机顶盒、手机、平板电脑、或其他电子设备，其选择(例如，使用调谐器)频道以接收包括编码图像的信号，并执行LIC参数的适配。
·根据所述任一实施例的电视、机顶盒、手机、平板电脑、或其他电子设备，通过空中接收(例如，使用天线)包括编码图像的信号，并执行LIC参数的适配。
Claims (15)
1.一种用于视频编码的方法，包括：
为画面中正在被编码的块，确定至少一个空间相邻模板；
基于所述至少一个空间相邻模板的重构样本，为所述正在被编码的块确定至少一个线性模型参数；以及
基于所确定的至少一个线性模型参数，使用线性模型对块进行编码；
其中，所述确定至少一个空间相邻模板，包括：确定所述至少一个空间相邻模板中的重构样本的数量N，对应于N＝2k，其中k的选取使得N为小于块宽度和块高度之和的最大整数。
2.一种用于视频解码的方法，包括：
为正在被解码的块，确定至少一个空间相邻模板；
基于所述至少一个空间相邻模板的重构样本，为所述正在被解码的块确定至少一个线性模型参数；以及
基于所确定的至少一个线性模型参数，使用线性模型对块进行解码；
其中，所述确定至少一个空间相邻模板，包括：确定所述至少一个空间相邻模板中的重构样本的数量N，对应于N＝2k，其中k的选取使得N为小于块宽度和块高度之和的最大整数。
3.一种用于视频编码的设备，包括：一个或多个处理器和至少一个存储器，其中，所述一个或多个处理器被配置为：
为画面中编码的块，确定至少一个空间相邻模板；
基于所述至少一个空间相邻模板的重构样本，为所述正在被编码的块确定至少一个线性模型参数；以及
基于所确定的至少一个线性模型参数，使用线性模型对块进行编码；
其中，所述一个或多个处理器还被配置为：确定所述至少一个空间相邻模板中的重构样本的数量N，对应于N＝2k，其中k的选取使得N为小于块宽度和块高度之和的最大整数。
4.一种用于视频解码的设备，包括：一个或多个处理器和至少一个存储器，其中，所述一个或多个处理器被配置为：
为正在被解码的块，确定至少一个空间相邻模板；
基于所述至少一个空间相邻模板的重构样本，为所述正在被解码的块确定至少一个线性模型参数；以及
基于所确定的至少一个线性模型参数，使用线性模型对块进行解码；
其中，所述一个或多个处理器还被配置为：确定所述至少一个空间相邻模板中的重构样本的数量N，对应于N＝2k，其中k的选取使得N为小于块宽度和块高度之和的最大整数。
5.根据权利要求1或2所述的方法或根据权利要求3或4所述的设备，其中，所述确定至少一个空间相邻模板，包括：确定所述正在被编码或解码的块的左侧相邻行的样本中的第一样本的相对位置的偏移，或确定所述正在被编码或解码的块的顶部相邻行的样本中的第一样本的相对位置的偏移。
6.根据权利要求1或2所述的方法或根据权利要求3或4所述的设备，所述至少一个空间相邻模板的重构样本的数量被设置为所述正在被编码或解码的块在较大维度上的较高的样本数量。
7.根据权利要求1或2所述的方法或根据权利要求3或4所述的设备，在左侧相邻行的重构样本不可用以及顶部相邻行的重构样本不可用的情况下，在编码或解码时隐式禁用所述线性模型。
8.根据权利要求1或2所述的方法或根据权利要求3或4所述的设备，在所述块宽度小于第一值、且在所述块高度小于第二值的情况下，在编码或解码时隐式禁用所述线性模型。
9.根据权利要求1或2所述的方法或根据权利要求3或4所述的设备，其中，所述至少一个空间相邻模板包括：在所述正在被编码或解码的块的顶部相邻行的样本之中或在所述正在被编码或解码的块的左侧相邻行的样本之中的子采样样本。
10.根据权利要求1或2所述的方法或根据权利要求3或4所述的设备，其中，所述块宽度和所述块高度中的至少一个不等于2的幂。
11.根据权利要求1或2所述的方法或根据权利要求3或4所述的设备，其中，所述块宽度和所述块高度不相等。
12.根据权利要求1或2所述的方法或根据权利要求3或4所述的设备，其中，所述线性模型属于包括以下的集合：
-跨分量线性模型；
-基于块的照明补偿线性模型；
-双向光流。
13.根据权利要求1或2所述的方法或根据权利要求3或4所述的设备，其中，通过最小化所述正在被编码或解码的块的空间相邻模板的样本和参考块的空间相邻模板的样本之间的失真，来获得基于所述至少一个空间相邻模板的重构样本的所述至少一个线性模型。
14.一种非暂时性处理器可读介质，其上存储了指令，用于使处理器执行根据权利要求1所述的用于视频编码的方法。
15.一种非暂时性处理器可读介质，其上存储了指令，用于使处理器执行根据权利要求2所述的用于视频解码的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410545325.1A CN118488192A (zh) | 2018-01-26 | 2019-01-25 | 用于视频编码和解码的方法和设备 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18305073.1 | 2018-01-26 | ||
| EP18305073.1A EP3518537A1 (en) | 2018-01-26 | 2018-01-26 | Method and apparatus for video encoding and decoding based on a linear model responsive to neighboring samples |
| EP18306779.2 | 2018-12-20 | ||
| EP18306779 | 2018-12-20 | ||
| PCT/US2019/015104 WO2019147910A1 (en) | 2018-01-26 | 2019-01-25 | Method and apparatus for video encoding and decoding based on a linear model responsive to neighboring samples |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410545325.1A Division CN118488192A (zh) | 2018-01-26 | 2019-01-25 | 用于视频编码和解码的方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111630856A true CN111630856A (zh) | 2020-09-04 |
| CN111630856B CN111630856B (zh) | 2024-05-07 |
Family
ID=65269131
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980009774.1A Active CN111630856B (zh) | 2018-01-26 | 2019-01-25 | 基于响应于相邻样本的线性模型进行视频编码和解码的方法和设备 |
| CN202410545325.1A Pending CN118488192A (zh) | 2018-01-26 | 2019-01-25 | 用于视频编码和解码的方法和设备 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410545325.1A Pending CN118488192A (zh) | 2018-01-26 | 2019-01-25 | 用于视频编码和解码的方法和设备 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11722694B2 (zh) |
| EP (1) | EP3744092A1 (zh) |
| JP (2) | JP7299221B2 (zh) |
| CN (2) | CN111630856B (zh) |
| MX (2) | MX2020007868A (zh) |
| WO (1) | WO2019147910A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113824961A (zh) * | 2021-11-22 | 2021-12-21 | 康达洲际医疗器械有限公司 | 一种可适用于vvc编码标准的帧间图像编码方法与系统 |
| CN115988206A (zh) * | 2023-03-21 | 2023-04-18 | 深圳传音控股股份有限公司 | 图像处理方法、处理设备及存储介质 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020116402A1 (ja) * | 2018-12-04 | 2020-06-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法、および復号方法 |
| KR20210096672A (ko) * | 2018-12-07 | 2021-08-05 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 교차-컴포넌트 선형 모델 파라미터들의 계산을 위한 견고성을 향상시키기 위한 인코더, 디코더 및 방법들 |
| CA3113787C (en) * | 2018-12-25 | 2024-02-13 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Decoding prediction method, apparatus and computer storage medium which use reference samples adjacent to at least one side of decoding block |
| MX2021008468A (es) * | 2019-01-14 | 2021-08-19 | Interdigital Vc Holdings Inc | Metodo y aparato para codificacion y decodificacion de video con flujo optico bi-direccional adaptado a prediccion ponderada. |
| US11290726B2 (en) | 2019-02-07 | 2022-03-29 | Qualcomm Incorporated | Inter-intra prediction mode for video data |
| KR20210124241A (ko) | 2019-02-08 | 2021-10-14 | 인터디지털 브이씨 홀딩스 인코포레이티드 | 조명 보상을 이용한 픽처 인코딩 및 디코딩을 위한 방법 및 디바이스 |
| CN116248891A (zh) * | 2019-03-14 | 2023-06-09 | 华为技术有限公司 | 帧间预测的方法及相关装置 |
| EP3942823A4 (en) | 2019-03-18 | 2023-04-05 | Tencent America LLC | VIDEO CODING METHOD AND APPARATUS |
| WO2020262370A1 (ja) * | 2019-06-24 | 2020-12-30 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| EP4336839A3 (en) * | 2019-06-25 | 2024-04-10 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image component prediction method and device, and computer storage medium |
| CN110446044B (zh) * | 2019-08-21 | 2022-08-09 | 浙江大华技术股份有限公司 | 线性模型预测方法、装置、编码器及存储装置 |
| WO2021037277A1 (en) | 2019-09-01 | 2021-03-04 | Beijing Bytedance Network Technology Co., Ltd. | Rules for video coding using geometric partitioning mode |
| CN114424537A (zh) * | 2019-09-05 | 2022-04-29 | 夏普株式会社 | 在视频编码中用于执行帧间预测编码的系统和方法 |
| WO2021051047A1 (en) | 2019-09-14 | 2021-03-18 | Bytedance Inc. | Chroma quantization parameter in video coding |
| WO2021057751A1 (en) * | 2019-09-23 | 2021-04-01 | Beijing Bytedance Network Technology Co., Ltd. | Setting intra-block copy virtual buffer based on virtual pipeline data unit |
| WO2021068920A1 (en) | 2019-10-10 | 2021-04-15 | Beijing Bytedance Network Technology Co., Ltd. | Use of non-rectangular partitions in video coding |
| WO2021076475A1 (en) * | 2019-10-14 | 2021-04-22 | Bytedance Inc. | Joint coding of chroma residual and filtering in video processing |
| US11575909B2 (en) * | 2020-04-07 | 2023-02-07 | Tencent America LLC | Method and apparatus for video coding |
| JP7550892B2 (ja) * | 2020-07-01 | 2024-09-13 | グーグル エルエルシー | 暗黙的モデルを伴うインターイントラ予測 |
| US11689715B2 (en) * | 2020-09-28 | 2023-06-27 | Tencent America LLC | Non-directional intra prediction for L-shape partitions |
| KR20240134343A (ko) * | 2022-01-04 | 2024-09-09 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
| US20230224474A1 (en) * | 2022-01-12 | 2023-07-13 | Tencent America LLC | Adjustment based local illumination compensation |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120287995A1 (en) * | 2011-05-12 | 2012-11-15 | Madhukar Budagavi | Luma-Based Chroma Intra-Prediction for Video Coding |
| US20130188703A1 (en) * | 2012-01-19 | 2013-07-25 | Futurewei Technologies, Inc. | Reference Pixel Reduction for Intra LM Prediction |
| EP3148190A1 (en) * | 2015-09-25 | 2017-03-29 | Thomson Licensing | Method and apparatus for intra prediction in video encoding and decoding |
| US20170150183A1 (en) * | 2015-11-25 | 2017-05-25 | Qualcomm Incorporated | Modification of transform coefficients for non-square transform units in video coding |
| CN107409209A (zh) * | 2015-03-20 | 2017-11-28 | 高通股份有限公司 | 用于线性模型预测模式的降取样处理 |
| WO2017214420A1 (en) * | 2016-06-08 | 2017-12-14 | Qualcomm Incorporated | Implicit coding of reference line index used in intra prediction |
| CN107534780A (zh) * | 2015-02-25 | 2018-01-02 | 瑞典爱立信有限公司 | 视频中的帧间画面的编码和解码 |
| CN109792529A (zh) * | 2016-09-22 | 2019-05-21 | Lg 电子株式会社 | 图像编译系统中的基于照度补偿的间预测方法和设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016115981A1 (en) | 2015-01-22 | 2016-07-28 | Mediatek Singapore Pte. Ltd. | Method of video coding for chroma components |
| WO2016154963A1 (en) * | 2015-04-01 | 2016-10-06 | Mediatek Inc. | Methods for chroma coding in video codec |
| WO2017201141A1 (en) * | 2016-05-17 | 2017-11-23 | Arris Enterprises Llc | Template matching for jvet intra prediction |
| US20180199062A1 (en) * | 2017-01-11 | 2018-07-12 | Qualcomm Incorporated | Intra prediction techniques for video coding |
| JP2021016016A (ja) * | 2017-10-20 | 2021-02-12 | シャープ株式会社 | 動画像符号化装置及び動画像復号装置 |
| US11290743B2 (en) | 2018-12-08 | 2022-03-29 | Qualcomm Incorporated | Interaction of illumination compensation with inter-prediction |
-
2019
- 2019-01-25 CN CN201980009774.1A patent/CN111630856B/zh active Active
- 2019-01-25 JP JP2020534494A patent/JP7299221B2/ja active Active
- 2019-01-25 WO PCT/US2019/015104 patent/WO2019147910A1/en unknown
- 2019-01-25 MX MX2020007868A patent/MX2020007868A/es unknown
- 2019-01-25 US US16/963,451 patent/US11722694B2/en active Active
- 2019-01-25 CN CN202410545325.1A patent/CN118488192A/zh active Pending
- 2019-01-25 EP EP19702799.8A patent/EP3744092A1/en active Pending
-
2020
- 2020-07-24 MX MX2024005464A patent/MX2024005464A/es unknown
-
2023
- 2023-06-13 US US18/209,087 patent/US20230345043A1/en active Pending
- 2023-06-15 JP JP2023098170A patent/JP7526857B2/ja active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120287995A1 (en) * | 2011-05-12 | 2012-11-15 | Madhukar Budagavi | Luma-Based Chroma Intra-Prediction for Video Coding |
| US20130188703A1 (en) * | 2012-01-19 | 2013-07-25 | Futurewei Technologies, Inc. | Reference Pixel Reduction for Intra LM Prediction |
| CN104380741A (zh) * | 2012-01-19 | 2015-02-25 | 华为技术有限公司 | 用于lm帧内预测的参考像素缩减 |
| CN107534780A (zh) * | 2015-02-25 | 2018-01-02 | 瑞典爱立信有限公司 | 视频中的帧间画面的编码和解码 |
| CN107409209A (zh) * | 2015-03-20 | 2017-11-28 | 高通股份有限公司 | 用于线性模型预测模式的降取样处理 |
| EP3148190A1 (en) * | 2015-09-25 | 2017-03-29 | Thomson Licensing | Method and apparatus for intra prediction in video encoding and decoding |
| US20170150183A1 (en) * | 2015-11-25 | 2017-05-25 | Qualcomm Incorporated | Modification of transform coefficients for non-square transform units in video coding |
| WO2017091759A1 (en) * | 2015-11-25 | 2017-06-01 | Qualcomm Incorporated | Linear-model prediction with non-square prediction units in video coding |
| WO2017214420A1 (en) * | 2016-06-08 | 2017-12-14 | Qualcomm Incorporated | Implicit coding of reference line index used in intra prediction |
| CN109792529A (zh) * | 2016-09-22 | 2019-05-21 | Lg 电子株式会社 | 图像编译系统中的基于照度补偿的间预测方法和设备 |
Non-Patent Citations (1)
| Title |
|---|
| KEI KAWAMURA: "AHG5: CU based chroma intra prediction with reduced reference", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 13TH MEETING: INCHEON, KR, 18–26 APR. 2013》, pages 1 - 5 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113824961A (zh) * | 2021-11-22 | 2021-12-21 | 康达洲际医疗器械有限公司 | 一种可适用于vvc编码标准的帧间图像编码方法与系统 |
| CN113824961B (zh) * | 2021-11-22 | 2022-03-29 | 康达洲际医疗器械有限公司 | 一种可适用于vvc编码标准的帧间图像编码方法与系统 |
| CN115988206A (zh) * | 2023-03-21 | 2023-04-18 | 深圳传音控股股份有限公司 | 图像处理方法、处理设备及存储介质 |
| CN115988206B (zh) * | 2023-03-21 | 2024-03-26 | 深圳传音控股股份有限公司 | 图像处理方法、处理设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019147910A1 (en) | 2019-08-01 |
| CN111630856B (zh) | 2024-05-07 |
| JP2021511698A (ja) | 2021-05-06 |
| US20230345043A1 (en) | 2023-10-26 |
| EP3744092A1 (en) | 2020-12-02 |
| US20210051342A1 (en) | 2021-02-18 |
| JP7526857B2 (ja) | 2024-08-01 |
| CN118488192A (zh) | 2024-08-13 |
| JP7299221B2 (ja) | 2023-06-27 |
| MX2020007868A (es) | 2020-09-07 |
| US11722694B2 (en) | 2023-08-08 |
| MX2024005464A (es) | 2024-05-22 |
| JP2023130359A (ja) | 2023-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111630856B (zh) | 基于响应于相邻样本的线性模型进行视频编码和解码的方法和设备 | |
| US20220038684A1 (en) | Multi-reference line intra prediction and most probable mode | |
| CN112889287B (zh) | 广义双向预测和加权预测 | |
| CN113545056A (zh) | 用于图片编码和解码的方法及设备 | |
| CN116195254A (zh) | 用于通用视频编码的模板匹配预测 | |
| CN113557730A (zh) | 用于利用基于子块的局部光照补偿的视频编码和解码方法和装置 | |
| CN112740674B (zh) | 使用双预测进行视频编码和解码的方法和装置 | |
| CN113170113B (zh) | 用于视频编码和解码的三角形和多重假设组合 | |
| CN112771874B (zh) | 用于画面编码和解码的方法和设备 | |
| KR20230104895A (ko) | 기하학적 파티션을 사용한 인트라 예측 | |
| CN117597933A (zh) | 空间局部光照补偿 | |
| CN113170135A (zh) | 用于图片编码和解码的方法及设备 | |
| CN112425162A (zh) | 宽角帧内预测和位置依赖性帧内预测组合 | |
| CN113875253A (zh) | 用于利用光流基于边界平滑的运动补偿进行视频编码和解码的方法和装置 | |
| EP3641311A1 (en) | Encoding and decoding methods and apparatus | |
| CN113170153B (zh) | 基于二元树初始化当前图片参考块矢量 | |
| CN114930819A (zh) | 三角形合并模式中的子块合并候选 | |
| CN114097235A (zh) | 用于仿射和sbtmvp运动矢量预测模式的hmvc | |
| CN118140481A (zh) | 利用isp模式对基于模版的帧内模式推导（timd）进行扩展 | |
| CN114586348A (zh) | 可切换的插值滤波器 | |
| CN118120231A (zh) | 改善解码器侧帧内模式导出中的角度离散化 | |
| WO2024208639A1 (en) | Weighted planar and dc modes for intra prediction | |
| CN114073093A (zh) | 三角形分割的合并索引的信令通知 | |
| CN114270829A (zh) | 局部照明补偿标志继承 | |
| KR20230162634A (ko) | 비디오 인코딩 및 디코딩을 위한 템플릿 매칭 예측 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |