CN112425173A - 视频编码器、视频解码器及相应的编解码方法 - Google Patents

视频编码器、视频解码器及相应的编解码方法 Download PDF

Info

Publication number
CN112425173A
CN112425173A CN201980047780.6A CN201980047780A CN112425173A CN 112425173 A CN112425173 A CN 112425173A CN 201980047780 A CN201980047780 A CN 201980047780A CN 112425173 A CN112425173 A CN 112425173A
Authority
CN
China
Prior art keywords
luma
samples
downsampled
neighboring
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980047780.6A
Other languages
English (en)
Inventor
马祥
赵寅
杨海涛
陈建乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202211027871.3A priority Critical patent/CN115941942B/zh
Publication of CN112425173A publication Critical patent/CN112425173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Analogue/Digital Conversion (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)

Abstract

本文描述了线性模型预测模式的技术。根据N个重建的相邻亮度样本和与所述N个重建的相邻亮度样本对应的N个重建的相邻色度样本，以及M个重建的相邻亮度样本和与所述M个重建的相邻亮度样本对应的M个重建的相邻色度样本，确定两对亮度值和色度值。所述N个重建的相邻亮度样本的最小值不小于所述重建的相邻亮度样本的集合的剩余重建的相邻亮度样本的亮度值。所述M个重建的相邻亮度样本的最大值不大于所述重建的相邻亮度样本的集合的剩余重建的相邻亮度样本的亮度值。M和N为正整数且大于1。基于所述两对亮度值和色度值确定一个或多个线性模型参数，基于所述一个或多个线性模型参数确定预测块。

Description

视频编码器、视频解码器及相应的编解码方法
相关申请案交叉申请
本专利申请要求于2018年7月16日递交的美国临时专利申请62/698,924和于2018年7月17日递交的美国临时专利申请62/698,991的在先申请优先权，所述专利申请以引用的方式并入本文。
技术领域
本发明实施例大体涉及视频数据编码和解码技术，尤其涉及使用跨分量线性模型(cross-component linear model，简称CCLM)进行帧内预测的技术。
背景技术
自从数字多功能光盘(digital versatile disc，简称DVD)问世以来数字视频就得到了广泛的应用。除了使用DVD分发视频节目之外，现在还可以使用有线计算机网络(例如互联网)或无线通信网络传输视频节目。在使用传输介质传输视频数据之前，对视频进行编码。观看者接收所述编码视频，使用观看设备对所述视频进行解码并播放。近年来，由于分辨率、色度和帧率的提高，视频的质量得到了改善。传输的视频数据质量的提高导致了更大的数据流，现在更大的数据流通常通过互联网和移动通信网络传输。
更高分辨率的视频通常需要更多的带宽，因为它们承载更多的信息。为了降低带宽需求，引入了涉及视频压缩的视频编码方案。当对视频进行编码时，与未编码视频相比，带宽需求(或存储时对应的内存需求)减少。这种减少往往是以质量为代价的。因此，视频编码标准在努力寻求带宽需求和质量之间的平衡。
由于不断需要提高质量和降低带宽需求，因此不断寻求能够降低带宽需求并保持质量的解决方案，或者在保持带宽需求的同时提高质量的解决方案。有时，两者之间的妥协是可以接受的。例如，如果质量改善显著，则增加带宽需求是可以接受的。
高效视频编码(high efficiency video coding，简称HEVC)是众所周知的视频编码方案。在HEVC中，编码单元(coding unit，简称CU)被划分为多个预测单元(predictionunit，简称PU)或变换单元(transform unit，简称TU)。下一代视频编码标准，即多功能视频编码(versatile video coding，简称VVC)标准，是国际电联电信标准化部门(International Communication Union Telecommunication Standardization Sector，简称ITU-T)视频编码专家组(Video Coding Experts Group，简称VCEG)和国际标准化组织/国际电工委员会(International Organization for Standardization/International Electrotechnical Commission，简称ISO/IEC)运动图像专家组(MovingPicture Experts Group，简称MPEG)的最新联合视频编码项目。这两个标准化组织正在一个称为联合视频探索小组(Joint Video Exploration Team，简称JVET)的伙伴关系中合作。VVC标准也称为ITU-T H.266标准或下一代视频编码(Next Generation Video Coding，简称NGVC)标准。在VVC标准中，删除多种划分方式(即CU、PU和TU概念的分离)的概念，但对于最大变换长度具有太大尺寸的CU需要除外，并且VVC能更灵活地支持CU划分形状。
发明内容
本申请实施例提供了一种视频数据的编解码装置和方法。特别地，通过帧内预测使用亮度样本预测色度样本作为视频编码机制的一部分，可以灵活地实现使用跨分量线性模型的帧内预测编码。
在所附的独立权利要求中概述了特定实施例，在从属权利要求中描述了其它实施例。
第一方面，本发明涉及一种视频数据解码方法。所述方法包括：
确定与色度块对应的亮度块；
确定下采样重建的相邻亮度样本的集合，其中，所述下采样重建的相邻亮度样本的集合包括在所述亮度块上方的多个下采样重建的亮度样本，和/或在所述亮度块左侧的多个下采样重建的亮度样本；
当具有最大值的N个下采样重建的亮度样本和/或具有最小值的M个下采样重建的亮度样本包含在所述下采样重建的相邻亮度样本的集合中时，根据具有最大值的所述N个下采样重建的亮度样本和与具有最大亮度值的所述N个下采样重建的亮度样本对应的N个重建的色度样本，和/或具有最小亮度值的所述M个下采样重建的亮度样本和与具有最小值的所述M个下采样亮度样本对应的M个重建的色度样本，确定两对亮度值和色度值，其中M和N为正整数且大于1；
基于所述确定的两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块对所述色度块进行线性模型(linear model，简称LM)预测解码，其中，所述线性模型LM预测包括跨分量线性模型预测、多方向线性模型(multi-directionallinear model，简称MDLM)和MMLM。
根据第一方面，在所述方法的一种可能的实现方式中，所述下采样重建的相邻亮度样本的集合还包括：
位于所述亮度块外部的右上相邻亮度样本和位于所述亮度块外部的所述右上相邻亮度样本的右侧的亮度样本；和
位于所述亮度块外部的左下相邻亮度样本和位于所述亮度块外部的所述左下相邻亮度样本的下方的亮度样本。
根据第一方面或第一方面的任一前述实现方式，在所述方法的一种可能的实现方式中，在所述亮度块上方的所述多个重建的亮度样本是与相应的上边界相邻的重建的相邻亮度样本，在所述亮度块左侧的所述多个重建的亮度样本是与相应的左边界相邻的重建的相邻亮度样本。
根据第一方面或第一方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述(下采样)重建的相邻亮度样本的集合不包括所述亮度块外部的左上相邻亮度样本的上方的亮度样本，和/或所述亮度块外部的所述左上相邻亮度样本的左侧亮度样本。
根据第一方面或第一方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述亮度块的所述左上亮度样本的坐标为(x0，y0)，所述(下采样)重建的相邻亮度样本的集合不包括x坐标小于x0且y坐标小于y0的亮度样本。
根据第一方面或第一方面的任一前述实现方式，在所述方法的一种可能的实现方式中，当具有最大值的所述N个下采样重建的亮度样本和/或具有最小值的所述M个下采样重建的亮度样本包含在所述下采样重建的相邻亮度样本的集合中时，所述确定两对亮度值和色度值的步骤包括：
基于多个第一对亮度值和色度值的每对的色度值与多个第二对亮度值和色度值的每对的色度值之间的色度值差值，确定(或选择)两对亮度值和色度值，其中，所述多个第一对亮度值和色度值的每对包括具有最大值的N个下采样重建的亮度样本和对应的重建的相邻色度样本中的一个，所述多个第二对亮度值和色度值中的每对包括具有最小值的M个下采样重建的亮度样本和对应的重建的相邻色度样本中的一个。
根据第一方面或第一方面的任一前述实现方式，在所述方法的一种可能的实现方式中，最小色度值差值为第一对亮度值和色度值的色度值与第二对亮度值和色度值的色度值之间的差值，具有最小色度值差值的所述第一对亮度值和色度值和所述第二对亮度值和色度值选择为所述两对亮度值和色度值；或
最大色度值差值为第三对亮度值和色度值的色度值与第四对亮度值和色度值的色度值之间的差值，具有最大色度值差值的所述第三对亮度值和色度值与所述第四对亮度值和色度值选择为所述两对亮度值和色度值。例如，所述第一对亮度值和色度值包括在所述多个第一对亮度值和色度值中，例如，所述第二对亮度值和色度值包括在所述多个第二对亮度值和色度值中。例如，所述第三对亮度值和色度值包括在所述多个第一对亮度值和色度值中，例如，所述第四对亮度值和色度值包括在所述多个第二对亮度值和色度值中。
根据第一方面或第一方面的任一前述实现方式，在所述方法的一种可能的实现方式中，当具有最大值的所述N个下采样重建的亮度样本和/或具有最小值的所述M个下采样重建的亮度样本包含在所述下采样重建的相邻亮度样本的集合中时，所述确定两对亮度值和色度值的步骤包括：
将第五对亮度值和色度值以及第六对亮度值和色度值确定为所述两对亮度值和色度值；
其中，所述第五对亮度值和色度值的对应色度值为与具有最大值的所述N个下采样重建的亮度样本对应的所述N个重建的色度样本的平均色度值，所述第六对亮度值和色度值的对应色度值为与具有最小值的所述M个下采样重建的亮度样本对应的所述M个重建的色度样本的平均色度值。所述第五对亮度值和色度值的亮度值为具有最大值的所述N个下采样重建的亮度样本中的每个的亮度值。所述第六对亮度值和色度值的亮度值为具有最小值的所述M个下采样重建的亮度样本中的每个的亮度值。
根据第一方面或第一方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述下采样重建的相邻亮度样本的集合包括下采样重建的相邻亮度样本的第一集合和下采样重建的相邻亮度样本的第二集合，其中，所述下采样重建的相邻亮度样本的第一集合包括亮度值小于或等于阈值的下采样重建的相邻亮度样本；所述下采样重建的相邻亮度样本的第二集合包括亮度值大于所述阈值的下采样重建的相邻亮度样本。
根据第一方面或第一方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述基于所述预测块对所述色度块进行LM预测解码包括：将所述预测块添加到残差块中以重建所述色度块。
根据第一方面或第一方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述方法还包括：
对包括所述亮度块和所述色度块的当前块的标记进行解码，其中，所述标记指示对所述色度块启用LM预测编码，其中，对所述标记进行解码包括基于包括一个或多个标记的上下文对所述标记进行解码，所述一个或多个标记指示是否对相邻块启用LM预测编码。
第二方面，本发明涉及一种视频数据解码方法，所述方法包括：
确定与色度块对应的亮度块；
确定(下采样)重建的相邻亮度样本的集合，其中，所述(下采样)重建的相邻亮度样本的集合包括在所述亮度块上方的多个(下采样)重建的亮度样本，和/或在所述亮度块左侧的多个(下采样)重建的亮度样本；
根据N个(下采样)重建的亮度样本和与所述N个(下采样)重建的亮度样本对应的N个重建的色度样本，和/或M个(下采样)重建的亮度样本和与所述M个(下采样)亮度样本对应的M个重建的色度样本，确定两对亮度值和色度值，其中，所述N个(下采样)重建的亮度样本的最小值不小于所述(下采样)重建的相邻亮度样本的集合的剩余(下采样)重建的亮度样本的亮度值，所述M个(下采样)重建的亮度样本的最大值不大于所述下采样重建的相邻亮度样本的集合的剩余(下采样)重建的亮度样本的亮度值，M和N为正整数且大于1。换言之，所述N个下采样重建的亮度样本中的任一个的亮度值大于所述M个下采样重建的亮度样本中的任一个的亮度值，N和M的和等于或小于所述下采样重建的相邻亮度样本的集合中的个数。
基于所述确定的两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块对所述色度块进行线性模型(linear model，简称LM)预测解码。
根据第二方面，在所述方法的一种可能的实现方式中，所述确定两对亮度值和色度值的步骤包括：
将第七对亮度值和色度值以及第八对亮度值和色度值确定为所述两对亮度值和色度值；
其中，所述第七对亮度值和色度值的亮度值为所述N个(下采样)重建的亮度样本的平均亮度值，所述第七对亮度值和色度值的色度值为与所述N个(下采样)重建的亮度样本对应的所述N个重建的色度样本的平均色度值；所述第八对亮度值和色度值的亮度值为所述M个(下采样)重建的亮度样本的平均亮度值，所述第八对亮度值和色度值的色度值为与所述M个(下采样)重建的亮度样本对应的所述M个重建的色度样本的平均色度值。
根据第二方面或者第二方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述确定两对亮度值和色度值的步骤包括：
将第九对亮度值和色度值以及第十对亮度值和色度值确定为所述两对亮度值和色度值；
其中，所述第九对亮度值和色度值的亮度值为第一亮度值范围内的所述N个(下采样)重建的亮度样本的平均亮度值，所述第九对亮度值和色度值的色度值为与所述第一亮度值范围内的所述N个(下采样)重建的亮度样本对应的所述N个重建的色度样本的平均色度值；以及
所述第十对亮度值和色度值的亮度值为第二亮度值范围内的所述M个(下采样)重建的亮度样本的平均亮度值，所述第十对亮度值和色度值的色度值为与所述第二亮度值范围内的所述M个(下采样)重建的亮度样本对应的所述M个重建的色度样本的平均色度值；其中，所述第一亮度值范围的任意一个值大于所述第二亮度值范围的任意一个值。
根据第二方面或第二方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述第一亮度值在[MaxlumaValue-T1，MaxlumaValue]的范围内；和/或，所述第二亮度值在[MinlumaValue，MinlumaValue+T2]的范围内。
其中，MaxLumaValue和MinLumaValue分别表示在所述下采样重建的相邻亮度样本的集合中的最大亮度值和最小亮度值，T1和T2为预定义的阈值。
根据第二方面或第二方面的任一前述实现方式，在所述方法的一种可能的实现方式中，M和N相等或不相等。
根据第二方面或第二方面的任一前述实现方式，在所述方法的一种可能的实现方式中，M和N基于所述亮度块的块大小定义。
根据第二方面或第二方面的任一前述实现方式，在所述方法的一种可能的实现方式中，M＝(W+H)>>t，N＝(W+H)>>r，其中，t和r为右移位比特的数量。
根据第二方面或第二方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述下采样重建的相邻亮度样本的集合还包括：
位于所述亮度块外部的右上相邻亮度样本和位于所述亮度块外部的所述右上相邻亮度样本的右侧的亮度样本；和
位于所述亮度块外部的左下相邻亮度样本和位于所述亮度块外部的所述左下相邻亮度样本的下方的亮度样本。
根据第二方面或第二方面的任一前述实现方式，在所述方法的一种可能的实现方式中，在所述亮度块上方的所述多个重建的亮度样本是与相应的上边界相邻的重建的相邻亮度样本，在所述亮度块左侧的所述多个重建的亮度样本是与相应的左边界相邻的重建的相邻亮度样本。
根据第二方面或第二方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述(下采样)重建的相邻亮度样本的集合不包括所述亮度块外部的左上相邻亮度样本的上方的亮度样本，和/或所述亮度块外部的所述左上相邻亮度样本的左侧亮度样本。
根据第二方面或第二方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述亮度块的所述左上亮度样本的坐标为(x0，y0)，所述(下采样)重建的相邻亮度样本的集合不包括x坐标小于x0且y坐标小于y0的亮度样本。
根据第二方面或第二方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述下采样重建的相邻亮度样本的集合包括下采样重建的相邻亮度样本的第一集合和下采样重建的相邻亮度样本的第二集合，其中，所述下采样重建的相邻亮度样本的第一集合包括亮度值小于或等于阈值的下采样重建的相邻亮度样本；所述下采样重建的相邻亮度样本的第二集合包括亮度值大于所述阈值的下采样重建的相邻亮度样本。
第三方面，本发明涉及一种视频数据解码设备，所述设备包括：
视频数据存储器；和
视频解码器，其中所述视频解码器用于：
确定与色度块对应的亮度块；
确定(下采样)重建的相邻亮度样本的集合，其中，所述(下采样)重建的相邻亮度样本的集合包括在所述亮度块上方的多个(下采样)重建的亮度样本，和/或在所述亮度块左侧的多个(下采样)重建的亮度样本；
当具有最大值的N个下采样重建的亮度样本和/或具有最小值的M个下采样重建的亮度样本包含在所述下采样重建的相邻亮度样本的集合中时，根据具有最大值的所述N个下采样重建的亮度样本和与具有最大值的所述N个下采样重建的亮度样本对应的N个重建的色度样本，和/或具有最小值的所述M个下采样重建的亮度样本和与具有最小值的所述M个下采样亮度样本对应的M个重建的色度样本，确定两对亮度值和色度值，其中M和N为正整数且大于1；
基于所述确定的两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块对所述色度块进行线性模型(linear model，简称LM)预测解码。
根据第三方面，在所述方法的一种可能的实现方式中，所述下采样重建的相邻亮度样本的集合还包括：
位于所述亮度块外部的右上相邻亮度样本和位于所述亮度块外部的所述右上相邻亮度样本的右侧的亮度样本；和
位于所述亮度块外部的左下相邻亮度样本和位于所述亮度块外部的所述左下相邻亮度样本的下方的亮度样本。
根据第三方面或第三方面的任一前述实现方式，在所述方法的一种可能的实现方式中，在所述亮度块上方的所述多个重建的亮度样本是与相应的上边界相邻的重建的相邻亮度样本，在所述亮度块左侧的所述多个重建的亮度样本是与相应的左边界相邻的重建的相邻亮度样本。
根据第三方面或第三方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述(下采样)重建的相邻亮度样本的集合不包括所述亮度块外部的左上相邻亮度样本的上方的亮度样本，和/或所述亮度块外部的所述左上相邻亮度样本的左侧亮度样本。
根据第三方面或第三方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述亮度块的所述左上亮度样本的坐标为(x0，y0)，所述(下采样)重建的相邻亮度样本的集合不包括x坐标小于x0且y坐标小于y0的亮度样本。
根据第三方面或第三方面的任一前述实现方式，在所述方法的一种可能的实现方式中，当具有最大值的所述N个下采样重建的亮度样本和/或具有最小值的所述M个下采样重建的亮度样本包含在所述下采样重建的相邻亮度样本的集合中时，为了确定两对亮度值和色度值，所述视频解码器用于：
基于多个第一对亮度值和色度值的每对的色度值与多个第二对亮度值和色度值的每对的色度值之间的色度值差值，确定(或选择)两对亮度值和色度值，其中，所述多个第一对亮度值和色度值的每对包括具有最大值的N个下采样重建的亮度样本和对应的重建的相邻色度样本中的一个，所述多个第二对亮度值和色度值中的每对包括具有最小值的M个下采样重建的亮度样本和对应的重建的相邻色度样本中的一个。
根据第三方面或第三方面的任一前述实现方式，在所述方法的一种可能的实现方式中，最小色度值差值为第一对亮度值和色度值的色度值与第二对亮度值和色度值的色度值之间的差值，具有最小色度值差值的所述第一对亮度值和色度值和所述第二对亮度值和色度值选择为所述两对亮度值和色度值；或
最大色度值差值为第三对亮度值和色度值的色度值与第四对亮度值和色度值的色度值之间的差值，具有最大色度值差值的所述第三对亮度值和色度值与所述第四对亮度值和色度值选择为所述两对亮度值和色度值。例如，所述第一对亮度值和色度值包括在所述多个第一对亮度值和色度值中，例如，所述第二对亮度值和色度值包括在所述多个第二对亮度值和色度值中。例如，所述第三对亮度值和色度值包括在所述多个第一对亮度值和色度值中，例如，所述第四对亮度值和色度值包括在所述多个第二对亮度值和色度值中。
根据第三方面或第三方面的任一前述实现方式，在所述方法的一种可能的实现方式中，当具有最大值的所述N个下采样重建的亮度样本和/或具有最小值的所述M个下采样重建的亮度样本包含在所述下采样重建的相邻亮度样本的集合中时，为了确定两对亮度值和色度值，所述视频解码器用于：
将第五对亮度值和色度值以及第六对亮度值和色度值确定为所述两对亮度值和色度值；
其中，所述第五对亮度值和色度值的对应色度值为具有最大值的所述N个下采样的重建的亮度样本的平均色度值，所述第六对亮度值和色度值的对应色度值为具有最小值的所述M个下采样的重建的亮度样本的平均色度值，所述第五对亮度值和色度值的亮度值为具有最大值的所述N个下采样重建的亮度样本中每一个的亮度值；所述第六对亮度值和色度值的亮度值为具有最小值的所述M个下采样重建的亮度样本中每一个的亮度值。
根据第三方面或第三方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述下采样重建的相邻亮度样本的集合包括下采样重建的相邻亮度样本的第一集合和下采样重建的相邻亮度样本的第二集合，其中，所述下采样重建的相邻亮度样本的第一集合包括亮度值小于或等于阈值的下采样重建的相邻亮度样本；所述下采样重建的相邻亮度样本的第二集合包括亮度值大于所述阈值的下采样重建的相邻亮度样本。
根据第三方面或第三方面的任一前述实现方式，在所述方法的一种可能的实现方式中，为了基于所述预测块对所述色度块进行LM预测解码，所述视频解码器用于：将所述预测块添加到残差块中以重建所述色度块。
根据第三方面或第三方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述视频解码器用于：
对包括所述亮度块和所述色度块的当前块的标记进行解码，其中，所述标记指示对所述色度块启用LM预测编码，其中，对所述标记进行解码包括基于包括一个或多个标记的上下文对所述标记进行解码，所述一个或多个标记指示是否对相邻块启用LM预测编码。
第四方面，本发明涉及一种视频数据解码设备，所述设备包括：
视频数据存储器和视频解码器；
其中，所述视频解码器用于：
确定与色度块对应的亮度块；
确定(下采样)重建的相邻亮度样本的集合，其中，所述(下采样)重建的相邻亮度样本的集合包括在所述亮度块上方的多个(下采样)重建的亮度样本，和/或在所述亮度块左侧的多个(下采样)重建的亮度样本；
根据N个(下采样)重建的亮度样本和与所述N个(下采样)重建的亮度样本对应的N个重建的色度样本，和/或M个(下采样)重建的亮度样本和与所述M个(下采样)亮度样本对应的M个重建的色度样本，确定两对亮度值和色度值，其中，所述N个(下采样)重建的亮度样本的最小值不小于所述(下采样)重建的相邻亮度样本的集合的剩余(下采样)重建的亮度样本的亮度值，所述M个(下采样)重建的亮度样本的最大值不大于所述下采样重建的相邻亮度样本的集合的剩余(下采样)重建的亮度样本的亮度值，M和N为正整数且大于1。换言之，所述N个下采样重建的亮度样本中的任一个的亮度值大于所述M个下采样重建的亮度样本中的任一个的亮度值，N和M的和等于或小于所述下采样重建的相邻亮度样本的集合中的个数；
基于所述确定的两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块对所述色度块进行线性模型(linear model，简称LM)预测解码。
根据第四方面，在所述方法的一种可能的实现方式中，为了确定两对亮度值和色度值，所述视频解码器用于：
将第七对亮度值和色度值以及第八对亮度值和色度值确定为所述两对亮度值和色度值；
所述第七对亮度值和色度值的亮度值为所述N个(下采样)重建的亮度样本的平均亮度值，所述第七对亮度值和色度值的色度值为与所述N个(下采样)重建的亮度样本对应的所述N个重建的色度样本的平均色度值；以及
所述第八对亮度值和色度值的亮度值为所述M个(下采样)重建的亮度样本的平均亮度值，所述第八对亮度值和色度值的色度值为与所述M个(下采样)重建的亮度样本对应的所述M个重建的色度样本的平均色度值。
根据第四方面或第四方面的任一前述实现方式，在所述方法的一种可能的实现方式中，为了确定两对亮度值和色度值，所述视频解码器用于：
将第九对亮度值和色度值以及第十对亮度值和色度值确定为所述两对亮度值和色度值；
其中，所述第九对亮度值和色度值的亮度值为第一亮度值范围内的所述N个(下采样)重建的亮度样本的平均亮度值，所述第九对亮度值和色度值的色度值为与所述第一亮度值范围内的所述N个(下采样)重建的亮度样本对应的所述N个重建的色度样本的平均色度值；以及
所述第十对亮度值和色度值的亮度值为第二亮度值范围内的所述M个(下采样)重建的亮度样本的平均亮度值，所述第十对亮度值和色度值的色度值为与所述第二亮度值范围内的所述M个(下采样)重建的亮度样本对应的所述M个重建的色度样本的平均色度值；其中，所述第一亮度值范围的任意一个值大于所述第二亮度值范围的任意一个值。
根据第四方面或第四方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述第一亮度值在[MaxlumaValue-T1，MaxlumaValue]的范围内；和/或，所述第二亮度值在[MinlumaValue，MinlumaValue+T2]的范围内，其中，MaxlumaValue和MinlumaValue分别为所述下采样重建的相邻亮度样本的集合中的最大亮度值和最小亮度值，T1和T2为预定义的阈值。
根据第四方面或第四方面的任一前述实现方式，在所述方法的一种可能的实现方式中，M和N相等或不相等。
根据第四方面或第四方面的任一前述实现方式，在所述方法的一种可能的实现方式中，M和N基于所述亮度块的块大小定义。
根据第四方面或第四方面的任一前述实现方式，在所述方法的一种可能的实现方式中，M＝(W+H)>>t，N＝(W+H)>>r，其中，t和r为右移位比特的数量。
根据第四方面或第四方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述下采样重建的相邻亮度样本的集合还包括：
位于所述亮度块外部的右上相邻亮度样本和位于所述亮度块外部的所述右上相邻亮度样本的右侧的亮度样本；和
位于所述亮度块外部的左下相邻亮度样本和位于所述亮度块外部的所述左下相邻亮度样本的下方的亮度样本。
根据第四方面或第四方面的任一前述实现方式，在所述方法的一种可能的实现方式中，在所述亮度块上方的所述多个重建的亮度样本是与相应的上边界相邻的重建的相邻亮度样本，在所述亮度块左侧的所述多个重建的亮度样本是与相应的左边界相邻的重建的相邻亮度样本。
根据第四方面或第四方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述(下采样)重建的相邻亮度样本的集合不包括所述亮度块外部的左上相邻亮度样本的上方的亮度样本，和/或所述亮度块外部的所述左上相邻亮度样本的左侧亮度样本。
根据第四方面或第四方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述亮度块的所述左上亮度样本的坐标为(x0，y0)，所述(下采样)重建的相邻亮度样本的集合不包括x坐标小于x0且y坐标小于y0的亮度样本。
根据第四方面或第四方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述下采样重建的相邻亮度样本的集合包括下采样重建的相邻亮度样本的第一集合和下采样重建的相邻亮度样本的第二集合，其中，所述下采样重建的相邻亮度样本的第一集合包括亮度值小于或等于阈值的下采样重建的相邻亮度样本；所述下采样重建的相邻亮度样本的第二集合包括亮度值大于所述阈值的下采样重建的相邻亮度样本。
根据第四方面或第四方面的任一前述实现方式，在所述方法的一种可能的实现方式中，为了基于所述预测块对所述色度块进行LM预测解码，所述视频解码器用于：将所述预测块添加到残差块中以重建所述色度块。
根据第四方面或第四方面的任一前述实现方式，在所述方法的一种可能的实现方式中，所述视频解码器用于：
对包括所述亮度块和所述色度块的当前块的标记进行解码，其中，所述标记指示对所述色度块启用LM预测编码，其中，对所述标记进行解码包括基于包括一个或多个标记的上下文所述标记进行解码，所述一个或多个标记指示是否对相邻块启用LM预测编码。
根据本发明第一方面所述的方法可以由根据本发明第三方面所述的装置执行。根据本发明第三方面的所述装置的进一步特征和实现方式与根据本发明第一方面的所述方法的特征和实现方式相对应。
根据本发明第二方面所述的方法可以由根据本发明第四方面所述的装置执行。根据本发明第四方面的所述装置的进一步特征和实现方式与根据本发明第二方面的所述方法的特征和实现方式相对应。
第五方面，本发明涉及一种视频数据编码方法，所述方法包括：
确定与色度块对应的亮度块；
确定下采样重建的相邻亮度样本的集合，其中，所述下采样重建的相邻亮度样本的集合包括在所述亮度块上方的多个下采样重建的亮度样本，和/或在所述亮度块左侧的多个下采样重建的亮度样本；
当具有最大亮度值的N个下采样重建的亮度样本和/或具有最小亮度值的M个下采样重建的亮度样本包含在所述下采样重建的相邻亮度样本的集合中时，根据具有最大值的所述N个下采样重建的亮度样本和与具有最大亮度值的所述N个下采样重建的亮度样本对应的N个重建的色度样本，和/或具有最小值的所述M个下采样重建的亮度样本和与具有最小亮度值的所述M个下采样亮度样本对应的M个重建的色度样本，确定两对亮度值和色度值，其中M和N为正整数且大于1；
基于所述确定的两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块对所述色度块进行线性模型(linear model，简称LM)预测编码。
第六方面，本发明涉及一种视频数据编码方法，所述方法包括：
确定与色度块对应的亮度块；
确定(下采样)重建的相邻亮度样本的集合，其中，所述(下采样)重建的相邻亮度样本的集合包括在所述亮度块上方的多个(下采样)重建的亮度样本，和/或在所述亮度块左侧的多个(下采样)重建的亮度样本；
根据N个(下采样)重建的亮度样本和与所述N个(下采样)重建的亮度样本对应的N个重建的色度样本，和/或M个(下采样)重建的亮度样本和与所述M个(下采样)亮度样本对应的M个重建的色度样本，确定两对亮度值和色度值，其中，所述N个(下采样)重建的亮度样本的最小值不小于所述(下采样)重建的相邻亮度样本的集合的剩余(下采样)重建的亮度样本的亮度值，所述M个(下采样)重建的亮度样本的最大值不大于所述下采样重建的相邻亮度样本的集合的剩余(下采样)重建的亮度样本的亮度值，M和N为正整数且大于1。换言之，所述N个下采样重建的亮度样本中的任一个的亮度值大于所述M个下采样重建的亮度样本中的任一个的亮度值，N和M的和等于或小于所述下采样重建的相邻亮度样本的集合中的个数。
基于所述确定的两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块对所述色度块进行线性模型(linear model，简称LM)预测编码。
第七方面，本发明涉及一种视频数据编码设备，所述设备包括：
视频数据存储器；和
视频编码器，其中所述视频编码器用于：
确定与色度块对应的亮度块；
确定下采样重建的相邻亮度样本的集合，其中，所述下采样重建的相邻亮度样本的集合包括在所述亮度块上方的多个下采样重建的亮度样本，和/或在所述亮度块左侧的多个下采样重建的亮度样本；
当具有最大值的N个下采样重建的亮度样本和/或具有最小值的M个下采样重建的亮度样本包含在所述下采样重建的相邻亮度样本的集合中时，根据具有最大值的所述N个下采样重建的亮度样本和与具有最大值的所述N个下采样重建的亮度样本对应的N个重建的色度样本，和/或具有最小值的所述M个下采样重建的亮度样本和与具有最小值的所述M个下采样亮度样本对应的M个重建的色度样本，确定两对亮度值和色度值，其中M和N为正整数且大于1；
基于所述确定的两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块对所述色度块进行线性模型(linear model，简称LM)预测编码。
第八方面，本发明涉及一种视频数据编码设备，所述设备包括：
视频数据存储器；和
视频编码器，其中所述视频编码器用于：
确定与色度块对应的亮度块；
确定(下采样)重建的相邻亮度样本的集合，其中，所述(下采样)重建的相邻亮度样本的集合包括在所述亮度块上方的多个(下采样)重建的亮度样本，和/或在所述亮度块左侧的多个(下采样)重建的亮度样本；
根据N个(下采样)重建的亮度样本和与所述N个(下采样)重建的亮度样本对应的N个重建的色度样本，和/或M个(下采样)重建的亮度样本和与所述M个(下采样)亮度样本对应的M个重建的色度样本，确定两对亮度值和色度值，其中，所述N个(下采样)重建的亮度样本的最小值不小于所述(下采样)重建的相邻亮度样本的集合的剩余(下采样)重建的亮度样本的亮度值，所述M个(下采样)重建的亮度样本的最大值不大于所述下采样重建的相邻亮度样本的集合的剩余(下采样)重建的亮度样本的亮度值，M和N为正整数且大于1；
基于所述确定的两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块对所述色度块进行线性模型(linear model，简称LM)预测编码。
根据前述任一方面的所述编码装置还可以由根据前述相应方面或其实现方式的所述编码方法的特征进行扩展，从而推导根据前述任一方面的所述编码装置的进一步的实现方式。
根据前述任一方面的所述编码方法还可以由根据前述相应方面或其实现方式的所述解码方法的特征进行扩展，从而推导根据前述任一方面的所述编码方法的进一步的实现方式。
一种存储指令的计算机可读介质，当所述指令在处理器上执行时，使得所述处理器执行根据前述任一方面或前述任一方面的任一前述实现方式的任一方法。
提供了一种解码装置，包括模块/单元/组件/电路，用于执行根据前述任一方面或前述任一方面的任一前述实现方式的方法的至少一部分步骤。
提供了一种解码装置，包括存储指令的存储器；处理器，与所述存储器耦合，所述处理器用于执行所述存储器中存储的指令，以使所述处理器执行根据前述任一方面或前述任一方面的任一前述实现方式的方法。
提供了一种计算机可读存储介质，其上记录有程序；其中，所述程序使得所述计算机执行根据前述任一方面或前述任一方面的任一前述实现方式的方法。
提供了一种计算机程序，用于使计算机执行根据前述任一方面或前述任一方面的任一前述实现方式的方法。
为表述清楚，任何一个前述实施例都可以与任何一个或多个其它前述实施例结合以创建新的实施例，且落在本发明的保护范围内。
通过以下结合附图和权利要求的详细描述，这些以及其它特征将会被更清楚地理解。
附图说明
下面对描述本申请实施例所使用的附图进行简要说明。
图1A是可以实现本发明实施例的视频数据编码系统的框图；
图1B是可以实现本发明实施例的另一视频数据编码系统的框图；
图2是可以实现本发明实施例的视频数据编码器的框图；
图3是可以实现本发明实施例的视频数据解码器的框图；
图4是本发明实施例提供的视频编码设备的示意图；
图5是可以实现本发明各个实施例的视频数据编码装置的简要框图；
图6是H.265/HEVC的帧内预测模式的图示；
图7是参考样本的图示；
图8是示出亮度和色度样本的标称垂直和水平相对位置的概念图；
图9，包括图9A和图9B，是一种跨分量线性模型(cross-component linear model，简称CCLM)帧内预测的示例性机制的示意图，图9A示出了共位的亮度块的相邻重建像素的示例，图9B示出了色度块的相邻重建像素的示例；
图10是示出用于生成预测块的亮度块的下采样样本的亮度位置和色度位置的示例的概念图；
图11是示出用于生成预测块的亮度块的下采样样本的亮度位置和色度位置的另一示例的概念图；
图12-15是说明进行下采样以支持跨分量帧内预测的示例性机制的示意图；
图16是最小和最大亮度值之间的直线的图示；
图17是跨分量帧内预测_A(CCIP_A)模式的图示；
图18是跨分量帧内预测_L(CCIP_L)模式的图示；
图19是示出了确定线性模型参数以支持多模CCLM(multiple model CCLM，简称MMLM)帧内预测的示例性机制的图；
图20是示出使用相邻上侧和左侧样本支持跨分量帧内预测的示例性机制的示意图；
图21是示出使用扩展样本支持跨分量帧内预测的示例性机制的示意图；
图22是本发明一些实施例提供的跨分量线性模型(cross-component linearmodel，简称CCLM)预测方法的流程图；
图23是本发明实施例提供的使用跨分量线性模型(cross-component linearmodel，简称CCLM)预测的视频数据解码方法的流程图；
图24是本发明实施例提供的使用跨分量线性模型(cross-component linearmodel，简称CCLM)预测的视频数据编码方法的流程图；
图25是本发明另一实施例提供的使用跨分量线性模型(cross-component linearmodel，简称CCLM)预测的视频数据解码方法的流程图；
图26是本发明另一实施例提供的使用跨分量线性模型(cross-component linearmodel，简称CCLM)预测的视频数据编码方法的示例性流程图。
在各附图中，相同或功能对等的特征采用相同的图例标号。
具体实施方式
首先应理解，尽管下文提供一项或多项实施例的说明性实施方案，但所公开的系统和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本发明决不应限于下文所说明的说明性实施方案、附图和技术，包括本文所说明并描述的示例性设计和实施方案，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。
图1A是可以实现本发明实施例的视频数据编码系统的框图。如图1A所示，编码系统10包括提供编码视频数据的源设备12，以及对所述编码设备12提供的编码视频数据进行解码的目的设备14。特别地，所述源设备12可以通过传输介质16向所述目的设备14提供视频数据。所述源设备12和所述目的设备14可以是各种电子设备中的任一种，例如台式电脑、笔记本电脑(即手提电脑)、平板电脑、机顶盒、蜂窝电话手机(即“智能”电话)、电视、摄像机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备等。某些情况下，可配备源设备12与目的设备14进行无线通讯。
所述目的设备14可以通过所述传输介质16接收所述编码视频数据。所述传输介质16可以是能够将所述编码视频数据从所述源设备12传输到所述目的设备14的任何类型的介质或设备。在一个示例中，所述传输介质16可以是使所述源设备12能够实时直接向所述目的设备14传输编码视频数据的通信介质。所述编码视频数据可以按照无线通信协议等通信标准进行调制，调制后的所述编码视频数据传输给所述目的设备14。所述通信介质可以是任何无线或有线通信介质，例如射频(radio frequency，简称RF)频谱波或一条或多条物理传输线。该通讯介质可构成分组网络(如局域网、广域网、或如互联网的全球网络)的一部分。该通讯介质可包括路由器、交换机、基站、或任何其它便于所述源设备12到所述目的设备14间通信的设备。
在所述源设备12中，编码数据可以从输出接口22输出到存储设备(图1A中未示出)。类似地，编码数据可以由所述目的设备14的输入接口28从所述存储设备访问。所述存储设备可以包括各种分布式或本地访问的数据存储介质中的任一种，例如硬盘驱动器、蓝光光盘、数字视频磁盘(digital video disk，简称DVD)、只读光盘(Compact Disc Read-Only Memory，简称CD-ROM)、闪存、易失性或非易失性存储器，或者用于存储编码视频数据的任何其它合适的数字存储介质。
在又一示例中，所述存储设备可以对应文件服务器或其它可以存储所述源设备12生成的编码视频的中间存储设备。所述目的设备14可以通过流媒体或下载从存储设备访问存储的视频数据。所述文件服务器可以是能够存储编码视频数据并向所述目的设备14传输所述编码视频数据的任何类型的服务器。示例性文件服务器包括Web服务器(例如，用于网站)、文件传输协议(file transfer protocol，简称FTP)服务器、网络附加存储(networkattached storage，简称NAS)设备或本地磁盘驱动器。所述目的设备14可通过包括互联网连接的任一标准数据连接获得编码视频数据。标准数据连接可包括无线信道(例如，Wi-Fi连接)，有线连接(例如，数字用户线路(digital subscriber line，简称DSL)、光缆调制解调器等)，或适于访问文件服务器上存储的编码视频数据的无线信道与有线连接的组合。来自所述存储设备的已编码视频数据的传输可以是流式传输，下载传输，或是流式传输与下载传输的组合。
本发明的技术不局限于无线应用或设置。该技术可应用于支持任一种以下多媒体应用的视频编码：如，无线电视广播、有线电视传输、卫星电视传输、因特网流视频传输，如基于HTTP的动态自适应流(dynamic adaptive streaming over HTTP，简称DASH)；编码至数据存储介质的数字视频、存储在数据存储介质上的数字视频的解码；或其它应用。在一些示例中，所述编码系统10可用于支持单向或双向视频传输来支持视频流、视频播放、视频广播和/或视频电话等应用。
在图1A的示例中，所述源设备12包括视频源18、视频编码器20和输出接口22。所述目的设备14包括输入接口28、视频解码器30和显示设备32。根据本发明，所述源设备12的所述视频编码器20和/或所述目的设备14的所述视频解码器30可用于应用双向预测技术。在其它示例中，所述源设备12和所述目的设备14可以包括其它组件或布置。例如，所述源设备12可接收来自外部视频源，如外部摄像头的视频数据。同样，所述目的设备14可与外部显示设备通过接口连接，而不包括集成的显示设备。
图1A所示的编码系统10仅仅是一个例子。双向预测的方法可以由任何数字视频编码或解码设备执行。本发明的技术一般由视频编码设备使用，也可由视频编码器/解码器(通常指编解码器)使用。进一步地，本发明的技术也可由视频预处理器使用。所述视频编码器和/或所述视频解码器可以是图形处理单元(graphics processing unit，简称GPU)或类似设备。
所述源设备12和所述目的设备14仅仅是在视频数据编码系统中编码/解码设备的示例，其中，所述源设备12生成用于传输到所述目的设备14的编码视频数据。在一些示例中，所述源设备12和所述目的设备14可以以基本上对称的方式工作，所述源设备12和所述目的设备14中的每一个包括视频编码和解码组件。因此，所述编码系统10可支持视频设备12与14间的单向或双向视频传输，例如视频流、视频播放、视频广播和/或视频电话。
所述源设备12的所述视频源18可包括视频捕获设备，如摄像机、包括之前捕获视频的视频档案和/或接收视频内容提供者的视频的视频馈送接口。可选地，所述视频源18可产生基于计算机绘图的数据，如源视频，或实况视频、存档视频以及计算机产生的视频的组合。
在某些情况下，当所述视频源18是录像机时，所述源设备12和所述目的设备14可组成所谓的拍照手机或可视电话。然而如上所述，本发明描述的技术一般可适用于视频编码，并可应用于无线和/或有线应用。在每种情况下，捕获、预捕获或计算机生成的视频可以由所述视频编码器20进行编码。然后，编码视频信息可以由所述输出接口22输出到所述传输介质16。
所述传输介质16可包括瞬时介质，如无线广播或有线网络传输，或存储介质(即，非瞬时性存储介质)，如硬盘、闪存盘、光盘、数字视频光盘、蓝光光盘或其它计算机可读介质。在一些示例中，网络服务器(图中未显示)可接收来自所述源设备12的编码视频数据，并可通过例如网络传输向所述目的设备14提供编码视频数据。类似地，介质生产设备的计算设备，如光盘刻印设备，可接收来自所述源设备12的编码视频数据并可生产包含编码视频数据的光盘。因此，可理解的是，在各种示例中，所述传输介质16包括一个或多个各种形式的计算机可读介质。
所述目的设备14的所述输入接口28从所述传输介质16接收信息。所述传输介质16的信息可以包括所述视频编码器20定义的语法信息，所述信息也被所述视频解码器30使用，所述语法信息包括描述块和其它编码单元的特征和/或处理的语法元素，例如图像组(group of picture，简称GOP)。所述显示设备32向用户显示已解码的视频数据，并可包括如下各种显示设备中的任一设备，如阴极射线管(cathode ray tube，简称CRT)、液晶显示器(liquid crystal display，简称LCD)、等离子显示器、有机发光二极管(organic lightemitting diode，简称OLED)显示器或其它类型的显示设备。
所述视频编码器20和所述视频解码器30可根据视频编码标准(如正在研发的高效视频编码(High Efficiency Video Coding，简称HEVC)标准等)工作，也可以符合HEVC测试模型(HEVC Test Model，简称HM)的标准。或者，所述视频编码器20和所述视频解码器30可以根据其它专有或行业标准运行，例如国际电联电信标准化部门(InternationalTelecommunications Union Telecommunication Standardization Sector，简称ITU-T)H.264标准，或者称为运动图像专家组(Motion Picture Expert Group，简称MPEG)-4，第10部分，高级视频编码(Advanced Video Coding，简称AVC)，H.265/HEVC，或者这些标准的扩展。然而，本发明提供的技术不限定于任一特定的编码标准。视频编码标准的其它示例包括MPEG-2和ITU-T H.263。尽管图1A中未示出，但在一些方面，所述视频编码器20和所述视频解码器30可以分别与音频编码器和解码器集成，并且可以包括适当的复用器-解复用器(multiplexer-demultiplexer，简称MUX-DEMUX)单元或其它硬件和软件，以处理公共数据流或单独数据流中的音频和视频的编码。若适用，MUX-DEMUX单元可遵照ITU H.223复用协议或其它协议，如用户数据报协议(user datagram protocol，简称UDP)。
所述视频编码器20和所述视频解码器30可以分别实现为各种合适的编码器电路中的任意一种，如一个或多个微处理器、数字信号处理器(digital signal processor，简称DSP)、专用集成电路(application specific integrated circuit，简称ASIC)、现场可编程门阵列(field programmable gate array，简称FPGA)、分立逻辑、软件、硬件、固件或其任一组合。当软件实现了部分技术时，设备可存储针对合适的非瞬时性计算机可读介质中的软件的指令，并通过由一个或多个处理器执行本发明的技术来执行硬件中的指令。所述视频编码器20和所述视频解码器30可分别包含在一个或多个编码器或解码器内，并可分别在各设备中集成为组合编码/解码器(CODEC)的一部分。包括所述视频编码器20和/或所述视频解码器30的设备可以是集成电路、微处理器和/或无线通讯设备，如蜂窝式电话。
图1B是示例性视频编码系统40的框图，其包括所述视频编码器20和/或所述解码器30。如图1B所示，所述视频编码系统40可以包括一个或多个成像设备41、视频编码器20、视频解码器30、天线42、一个或多个处理器43、一个或多个内存存储器44，还可以包括显示设备45。
如图所示，所述成像设备41、所述天线42、所述处理电路46、所述视频编码器20、所述视频解码器30、所述处理器43、所述内存存储器44和所述显示设备45可以彼此通信。尽管所述视频编码器20和所述视频解码器30均示出，但在各种示例中，所述视频编码系统40可以仅包括所述视频编码器20或仅包括所述视频解码器30。
在一些示例中，所述视频编码系统40的所述天线42可用于发送或接收视频数据的编码位流。此外，在一些示例中，所述视频编码系统40的所述显示设备45可以用于呈现视频数据。在一些示例中，所述视频编码系统40的所述处理电路46可以通过处理单元实现。所述处理单元可以包括专用集成电路(application-specific integrated circuit，简称ASIC)逻辑、图形处理器或通用处理器等。所述视频编码系统40还可以包括可选处理器43，其类似地可以包括专用集成电路(application-specific integrated circuit，简称ASIC)逻辑、图形处理器、通用处理器等。在一些示例中，所述处理电路46可以通过硬件或视频编码专用硬件等实现。此外，所述内存存储器44可以是任何类型的存储器，例如易失性存储器(例如，静态随机存取存储器(Static Random Access Memory，简称SRAM)、动态随机存取存储器(Dynamic Random Access Memory，简称DRAM)等)或非易失性存储器(如闪存等)等等。在一个示例中，内存存储器44可以由缓存存储器实现。在一些示例中，所述处理电路46可以访问所述内存存储器44(例如，用于实现图像缓冲区)。在其它示例中，所述处理电路46可以包括内存存储器(例如，缓存等)，用于实现图像缓冲区等。
在一些示例中，通过处理电路实现的所述视频编码器20可以体现结合图2和/或本文所述的任何其它编码器系统或子系统所讨论的各种模块。所述处理电路可以用于执行本文所讨论的各种操作。
所述视频解码器30可采用与通过所述处理电路46实现的方式相似的方式实现，以体现结合图3的所述解码器30和/或本文所述的任何其它解码器系统或子系统所讨论的各种模块。
在一些示例中，所述视频编码系统40的所述天线42可用于接收视频数据的编码位流。所述编码位流可以包括与视频帧编码相关的数据和指标等。所述视频编码系统40还可以包括耦合到所述天线42的视频解码器30，用于对编码后的位流进行解码。所述显示设备45用于呈现视频帧。
图2是示出可以实现本申请技术的视频编码器20的示例的框图。视频编码器20可在视频切片内执行视频块帧内和帧间编码。帧内编码依赖于空间预测来减少或去除给定视频帧或图像中的视频的空间冗余。帧间编码依赖于时间预测来减少或去除视频序列的相邻帧或图像中的视频的时间冗余。帧内模式(I模式)可指若干个基于空间的编码模式中的任一个模式。帧间模式，如单向预测(P模式)或双向预测(B模式)，可指几个基于时间的编码模式中的任一个模式。
如图2所示，视频编码器20接收待编码的视频帧内当前视频块。在图2的示例中，视频编码器20包括模式选择单元40、参考帧存储器64、加法器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40，依次包括运动补偿单元44、运动估计单元42、帧内预测单元46和划分单元48。对于视频块重建，视频编码器20还包括反量化单元58、反变换单元60和加法器62。还可以包括解块滤波器(图2中未示出)，用于过滤块边界以去除重建视频中的块状伪影。如果需要，解块滤波器通常过滤加法器62的输出。除解块滤波器之外，还可以使用附加滤波器(在环路内或在环路后)。为了简洁，这些滤波器并未示出，但若需要，可过滤加法器50(其作为环内滤波器)的输出。
在编码过程中，视频编码器20接收待编码的视频帧或切片。帧或切片可分成多个视频块。运动估计单元42和运动补偿单元44对与一个或多个参考帧中的一个或多个块相对的接收的视频块进行帧间预测编码，以提供时间预测。帧内预测单元46也可对与同一帧或切片中的一个或多个相邻块相对的接收的视频块(作为待编码的块)进行帧内预测编码，以提供空间预测。视频编码器20可执行多个编码过程，例如，为视频数据的每个块选择一个合适的编码模式。
进一步地，基于之前编码过程中的划分方案的评估，划分单元48可将视频数据的块划分为子块。例如，划分单元48最初可将帧或切片分为最大编码单元(largest codingunit，简称LCU)，并基于率失真分析(如，率失真优化)将每个LCU划分为子编码单元(sub-coding unit，简称sub-CU)。模式选择单元40可进一步产生四叉树数据结构，其表示将LCU划分为sub-CU。四叉树的叶节点CU可包括一个或多个预测单元(prediction unit，简称PU)以及一个或多个变换单元(transform unit，简称TU)。
在本发明中，术语“块”用于指在HEVC上下文中的编码单元(coding unit，简称CU)、预测单元(prediction unit，简称PU)或变换单元(transform unit，简称TU)中的任一种，或者在其它标准上下文中的类似数据结构(例如，H.264/AVC中的宏块及其子块)。CU包括与编码节点关联的编码节点、PU和TU。CU的大小对应编码节点的大小，其是矩形形状。CU的大小范围是8x8像素到64x64像素或更大像素的树块的大小。每个CU可包括一个或多个PU以及一个或多个TU。与CU相关的语法数据可能描述了，例如，如何将CU划分为一个或多个PU。划分模式会随着CU是进行跳跃模式还是直接模式编码，帧内预测模式编码还是帧间预测模式编码的不同而不同。PU可以是非方形划分。关于CU的语法数据也可描述，例如，如何根据四叉树将CU划分为一个或多个TU。在一实施例中，CU、PU或TU的形状可以是正方形或非正方形(例如，矩形)。
模式选择单元40可选择编码模式中的一个，例如，基于错误结果的帧内编码模式或帧间编码模式，并向加法器50提供产生的帧内编码或帧间编码块，以产生残差块数据，并向加法器62提供产生的帧内编码或帧间编码块，以重建用作参考帧的编码块。模式选择单元40也向熵编码单元56提供语法元素，如运动矢量、帧内模式指标、划分信息，以及其它该种语法信息。
运动估计单元42和运动补偿单元44可以是高度集成的，对其分别进行了解释以理解其概念。运动估计单元42执行的运动估计是一个产生运动矢量的过程，其估计视频块的运动。例如，运动矢量可指当前视频帧或图像中的视频块的PU相对于参考帧(或其它编码单元)中的预测块的位移，或运动矢量可指当前视频帧或图像中的视频块的PU相对于所述当前帧(或其它编码单元)中已编码块的位移。就像素差而言，预测块是非常接近待编码的块，且像素差可由绝对差异和(sum of absolute difference，简称SAD)、平方差总和(sum ofsquare difference，简称SSD)或其它差量度量确定。在一些示例中，视频编码器20可以计算存储在参考帧存储器64中的参考图像的子整数像素位置的值。例如，视频编码器20可以插值参考图像的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可进行相对于全像素位置和分数像素位置的运动搜索并输出带有分数像素精度的运动矢量。
通过比较PU的位置和参考图像的预测块的位置，运动估计单元42计算帧间编码切片中视频块的PU的运动矢量。所述参考图像可以从第一参考图像队列(例如，队列0)或第二参考图像队列(例如，队列1)中选择，每个参考图像标识存储在参考帧存储器64中的一个或多个参考图像。运动估计单元42将计算出的运动矢量发送至熵编码单元56和运动补偿单元44。
运动补偿单元44执行的运动补偿可以涉及基于运动估计单元42确定的运动矢量获取或生成预测块。同样，在一些示例中，运动估计单元42和运动补偿单元44可以在功能上集成。运动补偿单元44接收到当前视频块的PU的运动矢量后，可定位运动矢量在参考图像队列中的一个队列中所指向的预测块的位置。通过用已编码的当前视频块的像素值减去预测块的像素值，加法器50产生了残差视频块，形成了像素差值，如下将进行描述。一般情况下，运动估计单元42执行相对亮度分量的运动估计，运动补偿单元44将基于亮度分量计算的运动矢量用于色度分量与亮度分量。模式选择单元40也可产生与视频块和视频切片关联的语法元素，其中，视频块和视频切片用于视频解码器30解码视频切片的视频块。
帧内预测单元46可帧内预测当前块，替代如上所述的运动估计单元42与运动补偿单元44执行的帧间预测。帧内预测单元46尤其可确定帧内预测模式以用于编码当前块。在一些示例中，例如，在各自的编码过程中，帧内预测单元46可通过各种帧内预测模式编码当前块，且帧内预测单元46(或一些示例中的模式选择单元40)可从测试模式中选择要使用的合适的帧内预测模式。
例如，帧内预测单元46可通过各种测试帧内预测模式的率失真分析计算率失真值，且可从测试模式中选择有最优率失真特征的帧内预测模式。率失真分析一般确定了编码块和初始未编码块间的失真(或错误)量，未编码块用于编码以产生编码块，以及用于产生编码块的比特率(即，比特数)。帧内预测单元46可计算各种编码块的失真与各种编码块的率的比值，以确定哪个帧内预测模式展示出块的最优率失真的值。
另外，帧内预测单元46可用于通过深度建模模式(depth modeling mode，简称DMM)编码深度图的深度块。模式选择单元40可判断可用的DMM模式是否会通过例如率失真优化(rate-distortion optimization，简称RDO)产生比帧内预测模式以及其它DMM模式更好的编码结果。深度图对应的纹理图像的数据可以存储在参考帧存储器64中。运动估计单元42和运动补偿单元44也可以用于对深度图的深度块进行帧间预测。
选择块的帧内预测模式(如，传统帧内预测模式或DMM模式的一个模式)之后，帧内预测单元46可向熵编码单元56提供用以指示选择的块的帧内预测模式的信息。熵编码单元56可编码指示选择的帧内预测模式的信息。视频编码器20可包括传输的位流配置数据，其可包括多个帧内预测模式索引表以及多个修改的帧内预测模式索引表(也称为码字匹配表)、多种块的编码上下文的定义、最可能的帧内预测模式的标示、帧内预测模式索引表、以及用于每个上下文的修改的帧内预测模式索引表。
通过用已编码的原始视频块减去模式选择单元40的预测数据，视频编码器20产生了残差视频块。加法器50代表一个或多个用于执行减法运算的组件。
变换处理单元52向残差块应用变换，如离散余弦变换(discrete cosinetransform，简称DCT)或概念上类似的变换，产生包括残差变换系数值的视频块。变换处理单元52可执行概念上类似DCT的其它变换。也可采用小波变换、整数变换、子频带变换或其它类型的变换。
变换处理单元52向残差块应用变换，产生残差变换系数的块。该变换可将来自像素值域的冗余信息转化至变换域，如频域。变换处理单元52可以将得到的变换系数发送给量化单元54。量化单元54对变换系数进行量化以进一步降低码率。量化过程可减少与一些或所有系数关联的比特深度。通过调整量化参数可改变量化的程度。在一些示例中，量化单元54则可扫描包括量化的变换系数的矩阵。可选地，熵编码单元56可进行扫描。
量化之后，熵编码单元56对量化的变换系数进行熵编码。例如，熵编码单元56可执行基于上下文的自适应变长编码(context adaptive variable length coding，简称CAVLC)、基于上下文的自适应二进制算术编码(context adaptive binary arithmeticcoding，简称CABAC)、基于语法的上下文的自适应二进制算术编码(syntax-basedcontext-adaptive binary arithmetic coding，简称SBAC)、概率区间划分熵(probability interval partitioning entropy，简称PIPE)编码或其它熵编码技术。在基于上下文的熵编码的情况下，上下文可基于相邻的块。熵编码单元56进行熵编码之后，编码位流可传输至其它设备(如，视频解码器30)或可存档以备之后传输或检索。
反量化单元58和反变换单元60分别采用反量化与反变换，来重建像素域中的残差块，其之后可用作参考块。运动补偿单元44可以通过将残差块添加到一帧参考帧存储器64的预测块来计算参考块。运动补偿单元44还可以将一个或多个插值滤波器应用于重建后的残差块以计算用于运动估计的子整数像素值。加法器62将重建后的残差块加到由运动补偿单元44产生的运动补偿后预测块中，以生成重建后的视频块存储在参考帧存储器64中。所述重建后的视频块可以由运动估计单元42和运动补偿单元44作为参考块，用于对后续视频帧中的块进行帧间编码。
所述视频编码器20的其它结构变化可用于对视频流进行编码。例如，基于非变换的编码器20可以直接量化残差信号，而不需要针对特定块或帧的变换处理单元52。在另一种实现方式中，编码器20可以将所述量化单元54和所述反量化单元58合并为一个单元。
图3是示出可以实现本申请技术的视频解码器30的示例的框图。在图3的示例中，视频解码器30包括熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考帧存储器82和加法器80。在一些示例中，视频解码器30通常可以执行与结合视频编码器20(如图2所示)描述的编码过程相反的解码过程。运动补偿单元72可产生基于熵解码单元70接收的运动矢量的预测数据，然而帧内预测单元74可产生基于从熵解码单元70接收的帧内预测模式指标的预测数据。
在解码过程中，视频解码器30从视频编码器20接收表示编码视频切片的视频块和相关语法元素的编码视频位流。视频解码器30的熵解码单元70对位流进行解码，以生成量化系数、运动矢量或帧内预测模式指示以及其它语法元素。熵解码单元70将运动矢量和其它语法元素转发至运动补偿单元72。视频解码器30可以接收视频切片级别和/或视频块级别的语法元素。
将视频切片编码为帧内编码(I)切片时，基于标示的帧内预测模式以及当前帧或图像之前解码的块的数据，帧内预测单元74可产生当前视频切片的视频块的预测数据。当视频帧编码为帧间编码(即，B、P或GPB)切片时，运动补偿单元72基于运动矢量和从熵解码单元70接收的其它语法元素，为当前视频切片的视频块生成预测块。所述预测块可以从一个所述参考图像队列中的一个参考图像生成。通过基于存储于参考帧存储器82中的参考帧的默认构建技术，视频解码器30可以构建参考图像队列，例如，List 0和List 1。
运动补偿单元72通过解析运动矢量和其它语法元素确定当前视频切片的视频块的预测信息，并使用预测信息产生已解码的当前视频块的预测块。例如，运动补偿单元72使用一些接收的语法元素来确定用于编码视频切片的视频块的预测模式(如，帧内或帧间预测)，帧间预测切片类型(如，B切片、P切片带、或GPB切片)，切片的一个或多个参考图像队列中的构建信息，切片的每个帧间编码视频块的运动矢量，切片的每个帧间编码视频块的帧间预测状态，以及解码当前视频切片中的视频块的其它信息。
运动补偿单元72也可以基于内插滤波器执行内插。运动补偿单元72可使用视频编码器20所使用的内插滤波器在编码视频块的过程中计算参考块的子整数像素的内插值。此时，运动补偿单元72可确定来自接收的语法元素的视频编码器20使用的内插滤波器，并采用内插滤波器来生产预测块。
深度图对应的纹理图像的数据可以存储在参考帧存储器82中。运动补偿单元72也可以用于对深度图的深度块进行帧间预测。
本领域技术人员将理解，图1A的所述编码系统10适合实现各种视频编码或压缩技术。一些视频压缩技术，例如帧间预测、帧内预测和/或环路滤波器，将在后面讨论。因此，视频压缩技术已经被应用到各种视频编码标准中，如H.264/AVC和H.265/HEVC。
各种编码工具，如自适应运动矢量预测(adaptive motion vector prediction，简称AMVP)和合并模式(MERGE)，用于预测运动矢量(motion vector，简称MV)并提高帧间预测效率，从而提高整体视频压缩效率。
所述视频解码器30的其它变化可用于对压缩位流进行解码。例如，所述解码器30可以在不使用环路滤波单元的情况下产生输出视频流。例如，基于非变换的解码器30可以直接反量化残差信号，而不需要针对特定块或帧的所述反变换处理单元78。在另一种实现方式中，所述视频解码器30可以将所述反量化单元76和所述反变换处理单元78合并为一个单元。
图4为本发明实施例提供的视频编码设备的示意图。所述视频编码设备400适于实现如本文所述的公开的实施例。在一个实施例中，所述视频编码设备400可以是解码器，例如图1A的视频解码器30，或者编码器，例如图1A的视频编码器20。在一个实施例中，所述视频编码设备400可以是如上所述的图1A的所述视频解码器30或图1A的所述视频编码器20中的一个或多个组件。
所述视频编码设备400包括用于接收数据的入端口410和接收器单元(Rx)420、用于处理所述数据的处理器430(可以是逻辑单元，或者中央处理器(central processingunit，简称CPU))、用于传输所述数据的发送器单元(Tx)440和出端口450，以及用于存储所述数据的存储器460。所述视频编码设备400还可以包括光电(optical-to-electrical，简称OE)组件和电光(electrical-to-optical，简称EO)组件，所述组件耦合到入端口410、接收器单元420、发送器单元440和出端口450用于光或电信号的出入。
所述处理器430通过硬件和/或软件来实现。所述处理器430可以实现为一个或多个CPU芯片、核(例如，作为多核处理器)、FPGA、ASIC和DSP。所述处理器430与所述入端口410、所述接收器单元420、所述发送器单元440、所述出端口450和所述存储器460通信。所述处理器430包括编码模块470。所述编码模块470实现本文所描述的所公开的实施例。例如，所述编码模块470实现、处理、准备或提供各种编码操作。因此，包含所述编码模块470大大改善了所述视频编码设备400的功能，并实现了所述视频编码设备400到不同状态的转换。或者，所述编码模块470作为指令实现，由所述存储器460存储并由所述处理器430执行。
所述存储器460包括一个或多个磁盘、磁带驱动器和固态硬盘，且可用作溢出数据存储设备；用于在选择程序执行时存储此类程序；用于存储程序执行过程中读取的指令以及数据。所述存储器460可以是易失性和/或非易失性，并且可以是只读存储器(read-onlymemory，简称ROM)、随机存取存储器(random access memory，简称RAM)、三重内容寻址内存(ternary content-addressable memory，简称TCAM)和/或静态随机存取存储器(staticrandom-access memory，简称SRAM)。
图5是根据示例性实施例的可用作图1A中的所述源设备12和所述目的设备14二者或其一的装置500的简化框图。装置500可以实现本申请的技术。装置500可以是包括多个计算设备的计算系统的形式，或者可以是单个计算设备的形式，例如，手机、平板电脑、手提电脑、笔记本电脑、台式电脑等。
装置500的处理器502可以为中央处理器。或者，处理器502可以是任何其它类型的设备，或者多个设备，能够操纵或处理现有的或随后开发的信息。尽管所公开的实现方式可以通过单个处理器，例如，处理器502，来实现，但是速度和效率的优势可以通过多个处理器来实现。
所述装置500中的存储器504可以是一种实现方式中的只读存储器(read onlymemory，简称ROM)设备或随机存取存储器(random access memory，简称RAM)设备。任何其它合适类型的存储设备都可以用作存储器504。存储器504可用于存储处理器502通过总线512访问的代码和/或数据506。存储器504还可用于存储操作系统508和应用程序510。应用程序510可以包括允许处理器502执行此处描述的方法的至少一个程序。例如，应用程序510可以包括多个应用1至N，还包括执行此处描述的方法的视频编码应用。装置500还可以包括辅存储器514形式的附加存储器，其例如可以是与移动计算设备一起使用的存储卡。由于视频通信会话可以包含大量信息，因此可以将其全部或部分存储在存储器514中，并根据处理需要加载到存储器504中。
装置500还可以包括一个或多个输出设备，例如显示器518。在一个示例中，显示器518可以是将显示器与感触输入操作的触敏元件相结合的触敏显示器。显示器518可通过总线512耦合至处理器502。除了显示器518之外或者作为显示器518的替代，还可以提供允许用户编程或以其它方式使用装置500的其它输出设备。当所述输出设备是或包括显示器时，所述显示器可以通过各种方式实现，包括液晶显示器(liquid crystal display，简称LCD)、阴极射线管(cathode-ray tube，简称CRT)显示器、等离子体显示器或发光二极管(light emitting diode，简称LED)显示器，例如有机LED(organic LED，简称OLED)显示器。
装置500还可以与图像感测设备520通信，或者包括图像感测设备520，例如摄像头，或者现有的或者随后开发的能够感测图像的任何其它图像感测设备520，例如用户操作装置500的图像。可放置所述图像感测设备520使得其指向用户操作装置500。在一个示例中，可以配置图像感测设备520的位置和光轴，使得视场包括与显示器518直接相邻且显示器518可见的区域。
装置500还可以与声音感测设备522通信或包括声音感测设备522，例如麦克风，或现有或随后开发的能够感测装置500附近的声音的任何其它声音感测设备。可放置所述声音感测设备522使得其指向用户操作装置500，并且可以用于接收用户在操作装置500时产生的声音，例如语音或其它言语表达。
尽管图5描述了将装置500的处理器502和存储器504集成到单个设备中，但是可以使用其它配置。处理器502的操作可以分布在可以直接耦合的多个机器(每个机器具有一个或多个处理器)上，或者可以分布在局域网或其它网络上。存储器504可以分布在多台机器中，例如执行装置500的操作的多台机器中的基于网络的存储器或存储器。尽管此处描述为单个总线，但装置500的总线512可以包括多个总线。进一步地，辅存储器514可以直接耦合到装置500的其它组件，或者可以通过网络访问，并且可以包括单个集成单元，例如存储卡或多个单元，例如多个存储卡。因此，装置500可以以各种配置实现。
本发明涉及作为视频编码机制的一部分的帧内预测。
当没有可用的参考图像时，或者当前块或图像不使用帧间预测编码时，可以使用帧内预测。帧内预测的参考样本通常来自同一图像中先前编码(或重建)的相邻块。例如，在H.264/AVC和H.265/HEVC中，相邻块的边界样本均作为帧内预测的参考。为了覆盖不同的纹理或结构特征，有许多不同的帧内预测模式。在每种模式下，采用不同的预测信号推导方法。例如，H.265/HEVC总共支持35种帧内预测模式，如图6所示。
对于帧内预测，以相邻块的解码边界样本作为参考。编码器从35个选项中选择每个块的最佳亮度帧内预测模式：33个定向预测模式、DC模式和平面模式。帧内预测方向与帧内预测模式编号之间的映射如图6所示。
如图7所示，块“CUR”是要预测的当前块，将沿着相邻构造块边界的灰色样本作为参考样本。预测信号可以通过根据帧内预测模式所指示的特定方法映射所述参考样本来导出。
视频编码可以基于颜色空间和颜色格式进行。例如，颜色视频在多媒体系统中起着重要的作用，其中，各种颜色空间被用来有效地表示颜色。颜色空间指定使用多个分量的数值的颜色。常见的颜色空间是RGB颜色空间，其中，颜色表示为三种原色分量值(即，红色、绿色和蓝色)的组合。对于颜色视频压缩，YCbCr颜色空间已被广泛使用，如A.Ford andA.Roberts所描述的，“颜色空间转换(Colour space conversions)”，威斯敏斯特大学，伦敦，技术报告，1998年8月。
YCbCr可以通过线性变换很容易地从RGB颜色空间中转换出来，并且在YCbCr颜色空间中，不同分量之间的冗余，即跨分量冗余，显著减少。YCbCr的一个优点是后向兼容黑白TV，Y信号传送亮度信息。此外，通过对Cb和Cr分量以4:2:0的色度采样格式进行子采样，与RGB颜色空间的子采样相比，主观影响显著更小，可以降低色度带宽。由于这些优点，YCbCr已经成为视频压缩的主要颜色空间。还有其它颜色空间用于视频压缩，如YCoCg。在本发明中，无论实际使用的颜色空间如何，亮度(或L或Y)和两个色度(Cb和Cr)都用于表示视频压缩方案中的三个颜色分量。
例如，当色度格式采样结构为4:2:0采样时，两个色度阵列中的每一个色度阵列的高度为亮度阵列的一半，宽度为亮度阵列的一半。图8所示为亮度和色度样本在图像中的标称垂直和水平相对位置。
图9(包括图9A和图9B)是示出执行跨分量线性模型(cross-component linearmodel，简称CCLM)帧预测900的示例性机制的示意图。图9示出了4:2:0采样的示例。图9示出了左侧和上方样本的位置以及CCLM模式中涉及的当前块的样本的示例。白色方块为当前块的样本，阴影圆圈为重建样本。图9A示出了共位亮度块的相邻重建像素的示例。图9B示出了色度块的相邻重建像素的示例。如果视频格式为YUV4:2:0，则有一个16x16亮度块和两个8x8色度块。
CCLM帧内预测900是跨分量的帧内预测的一种。因此，CCLM帧内预测900可以由编码器20的帧内估计单元46和/或解码器30的帧内预测单元94执行。CCLM帧内预测900预测色度块901中的色度样本903。所述色度样本903出现在以相交线示出的整数位置。所述预测部分基于相邻参考样本，所述相邻参考样本被描绘为黑圈。与帧内预测模式500不同，不仅基于相邻色度参考样本905预测所述色度样本903，所述相邻色度参考样本905被表示为重建色度样本(Rec'C)。也基于亮度参考样本913和相邻亮度参考样本915来预测所述色度样本903。具体地，CU包括亮度块911和两个色度块901。生成将相同CU中的所述色度样本903和所述亮度参考样本913关联的模型。通过比较所述相邻亮度参考样本915和所述相邻色度参考样本905，确定模型的线性系数。
当重建所述亮度参考样本913时，所述亮度参考样本913表示为重建的亮度样本(Rec'L)。当重建所述相邻色度参考样本905时，将所述相邻色度参考样本905表示为重建色度样本(Rec'C)。
如图所示，所述亮度块911包含四倍于所述色度块901的样本。具体地，所述色度块901包含N个样本数乘以N个样本数，而所述亮度块911包含2N个样本数乘以2N个样本数。因此，所述亮度块911是所述色度块901的分辨率的四倍。为了对所述亮度参考样本913和所述相邻亮度参考样本915进行预测，对所述亮度参考样本913和所述相邻亮度参考样本915进行下采样，以提供与所述相邻色度参考样本905和所述色度样本903的精确比较。下采样是降低一组样值的分辨率的过程。例如，当采用YUV4:2:0格式时，亮度样本可以下采样4倍(如宽度乘2，高度乘2)。YUV是一种采用亮度分量Y和两个色度分量U和V的颜色空间的颜色编码系统。
为了减少跨分量冗余，存在跨分量线性模型(CCLM，也可称为LM模式，CCIP模式)预测模式，对于该模式，基于同一编码单元(coding unit，简称CU)的重建的亮度样本，通过如下线性模型预测色度样本：
predC(i，j)＝α·recL′(i，j)+β (1)
其中，predC(i，j)代表CU中的预测色度样本，recL(i，j)代表同一CU中下采样重建的亮度样本，α和β是线性模型参数或者线性模型系数。
在一个示例中，通过将当前亮度块周围的相邻重建的亮度样本与色度块周围的相邻重建色度样本之间的回归误差最小化，推导参数α和β，如下所示：
Figure BDA0002901714250000221
Figure BDA0002901714250000222
其中，L(n)表示下采样的上部和左侧相邻重建的亮度样本，C(n)表示上部和左侧相邻重建色度样本，N的值等于当前色度编码块(例如，色度块901)的宽度和高度之和。在另一示例中，基于下采样的相邻亮度参考样本的最小值和最大值确定α和β，如下面结合图16所讨论的。
本发明涉及将亮度样本通过帧内预测来预测色度样本作为视频编码机制的一部分。将跨分量线性模型(cross-component linear model，简称CCLM)预测模式添加为附加色度帧内预测模式。在编码器侧，为选择色度帧内预测模式，增加了更多的色度分量的率失真代价检查。
通常，当应用CCLM预测模式(简称LM预测模式)时，视频编码器20和视频解码器30可以调用如下步骤：视频编码器20和视频解码器30可以对相邻亮度样本进行下采样。视频编码器20和视频解码器30可以导出线性参数(即，α和β)(也称为跨分量线性模型(cross-component linear model，简称CCLM)预测模式的缩放参数或参数)。视频编码器20和视频解码器30可以对当前亮度块进行下采样，并基于下采样的亮度块和线性参数推导预测(例如，预测块)。
下采样的方式可能有多种。
图10是示出用于为色度块生成预测块的亮度块的下采样样本的亮度位置和色度位置的示例的概念图。如图10所示，通过应用[1，1]滤波器，从两个由两个填充圆圈表示的亮度样本中预测由填充(即，实心黑色)三角形表示的色度样本。[1，1]滤波器是2抽头滤波器的一个例子。
图11是示出用于生成预测块的亮度块的下采样样本的亮度位置和色度位置的另一示例的概念图。如图11所示，通过应用6抽头滤波器，从6个由6个填充圆圈表示的亮度样本中预测由填充(即，实心黑色)三角形表示的色度样本。
图12-15是示出示例性下采样机制1200、1300、1400和1500以支持跨分量帧内预测的示意图，例如根据CCLM帧内预测900、机制1600、使用CCIP_A模式1700和CCIP_L模式1800的MDLM帧内预测和/或MMLM帧内预测，如图1900所示。因此，机制1200、1300、1400和1500可以由编解码器系统10或40的帧内预测单元46和/或帧内预测单元74、编码器20的帧内预测单元46和/或解码器30的帧内预测单元74执行。具体地，可以分别在解码器处的方法220的步骤2210、方法230的步骤2320或方法250的步骤2520以及编码器处的方法240的步骤2420或方法260的步骤2620中使用机制1200、1300、1400和1500。图12-15的详细信息在于2019年7月12日递交的国际申请PCT/US2019/041526中介绍，其通过引用并入本文。
在图12的机制1200中，对相邻亮度参考样本的两行1218和1219进行下采样，对相邻亮度参考样本的三列1220、1221和1222进行下采样。行1218和1219以及列1220、1221和1222与亮度块1211直接相邻，亮度块1211与已根据跨分量帧内预测预测的色度块共享CU。在下采样之后，相邻亮度参考样本的行1218和1219成为下采样相邻亮度参考样本的单行1216。进一步地，对相邻亮度参考样本的列1220、1221和1222进行下采样，得到下采样的相邻亮度参考样本的单列1217。此外，对亮度块1211的亮度样本进行下采样，以创建下采样的亮度参考样本1212。根据等式(1)，下采样亮度参考样本1212和来自行1216和列1217的下采样相邻亮度参考样本可用于跨分量帧内预测。需要说明的是，行1218和1219以及列1220、1221和1222的尺寸可以超出图12所示的亮度块1211。例如，每行1218/1219中的上侧相邻亮度参考样本的数量，可以表示为M，大于亮度块1211中的一行的亮度样本的数量，可以表示为W。此外，每列1220/1221/1222中的左侧相邻亮度参考样本的数量，可以表示为N，大于亮度块1211的列中的亮度样本的数量，可以表示为H。
在一个示例中，机制1200可以如下实现。对于亮度块1211，将表示为A1和A2的两个上侧相邻行1218和1219用于下采样，得到下采样相邻行1216，记为A。A[i]是A中的第i个样本，A1[i]是A1中的第i个样本，A2[i]是A2中的第i个样本。在具体示例中，可以对相邻行1218和1219应用6抽头下采样滤波器，根据公式(4)得到下采样相邻行1216：
A[i]＝(A2[2i]*2+A2[2i-1]+A2[2i+1]+A1[2i]*2+A1[2i-1]+A1[2i+1]+4)>>3(4)
进一步地，左侧相邻列1220、1221和1222记为L1、L2和L3，用于下采样得到下采样相邻列1217，记为L。L[i]为L中的第i个样本，L1[i]为L1中的第i个样本，L2[i]为L2中的第i个样本，L3[i]为L3中的第i个样本。在具体示例中，可以对相邻列1220、1221和1222应用6抽头下采样滤波器，根据公式(5)得到下采样相邻列1217：
L[i]＝(L2[2i]*2+L1[2i]+L3[2i]+L2[2i+1]*2+L1[2i+1]+L3[2i+1]+4)>>3(5)
图13的机制1300与图12的机制1200基本相似。机制1300包括具有相邻行1318和1319以及相邻亮度参考样本的列1320、1321和1322的亮度块1311，其分别类似于亮度块1211、行1218和1219以及列1220、1221和1222。不同之处在于，行1318和1319以及列1320、1321和1322不延伸通过亮度块1211。如在机制1200中，亮度块1311、行1318和1319以及列1320、1321和1322被下采样，以创建包含下采样相邻亮度参考样本的下采样亮度参考样本1312、列1317和行1316。列1317和行1316不超出下采样亮度参考样本1312的块。否则，下采样亮度参考样本1312、列1317和行1316分别与下采样亮度参考样本1212、列1217和行1216基本相似。
图14的机制1400与机制1200和1300类似，但采用相邻亮度参考样本的单行1418，而不是两行。机制1400还采用相邻亮度参考样本的三列1420、1421和1422。行1418以及列1420、1421和1422与亮度块1411直接相邻，亮度块1411与已根据跨分量帧内预测预测的色度块共享CU。在下采样之后，相邻亮度参考样本的行1418成为下采样相邻亮度参考样本的行1416。进一步地，对相邻亮度参考样本的列1420、1421和1422进行下采样，得到下采样的相邻亮度参考样本的单列1417。此外，对亮度块1411的亮度样本进行下采样，以创建下采样的亮度参考样本1412。根据等式(1)，下采样亮度参考样本1412和来自行1416和列1417的下采样相邻亮度参考样本可用于跨分量帧内预测。
在下采样过程中，行和列存储在行缓冲区中的存储器中。通过在下采样期间省略行1319，而使用单行1418的值，显著降低了所述行缓冲区中的内存使用率。然而，已发现来自行1316的下采样相邻亮度参考样本与来自行1416的下采样相邻亮度参考样本基本相似。因此，在下采样期间省略行1319，而使用单行1418，会降低行缓冲区中的内存利用率，从而提高处理速度、带来更大的并行性、带来更少的内存需求等，而不牺牲准确性和编码效率。相应地，在一个示例实施例中，对相邻亮度参考样本的单行1418进行下采样以用于跨分量帧内预测。
在一个示例中，机制1400可以如下实现。对于亮度块1411，上侧相邻行1418，记为A1，用于下采样得到下采样相邻行1416，记为A。A[i]为A中的第i个样本，A1[i]为A1中的第i个样本。在具体示例中，可以对相邻行1418应用3抽头下采样滤波器，根据公式(6)得到下采样相邻行1416：
A[i]＝(A1[2i]*2+A1[2i-1]+A1[2i+1]+2)>>2 (6)
进一步地，左侧相邻列1420、1421和1422记为L1、L2和L3，用于下采样得到下采样相邻列1417，记为L。L[i]为L中的第i个样本，L1[i]为L1中的第i个样本，L2[i]为L2中的第i个样本，L3[i]为L3中的第i个样本。在具体示例中，可以对相邻列1320、1321和1322应用6抽头下采样滤波器，根据公式(7)得到下采样相邻列1317：
L[i]＝(L2[2i]*2+L1[2i]+L3[2i]+L2[2i+1]*2+L1[2i+1]+L0[2i+1]+4)>>3 (7)
需要说明的是，机制1400不限于所描述的下采样滤波器。例如，不采用如等式(6)中所述的3抽头下采样滤波器，也可以直接获取样本，如下面等式(8)中所示：
A[i]＝A1[2i] (8)
图15的机制1500与机制1300类似，但采用相邻亮度参考样本的单行1518和相邻亮度参考样本的单列1520，而不是分别采用两行1318和1319以及三列1320、1321和1322。行1518以及列1520与亮度块1511直接相邻，亮度块1511与已根据跨分量帧内预测预测的色度块共享CU。在下采样之后，相邻亮度参考样本的行1518成为下采样相邻亮度参考样本的行1516。进一步地，对相邻亮度参考样本的列1520进行下采样，得到下采样的相邻亮度参考样本的单列1517。然后，根据等式(1)，可以使用来自行1516和列1517的下采样相邻亮度参考样本进行跨分量帧内预测。
机制1500在下采样期间省略行1319和列1321和1322，而使用单行1518和单列1520的值，这显著降低了所述行缓冲区中的内存使用率。然而，已发现来自行1316和列1317的下采样相邻亮度参考样本与来自行1516和列1517的下采样相邻亮度参考样本基本相似。因此，在下采样期间省略行1319和列1321和1322，而是使用单行1518和列1520，会降低所述行缓冲区中的内存利用率，从而提高处理速度、带来更大的并行性、带来更少的内存需求等，而不牺牲准确性和编码效率。相应地，在另一示例实施例中，对相邻亮度参考样本的单行1518和相邻亮度参考样本的单列1520进行下采样以用于跨分量帧内预测。
在一个示例中，机制1500可以如下实现。对于亮度块1511，上侧相邻行1518，记为A1，用于下采样得到下采样相邻行1516，记为A。A[i]为A中的第i个样本，A1[i]为A1中的第i个样本。在具体示例中，可以对相邻行1518应用3抽头下采样滤波器，根据公式(9)得到下采样相邻行1516：
A[i]＝(A1[2i]*2+A1[2i-1]+A1[2i+1]+2)>>2 (9)
进一步地，左侧相邻列1520记为L1，用于下采样得到下采样相邻列1517，记为L。L[i]为L中的第i个样本，L1[i]为L1中的第i个样本。在具体示例中，可以对相邻列1520应用2抽头下采样滤波器，根据公式(10)得到下采样相邻列1517：
L[i]＝(L1[2i]+L1[2i+1]+1)>>2 (10)
在另一个示例中，当下采样时，机制1500可以修改为采用L2列(例如，列1321)而不采用L1列(例如，列1520)。在这种情况下，可以对相邻列L2应用2抽头下采样滤波器，根据公式(11)得到下采样相邻列1517。需要说明的是，机制1500不限于所描述的下采样滤波器。例如，不采用等式(9)和(10)中描述的2抽头和3抽头下采样滤波器，也可以直接获取样本，如下面的等式(11)和(12)中所述。
A[i]＝A1[2i] (11)
L[i]＝L2[2i] (12)
进一步地，还应当注意，当行1418、1416、1518、1516和/或列1420、1421、1422、1417、1520和/或1517的尺寸超出对应的亮度块1411和/或1511(例如，如图12所示)时，也可以应用机制1400和1500。
在联合探索模型(Joint exploration model，简称JEM)中，有两种CCLM模式：单模CCLM模式和多模CCLM模式(multiple model CCLM mode，简称MMLM)。如名称所示，单模CCLM模式采用一个线性模型对整个CU从亮度样本中预测色度样本，而在MMLM中，可以有两个线性模型。在MMLM中，将当前块的相邻亮度样本和相邻色度样本分为两组，每组作为训练集来推导线性模型(即，针对特定组推导特定α和特定β)。此外，当前亮度块的样本也基于与相邻亮度样本的分类的相同规则进行分类。
图16是示出了确定线性模型参数以支持CCLM帧内预测的示例性机制1600的图。为了推导线性模型参数α和β，可以对上侧和左侧相邻重建的亮度样本进行下采样，以获得与上侧和左侧相邻重建色度样本的一一对应关系。在机制1200中，根据下采样的相邻亮度参考样本的最小值和最大值确定等式(1)中使用的α和β。如图16所示，两个点(2对亮度值和色度值)(A，B)是相邻亮度样本的集合中的最小值和最大值。这是基于最小化回归误差来确定α和β的备选方法。
如图16所示，直线由等式Y＝αx+β表示，其中线性模型参数α和β根据以下等式(13)和(14)获得：
Figure BDA0002901714250000251
β＝yA-αxA (14)
其中，(xA，yA)为最小相邻亮度参考值和对应的色度参考值定义的坐标集合，(xB，yB)为最大相邻亮度参考值和对应的色度参考值定义的坐标集合。这里需要注意的是，所述两个点(2对亮度值和色度值)(A，B)选自下采样亮度重建相邻样本和色度重建相邻样本。
示例性机制1600使用最大/最小亮度值和对应的色度值来推导线性模型参数。从相邻亮度样本和相邻色度样本中仅选择2个点(一个点用一对亮度值和色度值表示)，从而推导线性模型参数。示例性机制1600不适用于某些具有噪声的视频序列。
多向线性模型
除了上方(或上侧)相邻样本和左侧相邻样本能够一起计算线性模型参数外，它们也可以在另外两种CCIP(跨分量帧内预测)模式(称为CCIP_A模式和CCIP_L模式)中使用。为了简洁，CCIP_A和CCIP_L也可以表示为多向线性模型(multi-directional linear model，简称MDLM)。
图17和18是示出执行MDLM帧内预测的示例性机制的示意图。MDLM帧内预测以类似于CCLM帧内预测900的方式运行。具体地，MDLM帧内预测在确定线性模型参数α和β时，同时采用跨分量线性模型预测(CCIP)_A模式1700和CCIP_L模式1800。例如，MDLM帧内预测可以使用CCIP_A模式1700和CCIP_L模式1800计算线性模型参数α和β。在另一示例中，MDLM帧内预测可以使用CCIP_A模式1700或CCIP_L模式1800来确定线性模型参数α和β。
在CCIP_A模式下，仅使用上侧相邻样本来计算线性模型参数。为了获得更多参考样本，通常将上侧相邻样本扩展到(W+H)。如图17所示，W＝H，其中，W表示各个亮度或色度块的宽度，H表示各个亮度或色度块的高度。
在CCIP_L模式下，仅使用左侧相邻样本来计算线性模型参数。为了获得更多参考样本，通常将左侧相邻样本扩展到(H+W)。如图18所示，W＝H，其中，W表示各个亮度或色度块的宽度，H表示各个亮度或色度块的高度。
CCIP模式(即CCLM或LM模式)和MDLM(CCIP_A和CCIP_L)可以一起使用，或者，例如，在编解码器中仅使用CCIP，或者在编解码器中仅使用MDLM，或者在编解码器中同时使用CCIP和MDLM。
多模CCLM
除了单模CCLM，还有另一种模式称为多模CCLM模式(multiple model CCLM mode，简称MMLM)。如名称所示，单模CCLM模式采用一个线性模型来对整个CU从亮度样本中预测色度样本，而在MMLM中，可以有两个模型。在MMLM中，将当前块的相邻亮度样本和相邻色度样本分为两组，每组作为训练集来推导线性模型(即，针对特定组推导特定α和特定β)。此外，当前亮度块的样本也基于与相邻亮度样本的分类的相同规则进行分类。
图19是示出了确定线性模型参数以支持MMLM帧内预测的示例性机制1900的图。如图1900所示，MMLM帧内预测是一种跨分量帧内预测。MMLM帧内预测与CCLM帧内预测类似。不同之处在于，在MMLM中，通过将相关的亮度值(例如，Rec'L)与阈值进行比较，将相邻重建的亮度样本分为两组。然后对每个组进行CCLM帧内预测，以确定线性模型参数α和β，并根据公式(1)完成相应的线性模型。相邻重建的亮度样本分为两组可以按照下面的公式(15)进行：在一个示例中，阈值被计算为相邻重建的亮度样本的平均值。将Rec′L[x,y]<＝Threshold的相邻重建的亮度样本划分到组1；将Rec′L[x,y]>Threshold的相邻重建的亮度样本划分到组2。
Figure BDA0002901714250000261
其中，等式(15)的变量的定义与等式(1)类似，下标1表示与第一组的关系，下标2表示与第二组的关系。
如图1900所示，可以为第一组计算线性模型参数α1和β1，可以为第二组计算线性模型参数α2和β2。作为一个具体的例子，这些值可以是α1＝2，β1＝1，α2＝1/2，β2＝-1，其中，阈值为亮度值17。然后，MMLM帧内预测可以选择提供最小残差样本和/或最大编码效率的结果模型。如上所述，本文讨论的执行不同CCLM帧内预测的示例机制使用最大/最小亮度值和对应的色度值来推导线性模型参数，期望改进执行CCLM帧内预测的机制以实现稳健的线性模型参数。
如果多个点具有最大值或多个点具有最小值，则基于对应点的色度值选择该对点。
如果多个点有最大值或多个点有最小值，则具有最大值的亮度样本的平均色度值将被设置为最大亮度值对应的色度值，具有最小值的亮度样本的平均色度值将被设置为最小亮度值对应的色度值。
不只选择一对点(最小值和最大值)。具体的，将具有较大亮度值的N个点和具有较小亮度值的M个点用于计算线性模型参数。
不只选择一对点。具体的，选择亮度值在[MaxValue-T1，MaxValue]范围内的N个点和亮度值在[MinValue，MinValue+T2]范围内的M个点作为计算线性模型参数的点。
除了上方和左侧的相邻样本用于获取最大/最小值外，还使用了一些扩展的相邻样本，如左下相邻样本和右上相邻样本。
通过上述改进的机制示例，可以通过提高CCLM帧内预测的编码效率获得更稳健的线性模型参数。
在本发明中，下文将详细描述用于获得亮度和色度样本对中的最大/最小亮度值和对应的色度值的改进机制。
这里需要注意的是，改进的机制也可以用于MDLM和MMLM。
在本发明中，提出了改进的机制以获得最大和最小亮度值以及相应的色度值以推导线性模型参数。通过改进的机制，可以推导更稳健的线性模型参数。
在一个示例中，这里将亮度样本和色度样本对的集合表示为{(p0,q0),(p1,q1),(p2,q2),…,(pi,qi),...,(pV-1,qV-1)}。其中，pi为第i点的亮度值，qi为第i点的色度值。这里，将亮度点的集合记为P＝{p0,p1,p2,...,pi,…,pV-1}。色度点的集合记为Q＝{q0,q1,…,qi,…,qV-1}。
第一改进机制：不只1个极点，根据色度值选择一对点
在第一改进机制中，如果不只1个点具有最大/最小值，则根据对应点的色度值选择一对点。选择色度值差值最小的一对点以推导线性模型参数。
例如，假设第5、7和8点的亮度值最大，第4和6点的亮度值最小，则|q7-q4|为|q5-q4|，|q5-q6|，|q7-q4|，|q7-q6|，|q8-q4|以及|q8-q6|之间的最小值。然后选择第7点和第4点来推导线性模型参数。
这里需要注意的是，除了使用最小色度值差值，第一改进机制还可以使用最大色度值差值。例如，假设第5、7和8点的亮度值最大，第4和6点的亮度值最小，则|q5-q6|为|q5-q4|，|q5-q6|，|q7-q4|，|q7-q6|，|q8-q4|以及|q8-q6|之间的最大值。然后选择第5点和第6点来推导线性模型参数。
这里需要注意的是，改进后的机制也可以用于MDLM和MMLM。
第二改进机制：不只1个极点，使用平均色度值
在第二改进机制中，如果多个点具有最大/最小值，则使用平均色度值。最大亮度值对应的色度值为具有最大亮度值的点的平均色度值。最小亮度值对应的色度值为具有最小亮度值的点的平均色度值。
例如，若第5、7和8点的亮度值最大，第4和6点的亮度值最小。则最大亮度值对应的色度值为q5、q7和q8的平均值。最小亮度值对应的色度值为q4和q6的平均值。
这里需要注意的是，改进后的机制也可以用于MDLM和MMLM。
第三种改进机制：(根据点数不只一点)，使用不只1个大/小点，使用平均值。
在第三改进机制中，将使用N个点来计算最大亮度值和对应的色度值。选择的N个点的亮度值大于其它点。将选择的N个点的平均亮度值作为最大亮度值，将选择的N个点的平均色度值作为与最大亮度值对应的色度值。
M点用于计算最小亮度值和相应的色度值。选择的M个点的亮度值小于其它点。将选择的M个点的平均亮度值作为最小亮度值，将选择的M个点的平均色度值作为与最小亮度值对应的色度值。
例如，若第5、7、8、9和11点的亮度值大于其它点，第4、6、14和18点的亮度值较小。则p5、p7、p8、p9和p11的平均值为线性模型参数使用的最大亮度值，q5、q7、q8、q9和q11的平均值为与最大亮度值对应的色度值。则p4、p6、p14和p18的平均值为线性模型参数所用的最小亮度值，q4、q6、q14和q18的平均值为最小亮度值所对应的色度值。
这里需要注意的是，M和N可以相等，也可以不相等。例如，M＝N＝2。
这里需要注意的是，M和N可以基于块大小自适应地定义。例如，M＝(W+H)>>t，N＝(W+H)>>r。这里t和r为右移比特数，如2、3和4。
在另一种实现方式中，如果(W+H)>T1，则M和N被设置为特定值M1和N1。否则，将M和N设置为特定值M2和N2。这里M1和N1可以相等，也可以不相等。M2和N2可以相等，也可以不相等。例如，若(W+H)>16，则M＝2，N＝2。如果(W+H)<＝16，则M＝1，N＝1。
需要注意的是，改进后的机制也可以用于MDLM和MMLM。
第四种改进机制：(主动地，基于亮度值阈值不只1个点)，使用不只1个大/小点，使用平均值。
在第四改进机制中，将使用N个点来计算最大亮度值和对应的色度值。选择的N个点的亮度值在[MaxlumaValue-T1，MaxlumaValue]的范围内。将选择的N个点的平均亮度值作为最大亮度值，将选择的N个点的平均色度值作为与最大亮度值对应的色度值。在一个示例中，MaxlumaValue表示集合P中的最大亮度值。
在第四改进机制中，将使用M个点来计算最小亮度值和对应的色度值。选择的M个点的亮度值在[MinlumaValue，MinlumaValue+T2]的范围内。将选择的M个点的平均亮度值作为最小亮度值，将选择的M个点的平均色度值作为与最小亮度值对应的色度值。在一个示例中，MinlumaValue表示集合P中的最小亮度值。
例如，若第5、7、8、9和11点为亮度值在[Lmax-T1，Lmax]范围内的点。第4、6、14和18点为亮度值在[Lmin，Lmin+T2]范围内的点。在一个示例中，Lmax表示集合P中的最大亮度值，Lmin表示集合P中的最小亮度值。则p5、p7、p8、p9和p11的平均值为线性模型参数所使用的最大亮度值，q5、q7、q8、q9和q11的平均值为与最大亮度值对应的最大色度值。则p4、p6、p14和p18的平均值为线性模型参数所用的最小亮度值，q4、q6、q14和qe的平均值为最小亮度值所对应的最小色度值。
需要注意的是，M和N可以相等，也可以不相等。
需要注意的是，T1和T2可以相等，也可以不相等。
需要注意的是，改进后的机制也可以用于MDLM和MMLM。
第五改进机制：使用扩展相邻样本
在现有机制中，仅使用上侧和左侧相邻样本获得一对点用于搜索推导线性模型参数的一对点。在第五种改进机制中，可以使用一些扩展样本来增加点对的数量，以提高线性模型参数的鲁棒性。
例如，右上相邻样本和左下相邻样本也用于推导线性模型参数。
例如，如图20所示，在现有的单模CCLM机制中，下采样的上侧相邻亮度样本表示为A'，下采样的左侧相邻亮度样本表示为L'。上侧相邻色度样本表示为Ac'，左侧相邻色度样本表示为Lc'。
如图21所示，在第五改进机制中，相邻样本将扩展至右上样本和左下样本。这意味着参考样本A、L、Ac和Lc可以用于获得最大/最小亮度值和对应的色度值。
这里M>W，N>H。
这里需要注意的是，改进后的机制也可以用于MDLM和MMLM。
在现有的CCIP或LM机制中，为了获得最大/最小亮度值和对应的色度值，只使用一对点。
在所提议的改进机制中，不会仅使用一对点。
如果多个点具有最大值或多个点具有最小值，则基于对应点的色度值选择该对点。
如果多个点具有最大值或多个点具有最小值，则最大亮度值对应的色度值为具有最大值的亮度样本的平均色度值，最小亮度值对应的色度值为具有最小值的亮度样本的平均色度值。
不只选择一对点。具体的，采用数值较大的N个点和数值较小的M个点来推导线性模型参数。
不只选择一对点。具体的，选择值在[MaxValue-T1，MaxValue]范围内的N个点和值在[MinValue，MinValue+T2]范围内的M个点作为推导线性模型参数的点。
除了上方和左侧的相邻样本用于获取最大/最小值外，还使用了一些扩展的相邻样本，如左下相邻样本和右上相邻样本。
上述所有改进的机制将获得更稳健的线性模型参数。
上述所有改进的机制也可以在MMLM中使用。
上述所有改进的机制，除改进的机制五外，也可用于MDLM。
注意，本发明提出的改进机制用于获得最大/最小亮度值和对应的色度值，以推导用于色度帧内预测的线性模型参数。所述改进的机制应用于帧内预测模块或进程内。因此，它既存在于解码器侧，也存在于编码器侧。此外，在编码器和解码器中，获得最大/最小亮度值和对应的色度值的改进机制可以以相同的方式实现。
对于色度块，为了使用LM模式获得其预测，首先获取对应的下采样亮度样本，然后获取重建相邻样本中的最大/最小亮度值和对应的色度值，以推导线性模型参数。然后，使用推导的线性模型参数和下采样的亮度块获得当前色度块的预测(即预测块)。
根据本发明实施例一的块的跨分量预测方法涉及上述第一改进机制。
根据本发明实施例二的块的跨分量预测方法涉及上述第二改进机制。
根据本发明实施例三的块的跨分量预测方法涉及上述第三改进机制。
根据本发明实施例四的块的跨分量预测方法涉及上述第四改进机制。
根据本发明实施例五的块的跨分量预测方法涉及上述第五改进机制。
图22是根据本发明的一些实施例的用于块(例如，色度块)的跨分量预测的另一示例性方法220的流程图。因此，该方法可以由编解码器系统10或40的视频编码器20和/或视频解码器30执行。特别地，所述方法可以由所述视频编码器20的帧内预测单元46和/或所述视频解码器30的帧内预测单元74来执行。
步骤2210、获取下采样亮度块。可以理解的是，亮度块的空间分辨率通常大于色度块，对亮度块(即重建的亮度块)进行下采样得到下采样的亮度块。如图9以及12–15所示，亮度块911、1211、1311、1411和1511对应于色度块901。
步骤2230、从重建的相邻亮度样本的下采样样本的集合中确定最大亮度值和最小亮度值，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本和/或在所述亮度块左侧的多个重建的亮度样本，并且也确定相应的色度值。
步骤2250、计算线性模型参数。例如，基于最大亮度值和对应的色度值，以及最小亮度值和对应的色度值，使用等式(13)和等式(14)计算所述线性模型参数。
步骤2270、至少基于一个或多个线性模型参数获得色度块901的预测块。基于一个或多个线性模型参数和下采样亮度块1212、1312、1412和1512生成色度块901的预测色度值。色度块901的预测色度值使用公式(1)推导。
根据本发明实施例一(对应于LM模式的第一改进机制)的块的跨分量预测方法是通过参考图22提供的。
上述第一改进机制将用于推导最大/最小亮度值和对应的色度值。如果多个点具有最大/最小值，则根据对应点的色度值选择一对点。选择色度值差值最小的一对点(具有最大/最小亮度值)作为推导线性模型参数的一对点。
需要注意的是，除了使用色度值差值的最小值，第一改进机制还可以使用色度值差值的最大值。
详见上述改进的机制一。
改进的机制一也可用于MDLM和MMLM。例如，对于MDLM/MMLM，仅使用最大/最小亮度值和对应的色度值来推导线性模型参数。改进的机制一用于推导最大/最小亮度值和对应的色度值。
根据本发明实施例二(对应于LM模式的第二改进机制)的块的跨分量预测方法是通过参考图22提供的。
实施例二与实施例一的区别在于：
如果多个点具有最大/最小值，则使用平均色度值。最大亮度值对应的色度值为具有最大亮度值的点的平均色度值。最小亮度值对应的色度值为具有最小亮度值的点的平均色度值。
详见改进后的机制二。
改进后的机制也可用于MDLM和MMLM。例如，对于MDLM/MMLM，仅使用最大/最小亮度值和对应的色度值来推导线性模型参数。改进后的机制二用于推导最大/最小亮度值和对应的色度值。
根据本发明实施例三(对应于第三改进机制)的块的跨分量预测方法是通过参考图22提供的。
实施例三与实施例一的区别在于：
N个点用于计算最大亮度值和相应的色度值。选择的N个点的亮度值大于其它点。将选择的N个点的平均亮度值作为最大亮度值，将选择的N个点的平均色度值作为与最大亮度值对应的色度值。
M个点用于计算最小亮度值和相应的色度值。选择的M个点的亮度值小于其它点。将选择的M个点的平均亮度值作为最小亮度值，将选择的M个点的平均色度值作为与最小亮度值对应的色度值。
详见上述改进的机制三。
改进的机制三也可用于MDLM和MMLM。例如，对于MDLM/MMLM，仅使用最大/最小亮度值和对应的色度值来推导线性模型参数。改进的机制三用于推导最大/最小亮度值和对应的色度值。
根据本发明实施例四(对应于第四改进机制)的块的跨分量预测方法是通过参考图22提供的。
实施例四与实施例一的区别在于：
N对点用于计算最大亮度值和相应的色度值。选择的N个点的亮度值在[MaxlumaValue-T1，MaxlumaValue]的范围内。将选择的N个点的平均亮度值作为最大亮度值，将选择的N个点的平均色度值作为与最大亮度值对应的色度值。
M对点用于计算最小亮度值和相应的色度值。选择的M个点的亮度值在[MinlumaValue，MinlumaValue+T2]的范围内。将选择的M个点的平均亮度值作为最小亮度值，将选择的M个点的平均色度值作为与最小亮度值对应的色度值。
详见上述改进的机制四。
改进的机制四也可用于MDLM和MMLM。例如，对于MDLM/MMLM，仅使用最大/最小亮度值和对应的色度值来推导线性模型参数。改进的机制四用于推导最大/最小亮度值和对应的色度值。
根据本发明实施例五(对应于第五改进机制)的块的跨分量预测方法是通过参考图22提供的。
实施例五与实施例一的区别在于：
一些扩展样本可用于增加点对数，以提高线性模型参数的鲁棒性。
例如，右上相邻样本和左下相邻样本也用于推导线性模型参数。
详见上述改进的机制五。
改进的机制五也可用于MMLM。例如，对于MMLM，仅使用最大/最小亮度值和对应的色度值来推导线性模型参数。改进的机制五用于推导最大/最小亮度值和对应的色度值。
图23是解码视频数据的示例性方法230的流程图。步骤2310、确定与色度块901对应的亮度块911、1211、1311、1411和1511。
步骤2320、确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本，和/或在所述亮度块左侧的多个重建的亮度样本。
步骤2330、根据N个下采样相邻亮度样本和与所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，和/或M个下采样相邻亮度样本和与所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定两对亮度值和色度值。所述N个下采样相邻亮度样本的最小值不小于所述重建的相邻亮度样本的下采样样本的集合中的剩余下采样相邻亮度样本的亮度值，所述M个下采样相邻亮度样本的最大值不大于所述重建的相邻亮度样本的下采样样本的集合中的剩余下采样相邻亮度样本的亮度值，其中M和N为正整数且大于1。特别地，根据所述下采样样本的集合的N个下采样相邻亮度样本和与所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，确定第一对亮度值和色度值；根据所述下采样样本的集合的M个下采样相邻亮度样本和与所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定第二对亮度值和色度值。
步骤2340、基于所述两对亮度值和色度值确定一个或多个线性模型参数。
步骤2350、至少基于一个或多个线性模型参数确定色度块901的预测块，例如，基于线性模型参数和下采样亮度块1212、1312、1412和1512生成色度块901的预测色度值。
步骤2360、基于预测块重建色度块901。例如，将所述预测块添加到残差块中以重建所述色度块901。
应注意，在使用CCIP_A模式1700进行MDLM帧内预测的情况下，所述重建的相邻亮度样本的集合包括在所述亮度块上方的多个重建的亮度样本，但不包括在所述亮度块左侧的多个重建的亮度样本。在使用CCIP_L模式1800进行MDLM帧内预测的情况下，所述重建的相邻亮度样本的集合不包括在所述亮度块上方的多个重建的亮度样本，但包括在所述亮度块左侧的多个重建的亮度样本。在CCLM帧内预测的情况下，所述重建的相邻亮度样本的集合包括亮度块上方的多个重建的亮度样本和亮度块CCLM帧内预测左侧的多个重建的亮度样本。
图24是编码视频数据的示例性方法240的流程图。步骤2410、确定与色度块901对应的亮度块911、1211、1311、1411和1511。
步骤2420、确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本，和/或者在所述亮度块左侧的多个重建的亮度样本。
步骤2430、根据N个下采样相邻亮度样本和与所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，和/或M个下采样相邻亮度样本和与所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定两对亮度值和色度值。所述N个下采样相邻亮度样本的最小值不小于所述重建的相邻亮度样本的下采样样本的集合的剩余下采样相邻亮度样本的亮度值。所述M个下采样相邻亮度样本的最大值不大于所述重建的相邻亮度样本的下采样样本的集合的剩余下采样相邻亮度样本的亮度值，M和N为正整数且大于1。特别地，根据所述下采样样本的集合中的N个下采样相邻亮度样本和与所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，确定第一对亮度值和色度值；根据所述下采样样本的集合的M个下采样相邻亮度样本和与所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定第二对亮度值和色度值。
步骤2440、基于所述两对亮度值和色度值确定一个或多个线性模型参数。
步骤2450、基于一个或多个线性模型参数确定色度块901的预测块，例如，基于线性模型参数和下采样亮度块1212、1312、1412和1512生成色度块901的预测色度值。
步骤2460、基于预测块编码色度块901。对所述色度块和所述预测块之间的残差数据进行编码，并生成包含所述编码后的残差数据的位流。例如，从所述色度块901中减去所述预测块，得到残差块(残差数据)，并生成包含所述编码后的残差数据的位流。
应注意，在使用CCIP_A模式1700进行MDLM帧内预测的情况下，所述重建的相邻亮度样本的集合包括在所述亮度块上方的多个重建的亮度样本，但不包括在所述亮度块左侧的多个重建的亮度样本。在使用CCIP_L模式1800进行MDLM帧内预测的情况下，所述重建的相邻亮度样本的集合不包括在所述亮度块上方的多个重建的亮度样本，但包括在所述亮度块左侧的多个重建的亮度样本。在CCLM帧内预测的情况下，所述重建的相邻亮度样本的集合包括在亮度块上方的多个重建的亮度样本和在亮度块CCLM帧内预测左侧的多个重建的亮度样本。
图25是解码视频数据的示例性方法250的流程图。步骤2510、确定与色度块901对应的亮度块911。
步骤2520、确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本，和/或在所述亮度块左侧的多个重建的亮度样本。
步骤2530、当所述重建的相邻亮度样本的下采样样本的集合中包括具有最大值的N个下采样相邻亮度样本和/或具有最小值的M个下采样相邻亮度样本时，根据具有最大值的所述N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，和/或具有最小值的所述M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定两对亮度值和色度值，其中M和N为正整数且大于1。特别地，根据以下至少一种确定两对亮度值和色度值：
1.具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的一个下采样相邻亮度样本和与具有最小值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本；
2.具有最大值的一个下采样相邻亮度样本和与具有最大值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本；
3.具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，其中M和N为正整数且大于1。
步骤2540、基于所述两对亮度值和色度值确定一个或多个线性模型参数。
步骤2550、基于所述一个或多个线性模型参数确定预测块，例如，基于所述线性模型参数和下采样亮度块1212、1312、1412和1512生成所述色度块901的预测色度值。
步骤2560、基于所述预测块重建所述色度块901。例如，将所述预测块添加到残差块中以重建所述色度块901。
应注意，在使用CCIP_A模式1700进行MDLM帧内预测的情况下，所述重建的相邻亮度样本的集合包括在所述亮度块上方的多个重建的亮度样本，但不包括在所述亮度块左侧的多个重建的亮度样本。在使用CCIP_L模式1800进行MDLM帧内预测的情况下，所述重建的相邻亮度样本的集合不包括在所述亮度块上方的多个重建的亮度样本，但包括在所述亮度块左侧的多个重建的亮度样本。在CCLM帧内预测的情况下，所述重建的相邻亮度样本的集合包括在所述亮度块上方的多个重建的亮度样本和在所述亮度块CCLM帧内预测左侧的多个重建的亮度样本。
图26是编码视频数据的示例性方法260的流程图。步骤2610、确定与色度块901对应的亮度块911。
步骤26202、确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本，和/或者在所述亮度块左侧的多个重建的亮度样本。
步骤2630、当所述重建的相邻亮度样本的下采样样本的集合中包括具有最大值的N个下采样相邻亮度样本和/或具有最小值的M个下采样相邻亮度样本时，根据具有最大值的所述N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，和/或具有最小值的所述M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定两对亮度值和色度值，其中M和N为正整数且大于1。特别地，根据以下至少一种确定两对亮度值和色度值：
1.具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的一个下采样相邻亮度样本和与具有最小值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本；
2.具有最大值的一个下采样相邻亮度样本和与具有最大值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本；
3.具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，其中M和N为正整数且大于1。
步骤2640、基于所述两对亮度值和色度值确定一个或多个线性模型参数。
步骤2650、基于所述一个或多个线性模型参数确定所述色度块901的预测块，例如，基于所述线性模型参数和下采样亮度块1212、1312、1412和1512生成所述色度块901的预测色度值。
步骤2660、基于所述预测块编码所述色度块901。对所述色度块和所述预测块之间的残差数据进行编码，并生成包含所述编码后的残差数据的位流。例如，从所述色度块901中减去所述预测块，得到残差块(残差数据)，并生成包含所述编码后的残差数据的位流。
应注意，在使用CCIP_A模式1700进行MDLM帧内预测的情况下，所述重建的相邻亮度样本的集合包括在所述亮度块上方的多个重建的亮度样本，但不包括在所述亮度块左侧的多个重建的亮度样本。在使用CCIP_L模式1800进行MDLM帧内预测的情况下，所述重建的相邻亮度样本的集合不包括在所述亮度块上方的多个重建的亮度样本，但包括在所述亮度块左侧的多个重建的亮度样本。在CCLM帧内预测的情况下，所述重建的相邻亮度样本的集合包括在所述亮度块上方的多个重建的亮度样本和在所述亮度块CCLM帧内预测左侧的多个重建的亮度样本。
在一个或多个示例中，上述函数可在硬件、软件、固件或它们的组合中来实现。若在软件中实现，函数可以以一个或多个指令或计算机可读介质中的代码的形式存储或传输，其中指令与代码由基于硬件的处理单元执行。计算机可读介质可包括与有形介质相对应的计算机可读取储存介质(如数据存储介质)，或通讯介质，其包括根据通讯协议方便计算机程序从一个地方传递到另一个地方的任一介质。在这个方式中，计算机可读介质总体上可对应(1)非瞬时性的有形计算机可读存储介质或(2)通讯介质，如信号或载波。数据存储介质可以是任一可用的介质，其能通过一个或多个计算机或一个或多个处理器访问，以检索用于本发明描述的技术的实施的指令、代码和/或数据结构。计算机程序产品可包括计算机可读介质。
作为一个非限制性示例，该计算机可读存储介质可能包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器、或其它磁性存储设备、闪存、或其它计算机能访问的用于以指令或数据结构形式存储需要的程序编码的介质。此外，任何连接都可以被适当地定义为电脑可读媒介。例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的，也被包含在所定义的电脑可读媒介中。然而，应该理解的是：计算机可读存储介质和数据存储介质不包括连接、载波、信号或其它瞬时性介质，而是指非瞬时性有形存储介质。所述的磁盘(disk)和碟片(disc)包括压缩磁盘、镭射盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包括在电脑可读媒介范畴中。
指令的执行者可以是一个或多个处理器，如一个或多个数字信号处理器(digitalsignal processor，简称DSP)、通用型微处理器、专用集成电路(application specificintegrated circuit，简称ASIC)、现场可编程逻辑数组(field programmable logicarray，简称FPGA)或其它等效的集成或离散逻辑电路。相应地，此处所用的术语“处理器”可指以上结构或其它适用于此处描述的技术的实施的结构中的任一个。除此之外，在一些方面，此处描述的功能可由用于编码和解码的专用硬件和/或软件模块提供，或包含在组合的编解码器中。同时，这些技术可以在一个或多个电路或逻辑单元中完全实现。
本发明的技术可以在多种设备或装置中实现，包括无线耳机、集成电路(integrated circuit，简称IC)或一组IC(例如，芯片组)。本发明所描述的各种组件、模块、或单元强调了用于执行所述技术的设备的功能，但不局限于由不同硬件单元实现。如上所述，确切的说，可在编解码硬件单元中组合各种单元，或可由一系列交互操作硬件单元(包括如上所述的一个或多个处理器)结合合适的软件和/或固件提供各种单元。
虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的系统和方法可以以许多其它特定形式来体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。
此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或集成。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式经由某一接口、设备或中间组件间接地耦合或通信。其它变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。

Claims (103)

1.一种视频数据解码方法，其特征在于，包括：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本，或者在所述亮度块左侧的多个重建的亮度样本；
根据所述下采样样本的集合中的N个下采样相邻亮度样本和与所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，确定第一对亮度值和色度值；
根据所述下采样样本的集合中的M个下采样相邻亮度样本和与所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定第二对亮度值和色度值；
基于所述第一对亮度值和色度值和第二对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块重建所述色度块；
其中，所述N个下采样相邻亮度样本的最小值不小于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，所述M个下采样相邻亮度样本的最大值不大于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，M和N为正整数且大于1。
2.一种视频数据解码方法，其特征在于，包括：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本以及在所述亮度块左侧的多个重建的亮度样本；
根据所述下采样样本的集合的N个下采样相邻亮度样本和与所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，确定第一对亮度值和色度值；根据所述下采样样本的集合的M个下采样相邻亮度样本和与所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定第二对亮度值和色度值；
基于所述第一对亮度值和色度值和第二对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块重建所述色度块；
其中，所述N个下采样相邻亮度样本的最小值不小于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，所述M个下采样相邻亮度样本的最大值不大于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，M和N为正整数且大于1。
3.根据权利要求1或2所述的方法，其特征在于，所述重建的相邻亮度样本的所述下采样样本的集合由所述N个下采样相邻亮度样本和所述M个下采样相邻亮度样本组成。
4.根据权利要求1至3任一项所述的方法，其特征在于，
所述第一对亮度值和色度值的亮度值为所述N个下采样相邻亮度样本的平均亮度值；
所述第一对亮度值和色度值的色度值为与所述N个下采样相邻亮度样本对应的所述N个重建的相邻色度样本的平均色度值；
其中：
所述第二对亮度值和色度值的亮度值为所述M个下采样相邻亮度样本的平均亮度值；
所述第二对亮度值和色度值的色度值为与所述M个下采样相邻亮度样本对应的所述M个重建的相邻色度样本的平均色度值。
5.根据权利要求1至3任一项所述的方法，其特征在于，
其中，所述第一对亮度值和色度值的亮度值为第一亮度值范围内的所述N个下采样相邻亮度样本的平均亮度值，所述第一对亮度值和色度值的色度值为与所述第一亮度值范围内的所述N个下采样相邻亮度样本对应的所述N个重建的相邻色度样本的平均色度值；以及
所述第二对亮度值和色度值的亮度值为第二亮度值范围内的所述M个下采样相邻亮度样本的平均亮度值，所述第二对亮度值和色度值的色度值为与所述第二亮度值范围内的所述M个下采样相邻亮度样本对应的所述M个重建的相邻色度样本的平均色度值。
6.根据权利要求5所述的方法，其特征在于，
所述第一亮度值在[MaxLumaValue-T1，MaxLumaValue]的范围内；以及
所述第二亮度值在[MinLumaValue，MinLumaValue+T2]的范围内；
其中，MaxLumaValue和MinLumaValue分别表示在所述重建的相邻亮度样本的下采样样本的集合中的最大亮度值和最小亮度值，T1和T2为预定义的阈值。
7.根据权利要求1至6任一项所述的方法，其特征在于，M和N相等。
8.根据权利要求7所述的方法，其特征在于，M＝N＝2。
9.根据权利要求1至6任一项所述的方法，其特征在于，M和N基于所述亮度块的块大小定义。
10.根据权利要求1至6和权9中任一项所述的方法，其特征在于，
M＝(W+H)>>t，
N＝(W+H)>>r，
其中，t和r为右移位比特数，W表示所述亮度块的宽度，H表示所述亮度块的高度。
11.根据权利要求1至10任一项所述的方法，其特征在于，所述重建的相邻亮度样本包括：
位于所述亮度块外部的右上相邻亮度样本和位于所述亮度块外部的所述右上相邻亮度样本的右侧的亮度样本；和/或
位于所述亮度块外部的左下相邻亮度样本和位于所述亮度块外部的所述左下相邻亮度样本的下方的亮度样本。
12.根据权利要求1至11任一项所述的方法，其特征在于，在所述亮度块上方的所述多个重建的亮度样本是与对应的上边界相邻的重建的相邻亮度样本，在所述亮度块左侧的所述多个重建的亮度样本是与对应的左边界相邻的重建的相邻亮度样本。
13.根据权利要求1至12中任一项所述的方法，其特征在于，所述重建的相邻亮度样本不包括所述亮度块外部的左上相邻亮度样本的上方的亮度样本，和/或所述左上相邻亮度样本的左侧亮度样本。
14.根据权利要求1至13任一项所述的方法，其特征在于，所述重建的相邻亮度样本包括重建的相邻亮度样本的第一集合和重建的相邻亮度样本的第二集合；
所述重建的相邻亮度样本的第一集合包括亮度值小于或等于阈值的重建的相邻亮度样本；所述重建的相邻亮度样本的第二集合包括亮度值大于所述阈值的重建的相邻亮度样本。
15.根据权利要求1至14任一项所述的方法，其特征在于，所述重建的相邻亮度样本的下采样样本的集合是通过对所述重建的相邻亮度样本进行下采样得到的。
16.一种视频数据编码方法，其特征在于，包括：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本，或者在所述亮度块左侧的多个重建的亮度样本；
根据所述下采样样本的集合中的N个下采样相邻亮度样本和与所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，确定第一对亮度值和色度值；
根据所述下采样样本的集合中的M个下采样相邻亮度样本和与所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定第二对亮度值和色度值；
基于所述第一对亮度值和色度值和第二对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块编码所述色度块；
其中，所述N个下采样相邻亮度样本的最小值不小于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，所述M个下采样相邻亮度样本的最大值不大于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，M和N为正整数且大于1。
17.一种视频数据编码方法，其特征在于，包括：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本以及在所述亮度块左侧的多个重建的亮度样本；
根据所述下采样样本的集合中的N个下采样相邻亮度样本和与所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，确定第一对亮度值和色度值；
根据所述下采样样本的集合中的M个下采样相邻亮度样本和与所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定第二对亮度值和色度值；
基于所述第一对亮度值和色度值和第二对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块编码所述色度块；
其中，所述N个下采样相邻亮度样本的最小值不小于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，所述M个下采样相邻亮度样本的最大值不大于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，M和N为正整数且大于1。
18.根据权利要求16或17所述的方法，其特征在于，所述重建的相邻亮度样本的所述下采样样本的集合由所述N个下采样相邻亮度样本和所述M个下采样相邻亮度样本组成。
19.根据权利要求16至18任一项所述的方法，其特征在于，
所述第一对亮度值和色度值的亮度值为所述N个下采样相邻亮度样本的平均亮度值，所述第一对亮度值和色度值的色度值为与所述N个下采样相邻亮度样本对应的所述N个重建的相邻色度样本的平均色度值；以及
所述第二对亮度值和色度值的亮度值为所述M个下采样相邻亮度样本的平均亮度值，所述第二对亮度值和色度值的色度值为与所述M个下采样相邻亮度样本对应的所述M个重建的相邻色度样本的平均色度值。
20.根据权利要求16至18任一项所述的方法，其特征在于，
其中，所述第一对亮度值和色度值的亮度值为第一亮度值范围内的所述N个下采样相邻亮度样本的平均亮度值，所述第一对亮度值和色度值的色度值为与所述第一亮度值范围内的所述N个下采样相邻亮度样本对应的所述N个重建的相邻色度样本的平均色度值；以及
所述第二对亮度值和色度值的亮度值为第二亮度值范围内的所述M个下采样相邻亮度样本的平均亮度值，所述第二对亮度值和色度值的色度值为与所述第二亮度值范围内的所述M个下采样相邻亮度样本对应的所述M个重建的相邻色度样本的平均色度值。
21.根据权利要求20所述的方法，其特征在于，
所述第一亮度值在[MaxLumaValue-T1，MaxLumaValue]的范围内；和/或
所述第二亮度值在[MinLumaValue，MinLumaValue+T2]的范围内；
其中，MaxLumaValue和MinLumaValue分别表示在所述重建的相邻亮度样本的下采样样本的集合中的最大亮度值和最小亮度值，T1和T2为预定义的阈值。
22.根据权利要求16至21任一项所述的方法，其特征在于，M和N相等。
23.根据权利要求22所述的方法，其特征在于，M＝N＝2。
24.根据权利要求16至21任一项所述的方法，其特征在于，M和N基于所述亮度块的块大小定义。
25.根据权利要求16至21和权24中任一项所述的方法，其特征在于，
M＝(W+H)>>t，
N＝(W+H)>>r，
其中，t和r分别为右移位比特数，W表示所述亮度块的宽度，H表示所述亮度块的高度。
26.根据权利要求16至25任一项所述的方法，其特征在于，所述重建的相邻亮度样本包括：
位于所述亮度块外部的右上相邻亮度样本和位于所述亮度块外部的所述右上相邻亮度样本的右侧的亮度样本；和/或
位于所述亮度块外部的左下相邻亮度样本和位于所述亮度块外部的所述左下相邻亮度样本的下方的亮度样本。
27.根据权利要求16至26任一项所述的方法，其特征在于，在所述亮度块上方的所述多个重建的亮度样本是与对应的上边界相邻的重建的相邻亮度样本，在所述亮度块左侧的所述多个重建的亮度样本是与对应的左边界相邻的重建的相邻亮度样本。
28.根据权利要求16至27中任一项所述的方法，其特征在于，所述重建的相邻亮度样本不包括所述亮度块外部的左上相邻亮度样本的上方的亮度样本，和/或所述左上相邻亮度样本的左侧亮度样本。
29.根据权利要求16至28任一项所述的方法，其特征在于，
所述重建的相邻亮度样本包括重建的相邻亮度样本的第一集合和重建的相邻亮度样本的第二集合；
所述重建的相邻亮度样本的第一集合包括亮度值小于或等于阈值的重建的相邻亮度样本；所述重建的相邻亮度样本的第二集合包括亮度值大于所述阈值的重建的相邻亮度样本。
30.根据权利要求16至29任一项所述的方法，其特征在于，所述重建的相邻亮度样本的下采样样本的集合是通过对所述重建的相邻亮度样本进行下采样得到的。
31.一种视频数据解码设备，其特征在于，包括：
视频数据存储器和视频解码器；
其中，所述视频解码器用于：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本，或者在所述亮度块左侧的多个重建的亮度样本；
根据所述下采样样本的集合中的N个下采样相邻亮度样本和与所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，确定第一对亮度值和色度值；
根据所述下采样样本的集合中的M个下采样相邻亮度样本和与所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定第二对亮度值和色度值；
基于所述第一对亮度值和色度值和第二对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块重建所述色度块；
其中，所述N个下采样相邻亮度样本的最小值不小于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，所述M个下采样相邻亮度样本的最大值不大于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，M和N为正整数且大于1。
32.一种视频数据解码设备，其特征在于，包括：
视频数据存储器和视频解码器；
其中，所述视频解码器用于：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本以及在所述亮度块左侧的多个重建的亮度样本；
根据所述下采样样本的集合中的N个下采样相邻亮度样本和与所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，确定第一对亮度值和色度值；
根据所述下采样样本的集合中的M个下采样相邻亮度样本和与所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定第二对亮度值和色度值；
基于所述第一对亮度值和色度值和第二对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块重建所述色度块；
其中，所述N个下采样相邻亮度样本的最小值不小于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，所述M个下采样相邻亮度样本的最大值不大于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，M和N为正整数且大于1。
33.根据权利要求31或32所述的设备，其特征在于，所述重建的相邻亮度样本的所述下采样样本的集合由所述N个下采样相邻亮度样本和所述M个下采样相邻亮度样本组成。
34.根据权利要求31至33任一项所述的设备，其特征在于，
所述第一对亮度值和色度值的亮度值为所述N个下采样相邻亮度样本的平均亮度值，所述第一对亮度值和色度值的色度值为与所述N个下采样相邻亮度样本对应的所述N个重建的相邻色度样本的平均色度值；以及
所述第二对亮度值和色度值的亮度值为所述M个下采样相邻亮度样本的平均亮度值，所述第二对亮度值和色度值的色度值为与所述M个下采样相邻亮度样本对应的所述M个重建的相邻色度样本的平均色度值。
35.根据权利要求31至33任一项所述的设备，其特征在于，
其中，所述第一对亮度值和色度值的亮度值为第一亮度值范围内的所述N个下采样相邻亮度样本的平均亮度值，所述第一对亮度值和色度值的色度值为与所述第一亮度值范围内的所述N个下采样相邻亮度样本对应的所述N个重建的相邻色度样本的平均色度值；以及
所述第二对亮度值和色度值的亮度值为第二亮度值范围内的所述M个下采样相邻亮度样本的平均亮度值，所述第二对亮度值和色度值的色度值为与所述第二亮度值范围内的所述M个下采样相邻亮度样本对应的所述M个重建的相邻色度样本的平均色度值。
36.根据权利要求35所述的设备，其特征在于，
所述第一亮度值在[MaxLumaValue-T1，MaxLumaValue]的范围内；以及
所述第二亮度值在[MinLumaValue，MinLumaValue+T2]的范围内；
其中，MaxLumaValue和MinLumaValue分别表示在所述重建的相邻亮度样本的下采样样本的集合中的最大亮度值和最小亮度值，T1和T2为预定义的阈值。
37.根据权利要求31至36任一项所述的设备，其特征在于，M和N相等。
38.根据权利要求37所述的设备，其特征在于，M＝N＝2。
39.根据权利要求31至36任一项所述的设备，其特征在于，M和N基于所述亮度块的块大小定义。
40.根据权利要求31-36和39任一项所述的设备，其特征在于，
M＝(W+H)>>t，
N＝(W+H)>>r，
其中，t和r分别为右移位比特数，W表示所述亮度块的宽度，H表示所述亮度块的高度。
41.根据权利要求31至40任一项所述的设备，其特征在于，所述重建的相邻亮度样本包括：
位于所述亮度块外部的右上相邻亮度样本和位于所述亮度块外部的所述右上相邻亮度样本的右侧的亮度样本；和/或
位于所述亮度块外部的左下相邻亮度样本和位于所述亮度块外部的所述左下相邻亮度样本的下方的亮度样本。
42.根据权利要求31至41任一项所述的设备，其特征在于，在所述亮度块上方的所述多个重建的亮度样本是与对应的上边界相邻的重建的相邻亮度样本，在所述亮度块左侧的所述多个重建的亮度样本是与对应的左边界相邻的重建的相邻亮度样本。
43.根据权利要求31至42中任一项所述的设备，其特征在于，所述重建的相邻亮度样本不包括所述亮度块外部的左上相邻亮度样本的上方的亮度样本，和/或所述左上相邻亮度样本的左侧亮度样本。
44.根据权利要求31至43任一项所述的设备，其特征在于，
所述重建的相邻亮度样本包括重建的相邻亮度样本的第一集合和重建的相邻亮度样本的第二集合；
所述重建的相邻亮度样本的第一集合包括亮度值小于或等于阈值的重建的相邻亮度样本；所述重建的相邻亮度样本的第二集合包括亮度值大于所述阈值的重建的相邻亮度样本。
45.根据权利要求31至44任一项所述的设备，其特征在于，所述重建的相邻亮度样本的下采样样本的集合是通过对所述重建的相邻亮度样本进行下采样得到的。
46.一种视频数据编码设备，其特征在于，包括：
视频数据存储器和视频编码器；
其中，所述视频编码器用于：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本，或者在所述亮度块左侧的多个重建的亮度样本；
根据所述下采样样本的集合中的N个下采样相邻亮度样本和与所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，确定第一对亮度值和色度值；
根据所述下采样样本的集合中的M个下采样相邻亮度样本和与所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定第二对亮度值和色度值；
基于所述第一对亮度值和色度值和第二对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块编码所述色度块；
其中，所述N个下采样相邻亮度样本的最小值不小于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，所述M个下采样相邻亮度样本的最大值不大于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，M和N为正整数且大于1。
47.一种视频数据编码设备，其特征在于，包括：
视频数据存储器和视频编码器；
其中，所述视频编码器用于：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本以及在所述亮度块左侧的多个重建的亮度样本；
根据所述下采样样本的集合中的N个下采样相邻亮度样本和与所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，确定第一对亮度值和色度值；
根据所述下采样样本的集合中的M个下采样相邻亮度样本和与所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，确定第二对亮度值和色度值；
基于所述第一对亮度值和色度值和第二对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块编码所述色度块；
其中，所述N个下采样相邻亮度样本的最小值不小于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，所述M个下采样相邻亮度样本的最大值不大于所述下采样样本的集合的剩余下采样相邻亮度样本的亮度值，M和N为正整数且大于1。
48.根据权利要求46或47所述的设备，其特征在于，所述重建的相邻亮度样本的下采样样本的集合由所述N个下采样相邻亮度样本和所述M个下采样相邻亮度样本组成。
49.根据权利要求46至48任一项所述的设备，其特征在于，
所述第一对亮度值和色度值的亮度值为所述N个下采样相邻亮度样本的平均亮度值，所述第一对亮度值和色度值的色度值为与所述N个下采样相邻亮度样本对应的所述N个重建的相邻色度样本的平均色度值；以及
所述第二对亮度值和色度值的亮度值为所述M个下采样相邻亮度样本的平均亮度值，所述第二对亮度值和色度值的色度值为与所述M个下采样相邻亮度样本对应的所述M个重建的相邻色度样本的平均色度值。
50.根据权利要求46至48任一项所述的设备，其特征在于，
其中，所述第一对亮度值和色度值的亮度值为第一亮度值范围内的所述N个下采样相邻亮度样本的平均亮度值，所述第一对亮度值和色度值的色度值为与所述第一亮度值范围内的所述N个下采样相邻亮度样本对应的所述N个重建的相邻色度样本的平均色度值；以及
所述第二对亮度值和色度值的亮度值为第二亮度值范围内的所述M个下采样相邻亮度样本的平均亮度值，所述第二对亮度值和色度值的色度值为与所述第二亮度值范围内的所述M个下采样相邻亮度样本对应的所述M个重建的相邻色度样本的平均色度值。
51.根据权利要求50所述的设备，其特征在于，
所述第一亮度值在[MaxLumaValue-T1，MaxLumaValue]的范围内；和/或
所述第二亮度值在[MinLumaValue，MinLumaValue+T2]的范围内；
其中，MaxLumaValue和MinLumaValue分别表示在所述重建的相邻亮度样本的下采样样本的集合中的最大亮度值和最小亮度值，T1和T2为预定义的阈值。
52.根据权利要求46至51任一项所述的设备，其特征在于，M和N相等。
53.根据权利要求52所述的设备，其特征在于，M＝N＝2。
54.根据权利要求46至51任一项所述的设备，其特征在于，M和N基于所述亮度块的块大小定义。
55.根据权利要求46-51和54任一项所述的设备，其特征在于，
M＝(W+H)>>t，
N＝(W+H)>>r，
其中，t和r分别为右移位比特数，W表示所述亮度块的宽度，H表示所述亮度块的高度。
56.根据权利要求46至55任一项所述的设备，其特征在于，所述重建的相邻亮度样本还包括：
位于所述亮度块外部的右上相邻亮度样本和位于所述亮度块外部的所述右上相邻亮度样本的右侧的亮度样本；和/或
位于所述亮度块外部的左下相邻亮度样本和位于所述亮度块外部的所述左下相邻亮度样本的下方的亮度样本。
57.根据权利要求46至56任一项所述的设备，其特征在于，在所述亮度块上方的所述多个重建的亮度样本是与对应的上边界相邻的重建的相邻亮度样本，在所述亮度块左侧的所述多个重建的亮度样本是与对应的左边界相邻的重建的相邻亮度样本。
58.根据权利要求46至57中任一项所述的设备，其特征在于，所述重建的相邻亮度样本不包括所述亮度块外部的左上相邻亮度样本的上方的亮度样本，和/或所述左上相邻亮度样本的左侧亮度样本。
59.根据权利要求46至58任一项所述的设备，其特征在于，
所述重建的相邻亮度样本包括重建的相邻亮度样本的第一集合和重建的相邻亮度样本的第二集合；
所述重建的相邻亮度样本的第一集合包括亮度值小于或等于阈值的重建的相邻亮度样本；所述重建的相邻亮度样本的第二集合包括亮度值大于所述阈值的重建的相邻亮度样本。
60.根据权利要求46至59任一项所述的设备，其特征在于，所述重建的相邻亮度样本的下采样样本的集合是通过对所述重建的相邻亮度样本进行下采样得到的。
61.一种视频数据解码方法，其特征在于，包括：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本，或者在所述亮度块左侧的多个重建的亮度样本；
当具有最大值的N个下采样相邻亮度样本和具有最小值的M个的下采样相邻亮度样本中的至少一个包含在所述下采样样本的集合中时，根据以下至少一个确定两对亮度值和色度值：
1、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的一个下采样相邻亮度样本和与具有最小值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本；
2、具有最大值的一个下采样相邻亮度样本和与具有最大值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本；
3、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，其中M和N为正整数且大于1；
基于所述两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块重建所述色度块。
62.一种视频数据解码方法，其特征在于，包括：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本以及在所述亮度块左侧的多个重建的亮度样本；
当具有最大值的N个下采样相邻亮度样本和具有最小值的M个的下采样相邻亮度样本中的至少一个包含在所述下采样样本的集合中时，根据以下至少一个确定两对亮度值和色度值：
1、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的一个下采样相邻亮度样本和与具有最小值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本；
2、具有最大值的一个下采样相邻亮度样本和与具有最大值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本；
3、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，其中M和N为正整数且大于1；
基于所述两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块重建所述色度块。
63.根据权利要求61或62所述的方法，其特征在于，所述重建的相邻亮度样本还包括：
位于所述亮度块外部的右上相邻亮度样本和位于所述亮度块外部的所述右上相邻亮度样本的右侧的相邻亮度样本；和/或
位于所述亮度块外部的左下相邻亮度样本和位于所述亮度块外部的所述左下相邻亮度样本的下方的相邻亮度样本。
64.根据权利要求61至63任一项所述的方法，其特征在于，在所述亮度块上方的所述多个重建的亮度样本是与对应的上边界相邻的重建的相邻亮度样本，在所述亮度块左侧的所述多个重建的亮度样本是与对应的左边界相邻的重建的相邻亮度样本。
65.根据权利要求61至64中任一项所述的方法，其特征在于，所述重建的相邻亮度样本不包括所述亮度块外部的左上相邻亮度样本的上方的亮度样本，和/或所述左上相邻亮度样本的左侧亮度样本。
66.根据权利要求61至65任一项所述的方法，其特征在于，所述确定两对亮度值和色度值的步骤包括：
基于多个第一对亮度值和色度值中每对的色度值和多个第二对亮度值和色度值中每对的色度值的色度值差值，确定两对亮度值和色度值；
其中，所述多个第一对中的每对包括具有最大值的N个下采样相邻亮度样本和对应的重建的相邻色度样本中的一个，所述多个第二对中的每对包括具有最小值的M个下采样相邻亮度样本和对应的重建的相邻色度样本中的一个。
67.根据权利要求66所述的方法，其特征在于，
最小色度值差值为第一对亮度值和色度值的色度值与第二对亮度值和色度值的色度值之间的差值，具有最小色度值差值的所述第一对与所述第二对选择为所述两对亮度值和色度值；或
最大色度值差值为第三对亮度值和色度值的色度值与第四对亮度值和色度值的色度值之间的差值，具有最大色度值差值的所述第三对与所述第四对选择为所述两对亮度值和色度值。
68.根据权利要求61至65任一项所述的方法，其特征在于，所述确定两对亮度值和色度值的步骤包括：
将第五对亮度值和色度值以及第六对亮度值和色度值确定为所述两对亮度值和色度值；
其中，所述第五对亮度值和色度值的对应色度值为与具有最大值的所述N个下采样相邻亮度样本对应的所述N个重建的相邻色度样本的平均色度值，所述第六对亮度值和色度值的对应色度值为与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本的平均色度值。
69.根据权利要求61至68任一项所述的方法，其特征在于，所述重建的相邻亮度样本包括重建的相邻亮度样本的第一集合和重建的相邻亮度样本的第二集合，其中，所述重建的相邻亮度样本的第一集合包括亮度值小于或等于阈值的重建的相邻亮度样本；所述重建的相邻亮度样本的第二集合包括亮度值大于所述阈值的重建的相邻亮度样本。
70.根据权利要求61至69任一项所述的方法，其特征在于，所述重建的相邻亮度样本的下采样样本的集合是通过对所述重建的相邻亮度样本进行下采样得到的。
71.一种视频数据解码设备，其特征在于，包括：
视频数据存储器和视频解码器；
其中，所述视频解码器用于：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本，或者在所述亮度块左侧的多个重建的亮度样本；
当具有最大值的N个下采样相邻亮度样本和具有最小值的M个的下采样相邻亮度样本中的至少一个包含在所述下采样样本的集合中时，根据以下至少一个确定两对亮度值和色度值：
1、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的一个下采样相邻亮度样本和与具有最小值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本；
2、具有最大值的一个下采样相邻亮度样本和与具有最大值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本；
3、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，其中M和N为正整数且大于1；
基于所述两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块重建所述色度块。
72.一种视频数据解码设备，其特征在于，包括：
视频数据存储器和视频解码器；
其中，所述视频解码器用于：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本以及在所述亮度块左侧的多个重建的亮度样本；
当具有最大值的N个下采样相邻亮度样本和具有最小值的M个的下采样相邻亮度样本中的至少一个包含在所述下采样样本的集合中时，根据以下至少一个确定两对亮度值和色度值：
1、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的一个下采样相邻亮度样本和与具有最小值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本；
2、具有最大值的一个下采样相邻亮度样本和与具有最大值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本；
3、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，其中M和N为正整数且大于1；
基于所述两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块重建所述色度块。
73.根据权利要求71或72所述的设备，其特征在于，所述重建的相邻亮度样本还包括：
位于所述亮度块外部的右上相邻亮度样本和位于所述亮度块外部的所述右上相邻亮度样本的右侧的相邻亮度样本；和/或
位于所述亮度块外部的左下相邻亮度样本和位于所述亮度块外部的所述左下相邻亮度样本的下方的相邻亮度样本。
74.根据权利要求71至73任一项所述的设备，其特征在于，在所述亮度块上方的所述多个重建的亮度样本是与对应的上边界相邻的重建的相邻亮度样本，在所述亮度块左侧的所述多个重建的亮度样本是与对应的左边界相邻的重建的相邻亮度样本。
75.根据权利要求71至74中任一项所述的设备，其特征在于，所述重建的相邻亮度样本不包括所述亮度块外部的左上相邻亮度样本的上方的亮度样本，和/或所述左上相邻亮度样本的左侧亮度样本。
76.根据权利要求71至75任一项所述的设备，其特征在于，所述视频解码器用于：
基于多个第一对亮度值和色度值中每对的色度值和多个第二对亮度值和色度值中每对的色度值的色度值差值，确定两对亮度值和色度值；
其中，所述多个第一对中的每对包括具有最大值的N个下采样相邻亮度样本和对应的重建的相邻色度样本中的一个，所述多个第二对中的每对包括具有最小值的M个下采样相邻亮度样本和对应的重建的相邻色度样本中的一个。
77.根据权利要求76所述的设备，其特征在于，
最小色度值差值为第一对亮度值和色度值的色度值与第二对亮度值和色度值的色度值之间的差值，具有最小色度值差值的所述第一对与所述第二对选择为所述两对亮度值和色度值；或
最大色度值差值为第三对亮度值和色度值的色度值与第四对亮度值和色度值的色度值之间的差值，具有最大色度值差值的所述第三对与所述第四对选择为所述两对亮度值和色度值。
78.根据权利要求71至75任一项所述的设备，其特征在于，所述视频解码器用于：
将第五对亮度值和色度值以及第六对亮度值和色度值确定为所述两对亮度值和色度值；
其中，所述第五对亮度值和色度值的对应色度值为与具有最大值的所述N个下采样相邻亮度样本对应的所述N个重建的相邻色度样本的平均色度值，所述第六对亮度值和色度值的对应色度值为与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本的平均色度值。
79.根据权利要求71至78任一项所述的设备，其特征在于，所述重建的相邻亮度样本包括重建的相邻亮度样本的第一集合和重建的相邻亮度样本的第二集合，其中，所述重建的相邻亮度样本的第一集合包括亮度值小于或等于阈值的重建的相邻亮度样本；所述重建的相邻亮度样本的第二集合包括亮度值大于所述阈值的重建的相邻亮度样本。
80.根据权利要求71至79任一项所述的设备，其特征在于，所述重建的相邻亮度样本的下采样样本的集合是通过对所述重建的相邻亮度样本进行下采样得到的。
81.一种视频数据编码方法，其特征在于，包括：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本，或者在所述亮度块左侧的多个重建的亮度样本；
当具有最大值的N个下采样相邻亮度样本和具有最小值的M个的下采样相邻亮度样本中的至少一个包含在所述下采样样本的集合中时，根据以下至少一个确定两对亮度值和色度值：
1、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的一个下采样相邻亮度样本和与具有最小值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本；
2、具有最大值的一个下采样相邻亮度样本和与具有最大值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本；
3、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，其中M和N为正整数且大于1；
基于所述两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块编码所述色度块。
82.一种视频数据编码方法，其特征在于，包括：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本以及在所述亮度块左侧的多个重建的亮度样本；
当具有最大值的N个下采样相邻亮度样本和具有最小值的M个的下采样相邻亮度样本中的至少一个包含在所述下采样样本的集合中时，根据以下至少一个确定两对亮度值和色度值：
1、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的一个下采样相邻亮度样本和与具有最小值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本；
2、具有最大值的一个下采样相邻亮度样本和与具有最大值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本；
3、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，其中M和N为正整数且大于1；
基于所述两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块编码所述色度块。
83.根据权利要求81或82所述的方法，其特征在于，所述重建的相邻亮度样本还包括：
位于所述亮度块外部的右上相邻亮度样本和位于所述亮度块外部的所述右上相邻亮度样本的右侧的相邻亮度样本；和/或
位于所述亮度块外部的左下相邻亮度样本和位于所述亮度块外部的所述左下相邻亮度样本的下方的相邻亮度样本。
84.根据权利要求81至83任一项所述的方法，其特征在于，在所述亮度块上方的所述多个重建的亮度样本是与对应的上边界相邻的重建的相邻亮度样本，在所述亮度块左侧的所述多个重建的亮度样本是与对应的左边界相邻的重建的相邻亮度样本。
85.根据权利要求81至84中任一项所述的方法，其特征在于，所述重建的相邻亮度样本不包括所述亮度块外部的左上相邻亮度样本的上方的亮度样本，和/或所述左上相邻亮度样本的左侧亮度样本。
86.根据权利要求81至85任一项所述的方法，其特征在于，所述确定两对亮度值和色度值的步骤包括：
基于多个第一对亮度值和色度值中每对的色度值和多个第二对亮度值和色度值中每对的色度值的色度值差值，确定两对亮度值和色度值；
其中，所述多个第一对中的每对包括具有最大值的N个下采样相邻亮度样本和对应的重建的相邻色度样本中的一个，所述多个第二对中的每对包括具有最小值的M个下采样相邻亮度样本和对应的重建的相邻色度样本中的一个。
87.根据权利要求86所述的方法，其特征在于，
最小色度值差值为第一对亮度值和色度值的色度值与第二对亮度值和色度值的色度值之间的差值，具有最小色度值差值的所述第一对与所述第二对选择为所述两对亮度值和色度值；或
最大色度值差值为第三对亮度值和色度值的色度值与第四对亮度值和色度值的色度值之间的差值，具有最大色度值差值的所述第三对与所述第四对选择为所述两对亮度值和色度值。
88.根据权利要求81至85任一项所述的方法，其特征在于，所述确定两对亮度值和色度值的步骤包括：
将第五对亮度值和色度值以及第六对亮度值和色度值确定为所述两对亮度值和色度值；
其中，所述第五对亮度值和色度值的对应色度值为与具有最大值的所述N个下采样相邻亮度样本对应的所述N个重建的相邻色度样本的平均色度值，所述第六对亮度值和色度值的对应色度值为与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本的平均色度值。
89.根据权利要求81至88任一项所述的方法，其特征在于，所述重建的相邻亮度样本包括重建的相邻亮度样本的第一集合和重建的相邻亮度样本的第二集合，其中，所述重建的相邻亮度样本的第一集合包括亮度值小于或等于阈值的重建的相邻亮度样本；所述重建的相邻亮度样本的第二集合包括亮度值大于所述阈值的重建的相邻亮度样本。
90.根据权利要求81至89任一项所述的方法，其特征在于，所述重建的相邻亮度样本的下采样样本的集合是通过对所述重建的相邻亮度样本进行下采样得到的。
91.一种视频数据编码设备，其特征在于，包括：
视频数据存储器和视频解码器；
其中，所述视频解码器用于：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本，或者在所述亮度块左侧的多个重建的亮度样本；
当具有最大值的N个下采样相邻亮度样本和具有最小值的M个的下采样相邻亮度样本中的至少一个包含在所述下采样样本的集合中时，根据以下至少一个确定两对亮度值和色度值：
1、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的一个下采样相邻亮度样本和与具有最小值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本；
2、具有最大值的一个下采样相邻亮度样本和与具有最大值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本；
3、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，其中M和N为正整数且大于1；
基于所述两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块编码所述色度块。
92.一种视频数据编码设备，其特征在于，包括：
视频数据存储器和视频解码器；
其中，所述视频解码器用于：
确定与色度块对应的亮度块；
确定重建的相邻亮度样本的下采样样本的集合，其中，所述重建的相邻亮度样本包括在所述亮度块上方的多个重建的亮度样本以及在所述亮度块左侧的多个重建的亮度样本；
当具有最大值的N个下采样相邻亮度样本和具有最小值的M个的下采样相邻亮度样本中的至少一个包含在所述下采样样本的集合中时，根据以下至少一个确定两对亮度值和色度值：
1、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的一个下采样相邻亮度样本和与具有最小值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本；
2、具有最大值的一个下采样相邻亮度样本和与具有最大值的所述下采样相邻亮度样本对应的一个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本；
3、具有最大值的N个下采样相邻亮度样本和与具有最大值的所述N个下采样相邻亮度样本对应的N个重建的相邻色度样本，以及具有最小值的M个下采样相邻亮度样本和与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本，其中M和N为正整数且大于1；
基于所述两对亮度值和色度值确定一个或多个线性模型参数；
基于所述一个或多个线性模型参数确定预测块；以及
基于所述预测块编码所述色度块。
93.根据权利要求91或92所述的设备，其特征在于，所述重建的相邻亮度样本还包括：
位于所述亮度块外部的右上相邻亮度样本和位于所述亮度块外部的所述右上相邻亮度样本的右侧的相邻亮度样本；和/或
位于所述亮度块外部的左下相邻亮度样本和位于所述亮度块外部的所述左下相邻亮度样本的下方的相邻亮度样本。
94.根据权利要求91至93任一项所述的设备，其特征在于，在所述亮度块上方的所述多个重建的亮度样本是与对应的上边界相邻的重建的相邻亮度样本，在所述亮度块左侧的所述多个重建的亮度样本是与对应的左边界相邻的重建的相邻亮度样本。
95.根据权利要求91至94中任一项所述的设备，其特征在于，所述重建的相邻亮度样本不包括所述亮度块外部的左上相邻亮度样本的上方的亮度样本，和/或所述左上相邻亮度样本的左侧亮度样本。
96.根据权利要求91至95任一项所述的设备，其特征在于，所述视频解码器还用于：
根据多个第一对亮度值和色度值中每对的色度值和多个第二对亮度值和色度值中每对的色度值的色度值差值，确定两对亮度值和色度值；
其中，所述多个第一对中的每对包括具有最大值的N个下采样相邻亮度样本和对应的重建的相邻色度样本中的一个，所述多个第二对中的每对包括具有最小值的M个下采样相邻亮度样本和对应的重建的相邻色度样本中的一个。
97.根据权利要求96所述的设备，其特征在于，
最小色度值差值为第一对亮度值和色度值的色度值与第二对亮度值和色度值的色度值之间的差值，具有最小色度值差值的所述第一对与所述第二对选择为所述两对亮度值和色度值；或
最大色度值差值为第三对亮度值和色度值的色度值与第四对亮度值和色度值的色度值之间的差值，具有最大色度值差值的所述第三对与所述第四对选择为所述两对亮度值和色度值。
98.根据权利要求91至95任一项所述的设备，其特征在于，所述视频解码器用于：
将第五对亮度值和色度值以及第六对亮度值和色度值确定为所述两对亮度值和色度值；
其中，所述第五对亮度值和色度值的对应色度值为与具有最大值的所述N个下采样相邻亮度样本对应的所述N个重建的相邻色度样本的平均色度值，所述第六对亮度值和色度值的对应色度值为与具有最小值的所述M个下采样相邻亮度样本对应的M个重建的相邻色度样本的平均色度值。
99.根据权利要求91至98任一项所述的设备，其特征在于，
所述重建的相邻亮度样本包括重建的相邻亮度样本的第一集合和重建的相邻亮度样本的第二集合；
所述重建的相邻亮度样本的第一集合包括亮度值小于或等于阈值的重建的相邻亮度样本；所述重建的相邻亮度样本的第二集合包括亮度值大于所述阈值的重建的相邻亮度样本。
100.根据权利要求91至99任一项所述的设备，其特征在于，所述重建的相邻亮度样本的下采样样本的集合是通过对所述重建的相邻亮度样本进行下采样得到的。
101.一种解码装置，其特征在于，包括：
内存存储器，包括指令；以及
一个或多个处理器，其与所述存储器通信；
所述一个或多个处理器通过执行所述指令执行如权利要求1至15任一项或权利要求61至70任一项所述的方法。
102.一种编码装置，其特征在于，包括：
内存存储器，包括指令；以及
一个或多个处理器，其与所述存储器通信；
所述一个或多个处理器通过执行所述指令执行如权利要求16至30任一项或权利要求81至90任一项所述的方法。
103.一种存储指令的计算机可读介质，其特征在于，当所述指令被设备中的处理器执行时，使得所述设备执行如权利要求1至30、权利要求61至70和权利要求81至90中任一项所述的方法。
CN201980047780.6A 2018-07-16 2019-07-16 视频编码器、视频解码器及相应的编解码方法 Pending CN112425173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211027871.3A CN115941942B (zh) 2018-07-16 2019-07-16 视频编码器、视频解码器及相应的编解码方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862698924P 2018-07-16 2018-07-16
US62/698,924 2018-07-16
US201862698991P 2018-07-17 2018-07-17
US62/698,991 2018-07-17
PCT/CN2019/096191 WO2020015648A1 (en) 2018-07-16 2019-07-16 Video encoder, video decoder, and corresponding encoding and decoding methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211027871.3A Division CN115941942B (zh) 2018-07-16 2019-07-16 视频编码器、视频解码器及相应的编解码方法

Publications (1)

Publication Number Publication Date
CN112425173A true CN112425173A (zh) 2021-02-26

Family

ID=69164978

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980047780.6A Pending CN112425173A (zh) 2018-07-16 2019-07-16 视频编码器、视频解码器及相应的编解码方法
CN202211027871.3A Active CN115941942B (zh) 2018-07-16 2019-07-16 视频编码器、视频解码器及相应的编解码方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211027871.3A Active CN115941942B (zh) 2018-07-16 2019-07-16 视频编码器、视频解码器及相应的编解码方法

Country Status (24)

Country Link
US (2) US11336907B2 (zh)
EP (2) EP4164225A1 (zh)
JP (2) JP7461925B2 (zh)
KR (2) KR102483942B1 (zh)
CN (2) CN112425173A (zh)
AU (2) AU2019303720B2 (zh)
BR (1) BR112021000694A2 (zh)
CA (2) CA3106468C (zh)
CL (1) CL2021000123A1 (zh)
DK (1) DK3815377T3 (zh)
ES (1) ES2938068T3 (zh)
FI (1) FI3815377T3 (zh)
HR (1) HRP20230288T1 (zh)
HU (1) HUE061422T2 (zh)
IL (1) IL280228B2 (zh)
LT (1) LT3815377T (zh)
MX (1) MX2021000616A (zh)
NZ (1) NZ772305A (zh)
PH (1) PH12021550112A1 (zh)
PL (1) PL3815377T3 (zh)
PT (1) PT3815377T (zh)
SG (1) SG11202100412SA (zh)
SI (1) SI3815377T1 (zh)
WO (1) WO2020015648A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112021000694A2 (pt) 2018-07-16 2021-04-13 Huawei Technologies Co., Ltd. Codificador de vídeo, decodificador de vídeo, e métodos de codificação e decodificação correspondentes
CN117880501A (zh) 2018-10-07 2024-04-12 三星电子株式会社 用于编码或解码视频信号的视频信号处理方法和设备
EP4221220A1 (en) * 2018-10-08 2023-08-02 Beijing Dajia Internet Information Technology Co., Ltd. Simplifications of cross-component linear model
WO2020076142A1 (ko) * 2018-10-12 2020-04-16 주식회사 윌러스표준기술연구소 교차성분 선형 모델을 이용한 비디오 신호 처리 방법 및 장치
CN112335245A (zh) * 2018-10-12 2021-02-05 Oppo广东移动通信有限公司 视频图像分量预测方法及装置、计算机存储介质
WO2020094061A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Multi-models for intra prediction
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
BR112021010886A2 (pt) 2018-12-07 2021-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decodificador para decodificação e codificador para codificação com base em bloco de dados, métodos, mídia de armazenamento digital legível por computador e fluxo de dados
AU2019391197B2 (en) 2018-12-07 2023-05-25 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
CN113395520B (zh) 2019-01-02 2023-05-16 Oppo广东移动通信有限公司 解码预测方法、装置及计算机存储介质
AU2020226566A1 (en) 2019-02-24 2021-08-19 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
CN113767631B (zh) 2019-03-24 2023-12-15 北京字节跳动网络技术有限公司 用于帧内预测的参数推导中的条件
KR20210141683A (ko) * 2019-03-25 2021-11-23 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 요소의 예측 방법, 인코더, 디코더 및 컴퓨터 저장 매체
CN113497937B (zh) * 2020-03-20 2023-09-05 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN113747176A (zh) 2020-05-29 2021-12-03 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
EP4324208A1 (en) * 2021-04-16 2024-02-21 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-model linear model

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8000390B2 (en) 2006-04-28 2011-08-16 Sharp Laboratories Of America, Inc. Methods and systems for efficient prediction-mode selection
US8488668B2 (en) 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
CN105635737B (zh) 2010-04-09 2019-03-15 Lg电子株式会社 处理视频数据的方法和装置
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
US9693070B2 (en) * 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
KR101756843B1 (ko) * 2011-06-28 2017-07-11 삼성전자주식회사 휘도 성분 영상을 이용한 색차 성분 영상의 예측 방법 및 예측 장치
CN110708542B (zh) * 2012-01-18 2023-02-17 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
CN104380741B (zh) 2012-01-19 2018-06-05 华为技术有限公司 用于lm帧内预测的参考像素缩减
CN104871537B (zh) * 2013-03-26 2018-03-16 联发科技股份有限公司 色彩间帧内预测的方法
US9648330B2 (en) 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US10455249B2 (en) * 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
US9736335B2 (en) 2015-04-15 2017-08-15 Apple Inc. Techniques for advanced chroma processing
CN106559669B (zh) 2015-09-29 2018-10-09 华为技术有限公司 预测图像编解码方法及装置
WO2017139937A1 (en) * 2016-02-18 2017-08-24 Mediatek Singapore Pte. Ltd. Advanced linear model prediction for chroma coding
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
US10477240B2 (en) * 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding
US10231104B2 (en) 2017-06-08 2019-03-12 T-Mobile Usa, Inc. Proactive and reactive management for devices in a network
MX2020003656A (es) * 2017-10-02 2020-10-12 Arris Entpr Llc Sistema y método para reducir artefactos de bloque y proporcionar eficiencia de codificación mejorada.
GB2567249A (en) * 2017-10-09 2019-04-10 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
EP3799428A4 (en) * 2018-07-02 2021-04-14 LG Electronics, Inc. CCLM-BASED INTRA-PREDICTION DEVICE AND PROCESS
EP3815370A4 (en) 2018-07-12 2021-08-11 Huawei Technologies Co., Ltd. INTRAPREDICTION USING COMPONENT LINEAR MODEL IN VIDEO ENCODING
BR112021000694A2 (pt) 2018-07-16 2021-04-13 Huawei Technologies Co., Ltd. Codificador de vídeo, decodificador de vídeo, e métodos de codificação e decodificação correspondentes
WO2020053804A1 (en) * 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. Downsampling in cross-component linear modeling
EP4221220A1 (en) * 2018-10-08 2023-08-02 Beijing Dajia Internet Information Technology Co., Ltd. Simplifications of cross-component linear model
WO2020094061A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Multi-models for intra prediction
AU2019391197B2 (en) * 2018-12-07 2023-05-25 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
AU2020226566A1 (en) * 2019-02-24 2021-08-19 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction

Also Published As

Publication number Publication date
ES2938068T3 (es) 2023-04-04
MX2021000616A (es) 2021-07-02
US11336907B2 (en) 2022-05-17
HRP20230288T1 (hr) 2023-05-12
EP3815377A1 (en) 2021-05-05
FI3815377T3 (fi) 2023-03-01
EP3815377B1 (en) 2022-12-28
CN115941942B (zh) 2023-09-01
CN115941942A (zh) 2023-04-07
IL280228B1 (en) 2023-10-01
AU2023204301A1 (en) 2023-07-27
JP2024023503A (ja) 2024-02-21
KR20230008896A (ko) 2023-01-16
WO2020015648A1 (en) 2020-01-23
CA3213840A1 (en) 2020-01-23
DK3815377T3 (da) 2023-04-03
CL2021000123A1 (es) 2021-05-28
PL3815377T3 (pl) 2023-05-08
NZ772305A (en) 2023-06-30
IL280228B2 (en) 2024-02-01
AU2019303720B2 (en) 2023-04-06
IL280228A (en) 2021-03-25
LT3815377T (lt) 2023-04-11
CA3106468A1 (en) 2020-01-23
KR20210030444A (ko) 2021-03-17
KR102483942B1 (ko) 2022-12-30
US20210136392A1 (en) 2021-05-06
JP2021530917A (ja) 2021-11-11
PT3815377T (pt) 2023-03-30
SI3815377T1 (sl) 2023-05-31
EP3815377A4 (en) 2021-09-15
EP4164225A1 (en) 2023-04-12
AU2019303720A1 (en) 2021-02-11
PH12021550112A1 (en) 2021-09-27
BR112021000694A2 (pt) 2021-04-13
SG11202100412SA (en) 2021-02-25
HUE061422T2 (hu) 2023-06-28
JP7461925B2 (ja) 2024-04-04
CA3106468C (en) 2023-11-07
US20220264123A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
CN115941942B (zh) 视频编码器、视频解码器及相应的编解码方法
WO2018205954A1 (en) Bidirectional prediction in video compression
KR102334126B1 (ko) 인트라 블록 복사를 위한 레지듀얼 예측
US20190089952A1 (en) Bidirectional Weighted Intra Prediction
JP2023052019A (ja) ルマ・イントラ・モード・シグナリング
US11917152B2 (en) Position dependent spatial varying transform for video coding
KR102502604B1 (ko) 비디오 코딩에서의 경계 블록 파티셔닝
WO2019072210A1 (en) RESTRICTION ON SUB-BLOCK SIZE DEDUCTION FOR AFFINE INTERPREDITION
RU2772813C1 (ru) Видеокодер, видеодекодер и соответствующие способы кодирования и декодирования
CN118101967A (zh) 用于视频编解码的位置相关空间变化变换
CN118101966A (zh) 用于视频编解码的位置相关空间变化变换

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination