CN113243105B - 亮度分量预测方法、编码器、解码器以及存储介质 - Google Patents

亮度分量预测方法、编码器、解码器以及存储介质 Download PDF

Info

Publication number
CN113243105B
CN113243105B CN201980083001.8A CN201980083001A CN113243105B CN 113243105 B CN113243105 B CN 113243105B CN 201980083001 A CN201980083001 A CN 201980083001A CN 113243105 B CN113243105 B CN 113243105B
Authority
CN
China
Prior art keywords
current block
side length
preset
mip
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980083001.8A
Other languages
English (en)
Other versions
CN113243105A (zh
Inventor
万帅
郭锦坤
霍俊彦
马彦卓
杨付正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN113243105A publication Critical patent/CN113243105A/zh
Application granted granted Critical
Publication of CN113243105B publication Critical patent/CN113243105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了一种亮度分量预测方法、编码器、解码器以及存储介质，亮度分量预测方法包括：根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，第一边长大于或者等于第二边长，尺寸比值设置为第一边长与第二边长的比值；若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造当前块对应的基于矩阵的帧内预测MIP列表；其中，预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；根据MIP列表获取当前块对应的亮度分量预测值；按照MIP列表和亮度分量预测值对当前块进行编码处理，获得当前块对应的码流数据。

Description

亮度分量预测方法、编码器、解码器以及存储介质
技术领域
本申请实施例涉及视频编解码技术领域，尤其涉及的是一种亮度分量预测方法、编码器、解码器以及存储介质。
背景技术
在多功能视频编码(Versatile Video Coding，VVC)的参考软件测试平台中，一种新的帧内编码技术，基于矩阵的帧内预测(Matrix-based Intra Prediction，MIP)被提出，MIP是基于神经网络的帧内预测技术，即利用多层神经网络基于相邻已重建亮度块预测当前块的亮度值。具体地，与传统帧内模式相同，在利用MIP模式进行帧内预测时，MIP预测的输入也为当前块的上一行和左一列相邻亮度块的数据，输出为当前块的亮度分量预测值。具体的预测过程分为三步：下采样，矩阵向量乘法和插值。
然而，由于MIP模式的复杂度较高，因此MIP技术在提高编解码性能的同时，编解码过程中所需要的存储空间和整体时间也大大增加，从而降低了编解码效率。
发明内容
本申请实施例提供一种亮度分量预测方法、编码器、解码器以及存储介质，能够在保证编解码性能的基础上，降低复杂程度，减小编解码过程中所需要的存储空间和整体时间，有效地提高编解码效率。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种亮度分量预测方法，应用于编码器，所述方法包括：
根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值；
若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造所述当前块对应的基于矩阵的帧内预测MIP列表；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；
根据所述MIP列表获取所述当前块对应的亮度分量预测值；
按照所述MIP列表和所述亮度分量预测值对所述当前块进行编码处理，获得所述当前块对应的码流数据。
本申请实施例提供了一种亮度分量预测方法，应用于解码器，所述方法包括：
根据所述当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值；
若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略解析所述当前块对应的码流数据，获得所述当前块对应的MIP列表和亮度分量预测值；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；
根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据。
本申请实施例提供了一种编码器，所述编码器包括：第一获取部分，构造部分以及编码部分，
所述第一获取部分，配置于根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值；
所述构造部分，配置于若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造所述当前块对应的基于矩阵的帧内预测MIP列表；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；
所述第一获取部分，还用于根据所述MIP列表获取所述当前块对应的亮度分量预测值；
所述编码部分，配置于按照所述MIP列表和所述亮度分量预测值对所述当前块进行编码处理，获得所述当前块对应的码流数据。
本申请实施例提供了一种解码器，所述编码器包括：第二获取部分和解码部分，
所述第二获取部分，配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值；
所述解码部分，配置于若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略解析所述当前块对应的码流数据，获得所述当前块对应的MIP列表和亮度分量预测值；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；
所述第二获取部分还配置于根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据。
本申请实施例提供了一种编码器，所述编码器包括第一处理器、存储有所述第一处理器可执行指令的第一存储器、第一通信接口，和用于连接所述第一处理器、所述第一存储器以及所述第一通信接口的第一总线，当所述指令被所述第一处理器执行时，实现如上所述的亮度分量预测方法。
本申请实施例提供了一种编码器，所述编码器包括第二处理器、存储有所述第二处理器可执行指令的第二存储器、第二通信接口，和用于连接所述第二处理器、所述第二存储器以及所述第二通信接口的第二总线，当所述指令被所述第二处理器执行时，实现如上所述的亮度分量预测方法。
本申请实施例提供了一种计算机可读存储介质，其上存储有程序，应用于编码器和解码器中，所述程序被处理器执行时，实现如上所述的亮度分量预测方法。
本申请实施例提供了一种亮度分量预测方法、编码器、解码器以及存储介质，编码器根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，第一边长大于或者等于第二边长，尺寸比值设置为第一边长与第二边长的比值；若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造当前块对应的基于矩阵的帧内预测MIP列表；其中，预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；根据MIP列表获取当前块对应的亮度分量预测值；按照MIP列表和亮度分量预测值对当前块进行编码处理，获得当前块对应的码流数据。相应地，解码器根据当前块对应的第一边长和第二边长计算获得尺寸比值；若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略解析当前块对应的码流数据，获得当前块对应的MIP列表和亮度分量预测值；根据MIP列表和亮度分量预测值，获得当前块对应的图像数据。也就是说，在本申请的实施例中，编码器在对当前块进行编码时，可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，具体地，除了尺寸比值大于或者等于4的当前块以外，还禁止尺寸为4×16和16×4的当前块使用MIP模式；相应地，解码器在获取当前块的码流数据之后，也可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，从而可以简化MIP的预测过程，能够在保证编解码性能的基础上，降低复杂程度，减小编解码过程中所需要的存储空间和整体时间，有效地提高编解码效率。
附图说明
图1为帧内预测中的67种预测模式的排布示意图；
图2为MIP模式进行编码的流程示意图；
图3为当前块的上侧相邻亮度块和左侧相邻亮度块的排布示意图；
图4为确定DM模式的排布示意图；
图5为视频编码系统的结构示意图；
图6为视频解码系统的结构示意图；
图7为本申请实施例提出的一种亮度分量预测方法的实现流程示意图一；
图8为现有的MIP预测逻辑分支示意图；
图9为本申请中MIP预测逻辑分支示意图；
图10为本申请实施例提出的一种亮度分量预测方法的实现流程示意图二；
图11为本申请实施例提出的一种亮度分量预测方法的实现流程示意图三；
图12为本申请实施例提出的一种亮度分量预测方法的实现流程示意图四；
图13为本申请实施例提出的一种亮度分量预测方法的实现流程示意图五；
图14为本申请实施例提出的编码器的组成结构示意图一；
图15为本申请实施例提出的编码器的组成结构示意图二；
图16为本申请实施例提出的解码器的组成结构示意图一；
图17为本申请实施例提出的解码器的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
在视频图像中，VVC接受了联合视频专家组(Joint Video Experts Team，JVET)-N0217中提出的仿射线性权重帧内预测技术(Affine Linear Weighted IntraPrediction)，并更名为基于矩阵的帧内预测，即MIP技术，该技术针对帧内亮度编码块大小的不同，在帧内亮度预测过程中增加了不同数量的基于矩阵的帧内预测模式。
为了捕捉自然视频中呈现的更精细的边缘方向，VVC中将视频压缩标准(HighEfficiency Video Coding，HEVC)中定义的33种帧内亮度预测角度模式扩展到了65种，图1为帧内预测中的67种预测模式的排布示意图，如图1所示，箭头编号为2-66的表示65种帧内角度预测模式，另外还有两种非角度模式，即编号为0的渐变平坦Planar模式和编号为1的直流DC模式；所以，VVC中的帧内预测过程中包含两种非角度模式和65种角度模式，这里，将这67种预测模式称为帧内预测的传统模式。
MIP是基于神经网络的帧内预测技术，即利用多层神经网络基于相邻已重建像素预测当前块的亮度值。具体地，MIP技术根据帧内亮度编码块的大小将亮度编码块分为三类，设亮度编码块大小为W×H，其中，W为宽度参数，H为高度参数，按照亮度编码块的大小可以将亮度编码块分为三类：
大小为4×4的亮度编码块为第一类亮度块，大小为8×4，4×8和8×8的亮度编码块为第二类亮度块，其他大小的亮度编码块为第三类亮度块。
针对这三种类型的帧内亮度编码块，MIP技术在67种传统帧内预测模式的基础上增加了M种MIP模式，其中，针对第一类亮度块，M＝35，针对第二类亮度块，M＝19，针对第三类亮度块，M＝11。
具体来说，MIP技术只应用于帧内亮度预测，与传统模式相同，MIP预测的输入也为当前块的上一行和左一列数据，输出为当前块的预测值，具体的预测过程分为三步：平均，矩阵向量乘法和插值。也就是说，通过对输入的上一行和左一列相邻像素点的重建亮度值进行这三步操作，就可以得到当前块的亮度分量预测值。
图2为MIP模式进行编码的流程示意图，如图2所示，MIP模式进行亮度预测的具体实现如下：
第一步：对当前块的上侧相邻参考点进行平均操作获得向量bdrytop，共N个值；对当前块的左侧相邻参考点进行平均操作获得向量bdryleft，共N个值。当当前亮度编码为第一类亮度编码时，N＝2；当当前亮度编码为第二类或第三类亮度编码时，N＝4。向量bdrytop和向量bdryleft组成一个新的向量bdryred并进行后续操作；
第二步：通过MIP模式的模式号k获取对应的矩阵Ak和偏移量bk，通过下列公式(1)计算获得如图2中用交叉线标识的当前块的部分预测值：
Predrdd＝Ak·bdryred+bk (1)
第三步：通过线性插值，获得当前块中剩余的预测值Predred。
需要说明的是，针对当前块进行编码的实现过程，需要将帧内预测具体使用的哪一种编码模式写入到压缩码流中，从而使解码端通过解析该模式信息，可以确定具体使用哪一种模式，是传统模式还是MIP模式；若是传统模式，具体是哪一种传统模式；若是MIP模式，具体是哪一种MIP模式。
在VVC的帧内预测中，对每个亮度编码块都会进行67个传统模式和M个MIP模式的率失真代价RDcost比较，在67个传统模式和M个MIP模式中选出最优模式并进行编码。为了节省比特开销，VVC中使用了基于最可能模式列表(Most Probable Modes List，MPM)的帧内模式编码技术，
需要注意的是，由于多参考行技术(extend reference line)和帧内子块划分技术(Itra Sub-Patitionar，ISP)只对MPM列表中的模式使用，所以当extendrefflag和ispflag都为0，即使用0参考行且不进行子块划分时，不必编码mpmflag，直接编码最优模式在MPM列表中的位置。
进一步地，针对MPM列表和MIPMPM列表的构造来说，在VVC亮度帧内预测中，若当前块选中的最优模式是传统模式，则需要构造包含6个最可能传统模式的MPM列表；若当前块选中的最优模式是MIP模式，则需要构造包含3个最可能MIP模式的MIPMPM列表。
图3为当前块的上侧相邻亮度块和左侧相邻亮度块的排布示意图，如图3所示，上述两个列表都是根据如图4所示的当前块的上侧相邻亮度块(A)和左侧相邻亮度块(L)的最优模式进行推导的。
具体来说，针对MPM列表的构造来说，在VVC帧内预测中，若当前块的最优模式是传统模式，则需要构造MPM列表。构造MPM列表的过程中，首先需要获取上侧相邻亮度块最优模式所对应的传统模式ABOVE和左侧相邻亮度块最优模式所对应的传统模式LEFT。
进一步地，针对MIPMPM列表的构造来说，在VVC帧内预测中，若当前块的最优模式是MIP模式，则需要构造MIPMPM列表。构造MIPMPM列表的过程中，首先需要获取上侧相邻亮度块的最优模式所对应的MIP模式ABOVE_MIP和左侧相邻亮度块的最优模式所对应的MIP模式LEFT_MIP模式。
进一步地，在获取到LEFT_MIP和ABOVE_MIP之后，按照如下方法进行包含3个最可能MIPMPM模式的MIPMPM列表的构造，其中，MIPMPM中的编号为MIP模式的编号，编号范围为0至(M-1)，对于第一类亮度块编号为0-34；对于第二类亮度块编号为0-18；对于第三类亮度块编号为0-10：
若LEFT_MIP可用(不为-1)，将LEFT_MIP放入MIPMPMlist中；
若ABOVE_MIP可用(不为-1)，将ABOVE_MIP通过冗余检查后放入MIPMPMlist中；
若LEFT_MIP不可用(为-1)，ABOVE_MIP不可用(为-1)，根据当前块的类型将默认列表通过冗余检查后添入直到补满MIPMPMlist：
第一类亮度块默认列表为：{17，34，5}；
第二类亮度块默认列表为：{0，7，16}；
第三类亮度块默认列表为：{1，4，6}。
进一步地，需要补充的是，在VVC的色度帧内预测过程中有一种利用分量间相关性的直接模式(Direct Mode，DM)，会使用当前块对应的同位亮度编码块的中心位置的帧内预测模式来进行当前色度块的帧内预测，图4为确定DM模式的排布示意图，如图4所示，由于MIP技术只应用于亮度编码块，所以当图4中CR位置的帧内预测模式为MIP模式时，需要将该MIP模式通过“MIP-传统映射表”映射为传统模式，进行当前色度块的帧内预测。
也就是说，由于MIP技术的引入，在帧内预测过程中，在构建MIPMPM列表中，需要将传统模式映射为MIP模式，在构建MPM列表和确定DM模式中，需要将MIP模式映射为传统模式。
然而，在实际应用中，在MIPMPM列表构造过程需要使用到传统模式到MIP模式的映射，如表1所示，具体通过“传统-MIP映射表”将传统模式映射为MIP模式。
表1
另外，在MPM列表构造过程和DM模式的获取过程中需要使用到MIP模式到传统模式的映射。具体通过“MIP-传统映射表”将35/19/11种MIP模式映射为67种传统模式。针对三种类型的亮度块，三种“MIP-传统映射表”如表2，表3和表4所示。
表2
MIP模式 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
传统模式 0 18 18 0 18 0 12 0 18 2 18 12 18 18 1 18 18 0
MIP模式 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
传统模式 0 50 0 50 0 56 0 50 66 50 56 50 50 1 50 50 50
表3
MIP模式 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
传统模式 0 1 0 1 0 22 18 18 1 0 1 0 1 0 44 0 50 1 0
表4
MIP模式 0 1 2 3 4 5 6 7 8 9 10
传统模式 1 1 1 1 18 0 1 0 1 50 0
图5为视频编码系统的结构示意图，如图5所示，该视频编码系统100包括变换与量化模块101、帧内估计模块102、帧内预测模块103、运动补偿模块104、运动估计模块105、反变换与反量化模块106、滤波器控制分析模块107、去方块滤波及样本自适应缩进(SampleAdaptive Offset，SAO)滤波模块108、头信息编码及基于上下文的自适应二进制算术编码(Context-based Adaptive Binary Arithmatic Coding，CABAC)编码模块109和解码图像缓存模块110等部件；图6为视频解码系统的结构示意图，如图6所示，该视频解码系统200包括头信息解码及CABAC解码模块201、反变换与反量化模块202、帧内预测模块203、运动补偿模块204、去方块滤波及SAO滤波模块205和解码图像缓存模块206等部件。视频图像经过视频编码系统100中变换与量化模块101、帧内估计模块102、帧内预测模块103、运动补偿模块104、运动估计模块105、去方块滤波及SAO滤波模块108以及头信息编码及CABAC模块109等部分处理之后，输出该视频图像的码流；该码流输入视频解码系统200中，经过视频解码系统200中头信息解码及CABAC解码模块201、反变换与反量化模块202、帧内预测模块203以及运动补偿模块204等部分处理，最终恢复出原来的视频图像。
按照高度参数和宽度参数，当前块可以为25种尺寸，具体地，标准中规定亮度块最大为128×128，但由于变换单元的最大尺寸为64×64，也就是说，亮度块在128×128的尺寸下必定需要先进行四叉树划分，因此最大的亮度块尺寸是64×64。表5为亮度块的尺寸示意表，如表5所示，
表5
(4×4) (4×8) (4×16) (4×32) (4×64)
(8×4) (8×8) (8×16) (8×32) (8×64)
(16×4) (16×8) (16×16) (16×32) (16×64)
(32×4) (32×8) (32×16) (32×32) (32×64)
(64×4) (64×8) (64×16) (64×32) (64×64)
现有技术中，根据当前块的高度参数和宽度参数对MIP模式进行限制，具体地，如果当前块的宽高比大于4，或者高宽比大于4，则不通过MIP模式对当前块进行编码，表6为现有技术中MIP模式下亮度块尺寸的限制，如表6所示，
表6
现有技术中，在MIP模式的第一类亮度块中(对应于4×4的亮度块)，上相邻和左相邻亮度块各2个，经过矩阵运算，生成4×4的预测块；在MIP模式的第二类亮度块中(对应于4×8，8×4，8×8的亮度块)，上相邻和左相邻亮度块各4个，经过矩阵运算，生成4×4的预测块；在MIP模式的第三类亮度块中(对应于其他大小的亮度块)，上相邻和左相邻亮度块各4个，经过矩阵运算，生成4×8的预测块(4×16的亮度块)，8×4的预测块(16×4的亮度块)或8×8的预测块(其他大小的亮度块)。其中，由于第三类亮度块会生成非正方形预测块，因此在计算时需要对矩阵进行奇数行的抽取。
进一步地，在语法中，可以通过MipSizeId表示MIP的应用类别，numModes表示MIP模式的数量，boundarySize表示下采样获得的上参考行或左参考列的亮度块个数，predW表示预测块的宽度参数，predH表示预测块的高度参数，predC表示MIP的矩阵的边长。表7为现有技术中MIP模式对应的语法关系，如表7所示，语法中的MipSizeId，numModes，boundarySize，predW，predH，predC有以下关系：
表7
MipSizeId numModes boundarySize predW predH predC
0 35 2 4 4 4
1 19 4 4 4 4
2 11 4 Min(nTbW，8) Min(nTbH，8) 8
进一步地，在语法中，MipSizeId取值为0表示4×4的亮度块，取值为1表示4×8，8×4，8×8的亮度块，取值为2表示其他大小的亮度块。numModes表示一共会有多少种MIP预测模式，即4×4的亮度块共有35种，4×8，8×4，8×8的亮度块共有19种，其他大小的亮度块共有11种。boundarySize表示当前块上行或左列的相邻亮度块最终被下采样成2个或4个相邻亮度块。
在MIP技术中，需要先根据基于当前块的大小分成的三类MIP模式对相邻亮度块进行不同方法的下采样，经过矩阵运算后生成的预测块有四种大小，之后又需要分情况讨论是否需要对每一类预测块进行上采样、怎样上采样，最终恢复成当前块的大小。
具体地，在当前块为4×4大小时，相邻亮度块下采样后生成4个相邻亮度块，即左列和上行相邻亮度块均下采样成2个亮度块后进行拼接，再进行矩阵运算，生成4×4的预测矩阵，共35种模式，此时不需要进行上采样；在当前块为4×8，8×4或8×8大小时，相邻亮度块下采样后生成8个相邻亮度块，即左列和上行相邻亮度块均下采样成4个亮度块后进行拼接，再进行矩阵运算，生成4×4的预测矩阵，共19种模式，此时需要进行上采样；在当前块为其他大小时，相邻亮度块下采样后生成8个相邻亮度块，即左列和上行相邻亮度块均下采样成4个亮度块后进行拼接。其中，当前块为4×16时，会生成4×8的预测矩阵，共11种模式；当前块为16×4时，会生成8×4的预测矩阵，共11种模式；当前块为其他大小时，会生成8×8的预测矩阵，共11种模式。
表8为MIP模式下亮度块的分类示意，如表8所示，根据生成的MIP预测块的大小，亮度块可以分为表11所示的几种情况：矩阵运算后会生成4×4大小预测块的亮度块、矩阵运算后会生成4×8或8×4大小预测块的亮度块、矩阵运算后会生成8×8大小预测块的亮度块以及目前VVC中规定不做MIP预测的亮度块。
表8
可以看出，由于4×16和16×4这两种大小的亮度块的存在，MIP算法会有部分过于冗余的逻辑分支，具体地，在当前块宽高均小于等于8时，会生成4×4大小的预测块，共35种或19种；在当前块宽高均大于8时，除4×16和16×4以外，会生成8×8的预测块，共11种；在当前块为4×16时，会生成4×8的预测块，共11种；在当前块为16×4时，会生成8×4的预测块，共11种。针对4×16和16×4这两种大小的亮度块，算法需要在矩阵运算时判断是否对现有矩阵进行奇数行的抽取，同时也会使得预测块不全是正方形。
现有技术中，编码器在通过MIP模式进行亮度预测时，可以通过如下的公式(2)进行：
其中，mWeight和vBias是各MIP模式通过深度学习训练出来的权重矩阵和偏置矩阵，具体地，mWeight为每一类MIP模式的权重矩阵，vBias为每一类MIP模式的偏置矩阵。sB为偏置矩阵的左移量，oW为四舍五入的保留值，sW为整体预测值的右移量，需要通过查表得到不同MIP模式下的sW值。
基于JVET-N1001-v7，在生成MIP的预测矩阵时，编码器是通过变量incW和incH来判断是否需要抽取奇数行的预测值，具体地：
oW＝1＜＜(sW-1)
sB＝BitDepthY-1
mipW＝isTransposed？predH：predW
mipH＝isTransposed？predW：predH
incW＝(predC＞mipW)？2：1
incH＝(predC＞mipH)？2：1
其中，incW＝2或incH＝2代表需要在宽度参数或者高度参数上进行抽取。
由此可见，MIP技术的引入使目前的帧内预测和编码框架产生了较大的改变，在编解码性能提高的同时也引入了大量的逻辑分支，增加了整体的时间和复杂度。具体地，现有的MIP模式的预测过程十分繁琐，分支太多，增加了复杂度，同时在预测过程中会引入很多变量，增加了存储空间。为了克服上述缺陷，本申请提出的亮度分量预测方法，既可以应用于编码器，也可以应用于解码器，可以简化MIP的预测过程，能够在保证编解码性能的基础上，降低复杂程度，减小编解码过程中所需要的存储空间和整体时间，有效地提高编解码效率。
进一步地，本申请提出的亮度分量预测方法，可以影响视频编码混合框架中的帧内预测部分，即主要应用于视频编码中的帧内预测模块103和视频解码中的帧内预测模块203中，对编码端和解码端同时作用。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的一个实施例中，图7为本申请实施例提出的一种亮度分量预测方法的实现流程示意图一，应用于编码器中，如图7所示，在本申请的实施例中，编码器进行亮度分量预测的方法可以包括以下步骤。
步骤101：根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，第一边长大于或者等于第二边长，尺寸比值设置为第一边长与第二边长的比值。
在本申请的实施例中，编码器可以先根据当前块对应的第一边长和第二边长计算获得当前块对应的尺寸比值。其中，当前块可以表征当前待编码块或者当前待解码块，具体地，在本申请的实施例中，编码器在进行编码时，当前块即为待编码块。
进一步地，在本申请的实施例中，第一边长可以为当前块较长的一个边，第二边长可以为当前块较短的一个边，即第一边长可以大于或者等于第二边长。具体地，第一边长和第二边长可以分别为当前块对应的高度参数和宽度参数，也就说，第一边长和第二边长的比值，即尺寸比值，既可以为高宽比，也可以为宽高比。
需要说明的是，在本申请的实施中，正是由于第一边长可以为当前块较长的一个边，第二边长可以为当前块较短的一个边，即尺寸比值表征当前块对应的长边和短边的比值，因此，尺寸比值为大于或者等于1的自然数。
进一步地，在本申请的实施例中，编码器在对当前块进行编码时，可以在传统模式和MIP模式中先对最优编码方式进行选择，具体地，编码器可以根据当前块对应的尺寸比值进行最优编码方式的选择。
需要说明的是，在本申请的实施例中，在VVC的帧内预测过程中，对于任意一个亮度编码块，都可以在传统模式和MIP模式中选择一个最优模式进行编码处理。其中，传统模式为包括有编号为0的Planar模式、编号为1的DC模式以及65种角度模式的67种帧内预测模式。
进一步地，在本申请的实施例中，编码器在进行最优模式的选择时，可以对当前块进行67个传统模式和M个MIP模式的Rdcost比较，从而可以根据比较结果选出最优模式并进行编码。其中，基于当前亮度编码模块的类别，M的取值也不相同，具体地，当当前亮度编码模块为第一类亮度块，即当前亮度编码模块大小为4×4时，M＝35；当当前亮度编码模块为第二类亮度块，即当前亮度编码模块大小为8×4，4×8或8×8时，M＝19；当当前亮度编码模块为第三类亮度块，即当前亮度编码模块为其他大小时，M＝11。
步骤102：若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造当前块对应的MIP列表；其中，预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测。
在本申请的实施例中，编码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，在尺寸比值小于或者等于预设比例阈值的前提下，如果当前块的尺寸不为第一预设尺寸，那么编码器便可以根据预设预测策略构造当前块对应的MIP列表。
进一步地，在本申请的实施例中，预设比例阈值等于4，同时，第一预设尺寸为4×16和16×4。
需要说明的是，在本申请的实施例中，编码器在按照MIP模式对当前块进行编码时，需要先对当前块的尺寸进行限定，具体地，当当前块的尺寸比值小于或者等于4，且当前块的尺寸不为4×16，同时也不为16×4时，编码器才会确定按照MIP模式对当前块进行亮度预测。
进一步地，在本申请的实施中，可以预先设置一个依赖于尺寸的MIP模式的预测方法，即预设预测策略，其中，编码器可以根据表征基于尺寸依赖的MIP模式的预设预测策略对当前块进行亮度预测，从而可以获得对应的MIP列表。
需要说明的是，在本申请的实施中，现有技术在进行最优编码模式的选择时，可以限制当前块的尺寸比值小于或者等于4时，按照MIP模式进行亮度的预测。图8为现有的MIP预测逻辑分支示意图，如图8所示，结合上述表8，现有技术中，在对当前块进行编码时，假设第一边长为高度参数，第二边长为宽度参数，则基于当前块的第一边长H和第二边长W，可以通过以下步骤进行编码处理：
S701：判断是否使用MIP模式，若是，则执行S702，否则执行S7011；
S702：H和W是否均小于或者等于8，若是，则执行S703，否则执行S706；
S703：H和W是否均为4，若是，则执行S704，否则执行S705；
S704：通过35种MIP模式生成4×4的预测矩阵，结束。
S705：通过19种MIP模式生成4×4的预测矩阵，结束。
S706：是否满足H大于等于8或者W大于等于8，若是，则执行S707，否则执行S708；
S707：通过11种MIP模式生成8×8的预测矩阵，结束。
S708：W是否大于等于H，若是，则执行S709，都则执行S7010；
S709：通过11种MIP模式生成4×8的预测矩阵，结束。
S710：通过11种MIP模式生成8×4的预测矩阵，结束。
S711：使用传统预测模式。
可以看出，由于4×16和16×4这两种大小的亮度块的存在，MIP算法会有部分过于冗余的逻辑分支，具体地，在当前块为4×16时，会生成4×8的预测块，共11种；在当前块为16×4时，会生成8×4的预测块，共11种。针对4×16和16×4这两种大小的亮度块，算法需要在矩阵运算时判断是否对现有矩阵进行奇数行的抽取，同时也会使得预测块不全是正方形。
基于上述表6可知，现有技术中，在进行MIP模式的限制时，如果当前块的宽高比大于4，或者高宽比大于4，则不通过MIP模式对当前块进行编码。进一步地，本申请提出的亮度分量预测方法，在进行MIP模式的限制时，如果当前块的尺寸比值大于4，且当前块的尺寸为4×16和16×4，则不通过MIP模式对当前块进行编码。表9为本申请中MIP模式下亮度块尺寸的限制一，如表9所示，本申请提出的亮度分量预测方法，通过对MIP模式的限制条件的改变，可以将4×16和16×4这两种大小的亮度块限制不进行MIP预测，这样限制后，会简化预测分支，简化算法的语法语义，降低时间复杂度，同时节省内存。
表9
进一步地，在本申请的实施例中，在改变MIP模式的限制条件之后，与上述图11相比，图9为本申请中MIP预测逻辑分支示意图，如图9所示，结合上述表9，在本申请的实施例中，在对当前块进行编码时，假设第一边长为高度参数，第二边长为宽度参数，则基于当前块的第一边长H和第二边长W，可以通过以下步骤进行编码处理：
S801：判断是否使用MIP模式，若是，则执行S802，否则执行S807；
S802：H和W是否均小于或者等于8，若是，则执行S803，否则执行S806；
S803：H和W是否均为4，若是，则执行S804，否则执行S805；
S804：通过35种MIP模式生成4×4的预测矩阵，结束。
S805：通过19种MIP模式生成4×4的预测矩阵，结束。
S806：通过11种MIP模式生成8×8的预测矩阵，结束。
S807：使用传统模式。
对比上述图8和图9，本申请提出的亮度分量预测方法，可以有效地解决由于4×16和16×4这两种大小的亮度块的存在，MIP算法会有部分过于冗余的逻辑分支的问题，同时，由于获得的预测块均为正方形，从而可以在矩阵运算时避免了是否对现有矩阵进行奇数行抽取的判定。
进一步地，在本申请的实施例中，在语法语义上，在进行MIP模式的限制时，将满足Abs(Log2(cbWidth)-Log2(cbHeight))＜＝2)条件的当前块允许进行MIP预测，修改为满足Abs(Log2(cbWidth)-Log2(cbHeight))＜2)&&(Log2(cbWidth)！＝4&&Log2(cbHeight)！＝2)&&(Log2(cbWidth)！＝2)&&Log2(cbHeight)！＝4)条件的当前块才可以使用MIP模式。
进一步地，在本申请的实施例中，在对MIP的预测过程的语法进行修改时，具体可以对上述表7中的语法进行修改，具体地，表10为本申请中MIP模式对应的语法关系，如表10所示，在本申请的实施例中，语法中的MipSizeId，numModes，boundarySize，predW，predH，predC有以下关系：
表10
MipSizeId numModes boundarySize predC
0 35 2 4
1 19 4 4
2 11 4 8
由此可见，与现有技术相比，本申请提出的亮度分量预测方法，可以将4×16和16×4两种亮度块禁止使用MIP模式，进而predW和predH在MipSizeId等于2时，由于当前亮度编码的边长必定大于或者等于8，因此不用进行比较运算，可以直接等于8。这种改动使得predW、predH和predC完全相等，因此可以进一步简化语法，使用predC代替MIP模式中所有的predW和predH，即MIP模式生成的预测矩阵的大小完全等于MIP中矩阵的大小，而不需要额外的比较。
现有技术中，在使用MIP模式对4×16和16×4两种亮度块进行预测时，需要通过矩阵的奇数行抽取，以生成4×8和8×4大小的预测块，因此语法上需要判断是否需要抽取这一步操作，而本申请提出的亮度分量预测方法，在改变MIP模式的限制条件之后，可以有效地避免矩阵的奇数行抽取，与上述公式(2)相比，在本申请的实施中，编码器在通过MIP模式进行亮度预测时，可以通过如下的公式(3)进行：
其中，
oW＝1＜＜(sW-1)
sB＝BitDepthY-1
需要说明的是，在本申请的实施例中，编码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，如果当前块的尺寸为4×16或16×4，那么，即使尺寸比值小于或者等于4，编码器也不会按照MIP模式对当前块进行编码处理，从而可以简化预测分支和语法语义，降低时间复杂度。
进一步地。在本申请的实施例中，编码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，当当前块的尺寸比值小于或者等于4，且当前块的尺寸不为4×16，同时也不为16×4时，编码器便可以根据预设预测策略构造当前块对应的MIP列表，其中，MIP列表即为MIPMPM。
需要说明的是，在本申请的实施例中，为了节省比特开销，VVC中使用了MPM的帧内模式编码技术。具体地，在构造MIPMPM列表时，首先需要获取上侧相邻亮度块的第一预测模式，即上侧相邻亮度块的最优模式所对应的MIP模式ABOVE_MIP，和左侧相邻亮度块的第二预测模式，即左侧相邻亮度块的最优模式所对应的MIP模式LEFT_MIP模式，然后基于第一预测模式和第二预测模式进行MIP列表的构造。
也就是说，编码器在根据预设预测策略构造当前块对应的MIP列表之前，需要先获取当前块对应的上侧相邻亮度块的第一预测模式，同时获取当前块对应的左侧相邻亮度块的第二预测模式。
进一步地，在本申请的实施例中，基于当前块的尺寸比值，即当前块对应的宽高比和高宽比均小于或者等于4，同时，当前块的尺寸不为4×16和16×4，编码器在根据第一边长和第二边长，构造当前块对应的MIP列表时，可以包括以下三种情况：
当当前块属于第一类亮度块，即当前块的尺寸为4×4时，编码器可以基于第一边长和第二边长，按照第一构造策略构造MIP列表，其中，第一构造策略用于通过35种MIP模式进行亮度预测。具体地，编码器可以根据第一预测模式、第二预测模式以及35种MIP模式构造MIP列表。
当当前块属于第二类亮度块，即当前块的尺寸为4×8、8×4或者8×8时，编码器可以基于第一边长和第二边长，按照第二构造策略构造MIP列表，其中，第二构造策略用于通过19种MIP模式进行亮度预测。具体地，编码器可以根据第一预测模式、第二预测模式以及19种MIP模式构造MIP列表。
当当前块属于第三类亮度块，即当前块的第一边长H大于8，且第二边长W大于8时，编码器可以基于第一边长和第二边长，按照第三构造策略构造MIP列表，其中，第三构造策略用于通过11种MIP模式进行亮度预测。具体地，编码器可以根据第一预测模式、第二预测模式以及11种MIP模式构造MIP列表。
步骤103：根据MIP列表获取当前块对应的亮度分量预测值。
步骤104：按照MIP列表和亮度分量预测值对当前块进行编码处理，获得当前块对应的码流数据。
在本申请的实施例中，编码器在根据预设预测策略构造当前块对应的MIP列表之后，可以继续根据MIP列表获取当前块对应的亮度分量预测值，然后便可以直接按照MIP列表和亮度分量预测值对当前块进行编码处理。
需要说明的是，在本申请的实施例中，本申请实施例提出的亮度分量预测方法，可以对MIP的预测过程的语法进行修改，而MIP技术的编码过程、MIPMPM列表的构造过程、传统模式和MIP模式相互映射的过程的语法可以不进行修改。
进一步地，在本申请的实施例中，编码器在构造MIP列表之后，便可以根据MIP列表获取当前块对应的亮度分量预测值，从而便可以继续对当前块进行编码处理。
需要说明的是，在本申请的实施例中，编码器在根据MIP列表获取当前块对应的亮度分量预测值时，可以从MIP列表中读取MIP模式的模式号k，从而可以获取对应的矩阵Ak和偏移量bk，以根据上述公式(1)进行矩阵向量乘法，从而可以获得当前块对应的亮度分量预测值。
基于上述步骤101至步骤104的亮度分量预测方法，在本申请的实施例中，编码器可以减少算法分支和语法语义，使MIP技术的实现更加简洁统一，具体地，现有技术中需要对4×16和16×4这两种大小的亮度块单独进行算法的分支，而本申请则可以在MIP预测过程中减少判断次数，避免矩阵相乘前判断是否需要进行奇数行的抽取，可以统一矩阵运算的方法，同时生成的预测块统一为正方形块，减少了一半的可能性。
需要说明的是，本申请提出的亮度分量预测方法，在降低复杂度的同时，编码性能没有明显损失。具体地，本申请的实施例中，在减少MIP预测分支的情况下，根据VVC的通测标准，整体性能没有明显损失。Y、U、V上的BD-rate分别为0.05％、-0.04％以及-0.04％。
本申请实施例提出的一种亮度分量预测方法，编码器根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，第一边长大于或者等于第二边长，尺寸比值设置为第一边长与第二边长的比值；若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造当前块对应的基于矩阵的帧内预测MIP列表；其中，预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；根据MIP列表获取当前块对应的亮度分量预测值；按照MIP列表和亮度分量预测值对当前块进行编码处理，获得当前块对应的码流数据。也就是说，在本申请的实施例中，编码器在对当前块进行编码时，可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，具体地，除了尺寸比值大于或者等于4的当前块以外，还禁止尺寸为4×16和16×4的当前块使用MIP模式；相应地，解码器在获取当前块的码流数据之后，也可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，从而可以简化MIP的预测过程，能够在保证编解码性能的基础上，降低复杂程度，减小编解码过程中所需要的存储空间和整体时间，有效地提高编解码效率。
基于上述实施例，在本申请的另一实施例中，图10为本申请实施例提出的一种亮度分量预测方法的实现流程示意图二，如图10所示，编码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，即上述步骤101之后，且根据MIP列表获取当前块对应的亮度分量预测值之前，即步骤103之前，编码器进行亮度分量预测的方法还可以包括以下步骤：
步骤105：若尺寸比值小于预设比例阈值，则根据预设预测策略构造当前块对应的MIP列表。
在本申请的实施例中，编码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，如果尺寸比值小于预设比例阈值，那么编码器可以根据预设预测策略构造当前块对应的MIP列表。
基于上述表6可知，现有技术中，在进行MIP模式的限制时，如果当前块的宽高比大于4，或者高宽比大于4，则不通过MIP模式对当前块进行编码。进一步地，本申请提出的亮度分量预测方法，在进行MIP模式的限制时，如果当前块的宽高比大于或者等于4，或者，高宽比大于或者等于4，则不通过MIP模式对当前块进行编码。表11为本申请中MIP模式下亮度块尺寸的限制二，如表11所示，本申请提出的亮度分量预测方法，通过对MIP模式的限制条件的改变，不仅可以将4×16和16×4这两种大小的亮度块限制不进行MIP预测，同时还将32×8、8×32、16×64以及64×16这四种大小的亮度块限制不进行MIP预测。这样限制后，会简化预测分支，简化算法的语法语义，降低时间复杂度，同时节省内存。
表11
进一步地，在本申请的实施例中，在改变MIP模式的限制条件之后，即将现有技术中的如果当前块的宽高比大于4，或者高宽比大于4，则不通过MIP模式对当前块进行编码的限制条件，修改为本申请中的如果当前块的宽高比大于或者等于4，或者，高宽比大于或者等于4，则不通过MIP模式对当前块进行编码的限制条件之后，可以有效地解决由于4×16和16×4这两种大小的亮度块的存在，MIP算法会有部分过于冗余的逻辑分支的问题，同时，由于获得的预测块均为正方形，从而可以在矩阵运算时避免了是否对现有矩阵进行奇数行抽取的判定。
进一步地，在本申请的实施例中，语法上，在进行MIP模式的限制时，将满足Abs(Log2(cbWidth)-Log2(cbHeight))＜＝2)条件的当前块允许进行MIP预测，修改为满足Abs(Log2(cbWidth)-Log2(cbHeight))＜2)条件的当前块才可以使用MIP模式。
由此可见，与现有技术相比，本申请提出的亮度分量预测方法，可以将包括4×16和16×4两种亮度块在内的所有宽高比为4，或高宽比为4的当前块禁止使用MIP模式，进而predW和predH在MipSizeId等于2时，由于当前亮度编码的边长必定大于或者等于8，因此不用进行比较运算，可以直接等于8。这种改动使得predW、predH和predC完全相等，因此可以进一步简化语法，使用predC代替MIP模式中所有的predW和predH，即MIP模式生成的预测矩阵的大小完全等于MIP中矩阵的大小，而不需要额外的比较。
基于上述步骤101至步骤105的亮度分量预测方法，在本申请的实施例中，编码器可以减少算法分支和语法语义，使MIP技术的实现更加简洁统一，降低MIP模式的复杂度，具体地，相比于传统亮度帧内预测模式，MIP模式的计算复杂度更高，现有技术中MIP不仅分支较多，需要进行MIP预测的亮度块也较多，而在本申请中，可以去掉所有宽高比大于等于4，或高宽比大于等于4的亮度块，具体可以包括4×16，8×32，16×64，16×4，32×8，64×16大小的亮度块，从而节省时间复杂度。
本申请实施例提出的一种亮度分量预测方法，编码器根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，第一边长大于或者等于第二边长，尺寸比值设置为第一边长与第二边长的比值；若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造当前块对应的基于矩阵的帧内预测MIP列表；其中，预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；根据MIP列表获取当前块对应的亮度分量预测值；按照MIP列表和亮度分量预测值对当前块进行编码处理，获得当前块对应的码流数据。也就是说，在本申请的实施例中，编码器在对当前块进行编码时，可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，具体地，除了尺寸比值大于或者等于4的当前块以外，还禁止尺寸为4×16和16×4的当前块使用MIP模式；相应地，解码器在获取当前块的码流数据之后，也可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，从而可以简化MIP的预测过程，能够在保证编解码性能的基础上，降低复杂程度，减小编解码过程中所需要的存储空间和整体时间，有效地提高编解码效率。
基于上述实施例，在本申请的又一实施例中，图11为本申请实施例提出的一种亮度分量预测方法的实现流程示意图三，如图11所示，编码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，即上述步骤101之后，且根据MIP列表获取当前块对应的亮度分量预测值之前，即步骤103之前，编码器进行亮度分量预测的方法还可以包括以下步骤：
步骤106：若尺寸比值小于预设比例阈值，第一边长和第二边长均不为第一预设边长，则根据预设预测策略构造当前块对应的MIP列表。
在本申请的实施例中，编码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，如果尺寸比值小于预设比例阈值，同时，第一边长和第二边长均不为第一预设边长，那么编码器可以根据预设预测策略构造当前块对应的MIP列表。
需要说明的是，在本申请的实施例中，第一预设边长等于64。
进一步地，本申请提出的亮度分量预测方法，在进行MIP模式的限制时，如果当前块的尺寸比值大于或者等于4，且第一边长或第二边长为64，则不通过MIP模式对当前块进行编码。表12为本申请中MIP模式下亮度块尺寸的限制三。
表12
如表12所示，本申请提出的亮度分量预测方法，通过对MIP模式的限制条件的改变，不仅可以将4×16、16×4、32×8、8×32、16×64以及64×16这几种大小的亮度块限制不进行MIP预测，还对64×32、32×64以及64×64这三种大小的亮度块限制不进行MIP预测。这样限制后，会简化预测分支，简化算法的语法语义，降低时间复杂度，同时节省内存。
进一步地，在本申请的实施例中，在改变MIP模式的限制条件之后，即将现有技术中的如果当前块的宽高比大于4，或者高宽比大于4，则不通过MIP模式对当前块进行编码的限制条件，修改为本申请中的如果当前块的尺寸比值大于或者等于4，且第一边长或第二边长为64，则不通过MIP模式对当前块进行编码的限制条件之后，可以有效地解决由于4×16和16×4这两种大小的亮度块的存在，MIP算法会有部分过于冗余的逻辑分支的问题，同时，由于获得的预测块均为正方形，从而可以在矩阵运算时避免了是否对现有矩阵进行奇数行抽取的判定。
进一步地，在本申请的实施例中，语法上，在进行MIP模式的限制时，将满足Abs(Log2(cbWidth)-Log2(cbHeight))＜＝2)条件的当前块允许进行MIP预测，修改为满足Abs(Log2(cbWidth)-Log2(cbHeight))＜2)&&Log2(cbWidth)＜6&&Log2(cbHeight)＜6条件的当前块才可以使用MIP模式。
图12为本申请实施例提出的一种亮度分量预测方法的实现流程示意图四，如图12所示，编码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，即上述步骤101之后，且根据MIP列表获取当前块对应的亮度分量预测值之前，即步骤103之前，编码器进行亮度分量预测的方法还可以包括以下步骤：
步骤107：若尺寸比值小于或者等于预设比例阈值，第一边长和第二边长均不为第一预设边长，则根据预设预测策略构造当前块对应的MIP列表。
在本申请的实施例中，编码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，在尺寸比值小于或者等于预设比例阈值的前提下，如果第一边长和第二边长均不为第一预设边长，那么编码器可以根据预设预测策略构造当前块对应的MIP列表。
进一步地，本申请提出的亮度分量预测方法，在进行MIP模式的限制时，如果当前块的尺寸比值大于4，且第一边长或第二边长为64，则不通过MIP模式对当前块进行编码。表13为本申请中MIP模式下亮度块尺寸的限制四，如表13所示，本申请提出的亮度分量预测方法，通过对MIP模式的限制条件的改变，不仅可以将4×16和16×4这两种大小的亮度块限制不进行MIP预测，还可以对64×32、32×64、16×64、64×16以及64×64这五种大小的亮度块限制不进行MIP预测。这样限制后，会简化预测分支，简化算法的语法语义，降低时间复杂度，同时节省内存。
表13
进一步地，在本申请的实施例中，在改变MIP模式的限制条件之后，即将现有技术中的如果当前块的宽高比大于4，或者高宽比大于4，则不通过MIP模式对当前块进行编码的限制条件，修改为本申请中的如果当前块的尺寸比值大于4，且第一边长或第二边长为64，则不通过MIP模式对当前块进行编码的限制条件之后，可以有效地解决由于4×16和16×4这两种大小的亮度块的存在，MIP算法会有部分过于冗余的逻辑分支的问题，同时，由于获得的预测块均为正方形，从而可以在矩阵运算时避免了是否对现有矩阵进行奇数行抽取的判定。
进一步地，在本申请的实施例中，语法上，在进行MIP模式的限制时，将满足Abs(Log2(cbWidth)-Log2(cbHeight))＜＝2)条件的当前块允许进行MIP预测，修改为满足Abs(Log2(cbWidth)-Log2(cbHeight))＜2)&&Log2(cbWidth)＜6&&Log2(cbHeight)＜6&&(Log2(cbWidth)！＝4&&Log2(cbHeight)！＝2)&&(Log2(cbWidth)！＝2)&&Log2(cbHeight)！＝4)条件的当前块才可以使用MIP模式。
由此可见，与现有技术相比，本申请提出的亮度分量预测方法，可以将包括4×16和16×4两种亮度块在内的所有宽高比为4，或高宽比为4的当前块禁止使用MIP模式，进而predW和predH在MipSizeId等于2时，由于当前亮度编码的边长必定大于或者等于8，因此不用进行比较运算，可以直接等于8。这种改动使得predW、predH和predC完全相等，因此可以进一步简化语法，使用predC代替MIP模式中所有的predW和predH，即MIP模式生成的预测矩阵的大小完全等于MIP中矩阵的大小，而不需要额外的比较。
基于上述步骤101至步骤107的亮度分量预测方法，在本申请的实施例中，编码器可以减少算法分支和语法语义，使MIP技术的实现更加简洁统一，具体地，现有技术中需要对4×16和16×4这两种大小的亮度块单独进行算法的分支，而本申请则可以在MIP预测过程中减少判断次数，避免矩阵相乘前判断是否需要进行奇数行的抽取，可以统一矩阵运算的方法，同时生成的预测块统一为正方形块，减少了一半的可能性。
本申请实施例提出的一种亮度分量预测方法，编码器根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，第一边长大于或者等于第二边长，尺寸比值设置为第一边长与第二边长的比值；若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造当前块对应的基于矩阵的帧内预测MIP列表；其中，预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；根据MIP列表获取当前块对应的亮度分量预测值；按照MIP列表和亮度分量预测值对当前块进行编码处理，获得当前块对应的码流数据。也就是说，在本申请的实施例中，编码器在对当前块进行编码时，可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，具体地，除了尺寸比值大于或者等于4的当前块以外，还禁止尺寸为4×16和16×4的当前块使用MIP模式；相应地，解码器在获取当前块的码流数据之后，也可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，从而可以简化MIP的预测过程，能够在保证编解码性能的基础上，降低复杂程度，减小编解码过程中所需要的存储空间和整体时间，有效地提高编解码效率。
图13为本申请实施例提出的一种亮度分量预测方法的实现流程示意图五，应用于解码器中，如图13所示，在本申请的实施例中，解码器进行亮度分量预测的方法可以包括以下步骤。
步骤201：根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，第一边长大于或者等于第二边长，尺寸比值设置为第一边长与第二边长的比值。
在本申请的实施例中，解码器可以先根据当前块对应的第一边长和第二边长计算获得当前块对应的尺寸比值。其中，当前块可以表征当前待编码块或者当前待解码块，具体地，在本申请的实施例中，解码器在进行解码时，当前块即为待解码块。
进一步地，在本申请的实施例中，第一边长可以为当前块较长的一个边，第二边长可以为当前块较短的一个边，即第一边长可以大于或者等于第二边长。具体地，第一边长和第二边长可以分别为当前块对应的高度参数和宽度参数，也就说，第一边长和第二边长的比值，即尺寸比值，既可以为高宽比，也可以为宽高比。
需要说明的是，在本申请的实施中，正是由于第一边长可以为当前块较长的一个边，第二边长可以为当前块较短的一个边，即尺寸比值表征当前块对应的长边和短边的比值，因此，尺寸比值为大于或者等于1的自然数。
步骤202：若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略解析当前块对应的码流数据，获得当前块对应的MIP列表和亮度分量预测值；其中，预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测。
在本申请的实施例中，解码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，在尺寸比值小于或者等于预设比例阈值的前提下，如果当前块的尺寸不为第一预设尺寸，那么解码器便可以根据预设预测策略解析当前块对应的码流数据，从而可以获得当前块对应的MIP列表和亮度分量预测值。
进一步地，在本申请的实施中，预设比例阈值等于4，同时，第一预设尺寸为4×16和16×4。
需要说明的是，在本申请的实施例中，解码器在按照MIP模式对当前块进行解码时，需要先对当前块的尺寸进行限定，具体地，当当前块的尺寸比值小于或者等于4，且当前块的尺寸不为4×16，同时也不为16×4时，解码器才会确定按照MIP模式对当前块进行亮度预测。
进一步地，在本申请的实施中，可以预先设置一个依赖于尺寸的MIP模式的预测方法，即预设预测策略，其中，解码器可以根据表征基于尺寸依赖的MIP模式的预设预测策略对当前块进行亮度预测，从而可以获得对应的MIP列表。
现有技术中，由于4×16和16×4这两种大小的亮度块的存在，MIP算法会有部分过于冗余的逻辑分支，具体地，在当前块为4×16时，会生成4×8的预测块，共11种；在当前块为16×4时，会生成8×4的预测块，共11种。针对4×16和16×4这两种大小的亮度块，算法需要在矩阵运算时判断是否对现有矩阵进行奇数行的抽取，同时也会使得预测块不全是正方形。
基于上述表6可知，现有技术中，在进行MIP模式的限制时，如果当前块的宽高比大于4，或者高宽比大于4，则不通过MIP模式对当前块进行解码。进一步地，本申请提出的亮度分量预测方法，在进行MIP模式的限制时，如果当前块的尺寸比值大于4，且当前块的尺寸为4×16和16×4，则不通过MIP模式对当前块进行解码。如表9所示，本申请提出的亮度分量预测方法，通过对MIP模式的限制条件的改变，可以将4×16和16×4这两种大小的亮度块限制不进行MIP预测，这样限制后，会简化预测分支，简化算法的语法语义，降低时间复杂度，同时节省内存。
步骤203：根据MIP列表和亮度分量预测值，获得当前块对应的图像数据。
在本申请的实施例中，解码器在根据预设预测策略解析当前块对应的码流数据，获得当前块对应的MIP列表和亮度分量预测值之后，便可以根据MIP列表和亮度分量预测值，获得当前块对应的图像数据。
基于上述步骤201至步骤203的亮度分量预测方法，在本申请的实施例中，解码器可以减少算法分支和语法语义，使MIP技术的实现更加简洁统一，降低MIP模式的复杂度，具体地，相比于传统亮度帧内预测模式，MIP模式的计算复杂度更高，现有技术中MIP不仅分支较多，需要进行MIP预测的亮度块也较多，而在本申请中，可以去掉所有宽高比大于等于4，或高宽比大于等于4的亮度块，具体可以包括4×16，8×32，16×64，16×4，32×8，64×16大小的亮度块，从而节省时间复杂度。
进一步地，在本申请的实施中，解码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，即上述步骤201之后，且根据MIP列表和亮度分量预测值，获得当前块对应的图像数据之前，即步骤203之前，解码器进行亮度分量预测的方法还可以包括以下步骤：
步骤204：若尺寸比值小于预设比例阈值，则根据预设预测策略解析当前块对应的码流数据，获得当前块对应的MIP列表和亮度分量预测值。
在本申请的实施例中，解码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，如果尺寸比值小于预设比例阈值，那么解码器可以根据预设预测策略解析当前块对应的码流数据，获得当前块对应的MIP列表和亮度分量预测值。
基于上述表6可知，现有技术中，在进行MIP模式的限制时，如果当前块的宽高比大于4，或者高宽比大于4，则不通过MIP模式对当前块进行解码。进一步地，本申请提出的亮度分量预测方法，在进行MIP模式的限制时，如果当前块的宽高比大于或者等于4，或者，高宽比大于或者等于4，则不通过MIP模式对当前块进行解码。如表11所示，本申请提出的亮度分量预测方法，通过对MIP模式的限制条件的改变，不仅可以将4×16和16×4这两种大小的亮度块限制不进行MIP预测，同时还将32×8、8×32、16×64以及64×16这四种大小的亮度块限制不进行MIP预测。这样限制后，会简化预测分支，简化算法的语法语义，降低时间复杂度，同时节省内存。
进一步地，在本申请的实施中，解码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，即上述步骤201之后，且根据MIP列表和亮度分量预测值，获得当前块对应的图像数据之前，即步骤203之前，解码器进行亮度分量预测的方法还可以包括以下步骤：
步骤205：若尺寸比值小于预设比例阈值，第一边长和第二边长均不为第一预设边长，则根据预设预测策略解析当前块对应的码流数据，获得当前块对应的MIP列表和亮度分量预测值。
在本申请的实施例中，解码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，如果尺寸比值小于预设比例阈值，同时，第一边长和第二边长均不为第一预设边长，那么编码器可以根据预设预测策略解析当前块对应的码流数据，获得当前块对应的MIP列表和亮度分量预测值。其中，第一预设边长等于64。
进一步地，本申请提出的亮度分量预测方法，在进行MIP模式的限制时，如果当前块的尺寸比值大于或者等于4，且第一边长或第二边长为64，则不通过MIP模式对当前块进行解码。如表12所示，本申请提出的亮度分量预测方法，通过对MIP模式的限制条件的改变，不仅可以将4×16、16×4、32×8、8×32、16×64以及64×16这几种大小的亮度块限制不进行MIP预测，还对64×32、32×64以及64×64这三种大小的亮度块限制不进行MIP预测。这样限制后，会简化预测分支，简化算法的语法语义，降低时间复杂度，同时节省内存。
进一步地，在本申请的实施中，解码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，即上述步骤201之后，且根据MIP列表和亮度分量预测值，获得当前块对应的图像数据之前，即步骤203之前，解码器进行亮度分量预测的方法还可以包括以下步骤：
步骤206：若尺寸比值小于或者等于预设比例阈值，第一边长和第二边长均不为第一预设边长，则根据预设预测策略解析当前块对应的码流数据，获得当前块对应的MIP列表和亮度分量预测值。
在本申请的实施例中，解码器在根据当前块对应的第一边长和第二边长计算获得尺寸比值之后，如果尺寸比值小于或者等于预设比例阈值，同时，第一边长和第二边长均不为第一预设边长，那么编码器可以根据预设预测策略解析当前块对应的码流数据，获得当前块对应的MIP列表和亮度分量预测值。
进一步地，本申请提出的亮度分量预测方法，在进行MIP模式的限制时，如果当前块的尺寸比值大于4，且第一边长或第二边长为64，则不通过MIP模式对当前块进行解码。如表13所示，本申请提出的亮度分量预测方法，通过对MIP模式的限制条件的改变，不仅可以将4×16和16×4这两种大小的亮度块限制不进行MIP预测，还可以对64×32、32×64、16×64、64×16以及64×64这五种大小的亮度块限制不进行MIP预测。这样限制后，会简化预测分支，简化算法的语法语义，降低时间复杂度，同时节省内存。
基于上述步骤201至步骤206的亮度分量预测方法，在本申请的实施例中，解码器可以减少算法分支和语法语义，使MIP技术的实现更加简洁统一，具体地，现有技术中需要对4×16和16×4这两种大小的亮度块单独进行算法的分支，而本申请则可以在MIP预测过程中减少判断次数，避免矩阵相乘前判断是否需要进行奇数行的抽取，可以统一矩阵运算的方法，同时生成的预测块统一为正方形块，减少了一半的可能性。
本申请实施例提出的一种亮度分量预测方法，解码器根据当前块对应的第一边长和第二边长计算获得尺寸比值；若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略解析当前块对应的码流数据，获得当前块对应的MIP列表和亮度分量预测值；根据MIP列表和亮度分量预测值，获得当前块对应的图像数据。也就是说，在本申请的实施例中，编码器在对当前块进行编码时，可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，具体地，除了尺寸比值大于或者等于4的当前块以外，还禁止尺寸为4×16和16×4的当前块使用MIP模式；相应地，解码器在获取当前块的码流数据之后，也可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，从而可以简化MIP的预测过程，能够在保证编解码性能的基础上，降低复杂程度，减小编解码过程中所需要的存储空间和整体时间，有效地提高编解码效率。
基于上述实施例，在本申请的再一实施例中，图14为本申请实施例提出的编码器的组成结构示意图一，如图14所示，本申请实施例提出的编码器300可以包括第一获取部分301，构造部分302以及编码部分303。
所述第一获取部分301，配置于根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值。
所述构造部分302，配置于若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造所述当前块对应的基于矩阵的帧内预测MIP列表；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测。
所述第一获取部分301，还用于根据所述MIP列表获取所述当前块对应的亮度分量预测值。
所述编码部分303，配置于按照所述MIP列表和所述亮度分量预测值对所述当前块进行编码处理，获得所述当前块对应的码流数据。
进一步地，在本申请的实施例中，所述构造部分302，还配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表获取所述当前块对应的亮度分量预测值之前，若所述尺寸比值小于预设比例阈值，则根据所述预设预测策略构造所述当前块对应的MIP列表。
进一步地，在本申请的实施例中，所述构造部分302，还配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表获取所述当前块对应的亮度分量预测值之前，若所述尺寸比值小于预设比例阈值，所述第一边长和所述第二边长均不为第一预设边长，则根据所述预设预测策略构造所述当前块对应的MIP列表。
进一步地，在本申请的实施例中，所述构造部分302，还配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表获取所述当前块对应的亮度分量预测值之前，若所述尺寸比值小于或者等于预设比例阈值，所述第一边长和所述第二边长均不为第一预设边长，则根据所述预设预测策略构造所述当前块对应的MIP列表。
进一步地，在本申请的实施例中，所述第一获取部分301，还配置于根据所述预设预测策略构造所述当前块对应的MIP列表之前，获取所述当前块对应的上侧相邻亮度块的第一预测模式；以及获取所述当前块对应的左侧相邻亮度块的第二预测模式。
进一步地，在本申请的实施例中，所述构造部分302，具体配置于若当前块的尺寸为第二预设尺寸，则根据所述第一预测模式、所述第二预测模式以及35种MIP模式构造所述MIP列表。
进一步地，在本申请的实施例中，所述构造部分302，还具体配置于若所述当前块的尺寸为第三预设尺寸，则根据所述第一预测模式、所述第二预测模式以及19种MIP模式构造所述MIP列表。
进一步地，在本申请的实施例中，所述构造部分302，还具体配置于若所述第一边长和所述第二边长均大于第二预设边长，则根据所述第一预测模式、所述第二预测模式以及11种MIP模式构造所述MIP列表。
进一步地，在本申请的实施例中，所述预设比例阈值等于4；所述第一预设尺寸为4×16和16×4；所述第一预设边长等于64；所述第二预设尺寸为4×4；所述第三预设尺寸为4×8、8×4或者8×8；所述第二预设边长等于8。
图15为本申请实施例提出的编码器的组成结构示意图二，如图15所示，本申请实施例提出的编码器300还可以包括第一处理器304、存储有第一处理器304可执行指令的第一存储器305、第一通信接口306，和用于连接第一处理器304、第一存储器305以及第一通信接口306的第一总线307。
进一步地，在本申请的实施例中，上述第一处理器304，用于根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值；若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造所述当前块对应的基于矩阵的帧内预测MIP列表；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；根据所述MIP列表获取所述当前块对应的亮度分量预测值；按照所述MIP列表和所述亮度分量预测值对所述当前块进行编码处理，获得所述当前块对应的码流数据。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种图像编码器，该编码器根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，第一边长大于或者等于第二边长，尺寸比值设置为第一边长与第二边长的比值；若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造当前块对应的基于矩阵的帧内预测MIP列表；其中，预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；根据MIP列表获取当前块对应的亮度分量预测值；按照MIP列表和亮度分量预测值对当前块进行编码处理，获得当前块对应的码流数据。也就是说，在本申请的实施例中，编码器在对当前块进行编码时，可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，具体地，除了尺寸比值大于或者等于4的当前块以外，还禁止尺寸为4×16和16×4的当前块使用MIP模式；相应地，解码器在获取当前块的码流数据之后，也可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，从而可以简化MIP的预测过程，能够在保证编解码性能的基础上，降低复杂程度，减小编解码过程中所需要的存储空间和整体时间，有效地提高编解码效率。
基于上述实施例，在本申请的另一实施例中，图16为本申请实施例提出的解码器的组成结构示意图一，如图16所示，本申请实施例提出的解码器400可以包括第二获取部分401和解码部分402。
所述第二获取部分401，配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值。
所述解码部分402，配置于若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略解析所述当前块对应的码流数据，获得所述当前块对应的MIP列表和亮度分量预测值；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测。
所述第二获取部分401，还配置于根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据。
进一步地，在本申请的实施例中，所述解码部分402，还配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据之前，若所述尺寸比值小于预设比例阈值，则根据所述预设预测策略解析所述码流数据，获得所述当前块对应的MIP列表和亮度分量预测值。
进一步地，在本申请的实施例中，所述解码部分402，还配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据之前，若所述尺寸比值小于预设比例阈值，所述第一边长和所述第二边长均不为第一预设边长，则根据所述预设预测策略解析所述码流数据，获得所述当前块对应的MIP列表和亮度分量预测值。
进一步地，在本申请的实施例中，所述解码部分402，还配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据之前，若所述尺寸比值小于或者等于预设比例阈值，所述第一边长和所述第二边长均不为第一预设边长，则根据所述预设预测策略解析所述码流数据，获得所述当前块对应的MIP列表和亮度分量预测值。
进一步地，在本申请的实施例中，所述预设比例阈值等于4；所述第一预设尺寸为4×16和16×4；所述第一预设边长等于64。
图17为本申请实施例提出的解码器的组成结构示意图二，如图17所示，本申请实施例提出的解码器400还可以包括第二处理器403、存储有第二处理器403可执行指令的第二存储器404、第二通信接口405，和用于连接第二处理器403、第二存储器404以及第二通信接口405的第二总线406。
进一步地，在本申请的实施例中，上述第二处理器403，用于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值；若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略解析所述当前块对应的码流数据，获得所述当前块对应的MIP列表和亮度分量预测值；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种图像解码器，该解码器根据当前块对应的第一边长和第二边长计算获得尺寸比值；若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略解析当前块对应的码流数据，获得当前块对应的MIP列表和亮度分量预测值；根据MIP列表和亮度分量预测值，获得当前块对应的图像数据。也就是说，在本申请的实施例中，编码器在对当前块进行编码时，可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，具体地，除了尺寸比值大于或者等于4的当前块以外，还禁止尺寸为4×16和16×4的当前块使用MIP模式；相应地，解码器在获取当前块的码流数据之后，也可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，从而可以简化MIP的预测过程，能够在保证编解码性能的基础上，降低复杂程度，减小编解码过程中所需要的存储空间和整体时间，有效地提高编解码效率。
本申请实施例提供计算机可读存储介质和计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述实施例所述的方法。
具体来讲，本实施例中的一种亮度分量预测方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种亮度分量预测方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值；
若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造所述当前块对应的基于矩阵的帧内预测MIP列表；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；
根据所述MIP列表获取所述当前块对应的亮度分量预测值；
按照所述MIP列表和所述亮度分量预测值对所述当前块进行编码处理，获得所述当前块对应的码流数据。
具体来讲，本实施例中的一种亮度分量预测方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种亮度分量预测方法对应的程序指令被一电子设备读取或被执行时，还包括如下步骤：
根据所述当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值；
若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略解析所述当前块对应的码流数据，获得所述当前块对应的MIP列表和亮度分量预测值；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；
根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
工业实用性
本申请实施例提供了一种亮度分量预测方法、编码器、解码器以及存储介质，编码器根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，第一边长大于或者等于第二边长，尺寸比值设置为第一边长与第二边长的比值；若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造当前块对应的基于矩阵的帧内预测MIP列表；其中，预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；根据MIP列表获取当前块对应的亮度分量预测值；按照MIP列表和亮度分量预测值对当前块进行编码处理，获得当前块对应的码流数据。相应地，解码器根据当前块对应的第一边长和第二边长计算获得尺寸比值；若尺寸比值小于或者等于预设比例阈值，且当前块的尺寸不为第一预设尺寸，则根据预设预测策略解析当前块对应的码流数据，获得当前块对应的MIP列表和亮度分量预测值；根据MIP列表和亮度分量预测值，获得当前块对应的图像数据。也就是说，在本申请的实施例中，编码器在对当前块进行编码时，可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，具体地，除了尺寸比值大于或者等于4的当前块以外，还禁止尺寸为4×16和16×4的当前块使用MIP模式；相应地，解码器在获取当前块的码流数据之后，也可以依据当前块对应的第一边长和第二边长进行尺寸依赖的MIP模式进行亮度预测，从而可以简化MIP的预测过程，能够在保证编解码性能的基础上，降低复杂程度，减小编解码过程中所需要的存储空间和整体时间，有效地提高编解码效率。

Claims (27)

1.一种亮度分量预测方法，应用于编码器，所述方法包括：
根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值；
若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造所述当前块对应的基于矩阵的帧内预测MIP列表；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；所述第一预设尺寸为4×16和16×4；
根据所述MIP列表获取所述当前块对应的亮度分量预测值；
按照所述MIP列表和所述亮度分量预测值对所述当前块进行编码处理，获得所述当前块对应的码流数据。
2.根据权利要求1所述的方法，其中，所述根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表获取所述当前块对应的亮度分量预测值之前，所述方法还包括：
若所述尺寸比值小于所述预设比例阈值，则根据所述预设预测策略构造所述当前块对应的MIP列表。
3.根据权利要求1所述的方法，其中，所述根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表获取所述当前块对应的亮度分量预测值之前，所述方法还包括：
若所述尺寸比值小于所述预设比例阈值，所述第一边长和所述第二边长均不为第一预设边长，则根据所述预设预测策略构造所述当前块对应的MIP列表。
4.根据权利要求1所述的方法，其中，所述根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表获取所述当前块对应的亮度分量预测值之前，所述方法还包括：
若所述尺寸比值小于或者等于所述预设比例阈值，所述第一边长和所述第二边长均不为第一预设边长，则根据所述预设预测策略构造所述当前块对应的MIP列表。
5.根据权利要求1至4任一项所述的方法，其中，所述根据所述预设预测策略构造所述当前块对应的MIP列表之前，所述方法还包括：
获取所述当前块对应的上侧相邻亮度块的第一预测模式；
获取所述当前块对应的左侧相邻亮度块的第二预测模式。
6.根据权利要求5所述的方法，其中，所述根据所述预设预测策略构造所述当前块对应的MIP列表，包括：
若当前块的尺寸为第二预设尺寸，则根据所述第一预测模式、所述第二预测模式以及35种MIP模式构造所述MIP列表。
7.根据权利要求5所述的方法，其中，所述根据所述预设预测策略构造所述当前块对应的MIP列表，包括：
若所述当前块的尺寸为第三预设尺寸，则根据所述第一预测模式、所述第二预测模式以及19种MIP模式构造所述MIP列表。
8.根据权利要求5所述的方法，其中，所述根据所述预设预测策略构造所述当前块对应的MIP列表，包括：
若所述第一边长和所述第二边长均大于第二预设边长，则根据所述第一预测模式、所述第二预测模式以及11种MIP模式构造所述MIP列表。
9.根据权利要求1至4，6至8任一项所述的方法，其中，
所述预设比例阈值等于4；
第一预设边长等于64；
第二预设尺寸为4×4；
第三预设尺寸为4×8、8×4或者8×8；
第二预设边长等于8。
10.一种亮度分量预测方法，应用于解码器，所述方法包括：
根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值；
若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略解析所述当前块对应的码流数据，获得所述当前块对应的MIP列表和亮度分量预测值；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；所述第一预设尺寸为4×16和16×4；
根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据。
11.根据权利要求10所述的方法，其中，所述根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据之前，所述方法还包括：
若所述尺寸比值小于所述预设比例阈值，则根据所述预设预测策略解析所述码流数据，获得所述当前块对应的MIP列表和亮度分量预测值。
12.根据权利要求10所述的方法，其中，所述根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据之前，所述方法还包括：
若所述尺寸比值小于所述预设比例阈值，所述第一边长和所述第二边长均不为第一预设边长，则根据所述预设预测策略解析所述码流数据，获得所述当前块对应的MIP列表和亮度分量预测值。
13.根据权利要求10所述的方法，其中，所述根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据之前，所述方法还包括：
若所述尺寸比值小于或者等于所述预设比例阈值，所述第一边长和所述第二边长均不为第一预设边长，则根据所述预设预测策略解析所述码流数据，获得所述当前块对应的MIP列表和亮度分量预测值。
14.根据权利要求10至13任一项所述的方法，其中，
所述预设比例阈值等于4；
第一预设边长等于64。
15.一种编码器，所述编码器包括：第一获取部分，构造部分以及编码部分，
所述第一获取部分，配置于根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值；
所述构造部分，配置于若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略构造所述当前块对应的基于矩阵的帧内预测MIP列表；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；所述第一预设尺寸为4×16和16×4；
所述第一获取部分，还配置于根据所述MIP列表获取所述当前块对应的亮度分量预测值；
所述编码部分，配置于按照所述MIP列表和所述亮度分量预测值对所述当前块进行编码处理，获得所述当前块对应的码流数据。
16.根据权利要求15所述的编码器，其中，
所述构造部分，还配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表获取所述当前块对应的亮度分量预测值之前，若所述尺寸比值小于所述预设比例阈值，则根据所述预设预测策略构造所述当前块对应的MIP列表。
17.根据权利要求15所述的编码器，其中，
所述构造部分，还配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表获取所述当前块对应的亮度分量预测值之前，若所述尺寸比值小于所述预设比例阈值，所述第一边长和所述第二边长均不为64，则根据所述预设预测策略构造所述当前块对应的MIP列表。
18.根据权利要求15所述的编码器，其中，
所述构造部分，还配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表获取所述当前块对应的亮度分量预测值之前，若所述尺寸比值小于或者等于所述预设比例阈值，所述第一边长和所述第二边长均不为第一预设边长，则根据所述预设预测策略构造所述当前块对应的MIP列表。
19.根据权利要求15至18任一项所述的编码器，其中，
所述预设比例阈值等于4；
第一预设边长等于64。
20.一种解码器，所述解码器包括：第二获取部分和解码部分，
所述第二获取部分，配置于根据当前块对应的第一边长和第二边长计算获得尺寸比值；其中，所述第一边长大于或者等于第二边长，所述尺寸比值设置为所述第一边长与所述第二边长的比值；
所述解码部分，配置于若所述尺寸比值小于或者等于预设比例阈值，且所述当前块的尺寸不为第一预设尺寸，则根据预设预测策略解析所述当前块对应的码流数据，获得所述当前块对应的MIP列表和亮度分量预测值；其中，所述预设预测策略用于基于尺寸依赖的MIP模式进行亮度预测；所述第一预设尺寸为4×16和16×4；
所述第二获取部分，还配置于根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据。
21.根据权利要求20所述的解码器，其中，
所述解码部分，还配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据之前，若所述尺寸比值小于所述预设比例阈值，则根据所述预设预测策略解析所述码流数据，获得所述当前块对应的MIP列表和亮度分量预测值。
22.根据权利要求20所述的解码器，其中，
所述解码部分，还配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据之前，若所述尺寸比值小于所述预设比例阈值，所述第一边长和所述第二边长均不为第一预设边长，则根据所述预设预测策略解析所述码流数据，获得所述当前块对应的MIP列表和亮度分量预测值。
23.根据权利要求20所述的解码器，其中，
所述解码部分，还配置于根据所述当前块对应的第一边长和第二边长计算获得尺寸比值之后，且所述根据所述MIP列表和所述亮度分量预测值，获得所述当前块对应的图像数据之前，若所述尺寸比值小于或者等于所述预设比例阈值，所述第一边长和所述第二边长均不为第一预设边长，则根据所述预设预测策略解析所述码流数据，获得所述当前块对应的MIP列表和亮度分量预测值。
24.根据权利要求20至23任一项所述的解码器，其中，
所述预设比例阈值等于4；
第一预设边长等于64。
25.一种编码器，所述编码器包括第一处理器、存储有所述第一处理器可执行指令的第一存储器、第一通信接口，和用于连接所述第一处理器、所述第一存储器以及所述第一通信接口的第一总线，当所述指令被所述第一处理器执行时，实现如权利要求1-9任一项所述的方法。
26.一种解码器，所述解码器包括第二处理器、存储有所述第二处理器可执行指令的第二存储器、第二通信接口，和用于连接所述第二处理器、所述第二存储器以及所述第二通信接口的第二总线，当所述指令被所述第二处理器执行时，实现如权利要求10-14任一项所述的方法。
27.一种计算机可读存储介质，其上存储有程序，应用于编码器和解码器中，所述程序被处理器执行时，实现如权利要求1-14任一项所述的方法。
CN201980083001.8A 2019-06-25 2019-06-25 亮度分量预测方法、编码器、解码器以及存储介质 Active CN113243105B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/092664 WO2020258001A1 (zh) 2019-06-25 2019-06-25 亮度分量预测方法、编码器、解码器以及存储介质

Publications (2)

Publication Number Publication Date
CN113243105A CN113243105A (zh) 2021-08-10
CN113243105B true CN113243105B (zh) 2023-10-20

Family

ID=74061139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980083001.8A Active CN113243105B (zh) 2019-06-25 2019-06-25 亮度分量预测方法、编码器、解码器以及存储介质

Country Status (2)

Country Link
CN (1) CN113243105B (zh)
WO (1) WO2020258001A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017222237A1 (ko) * 2016-06-22 2017-12-28 한국전자통신연구원 화면 내 예측 방법 및 장치
WO2018124843A1 (ko) * 2017-01-02 2018-07-05 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN109688414A (zh) * 2018-12-19 2019-04-26 同济大学 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964906B (zh) * 2009-07-22 2012-07-04 北京工业大学 基于纹理特性的快速帧内预测方法和装置
EP3547683A4 (en) * 2016-12-28 2019-12-04 Huawei Technologies Co., Ltd. CHROMINANT PRESERVATION METHOD AND DEVICE
CN107071417B (zh) * 2017-04-10 2019-07-02 电子科技大学 一种用于视频编码的帧内预测方法
US11889100B2 (en) * 2017-11-14 2024-01-30 Qualcomm Incorporated Affine motion vector prediction in video coding
US10623746B2 (en) * 2017-12-07 2020-04-14 Tencent America LLC Method and apparatus for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017222237A1 (ko) * 2016-06-22 2017-12-28 한국전자통신연구원 화면 내 예측 방법 및 장치
WO2018124843A1 (ko) * 2017-01-02 2018-07-05 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN109688414A (zh) * 2018-12-19 2019-04-26 同济大学 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CE3:Affine linear weighted intra prediction(CE3-4.1,CE3-4.2);PFAFF Jonathan et.al.;Joint Video Experts Team(JVET) of ITU-T SG 16 WP3 and ISO/IEC JTC 1/SC 29/WG 11;第1-17页 *

Also Published As

Publication number Publication date
WO2020258001A1 (zh) 2020-12-30
CN113243105A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
US11523136B2 (en) Methods and apparatuses for coding transform blocks
CN113068032B (zh) 图像编解码方法、编码器、解码器以及存储介质
EP3007447A1 (en) Method for improving intra-prediction of diagonal mode in video coding
US20230308645A1 (en) Intra-frame prediction methods, encoder, decoder and storage medium
US20180220159A1 (en) Encoding device, decoding device, and encoding method and decoding method thereof
CN113905236B (zh) 图像编解码方法、编码器、解码器以及存储介质
JP4979324B2 (ja) マルチコーデック用のフィルタリング装置、方法、及び記録媒体
WO2022116113A1 (zh) 一种帧内预测方法、装置及解码器和编码器
KR102673135B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN114830663A (zh) 变换方法、编码器、解码器以及存储介质
CN113243105B (zh) 亮度分量预测方法、编码器、解码器以及存储介质
JP2005311512A (ja) エラーコンシールメント方法及び復号器
CN116711304A (zh) 预测方法、编码器、解码器以及存储介质
CN117221535A (zh) 帧内预测方法、编码器、解码器以及存储介质
WO2024007116A1 (zh) 解码方法、编码方法、解码器以及编码器
TWI832003B (zh) 影像編碼裝置、影像編碼方法、及程式、影像解碼裝置、影像解碼方法、及電腦可讀記憶媒體
WO2023193254A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2022217417A1 (zh) 编解码方法、编码器、解码器以及存储介质
CN117676133A (zh) 帧内预测方法、编码器、解码器以及存储介质
CN118160306A (zh) 帧内预测方法、解码器、编码器及编解码系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant