CN113225562B - 图像分量预测方法、编码器、解码器以及存储介质 - Google Patents

图像分量预测方法、编码器、解码器以及存储介质 Download PDF

Info

Publication number
CN113225562B
CN113225562B CN202110469722.1A CN202110469722A CN113225562B CN 113225562 B CN113225562 B CN 113225562B CN 202110469722 A CN202110469722 A CN 202110469722A CN 113225562 B CN113225562 B CN 113225562B
Authority
CN
China
Prior art keywords
current block
mip
prediction
block
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110469722.1A
Other languages
English (en)
Other versions
CN113225562A (zh
Inventor
霍俊彦
马彦卓
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110469722.1A priority Critical patent/CN113225562B/zh
Publication of CN113225562A publication Critical patent/CN113225562A/zh
Application granted granted Critical
Publication of CN113225562B publication Critical patent/CN113225562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/01Methods or arrangements for data conversion without changing the order or content of the data handled for shifting, e.g. justifying, scaling, normalising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了一种图像分量预测方法、编码器、解码器以及存储介质,该方法包括:确定当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。

Description

图像分量预测方法、编码器、解码器以及存储介质
本申请是基于申请日为2020年05月15日的PCT国际专利申请PCT/CN2020/090688进入中国国家阶段的中国专利申请号202080004757.1、发明名称为“图像分量预测方法、编码器、解码器以及存储介质”的分案申请。
相关申请的交叉引用
1)以Junyan Huo、Yanzhuo Ma和Wei Zhang的名义于2019年7月10日提交的、申请号为62/872,488的题为“Matrix-Based Intra Prediction(MIP)Shift UnificationAccording to Block Size and Mode Index”的在先美国临时专利申请;
2)以Junyan Huo、Yanzhuo Ma和Wei Zhang的名义于2019年7月11日提交的、申请号为62/872,830的题为“Methods and Apparatuses for Matrix-Based IntraPrediction(MIP)Shift Unification”的在先美国临时专利申请;
3)以Junyan Huo、Yanzhuo Ma和Wei Zhang的名义于2019年7月11日提交的、申请号为62/873,170的题为“Methods and Apparatuses for Matrix-Based IntraPrediction(MIP)Shift Unification”的在先美国临时专利申请。
技术领域
本申请实施例涉及视频编解码技术领域,尤其涉及一种图像分量预测方法、编码器、解码器以及存储介质。
背景技术
随着人们对视频显示质量要求的提高,高清和超高清视频等新视频应用形式应运而生。H.265/高效率视频编码(High Efficiency Video Coding,HEVC)已经无法满足视频应用迅速发展的需求,联合视频研究组(Joint Video Exploration Team,JVET)提出了下一代视频编码标准H.266/多功能视频编码(Versatile Video Coding,VVC),其相应的测试模型为VVC的参考软件测试平台(VVC Test Model,VTM)。
在H.266/VVC中,目前已经接受了基于矩阵的帧内预测(Matrix-based IntraPrediction,MIP)技术。该技术针对帧内当前块种类的不同,在帧内预测过程中增加了不同数量的MIP预测模式。但是在MIP预测的过程中,尤其是矩阵乘法过程中移位因子的确定还与当前块种类和MIP预测模式的索引序号相关,使得预测过程比较繁琐,而且增加了计算复杂度。
发明内容
本申请实施例提供一种图像分量预测方法、编码器、解码器以及存储介质,可以简化移位因子的确定方式,而且在使用查找表确定移位因子时,还可以在降低计算复杂度的同时,减小查找表存储所占用的内存。
本申请实施例的技术方案可以如下实现:
第一方面,本申请实施例提供了一种图像分量预测方法,应用于编码器,该方法包括:
确定当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。
第二方面,本申请实施例提供了一种图像分量预测方法,应用于解码器,该方法包括:
解析码流,获取当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。
第三方面,本申请实施例提供了一种编码器,该编码器包括第一确定单元和第一预测单元;其中,
所述第一确定单元,配置为确定当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
所述第一确定单元,还配置为当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
所述第一预测单元,配置为根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。
第四方面,本申请实施例提供了一种编码器,该编码器包括第一存储器和第一处理器;其中,
第一存储器,用于存储能够在第一处理器上运行的计算机程序;
第一处理器,用于在运行所述计算机程序时,执行如第一方面所述的方法。
第五方面,本申请实施例提供了一种解码器,该解码器包括解析单元、第二确定单元和第二预测单元;其中,
所述解析单元,配置为解析码流,获取当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
所述第二确定单元,配置为当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
所述第二预测单元,配置为根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。
第六方面,本申请实施例提供了一种解码器,该解码器包括第二存储器和第二处理器;其中,
第二存储器,用于存储能够在第二处理器上运行的计算机程序;
第二处理器,用于在运行所述计算机程序时,执行如第二方面所述的方法。
第七方面,本申请实施例提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,所述计算机程序被第一处理器执行时实现如第一方面所述的方法、或者被第二处理器执行时实现如第二方面所述的方法。
本申请实施例提供了一种图像分量预测方法、编码器、解码器以及存储介质,在编码器侧,确定当前块的预测参数,所述预测参数包括预测模式参数和所述当前块的大小参数;当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。在解码器侧,解析码流,获取当前块的预测参数,所述预测参数包括预测模式参数和所述当前块的大小参数;当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。这样,无论是解码器侧还是编码器侧,均可以简化移位因子的确定方式,而且在使用查找表确定移位因子时,还可以在降低计算复杂度的情况下,同时减小查找表存储所占用的内存,以达到提高编解码效率的目的。
附图说明
图1为相关技术方案提供的一种MIP预测过程的流程框图;
图2A为本申请实施例提供的一种视频编码系统的组成框图;
图2B为本申请实施例提供的一种视频解码系统的组成框图;
图3为本申请实施例提供的一种图像分量预测方法的流程示意图;
图4为本申请实施例提供的一种生成帧内预测值的结构示意图;
图5为本申请实施例提供的另一种图像分量预测方法的流程示意图;
图6为本申请实施例提供的一种编码器的组成结构示意图;
图7为本申请实施例提供的另一种编码器的组成结构示意图;
图8为本申请实施例提供的一种编码器的具体硬件结构示意图;
图9为本申请实施例提供的一种解码器的组成结构示意图;
图10为本申请实施例提供的一种解码器的组成结构示意图;
图11为本申请实施例提供的一种解码器的具体硬件结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容,下面结合附图对本申请实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本申请实施例。
在视频图像中,一般采用第一图像分量、第二图像分量和第三图像分量来表征编码块(Coding Block,CB);其中,这三个图像分量分别为一个亮度分量、一个蓝色色度分量和一个红色色度分量,具体地,亮度分量通常使用符号Y表示,蓝色色度分量通常使用符号Cb或者U表示,红色色度分量通常使用符号Cr或者V表示;这样,视频图像可以用YCbCr格式表示,也可以用YUV格式表示。
在本申请实施例中,第一图像分量可以为亮度分量,第二图像分量可以为蓝色色度分量,第三图像分量可以为红色色度分量,但是本申请实施例不作具体限定。
下面将针对目前MIP技术的预测过程进行相关技术方案描述。
MIP预测的输入数据,主要包括有:当前块的位置(xTbCmp,yTbCmp)、当前块使用MIP预测时的MIP模式索引值(可以用modeId或者modeIdx表示)、当前块的高度(用nTbH表示)、当前块的宽度(用nTbW表示)以及是否需要转置的转置处理指示标志(可以用isTransposed表示)等;
MIP预测的输出数据,主要包括有当前块的预测块,该预测块中像素坐标[x][y]所对应的预测值为predSamples[x][y];其中,x=0,1,…,nTbW-1;y=0,1,…,nTbH-1。
这里,如图1所示,MIP预测过程可以分为四个步骤:配置核心参数11、获取参考像素12、构造输入采样13以及生成帧内预测值14。具体地,对于配置核心参数11来说,根据帧内当前块尺寸的大小,可以将当前块划分为三类,用mipSizeId或者blocksizeIdx作为块尺寸索引值来记录当前块的种类;而且不同块尺寸索引值对应的当前块,参考采样点数量和矩阵乘法输出采样点数量是不同的。对于获取参考像素12来说,预测当前块时,这时候当前块的上块和左块都是已编码的块,MIP技术的参考像素为当前块的上一行像素和左一列像素的重建值,获取当前块的上侧边相邻的参考像素(用refT表示)和左侧边相邻的参考像素(用refL表示)的过程即为参考像素的获取过程。对于构造输入采样13来说,该步骤用于矩阵乘法的输入,主要可以包括:获取参考采样131、构造参考采样缓冲区132和推导矩阵乘法输入采样133;其中,获取参考采样的过程为下采样过程,而构造参考采样缓冲区132又可以包括不需要转置时缓冲区的填充方式1321和需要转置时缓冲区的填充方式1322。对于生成帧内预测值14来说,该步骤用于获取当前块的MIP预测值,主要可以包括:构造矩阵乘法输出采样块141、矩阵乘法输出采样嵌位142、矩阵乘法输出采样转置143和生成MIP最终预测值144;其中,构造矩阵乘法输出采样块141又可以包括获取权重矩阵1411、获取移位因子和偏移因子1412和矩阵乘法运算1413,生成MIP最终预测值144又可以包括生成不需要上采样的预测值1441和生成需要上采样的预测值1442。这样,在经过该四个步骤之后,可以得到当前块中至少一个像素的帧内预测值。
在如图1所示的MIP预测过程中,MIP预测可以利用下式表示,
P=M×R (1)
其中,M是矩阵,R为从参考样本像素中推导出的输入采样向量,P为根据式(1)推导的预测像素值,也即MIP是一种编码工具,可以用于推导包含矩阵乘法的帧内预测信号,而且每一个特定矩阵M对应一种MIP模式。
然而,由于矩阵的系数最初训练为浮点值。但是在计算机处理过程中,需要把这些系数存储和计算成整数值。通常将浮点值转换为整数值的一种常用方式是将浮点值与一个足够大的值相乘以保留适当的精度,这种方式通常称为移位操作。具体地,一种左移运算旨在推导出整数值,可以通过下式实现,
VAL=val×(1<<shift) (2)
其中,val为浮动矩阵值,shift为移位运算中的移位比特数(也可以简称为移位因子),VAL为所存储的整数值,“<<”表示左移运算符。
这样,在得到整数矩阵之后,可以进行整数矩阵乘法;最后再对P进行右移运算,以得到最终MIP预测值。整个过程的计算公式如下,
P=(M*(1<<shift)×R)>>shift (3)
或者,
P=(M*(1<<shift)×R+(1<<(shift-1)))>>shift (4)
其中,(1<<(shift-1))表示四舍五入运算,“>>”表示右移运算符。但是在最近的MIP版本中,针对不同的块尺寸大小和不同的MIP模式,上述式(3)或者式(4)的移位运算中对应的shift取值是不同的。也就是说,目前的移位因子与当前块种类和MIP预测模式的索引序号密切相关,使得预测过程比较繁琐,而且增加了计算复杂度。
本申请实施例提供了一种图像分量预测方法,应用于编码器或解码器。在获得当前块的预测参数后,当预测参数中的预测模式参数指示使用MIP模式确定当前块的帧内预测值时,可以确定当前块的MIP权重矩阵、当前块的移位因子和当前块的MIP输入采样矩阵;然后根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定当前块的帧内预测值。这样,无论是解码器侧还是编码器侧,均可以简化移位因子的确定方式,而且在使用查找表确定移位因子时,还可以在降低计算复杂度的情况下,同时减小查找表存储所占用的内存,以达到提高编解码效率的目的。
下面将结合附图对本申请各实施例进行详细说明。
参见图2A,其示出了本申请实施例提供的一种视频编码系统的组成框图示例;如图2A所示,该视频编码系统10包括变换与量化单元101、帧内估计单元102、帧内预测单元103、运动补偿单元104、运动估计单元105、反变换与反量化单元106、滤波器控制分析单元107、滤波单元108、编码单元109和解码图像缓存单元110等,其中,滤波单元108可以实现去方块滤波及样本自适应缩进(Sample Adaptive 0ffset,SAO)滤波,编码单元109可以实现头信息编码及基于上下文的自适应二进制算术编码(Context-based Adaptive BinaryArithmatic Coding,CABAC)。针对输入的原始视频信号,通过编码树块(Coding TreeUnit,CTU)的划分可以得到一个视频编码块,然后对经过帧内或帧间预测后得到的残差像素信息通过变换与量化单元101对该视频编码块进行变换,包括将残差信息从像素域变换到变换域,并对所得的变换系数进行量化,用以进一步减少比特率;帧内估计单元102和帧内预测单元103是用于对该视频编码块进行帧内预测;明确地说,帧内估计单元102和帧内预测单元103用于确定待用以编码该视频编码块的帧内预测模式;运动补偿单元104和运动估计单元105用于执行所接收的视频编码块相对于一或多个参考帧中的一或多个块的帧间预测编码以提供时间预测信息;由运动估计单元105执行的运动估计为产生运动向量的过程,所述运动向量可以估计该视频编码块的运动,然后由运动补偿单元104基于由运动估计单元105所确定的运动向量执行运动补偿;在确定帧内预测模式之后,帧内预测单元103还用于将所选择的帧内预测数据提供到编码单元109,而且运动估计单元105将所计算确定的运动向量数据也发送到编码单元109;此外,反变换与反量化单元106是用于该视频编码块的重构建,在像素域中重构建残差块,该重构建残差块通过滤波器控制分析单元107和滤波单元108去除方块效应伪影,然后将该重构残差块添加到解码图像缓存单元110的帧中的一个预测性块,用以产生经重构建的视频编码块;编码单元109是用于编码各种编码参数及量化后的变换系数,在基于CABAC的编码算法中,上下文内容可基于相邻编码块,可用于编码指示所确定的帧内预测模式的信息,输出该视频信号的码流;而解码图像缓存单元110是用于存放重构建的视频编码块,用于预测参考。随着视频图像编码的进行,会不断生成新的重构建的视频编码块,这些重构建的视频编码块都会被存放在解码图像缓存单元110中。
参见图2B,其示出了本申请实施例提供的一种视频解码系统的组成框图示例;如图2B所示,该视频解码系统20包括解码单元201、反变换与反量化单元202、帧内预测单元203、运动补偿单元204、滤波单元205和解码图像缓存单元206等,其中,解码单元201可以实现头信息解码以及CABAC解码,滤波单元205可以实现去方块滤波以及SAO滤波。输入的视频信号经过图2A的编码处理之后,输出该视频信号的码流;该码流输入视频解码系统20中,首先经过解码单元201,用于得到解码后的变换系数;针对该变换系数通过反变换与反量化单元202进行处理,以便在像素域中产生残差块;帧内预测单元203可用于基于所确定的帧内预测模式和来自当前帧或图片的先前经解码块的数据而产生当前视频解码块的预测数据;运动补偿单元204是通过剖析运动向量和其他关联语法元素来确定用于视频解码块的预测信息,并使用该预测信息以产生正被解码的视频解码块的预测性块;通过对来自反变换与反量化单元202的残差块与由帧内预测单元203或运动补偿单元204产生的对应预测性块进行求和,而形成解码的视频块;该解码的视频信号通过滤波单元205以便去除方块效应伪影,可以改善视频质量;然后将经解码的视频块存储于解码图像缓存单元206中,解码图像缓存单元206存储用于后续帧内预测或运动补偿的参考图像,同时也用于视频信号的输出,即得到了所恢复的原始视频信号。
本申请实施例中的图像分量预测方法,主要应用在如图2A所示的帧内预测单元103部分和如图2B所示的帧内预测单元203部分。也就是说,本申请实施例中的图像分量预测方法,既可以应用于视频编码系统,也可以应用于视频解码系统,甚至还可以同时应用于视频编码系统和视频解码系统,但是本申请实施例不作具体限定。还需要说明的是,当该图像分量预测方法应用于帧内预测单元103部分时,“当前块”具体是指帧内预测中的当前待编码块;当该图像分量预测方法应用于帧内预测单元203部分时,“当前块”具体是指帧内预测中的当前待解码块。
基于图2A所示的应用场景示例,参见图3,其示出了本申请实施例提供的一种图像分量预测方法的流程示意图。如图3所示,该方法可以包括:
S301:确定当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
需要说明的是,该方法应用于编码器。视频图像可以划分为多个图像块,每个当前待编码的图像块可以称为编码块(Coding Block,CB)。这里,每个编码块可以包括第一图像分量、第二图像分量和第三图像分量;而当前块为视频图像中当前待进行第一图像分量、第二图像分量或者第三图像分量预测的待编码块。
其中,假定当前块进行第一图像分量预测,而且第一图像分量为亮度分量,即待预测图像分量为亮度分量,那么当前块也可以称为亮度块;或者,假定当前块进行第二图像分量预测,而且第二图像分量为色度分量,即待预测图像分量为色度分量,那么当前块也可以称为色度块。
还需要说明的是,预测参数指示了当前块采用的预测模式以及与该预测模式相关的参数。这里,针对预测参数的确定,可以采用简单的决策策略,比如根据失真值的大小进行确定;也可以采用复杂的决策策略,比如根据率失真优化(Rate DistortionOptimization,RDO)的结果进行确定,本申请实施例不作任何限定。通常而言,可以采用RDO方式来确定当前块的预测参数。
具体地,在一些实施例中,对于S301来说,所述确定当前块的预测参数,可以包括:
利用多种预测模式对所述当前块进行预编码处理,获得每一种预测模式对应的率失真代价值;
从所获得的多个率失真代价值中选择最小率失真代价值,将所述最小率失真代价值对应的预测模式下的预测参数确定为所述当前块的预测参数。
也就是说,在编码器侧,针对当前块可以采用多种预测模式分别对当前块进行预编码处理。这里,多种预测模式通常包括有帧间预测模式和帧内预测模式,帧内预测模式又可以包括传统帧内预测模式和非传统帧内预测模式。具体地,传统帧内预测模式可以包括有直流(Direct Current,DC)模式、平面(PLANAR)模式和角度模式等,非传统帧内预测模式可以包括有基于矩阵的帧内预测(Matrix-based Intra Prediction,MIP)模式、跨分量线性模型预测(Cross-component Linear Model Prediction,CCLM)模式、帧内块复制(IntraBlock Copy,IBC)模式和PLT(Palette)模式等,而帧间预测模式可以包括有传统帧间预测模式和帧间几何划分预测(Geometrical partitioning for inter blocks,GEO)模式等。
这样,在利用多种预测模式分别对当前块进行预编码之后,可以得到每一种预测模式对应的率失真代价值;然后从所得到的多个率失真代价值中选取最小率失真代价值,并将该最小率失真代价值对应的预测模式下的预测参数确定为当前块的预测参数。除此之外,还可以在利用多种预测模式分别对当前块进行预编码之后,得到每一种预测模式对应的失真值;然后从所得到的多个失真值中选取最小失真值,并将该最小失真值对应的预测模式下的预测参数确定为当前块的预测参数。如此,最终使用所确定的预测参数对当前块进行编码,而且在该预测模式下,可以使得预测残差较小,能够提高编码效率。
S302:当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
需要说明的是,对于当前块而言,如果当前块使用MIP模式确定当前块的帧内预测值,那么这时候需要确定当前块的MIP输入采样矩阵、当前块的MIP权重矩阵以及当前块的移位因子;其中,移位因子也可以称为移位比特数、权重移位值等,可用sW、shift或者weight shift表示。
应理解,对于MIP模式,首先需要配置MIP核心参数。这里,MIP模式可以根据当前块的宽度和高度将当前块划分为三类,用mipSizeId或者BlocksizeIdx表示当前块的种类,也即当前块的块尺寸索引值。针对不同的块尺寸索引值,参考采样的个数(每边需要boundySize个参考采样点)、矩阵乘法输入采样的个数inSize和矩阵乘法输出采样的个数(排列成predSize×predSize)是不同的。
可选地,在一些实施例中,根据当前块的大小参数,确定当前块的块尺寸索引值,可以包括:
如果当前块的宽度和高度均等于4,那么可以将当前块的块尺寸索引值设置为0;
反之,如果当前块的宽度和高度均等于8,或者当前块的宽度和高度之一等于4,那么可以将当前块的块尺寸索引值设置为1;
反之,如果当前块为其他大小的块,那么可以将当前块的块尺寸索引值设置为2。
可选地,在一些实施例中,根据当前块的大小参数,确定当前块的块尺寸索引值,可以包括:
如果当前块的宽度和高度均等于4,那么可以将当前块的块尺寸索引值设置为0;
反之,如果当前块的宽度和高度之一等于4,那么可以将当前块的块尺寸索引值设置为1;
反之,如果当前块为其他大小的块,那么可以将当前块的块尺寸索引值设置为2。
如此,根据当前块的块尺寸索引值,可以依据表1所示的查找表(Look-Up Table,LUT),能够确定出相邻边界参考采样的个数(变量为boundarySize)和MIP预测块的大小(变量为predSize,MIP预测块的大小为predSize×predSize),并计算出用于MIP矩阵乘法运算过程的输入采样的个数(用inSize表示),该计算公式如下,
inSize=(2×boundarySize)-(mipSizeId==2)?1:0 (5)
其中,式(5)中的运算符的运算规则与ITU-TH.265标准中定义的运算符相同,例如“==”为逻辑“相等(equal to)”运算符。
表1
BlocksizeIdx boundarySize predSize
0 2 4
1 4 4
2 4 8
这样,根据表1,当BlocksizeIdx的取值为0时,boundarySize的取值可以为2,predSize的取值可以为4;也就是说,这时候参考像素为每个边选取两个像素点,矩阵乘法输出为4×4的MIP预测块;或者,当BlocksizeIdx的取值为1时,boundarySize的取值可以为4,predSize的取值可以为4;也就是说,这时候参考像素为每个边选取四个像素点,矩阵乘法输出为4×4的MIP预测块;或者,当BlocksizeIdx的取值为2时,boundarySize的取值可以为4,predSize的取值可以为8;也就是说,这时候参考像素为每个边选取四个像素点,矩阵乘法输出为8×8的MIP预测块。
另外,还可以根据当前块的块尺寸索引值,依据表2所示的LUT,同时能够确定出boundarySize、inSize和predSize的取值。
表2
BlocksizeIdx boundarySize inSize predSize
0 2 4 4
1 4 8 4
2 4 7 8
这样,根据表2,当BlocksizeIdx的取值为0时,boundarySize的取值可以为2,inSize的取值可以为4,predSize的取值可以为4;也即,这时候参考像素为每个边选取两个像素点,矩阵乘法输入采样点数量为四个,矩阵乘法输出为4×4的MIP预测块;或者,当BlocksizeIdx的取值为1时,boundarySize的取值可以为4,inSize的取值可以为8,predSize的取值可以为4;也即,这时候参考像素为每个边选取四个像素点,矩阵乘法输入采样点数量为八个,矩阵乘法输出为4×4的MIP预测块;或者,当BlocksizeIdx的取值为2时,boundarySize的取值可以为4,inSize的取值可以为7,predSize的取值可以为8;也即,这时候参考像素为每个边选取四个像素点,矩阵乘法输入采样点数量为七个,矩阵乘法输出为8×8的MIP预测块。
进一步地,在配置MIP核心参数之后,还需要获取参考像素,用以构造出MIP输入采样矩阵。具体地,在一些实施例中,所述确定当前块的MIP输入采样矩阵,可以包括:
确定当前块的相邻参考采样集;其中,所述相邻参考采样集中包括至少一个参考采样值;
将所述相邻参考采样集进行缓存,构造输入参考样值集;
根据所述输入参考样值集,确定MIP输入采样矩阵。
需要说明的是,矩阵乘法输入采样(用P表示)是用于矩阵乘法过程的输入;通过与相应矩阵相乘后,可以获得矩阵乘法输出采样(用predMip表示)。其中,矩阵乘法输入采样P是由缓冲区(用pTemp表示)、当前块的块尺寸索引值(用BlocksizeIdx表示)、待预测图像分量对应的比特深度值(用BitDepth表示)确定,而矩阵乘法输入采样P中所包含的输入参考采样个数inSize则仅与当前块的块尺寸索引值有关,最终可以获取输入采样矩阵中第x输入采样值(用P[x]表示)。
这里,输入采样矩阵P[x]的具体构造过程如下,
当BlocksizeIdx=0或1时,pTemp中第零个位置的样值需要减去(1<<(BitDepth-1))作为输入采样矩阵中第零个位置的采样值,用P[0]表示;然后输入采样矩阵中其他位置的每一位置对应的采样值则需要由pTemp中对应位置的样值减去pTemp中第零个位置的值得到,可以用P[x]表示;具体如下所示,
Figure BDA0003044895810000081
当BlocksizeIdx=2时,输入采样矩阵中其他位置的每一位置对应的采样值均是由pTemp中对应位置的后一个位置的样值减去减去pTemp中第零个位置对应的样值得到;具体如下所示,
p[x]=pTemp[x+1]-pTemp[0] for x=0,...,inSize-1 (7)
这样,仍以4×4的当前块为例,缓冲区pTemp中存储有四个值,但是输入采样个数为四个,这时候根据式(3)或式(4)可以确定出四个输入采样值,用p[x]表示,x=0,1,2,3;从而得到1×4的MIP输入采样矩阵。
进一步地,在编码器中,预先建立有权重矩阵表,并且该权重矩阵表存储在编码器中。这样,根据当前块的块尺寸索引值(BlocksizeIdx)和MIP模式索引值(modeIdx),可以通过查表的方式确定出当前块所需要使用的MIP权重矩阵,用mWeight[x][y]表示。其中,MIP权重矩阵mWeight[x][y]的大小仅与当前块的块尺寸索引值有关,如表3所示;在该MIP权重矩阵中,列数为矩阵乘法输入采样的个数inSize,行数为矩阵乘法输出采样的个数predSized×predSized,从而能够确定出当前块的MIP权重矩阵。
表3
mipSizeId 列数 行数
0 4 16
1 8 16
2 7 64
进一步地,在编码器中,还预先建立有移位表,并且该移位表也存储在编码器中。目前在最近的MIP版本中,对于不同的块尺寸大小和不同的MIP模式索引序号,移位运算中的移位比特数(即移位因子)是不同的。如表4所示,根据当前块的块尺寸索引值(BlocksizeIdx)和MIP模式索引值(modeIdx,也可简称为modeId),可以通过查找表方式确定出矩阵乘法中所需要使用的移位因子。
表4
Figure BDA0003044895810000091
但是在编码器侧,表4是需要以查找表形式存储入计算机内存中;然而存储是需要代价的,而且查找过程也是需要代价的;由于表4中移位因子与当前块的块尺寸大小和MIP模式索引值均相关,从而增加了内存占用,而且还增加了计算复杂度。
为了减少内存占用和降低计算复杂度,本申请实施例针对移位因子的确定方式进行简化。具体地,在一些实施例中,当前块的移位因子可以包括常数值的移位因子和根据预测参数确定的移位因子。
在一种可能的实施方式中,移位因子可以设置为一个固定常数值。例如,针对不同的块尺寸索引值以及不同的MIP模式索引值,移位因子均可以设置为5;或者,针对不同的块尺寸索引值以及不同的MIP模式索引值,移位因子均可以设置为6;或者,针对不同的块尺寸索引值以及不同的MIP模式索引值,移位因子均可以设置为7。在本申请实施例中,优选地,常数值的移位因子的取值等于6,但对此不作任何限定。
在另一种可能的实施方式中,所述根据所述预测参数确定的移位因子,可以包括:
根据所述当前块的大小参数,确定所述当前块的块尺寸索引值;
根据所述当前块的块尺寸索引值,确定所述移位因子。
需要说明的是,根据所述当前块的大小参数,可以确定出当前块的块尺寸索引值。具体地,所述根据所述当前块的大小参数,确定所述当前块的块尺寸索引值,可以包括:
当所述当前块的宽度和高度均等于4时,将所述当前块的块尺寸索引值设置为0;
当所述当前块的宽度和高度均等于8、或者所述当前块的宽度和高度之一等于4时,将所述当前块的块尺寸索引值设置为1;
当所述当前块的宽度和高度不满足前述条件时,将所述当前块的块尺寸索引值为2。
这样,在确定出当前块的块尺寸索引值之后,可以根据当前块的块尺寸索引值,结合MIP输入采样值的数量或者MIP预测块的大小来进一步确定出移位因子。
可选地,在一些实施例中,所述根据所述当前块的块尺寸索引值,确定所述移位因子,可以包括:
将所述移位因子设置为等于所述当前块的宽度或高度与对应于所述当前块的块尺寸索引值的第一预设值之间的比值。
这里,第一预设值表示从所述当前块的边界获得的MIP输入采样值的数量。在这种情况下,该方法还可以包括:
当所述当前块的块尺寸索引值分别等于0、1和2时,确定所述当前块的块尺寸索引值对应的所述第一预设值分别等于2、4和4。
也就是说,当第一预设值表示从当前块的边界获得的MIP输入采样值的数量时,这时候如果当前块的块尺寸索引值等于0,那么对应的第一预设值等于2;如果当前块的块尺寸索引值等于1,那么对应的第一预设值等于4;如果当前块的块尺寸索引值等于2,那么对应的第一预设值等于4,从而可以根据当前块的宽度或高度与对应的第一预设值之间的比值来确定出移位因子。
可选地,在一些实施例中,所述根据所述当前块的块尺寸索引值,确定所述移位因子,可以包括:
将所述移位因子设置为等于所述当前块的宽度或高度与对应于所述当前块的块尺寸索引值的第二预设值之间的比值。
这里,第二预设值表示直接使用所述MIP权重矩阵计算获得的所述当前块的MIP预测块的大小。在这种情况下,该方法还可以包括:
当所述当前块的块尺寸索引值分别等于0、1和2时,确定所述当前块的块尺寸索引值对应的所述第二预设值分别等于4、4和8。
也就是说,当第二预设值表示直接使用MIP权重矩阵计算获得的当前块的MIP预测块的大小时,这时候如果当前块的块尺寸索引值等于0,那么对应的第二预设值等于4;如果当前块的块尺寸索引值等于1,那么对应的第二预设值等于4;如果当前块的块尺寸索引值等于2,那么对应的第二预设值等于8,从而可以根据当前块的宽度或高度与对应的第二预设值之间的比值来确定出移位因子。
在又一种可能的实施方式中,可以最小化移位表,并且仍然使用查找表的方式来确定移位因子。可选地,在一些实施例中,对于S302来说,该方法还可以包括:
根据所述当前块的大小参数,确定所述当前块的块尺寸索引值;
根据所确定的块尺寸索引值,从第一预设查找表中查询与所确定的块尺寸索引值对应的移位因子,其中,所述第一预设查找表用于记录块尺寸索引值与移位因子之间的对应取值;
将查询到的移位因子确定为所述当前块对应的移位因子。
需要说明的是,可以仅根据当前块的块尺寸索引值(用blocksizeIdx表示)来查询移位因子。如表5所示的第一预设查找表,针对每一种的块尺寸索引值,可以对应固定的移位因子,也就是说,每个块的尺寸大小或者每个块的尺寸集合可以具有如表5所示的固定移位值;这里,blocksizeIdx是对应于当前块大小或者一组块大小的块尺寸索引值。
表5
blocksizeIdx weight shift
0 5
1 6
2 6
在再一种可能的实施方式中,仍可以最小化移位表,并且仍然使用查找表的方式来确定移位因子。可选地,在一些实施例中,对于S302来说,该方法还可以包括:
在所述预测模式参数指示使用MIP模式确定当前块的帧内预测值时,确定当前块的MIP模式类型索引值;
根据所确定的MIP模式类型索引值,从第二预设查找表中查询与所确定的MIP模式类型索引值对应的移位因子,其中,所述第二预设查找表用于记录MIP模式类型索引值与移位因子之间的对应取值;
将查询到的移位因子确定为所述当前块对应的移位因子。
需要说明的是,可以仅根据当前块的MIP模式类型索引值(用ModeCategoryIdx表示)来查询移位因子。如表6所示的第二预设查找表,针对每一种的MIP模式类型索引值,可以对应固定的移位因子,也就是说,根据ModeCategoryIdx可以执行如表6所示的固定移位值;这里,ModeCategoryIdx是对应于MIP模式或者一组MIP模式的类型索引值。
表6
ModeCategoryIdx weight shift
0 5
1 6
2 7
进一步地,可以根据MIP模式索引值来推导ModeCategoryIdx。具体来讲,所述确定当前块的MIP模式类型索引值,可以包括:
确定所述当前块对应的块尺寸索引值以及使用MIP模式预测时的MIP模式索引值;
根据所述块尺寸索引值以及所述MIP模式索引值,确定所述当前块的MIP模式类型索引值。
也就是说,在得到当前块的块尺寸索引值和MIP模式索引值后,可以利用哈希(hash)方式来计算MIP模式类型索引值,或者也可以依据条件判断来确定MIP模式类型索引值。
可选地,利用哈希(hash)方式来计算MIP模式类型索引值。在一些实施例中,所述根据所述块尺寸索引值以及所述MIP模式索引值,确定所述当前块的MIP模式类型索引值,可以包括:
当所述块尺寸索引值等于0时,
利用第一预设位移值对所述MIP模式索引值进行右移处理,得到当前块的MIP模式类型索引值;
或者,当所述块尺寸索引值等于1时,
利用第一预设位移值对所述MIP模式索引值进行右移处理,得到右移处理后的值;
将所述右移处理后的值与第三预设值进行叠加处理,得到所述当前块的MIP模式类型索引值;
或者,当所述块尺寸索引值等于2时,
利用第二预设位移值对所述MIP模式索引值进行右移处理,得到当前块的MIP模式类型索引值。
需要说明的是,第一预设位移值可以为3,第二预设位移值可以为2,第三预设值可以为1。
示例性地,当块尺寸索引值(blocksizeIdx)等于0时,可以对MIP模式索引值(modeIdx)右移3,以得到MIP模式类型索引值;当块尺寸索引值(blocksizeIdx)等于1时,可以对MIP模式索引值(modeIdx)右移3后再叠加1,以得到MIP模式类型索引值;当块尺寸索引值(blocksizeIdx)等于2时,可以对MIP模式索引值(modeIdx)右移2,以得到MIP模式类型索引值。具体表示如下,
ModeCategoryIdx=ModeIdx>>3.for blocksizeIdx=0;
ModeCategoryIdx=(ModeIdx>>3)+1.for blocksizeIdx=1;
ModeCategoryIdx=ModeIdx>>2.for blocksizeIdx=2。
可选地,依据条件判断来确定MIP模式类型索引值。在一些实施例中,所述根据所述块尺寸索引值以及所述MIP模式索引值,确定所述当前块的MIP模式类型索引值,可以包括:
当所述块尺寸索引值等于0时,
若所述MIP模式索引值小于或等于第一门限值,则确定所述MIP模式类型索引值为第四预设值;
若所述MIP模式索引值大于第一门限值,则确定所述MIP模式类型索引值为第五预设值;
或者,当所述块尺寸索引值等于1时,
若所述MIP模式索引值小于或等于第二门限值,则确定所述MIP模式类型索引值为第六预设值;
若所述MIP模式索引值大于第二门限值,则确定所述MIP模式类型索引值为第七预设值;
或者,当所述块尺寸索引值等于2时,
若所述MIP模式索引值小于或等于第三门限值,则确定所述MIP模式类型索引值为第八预设值;
若所述MIP模式索引值大于第三门限值且所述MIP模式索引值小于或等于第四门限值,则确定所述MIP模式类型索引值为第九预设值;
若所述MIP模式索引值大于第四门限值,则确定所述MIP模式类型索引值为第十预设值。
需要说明的是,第一门限值可以为6,第二门限值可以为8,第三门限值可以为3,第四门限值可以为4;第四预设值可以为5,第五预设值可以为6,第六预设值可以为6,第七预设值可以为7,第八预设值可以为5,第九预设值可以为6,第十预设值为7。
示例性地,当块尺寸索引值(blocksizeIdx)等于0时,如果MIP模式索引值(modeIdx)小于或等于6,那么MIP模式类型索引值设置为5,否则MIP模式类型索引值设置为6;当块尺寸索引值(blocksizeIdx)等于1时,如果MIP模式索引值(modeIdx)小于或等于8,那么MIP模式类型索引值设置为6,否则MIP模式类型索引值设置为7;当块尺寸索引值(blocksizeIdx)等于2时,如果MIP模式索引值(modeIdx)小于或等于3,那么MIP模式类型索引值设置为5,否则如果MIP模式索引值(modeIdx)小于或等于4,那么MIP模式类型索引值设置为6,否则MIP模式类型索引值设置为7。具体表示如下,
If ModeIdx<=6,ModeCategoryIdx=5,
otherwise ModeCategoryIdx=6,for blocksizeIdx=0;
If ModeIdx<=8,ModeCategoryIdx=6,
otherwise ModeCategoryIdx=7,for blocksizeIdx=1;
If ModeIdx<=3,ModeCategoryIdx=5,
else if ModeIdx<=4,ModeCategoryIdx=6,
otherwise ModeCategoryIdx=7,for blocksizeIdx=2。
还需要说明的是,第一门限值可以为6,第二门限值可以为8,第三门限值可以为3,第四门限值可以为4;第四预设值可以为0,第五预设值可以为1,第六预设值可以为1,第七预设值可以为2,第八预设值可以为0,第九预设值可以为1,第十预设值为2。
示例性地,当块尺寸索引值(blocksizeIdx)等于0时,如果MIP模式索引值(modeIdx)小于或等于6,那么MIP模式类型索引值设置为0,否则MIP模式类型索引值设置为1;当块尺寸索引值(blocksizeIdx)等于1时,如果MIP模式索引值(modeIdx)小于或等于8,那么MIP模式类型索引值设置为1,否则MIP模式类型索引值设置为2;当块尺寸索引值(blocksizeIdx)等于2时,如果MIP模式索引值(modeIdx)小于或等于3,那么MIP模式类型索引值设置为0,否则如果MIP模式索引值(modeIdx)小于或等于4,那么MIP模式类型索引值设置为1,否则MIP模式类型索引值设置为2。具体表示如下,
If ModeIdx<=6,ModeCategoryIdx=0,
otherwise ModeCategoryIdx=1,for blocksizeIdx=0;
If ModeIdx<=8,ModeCategoryIdx=1,
otherwise ModeCategoryIdx=2,for blocksizeIdx=1;
If ModeIdx<=3,ModeCategoryIdx=0,
else if ModeIdx<=4,ModeCategoryIdx=1,
otherwise ModeCategoryIdx=2,for blocksizeIdx=2。
在上述的实施方式中,通过简化移位因子的确定方式,尤其是最小化移位表,可以实现最小化查找表的存储,从而能够在不增加计算复杂度的情况下,减小MIP模式下移位表存储所占用的内存。
这样,在MIP模式下,可以得到MIP输入采样矩阵、MIP权重矩阵以及移位因子,以便后续确定当前块的帧内预测值。
S303:根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。
需要说明的是,在得到MIP输入采样矩阵、MIP权重矩阵和移位因子之后,可以先确定当前块的MIP预测块,然后再确定当前块的帧内预测值。具体地,在一些实施例中,对于S303来说,所述根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值,可以包括:
利用预设计算模型对所述MIP输入采样矩阵、所述MIP权重矩阵和所述移位因子进行矩阵乘法处理,得到所述当前块的MIP预测块;
对所述MIP预测块进行滤波处理,获得所述当前块的帧内预测值;其中,所述MIP预测块包含所述当前块中至少部分像素位置的预测值。
也就是说,在得到MIP输入采样矩阵、MIP权重矩阵和移位因子之后,可以利用预设计算模型首先确定当前块的MIP预测块,其中,MIP预测块包含当前块中至少部分像素位置的预测值。
具体地,在MIP模式下,可根据当前块的块尺寸索引值(用blocksizeIdx表示)和MIP模式索引值(用modeIdx表示)来确定出MIP权重矩阵(用mWeight表示)、移位因子(用sW表示)以及偏移因子(用fO表示);然后将MIP输入采样矩阵(用P[x]表示)、mWeight、sW以及fO输入矩阵乘法的过程,以获得矩阵乘法输出的MIP预测块(可以用predMip[x][y]表示),并且将predMip[x][y]中的采样点按照predSize×predSize排列成矩阵形式。其中,预设计算模型如下,
Figure BDA0003044895810000131
其中,[x][y]表示像素点的位置坐标,x表示水平方向,y表示垂直方向;inSize表示输入采样个数,predSize表示MIP预测块predMip的边长。这里,predSize仅与当前块种类mipSizeId有关;当mipSizeId=0或1时,所输出的MIP预测块为4×4,那么predSize等于4;当mipSizeId=2时,所输出的MIP预测块为8×8,那么predSize等于8。如此,根据上述式(8),可以计算出MIP预测块predMip中至少一个像素的临时预测值,以得到MIP预测块。
进一步地,还需要对MIP预测块中的预测采样值进行嵌位处理,以获得当前块的MIP预测块;然后判断是否对该MIP预测块进行转置处理;如果判断结果为是,那么还需要对该MIP预测块中的预测采样值进行转置处理,将转置后的MIP预测块确定为当前块的MIP预测块;如果判断结果为否,那么不需要对该MIP预测块中的预测采样值进行转置处理,可以直接将该MIP预测块确定为当前块的MIP预测块。
进一步地,在一些实施例中,所述对所述MIP预测块进行滤波处理,获得所述当前块的帧内预测值,可以包括:
判断MIP预测块的尺寸与当前块的尺寸是否相同;
当所述MIP预测块的尺寸与所述当前块的尺寸相同时,将所述当前块的帧内预测块设置为等于所述MIP预测块;其中,所述MIP预测块中包含所述当前块中全部像素位置的预测采样值;
当所述MIP预测块的尺寸与所述当前块的尺寸不相同时,对所述MIP预测块进行滤波处理,得到滤波预测块,将所述滤波预测块设置为所述当前块的帧内预测块。
这里,滤波处理可以包括上采样滤波处理或低通滤波处理。
应理解,在得到MIP预测块之后,由于MIP预测块的尺寸只包括有两种:4×4的MIP预测块和8×8的MIP预测块;这样,当前块的尺寸与MIP预测块的尺寸可能相同,也可能不相同;也就是说,MIP预测块对应的采样值不一定能够填满当前块,使得最终预测值的生成可能需要对MIP预测块进行上采样操作,即通过判断MIP预测块的尺寸与当前块的尺寸是否相同,以确定是否对MIP预测块进行上采样处理。
需要说明的是,当MIP预测块的尺寸与当前块的尺寸相同时,即MIP预测块的宽度和高度均与当前块相同,表明了不需要对MIP预测块进行上采样处理,这时候可以将MIP预测块直接填充进当前块中,即填充后的当前块内没有空余的像素点,此时当前块中每一像素的帧内预测值可以直接置为MIP预测块中每一像素的预测值,如下所示,
predSamples[x][y]=predMip[x][y] (9)
其中,[x][y]表示像素点的位置坐标,x表示水平方向,y表示垂直方向;predSamples[x][y]表示当前块中位置坐标[x][y]的像素点所对应的帧内预测值,predMip[x][y]表示MIP预测块中位置坐标[x][y]的像素点所对应的预测值。如此,根据式(9),可以将MIP预测块predMip[x][y]直接作为当前块的帧预测块predSamples[x][y]。
还需要说明的是,当MIP预测块的尺寸与当前块的尺寸不相同时,即MIP预测块的宽度和高度中至少之一与当前块不相同,这时候MIP预测块不能够填满当前块,即填充后的当前块内存在有空余的像素点,表明了这时候需要对MIP预测块进行滤波处理。也就是说,如果在水平方向和垂直方向上都需要进行上采样处理,那么可以先对MIP预测块进行水平方向上采样后再进行垂直方向上采样,以得到第一上采样块,可以用predSamples[x][y]表示;然后对MIP预测块进行垂直方向上采样后再进行水平方向上采样,以得到第二上采样块,可以用predSamplesTemp[x][y]表示;最后将predSamples[x][y]和predSamplesTemp[x][y]进行加权均值计算,最终得到当前块的帧内预测块。
示例性地,如果当前块的边长nTbS(这里,S可分别被W和H替代)均等于predMip的边长predSize(这里,predSize仅与当前块的blocksizeIdx有关)时,这时候可以直接将MIP预测块置为当前块的帧内预测块;否则,将需要对MIP预测块进行滤波处理,以得到当前块的帧内预测块。其中,帧内预测块的生成过程可以参见图4所示,仍以4×4的当前块为例,在图4中,由于当前块与MIP预测块的尺寸相同,这时候是不需要对MIP预测块进行滤波处理,可以将MIP预测块直接置为当前块的帧内预测块,从而能够得到当前块内至少一个像素的帧内预测值。
本实施例提供了一种图像分量预测方法,应用于编码器。通过确定当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。这样,可以简化移位因子的确定方式,而且在使用查找表确定移位因子时,还可以在降低计算复杂度的情况下,同时减小查找表存储所占用的内存,以达到提高编码效率的目的。
基于图2B所示的应用场景示例,参见图5,其示出了本申请实施例提供的另一种图像分量预测方法的流程示意图。如图5所示,该方法可以包括:
S501:解析码流,获取当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
需要说明的是,该方法应用于解码器。视频图像可以划分为多个图像块,每个当前待解码的图像块可以称为解码块。这里,每个解码块可以包括第一图像分量、第二图像分量和第三图像分量;而当前块为视频图像中当前待进行第一图像分量、第二图像分量或者第三图像分量预测的待解码块。
还需要说明的是,预测参数用于指示当前块采用的预测模式以及与该预测模式相关的参数。其中,预测模式通常包括有帧间预测模式、传统帧内预测模式和非传统帧内预测模式等,而非传统帧内预测模式又包括有MIP模式、CCLM模式、IBC模式和PLT模式等。也就是说,编码器会选取最优的预测模式对当前块进行预编码,在这过程中就可以确定出当前块的预测模式,从而将该预测模式下的预测参数写入码流,由编码器传输到解码器。
这样,在解码器侧,通过解析码流可以获取到当前块的预测参数,而根据解析获取的预测参数内所包含的预测模式参数可以用来确定当前块是否使用MIP模式。
S502:当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
需要说明的是,对于当前块而言,如果当前块使用MIP模式确定当前块的帧内预测值,那么这时候需要确定当前块的MIP输入采样矩阵、当前块的MIP权重矩阵以及当前块的移位因子;其中,移位因子也可以称为移位比特数、权重移位值等,可用sW、shift或者weight shift表示。
在一些实施例中,所述当前块的移位因子可以包括常数值的移位因子和根据所述预测参数确定的移位因子。
在一种可能的实施方式中,移位因子可以设置为一个固定常数值。在本申请实施例中,优选地,常数值的移位因子的取值等于6,但对此不作任何限定。
在另一种可能的实施方式中,所述根据所述预测参数确定的移位因子,可以包括:
根据所述当前块的大小参数,确定所述当前块的块尺寸索引值;
根据所述当前块的块尺寸索引值,确定所述移位因子。
需要说明的是,根据所述当前块的大小参数,可以确定出当前块的块尺寸索引值(用mipSizeId或者blocksizeIdx表示)。具体地,所述根据所述当前块的大小参数,确定所述当前块的块尺寸索引值,可以包括:
当所述当前块的宽度和高度均等于4时,将所述当前块的块尺寸索引值设置为0;
当所述当前块的宽度和高度均等于8、或者所述当前块的宽度和高度之一等于4时,将所述当前块的块尺寸索引值设置为1;
当所述当前块的宽度和高度不满足前述条件时,将所述当前块的块尺寸索引值为2。
这样,在确定出当前块的块尺寸索引值之后,可以根据当前块的块尺寸索引值,结合MIP输入采样值的数量或者MIP预测块的大小来进一步确定出移位因子。
可选地,在一些实施例中,所述根据所述当前块的块尺寸索引值,确定所述移位因子,可以包括:
将所述移位因子设置为等于所述当前块的宽度或高度与对应于所述当前块的块尺寸索引值的第一预设值之间的比值。
这里,第一预设值表示从所述当前块的边界获得的MIP输入采样值的数量。在这种情况下,该方法还可以包括:
当所述当前块的块尺寸索引值分别等于0、1和2时,确定所述当前块的块尺寸索引值对应的所述第一预设值分别等于2、4和4。
也就是说,当第一预设值表示从当前块的边界获得的MIP输入采样值的数量时,这时候如果当前块的块尺寸索引值等于0,那么对应的第一预设值等于2;如果当前块的块尺寸索引值等于1,那么对应的第一预设值等于4;如果当前块的块尺寸索引值等于2,那么对应的第一预设值等于4,从而可以根据当前块的宽度或高度与对应的第一预设值之间的比值来确定出移位因子。
可选地,在一些实施例中,所述根据所述当前块的块尺寸索引值,确定所述移位因子,可以包括:
将所述移位因子设置为等于所述当前块的宽度或高度与对应于所述当前块的块尺寸索引值的第二预设值之间的比值。
这里,第二预设值表示直接使用所述MIP权重矩阵计算获得的所述当前块的MIP预测块的大小。在这种情况下,该方法还可以包括:
当所述当前块的块尺寸索引值分别等于0、1和2时,确定所述当前块的块尺寸索引值对应的所述第二预设值分别等于4、4和8。
也就是说,当第二预设值表示直接使用MIP权重矩阵计算获得的当前块的MIP预测块的大小时,这时候如果当前块的块尺寸索引值等于0,那么对应的第二预设值等于4;如果当前块的块尺寸索引值等于1,那么对应的第二预设值等于4;如果当前块的块尺寸索引值等于2,那么对应的第二预设值等于8,从而可以根据当前块的宽度或高度与对应的第二预设值之间的比值来确定出移位因子。
在又一种可能的实施方式中,可以最小化移位表,并且仍然使用查找表的方式来确定移位因子。可选地,在一些实施例中,对于S502来说,所述方法还包括:
根据所述当前块的大小参数,确定所述当前块的块尺寸索引值;
根据所确定的块尺寸索引值,从第一预设查找表中查询与所确定的块尺寸索引值对应的移位因子,其中,所述第一预设查找表用于记录块尺寸索引值与移位因子之间的对应取值;
将查询到的移位因子确定为所述当前块对应的移位因子。
需要说明的是,在解码器中,同样预先建立有移位表(比如第一预设查找表或者第二预设查找表),并且该移位表也存储在解码器中。这样,当仅根据当前块的块尺寸索引值来查询移位因子时,可以使用如表5所示的第一预设查找表。在表5中,针对每一种的块尺寸索引值,可以对应固定的移位因子,也就是说,每个块的尺寸大小或者每个块的尺寸集合可以具有如表5所示的固定移位值。
在再一种可能的实施方式中,仍可以最小化移位表,并且仍然使用查找表的方式来确定移位因子。可选地,在一些实施例中,对于S502来说,该方法还可以包括:
在所述预测模式参数指示使用MIP模式确定当前块的帧内预测值时,确定当前块的MIP模式类型索引值;
根据所确定的MIP模式类型索引值,从第二预设查找表中查询与所确定的MIP模式类型索引值对应的移位因子,其中,所述第二预设查找表用于记录MIP模式类型索引值与移位因子之间的对应取值;
将查询到的移位因子确定为所述当前块对应的移位因子。
需要说明的是,当仅根据当前块的MIP模式类型索引值(用ModeCategoryIdx表示)来查询移位因子时,可以使用如表6所示的第二预设查找表。在表6中,针对每一种的MIP模式类型索引值,可以对应固定的移位因子,也就是说,根据ModeCategoryIdx可以执行如表6所示的固定移位值。
进一步地,可以根据MIP模式索引值来推导ModeCategoryIdx。具体来讲,所述确定当前块的MIP模式类型索引值,可以包括:
根据所述预测参数,确定所述当前块对应的块尺寸索引值以及使用MIP模式预测时的MIP模式索引值;
根据所述块尺寸索引值以及所述MIP模式索引值,确定所述当前块的MIP模式类型索引值。
也就是说,在得到当前块的块尺寸索引值和MIP模式索引值后,可以利用哈希(hash)方式来计算MIP模式类型索引值,或者也可以依据条件判断来确定MIP模式类型索引值。
可选地,利用哈希(hash)方式来计算MIP模式类型索引值。在一些实施例中,所述根据所述块尺寸索引值以及所述MIP模式索引值,确定所述当前块的MIP模式类型索引值,包括:
当所述块尺寸索引值等于0时,
利用第一预设位移值对所述MIP模式索引值进行右移处理,得到当前块的MIP模式类型索引值;
或者,当所述块尺寸索引值等于1时,
利用第一预设位移值对所述MIP模式索引值进行右移处理,得到右移处理后的值;
将所述右移处理后的值与第三预设值进行叠加处理,得到所述当前块的MIP模式类型索引值;
或者,当所述块尺寸索引值等于2时,
利用第二预设位移值对所述MIP模式索引值进行右移处理,得到当前块的MIP模式类型索引值。
示例性地,第一预设位移值可以为3,第二预设位移值可以为2,第三预设值可以为1;具体表示如下,
ModeCategoryIdx=ModeIdx>>3.for blocksizeIdx=0;
ModeCategoryIdx=(ModeIdx>>3)+1.for blocksizeIdx=1;
ModeCategoryIdx=ModeIdx>>2.for blocksizeIdx=2。
可选地,依据条件判断来确定MIP模式类型索引值。在一些实施例中,所述根据所述块尺寸索引值以及所述MIP模式索引值,确定所述当前块的MIP模式类型索引值,包括:
当所述块尺寸索引值等于0时,
若所述MIP模式索引值小于或等于第一门限值,则确定所述MIP模式类型索引值为第四预设值;
若所述MIP模式索引值大于第一门限值,则确定所述MIP模式类型索引值为第五预设值;
或者,当所述块尺寸索引值等于1时,
若所述MIP模式索引值小于或等于第二门限值,则确定所述MIP模式类型索引值为第六预设值;
若所述MIP模式索引值大于第二门限值,则确定所述MIP模式类型索引值为第七预设值;
或者,当所述块尺寸索引值等于2时,
若所述MIP模式索引值小于或等于第三门限值,则确定所述MIP模式类型索引值为第八预设值;
若所述MIP模式索引值大于第三门限值且所述MIP模式索引值小于或等于第四门限值,则确定所述MIP模式类型索引值为第九预设值;
若所述MIP模式索引值大于第四门限值,则确定所述MIP模式类型索引值为第十预设值。
示例性地,第一门限值可以为6,第二门限值可以为8,第三门限值可以为3,第四门限值可以为4。
当第四预设值可以为5,第五预设值可以为6,第六预设值可以为6,第七预设值可以为7,第八预设值可以为5,第九预设值可以为6,第十预设值为7时,具体表示如下,
If ModeIdx<=6,ModeCategoryIdx=5,
otherwise ModeCategoryIdx=6,for blocksizeIdx=0;
If ModeIdx<=8,ModeCategoryIdx=6,
otherwise ModeCategoryIdx=7,for blocksizeIdx=1;
If ModeIdx<=3,ModeCategoryIdx=5,
else if ModeIdx<=4,ModeCategoryIdx=6,
otherwise ModeCategoryIdx=7,for blocksizeIdx=2。
或者,当第四预设值可以为0,第五预设值可以为1,第六预设值可以为1,第七预设值可以为2,第八预设值可以为0,第九预设值可以为1,第十预设值为2时,具体表示如下,IfModeIdx<=6,ModeCategoryIdx=0,
otherwise ModeCategoryIdx=1,for blocksizeIdx=0;
If ModeIdx<=8,ModeCategoryIdx=1,
otherwise ModeCategoryIdx=2,for blocksizeIdx=1;
If ModeIdx<=3,ModeCategoryIdx=0,
else if ModeIdx<=4,ModeCategoryIdx=1,
otherwise ModeCategoryIdx=2,for blocksizeIdx=2。
在上述的实施方式中,通过简化移位因子的确定方式,尤其是最小化移位表,可以实现最小化查找表的存储,从而能够在不增加计算复杂度的情况下,减小MIP模式下移位表存储所占用的内存。
这样,在MIP模式下,还可以得到MIP输入采样矩阵以及MIP权重矩阵,以便后续确定当前块的帧内预测值。
S503:根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。
需要说明的是,在得到MIP输入采样矩阵、MIP权重矩阵和移位因子之后,可以先确定当前块的MIP预测块,然后再确定当前块的帧内预测值。具体地,在一些实施例中,对于S503来说,所述根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值,可以包括:
利用预设计算模型对所述MIP输入采样矩阵、所述MIP权重矩阵和所述移位因子进行矩阵乘法处理,得到所述当前块的MIP预测块;
对所述MIP预测块进行滤波处理,获得所述当前块的帧内预测值;其中,所述MIP预测块包含所述当前块中至少部分像素位置的预测值。
也就是说,在得到MIP输入采样矩阵、MIP权重矩阵和移位因子之后,可以首先确定当前块的MIP预测块;然后根据得到的MIP预测块,还可以通过判断MIP预测块的尺寸与当前块的尺寸是否相同,以便进一步确定出当前块的帧内预测值。具体地,可以根据判断结果,当所述MIP预测块的尺寸与所述当前块的尺寸相同时,将所述当前块的帧内预测块设置为等于所述MIP预测块;这时候所述MIP预测块中包含所述当前块中全部像素位置的预测采样值;当所述MIP预测块的尺寸与所述当前块的尺寸不相同时,对所述MIP预测块进行滤波处理,得到滤波预测块,将所述滤波预测块设置为所述当前块的帧内预测块。这里,滤波处理可以包括上采样滤波处理或低通滤波处理。
本实施例提供了一种图像分量预测方法,应用于解码器。通过解析码流,获取当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。这样,可以简化移位因子的确定方式,而且在使用查找表确定移位因子时,还可以在降低计算复杂度的情况下,同时减小查找表存储所占用的内存,以达到提高解码效率的目的。
基于前述实施例相同的发明构思,参见图6,其示出了本申请实施例提供的一种编码器60的组成结构示意图。如图6所示,该编码器60可以包括:第一确定单元601和第一预测单元602;其中,
第一确定单元601,配置为确定当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
第一确定单元601,还配置为当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
第一预测单元602,配置为根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。
在一些实施例中,所述当前块的移位因子包括常数值的移位因子和根据所述预测参数确定的移位因子。
在一些实施例中,所述常数值的移位因子的取值等于6。
在一些实施例中,第一确定单元601,还配置为根据所述当前块的大小参数,确定所述当前块的块尺寸索引值;根据所述当前块的块尺寸索引值,确定所述移位因子。
在一些实施例中,参见图7,编码器60还可以包括第一设置单元603,配置为当所述当前块的宽度和高度均等于4时,将所述当前块的块尺寸索引值设置为0;当所述当前块的宽度和高度均等于8、或者所述当前块的宽度和高度之一等于4时,将所述当前块的块尺寸索引值设置为1;当所述当前块的宽度和高度不满足前述条件时,将所述当前块的块尺寸索引值为2。
在一些实施例中,第一设置单元603,还配置为将所述移位因子设置为等于所述当前块的宽度或高度与对应于所述当前块的块尺寸索引值的第一预设值之间的比值。
在一些实施例中,所述第一预设值表示从所述当前块的边界获得的MIP输入采样值的数量。
在一些实施例中,第一确定单元601,还配置为当所述当前块的块尺寸索引值分别等于0、1和2时,确定所述当前块的块尺寸索引值对应的所述第一预设值分别等于2、4和4。
在一些实施例中,第一设置单元603,还配置为将所述移位因子设置为等于所述当前块的宽度或高度与对应于所述当前块的块尺寸索引值的第二预设值之间的比值。
在一些实施例中,所述第二预设值表示直接使用所述MIP权重矩阵计算获得的所述当前块的MIP预测块的大小。
在一些实施例中,第一确定单元601,还配置为当所述当前块的块尺寸索引值分别等于0、1和2时,确定所述当前块的块尺寸索引值对应的所述第二预设值分别等于4、4和8。
在一些实施例中,参见图7,编码器60还可以包括第一查询单元604;其中,
第一确定单元601,还配置为根据所述当前块的大小参数,确定所述当前块的块尺寸索引值;
第一查询单元604,配置为根据所确定的块尺寸索引值,从第一预设查找表中查询与所确定的块尺寸索引值对应的移位因子,其中,所述第一预设查找表用于记录块尺寸索引值与移位因子之间的对应取值;将查询到的移位因子确定为所述当前块对应的移位因子。
在一些实施例中,第一确定单元601,还配置为在所述预测模式参数指示使用MIP模式确定当前块的帧内预测值时,确定当前块的MIP模式类型索引值;
第一查询单元604,还配置为根据所确定的MIP模式类型索引值,从第二预设查找表中查询与所确定的MIP模式类型索引值对应的移位因子,其中,所述第二预设查找表用于记录MIP模式类型索引值与移位因子之间的对应取值;将查询到的移位因子确定为所述当前块对应的移位因子。
在一些实施例中,第一确定单元601,具体配置为确定所述当前块对应的块尺寸索引值以及使用MIP模式预测时的MIP模式索引值;以及根据所述块尺寸索引值以及所述MIP模式索引值,确定所述当前块的MIP模式类型索引值。
在一些实施例中,参见图7,编码器60还可以包括第一计算单元605,配置为当所述块尺寸索引值等于0时,利用第一预设位移值对所述MIP模式索引值进行右移处理,得到所述当前块的MIP模式类型索引值;或者,配置为当所述块尺寸索引值等于1时,利用第一预设位移值对所述MIP模式索引值进行右移处理,得到右移处理后的值;将所述右移处理后的值与第三预设值进行叠加处理,得到所述当前块的MIP模式类型索引值;或者,配置为当所述块尺寸索引值等于2时,利用第二预设位移值对所述MIP模式索引值进行右移处理,得到所述当前块的MIP模式类型索引值。
在一些实施例中,参见图7,编码器60还可以包括第一判断单元606,配置为当所述块尺寸索引值等于0时,若所述MIP模式索引值小于或等于第一门限值,则确定所述MIP模式类型索引值为第四预设值;若所述MIP模式索引值大于第一门限值,则确定所述MIP模式类型索引值为第五预设值;或者,配置为当所述块尺寸索引值等于1时,若所述MIP模式索引值小于或等于第二门限值,则确定所述MIP模式类型索引值为第六预设值;若所述MIP模式索引值大于第二门限值,则确定所述MIP模式类型索引值为第七预设值;或者,配置为当所述块尺寸索引值等于2时,若所述MIP模式索引值小于或等于第三门限值,则确定所述MIP模式类型索引值为第八预设值;若所述MIP模式索引值大于第三门限值且所述MIP模式索引值小于或等于第四门限值,则确定所述MIP模式类型索引值为第九预设值;若所述MIP模式索引值大于第四门限值,则确定所述MIP模式类型索引值为第十预设值。
在一些实施例中,参见图7,编码器60还可以包括预编码单元607,配置为利用多种预测模式对所述当前块进行预编码处理,获得每一种预测模式对应的率失真代价值;从所获得的多个率失真代价值中选择最小率失真代价值,将所述最小率失真代价值对应的预测模式下的预测参数确定为所述当前块的预测参数。
在一些实施例中,第一计算单元605,还配置为利用预设计算模型对所述MIP输入采样矩阵、所述MIP权重矩阵和所述移位因子进行矩阵乘法处理,得到所述当前块的MIP预测块;
第一预测单元602,具体配置为对所述MIP预测块进行滤波处理,获得所述当前块的帧内预测值;其中,所述MIP预测块包含所述当前块中至少部分像素位置的预测值。
可以理解地,在本申请实施例中,“单元”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是模块,还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
因此,本申请实施例提供了一种计算机存储介质,应用于编码器60,该计算机存储介质存储有计算机程序,所述计算机程序被第一处理器执行时实现前述实施例中任一项所述的方法。
基于上述编码器60的组成以及计算机存储介质,参见图8,其示出了本申请实施例提供的编码器60的具体硬件结构示例,可以包括:第一通信接口801、第一存储器802和第一处理器803;各个组件通过第一总线系统804耦合在一起。可理解,第一总线系统804用于实现这些组件之间的连接通信。第一总线系统804除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图8中将各种总线都标为第一总线系统804。其中,
第一通信接口801,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;
第一存储器802,用于存储能够在第一处理器803上运行的计算机程序;
第一处理器803,用于在运行所述计算机程序时,执行:
确定当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。
可以理解,本申请实施例中的第一存储器802可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请描述的系统和方法的第一存储器802旨在包括但不限于这些和任意其它适合类型的存储器。
而第一处理器803可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过第一处理器803中的硬件的集成逻辑电路或者软件形式的指令完成。上述的第一处理器803可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于第一存储器802,第一处理器803读取第一存储器802中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本申请描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits,ASIC)、数字信号处理器(Digital SignalProcessing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(ProgrammableLogic Device,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。对于软件实现,可通过执行本申请所述功能的模块(例如过程、函数等)来实现本申请所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地,作为另一个实施例,第一处理器803还配置为在运行所述计算机程序时,执行前述实施例中任一项所述的方法。
本实施例提供了一种编码器,该编码器可以包括第一确定单元和第一预测单元;其中,第一确定单元配置为确定当前块的预测参数,所述预测参数包括预测模式参数和所述当前块的大小参数;以及还配置为当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;第一预测单元配置为根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。这样,可以简化移位因子的确定方式,而且在使用查找表确定移位因子时,还可以在降低计算复杂度的情况下,同时减小查找表存储所占用的内存,以达到提高编解码效率的目的。
基于前述实施例相同的发明构思,参见图9,其示出了本申请实施例提供的一种解码器90的组成结构示意图。如图9所示,该解码器90可以包括:解析单元901、第二确定单元902和第二预测单元903;其中,
解析单元901,配置为解析码流,获取当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
第二确定单元902,配置为当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
第二预测单元903,配置为根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。
在一些实施例中,所述当前块的移位因子包括常数值的移位因子和根据所述预测参数确定的移位因子。
在一些实施例中,所述常数值的移位因子的取值等于6。
在一些实施例中,第二确定单元902,还配置为根据所述当前块的大小参数,确定所述当前块的块尺寸索引值;根据所述当前块的块尺寸索引值,确定所述移位因子。
在一些实施例中,参见图10,解码器90还可以包括第二设置单元904,配置为当所述当前块的宽度和高度均等于4时,将所述当前块的块尺寸索引值设置为0;当所述当前块的宽度和高度均等于8、或者所述当前块的宽度和高度之一等于4时,将所述当前块的块尺寸索引值设置为1;当所述当前块的宽度和高度不满足前述条件时,将所述当前块的块尺寸索引值为2。
在一些实施例中,第二设置单元904,还配置为将所述移位因子设置为等于所述当前块的宽度或高度与对应于所述当前块的块尺寸索引值的第一预设值之间的比值。
在一些实施例中,所述第一预设值表示从所述当前块的边界获得的MIP输入采样值的数量。
在一些实施例中,第二确定单元902,还配置为当所述当前块的块尺寸索引值分别等于0、1和2时,确定所述当前块的块尺寸索引值对应的所述第一预设值分别等于2、4和4。
在一些实施例中,第二设置单元904,还配置为将所述移位因子设置为等于所述当前块的宽度或高度与对应于所述当前块的块尺寸索引值的第二预设值之间的比值。
在一些实施例中,所述第二预设值表示直接使用所述MIP权重矩阵计算获得的所述当前块的MIP预测块的大小。
在一些实施例中,第二确定单元902,还配置为当所述当前块的块尺寸索引值分别等于0、1和2时,确定所述当前块的块尺寸索引值对应的所述第二预设值分别等于4、4和8。
在一些实施例中,参见图10,解码器90还可以包括第二查询单元905;其中,
第二确定单元902,还配置为根据所述当前块的大小参数,确定所述当前块的块尺寸索引值;
第二查询单元905,配置为根据所确定的块尺寸索引值,从第一预设查找表中查询与所确定的块尺寸索引值对应的移位因子,其中,所述第一预设查找表用于记录块尺寸索引值与移位因子之间的对应取值;将查询到的移位因子确定为所述当前块对应的移位因子。
在一些实施例中,第二确定单元902,还配置为在所述预测模式参数指示使用MIP模式确定当前块的帧内预测值时,确定当前块的MIP模式类型索引值;
第二查询单元905,还配置为根据所确定的MIP模式类型索引值,从第二预设查找表中查询与所确定的MIP模式类型索引值对应的移位因子,其中,所述第二预设查找表用于记录MIP模式类型索引值与移位因子之间的对应取值;将查询到的移位因子确定为所述当前块对应的移位因子。
在一些实施例中,第二确定单元902,具体配置为根据所述预测参数,确定所述当前块对应的块尺寸索引值以及使用MIP模式预测时的MIP模式索引值;以及根据所述块尺寸索引值以及所述MIP模式索引值,确定所述当前块的MIP模式类型索引值。
在一些实施例中,参见图10,解码器90还可以包括第二计算单元906,配置为当所述块尺寸索引值等于0时,利用第一预设位移值对所述MIP模式索引值进行右移处理,得到所述当前块的MIP模式类型索引值;或者,配置为当所述块尺寸索引值等于1时,利用第一预设位移值对所述MIP模式索引值进行右移处理,得到右移处理后的值;将所述右移处理后的值与第三预设值进行叠加处理,得到所述当前块的MIP模式类型索引值;或者,配置为当所述块尺寸索引值等于2时,利用第二预设位移值对所述MIP模式索引值进行右移处理,得到所述当前块的MIP模式类型索引值。
在一些实施例中,参见图10,解码器90还可以包括第二判断单元907,配置为当所述块尺寸索引值等于0时,若所述MIP模式索引值小于或等于第一门限值,则确定所述MIP模式类型索引值为第四预设值;若所述MIP模式索引值大于第一门限值,则确定所述MIP模式类型索引值为第五预设值;或者,配置为当所述块尺寸索引值等于1时,若所述MIP模式索引值小于或等于第二门限值,则确定所述MIP模式类型索引值为第六预设值;若所述MIP模式索引值大于第二门限值,则确定所述MIP模式类型索引值为第七预设值;或者,配置为当所述块尺寸索引值等于2时,若所述MIP模式索引值小于或等于第三门限值,则确定所述MIP模式类型索引值为第八预设值;若所述MIP模式索引值大于第三门限值且所述MIP模式索引值小于或等于第四门限值,则确定所述MIP模式类型索引值为第九预设值;若所述MIP模式索引值大于第四门限值,则确定所述MIP模式类型索引值为第十预设值。
在一些实施例中,第二计算单元906,还配置为利用预设计算模型对所述MIP输入采样矩阵、所述MIP权重矩阵和所述移位因子进行矩阵乘法处理,得到所述当前块的MIP预测块;
第二预测单元903,具体配置为对所述MIP预测块进行滤波处理,获得所述当前块的帧内预测值;其中,所述MIP预测块包含所述当前块中至少部分像素位置的预测值。
可以理解地,在本实施例中,“单元”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是模块,还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本实施例提供了一种计算机存储介质,应用于解码器90,该计算机存储介质存储有计算机程序,所述计算机程序被第二处理器执行时实现前述实施例中任一项所述的方法。
基于上述解码器90的组成以及计算机存储介质,参见图11,其示出了本申请实施例提供的解码器90的具体硬件结构示例,可以包括:第二通信接口1101、第二存储器1102和第二处理器1103;各个组件通过第二总线系统1104耦合在一起。可理解,第二总线系统1104用于实现这些组件之间的连接通信。第二总线系统1104除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图11中将各种总线都标为第二总线系统1104。其中,
第二通信接口1101,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;
第二存储器1102,用于存储能够在第二处理器1103上运行的计算机程序;
第二处理器1103,用于在运行所述计算机程序时,执行:
解析码流,获取当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。
可选地,作为另一个实施例,第二处理器1103还配置为在运行所述计算机程序时,执行前述实施例中任一项所述的方法。
可以理解,第二存储器1102与第一存储器802的硬件功能类似,第二处理器1103与第一处理器803的硬件功能类似;这里不再详述。
本实施例提供了一种解码器,该解码器可以包括解析单元、第二确定单元和第二预测单元;其中,解析单元配置为解析码流,获取当前块的预测参数,所述预测参数包括预测模式参数和所述当前块的大小参数;第二确定单元配置为当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;第二预测单元配置为根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值。这样,可以简化移位因子的确定方式,而且在使用查找表确定移位因子时,还可以在降低计算复杂度的情况下,同时减小查找表存储所占用的内存,以达到提高编解码效率的目的。
需要说明的是,在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
工业实用性
本申请实施例中,应用于编码器或解码器。在获得当前块的预测参数后,当预测参数中的预测模式参数指示使用MIP模式确定当前块的帧内预测值时,可以确定当前块的MIP权重矩阵、当前块的移位因子和当前块的MIP输入采样矩阵;然后根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定当前块的帧内预测值。这样,无论是解码器侧还是编码器侧,均可以简化移位因子的确定方式,而且在使用查找表确定移位因子时,还可以在降低计算复杂度的情况下,同时减小查找表存储所占用的内存,以达到提高编解码效率的目的。

Claims (15)

1.一种图像分量预测方法,应用于编码器,其特征在于,所述方法包括:
确定当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值;其中,所述当前块的移位因子包括常数值的移位因子;
其中,所述当前块的MIP权重矩阵至少根据当前块的块尺寸索引值确定,并且所述当前块的块尺寸索引值根据所述当前块的大小参数确定;
其中,所述根据所述当前块的大小参数,确定所述当前块的块尺寸索引值,包括:
当所述当前块的宽度和高度均等于4时,将所述当前块的块尺寸索引值设置为0;
当所述当前块的宽度和高度均等于8或者所述当前块的宽度和高度之一等于4时,将所述当前块的块尺寸索引值设置为1;
当所述当前块的宽度和高度不满足前述条件时,将所述当前块的块尺寸索引值设置为2。
2.根据权利要求1所述的方法,其特征在于,所述常数值的移位因子的取值等于6。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值,包括:
利用预设计算模型对所述MIP输入采样矩阵、所述MIP权重矩阵和所述移位因子进行矩阵乘法处理,得到所述当前块的MIP预测块;
对所述MIP预测块进行滤波处理,获得所述当前块的帧内预测值;其中,所述MIP预测块包含所述当前块中至少部分像素位置的预测值。
4.一种图像分量预测方法,应用于解码器,其特征在于,所述方法包括:
解析码流,获取当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值;其中,所述当前块的移位因子包括常数值的移位因子;
其中,所述当前块的MIP权重矩阵至少根据当前块的块尺寸索引值确定,并且所述当前块的块尺寸索引值根据所述当前块的大小参数确定;
其中,所述根据所述当前块的大小参数,确定所述当前块的块尺寸索引值,包括:
当所述当前块的宽度和高度均等于4时,将所述当前块的块尺寸索引值设置为0;
当所述当前块的宽度和高度均等于8或者所述当前块的宽度和高度之一等于4时,将所述当前块的块尺寸索引值设置为1;
当所述当前块的宽度和高度不满足前述条件时,将所述当前块的块尺寸索引值设置为2。
5.根据权利要求4所述的方法,其特征在于,所述常数值的移位因子的取值等于6。
6.根据权利要求4或5所述的方法,其特征在于,所述根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值,包括:
利用预设计算模型对所述MIP输入采样矩阵、所述MIP权重矩阵和所述移位因子进行矩阵乘法处理,得到所述当前块的MIP预测块;
对所述MIP预测块进行滤波处理,获得所述当前块的帧内预测值;其中,所述MIP预测块包含所述当前块中至少部分像素位置的预测值。
7.一种编码器,其特征在于,所述编码器包括第一确定单元、第一预测单元和第一设置单元;其中,
所述第一确定单元,配置为确定当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
所述第一确定单元,还配置为当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
所述第一预测单元,配置为根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值;其中,所述当前块的移位因子包括常数值的移位因子;
所述第一确定单元,还配置为至少根据当前块的块尺寸索引值确定所述当前块的MIP权重矩阵;根据所述当前块的大小参数确定所述当前块的块尺寸索引值;
所述第一设置单元,配置为当所述当前块的宽度和高度均等于4时,将所述当前块的块尺寸索引值设置为0;当所述当前块的宽度和高度均等于8或者所述当前块的宽度和高度之一等于4时,将所述当前块的块尺寸索引值设置为1;当所述当前块的宽度和高度不满足前述条件时,将所述当前块的块尺寸索引值设置为2。
8.根据权利要求7所述的编码器,其特征在于,所述常数值的移位因子的取值等于6。
9.根据权利要求7或8所述的编码器,其特征在于,所述编码器还包括第一计算单元,配置为利用预设计算模型对所述MIP输入采样矩阵、所述MIP权重矩阵和所述移位因子进行矩阵乘法处理,得到所述当前块的MIP预测块;
所述第一预测单元,配置为对所述MIP预测块进行滤波处理,获得所述当前块的帧内预测值;其中,所述MIP预测块包含所述当前块中至少部分像素位置的预测值。
10.一种编码器,其特征在于,所述编码器包括第一存储器和第一处理器;其中,所述第一存储器,用于存储能够在所述第一处理器上运行的计算机程序;
所述第一处理器,用于在运行所述计算机程序时,执行如权利要求1至3任一项所述的方法。
11.一种解码器,其特征在于,所述解码器包括解析单元、第二确定单元、第二预测单元和第二设置单元;其中,
所述解析单元,配置为解析码流,获取当前块的预测参数,其中,所述预测参数包括预测模式参数和所述当前块的大小参数;
所述第二确定单元,配置为当所述预测模式参数指示使用基于矩阵的帧内预测MIP模式确定当前块的帧内预测值时,确定所述当前块的MIP权重矩阵、所述当前块的移位因子和所述当前块的MIP输入采样矩阵;
所述第二预测单元,配置为根据所述MIP权重矩阵、所述移位因子和所述MIP输入采样矩阵,确定所述当前块的帧内预测值;其中,所述当前块的移位因子包括常数值的移位因子;
所述第二确定单元,还配置为至少根据当前块的块尺寸索引值确定所述当前块的MIP权重矩阵;根据所述当前块的大小参数确定所述当前块的块尺寸索引值;
所述第二设置单元,配置为当所述当前块的宽度和高度均等于4时,将所述当前块的块尺寸索引值设置为0;当所述当前块的宽度和高度均等于8或者所述当前块的宽度和高度之一等于4时,将所述当前块的块尺寸索引值设置为1;当所述当前块的宽度和高度不满足前述条件时,将所述当前块的块尺寸索引值设置为2。
12.根据权利要求11所述的解码器,其特征在于,所述常数值的移位因子的取值等于6。
13.根据权利要求11或12所述的解码器,其特征在于,所述解码器还包括第二计算单元,配置为利用预设计算模型对所述MIP输入采样矩阵、所述MIP权重矩阵和所述移位因子进行矩阵乘法处理,得到所述当前块的MIP预测块;
所述第二预测单元,配置为对所述MIP预测块进行滤波处理,获得所述当前块的帧内预测值;其中,所述MIP预测块包含所述当前块中至少部分像素位置的预测值。
14.一种解码器,其特征在于,所述解码器包括第二存储器和第二处理器;其中,所述第二存储器,用于存储能够在所述第二处理器上运行的计算机程序;
所述第二处理器,用于在运行所述计算机程序时,执行如权利要求4至6任一项所述的方法。
15.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被第一处理器执行时实现如权利要求1至3任一项所述的方法、或者被第二处理器执行时实现如权利要求4至6任一项所述的方法。
CN202110469722.1A 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质 Active CN113225562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110469722.1A CN113225562B (zh) 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201962872488P 2019-07-10 2019-07-10
US62/872,488 2019-07-10
US201962872830P 2019-07-11 2019-07-11
US201962873170P 2019-07-11 2019-07-11
US62/872,830 2019-07-11
US62/873,170 2019-07-11
CN202080004757.1A CN112655215A (zh) 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质
PCT/CN2020/090688 WO2021004155A1 (zh) 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质
CN202110469722.1A CN113225562B (zh) 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080004757.1A Division CN112655215A (zh) 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质

Publications (2)

Publication Number Publication Date
CN113225562A CN113225562A (zh) 2021-08-06
CN113225562B true CN113225562B (zh) 2023-05-30

Family

ID=74115008

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202310370166.1A Pending CN116389724A (zh) 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质
CN202080004757.1A Pending CN112655215A (zh) 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质
CN202310372089.3A Pending CN116389725A (zh) 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质
CN202110469722.1A Active CN113225562B (zh) 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202310370166.1A Pending CN116389724A (zh) 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质
CN202080004757.1A Pending CN112655215A (zh) 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质
CN202310372089.3A Pending CN116389725A (zh) 2019-07-10 2020-05-15 图像分量预测方法、编码器、解码器以及存储介质

Country Status (14)

Country Link
US (5) US11509901B2 (zh)
EP (1) EP3817390A4 (zh)
JP (1) JP2022539937A (zh)
KR (1) KR20220030918A (zh)
CN (4) CN116389724A (zh)
AU (1) AU2020310350A1 (zh)
BR (1) BR112021005760A2 (zh)
CA (1) CA3113740A1 (zh)
IL (1) IL281619A (zh)
MX (1) MX2021005855A (zh)
PH (1) PH12021550522A1 (zh)
SG (1) SG11202102925XA (zh)
WO (1) WO2021004155A1 (zh)
ZA (1) ZA202101632B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220013941A (ko) * 2019-05-10 2022-02-04 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 행렬 기반 인트라 예측
EP3984229A4 (en) * 2019-06-14 2022-07-06 Telefonaktiebolaget Lm Ericsson (Publ) SIMPLIFIED SUB-SAMPLING FOR MATRIX-BASED INTRA PREDICTION
CN114342372A (zh) * 2019-06-19 2022-04-12 韩国电子通信研究院 帧内预测模式、以及熵编解码方法和装置
JP7444570B2 (ja) 2019-09-20 2024-03-06 シャープ株式会社 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728313B1 (en) 1998-01-08 2004-04-27 Intel Corporation Method and apparatus for performing MPEG II dequantization and IDCT
CN100405848C (zh) * 2005-09-16 2008-07-23 宁波大学 一种用于视频图像编码过程中的量化方法
US8065037B2 (en) * 2007-08-07 2011-11-22 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno Control method and system for hydraulic machines employing a dynamic joint motion model
KR20110065092A (ko) 2009-12-09 2011-06-15 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
KR101279507B1 (ko) * 2009-12-15 2013-06-28 한국전자통신연구원 병렬 처리 기반 파이프라인 복호화 장치 및 방법
KR20120086232A (ko) * 2011-01-25 2012-08-02 (주)휴맥스 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
BR122020008881B1 (pt) * 2010-07-15 2021-08-10 Kabushiki Kaisha Toshiba Métodos de codificação e de decodificação de imagem
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
CN102595112B (zh) * 2011-01-12 2014-02-19 北京大学 视频编码中编码和重建图像块的方法
MX348562B (es) 2011-02-10 2017-06-20 Velos Media Int Ltd Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
US20130101033A1 (en) 2011-10-14 2013-04-25 Qualcomm Incorporated Coding non-symmetric distributions of data
AU2012200319B2 (en) * 2012-01-19 2015-11-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
CN104685878B (zh) * 2012-09-24 2018-11-30 华为技术有限公司 具有颜色空间缩放性的视频压缩
US20170019678A1 (en) * 2014-03-14 2017-01-19 Sharp Kabushiki Kaisha Video compression with color space scalability
JP2015231091A (ja) * 2014-06-04 2015-12-21 株式会社日立製作所 通信システム、ネットワーク装置及び通信制御方法
CN115134609A (zh) * 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
US20180332292A1 (en) * 2015-11-18 2018-11-15 Mediatek Inc. Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
CN105516728B (zh) * 2015-12-15 2019-06-28 华中科技大学 一种H.265/HEVC中8x8子宏块的并行帧内预测方法
US10694179B2 (en) 2016-01-12 2020-06-23 Telefonaktiebolaget Lm Ericsson (Publ) Video coding using hybrid intra prediction
WO2017135692A1 (ko) * 2016-02-02 2017-08-10 엘지전자(주) 픽셀 순환 코딩과 변환 코딩의 결합에 기초하여 비디오 신호를 처리하는 방법 및 장치
GB2552323B (en) 2016-07-18 2020-04-29 Imagination Tech Ltd Mip map compression
US10986363B2 (en) * 2016-09-14 2021-04-20 Beamr Imaging Ltd. Method of pre-processing of video information for optimized video encoding
US11381808B2 (en) * 2019-04-25 2022-07-05 Hfi Innovation Inc. Method and apparatus of matrix based intra prediction in image and video processing
US11277637B2 (en) * 2019-05-09 2022-03-15 Qualcomm Incorporated Reference sampling for matrix intra prediction mode
US11252410B2 (en) * 2019-06-11 2022-02-15 Tencent America LLC Method and apparatus for video coding
WO2020249633A1 (en) * 2019-06-14 2020-12-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Coding of intra-prediction modes
WO2020256599A1 (en) 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Method and apparatus of quantizing coefficients for matrix-based intra prediction technique
US11985306B2 (en) * 2019-07-22 2024-05-14 Interdigital Madison Patent Holdings, Sas Method and apparatus for video encoding and decoding with matrix based intra-prediction
BR112021008833A2 (pt) 2019-09-24 2022-04-12 Guangdong Oppo Mobile Telecommunications Corp Ltd Método de codificação de foto aplicável a um codificador, método de decodificação de foto aplicável a um decodificador, codificador e decodificador
CN111050183B (zh) 2019-12-13 2022-04-19 浙江大华技术股份有限公司 一种帧内预测方法、编码器及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross 等.Versatile Video Coding (Draft 5).《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》.2019,第133-135、144-148页. *
Non-CE3:Fixed downshifting for 8-bit MIP;Junyan Huo 等;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20190707;第1-5页 *
Versatile Video Coding (Draft 5);Benjamin Bross 等;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20190702;第133-135、144-148页 *

Also Published As

Publication number Publication date
CN113225562A (zh) 2021-08-06
US11509901B2 (en) 2022-11-22
US11909979B2 (en) 2024-02-20
KR20220030918A (ko) 2022-03-11
EP3817390A4 (en) 2021-09-29
US20240114142A1 (en) 2024-04-04
MX2021005855A (es) 2021-07-15
SG11202102925XA (en) 2021-04-29
EP3817390A1 (en) 2021-05-05
US11930181B2 (en) 2024-03-12
AU2020310350A1 (en) 2021-04-22
CA3113740A1 (en) 2021-01-14
JP2022539937A (ja) 2022-09-14
CN116389724A (zh) 2023-07-04
IL281619A (en) 2021-05-31
US20230015739A1 (en) 2023-01-19
US20210203941A1 (en) 2021-07-01
US20240163445A1 (en) 2024-05-16
US20230013677A1 (en) 2023-01-19
BR112021005760A2 (pt) 2021-06-29
CN112655215A (zh) 2021-04-13
ZA202101632B (en) 2022-08-31
WO2021004155A1 (zh) 2021-01-14
PH12021550522A1 (en) 2022-02-21
CN116389725A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN113225562B (zh) 图像分量预测方法、编码器、解码器以及存储介质
CN113891082B (zh) 图像分量预测方法、编码器、解码器以及存储介质
US11843781B2 (en) Encoding method, decoding method, and decoder
JP2024069438A (ja) イントラ予測を用いた符号化
CN116438796A (zh) 图像预测方法、编码器、解码器以及计算机存储介质
CN114830663A (zh) 变换方法、编码器、解码器以及存储介质
CN113676732B (zh) 图像分量预测方法、编码器、解码器以及存储介质
CN112616057A (zh) 图像预测方法、编码器、解码器以及存储介质
CN112532997B (zh) 图像预测方法、编码器、解码器以及存储介质
EP4087253A1 (en) Transformation method, encoder, decoder, and storage medium
CN116711304A (zh) 预测方法、编码器、解码器以及存储介质
CN116472707A (zh) 图像预测方法、编码器、解码器以及计算机存储介质
CN115280778A (zh) 帧间预测方法、编码器、解码器以及存储介质
CN113302934B (zh) 图像预测方法、编码器、解码器以及存储介质
CN113261279B (zh) 预测值的确定方法、编码器、解码器以及存储介质
CN113840142B (zh) 图像分量预测方法、装置及计算机存储介质
CN114830658A (zh) 变换方法、编码器、解码器以及存储介质
CN113196770A (zh) 图像分量预测方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant