CN111741299A - 帧内预测模式的选择方法、装置、设备及存储介质 - Google Patents

帧内预测模式的选择方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111741299A
CN111741299A CN202010659333.0A CN202010659333A CN111741299A CN 111741299 A CN111741299 A CN 111741299A CN 202010659333 A CN202010659333 A CN 202010659333A CN 111741299 A CN111741299 A CN 111741299A
Authority
CN
China
Prior art keywords
prediction mode
intra
coding block
mode
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010659333.0A
Other languages
English (en)
Other versions
CN111741299B (zh
Inventor
陈玉
郑羽珊
王诗涛
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010659333.0A priority Critical patent/CN111741299B/zh
Publication of CN111741299A publication Critical patent/CN111741299A/zh
Application granted granted Critical
Publication of CN111741299B publication Critical patent/CN111741299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种帧内预测模式的选择方法、装置、设备及存储介质,涉及视频编解码技术领域。所述方法包括:获取目标编码块采用优化帧内预测模式时的编码块模式CBP;在CBP满足第一条件的情况下,获取目标编码块的纹理信息;根据纹理信息,确定目标编码块的候选预测模式,候选预测模式属于目标编码块的传统帧内预测模式;从候选预测模式和优化帧内预测模式中选择满足第二条件的帧内预测模式,作为目标编码块的帧内预测模式。本申请实施例由于在部分情况下仅需要计算部分的传统帧内预测模式,从而降低了传统帧内预测模式对应模块的计算复杂度,并且有助于优化帧内预测过程整体的计算复杂度,降低计算机设备的处理开销。

Description

帧内预测模式的选择方法、装置、设备及存储介质
技术领域
本申请实施例涉及视频编解码技术领域,特别涉及一种帧内预测模式的选择方法、装置、设备及存储介质。
背景技术
JCT-VC(Joint Collaborative Team on Video Coding,联合视频编码组)提出将HEVC(High Efficiency Video Coding,高效视频编码)作为新一代的通用视频编码标准。
在HEVC中,研究人员针对SCC(Screen Content Coding,屏幕内容编码)做了很多编码工具集的优化。针对视频编码流程中的帧内预测过程,HEVC增加了多种优化帧内预测模式,包括:IBC(Intra Block Copy,帧内块复制)模式和PLT(Palette,调色板)模式等。由于优化帧内预测模式的计算复杂度太大,相关技术在优化HEVC SCC的帧内预测模式的过程中,通过简化优化帧内预测模式对应的模块,实现其部分功能以达到实时目的。
然而,相关技术在完成了优化帧内预测模式的深度优化之后,传统帧内预测模式对应模块的计算复杂度高于优化帧内预测模式对应模块的计算复杂度,从而导致帧内预测过程整体的计算复杂度并没有达到较好的优化。
发明内容
本申请实施例提供了一种帧内预测模式的选择方法、装置、设备及存储介质,可用于降低传统帧内预测模式对应模块的计算量,进而优化帧内预测过程整体的计算复杂度。所述技术方案如下:
一方面,本申请实施例提供了一种帧内预测模式的选择方法,所述方法包括:
获取目标编码块采用优化帧内预测模式时的CBP(Coded Block Pattern,编码块模式),所述CBP用于指示所述目标编码块的亮度分量和色度分量的残差编码方案;
在所述CBP满足第一条件的情况下,获取所述目标编码块的纹理信息,所述纹理信息用于指示所述目标编码块的内容复杂程度;
根据所述纹理信息,确定所述目标编码块的候选预测模式,所述候选预测模式属于所述目标编码块的传统帧内预测模式;
从所述候选预测模式和所述优化帧内预测模式中选择满足第二条件的帧内预测模式,作为所述目标编码块的帧内预测模式。
另一方面,本申请实施例提供了一种帧内预测模式的选择装置,所述装置包括:
系数获取模块,用于获取目标编码块采用优化帧内预测模式时的CBP,所述CBP用于指示所述目标编码块的亮度分量和色度分量的残差编码方案;
信息获取模块,用于在所述CBP满足第一条件的情况下,获取所述目标编码块的纹理信息,所述纹理信息用于指示所述目标编码块的内容复杂程度;
模式确定模块,用于根据所述纹理信息,确定所述目标编码块的候选预测模式,所述候选预测模式属于所述目标编码块的传统帧内预测模式;
模式选择模块,用于从所述候选预测模式和所述优化帧内预测模式中选择满足第二条件的帧内预测模式,作为所述目标编码块的帧内预测模式。
再一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述帧内预测模式的选择方法。
又一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述帧内预测模式的选择方法。
还一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述帧内预测模式的选择方法。
本申请实施例提供的技术方案可以带来如下有益效果:
通过引入纹理信息来辅助计算机设备选择编码块的帧内预测模式,从而在需要计算编码块的传统帧内预测模式时,根据纹理信息有选择地计算传统帧内预测模式中的部分或全部帧内预测模式。由于纹理信息的计算复杂度远小于传统帧内预测模式的计算复杂度,相比于相关技术在任何情况下均计算全部的传统帧内预测模式,本申请实施例提供的技术方案由于在部分情况下仅需要计算部分的传统帧内预测模式,从而降低了传统帧内预测模式对应模块的计算复杂度,并且有助于优化帧内预测过程整体的计算复杂度,降低计算机设备的处理开销。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的视频编码过程的基本流程图;
图2是本申请一个实施例提供的帧内预测过程的基本流程图;
图3是本申请一个实施例提供的帧内预测模式选择过程的基本流程图;
图4是本申请一个实施例提供的通信系统的简化框图;
图5是本申请一个实施例提供的视频编码器和视频解码器在流式传输环境中的放置方式的示意图;
图6是本申请一个实施例提供的帧内预测模式的选择方法的流程图;
图7是本申请另一个实施例提供的帧内预测模式的选择方法的流程图;
图8是本申请一个实施例提供的帧内预测模式的选择装置的框图;
图9是本申请另一个实施例提供的帧内预测模式的选择装置的框图;
图10是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行介绍说明之前,首先对本申请实施例出现的一些名词进行介绍说明。
1、CBP:亮度和色度分量的各小块的残差的编码方案。CBP一共6bit(比特),高2bit表示色差系数,低4bit分别表示4个块尺寸为8×8的亮度块,其中从最低一位开始的4位分别对应00、10、01、11位置的亮度块。以下示出了CBP几种可能的取值分别对应的含义:
0(000000):表示既没有亮度系数,也没有色差系数;
16(010000):表示没有亮度系数,有色差直流系数(没有交流系数);
32(100000):表示没有亮度系数,有色差交流系数(可能含有直流系数);
15(001111):表示有亮度系数,没有色差系数;
31(011111):表示有亮度系数,有色差直流系数(没有交流系数);
47(101111):表示有亮度系数,有色差交流系数(可能含有直流系数)。
2、RD代价:拉格朗日率失真(Rate-Distortion,RD)代价。对于一个有损视频编码标准,码率与失真通常为负相关。更高压缩率带来更低码率的同时,也会增加失真,反之亦然。为了做出适当的折中,考虑RD代价。该RD代价的计算公式如下所示:
J=D+λR。
其中,J为RD代价,D为失真,R为码率,λ为拉格朗日系数。
3、POC(Picture Order Count,图像顺序计数):视频编码中由于B帧的存在使得视频的播放顺序和编码顺序不一样,解码后的视频需要按播放顺序排列播放,POC就是视频帧按播放顺序的标识号。POC的作用主要有:帧的唯一标识符、用于merge模式下生成运动信息、解码端一致性检查。每一个编码的帧都有一个POC,可以用变量PicOrderCntVal表示,取值范围为-231~231-1。
其次,结合图1对视频编码技术进行简单介绍。请参考图1,其示出了本申请一个实施例提供的视频编码过程的基本流程图。
视频信号是指包括多个帧的图像序列。帧(frame)是视频信号空间信息的表示。以YUV模式为例,一个帧包括一个亮度样本矩阵(Y)和两个色度样本矩阵(Cb和Cr)。从视频信号的获取方式来看,可以分为摄像机拍摄到的以及计算机生成的两种方式。由于统计特性的不同,其对应的压缩编码方式也可能有所区别。
在一些主流的视频编码技术中,如H.265/HEVC(High Efficient Video Coding,高效率视频压缩编码)、H.266/VVC(Versatile Video Coding,通用视频编码)标准、AVS(Audio Video coding Standard,音视频编码标准)(如AVS3)中,采用了混合编码框架,对输入的原始视频信号进行如下一系列的操作和处理:
1、块划分结构(Block Partition Structure):输入图像划分成若干个不重叠的处理单元,每个处理单元将进行类似的压缩操作。这个处理单元被称作CTU(Coding TreeUnit,编码树单元),或者LCU(Large Coding Unit,最大编码单元)。CTU再往下,可以继续进行更加精细的划分,得到一个或多个基本编码的单元,称之为CU(Coding Unit,编码单元)。每个CU是一个编码环节中最基本的元素,当进行预测时,CU还需要进一步划分为不同的PU(Predict Unit,预测单元)。以下描述的是对每一个CU可能采用的各种编码方式。
2、预测编码(Predictive Coding):包括了帧内预测和帧间预测等方式,原始视频信号经过选定的已重建视频信号的预测后,得到残差视频信号。编码端需要为当前CU决定在众多可能的预测编码模式中,选择最适合的一种,并告知解码端。其中,帧内预测是指预测的信号来自于同一图像内已经编码重建过的区域。帧间预测是指预测的信号来自已经编码过的,不同于当前图像的其他图像(称之为参考图像)。
3、变换编码及量化(Transform&Quantization):残差视频信号经过DFT(DiscreteFourier Transform,离散傅里叶变换)、DCT(Discrete Cosine Transform,离散余弦变换)等变换操作,将信号转换到变换域中,称之为变换系数。在变换域中的信号,进一步进行有损的量化操作,丢失掉一定的信息,使得量化后的信号有利于压缩表达。在一些视频编码标准中,可能有多于一种变换方式可以选择,因此,编码端也需要为当前CU选择其中的一种变换,并告知解码端。量化的精细程度通常由量化参数来决定。QP(Quantization Parameter,量化参数)取值较大,表示更大取值范围的系数将被量化为同一个输出,因此通常会带来更大的失真,及较低的码率;相反,QP取值较小,表示较小取值范围的系数将被量化为同一个输出,因此通常会带来较小的失真,同时对应较高的码率。
4、熵编码(Entropy Coding)或统计编码:量化后的变换域信号,将根据各个值出现的频率,进行统计压缩编码,最后输出二值化(0或者1)的压缩码流。同时,编码产生其他信息,例如选择的模式、运动矢量等,也需要进行熵编码以降低码率。统计编码是一种无损编码方式,可以有效的降低表达同样的信号所需要的码率。常见的统计编码方式有变长编码(Variable Length Coding,简称VLC)或者基于上下文的二值化算术编码(ContentAdaptive Binary Arithmetic Coding,简称CABAC)。
5、环路滤波(Loop Filtering):已经编码过的图像,经过反量化、反变换及预测补偿的操作(上述2~4的反向操作),可获得重建的解码图像。重建图像与原始图像相比,由于存在量化的影响,部分信息与原始图像有所不同,产生失真(distortion)。对重建图像进行滤波操作,例如去块效应滤波(deblocking),SAO(Sample Adaptive Offset,样本自适应偏移量)或者ALF(Adaptive Lattice Filter,自适应格型滤波器)等滤波器,可以有效的降低量化所产生的失真程度。由于这些经过滤波后的重建图像,将作为后续编码图像的参考,用于对将来的信号进行预测,所以上述的滤波操作也被称为环路滤波,及在编码环路内的滤波操作。
下面,结合图2对HEVC的帧内预测技术进行简单介绍。请参考图2,其示出了本申请一个实施例提供的帧内预测过程的基本流程图。如图2所示,该帧内预测过程可以包括如下几个步骤:
1、参考像素准备:由于图像或视频在空域上存在很强的相关性,也即,对于某个像素,该像素和其邻近的像素值会很接近,因此,通常情况下,选择离当前PU最近的已编码像素作为当前PU内像素的参考像素。可选地,在HEVC中,参考像素为当前PU上面的一行和左边的一列,例如,对于N×N的PU选择左上方N个像素,右上方N个像素,左侧N个像素,左下方N个像素,左上角1个像素,共4N+1个像素作为参考像素,N为大于1的整数。
2、帧内模式选择:在HEVC中,有35种传统帧内预测模式可供选择,分别为:DC模式、Planar模式和33种角度模式。此外,HEVC还针对SCC的帧内预测流程增加了多种优化帧内预测模式,该优化帧内预测模式包括IBC模式和PLT模式。其中,IBC模式是采用当前帧已重建的块作为预测块、IBC在当前编码图像内做运动补偿;PLT模式会枚举每个编码块的颜色值生成一个颜色表,并为每个样本传递一个索引以指示它属于颜色表中的哪个颜色,解码端根据规则生成一个颜色表并通过颜色表索引完成样本的重建工作。由于PLT模式的计算比较复杂,通常情况下,只在颜色数较少的编码块采用PLT模式。
3、参考像素滤波:在帧内预测时,为了减少噪声、提升预测准确性,通常情况下,在选择某些预测模式时需要对参考像素进行平滑滤波。示例性地,针对DC模式和Planar模式,若PU的块尺寸为4×4,则不需要进行平滑滤波;若PU的块尺寸为其它尺寸,则DC模式不需要平滑滤波、Planar模式需要平滑滤波。示例性地,针对角度模式,若PU的块尺寸为8×8,则只对模式编号为2、18、34的角度模式进行常规平滑滤波;若PU的块尺寸为16×16,则除模式编号为9、10、11、25、26、27的角度模式之外,其它的27个角度模式都需要进行常规平滑滤波;若PU的块尺寸为32×32,则除模式编号为10、26的角度模式之外,其它的31个角度模式都要进行常规平滑滤波或强滤波。
4、预测边界平滑:为了去除边界的不连续效应,对于块尺寸小于32×32的PU,当使用模式编号为1、10、26的传统帧内预测模式时,PU预测后的第一行和第一列要进行滤波处理,以平滑PU边界值。
5、帧内模式编码:当选定好帧内预测模式后,帧内预测模式要通过编码端传送至解码端。由于传统帧内预测模式有35种模式,因此,需要6个比特位才能对这35种模式进行编码。HEVC为当前PU定义了3种最可能模式(Most Probable Modes),分别为:MPM[0]、MPM[1]、MPM[2],若当前帧内预测模式在这3种最可能模式之内,则只需要编码其索引即可;若当前帧内预测模式不在这3种最可能模式之内,则只需要5个比特位即可编码。
根据上述帧内预测技术的介绍说明可见,对于帧内预测过程中的帧内模式选择这一部分,HEVC在传统帧内预测模式的基础上,提供了优化帧内预测模式。由于优化帧内预测模式的计算复杂度太大,相关技术在优化HEVC SCC的帧内预测模式的过程中,通过简化优化帧内预测模式对应的模块,实现其部分功能以达到实时目的。以块尺寸为8×8的编码块为例,请参考图3,其示出了本申请一个实施例提供的帧内预测模式选择过程的基本流程图。
如图3所示,对于帧内(intra)块尺寸为8×8的编码块,假设该编码块采用IBC模式(下面以优化帧内预测模式包括IBC模式为例进行介绍说明),并计算该IBC模式的CBP。在CBP等于零的情况下,直接将IBC模式作为当前编码块的帧内预测模式;在CBP系数不等于零的情况下,计算传统帧内预测模式的优选预测模式。针对块尺寸为8×8的编码块,传统帧内预测模式可以分为intra 8×8模式和intra 4×4模式,其中,intra 4×4模式又可以进一步划分为intra 4×4模式和包含TS(Transform Skip,变换跳过)的intra 4×4模式。首先,将块尺寸为8×8的编码块分为四个块尺寸为4×4的编码块,分别计算每个块尺寸为4×4的编码块的intra 4×4模式下的优选预测模式,并得到块尺寸为8×8的编码块在该intra 4×4模式下的优选预测模式对应的RD代价。然后再计算块尺寸为8×8的编码块在intra 8×8模式下的优选预测模式,并计算块尺寸为8×8的编码块在该intra 8×8模式下的优选预测模式对应的RD代价。接着,将intra 8×8模式下的优选预测模式对应的RD代价与intra 4×4模式下的优选预测模式对应的RD代价进行比较,选择RD代价最小的优选预测模式作为最佳预测模式。最后,将该最佳预测模式对应的RD代价与IBC模式对应的RD代价进行比较,将RD代价最小的预测模式作为当前编码块的帧内预测模式。
然而,相关技术在完成了优化帧内预测模式的深度优化之后,计算复杂度最高的模块已经从优化帧内预测模式对应模块转移到了传统帧内预测模式对应模块,尤其体现在针对帧内(intra)块尺寸为8×8的编码块,传统帧内预测模式intra 8×8模式和包含TS(Transform Skip,变换跳过)的intra 4×4模式对应模块的计算复杂度远远高于优化帧内预测模式对应模块。由于传统帧内预测模式对应模块的计算复杂度高于优化帧内预测模式对应模块的计算复杂度,相关技术中,帧内预测过程整体的计算复杂度并没有达到较好的优化。
为了进一步优化帧内预测过程整体的计算复杂度,本申请实施例提出了一种利用纹理信息来辅助帧内预测模式选择的方法。针对块尺寸为8×8的编码块,利用纹理信息可以确定是否需要进行intra 4×4模式的计算,从而在不必要进行intra 4×4模式的计算时,快速跳过intra 4×4模式以降低计算复杂度。
请参考图4,其示出了本申请一个实施例提供的通信系统的简化框图。通信系统200包括多个设备,所述设备可通过例如网络250彼此通信。举例来说,通信系统200包括通过网络250互连的第一设备210和第二设备220。在图4的实施例中,第一设备210和第二设备220执行单向数据传输。举例来说,第一设备210可对视频数据例如由第一设备210采集的视频图片流进行编码以通过网络250传输到第二设备220。已编码的视频数据以一个或多个已编码视频码流形式传输。第二设备220可从网络250接收已编码视频数据,对已编码视频数据进行解码以恢复视频数据,并根据恢复的视频数据显示视频图片。单向数据传输在媒体服务等应用中是较常见的。
在另一实施例中,通信系统200包括执行已编码视频数据的双向传输的第三设备230和第四设备240,所述双向传输可例如在视频会议期间发生。对于双向数据传输,第三设备230和第四设备240中的每个设备可对视频数据(例如由设备采集的视频图片流)进行编码,以通过网络250传输到第三设备230和第四设备240中的另一设备。第三设备230和第四设备240中的每个设备还可接收由第三设备230和第四设备240中的另一设备传输的已编码视频数据,且可对所述已编码视频数据进行解码以恢复视频数据,且可根据恢复的视频数据在可访问的显示装置上显示视频图片。
在图4的实施例中,第一设备210、第二设备220、第三设备230和第四设备240可为服务器、个人计算机和智能电话等计算机设备,但本申请公开的原理可不限于此。本申请实施例适用于PC(Personal Computer,个人计算机)、手机、平板电脑、媒体播放器和/或专用视频会议设备。网络250表示在第一设备210、第二设备220、第三设备230和第四设备240之间传送已编码视频数据的任何数目的网络,包括例如有线连线的和/或无线通信网络。通信网络250可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的,除非在下文中有所解释,否则网络250的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
作为实施例,图5示出视频编码器和视频解码器在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用,包括例如视频会议、数字TV(电视)、在包括CD(Compact Disc,光盘)、DVD(Digital Versatile Disc,数字通用光盘)、存储棒等的数字介质上存储压缩视频等等。
流式传输系统可包括采集子系统313,所述采集子系统可包括数码相机等视频源301,所述视频源创建未压缩的视频图片流302。在实施例中,视频图片流302包括由数码相机拍摄的样本。相较于已编码的视频数据304(或已编码的视频码流),视频图片流302被描绘为粗线以强调高数据量的视频图片流,视频图片流302可由电子装置320处理,所述电子装置320包括耦接到视频源301的视频编码器303。视频编码器303可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流302,已编码的视频数据304(或已编码的视频码流304)被描绘为细线以强调较低数据量的已编码的视频数据304(或已编码的视频码流304),其可存储在流式传输服务器305上以供将来使用。一个或多个流式传输客户端子系统,例如图5中的客户端子系统306和客户端子系统308,可访问流式传输服务器305以检索已编码的视频数据304的副本307和副本309。客户端子系统306可包括例如电子装置330中的视频解码器310。视频解码器310对已编码的视频数据的传入副本307进行解码,且产生可在显示器312(例如显示屏)或另一呈现装置(未描绘)上呈现的输出视频图片流311。在一些流式传输系统中,可根据某些视频编码/压缩标准对已编码的视频数据304、副本307和副本309(例如视频码流)进行编码。
应注意,电子装置320和电子装置330可包括其它组件(未示出)。举例来说,电子装置320可包括视频解码器(未示出),且电子装置330还可包括视频编码器(未示出)。其中,视频解码器用于对接收到的已编码视频数据进行解码;视频编码器用于对视频数据进行编码。
需要说明的一点是,本申请实施例提供的技术方案可以应用于H.266/VVC标准、H.265/HEVC标准、AVS(如AVS3)或者下一代视频编解码标准中,本申请实施例对此不作限定。
还需要说明的一点是,本申请实施例提供的视频编解码中的帧内预测模式的选择方法,各步骤的执行主体可以是编码端设备。在视频编码的过程中,可以采用本申请实施例提供的技术方案,对帧内预测过程中的帧内预测模式进行选择。编码端设备可以是计算机设备,该计算机设备是指具备数据计算、处理和存储能力的电子设备,如PC、手机、平板电脑、媒体播放器、专用视频会议设备、服务器等等。另外,本申请所提供的方法可以单独使用或以任意顺序与其他方法合并使用。基于本申请所提供方法的编码器,可以由1个或多个处理器或是1个或多个集成电路来实现。
下面,通过几个实施例对本申请技术方案进行介绍说明。
请参考图6,其示出了本申请一个实施例提供的帧内预测模式的选择方法的流程图。为了便于说明,仅以各步骤执行主体为计算机设备进行介绍说明。该方法可以包括如下几个步骤(610~640):
步骤610,获取目标编码块采用优化帧内预测模式时的编码块模式CBP。
目标编码块是指需要对帧内预测模式进行选择的编码块。本申请实施例中,编码块又可以称为编码单元,或称为CU,本领域技术人员可以理解其含义。可选地,目标编码块为编码器当前正在处理的编码块;或者,目标编码块为编码器当前正在处理的编码块的下一个编码块。本申请实施例对目标编码块的块尺寸不作限定,可选地,目标编码块的块尺寸为8×8;或者,目标编码块的块尺寸为16×16、32×32、64×64。
在对目标编码块的帧内预测模式进行选择时,计算机设备先确定优化帧内预测模式是否为目标编码块的最佳帧内预测模式,若优化帧内预测模式为目标编码块的最佳帧内预测模式,则直接将优化帧内预测模式中的优选预测模式作为目标编码块的帧内预测模式;若优化帧内预测模式不是目标编码块的最佳帧内预测模式,则需要确定传统帧内预测模式中的优选预测模式,并将该传统帧内预测模式中的优选预测模式与优化帧内预测模式中的优选预测模式进行比较,以确定目标编码块的最佳帧内预测模式。
本申请实施例中,计算机设备通过优选帧内预测模式的CBP来确定优化帧内预测模式是否为目标编码块的最佳帧内预测模式。其中,CBP用于指示所述目标编码块的亮度分量和色度分量的残差编码方案。有关CBP的其他介绍说明,请参见上述实施例,此处不多赘述。本申请实施例对优化帧内预测模式的数量和内容均不作限定,可选地,优化帧内预测模式包括IBC模式;或者,优化帧内预测模式包括PLT模式;或者,优化帧内预测模式包括IBC模式和PLT模式;或者,优化帧内预测模式包括其它帧内预测模式。
步骤620,在CBP满足第一条件的情况下,获取目标编码块的纹理信息。
计算机设备预先设置有第一条件,在CBP满足第一条件的情况下,需要进一步确定传统帧内预测模式;在CBP不满足第一条件的情况下,直接将优化帧内预测模式中的优选预测模式作为目标编码块的帧内预测模式。可选地,第一条件包括CBP不为零,也即,在CBP不为零的情况下,需要进一步确定传统帧内预测模式;在CBP为零的情况下,不需要进一步确定传统帧内预测模式。
假设CBP满足第一条件,则计算机设备需要进一步确定传统帧内预测模式。此时,计算机设备先获取目标编码块的纹理信息,然后根据纹理信息进一步确定传统帧内预测模式中的候选预测模式。其中,纹理信息用于指示目标编码块的内容复杂程度,示例性地,纹理信息越复杂,目标编码块的内容也越复杂。
本申请实施例对纹理信息的计算方式不作限定,可选地,纹理信息可以用目标编码块的像素平均梯度和来表示,示例性地,像素平均梯度和越大,纹理信息越复杂。在一个示例中,上述步骤620包括:确定目标编码块中各个像素的平均梯度值;根据平均梯度值,确定目标编码块的像素平均梯度和;其中,纹理信息包括像素平均梯度和。
以目标编码块的块尺寸为8×8为例,可选地,目标编码块中的各个像素的平均梯度值的计算公式如下所示:
g(i,j)=(|p(i,j-1)-p(i,j)|+|p(i,j)-p(i+1,j)|)/2。
其中,g(i,j)表示第i行第j列的像素的平均梯度值,|p(i,j-1)-p(i,j)|表示第i行第j列的像素的垂直梯度值,|p(i,j)-p(i+1,j)|表示第i行第j列的像素的水平梯度值。
针对目标编码块中各个像素均采用如上所示的计算方式,以计算得到各个像素的平均梯度值。然后根据各个像素的平均梯度值,可以计算目标编码块的像素平均梯度值。可选地,像素平均梯度值的计算公式如下所示:
Figure BDA0002577935020000121
其中,g为像素平均梯度值。
步骤630,根据纹理信息,确定目标编码块的候选预测模式,候选预测模式属于目标编码块的传统帧内预测模式。
根据纹理信息,计算机设备可以从目标编码块的传统帧内预测模式中选择候选预测模式。本申请实施例中,候选预测模式的数量小于或等于传统帧内预测模式的数量。可选地,传统帧内预测模式包括M种类别帧内预测模式,M为大于1的整数,则候选预测模式是这M种类别的帧内预测模式中的K种类别的帧内预测模式,K为小于或等于M的正整数。其中,每一种类别的帧内预测模式的块尺寸不同。有关计算机设备根据纹理信息确定候选预测模式的介绍说明,请参见下述方法实施例,此处不多赘述。
步骤640,从候选预测模式和优化帧内预测模式中选择满足第二条件的帧内预测模式,作为目标编码块的帧内预测模式。
在确定了候选预测模式之后,计算机设备可以从候选预测模式和优化帧内预测模式中选择满足第二条件的帧内预测模式,作为目标编码块的帧内预测模式。其中,第二条件可以是计算机设备预先设置的,也可以是计算机设备在处理目标编码块时实时设置的,本申请实施例对此不作限定。可选地,计算机设备可以根据候选预测模式的RD代价和优化帧内预测模式的RD代价,选取满足第二条件的帧内预测模式,也即,第二条件与帧内预测模式的RD代价有关。
在一个示例中,上述步骤640,包括:确定第一RD代价和第二RD代价;若第一RD代价小于第二RD代价,则将候选预测模式中优选预测模式作为目标编码块的帧内预测模式;若第一RD代价大于第二RD代价,则将优化帧内预测模式中优选帧内预测模式作为目标编码块的帧内预测模式。
其中,第一RD代价为候选预测模式中优选预测模式对应的RD代价,第二RD代价为优化帧内预测模式中优选预测模式对应的RD代价。也即,针对候选预测模式,计算机设备从候选预测模式中选择优选预测模式,并确定其对应的RD代价;针对优化帧内预测模式,计算机设备从优化帧内预测模式中选择优选预测模式,并确定其对应的RD代价。然后,将RD代价最小的帧内预测模式作为目标编码块的帧内预测模式,也即,若第一RD代价小于第二RD代价,则将候选预测模式中优选预测模式作为目标编码块的帧内预测模式;若第一RD代价大于第二RD代价,则将优化帧内预测模式中优选帧内预测模式作为目标编码块的帧内预测模式。
例如,假设目标编码块的块尺寸为8×8,并且假设候选预测模式为intra 8×8模式和intra 4×4模式,则计算机设备分别确定intra 8×8模式下的优选预测模式和intra4×4模式下的优选预测模式,并将这两种优选预测模式的RD代价进行比较,RD代价较小的优选预测模式再与IBC模式进行比较,最后将RD代价较小的帧内预测模式作为目标编码块的帧内预测模式。又例如,假设目标编码块的块尺寸为8×8,并且假设候选预测模式为intra 8×8模式,则计算机设备确定intra 8×8模式下的优选预测模式,并将该优选预测模式的RD代价与优化帧内预测模式中的优选预测模式的RD代价进行比较,将RD代价较小的帧内预测模式作为目标编码块的帧内预测模式。
综上所述,本申请实施例提供的技术方案,通过引入纹理信息来辅助计算机设备选择编码块的帧内预测模式,从而在需要计算编码块的传统帧内预测模式时,根据纹理信息有选择地计算传统帧内预测模式中的部分或全部帧内预测模式。由于纹理信息的计算复杂度远小于传统帧内预测模式的计算复杂度,相比于相关技术在任何情况下均计算全部的传统帧内预测模式,本申请实施例提供的技术方案由于在部分情况下仅需要计算部分的传统帧内预测模式,从而降低了传统帧内预测模式对应模块的计算复杂度,并且有助于优化帧内预测过程整体的计算复杂度,降低计算机设备的处理开销。
另外,本申请实施例提供的技术方案,纹理信息包括编码块的像素平均梯度和,由于梯度信息的计算量较小,采用梯度信息来表示纹理信息不会给计算机设备造成计算压力。并且,在优化帧内预测模式包括IBC模式的情况下,由于计算机设备在计算IBC模式时会计算梯度信息,从而采用梯度信息来表示纹理信息不会额外增加计算机设备的计算量,有助于提升计算机设备的处理速度。
下面对候选预测模式的选择过程进行介绍说明。
在一种可能的实施方式中,传统帧内预测模式包括第一类预测模式和第二类预测模式,第一类预测模式的块尺寸小于第二类预测模式的块尺寸;上述步骤630,包括:在纹理信息满足目标条件的情况下,确定候选预测模式包括第一类预测模式和第二类预测模式;在纹理信息不满足目标条件的情况下,确定候选预测模式包括第二类预测模式。
传统帧内预测模式包含不同块尺寸的帧内预测模式,为了便于介绍说明,本申请实施例将传统帧内预测模式分为两种类别的帧内预测模式,分别为第一类预测模式和第二类预测模式,其中,第一类预测模式的块尺寸小于第二类预测模式的块尺寸。例如,假设目标编码块的块尺寸为8×8,第一类预测模式可以为intra 4×4模式,第二类预测模式可以为intra 8×8模式。
计算机设备预先设置有目标条件,该目标条件用于确定纹理信息是否复杂到需要进行较小块尺寸的帧内预测模式的计算。若纹理信息满足目标条件,则确定纹理信息足够复杂,需要进行较小块尺寸的帧内预测模式的计算,此时,候选预测模式可以包括第一类预测模式和第二类预测模式;若纹理信息不满足目标条件,则确定纹理信息相对简单平坦,不需要进行较小块尺寸的帧内预测模式的计算,此时,候选帧内预测模式包括第二类预测模式即可。
在一个示例中,纹理信息包括像素平均梯度和,也即,纹理信息可以使用目标编码块的像素平均梯度和来表示。此时,可以通过如下方式来确定纹理信息是否满足目标条件:在像素平均梯度和大于目标门限的情况下,确定纹理信息满足目标条件;在像素平均梯度和小于或等于目标门限的情况下,确定纹理信息不满足目标条件。也即,计算机设备针对像素平均梯度和设置有一个目标门限,在像素平均梯度和大于目标门限的情况下,确定纹理信息较为复杂、满足目标条件;在像素平均梯度和小于或等于目标门限的情况下,确定纹理信息较为简单平坦、不满足目标条件。
本申请实施例对目标门限的确定时机不作限定,可选地,目标门限可以为计算机设备预先设置的;或者,目标门限为计算机设备在处理目标编码块时实时确定的。可选地,上述方法还包括:获取目标编码块的编码模式;根据编码模式,确定目标门限。本申请实施例中,不同的编码块可以采用不同的编码模式,计算机设备可以根据目标编码块的编码模式实时确定对应于该目标编码块的目标门限。可选地,目标编码块的编码模式为AI(AllIntra,全I帧)模式;或者,目标编码块的编码模式为LP(Low-delay P,低延迟P帧)模式。
示例性地,在上述编码模式为AI模式的情况下,计算机设备可以设置较小的目标门限,如设置目标门限为100。
示例性地,目标门限包括第一门限和第二门限,第一门限大于第二门限;在上述编码模式为LP模式的情况下,对于目标编码块中POC大于零的帧,确定第一门限;对于目标编码块中POC小于或等于零的帧,确定第二门限。例如,计算机设备针对POC大于零的帧设置较大的第一门限,如256;针对POC小于或等于零的帧设置较小的第一门限,如100。有关POC的介绍说明,请参见上述实施例,此处不多赘述。
综上所述,本申请实施例提供的技术方案,在使用梯度信息来表示纹理信息的情况下,设置门限值,在梯度信息达到门限值的情况下,认为纹理信息足够复杂,需要计算多种块尺寸大小的帧内预测模式;在梯度信息没有达到门限值的情况下,认为纹理信息较为简单平坦,计算较大块尺寸的帧内预测模式即可。本申请实施例通过设置梯度信息对应的门限值,提供了一种具体确定是否需要计算全部的传统帧内预测模式的方式。并且,本申请实施例中,计算机设备可以根据当前编码块的编码模式具体确定门限值的大小,从而提升确定门限值的准确性和灵活性。
下面以一个具体的示例对本申请的技术方案进行介绍说明。假设目标编码块的块尺寸为2N×2N,N为正整数,则目标编码块的传统帧内预测模式包括intra N×N模式和intra 2N×2N模式。可选地,N的取值为2的M次幂,M为正整数,例如,N的取值为以下任意一种:4、8、16、32。在一个示例中,N的取值为4。假设优化帧内预测模式包括IBC模式。
基于上述假设以及N的取值为4,请参考图7,本申请实施例提供的帧内预测模式的选择方法可以包括如下几个步骤:
首先,计算机设备获取目标编码块采用IBC模式时的CBP。在CBP为零的情况下,认为IBC模式为最佳帧内预测模式,并将IBC模式作为目标编码块的帧内预测模式。在CBP不等于零的情况下,计算机设备根据纹理信息确定需要计算的传统帧内预测模式。
在纹理信息包括目标编码块的像素平均梯度和的情况下,计算机设备确定需要计算的传统帧内预测模式的过程包括:确定目标编码块中各个像素的平均梯度值;然后,根据各个像素的平均梯度值,确定像素平均梯度和。
根据像素平均梯度和,计算机设备可以有选择地计算部分或全部的传统帧内预测模式。示例性地,在像素平均梯度和大于目标门限的情况下,确定候选预测模式包括intraN×N模式和intra 2N×2N模式,即计算机设备计算全部的传统帧内预测模式;在像素平均梯度和小于或等于目标门限的情况下,确定候选预测模式包括intra 2N×2N模式,即计算机设备计算部分的传统帧内预测模式。如图7所示,在一个示例中,N的取值为4,则intra N×N模式为intra 4×4模式,intra 2N×2N模式为intra 8×8模式。
计算机设备在确定了需要计算的传统帧内预测模式后,即可从这部分传统帧内预测模式和IBC模式中选择RD代价最小的帧内预测模式作为目标编码块的帧内预测模式。示例性地,计算机设备确定第一RD代价和第二RD代价,第一RD代价为候选预测模式中优选预测模式对应的RD代价,第二RD代价为IBC模式对应的RD代价;若第一RD代价小于第二RD代价,则将候选预测模式中优选预测模式作为目标编码块的帧内预测模式;若第一RD代价大于第二RD代价,则将IBC模式作为目标编码块的帧内预测模式。
例如,在计算机设备选择intra N×N模式和intra 2N×2N模式时,计算机设备分别确定intra N×N模式下的优选预测模式和intra 2N×2N模式下的优选预测模式,并确定其对应的RD代价,将RD代价较小的优选预测模式进一步与IBC模式的RD代价进行比较,并将RD代价较小的帧内预测模式作为目标编码块的帧内预测模式。如图7所示,在一个示例中,N的取值为4,则在计算机设备选择intra 4×4模式和intra 8×8模式时,计算机设备分别确定intra 4×4模式下的优选预测模式和intra 8×8模式下的优选预测模式,并确定其对应的RD代价,将RD代价较小的优选预测模式进一步与IBC模式的RD代价进行比较,并将RD代价较小的帧内预测模式作为目标编码块的帧内预测模式。
可选地,计算机设备也可以同时比较intra N×N模式下的优选预测模式的RD代价、intra 2N×2N模式下的优选预测模式的RD代价以及IBC模式的RD代价,并将RD代价最小的帧内预测模式作为目标编码块的帧内预测模式,本申请实施例对此不作限定。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图8,其示出了本申请一个实施例提供的帧内预测模式的选择装置的框图。该装置具有实现上述帧内预测模式的选择方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备,也可以设置在计算机设备上。该装置800可以包括:系数获取模块810、信息获取模块820、模式确定模块830和模式选择模块840。
系数获取模块810,用于获取目标编码块采用优化帧内预测模式时的编码块模式CBP,所述CBP用于指示所述目标编码块的亮度分量和色度分量的残差编码方案。
信息获取模块820,用于在所述CBP满足第一条件的情况下,获取所述目标编码块的纹理信息,所述纹理信息用于指示所述目标编码块的内容复杂程度。
模式确定模块830,用于根据所述纹理信息,确定所述目标编码块的候选预测模式,所述候选预测模式属于所述目标编码块的传统帧内预测模式。
模式选择模块840,用于从所述候选预测模式和所述优化帧内预测模式中选择满足第二条件的帧内预测模式,作为所述目标编码块的帧内预测模式。
在一个示例中,上述信息获取模块820,用于:确定所述目标编码块中各个像素的平均梯度值;根据所述平均梯度值,确定所述目标编码块的像素平均梯度和;其中,所述纹理信息包括所述像素平均梯度和。
在一个示例中,所述传统帧内预测模式包括第一类预测模式和第二类预测模式,所述第一类预测模式的块尺寸小于所述第二类预测模式的块尺寸;所述模式确定模块830,用于:在所述纹理信息满足目标条件的情况下,确定所述候选预测模式包括所述第一类预测模式和所述第二类预测模式;在所述纹理信息不满足所述目标条件的情况下,确定所述候选预测模式包括所述第二类预测模式。
在一个示例中,如图9所示,所述装置800还包括条件确定模块850,用于:在像素平均梯度和大于目标门限的情况下,确定所述纹理信息满足所述目标条件,所述像素平均梯度和是指所述目标编码块中各个像素的平均梯度值之和;在所述像素平均梯度和小于或等于所述目标门限的情况下,确定所述纹理信息不满足所述目标条件。
在一个示例中,如图9所示,所述装置800还包括:模式获取模块860,用于获取所述目标编码块的编码模式;门限确定模块870,用于根据所述编码模式,确定所述目标门限。
在一个示例中,所述目标门限包括第一门限和第二门限,所述第一门限大于所述第二门限;如图9所示,所述门限确定模块870,用于:在所述编码模式为LP模式的情况下,对于所述目标编码块中POC大于零的帧,确定第一门限;对于所述目标编码块中POC小于或等于零的帧,确定第二门限。
在一个示例中,所述模式选择模块840,用于:确定第一RD代价和第二RD代价,所述第一RD代价为所述候选预测模式中优选预测模式对应的RD代价,所述第二RD代价为所述优化帧内预测模式中优选预测模式对应的RD代价;若所述第一RD代价小于所述第二RD代价,则将所述候选预测模式中优选预测模式作为所述目标编码块的帧内预测模式;若所述第一RD代价大于所述第二RD代价,则将所述优化帧内预测模式中优选帧内预测模式作为所述目标编码块的帧内预测模式。
在一个示例中,所述第一条件包括所述CBP不等于零。
在一个示例中,所述目标编码块的块尺寸为2N×2N,所述优化帧内预测模式包括IBC模式,所述传统帧内预测模式包括帧内N×N模式和帧内2N×2N模式,N为正整数;所述系数获取模块810,用于获取所述目标编码块采用所述IBC模式时的CBP;所述信息获取模块820,用于在所述CBP不等于零的情况下,确定所述目标编码块中各个像素的平均梯度值;根据所述各个像素的平均梯度值,确定所述目标编码块的像素平均梯度和;其中,所述纹理信息包括所述像素平均梯度和;所述模式确定模块830,用于在所述像素平均梯度和大于目标门限的情况下,确定所述候选预测模式包括所述帧内N×N模式和所述帧内2N×2N模式;在所述像素平均梯度和小于或等于所述目标门限的情况下,确定所述候选预测模式包括所述帧内2N×2N模式;所述模式选择模块840,用于确定第一RD代价和第二RD代价,所述第一RD代价为所述候选预测模式中优选预测模式对应的RD代价,所述第二RD代价为所述IBC模式对应的RD代价;若所述第一RD代价小于所述第二RD代价,则将所述候选预测模式中优选预测模式作为所述目标编码块的帧内预测模式;若所述第一RD代价大于所述第二RD代价,则将所述IBC模式作为所述目标编码块的帧内预测模式。
综上所述,本申请实施例提供的技术方案,通过引入纹理信息来辅助计算机设备选择编码块的帧内预测模式,从而在需要计算编码块的传统帧内预测模式时,根据纹理信息有选择地计算传统帧内预测模式中的部分或全部帧内预测模式。由于纹理信息的计算复杂度远小于传统帧内预测模式的计算复杂度,相比于相关技术在任何情况下均计算全部的传统帧内预测模式,本申请实施例提供的技术方案由于在部分情况下仅需要计算部分的传统帧内预测模式,从而降低了传统帧内预测模式对应模块的计算复杂度,并且有助于优化帧内预测过程整体的计算复杂度,降低计算机设备的处理开销。
另外,本申请实施例提供的技术方案,纹理信息包括编码块的像素平均梯度和,由于梯度信息的计算量较小,采用梯度信息来表示纹理信息不会给计算机设备造成计算压力。并且,在优化帧内预测模式包括IBC模式的情况下,由于计算机设备在计算IBC模式时会计算梯度信息,从而采用梯度信息来表示纹理信息不会额外增加计算机设备的计算量,有助于提升计算机设备的处理速度。
此外,本申请实施例提供的技术方案,在使用梯度信息来表示纹理信息的情况下,设置门限值,在梯度信息达到门限值的情况下,认为纹理信息足够复杂,需要计算多种块尺寸大小的帧内预测模式;在梯度信息没有达到门限值的情况下,认为纹理信息较为简单平坦,计算较大块尺寸的帧内预测模式即可。本申请实施例通过设置梯度信息对应的门限值,提供了一种具体确定是否需要计算全部的传统帧内预测模式的方式。并且,本申请实施例中,计算机设备可以根据当前编码块的编码模式具体确定门限值的大小,从而提升确定门限值的准确性和灵活性。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图10,其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可以是上文介绍的编码端设备。该计算机设备100可以包括:处理器101、存储器102、通信接口103、编码器/解码器104和总线105。
处理器101包括一个或者一个以上处理核心,处理器101通过运行软件程序以及模块,从而执行各种功能应用以及信息处理。
存储器102可用于存储计算机程序,处理器101用于执行该计算机程序,以实现上述帧内预测模式的选择方法。
通信接口103可用于与其它设备进行通信,如收发音视频数据。
编码器/解码器104可用于实现编码和解码功能,如对音视频数据进行编码和解码。
存储器102通过总线105与处理器101相连。
此外,存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,易失性或非易失性存储设备包括但不限于:磁盘或光盘,EEPROM(ElectricallyErasable Programmable Read-Only Memory,电可擦除可编程只读存储器),EPROM(Erasable Programmable Read-Only Memory,可擦除可编程只读存储器),SRAM(StaticRandom-Access Memory,静态随时存取存储器),ROM(Read-Only Memory,只读存储器),磁存储器,快闪存储器,PROM(Programmable read-only memory,可编程只读存储器)。
本领域技术人员可以理解,图10中示出的结构并不构成对计算机设备100的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时实现上述帧内预测模式的选择方法。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述帧内预测模式的选择方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种帧内预测模式的选择方法,其特征在于,所述方法包括:
获取目标编码块采用优化帧内预测模式时的编码块模式CBP,所述CBP用于指示所述目标编码块的亮度分量和色度分量的残差编码方案;
在所述CBP满足第一条件的情况下,获取所述目标编码块的纹理信息,所述纹理信息用于指示所述目标编码块的内容复杂程度;
根据所述纹理信息,确定所述目标编码块的候选预测模式,所述候选预测模式属于所述目标编码块的传统帧内预测模式;
从所述候选预测模式和所述优化帧内预测模式中选择满足第二条件的帧内预测模式,作为所述目标编码块的帧内预测模式。
2.根据权利要求1所述的方法,其特征在于,所述获取所述目标编码块的纹理信息,包括:
确定所述目标编码块中各个像素的平均梯度值;
根据所述平均梯度值,确定所述目标编码块的像素平均梯度和;
其中,所述纹理信息包括所述像素平均梯度和。
3.根据权利要求1所述的方法,其特征在于,所述传统帧内预测模式包括第一类预测模式和第二类预测模式,所述第一类预测模式的块尺寸小于所述第二类预测模式的块尺寸;
所述根据所述纹理信息,确定所述目标编码块的候选预测模式,包括:
在所述纹理信息满足目标条件的情况下,确定所述候选预测模式包括所述第一类预测模式和所述第二类预测模式;
在所述纹理信息不满足所述目标条件的情况下,确定所述候选预测模式包括所述第二类预测模式。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在像素平均梯度和大于目标门限的情况下,确定所述纹理信息满足所述目标条件,所述像素平均梯度和是指所述目标编码块中各个像素的平均梯度值之和;
在所述像素平均梯度和小于或等于所述目标门限的情况下,确定所述纹理信息不满足所述目标条件。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
获取所述目标编码块的编码模式;
根据所述编码模式,确定所述目标门限。
6.根据权利要求5所述的方法,其特征在于,所述目标门限包括第一门限和第二门限,所述第一门限大于所述第二门限;所述根据所述编码模式,确定所述目标门限,包括:
在所述编码模式为LP模式的情况下,对于所述目标编码块中图像顺序计数POC大于零的帧,确定第一门限;
对于所述目标编码块中POC小于或等于零的帧,确定第二门限。
7.根据权利要求1所述的方法,其特征在于,所述从所述候选预测模式和所述优化帧内预测模式中选择满足第二条件的帧内预测模式,作为所述目标编码块的帧内预测模式,包括:
确定第一拉格朗日率失真RD代价和第二RD代价,所述第一RD代价为所述候选预测模式中优选预测模式对应的RD代价,所述第二RD代价为所述优化帧内预测模式中优选预测模式对应的RD代价;
若所述第一RD代价小于所述第二RD代价,则将所述候选预测模式中优选预测模式作为所述目标编码块的帧内预测模式;
若所述第一RD代价大于所述第二RD代价,则将所述优化帧内预测模式中优选帧内预测模式作为所述目标编码块的帧内预测模式。
8.根据权利要求1所述的方法,其特征在于,所述第一条件包括所述CBP不等于零。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述目标编码块的块尺寸为2N×2N,所述优化帧内预测模式包括帧内块复制IBC模式,所述传统帧内预测模式包括帧内N×N模式和帧内2N×2N模式,所述N为正整数;
所述获取目标编码块采用优化帧内预测模式时的编码块模式CBP,包括:
获取所述目标编码块采用所述IBC模式时的CBP;
所述在所述CBP满足第一条件的情况下,获取所述目标编码块的纹理信息,包括:
在所述CBP不等于零的情况下,确定所述目标编码块中各个像素的平均梯度值;
根据所述各个像素的平均梯度值,确定所述目标编码块的像素平均梯度和;其中,所述纹理信息包括所述像素平均梯度和;
所述根据所述纹理信息,确定所述目标编码块的候选预测模式,包括:
在所述像素平均梯度和大于目标门限的情况下,确定所述候选预测模式包括所述帧内N×N模式和所述帧内2N×2N模式;
在所述像素平均梯度和小于或等于所述目标门限的情况下,确定所述候选预测模式包括所述帧内2N×2N模式;
所述从所述候选预测模式和所述优化帧内预测模式中选择满足第二条件的帧内预测模式,作为所述目标编码块的帧内预测模式,包括:
确定第一RD代价和第二RD代价,所述第一RD代价为所述候选预测模式中优选预测模式对应的RD代价,所述第二RD代价为所述IBC模式对应的RD代价;
若所述第一RD代价小于所述第二RD代价,则将所述候选预测模式中优选预测模式作为所述目标编码块的帧内预测模式;
若所述第一RD代价大于所述第二RD代价,则将所述IBC模式作为所述目标编码块的帧内预测模式。
10.一种帧内预测模式的选择装置,其特征在于,所述装置包括:
系数获取模块,用于获取目标编码块采用优化帧内预测模式时的编码块模式CBP,所述CBP用于指示所述目标编码块的亮度分量和色度分量的残差编码方案;
信息获取模块,用于在所述CBP满足第一条件的情况下,获取所述目标编码块的纹理信息,所述纹理信息用于指示所述目标编码块的内容复杂程度;
模式确定模块,用于根据所述纹理信息,确定所述目标编码块的候选预测模式,所述候选预测模式属于所述目标编码块的传统帧内预测模式;
模式选择模块,用于从所述候选预测模式和所述优化帧内预测模式中选择满足第二条件的帧内预测模式,作为所述目标编码块的帧内预测模式。
11.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一项所述的帧内预测模式的选择方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一项所述的帧内预测模式的选择方法。
CN202010659333.0A 2020-07-09 2020-07-09 帧内预测模式的选择方法、装置、设备及存储介质 Active CN111741299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010659333.0A CN111741299B (zh) 2020-07-09 2020-07-09 帧内预测模式的选择方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010659333.0A CN111741299B (zh) 2020-07-09 2020-07-09 帧内预测模式的选择方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111741299A true CN111741299A (zh) 2020-10-02
CN111741299B CN111741299B (zh) 2022-03-25

Family

ID=72655925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010659333.0A Active CN111741299B (zh) 2020-07-09 2020-07-09 帧内预测模式的选择方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111741299B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714316A (zh) * 2020-12-21 2021-04-27 太原智林信息技术股份有限公司 基于视频码流的规则标志检测和分类识别方法
CN114125442A (zh) * 2022-01-29 2022-03-01 腾讯科技(深圳)有限公司 屏幕视频编码模式确定方法、编码方法、装置和计算设备
WO2023005830A1 (zh) * 2021-07-29 2023-02-02 维沃移动通信有限公司 预测编码方法、装置和电子设备
CN117692648A (zh) * 2024-02-02 2024-03-12 腾讯科技(深圳)有限公司 视频编码方法、装置、设备、存储介质和计算机程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363450A (zh) * 2014-11-27 2015-02-18 北京奇艺世纪科技有限公司 一种帧内编码模式决策方法及装置
CN107277509A (zh) * 2017-08-03 2017-10-20 重庆邮电大学 一种基于屏幕内容的快速帧内预测方法
CN107623850A (zh) * 2017-09-26 2018-01-23 杭州电子科技大学 一种基于时空相关性的快速屏幕内容编码方法
CN107750455A (zh) * 2015-06-18 2018-03-02 高通股份有限公司 帧内预测及帧内模式译码
CN110166775A (zh) * 2019-06-25 2019-08-23 浙江大华技术股份有限公司 帧内预测方法、编码器及存储装置
JP2020058025A (ja) * 2018-09-28 2020-04-09 株式会社Jvcケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363450A (zh) * 2014-11-27 2015-02-18 北京奇艺世纪科技有限公司 一种帧内编码模式决策方法及装置
CN107750455A (zh) * 2015-06-18 2018-03-02 高通股份有限公司 帧内预测及帧内模式译码
CN107277509A (zh) * 2017-08-03 2017-10-20 重庆邮电大学 一种基于屏幕内容的快速帧内预测方法
CN107623850A (zh) * 2017-09-26 2018-01-23 杭州电子科技大学 一种基于时空相关性的快速屏幕内容编码方法
JP2020058025A (ja) * 2018-09-28 2020-04-09 株式会社Jvcケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム
CN110166775A (zh) * 2019-06-25 2019-08-23 浙江大华技术股份有限公司 帧内预测方法、编码器及存储装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714316A (zh) * 2020-12-21 2021-04-27 太原智林信息技术股份有限公司 基于视频码流的规则标志检测和分类识别方法
WO2023005830A1 (zh) * 2021-07-29 2023-02-02 维沃移动通信有限公司 预测编码方法、装置和电子设备
CN114125442A (zh) * 2022-01-29 2022-03-01 腾讯科技(深圳)有限公司 屏幕视频编码模式确定方法、编码方法、装置和计算设备
CN117692648A (zh) * 2024-02-02 2024-03-12 腾讯科技(深圳)有限公司 视频编码方法、装置、设备、存储介质和计算机程序产品
CN117692648B (zh) * 2024-02-02 2024-05-17 腾讯科技(深圳)有限公司 视频编码方法、装置、设备、存储介质和计算机程序产品

Also Published As

Publication number Publication date
CN111741299B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN111866512B (zh) 视频解码方法、视频编码方法、装置、设备及存储介质
CN111741299B (zh) 帧内预测模式的选择方法、装置、设备及存储介质
CN111711824B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
CN113766249B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
EP2478702A1 (en) Methods and apparatus for efficient video encoding and decoding of intra prediction mode
CN111770345B (zh) 编码单元的运动估计方法、装置、设备及存储介质
JP2022548354A (ja) ビデオ復号方法、ビデオ符号化方法、装置、機器及び記憶媒体
CN115668915A (zh) 图像编码方法、图像解码方法及相关装置
CN113497937B (zh) 图像编码方法、图像解码方法及相关装置
CN114257810B (zh) 上下文模型的选择方法、装置、设备及存储介质
WO2022078339A1 (zh) 参考像素候选列表构建方法、装置、设备及存储介质
WO2021135856A1 (zh) 视频编解码方法、装置、设备及存储介质
CN115209157A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
CN109495745B (zh) 一种基于逆量化/逆变换的无损压缩解码方法
WO2021263251A1 (en) State transition for dependent quantization in video coding
CN111953972A (zh) IBC模式下的Hash表构建方法、装置、设备
CN114286095B (zh) 视频解码方法、装置及设备
CN111770338B (zh) 编码单元的索引值确定方法、装置、设备及存储介质
CN114286096B (zh) 视频解码方法、装置及设备
WO2022188239A1 (zh) 系数的编解码方法、编码器、解码器及计算机存储介质
WO2022116854A1 (zh) 视频解码方法、装置、可读介质、电子设备及程序产品
CN112153385B (zh) 编码处理方法、装置、设备及存储介质
CN114071148A (zh) 视频编码方法、装置、设备及产品
WO2022174701A1 (zh) 视频编解码方法、装置、计算机可读介质及电子设备
WO2022037464A1 (zh) 视频解码方法、视频编码方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030128

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant