CN110213576A - 视频编码方法、视频编码装置、电子设备及存储介质 - Google Patents

视频编码方法、视频编码装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110213576A
CN110213576A CN201810413949.2A CN201810413949A CN110213576A CN 110213576 A CN110213576 A CN 110213576A CN 201810413949 A CN201810413949 A CN 201810413949A CN 110213576 A CN110213576 A CN 110213576A
Authority
CN
China
Prior art keywords
intra prediction
video
luminance directions
estimation unit
video estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810413949.2A
Other languages
English (en)
Other versions
CN110213576B (zh
Inventor
张宏顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810413949.2A priority Critical patent/CN110213576B/zh
Priority to EP19796418.2A priority patent/EP3758373B1/en
Priority to JP2020555773A priority patent/JP7046219B2/ja
Priority to PCT/CN2019/081239 priority patent/WO2019210760A1/zh
Publication of CN110213576A publication Critical patent/CN110213576A/zh
Priority to US16/939,928 priority patent/US11032552B2/en
Application granted granted Critical
Publication of CN110213576B publication Critical patent/CN110213576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种视频编码方法,其包括:接收视频图像帧,并获取视频图像帧的至少一个树形编码单元;按不同的视频预测单元划分规则,对树形编码单元进行划分,以获取所述树形编码单元的不同尺寸的视频预测单元;对不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向;设置当前尺寸的视频预测单元的帧内预测最优亮度方向;对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,以得到不同尺寸的视频预测单元的帧内预测最优色度方向;根据帧内预测最优亮度方向以及帧内预测最优色度方向,对当前视频图像帧进行帧内预测编码。

Description

视频编码方法、视频编码装置、电子设备及存储介质
技术领域
本发明涉及视频编码领域,特别是涉及一种视频编码方法、视频编码装置、电子设备及存储介质。
背景技术
未来视频的发展趋势是高清晰度、高帧率以及高压缩率,现在普及的H.264压缩方式,在原理上存在一定的局限性,不能适应未来的需求,因此HEVC(High Efficiency VideoCoding,高效视频编码)编码协议应运而生。
如图1所示,图1为标准的HEVC的编码框架结构。一帧图像送入到编码器,先经过帧内预测或帧间预测之后,得到预测值,预测值与输入数据相减,得到残差,然后进行DCT变化和量化,得到残差系数,然后送入熵编码模块输出码流,同时,残差系数经反量化反变换之后,得到重构图像的残差值,再和帧内预测值或者帧间预测值相加,从而得到了重构图像,重构图像再经去块滤波以及自适应像素补偿,进入参考帧队列,作为下一帧的参考图像。
视频编码是以块为单位,有帧内块和帧间块两种方式,在整个视频编码中,帧内块的重要性最大。如果当前帧类型为I帧(自带全部信息的独立帧,无需参考其他图像便可独立进行解码),则所有编码块均会做帧内块预测;如果当前帧类型为B帧(双向预测编码帧,记录的是本帧与前后帧的差别的画面帧)或P帧(帧间预测编码帧,需要参考前一帧才能进行编码的画面帧),则仅部分编码块最终会选择为帧内预测。
在帧间编码时,帧间块的参考像素都基于帧内块的重构数据,因此,帧内块编码的图像质量至关重要,如果帧内块编码的图像质量差,后面被参考的帧间块的参考像素的图像质量会更差,误差就会越来越大。所带来的现象就是,同等质量下编出的码流会大很多,同等码流下图像质量会差很多。
因此如果编码块的帧内块预测优化不好,容易出现编码提速不明显且压缩率大幅下降,故需要对编码块的帧内预测方法进行改进,以加快视频编码的编码速度以及提高视频编码的编码压缩程度。
发明内容
本发明实施例提供一种具有较快的视频编码的编码速度以及较高的视频编码的编码压缩程度的视频编码方法及视频编码装置;以解决现有的视频编码方法及视频编码装置中的编码块的帧内块预测优化不好,容易出现编码提速不明显且压缩率大幅下降的技术问题。
本发明实施例提供一种视频编码方法,其包括:
接收视频图像帧,并获取所述视频图像帧的至少一个树形编码单元;
按不同的视频预测单元划分规则,对所述树形编码单元进行划分,以获取所述树形编码单元的不同尺寸的视频预测单元;
根据第一率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向;
根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向;
根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,以得到不同尺寸的视频预测单元的帧内预测最优色度方向;以及
根据不同尺寸的视频预测单元的帧内预测最优亮度方向、以及不同尺寸的视频预测单元的帧内预测最优色度方向,对当前视频编码单元进行帧内预测编码。
本发明实施例还提供一种视频编码装置,其包括:
树形编码单元获取模块,用于接收视频图像帧,并获取所述视频图像帧的至少一个树形编码单元;
视频预测单元获取模块,用于按不同的视频预测单元划分规则,对所述树形编码单元进行划分,以获取所述树形编码单元的不同尺寸的视频预测单元;
帧内预测初选亮度方向确定模块,用于根据第一率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向;
帧内预测最优亮度方向设置模块,用于根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向;
帧内预测最优色度方向设置模块,用于根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,以得到不同尺寸的视频预测单元的帧内预测最优色度方向;以及
帧内预测编码模块,用于根据不同尺寸的视频预测单元的帧内预测最优亮度方向、以及不同尺寸的视频预测单元的帧内预测最优色度方向,对当前视频编码单元进行帧内预测编码。
本发明实施例还提供一种存储介质,其内存储有处理器可执行指令,所述指令由一个或一个以上处理器加载,以执行上述的视频编码方法。
本发明实施例还提供一种电子设备,包括处理器和存储器,所述存储器有计算机程序,其中所述处理器通过调用所述计算机程序,用于执行上述的视频编码方法。
相较于现有技术,本发明的视频编码方法、视频编码装置、电子设备及存储介质通过对独立视频图像帧和非独立视频图像帧(如双向预测编码帧或帧间预测编码帧)采用不同的帧内预测编码优化方法,从而加快了对应的视频编码的编码速度,且提高了对应的视频编码的编码压缩程度;有效的解决了现有的视频编码方法及视频编码装置中的编码块的帧内块预测优化不好,容易出现编码提速不明显且压缩率大幅下降的技术问题。
附图说明
图1为标准的HEVC的编码框架结构;
图2为本发明的视频编码方法的第一实施例的流程图;
图3为本发明的视频编码方法的第一实施例的树形编码单元的结构示意图;
图4为本发明的视频编码方法的第一实施例的33中角度模式的示意图;
图5为本发明的视频编码方法的第二实施例的流程图;
图6为本发明的视频编码装置的第一实施例的结构示意图;
图7为本发明的视频编码装置的第一实施例的帧内预测最优亮度方向设置模块的结构示意图;
图8为本发明的视频编码装置的第一实施例的帧内预测最优亮度方向设置模块的帧内预测最优亮度方向设置单元的结构示意图;
图9为本发明的视频编码装置的第一实施例的帧内预测最优色度方向设置模块的结构示意图;
图10为本发明的视频编码装置的第二实施例的结构示意图;
图11为本发明的视频编码装置的第二实施例的帧内预测最优亮度方向设置模块的结构示意图;
图12为本发明的视频编码装置的第二实施例的帧内预测最优亮度方向设置模块的第二帧内预测最优亮度方向设置单元的结构示意图;
图13为本发明的视频编码方法及视频编码装置对独立视频图像帧进行帧内预测编码操作的具体实施例的流程图;
图14为本发明的视频编码方法及视频编码装置对双向预测编码帧或帧间预测编码帧进行帧内预测编码操作的具体实施例的流程图
图15为本发明的视频编码装置所在的电子设备的工作环境结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例,其不应被视为限制本发明未在此详述的其它具体实施例。
在以下的说明中,本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明,除非另有述明。因此,其将可了解到这些步骤及操作,其中有数次提到为由计算机执行,包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处,其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置,其具有由该数据格式所定义的特定特性。但是,本发明原理以上述文字来说明,其并不代表为一种限制,本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本发明的视频编码方法及视频编码装置可设置在任何的电子设备中,用于对各种类型的视频图像帧进行帧内预测编码操作,以加快视频编码的编码速度以及提高视频编码的编码压缩程度。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境,等等。该电子设备优选为视频编码服务器或终端,以加快对应视频编码的编码速度以及提高视频编码的编码压缩程度。
请参照图2,图2为本发明的视频编码方法的第一实施例的流程图。本实施例的视频编码方法可使用上述的电子设备进行实施,本实施例的视频编码方法用于对可独立进行解码操作的独立视频图像帧进行帧内预测编码操作,该帧内预测编码过程包括:
步骤S201,接收视频图像帧,并获取视频图像帧的至少一个树形编码单元;
步骤S202,按不同的视频预测单元划分规则,对树形编码单元进行划分,以获取树形编码单元的不同尺寸的视频预测单元;
步骤S203,根据第一率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向;
步骤S204,根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向;
步骤S205,根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,得到不同尺寸的视频预测单元的帧内预测最优色度方向;
步骤S206,根据不同尺寸的视频预测单元的帧内预测最优亮度方向、以及不同尺寸的视频预测单元的帧内预测最优色度方向,对当前视频编码单元进行帧内预测编码。
下面详细说明本实施例的视频编码方法的对视频图像帧进行帧内预测编码的过程。
在步骤S201中,视频编码装置(如视频编码服务器等)接收需要视频编码处理的视频图像帧。随后视频编码装置对视频图像帧中的编码单元进行划分,从而获取至少一个树形编码单元。其中每个树形编码单元均可包括多个视频预测单元。本实施例的视频编码方法通过对各个视频预测单元进行帧内预测编码优化,从而实现了对当前视频图像帧的帧内预测编码优化。
在步骤S202中,视频编码装置按不同的视频预测单元划分规则(如四叉树的递归划分方式)对树形编码单元进行划分,以获取该属性编码单元的不同尺寸的视频预测单元。
如图3所示,图3为本发明的视频编码方法的第一实施例的树形编码单元的结构示意图;其中视频图像帧的编码单元的树形编码单元包括1个64*64的视频预测单元(如视频预测单元A)、或4个32*32的视频预测单元(如视频预测单元a、视频预测单元b、视频预测单元c以及视频预测单元d等)、或16个16*16的视频预测单元(如视频预测单元a1、视频预测单元a2、视频预测单元a3以及视频预测单元a4等)、或64个8*8的视频预测单元(如视频预测单元a11、视频预测单元a12、视频预测单元a13以及视频预测单元a14)、或256个4*4的视频预测单元(图中未示出)。
在步骤S203中,视频编码装置根据第一率失真评价函数(使用SATD(Sum ofAbsolute Transformed Difference,hadamard变换后再绝对值求和)率失真计算函数),对步骤S102获取的不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向。
这里的视频预测单元的帧内预测的预测亮度方向包括35种预选的预测亮度方向,这35种预测亮度方向包括Planar模式、DC模式以及33种角度模式。
其中Planar模式使用水平和垂直方向的两个线性滤波器,并将二者的平均值作为当前块像素的预测值。这一做法能够使预测像素平缓变化,与其他模式相比能够提升视频的主观质量,适用于像素值缓慢变化的区域。
DC模式的当前块像素的预测值由其左侧和上方的参考像素的平均值得到,适用于大面积平坦区域。
33种角度模式如图4所示,其中V0和H0分别表示垂直和水平方向,其余模式的预测方向都可以看成在垂直或水平方向上做了一个偏移,该偏移角的大小可由模式下方的数字计算得出,以更好的适用于视频内容中不同方向的纹理。
具体的,如视频预测单元为64*64的视频预测单元,则将上述33个角度模式预测亮度方向划分为5个预测亮度方向区域(其中2个预测亮度方向区域具有重复的2个角度模式预设亮度方向),即每个预测亮度方向区域均具有7个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于7个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的7个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为64*64的视频预测单元的9个帧内预测初选亮度方向。
如视频预测单元为32*32的视频预测单元,则将上述33个角度模式预测亮度方向划分为11个预测亮度方向区域,即每个预测亮度方向区域均具有3个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于3个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的3个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为32*32的视频预测单元的5个帧内预测初选亮度方向。
如视频预测单元为16*16的视频预测单元,则将上述33个角度模式预测亮度方向划分为11个预测亮度方向区域,即每个预测亮度方向区域均具有3个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于3个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的3个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为16*16的视频预测单元的5个帧内预测初选亮度方向。
如视频预测单元为8*8的视频预测单元,则将上述33个角度模式预测亮度方向划分为7个预测亮度方向区域(其中2个预测亮度方向区域具有重复的2个角度模式预设亮度方向),即每个预测亮度方向区域均具有5个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于5个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的5个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为8*8的视频预测单元的7个帧内预测初选亮度方向。
如视频预测单元为4*4的视频预测单元,则将上述33个角度模式预测亮度方向划分为5个预测亮度方向区域(其中2个预测亮度方向区域具有重复的2个角度模式预设亮度方向),即每个预测亮度方向区域均具有7个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于7个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的7个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为4*4的视频预测单元的9个帧内预测初选亮度方向。
由于64*64的视频预测单元为尺寸最大的视频预测单元,为了保证下层尺寸的视频预测单元的预测准确度,因此对于64*64的视频预测单元会设置较多的帧内预测初选亮度方向。4*4和8*8的视频预测单元为尺寸最小的视频预测单元,其较大可能会成为预测结果的输出方向,因此对于4*4和8*8的视频预测单元也会设置较多的帧内预测初选亮度方向。16*16和32*32为中间过渡的视频预测单元,且不会作为预测结果的输出方向,因此可以设置较少的帧内预测初选亮度方向。
这里的率失真代价可使用下式计算:
J=D+λ*R;
其中J为率失真代价,D为当前帧内预测初选亮度方向下的像素失真,R为当前帧内预测初选亮度方向下的所有编码信息(如变换系数、模式信息或宏块划分方式等)所需的比特数,λ为拉格朗日因子。这里的像素失真D通过SATD(Sum of Absolute TransformedDifference,hadamard变换后再绝对值求和)计算。
在步骤S204中,视频编码装置根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
这里的相关视频预测单元的帧内预测最优亮度方向为上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向。
即视频编码装置根据第二率失真评价函数(使用SSD(Sum of SquaredDifference,差值的平方和)率失真计算函数),对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
具体的,视频编码装置将率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。如将16*16的视频预测单元的5个帧内预测初选亮度方向中率失真代价最小的3个16*16的视频预测单元的帧内预测初选亮度方向设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。
如视频预测单元为64*64、32*32或16*16的视频预测单元,则视频编码装置判断当前尺寸的相邻视频预测单元的帧内预测初选亮度方向与任一当前尺寸的相邻视频预测单元的帧内预测最优亮度方向是否相同。
如判断是,则视频编码装置将初选率失真代价最小的相同的优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比帧内预测初选亮度方向;并根据第二率失真评价函数(使用SSD(Sum of Squared Difference,差值的平方和)率失真计算函数),对对比帧内预测初选亮度方法、以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
如判断否,则视频编码装置根据第二率失真评价函数,对当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
如视频预测单元为8*8或4*4的视频预测单元,则视频编码装置判断任一优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向相同;
这里的视频预测单元的相邻视频编码块对应的视频预测单元是相邻视频编码块的视频预测单元,视频预测单元的相邻视频预测单元是指同一视频编码块下的相邻的视频预测单元。
如判断是,则视频编码装置将初选率失真代价最小的相同的优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比帧内预测初选亮度方向;并根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则视频编码装置根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
这样即完成了各个尺寸的视频预测单元的帧内预测最优亮度方向的设置,具体可先设置64*64的视频预测单元的帧内预测最优亮度方向,然后依次设置32*32、16*16、8*8以及4*4的视频预测单元的帧内预测最优亮度方向。
如视频预测单元为4*4的视频预测单元时,视频编码装置还会判断当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价与设定系数(如1.05等)的乘积、是否大于上层尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价;
如小于等于,则继续对其他当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价进行计算;
如大于,则可直接使用上层尺寸的视频预测单元的帧内预测最优亮度方向作为最终输出的亮度方向,因此将当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价设置为预设最大值,以避免将该当前尺寸的视频预测单元的帧内预测最优亮度方向设置为预测结果的输出方向,且停止对当前尺寸的视频预测单元对应的视频编码块的所有视频预测单元进行帧内预测最优亮度方向以及帧内预测最优色度方向的设置。
这里的设定系数的设置一般会略大于1,以避免计算误差导致的当前尺寸的视频预测单元的帧内预测最优亮度方向上的率失真代价的计算错误。
在步骤S205中,视频编码装置根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,得到不同尺寸的视频预测单元的帧内预测最优色度方向。
这里的视频预测单元的帧内预测的预测色度方向包括Planar模式、垂直模式、水平模式、DC模式以及对应亮度分量模式。
其中Planar模式使用水平和垂直方向的两个线性滤波器,并将二者的平均值作为当前块像素的预测值。这一做法能够使预测像素平缓变化,与其他模式相比能够提升视频的主观质量,适用于像素值缓慢变化的区域。
DC模式的当前块像素的预测值由其左侧和上方的参考像素的平均值得到,适用于大面积平坦区域。
垂直模式的当前块像素的预测值由上方的参考像素的平均值得到,适用于垂直条纹的区域。
水平模式的当前块像素的预测值由左方的参考像素的平均值得到,适应于水平条纹的区域。
对应亮度分量模式中的预测色度方向与预测亮度方向一致。
这里视频编码装置可对8*8和4*4的视频预测单元的帧内预测的上述5个模式的预测色度方向进行精选率失真代价的计算,将精选率失真代价最小的预测色度方向作为8*8和4*4的视频预测单元的帧内预测最优色度方向。
具体的,视频编码装置还可根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优色度方向、以及当前尺寸的视频预测单元相邻视频编码块对应的视频预测单元的帧内预测最优色度方向进行精选,将具有精选率失真代价最小的色度方向作为当前尺寸的视频预测单元的帧内预测最优色度方向。
即上层尺寸的视频预测单元的帧内预测最优色度方向或当前尺寸的视频预测单元相邻视频编码块对应的视频预测单元的帧内预测最优色度方向与当前尺寸的视频预测单元的帧内预测初选色度方向一致,则可直接将上层尺寸的视频预测单元的帧内预测最优色度方向或当前尺寸的视频预测单元相邻视频编码块对应的视频预测单元的帧内预测最优色度方向作为当前尺寸的视频预测单元的帧内预测最优色度方向。
在步骤S206中,视频编码装置根据步骤S204获取的不同尺寸的视频预测单元的帧内预测最优亮度方向、以及步骤S205获取的不同尺寸的视频预测单元的这内预测最优色度方向,对当前独立视频图像帧进行初选、精选或跳过编码,实现了对当前独立视频图像帧的预测编码,加快了对应的视频编码的编码速度,提高了对应的视频编码的编码压缩程度。
这样即完成了本实施例的视频编码方法的对可独立进行解码操作的独立视频图像帧进行帧内预测编码操作的过程。
本实施例的视频编码方法通过对独立视频图像帧采用特定的帧内预测编码优化方法,从而加快了对应的视频编码的编码速度,且提高了对应的视频编码的编码压缩程度。
请参照图5,图5为本发明的视频编码方法的第二实施例的流程图。本实施例的视频编码方法可使用上述的电子设备进行实施,本实施例的视频编码方法可用于对记录本帧和前后帧的差异的双向预测编码帧或记录本帧和前一帧的差异的帧间预测编码帧进行帧内预测编码操作,该帧内预测编码过程包括:
步骤S501,接收视频图像帧,并获取视频图像帧的至少一个树形编码单元;
步骤S502,按不同的视频预测单元划分规则,对树形编码单元进行划分,以获取树形编码单元的不同尺寸的视频预测单元;
步骤S503,根据第一率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向;
步骤S504,根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向;
步骤S505,根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,以得到不同尺寸的视频预测单元的帧内预测最优色度方向;
步骤S506,根据不同尺寸的视频预测单元的帧内预测最优亮度方向、以及不同尺寸的视频预测单元的帧内预测最优色度方向,对当前视频图像帧进行帧内预测编码。
下面详细说明本实施例的视频编码方法的对视频图像帧进行帧内预测编码的过程。
在步骤S501中,视频编码装置接收需要视频编码处理的视频图像帧。随后视频编码装置对视频图像帧中的编码单元进行划分,从而获取至少一个树形编码单元。其中每个树形编码单元均可包括多个视频预测单元。本实施例的视频编码方法通过对各个视频预测单元进行帧内预测编码优化,从而实现了对当前视频图像帧的帧内预测编码优化。
在步骤S502中,视频编码装置按不同的视频预测单元划分规则(如四叉树的递归划分方式)对树形编码单元进行划分,以获取该属性编码单元的不同尺寸的视频预测单元。
在步骤S503中,视频编码装置根据第一率失真评价函数,对步骤S202获取的不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向。
这里的视频预测单元的帧内预测的预测亮度方向包括35种预选的预测亮度方向,这35种预测亮度方向包括Planar模式、DC模式以及33种角度模式。
具体的,如视频预测单元为64*64的视频预测单元,则将上述33个角度模式预测亮度方向划分为5个预测亮度方向区域(其中2个预测亮度方向区域具有重复的2个角度模式预设亮度方向),即每个预测亮度方向区域均具有7个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于7个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的7个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为64*64的视频预测单元的9个帧内预测初选亮度方向。
如视频预测单元为32*32的视频预测单元,则将上述33个角度模式预测亮度方向划分为11个预测亮度方向区域,即每个预测亮度方向区域均具有3个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于3个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的3个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为32*32的视频预测单元的5个帧内预测初选亮度方向。
如视频预测单元为16*16的视频预测单元,则将上述33个角度模式预测亮度方向划分为11个预测亮度方向区域,即每个预测亮度方向区域均具有3个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于3个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的3个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为16*16的视频预测单元的5个帧内预测初选亮度方向。
如视频预测单元为8*8的视频预测单元,则将上述33个角度模式预测亮度方向划分为7个预测亮度方向区域(其中2个预测亮度方向区域具有重复的2个角度模式预设亮度方向),即每个预测亮度方向区域均具有5个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于5个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的5个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为8*8的视频预测单元的7个帧内预测初选亮度方向。
如视频预测单元为4*4的视频预测单元,则将上述33个角度模式预测亮度方向划分为5个预测亮度方向区域(其中2个预测亮度方向区域具有重复的2个角度模式预设亮度方向),即每个预测亮度方向区域均具有7个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于7个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的7个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为4*4的视频预测单元的9个帧内预测初选亮度方向。
在步骤S504中,视频编码装置根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
这里的相关视频预测单元的帧内预测最优亮度方向为当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、上层尺寸的视频预测单元的帧内预测最优亮度方向以及下层尺寸的视频预测单元的帧内预测精选亮度方向中至少一个。
即如视频预测单元为8*8的视频预测单元,则视频编码装置根据第二率失真评价函数,对当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
具体的,视频编码装置将率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。如将8*8的视频预测单元的7个帧内预测初选亮度方向中率失真代价最小的4个8*8的视频预测单元的帧内预测初选亮度方向设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。
随后视频编码装置判断任一优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与任一当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向是否相同;
如判断是,则视频编码装置将初选率失真代价最小的相同的优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比预测初选亮度方向;并根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则视频编码装置根据第二率失真评价函数,对当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
如视频预测单元为4*4的视频预测单元,则视频编码装置根据第二率失真评价函数,对上层尺寸的视频预测单元(8*8的视频预测单元)的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
具体的,视频编码装置将率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。如将4*4的视频预测单元的9个帧内预测初选亮度方向中率失真代价最小的3个4*4的视频预测单元的帧内预测初选亮度方向设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。
随后视频编码装置判断任一优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向是否相同。
如判断是,则视频编码装置将初选率失真代价最小的相同的优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比预测初选亮度方向;并根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则视频编码装置根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
如视频预测单元为16*16、32*32或64*64的视频预测单元,则视频编码装置根据第二率失真评价函数,对下层尺寸的视频预测单元的帧内预测精选亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
具体的,视频编码装置将率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向;如将16*16以及32*32的视频预测单元的5个帧内预测初选亮度方向中率失真代价最小的2个16*16的视频预测单元的帧内预测初选亮度方向设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向;将64*64的视频预测单元的9个帧内预测初选亮度方向中率失真代价最小的1个64*64的视频预测单元的帧内预测初选亮度方向设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。
随后视频编码装置判断任一优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与下层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向是否相同;
如判断是,则视频编码装置将初选率失真代价最小的相同的优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比预测初选亮度方向;并根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则视频编码装置根据第二率失真评价函数,对下层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
这样即完成了各个尺寸的视频预测单元的帧内预测最优亮度方向的设置,具体可先设置8*8的视频预测单元的帧内预测最优亮度方向,然后根据8*8的视频预测单元的帧内预测最优亮度方向设置4*4的视频预测单元的帧内预测最优亮度方向;随后根据8*8的视频预测单元的帧内预测最优亮度方向依次设置16*16、32*32以及64*64的视频预测单元的帧内预测最优亮度方向。
如视频预测单元为4*4的视频预测单元时,视频编码装置还会判断当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价与设定系数(如1.05等)的乘积、是否大于上层尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价;
如小于等于,则继续对其他当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价进行计算;
如大于,则可直接使用上层尺寸的视频预测单元的帧内预测最优亮度方向作为最终输出的亮度方向,因此将当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价设置为预设最大值,以避免将该当前尺寸的视频预测单元的帧内预测最优亮度方向设置为预测结果的输出方向,且停止对当前尺寸的视频预测单元对应的视频编码块的所有视频预测单元进行帧内预测最优亮度方向以及帧内预测最优色度方向的设置。
这里的设定系数的设置一般会略大于1,以避免计算误差导致的当前尺寸的视频预测单元的帧内预测最优亮度方向上的率失真代价的计算错误。
如视频预测单元为4*4的视频预测单元时,视频编码装置还会判断当前尺寸的视频预测单元所属的视频编码块对应的其他视频预测单元的帧内预测最优亮度方向与上层尺寸的视频预测单元的帧内预测精选方向是否一致;
如不一致,则继续对当前尺寸的视频预测单元的帧内预测最优亮度方向上的率失真代价进行计算;
如一致,则可直接使用上层尺寸的视频预测单元的帧内预测最优亮度方向作为最终输出的亮度方向,因此将当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价设置为预设最大值,以避免将该当前尺寸的视频预测单元的帧内预测最优亮度方向设置为预测结果的输出方向,且停止对当前尺寸的视频预测单元对应的视频编码块的所有视频预测单元进行帧内预测最优亮度方向以及帧内预测最优色度方向的设置。
在步骤S505中,视频编码装置根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,得到不同尺寸的视频预测单元的帧内预测最优色度方向。
这里的视频预测单元的帧内预测的预测色度方向包括Planar模式、垂直模式、水平模式、DC模式以及对应亮度分量模式。
其中Planar模式使用水平和垂直方向的两个线性滤波器,并将二者的平均值作为当前块像素的预测值。这一做法能够使预测像素平缓变化,与其他模式相比能够提升视频的主观质量,适用于像素值缓慢变化的区域。
DC模式的当前块像素的预测值由其左侧和上方的参考像素的平均值得到,适用于大面积平坦区域。
垂直模式的当前块像素的预测值由上方的参考像素的平均值得到,适用于垂直条纹的区域。
水平模式的当前块像素的预测值由左方的参考像素的平均值得到,适应于水平条纹的区域。
对应亮度分量模式中的预测色度方向与预测亮度方向一致。
这里视频编码装置可对8*8和4*4的视频预测单元的帧内预测的上述5个模式的预测色度方向进行精选率失真代价的计算,将精选率失真代价最小的预测色度方向作为8*8和4*4的视频预测单元的帧内预测最优色度方向。
在步骤S506中,视频编码装置根据步骤S504获取的不同尺寸的视频预测单元的帧内预测最优亮度方向、以及步骤S505获取的不同尺寸的视频预测单元的这内预测最优色度方向,对当前双向预测编码帧或帧间预测编码帧进行初选、精选或跳过编码,实现了对当前双向预测编码帧或帧间预测编码帧的预测编码,加快了对应的视频编码的编码速度,提高了对应的视频编码的编码压缩程度。
这样即完成了本实施例的视频编码装置的对双向预测编码帧或帧间预测编码帧进行帧内预测编码操作的过程。
本实施例的视频编码方法通过对双向预测编码帧或帧间预测编码帧采用特定的帧内预测编码优化方法,从而加快了对应的视频编码的编码速度,且提高了对应的视频编码的编码压缩程度。
本发明还提供一种视频编码装置,请参照图6,图6为本发明的视频编码装置的第一实施例的结构示意图。本实施例的视频编码装置可使用上述的视频编码方法的第一实施例进行实施,本实施例的视频编码装置60包括树形编码单元获取模块61、视频预测单元获取模块62、帧内预测初选亮度方向确定模块63、帧内预测最优亮度方向设置模块64、帧内预测最优色度方向设置模块65以及帧内预测编码模块66。
树形编码单元获取模块61用于接收视频图像帧,并获取视频图像帧的至少一个树形编码单元;视频预测单元获取模块62用于按不同的视频预测单元划分规则,对树形编码单元进行划分,以获取树形编码单元的不同尺寸的视频预测单元;帧内预测初选亮度方向确定模块63用于根据第一率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向;帧内预测最优亮度方向设置模块64用于根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向;帧内预测最优色度方向设置模块65用于根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,以得到不同尺寸的视频预测单元的帧内预测最优色度方向;帧内预测编码模块66用于根据不同尺寸的视频预测单元的帧内预测最优亮度方向、以及不同尺寸的视频预测单元的帧内预测最优色度方向,对当前视频编码单元进行帧内预测编码。
请参照图7,图7为本发明的视频编码装置的第一实施例的帧内预测最优亮度方向设置模块的结构示意图。该帧内预测最优亮度方向设置模块64包括帧内预测初选亮度方向优化单元71以及帧内预测最优亮度方向设置单元72。
请参照图8,图8为本发明的视频编码装置的第一实施例的帧内预测最优亮度方向设置模块的帧内预测最优亮度方向设置单元的结构示意图。该帧内预测最优亮度方向设置单元72包括帧内预测精选方向设置子单元81。
该帧内预测精选方向设置子单元81用于如视频预测单元为4*4的视频预测单元,判断当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价与设定系数的乘积、大于上层尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价,则将所述当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价设置为预设最大值,且停止对当前尺寸的视频预测单元对应的视频编码块的所有视频预测单元进行帧内预测最优亮度方向以及帧内预测最优色度方向的设置。
请参照图9,图9为本发明的视频编码装置的第一实施例的帧内预测最优色度方向设置模块的结构示意图。该帧内预测最优色度方向设置模块65包括帧内预测最优色度方向设置单元91。该帧内预测最优色度方向设置单元91用于根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优色度方向、以及当前尺寸的视频预测单元相邻视频编码块对应的视频预测单元的帧内预测最优色度方向进行精选,将具有精选率失真代价最小的色度方向作为当前尺寸的视频预测单元的帧内预测最优色度方向。
本实施例的视频编码装置60用于对可独立进行解码操作的独立视频图像帧进行帧内预测编码操作,本实施例的视频编码装置60使用时,首先树形编码单元获取模块61接收需要视频编码处理的视频图像帧。随后树形编码单元获取模块61对视频图像帧中的编码单元进行划分,从而获取至少一个树形编码单元。其中每个树形编码单元均可包括多个视频预测单元。本实施例的视频编码装置60通过对各个视频预测单元进行帧内预测编码优化,从而实现了对当前视频图像帧的帧内预测编码优化。
然后视频预测单元获取模块62按不同的视频预测单元划分规则(如四叉树的递归划分方式)对树形编码单元进行划分,以获取该属性编码单元的不同尺寸的视频预测单元,如获取树形编码单元的64*64的视频预测单元、32*32的视频预测单元、16*16的视频预测单元、8*8的视频预测单元以及4*4的视频预测单元。
随后帧内预测初选亮度方向确定模块63根据第一率失真评价函数(使用SATD(Sumof Absolute Transformed Difference,hadamard变换后再绝对值求和)率失真计算函数),对视频预测单元获取模块62获取的不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向。
这里的视频预测单元的帧内预测的预测亮度方向包括35种预选的预测亮度方向,这35种预测亮度方向包括Planar模式、DC模式以及33种角度模式。
其中Planar模式使用水平和垂直方向的两个线性滤波器,并将二者的平均值作为当前块像素的预测值。这一做法能够使预测像素平缓变化,与其他模式相比能够提升视频的主观质量,适用于像素值缓慢变化的区域。
DC模式的当前块像素的预测值由其左侧和上方的参考像素的平均值得到,适用于大面积平坦区域。
33种角度模式如图4所示,其中V0和H0分别表示垂直和水平方向,其余模式的预测方向都可以看成在垂直或水平方向上做了一个偏移,该偏移角的大小可由模式下方的数字计算得出,以更好的适用于视频内容中不同方向的纹理。
具体的,如视频预测单元为64*64的视频预测单元,则帧内预测初选亮度方向确定模块63将上述33个角度模式预测亮度方向划分为5个预测亮度方向区域(其中2个预测亮度方向区域具有重复的2个角度模式预设亮度方向),即每个预测亮度方向区域均具有7个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于7个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的7个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为64*64的视频预测单元的9个帧内预测初选亮度方向。
如视频预测单元为32*32的视频预测单元,则帧内预测初选亮度方向确定模块63将上述33个角度模式预测亮度方向划分为11个预测亮度方向区域,即每个预测亮度方向区域均具有3个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于3个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的3个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为32*32的视频预测单元的5个帧内预测初选亮度方向。
如视频预测单元为16*16的视频预测单元,则帧内预测初选亮度方向确定模块63将上述33个角度模式预测亮度方向划分为11个预测亮度方向区域,即每个预测亮度方向区域均具有3个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于3个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的3个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为16*16的视频预测单元的5个帧内预测初选亮度方向。
如视频预测单元为8*8的视频预测单元,则帧内预测初选亮度方向确定模块63将上述33个角度模式预测亮度方向划分为7个预测亮度方向区域(其中2个预测亮度方向区域具有重复的2个角度模式预设亮度方向),即每个预测亮度方向区域均具有5个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于5个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的5个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为8*8的视频预测单元的7个帧内预测初选亮度方向。
如视频预测单元为4*4的视频预测单元,则帧内预测初选亮度方向确定模块63将上述33个角度模式预测亮度方向划分为5个预测亮度方向区域(其中2个预测亮度方向区域具有重复的2个角度模式预设亮度方向),即每个预测亮度方向区域均具有7个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于7个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的7个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为4*4的视频预测单元的9个帧内预测初选亮度方向。
由于64*64的视频预测单元为尺寸最大的视频预测单元,为了保证下层尺寸的视频预测单元的预测准确度,因此对于64*64的视频预测单元会设置较多的帧内预测初选亮度方向。4*4和8*8的视频预测单元为尺寸最小的视频预测单元,其较大可能会成为预测结果的输出方向,因此对于4*4和8*8的视频预测单元也会设置较多的帧内预测初选亮度方向。16*16和32*32为中间过渡的视频预测单元,且不会作为预测结果的输出方向,因此可以设置较少的帧内预测初选亮度方向。
这里的率失真代价可使用下式计算:
J=D+λ*R;
其中J为率失真代价,D为当前帧内预测初选亮度方向下的像素失真,R为当前帧内预测初选亮度方向下的所有编码信息(如变换系数、模式信息或宏块划分方式等)所需的比特数,λ为拉格朗日因子。这里的像素失真D通过SATD(Sum of Absolute TransformedDifference,hadamard变换后再绝对值求和)计算。
然后帧内预测初选亮度方向确定模块64根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
这里的相关视频预测单元的帧内预测最优亮度方向为上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向。
即视频编码装置根据第二率失真评价函数(使用SSD(Sum of SquaredDifference,差值的平方和)率失真计算函数),对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
具体的,帧内预测初选亮度方向确定模块64的帧内预测初选亮度方向优化单元71将率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。如将16*16的视频预测单元的5个帧内预测初选亮度方向中率失真代价最小的3个16*16的视频预测单元的帧内预测初选亮度方向设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。
如视频预测单元为64*64、32*32或16*16的视频预测单元,则帧内预测初选亮度方向确定模块64的帧内预测最优亮度方向设置单元72判断当前尺寸的相邻视频预测单元的帧内预测初选亮度方向与任一当前尺寸的相邻视频预测单元的帧内预测最优亮度方向是否相同;
如判断是,则帧内预测最优亮度方向设置单元72将初选率失真代价最小的相同的优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比帧内预测初选亮度方向;并根据第二率失真评价函数(使用SSD(Sum of Squared Difference,差值的平方和)率失真计算函数),对对比帧内预测初选亮度方法、以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
如判断否,则帧内预测最优亮度方向设置单元72根据第二率失真评价函数,对当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
如视频预测单元为8*8或4*4的视频预测单元,则帧内预测初选亮度方向确定模块64的帧内预测最优亮度方向设置单元71判断任一优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向相同;
这里的视频预测单元的相邻视频编码块对应的视频预测单元是相邻视频编码块的视频预测单元,视频预测单元的相邻视频预测单元是指同一视频编码块下的相邻的视频预测单元。
如判断是,则帧内预测最优亮度方向设置单元72将初选率失真代价最小的相同的优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比帧内预测初选亮度方向;并根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则帧内预测最优亮度方向设置单元72根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
这样即完成了各个尺寸的视频预测单元的帧内预测最优亮度方向的设置,具体可先设置64*64的视频预测单元的帧内预测最优亮度方向,然后依次设置32*32、16*16、8*8以及4*4的视频预测单元的帧内预测最优亮度方向。
如视频预测单元为4*4的视频预测单元时,帧内预测最优亮度方向设置单元72的帧内预测精选方向设置子单元81还会判断当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价与设定系数(如1.05等)的乘积、是否大于上层尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价;
如小于等于,则继续对其他当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价进行计算;
如大于,则可直接使用上层尺寸的视频预测单元的帧内预测最优亮度方向作为最终输出的亮度方向,因此将当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价设置为预设最大值,以避免将该当前尺寸的视频预测单元的帧内预测最优亮度方向设置为预测结果的输出方向,且停止对当前尺寸的视频预测单元对应的视频编码块的所有视频预测单元进行帧内预测最优亮度方向以及帧内预测最优色度方向的设置。
这里的设定系数的设置一般会略大于1,以避免计算误差导致的当前尺寸的视频预测单元的帧内预测最优亮度方向上的率失真代价的计算错误。
然后帧内预测最优色度方向设置模块65根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,得到不同尺寸的视频预测单元的帧内预测最优色度方向。
这里的视频预测单元的帧内预测的预测色度方向包括Planar模式、垂直模式、水平模式、DC模式以及对应亮度分量模式。
其中Planar模式使用水平和垂直方向的两个线性滤波器,并将二者的平均值作为当前块像素的预测值。这一做法能够使预测像素平缓变化,与其他模式相比能够提升视频的主观质量,适用于像素值缓慢变化的区域。
DC模式的当前块像素的预测值由其左侧和上方的参考像素的平均值得到,适用于大面积平坦区域。
垂直模式的当前块像素的预测值由上方的参考像素的平均值得到,适用于垂直条纹的区域。
水平模式的当前块像素的预测值由左方的参考像素的平均值得到,适应于水平条纹的区域。
对应亮度分量模式中的预测色度方向与预测亮度方向一致。
这里视频编码装置可对8*8和4*4的视频预测单元的帧内预测的上述5个模式的预测色度方向进行精选率失真代价的计算,将精选率失真代价最小的预测色度方向作为8*8和4*4的视频预测单元的帧内预测最优色度方向。
具体的,帧内预测最优色度方向设置模块65的帧内预测最优色度方向设置单元91还可第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优色度方向、以及当前尺寸的视频预测单元相邻视频编码块对应的视频预测单元的帧内预测最优色度方向进行精选,将具有精选率失真代价最小的色度方向作为当前尺寸的视频预测单元的帧内预测最优色度方向。
即上层尺寸的视频预测单元的帧内预测最优色度方向或当前尺寸的视频预测单元相邻视频编码块对应的视频预测单元的帧内预测最优色度方向与当前尺寸的视频预测单元的帧内预测初选色度方向一致,则帧内预测最优色度方向设置单元可直接将上层尺寸的视频预测单元的帧内预测最优色度方向或当前尺寸的视频预测单元相邻视频编码块对应的视频预测单元的帧内预测最优色度方向作为当前尺寸的视频预测单元的帧内预测最优色度方向。
最后帧内预测编码模块66根据帧内预测最优亮度方向设置模块64获取的不同尺寸的视频预测单元的帧内预测最优亮度方向、以及帧内预测最优色度方向设置模块65获取的不同尺寸的视频预测单元的这内预测最优色度方向,对当前独立视频图像帧进行初选、精选或跳过编码,实现了对当前独立视频图像帧的预测编码,加快了对应的视频编码的编码速度,提高了对应的视频编码的编码压缩程度。
这样即完成了本实施例的视频编码装置60的对可独立进行解码操作的独立视频图像帧进行帧内预测编码操作的过程。
本实施例的视频编码装置通过对独立视频图像帧采用特定的帧内预测编码优化方法,从而加快了对应的视频编码的编码速度,且提高了对应的视频编码的编码压缩程度。
请参照图10,图10为本发明的视频编码装置的第二实施例的结构示意图。本实施例的视频编码装置可使用上述的视频编码方法的第二实施例进行实施,本实施例的视频编码装置100包括树形编码单元获取模块101、视频预测单元获取模块102、帧内预测初选亮度方向确定模块103、帧内预测最优亮度方向设置模块104、帧内预测最优色度方向设置模块105以及帧内预测编码模块106。
树形编码单元获取模块101用于接收视频图像帧,并获取视频图像帧的至少一个树形编码单元;视频预测单元获取模块102用于按不同的视频预测单元划分规则,对树形编码单元进行划分,以获取树形编码单元的不同尺寸的视频预测单元;帧内预测初选亮度方向确定模块103用于根据第一率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向;帧内预测最优亮度方向设置模块104用于根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向;帧内预测最优色度方向设置模块105用于根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,以得到不同尺寸的视频预测单元的帧内预测最优色度方向;帧内预测编码模块106用于根据不同尺寸的视频预测单元的帧内预测最优亮度方向、以及不同尺寸的视频预测单元的帧内预测最优色度方向,对当前视频图像帧进行帧内预测编码。
请参照图11,图11为本发明的视频编码装置的第二实施例的帧内预测最优亮度方向设置模块的结构示意图。该帧内预测最优亮度方向设置模块104包括帧内预测初选亮度方向优化单元111、第一帧内预测最优亮度方向设置单元112、第二帧内预测最优亮度方向设置单元113以及第三帧内预测最优亮度方向设置单元114。
帧内预测初选亮度方向优化单元111用于将率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。
第一帧内预测最优亮度方向设置单元112用于如视频预测单元为8*8的视频预测单元,则判断任一优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与任一当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向是否相同;如判断是,则将初选率失真代价最小的相同的所述优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比预测初选亮度方向;根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;如判断否,则根据第二率失真评价函数,对当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
第二帧内预测最优亮度方向设置单元113用于如视频预测单元为4*4的视频预测单元,则判断任一优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向是否相同;如判断是,则将初选率失真代价最小的相同的优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比预测初选亮度方向;根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;如判断否,则根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
第三帧内预测最优亮度方向设置单元114用于视频预测单元为16*16、32*32或64*64的视频预测单元,则判断任一优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与所述下层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向是否相同;如判断是,则将初选率失真代价最小的相同的优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比预测初选亮度方向;根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;如判断否,则根据第二率失真评价函数,对下层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
请参照图12,图12为本发明的视频编码装置的第二实施例的帧内预测最优亮度方向设置模块的第二帧内预测最优亮度方向设置单元的结构示意图。该第二帧内预测最优亮度方向设置单元113包括第一帧内预测最优亮度方向设置子单元121以及第二帧内预测最优亮度方向设置子单元122。
第一帧内预测最优亮度方向设置子单元121用于确定当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价与设定系数的乘积、大于上层尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价,则将当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价设置为预设最大值,且停止对当前尺寸的视频预测单元对应的视频编码块的所有视频预测单元进行帧内预测最优亮度方向以及帧内预测最优色度方向的设置。第二帧内预测最优亮度方向设置子单元122用于确定当前尺寸的视频预测单元所属视频编码块对应的其他视频预测单元的帧内预测最优亮度方向与上层尺寸的视频预测单元的帧内预测最优亮度方向一致,则将当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价设置为预设最大值,且停止对当前尺寸的视频预测单元对应的视频编码块的所有视频预测单元进行帧内预测最优亮度方向以及帧内预测最优色度方向的设置。
本实施例的视频编码装置100用于对记录本帧和前后帧的差异的双向预测编码帧或记录本帧和前一帧的差异的帧间预测编码帧进行帧内预测编码操作,本实施例的视频编码装置使用时,首先树形编码单元获取模块101接收需要视频编码处理的视频图像帧。随后树形编码单元获取模块101对视频图像帧中的编码单元进行划分,从而获取至少一个树形编码单元。其中每个树形编码单元均可包括多个视频预测单元。本实施例的视频编码方法通过对各个视频预测单元进行帧内预测编码优化,从而实现了对当前视频图像帧的帧内预测编码优化。
随后视频预测单元获取模块102按不同的视频预测单元划分规则(如四叉树的递归划分方式)对树形编码单元进行划分,以获取该属性编码单元的不同尺寸的视频预测单元。
然后帧内预测初选亮度方向确定模块103根据第一率失真评价函数,对视频预测单元获取模块获取的不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向。
这里的视频预测单元的帧内预测的预测亮度方向包括35种预选的预测亮度方向,这35种预测亮度方向包括Planar模式、DC模式以及33种角度模式。
具体的,如视频预测单元为64*64的视频预测单元,则帧内预测初选亮度方向确定模块103将上述33个角度模式预测亮度方向划分为5个预测亮度方向区域其中2个预测亮度方向区域具有重复的2个角度模式预设亮度方向),即每个预测亮度方向区域均具有7个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于7个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的7个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为64*64的视频预测单元的9个帧内预测初选亮度方向。
如视频预测单元为32*32的视频预测单元,则帧内预测初选亮度方向确定模块103将上述33个角度模式预测亮度方向划分为11个预测亮度方向区域,即每个预测亮度方向区域均具有3个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于3个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的3个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为32*32的视频预测单元的5个帧内预测初选亮度方向。
如视频预测单元为16*16的视频预测单元,则帧内预测初选亮度方向确定模块103将上述33个角度模式预测亮度方向划分为11个预测亮度方向区域,即每个预测亮度方向区域均具有3个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于3个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的3个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为16*16的视频预测单元的5个帧内预测初选亮度方向。
如视频预测单元为8*8的视频预测单元,则帧内预测初选亮度方向确定模块103将上述33个角度模式预测亮度方向划分为7个预测亮度方向区域(其中2个预测亮度方向区域具有重复的2个角度模式预设亮度方向),即每个预测亮度方向区域均具有5个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于5个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的5个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为8*8的视频预测单元的7个帧内预测初选亮度方向。
如视频预测单元为4*4的视频预测单元,则帧内预测初选亮度方向确定模块103将上述33个角度模式预测亮度方向划分为5个预测亮度方向区域(其中2个预测亮度方向区域具有重复的2个角度模式预设亮度方向),即每个预测亮度方向区域均具有7个预测亮度方向;并将具有率失真代价最小的中心预测亮度方向(即位于7个预测亮度方向中间的预测亮度方向)对应的预测亮度方向区域中的7个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为4*4的视频预测单元的9个帧内预测初选亮度方向。
随后帧内预测最优亮度方向设置模块104根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
这里的相关视频预测单元的帧内预测最优亮度方向为当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、上层尺寸的视频预测单元的帧内预测最优亮度方向以及下层尺寸的视频预测单元的帧内预测精选亮度方向中至少一个。
即如视频预测单元为8*8的视频预测单元,则帧内预测最优亮度方向设置模块104根据第二率失真评价函数,对当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
具体的,帧内预测最优亮度方向设置模块104的帧内预测初选亮度方向优化单元111将率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。如将8*8的视频预测单元的7个帧内预测初选亮度方向中率失真代价最小的4个8*8的视频预测单元的帧内预测初选亮度方向设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。
帧内预测最优亮度方向设置模块104的第一帧内预测最优亮度方向设置单元112判断任一优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与任一当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向是否相同;
如判断是,则第一帧内预测最优亮度方向设置单元112将初选率失真代价最小的相同的优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比预测初选亮度方向;并根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则第一帧内预测最优亮度方向设置单元112根据第二率失真评价函数,对当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
如视频预测单元为4*4的视频预测单元,则帧内预测最优亮度方向设置模块104第二率失真评价函数,对上层尺寸的视频预测单元(8*8的视频预测单元)的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
具体的,帧内预测最优亮度方向设置模块104的帧内预测初选亮度方向优化单元111将率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。如将4*4的视频预测单元的9个帧内预测初选亮度方向中率失真代价最小的3个4*4的视频预测单元的帧内预测初选亮度方向设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。
帧内预测最优亮度方向设置模块104的第二帧内预测最优亮度方向设置单元113判断任一优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向是否相同;
如判断是,则第二帧内预测最优亮度方向设置单元113将初选率失真代价最小的相同的优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比预测初选亮度方向;并根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则第二帧内预测最优亮度方向设置单元113根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
如视频预测单元为16*16、32*32或64*64的视频预测单元,则帧内预测最优亮度方向设置模块104根据第二率失真评价函数,对下层尺寸的视频预测单元的帧内预测精选亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
具体的,帧内预测最优亮度方向设置模块104的帧内预测初选亮度方向优化单元111将率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向;如将16*16以及32*32的视频预测单元的5个帧内预测初选亮度方向中率失真代价最小的2个16*16的视频预测单元的帧内预测初选亮度方向设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向;将64*64的视频预测单元的9个帧内预测初选亮度方向中率失真代价最小的1个64*64的视频预测单元的帧内预测初选亮度方向设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向。
帧内预测最优亮度方向设置模块104的第三帧内预测最优亮度方向设置单元114判断任一优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与下层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向是否相同;
如判断是,则第三帧内预测最优亮度方向设置单元114将初选率失真代价最小的相同的优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比预测初选亮度方向;并根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则第三帧内预测最优亮度方向设置单元114根据第二率失真评价函数,对下层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
这样即完成了各个尺寸的视频预测单元的帧内预测最优亮度方向的设置,具体可先设置8*8的视频预测单元的帧内预测最优亮度方向,然后根据8*8的视频预测单元的帧内预测最优亮度方向设置4*4的视频预测单元的帧内预测最优亮度方向;随后再根据8*8的视频预测单元的帧内预测最优亮度方向依次设置16*16、32*32以及64*64的视频预测单元的帧内预测最优亮度方向。
如视频预测单元为4*4的视频预测单元时,第二帧内预测最优亮度方向设置单元113的第一帧内预测最优亮度方向设置子单元121还会判断当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价与设定系数(如1.05等)的乘积、是否大于上层尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价;
如小于等于,则继续对其他当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价进行计算;
如大于,则可直接使用上层尺寸的视频预测单元的帧内预测最优亮度方向作为最终输出的亮度方向,因此将当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价设置为预设最大值,以避免将该当前尺寸的视频预测单元的帧内预测最优亮度方向设置为预测结果的输出方向,且停止对当前尺寸的视频预测单元对应的视频编码块的所有视频预测单元进行帧内预测最优亮度方向以及帧内预测最优色度方向的设置。
这里的设定系数的设置一般会略大于1,以避免计算误差导致的当前尺寸的视频预测单元的帧内预测最优亮度方向上的率失真代价的计算错误。
如视频预测单元为4*4的视频预测单元时,第二帧内预测最优亮度方向设置单元113的第二帧内预测最优亮度方向设置子单元122还会判断当前尺寸的视频预测单元所属的视频编码块对应的其他视频预测单元的帧内预测最优亮度方向与上层尺寸的视频预测单元的帧内预测精选方向是否一致;
如不一致,则继续对当前尺寸的视频预测单元的帧内预测最优亮度方向上的率失真代价进行计算;
如一致,则可直接使用上层尺寸的视频预测单元的帧内预测最优亮度方向作为最终输出的亮度方向,因此将当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价设置为预设最大值,以避免将该当前尺寸的视频预测单元的帧内预测最优亮度方向设置为预测结果的输出方向,且停止对当前尺寸的视频预测单元对应的视频编码块的所有视频预测单元进行帧内预测最优亮度方向以及帧内预测最优色度方向的设置。
然后帧内预测最优色度方向设置模块105根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,得到不同尺寸的视频预测单元的帧内预测最优色度方向。
这里的视频预测单元的帧内预测的预测色度方向包括Planar模式、垂直模式、水平模式、DC模式以及对应亮度分量模式。
其中Planar模式使用水平和垂直方向的两个线性滤波器,并将二者的平均值作为当前块像素的预测值。这一做法能够使预测像素平缓变化,与其他模式相比能够提升视频的主观质量,适用于像素值缓慢变化的区域。
DC模式的当前块像素的预测值由其左侧和上方的参考像素的平均值得到,适用于大面积平坦区域。
垂直模式的当前块像素的预测值由上方的参考像素的平均值得到,适用于垂直条纹的区域。
水平模式的当前块像素的预测值由左方的参考像素的平均值得到,适应于水平条纹的区域。
对应亮度分量模式中的预测色度方向与预测亮度方向一致。
这里视频编码装置可对8*8和4*4的视频预测单元的帧内预测的上述5个模式的预测色度方向进行精选率失真代价的计算,将精选率失真代价最小的预测色度方向作为8*8和4*4的视频预测单元的帧内预测最优色度方向。
最后帧内预测编码模块106根据帧内预测最优亮度方向设置模块104获取的不同尺寸的视频预测单元的帧内预测最优亮度方向、以及帧内预测最优色度方向设置模块105获取的不同尺寸的视频预测单元的这内预测最优色度方向,对当前双向预测编码帧或帧间预测编码帧进行初选、精选或跳过编码,实现了对当前双向预测编码帧或帧间预测编码帧的预测编码,加快了对应的视频编码的编码速度,提高了对应的视频编码的编码压缩程度。
这样即完成了本实施例的视频编码装置100的对双向预测编码帧或帧间预测编码帧进行帧内预测编码操作的过程。
本实施例的视频编码装置通过对双向预测编码帧或帧间预测编码帧采用特定的帧内预测编码优化方法,从而加快了对应的视频编码的编码速度,且提高了对应的视频编码的编码压缩程度。
下面通过一具体实施例说明本发明的视频编码方法及视频编码装置的帧内预测编码操作的过程。本具体实施例的视频编码方法以及视频编码装置可设置在视频编码服务器中,用于对各种类型的视频图像帧进行帧内预测编码操作,以加快视频编码的编码速度以及提高视频编码的编码压缩程度。
当本发明的视频编码方法及视频编码装置对可独立进行解码操作的独立视频图像帧进行帧内预测编码操作时,可参照图13,图13为本发明的视频编码方法及视频编码装置对独立视频图像帧进行帧内预测编码操作的具体实施例的流程图。该帧内预测编码操作过程包括:
步骤S1301,输入当前的视频图像帧的树形编码单元(CTU,coding tree unit);
步骤S1302,获取树形编码单元的64*64的视频预测单元、32*32的视频预测单元、16*16的视频预测单元、8*8的视频预测单元以及4*4的视频预测单元;
步骤S1303,根据第一率失真评价函数,对64*64的视频预测单元、32*32的视频预测单元、16*16的视频预测单元、8*8的视频预测单元以及4*4的视频预测单元的帧内预测的预测亮度方向进行初选;
步骤S1304,根据第二率失真评价函数,对64*64的视频预测单元的帧内预测的帧内预测初选亮度方向以及相邻的64*64的视频预测单元的帧内预测最优亮度方向进行精选,以得到64*64的视频预测单元的帧内预测的帧内预测最优亮度方向;
步骤S1305,根据第二率失真评价函数,对32*32的视频预测单元的帧内预测的帧内预测初选亮度方向以及相邻的32*32的视频预测单元的帧内预测最优亮度方向进行精选,以得到32*32的视频预测单元的帧内预测的帧内预测最优亮度方向;
步骤S1306,根据第二率失真评价函数,对16*16的视频预测单元的帧内预测的帧内预测初选亮度方向以及相邻的16*16的视频预测单元的帧内预测最优亮度方向进行精选,以得到16*16的视频预测单元的帧内预测的帧内预测最优亮度方向;
步骤S1307,根据第二率失真评价函数,对8*8的视频预测单元的帧内预测的帧内预测初选亮度方向、上层16*16的视频预测单元的帧内预测的帧内预测最优亮度方向、以及相邻的8*8的视频预测单元的帧内预测的帧内预测最优亮度方向进行精选,以得到8*8的视频预测单元的帧内预测的帧内预测最优亮度方向;
步骤S1308,根据第二率失真评价函数,对4*4的视频预测单元的帧内预测的帧内预测初选亮度方向、上层8*8的视频预测单元的帧内预测的帧内预测最优亮度方向、以及相邻的4*4的视频预测单元的帧内预测的帧内预测最优亮度方向进行精选,以得到4*4的视频预测单元的帧内预测的帧内预测最优亮度方向;
步骤S1309,根据第二率失真评价函数,对8*8和4*4的视频预测单元的帧内预测的预测色度方向进行精选率失真代价的计算,将精选率失真代价最小的预测色度方向作为8*8和4*4的视频预测单元的帧内预测最优色度方向;
步骤S1310,根据步骤S1304-S1308获取的不同尺寸的视频预测单元的帧内预测最优亮度方向、以及步骤S1309获取的不同尺寸的视频预测单元的这内预测最优色度方向,对当前独立视频图像帧进行初选、精选或跳过编码,实现了对当前独立视频图像帧的预测编码,加快了对应的视频编码的编码速度,提高了对应的视频编码的编码压缩程度。
这样即完成了本具体实施例的视频编码方法及视频编码装置对可独立进行解码操作的独立视频图像帧进行帧内预测编码操作的过程。
当本发明的视频编码方法及视频编码装置对双向预测编码帧或帧间预测编码帧进行帧内预测编码操作时,可参照图14,图14为本发明的视频编码方法及视频编码装置对双向预测编码帧或帧间预测编码帧进行帧内预测编码操作的具体实施例的流程图。该帧内预测编码操作过程包括:
步骤S1401,输入当前的视频图像帧的树形编码单元(CTU,coding tree unit);
步骤S1402,获取树形编码单元的64*64的视频预测单元、32*32的视频预测单元、16*16的视频预测单元、8*8的视频预测单元以及4*4的视频预测单元;
步骤S1403,根据第一率失真评价函数,对64*64的视频预测单元、32*32的视频预测单元、16*16的视频预测单元、8*8的视频预测单元以及4*4的视频预测单元的帧内预测的预测亮度方向进行初选。
步骤S1404,根据第二率失真评价函数,对8*8的视频预测单元的帧内预测的帧内预测初选亮度方向以及相邻的8*8的视频预测单元的帧内预测最优亮度方向进行精选,以得到8*8的视频预测单元的帧内预测的帧内预测最优亮度方向;
步骤S1405,根据第二率失真评价函数,对4*4的视频预测单元的帧内预测的帧内预测初选亮度方向、上层8*8的视频预测单元的帧内预测的帧内预测最优亮度方向以及相邻的4*4的视频预测单元的帧内预测最优亮度方向进行精选,以得到4*4的视频预测单元的帧内预测的帧内预测最优亮度方向;
步骤S1406,根据第二率失真评价函数,对16*16的视频预测单元的帧内预测的帧内预测初选亮度方向、下层8*8的视频预测单元的帧内预测的帧内预测最优亮度方向以及相邻的16*16的视频预测单元的帧内预测最优亮度方向进行精选,以得到16*16的视频预测单元的帧内预测的帧内预测最优亮度方向;
步骤S1407,根据第二率失真评价函数,对32*32的视频预测单元的帧内预测的帧内预测初选亮度方向、下层16*16的视频预测单元的帧内预测的帧内预测最优亮度方向以及相邻的32*32的视频预测单元的帧内预测最优亮度方向进行精选,以得到32*32的视频预测单元的帧内预测的帧内预测最优亮度方向;
步骤S1408,根据第二率失真评价函数,对64*64的视频预测单元的帧内预测的帧内预测初选亮度方向、下层32*32的视频预测单元的帧内预测的帧内预测最优亮度方向以及相邻的64*64的视频预测单元的帧内预测最优亮度方向进行精选,以得到64*64的视频预测单元的帧内预测的帧内预测最优亮度方向;
步骤S1409,根据第二率失真评价函数,对8*8和4*4的视频预测单元的帧内预测的预测色度方向进行精选率失真代价的计算,将精选率失真代价最小的预测色度方向作为8*8和4*4的视频预测单元的帧内预测最优色度方向;
步骤S1410,根据步骤S1404-S1408获取的不同尺寸的视频预测单元的帧内预测最优亮度方向、以及步骤S1409获取的不同尺寸的视频预测单元的这内预测最优色度方向,对当前独立视频图像帧进行初选、精选或跳过编码,实现了对当前独立视频图像帧的预测编码,加快了对应的视频编码的编码速度,提高了对应的视频编码的编码压缩程度。
这样即完成了本具体实施例的视频编码方法及视频编码装置对双向预测编码帧或帧间预测编码帧进行帧内预测编码操作的过程。
本发明的视频编码方法、视频编码装置及存储介质通过对独立视频图像帧和非独立视频图像帧(如双向预测编码帧或帧间预测编码帧)采用不同的帧内预测编码优化方法,从而加快了对应的视频编码的编码速度,且提高了对应的视频编码的编码压缩程度;有效的解决了现有的视频编码方法及视频编码装置中的编码块的帧内块预测优化不好,容易出现编码提速不明显且压缩率大幅下降的技术问题。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体:硬件、硬件和软件的组合、软件或执行中的软件。例如,组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示,运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内,并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
图15和随后的讨论提供了对实现本发明所述的视频编码装置所在的电子设备的工作环境的简短、概括的描述。图15的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1512包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境,等等。
尽管没有要求,但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块,比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地,该计算机可读指令的功能可以在各种环境中随意组合或分布。
图15图示了包括本发明的视频编码装置中的一个或多个实施例的电子设备1512的实例。在一种配置中,电子设备1512包括至少一个处理单元1516和存储器1518。根据电子设备的确切配置和类型,存储器1518可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图15中由虚线1514图示。
在其他实施例中,电子设备1512可以包括附加特征和/或功能。例如,设备1512还可以包括附加的存储装置(例如可移除和/或不可移除的),其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图15中由存储装置1520图示。在一个实施例中,用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1520中。存储装置1520还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1518中由例如处理单元1516执行。
本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1518和存储装置1520是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1512访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1512的一部分。
电子设备1512还可以包括允许电子设备1512与其他设备通信的通信连接1526。通信连接1526可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备1512连接到其他电子设备的其他接口。通信连接1526可以包括有线连接或无线连接。通信连接1526可以发射和/或接收通信媒体。
术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据,并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号:该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。
电子设备1512可以包括输入设备1524,比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备1512中也可以包括输出设备1522,比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备1524和输出设备1522可以经由有线连接、无线连接或其任意组合连接到电子设备1512。在一个实施例中,来自另一个电子设备的输入设备或输出设备可以被用作电子设备1512的输入设备1524或输出设备1522。
电子设备1512的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中,电子设备1512的组件可以通过网络互连。例如,存储器1518可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。
本领域技术人员将认识到,用于存储计算机可读指令的存储设备可以跨越网络分布。例如,可经由网络1528访问的电子设备1530可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1512可以访问电子设备1530并且下载计算机可读指令的一部分或所有以供执行。可替代地,电子设备1512可以按需要下载多条计算机可读指令,或者一些指令可以在电子设备1512处执行并且一些指令可以在电子设备1530处执行。
本文提供了实施例的各种操作。在一个实施例中,所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令,其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且,应当理解,不是所有操作必需在本文所提供的每个实施例中存在。
而且,尽管已经相对于一个或多个实现方式示出并描述了本公开,但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型,并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能,用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示),即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外,尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开,但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且,就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言,这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器,磁盘或光盘等。上述的各装置或系统,可以执行相应方法实施例中的方法。
综上所述,虽然本发明已以实施例揭露如上,实施例前的序号仅为描述方便而使用,对本发明各实施例的顺序不造成限制。并且,上述实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。

Claims (18)

1.一种视频编码方法,其特征在于,包括:
接收视频图像帧,并获取所述视频图像帧的至少一个树形编码单元;
按不同的视频预测单元划分规则,对所述树形编码单元进行划分,以获取所述树形编码单元的不同尺寸的视频预测单元;
根据第一率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向;
根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向;
根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,以得到不同尺寸的视频预测单元的帧内预测最优色度方向;以及
根据不同尺寸的视频预测单元的帧内预测最优亮度方向、以及不同尺寸的视频预测单元的帧内预测最优色度方向,对当前视频编码单元进行帧内预测编码。
2.根据权利要求1所述的视频编码方法,其特征在于,当所述视频图像帧为独立进行解码操作的独立视频图像帧时,所述根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向的步骤包括:
根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
3.根据权利要求2所述的视频编码方法,其特征在于,所述按不同的视频预测单元划分规则,对所述树形编码单元进行划分,以获取所述树形编码单元的不同尺寸的视频预测单元的步骤包括:
按不同的视频预测单元划分规则,对所述树形编码单元进行划分,以获取所述树形编码单元的64*64的视频预测单元、32*32的视频预测单元、16*16的视频预测单元、8*8的视频预测单元以及4*4的视频预测单元。
4.根据权利要求3所述的视频编码方法,其特征在于,所述根据第一率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向的步骤包括:
如所述视频预测单元为64*64的视频预测单元,则将33个角度模式预测亮度方向划分为5个预测亮度方向区域;并将具有初选率失真代价最小的中心预测亮度方向对应的预测亮度方向区域中的7个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为64*64的视频预测单元的9个帧内预测初选亮度方向;
如所述视频预测单元为32*32的视频预测单元,则将33个角度模式预测亮度方向划分为11个预测亮度方向区域;并将具有初选率失真代价最小的中心预测亮度方向对应的预测亮度方向区域中的3个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为32*32的视频预测单元的5个帧内预测初选亮度方向;
如所述视频预测单元为16*16的视频预测单元,则将33个角度模式预测亮度方向划分为11个预测亮度方向区域;并将具有初选率失真代价最小的中心预测亮度方向对应的预测亮度方向区域中的3个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为16*16的视频预测单元的5个帧内预测初选亮度方向;
如所述视频预测单元为8*8的视频预测单元,则将33个角度模式预测亮度方向划分为7个预测亮度方向区域,并将具有初选率失真代价最小的中心预测亮度方向对应的预测亮度方向区域中的5个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为8*8的视频预测单元的7个帧内预测初选亮度方向;
如所述视频预测单元为4*4的视频预测单元,则将33个角度模式预测亮度方向划分为5个预测亮度方向区域;并将具有初选率失真代价最小的中心预测亮度方向对应的预测亮度方向区域中的7个预测亮度方向、Planar模式预测亮度方向以及DC模式预测亮度方向设定为4*4的视频预测单元的9个帧内预测初选亮度方向。
5.根据权利要求3所述的视频编码方法,其特征在于,所述根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向的步骤包括:
将初选率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向;
如所述视频预测单元为64*64、32*32或16*16的视频预测单元,则判断任一所述优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与任一所述当前尺寸的相邻视频预测单元的帧内预测最优亮度方向相同;
如判断是,则将初选率失真代价最小的相同的所述优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比帧内预测初选亮度方向;根据第二率失真评价函数,对对比帧内预测初选亮度方向、以及初选率失真代价小于所述对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则根据第二率失真评价函数,对所述当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如所述视频预测单元为8*8或4*4的视频预测单元,则判断任一所述优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与所述上层尺寸的视频预测单元的帧内预测最优亮度方向、所述当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、所述当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向相同;
如判断是,则将初选率失真代价最小的相同的所述优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比帧内预测初选亮度方向;根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于所述对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则根据第二率失真评价函数,对所述上层尺寸的视频预测单元的帧内预测最优亮度方向、所述当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、所述当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
6.根据权利要求5所述的视频编码方法,其特征在于,如所述视频预测单元为4*4的视频预测单元,确定当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价与设定系数的乘积、大于上层尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价,则将所述当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价设置为预设最大值,且停止对当前尺寸的视频预测单元对应的视频编码块的其他视频预测单元进行帧内预测最优亮度方向以及帧内预测最优色度方向的设置。
7.根据权利要求1所述的视频编码方法,其特征在于,所述根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,以得到不同尺寸的视频预测单元的帧内预测最优色度方向的步骤包括:
根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优色度方向、以及当前尺寸的视频预测单元相邻视频编码块对应的视频预测单元的帧内预测最优色度方向进行精选,将具有精选率失真代价最小的色度方向作为当前尺寸的视频预测单元的帧内预测最优色度方向。
8.根据权利要求1所述的视频编码方法,其特征在于,当所述视频图像帧为双向预测编码帧或前向预测编码帧时,所述根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向的步骤包括:
如所述视频预测单元为8*8的视频预测单元,则根据第二率失真评价函数,对当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向;
如所述视频预测单元为4*4的视频预测单元,则根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向;
如所述视频预测单元为16*16、32*32或64*64的视频预测单元,则根据第二率失真评价函数,对下层尺寸的视频预测单元的帧内预测精选亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
9.根据权利要求8所述的视频编码方法,其特征在于,所述如所述视频预测单元为8*8的视频预测单元,则根据第二率失真评价函数,对当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向的步骤包括:
将率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向;
判断任一所述优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与任一所述当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向是否相同;
如判断是,则将初选率失真代价最小的相同的所述优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比预测初选亮度方向;根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于所述对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则根据第二率失真评价函数,对所述当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
10.根据权利要求8所述的视频编码方法,其特征在于,所述如所述视频预测单元为4*4的视频预测单元,则根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向的步骤包括:
将率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向;
判断任一所述优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与所述上层尺寸的视频预测单元的帧内预测最优亮度方向、所述当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向是否相同;
如判断是,则将初选率失真代价最小的相同的所述优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比预测初选亮度方向;根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于所述对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则根据第二率失真评价函数,对所述上层尺寸的视频预测单元的帧内预测最优亮度方向、所述当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
11.根据权利要求10所述的视频编码方法,其特征在于,确定当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价与设定系数的乘积、大于上层尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价,则将所述当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价设置为预设最大值,且停止对当前尺寸的视频预测单元对应的视频编码块的所有视频预测单元进行帧内预测最优亮度方向以及帧内预测最优色度方向的设置。
12.根据权利要求10所述的视频编码方法,其特征在于,确定当前尺寸的视频预测单元所属视频编码块对应的其他视频预测单元的帧内预测最优亮度方向与上层尺寸的视频预测单元的帧内预测最优亮度方向一致,则将所述当前尺寸的视频预测单元的帧内预测最优亮度方向上的精选率失真代价设置为预设最大值,且停止对当前尺寸的视频预测单元对应的视频编码块的所有视频预测单元进行帧内预测最优亮度方向以及帧内预测最优色度方向的设置。
13.根据权利要求8所述的视频编码方法,其特征在于,所述如所述视频预测单元为16*16、32*32或64*64的视频预测单元,则根据第二率失真评价函数,对下层尺寸的视频预测单元的帧内预测精选亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向的步骤包括:
将率失真代价较小的设定数量的当前尺寸的视频预测单元的帧内预测初选亮度方向,设定为优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向;
判断任一所述优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向与所述下层尺寸的视频预测单元的帧内预测最优亮度方向、所述当前尺寸的相邻视频预测单元的帧内预测最优亮度方向中任一亮度方向是否相同;
如判断是,则将初选率失真代价最小的相同的所述优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向设置为对比预测初选亮度方向;根据第二率失真评价函数,对对比帧内预测初选亮度方向以及初选率失真代价小于所述对比帧内预测初选亮度方向的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向;
如判断否,则根据第二率失真评价函数,对所述下层尺寸的视频预测单元的帧内预测最优亮度方向、所述当前尺寸的相邻视频预测单元的帧内预测最优亮度方向以及优化后的当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,将具有精选率失真代价最小的亮度方向作为当前尺寸的视频预测单元的帧内预测最优亮度方向。
14.一种视频编码装置,其特征在于,包括:
树形编码单元获取模块,用于接收视频图像帧,并获取所述视频图像帧的至少一个树形编码单元;
视频预测单元获取模块,用于按不同的视频预测单元划分规则,对所述树形编码单元进行划分,以获取所述树形编码单元的不同尺寸的视频预测单元;
帧内预测初选亮度方向确定模块,用于根据第一率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测亮度方向进行初选,以得到不同尺寸的视频预测单元的设定数量的帧内预测初选亮度方向;
帧内预测最优亮度方向设置模块,用于根据第二率失真评价函数,对相关视频预测单元的帧内预测最优亮度方向以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向;
帧内预测最优色度方向设置模块,用于根据第二率失真评价函数,对不同尺寸的视频预测单元的帧内预测的预测色度方向进行精选,以得到不同尺寸的视频预测单元的帧内预测最优色度方向;以及
帧内预测编码模块,用于根据不同尺寸的视频预测单元的帧内预测最优亮度方向、以及不同尺寸的视频预测单元的帧内预测最优色度方向,对当前视频编码单元进行帧内预测编码。
15.根据权利要求14所述的视频编码装置,其特征在于,当所述视频图像帧为独立进行解码操作的独立视频图像帧时,所述帧内预测最优亮度方向设置模块用于根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的视频预测单元的相邻视频编码块对应的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
16.根据权利要求14所述的视频编码装置,其特征在于,当所述视频图像帧为双向预测编码帧或前向预测编码帧时,所述帧内预测最优亮度方向设置模块用于:
如所述视频预测单元为8*8的视频预测单元,则根据第二率失真评价函数,对当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向;如所述视频预测单元为4*4的视频预测单元,则根据第二率失真评价函数,对上层尺寸的视频预测单元的帧内预测最优亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向;如所述视频预测单元为16*16、32*32或64*64的视频预测单元,则根据第二率失真评价函数,对下层尺寸的视频预测单元的帧内预测精选亮度方向、当前尺寸的相邻视频预测单元的帧内预测最优亮度方向、以及当前尺寸的视频预测单元的帧内预测初选亮度方向进行精选,以得到当前尺寸的视频预测单元的帧内预测最优亮度方向。
17.一种存储介质,其内存储有处理器可执行指令,所述指令由一个或一个以上处理器加载,以执行如权利要求1-13中任一的视频编码方法。
18.一种电子设备,包括处理器和存储器,所述存储器有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至13任一项所述的视频编码方法。
CN201810413949.2A 2018-05-03 2018-05-03 视频编码方法、视频编码装置、电子设备及存储介质 Active CN110213576B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810413949.2A CN110213576B (zh) 2018-05-03 2018-05-03 视频编码方法、视频编码装置、电子设备及存储介质
EP19796418.2A EP3758373B1 (en) 2018-05-03 2019-04-03 Video encoding method, electronic device, and storage medium
JP2020555773A JP7046219B2 (ja) 2018-05-03 2019-04-03 ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム
PCT/CN2019/081239 WO2019210760A1 (zh) 2018-05-03 2019-04-03 视频编码方法、视频编码装置、电子设备及存储介质
US16/939,928 US11032552B2 (en) 2018-05-03 2020-07-27 Video encoding method, video encoding apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810413949.2A CN110213576B (zh) 2018-05-03 2018-05-03 视频编码方法、视频编码装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110213576A true CN110213576A (zh) 2019-09-06
CN110213576B CN110213576B (zh) 2023-02-28

Family

ID=67778832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810413949.2A Active CN110213576B (zh) 2018-05-03 2018-05-03 视频编码方法、视频编码装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US11032552B2 (zh)
EP (1) EP3758373B1 (zh)
JP (1) JP7046219B2 (zh)
CN (1) CN110213576B (zh)
WO (1) WO2019210760A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572679A (zh) * 2019-09-27 2019-12-13 腾讯科技(深圳)有限公司 帧内预测的编码方法、装置、设备及可读存储介质
CN110913215A (zh) * 2019-12-03 2020-03-24 北京数码视讯软件技术发展有限公司 一种预测模式的选择方法及装置、可读存储介质
CN113436161A (zh) * 2021-06-22 2021-09-24 北京金山云网络技术有限公司 即时通信视频的处理方法、装置和电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225556B (zh) * 2021-05-31 2024-06-21 杭州当虹科技股份有限公司 视频编码方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309408A (zh) * 2008-06-13 2008-11-19 青岛海信电子产业控股股份有限公司 一种亮度块帧内预测模式选择方法
CN101964906A (zh) * 2009-07-22 2011-02-02 北京工业大学 基于纹理特性的快速帧内预测方法和装置
CN103281541A (zh) * 2013-05-10 2013-09-04 北方工业大学 基于深度图像的帧内预测楔形分块方法
CN103338371A (zh) * 2013-06-07 2013-10-02 东华理工大学 一种快速高效率视频编码帧内模式判决方法
CN104581181A (zh) * 2013-10-11 2015-04-29 中国科学院深圳先进技术研究院 一种基于备选模式列表优化的帧内编码方法
CN104954788A (zh) * 2014-03-27 2015-09-30 浙江大华技术股份有限公司 Hevc帧内预测模式选择方法及装置
CN105208387A (zh) * 2015-10-16 2015-12-30 浙江工业大学 一种hevc帧内预测模式快速选择方法
CN105657420A (zh) * 2015-12-30 2016-06-08 邦彦技术股份有限公司 一种面向hevc的快速帧内预测模式判决方法和装置
WO2017192995A1 (en) * 2016-05-06 2017-11-09 Vid Scale, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
CN107509076A (zh) * 2017-08-25 2017-12-22 中国软件与技术服务股份有限公司 一种面向超高清视频的编码优化方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101029A1 (en) * 2011-10-21 2013-04-25 Texas Instruments Incorporated Multimedia data encoding
JP2015035659A (ja) * 2013-08-07 2015-02-19 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム
KR20150027530A (ko) * 2013-09-04 2015-03-12 한국전자통신연구원 Hevc 부호화 장치 및 이를 이용한 부호화 방법
JP2016092458A (ja) * 2014-10-29 2016-05-23 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
KR20170135847A (ko) * 2015-04-08 2017-12-08 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
US10038917B2 (en) * 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
US20160373770A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding
US10681379B2 (en) * 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
CN105791863B (zh) * 2016-03-24 2018-11-30 西安电子科技大学 基于层的3d-hevc深度图帧内预测编码方法
CN106131548B (zh) * 2016-07-28 2018-12-25 同观科技(深圳)有限公司 一种帧内预测模式的选择方法及装置
US11095893B2 (en) * 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309408A (zh) * 2008-06-13 2008-11-19 青岛海信电子产业控股股份有限公司 一种亮度块帧内预测模式选择方法
CN101964906A (zh) * 2009-07-22 2011-02-02 北京工业大学 基于纹理特性的快速帧内预测方法和装置
CN103281541A (zh) * 2013-05-10 2013-09-04 北方工业大学 基于深度图像的帧内预测楔形分块方法
CN103338371A (zh) * 2013-06-07 2013-10-02 东华理工大学 一种快速高效率视频编码帧内模式判决方法
CN104581181A (zh) * 2013-10-11 2015-04-29 中国科学院深圳先进技术研究院 一种基于备选模式列表优化的帧内编码方法
CN104954788A (zh) * 2014-03-27 2015-09-30 浙江大华技术股份有限公司 Hevc帧内预测模式选择方法及装置
CN105208387A (zh) * 2015-10-16 2015-12-30 浙江工业大学 一种hevc帧内预测模式快速选择方法
CN105657420A (zh) * 2015-12-30 2016-06-08 邦彦技术股份有限公司 一种面向hevc的快速帧内预测模式判决方法和装置
WO2017192995A1 (en) * 2016-05-06 2017-11-09 Vid Scale, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
CN107509076A (zh) * 2017-08-25 2017-12-22 中国软件与技术服务股份有限公司 一种面向超高清视频的编码优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ABRAMOWSKI ANDRZEJ ED ET AL: "A survey over possible intra prediction optimizations in the H.265/HEVC encoder", 《 PROCEEDINGS OF SPIE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572679A (zh) * 2019-09-27 2019-12-13 腾讯科技(深圳)有限公司 帧内预测的编码方法、装置、设备及可读存储介质
CN110913215A (zh) * 2019-12-03 2020-03-24 北京数码视讯软件技术发展有限公司 一种预测模式的选择方法及装置、可读存储介质
CN110913215B (zh) * 2019-12-03 2022-04-12 北京数码视讯软件技术发展有限公司 一种预测模式的选择方法及装置、可读存储介质
CN113436161A (zh) * 2021-06-22 2021-09-24 北京金山云网络技术有限公司 即时通信视频的处理方法、装置和电子设备

Also Published As

Publication number Publication date
US11032552B2 (en) 2021-06-08
WO2019210760A1 (zh) 2019-11-07
EP3758373B1 (en) 2023-09-20
JP2021519027A (ja) 2021-08-05
CN110213576B (zh) 2023-02-28
EP3758373A4 (en) 2021-04-28
EP3758373A1 (en) 2020-12-30
US20200359032A1 (en) 2020-11-12
JP7046219B2 (ja) 2022-04-01

Similar Documents

Publication Publication Date Title
US11968386B2 (en) Picture prediction method and related apparatus
US20200244986A1 (en) Picture prediction method and related apparatus
KR102073638B1 (ko) 픽처 예측 방법 및 픽처 예측 장치
CN110213576A (zh) 视频编码方法、视频编码装置、电子设备及存储介质
US10455229B2 (en) Prediction mode selection method, apparatus and device
CN104620582A (zh) 利用连续坐标系的运动补偿和运动估计
CN105681795B (zh) 用于对帧序列进行视频编码的方法和编码器
CN106961604B (zh) 视频编码的码率分配、编码单元码率分配方法及装置
CN104702955B (zh) 屏幕视频的预测编码的方法与系统
CN108737841A (zh) 编码单元深度确定方法及装置
CN112087629A (zh) 图像预测方法及相关装置
CN104581177B (zh) 一种结合块匹配和串匹配的图像压缩方法和装置
CN111182303A (zh) 共享屏幕的编码方法、装置、计算机可读介质及电子设备
CN106961603A (zh) 帧内编码帧码率分配方法和装置
CN104539949B (zh) Hevc屏幕编码中基于边缘方向的快速分块的方法及装置
WO2023028965A1 (en) Hardware codec accelerators for high-performance video encoding
CN109429064A (zh) 一种处理视频数据的方法和装置
WO2022169377A1 (en) Switchable dense motion vector field interpolation
CN109495742B (zh) 一种视频帧编码方法、装置及设备
CN110035288A (zh) 对视频序列进行编码的方法、编码装置和存储介质
CN112738522A (zh) 视频编码方法、装置
CN115442617A (zh) 一种基于视频编码的视频处理方法和装置
CN107306353B (zh) 图像空间预测模式选择方法及装置、图像压缩方法及设备
KR20210103561A (ko) 인터 예측 방법 및 장치
US20240357090A1 (en) Chroma-from-luma mode selection for high-performance video encoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant