CN110708546A - 多功能视频编码的帧内模式选择划分方法、系统及存储介质 - Google Patents

多功能视频编码的帧内模式选择划分方法、系统及存储介质 Download PDF

Info

Publication number
CN110708546A
CN110708546A CN201910894106.3A CN201910894106A CN110708546A CN 110708546 A CN110708546 A CN 110708546A CN 201910894106 A CN201910894106 A CN 201910894106A CN 110708546 A CN110708546 A CN 110708546A
Authority
CN
China
Prior art keywords
value
intra
coding unit
gradient
prediction modes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910894106.3A
Other languages
English (en)
Other versions
CN110708546B (zh
Inventor
梁凡
曹健
唐娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN201910894106.3A priority Critical patent/CN110708546B/zh
Publication of CN110708546A publication Critical patent/CN110708546A/zh
Application granted granted Critical
Publication of CN110708546B publication Critical patent/CN110708546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了多功能视频编码的帧内模式选择划分方法、系统及存储介质，方法包括：计算输入的编码单元的梯度值；根据计算的梯度值确定所述编码单元具有简单纹理时，将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第二数值；根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式；确定粗选模式决策阶段需要跳过的帧内预测模式数量为0时，将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第三数值；确定粗选模式决策阶段需要跳过的帧内预测模式数量不为0时，将率失真优化阶段检查帧内预测模式的数量维持为第一数值；其中，第一数值＞第三数值＞第二数值。本发明降低了编码时间，可广泛应用于视频编码领域。

Description

多功能视频编码的帧内模式选择划分方法、系统及存储介质
技术领域
本发明涉及视频编码领域，尤其是一种多功能视频编码的帧内模式选择划分方法、系统 及存储介质。
背景技术
H.266/Versatile Video Coding(简称VVC，多功能视频编码)，是新一代的视频编码标准， 目前仍在制定阶段。和上一代标准H.265/HEVC相比，VVC保留了HEVC的基于块预测的技 术框架，同时引入了很多新技术和编码工具，比如，VVC在intra coding(帧内预测)上引进 了Quadtree with Nested Multi-type Tree Using Binary and Ternary Splits(QTMT)、Position Dependent Intra Prediction Combination(PDPC)、Intra Sub-Partitions(ISP)等。
VVC的帧内角度预测模式从HEVC中的33种提升到现在的65种，加上DC模式和Planar 模式，VVC的帧内预测模式(Intra Prediction Modes，IPM)的数量已经提升至67种。从这 67种帧内预测模式中选出唯一的最优帧内预测模式是一个非常耗时的过程。即使目前VVC 已经采纳了名为粗选模式决策(Rough Modes Decision，RMD)的方法来降低选择最优帧内 预测模式的时间，但是其仍然有继续优化、继续降低编码时间的空间。
发明内容
为解决上述技术问题，本发明实施例的目的在于：提供一种多功能视频编码的帧内模式 选择划分方法、系统及存储介质，以降低编码时间，提升编码效率。
本发明实施例第一方面所采取的技术方案是：
多功能视频编码的帧内模式选择划分方法，包括以下步骤：
计算输入的编码单元的梯度值；
根据计算的梯度值确定所述编码单元具有简单纹理时，将率失真优化阶段检查帧内预测 模式的数量由第一数值降低为第二数值，所述编码单元具有简单纹理包括编码单元的水平梯 度值小于等于第一阈值、编码单元的垂直梯度值小于等于第一阈值以及编码单元的垂直梯度 值与水平梯度值的绝对值之和小于等于第二阈值中的任一种；
根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式；
确定粗选模式决策阶段需要跳过的帧内预测模式数量为0时，将率失真优化阶段检查帧 内预测模式的数量由第一数值降低为第三数值；
确定粗选模式决策阶段需要跳过的帧内预测模式数量不为0时，将率失真优化阶段检查 帧内预测模式的数量维持为第一数值；
其中，第一数值＞第三数值＞第二数值。
进一步，所述计算输入的编码单元的梯度值这一步骤，具体包括：
输入编码单元作为当前编码单元；
分别计算当前编码单元每个像素沿水平方向、垂直方向、45度方向和135度方向的梯度 值；
根据计算的梯度值、当前编码单元的宽度和当前编码单元的高度分别计算当前编码单元 沿水平方向、垂直方向、45度方向和135度方向的梯度值的平均值。
进一步，所述根据计算的梯度值确定所述编码单元具有简单纹理时，将率失真优化阶段 检查帧内预测模式的数量由第一数值降低为第二数值这一步骤，具体包括：
求所述编码单元沿水平方向梯度值的平均值与沿垂直方向梯度值的平均值的商或差值；
判断求得的商或差值是否小于等于第一阈值，若是，则判定所述编码单元具有简单纹理， 此时将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第二数值；反之，则判定 所述编码单元不具有简单纹理，此时执行根据计算的梯度值确定粗选模式决策阶段需要跳过 的帧内预测模式这一步骤。
进一步，所述根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式这一步 骤，具体包括：
将所述编码单元沿水平方向梯度值的平均值除以沿垂直方向梯度值的平均值，得到第一 商；或者将所述编码单元沿水平方向梯度值的平均值减去沿垂直方向梯度值的平均值，得到 第一差值；
确定第一商或第一差值大于等于第三阈值时，判定粗选模式决策阶段需要跳过的帧内预 测模式为与垂直方向最近邻的若干个帧内预测模式。
进一步，所述根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式这一步 骤，具体包括：
将所述编码单元沿垂直方向梯度值的平均值除以沿水平方向梯度值的平均值，得到第二 商；或者将所述编码单元沿垂直方向梯度值的平均值减去沿水平方向梯度值的平均值，得到 第二差值；
确定第二商或第二差值大于等于第四阈值时，判定粗选模式决策阶段需要跳过的帧内预 测模式为与水平方向最近邻的若干个帧内预测模式。
进一步，所述根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式这一步 骤，具体包括：
将所述编码单元沿45度方向梯度值的平均值除以沿135度方向梯度值的平均值，得到第 三商；或者将所述编码单元沿45度方向梯度值的平均值减去沿135度方向梯度值的平均值， 得到第三差值；
确定第三商或第三差值大于等于第五阈值时，判定粗选模式决策阶段需要跳过的帧内预 测模式为与135度方向最近邻的若干个帧内预测模式。
进一步，所述根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式这一步 骤，具体包括：
将所述编码单元沿135度方向梯度值的平均值除以沿45度方向梯度值的平均值，得到第 四商；或者将所述编码单元沿135度方向梯度值的平均值减去沿45度方向梯度值的平均值， 得到第四差值；
确定第四商或第四差值大于等于第六阈值时，判定粗选模式决策阶段需要跳过的帧内预 测模式为与45度方向最近邻的若干个帧内预测模式。
本发明实施例第二方面所采取的技术方案是：
多功能视频编码的帧内模式选择划分系统，包括：
梯度值计算单元，用于计算输入的编码单元的梯度值；
第一率失真优化处理单元，用于根据计算的梯度值确定所述编码单元具有简单纹理时， 将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第二数值，所述编码单元具有 简单纹理包括编码单元的水平梯度值小于等于第一阈值、编码单元的垂直梯度值小于等于第 一阈值以及编码单元的垂直梯度值与水平梯度值的绝对值之和小于等于第二阈值中的任一 种；
帧内预测模式跳过判决单元，用于根据计算的梯度值确定粗选模式决策阶段需要跳过的 帧内预测模式；
第二率失真优化处理单元，用于确定粗选模式决策阶段需要跳过的帧内预测模式数量为 0时，将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第三数值；
第三率失真优化处理单元，用于确定粗选模式决策阶段需要跳过的帧内预测模式数量不 为0时，将率失真优化阶段检查帧内预测模式的数量维持为第一数值；
其中，第一数值＞第三数值＞第二数值。
本发明实施例第三方面所采取的技术方案是：
多功能视频编码的帧内模式选择划分系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的 多功能视频编码的帧内模式选择划分方法。
本发明实施例第四方面所采取的技术方案是：
存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行 时用于实现所述的多功能视频编码的帧内模式选择划分方法。
上述本发明实施例中的一个或多个技术方案具有如下优点：本发明实施例根据编码单元 的梯度值这一图像纹理特征，在编码单元具有简单纹理或粗选模式决策阶段不需要跳过帧内 预测模式时将率失真优化阶段检查帧内预测模式的数量由第一数值降低；在粗选模式决策阶 段需要跳过某些帧内预测模式时将率失真优化阶段检查帧内预测模式的数量维持不变，基于 图像纹理特征通过粗选模式决策阶段跳过某些帧内预测模式或率失真优化阶段降低检查的模 式数量的方式，对帧内预测的流程进行了分层次的优化，在保证编码质量的前提下，节省了 编码时间，提升了编码效率。
附图说明
图1为一个编码单元的示意图；
图2为图1的分区结果和帧内预测模式示意图；
图3为本发明实施例提供的多功能视频编码的帧内模式选择划分方法流程图；
图4为本发明具体实施例基于纹理的帧内预测模式快速选择算法的流程图；
图5为图1的水平梯度图；
图6为图1的垂直梯度图；
图7为图1在RMD阶段跳过检查的IPM示意图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中 的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的 各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
首先对本发明所涉及的算法原理和相关理论进行说明：
(一)基于纹理的帧内预测模式快速选择算法设计原理
根据先验知识，帧内预测模式IPM的方向与图像纹理的方向有很强的关联性。如图1和2所示，图1的编码单元具有明显的垂直纹理，图2为图1对应的分区结果和IPM，图2中 红色实箭头的IPM编号为50，灰色虚箭头的IPM编号为51。从图2可以看出，显然其划分 方向均为垂直划分，且IPM方向都在垂直方向附近。本发明提出的基于纹理的帧内预测模式 快速选择方法也利用了该联系。
(二)Sobel算子计算梯度值和梯度值的平均值
索贝尔算子Sobel是一阶差分算子，具有平滑的作用，可提供较为精确的边缘方向信息， 是边缘检测中最重要的算子之一，被广泛运用在图像处理、计算机视觉等方面。
本发明的梯度值和梯度值的平均值可通过Sobel算子计算得到，可使用的Sobel算子包括 水平、垂直、45度和135度共四个方向，每个方向的梯度值可以分别使用一个3×3大小的 Sobel卷积核计算得到，如下式(1)所示：
Figure BDA0002209682880000051
其中，Ghor、Gver、G45、G135分别表示水平、垂直、45度、135度的梯度值；P表 示当前图像的亮度像素矩阵；*表示卷积运算。
而编码单元CU四个方向梯度值的平均值的计算公式如下：
Figure BDA0002209682880000061
其中，w和h分别表示编码单元CU的宽和高度；Ghor(x,y)、Gver(x,y)、G45(x,y) 和G135(x,y)分别表示CU沿水平、垂直、45度和135度方向位置(x,y)处像素点的梯度值；
Figure BDA0002209682880000062
分别表示CU沿水平、垂直、45度、135度方向梯度值的平均值。
基于前述理论，如图3所示，本发明实施例提供了一种多功能视频编码的帧内模式选择 划分方法，包括以下步骤：
S101、计算输入的编码单元的梯度值；
具体地，输入的编码单元的梯度值可包括水平、垂直、45度、135度方向的梯度值以及 这四个方向梯度值的平均值。这些梯度值和梯度值的平均值可以利用公式(1)和(2)分别 计算出来。而根据先验知识，编码单元的纹理值可以等于编码单元的垂直梯度值的绝对值加 上编码单元的水平梯度值的绝对值。
S102、根据计算的梯度值确定所述编码单元具有简单纹理时，将率失真优化阶段检查帧 内预测模式的数量由第一数值降低为第二数值，所述编码单元具有简单纹理包括编码单元的 水平梯度值小于等于第一阈值、编码单元的垂直梯度值小于等于第一阈值以及编码单元的垂 直梯度值与水平梯度值的绝对值之和小于等于第二阈值中的任一种；
具体地，编码单元包含了多个像素，为了更好地体现编码单元整体的纹理特征，可取编 码单元所有像素的平均值来代表编码单元的纹理情况，另外还可以取编码单元垂直梯度值的 绝对值与垂直梯度值的绝对值之和来获得编码单元的纹理。故本实施例在编码单元的水平梯 度值小于等于第一阈值、编码单元的垂直梯度值小于等于第一阈值以及编码单元的垂直梯度 值与水平梯度值的绝对值之和小于等于第二阈值这三种情况中的任一种均可以认为编码单元 的内部纹理不复杂(即具有简单纹理)，在这种情况下，由于纹理简单且内容同质化，即使率 失真优化阶段检查帧内预测模式IPM的数量下降，预测误差也基本不会增加，但是编码时间 却可以得到有效地下降。第一阈值和第二阈值均可根据实际的需要预先设定。
S103、根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式；
具体地，由于水平与垂直方向相反，45度与135度方向相反，基于计算的梯度值这一图 像纹理特征，本实施例在水平、垂直、45度、135度方向这4个方向中某个方向具有明显的 纹理特征时，相反方向附近的那些帧内预测模式IPM对预测误差影响较小，故可以跳过这些 模式来节省编码时间。
S104、确定粗选模式决策阶段需要跳过的帧内预测模式数量为0时，将率失真优化阶段 检查帧内预测模式的数量由第一数值降低为第三数值；
具体地，在粗选模式决策RMD阶段需要跳过的帧内预测模式数量为0(即不需要在粗选 模式决策阶段跳过某些模式)时，由于RMD阶段已对各帧内预测模式进行了粗选，可通过 降低率失真优化阶段检查帧内预测模式的数量来节省编码时间。
S105、确定粗选模式决策阶段需要跳过的帧内预测模式数量不为0时，将率失真优化阶 段检查帧内预测模式的数量维持为第一数值；
其中，第一数值＞第三数值＞第二数值。
具体地，第一数值、第二数值和第三数值可预先设定，例如第一数值＝3，第三数值＝2， 第二数值＝1。在粗选模式决策RMD阶段需要跳过的帧内预测模式数量不为0(即需要在粗选 模式决策阶段跳过某些模式)时，本实施例可使得率失真优化阶段(RD check)检查IPM的 数量Num_RDcheck维持不变，防止预测误差过大导致视频质量极速下降，同时也通过RMD 阶段跳过某些模式节省了编码时间。
由上述内容可见，本实施例利用梯度值这一图像纹理特性对帧内预测的流程进行了分层 次的优化，既改进了粗选模式决策阶段(RMD)，也优化了率失真优化阶段，可以保证在编 码质量变化不大的情形下，有效降低编码时间。本实施例在编码单元具有简单纹理或粗选模 式决策阶段不需要跳过帧内预测模式时将率失真优化阶段检查帧内预测模式的数量由第一数 值降低；在粗选模式决策阶段需要跳过某些帧内预测模式时将率失真优化阶段检查帧内预测 模式的数量维持不变，基于图像纹理特征通过粗选模式决策阶段跳过某些帧内预测模式或率 失真优化阶段降低检查的模式数量的方式，对帧内预测的流程进行了分层次的优化，在保证 编码质量的情况下，节省了编码时间，提升了编码效率，在视频编码领域具有较广的应用前 景。
进一步作为优选的实施方式，所述计算输入的编码单元的梯度值这一步骤S101，具体包 括：
S1011、输入编码单元作为当前编码单元；
S1012、分别计算当前编码单元每个像素沿水平方向、垂直方向、45度方向和135度方 向的梯度值；
S1013、根据计算的梯度值、当前编码单元的宽度和当前编码单元的高度分别计算当前编 码单元沿水平方向、垂直方向、45度方向和135度方向的梯度值的平均值。
具体地，本实施例可以采用索贝尔算子来根据公式(1)和(2)计算4个方向的梯度值 和梯度值的平均值，以便于后续基于纹理特征进行分层次的优化。
进一步作为优选的实施方式，所述根据计算的梯度值确定所述编码单元具有简单纹理时， 将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第二数值这一步骤S102，具体 包括：
S1021、求所述编码单元沿水平方向梯度值的平均值与沿垂直方向梯度值的平均值的商或 差值；
具体地，编码单元沿水平方向梯度值的平均值与沿垂直方向梯度值的平均值的商或差值 反映了编码单元内部的纹理差异。
S1022、判断求得的商或差值是否小于等于第一阈值，若是，则判定所述编码单元具有简 单纹理，此时将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第二数值；反之， 则判定所述编码单元不具有简单纹理，此时执行根据计算的梯度值确定粗选模式决策阶段需 要跳过的帧内预测模式这一步骤S103。
具体地，求得的商或差值小于等于第一阈值，代表编码单元的内部纹理不复杂(即具有 简单纹理)，在这种情况下，由于纹理简单且内容同质化，即使率失真优化阶段检查帧内预测 模式IPM的数量下降，预测误差也基本不会增加，但是编码时间却可以得到有效地下降。
进一步作为优选的实施方式，所述根据计算的梯度值确定粗选模式决策阶段需要跳过的 帧内预测模式这一步骤S103，具体包括：
S10311、将所述编码单元沿水平方向梯度值的平均值除以沿垂直方向梯度值的平均值， 得到第一商；或者将所述编码单元沿水平方向梯度值的平均值减去沿垂直方向梯度值的平均 值，得到第一差值；
具体地，第一商或第一差值反映了编码单元内部的纹理差异。
S10312、确定第一商或第一差值大于等于第三阈值时，判定粗选模式决策阶段需要跳过 的帧内预测模式为与垂直方向最近邻的若干个帧内预测模式。
具体地，第一商或第一差值大于等于第三阈值(可预先设定)，代表编码单元的水平纹理 特征明显，垂直纹理特征不明显，此时，垂直方向附近的那些帧内预测模式IPM对预测误差 影响较小，故本实施例可跳过垂直方向附近的那些帧内预测模式，从而节省编码时间。
进一步作为优选的实施方式，所述根据计算的梯度值确定粗选模式决策阶段需要跳过的 帧内预测模式这一步骤S103，具体包括：
S10321、将所述编码单元沿垂直方向梯度值的平均值除以沿水平方向梯度值的平均值， 得到第二商；或者将所述编码单元沿垂直方向梯度值的平均值减去沿水平方向梯度值的平均 值，得到第二差值；
具体地，第二商或第二差值反映了编码单元内部的纹理差异。
S10322、确定第二商或第二差值大于等于第四阈值时，判定粗选模式决策阶段需要跳过 的帧内预测模式为与水平方向最近邻的若干个帧内预测模式。
具体地，第二商或第二差值大于等于第四阈值(可预先设定)，代表编码单元的垂直纹理 特征明显，水平纹理特征不明显，此时，水平方向附近的那些帧内预测模式IPM对预测误差 影响较小，故本实施例可跳过水平方向附近的那些帧内预测模式，从而节省编码时间。
进一步作为优选的实施方式，所述根据计算的梯度值确定粗选模式决策阶段需要跳过的 帧内预测模式这一步骤S103，具体包括：
S10331、将所述编码单元沿45度方向梯度值的平均值除以沿135度方向梯度值的平均值， 得到第三商；或者将所述编码单元沿45度方向梯度值的平均值减去沿135度方向梯度值的平 均值，得到第三差值；
具体地，第三商或第三差值反映了编码单元内部的纹理差异。
S10332、确定第三商或第三差值大于等于第五阈值时，判定粗选模式决策阶段需要跳过 的帧内预测模式为与135度方向最近邻的若干个帧内预测模式。
具体地，第三商或第三差值大于等于第五阈值(可预先设定)，代表编码单元的45度方 向纹理特征明显，135度方向纹理特征不明显，此时，135度方向附近的那些帧内预测模式IPM 对预测误差影响较小，故本实施例可跳过135度方向附近的那些帧内预测模式，从而节省编 码时间。
进一步作为优选的实施方式，所述根据计算的梯度值确定粗选模式决策阶段需要跳过的 帧内预测模式这一步骤S103，具体包括：
S10341、将所述编码单元沿135度方向梯度值的平均值除以沿45度方向梯度值的平均值， 得到第四商；或者将所述编码单元沿135度方向梯度值的平均值减去沿45度方向梯度值的平 均值，得到第四差值；
具体地，第四商或第五差值反映了编码单元内部的纹理差异。
S10342、确定第四商或第四差值大于等于第六阈值时，判定粗选模式决策阶段需要跳过 的帧内预测模式为与45度方向最近邻的若干个帧内预测模式。
具体地，第四商或第四差值大于等于第六阈值(可预先设定)，代表编码单元的135度方 向纹理特征明显，45度方向纹理特征不明显，此时，45度方向附近的那些帧内预测模式IPM 对预测误差影响较小，本实施例可跳过45度方向附近的那些帧内预测模式，从而节省编码时 间。
如图4所示，以基于Sobel算子来计算编码单元CU的梯度值的平均值并通过该平均值 来判断是CU否具有简单纹理，第一数值＝3，第三数值＝2，第二数值＝1，不同方向的纹理差 异通过作商的方式来确定为例，本具体实施例基于纹理的帧内预测模式快速选择算法具体包 括以下步骤：
首先，按照公式(2)计算当前CU四个方向梯度值的平均值；
其次，判断当前CU是否具有简单纹理，判断方法如公式(3)所示。
Figure BDA0002209682880000101
其中，threshold1为第一阈值，可预先设定。
若flag_simple为1，表示是简单纹理，此时，将率失真优化阶段(RD check)检查帧内 预测模式(IPM)的数量Num_RDcheck由3降至1。在这种情况下，由于纹理简单且内容同质化，即使Num_RDcheck下降，预测误差也基本不会增加，但是编码时间却可以得到有效 地下降。
然后，根据当前CU四个方向梯度值的平均值的相互关系，判断在粗选模式决策阶段 (RMD)是否需要跳过检查某些帧内预测模式IPM。
图1、图2、图5、图6和图7展示了一个RMD跳过检查水平IPM的例子，可以根据公 式(4)判断出图1的编码单元具有明显的垂直纹理(flag_skip_hor为1)，然后在RMD 阶段，编码器会跳过检查水平方向附近的IPM(方向编号为10-26，如图7中Skip部分所示)， 来节省编码时间。判断是否跳过其他方向(垂直、45度和135度)附近的IPM的方法和公式 (4)相似，只要根据对应方向的平均梯度值进行判断即可，此处不再赘述。
Figure BDA0002209682880000111
其中，threshold4为第四阈值，可预先设定。
最后，如果按照前一步骤描述的方法决定在RMD阶段跳过检查某些IPM，则率失真优 化阶段(RD check)检查IPM的数量Num_RDcheck维持3不变，防止预测误差过大导致视频质量极速下降；否则(即在RMD阶段不跳过检查某些IPM)，Num_RDcheck由3降为2， 以节省编码时间。
综上所述，本具体实施例所述的基于纹理的帧内预测模式快速选择算法对帧内预测的流 程进行了分层次的优化，既改进了粗选模式决策阶段(RMD)，也优化了率失真优化阶段(RD check)。这种充分利用图像纹理特性且有层次的修改可以保证在编码码率(即编码质量)变 化不大的情形下，有效降低编码时间。实际的实验测试结果表明，本具体实施例的帧内预测 模式快速选择算法可以降低大约46％的编码时间，且编码性能下降很小。
基于图3的方法，本发明实施例还提供了一种多功能视频编码的帧内模式选择划分系统， 包括：
梯度值计算单元，用于计算输入的编码单元的梯度值；
第一率失真优化处理单元，用于根据计算的梯度值确定所述编码单元具有简单纹理时， 将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第二数值，所述编码单元具有 简单纹理包括编码单元的水平梯度值小于等于第一阈值、编码单元的垂直梯度值小于等于第 一阈值以及编码单元的垂直梯度值与水平梯度值的绝对值之和小于等于第二阈值中的任一 种；
帧内预测模式跳过判决单元，用于根据计算的梯度值确定粗选模式决策阶段需要跳过的 帧内预测模式；
第二率失真优化处理单元，用于确定粗选模式决策阶段需要跳过的帧内预测模式数量为 0时，将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第三数值；
第三率失真优化处理单元，用于确定粗选模式决策阶段需要跳过的帧内预测模式数量不 为0时，将率失真优化阶段检查帧内预测模式的数量维持为第一数值；
其中，第一数值＞第三数值＞第二数值。
基于图3的方法，本发明实施例还提供了一种多功能视频编码的帧内模式选择划分系统， 包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的 多功能视频编码的帧内模式选择划分方法。
本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可 执行的指令在由处理器执行时用于实现所述的多功能视频编码的帧内模式选择划分方法。
上述方法实施例中的内容均适用于本系统以及存储介质实施例中，本系统以及存储介质 实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所 达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领 域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的 变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.多功能视频编码的帧内模式选择划分方法，其特征在于：包括以下步骤：
计算输入的编码单元的梯度值；
根据计算的梯度值确定所述编码单元具有简单纹理时，将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第二数值，所述编码单元具有简单纹理包括编码单元的水平梯度值小于等于第一阈值、编码单元的垂直梯度值小于等于第一阈值以及编码单元的垂直梯度值与水平梯度值的绝对值之和小于等于第二阈值中的任一种；
根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式；
确定粗选模式决策阶段需要跳过的帧内预测模式数量为0时，将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第三数值；
确定粗选模式决策阶段需要跳过的帧内预测模式数量不为0时，将率失真优化阶段检查帧内预测模式的数量维持为第一数值；
其中，第一数值＞第三数值＞第二数值。
2.根据权利要求1所述的多功能视频编码的帧内模式选择划分方法，其特征在于：所述计算输入的编码单元的梯度值这一步骤，具体包括：
输入编码单元作为当前编码单元；
分别计算当前编码单元每个像素沿水平方向、垂直方向、45度方向和135度方向的梯度值；
根据计算的梯度值、当前编码单元的宽度和当前编码单元的高度分别计算当前编码单元沿水平方向、垂直方向、45度方向和135度方向的梯度值的平均值。
3.根据权利要求2所述的多功能视频编码的帧内模式选择划分方法，其特征在于：所述根据计算的梯度值确定所述编码单元具有简单纹理时，将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第二数值这一步骤，具体包括：
求所述编码单元沿水平方向梯度值的平均值与沿垂直方向梯度值的平均值的商或差值；
判断求得的商或差值是否小于等于第一阈值，若是，则判定所述编码单元具有简单纹理，此时将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第二数值；反之，则判定所述编码单元不具有简单纹理，此时执行根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式这一步骤。
4.根据权利要求2所述的多功能视频编码的帧内模式选择划分方法，其特征在于：所述根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式这一步骤，具体包括：
将所述编码单元沿水平方向梯度值的平均值除以沿垂直方向梯度值的平均值，得到第一商；或者将所述编码单元沿水平方向梯度值的平均值减去沿垂直方向梯度值的平均值，得到第一差值；
确定第一商或第一差值大于等于第三阈值时，判定粗选模式决策阶段需要跳过的帧内预测模式为与垂直方向最近邻的若干个帧内预测模式。
5.根据权利要求2所述的多功能视频编码的帧内模式选择划分方法，其特征在于：所述根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式这一步骤，具体包括：
将所述编码单元沿垂直方向梯度值的平均值除以沿水平方向梯度值的平均值，得到第二商；或者将所述编码单元沿垂直方向梯度值的平均值减去沿水平方向梯度值的平均值，得到第二差值；
确定第二商或第二差值大于等于第四阈值时，判定粗选模式决策阶段需要跳过的帧内预测模式为与水平方向最近邻的若干个帧内预测模式。
6.根据权利要求2所述的多功能视频编码的帧内模式选择划分方法，其特征在于：所述根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式这一步骤，具体包括：
将所述编码单元沿45度方向梯度值的平均值除以沿135度方向梯度值的平均值，得到第三商；或者将所述编码单元沿45度方向梯度值的平均值减去沿135度方向梯度值的平均值，得到第三差值；
确定第三商或第三差值大于等于第五阈值时，判定粗选模式决策阶段需要跳过的帧内预测模式为与135度方向最近邻的若干个帧内预测模式。
7.根据权利要求2所述的多功能视频编码的帧内模式选择划分方法，其特征在于：所述根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式这一步骤，具体包括：
将所述编码单元沿135度方向梯度值的平均值除以沿45度方向梯度值的平均值，得到第四商；或者将所述编码单元沿135度方向梯度值的平均值减去沿45度方向梯度值的平均值，得到第四差值；
确定第四商或第四差值大于等于第六阈值时，判定粗选模式决策阶段需要跳过的帧内预测模式为与45度方向最近邻的若干个帧内预测模式。
8.多功能视频编码的帧内模式选择划分系统，其特征在于：包括：
梯度值计算单元，用于计算输入的编码单元的梯度值；
第一率失真优化处理单元，用于根据计算的梯度值确定所述编码单元具有简单纹理时，将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第二数值，所述编码单元具有简单纹理包括编码单元的水平梯度值小于等于第一阈值、编码单元的垂直梯度值小于等于第一阈值以及编码单元的垂直梯度值与水平梯度值的绝对值之和小于等于第二阈值中的任一种；
帧内预测模式跳过判决单元，用于根据计算的梯度值确定粗选模式决策阶段需要跳过的帧内预测模式；
第二率失真优化处理单元，用于确定粗选模式决策阶段需要跳过的帧内预测模式数量为0时，将率失真优化阶段检查帧内预测模式的数量由第一数值降低为第三数值；
第三率失真优化处理单元，用于确定粗选模式决策阶段需要跳过的帧内预测模式数量不为0时，将率失真优化阶段检查帧内预测模式的数量维持为第一数值；
其中，第一数值＞第三数值＞第二数值。
9.多功能视频编码的帧内模式选择划分系统，其特征在于：包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述的多功能视频编码的帧内模式选择划分方法。
10.存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-7任一项所述的多功能视频编码的帧内模式选择划分方法。
CN201910894106.3A 2019-09-20 2019-09-20 多功能视频编码的帧内模式选择划分方法、系统及存储介质 Active CN110708546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910894106.3A CN110708546B (zh) 2019-09-20 2019-09-20 多功能视频编码的帧内模式选择划分方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910894106.3A CN110708546B (zh) 2019-09-20 2019-09-20 多功能视频编码的帧内模式选择划分方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110708546A true CN110708546A (zh) 2020-01-17
CN110708546B CN110708546B (zh) 2021-12-07

Family

ID=69195912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910894106.3A Active CN110708546B (zh) 2019-09-20 2019-09-20 多功能视频编码的帧内模式选择划分方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110708546B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112689146A (zh) * 2020-12-18 2021-04-20 重庆邮电大学 一种基于启发学习的vvc帧内预测快速模式选择方法
CN113115042A (zh) * 2021-03-26 2021-07-13 中山大学 一种基于isp优化的帧内决策方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964906A (zh) * 2009-07-22 2011-02-02 北京工业大学 基于纹理特性的快速帧内预测方法和装置
CN102665079A (zh) * 2012-05-08 2012-09-12 北方工业大学 用于hevc的自适应快速帧内预测模式决策
CN102843559A (zh) * 2012-09-12 2012-12-26 清华大学 基于纹理特性的hevc帧内预测模式的快速选择方法及装置
CN103297781A (zh) * 2013-06-07 2013-09-11 安科智慧城市技术（中国）有限公司 一种基于纹理方向的hevc帧内编码方法、装置和系统
CN103517069A (zh) * 2013-09-25 2014-01-15 北京航空航天大学 一种基于纹理分析的hevc帧内预测快速模式选择方法
US20150245068A1 (en) * 2014-02-21 2015-08-27 Industry-Academic Cooperation Foundation, Yonsei University Tsm rate-distortion optimizing method, encoding method and device using the same, and apparatus for processing picture
CN105391999A (zh) * 2015-10-30 2016-03-09 北京奇艺世纪科技有限公司 一种编码模式判断方法和装置
US20180103251A1 (en) * 2016-10-07 2018-04-12 Industrial Technology Research Institute Method for selecting prediction mode of intra prediction, video encoding device and image processing apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964906A (zh) * 2009-07-22 2011-02-02 北京工业大学 基于纹理特性的快速帧内预测方法和装置
CN102665079A (zh) * 2012-05-08 2012-09-12 北方工业大学 用于hevc的自适应快速帧内预测模式决策
CN102843559A (zh) * 2012-09-12 2012-12-26 清华大学 基于纹理特性的hevc帧内预测模式的快速选择方法及装置
CN103297781A (zh) * 2013-06-07 2013-09-11 安科智慧城市技术（中国）有限公司 一种基于纹理方向的hevc帧内编码方法、装置和系统
CN103517069A (zh) * 2013-09-25 2014-01-15 北京航空航天大学 一种基于纹理分析的hevc帧内预测快速模式选择方法
US20150245068A1 (en) * 2014-02-21 2015-08-27 Industry-Academic Cooperation Foundation, Yonsei University Tsm rate-distortion optimizing method, encoding method and device using the same, and apparatus for processing picture
CN105391999A (zh) * 2015-10-30 2016-03-09 北京奇艺世纪科技有限公司 一种编码模式判断方法和装置
US20180103251A1 (en) * 2016-10-07 2018-04-12 Industrial Technology Research Institute Method for selecting prediction mode of intra prediction, video encoding device and image processing apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112689146A (zh) * 2020-12-18 2021-04-20 重庆邮电大学 一种基于启发学习的vvc帧内预测快速模式选择方法
CN113115042A (zh) * 2021-03-26 2021-07-13 中山大学 一种基于isp优化的帧内决策方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110708546B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN110691254B (zh) 一种多功能视频编码的快速判决方法、系统及存储介质
JP7302009B2 (ja) クロスコンポーネントモードの利用可能性に対する制約
CN110650338B (zh) 一种多功能视频编码帧内划分方法、系统及存储介质
CN108184115B (zh) Hevc帧内cu划分和pu预测模式选择方法及系统
US7406208B2 (en) Edge enhancement process and system
CN110730343B (zh) 一种多功能视频编码帧间划分方法、系统及存储介质
KR100788023B1 (ko) 움직임 벡터 추정 시스템 및 그 방법
US20110286522A1 (en) Selecting encoding types and predictive modes for encoding video data
JP4194479B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
WO2015139165A1 (en) Encoder-side decisions for screen content encoding
AU2014408223A1 (en) Hash-based encoder decisions for video coding
CN110708546B (zh) 多功能视频编码的帧内模式选择划分方法、系统及存储介质
KR101643026B1 (ko) 비디오 이미지들 내의 블러를 계산하기 위한 방법 및 장치
US20240031576A1 (en) Method and apparatus for video predictive coding
JP6953067B2 (ja) 符号化単位分割決定方法及び装置、コンピューティングデバイス及び読み取り可能な記憶媒体
US20150172702A1 (en) Fractional-pel interpolation filter method, filter device and electronic device using the same
EP3621303B1 (en) Processing method and device for video encoding, and storage medium
EP3970374A1 (en) Methods and apparatus for prediction refinement with optical flow
Ni et al. High efficiency intra CU partition and mode decision method for VVC
US20100074336A1 (en) Fractional motion estimation engine
US7085427B2 (en) Image filter processing apparatus and method
WO2020258052A1 (zh) 图像分量预测方法、装置及计算机存储介质
EP3972257A1 (en) Processing method for motion compensation, encoder, decoder and storage medium
EP3952308B1 (en) Image component prediction method and device, and computer storage medium
WO2023193551A1 (en) Method and apparatus for dimd edge detection adjustment, and encoder/decoder including the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant