CN110650338B - 一种多功能视频编码帧内划分方法、系统及存储介质 - Google Patents

一种多功能视频编码帧内划分方法、系统及存储介质 Download PDF

Info

Publication number
CN110650338B
CN110650338B CN201910895030.6A CN201910895030A CN110650338B CN 110650338 B CN110650338 B CN 110650338B CN 201910895030 A CN201910895030 A CN 201910895030A CN 110650338 B CN110650338 B CN 110650338B
Authority
CN
China
Prior art keywords
current coding
edge
horizontal
vertical
division mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910895030.6A
Other languages
English (en)
Other versions
CN110650338A (zh
Inventor
梁凡
唐娜
曹健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201910895030.6A priority Critical patent/CN110650338B/zh
Publication of CN110650338A publication Critical patent/CN110650338A/zh
Application granted granted Critical
Publication of CN110650338B publication Critical patent/CN110650338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种多功能视频编码帧内划分方法、系统及存储介质，方法包括：采用边缘提取算法提取编码树单元的边缘特征；根据当前编码树单元的边缘特征得到当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征；根据当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征，进行编码单元的划分决策。本发明利用了编码单元的边缘纹理特征来跳过某些划分方式，减少了编码时间，提升了编码效率；根据当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征来跳过水平二叉划分方式和水平三叉划分方式或跳过垂直二叉划分方式和垂直三叉划分方式，编码质量更高。本发明可广泛应用于视频编码领域。

Description

一种多功能视频编码帧内划分方法、系统及存储介质
技术领域
本发明涉及视频编码领域，尤其是一种多功能视频编码帧内划分方法、系统及存储介质。
背景技术
ITU-T VCEG和ISO/IEC MPEG成立了Joint Video Exploration Team(JVET)工作组，该工作组主要是为了研究未来视频编码标准的潜在需求。在JVET的发展过程中，形成了新一代的视频编码标准Versatile Video Coding(VVC，多功能视频编码)。许多新的编码技术在VVC中已经被研究采纳，例如Quadtree with nested multi-type tree(QTMT)，Position Dependent intra Prediction Combination(PDPC)，Affine MotionCompensation Prediction(AMCP)等。这些技术能够很好地提升编码性能，但是也极大地增加了编码时间。因此，有必要找到一种有效的算法，以实现编码效率和编码时间之间更好的权衡。
在VVC中，每个编码树单元(Coding Tree Unit,CTU)被分割成编码单元(CodingUnit,CU)以适应各种局部纹理的特征。QTMT支持更灵活的CU划分形状，CU可以是正方形或者矩形：首先，利用四叉树对CTU进行划分。然后，可以用二叉、三叉或者四叉树结构对四叉树叶节点进行进一步划分，其中二叉和三叉树这二种结构统称为多树结构。二叉树结构包括垂直和水平二叉划分，而三叉树结构包括垂直和水平三叉划分。图1是一个CTU划分成CU的示意图。在VVC中，QTMT结构采用率失真优化(Rate-distortion Optimization,RDO)方法来确定所有块的最佳划分方式：首先，将当前的CU看为一个叶子节点，不进行任何分割，然后尝试各种模式进行预测和变换，最后选择并存储最佳模式的RD(率失真)代价。其次，根据划分模式将CU分为两个、三个或四个子块。然后，递归地执行RDO过程，以确定这些子块的最佳划分方式。最后，选择RD代价最低的那个作为最好的划分方式。然而，该划分方式整个递归的过程非常耗时。
目前VVC的参考软件VTM中，仅有少数关于QTMT的快速划分算法。例如，在进行帧内预测编码时，VTM中有一种帧内快速划分算法将CU的最佳划分方式的选择作为一个多分类问题，从全局纹理、局部纹理和图像内容信息这三类信息中选取特征，并且选择决策树作为分类器，这样能明显加快划分过程。这种方式选择了决策树作为分类器，直接从水平二叉划分方式、垂直二叉划分方式、水平三叉选择划分方式、垂直三叉划分方式和四叉树划分方式中选择一种划分方式而跳过其他划分方式，这种方式虽然能加快编码速度和节省编码时间，但其只选择一种划分方式来进行帧内划分的做法会增大编码的BD-rate(表示在同等视频质量的情况下，码率的变化情况)，减小编码的PSNR(即峰值信噪比)，导致编码性能变差。
发明内容
为解决上述技术问题，本发明实施例的目的在于：提供一种多功能视频编码帧内划分方法、系统及存储介质，以在保证编码性能的同时提升编码效率。
第一方面，本发明实施例所采取的技术方案是：
一种多功能视频编码帧内划分方法，包括以下步骤：
采用边缘提取算法提取编码树单元的边缘特征；
根据当前编码树单元的边缘特征得到当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征；
根据当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征，进行编码单元的划分决策，所述进行编码单元的划分决策包括：确定编码单元的垂直边缘纹理特征大于水平边缘纹理特征时，跳过水平二叉划分方式和水平三叉划分方式；确定编码单元的垂直边缘纹理特征小于水平边缘纹理特征时，跳过垂直二叉划分方式和垂直三叉划分方式。
进一步，所述边缘提取算法为基于块的Canny算法，所述采用边缘提取算法提取编码树单元的边缘特征这一步骤，具体包括：
从输入的图像中选择编码树单元；
对选择的编码树单元进行高斯滤波；
采用索贝尔算子计算高斯滤波后的编码树单元的梯度幅值图像和角度图像；
对计算的梯度幅值图像进行非最大值抑制处理，得到非最大值抑制图像；
对非最大值抑制图像进行双阈值处理和连接分析，得到编码树单元的边缘图像，其中双阈值处理时采用的阈值上界和阈值下界均为预设值。
进一步，所述根据当前编码树单元的边缘特征得到当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征这一步骤，具体包括：
将当前编码树单元划分为4个编码单元，并根据当前编码树单元的边缘特征得到4个编码单元的边缘特征；
从4个编码单元中选择任一个编码单元作为当前编码单元；
根据当前编码单元的边缘特征计算当前编码单元的垂直边缘纹理特征；
根据当前编码单元的边缘特征计算当前编码单元的水平边缘纹理特征；
根据当前编码单元的边缘特征计算当前编码单元的纹理特征密度。
具体地，根据VCC的帧内预测编码要求，一开始必须先对编码树单元CTU进行一次四叉树划分变成四个64*64大小的编码单元CU，后面可以再对大小小于等于64*64的CU进行QTMT树划分类型的划分后变成一个个的子CU。故可通过对当前编码树单元进行四叉树划分来得到当前编码树单元的4个编码单元。
由于4个编码单元均来自当前编码树单元，所以这4个编码单元的边缘图像也可以根据当前编码树单元的边缘图像得到，即可根据当前编码树单元的边缘特征得到4个编码单元的边缘特征。
进一步，所述边缘提取算法为Canny算法，所述根据当前编码单元的边缘特征计算当前编码单元的垂直边缘纹理特征这一步骤，具体包括：
确定当前编码单元经Canny算法提取后得到的边缘图像中任一点的纹理值，进而得到所述边缘图像中每一列的垂直边缘特征分量；
从得到的每一列的垂直边缘特征分量中找出垂直边缘特征分量最大值和垂直边缘特征分量最小值；
根据垂直边缘特征分量最大值和垂直边缘特征分量最小值计算当前编码单元的垂直边缘纹理特征。
具体地，所述当前编码单元的垂直边缘纹理特征的计算公式为：
Figure BDA0002209934800000031
其中，(x,y)为当前编码单元经Canny算法提取后得到的边缘图像中点的坐标，canny(x,y)为坐标(x,y)处的Canny特征值，vei和vej分别为当前编码单元经Canny算法提取后得到的边缘图像中第i列和第j列的垂直边缘特征分量，w和h分别为当前编码单元的宽度和高度，VE为当前编码单元的垂直边缘纹理特征。
进一步，所述边缘提取算法为Canny算法，所述根据当前编码单元的边缘特征计算当前编码单元的水平边缘纹理特征这一步骤具体包括：
确定当前编码单元经Canny算法提取后得到的边缘图像中任一点的纹理值，进而得到所述边缘图像中每一行的水平边缘特征分量；
从得到的每一行的水平边缘特征分量中找出水平边缘特征分量最大值和水平边缘特征分量最小值；
根据水平边缘特征分量最大值和水平边缘特征分量最小值计算当前编码单元的水平边缘纹理特征。
具体地，所述编码树单元中编码单元的水平边缘纹理特征的计算公式为：
Figure BDA0002209934800000041
其中，(x,y)为当前编码单元经Canny算法提取后得到的边缘图像中点的坐标，canny(x,y)为坐标(x,y)处的Canny特征值，hei和hej分别为当前编码单元经Canny算法提取后得到的边缘图像中第i行和第j行的水平边缘特征分量，w和h分别为当前编码单元的宽度和高度，HE为当前编码单元的水平边缘纹理特征。
进一步，所述边缘提取算法为Canny算法，所述根据当前编码单元的边缘特征计算当前编码单元的纹理特征密度这一步骤，具体包括：
计算当前编码单元经Canny算法提取后得到的边缘图像中所有点的Canny特征值之和；
确定当前编码单元的宽度和高度；
根据计算的Canny特征值之和以及确定的宽度和高度计算当前编码单元的纹理特征密度。
具体地，所述当前编码单元的纹理特征密度的计算公式为：
Figure BDA0002209934800000042
其中，(x,y)为当前编码单元经Canny算法提取后得到的边缘图像中点的坐标，canny(x,y)为坐标(x,y)处的Canny特征值，w和h分别为当前编码单元的宽度和高度，Density为当前编码单元的纹理特征密度。
进一步，所述根据当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征，进行编码单元的划分决策这一步骤，具体包括：
所述根据当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征，进行编码单元的划分决策这一步骤，具体包括：
以当前编码单元为当前编码块；
计算当前编码块的率失真代价；
确定当前编码块的纹理特征密度大于等于第一预设阈值时，执行下一步骤；
确定第一商大于第二预设阈值时，跳过水平二叉划分方式和水平三叉划分方式，选择垂直二叉划分方式、垂直三叉划分方式和四叉树划分方式作为当前编码块的候选划分方式，所述第一商等于当前编码块的垂直边缘纹理特征值除以水平边缘纹理特征值；
确定第二商大于第二预设阈值时，跳过垂直二叉划分方式和垂直三叉划分方式，选择水平二叉划分方式、水平三叉划分方式和四叉树划分方式作为当前编码块的候选划分方式，所述第二商等于当前编码块的水平边缘纹理特征值除以垂直边缘纹理特征值；
确定第一商和第二商均小于等于第二预设阈值时，选择水平二叉划分方式、垂直二叉划分方式、垂直三叉划分方式、水平三叉划分方式和四叉树划分方式作为当前编码块的候选划分方式；
对当前编码块按照选择的候选划分方式依次进行划分尝试，得到当前编码块的划分方式；
根据得到的划分方式将当前编码块划分为若干个子块；
选择若干个子块中的任一个子块作为当前编码块，返回计算当前编码块的率失真代价这一步骤。
具体地，当前编码块可以是编码单元CU、编码单元CU进一步划分后的子CU等。
依次进行划分尝试时是按照选择的候选划分方式来进行的。以选择的候选划分方式为水平二叉划分方式、垂直二叉划分方式、垂直三叉划分方式、水平三叉划分方式和四叉树划分方式为例，对当前编码块依次进行水平二叉划分方式、垂直二叉划分方式、垂直三叉划分方式、水平三叉划分方式和四叉树划分方式的划分尝试，从这5种方式中选择任一种作为当前编码块的划分方式，若这5种方式的划分尝试均失败(即当前编码块不需要进一步细分)，则当前编码块的率失真代价已最小，此时当前编码块的划分方式已为最佳划分方式而不需进行进一步的子编码块划分；反之，则根据划分尝试得到的划分方式将当前编码块划分为若干个子块，并在从这若干个子块中选择任一个子块作为当前编码块后返回计算当前编码块的率失真代价这一步骤。其它选择的候选划分方式与该方式类似，在此不再赘述。
第二方面，本发明实施例所采取的技术方案是：
一种多功能视频编码帧内划分系统，包括：
特征提取模块，用于采用边缘提取算法提取编码树单元的边缘特征；
边缘纹理特征获取模块，用于根据当前编码树单元的边缘特征得到当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征；
划分决策模块，用于根据当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征，进行编码单元的划分决策，所述进行编码单元的划分决策包括：确定编码单元的垂直边缘纹理特征大于水平边缘纹理特征时，跳过水平二叉划分方式和水平三叉划分方式；确定编码单元的垂直边缘纹理特征小于水平边缘纹理特征时，跳过垂直二叉划分方式和垂直三叉划分方式。
第三方面，本发明实施例所采取的技术方案是：
一种多功能视频编码帧内划分系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的一种多功能视频编码帧内划分方法。
第四方面，本发明实施例所采取的技术方案是：
一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现所述的一种多功能视频编码帧内划分方法。
上述本发明实施例中的一个或多个技术方案具有如下优点：本发明实施例先提取编码树单元的边缘特征，再根据提取的边缘特征得到编码单元的垂直边缘纹理特征和水平边缘纹理特征，最后根据得到的垂直边缘纹理特征和水平边缘纹理特征进行编码单元的划分决策，利用了编码单元的边缘纹理特征来跳过某些划分方式，减少了编码时间，提升了编码效率；根据当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征来跳过水平二叉划分方式和水平三叉划分方式或跳过垂直二叉划分方式和垂直三叉划分方式，至少选择3种划分方式来进行递归划分，与现有只选择一种划分方式来进行递归划分的方式相比，BD-rate更小，编码性能更好。
附图说明
图1为现有CTU划分结构示意图；
图2为本发明多功能视频编码帧内划分方法的整体流程图；
图3为非最大抑制示意图
图4为CTU划分结果图；
图5为图4经Canny算法提取得到的边缘图；
图6为本发明具体实施例多功能视频编码帧内的快速划分流程图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
本发明的多功能视频编码帧内划分方案利用了边缘算法去提取编码单元CU的边缘纹理特征，并根据这些特征决定是否对CU进行进一步划分，以及跳过某些划分方式，以达到在保证编码性能的同时减少编码时间的目的。
参照图2，本发明多功能视频编码帧内划分方案的基本过程为：首先，采用边缘提取算法(如Sobel、Roberts、Prewitt和Canny等边缘检测算法)提取编码树单元的边缘特征；然后，根据当前编码树单元的边缘特征得到当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征；最后，根据当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征，进行编码单元的划分决策：若当前编码单元的垂直边缘纹理特征大于水平边缘纹理特征，则表明水平边缘纹理特征不明显，此时跳过水平二叉划分方式和水平三叉划分方式这两种方式；若当前编码单元的垂直边缘纹理特征小于水平边缘纹理特征时，则表明垂直边缘纹理特征不明显，此时跳过垂直二叉划分方式和垂直三叉划分方式。
下面对本发明多功能视频编码帧内划分方案所涉及的相关理论及具体实现过程进行详细说明：
(一)Canny边缘检测算法
本发明是利用图像边缘特征来进行CU块快速划分判决的算法。常用的边缘检测算法有Sobel、Roberts、Prewitt和Canny边缘检测算法。在这些边缘检测算法中，Canny算法性能较为优越，因其在提取图像边缘特征时错误率低，并且检测到并标记为边缘的点能够尽可能地接近真实边缘。所以本具体实施例利用Canny边缘检测算法来提取CU块的边缘特征。
Canny边缘检测算法的主要步骤如下：
(1)用一个高斯滤波函数H(x,y)与从输入图像选取的CTU进行卷积，平滑图像噪声。高斯滤波函数如公式(1)所示：
Figure BDA0002209934800000071
(2)利用Sobel算子计算出高斯滤后图像灰度沿x、y方向的偏导数Gx和Gy，再计算对应的梯度幅值图像M(x,y)和角度图像θ(x,y)，如公式(2)和(3)所示：
Figure BDA0002209934800000081
Figure BDA0002209934800000082
(3)对梯度幅值图像M(x,y)应用非最大值抑制进行处理，主要处理步骤包括：
1)从角度图像θ(x,y)中得到当前点的梯度方向θ。
2)当θ沿着水平、+45°、垂直、-45°四个方向时，若该点的M(x,y)至少小于沿着θ的两个相邻像素点之一，则令该点的非最大抑制结果为0，否则，令最大抑制结果为M(x,y)；当θ不沿着以上的四个方向时，该点沿着梯度方向的相邻的两点是亚像素点，为了获得它们的梯度值必须通过对其两侧的点进行插值。如图3所示，M(x,y)表示中心位置点，带有箭头的黑线表示梯度方向。如果|Gx|>|Gy|，权重weigh＝|Gy|/|Gx|；同理，当
|Gy|>|Gx|时，权值weight＝|Gx|/|Gy|。例如，像图3这种情况，其插值表示则为：
m1＝weight*M(x-1,y+1)+(1-weight)*M(x-1,y) (4)
m2＝weight*M(x+1,y-1)+(1-weight)*M(x+1,y) (5)
(4)用双阈值处理和连接分析来检测并连接边缘。非最大抑制图像中像素大于高阈值(即阈值上界)的点是边缘，小于低阈值(即阈值下界)的不是边缘；介于两者阈值之间的，如果其邻接像素有大于高阈值的则为边缘，反之则不是边缘。最后，对于非边缘点，该点在最终的输出边缘图中的值设为0，反之，则为255。
由于传统的Canny算法中的步骤(4)需要根据整幅图像的梯度幅值的直方图计算高和低阈值，时间耗费比较大。鉴于此，本实施例可以直接手动选择高阈值和低阈值(即阈值上界和阈值下界均为预设值)。高阈值不应太大以避免丢失边缘，因为当像素的梯度幅值大于高阈值时，像素被视为有效边缘。因此，低阈值和高阈值可分别设置为4和45。除此之外，在VVC中，编码树单元CTU是在分割成编码单元CU之前的最初始的块结构单元。故本实施例使用基于块的Canny算法而不是传统的基于帧的Canny算法，该改进的基于块的Canny算法对于块的纹理特性具有更强的鲁棒性。
在利用改进的Canny算法对输入图像进行处理之后，可以得到一幅边缘图像，如图4和图5所示，图4和图5中，红色矩形框代表输入图像的一个CTU。边缘图像中每一个点都有纹理值。对于一个点的纹理值而言，没有垂直和水平特征之分。但是，每一列有其垂直纹理特征值，每一行有其水平纹理特征值。从图4和图5中，可以观察到垂直(水平)纹理明显的块，它们选取的划分方式大部分都是垂直(水平)分割。因此，在选择划分方式时可以充分利用边缘纹理信息，以节省编码时间。
(二)基于改进Canny算法的帧内快速划分算法
在VVC中，CU大小与视频内容的纹理具有高度相关性。一般来说，对于平坦的区域，用一个较大的CU编码，可以减少编码所用的比特数，提升编码效率。相反地，对于图像的细节处，划分成精细的CU，可以使复杂图像的预测更为准确。因此，根据图像的纹理特征，我们可以提前决策CU的划分：若当前CU被检测为极为平坦区域时，则可以提前终止划分。然而，这样的区域在图像中占比不大，因此这种方式时间复杂度并没有降低多少。在这种情况下，大部分CU依然需要递归地执行所有划分方式。
为了减少编码时间，本实施例根据(一)的结论利用Canny边缘检测算法去提取CTU的边缘纹理特征(包含了4个CU的边缘纹理特征)，从而跳过某些划分方式：若当前CTU中CU的垂直边缘(Vertical Edge,VE)特征比水平边缘(Horizontal Edge,HE)更为明显，则可以跳过水平二叉和水平三叉这两种划分方式；相反，若水平边缘比垂直边缘明显，则可以跳过垂直二叉和垂直三叉划分。
在利用基于块的Canny算法对输入图像选择的CTU进行处理之后，可以得到一幅二值边缘图，如图5所示。如果该边缘图中坐标为(x，y)的点的像素值不等于零，则(x，y)处的canny(特征)值为1，否则为0。假设待划分的CU的宽度为w，高度为h,则每个CU的VE和HE由下式(6)和(7)给出：
Figure BDA0002209934800000101
Figure BDA0002209934800000102
同时，按照下式(8)计算CU的纹理密度(Density)：
Figure BDA0002209934800000103
在进行CU递归划分快速决策之前，可选取两个合适的阈值TH_1和TH_2，例如可将TH_1和TH_2分别设为0.01和1.5，则本实施例CU递归划分的快速决策算法流程图如图6所示，具体包括以下步骤：
S1：从输入图像选择一个编码CTU作为当前CTU；
S2：采用基于块的Canny算法提取当前CTU的边缘特征；
S3：将当前CTU通过四叉树划分来分成4个编码单元CU，并选择这4个CU中的任一个CU作为当前编码单元CU；
S4：进入QTMT_RDO递归模式，计算当前编码块(初始时当前编码块为当前编码单元CU，若后续划分尝试后确定需要对当前CU进行进一步划分，则当前编码块为进一步划分得到的编码子块即子CU)的QTMT_RDO率失真代价(其初始时为当前CU不划分时的代价)；
S5：分别计算当前编码块的VE、HE和Density；
若当前编码块为当前CU，则分别按照公式(6)、(7)和(8)计算当前CU的VE、HE和Density；若当前编码块为编码子块，则可以采用与公式(6)、(7)和(8)类似的方式计算其VE、HE和Density。
S6：判断计算的Density是否小于TH_1，若是，则不对当前编码块进行划分，结束递归划分，并返回上一层(在递归划分时，上一层划分的代价由其划分得到的所有下一层(即子层)的率失真代价相加得到)；反之，则执行步骤S7；
S7：判断VE/HE是否大于TH_2，若是，则对当前编码块依次进行垂直二叉树划分、垂直三叉树划分和四叉树递归划分的划分尝试，再根据划分尝试得到的划分方式将当前编码块划分为若干个子块，并从若干个子块中任选一个子块作为新的当前编码块，然后返回步骤S4(其余的子块的处理方式相同，可逐个子块进行不断的迭代处理直至所有子块处理完毕)；反之，则执行步骤S8；
S8：判断HE/VE是否大于TH_2，若是，则对当前编码块依次进行水平二叉递归划分、垂直二叉递归划分、水平三叉递归划分、垂直三叉递归划分和四叉树递归划分的划分尝试，再根据划分尝试得到的划分方式将当前编码块划分为若干个子块，并从若干个子块中任选一个子块作为新的当前编码块，然后返回步骤S4(其余的子块的处理方式相同，可逐个子块进行不断的迭代处理直至所有子块处理完毕)；反之，则对当前编码块依次进行水平二叉递归划分、水平三叉递归划分和四叉树递归划分的划分尝试，再根据划分尝试得到的划分方式将当前编码块划分为若干个子块，并从若干个子块中任选一个子块作为新的当前编码块，然后返回步骤S4(其余的子块的处理方式相同，可逐个子块进行不断的迭代处理直至所有子块处理完毕)。
另外，若当前编码块所有候选划分方式的划分尝试均失败(即不需要进一步划分)，则当前编码块的率失真代价已最小，此时当前编码块的划分方式已为最佳划分方式而不需进行进一步的子编码块划分，可以结束CTU的划分操作。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种多功能视频编码帧内划分方法，其特征在于：包括以下步骤：
采用边缘提取算法提取编码树单元的边缘特征；
根据当前编码树单元的边缘特征得到当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征；
根据当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征，进行编码单元的划分决策，所述进行编码单元的划分决策包括：确定编码单元的垂直边缘纹理特征大于水平边缘纹理特征时，跳过水平二叉划分方式和水平三叉划分方式；确定编码单元的垂直边缘纹理特征小于水平边缘纹理特征时，跳过垂直二叉划分方式和垂直三叉划分方式；
所述根据当前编码树单元的边缘特征得到当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征这一步骤，具体包括：
将当前编码树单元划分为4个编码单元，并根据当前编码树单元的边缘特征得到4个编码单元的边缘特征；
从4个编码单元中选择任一个编码单元作为当前编码单元；
根据当前编码单元的边缘特征计算当前编码单元的垂直边缘纹理特征；
根据当前编码单元的边缘特征计算当前编码单元的水平边缘纹理特征；
根据当前编码单元的边缘特征计算当前编码单元的纹理特征密度；
所述根据当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征，进行编码单元的划分决策这一步骤，具体包括：
以当前编码单元为当前编码块；
计算当前编码块的率失真代价；
确定当前编码块的纹理特征密度大于等于第一预设阈值时，执行下一步骤；
确定第一商大于第二预设阈值时，跳过水平二叉划分方式和水平三叉划分方式，选择垂直二叉划分方式、垂直三叉划分方式和四叉树划分方式作为当前编码块的候选划分方式，所述第一商等于当前编码块的垂直边缘纹理特征值除以水平边缘纹理特征值；
确定第二商大于第二预设阈值时，跳过垂直二叉划分方式和垂直三叉划分方式，选择水平二叉划分方式、水平三叉划分方式和四叉树划分方式作为当前编码块的候选划分方式，所述第二商等于当前编码块的水平边缘纹理特征值除以垂直边缘纹理特征值；
确定第一商和第二商均小于等于第二预设阈值时，选择水平二叉划分方式、垂直二叉划分方式、垂直三叉划分方式、水平三叉划分方式和四叉树划分方式作为当前编码块的候选划分方式；
对当前编码块按照选择的候选划分方式依次进行划分尝试，得到当前编码块的划分方式；
根据得到的划分方式将当前编码块划分为若干个子块；
选择若干个子块中的任一个子块作为当前编码块，返回计算当前编码块的率失真代价这一步骤。
2.根据权利要求1所述的一种多功能视频编码帧内划分方法，其特征在于：所述边缘提取算法为基于块的Canny算法，所述采用边缘提取算法提取编码树单元的边缘特征这一步骤，具体包括：
从输入的图像中选择编码树单元；
对选择的编码树单元进行高斯滤波；
采用索贝尔算子计算高斯滤波后的编码树单元的梯度幅值图像和角度图像；
对计算的梯度幅值图像进行非最大值抑制处理，得到非最大值抑制图像；
对非最大值抑制图像进行双阈值处理和连接分析，得到编码树单元的边缘图像，其中双阈值处理时采用的阈值上界和阈值下界均为预设值。
3.根据权利要求1所述的一种多功能视频编码帧内划分方法，其特征在于：所述边缘提取算法为Canny算法，所述根据当前编码单元的边缘特征计算当前编码单元的垂直边缘纹理特征这一步骤，具体包括：
确定当前编码单元经Canny算法提取后得到的边缘图像中任一点的纹理值，进而得到所述边缘图像中每一列的垂直边缘特征分量；
从得到的每一列的垂直边缘特征分量中找出垂直边缘特征分量最大值和垂直边缘特征分量最小值；
根据垂直边缘特征分量最大值和垂直边缘特征分量最小值计算当前编码单元的垂直边缘纹理特征。
4.根据权利要求1所述的一种多功能视频编码帧内划分方法，其特征在于：所述边缘提取算法为Canny算法，所述根据当前编码单元的边缘特征计算当前编码单元的水平边缘纹理特征这一步骤具体包括：
确定当前编码单元经Canny算法提取后得到的边缘图像中任一点的纹理值，进而得到所述边缘图像中每一行的水平边缘特征分量；
从得到的每一行的水平边缘特征分量中找出水平边缘特征分量最大值和水平边缘特征分量最小值；
根据水平边缘特征分量最大值和水平边缘特征分量最小值计算当前编码单元的水平边缘纹理特征。
5.根据权利要求1所述的一种多功能视频编码帧内划分方法，其特征在于：所述边缘提取算法为Canny算法，所述根据当前编码单元的边缘特征计算当前编码单元的纹理特征密度这一步骤，具体包括：
计算当前编码单元经Canny算法提取后得到的边缘图像中所有点的Canny特征值之和；
确定当前编码单元的宽度和高度；
根据计算的Canny特征值之和以及确定的宽度和高度计算当前编码单元的纹理特征密度。
6.一种多功能视频编码帧内划分系统，其特征在于：包括：
特征提取模块，用于采用边缘提取算法提取编码树单元的边缘特征；
边缘纹理特征获取模块，用于根据当前编码树单元的边缘特征得到当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征；
划分决策模块，用于根据当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征，进行编码单元的划分决策，所述进行编码单元的划分决策包括：确定编码单元的垂直边缘纹理特征大于水平边缘纹理特征时，跳过水平二叉划分方式和水平三叉划分方式；确定编码单元的垂直边缘纹理特征小于水平边缘纹理特征时，跳过垂直二叉划分方式和垂直三叉划分方式；
所述根据当前编码树单元的边缘特征得到当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征，具体包括：
将当前编码树单元划分为4个编码单元，并根据当前编码树单元的边缘特征得到4个编码单元的边缘特征；
从4个编码单元中选择任一个编码单元作为当前编码单元；
根据当前编码单元的边缘特征计算当前编码单元的垂直边缘纹理特征；
根据当前编码单元的边缘特征计算当前编码单元的水平边缘纹理特征；
根据当前编码单元的边缘特征计算当前编码单元的纹理特征密度；
所述根据当前编码树单元中编码单元的垂直边缘纹理特征和水平边缘纹理特征，进行编码单元的划分决策，具体包括：
以当前编码单元为当前编码块；
计算当前编码块的率失真代价；
确定当前编码块的纹理特征密度大于等于第一预设阈值时，执行下一步骤；
确定第一商大于第二预设阈值时，跳过水平二叉划分方式和水平三叉划分方式，选择垂直二叉划分方式、垂直三叉划分方式和四叉树划分方式作为当前编码块的候选划分方式，所述第一商等于当前编码块的垂直边缘纹理特征值除以水平边缘纹理特征值；
确定第二商大于第二预设阈值时，跳过垂直二叉划分方式和垂直三叉划分方式，选择水平二叉划分方式、水平三叉划分方式和四叉树划分方式作为当前编码块的候选划分方式，所述第二商等于当前编码块的水平边缘纹理特征值除以垂直边缘纹理特征值；
确定第一商和第二商均小于等于第二预设阈值时，选择水平二叉划分方式、垂直二叉划分方式、垂直三叉划分方式、水平三叉划分方式和四叉树划分方式作为当前编码块的候选划分方式；
对当前编码块按照选择的候选划分方式依次进行划分尝试，得到当前编码块的划分方式；
根据得到的划分方式将当前编码块划分为若干个子块；
选择若干个子块中的任一个子块作为当前编码块，返回计算当前编码块的率失真代价这一步骤。
7.一种多功能视频编码帧内划分系统，其特征在于：包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-5任一项所述的一种多功能视频编码帧内划分方法。
8.一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-5任一项所述的一种多功能视频编码帧内划分方法。
CN201910895030.6A 2019-09-20 2019-09-20 一种多功能视频编码帧内划分方法、系统及存储介质 Active CN110650338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910895030.6A CN110650338B (zh) 2019-09-20 2019-09-20 一种多功能视频编码帧内划分方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910895030.6A CN110650338B (zh) 2019-09-20 2019-09-20 一种多功能视频编码帧内划分方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110650338A CN110650338A (zh) 2020-01-03
CN110650338B true CN110650338B (zh) 2021-11-16

Family

ID=69010961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910895030.6A Active CN110650338B (zh) 2019-09-20 2019-09-20 一种多功能视频编码帧内划分方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110650338B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259826B (zh) * 2020-01-19 2023-03-14 中山大学 一种图像特征信息帧内快速划分方法、系统及存储介质
CN111432212B (zh) * 2020-04-28 2022-05-10 中山大学 基于纹理特征的帧内划分方法、系统及存储介质
CN111683245B (zh) * 2020-06-23 2022-07-22 北京工业职业技术学院 基于纹理相似度的cu划分决策
CN111711815B (zh) * 2020-06-30 2021-09-28 福州大学 基于集成学习和概率模型的快速vvc帧内预测方法
CN111918057B (zh) * 2020-07-02 2023-01-31 北京大学深圳研究生院 硬件友好的帧内编码块划分方法、设备及存储介质
CN112689145B (zh) * 2020-12-07 2024-02-13 中南大学 一种vvc帧内编码的快速帧内模式选择方法
CN113286144B (zh) * 2021-03-24 2022-07-29 中山大学 基于Gabor的CU划分快速决策方法、装置及介质
CN113518220B (zh) * 2021-04-15 2023-07-25 中山大学 基于导向滤波和边缘检测的帧内划分方法、装置及介质
CN113691811B (zh) * 2021-07-30 2023-03-24 浙江大华技术股份有限公司 编码块划分方法、装置、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2643971A1 (en) * 2010-11-22 2013-10-02 MediaTek Singapore Pte Ltd. Apparatus and method of constrained partition size for high efficiency video coding
CN108712648A (zh) * 2018-04-10 2018-10-26 天津大学 一种深度视频快速帧内编码方法
CN109688414A (zh) * 2018-12-19 2019-04-26 同济大学 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法
CN110213581A (zh) * 2019-05-20 2019-09-06 广州市数字视频编解码技术国家工程实验室研究开发与产业化中心 一种基于块划分模式跳过的编码方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140064366A1 (en) * 2012-09-03 2014-03-06 Texas Instruments Incorporated Intra-Prediction Estimation Using Approximate Reconstructed Samples

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2643971A1 (en) * 2010-11-22 2013-10-02 MediaTek Singapore Pte Ltd. Apparatus and method of constrained partition size for high efficiency video coding
CN108712648A (zh) * 2018-04-10 2018-10-26 天津大学 一种深度视频快速帧内编码方法
CN109688414A (zh) * 2018-12-19 2019-04-26 同济大学 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法
CN110213581A (zh) * 2019-05-20 2019-09-06 广州市数字视频编解码技术国家工程实验室研究开发与产业化中心 一种基于块划分模式跳过的编码方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Fast Intra Cu Size Decision Algorithm Based on Canny Operator and SVM Classifier;Chentian Sun等;《2018 25th IEEE International Conference on Image Processing (ICIP)》;20180906;全文 *
高效视频编码帧内快速划分决策算法;蔡婷婷等;《计算机仿真》;20160531;第33卷(第5期);全文 *

Also Published As

Publication number Publication date
CN110650338A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110650338B (zh) 一种多功能视频编码帧内划分方法、系统及存储介质
CN110730343B (zh) 一种多功能视频编码帧间划分方法、系统及存储介质
Tang et al. Fast CTU partition decision algorithm for VVC intra and inter coding
KR100644498B1 (ko) 노이즈 검출방법과 노이즈 검출장치 및 화상 복호화장치
TWI665907B (zh) 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置
US8320470B2 (en) Method for spatial error concealment
KR101029762B1 (ko) 고급 비디오 코딩에 대한 인트라 프레딕션을 위한 신속모드 결정 알고리즘
US6226050B1 (en) Signal adaptive filtering method for reducing ringing noise and signal adaptive filter
CN110691254B (zh) 一种多功能视频编码的快速判决方法、系统及存储介质
US11889102B2 (en) Filtering method for removing blocking artifact and apparatus
US8223846B2 (en) Low-complexity and high-quality error concealment techniques for video sequence transmissions
KR20070116717A (ko) 압축된 디지털 이미지의 ｍｐｅｇ 노이즈 강도 측정 방법및 장치
US20110188574A1 (en) Deblocking method, deblocking apparatus, deblocking program and computer-readable recording medium recorded with the program
KR20210119549A (ko) 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스
US7054503B2 (en) Image processing system, image processing method, and image processing program
US7590288B1 (en) Method and/or apparatus for detecting edges of blocks in an image processing system
EP3131061A1 (en) Method and apparatus for hierarchical motion estimation using dfd-based image segmentation
CN114731399A (zh) 自适应环内滤波方法和装置
JP2001204029A (ja) ノイズ検出方法、ノイズ検出装置及び画像復号化装置
JP4235162B2 (ja) 画像符号化装置，画像符号化方法，画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体
CN113518220B (zh) 基于导向滤波和边缘检测的帧内划分方法、装置及介质
CN111246221B (zh) 一种avs3帧内快速划分方法、系统及存储介质
CN110708546B (zh) 多功能视频编码的帧内模式选择划分方法、系统及存储介质
CN113115042B (zh) 一种基于isp优化的帧内决策方法、装置、设备及介质
CN112806006B (zh) 使用由预定义准则确定的参考样本以编解码的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant