CN106961606B - 基于纹理划分特征的hevc帧内编码模式选择方法 - Google Patents

基于纹理划分特征的hevc帧内编码模式选择方法 Download PDF

Info

Publication number
CN106961606B
CN106961606B CN201710061400.7A CN201710061400A CN106961606B CN 106961606 B CN106961606 B CN 106961606B CN 201710061400 A CN201710061400 A CN 201710061400A CN 106961606 B CN106961606 B CN 106961606B
Authority
CN
China
Prior art keywords
texture
current
partition
value
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710061400.7A
Other languages
English (en)
Other versions
CN106961606A (zh
Inventor
朱威
张晗钰
洪伟聪
商明将
陈朋
郑雅羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201710061400.7A priority Critical patent/CN106961606B/zh
Publication of CN106961606A publication Critical patent/CN106961606A/zh
Application granted granted Critical
Publication of CN106961606B publication Critical patent/CN106961606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于纹理划分特征的HEVC帧内编码模式选择方法，包括以下步骤：（1）输入一个编码模式待选择的CTU；（2）对当前CTU的原始像素亮度值进行纹理特征分析，计算得到不同尺寸CU的纹理划分标识和32×32 CU的纹理特征值；（3）利用CU的纹理划分标识和纹理特征值，预测当前CTU的深度范围，以及计算CU的提前终止编码划分标识和PU的提前终止预测划分标识；（4）利用当前CTU的深度范围、CU的提前终止编码划分标识以及PU的提前终止预测划分标识，完成当前CTU的四叉树划分。本发明能够在保持良好编码率失真性能的情况下，有效减少HEVC帧内编码的处理时间，同时具有较好的并行处理特性。

Description

基于纹理划分特征的HEVC帧内编码模式选择方法
技术领域
本发明涉及数字视频编码领域，具体涉及一种基于纹理划分特征的HEVC帧内编码模式选择方法。
背景技术
随着电子信息技术和宽带网络技术的快速发展，人们对视频分辨率的需求不断提升，高清视频(720P和1080P)已经是目前主流分辨率视频，而超高清视频(4K和8K)也正逐渐进入我们的生活和工作。
为获得高效的视频编码效率，国际组织ITU-T的视频编码专家组(Video CodingExperts Group,VCEG)和ISO/IEC的运动图像专家组(Moving Picture Experts Group,MPEG)于2013年共同推出了新一代高效率视频编码标准(High Efficiency Video Coding，HEVC)。与前一代的H.264相比，HEVC在相同视频图像质量的条件下可以节约50％左右的视频码流(见J R.Ohm,G J.Sullivan,H.Schwarz,T K.Tan,and T.Wiegand,Comparison ofthe Coding Efficiency of Video Coding Standards—Including High EfficiencyVideo Coding(HEVC)，即“视频编码标准编码效率比较——HEVC”,IEEE Transactions onCircuits and Systems for Video Technology,vol.22,no.12,pp.1669-1684,Dec.2012)，特别是对高清和超高清等高分辨率视频进行编码时，其压缩优势更加明显。但HEVC压缩效率的提高是以巨大的编码计算复杂度为代价，这阻碍了它在各种领域的实际应用。
为了提升压缩效率，HEVC采用了一些新的编码技术，对提升压缩效率最为显著的技术主要包括灵活的编码树单元(CTU)四叉树划分、多达35种的帧内预测模式和8种帧间预测模式(见G.J.Sullivan,J.R.Ohm,W.J.Han,and T.Wiegand,Overview of the highefficiency video coding(HEVC)standard,即“高效率视频编码标准概述”,IEEETransactions on Circuits and Systems for Video Technology,vol.22,no.12,pp.1649-1668,Dec.2012)。其中CTU四叉树划分技术让编码单元(CU)的划分更为灵活多样，与H.264中编码宏块固定为16×16不同的是，该技术使HEVC拥有更丰富的CU尺寸划分种类，当CTU大小为64×64时，CU的大小可以是64×64、32×32、16×16和8×8，对应深度值分别为0、1、2和3。CTU的四叉树划分是在CTU内部遍历所有深度的CU的递归遍历过程，根据每种CU划分的率失真代价选择最优的划分方式，这样的选择过程最多需要进行341(1+4+42+43+44＝341)次递归遍历，并且每个CU在遍历过程中还需要为其预测单元(PU)从众多预测模式中选择最优预测模式。这样的编码模式选择过程能保证良好的压缩效率，但是却显著增加了计算复杂度，是编码过程中计算复杂度最为集中的部分。
目前已经有一些研究人员对HEVC帧内编码的模式选择方法展开研究。申请号为201610192577.6的专利通过当前CU的亮度率失真代价和当前CU划分成多个子CU的亮度率失真代价之和进行比较，根据比较结果判断当前CU是否继续向下划分。申请号为201510885775.6的专利利用离线学习得到的逻辑回归分类器对帧内编码单元进行快速选择，跳过部分预测编码模式的计算。申请号为201610319947.8的专利从编码单元和预测单元两个方面，首先在编码单元层计算水平、垂直和对角方向的全局边缘复杂度，再利用各方向的全局边缘复杂度，对编码单元是否需要划分进行判断，同时在预测单元层选取候选预测模式的个数。除了以上方法降低HEVC帧内编码模式选择的计算复杂度之外，还可以根据视频序列的纹理特征来减小当前CTU递归划分过程中的运算量。申请号为20150277356.4的专利基于sobel算子，对CTU内部可操作点进行梯度计算得到当前点周边像素值的变化情况，再将PU内所有点的梯度计算结果相加得到当前PU的图像复杂度，根据图像复杂度对CTU进行最优块划分。申请号为201510799168.8的专利利用PU的强弱纹理方向对35种帧内预测模式进行粗筛选，再对粗筛选的预测模式进行率失真优化计算选出代价最小的前三个模式进行再次筛选，有效减少了候选模式的个数。申请号为201510874458.4的专利首先利用哈尔小波变换计算每个CU的水平、垂直和对角线三个方向上的亮度变化，并依照变化的大小来确定CU的纹理复杂度，然后根据CU的深度特点判断当前CU是否终止划分。
以上这些方法中虽然已使用视频的纹理信息来降低HEVC帧内编码模式选择的计算复杂度，但对CTU中的纹理特征的运用未被充分挖掘。为了进一步降低HEVC的编码时间，我们可以利用CTU的纹理划分特征与其最佳CU划分之间的相关性，利用CU的纹理划分特征预测CTU的深度范围，以及提前终止部分尺寸CU和PU的编码划分。
发明内容
为了在保持编码率失真性能的条件下显著地降低HEVC编码的计算复杂度，本发明提供了一种基于纹理划分特征的HEVC帧内编码模式选择方法。
为了解决上述技术问题采用的技术方案为：
基于纹理划分特征的HEVC帧内编码模式选择方法，所述方法包括以下步骤：
(1)输入一个编码模式待选择的CTU：
所述CTU的尺寸为64×64。根据HEVC编码标准要求，一帧视频数据中所有CTU的尺寸都相同，其中CTU尺寸为64×64对高分辨率视频具有更好的压缩效果。
(2)对当前CTU的原始像素亮度值进行纹理特征分析，计算得到不同尺寸CU的纹理划分标识和32×32CU的纹理特征值，具体步骤如下：
(2-1)对一个尺寸为n×n的CU进行纹理特征分析，具体方法如下：
首先把尺寸(n×n)的当前CU平均划分成四个相同尺寸(m×m)的子CU，按式(I)计算每一个子CU的纹理特征值TFk，其中k为子CU的索引，值为0～3。在式(I)中，Pixelk(i,j)为第k个子CU中第i行、第j列原始像素的亮度值，在尺寸为m×m的子CU中，i和j的值都大于等于1且小于等于m；AvgTL为当前CU中四个子CU共用的像素参考值，其值为当前CU第一行和第一列共2n个原始像素的平均亮度值；TFk值为第k个子CU中每个像素亮度值与当前CU的AvgTL的平均绝对差值，其值较大则说明该子CU相对其父CU的纹理差异特征比较明显，否则说明相对其父CU的纹理差异特征较小，即该子CU与其父CU的纹理一致性较高。
Figure BDA0001219556890000041
接着从四个子CU的TFk中选取最大值TFMax，利用TFMax按式(II)计算n×n CU的纹理划分标识TSn×n。式(II)中，若TFMax大于阈值TH1，则说明当前CU中至少存在一个子CU的像素值与其参考值AvgTL相差较大，纹理差异程度较高，此时将当前CU的纹理划分标识TSn×n设为1，表示需要继续进行纹理划分，否则将TSn×n设为0，表示不需要继续纹理划分；TH1为纹理划分比较阈值，取值范围为[6,10]，通常根据输入视频的整体纹理场景复杂度来选取，取值越小则更多的CU选择继续纹理划分，取值越大则更多的CU选择终止纹理划分。
Figure BDA0001219556890000051
(2-2)计算每个16×16CU的纹理划分标识：
由于尺寸为16×16的CU具有向上进行更大尺寸CU纹理合并、向下进行更小尺寸CU纹理划分的特点，本发明先对当前CTU中16个尺寸为16×16的CU进行纹理特征分析，以(2-1)的方法利用式(I)和式(II)计算每个16×16CU的纹理划分标识，其中n为16、m为8。
(2-3)利用16×16CU的纹理划分标识，计算部分8×8CU的纹理划分标识：
对于尺寸为8×8的CU，根据HEVC编码标准，其PU的划分除了进行其它尺寸CU都使用的2N×2N划分，还可以进行N×N划分，该划分虽然是最小尺寸的编码划分，但对于纹理复杂的视频帧，N×N划分消耗的编码计算量还是比较多。为了加快8×8CU的PU划分选择，本发明对部分8×8CU计算其纹理划分标识：
若当前8×8CU所属16×16CU的TS16×16值为1，即对应的16×16CU选择继续纹理划分，则利用式(I)和式(II)计算该8×8CU的纹理划分标识TS8×8，式中n为8、m为4，否则当前8×8CU不需要计算纹理划分标识。计算得到的TS8×8将用于后续步骤(3-3)中判断是否提前终止8×8PU的预测划分。
(2-4)利用16×16CU的纹理划分标识，计算每个32×32CU的纹理划分标识和纹理特征值：
本发明对当前CTU中所有尺寸为16×16的CU进行纹理特征分析之后，再利用它们的纹理划分标识对四个尺寸为32×32的CU进行纹理特征分析，具体方法如下：
对于每个32×32CU，首先判断其包含的四个16×16CU中是否存在一个TS16×16值为1；若存在，则直接将当前32×32CU的纹理划分标识TS32×32设为1，即表示选择进行纹理划分，并按式(I)计算其四个子CU的TFk，k为0～3，将这四个TFk的平均值作为当前32×32CU的纹理特征值TF32×32；否则，采用与16×16CU相同的纹理特征分析方法，按式(I)和式(II)计算其纹理划分标识TS32×32，并将式(I)得到的四个TFk的平均值作为当前32×32CU的纹理特征值TF32×32；式(I)和式(II)在计算过程中n值为32、m值为16。
(2-5)利用32×32CU的纹理划分标识，计算64×64CU的纹理划分标识：
在对四个32×32CU进行纹理特征分析之后，最后利用32×32CU的纹理划分标识对当前CTU中一个64×64CU进行纹理特征分析，具体方法如下：
对CTU中的64×64CU，首先判断其包含的四个32×32CU中是否存在一个TS32×32值为1，若存在，则直接将64×64CU的纹理划分标识TS64×64设为1，即表示选择进行纹理划分；否则，采用与16×16CU相同的纹理特征分析方法，按式(I)和式(II)计算其纹理划分标识TS64×64，式中n值为64、m值为32。
(3)利用CU的纹理划分标识和纹理特征值，预测当前CTU的深度范围，以及计算CU的提前终止编码划分标识和PU的提前终止预测划分标识：
(3-1)预测当前CTU的深度范围：
利用步骤(2)得到的16个16×16CU、4个32×32CU和1个64×64CU的纹理划分标识TSn×n以及4个32×32CU的纹理特征值TF32×32，预测当前CTU的深度范围R，R为[DMin，DMax]，DMin和DMax分别按式(III)和式(IV)计算得到；DMin为当前CTU的最小深度值，DMax为当前CTU的最大深度值；TH2为纹理特征值的比较阈值，取值范围为[10,14]，通常根据输入视频的整体纹理场景复杂度来选取，取值越小则DMin较大，取值越大则DMin较小。
Figure BDA0001219556890000071
Figure BDA0001219556890000072
在式(III)中，DMin的计算过程如下：
首先对64×64CU的纹理划分标识进行判断，若64×64CU不进行纹理划分，将当前CTU的DMin设为0；反之若进行纹理划分，则对四个32×32CU的纹理划分标识和纹理特征值进行判断，若存在一个32×32CU不进行纹理划分或者存在一个32×32CU的纹理特征值TF32×32小于阈值TH2，则将当前CTU的DMin设为1；其它情况下，将当前CTU的DMin设为2。
在式(IV)中，DMax的计算过程如下：
首先对64×64CU的纹理划分标识进行判断，若64×64CU不进行纹理划分，将当前CTU的DMax设为0；反之若进行纹理划分，则对四个32×32CU的纹理划分标识进行判断，若四个32×32CU都不进行纹理划分，将DMax设为1；反之若有至少一个32×32CU进行纹理划分，则对16个16×16CU的纹理划分标识进行判断，若16个16×16CU都不进行纹理划分，将DMax设为2；其它情况下，将DMax设为3，表示达到四叉树划分允许的最大深度值。
(3-2)计算CU的提前终止编码划分标识：
为了在保证编码率失真性能的条件下能进一步加快编码速度，本发明利用不同尺寸CU的纹理划分标识TSn×n按式(V)判别n×n CU是否提前终止划分，其中，n的取值依次为64、32、16，CTn×n为n×n CU提前终止编码划分标识；若当前n×n CU的纹理划分标识TSn×n为0，则将CTn×n设为1，表示提前终止当前CU的四叉树划分，否则将CTn×n设为0，表示当前CU可继续四叉树划分。
Figure BDA0001219556890000081
(3-3)计算8×8PU的提前终止预测划分标识：
根据HEVC编码标准，8×8CU不能继续进行四叉树划分，但其包含的8×8PU可以选择2N×2N划分模式或N×N划分模式。对每个8×8PU，若其所属16×16CU的提前终止编码划分标识CT16×16值为1，则跳过当前计算步骤，否则按式(VI)计算当前8×8PU的提前终止预测划分标识PT8×8。式(VI)中，若当前8×8PU对应的8×8CU的TS8×8值为0，即不进行纹理划分，则将PT8×8设为1，表示在进行2N×2N划分模式的预测之后，提前终止预测划分，不再进行N×N划分模式的预测；否则将PT8×8设为0，表示当前8×8PU可以进行N×N划分模式的预测。
Figure BDA0001219556890000091
(4)利用当前CTU的深度范围、CU的提前终止编码划分标识以及PU的提前终止预测划分标识，完成当前CTU的四叉树划分：
CTU四叉树划分是CU先序递归遍历的过程，在这个遍历过程中，若当前CU所处深度不在当前CTU的深度范围R内，则不对当前CU进行编码预测，反之若在R内，则根据当前CU所处深度分以下两种情况进行处理：(a)若当前n×n CU所处深度小于3，即n值为64、32或16，则先对当前CU进行编码预测，接着若其提前终止编码划分标识CTn×n值为1，则当前CU将不再进行四叉树划分，否则对当前CU的PU进行预测；(b)若当前CU所处深度为3，即n值为8，则先对其8×8PU进行2N×2N划分模式的预测，接着若该8×8PU的提前终止预测划分标识PT8×8值为1，则跳过N×N划分模式的预测，直接将2N×2N划分模式作为该8×8PU的最终划分模式，否则继续进行N×N划分模式的预测，并从2N×2N划分模式和N×N划分模式中选择率失真代价较小者作为该8×8PU的最终划分模式。
本发明的技术构思为：根据CTU纹理划分特征与其四叉树编码划分的相关性，首先依次对CTU中16×16、8×8、32×32、64×64的CU进行亮度纹理划分特征分析，获得各个尺寸CU的纹理划分标识；接着利用这些纹理划分标识预测当前CTU的深度范围，CU判定是否提前终止编码划分，以及在对8×8CU进行PU划分模式选择时，判定是否提前终止N×N模式划分。
与现有技术相比，本发明具有以下有益效果：
本发明提供了一种基于纹理划分特征的HEVC帧内编码模式选择方法。该方法与现有技术相比，具有如下特点和优点：直接使用当前CTU内部的纹理信息预测当前CTU的深度范围，具有较好的并行预测的特点；利用CTU的纹理划分特征提前终止部分纹理平滑CU的编码划分，尤其对高分辨率视频具有较好的提前终止效果；利用16×16CU的尺寸特点，采用自底而上的方式获取不同尺寸CU的纹理特征值，在有限计算量下提高了预测CTU深度范围的准确性。
具体实施方式
下面结合实施例来详细描述本发明，但本发明并不仅限于此。
一种基于纹理划分特征的HEVC帧内编码模式选择方法，包括以下步骤：
(1)输入一个编码模式待选择的CTU；
(2)对当前CTU的原始像素亮度值进行纹理特征分析，计算得到不同尺寸CU的纹理划分标识和32×32CU的纹理特征值；
(3)利用CU的纹理划分标识和纹理特征值，预测当前CTU的深度范围，以及计算CU的提前终止编码划分标识和PU的提前终止预测划分标识；
(4)利用当前CTU的深度范围、CU的提前终止编码划分标识以及PU的提前终止预测划分标识，完成当前CTU的四叉树划分。
本实施例中，所述的CTU尺寸为64×64；所述的不同尺寸CU是指尺寸分别为64×64、32×32、16×16和8×8的CU；所述的CU提前终止编码划分标识特指尺寸为64×64、32×32和16×16的CU是否提前终止编码划分；所述PU提前终止预测划分标识特指尺寸为8×8的PU是否提前终止N×N模式划分。
步骤(2)具体包括：
(2-1)计算每个16×16CU的纹理划分标识，具体方法如下：
首先把尺寸(n×n)的当前CU平均划分成四个相同尺寸(m×m)的子CU(对于16×16CU，n值为16、m值为8)，按式(I)计算每一个子CU的纹理特征值TFk，其中子CU索引k的值为0～3。在式(I)中，Pixelk(i,j)为第k个子CU中第i行、第j列原始像素的亮度值；AvgTL为当前CU中四个子CU共用的像素参考值，其值为当前CU第一行和第一列共2n个原始像素的平均亮度值；TFk值为第k个子CU中每个像素亮度值与当前CU的AvgTL的平均绝对差值。
Figure BDA0001219556890000111
接着从四个子CU的TFk中选取最大值TFMax，利用TFMax按式(II)计算n×n CU的纹理划分标识TSn×n。在式(II)中，TH1为纹理划分比较阈值，此处取值为8；若TFMax大于阈值TH1，则将当前CU的纹理划分标识TSn×n设为1，表示当前CU需要继续进行纹理划分，否则将TSn×n设为0，表示当前CU不再继续进行纹理划分。
Figure BDA0001219556890000112
(2-2)利用16×16CU的纹理划分标识，计算部分8×8CU的纹理划分标识：
若当前8×8CU所属16×16CU的TS16×16值为1，则利用式(I)和式(II)(n值为8，m值为4)计算该8×8CU的纹理划分标识TS8×8，否则当前8×8CU不需要计算纹理划分标识。
(2-3)利用16×16CU的纹理划分标识，计算每个32×32CU的纹理划分标识和纹理特征值：
对于每个32×32CU，首先判断其包含的四个16×16CU中是否存在一个TS16×16值为1，若存在，则直接将当前32×32CU的纹理划分标识TS32×32设为1，并按式(I)计算其四个子CU的TFk(k为0～3)，将这四个TFk的平均值作为当前32×32CU的纹理特征值TF32×32；否则按式(I)计算其四个子CU的TFk(k为0～3)，按式(II)计算当前32×32CU的纹理划分标识TS32×32，同时将四个TFk的平均值作为当前32×32CU的纹理特征值TF32×32，式中n值为32、m值为16。
(2-4)利用32×32CU的纹理划分标识，计算64×64CU的纹理划分标识：
对CTU中唯一的64×64CU，首先判断其包含的四个32×32CU中是否存在一个TS32×32值为1，若存在，则直接将64×64CU的纹理划分标识TS64×64设为1；否则按式(I)和式(II)计算其纹理划分标识TS64×64，式中n值为64、m值为32。
步骤(3)具体包括：
(3-1)预测当前CTU的深度范围：
利用步骤(2)得到的16个16×16CU、4个32×32CU和1个64×64CU的纹理划分标识TSn×n以及4个32×32CU的纹理特征值TF32×32，预测当前CTU的深度范围R，R为[DMin，DMax]，DMin和DMax分别按式(III)和式(IV)计算得到；DMin为当前CTU的最小深度值，DMax为当前CTU的最大深度值；TH2为纹理特征值的比较阈值，此处设为12。
Figure BDA0001219556890000121
Figure BDA0001219556890000131
(3-2)计算CU的提前终止编码划分标识：
按式(V)计算n×n CU的提前终止编码划分标识CTn×n，其中n的取值依次为64、32和16；若当前n×n CU的纹理划分标识TSn×n为0，则将CTn×n设为1，表示提前终止当前CU的四叉树划分，否则将CTn×n设为0，表示当前CU可继续四叉树划分。
Figure BDA0001219556890000132
(3-3)计算8×8PU的提前终止预测划分标识：
若当前8×8PU所属16×16CU的终止划分标识CT16×16值为1，则跳过当前步骤，否则按式(VI)计算当前8×8PU的提前终止预测划分标识PT8×8。式(VI)中，若当前8×8PU对应的8×8CU的TS8×8值为0，即不进行纹理划分，则将PT8×8设为1，表示在进行2N×2N划分模式的预测之后，提前终止预测划分，不再进行N×N划分模式的预测；否则将PT8×8设为0，表示当前8×8PU可以进行N×N划分模式的预测。
Figure BDA0001219556890000133
步骤(4)具体包括：
在当前CTU四叉树划分的CU先序遍历过程中，若当前CU所处深度不在当前CTU的深度范围R内，则不对当前CU进行编码预测，反之若在R内，则根据当前CU所处深度分以下两种情况进行处理：(a)若当前n×n CU所处深度小于3，则先对当前CU进行编码预测，接着若其提前终止编码划分标识CTn×n值为1，则当前CU将不再进行四叉树划分；(b)若当前CU所处深度为3，则先对其8×8PU进行2N×2N划分模式的预测，接着若该8×8PU的提前终止预测划分标识PT8×8值为1，则跳过N×N划分模式的预测，直接将2N×2N划分模式作为该8×8PU的最终划分模式，否则继续进行N×N划分模式的预测，并从2N×2N划分模式和N×N划分模式中选择率失真代价较小者作为该8×8PU的最终划分模式。

Claims (6)

1.一种基于纹理划分特征的HEVC帧内编码模式选择方法，其特征在于，所述的选择方法包括以下步骤：
(1)输入一个编码模式待选择的CTU：
所述CTU的尺寸为64×64；
(2)对当前CTU的原始像素亮度值进行纹理特征分析，计算得到不同尺寸CU的纹理划分标识和32×32 CU的纹理特征值；所述步骤(2)包括以下子步骤：
(2-1)对一个尺寸为n×n的CU进行纹理特征分析；包括以下子步骤：
(2-1-1)把尺寸为n×n的CU平均划分成四个相同尺寸为m×m的子CU，按式(I)计算每一个子CU的纹理特征值TFk，其中k为子CU的索引，值为0～3；Pixelk(i,j)为第k个子CU中第i行、第j列原始像素的亮度值；AvgTL为当前CU中四个子CU共用的像素参考值，其值为当前CU第一行和第一列共2n个原始像素的平均亮度值；TFk值为第k个子CU中每个像素亮度值与AvgTL的平均绝对差值；
Figure FDA0002333519380000011
(2-1-2)从四个子CU的TFk中选取最大值TFMax，按式(II)计算n×n CU的纹理划分标识TSn×n；TH1为纹理划分比较阈值，若TFMax大于阈值TH1，则将当前CU的TSn×n设为1，表示需要进行纹理划分，否则将TSn×n设为0，表示不需要进行纹理划分；
Figure FDA0002333519380000012
(2-2)以(2-1)的方法计算每个16×16 CU的纹理划分标识，n为16、m为8；
(2-3)利用当前CTU中每个16×16 CU的纹理划分标识，计算对应的8×8 CU的纹理划分标识；
(2-4)利用16×16 CU的纹理划分标识，计算每个32×32 CU的纹理划分标识和纹理特征值；
(2-5)利用32×32 CU的纹理划分标识，计算64×64 CU的纹理划分标识；
(3)利用不同尺寸CU的纹理划分标识和32×32 CU的纹理特征值，预测当前CTU的深度范围，以及计算CU的提前终止编码划分标识和PU的提前终止预测划分标识；所述步骤(3)包括以下子步骤：
(3-1)预测当前CTU的深度范围；
(3-2)计算CU的提前终止编码划分标识；
(3-3)计算8×8 PU的提前终止预测划分标识；
(4)利用当前CTU的深度范围、CU的提前终止编码划分标识以及PU的提前终止预测划分标识，完成当前CTU的四叉树划分。
2.如权利要求1所述的一种基于纹理划分特征的HEVC帧内编码模式选择方法，其特征在于，所述的步骤(2)中包含以下子步骤：
(2-1)对一个尺寸为n×n的CU进行纹理特征分析；
(2-2)以(2-1)的方法计算每个16×16 CU的纹理划分标识，n为16、m为8；
(2-3)利用当前CTU中每个16×16 CU的纹理划分标识，计算对应的8×8 CU的纹理划分标识：
若当前8×8 CU所属16×16 CU的TS16×16值为1，则利用式(I)和式(II)计算该8×8 CU的纹理划分标识TS8×8，n为8、m为4；否则当前8×8CU不需要计算纹理划分标识；
(2-4)利用16×16 CU的纹理划分标识，计算每个32×32 CU的纹理划分标识和纹理特征值：
对于每个32×32 CU，首先判断其包含的四个16×16 CU中是否存在一个TS16×16值为1；若存在，则直接将当前32×32 CU的纹理划分标识TS32×32设为1，并按式(I)计算其四个子CU的TFk，k为0～3，将这四个TFk的平均值作为当前32×32 CU的纹理特征值TF32×32；否则，按式(I)和式(II)计算其纹理划分标识TS32×32，并将式(I)得到的四个TFk的平均值作为当前32×32 CU的纹理特征值TF32×32；其中，n值为32、m值为16；
(2-5)利用32×32 CU的纹理划分标识，计算64×64 CU的纹理划分标识：
对CTU中的64×64 CU，首先判断其包含的四个32×32 CU中是否存在一个TS32×32值为1，若存在，则直接将64×64 CU的纹理划分标识TS64×64设为1；否则，按式(I)和式(II)计算其纹理划分标识TS64×64，其中，n值为64、m值为32。
3.如权利要求2所述的一种基于纹理划分特征的HEVC帧内编码模式选择方法，其特征在于，TH1的取值范围为[6,10]。
4.如权利要求1所述的一种基于纹理划分特征的HEVC帧内编码模式选择方法，其特征在于，所述的步骤(3)中包含以下子步骤：
(3-1)预测当前CTU的深度范围：
利用步骤(2)得到的16个16×16 CU、4个32×32 CU和1个64×64 CU的纹理划分标识TSn×n以及4个32×32 CU的纹理特征值TF32×32，预测当前CTU的深度范围R，R为[DMin，DMax]，DMin和DMax分别由式(III)和式(IV)计算得到；DMin为当前CTU的最小深度值，DMax为当前CTU的最大深度值；TH2为纹理特征值的比较阈值；
Figure FDA0002333519380000041
Figure FDA0002333519380000042
(3-2)计算CU的提前终止编码划分标识：
利用不同尺寸CU的纹理划分标识TSn×n按式(V)判别n×n CU是否提前终止划分，其中，n的取值依次为64、32、16，CTn×n为n×n CU提前终止编码划分标识；若当前n×n CU的纹理划分标识TSn×n为0，则将CTn×n设为1，表示提前终止当前CU的四叉树划分，否则将CTn×n设为0，表示当前CU可继续四叉树划分；
Figure FDA0002333519380000043
(3-3)计算8×8 PU的提前终止预测划分标识：
对每个8×8 PU，若其所属16×16 CU的提前终止编码划分标识CT16×16值为1，则不计算当前8×8 PU的提前终止预测划分标识，否则按式(VI)计算当前8×8 PU的提前终止预测划分标识PT8×8；式(VI)中，若当前8×8 PU对应的8×8 CU的TS8×8值为0，则将PT8×8设为1，表示在进行2N×2N划分模式的预测之后，提前终止预测划分；否则将PT8×8设为0，表示当前8×8PU可以进行N×N划分模式的预测。
Figure FDA0002333519380000051
5.如权利要求4所述的一种基于纹理划分特征的HEVC帧内编码模式选择方法，其特征在于，TH2的取值范围为[10,14]。
6.如权利要求1所述的一种基于纹理划分特征的HEVC帧内编码模式选择方法，其特征在于，所述的步骤(4)为：
在当前CTU四叉树划分的CU先序遍历过程中，若当前CU所处深度不在当前CTU的深度范围R内，则不对当前CU进行编码预测，反之若在R内，则根据当前CU所处深度分两种情况进行处理：
若当前n×n CU所处深度小于3，则先对当前CU进行编码预测，接着若其提前终止编码划分标识CTn×n值为1，则当前CU将不再进行四叉树划分；
若当前CU所处深度为3，则先对其8×8 PU进行2N×2N划分模式的预测，接着若当前CU的8×8 PU提前终止预测划分标识PT8×8值为1，则跳过N×N划分模式的预测，直接将2N×2N划分模式作为该8×8 PU的最终划分模式，否则继续进行N×N划分模式的预测，并从2N×2N划分模式和N×N划分模式中选择率失真代价较小者作为该8×8 PU的最终划分模式。
CN201710061400.7A 2017-01-26 2017-01-26 基于纹理划分特征的hevc帧内编码模式选择方法 Active CN106961606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710061400.7A CN106961606B (zh) 2017-01-26 2017-01-26 基于纹理划分特征的hevc帧内编码模式选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710061400.7A CN106961606B (zh) 2017-01-26 2017-01-26 基于纹理划分特征的hevc帧内编码模式选择方法

Publications (2)

Publication Number Publication Date
CN106961606A CN106961606A (zh) 2017-07-18
CN106961606B true CN106961606B (zh) 2020-04-07

Family

ID=59481081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710061400.7A Active CN106961606B (zh) 2017-01-26 2017-01-26 基于纹理划分特征的hevc帧内编码模式选择方法

Country Status (1)

Country Link
CN (1) CN106961606B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107396121B (zh) * 2017-08-22 2019-11-01 中南大学 一种基于分层b帧结构的编码单元深度预测方法及装置
CN107623850B (zh) * 2017-09-26 2019-11-22 杭州电子科技大学 一种基于时空相关性的快速屏幕内容编码方法
CN108322747B (zh) * 2018-01-05 2020-07-10 中国软件与技术服务股份有限公司 一种面向超高清视频的编码单元划分优化方法
CN108737819B (zh) * 2018-05-20 2021-06-11 北京工业大学 一种基于四叉树二叉树结构的灵活编码单元划分方法
CN109068142B (zh) * 2018-09-06 2022-08-16 北方工业大学 360度视频帧内预测快速决策方法、装置、编解码器和介质
CN113170098B (zh) * 2018-12-07 2023-02-14 华为技术有限公司 视频译码的约束预测模式
CN109348223B (zh) * 2018-12-13 2021-02-26 杭州当虹科技股份有限公司 一种适用于avs2和hevc帧内编码的快速方法
CN109688414B (zh) * 2018-12-19 2022-11-11 同济大学 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法
EP3963890A4 (en) 2019-06-04 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION
CN114097228B (zh) 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
EP3984215A4 (en) 2019-07-14 2022-08-24 Beijing Bytedance Network Technology Co., Ltd. TRANSFORM BLOCK SIZE RESTRICTION IN VIDEO CODING
WO2021057771A1 (en) * 2019-09-24 2021-04-01 Mediatek Inc. Method and apparatus of separated coding tree coding with constraints on minimum cu size
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
CN110933410B (zh) * 2019-11-06 2022-03-25 北京佳讯飞鸿电气股份有限公司 Hevc视频帧间预测方法和装置
CN114556943A (zh) * 2020-04-03 2022-05-27 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
CN111510728B (zh) * 2020-04-12 2022-05-06 北京工业大学 一种基于深度特征表达与学习的hevc帧内快速编码方法
CN111885383A (zh) * 2020-06-23 2020-11-03 北京工业职业技术学院 基于cu纹理复杂度的cu子划分
CN111770340B (zh) * 2020-07-23 2022-03-15 腾讯科技（深圳）有限公司 视频编码方法、装置、设备以及存储介质
CN112203087B (zh) * 2020-09-18 2021-05-14 广州佰锐网络科技有限公司 一种hevc帧内预测模式快速选择方法与系统
CN112104867B (zh) * 2020-11-09 2021-03-02 腾讯科技（深圳）有限公司 一种视频处理方法、视频处理装置、智能设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175212A (zh) * 2007-10-15 2008-05-07 中兴通讯股份有限公司 一种低复杂度的帧内预测模式选择方法
CN105120292A (zh) * 2015-09-09 2015-12-02 厦门大学 一种基于图像纹理特征的视频编码帧内预测方法
CN105812799A (zh) * 2014-12-31 2016-07-27 阿里巴巴集团控股有限公司 视频帧内预测模式的快速选择方法及其装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175212A (zh) * 2007-10-15 2008-05-07 中兴通讯股份有限公司 一种低复杂度的帧内预测模式选择方法
CN105812799A (zh) * 2014-12-31 2016-07-27 阿里巴巴集团控股有限公司 视频帧内预测模式的快速选择方法及其装置
CN105120292A (zh) * 2015-09-09 2015-12-02 厦门大学 一种基于图像纹理特征的视频编码帧内预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Coding efficiency comparison of new video coding standards:HEVC vs VP9 vs AVS2 video;Il-Koo Kim , Sunil Lee , et.al;《IEEE International Conference on Multimedia and Expo Workshops (ICMEW) 》;20141231;全文 *
基于纹理相似性的高效视频编码帧间预测优化算法;吴宪云等;《电子与信息学报》;20150331;第38卷(第3期);全文 *

Also Published As

Publication number Publication date
CN106961606A (zh) 2017-07-18

Similar Documents

Publication Publication Date Title
CN106961606B (zh) 基于纹理划分特征的hevc帧内编码模式选择方法
WO2016115968A1 (zh) 一种融合视觉感知特征的可分层视频编码方法
CN109688414B (zh) 一种vvc帧内编码单元候选预测模式缩减及块划分提前终止方法
CN103997646B (zh) 一种高清视频编码中快速帧内预测模式选择方法
WO2018010492A1 (zh) 视频编码中帧内预测模式的快速决策方法
CN109104609B (zh) 一种融合hevc压缩域和像素域的镜头边界检测方法
CN103517069A (zh) 一种基于纹理分析的hevc帧内预测快速模式选择方法
CN109068142B (zh) 360度视频帧内预测快速决策方法、装置、编解码器和介质
EP1602242A2 (en) Video encoding
CN105141954A (zh) 一种hevc帧间编码快速模式选择方法
CN107623850A (zh) 一种基于时空相关性的快速屏幕内容编码方法
CN105657420B (zh) 一种面向hevc的快速帧内预测模式判决方法和装置
CN105208387A (zh) 一种hevc帧内预测模式快速选择方法
CN104883566B (zh) 一种适用于hevc标准的帧内预测块大小划分的快速算法
Chen et al. A novel fast intra mode decision for versatile video coding
Santamaria et al. Estimation of rate control parameters for video coding using CNN
CN111586405B (zh) 一种多功能视频编码中基于alf滤波的预测模式快速选择方法
CN108769696A (zh) 一种基于Fisher判别式的DVC-HEVC视频转码方法
CN107690069B (zh) 一种数据驱动的级联视频编码方法
CN112437310A (zh) 一种基于随机森林的vvc帧内编码快速cu划分决策方法
Zhang et al. Fast CU partition decision method based on Bayes and improved de-blocking filter for H. 266/VVC
CN104333755B (zh) HEVC中B帧的基于SKIP/Merge RD Cost的CU提前终止方法
Li et al. Fast depth intra coding based on spatial correlation and rate distortion cost in 3D-HEVC
US8644388B2 (en) Method and device for approximating a DC coefficient of a block of pixels of a frame
CN106878754B (zh) 一种3d视频深度图像帧内预测模式选择方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant