CN109040764B - 一种基于决策树的hevc屏幕内容帧内快速编码算法 - Google Patents

一种基于决策树的hevc屏幕内容帧内快速编码算法 Download PDF

Info

Publication number
CN109040764B
CN109040764B CN201811020497.8A CN201811020497A CN109040764B CN 109040764 B CN109040764 B CN 109040764B CN 201811020497 A CN201811020497 A CN 201811020497A CN 109040764 B CN109040764 B CN 109040764B
Authority
CN
China
Prior art keywords
decision tree
flag
depth
pixel
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811020497.8A
Other languages
English (en)
Other versions
CN109040764A (zh
Inventor
黄胜
司朋涛
肖傲
李萌芳
袁建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201811020497.8A priority Critical patent/CN109040764B/zh
Publication of CN109040764A publication Critical patent/CN109040764A/zh
Application granted granted Critical
Publication of CN109040764B publication Critical patent/CN109040764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出一种基于决策树的HEVC屏幕内容帧内快速编码算法,属于视频编解码技术领域。该算法包括:1)提取有效的特征值;2)生成原始数据集作为训练集,在此基础上加以训练完成决策树,包括CU决策树和PU决策树;3)将图像分割为若干个CTU,在执行帧内编码过程中,判断当前CU是否为边界CTU,如果是则执行标准算法完成编码,否则进行步骤4);4)执行快速编码,即在一定深度的决策树中,通过对该层的特征值的计算完成当前CU的划分与PU模式的选择。本发明通过决策树做判决的算法通过减少CU深度和PU的模式遍历而降低编码复杂度。最终保证在码率和峰值信噪比基本不变的情况下,有效减少编码时间,达到快速帧内编码的效果。

Description

一种基于决策树的HEVC屏幕内容帧内快速编码算法
技术领域
本发明涉及视频编解码技术领域,特别是涉及一种基于决策树的HEVC屏幕内容帧内快速编码算法。
背景技术
近几年,随着互联网和移动端智能设备的快速发展,多媒体视频应用产生的视频数据约占人类通讯数据量的80%。思科Cisco预期至2019年,移动视频数据将占设备数据通信总量的72%以上。尽管近年来网络带宽和存储能力增加迅速,但是也远不能满足人们对于存储和传输高分辨率视频的要求。面对如此大量的数据和即时视频通信的严格要求,高效快速的视频编码技术的改善显得尤为重要。
视频快速编码算法是编码视频的重要技术手段,是视频稳定传输和高效存储的重要保障。就目前来讲,随着云计算、远程桌面和无线显示技术的发展,如何在低码率的情况下使屏幕图像在电脑屏幕、手机屏幕、电视机屏幕和其它客户端上高质量地显示,吸引了学术界和工业界的广泛关注。视频快速编码算法的研究成为了现今视频编码的一个研究热点,基于HEVC(High Efficiency Video Coding,一种新的视频压缩标准)的屏幕内容编码(Screen Content Coding,SCC)快速算法的研究也得到了进一步的重视和发展。
另外,产业界数据量的爆炸式增长促进了机器学习的发展。通过机器学习对数据进行深入归纳、分析,从而获取新的、规律性的信息和知识来辅助决策的方法越来越受到学术界和产业界的关注。现今,基于四叉树结构的视频编码算法在编码过程中存在大量的计算冗余。在算法优化过程中,减少这种计算冗余将可以有效节约编码时间。同机器学习中的一些分类算法相比较,视频编码中的一些CU(编码单元)块划分以及PU(预测单元)模式选择的过程与机器学习中的分类思想十分相似。有效的利用机器学习算法进行视频编解码将有助于视频编码技术的发展。
为有效的降低HEVC SCC帧内编码复杂度,减少编码时间,人们已经进行了大量的研究工作。文献《Hash based fast local search for Intra Block Copy(IntraBC)modein HEVC screen content coding》中提出了基于哈希块匹配的快速搜索算法以降低编码复杂度。文献《Fast HEVC screen content coding by skipping unnecessary checkingof intra block copy mode based on CU activity and gradient》利用梯度的自适应双阈值设置的方法跳过不必要的PU模式检测减少编码时间。在文献《Content based modeand depth skipping with Sharp and Directional Edges for intra prediction inScreen Content Coding》中,通过判断是否具有水平垂直的边缘检测的方法来判定,减少PU候选模式检测数。
这些传统的快速算法虽然能够有效的减少编码时间,但大部分都具有局限性,不能针对所有的视频类型都能做到很好的复杂度降低,且许多阈值的设定都利用经验性的实验结果来确定。本次提出的快速算法使用机器学习的决策树模型,方便简单,且能有效挖掘视频特征信息,无差别的分析视频特性,有效的降低编码复杂度。
发明内容
HEVC SCC继承了HEVC的编码框架,CU划分仍然采用了四叉树结构。HEVC SCC帧内编码过程的复杂度主要集中在CU划分和PU模式选择的遍历过程。在标准算法编码过程中,使用遍历选择最小的率失真代价的方式进行最优模式选取。另外,就IBC模式的哈希搜索过程,其匹配块的搜索过程占据了较大的时间,虽然匹配块搜索方式比较简单,但是寻找匹配块的过程比较次数较多,增加了编码复杂度。
一种基于决策树的HEVC屏幕内容帧内快速编码算法,包括以下步骤:
1)对标准视频序列进行特性分析,提取有效的特征值;
2)通过标准测试序列的视频帧的选择,生成原始数据集作为训练集,在此基础上加以训练完成决策树,包括CU决策树和PU决策树;
3)读取图像,并将图像分割为若干个CTU,在执行帧内编码过程中,判断当前CU是否为边界CTU,如果是则执行标准算法完成编码,否则进行步骤4);
4)执行快速编码,即在一定深度的决策树中,通过对该层的特征值的计算完成当前CU的划分与PU模式的选择。
进一步的,特征值包括CU像素值的方差CUD、平均非零梯度AveGDN、CU信息熵ent以及像素种类数CNum,其中CU信息熵包括梯度信息熵GDen和像素信息熵Pixen。
进一步的,在CU决策树中主要用到的特征值有:CU像素值的方差CUD、梯度信息熵GDen和像素种类数CNum;对当前层CU的决策表现为划分或不划分,对应的在算法流程中表现为跳过或终止。
进一步的,所述CU决策树深度为0、1和2;在深度为0时,计算CUD,若CUD>α01,则执行快速划分,且深度加1;若CUD≤β01,若是则执行快速终止,调用当前层对应的PU决策树,β01<α01
在深度为1时,计算CUD、GDen和CNum,若CNum≤β11且GDen≤β12,执行快速终止,并调用当前层对应的PU决策树;若CNum>α11且CUN>α12,执行快速划分,且深度加1,β11<α11
在深度为2时,计算CUD和CNum,若CNum≤β21且CUN<β22,执行快速终止,并调用当前层对应的PU决策树;
其余不满足上述3层CU决策树特征值判断条件的情况,按照标准算法遍历深度,即在当前层调用PU决策树,且进行深度加1。
进一步的,CU划分中,初始标志位设置有spl it_Flag=0和end_Flag=0;CU决策树中,最终的决策结果有三种标志位状态:
1)split_Flag=0且end_Flag=0,代表执行PU决策树的调用,且深度加1;
2)split_Flag=0且end_Flag=1,代表执行PU决策树的调用,并进行快速终止;
3)split_Flag=1且end_Flag=0,代表执行快速划分,且深度加1,不执行PU决策树的调用。
进一步的,在PU决策树中主要使用的特征值包括像素种类数CNum、平均非零梯度AveGDN、像素信息熵Pixen和梯度信息熵GDen,对当前层PU的决策表现为自然图像块NB和屏幕内容块SB。
进一步的,所述PU决策树深度为0、1、2和3;在深度为0时,计算CNum,若CNum>γ01,PU执行NB对应的35种模式检测;
在深度为1时,计算AveGDN和Pixen,若AveGDN≤λ11且Pixen>γ12,执行NB对应的35种模式检测;若AveGDN>λ11,执行SB对应的IBC和PLT模式的决策;
深度为2时,计算AveGDN和Pixen,若AveGDN>λ21且Pixen≤λ22,执行SB对应的IBC和PLT模式的决策;若AveGDN≤λ21且Pixen>γ22,执行NB对应的35种模式检测;
在深度为3时,计算AveGDN和GDen,若AveGDN≤γ31,执行NB对应的35种模式检测;若AveGDN>λ31且GDen>λ32,执行SB对应的IBC和PLT模式的决策,λ31>γ31
其余不满足4层PU决策树特征值判断条件的情况,按照所有可能模式进行模式遍历。
进一步的,PU模式决策中,初始标志位包括NB_Flag=0和SB_Flag=0;在PU决策树中,最终的决策结果有三种标志位状态:
1)NB_Flag=0且SB_Flag=0,代表执行所有可能模式的遍历,选出当前层的最优模式;
2)NB_Flag=1且SB_Flag=0,代表执行NB对应的35种模式检测,选出当前层的最优模式;
3)NB_Flag=0且SB_Flag=1,代表执行SB对应的IBC和PLT模式的决策,选出当前层的最优模式。
本发明的有益技术效果为:通过决策树做判决的算法通过减少CU深度和PU的模式遍历而降低编码复杂度。最终保证在码率和峰值信噪比基本不变的情况下,有效减少编码时间,达到快速帧内编码的效果。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1是本发明的决策树模型;
图2是本发明的算法执行流程图;
图3是本发明实施例图。
具体实施方式
为了使本技术领域人员能更好地理解本发明的目的、技术方案和有益效果,下面结合具体实施例和说明附图来进行完整的描述。
在HEVC SCC的理论基础上进行研究,使用机器学习中的决策树,实现一种基于HEVC的屏幕内容帧内快速算法,即在屏幕内容帧内编码过程中,对CU划分和PU模式进行分类,使用决策树快速决策过程替代标准算法的遍历,减少CU划分的深度范围和预测模式的PU候选集数量,从而降低编码复杂度。
根据视频特性,提出有效的特征值,利用标准代码生成原始的特征数据集,使用这些生成的数据作为训练集,训练生成决策树模型,实现在保证视频编码质量基本不变的情况下,对屏幕内容的帧内部分做快速CU深度划分和PU模式选择决策,提高编码效率。
在特征值选取时,总结重要CU的特点,提出相关特征。在CU划分时,纹理、边缘等信息一般是决定的关键,在PU预测模式类型方面,像素分布和像素种类数等往往起着重要作用。在此,总结性的提出的特征值有:CU像素值的方差、平均非零梯度、CU信息熵以及像素种类数。其中CU信息熵包括梯度信息熵和像素信息熵。CU像素值的方差表征了当前CU的纹理复杂度,可以用在CU快速划分算法中。在自然图像块中,方差越大越倾向于当前CU块的划分,方差越小越倾向于CU不划分;平均非零梯度是替代CU块的高频能量的特征值,用于PU模式选择中,CU块预测模式类型区分。自然图像块的像素值一般缓慢变化,平均非零梯度较小,而屏幕内容块常常存在尖锐的边界,有较大的平均非零梯度。CU信息熵主要是表征了CU梯度,或者像素的种类数以及所有的种类的分布情况,在CU划分和PU模式选择中均有用到。信息熵越大说明含有信息量越大,分布越广,种类数越多;熵值越小说明分布越集中,种类越少。自然图像块中一般梯度信息熵值较大则倾向于划分,较小则倾向于终止。对于CU中像素来讲,屏幕内容图像一般像素种类较少,而自然图像中像素种类一般较多。PU模式中,像素信息熵较小时倾向于使用IBC模式和PLT模式,较大时倾向于使用传统33种角度和DC以及Planar模式。像素颜色数可以用来区分PU预测模式类型。
1)CU像素值的方差(CUD)。CUD表征了CU内的整体像素的分布以及纹理复杂度等情况。计算如公式(1)为:
Figure BDA0001787201600000061
其示当中,N表前CU长或者高;pij为当前CU中(i,j)处的像素值。
2)CU信息熵(ent)。信息熵能表现出CU中整体像素或者梯度的分布情况,包括种类数以及对应的数量。计算公式(2)为:
Figure BDA0001787201600000062
其中,p(i)为每种像素所占比例;m为CU中所有的像素种类数目。
3)像素种类数(CNum)。像素种类数表示一个CU中像素点的种类数目。屏幕内容块中更倾向于有较少的颜色数,而自然图像块一般像素较多。
4)平均非零梯度(AveGDN)。在文本表格类的编码块中,一般有非连续色调产生的锐利边缘,在变换后的频域有较高的高频分量,由于使用变换做能量分析计算复杂,这里使用AveGDN代替这种不同于自然图像的高频分量的特性,取梯度大于等于3的梯度计数相加取平均。
上述特征值计算的有关梯度的计算均采用公式如下为:
Figure BDA0001787201600000071
其中,G(x,y)为梯度值;p(i,j)为在(i,j)处的像素值。
在决策树中,CU划分主要用到的特征值有:CU像素值的方差(CUD)、梯度熵信息(GDen)、像素种类数(CNum)。对当前CU的决策表现为划分(split)或不划分(unsplit),在算法流程图中表现为跳过(skip)和终止(stop)。
PU模式决策使用的特征值时,一方面使尽量使用CU划分使用的特征值;另一方面,减少复杂特征值的使用。使用的特征值主要有像素种类数(CNum)、平均非零梯度(AveGDN)、像素信息熵(Pixen)和梯度信息熵(GDen),对当前层PU的决策表现为自然图像块(NB)和屏幕内容块(SB)。
在决策树数据准备中,精简选取视频帧进行原始数据集的采集。在标准的测试序列中,所有标准视频测试序列可以分为4类:有运动的文本图表类(TGM)、动画内容类(An)、混合视频内容类(Mc)和相机捕获视频内容类(Cc)。在生成决策树模型的过程中,为了使原始数据集覆盖更广泛的数据类型的范围,每种视频类型都有选择。另外,每个标准视频序列按照整帧图像的像素值差值并加以人工筛选,每个视频序列选10帧用来生成原始数据集。另外,由于每个视频序列最后一行可能不是完整的CTU,所以在进行数据提取计算特征值的过程中,均都剔除了最后一行CTU像素。另外,文中所提到的像素值没有特殊说明,均为像素亮度分量值。在决策树的生成中,每一个分支的划分结果都对应相应的标志位并设置初始值。对于划分深度大于3,划分精度仍没有大于85%的分支,此时不进行划分,且分支设置为初始值状态。
在执行快速算法时需要先满足快速算法执行条件。读取图像信息,进行CTU编码,判断当前CU是否为边界CTU,即是否为第一行或者最后一行的CTU。如果是,则执行标准算法完成编码,否则使用快速算法。
在使用快速算法过程中,设置标志位。CU划分中,初始标志位设置有split_Flag=0和end_Flag=0。CU决策树中,最终的决策结果有三种标志位状态:split_Flag=0且end_Flag=1、split_Flag=1且end_Flag=0和split_Flag=0且end_Flag=0。当标志位为split_Flag=0且end_Flag=0时,执行操作为调用PU决策树,且进行深度加1;在split_Flag=0且end_Flag=1时,调用相应PU决策树,并进行快速终止;在split_Flag=1且end_Flag=0时,执行快速划分,深度加1,不执行PU决策树的调用。
PU模式决策中过程类似,初始化设置为2种标志:NB_Flag=0和SB_Flag=0。在PU模式决策树中,最终的决策结果有三种标志位状态:NB_Flag=0且SB_Flag=0、NB_Flag=1且SB_Flag=0和NB_Flag=0且SB_Flag=1。在标志位为NB_Flag=0且SB_Flag=0时,执行所有可能模式遍历;在NB_Flag=1且SB_Flag=0时,执行NB对应的35种模式检测,在NB_Flag=0且SB_Flag=1时,执行SB对应的IBC和PLT模式的决策,从而选出当前层的最优模式。
执行HEVC SCC帧内编码的快速算法的过程有:
在快速算法中,CU从深度为0开始遍历,如果深度为0,进行CU方差的计算,并按照方差大于α01时执行快速划分进入深度1,设置的标志位为split_Flag=1且end_Flag=0;在方差小于等于β01时,执行快速终止,设置标志位有split_Flag=0且end_Flag=1,调用当前层对应的PU决策树;对于不能满足上述两种情况者,设置标志位为split_Flag=0且end_Flag=0,执行相应层PU决策树的调用,且进行深度加1。在进行深度为0时的PU决策树的特征值计算,即计算当前CU的颜色数,当像素种类数大于γ01时标志位设置为NB_Flag=1且SB_Flag=0,PU执行NB对应的35种模式检测;如果不满足上述条件则设置标志位为NB_Flag=0且SB_Flag=0,执行所有可能模式的遍历;选出当前层的最优模式。
如果当前CU深度为1,进行CU像素值的方差、梯度信息熵和像素颜色数的计算,对于标志位的设置与深度为0时方式相同。在像素种类数小于β11且梯度信息熵小于等于β12时,执行快速终止,并调用当前层对应的PU决策树;在像素种类数大于α11、方差大于等于α12时,执行快速划分进入深度2;两者都不满足时,执行PU决策树调用,并进行深度加1。在进行深度为1时的PU决策树的特征值计算,即计算当前CU的平均非零梯度值和像素信息熵,当平均非零梯度小于γ11且像素信息熵大于γ12时,PU执行NB对应的35种模式检测;当平均非零梯度大于λ11时,执行SB对应的IBC和PLT模式的决策;当两者都不满足时,执行所有可能模式的遍历;选出当前层的最优模式。
如果当前CU深度为2,进行CU方差和CU像素颜色数的计算,对于标志位的设置与深度为0时方式相同。在像素种类数小于β21、方差小于等于β22时执行快速终止,并调用当前层对应的PU决策树;否则执行PU决策树,且深度加1。在进行深度为2的PU决策树的特征值计算,即计算当前CU的平均非零梯度值和像素信息熵时,在平均非零梯度大于λ21且像素信息熵小于λ22时,执行IBC和PLT模式的决策;在平均非零梯度小于γ21且像素信息熵大于γ22时,PU执行NB对应的35种模式检测;当这种情况均不满足时,遍历所有可能模式;选出当前层的最优模式。
如果当前CU深度为3,只进行深度为3的PU决策树的特征值计算,即计算当前CU的平均非零梯度值和梯度信息熵,标志位设置时,由于在深度3不进行CU的划分,所以标志位直接设为split_Flag=0且end_Flag=1;对于PU决策树相关的标志位仍为上层一样的初始化状态,即NB_Flag=0和SB_Flag=0。在平均非零梯度小于等于γ31时,设置NB_Flag=1且SB_Flag=0,进行35种角度模式检测;在平均非零梯度大于λ31且梯度信息熵大于λ32时,设置NB_Flag=0且SB_Flag=1,执行IBC和PLT模式的决策;当两者均不满足时,设置NB_Flag=0且SB_Flag=0,执行所有可能模式的遍历;选出当前层的最优模式。
对于每层最优模式都有相应的RD代价值,通过上下层代价值的比较决策出最终的CU中每个位置的最佳深度和最优模式,完成整个CU的预测编码,进入下一个CTU。
实施例1
参阅图1和图2,本发明主要包括两大模块:CU快速划分模块和PU模式选择模块。CU划分包括了深度为0、1和2时的三个决策树,PU模式选择包括深度为0到3,每层进行PU遍历时的四个决策树模型。其中模型是通过选取的特定视频帧为基础,提取原始数据形成原始数据集,再通过机器学习决策树算法生成决策树模型,其中各个分支节点的值有机器学习算法提供,各个数值为:α01=16.677,β01=2.069,α11=29.5,α12=73.132,β11=3.5,β12=0.709,β21=11.5,β22=51.098,γ01=11.5,γ11=21,γ12=6.34,λ11=21,λ21=20.842,λ22=26.53,γ22=6.131,γ31=20.99,λ31=55.05,λ32=0.988。
结合图3实例图,图中图像被分割成若干64x64大小的CTU,按照划分的CTU进行逐个编码。在帧内编码过程中,第一行CTU和最后一行不完整的CTU使用标准算法编码;从第二行开始计算特征值,加入快速算法进行帧内预测编码。后面做具体说明,并以图中编号为①、②和③的CTU进行编码过程举例说明。
从CTU开始使用算法流程图中的决策树,根据具体特征值的情况进行深度范围和模式类型的遍历,而不采用全遍历的方式编码。具体过程有:
1)在快速算法中,CU从深度为0开始遍历,如果深度为0,进行CU方差的计算,设置标志位,并按照方差大于16.677时执行快速划分进入深度1,不进行PU决策树调用,设置的标志位为split_Flag=1且end_Flag=0;在方差小于等于2.069时,执行快速终止,调用当前层对应的PU决策树,设置的标志位为split_Flag=0且end_Flag=1;当两者条件均不满足时调用深度为0层PU决策树,并进入深度为1层CU计算,设置的标志位为split_Flag=0且end_Flag=0。再进行深度为0时的PU决策树的特征值计算,即计算当前CU的颜色数,并设置PU相关标志位,当像素种类数大于11.5时,PU执行NB对应的35种模式检测,并设置标志位为NB_Flag=1且SB_Flag=0;否则执行所有可能模式进行遍历,并设置标志位为NB_Flag=0且SB_Flag=0;选出当前层的最优模式。如图3编号为①的CTU,通过决策树决策当前CU,为提前终止,并通过PU决策树进行判断,像素种类数小于11.5,遍历所有可能模式,最终比较判定最优模式为模式0(DC模式),此时最佳深度为1、最优模式为DC模式,进行编码,结束当期CU的快速算法,进入下一个CTU。在图3中的②和③的CTU,由CU决策树判定当前CU快速划分,所以直接进入深度1,不进行PU模式的决策。
2)如果当前CU深度为1,进行CU方差、CU梯度的信息熵和CU像素颜色数的计算,对于标志位的设置与深度为0时方式相同,在CU的每种决策都设置相应的标志位。在像素种类数小于3.5且梯度信息熵小于等于0.709时,执行快速终止,并调用当前层对应的PU决策树;在像素种类数大于29.5、方差大于等于73.132时,执行快速划分进入深度2;在两者都不满足的情况下,执行PU决策树调用,并进入深度为2的CU计算,设置的标志位为split_Flag=0且end_Flag=0。在进行深度为1时的PU决策树的特征值计算,即计算当前CU的平均非零梯度值和像素信息熵,并设置标志位。当平均非零梯度小于21.00且像素信息熵大于6.34时,PU执行NB对应的35种模式检测,当平均非零梯度大于21.00时,执行SB对应的IBC和PLT模式的决策;如果两种情况都不满足,则执行所有可能模式遍历;选出当前层的最优模式。如图3编号为①的CTU已经终止。在图3中的②和③的CTU分割成4个CU后,对每个CU分别进行快速算法;在②的第一个深度为1的CU经决策树提前终止,调用PU决策树决策最优模式,进行第二个深度为1的CU的调用,决策出每个深度为1的情况;编号③的深度为1的第一个CU则直接划分进入深度2;
3)如果当前CU深度为2,进行CU方差和CU像素颜色数的计算并设置标志位,方式与前面相同。在像素种类数小于11.5、方差小于等于51.098时执行快速终止,并调用当前层对应的PU决策树;否则执行PU决策树调用并进行深度加1。在进行深度为2的PU决策树的特征值计算,即计算当前CU的平均非零梯度值和像素信息熵时,在平均非零梯度大于20.842且像素信息熵小于6.53时,执行IBC和PLT模式的决策;在平均非零梯度小于20.842且像素信息熵大于6.131时,PU执行NB对应的35种模式检测;两种情况均不满足则执行所有可能模式遍历;选出当前层的最优模式。如图3编号为③的CU分割成4个CU进入深度2后,经CU决策树决策,不终止,调用当前层PU决策树算出深度为2的当前CU的最优模式,进入深度3;
4)如果当前CU深度为3,只进行深度为3的PU决策树的特征值计算,即计算当前CU的平均非零梯度值和梯度信息熵,标志位只设置NB_Flag和SB_Flag。在平均非零梯度小于等于20.99时,进行35种角度模式检测,设置标志位为NB_Flag=1且SB_Flag=0;在平均非零梯度大于55.05且梯度信息熵大于0.988时,执行IBC和PLT模式的决策,设置标志位为NB_Flag=0且SB_Flag=1;否则执行所有可能模式遍历,设置标志位为NB_Flag=0且SB_Flag=0;选出当前层的最优模式。在图3编号为③的CU进入深度为3后,调用PU决策树计算当前层的最优模式,比较确定最优深度和模式。在第一个深度为1的CU完成最优模式和深度决策后,遍历编码过程直到第4个CU的编码完成。
5)对于上述每层最优模式都有相应的代价值,通过上下层代价值的比较决策出最终的CU中每个位置的最佳深度和最优模式,完成整个CU的编码,进入下一个CTU。
以上所举实施例,对本发明的目的、技术方案和优点进行了进一步的详细说明,所应理解的是,以上所举实施例仅为本发明的优选实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于决策树的HEVC屏幕内容帧内快速编码算法,其特征在于:包括以下步骤:
1)对标准视频测试序列进行特性分析,提取有效的特征值;
2)通过标准视频测试序列的视频帧的选择,生成原始数据集作为训练集,在此基础上加以训练完成决策树,包括CU决策树和PU决策树;
3)读取图像,并将图像分割为若干个CTU,在执行帧内编码过程中,判断当前CU是否为边界CTU,如果是则执行标准算法完成编码,否则进行步骤4);
4)执行快速编码,即在一定深度的决策树中,通过对该层的特征值的计算完成当前CU的划分与PU模式的选择;
在快速算法中,CU从深度为0开始遍历,如果深度为0,进行CU方差的计算,并按照方差大于α01时执行快速划分进入深度1,设置的标志位为split_Flag=1且end_Flag=0;在方差小于等于β01时,执行快速终止,设置标志位有split_Flag=0且end_Flag=1,调用当前层对应的PU决策树;对于不能满足上述两种情况者,设置标志位为split_Flag=0且end_Flag=0,执行相应层PU决策树的调用,且进行深度加1;
如果当前CU深度为1,进行CU像素值的方差、梯度信息熵和像素颜色数的计算,对于标志位的设置与深度为0时方式相同;在像素种类数小于β11且梯度信息熵小于等于β12时,执行快速终止,并调用当前层对应的PU决策树;在像素种类数大于α11、方差大于等于α12时,执行快速划分进入深度2;两者都不满足时,执行PU决策树调用,并进行深度加1;
如果当前CU深度为2,进行CU方差和CU像素颜色数的计算,对于标志位的设置与深度为0时方式相同;在像素种类数小于β21、方差小于等于β22时执行快速终止,并调用当前层对应的PU决策树;否则执行PU决策树,且深度加1
其余不满足上述3层CU决策树特征值判断条件的情况,按照标准算法遍历深度,即在当前层调用PU决策树,且进行深度加1。
2.根据权利要求1所述的一种基于决策树的HEVC屏幕内容帧内快速编码算法,其特征在于:特征值包括CU像素值的方差CUD、平均非零梯度AveGDN、CU信息熵ent以及像素种类数CNum,其中CU信息熵包括梯度信息熵GDen和像素信息熵Pixen。
3.根据权利要求2所述的一种基于决策树的HEVC屏幕内容帧内快速编码算法,其特征在于,在CU决策树中用到的特征值包括:CU像素值的方差CUD、梯度信息熵GDen和像素种类数CNum;对当前层CU的决策表现为划分或不划分,对应的在算法流程中表现为跳过或终止。
4.根据权利要求2所述的一种基于决策树的HEVC屏幕内容帧内快速编码算法,其特征在于,在PU决策树中主要使用的特征值包括像素种类数CNum、平均非零梯度AveGDN、像素信息熵Pixen和梯度信息熵GDen,对当前层PU的决策表现为自然图像块NB和屏幕内容块SB。
5.根据权利要求4所述的一种基于决策树的HEVC屏幕内容帧内快速编码算法,其特征在于:所述PU决策树深度为0、1、2和3;
在进行深度为0时的PU决策树的特征值计算,即计算当前CU的颜色数,当像素种类数大于γ01时,PU执行NB对应的35种模式检测;如果不满足上述条件则执行所有可能模式的遍历;选出当前层的最优模式;
在进行深度为1时的PU决策树的特征值计算,即计算当前CU的平均非零梯度值和像素信息熵,当平均非零梯度小于γ11且像素信息熵大于γ12时,PU执行NB对应的35种模式检测;当平均非零梯度大于λ11时,执行SB对应的IBC和PLT模式的决策;当两者都不满足时,执行所有可能模式的遍历;选出当前层的最优模式;
在进行深度为2的PU决策树的特征值计算,即计算当前CU的平均非零梯度值和像素信息熵时,在平均非零梯度大于λ21且像素信息熵小于λ22时,执行IBC和PLT模式的决策;在平均非零梯度小于γ21且像素信息熵大于γ22时,PU执行NB对应的35种模式检测;当这种情况均不满足时,遍历所有可能模式;选出当前层的最优模式;
如果当前CU深度为3,只进行深度为3的PU决策树的特征值计算,即计算当前CU的平均非零梯度值和梯度信息熵,在平均非零梯度小于等于γ31时,进行35种角度模式检测,在平均非零梯度大于λ31且梯度信息熵大于λ32时,执行IBC和PLT模式的决策,当两者均不满足时,执行所有可能模式的遍历;选出当前层的最优模式;
其余不满足4层PU决策树特征值判断条件的情况,按照所有可能模式进行模式遍历。
6.根据权利要求5所述的一种基于决策树的HEVC屏幕内容帧内快速编码算法,其特征在于,PU模式决策中,初始标志位包括NB_Flag=0和SB_Flag=0;在PU决策树中,最终的决策结果有三种标志位状态:
1)NB_Flag=0且SB_Flag=0,代表执行所有可能模式的遍历,选出当前层的最优模式;
2)NB_Flag=1且SB_Flag=0,代表执行NB对应的35种模式检测,选出当前层的最优模式;
3)NB_Flag=0且SB_Flag=1,代表执行SB对应的IBC和PLT模式的决策,选出当前层的最优模式。
CN201811020497.8A 2018-09-03 2018-09-03 一种基于决策树的hevc屏幕内容帧内快速编码算法 Active CN109040764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811020497.8A CN109040764B (zh) 2018-09-03 2018-09-03 一种基于决策树的hevc屏幕内容帧内快速编码算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811020497.8A CN109040764B (zh) 2018-09-03 2018-09-03 一种基于决策树的hevc屏幕内容帧内快速编码算法

Publications (2)

Publication Number Publication Date
CN109040764A CN109040764A (zh) 2018-12-18
CN109040764B true CN109040764B (zh) 2021-09-28

Family

ID=64622855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811020497.8A Active CN109040764B (zh) 2018-09-03 2018-09-03 一种基于决策树的hevc屏幕内容帧内快速编码算法

Country Status (1)

Country Link
CN (1) CN109040764B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294602B (zh) * 2019-03-14 2022-07-08 北京达佳互联信息技术有限公司 一种帧内预测模式编解码方法和装置及设备
CN110312134B (zh) * 2019-08-06 2021-06-15 杭州微帧信息科技有限公司 一种基于图像处理和机器学习的屏幕视频编码方法
CN112822490B (zh) * 2019-11-15 2022-09-23 北京博雅慧视智能技术研究院有限公司 一种基于感知的帧内编码单元尺寸快速决策的编码方法
CN111385585B (zh) * 2020-03-18 2022-05-24 北京工业大学 一种基于机器学习的3d-hevc深度图编码单元划分方法
CN113469039B (zh) * 2021-06-30 2022-07-05 李�杰 一种光栅尺编码信号的高速方向识别方法
CN115633171B (zh) * 2022-10-08 2024-01-02 重庆邮电大学 基于shvc的快速cu决策算法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107371022A (zh) * 2017-08-26 2017-11-21 同济大学 应用于hevc医学影像无损编码的帧间编码单元快速划分方法
CN107592533A (zh) * 2017-10-30 2018-01-16 河海大学 一种低复杂度虚拟现实设备的屏幕内容编码算法
CN108174204A (zh) * 2018-03-06 2018-06-15 中南大学 一种基于决策树的帧间快速模式选择方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873861B (zh) * 2014-02-24 2017-01-25 西南交通大学 一种用于hevc的编码模式选择方法
EP3140989A4 (en) * 2014-05-22 2017-07-05 MediaTek Inc. Method of intra block copy with flipping for image and video coding
CN106454342B (zh) * 2016-09-07 2019-06-25 中山大学 一种视频压缩编码的帧间模式快速选择方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107371022A (zh) * 2017-08-26 2017-11-21 同济大学 应用于hevc医学影像无损编码的帧间编码单元快速划分方法
CN107592533A (zh) * 2017-10-30 2018-01-16 河海大学 一种低复杂度虚拟现实设备的屏幕内容编码算法
CN108174204A (zh) * 2018-03-06 2018-06-15 中南大学 一种基于决策树的帧间快速模式选择方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fast Mode and Partition Decision Using Machine Learning for Intra-Frame Coding in HEVC Screen Content Coding Extension;Fanyi Duanmu;《IEEE Journal on Emerging and Selected Topics in Circuits and Systems》;20161231;第6卷(第4期);第IV.A节,第V.A-V.F节及附图4-10 *
基于决策树的HEVC快速算法研究及系统实现;郑兴;《中国优秀硕士学位论文全文数据库》;20170615;全文 *

Also Published As

Publication number Publication date
CN109040764A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109040764B (zh) 一种基于决策树的hevc屏幕内容帧内快速编码算法
Tang et al. Adaptive CU split decision with pooling-variable CNN for VVC intra encoding
CN110087087B (zh) Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
CN111355956B (zh) 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法
Lei et al. Fast intra prediction based on content property analysis for low complexity HEVC-based screen content coding
CN111147867B (zh) 一种多功能视频编码cu划分快速决策方法及存储介质
WO2016115968A1 (zh) 一种融合视觉感知特征的可分层视频编码方法
CN107277509B (zh) 一种基于屏幕内容的快速帧内预测方法
US10003792B2 (en) Video encoder for images
Duanmu et al. Fast CU partition decision using machine learning for screen content compression
CN104125473B (zh) 一种3d视频深度图像帧内预测模式选择方法及系统
CN109302610B (zh) 一种基于率失真代价的屏幕内容编码帧间快速编码方法
CN106534846B (zh) 一种屏幕内容与自然内容划分及快速编码方法
US9813708B2 (en) Method and system of coding prediction for screen video
WO2020125363A1 (zh) 一种低复杂度视频信号编码处理方法
CN114885172A (zh) 一种针对h.266/vvc帧内预测编码的快速编码单元划分方法
CN110650342A (zh) 基于编码单元多特征分析的快速编码方法
CN106878754B (zh) 一种3d视频深度图像帧内预测模式选择方法
CN107682699B (zh) 一种近无损图像压缩方法
CN111385585B (zh) 一种基于机器学习的3d-hevc深度图编码单元划分方法
CN113079373A (zh) 一种基于hevc-scc的视频编码方法
Ma et al. A fast background model based surveillance video coding in HEVC
Huang et al. CNN accelerated intra video coding, where is the upper bound?
Zhao et al. Fast CU Size Decision Method Based on Just Noticeable Distortion and Deep Learning
Jillani et al. Multi-view clustering for fast intra mode decision in HEVC

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant