CN110730350B - 结合编码深度估计和贝叶斯判决的shvc快速编码方法 - Google Patents

结合编码深度估计和贝叶斯判决的shvc快速编码方法 Download PDF

Info

Publication number
CN110730350B
CN110730350B CN201910911194.3A CN201910911194A CN110730350B CN 110730350 B CN110730350 B CN 110730350B CN 201910911194 A CN201910911194 A CN 201910911194A CN 110730350 B CN110730350 B CN 110730350B
Authority
CN
China
Prior art keywords
depth
current
coding
characteristic
dep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910911194.3A
Other languages
English (en)
Other versions
CN110730350A (zh
Inventor
陆宇
黄旭东
黄晓峰
殷海兵
刘华平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910911194.3A priority Critical patent/CN110730350B/zh
Publication of CN110730350A publication Critical patent/CN110730350A/zh
Application granted granted Critical
Publication of CN110730350B publication Critical patent/CN110730350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种结合编码深度估计和贝叶斯判决的SHVC快速编码方法，其实现的方法是在基本层保持原有的编码方法，在增强层采用快速编码方法。SHVC增强层快速编码方法包括编码树单元(CTU)深度范围估计方法、基于最小风险贝叶斯判决的编码单元(CU)快速划分方法和基于最大概率贝叶斯判决的预测单元(PU)快速模式选择方法。本发明大大减少了SHVC增强层编码中的CU深度划分和PU模式选择的复杂度，在保持编码压缩效率的前提下，有效地提高了SHVC的编码速度。

Description

结合编码深度估计和贝叶斯判决的SHVC快速编码方法
技术领域
本发明属于视频编码技术领域，尤其涉及一种结合编码深度估计和贝叶斯判决的SHVC快速编码方法。
背景技术
由于用户终端存在不同解码能力的设备，需要传输多路视频来满足不同用户的需求。同一段视频需要经过多次编码形成不同分辨率的视频，多路传输造成了带宽的浪费以及存在大量的冗余。为了解决当前这种存在数据冗余以及用户终端存在不同处理能力的设备和复杂的异构网络环境的情况，2014年国际电信联盟通信标准化组织下的视频编码专家组以及国际电工委员会下的动态图像专家组成立了视频编码联合专家组(JCT-VC)在已有的高效视频编码标准HEVC的基础上，制定了新一代可伸缩视频编码(HEVC ScalabilityExtension，SHVC)标准。SHVC能够将同一视频内容编码成不同码率、不同清晰度的视频，从而实现多层传输，可以很好适应不同的网络传输条件。虽然这在一定程度上解决了带宽浪费以及数据冗余的问题，但是带来了编码复杂度快速提升的问题。
图1是SHVC视频编码的框架，SHVC采用的是多层多环混合编码方式，它包含基本层编码和增强层编码，虽然每一层都是完整的HEVC编码，但是增强层可以利用基本层的层间运动估计、层间残差估计和层间纹理预测来提高压缩效率。由于基本层和增强层均采用HEVC编码，因此其编码结构是相似的，包括编码单元(CU)、预测单元(PU)、变换单元(TU)。如图2所示，CU的尺寸有64×64，32×32、16×16、8×8，分别对应着划分深度为0、1、2、3。其中64×64尺寸的CU被定义为编码树单元(CTU)，采用四叉树划分结构，每个CTU能够递归的划分成4个大小相等的CU，而每个CU又可以继续划分为4个大小相等的CU，直到最小的CU(8×8)。整个编码过程中，SHVC会对所有CU，从深度0到深度3遍历。每个CU都有对应的PU，PU是帧内预测、帧间预测的基本单元。如图3所示，在帧间编码中对于一个2N×2N的CU，其PU的划分模式有八种：2N×2N(Merge/Skip)(以下简称为2N×2N模式)，2N×N，N×2N，N×N，nR×2N，nL×2N，2N×nD，2N×nU，其中2N×N，N×2N，N×N为对称划分模式(SMP)，nR×2N，nL×2N，2N×nD，2N×nU为非对称划分模式(AMP)。为了得到最佳的压缩效率，基本层和增强层都需要遍历所有的CU深度和PU模式。在保证SHVC各层压缩效率不被影响的同时优化编码模式，降低编码复杂度，提高编码速度，并保持原有的视频编码质量，是目前视频编码的研究热点之一。
发明内容
本发明针对现有SHVC视频编码复杂度高的缺点，提出一种结合编码深度估计和贝叶斯判决的SHVC快速编码方法。
本发明解决其技术问题所采用的技术方案如下：
(1)CTU深度范围估计方法。首先离线统计当前CTU的深度范围与它的相邻块深度和，以及它在基本层对应位置的CU深度之间的分布概率，得到CTU的深度范围分布表。然后在快速编码帧中，参照CTU深度范围分布表来估计当前CTU的深度范围。
(2)基于最小风险贝叶斯判决的快速CU划分方法
先从特征帧中计算CU划分的特征及其贝叶斯模型和贝叶斯风险矩阵，再从快速编码帧中计算当前CU的贝叶斯风险函数，通过比较提前跳过与正常CU划分的贝叶斯风险将当前CU确定为提前跳过或正常CU划分，然后通过比较提前终止与正常CU划分的贝叶斯风险，将当前CU确定为提前终止或正常CU划分。
(3)基于最大概率贝叶斯判决的快速PU模式选择方法
先从特征帧中计算得到PU模式划分的特征及其贝叶斯模型，再从快速编码帧中计算当前PU的贝叶斯概率，通过比较2N×2N(Merge/Skip)，SMP，AMP三种模式下的贝叶斯概率，选择最大概率对应的模式实现快速PU模式选择。本发明利用了增强层与对应的基本层CU划分深度和PU模式的相关性，减少了增强层编码的复杂度，实现了SHVC的快速编码。
首先，离线对视频序列进行标准的SHVC编码，统计增强层当前CTU的相邻块(左，上，左上，右上，如图4所示)的深度和DepNer_SUM，基本层对应位置CU的深度DepBL，以及当前CTU块的深度范围[DepEL_min，DepEL_max]三者之间的分布概率得到CTU深度范围分布表，其中DepEL_min表示当前CTU的最小深度值，DepEL_max表示当前CTU的最大深度值。然后，开始SHVC的实时编码。从每个视频序列增强层的第0帧开始，以每M帧定义为一个帧组，将每个帧组的前n帧定义为特征帧，剩余(M-n)帧定义为快速编码帧。对特征帧使用标准的SHVC编码，分别获取CU快速划分和PU模式快速选择所需要的特征信息，构建对应于这些特征的贝叶斯模型；然后在快速编码帧中，首先根据CTU深度范围分布表，获取当前CTU的深度范围。然后利用特征帧构建的贝叶斯模型和贝叶斯风险矩阵，采用基于最小风险贝叶斯判决的快速CU划分方法和基于最大概率贝叶斯判决的快速PU模式选择方法来实现SHVC快速编码。
(一)离线统计获得CTU深度范围分布表
对视频序列进行标准的SHVC编码，在增强层统计当前CTU的相邻块(左，上，左上，右上，如图4所示)深度和DepNer_SUM，基本层对应位置CU的深度DepBL，以及当前CTU块的深度范围[DepEL_min，DepEL_max]的分布概率来生成CTU深度范围分布表，其中DepEL_min表示当前CTU的最小深度值，DepEL_max表示当前CTU的最大深度值。
步骤(I)定义Si(i＝1，2，3，4)为当前CTU的4种深度范围：
1)S1表示深度范围[0，1]，包括了当前CTU块2种可能的深度范围[0，0]、[1，1]；
2)S2表示深度范围[0，2]，包括了当前CTU块4种可能的深度范围[0，0]、[1，1]、[1，2]、[2，2]；
3)S3表示深度范围[1，3]，包括了当前CTU块6种可能的深度范围[1，1]、[1，2]、[1，3]、[2，2]、[2，3]、[3，3]；
4)S4表示深度范围[0，3]，包括了当前CTU块中所有可能的深度范围。设当前CTU相邻块的深度和DepNer_SUM为p，与其基本层对应位置CU的深度DepBL为q，则定义在约束条件(DepNer_SUM＝p，DepBL＝q)下的Si的条件概率为：
Figure BDA0002214745760000031
其中Num(Si，(DepNer_SUM＝p，DepBL＝q))表示满足当前CTU相邻块深度和DepNer_SUM为p，基本层对应位置CU的深度DepBL为q的条件下，当前CTU归类为Si的样本数量，Num(DepNer_SUM＝p，DepBL＝q)表示同时满足当前CTU相邻块深度和DepNer_SUM为p，基本层对应位置CU的深度DepBL为q的两个条件下的所有CTU的样本数量。
步骤(II)比较统计得到的四个条件概率P(Si|(DepNer_SUM＝p，DepBL＝q))，按如下规则生成CTU深度范围分布表：
1)若P(S1|(DepNer_SUM＝p，DepBL＝q))大于或等于90％，则将当前CTU深度范围确定为[0，1]；
2)若P(S1|(DepNer_SUM＝p，DepBL＝q))小于90％且P(S2|(DepNer_SUM＝p，DepBL＝q))大于或等于90％，则将当前CTU深度范围确定为[0，2]；
3)若P(S2|(DepNer_SUM＝p，DepBL＝q))小于90％且P(S3|(DepNer_SUM＝p，DepBL＝q))大于或等于90％，则将当前CTU深度范围确定为[1，3]；
4)以上条件都不满足，则将当前CTU深度范围确定为[0，3]。
(二)特征帧构建CU划分和PU模式选择的贝叶斯模型
步骤(I)、在特征帧中采用标准的SHVC编码，在CU深度为0和1时计算提前跳过CU划分的特征。若当前CU的深度小于CU最终划分的最佳深度，则当前CU归类为w0，即可以提前跳过当前CU的划分；若当前CU的深度等于CU最终划分的最佳深度，则当前CU归类为w1，即当前CU作正常划分。然后，在CU深度为0，1和2时计算提前终止CU划分的特征。若当前CU的深度等于CU最终划分的最佳深度，则当前CU归类为w0，即可以提前终止当前CU的划分；若当前CU的深度小于CU最终划分的最佳深度，则当前CU归类为w1，即当前CU作正常划分。
(i)提前跳过CU划分的特征：
特征f1：基本层对应位置CU的CU深度；
特征f2：基本层对应位置CU的PU模式；
特征f3：基本层对应位置CU的率失真代价；
特征f4：基本层对应位置CU的灰度方差，计算公式为：
Figure BDA0002214745760000041
特征f5：当前CU与基本层对应位置CU之间的灰度Sobel梯度总和的差值，计算公式为：
Figure BDA0002214745760000051
其中Ii，j表示CU中以坐标位置(i，j)为中心的3×3灰度块，如图5所示，Gi，j表示Ii，j的横向及纵向Sobel梯度之和，SumG表示所有Gi，j之和。
(ii)提前终止CU划分的特征：
特征f6：基本层对应位置CU的CU深度，与特征f1相同；
特征f7：当前CU的最佳PU模式；
特征f8：当前CU的最佳率失真代价；
特征f9：当前CU残差块的平均偏差，计算公式为：
Figure BDA0002214745760000052
其中，Avgres表示CU残差块的平均残差值，Pixelres(i，j)表示坐标位置(i，j)的残差值，W和H分别表示CU残差块的宽和高。
步骤(II)、计算快速PU模式选择的特征
特征帧中采用标准的SHVC编码，在CU深度为0，1和2时分别计算PU模式选择的特征。将PU分为三类，w0表示执行2N×2N模式的编码，跳过SMP模式和AMP模式的编码；w1表示执行2N×2N模式和SMP模式的编码，跳过AMP模式编码；w2表示执行标准的PU模式编码。
本发明采用的PU模式特征如下：
特征f10：基本层对应位置CU的PU模式，与特征f2相同；
特征f11：相邻块最佳CU深度之和，计算公式为：
f11＝depabv+deplef+depabl (5)
depabv表示上CU的最佳CU深度，deplef表示左CU的最佳CU深度，depabl表示左上CU的最佳CU深度。
特征f12：相邻块最佳PU模式的平均值，计算公式为；
Figure BDA0002214745760000061
PUmodeabv表示上CU的最佳PU模式，PUmodelef表示左CU的最佳PU模式，PUmodeabl表示左上CU的最佳PU模式。
特征f13：执行2N×2N模式选择后得到的最佳率失真代价RDcost与失真D的比率，计算公式为：
Figure BDA0002214745760000062
特征f14：当前CU块的灰度平均偏差，计算公式为：
Figure BDA0002214745760000063
其中Avg表示CU的平均灰度值，Pixel(i，j)表示坐标位置(i，j)的灰度值，W和H分别表示CU的宽和高。
步骤(III)、针对步骤(I)和步骤(II)得到的特征，采用贝叶斯模型来建模，其概率计算公式为：
Figure BDA0002214745760000064
其中，F表示特征集，w表示类别，P(w)为类别w的先验概率，P(F|w)为条件概率，P(F)为特征集先验概率，P(w|F)为后验概率，它表示在F特征集下样本划归为类别w的概率。
贝叶斯模型就是用先验概率P(w)和P(F)、条件概率P(F|w)来表示后验概率。由于P(F)对于每个类别来说都一样，因此可以忽略不计。P(w)可以通过统计特征集F中属于每个类别的比例来确定。对于P(F|w)，假设特征集F中的各个特征之间条件独立，则每种类别wi对应的条件概率为：
Figure BDA0002214745760000065
其中fj表示为特征集F＝{f1，f2…，fn}中的各种特征，n为特征种类的数量。对于提前跳过CU划分算法，wi只有二种类别ws和wn，ws表示提前跳过划分的CU集合，wn表示正常划分的CU集合。对于提前终止CU划分算法，wi只有二种类别wt和wn，wt表示提前终止划分的CU集合，wn表示正常划分的CU集合。把式(10)代入式(9)，贝叶斯分类模型可以表示为：
Figure BDA0002214745760000071
其中特征集先验概率P(F)在各个类别wi中都相等，因此在计算的时候可以将其忽略。其中P(wi)就是类别wi对应的样本数量占所有类别对应的总样本数量的百分比。当计算P(fj|w＝wi)的时候，由于fj可以是离散特征也可以是连续特征，当fj取不同值的时候，需采用不同的计算方法。
(i)若fi为离散特征，则采用直方图的统计方法计算条件概率。先将特征fi不同取值所对应的样本数量保存于直方图中，当离散特征fi取值为m的时候，其条件概率P(fj＝m|w＝wi)计算公式为：
Figure BDA0002214745760000072
Num(fj＝m，w＝wi)表示在类别wi中fj特征值为m时对应的样本数量，Num(fj，w＝wi)表示在类别wi中fj特征对应的总样本数量。计算特征fj所有可能的取值对应的条件概率P(fj＝m|w＝wi)并保存下来，以便用到快速编码帧中。特征f1、f2、f6、f7、f10、f11、f12的条件概率采用式(12)来计算。
若fj为连续特征，根据其样本的分布特性，分别采用一维高斯函数或K近邻法计算其条件概率。
(ii)样本分布符合一维高斯函数的连续特征
首先计算特征fj对应的样本数据的均值和方差，则类别wi中fj特征值为m时对应的条件概率为：
Figure BDA0002214745760000073
Figure BDA0002214745760000074
表示在类别wi中特征fj的方差，μij表示在类别wi中特征fj的均值。特征f3、f8、f9的条件概率采用式(13)来计算。
(iii)样本分布不符合一维高斯函数的连续特征
利用K近邻法，如图6所示。定义K值的计算公式为：
Figure BDA0002214745760000081
其中Num(w＝wi)表示类别wi对应的样本数量。再作一条特征数轴，将特征fj所有的取值都在该数轴上标记出来。若当前特征fj的取值为m，则以m为中心在特征数轴上的两侧以相同的距离定义一个K近邻区间，使得该区间内的对应于特征fj的样本点数量等于K。利用所获取的特征样本点数量，计算得到条件概率为：
Figure BDA0002214745760000082
其中，Num(fj，w＝wi)表示在K近邻区间内fj特征点中属于类别wi的样本数量，特征f4、f5、f13和f14的条件概率采用式(15)来计算。
步骤(IV)、计算贝叶斯风险矩阵
为了减少错误的贝叶斯判决带来的损失，定义贝叶斯判决的风险因子为Cij，它表示标准SHVC编码中CU块分类结果为类别i，却因为快速算法被错误分类为类别j所带来的风险，风险矩阵由风险因子构成，在特征帧中计算提前跳过CU划分和提前终止CU划分的风险矩阵。
(i)计算提前跳过CU划分的风险矩阵Cskip：
Figure BDA0002214745760000083
其中Cns表示标准的SHVC编码时，在当前深度是正常的CU划分却被快速算法判断为提前跳过当前CU划分的风险，Csn表示标准的SHVC编码时，应该提前跳过当前CU深度却被快速算法判断为正常CU划分的风险。Cns和Csn的计算如下：
Figure BDA0002214745760000084
Jn表示进行标准SHVC编码时作正常判决的CU的率失真代价，Js表示提前跳过当前深度判决的CU的率失真代价。
Cnn或Css表示标准SHVC编码对CU深度判决的结果与快速算法对CU深度判决的结果相同，其风险均等于零。
(ii)计算提前终止CU划分的风险矩阵Cstop如下所示：
Figure BDA0002214745760000091
其中Cnt表示标准SHVC编码时在当前深度是正常的CU划分却被快速算法判断为提前终止CU划分的风险，Ctn表示标准的SHVC编码时应该提前终止当前CU划分却被快速算法判断为正常的CU划分的风险。此处Cnt和Ctn的计算如下：
Figure BDA0002214745760000092
其中Jn表示进行标准SHVC编码时对当前深度作正常判决的CU的率失真代价，Jt表示提前终止当前深度判决的CU的率失真代价。
Cnn或Ctt表示标准SHVC编码对CU深度判决的结果与快速算法对CU深度判决的结果相同，其风险均等于零。
(三)基于最小风险贝叶斯判决的快速CU划分方法
步骤(I)、增强层CTU的深度范围估计
计算快速编码帧的增强层中的当前CTU的相邻块(左，上，左上，右上)深度和DepNer_SUM，以及基本层对应位置CU的深度DepBL，根据步骤(一)得到的CTU深度范围分布表，估计出当前CTU的深度范围。然后在该深度范围内实现SHVC快速编码方法。
步骤(II)、基于最小风险贝叶斯判决的提前跳过CU划分
(i)首先计算提前跳过CU划分的特征：f1、f2、f3、f4和f5，其中特征f1、f2采用直方图法建模，特征f3采用一维高斯分布建模，特征f4、f5采用K近邻法建模。然后利用特征帧获得的CU划分的贝叶斯模型，计算每个特征的条件概率P(fj＝m|w＝wi)，再由式(11)计算出P(w＝wi|F)，计算方法与步骤(二)相同。
(ii)利用特征帧获得的CU划分的贝叶斯风险矩阵，结合步骤(i)的结果，得到提前跳过CU划分的风险函数为：
Figure BDA0002214745760000101
其中，Rn(wn|F)表示正常CU划分的贝叶斯风险，Rs(ws|F)表示提前跳过CU划分的贝叶斯风险。比较Rn(wn|F)和Rs(ws|F)的大小，若Rn(wn|F)小于Rs(ws|F)，则表示正常划分当前CU的风险较低，因而选择正常划分当前CU；否则选择提前跳过当前CU划分。
步骤(III)、基于最小风险贝叶斯判决的提前终止CU划分
(i)首先计算提前终止CU划分的特征：f6、f7、f8和f9，其中特征f6、f7采用直方图法建模，特征f8、f9采用一维高斯分布法建模。然后利用特征帧获得的CU划分的贝叶斯模型，计算每个特征的条件概率P(fj＝m|w＝wi)，再由式(11)计算出P(w＝wi|F)，计算方法与步骤(二)相同。
(ii)利用特征帧获得的CU划分的贝叶斯风险矩阵，结合步骤(i)的结果，得到提前终止CU划分的贝叶斯风险函数为：
Figure BDA0002214745760000102
其中，Rn(wn|F)表示正常CU划分的贝叶斯风险，Rt(wt|F)表示提前终止CU划分的贝叶斯风险。比较Rn(wn|F)和Rt(wt|F)的大小，若Rn(wn|F)小于Rt(wt|F)，则表示正常划分当前CU的风险较低，因而选择正常划分当前CU；否则选择提前终止当前CU划分。
(四)基于最大概率贝叶斯判决的快速PU模式选择
步骤(I)、计算快速PU模式选择的贝叶斯条件概率
首先计算快速PU模式选择的特征：f10、f11、f12、f13和f14，其中特征f10、f11、f12采用直方图法建模，特征f13、f14采用K近邻法建模。然后利用特征帧获得的PU模式选择的贝叶斯模型，计算概率P(fj|w＝wi)和P(wi)，计算方法与步骤(二)相同。
步骤(II)、快速PU模式选择方法
在SHVC编码器进行2N×2N的PU模式判别之后，把以上步骤(I)的快速PU模式选择的贝叶斯条件概率代入下式：
Figure BDA0002214745760000111
然后，根据式(22)中三种类别wi，i＝0，1，2下的最大概率所对应的类别ibest来实现快速PU模式选择，其规则为：
1)若ibest＝0，则选择w0作为最佳类别的PU模式选择方法，此时提前跳过SMP模式和AMP模式的选择，终止PU模式划分；
2)若ibest＝1，则选择w1作为最佳类别的PU模式选择方法，此时需进行SMP模式选择，但是跳过后续的AMP模式选择；
3)若ibest＝2，则选择w2作为最佳类别的PU模式选择方法，此时需进行SMP模式选择和AMP模式选择，即正常的PU模式选择。
本发明有益效果如下：
(1)本发明利用与增强层当前CU空间相邻的CU深度，以及它和基本层对应位置CU在深度上的相关性，提出了基于相邻块深度和，以及基本层对应位置CU深度的深度范围估计方法；(2)本发明先将视频帧分为多个帧组，每个帧组选择前几帧作为特征帧，从特征帧提取快速CU划分和快速PU模式选择所需要的特征并构建贝叶斯模型，这样使得本方法实现快速编码的过程中，能够及时的更新所需的特征和模型，减少了压缩损失；(3)本发明把编码特征分类为离散特征和连续特征，应用不同的贝叶斯模型计算这些特征的概率，提高了编码速度和准确性；(4)针对CU划分和PU模式选择的各自特点，本发明提出了基于最小风险贝叶斯判决的快速CU划分方法和基于最大概率贝叶斯判决的快速PU模式选择方法，提高了SHVC的时间效率和压缩效率。仿真结果表明，在保持视频编码质量的前提下，用本发明的SHVC快速编码方法大大节省了SHVC增强层的编码时间，对比标准的SHVC编码方法可节省50％以上的编码时间，但压缩效率损失很少，因此具有较强的实用性。
附图说明
图1为SHVC的编码流程示意图；
图2为SHVC的CU划分示意图；
图3为SHVC的PU帧间模式示意图；
图4为当前CU的相邻块及其基本层对应位置CU示意图
图5为Sobel算子的横向与纵向梯度示意图；
图6为特征数轴上的K近邻区间示意图；
图7为本发明的整体方法流程图；
图8为本发明的CTU深度范围估计方法流程图；
图9为提前跳过CU划分的特征值分布示意图。
图10为正常CU划分的特征值分布示意图。
图11为本发明的基于最小风险贝叶斯判决的快速CU划分流程图；
图12为本发明的基于最大概率贝叶斯判决的快速PU模式选择流程图；
具体实施方式
下面结合附图和实施例子对本发明作进一步说明。
基于贝叶斯决策的SHVC快速帧间编码方法，采用SHVC视频编码的SHM12模型，测试条件参考JCT-VC的通用测试条件(JCTVC-O1009)，使用SHM12模型的低时延编码配置文件encoder_lowdelay_scalable.cfg。
具体实施步骤参照附图4-图12。
本发明的整体方法流程图如图7所示。首先，离线对视频序列进行标准的SHVC编码，统计增强层当前CTU的相邻块(左，上，左上，右上，如图4所示)的深度和DepNer_SUM，基本层对应位置CU的深度DepBL，以及当前CTU块的深度范围[DepEL_min，DepEL_max]三者之间的分布概率得到CTU深度范围分布表，其中DepEL_min表示当前CTU的最小深度值，DepEL_max表示当前CTU的最大深度值。然后，开始SHVC的实时编码。从每个视频序列增强层的第0帧开始，以每M帧定义为一个帧组，将每个帧组的前n帧定义为特征帧，剩余(M-n)帧定义为快速编码帧。对特征帧使用标准的SHVC编码，分别获取CU快速划分和PU模式快速选择所需要的特征信息，构建对应于这些特征的贝叶斯模型；然后在快速编码帧中，首先根据CTU深度范围分布表，获取当前CTU的深度范围。然后利用特征帧构建的贝叶斯模型和贝叶斯风险矩阵，采用基于最小风险贝叶斯判决的快速CU划分方法和基于最大概率贝叶斯判决的快速PU模式选择方法来实现SHVC快速编码。
(一)离线统计获得CTU深度范围分布表
对视频序列进行标准的SHVC编码，在增强层统计当前CTU的相邻块(左，上，左上，右上，如图4所示)深度和DepNer_SUM，基本层对应位置CU的深度DepBL，以及当前CTU块的深度范围[DepEL_min，DepEL_max]的分布概率来生成CTU深度范围统计表，其中DepEL_min表示当前CTU的最小深度值，DepEL_max表示当前CTU的最大深度值。
步骤(I)定义Si(i＝1，2，3，4)为当前CTU的4种深度范围：
1)S1表示深度范围[0，1]，包括了当前CTU块2种可能的深度范围[0，0]、[1，1]；
2)S2表示深度范围[0，2]，包括了当前CTU块4种可能的深度范围[0，0]、[1，1]、[1，2]、[2，2]；
3)S3表示深度范围[1，3]，包括了当前CTU块6种可能的深度范围[1，1]、[1，2]、[1，3]、[2，2]、[2，3]、[3，3]；
4)S4表示深度范围[0，3]，包括了当前CTU块中所有可能的深度范围。
设当前CTU相邻块的深度和DepNer_SUM为p，与其基本层对应位置CU的深度DepBL为q，则定义在约束条件(DepNer_SUM＝p，DepBL＝q)下的Si的条件概率为：
Figure BDA0002214745760000131
其中Num(Si，(DepNer_SUM＝p，DepBL＝q))表示满足当前CTU相邻块深度和DepNer_SUM为p，基本层对应位置CU的深度DepBL为q的条件下，当前CTU归类为Si的样本数量，Num(DepNer_SUM＝p，DepBL＝q)表示同时满足当前CTU相邻块深度和DepNer_SUM为p，基本层对应位置CU的深度DepBL为q的两个条件下的所有CTU的样本数量。
步骤(II)比较统计得到的四个条件概率P(Si|(DepNer_SUM＝p，DepBL＝q))，按如下规则生成CTU深度范围分布表：
1)若P(S1|(DepNer_SUM＝p，DepBL＝q))大于或等于90％，则将当前CTU深度范围确定为[0，1]；
2)若P(S1|(DepNer_SUM＝p，DepBL＝q))小于90％且P(S2|(DepNerxSUM＝p，DepBL＝q))大于或等于90％，则将当前CTU深度范围确定为[0，2]；
3)若P(S2|(DepNer_SUM＝p，DepBL＝q))小于90％且P(S3|(DepNer_SUM＝p，DepBL＝q))大于或等于90％，则将当前CTU深度范围确定为[1，3]；
4)以上条件都不满足，则将当前CTU深度范围确定为[0，3]。
以视频序列BasketballDrive在{QPBL，QPEL}＝{30，32}下仿真结果为例，可以得到该QP下的深度范围分布表：
Figure BDA0002214745760000141
从上表可以看出，表中选择的深度范围所对应的概率均大于90％。CTU深度范围估计实现流程如图8所示。
(二)特征帧构建CU划分和PU模式选择的贝叶斯模型
步骤(I)、在特征帧中采用标准的SHVC编码，在CU深度为0和1时计算提前跳过CU划分的特征。若当前CU的深度小于CU最终划分的最佳深度，则当前CU归类为w0，即可以提前跳过当前CU的划分；若当前CU的深度等于CU最终划分的最佳深度，则当前CU归类为w1，即当前CU作正常划分。然后，在CU深度为0，1和2时计算提前终止CU划分的特征。若当前CU的深度等于CU最终划分的最佳深度，则当前CU归类为w0，即可以提前终止当前CU的划分；若当前CU的深度小于CU最终划分的最佳深度，则当前CU归类为w1，即当前CU作正常划分。
(i)提前跳过CU划分的特征：
特征f1：基本层对应位置CU的CU深度；
特征f2：基本层对应位置CU的PU模式；
特征f3：基本层对应位置CU的率失真代价；
特征f4：基本层对应位置CU的灰度方差，计算公式为：
Figure BDA0002214745760000151
特征f5：当前CU与基本层对应位置CU之间的灰度Sobel梯度总和的差值，计算公式为：
Figure BDA0002214745760000152
其中Ii，j表示CU中以坐标位置(i，j)为中心的3×3灰度块，如图5所示，Gi，j表示Ii，i的横向及纵向Sobel梯度之和，SumG表示所有Gi，j之和。
(ii)提前终止CU划分的特征：
特征f6：基本层对应位置CU的CU深度，与特征f1相同；
特征f7：当前CU的最佳PU模式；
特征f8：当前CU的最佳率失真代价；
特征f9：当前CU残差块的平均偏差，计算公式为：
Figure BDA0002214745760000153
其中，Avgres表示CU残差块的平均残差值，Pixelres(i，j)表示坐标位置(i，j)的残差值，W和H分别表示CU残差块的宽和高。
步骤(II)、计算快速PU模式选择的特征
特征帧中采用标准的SHVC编码，在CU深度为0，1和2时分别计算PU模式选择的特征。将PU分为三类，w0表示执行2N×2N模式的编码，跳过SMP模式和AMP模式的编码；w1表示执行2N×2N模式和SMP模式的编码，跳过AMP模式编码；w2表示执行标准的PU模式编码。
本发明采用的PU模式特征如下：
特征f10：基本层对应位置CU的PU模式，与特征f2相同；
特征f11：相邻块最佳CU深度之和，计算公式为：
f11＝depabv+deplef+depabl (27)
depabv表示上CU的最佳CU深度，deplef表示左CU的最佳CU深度，depabl表示左上CU的最佳CU深度。
特征f12：相邻块最佳PU模式的平均值，计算公式为；
Figure BDA0002214745760000161
PUmodeabv表示上CU的最佳PU模式，PUmodelef表示左CU的最佳PU模式，PUmodeabl表示左上CU的最佳PU模式。
特征f13：执行2N×2N模式选择后得到的最佳率失真代价RDcost与失真D的比率，计算公式为：
Figure BDA0002214745760000162
特征f14：当前CU块的灰度平均偏差，计算公式为：
Figure BDA0002214745760000163
其中Avg表示CU的平均灰度值，Pixel(i，j)表示坐标位置(i，j)的灰度值，W和H分别表示CU的宽和高。
步骤(III)、针对步骤(I)和步骤(II)得到的特征，采用贝叶斯模型来建模，其概率计算公式为：
Figure BDA0002214745760000164
其中，F表示特征集，w表示类别，P(w)为类别w的先验概率，P(F|w)为条件概率，P(F)为特征集先验概率，P(w|F)为后验概率，它表示在F特征集下样本划归为类别w的概率。
贝叶斯模型就是用先验概率P(w)和P(F)、条件概率P(F|w)来表示后验概率。由于P(F)对于每个类别来说都一样，因此可以忽略不计。P(w)可以通过统计特征集F中属于每个类别的比例来确定。对于P(F|w)，假设特征集F中的各个特征之间条件独立，则每种类别wi对应的条件概率为：
Figure BDA0002214745760000171
其中fj表示为特征集F＝{f1，f2…，fn}中的各种特征，n为特征种类的数量。对于提前跳过CU划分算法，wi只有二种类别ws和wn，ws表示提前跳过划分的CU集合，wn表示正常划分的CU集合。对于提前终止CU划分算法，wi只有二种类别wt和wn，wt表示提前终止划分的CU集合，wn表示正常划分的CU集合。把式(32)代入式(31)，贝叶斯分类模型可以表示为：
Figure BDA0002214745760000172
其中特征集先验概率P(F)在各个类别wi中都相等，因此在计算的时候可以将其忽略。其中P(wi)就是类别wi对应的样本数量占所有类别对应的总样本数量的百分比。当计算P(fj|w＝wi)的时候，由于fj可以是离散特征也可以是连续特征，当fj取不同值的时候，需采用不同的计算方法。
(i)若fj为离散特征，则采用直方图的统计方法计算条件概率。先将特征fj不同取值所对应的样本数量保存于直方图中，当离散特征fj取值为m的时候，其条件概率P(fj＝m|w＝wi)计算公式为：
Figure BDA0002214745760000173
Num(fj＝m，w＝wi)表示在类别wi中fj特征值为m时对应的样本数量，Num(fj，w＝wi)表示在类别wi中fj特征对应的总样本数量。计算特征fj所有可能的取值对应的条件概率P(fj＝m|w＝wi)并保存下来，以便用到快速编码帧中。特征f1、f2、f6、f7、f10、f11、f12的条件概率采用式(34)来计算。
若fj为连续特征，根据其样本的分布特性，分别采用一维高斯函数或K近邻法计算其条件概率。
(ii)样本分布符合一维高斯函数的连续特征
首先计算特征fj对应的样本数据的均值和方差，则类别wi中fj特征值为m时对应的条件概率为：
Figure BDA0002214745760000181
Figure BDA0002214745760000182
表示在类别wi中特征fj的方差，μij表示在类别wi中特征fj的均值。特征f3、f8、f9的条件概率采用式(35)来计算。如图9和图10所示，特征f3，即基本层对应位置CU的率失真代价的取值在提前跳过CU划分或者正常CU划分中都符合一维高斯函数分布，因此需用式(35)计算。
(iii)样本分布不符合一维高斯函数的连续特征
利用K近邻法，如图6所示。定义K值的计算公式为：
Figure BDA0002214745760000183
其中Num(w＝wi)表示类别wi对应的样本数量。再作一条特征数轴，将特征fj所有的取值都在该数轴上标记出来。若当前特征fj的取值为m，则以m为中心在特征数轴上的两侧以相同的距离定义一个K近邻区间，使得该区间内的对应于特征fj的样本点数量等于K。利用所获取的特征样本点数量，计算得到条件概率为：
Figure BDA0002214745760000184
其中，Num(fj，w＝wi)表示在K近邻区间内fj特征点中属于类别wi的样本数量，特征f4、f5、f13和f14的条件概率采用式(37)来计算。如图9和图10所示，特征f4，即基本层对应位置CU的灰度方差的取值在提前跳过CU划分或者正常CU划分中都不符合一维高斯函数分布，因此需用式(37)计算。
步骤(IV)、计算贝叶斯风险矩阵
为了减少错误的贝叶斯判决带来的损失，定义贝叶斯判决的风险因子为Cij，它表示标准SHVC编码中CU块分类结果为类别i，却因为快速算法被错误分类为类别j所带来的风险，风险矩阵由风险因子构成，在特征帧中计算提前跳过CU划分和提前终止CU划分的风险矩阵。
(i)计算提前跳过CU划分的风险矩阵Cskip：
Figure BDA0002214745760000191
其中Cns表示标准的SHVC编码时，在当前深度是正常的CU划分却被快速算法判断为提前跳过当前CU划分的风险，Csn表示标准的SHVC编码时，应该提前跳过当前CU深度却被快速算法判断为正常CU划分的风险。Cns和Csn的计算如下：
Figure BDA0002214745760000192
Jn表示进行标准SHVC编码时作正常判决的CU的率失真代价，Js表示提前跳过当前深度判决的CU的率失真代价。
Cnn或Css表示当标准SHVC编码对CU深度判决的结果与快速算法对CU深度判决的结果相同，其风险均等于零。
(ii)计算提前终止CU划分的风险矩阵Cstop如下所示：
Figure BDA0002214745760000193
其中Cnt表示标准SHVC编码时在当前深度是正常的CU划分却被快速算法判断为提前终止CU划分的风险，Ctn表示标准的SHVC编码时应该提前终止当前CU划分却被快速算法判断为正常的CU划分的风险。此处Cnt和Ctn的计算如下：
Figure BDA0002214745760000194
其中Jn表示进行标准SHVC编码时对当前深度作正常判决的CU的率失真代价，Jt表示提前终止当前深度判决的CU的率失真代价。
Cnn或Ctt表示当标准SHVC编码对CU深度判决的结果与快速算法对CU深度判决的结果相同，其风险均等于零。
(三)基于最小风险贝叶斯判决的快速CU划分方法
如图11所示，基于最小风险贝叶斯判决的快速CU划分方法包括基于最小风险贝叶斯判决的提前跳过CU划分和提前终止CU划分两种方法。
步骤(I)、增强层CTU的深度范围估计
计算快速编码帧的增强层中的当前CTU的相邻块(左，上，左上，右上)深度和DepNer_SUM，以及基本层对应位置CU的深度DepBL，根据步骤(一)得到的CTU深度范围分布表，估计出当前CTU的深度范围。然后在该深度范围内实现SHVC快速编码方法。
步骤(II)、基于最小风险贝叶斯判决的提前跳过CU划分
(i)首先计算提前跳过CU划分的特征：f1、f2、f3、f4和f5，其中特征f1、f2采用直方图法建模，特征f3采用一维高斯分布建模，特征f4、f5采用K近邻法建模。然后利用特征帧获得的CU划分的贝叶斯模型，计算每个特征的条件概率P(fj＝m|w＝wi)，再由式(33)计算出P(w＝wi|F)，计算方法与步骤(二)相同。
(ii)利用特征帧获得的CU划分的贝叶斯风险矩阵，结合步骤(i)的结果，得到提前跳过CU划分的风险函数为：
Figure BDA0002214745760000201
其中，Rn(wn|F)表示正常CU划分的贝叶斯风险，Rs(ws|F)表示提前跳过CU划分的贝叶斯风险。比较Rn(wn|F)和Rs(ws|F)的大小，若Rn(wn|F)小于Rs(ws|F)，则表示正常划分当前CU的风险较低，因而选择正常划分当前CU；否则选择提前跳过当前CU划分。
步骤(III)、基于最小风险贝叶斯判决的提前终止CU划分
(i)首先计算提前终止CU划分的特征：f6、f7、f8和f9，其中特征f6、f7采用直方图法建模，特征f8、f9采用一维高斯分布法建模。然后利用特征帧获得的CU划分的贝叶斯模型，计算每个特征的条件概率P(fj＝m|w＝wi)，再由式(33)计算出P(w＝wi|F)，计算方法与步骤(二)相同。
(ii)利用特征帧获得的CU划分的贝叶斯风险矩阵，结合步骤(i)的结果，得到提前终止CU划分的贝叶斯风险函数为：
Figure BDA0002214745760000211
其中，Rn(wn|F)表示正常CU划分的贝叶斯风险，Rt(wt|F)表示提前终止CU划分的贝叶斯风险。比较Rn(wn|F)和Rt(wt|F)的大小，若Rn(wn|F)小于Rt(wt|F)，则表示正常划分当前CU的风险较低，因而选择正常划分当前CU；否则选择提前终止当前CU划分。
(四)基于最大概率贝叶斯判决的快速PU模式选择
如图12所示，当编码器执行完2N×2N模式后提取PU模式的特征，然后执行基于最大概率贝叶斯判决的快速PU模式选择方法。
步骤(I)、计算快速PU模式选择的贝叶斯条件概率
首先计算快速PU模式选择的特征：f10、f11、f12、f13和f14，其中特征f10、f11、f12采用直方图法建模，特征f13、f14采用K近邻法建模。然后利用特征帧获得的PU模式选择的贝叶斯模型，计算概率P(fi|w＝wi)和P(wi)，计算方法与步骤(二)相同。
步骤(II)、快速PU模式选择方法
在SHVC编码器进行2N×2N的PU模式判别之后，把以上步骤(I)的快速PU模式选择的贝叶斯条件概率代入下式：
Figure BDA0002214745760000212
然后，根据式(44)中三种类别wi，i＝0，1，2下的最大概率所对应的类别ibest来实现快速PU模式选择，其规则为：
1)若ibest＝0，则选择w0作为最佳类别的PU模式选择方法，此时提前跳过SMP模式和AMP模式的选择，终止PU模式划分；
2)若ibest＝1，则选择w1作为最佳类别的PU模式选择方法，此时需进行SMP模式选择，但是跳过后续的AMP模式选择；
3)若ibest＝2，则选择w2作为最佳类别的PU模式选择方法，此时需进行SMP模式选择和AMP模式选择，即正常的PU模式选择。

Claims (4)

1.结合编码深度估计和贝叶斯判决的SHVC快速编码方法，其特征在于：
首先离线对视频序列进行标准的SHVC编码，统计增强层当前编码树单元(CTU)相邻块的深度和，基本层对应位置编码单元(CU)的深度，以及当前CTU块的深度范围三者之间的分布概率，得到CTU深度范围分布表；
接着开始SHVC的实时编码；从每个视频序列增强层的第0帧开始，以每M帧定义为一个帧组，将每个帧组的前n帧定义为特征帧，剩余(M-n)帧定义为快速编码帧；对特征帧使用标准的SHVC编码，分别获取CU快速划分和PU模式快速选择所需要的特征信息，构建对应于这些特征信息的贝叶斯模型；
然后在快速编码帧中，首先根据CTU深度范围分布表，获取当前CTU的深度范围；再利用特征帧编码获取的CU划分和PU模式选择的贝叶斯模型和贝叶斯风险矩阵，最后采用基于最小风险贝叶斯判决的快速CU划分方法和基于最大概率贝叶斯判决的快速预测单元(PU)模式选择方法来实现SHVC快速编码；
离线统计获得CTU深度范围分布表；对视频序列进行标准的SHVC编码，在增强层统计当前CTU的相邻块的深度和，基本层对应位置CU的深度，以及当前CTU块的深度范围，生成CTU深度范围分布表；
步骤(I)定义Si为当前CTU的4种深度范围，i＝1,2,3,4：
1)S1表示深度范围[0,1]，包括了当前CTU块2种可能的深度范围[0,0]、[1,1]；
2)S2表示深度范围[0,2]，包括了当前CTU块4种可能的深度范围[0,0]、[1,1]、[1,2]、[2,2]；
3)S3表示深度范围[1,3]，包括了当前CTU块6种可能的深度范围[1,1]、[1,2]、[1,3]、[2,2]、[2,3]、[3,3]；
4)S4表示深度范围[0,3]，包括了当前CTU块中所有可能的深度范围；
设当前CTU相邻块的深度和DepNer_SUM为p，与其基本层对应位置的CU的深度DepBL为q，则定义在约束条件下的Si的条件概率为：
Figure FDA0003150181010000011
其中Num(Si,(DepNer_SUM＝p,DepBL＝q))表示满足当前CTU相邻块深度和DepNer_SUM为p，基本层对应位置CU的深度DepBL为q的条件下，当前CTU归类为Si的样本数量，Num(DepNer_SUM＝p,DepBL＝q)表示同时满足当前CTU相邻块深度和DepNer_SUM为p，基本层对应位置CU的深度DepBL为q的两个条件下的所有CTU的样本数量；
步骤(II)比较统计得到的四个条件概率P(Si|(DepNer_SUM＝p,DepBL＝q))，按如下规则生成CTU深度范围分布表：
1)若P(S1|(DepNer_SUM＝p,DepBL＝q))大于或等于90％，则将当前CTU深度范围确定为[0,1]；
2)若P(S1|(DepNer_SUM＝p,DepBL＝q))小于90％且P(S2|(DepNer_SUM＝p,DepBL＝q))大于或等于90％，则将当前CTU深度范围确定为[0,2]；
3)若P(S2|(DepNer_SUM＝p,DepBL＝q))小于90％且P(S3|(DepNer_SUM＝p,DepBL＝q))大于或等于90％，则将当前CTU深度范围确定为[1,3]；
以上条件都不满足，则将当前CTU深度范围确定为[0,3]。
2.根据权利要求1所述的结合编码深度估计和贝叶斯判决的SHVC快速编码方法，其特征在于用特征帧编码构建CU划分和PU模式选择的贝叶斯模型和贝叶斯风险矩阵，具体步骤是：
步骤(1)、在特征帧中采用标准的SHVC编码，在CU深度为0和1时计算提前跳过CU划分的特征；若当前CU的深度小于CU最终划分的最佳深度，则当前CU归类为w0，即可以提前跳过当前CU的划分；若当前CU的深度等于CU最终划分的最佳深度，则当前CU归类为w1，即当前CU作正常划分；然后，在CU深度为0，1和2时计算提前终止CU划分的特征；若当前CU的深度等于CU最终划分的最佳深度，则当前CU归类为w0，即可以提前终止当前CU的划分；若当前CU的深度小于CU最终划分的最佳深度，则当前CU归类为w1，即当前CU作正常划分；
(i)提前跳过CU划分的特征：
特征f1：基本层对应位置CU的CU深度；
特征f2：基本层对应位置CU的PU模式；
特征f3：基本层对应位置CU的率失真代价；
特征f4：基本层对应位置CU的灰度方差，计算公式为：
Figure FDA0003150181010000021
特征f5：当前CU与基本层对应位置CU之间的灰度Sobel梯度总和的差值，计算公式为：
Figure FDA0003150181010000031
其中Ii,j表示CU中以坐标位置(i,j)为中心的3×3灰度块，Gi,j表示Ii,j的横向及纵向Sobel梯度之和,SumG表示所有Gi,j之和；
(ii)提前终止CU划分的特征：
特征f6：基本层对应位置CU的CU深度，与特征f1相同；
特征f7：当前CU的最佳PU模式；
特征f8：当前CU的最佳率失真代价；
特征f9：当前CU残差块的平均偏差，计算公式为：
Figure FDA0003150181010000032
其中，Avgres表示CU残差块的平均残差值,Pixelres(i,j)表示坐标位置(i,j)的残差值，W和H分别表示CU残差块的宽和高；
步骤(2)、计算快速PU模式选择的特征
特征帧中采用标准的SHVC编码，在CU深度为0，1和2时分别计算PU模式选择的特征；将PU分为三类，w0表示执行2N×2N模式的编码，跳过SMP模式和AMP模式的编码；w1表示执行2N×2N模式和SMP模式的编码，跳过AMP模式编码；w2表示执行标准的PU模式编码；
采用的PU模式特征如下：
特征f10：基本层对应位置CU的PU模式，与特征f2相同；
特征f11：相邻块的最佳CU深度之和，计算公式为：
f11＝depabv+deplef+depabl (5)
depabv表示上CU的最佳CU深度，deplef表示左CU的最佳CU深度，depabl表示左上CU的最佳CU深度；
特征f12：相邻块的最佳PU模式的平均值，计算公式为:
Figure FDA0003150181010000041
PUmodeabv表示上CU的最佳PU模式，PUmodelef表示左CU的最佳PU模式，PUmodeabl表示左上CU的最佳PU模式；
特征f13：执行2N×2N模式选择后得到的最佳率失真代价RDcost与失真D的比率，计算公式为：
Figure FDA0003150181010000042
特征f14：当前CU块的灰度平均偏差，计算公式为：
Figure FDA0003150181010000043
其中Avg表示CU的平均灰度值,Pixel(i,j)表示坐标位置(i,j)的灰度值，W和H分别表示CU的宽和高；
步骤(3)、针对步骤(1)和步骤(2)得到的特征，采用贝叶斯模型来建模，其概率计算公式为：
Figure FDA0003150181010000044
其中，F表示特征集，w表示类别，P(w)为类别w的先验概率，P(F|w)为条件概率，P(F)为特征集先验概率，P(w|F)为后验概率，它表示在F特征集下样本划归为类别w的概率；
贝叶斯模型就是用先验概率P(w)和P(F)、条件概率P(F|w)来表示后验概率；P(w)通过统计特征集F中属于每个类别的比例来确定；对于P(F|w)，假设特征集F中的各个特征之间条件独立，则每种类别wi对应的条件概率为：
Figure FDA0003150181010000045
其中fj表示为特征集F＝{f1,f2…,fn}中的各种特征，n为特征种类的数量；对于提前跳过CU划分算法，wi只有二种类别ws和wn，ws表示提前跳过划分的CU集合，wn表示正常划分的CU集合；对于提前终止CU划分算法，wi只有二种类别wt和wn，wt表示提前终止划分的CU集合，wn表示正常划分的CU集合；把式(10)代入式(9)，贝叶斯分类模型表示为：
Figure FDA0003150181010000051
其中特征集先验概率P(F)在各个类别wi中都相等，其中P(wi)就是类别wi对应的样本数量占所有类别对应的总样本数量的百分比；当计算P(fj|w＝wi)的时候，由于fj可以是离散特征也可以是连续特征，当fj取不同值的时候，需采用不同的计算方法；
(i)若fj为离散特征，则采用直方图的统计方法计算条件概率；先将特征fj不同取值所对应的样本数量保存于直方图中，当离散特征fj取值为m的时候，其条件概率P(fj＝m|w＝wi)计算公式为：
Figure FDA0003150181010000052
Num(fj＝m,w＝wi)表示在类别wi中fj特征值为m时对应的样本数量，Num(fj,w＝wi)表示在类别wi中fj特征对应的总样本数量；计算特征fj所有可能的取值对应的条件概率P(fj＝m|w＝wi)并保存下来，以便用到快速编码帧中；特征f1、f2、f6、f7、f10、f11、f12的条件概率采用式(12)来计算；
若fj为连续特征，根据其样本的分布特性，分别采用一维高斯函数或K近邻法计算其条件概率；
(ii)样本分布符合一维高斯函数的连续特征
首先计算特征fj对应的样本数据的均值和方差，则类别wi中fj特征值为m时对应的条件概率为：
Figure FDA0003150181010000053
Figure FDA0003150181010000054
表示在类别wi中特征fj的方差，μij表示在类别wi中特征fj的均值；特征f3、f8、f9的条件概率采用式(13)来计算；
(iii)样本分布不符合一维高斯函数的连续特征
利用K近邻法，首先定义K值的计算公式为：
Figure FDA0003150181010000061
其中Num(w＝wi)表示类别wi对应的样本数量；再作一条特征数轴，将特征fj所有的取值都在该数轴上标记出来；若当前特征fj的取值为m，则以m为中心在特征数轴上的两侧以相同的距离定义一个K近邻区间，使得该区间内的对应于特征fj的样本点数量等于K；利用所获取的特征样本点数量，计算得到条件概率为：
Figure FDA0003150181010000062
其中，Num(fj,w＝wi)表示在K近邻区间内fj特征点中属于类别wi的样本数量，特征f4、f5、f13和f14的条件概率采用式(15)来计算；
步骤(4)、计算贝叶斯风险矩阵
定义贝叶斯判决的风险因子为Cij，它表示标准SHVC编码中CU块分类结果为类别i，却因为快速算法被错误分类为类别j所带来的风险，风险矩阵由风险因子构成，在特征帧中计算提前跳过CU划分和提前终止CU划分的风险矩阵；
(4-1)计算提前跳过CU划分的风险矩阵Cskip：
Figure FDA0003150181010000063
其中Cns表示标准的SHVC编码时，在当前深度是正常的CU划分却被快速算法判断为提前跳过当前CU划分的风险，Csn表示标准的SHVC编码时，应该提前跳过当前CU深度却被快速算法判断为正常CU划分的风险；Cns和Csn的计算如下：
Figure FDA0003150181010000064
Jn表示进行标准SHVC编码时作正常判决的CU的率失真代价，Js表示提前跳过当前深度判决的CU的率失真代价；
Cnn或Css表示当标准SHVC编码对CU深度判决的结果与快速算法对CU深度判决的结果相同，其风险均等于零；
(4-2)计算提前终止CU划分的风险矩阵Cstop如下所示：
Figure FDA0003150181010000071
其中Cnt表示标准SHVC编码时在当前深度是正常的CU划分却被快速算法判断为提前终止CU划分的风险，Ctn表示标准的SHVC编码时应该提前终止当前CU划分却被快速算法判断为正常的CU划分的风险；此处Cnt和Ctn的计算如下：
Figure FDA0003150181010000072
其中Jn表示进行标准SHVC编码时对当前深度作正常判决的CU的率失真代价，Jt表示提前终止当前深度判决的CU的率失真代价；
Cnn或Ctt表示当标准SHVC编码对CU深度判决的结果与快速算法对CU深度判决的结果相同，其风险均等于零。
3.根据权利要求2所述的结合编码深度估计和贝叶斯判决的SHVC快速编码方法，其特征在于基于最小风险贝叶斯判决的快速CU划分方法的具体步骤是：
步骤(I)、增强层CTU的深度范围估计
计算快速编码帧的增强层中的当前CTU的相邻块深度和DepNer_SUM，以及基本层对应位置CU的深度DepBL，根据得到的CTU深度范围分布表，估计出当前CTU的深度范围；然后在该深度范围内实现SHVC快速编码方法；
步骤(II)、基于最小风险贝叶斯判决的提前跳过CU划分
(i)首先计算提前跳过CU划分的特征：f1、f2、f3、f4和f5，其中特征f1、f2采用直方图法建模，特征f3采用一维高斯分布建模，特征f4、f5采用K近邻法建模；然后利用特征帧获得的CU划分的贝叶斯模型，计算每个特征的条件概率P(fj＝m|w＝wi)，再由式(11)计算出P(w＝wi|F)；
(ii)利用特征帧获得的CU划分的贝叶斯风险矩阵，得到提前跳过CU划分的风险函数为：
Figure FDA0003150181010000073
其中，Rn(wn|F)表示正常CU划分的贝叶斯风险，Rs(ws|F)表示提前跳过CU划分的贝叶斯风险；比较Rn(wn|F)和Rs(ws|F)的大小，若Rn(wn|F)小于Rs(ws|F)，则表示正常划分当前CU的风险较低，因而选择正常划分当前CU；否则选择提前跳过当前CU划分；
步骤(III)、基于最小风险贝叶斯判决的提前终止CU划分
(i)首先计算提前终止CU划分的特征：f6、f7、f8和f9，其中特征f6、f7采用直方图法建模，特征f8、f9采用一维高斯分布法建模；然后利用特征帧获得的CU划分的贝叶斯模型，计算每个特征的条件概率P(fj＝m|w＝wi)，再由式(11)计算出P(w＝wi|F)；
(ii)利用特征帧获得的CU划分的贝叶斯风险矩阵，得到提前终止CU划分的贝叶斯风险函数为：
Figure FDA0003150181010000081
其中，Rn(wn|F)表示正常CU划分的贝叶斯风险，Rt(wt|F)表示提前终止CU划分的贝叶斯风险；比较Rn(wn|F)和Rt(wt|F)的大小，若Rn(wn|F)小于Rt(wt|F)，则表示正常划分当前CU的风险较低，因而选择正常划分当前CU；否则选择提前终止当前CU划分。
4.根据权利要求3所述的结合编码深度估计和贝叶斯判决的SHVC快速编码方法，其特征在于基于最大概率贝叶斯判决的快速PU模式选择方法的具体步骤是：
步骤(Ⅰ)、计算快速PU模式选择的贝叶斯条件概率
首先计算快速PU模式选择的特征：f10、f11、f12、f13和f14，其中特征f10、f11、f12采用直方图法建模，特征f13、f14采用K近邻法建模；然后利用特征帧获得的PU模式选择的贝叶斯模型，计算概率P(fj|w＝wi)和P(wi)；
步骤(Ⅱ)、快速PU模式选择方法
在SHVC编码器进行2N×2N的PU模式判别之后，把快速PU模式选择的贝叶斯条件概率代入下式：
Figure FDA0003150181010000082
然后，根据式(22)中三种类别wi,i＝0,1,2下的最大概率所对应的类别ibest来实现快速PU模式选择，其规则为：
1)若ibest＝0，则选择w0作为最佳类别的PU模式选择方法，此时提前跳过SMP模式和AMP模式的选择，终止PU模式划分；
2)若ibest＝1，则选择w1作为最佳类别的PU模式选择方法，此时需进行SMP模式选择，但是跳过后续的AMP模式选择；
3)若ibest＝2，则选择w2作为最佳类别的PU模式选择方法，此时需进行SMP模式选择和AMP模式选择，即正常的PU模式选择。
CN201910911194.3A 2019-09-25 2019-09-25 结合编码深度估计和贝叶斯判决的shvc快速编码方法 Active CN110730350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910911194.3A CN110730350B (zh) 2019-09-25 2019-09-25 结合编码深度估计和贝叶斯判决的shvc快速编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910911194.3A CN110730350B (zh) 2019-09-25 2019-09-25 结合编码深度估计和贝叶斯判决的shvc快速编码方法

Publications (2)

Publication Number Publication Date
CN110730350A CN110730350A (zh) 2020-01-24
CN110730350B true CN110730350B (zh) 2021-08-24

Family

ID=69219350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910911194.3A Active CN110730350B (zh) 2019-09-25 2019-09-25 结合编码深度估计和贝叶斯判决的shvc快速编码方法

Country Status (1)

Country Link
CN (1) CN110730350B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013067101A1 (en) * 2011-11-04 2013-05-10 Dolby Laboratories Licensing Corporation Layer decomposition in hierarchical vdr coding
CN107431820A (zh) * 2015-03-27 2017-12-01 高通股份有限公司 视频译码中运动向量推导
CN108259898A (zh) * 2018-02-01 2018-07-06 重庆邮电大学 基于质量可伸缩视频编码qshvc的帧内快速编码方法
CN106713935B (zh) * 2017-01-09 2019-06-11 杭州电子科技大学 一种基于贝叶斯决策的hevc块划分快速方法
CN110049338A (zh) * 2019-04-26 2019-07-23 杭州电子科技大学 基于多层次分类的hevc快速帧间编码方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013067101A1 (en) * 2011-11-04 2013-05-10 Dolby Laboratories Licensing Corporation Layer decomposition in hierarchical vdr coding
CN107431820A (zh) * 2015-03-27 2017-12-01 高通股份有限公司 视频译码中运动向量推导
CN106713935B (zh) * 2017-01-09 2019-06-11 杭州电子科技大学 一种基于贝叶斯决策的hevc块划分快速方法
CN108259898A (zh) * 2018-02-01 2018-07-06 重庆邮电大学 基于质量可伸缩视频编码qshvc的帧内快速编码方法
CN110049338A (zh) * 2019-04-26 2019-07-23 杭州电子科技大学 基于多层次分类的hevc快速帧间编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Adaptive Quantization Parameter Selection Leveraging the Inter-Frame Distortion Propagation for HEVC Video Coding";Dong Li et al.;《2019 Data Compression Conference (DCC)》;20190329;全文 *

Also Published As

Publication number Publication date
CN110730350A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
Liu et al. An adaptive CU size decision algorithm for HEVC intra prediction based on complexity classification using machine learning
CN103873861B (zh) 一种用于hevc的编码模式选择方法
CN104754357B (zh) 基于卷积神经网络的帧内编码优化方法及装置
CN106713935A (zh) 一种基于贝叶斯决策的hevc块划分快速方法
CN107371022B (zh) 应用于hevc医学影像无损编码的帧间编码单元快速划分方法
Hu et al. Fast HEVC intra mode decision based on logistic regression classification
CN105120290B (zh) 一种深度视频快速编码方法
US11070803B2 (en) Method and apparatus for determining coding cost of coding unit and computer-readable storage medium
CN104394409B (zh) 基于空域相关性的hevc预测模式快速选择方法
CN104243997B (zh) 一种质量可分级hevc视频编码方法
CN106604031A (zh) 一种基于兴趣区域的h.265视频质量提升方法
CN105141954A (zh) 一种hevc帧间编码快速模式选择方法
CN112887712B (zh) 一种基于卷积神经网络的hevc帧内ctu划分方法
CN112738511B (zh) 一种结合视频分析的快速模式决策方法及装置
CN112312133B (zh) 一种视频编码方法、装置、电子设备及可读存储介质
CN108924558A (zh) 一种基于神经网络的视频预测编码方法
CN112437310B (zh) 一种基于随机森林的vvc帧内编码快速cu划分决策方法
CN107318016A (zh) 一种基于零块分布的hevc帧间预测模式快速判定方法
CN108769696A (zh) 一种基于Fisher判别式的DVC-HEVC视频转码方法
CN106534849A (zh) 一种快速的hevc帧间编码方法
CN116489386A (zh) 一种基于参考块的vvc帧间快速编码方法
Yang et al. Fast intra encoding decisions for high efficiency video coding standard
CN110730350B (zh) 结合编码深度估计和贝叶斯判决的shvc快速编码方法
Chen et al. A fast inter coding algorithm for HEVC based on texture and motion quad-tree models
CN109547798B (zh) 一种快速的hevc帧间模式选择方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant