CN113973205A - 基于视频内容特征的码率控制比特分配方法及存储介质 - Google Patents
基于视频内容特征的码率控制比特分配方法及存储介质 Download PDFInfo
- Publication number
- CN113973205A CN113973205A CN202111226979.0A CN202111226979A CN113973205A CN 113973205 A CN113973205 A CN 113973205A CN 202111226979 A CN202111226979 A CN 202111226979A CN 113973205 A CN113973205 A CN 113973205A
- Authority
- CN
- China
- Prior art keywords
- ctu
- frame
- layer
- formula
- bit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013139 quantization Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明请求保护基于视频编码码率控制比特分配方法及存储介质，方法包括：针对帧层，首先统计待编码视频帧的统计特性，计算待编码帧的信息熵，根据码率控制算法中的帧层固定权重，计算待编码帧的参数调整因子，然后根据信息熵和参数调整因子构建一种新的帧层比特分配权重，用于指导帧层的目标比特分配；针对CTU层，评估待编码帧CTU的纹理复杂度和运动特征，计算每个CTU在该帧中的能量占比因子及其预测残差能量占比因子，计算出特征量化加权系数，然后构建一种新的CTU层比特分配权重，用于指导CTU层的目标比特分配。本发明可实现帧层和CTU层更合理的比特分配，既能提高码率控制精度，又能改善视频编码质量，可用于H.265/HEVC和H.266/VVC等视频编码器中。
Description
技术领域
本发明属于视频编码领域，更具体地说，涉及一种基于视频内容特征的码率控制比特分配方法。
背景技术
视频是当前人们生活和工作中承载信息的主要载体。随着人们对高分辨率、高色彩饱和度等消费类视频需求的增长，高清、超高清和高动态范围视频开始得到了广泛应用，数字视频从现在的720P转向到了1080P，甚至4K×2K级，目前8K×4K级的视频技术也在开发中。数字视频的帧频从30fps提高到了60fps和120fps，甚至朝240fps的目标迈进。高清、高帧频视频的广泛应用导致视频数据流量呈现出爆炸式增长，如帧频为30fps、分辨率1920×1080、8比特的RGB彩色高清视频，其每小时的数据量高达4.89TB。如此巨大数据量的传输和存储对当前的通信网络和数字媒体存储技术带来了挑战，视频编码技术是提高网络传输效率，减小数据存储压力的有效措施之一。
自上世纪90年代以来，视频压缩技术持续成为国内外研究和应用的热点领域。为了满足人们对视频质量要求的日益增长以及适应不同通信网络环境的需求，国际标准化组织/国际电工委员会ISO/IEC、国际电信联盟ITU-T和中国数字音视频编解码技术标准工作组等相继制定了H.261、H.263、H.264/AVC、MPEG-1、MPEG-4、MEPG-7、AVS等多个视频编码标准。这些国际和国内视频编码标准的制定，极大地促进了视频技术的推广，也使得数字视频编码技术得到了迅速发展。2010年，ITU-T的视频编码专家组VCEG(Video Coding ExpertsGroup)和ISO/IEC的运动图像专家组共同组建了联合实验组JCT-VC(Joint CollaborativeTeam on Video Coding)来研究制定新一代的视频编码标准-高性能视频编码(HighEfficiency Video Coding，HEVC)。2013年，JCT-VC推出了HEVC的第一个版本，并在接下来的几年时间里不断对其进行优化升级。HEVC包含了目前最新的视频编码技术，如多角度帧内预测、高精度运动补偿、运动估计合并、可变尺寸的离散余弦变换、模式依赖的离散正弦变换、基于语义的熵编码，以及自适应环路滤波等。
码率控制(Rate Control，RC)能在给定的目标比特率条件下对视频进行编码，并通过缓冲区的状态动态调整量化参数QP(Quantization Parameter)。当QP值较小时，能保留图像中较多的边缘细节，视频质量较高，但输出码率较高；若QP值较大，则能降低编码输出码率，但会导致视频质量下降。码率控制使视频编码器实际需求的比特率尽可能近似于目标比特率，能更好地在通信中传输，并优化压缩视频的质量。因此，码率控制算法是视频编码器不可或缺的重要组成部分。
与其他码率控制方案类似，R-λ模型的算法主要分为两个部分：一个是比特分配，另一个就是拉格朗日乘数λ和量化参数QP的计算。R-λ模型建立了码率和拉格朗日乘数之间的指数关系，其模型为：
其中，D为编码失真；C和K是与视频序列相关的模型参数；α和β是与视频内容特性相关的模型参数；λ与R-D曲线的关系示意图如附图2所示，从几何意义上来说，率失真优化问题就是在R-D曲线上选择最优工作点，而λ即为曲线切线的斜率，所以它是与最优工作点一一对应的值；R表示编码位，单位为bpp(bit per pixel)，即每像素消耗的位。如果某帧或某CTU的目标比特为T，像素数是N，则bpp计算公式为：
其中，α和β是模型参数，每次对一个CTU或帧编码后，它们都会更新。然后可以通过经验公式确定QP。
QP＝4.2005lnλ+13.7122 (3)
比特分配将在三个级别中实现，其中包括GOP层、图片层和基本编码单元层。首先计算出每帧图像的目标比特数：
设已编码图片的数量为Ncoded，这些图片用掉的比特数为Rcoded，当前GOP中的图片数量为NGOP，SW是平滑比特分配的滑动窗口的大小，用于使得比特消耗变化和编码图片的质量更加平缓，在这里设为40，则GOP级别的比特分配为：
TGOP＝TAvgPic×NGOP (6)
如果SW帧图片可以正好做到每一帧消耗TAvgPic比特，则上式可以改为：
式(7)中的第一部分代表目标码率，第二部分代表buffer状态。
然后是图片级别的比特分配，当前GOP已经用掉的比特数为CodedGOP，ω是每副图片的比特分配权重，则当前图片的目标比特率为：
CTU层的比特分配，在提案中认为一个基本单元包含一个CTU，其中目标比特数由下式决定：
其中，Bitheader是所有头信息比特数的估计值，又同一层之前的已编码图片的实际头部信息比特数估计得到。
由上述可知，现有的码率控制算法并未充分考虑帧层的目标比特对CTU层比特分配的影响和视频编码器本身的编码特性，也没有充分考虑各帧的纹理特征、时域预测信息和视频内容特性，从而导致比特分配不合理、率失真性能较差。
发明内容
本发明旨在解决以上现有技术的问题。提出了提高视频编码码率控制的精度和率失真性能的基于视频内容特征的码率控制比特分配方法及存储介质。本发明的技术方案如下：
基于视频内容特征的码率控制比特分配方法，其包括以下步骤：
帧层的比特分析步骤：首先分析输入视频帧的纹理复杂度，计算待编码帧的信息熵，根据码率控制算法中的比特分配固定权重值
计算出待编码帧的参数调整因子，然后根据信息熵和参数调整因子，构建一种新的帧层比特分配权重，用于指导帧层的目标比特分配；
CTU层的比特分析步骤：首先对待编码帧的CTU的纹理复杂度和运动特征进行评估，计算每个CTU的SATD(变换后的绝对差和)值及其预测残差的SATD值，统计出当前待编码帧的平均能量和平均预测残差能量，得到每个CTU在该帧中的能量占比因子和预测残差能量占比因子，然后计算出特征量化加权系数，构建一种新的CTU层比特分配权重，用于指导CTU层的目标比特分配。
进一步的，所述计算待编码帧的信息熵EI，是指采用公式(1)进行计算：
其中，p(χ)是图像中灰度值为χ的像素所占的比例，N为图像的灰度级数。
所述计算出待编码帧的参数调整因子，是指为了确保帧层的固定权重和信息熵在同一个数量级，将一个GOP(图像组)内所有帧的固定权重和信息熵进行累加，采用公式(2)求出两者之间的参数调整因子Af。
进一步的，所述构建一种新的帧层比特分配权重，是指采用公式(3)和公式(4)计算出待编码帧新的帧层比特分配权重ω′pic和总比特权重ωtotal。
其中，EIi是当前待编码帧的信息熵，∑NotCodedPicturesωi为当前图像组GOP中所有未编码图像的比特分配权重之和。
进一步的，所述帧层的目标比特分配，是通过新的帧层比特分配权重ω′pic和总比特权重ωtotal对帧层进行比特分配；公式(5)是帧层目标比特分配公式。
其中，TGOP是当前图像组GOP分配的总比特数；CodedGOP为当前图像组GOP已消耗的比特数。
进一步的，所述计算出每个CTU的SATD值及其预测残差的SATD值，具体包括：
SATD是编码块或预测残差经Hadamard变换后得到的绝对误差和，其计算公式如下：
其中，X为N×N的预测残差方阵，H为归一化的N×N的Hadamard矩阵。
把CTU分割为8×8大小的子块，采用H8×8的Hadamard矩阵，利用公式(6)计算出每个子块的SATD值，再利用公式(7)计算出每个CTU的SATD值D′1。
其中，m为CTU子块的个数；SATDi为CTU第i个子块的SATD值；height和width分别为CTU的高度和宽度。
当前帧的CTU与前一已编码帧相同位置CTU的像素值相减，得到预测残差CTU；把预测残差CTU分割为8×8大小的子块，采用H8×8的Hadamard矩阵，利用公式(6)计算出每个预测残差子块的SATD值，利用公式(8)计算出每个CTU预测残差的SATD值R1′。
其中，m为CTU子块的个数；SATD′i为CTU第i个预测残差子块的SATD值；height和width分别为CTU的高度和宽度。
进一步的，所述统计出当前待编码帧的平均能量和平均预测残差能量，是通过公式(9)和公式(10)计算得到的；
由于SATD值可反映出编码块或残差块在频域中的能量大小，因此当前待编码帧的平均能量D′2和平均预测残差能量R2′可通过计算每帧8×8大小子块和8×8预测残差子块SATD的平均值得到。
其中，n为每一帧子块的数目；SATDj为第j个子块的SATD值；H和W分别为当前帧的高度和宽度。
进一步的，所述每个CTU在该帧中的能量占比因子η1和预测残差能量占比因子η2是通过公式(11)和公式(12)计算得到的。
所述计算特征量化加权系数，是指通过对一帧中所有CTU的能量值和预测残差值进行特征量化，以线性函数归一化后的系数作为η1和η2的占比权重；公式(13)～公式(15)是特征量化加权系数的计算公式。
其中，
a分别表示η1的占比权重、η2的占比权重、η1的特征量化加权系数；D′MIN、D′MAX分别为一帧中CTU能量最小值和最大值；R′MIN、R′MAX分别是一帧中预测残差CTU能量的最小值和最大值。
进一步的，所述构建一种新的CTU层比特分配权重，是指根据图像的纹理复杂度、运动区域和编码器的编码特征对CTU层的能量占比因子和预测残差能量占比因子进行联合加权得到一种新型的复杂度NC，其计算公式如式(16)所示：
NC＝a×η1+(1-a)×η2 (16)
进一步的，所述指导CTU层的目标比特分配，是指通过公式(17)，依据当前CTU的权重NC，当前帧目标剩余比特数对CTU层进行初始目标比特分配；然后再根据缓冲区状态，利用公式(18)对当前CTU初始分配的目标比特TCTU进行动态调整，得到最终目标比特数TCurrCTU。
TCurrCTU＝TCTU-(totalWeight-Bleft)/realInfluenceCTU+0.5 (18)
公式(17)中的TCTU表示当前CTU初始分配的目标比特；TCurrPic表示当前帧的目标比特；CodedPic表示当前Pic已消耗的比特数；NotCodedCTUs表示当前帧未编码CTU的总数；AllCTUs表示当前帧CTU的总数；NCi表示第i个CTU的比特分配权重；Bitheader为该帧头信息的估算比特数；ωCurrCTU表示原平台CTU的自适应比特分配权重；NCCurrCTU表示所提算法每个CTU的比特分配权重；b为加权系数，其取值大于0且小于1；对于b值的选取，可通过对多个测试视频序列进行了编码，统计出不同b的取值对RD性能和码率控制精度的影响，选择出效果最好的b值；公式(18)中的Bleft表示当前帧剩余的实际比特位；totalWeight表示包括当前CTU在内的剩余CTU所需要的比特和；realInfluenceCTU表示实际的平滑窗口大小。
一种计算机可读存储介质，其该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如任一项所述的基于视频内容特征的码率控制比特分配方法。
本发明的优点及有益效果如下：
本发明针对目前视频编码器码率控制算法没有充分考虑帧层的目标比特对CTU层比特分配的影响，以及没有充分考虑各帧的纹理特征、时域预测信息和视频内容特性，导致帧层的目标比特精确度不高和CTU目标比特分配不合理的问题，提出了一种可用于H.265/HEVC、H.266/VVC等视频编码器的码率控制比特分配方法。首先针对帧层，考虑了整个信源的统计特性，将编码信源的信息熵加入R-lambda模型中，构建了一种比特分配优化模型来指导帧层比特分配，得到一种考虑当前编码帧的比特分配权重，提高了帧层的比特精准度；然后针对CTU层，使用Hadamard变换检测能量分布区域和运动区域，把图像的能量值和预测残差值构建一种新的复杂度，以此对CTU层目标比特进行合理调整和准确分配。本发明考虑了图像复杂度和视频编码器特有的编码特征，用于对帧层和CTU层的比特进行更合理分配。采用本发明的视频编码器，能升码率控制的精度，改善率失真性能，因此可用于H.265/HEVC、H.266/VVC等视频编码器中。
本发明的创新主要在于权利1-9。首次提出了以一个图像组GOP内所有帧的固定权重和信息熵作为帧层比特分配的参数调整因子，提出了待编码帧参数调整因子的计算公式(1)～(2)、帧层比特分配权重计算公式(3)～(4)和帧层目标比特分配计算公式(5)。首次提出了以每个CTU在该编码帧中的能量占比因子和预测残差能量占比因子，并定义了特征量化加权系数，构建一种新的CTU层比特分配权重，提出了待编码CTU的能量占比因子计算公式(7)、(9)、(11)和CTU的预测残差能量占比因子计算公式(8)、(10)、(12)以及特征量化加权系数公式(13)～(15)、CTU比特分配权重计算公式(16)和CTU目标比特分配计算公式(17)～(18)。本发明提出的信息熵和参数调整因子充分考虑每一帧内容本身特性，又考虑到当前编码帧对帧层的比特需求和后续待编码CTU层的影响，使得帧层的目标比特分配更加合理，既能使得实际的码率更加接近于目标码率，又能在一定程度上提升视频编码质量。本发明提出的每个CTU在该帧中的能量占比因子、预测残差能量占比因子、特征量化加权系数和一种新的CTU层比特分配权重，既考虑了各帧的纹理特征、时域预测信息和视频内容特性，还能够有效对运动区域进行区分，并结合CTU实际的复杂度进行很好的拟合，即成线性关系。使比特分配更合理，既能提高比特率控制的精度，又能改善视频编码的质量。
目前关于现有的一些H.265/HEVC、H.266/VVC码率控制算法效果并不理想，因此本文发明具有较强的创新性和实用性。
附图说明
图1是本发明提供优选实施例的一种基于视频内容特征的码率控制比特分配方法流程示意图；
图2为拉格朗日乘子λ与R-D曲线的关系示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
如图1所示，是本发明提供的基于视频内容特征的码率控制比特分配方法流程图，具体包括以下步骤：
101、计算待编码帧的信息熵EI，获取码率控制算法中的帧层固定权重
102、计算待编码帧的参数调整因子Af；
103、根据待编码帧的信息熵、参数调整因子构建一种新的帧层比特分配权重，用于指导帧层的目标比特分配；
104、计算每个CTU的SATD(变换后的绝对差和)值及其预测残差的SATD值；
105、统计当前待编码帧的平均能量和平均预测残差能量；
106、计算出每个CTU在该帧中的能量占比因子和预测残差能量占比因子；
107、计算出特征量化加权系数；
108、构建一种新的CTU层比特分配权重，用于指导CTU层的目标比特分配。
优选的，所述步骤101中，计算待编码帧的信息熵，是指采用如下公式进行计算；获取帧层固定权重是指视频码率控制算法中每帧的比特分配固定权重值
其中，p(χ)是图像中灰度值为χ的像素所占的比例，N为图像的灰度级数。
优选的，所述步骤102中，计算出待编码帧的参数调整因子，是指为了确保帧层的固定权重和信息熵在同一个数量级，将一个图像组GOP内所有帧的固定权重和信息熵进行累加，采用公式(2)求出两者之间的参数调整因子Af。
优选的，所述步骤103中，构建一种新的帧层比特分配权重，是指采用公式(3)和公式(4)计算出待编码帧新的帧层比特分配权重ω′pic和总比特权重ωtotal。
其中，EIi是当前待编码帧的信息熵，∑NotCodedPicturesωi为当前图像组GOP中所有未编码图像的比特分配权重之和。
优选的，所述步骤103中，用于指导帧层的目标比特分配，是通过新的帧层比特分配权重ω′pic和总比特权重ωtotal对帧层进行高精度的比特分配。帧层目标比特分配的公式如式(5)所示。
其中，TGOP是当前GOP分配的总比特数；CodedGOP为当前GOP已消耗的比特数。
优选的，所述步骤104中，计算出每个CTU的SATD值及其预测残差的SATD值，是通过如下步骤和公式计算得到的。
SATD(Sum of Absolute Transformed Difference)是编码块或预测残差经Hadamard变换后得到的绝对误差和，其计算公式如下：
其中，X为N×N的预测残差方阵，H为归一化的N×N的Hadamard矩阵。
把CTU分割为8×8大小的子块；采用H8×8的Hadamard矩阵，利用公式(6)计算出每个子块的SATD值，再利用公式(7)计算出每个CTU的SATD值D′1。
其中，m为CTU子块的个数；SATDi为CTU第i个子块的SATD值；height和width分别为CTU的高度和宽度。
当前帧的CTU与前一已编码帧相同位置CTU的像素值相减，得到预测残差CTU。把预测残差CTU分割为8×8大小的子块，采用H8×8的Hadamard矩阵，利用公式(6)计算出每个预测残差子块的SATD值，利用公式(8)计算出每个CTU预测残差的SATD值R1′。
其中，m为CTU子块的个数，SATD′i为CTU第i个预测残差子块的SATD值；height和width分别为CTU的高度和宽度。
优选的，所述步骤105中，统计能反映当前待编码帧的平均能量和平均预测残差能量，是通过公式(9)和公式(10)计算得到的。
由于SATD值可反映出编码块或残差块在频域中的能量大小，因此当前待编码帧的平均能量D′2和平均预测残差能量R2′可通过计算每帧8×8大小子块和8×8预测残差子块的SATD平均值得到。
其中，n为每一帧子块的数目；SATDj为第j个子块的SATD值；H和W分别为当前帧的高度和宽度。
优选的，所述步骤106中，计算出每个CTU在该帧中的能量占比因子和预测残差能量占比因子是通过公式(11)和公式(12)计算得到的。
优选的，所述步骤107中，计算出特征量化加权系数，是指通过对一帧中所有CTU的能量值和预测残差值进行特征量化，以线性函数归一化后的系数作为η1和η2的占比权重。公式(13)～公式(15)是特征量化加权系数的计算公式。
其中，
a分别表示η1的占比权重、η2的占比权重、η1的特征量化加权系数；D′MIN、D′MAX分别为一帧中CTU能量最小值和最大值；R′MIN、R′MAX分别是一帧中预测残差CTU能量的最小值和最大值。
优选的，所述步骤108中，构建一种新的CTU层比特分配权重，是指根据图像的纹理复杂度、运动区域和编码器的编码特征对CTU层的能量占比因子和预测残差能量占比因子进行加权联合得到一种新型的复杂度NC，其计算公式如式(16)所示。
NC＝a×η1+(1-a)×η2 (16)
优选的，所述步骤108中，指导CTU层的目标比特分配，是指通过公式(17)，依据当前CTU的权重NC，当前帧目标剩余比特数对CTU层进行初始目标比特分配。然后再根据缓冲区状态，利用公式(18)对当前CTU初始分配的目标比特TCTU进行动态调整，得到最终目标比特数TCurrCTU。
TCurrCTU＝TCTU-(totalWeight-Bleft)/realInfluenceCTU+0.5 (18)
公式(17)中的TCTU表示当前CTU初始分配的目标比特；TCurrPic表示当前帧的目标比特；CodedPic表示当前Pic已消耗的比特数；NotCodedCTUs表示当前帧未编码CTU的总数；AllCTUs表示当前帧CTU的总数；NCi表示第i个CTU的比特分配权重；Bitheader为该帧头信息的估算比特数；ωCurrCTU表示原平台CTU的自适应比特分配权重；NCCurrCTU表示所提算法每个CTU的比特分配权重；b为加权系数，其取值大于0且小于1。为了确定b的取值，可对多个测试视频序列进行编码性能测试，统计不同的b取值对RD性能和码率控制精度的影响，最后确定b的取值。公式(18)中的Bleft表示当前帧剩余的实际比特位；totalWeight表示包括当前CTU在内的剩余CTU所需要的比特和；realInfluenceCTU表示实际的平滑窗口大小。
一种存储介质，该存储介质内部存储计算机程序，所述计算机程序被处理器读取时，执行上述任一项的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (10)
1.基于视频内容特征的码率控制比特分配方法，其特征在于，包括以下步骤：
帧层的比特分析步骤：首先分析输入视频帧的纹理复杂度，计算待编码帧的信息熵，根据码率控制算法中每帧的比特分配固定权重值
计算出待编码帧的参数调整因子，然后根据信息熵和参数调整因子，构建一种新的帧层比特分配权重，用于指导帧层的目标比特分配；
CTU层的比特分析步骤：首先对待编码帧的CTU的纹理复杂度和运动特征进行评估，计算每个CTU的SATD变换后的绝对差和值及其预测残差的SATD值，统计出当前待编码帧的平均能量和平均预测残差能量，得到每个CTU在该帧中的能量占比因子和预测残差能量占比因子，然后计算出特征量化加权系数，构建一种新的CTU层比特分配权重，用于指导CTU层的目标比特分配。
2.根据权利要求1所述的基于视频内容特征的码率控制比特分配方法，其特征在于，所述计算待编码帧的信息熵EI，是指采用公式(1)进行计算。
其中，p(χ)是图像中灰度值为χ的像素所占的比例，N为图像的灰度级数。
所述计算出待编码帧的参数调整因子，是指为了确保帧层的固定权重和信息熵在同一个数量级，将一个GOP图像组内所有帧的固定权重和信息熵进行累加，采用公式(2)求出两者之间的参数调整因子Af。
3.根据权利要求2所述的基于视频内容特征的码率控制比特分配方法，其特征在于，所述构建一种新的帧层比特分配权重，是指采用公式(3)和公式(4)计算出待编码帧新的帧层比特分配权重ω′pic和总比特权重ωtotal；
其中，EIi是当前待编码帧的信息熵；∑NotCodedPicturesωi为当前图像组GOP中所有未编码图像的比特分配权重之和。
4.根据权利要求3所述的基于视频内容特征的码率控制比特分配方法，其特征在于，所述帧层的目标比特分配，是通过新的帧层比特分配权重ω′pic和总比特权重ωtotal对帧层进行比特分配，公式(5)是帧层目标比特分配公式。
其中，TGOP是当前图像组GOP分配的总比特数；CodedGOP为当前图像组GOP已消耗的比特数。
5.根据权利要求4所述的基于视频内容特征的码率控制比特分配方法，其特征在于，所述计算出每个CTU的SATD值及其预测残差的SATD值，具体包括：
SATD是编码块或预测残差经Hadamard变换后得到的绝对差和，其计算公式如下：
其中，X为N×N的预测残差方阵，H为归一化的N×N的Hadamard矩阵。
把CTU分割为8×8大小的子块，采用H8×8的Hadamard矩阵，利用公式(6)计算出每个子块的SATD值，再利用公式(7)计算出每个CTU的SATD值D′1。
其中，m为CTU子块的个数；SATDi为CTU第i个子块的SATD值；height和width分别为CTU的高度和宽度。
当前帧的CTU与前一已编码帧相同位置CTU的像素值相减，得到预测残差CTU；把预测残差CTU分割为8×8大小的子块，采用H8×8的Hadamard矩阵，利用公式(6)计算出每个预测残差子块的SATD值，利用公式(8)计算出每个CTU预测残差的SATD值R′1。
其中，m为CTU子块的个数，SATD′i为CTU第i个预测残差子块的SATD值；height和width分别为CTU的高度和宽度。
6.根据权利要求5所述的基于视频内容特征的码率控制比特分配方法，其特征在于，所述统计出当前待编码帧的平均能量和平均预测残差能量，是通过公式(9)和公式(10)计算得到的；
由于SATD值可反映出编码块或残差块在频域中的能量大小，因此当前待编码帧的平均能量D′2和平均预测残差能量R′2可通过计算每帧8×8大小子块和8×8预测残差子块SATD的平均值得到。
其中，n为每一帧子块的数目；SATDj为第j个子块的SATD值；H和W分别为当前帧的高度和宽度。
7.根据权利要求6所述的基于视频内容特征的码率控制比特分配方法，其特征在于，所述每个CTU在该帧中的能量占比因子η1和预测残差能量占比因子η2是通过公式(11)和公式(12)计算得到的。
所述计算特征量化加权系数，是指通过对一帧中所有CTU的能量值和预测残差值进行特征量化，以线性函数归一化后的系数作为η1和η2的占比权重。公式(13)～公式(15)是特征量化加权系数的计算公式。
其中，
a分别表示η1的占比权重、η2的占比权重、η1的特征量化加权系数；D′MIN、D′MAX分别为一帧中CTU能量最小值和最大值；R′MIN、R′MAX分别是一帧中预测残差CTU能量的最小值和最大值。
8.根据权利要求7所述的基于视频内容特征的码率控制比特分配方法，其特征在于，所述构建一种新的CTU层比特分配权重，是指根据图像的纹理复杂度、运动区域和编码器的编码特征对CTU层的能量占比因子和预测残差能量占比因子进行联合加权得到一种新型的复杂度NC，其计算公式如式(16)所示：
NC＝a×η1+(1-a)×η2 (16) 。
9.根据权利要求8所述的基于视频内容特征的码率控制比特分配方法，其特征在于，所述指导CTU层的目标比特分配，是指通过公式(17)，依据当前CTU的权重NC，当前帧目标剩余比特数对CTU层进行初始目标比特分配；然后再根据缓冲区状态，利用公式(18)对当前CTU初始分配的目标比特TCTU进行动态调整，得到最终目标比特数TCurrCTU。
TCurrCTU＝TCTU-(totalWeight-Bleft)/realInfluenceCTU+0.5 (18)
公式(17)中的TCTU表示当前CTU初始分配的目标比特；TCurrPic表示当前帧的目标比特；CodedPic表示当前Pic已消耗的比特数；NotCodedCTUs表示当前帧未编码CTU的总数；AllCTUs表示当前帧CTU的总数；NCi表示第i个CTU的比特分配权重；Bitheader为该帧头信息的估算比特数；ωCurrCTU表示原平台CTU的自适应比特分配权重；NCCurrCTU表示所提算法每个CTU的比特分配权重；b为加权系数，其取值大于0且小于1；对于b值的选取，可通过对多个测试视频序列进行了编码，统计出不同b的取值对RD性能和码率控制精度的影响，选择出效果最好的b值；公式(18)中的Bleft表示当前帧剩余的实际比特位；totalWeight表示包括当前CTU在内的剩余CTU所需要的比特和；realInfluenceCTU表示实际的平滑窗口大小。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1～9任一项所述的基于视频内容特征的码率控制比特分配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111226979.0A CN113973205A (zh) | 2021-10-21 | 2021-10-21 | 基于视频内容特征的码率控制比特分配方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111226979.0A CN113973205A (zh) | 2021-10-21 | 2021-10-21 | 基于视频内容特征的码率控制比特分配方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113973205A true CN113973205A (zh) | 2022-01-25 |
Family
ID=79587678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111226979.0A Pending CN113973205A (zh) | 2021-10-21 | 2021-10-21 | 基于视频内容特征的码率控制比特分配方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113973205A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114513664A (zh) * | 2022-04-18 | 2022-05-17 | 鹏城实验室 | 视频帧编码方法、装置、智能终端及计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100129091A (ko) * | 2009-05-29 | 2010-12-08 | 서울대학교산학협력단 | Ｈ.264를 위한 프레임 단위 비트율 제어 방법 |
| KR20110099554A (ko) * | 2010-03-02 | 2011-09-08 | 충북대학교 산학협력단 | 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기 |
| CN108200431A (zh) * | 2017-12-08 | 2018-06-22 | 重庆邮电大学 | 一种视频编码码率控制帧层比特分配方法 |
| WO2019184643A1 (zh) * | 2018-03-28 | 2019-10-03 | 腾讯科技（深圳）有限公司 | 一种视频编码码率控制方法、装置、设备及存储介质 |
| US20200275103A1 (en) * | 2017-11-30 | 2020-08-27 | SZ DJI Technology Co., Ltd. | System and method for controlling video coding within image frame |
| WO2020251422A2 (en) * | 2019-10-07 | 2020-12-17 | Huawei Technologies Co., Ltd. | Method and apparatus of adaptive adjustment of weighting prediction parameter precision for harmonizing non-rectangular merge mode and weighted prediction |
| CN113438479A (zh) * | 2021-06-13 | 2021-09-24 | 北方工业大学 | 基于ctu信息熵的码率控制 |
-
2021
- 2021-10-21 CN CN202111226979.0A patent/CN113973205A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100129091A (ko) * | 2009-05-29 | 2010-12-08 | 서울대학교산학협력단 | Ｈ.264를 위한 프레임 단위 비트율 제어 방법 |
| KR20110099554A (ko) * | 2010-03-02 | 2011-09-08 | 충북대학교 산학협력단 | 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기 |
| US20200275103A1 (en) * | 2017-11-30 | 2020-08-27 | SZ DJI Technology Co., Ltd. | System and method for controlling video coding within image frame |
| CN108200431A (zh) * | 2017-12-08 | 2018-06-22 | 重庆邮电大学 | 一种视频编码码率控制帧层比特分配方法 |
| WO2019184643A1 (zh) * | 2018-03-28 | 2019-10-03 | 腾讯科技（深圳）有限公司 | 一种视频编码码率控制方法、装置、设备及存储介质 |
| WO2020251422A2 (en) * | 2019-10-07 | 2020-12-17 | Huawei Technologies Co., Ltd. | Method and apparatus of adaptive adjustment of weighting prediction parameter precision for harmonizing non-rectangular merge mode and weighted prediction |
| CN113438479A (zh) * | 2021-06-13 | 2021-09-24 | 北方工业大学 | 基于ctu信息熵的码率控制 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114513664A (zh) * | 2022-04-18 | 2022-05-17 | 鹏城实验室 | 视频帧编码方法、装置、智能终端及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100284621B1 (ko) | 움직임화상부호화방법 및 움직임 화상부호화장치 | |
| CN108200431B (zh) | 一种视频编码码率控制帧层比特分配方法 | |
| CN106060539B (zh) | 一种低传输带宽的视频编码方法 | |
| KR100853931B1 (ko) | 동화상 부호화 장치 및 기록 매체 | |
| CN104885455A (zh) | 用于高效下一代视频编码的通过使用帧层次敏感的量化的内容自适应比特率和质量控制 | |
| CN113766226A (zh) | 图像编码方法、装置、设备及存储介质 | |
| KR20070114798A (ko) | 관심 영역 비디오 코딩을 위한 콘텐츠 적응형 배경 스킵핑 | |
| KR19980042772A (ko) | 동화상 가변 비트 속도 부호화 장치, 동화상 가변 비트 속도 부호화 방법, 및 동화상 가변 비트 속도 부호화 프로그램 기록 매체 | |
| Pan et al. | Frame-level Bit Allocation Optimization Based on<? brk?> Video Content Characteristics for HEVC | |
| US9560386B2 (en) | Pyramid vector quantization for video coding | |
| CN109479136A (zh) | 用于比特率控制的系统和方法 | |
| CN103596004A (zh) | Hevc中基于数学统计和分类训练的帧内预测方法及装置 | |
| CN103533365A (zh) | 比特率控制方法与比特率控制系统 | |
| CN110832856A (zh) | 用于减小视频编码波动的系统及方法 | |
| CN101335891B (zh) | 视频速率控制方法及视频速率控制器 | |
| KR101450645B1 (ko) | 비디오 비트율 제어 방법 및 장치 | |
| CN113973205A (zh) | 基于视频内容特征的码率控制比特分配方法及存储介质 | |
| WO2022021422A1 (zh) | 视频编码方法、编码器、系统以及计算机存储介质 | |
| KR100227336B1 (ko) | 고정 전송율 mpeg 영상 송신기용 전송율 제어 방법 및 그 장치 | |
| CN113079376A (zh) | 对静止区域的视频编码方法和装置 | |
| CN110800298A (zh) | 码率分配方法、码率控制方法、编码器和记录介质 | |
| Fani et al. | A GOP-level fuzzy rate control algorithm for high-delay applications of HEVC | |
| JPH07203430A (ja) | 画像符号化装置 | |
| Li et al. | Space-domain-based CTU layer rate control for HEVC | |
| KR101168007B1 (ko) | 실시간 비디오 부호화를 위한 적응적인 유닛-레벨 비트율 제어방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |