CN104994387A - 一种融合图像特征的码率控制方法 - Google Patents

一种融合图像特征的码率控制方法 Download PDF

Info

Publication number
CN104994387A
CN104994387A CN201510358719.7A CN201510358719A CN104994387A CN 104994387 A CN104994387 A CN 104994387A CN 201510358719 A CN201510358719 A CN 201510358719A CN 104994387 A CN104994387 A CN 104994387A
Authority
CN
China
Prior art keywords
frame
sequence
image
coding unit
maximum coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510358719.7A
Other languages
English (en)
Other versions
CN104994387B (zh
Inventor
彭宗举
费马燕
陈芬
陈伟国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201510358719.7A priority Critical patent/CN104994387B/zh
Publication of CN104994387A publication Critical patent/CN104994387A/zh
Application granted granted Critical
Publication of CN104994387B publication Critical patent/CN104994387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种融合图像特征的码率控制方法,其在帧层帧内目标比特分配时充分考虑了图像的图像复杂度以及每个像素点的目标比特,图像复杂度高的图像得到了更多的目标比特,使编码码率利用更充分,质量更加稳定;在帧层帧间目标比特分配时充分考虑了图像组内图像之间的图像复杂度,使得图像复杂度高的图像分配了更多的目标比特;在最大编码单元层根据最大编码单元所在的帧的帧类型,使用不同的码率控制策略,使得目标比特分配过程更加兼顾图像的特征;优点是利用本发明方法的编码重建视频的峰值信噪比提高了0.04~0.67dB,码率控制精度提高到了0.00~8.49kb/s。

Description

一种融合图像特征的码率控制方法
技术领域
本发明涉及一种码率控制技术,尤其是涉及一种融合图像特征的码率控制方法。
背景技术
随着数字视频和显示技术的快速发展,高清以及超高清视频逐渐步入人们的视野,作为新一代视频技术的发展方向,其将应用于家庭影院、视频会议、网络视频等领域。然而,未经压缩的高清以及超高清视频含有巨大的数据量,网络带宽的限制已成为制约其广泛应用的瓶颈,为此,国际电信联盟视频编码专家组联合国际电工委员会运动图像专家组开发了新一代视频编码标准——高效视频编码(High Efficiency Video Coding,HEVC),该编码标准相对于H.264/AVC,能提升一倍以上的压缩效率。
HEVC依旧沿用H.264的混合编码框架,即预测编码、变换过程、量化和熵编码,预测编码主要是为了消除时间域和空间域的相关性;变换过程主要是对残差进行变换编码以消除空间相关性;熵编码则是用来消除统计上的冗余度。然而,一方面,在编码过程中,如果使用固定的量化参数进行编码,则会使得单位时间内产生的比特会随着视频内容的变化有很大的不同;另一方面,网络的复杂性,不同网络的带宽差异很大,会造成视频在网络中传输的不稳定性,当码率小于通信信道所允许的带宽时,通信信道带宽没有被充分的利用,用户不能获得最优的视频质量;当码率大于通信信道所允许的带宽时,视频传输过程中会产生丢包现象,造成视频序列不完整传输。因此,在视频编码传输中需进行码率控制,码率控制的目的就是在给定带宽的情况下根据视频内容来调节量化参数,获得与通信信道带宽相匹配的码率。
HEVC现有的码率控制算法包括两个步骤:比特分配;量化参数计算。比特分配过程分为三层即图像组(Group of Picture,GOP)层、帧层和最大编码单元(Largest CodingUnit,LCU)层。在GOP层是将用户设定的目标比特平均分到每个图像组;在帧层根据预设的权重将GOP层的目标比特分配到每一帧;在最大编码单元层,根据一次运动估计后的预测误差将帧层的目标比特分配到每个最大编码单元,然后计算其编码的量化参数。但是,这种码率控制算法没有考虑到视频图像的特征,只是简单地按照平均的方法进行目标比特分配,也没有考虑到不同类型的帧编码方式也有很大区别,一种码率控制策略不能适用所有类型的帧,这种码率控制算法的码率控制精度不够高,编码出来的视频质量的稳定性也不够高,导致图像复杂度很高的区域没有分配合理的码率。
发明内容
本发明所要解决的技术问题是提供一种融合图像特征的码率控制方法,其能够有效地保证码率控制的精度,且能够有效地提高编码视频的质量。
本发明解决上述技术问题所采用的技术方案为:一种融合图像特征的码率控制方法,其特征在于包括以下步骤:
①将YUV颜色空间且未经压缩的HEVC彩色视频序列分为N*个图像组,然后将HEVC彩色视频序列中当前待处理的第i个图像组定义为当前图像组;其中,N表示HEVC彩色视频序列的长度,NGOP表示HEVC彩色视频序列中的图像组的长度,符号为向下取整符号,i的初始值为1,1≤i≤N*
②利用一个缓冲窗将用户设定的目标比特数分配给当前图像组,将分配给当前图像组的目标比特数记为 T G O P i = R t a r f × ( N u s e d + S W ) - R u s e d S W × N G O P ; 其中,Rtar表示用户设定的目标比特数,f表示HEVC彩色视频序列的帧率,SW表示缓冲窗的大小,Nused表示HEVC彩色视频序列中已编码的彩色图像的总帧数,Rused表示HEVC彩色视频序列中已编码消耗的目标比特数;
③将当前图像组中当前待处理的第j帧彩色图像定义为当前帧,其中,j的初始值为1,1≤j≤NGOP
④将当前图像组的目标比特数分配给当前帧,将分配给当前帧的目标比特数记为如果当前帧为I帧,则如果当前帧为P帧或B帧,则 T f r a m e i , j = T G O P i - R u s e d , G O P ω f r a m e i , N o t s l i c e × ω f r a m e i , j × N G O P × C f r a m e i , j C f r a m e i ; 其中,αframe和βframe均为中的模型参数,表示当前帧的图像复杂度,bpp表示HEVC彩色视频序列中的每帧彩色图像中的每个像素点的目标比特数,W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高,Rused,GOP表示当前图像组中已编码消耗的目标比特数,表示当前图像组中的所有彩色图像的图像复杂度之和,表示当前图像组中未编码的所有彩色图像的权重之和,表示当前帧的权重;
⑤将当前帧中当前待处理的第k个最大编码单元定义为当前最大编码单元;其中,k的初始值为1,符号为向上取整符号,W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高;
⑥将当前帧的目标比特数分配给当前最大编码单元,将分配给当前最大编码单元的目标比特数记为如果当前最大编码单元所在的彩色图像为I帧,则如果当前最大编码单元所在的彩色图像为P帧或B帧,则 T L C U i , j , k = T f r a m e i , j - R u s e d , f r a m e r L C U , j , N o t s l i c e × C L C U i , j , k , T L C U i , j , k = T f r a m e i , - R u s e d , f r a m e μ L C U i , j , N o t s l i c e × μ L C U i , j , k ; 其中,Rused,frame表示当前帧中已编码消耗的目标比特数,表示当前最大编码单元的复杂度,表示当前帧中未编码的所有最大编码单元的复杂度之和,表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元的残差梯度值,表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中从与当前最大编码单元相同坐标位置的最大编码单元开始至最后一个最大编码单元的残差梯度值之和;
⑦根据当前最大编码单元的目标比特数,计算当前最大编码单元的量化参数,记为QPi,j,k,如果当前最大编码单元所在的彩色图像为I帧,则先计算当前最大编码单元的量化步长,记为 然后计算当前最大编码单元的量化参数QPi,j,k再利用QPi,j,k对当前最大编码单元进行编码;其中, bpp * = T L C U i , j , k 64 × 64 , α'和β'均为 bpp * C L C U i , j , k = α ′ × ( Q s t e p i , j , k ) β ′ 中的模型参数;
如果当前最大编码单元所在的彩色图像为P帧或B帧,则令QPi,j,k=4.2005lnλ'+13.7122,其中, 和ρ均为中的模型参数;
⑧令k=k+1,然后将当前帧中下一个待处理的最大编码单元作为当前最大编码单元,再返回步骤⑥继续执行,直至当前帧中的所有最大编码单元编码完毕;其中,k=k+1中的“=”为赋值符号;
⑨令j=j+1,然后将当前图像组中下一帧待处理的彩色图像作为当前帧,再返回步骤④继续执行,直至当前图像组中的所有彩色图像的目标比特数分配完毕;其中,j=j+1中的“=”为赋值符号;
⑩令i=i+1,然后将HEVC彩色视频序列中下一个待处理的图像组作为当前图像组,再返回步骤②继续执行,直至HEVC彩色视频序列中的所有图像组的目标比特数分配完毕;其中,i=i+1中的“=”为赋值符号。
所述的步骤②中取SW=40。
所述的步骤④中当前帧的图像复杂度的计算过程为: C f r a m e i , j = 1 W × H Σ u = 0 W - 2 Σ v = 0 H - 2 ( | I u , v - I u + 1 , v | + | I u , v - I u , v + 1 | ) , 其中,W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高,(u,v)表示HEVC彩色视频序列中的彩色图像中的像素点的坐标位置,在此取0≤u≤W-2,0≤v≤H-2,Iu,v表示当前帧中坐标位置为(u,v)的像素点的亮度分量值,Iu+1,v表示当前帧中坐标位置为(u+1,v)的像素点的亮度分量值,Iu,v+1表示当前帧中坐标位置为(u,v+1)的像素点的亮度分量值,符号“||”为取绝对值符号。
所述的步骤⑥中当前最大编码单元的复杂度的计算过程为: C L C U i , j , k = 1 64 × 64 Σ p = 0 62 Σ q = 0 62 ( | U p , q - U p + 1 , q | + | U p , q - U p , q + 1 | ) , 其中,(p,q)表示HEVC彩色视频序列中的彩色图像中的最大编码单元中的像素点的坐标位置,在此取0≤p≤62,0≤q≤62,Up,q表示当前最大编码单元中坐标位置为(p,q)的像素点的亮度分量值,Up+1,q表示当前最大编码单元中坐标位置为(p+1,q)的像素点的亮度分量值,Up,q+1表示当前最大编码单元中坐标位置为(p,q+1)的像素点的亮度分量值,符号“||”为取绝对值符号。
所述的步骤⑥中HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元的残差梯度值的计算过程为: μ L C U i , j , k = 1 64 × 64 Σ p = 0 62 Σ q = 0 62 ( | S p , q - S p + 1 , q | + | S p , q - S p , q + 1 | ) , 其中,Sp,q表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p,q)的像素点的编码残差,Sp+1,q表示表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p+1,q)的像素点的编码残差,Sp,q+1表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p,q+1)的像素点的编码残差,编码残差的获取为现有技术,符号“||”为取绝对值符号。
所述的步骤④中αframe和βframe的获取过程为:
④-1、选取四个不同的量化参数分别对HEVC通用测试条件下的class C及class D类型的每个序列中的每帧进行编码,得到每个序列在不同量化参数下的码率;
④-2、将每个序列在不同量化参数下的码率分别作为对应序列的目标码率;
④-3、采用R-λ模型,利用每个序列的四个目标码率分别对每个序列进行编码,得到每个序列在不同目标码率下的实际编码码率;
④-4、从每个序列在不同目标码率下的实际编码码率中,提取出每个序列中的第1帧在不同目标码率下的实际编码比特,将第g个序列中的第1帧在第h个目标码率下的实际编码比特记为IntraBitg,h,并令其中,g和h的初始值均为1,1≤g≤8,1≤h≤4,表示第g个序列中的第1帧的图像复杂度,bpp'表示第g个序列中的每帧中的每个像素点的目标比特数,Rtar'表示针对第g个序列用户设定的目标比特数,f'表示第g个序列的帧率,W”和H”对应表示第g个序列中的每帧的宽和高,Bitavg表示第g个序列中的每帧均等分配的目标比特数, Bit a v g = R t a r ′ f ′ ;
④-5、对所有序列中的第1帧在四个目标码率下的实际编码比特和所有序列中的第1帧的图像复杂度进行拟合,得到αframe和βframe
所述的步骤⑦中α'和β'的获取过程为:
⑦-1、采用多个不同的量化参数分别对HEVC通用测试条件下的class C及class D类型的每个序列中的每帧进行全I帧编码,得到每个序列中的每帧在不同量化参数下的实际编码比特;其中,量化参数的取值范围为22至40,且步长为3;
⑦-2、提取出每个序列中的第10帧在不同量化参数下的实际编码比特,然后计算每个序列中的第10帧中的每个像素点在不同量化参数下的实际编码比特,将第g个序列中的第10帧中的每个像素点在第k个量化参数下的实际编码比特记为bppg,k其中,g和k的初始值均为1,1≤g≤8,1≤k≤7,Ractual表示第g个序列中的第10帧在不同量化参数下的实际编码比特,W”和H”对应表示第g个序列中的每帧的宽和高,表示第g个序列中的第10帧的图像复杂度,表示采用的第k个量化参数对应的量化步长,QPg,k表示采用的第k个量化参数;
⑦-3、对所有序列中的第10帧中的每个像素点在不同量化参数下的实际编码比特和所有序列中的第10帧的图像复杂度以及采用的所有量化参数各自对应的量化步长进行拟合,得到α'和β'。
所述的步骤⑦中取取ρ=-1.367。
所述的步骤④中当前帧的权重的取值由bpp和当前帧在当前图像组中的位置来决定,当NGOP=4时,如果当前帧为当前图像组中的第1帧,则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第2帧,则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第3帧,则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第4帧,则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取
与现有技术相比,本发明的优点在于:
本发明方法针对不同帧类型的编码帧,能够按照不同的码率控制策略进行控制,在总码率限制的条件下,本发明方法在帧层帧内目标比特分配时充分考虑了图像的图像复杂度以及每个像素点的目标比特,图像复杂度高的图像得到了更多的目标比特,从而使编码码率利用更充分,质量更加稳定;在帧层帧间目标比特分配时充分考虑了图像组内图像之间的图像复杂度,使得图像复杂度高的图像分配了更多的目标比特;本发明方法在最大编码单元层根据最大编码单元所在的帧的帧类型,使用不同的码率控制策略,其中在P或B类型帧的最大编码单元层根据之前编码帧中有无与最大编码单元所在帧属于同一级别的编码帧中处于同一位置的参考最大编码单元,使用不同的目标比特分配策略,使得目标比特分配过程更加兼顾图像的特征;实验结果表明,与原始码率控制方法相比,利用本发明方法进行码率控制后,整体视频质量较稳定,编码重建视频的峰值信噪比提高了0.04~0.67dB,主观效果得到了明显提高;码率控制精度即码率偏差相比原始码率控制方法的0.01~52.04kb/s提高到0.00~8.49kb/s。
附图说明
图1为本发明方法的总体实现框图;
图2为低延时编码结构的示意图;
图3为Class C和Class D类型的每个序列中的第1帧的实际编码比特-图像复杂度的统计曲线图;
图4a为Class C类型的每个序列中的第10帧的实际编码比特、图像复杂度与量化步长的统计曲线图;
图4b为Class D类型的每个序列中的第10帧的实际编码比特、图像复杂度与量化步长的统计曲线图;
图5为PartyScene序列在编码后的峰值信噪比波动图;
图6为RaceHorsesC序列在编码后的峰值信噪比波动图;
图7a为PartyScene序列采用原始码率控制方法得到的重构图像;
图7b为PartyScene序列采用本发明方法得到的重构图像;
图7c为PartyScene序列采用原始码率控制方法得到的重构图像的局部区域;
图7d为PartyScene序列采用本发明方法得到的重构图像的局部区域;
图8a为RaceHorsesC序列采用原始码率控制方法得到的重构图像;
图8b为RaceHorsesC序列采用本发明方法得到的重构图像;
图8c为RaceHorsesC序列采用原始码率控制方法得到的重构图像的局部区域;
图8d为RaceHorsesC序列采用本发明方法得到的重构图像的局部区域;
图9a为BasketballDrill序列采用原始码率控制方法得到的重构图像;
图9b为BasketballDrill序列采用本发明方法得到的重构图像;
图9c为BasketballDrill序列采用原始码率控制方法得到的重构图像的局部区域;
图9d为BasketballDrill序列采用本发明方法得到的重构图像的局部区域。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种融合图像特征的码率控制方法,其总体实现框图如图1所示,其通过对图像组层、帧层、最大编码单元层这三个层次分别进行码率控制,在图像组层,根据图像的特征对图像组内图像的目标比特分配进行优化;在帧层,根据编码帧的类型选择不同的码率控制模型进行控制;在最大编码单元层,类似于帧层,同样根据最大编码单元所在的帧的帧类型选择不同的目标比特分配策略。
本发明的码率控制方法包括以下步骤:
①将YUV颜色空间且未经压缩的HEVC彩色视频序列分为N*个图像组,然后将HEVC彩色视频序列中当前待处理的第i个图像组定义为当前图像组;其中,N表示HEVC彩色视频序列的长度,即N表示HEVC彩色视频序列中包含的彩色图像的总帧数,N≥100,如取N=300,NGOP表示HEVC彩色视频序列中的图像组的长度,在本实施例中取NGOP=4,由于N不一定能被NGOP整除,而能不能被整除都不影响编码,因此当N不能被NGOP整除时,将剩余的彩色图像也作为一个图像组,这样能够保证编码的普适性,符号为向下取整符号,i的初始值为1,1≤i≤N*
在此,YUV颜色空间的HEVC彩色视频序列由三个颜色分量构成,Y为亮度分量,U和V分别表示第一色度分量和第二色度分量,用以描述色彩及饱和度。
②为了防止图像组的码率波动,利用一个缓冲窗将用户设定的目标比特数分配给当前图像组,将分配给当前图像组的目标比特数记为 其中,Rtar表示用户设定的目标比特数,HEVC彩色视频序列在编码时用户设定的目标比特数Rtar固定,f表示HEVC彩色视频序列的帧率,SW表示缓冲窗的大小,在本实施例中取SW=40,Nused表示HEVC彩色视频序列中已编码的彩色图像的总帧数,Rused表示HEVC彩色视频序列中已编码消耗的目标比特数。
在此,缓冲窗的作用主要是用来平滑比特输出;由于对于每个图像组,彩色视频序列中已编码的彩色图像的总帧数和已用的目标比特各不相同,因此分配给每个图像组的目标比特也不相同。
③将当前图像组中当前待处理的第j帧彩色图像定义为当前帧,其中,j的初始值为1,1≤j≤NGOP
④由于HEVC彩色视频序列中的I帧采用帧内编码,P帧和B帧采用帧间编码,两种编码方式存在较大差异,因此在帧层,本发明根据彩色图像的帧类型,对彩色图像采用不同的目标比特数分配方式。即:将当前图像组的目标比特数分配给当前帧,将分配给当前帧的目标比特数记为如果当前帧为I帧,则如果当前帧为P帧或B帧,则在帧层目标比特数分配时,其目标比特的分配参考其所在图像组的图像复杂度,即当前帧若在其所在的图像组中具有很高的图像复杂度,那么将图像组层的目标比特数多分配到当前帧,反之亦然,具体为: T f r a m e i , j = T G O P i - R u s e d , G O P &omega; f r a m e i , N o t S l i c e &times; &omega; f r a m e i , j &times; N G O P &times; C f r a m e i , j C f r a m e i ; 其中,αframe和βframe均为中的模型参数,在本实施例中取αframe=0.7199,取βframe=0.5456,表示当前帧的图像复杂度,bpp表示HEVC彩色视频序列中的每帧彩色图像中的每个像素点的目标比特数,W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高,Rused,GOP表示当前图像组中已编码消耗的目标比特数,表示当前图像组中的所有彩色图像的图像复杂度之和,表示当前图像组中未编码的所有彩色图像的权重之和,表示当前帧的权重。
由于在原始码率控制方法中使用的是分级的比特分配,如图2所示为低延时编码结构,在图2中,所有的帧一共分为三个不同的级别,帧f4n属于第一级,这一级的帧消耗最多的比特,帧f4n+1和f4n+3属于最后一级,这一级的帧消耗最少的比特,帧f4n+2属于中间级,这一级帧的比特消耗处于中间,因此在此,当前帧的权重的取值由bpp和当前帧在当前图像组中的位置来决定,以NGOP=4为例,如果当前帧为当前图像组中的第1帧,则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第2帧,则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第3帧,则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第4帧,则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取在当前图像组中的每帧彩色图像的权重已知的情况下,当前图像组中未编码的所有彩色图像的权重之和也是确定的。
在此,代表当前帧的亮度分量的梯度值,本发明利用当前帧的亮度分量的梯度值来反映当前帧的图像复杂度。在此具体实施例中,当前帧的图像复杂度的计算过程为: C f r a m e i , j = 1 W &times; H &Sigma; u = 0 W - 2 &Sigma; v = 0 H - 2 ( | I u , v - I u + 1 , v | + | I u , v - I u , v + 1 | ) , 其中,W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高,(u,v)表示HEVC彩色视频序列中的彩色图像中的像素点的坐标位置,在此取0≤u≤W-2,0≤v≤H-2,Iu,v表示当前帧中坐标位置为(u,v)的像素点的亮度分量值,Iu+1,v表示当前帧中坐标位置为(u+1,v)的像素点的亮度分量值,Iu,v+1表示当前帧中坐标位置为(u,v+1)的像素点的亮度分量值,符号“||”为取绝对值符号。
在此具体实施例中,步骤④中αframe和βframe的获取过程为:
④-1、采用全I帧编码模式选取四个不同的量化参数分别对HEVC通用测试条件下的class C及class D类型的每个序列中的每帧进行编码,得到每个序列在不同量化参数下的码率。
在此,class C类型的有BasketballDrill、BQMall、PartyScene和RaceHorsesC四个序列,class D类型的有BasketballPass、BQSquare、BlowingBubbles和RaceHorses四个序列,每个序列包含的编码帧数为300帧。
④-2、将每个序列在不同量化参数下的码率分别作为对应序列的目标码率;由于选取了四个不同的量化参数,因此每个序列对应有四个目标码率。
④-3、采用现有的R-λ模型,利用每个序列的四个目标码率分别对每个序列进行编码,得到每个序列在不同目标码率下的实际编码码率。
④-4、从每个序列在不同目标码率下的实际编码码率中,提取出每个序列中的第1帧在不同目标码率下的实际编码比特,将第g个序列中的第1帧在第h个目标码率下的实际编码比特记为IntraBitg,h,并令 ( IntraBit g , h = &alpha; f r a m e &times; ( C f r a m e g , 1 bpp &prime; ) &beta; f r a m e &times; Bit a v g 为R-C模型),其中,g和h的初始值均为1,1≤g≤8,1≤h≤4,表示第g个序列中的第1帧的图像复杂度,bpp'表示第g个序列中的每帧中的每个像素点的目标比特数,Rtar'表示针对第g个序列用户设定的目标比特数,f'表示第g个序列的帧率,W”和H”对应表示第g个序列中的每帧的宽和高,Bitavg表示第g个序列中的每帧均等分配的目标比特数, Bit a v g = R t a r &prime; f &prime; .
④-5、对所有序列中的第1帧在四个目标码率下的实际编码比特和所有序列中的第1帧的图像复杂度进行拟合,得到αframe和βframe。即根据获得所有序列中的第1帧在四个目标码率下的实际编码比特相对应的联立方程,解联立方程得到αframe和βframe。在本实施例中,选取的四个不同的量化参数分别为22、27、32、37时,得到的αframe和βframe的值对应为0.7199和0.5456。
图3给出了class C以及class D类型的每个序列中的第1帧的实际编码比特与图像复杂度的统计曲线图。图3中C/bpp为第1帧的图像复杂度与实际编码每个像素点的比特的商,IntraBit为第1帧的实际编码比特,Bitavg为第1帧均等分配的比特。图3中共有32个数据点,即8个序列,每个序列用4个目标码率分别进行编码得到每个序列第1帧的实际编码比特。对所有序列中的第1帧的图像复杂度与每个像素点的比特的商、所有序列中的第1帧的实际编码比特以及均等分配的比特进行拟合,拟合出的相关系数高达0.9948,相关系数取值范围是[0,1],相关系数越接近于1,说明回归曲线对观测值的拟合程度越好。
⑤将当前帧中当前待处理的第k个最大编码单元定义为当前最大编码单元;其中,k的初始值为1,符号为向上取整符号,W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高。
⑥将当前帧的目标比特数分配给当前最大编码单元,将分配给当前最大编码单元的目标比特数记为如果当前最大编码单元所在的彩色图像为I帧,则如果当前最大编码单元所在的彩色图像为P帧或B帧,则在最大编码单元层进行目标比特数分配时,若之前编码帧中无与当前编码帧属于同一级别的帧中处于同一位置的最大编码单元作为参考,那么参照最大编码单元自身的复杂度在整帧中的图像复杂度情况进行目标比特分配;若之前编码帧中有与当前编码帧属于同一级别帧中处于同一位置的最大编码单元可供其参考,那么将同一级别帧中处于同一位置的最大编码单元的编码残差图像的梯度值作为其复杂度进行目标比特分配,即根据当前最大编码单元有无参考最大编码单元分两种目标比特分配策略,具体为:第一种策略,若当前最大编码单元无同一级别帧中处于同一位置的最大编码单元作为参考,则参考其自身的图像复杂度进行目标比特分配,即或第二种策略,若当前最大编码单元有同一级别帧中处于同一位置的最大编码单元作为参考,则计算其参考的最大编码单元的残差梯度值,以此作为其复杂度,即其中,Rused,frame表示当前帧中已编码消耗的目标比特数,表示当前最大编码单元的复杂度,表示当前帧中未编码的所有最大编码单元的复杂度之和,表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元的残差梯度值,表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中从与当前最大编码单元相同坐标位置的最大编码单元开始至最后一个最大编码单元的残差梯度值之和,图2所示的HEVC编码结构采用的是帧之间分级的分配比特策略,图2中f4n+1、f4n+3、f4n+5与f4n+7属于同一级别,f4n+2和f4n+6属于同一级别,f4n、f4n+4和f4n+8属于同一级别,如果当前最大编码单元是f4n+2帧中的最大编码单元,由于无之前编码的属于同一级别帧中处于同一位置的最大编码单元进行参考,则参考其自身的图像复杂度;如果当前最大编码单元是f4n+7帧中的c1,则可参考f4n+5帧中的p1;如果当前帧是第1帧,第1帧为I帧,则采用I帧最大编码单元的分配策略。
在此具体实施例中,步骤⑥中当前最大编码单元的复杂度的计算过程为: C L C U i , j , k = 1 64 &times; 64 &Sigma; p = 0 62 &Sigma; q = 0 62 ( | U p , q - U p + 1 , q | + | U p , q - U p , q + 1 | ) , 其中,(p,q)表示HEVC彩色视频序列中的彩色图像中的最大编码单元中的像素点的坐标位置,在此取0≤p≤62,0≤q≤62,Up,q表示当前最大编码单元中坐标位置为(p,q)的像素点的亮度分量值,Up+1,q表示当前最大编码单元中坐标位置为(p+1,q)的像素点的亮度分量值,Up,q+1表示当前最大编码单元中坐标位置为(p,q+1)的像素点的亮度分量值,符号“||”为取绝对值符号。
在此具体实施例中,步骤⑥中HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元的残差梯度值的计算过程为: &mu; L C U i , j , k = 1 64 &times; 64 &Sigma; p = 0 62 &Sigma; q = 0 62 ( | S p , q - S p + 1 , q | + | S p , q - S p , q + 1 | ) , 其中,Sp,q表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p,q)的像素点的编码残差,Sp+1,q表示表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p+1,q)的像素点的编码残差,Sp,q+1表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p,q+1)的像素点的编码残差,编码残差的获取为现有技术,符号“||”为取绝对值符号。
⑦根据当前最大编码单元的目标比特数,计算当前最大编码单元的量化参数,记为QPi,j,k,如果当前最大编码单元所在的彩色图像为I帧,则先计算当前最大编码单元的量化步长,记为 然后计算当前最大编码单元的量化参数QPi,j,k再利用QPi,j,k对当前最大编码单元进行编码,同时在当前最大编码单元编码模式选择的率失真代价函数中,将当前最大编码单元的拉格朗日乘子修改为: &lambda; = e QP i , j , k - 13.7122 4.2005 ; 其中, bpp * = T L C U i , j , k 64 &times; 64 , α'和β'均为 bpp * C L C U i , j , k = &alpha; &times; ( Q s t e p i , j , k ) &beta; &prime; 中的模型参数,在本实施例中取α'=0.6564,取β'=-0.9385,λ表示当前最大编码单元的拉格朗日乘子。
如果当前最大编码单元所在的彩色图像为P帧或B帧,则令QPi,j,k=4.2005lnλ'+13.7122,其中, 和ρ均为中的模型参数,在本实施例中取取ρ=-1.367。
在此具体实施例中,步骤⑦中α'和β'的获取过程为:
⑦-1、采用多个不同的量化参数分别对HEVC通用测试条件下的class C及class D类型的每个序列中的每帧进行全I帧编码,得到每个序列中的每帧在不同量化参数下的实际编码比特;其中,量化参数的取值范围为22至40,且步长为3,即量化参数分别为22、25、28、31、34、37、40。
在此,class C类型的有BasketballDrill、BQMall、PartyScene和RaceHorsesC四个序列,class D类型的有BasketballPass、BQSquare、BlowingBubbles和RaceHorses四个序列,每个序列包含的编码帧数为300帧。
⑦-2、提取出每个序列中的第10帧在不同量化参数下的实际编码比特,然后计算每个序列中的第10帧中的每个像素点在不同量化参数下的实际编码比特,将第g个序列中的第10帧中的每个像素点在第k个量化参数下的实际编码比特记为bppg,k bpp g , k = R a c t u a l W &prime; &prime; &times; H &prime; &prime; = C f r a m e g , 10 &times; &alpha; &prime; &times; ( Q s t e p g , k ) &beta; &prime; (在此 bpp g , k = R a c t u a l W &prime; &prime; &times; H &prime; &prime; = C f r a m e g , 10 &times; &alpha; &prime; &times; ( Q s t e p g , k ) &beta; &prime; 为R-C-Q模型),其中,g和k的初始值均为1,1≤g≤8,1≤k≤7,Ractual表示第g个序列中的第10帧在不同量化参数下的实际编码比特,W”和H”对应表示第g个序列中的每帧的宽和高,表示第g个序列中的第10帧的图像复杂度,表示采用的第k个量化参数对应的量化步长,QPg,k表示采用的第k个量化参数。
⑦-3、对所有序列中的第10帧中的每个像素点在不同量化参数下的实际编码比特和所有序列中的第10帧的图像复杂度以及采用的所有量化参数各自对应的量化步长进行拟合,得到α'和β'。即根据获得所有序列中的第10帧中的每个像素点在7个不同量化参数下的实际编码比特相对应的联立方程,解联立方程得到α'和β'。在本实施例中,选取的七个不同的量化参数分别为22、25、28、31、34、37、40时,得到的α'和β'的值对应为0.6564和-0.9385。
图4a给出了Class C类型的每个序列中的第10帧的实际编码比特、图像复杂度与量化步长的统计曲线图,图4b给出了Class D类型的每个序列中的第10帧的实际编码比特、图像复杂度与量化步长的统计曲线图。图4a和图4b中bpp/C为第10帧图像实际编码每个像素点的比特与图像复杂度的商,Qstep为第10帧图像的编码量化步长。
⑧令k=k+1,然后将当前帧中下一个待处理的最大编码单元作为当前最大编码单元,再返回步骤⑥继续执行,直至当前帧中的所有最大编码单元编码完毕;其中,k=k+1中的“=”为赋值符号。
⑨令j=j+1,然后将当前图像组中下一帧待处理的彩色图像作为当前帧,再返回步骤④继续执行,直至当前图像组中的所有彩色图像的目标比特数分配完毕;其中,j=j+1中的“=”为赋值符号。
⑩令i=i+1,然后将HEVC彩色视频序列中下一个待处理的图像组作为当前图像组,再返回步骤②继续执行,直至HEVC彩色视频序列中的所有图像组的目标比特数分配完毕;其中,i=i+1中的“=”为赋值符号。
以下就利用本发明方法对HEVC通用测试条件下的Class A、Class B、Class C以及Class D类型的序列进行码率控制的性能进行比较。
将利用本发明方法进行码率控制的性能与利用原始码率控制方法进行码率控制的性能进行对比。原始码率控制方法是将JCTVC-K0103算法应用到HM11.0平台上,不做其他任何改进。目标码率的设定采用JCTVC-A204建议的码率,对本发明方法与原始码率控制方法进行实验比较,采用低延时编码配置,共编码300帧,实验结果如表1和表2所列,其中,码率控制精度即实际编码码率相对于目标码率的偏差,记为RE,RE=Ractual-Rtarget,Rtarget和Ractual对应表示目标码率和实际编码码率。
从表1中可以看出本发明方法在码率偏差方面相对原始码率控制方法有所改进,利用本发明方法的最大码率偏差为8.49kb/s,最小码率偏差为0.00kb/s;而利用原始码率控制方法的最大码率偏差为52.04kb/s,最小码率偏差为0.01kb/s。利用本发明方法的码率偏差之所以这么小,是因为在帧层引入了图像的图像复杂度,优化了帧层的目标比特分配,每个图像组内图像复杂度低的帧分配较少的目标比特,而图像复杂度高的帧分配较多的目标比特。从表2中可以看出本发明方法与原始码率控制方法相比PSNR以及PSNR标准差均有所改善,利用本发明方法的平均PSNR相对利用原始码率控制方法最大能增加0.67dB,最小增加0.04dB,虽然个别序列的PSNR相对原始码率控制方法有所降低,最大降低0.05dB,但PSNR标准差波动较小,并不影响主观效果。图5给出了PartyScene序列在编码后的峰值信噪比(PSNR)波动图,图6给出了RaceHorsesC序列在编码后的峰值信噪比(PSNR)波动图。由于本发明方法在比特分配时考虑了图像的特征,故峰值信噪比波动幅度更小,即质量更稳定。图7a给出了PartyScene序列采用原始码率控制方法得到的重构图像;图7b给出了PartyScene序列采用本发明方法得到的重构图像;图7c给出了PartyScene序列采用原始码率控制方法得到的重构图像的局部区域;图7d给出了PartyScene序列采用本发明方法得到的重构图像的局部区域。从图7a至图7d可以看出,采用原始码率控制方法得到的重构图像中人物失真非常明显,采用本发明方法得到的重构图像中人物的脸部、衣服以及手比采用原始码率控制方法得到的重构图像更加清晰,这是由于在比特分配的过程中考虑了编码块的复杂度,复杂度越大的区域分配了更多的比特。图8a给出了RaceHorsesC序列采用原始码率控制方法得到的重构图像;图8b给出了RaceHorsesC序列采用本发明方法得到的重构图像;图8c给出了RaceHorsesC序列采用原始码率控制方法得到的重构图像的局部区域;图8d给出了RaceHorsesC序列采用本发明方法得到的重构图像的局部区域。从图8a至图8d可以看出,采用原始码率控制方法得到的重构图像中马胸部的链子失真到完全看不到,骑师的脚尖有明显的锯齿状并且较模糊,旁边的小草地也很模糊,而采用本发明方法得到的重构图像中不管是马胸部的链子,骑师的脚尖还是旁边的小草地编码质量都要好于采用原始码率控制方法得到的重构图像。图9a给出了BasketballDrill序列采用原始码率控制方法得到的重构图像;图9b给出了BasketballDrill序列采用本发明方法得到的重构图像;图9c给出了BasketballDrill序列采用原始码率控制方法得到的重构图像的局部区域;图9d给出了BasketballDrill序列采用本发明方法得到的重构图像的局部区域。从图9a至图9d可以看出,采用本发明方法得到的重构图像好于采用原始码率控制方法得到的重构图像,人物的脸部以及手指相对采用原始码率控制方法得到的重构图像更加清晰可见。
表1 利用本发明方法与利用原始码率控制方法的码率控制精度比较
表2 利用本发明方法与利用原始码率控制方法的平均PSNR和PSNR标准差的比较

Claims (9)

1.一种融合图像特征的码率控制方法,其特征在于包括以下步骤:
①将YUV颜色空间且未经压缩的HEVC彩色视频序列分为N*个图像组,然后将HEVC彩色视频序列中当前待处理的第i个图像组定义为当前图像组;其中,N表示HEVC彩色视频序列的长度,NGOP表示HEVC彩色视频序列中的图像组的长度,符号为向下取整符号,i的初始值为1,1≤i≤N*
②利用一个缓冲窗将用户设定的目标比特数分配给当前图像组,将分配给当前图像组的目标比特数记为 T G O P i = R t a r f &times; ( N u s e d + S W ) - R u s e d S W &times; N G O P ; 其中,Rtar表示用户设定的目标比特数,f表示HEVC彩色视频序列的帧率,SW表示缓冲窗的大小,Nused表示HEVC彩色视频序列中已编码的彩色图像的总帧数,Rused表示HEVC彩色视频序列中已编码消耗的目标比特数;
③将当前图像组中当前待处理的第j帧彩色图像定义为当前帧,其中,j的初始值为1,1≤j≤NGOP
④将当前图像组的目标比特数分配给当前帧,将分配给当前帧的目标比特数记为如果当前帧为I帧,则 T f r a m e i , j = &alpha; f r a m e &times; ( C f r a m e i , j b p p ) &beta; fra m e &times; T G O P i ; 如果当前帧为P帧或B帧,则 T f r a m e i , j = T G O P i - R u s e d , G O P &omega; f r a m e i , N o t S l i c e &times; &omega; f r a m e i , j &times; N G O P &times; C f r a m e i , j C f r a m e i ; 其中,αframe和βframe均为中的模型参数,表示当前帧的图像复杂度,bpp表示HEVC彩色视频序列中的每帧彩色图像中的每个像素点的目标比特数,W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高,Rused,GOP表示当前图像组中已编码消耗的目标比特数,表示当前图像组中的所有彩色图像的图像复杂度之和,表示当前图像组中未编码的所有彩色图像的权重之和,表示当前帧的权重;
⑤将当前帧中当前待处理的第k个最大编码单元定义为当前最大编码单元;其中,k的初始值为1,符号为向上取整符号,W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高;
⑥将当前帧的目标比特数分配给当前最大编码单元,将分配给当前最大编码单元的目标比特数记为如果当前最大编码单元所在的彩色图像为I帧,则如果当前最大编码单元所在的彩色图像为P帧或B帧,则 T L C U i , j , k = T f r a m e i , j - R u s e d , f r a m e C L C U i , j , N o t S l i c e &times; C L C U i , j , k , T L C U i , j , k = T f r a m e i , j - R u s e d , f r a m e &mu; L C U i , j , N o t S l i c e &times; &mu; L C U i , j , k ; 其中,Rused,frame表示当前帧中已编码消耗的目标比特数,表示当前最大编码单元的复杂度,表示当前帧中未编码的所有最大编码单元的复杂度之和,表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元的残差梯度值,表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中从与当前最大编码单元相同坐标位置的最大编码单元开始至最后一个最大编码单元的残差梯度值之和;
⑦根据当前最大编码单元的目标比特数,计算当前最大编码单元的量化参数,记为QPi,j,k,如果当前最大编码单元所在的彩色图像为I帧,则先计算当前最大编码单元的量化步长,记为 然后计算当前最大编码单元的量化参数QPi,j,k再利用QPi,j,k对当前最大编码单元进行编码;其中, bpp * = T L C U i , j , k 64 &times; 64 , α'和β'均为 bpp * C L C U i , j , k = &alpha; &prime; &times; ( Q s t e p i , j , k ) &beta; &prime; 中的模型参数;
如果当前最大编码单元所在的彩色图像为P帧或B帧,则令QPi,j,k=4.2005lnλ'+13.7122,其中, 和ρ均为中的模型参数;
⑧令k=k+1,然后将当前帧中下一个待处理的最大编码单元作为当前最大编码单元,再返回步骤⑥继续执行,直至当前帧中的所有最大编码单元编码完毕;其中,k=k+1中的“=”为赋值符号;
⑨令j=j+1,然后将当前图像组中下一帧待处理的彩色图像作为当前帧,再返回步骤④继续执行,直至当前图像组中的所有彩色图像的目标比特数分配完毕;其中,j=j+1中的“=”为赋值符号;
⑩令i=i+1,然后将HEVC彩色视频序列中下一个待处理的图像组作为当前图像组,再返回步骤②继续执行,直至HEVC彩色视频序列中的所有图像组的目标比特数分配完毕;其中,i=i+1中的“=”为赋值符号。
2.根据权利要求1所述的一种融合图像特征的码率控制方法,其特征在于所述的步骤②中取SW=40。
3.根据权利要求1或2所述的一种融合图像特征的码率控制方法,其特征在于所述的步骤④中当前帧的图像复杂度的计算过程为: C f r a m e i , j = 1 W &times; H &Sigma; u = 0 W - 2 &Sigma; v = 0 H - 2 ( | I u , v - I u + 1 , v | + | I u , v - I u , v + 1 | ) , 其中,W和H对应表示HEVC彩色视频序列中的彩色图像的宽和高,(u,v)表示HEVC彩色视频序列中的彩色图像中的像素点的坐标位置,在此取0≤u≤W-2,0≤v≤H-2,Iu,v表示当前帧中坐标位置为(u,v)的像素点的亮度分量值,Iu+1,v表示当前帧中坐标位置为(u+1,v)的像素点的亮度分量值,Iu,v+1表示当前帧中坐标位置为(u,v+1)的像素点的亮度分量值,符号“||”为取绝对值符号。
4.根据权利要求3所述的一种融合图像特征的码率控制方法,其特征在于所述的步骤⑥中当前最大编码单元的复杂度的计算过程为: C L C U i , j , k = 1 64 &times; 64 &Sigma; p = 0 62 &Sigma; q = 0 62 ( | U p , q - U p + 1 , q | + | U p , q - U p , q + 1 | ) , 其中,(p,q)表示HEVC彩色视频序列中的彩色图像中的最大编码单元中的像素点的坐标位置,在此取0≤p≤62,0≤q≤62,Up,q表示当前最大编码单元中坐标位置为(p,q)的像素点的亮度分量值,Up+1,q表示当前最大编码单元中坐标位置为(p+1,q)的像素点的亮度分量值,Up,q+1表示当前最大编码单元中坐标位置为(p,q+1)的像素点的亮度分量值,符号“||”为取绝对值符号。
5.根据权利要求4所述的一种融合图像特征的码率控制方法,其特征在于所述的步骤⑥中HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元的残差梯度值的计算过程为: &mu; L C U i , j , k = 1 64 &times; 64 &Sigma; p = 0 62 &Sigma; q = 0 62 ( | S p , q - S p + 1 , q | + | S p , q - S p , q + 1 | ) , 其中,Sp,q表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p,q)的像素点的编码残差,Sp+1,q表示表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p+1,q)的像素点的编码残差,Sp,q+1表示HEVC彩色视频序列中时域上先于当前帧、与当前帧时域上最近、与当前帧属于同一级别的已编码的彩色图像中与当前最大编码单元相同坐标位置的最大编码单元得到最佳深度划分后坐标位置为(p,q+1)的像素点的编码残差,编码残差的获取为现有技术,符号“||”为取绝对值符号。
6.根据权利要求5所述的一种融合图像特征的码率控制方法,其特征在于所述的步骤④中αframe和βframe的获取过程为:
④-1、选取四个不同的量化参数分别对HEVC通用测试条件下的class C及class D类型的每个序列中的每帧进行编码,得到每个序列在不同量化参数下的码率;
④-2、将每个序列在不同量化参数下的码率分别作为对应序列的目标码率;
④-3、采用R-λ模型,利用每个序列的四个目标码率分别对每个序列进行编码,得到每个序列在不同目标码率下的实际编码码率;
④-4、从每个序列在不同目标码率下的实际编码码率中,提取出每个序列中的第1帧在不同目标码率下的实际编码比特,将第g个序列中的第1帧在第h个目标码率下的实际编码比特记为IntraBitg,h,并令其中,g和h的初始值均为1,1≤g≤8,1≤h≤4,表示第g个序列中的第1帧的图像复杂度,bpp'表示第g个序列中的每帧中的每个像素点的目标比特数,Rtar'表示针对第g个序列用户设定的目标比特数,f'表示第g个序列的帧率,W”和H”对应表示第g个序列中的每帧的宽和高,Bitavg表示第g个序列中的每帧均等分配的目标比特数, Bit a v g = R t a r &prime; f &prime; ;
④-5、对所有序列中的第1帧在四个目标码率下的实际编码比特和所有序列中的第1帧的图像复杂度进行拟合,得到αframe和βframe
7.根据权利要求6所述的一种融合图像特征的码率控制方法,其特征在于所述的步骤⑦中α'和β'的获取过程为:
⑦-1、采用多个不同的量化参数分别对HEVC通用测试条件下的class C及class D类型的每个序列中的每帧进行全I帧编码,得到每个序列中的每帧在不同量化参数下的实际编码比特;其中,量化参数的取值范围为22至40,且步长为3;
⑦-2、提取出每个序列中的第10帧在不同量化参数下的实际编码比特,然后计算每个序列中的第10帧中的每个像素点在不同量化参数下的实际编码比特,将第g个序列中的第10帧中的每个像素点在第k个量化参数下的实际编码比特记为bppg,k其中,g和k的初始值均为1,1≤g≤8,1≤k≤7,Ractual表示第g个序列中的第10帧在不同量化参数下的实际编码比特,W”和H”对应表示第g个序列中的每帧的宽和高,表示第g个序列中的第10帧的图像复杂度,表示采用的第k个量化参数对应的量化步长,QPg,k表示采用的第k个量化参数;
⑦-3、对所有序列中的第10帧中的每个像素点在不同量化参数下的实际编码比特和所有序列中的第10帧的图像复杂度以及采用的所有量化参数各自对应的量化步长进行拟合,得到α'和β'。
8.根据权利要求7所述的一种融合图像特征的码率控制方法,其特征在于所述的步骤⑦中取取ρ=-1.367。
9.根据权利要求8所述的一种融合图像特征的码率控制方法,其特征在于所述的步骤④中当前帧的权重的取值由bpp和当前帧在当前图像组中的位置来决定,当NGOP=4时,如果当前帧为当前图像组中的第1帧,则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第2帧,则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第3帧,则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取其余情况取如果当前帧为当前图像组中的第4帧,则当bpp>0.2时取当0.1<bpp≤0.2时取当0.05<bpp≤0.1时取 &omega; f r a m e i , j = 2 , 其余情况取 &omega; f r a m e i , j = 2.
CN201510358719.7A 2015-06-25 2015-06-25 一种融合图像特征的码率控制方法 Active CN104994387B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510358719.7A CN104994387B (zh) 2015-06-25 2015-06-25 一种融合图像特征的码率控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510358719.7A CN104994387B (zh) 2015-06-25 2015-06-25 一种融合图像特征的码率控制方法

Publications (2)

Publication Number Publication Date
CN104994387A true CN104994387A (zh) 2015-10-21
CN104994387B CN104994387B (zh) 2017-10-31

Family

ID=54306129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510358719.7A Active CN104994387B (zh) 2015-06-25 2015-06-25 一种融合图像特征的码率控制方法

Country Status (1)

Country Link
CN (1) CN104994387B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106961604A (zh) * 2017-03-07 2017-07-18 腾讯科技(深圳)有限公司 视频编码的码率分配、编码单元码率分配方法及装置
CN108012163A (zh) * 2017-12-19 2018-05-08 希诺麦田技术(深圳)有限公司 视频编码的码率控制方法及装置
WO2020042269A1 (zh) * 2018-08-31 2020-03-05 网宿科技股份有限公司 一种编码过程中的码率调整方法及装置
CN111247800A (zh) * 2019-01-25 2020-06-05 深圳市大疆创新科技有限公司 确定图像信息量的方法与装置
CN112492305A (zh) * 2020-11-18 2021-03-12 腾讯科技(深圳)有限公司 一种数据处理方法、装置及计算机可读存储介质
CN112752103A (zh) * 2019-10-31 2021-05-04 Oppo广东移动通信有限公司 码率控制的方法与装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870753A (zh) * 2005-05-27 2006-11-29 中国科学院自动化研究所 一种低复杂度的积分码率控制方法
CN101188755A (zh) * 2007-12-14 2008-05-28 宁波中科集成电路设计中心有限公司 一种对实时视频信号在avs编码过程中vbr码率控制的方法
WO2010005691A1 (en) * 2008-06-16 2010-01-14 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
CN103414889A (zh) * 2013-04-09 2013-11-27 宁波大学 一种基于双目恰可察觉失真的立体视频码率控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870753A (zh) * 2005-05-27 2006-11-29 中国科学院自动化研究所 一种低复杂度的积分码率控制方法
CN101188755A (zh) * 2007-12-14 2008-05-28 宁波中科集成电路设计中心有限公司 一种对实时视频信号在avs编码过程中vbr码率控制的方法
WO2010005691A1 (en) * 2008-06-16 2010-01-14 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
CN103414889A (zh) * 2013-04-09 2013-11-27 宁波大学 一种基于双目恰可察觉失真的立体视频码率控制方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106961604A (zh) * 2017-03-07 2017-07-18 腾讯科技(深圳)有限公司 视频编码的码率分配、编码单元码率分配方法及装置
CN106961604B (zh) * 2017-03-07 2018-06-15 腾讯科技(深圳)有限公司 视频编码的码率分配、编码单元码率分配方法及装置
CN108012163A (zh) * 2017-12-19 2018-05-08 希诺麦田技术(深圳)有限公司 视频编码的码率控制方法及装置
CN108012163B (zh) * 2017-12-19 2020-08-18 希诺麦田技术(深圳)有限公司 视频编码的码率控制方法及装置
WO2020042269A1 (zh) * 2018-08-31 2020-03-05 网宿科技股份有限公司 一种编码过程中的码率调整方法及装置
CN111247800A (zh) * 2019-01-25 2020-06-05 深圳市大疆创新科技有限公司 确定图像信息量的方法与装置
CN111247800B (zh) * 2019-01-25 2022-07-19 深圳市大疆创新科技有限公司 确定图像信息量的方法与装置
CN112752103A (zh) * 2019-10-31 2021-05-04 Oppo广东移动通信有限公司 码率控制的方法与装置
CN112752103B (zh) * 2019-10-31 2023-01-31 Oppo广东移动通信有限公司 码率控制的方法与装置
CN112492305A (zh) * 2020-11-18 2021-03-12 腾讯科技(深圳)有限公司 一种数据处理方法、装置及计算机可读存储介质
CN112492305B (zh) * 2020-11-18 2022-02-11 腾讯科技(深圳)有限公司 一种数据处理方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN104994387B (zh) 2017-10-31

Similar Documents

Publication Publication Date Title
CN104994387A (zh) 一种融合图像特征的码率控制方法
CN100425077C (zh) 采用帧目标比特数不平均分配的视频压缩码率控制方法
CN105049850A (zh) 基于感兴趣区域的hevc码率控制方法
CN103634601B (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
CN108200431B (zh) 一种视频编码码率控制帧层比特分配方法
CN104796705B (zh) 一种基于ssim的hevc视频编码率失真优化与码率控制算法
CN104185024B (zh) 一种基于总码率与信息熵模型的hevc量化参数优化方法
CN101534436A (zh) 一种视频图像宏块级自适应码率分配方法
CN103179405A (zh) 一种基于多级感兴趣区域的多视点视频编码方法
CN106231320B (zh) 一种支持多机并行编码的联合码率控制方法及系统
CN103281530A (zh) 基于率失真优化的hevc码率控制方法
CN107257464B (zh) 基于Sobel算子和线性回归的高清视频编码码率控制方法
CN103945222B (zh) 一种基于hevc视频编码标准的码率控制模型更新方法
CN112291564B (zh) 优化监控视频感知质量的hevc帧内码率控制方法
CN104754335B (zh) 一种视频编码码率控制方法
CN104333761B (zh) 一种hevc基本单元级码率分配方法
CN102137258A (zh) 一种立体视频码率控制方法
CN107707918A (zh) 基于hevc/h.265平均码率控制的优化算法
CN104767999A (zh) 一种基于失真测量的hevc码率控制模型参数更新算法
CN107197267A (zh) 高效视频编码标准量化参数的分配方法
CN101888561B (zh) 一种率失真优化动态调整的多视点视频传输差错控制方法
CN108989818A (zh) 一种图像编码参数调整方法及装置
CN104038769A (zh) 帧内编码的码率控制方法
CN106412611B (zh) 一种高效视频编码的复杂度控制方法
CN101151905B (zh) 用于局部调整量化阶的方法和对n个图像的序列进行编码的编码设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant