CN103618906A - 一种基于主观视频质量的h.264码率控制方法 - Google Patents
一种基于主观视频质量的h.264码率控制方法 Download PDFInfo
- Publication number
- CN103618906A CN103618906A CN201310660447.7A CN201310660447A CN103618906A CN 103618906 A CN103618906 A CN 103618906A CN 201310660447 A CN201310660447 A CN 201310660447A CN 103618906 A CN103618906 A CN 103618906A
- Authority
- CN
- China
- Prior art keywords
- frame
- structural similarity
- rate control
- ssim
- control method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提出了一种基于主观视频质量的H.264码率控制方法,一种结构相似性预测模型,通过提出的线性预测模型预测得到当前帧的结构相似性,在此基础上定义了一个表征帧主观复杂度的结构相似性因子来分配当前帧的目标比特数。该方法在未增加计算复杂度和保证码率控制精度的基础上,提高了编码视频图像的结构相似性,更加符合人的主观感受,可用于实时编码环境。本发明的方法包括如下步骤:A.计算第i个GOP层未编码帧的剩余比特数;B.通过线性预测模型计算当前帧的结构相似性;C.计算当前帧的结构相似性因子FC;D.根据结构相似性因子分配当前帧的目标比特数;E.计算量化参数;F.率失真优化。
Description
技术领域:
本发明涉及视频编码技术领域,具体涉及一种基于主观视频质量的H.264帧层码率控制方法。
背景技术:
在过去十多年中,视频通信技术得到了飞速发展和广泛的应用,并制定了一系列视频编码标准。现有的国际视频编码标准主要包括国际标准化组织(ISO) 推出的MPEG-1,MPEG-2,MPEG-4( 参见文献:ISO/IEC 13818-2.Information technology-Generic coding of moving pictures and associated audio Part 2 :Video[S].1996 ;ISO/IEC14496-2.Information technology-Generic coding of audio-visual objects Part2 :Visual[S].1998.),以及国际电信联盟标准化部(ITU-T) 推出的H.26x 系列,如H.261( 参见文献:ITU-T. Draft ITU-T Recommendation H.261.Video codec for audio visual services,at px64kbps[S],1993.),H.263( 参见文献:ITU-T. Draft ITU-T RecommendationH.263.Video coding for low bit rate communication[S].1996.)等。2003 年,由ISO 与ITU-T 合作成立的联合视频工作组JVT 推出了最新的视频标准H.264( 参见文献:ISO/IEC11496-10.ITU-T Recommendation H.264 Advanced video coding[S].2002.)。H.264 吸收了以往各种编码标准方案的优点,在预测编码、变换量化和容错编码等方面进行了较大的改进。目前H.264 正逐渐取代原有视频压缩标准在各应用领域占据主导地位。
码率控制是H.264视频压缩编码过程中的关键环节,作用于整个视频编码过程,其有效性不仅影响码流的码率稳定,还将影响到整个视频序列的图象质量。码率控制的主要任务是采集缓冲区状态和图像活动性等信息,来给每幅图像分配一定的比特数,使得输出码率能控制在给定的标准上,并使图像失真最小。
在H.264的码率控制方法中,由于同时在码率控制和率失真优化环节使用了量化参数,导致了“蛋鸡悖论”[Ma S.W,Gao W and Lu Y.Rate control on JVT standard,Document JVT-D030[S].2002]。为了提高H.264码率控制的性能,很多学者做了大量的研究,文献[Shin I H, Lee Y L, Park H W. Rate control using linear rate-ρ model for H.264[J]. Signal Process Image Com- munication, 2004, 19:341-352.]在ρ域模型的基础上作了改进,应用在H.264的码率控制中,文献[Ma Siwei, Gao Wen, Lu Yan. Rate-distortion analysis for H.264/AVC video coding and its application to rate control[J]. IEEE Trans on Circuit Syst for Video Technol, 2005, 15(12):1533-1544.]提出了码率与量化步长与量化步长间的关系模型及相应的码率控制方法,文献[Ma S.W, Gao W, Wu F and Lu Y. Rate control for JVT video coding scheme with HRD considerations. Proceeding of IEEE International Conference on Image and Processing, 2003, vol.3, pp: 793-796.]将HRD一致性约束、平均绝对误差比综合考虑,提出了一种新的码率控制方法。Li Zhengguo提出的JVT-G012 方法利用线性MAD 模型来预测当前基本单元的MAD值,这一方法可以获得比较好的编码效果,引起了广泛的关注[Li Zhengguo, Gao Wen, Pan Feng, et al. Adaptive rate control for H.264[J]. Journal of Visual Communication and Image Representation, 2006, 17(2):376-406.]。JVT-G012方法虽然较好地解决了蛋鸡悖论问题, 然而仍然存在很多问题。比如方法中没有明确的讨论帧内的码率-量化(R-Q)模型,因此文献[X.Jing,L.P.Chau, and W.-C Siu, "Frame complexity-based rate-quantization model for H.264/AVC intraframe rate control,"IEEE Signal Processing Letters,vol.15,pp.373-376,2008.]提出了一种自适应的帧内R-Q模型,这种方法通过考虑基于灰度的帧复杂度,自适应的更新模型参数,来更精确地选择帧内编码帧的量化参数。又比如在基于传统变换的视频编码系统中彩色视频信号的率失真(R-D)参数分别为亮度和色度分量模型化,所以文献[Z.Z. Chen and K.N. Ngan,“Towards rate-distortion tradeoff in real-time color video coding”,IEEE Trans. Circuits Syst. Video Technol., 2007,vol.17,no.2,pp.158-167]提出为彩色视频编码建立独立的R-D模型。
基于帧复杂度的H.264码率控制方法(ZL201010235061.8)中公开了一种基于帧复杂度的H.264码率控制方法。该方法包括以下步骤:A、根据帧复杂度确定当前编码帧的目标比特数;B、计算量化参数并进行率失真优化;其中,帧复杂度是通过一个复杂度系数来衡量,该复杂度系数定义为图像灰度直方图的平均差值和图像亮度分量的平均绝对误差比率的加权之和,在该复杂度系数基础上,通过经验公式对现有的目标比特公式进行了修正。一种H.264码率控制方法(ZL201010239407.1) 提供一种结合图像复杂度并对量化参数进行调整的帧层码率控制方法,提高视频输出序列的平均峰值信噪比,并能够减小视频图像帧间质量波动,从而提高视频图像质量。
上述方法主要从自然图像内容的复杂性分配码率,存在着一些缺点:根据图像内容的客观特性分配码率,没有根据人眼的主观特性分配码率,得到的图像不一定符合人眼的主观特性。
Z. Wang, A. C. Bovik等人提出结构相似性(SSIM,Structural Similarity)作为一种衡量两幅图像相似度的指标。由于人类视觉很容易从图像中抽取出结构信息,因此计算两幅图像的SSIM就可以用来评价图像主观质量的好坏。考虑SSIM,许多学者提出了新的H.264编码方法。有人将SSIM用于H.264 视频编码的率失真优化(崔子冠,朱秀昌. 基于结构相似的H.264 主观率失真性能改进机制.电子与信息学报,2012,34(2):433-439)。一种基于H.264视频编码标准的宏块层码率控制方法(申请号201310044341.4)给出一种结合SSIM和MAD的宏块层码率控制,取得了一定的效果。一种基于结构相似性系数的H.264帧层码率控制方法(申请号201310164640.1) 给出一种用结构相似性系数进行帧层码率控制,结构相似性系数根据前两帧的SSIM计算得出,未考虑当前帧的SSIM。
发明内容:
本发明的目的在于克服现有技术的不足,提出了一种结构相似性预测模型,通过提出的线性预测模型预测得到当前帧的结构相似性,在此基础上定义了一个表征帧主观复杂度的结构相似性因子来分配当前帧的目标比特数。该方法在未增加计算复杂度和保证码率控制精度的基础上,提高了编码视频图像的结构相似性,更加符合人的主观感受,可用于实时编码环境。
本发明解决其技术问题所采用的技术方案是:
本发明的方法包括如下步骤:
A、计算第i个GOP层未编码帧的剩余比特数;
B、通过线性预测模型计算当前帧的结构相似性;
C、计算当前帧的结构相似性因子FC;
D、根据结构相似性因子分配当前帧的目标比特数;
E、计算量化参数;
F、率失真优化;
其特征在于,
步骤B中当前帧的结构相似性通过下式计算:
其中,SSIM j 表示预测得到的第j帧的结构相似性,SSIM j-1表示第j-1帧实际的结构相似性。a1和a2是一元线性回归系数,初始值设为1和0,并在编码完该帧后用一元线性回归的方法进行更新。
步骤C中,根据步骤B中求得的结构相似性计算当前帧的结构相似性因子FC,如下式:
其中,SSIMj表示预测得到的第j帧图像的结构相似性,SSIMj-1表示第j-1帧图像实际的结构相似性,SSIMj-2表示第j-2帧图像实际的结构相似性。
步骤D中,根据步骤C中求得的结构相似性因子分配当前帧的目标比特T r ,计算方法如下式:
本发明相比现有技术具有如下有益效果:
本发明结合结构相似性理论,提出了一种结构相似性预测模型,通过提出的线性预测模型预测得到当前帧的结构相似性,在此基础上定义了一个表征帧主观复杂度的结构相似性因子来分配当前帧的目标比特数。本方法在未增加计算复杂度和保证码率控制精度的基础上,有效的提高了视频序列图像的结构相似性,从而得到了更好的主观视频质量,更加符合人的主观感受,可用于实时编码环境。
附图说明
图1是本发明方法与JM10.1方法处理carphone序列的SSIM比较图。
图2是本发明方法与JM10.1方法处理highway序列的SSIM比较图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明:
实施例一:
本发明的H.264的帧层码率控制方法具体包括以下步骤:
A、按照下式计算第i个GOP层未编码帧的剩余比特数:
其中,表示第i个GOP层编码至第j帧时剩余的总比特数,表示编码第一帧前的可用信道带宽,为帧率,表示该GOP层中图像帧的个数,为缓冲区的大小,表示第个GOP层中最后一帧编码结束后缓冲区的实际占有率,是前一帧实际产生的比特数;
B、通过线性预测模型计算当前第j帧的结构相似性:
其中,SSIM j 表示预测得到的第j帧的结构相似性,SSIM j-1表示第j-1帧实际的结构相似性。a1和a2是一元线性回归系数,初始值设为1和0,并在编码完该帧后用一元线性回归的方法进行更新。
前一帧的SSIM求法如下式:
其中x ,y分别代表j-1帧和其对应的参考帧,,为x ,y各自的亮度均值,,,分别为x ,y的标准差与x ,y之间的协方差,c 1 ,c 2 是为了避免当分母接近零时测量值不稳定而定义的小常数(Z. Wang, A. C. Bovik, H. R. Sheikh, and E.P. Simoncelli. Image quality assessment: From error visibility to structural similarity. IEEE Transaction on Image processing. 2004,13(4):600-612)。
C、根据步骤B中求得的结构相似性计算当前帧的结构相似性因子FC:
其中,SSIM j 表示预测得到的第j帧图像的结构相似性,SSIM j-1表示第j-1帧图像实际的结构相似性,SSIM j-2表示第j-2帧图像实际的结构相似性。
D、根据步骤C中求得的结构相似性因子分配当前帧的目标比特T r ,计算方法如下式:
E、由步骤D中的T r 根据下式计算当前帧的量化参数QP:
其中, a、b为模型参数,通过线性回归统计计算得到;QP为第j帧的量化参数,MAD(j)和MAD(j-1)分别是第j帧和j-1帧的平均绝对差。
F、利用从步骤D得出的量化参数,实现当前帧的率失真率优化。
本实施方式中:量化参数计算及率失真优化都为现有技术,详细内容可参考文献(Li Zheng-guo,Pan Feng,Lim Keng-pang,et al. Adaptive base unit layer rate control for JVT,JVT-G012.Proceedings of 7th Meeting,Pattay II,Thailand,2003.)
测定实例一:
为了验证本发明方法的效果,在JVT 的校验模型JM10.1 上实现了本发明的码率控制方法,并和JM10.1进行了对比。
实验使用的测试序列是QCIF4:2:0 格式:carphone,foreman,crew,salesman,coastguard,帧率为30 帧/s,目标码率为64kb/s和128kb/s,共编码100 帧(Frm),GOP 长度为20,搜索范围16,ME精度1/4,参考帧设为5,实验结果如下表1 所示:
序列 | 目标码率(kbps) | JM10.1 | 本发明方法 |
carphone_qcif | 64 | 65.37 | 65.36 |
carphone_qcif | 128 | 128.55 | 128.07 |
foreman_qcif | 64 | 65.48 | 65.44 |
foreman_qcif | 128 | 128.17 | 128.03 |
crew_qcif | 64 | 64.45 | 64.35 |
crew_qcif | 128 | 128.32 | 128.08 |
salesman_qcif | 64 | 64.99 | 64.49 |
salesman_qcif | 128 | 128.46 | 127.98 |
coastguard_qcif | 64 | 64.98 | 64.93 |
coastguard_qcif | 128 | 128.41 | 127.94 |
从表1中可以看出, 本发明的码率控制精度好于JM10.1的码率控制精度。
图1和图2给出了两种方法计算所得视频序列的SSIM值比较,两图数据分别取自carphone序列和highway序列的第一帧到第一百帧,由图可见本方法所得视频序列的SSIM要高于JM10.1,所以本发明方法得到主观图像效果明显好于JM10.1,有效的抑制了主观图像质量的下降。(图1、图2中虚线为本方法,实线为JM10.1)。
相比现有技术,本发明方法在提高码率控制精度的同时,提高了视频序列图像的SSIM,从而提高视频图像结构的连续性和稳定性。该方法在未增加计算复杂度和保证码率控制精度的基础上,提高了编码视频图像的结构相似性,易于硬件实现,更加符合人的主观感受,可用于实时编码环境。
Claims (1)
1.一种基于主观视频质量的H.264帧层码率控制方法,该方法包括如下步骤:
A、计算第i个GOP层未编码帧的剩余比特数;
B、通过线性预测模型计算当前帧的结构相似性;
C、计算当前帧的结构相似性因子FC;
D、根据结构相似性因子分配当前帧的目标比特数;
E、计算量化参数;
F、率失真优化;
其特征在于,
步骤B中当前帧的结构相似性通过下式的线性预测模型计算:
其中,SSIM j 表示预测得到的第j帧的结构相似性,SSIM j-1表示第j-1帧实际的结构相似性;a1和a2是一元线性回归系数,初始值设为1和0,并在编码完该帧后用一元线性回归的方法进行更新;
步骤C中,根据步骤B中,计算当前帧的结构相似性因子FC,如下式:
其中,SSIMj表示预测得到的第j帧图像的结构相似性,SSIMj-1表示第j-1帧图像实际的结构相似性,SSIMj-2表示第j-2帧图像实际的结构相似性;
步骤D中,根据步骤C中,分配当前帧的目标比特T r ,计算方法如下式:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310660447.7A CN103618906B (zh) | 2013-12-09 | 2013-12-09 | 一种基于主观视频质量的h.264码率控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310660447.7A CN103618906B (zh) | 2013-12-09 | 2013-12-09 | 一种基于主观视频质量的h.264码率控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103618906A true CN103618906A (zh) | 2014-03-05 |
CN103618906B CN103618906B (zh) | 2016-06-29 |
Family
ID=50169610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310660447.7A Active CN103618906B (zh) | 2013-12-09 | 2013-12-09 | 一种基于主观视频质量的h.264码率控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103618906B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104954792A (zh) * | 2014-03-24 | 2015-09-30 | 兴唐通信科技有限公司 | 一种对p帧序列进行主观视频质量优化编码的方法及装置 |
WO2016004721A1 (zh) * | 2014-07-11 | 2016-01-14 | 中兴通讯股份有限公司 | 一种码率控制方法、装置及计算机存储介质 |
CN106937115A (zh) * | 2017-03-02 | 2017-07-07 | 杭州当虹科技有限公司 | 在视频编码中对比特数预测器进行比特数训练的方法 |
CN110139102A (zh) * | 2019-05-23 | 2019-08-16 | 北京百度网讯科技有限公司 | 视频编码复杂度的预测方法、装置、设备和存储介质 |
CN112954348A (zh) * | 2021-02-20 | 2021-06-11 | 浙江商汤科技开发有限公司 | 视频编码方法及装置、电子设备和存储介质 |
CN113473125A (zh) * | 2021-06-25 | 2021-10-01 | 咪咕互动娱乐有限公司 | 码率控制方法、设备、存储介质及产品 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685547B (zh) * | 2012-04-26 | 2014-02-05 | 华北电力大学 | 一种基于块效应和噪声的低码率视频质量检测方法 |
CN103079063B (zh) * | 2012-12-19 | 2015-08-26 | 华南理工大学 | 一种低码率下视觉关注区域的视频编码方法 |
-
2013
- 2013-12-09 CN CN201310660447.7A patent/CN103618906B/zh active Active
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104954792A (zh) * | 2014-03-24 | 2015-09-30 | 兴唐通信科技有限公司 | 一种对p帧序列进行主观视频质量优化编码的方法及装置 |
CN104954792B (zh) * | 2014-03-24 | 2018-02-27 | 兴唐通信科技有限公司 | 一种对p帧序列进行主观视频质量优化编码的方法及装置 |
WO2016004721A1 (zh) * | 2014-07-11 | 2016-01-14 | 中兴通讯股份有限公司 | 一种码率控制方法、装置及计算机存储介质 |
CN105323592A (zh) * | 2014-07-11 | 2016-02-10 | 中兴通讯股份有限公司 | 一种码率控制方法及装置 |
CN106937115A (zh) * | 2017-03-02 | 2017-07-07 | 杭州当虹科技有限公司 | 在视频编码中对比特数预测器进行比特数训练的方法 |
CN110139102A (zh) * | 2019-05-23 | 2019-08-16 | 北京百度网讯科技有限公司 | 视频编码复杂度的预测方法、装置、设备和存储介质 |
CN110139102B (zh) * | 2019-05-23 | 2021-09-21 | 北京百度网讯科技有限公司 | 视频编码复杂度的预测方法、装置、设备和存储介质 |
US11259029B2 (en) | 2019-05-23 | 2022-02-22 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, device, apparatus for predicting video coding complexity and storage medium |
CN112954348A (zh) * | 2021-02-20 | 2021-06-11 | 浙江商汤科技开发有限公司 | 视频编码方法及装置、电子设备和存储介质 |
CN112954348B (zh) * | 2021-02-20 | 2024-04-02 | 浙江商汤科技开发有限公司 | 视频编码方法及装置、电子设备和存储介质 |
CN113473125A (zh) * | 2021-06-25 | 2021-10-01 | 咪咕互动娱乐有限公司 | 码率控制方法、设备、存储介质及产品 |
CN113473125B (zh) * | 2021-06-25 | 2023-08-15 | 咪咕互动娱乐有限公司 | 码率控制方法、设备、存储介质及产品 |
Also Published As
Publication number | Publication date |
---|---|
CN103618906B (zh) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103618906A (zh) | 一种基于主观视频质量的h.264码率控制方法 | |
US9635387B2 (en) | Controlling a video content system | |
CN100562118C (zh) | 一种视频编码的码率控制方法 | |
CN101466035B (zh) | 一种基于h.264的视频图像组比特分配方法 | |
CN104796694B (zh) | 基于视频纹理信息的优化帧内视频编码方法 | |
Zhou et al. | Just noticeable distortion-based perceptual rate control in HEVC | |
CN101895759B (zh) | 一种h.264码率控制方法 | |
CN101895758B (zh) | 基于帧复杂度的h.264码率控制方法 | |
CN101572806B (zh) | 一种基于h.264的i帧码率控制方法 | |
CN105120282B (zh) | 一种时域依赖的码率控制比特分配方法 | |
CN101945275A (zh) | 一种基于感兴趣区域的视频编码方法 | |
CN101534436A (zh) | 一种视频图像宏块级自适应码率分配方法 | |
CN103179405A (zh) | 一种基于多级感兴趣区域的多视点视频编码方法 | |
CN106060539B (zh) | 一种低传输带宽的视频编码方法 | |
CN103634601B (zh) | 基于结构相似度的高效视频编码感知码率控制优化方法 | |
CN101056408B (zh) | 用于确定视频编码中跳跃模式的阈值的方法和装置 | |
CN102137258A (zh) | 一种立体视频码率控制方法 | |
CN104754335B (zh) | 一种视频编码码率控制方法 | |
KR20090087471A (ko) | 이미지를 인코딩하는 방법 및 그 방법을 구현하는 장치 | |
CN103237221B (zh) | 一种基于结构相似性系数的h.264帧层码率控制方法 | |
Lei et al. | Region adaptive R-$\lambda $ model-based rate control for depth maps coding | |
Yang et al. | A content-based rate control algorithm for screen content video coding | |
CN111447446A (zh) | 一种基于人眼视觉区域重要性分析的hevc码率控制方法 | |
CN102752591A (zh) | 基于综合因子的h.264码率控制方法 | |
He et al. | Efficient rate control in versatile video coding with adaptive spatial-temporal bit allocation and parameter updating |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |