CN111447446B - 一种基于人眼视觉区域重要性分析的hevc码率控制方法 - Google Patents

一种基于人眼视觉区域重要性分析的hevc码率控制方法 Download PDF

Info

Publication number
CN111447446B
CN111447446B CN202010413446.2A CN202010413446A CN111447446B CN 111447446 B CN111447446 B CN 111447446B CN 202010413446 A CN202010413446 A CN 202010413446A CN 111447446 B CN111447446 B CN 111447446B
Authority
CN
China
Prior art keywords
importance
lcu
human eye
frame
hevc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010413446.2A
Other languages
English (en)
Other versions
CN111447446A (zh
Inventor
林宏伟
李向群
高明亮
邓克岩
王建华
吴韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest Minzu University
Original Assignee
Northwest Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest Minzu University filed Critical Northwest Minzu University
Priority to CN202010413446.2A priority Critical patent/CN111447446B/zh
Publication of CN111447446A publication Critical patent/CN111447446A/zh
Application granted granted Critical
Publication of CN111447446B publication Critical patent/CN111447446B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出一种基于人眼视觉区域重要性分析的HEVC码率控制方法,利用视频帧间亮度差值作为每一帧人眼视觉时域重要度的度量方式,再利用均方梯度一致性计算来度量对当前帧的人眼视觉的空域重要度,然后利用所提出的感知重要度模型,提出了一种新的区域级比特分配方法,以保持视频质量的平衡。然后设计了一种LCU级的比特分配方案来获得每个LCU的目标比特。为了获得更精确的比特率,使用了一种改进的R‑λ参数更新模型。本发明可使最终编码实际码率更加符合给定的目标码率,同时使实际比特趋于平稳,明显提升编码视频的人眼感知质量。

Description

一种基于人眼视觉区域重要性分析的HEVC码率控制方法
技术领域
本发明涉及图像通信领域中的视频编码技术问题,尤其是涉及一种基于人眼视觉区域重要性分析的HEVC码率控制方法。
背景技术
在实际的视频编码传输系统中,视频传输不仅受到编码数据量的限制,也受到视频传输带宽的限制。由于视频序列每帧复杂度不同,因此每帧经HEVC编码后所产生的数据量也不同,这就使得视频在实际编码时每一帧的编码码率大小有波动,当某一视频帧的编码码率超过带宽时就会产生视频卡顿的情况,若其编码码率过小又会造成带宽的浪费。为了让视频编码码率与传输信道的传输能力更佳地适配,从而充分利用带宽资源,码率控制技术应运而生。
目前学术界关于如何提升视频压缩标准中的码率控制性能已提出很多方法,且大多数取得了不错的成果。Zhongzhu Yang等人在H.264/AVC R-Q模型基础上进行改进,提出了一种利用缓冲区状态进行反馈调节的码率控制算法。Ling Tian等人提出一种新的目标比特与量化参数QP(Quantization parameters)之间的对应关系模型。针对HEVC标准,B Li等人提出一种基于R-λ模型的码率控制算法,大大提升了HEVC码率控制的效果。司俊俊等人提出的码率控制算法分析并建立了拉普拉斯分布参数、量化参数和拉格朗日乘数之间的关系。Tu Q等人提出一种新的帧复杂度衡量方法,利用这个方法来对HEVC帧层比特进行分配。
R-λ码率控制模型仍然存在不足,虽然HEVC码率控制有效果,能与带宽速率相适应,但是却存在视频观看者的观感体验不佳的问题,因此,人眼所能感知的视频质量仍有待提升。
发明内容
本发明的目的是提出了一种基于视觉重要性分析模型的HEVC码率控制方法,在保证充分利用传输带宽的前提下,尽可能提升人眼感知到的视频质量。
本发明的技术方案:一种基于人眼视觉区域重要性分析的HEVC码率控制方法,在以往的HEVC比特分配框架中加入了区域层比特分配;区域层比特分配含有人眼视觉时域重要度、人眼视觉空域重要度权值评定,利用空/时域结合的人眼复杂度度量方法对每个编码帧中的LCU进行目标比特分配;
(1)人眼视觉时域重要度的计算:使用视频帧间亮度差值来计算每一帧人眼视觉时域重要度;计算式如下:
Figure BDA0002494153650000021
其中,RMDm(X,Y)表示空域复杂度,Tm为阈值,MDn(X,Y)表示亮度差值;
(2)人眼视觉空域重要度的计算:均方梯度一致性计算来度量对当前帧的人眼视觉的空域重要度;计算式如下:
Figure BDA0002494153650000031
其中,G表示梯度;
(3)将视频帧中的每个编码LCU按空域重要度计算值进行重要性权值评定,并最终分为三个不同重要性权值的LCU等级;
(4)将时域重要度计算值与空域重要性权值进行结合,最终对视频帧内的每个LCU分配一个结合空/时域重要度的最终权重值;
W=Coh×RMDm(X,Y) (3)
(5)将每一帧分为不同空域重要度区域,并根据整帧目标比特数、当前每个LCU的空域重要度权值占当前帧中所有LCU空域重要度累加和的比例,来对每个区域进行目标比特分配;
(6)根据当前每个LCU的空/时域重要度权值占当前某区域中所有LCU空/时域重要度权值累加和的比例,来对每个LCU进行目标比特分配;
(7)使用Broyden Fletcher Goldfarb Shanno(BFGS)模型对R-λ码率控制模型进行参数更新;参数更新的计算方法为:
αnew=αoldamijo·dα·αold (4)
βnew=βoldarmijo·dβ (5)
其中,δamijo表示搜索步长,dα和dβ表示α和β的搜索方向向量,αnew和βnew为更新后的参数,αold和βold为更新前的参数。
本发明的有益效果:与标准的HEVC视频编码码率控制方法相比,本发明的方法在提升了编码后视频的主客观质量的基础上,降低了实际码率与目标码率之间的码率偏差。本发明的方法利用空/时域结合的人眼复杂度度量方法来对每个编码帧中的LCU进行目标比特分配,得到更加精确的LCU层目标比特。并在以往的HEVC比特分配框架中加入了区域层比特分配,以保持不同视觉重要度区域的质量平衡。在区域层比特分配的前提下,提出一种基于空/时域视觉重要度的LCU层比特分配方法,可以明显减少实际码率与目标码率之间的码率偏差。使用了一种改进的R-λ参数更新模型,获得更精确的比特率,使编码输出比特更加平稳,同时提升了视频的视觉质量。
附图说明
图1是传统HEVC中的码率控制方法的视觉质量展示图;
图2是本发明方法的视觉质量展示图。
具体实施方式
下面结合实施例对本发明作进一步的详细说明,有必要指出的是,以下的实施例只用于对本发明做进一步的说明,不能理解为对本发明保护范围的限制,所属领域技术熟悉人员根据上述发明内容,对本发明做出一些非本质的改进和调整进行具体实施,应仍属于本发明的保护范围。
本发明的基本思想是利用视频帧间亮度差值作为每一帧人眼视觉时域重要度的度量方式,再利用均方梯度一致性计算来度量对当前帧的人眼视觉的空域重要度,然后利用所提出的感知重要度模型,提出了一种新的区域级比特分配方法,以保持视频质量的平衡。然后设计了一种LCU级的比特分配方案来获得每个LCU的目标比特。为了获得更精确的比特率,使用了一种改进的R-λ参数更新模型。
本发明针对HEVC视频编码标准基于人眼视觉区域重要性分析的HEVC码率控制方法。主要包括利用人眼视觉感知重要度分析方案来精确提取视频内容的空/时感知重要度区域分布图,从而使更多的比特分配到感知重要度较高的区域。利用所提出的感知重要度模型,来对不同重要程度的区域进行比特分配,以平衡视频质量。针对每个LCU的目标比特,提出了一种新的LCU级比特分配方案,使得每个LCU所分配的比特数更符合人眼视觉特性。使用了一种改进的R-λ参数更新模型,这种模型可获得更精确的最终编码实际比特数。本发明可使最终编码实际码率更加符合给定的目标码率,同时使实际比特趋于平稳,并在此前提下,明显提升编码视频的人眼感知质量。具体主要包括以下过程步骤:
(1)使用视频帧间亮度差值来计算每一帧人眼视觉时域重要度;
(2)均方梯度一致性计算来度量对当前帧的人眼视觉的空域重要度;
(3)将视频帧中的每个编码LCU按空域重要度计算值进行重要性权值评定,并最终分为三个不同重要性权值的LCU等级;
(4)将时域重要度计算值与空域重要性权值进行结合,最终对视频帧内的每个LCU分配一个结合空/时域重要度的最终权重值;
(5)将每一帧分为不同空域重要度区域,并根据整帧目标比特数、当前每个LCU的空域重要度权值占当前帧中所有LCU空域重要度累加和的比例,来对每个区域进行目标比特分配;
(6)根据当前每个LCU的空/时域重要度权值占当前某区域中所有LCU空/时域重要度权值累加和的比例,来对每个LCU进行目标比特分配;
(7)使用Broyden Fletcher Goldfarb Shanno(BFGS)模型来对R-λ码率控制模型进行参数更新;
在本发明的上述技术方案中,所述帧层标准目标比特为配置文件设置的目标码率除以帧率得到的每帧目标比特。
在本发明的上述技术方案中,所述人眼视觉时域重要度的计算方法为:
Figure BDA0002494153650000061
其中,RMDm(X,Y)表示空域复杂度,Tm为阈值,MDn(X,Y)表示亮度差值。
在本发明的上述技术方案中,所述人眼视觉空域重要度的计算方法为:
Figure BDA0002494153650000062
其中,G表示梯度。
在本发明的上述技术方案中,每个编码LCU按空域重要度计算值进行重要性权值评定,3为最高重要性权值,1为最低重要性权值,2为中等重要性权值。
在本发明的上述技术方案中,空/时域重要度的最终权重值计算方法为:
W=Coh×RMDm(X,Y) (3)
在本发明的上述技术方案中,参数更新的计算方法为:
αnew=αoldamijo·dα·αold (4)
βnew=βoldarmijo·dβ (5)
其中,δamijo表示搜索步长,dα和dβ表示α和β的搜索方向向量,αnew和βnew为更新后的参数,αold和βold为更新前的参数。
根据本发明的上述方法可以编制执行上述基于人眼视觉区域重要性分析的HEVC码率控制方法的HEVC视频编码器。
本发明的方法,与HEVC标准测试模型HM16.19的标准码率控制法比较过程如下:
1、打开标准HM16.19测试模型,配置文件为lowdelay_P_main,在不采用码率控制方法的情况下得到量化参数分别为22、27、32、37时的输出码率,该码率即码率控制的目标码率。
2、本发明方法与HEVC视频编码标准的HM16.19的码率控制方法进行比较。设置好相同的配置文件,打开码率控制开关,量化参数分别取22、27、32、37。对四种视频编码性能:峰值信噪比(PSNR)、码率偏差(其中PSNR体现视频的客观质量,码率偏差体现码率控制的效果)进行比较分析,其中码率偏差的指标为:
Figure BDA0002494153650000081
其中,M表示的是本发明方法与HM16.19标准方法的实际码率与目标码率相比的码率偏差百分率。
3、输入2个相同的视频测试序列;
4、利用HM16.19标准方法对视频测试序列在HEVC方式下进行视频编码;
5、利用本发明方法对视频测试序列在HEVC方式下进行视频编码;
6、两个方法分别输出视频编码后的码率。统计结果如表1显示,本发明方法与HEVC中的标准码率控制法相比码率偏差均有降低。充分证明了本发明方法的普适性。
7、由图1、2可看出,本发明方法与HEVC中的标准码率控制法相比人眼视觉质量有了明显提升。
表1 本发明与HM11.0标准之间码率偏差的比较
Figure BDA0002494153650000082

Claims (3)

1.一种基于人眼视觉区域重要性分析的HEVC码率控制方法,其特征在于:包括区域层比特分配;区域层比特分配含有人眼视觉时域重要度、人眼视觉空域重要度权值评定,利用空/时域结合的人眼复杂度度量方法对每个编码帧中的LCU进行目标比特分配;
(1)人眼视觉时域重要度的计算:使用视频帧间亮度差值来计算每一帧人眼视觉时域重要度;计算式如下:
Figure FDA0003643018030000011
其中,RMDm(X,Y)表示空域复杂度,Tm为阈值,MDn(X,Y)表示亮度差值;
(2)人眼视觉空域重要度的计算:均方梯度一致性计算来度量对当前帧的人眼视觉的空域重要度;计算式如下:
Figure FDA0003643018030000012
其中,G表示梯度;Gii、Gjj、Gij表示当前图像ii、jj、ij位置处的梯度,
(3)将视频帧中的每个编码LCU按空域重要度计算值进行重要性权值评定,并最终分为三个不同重要性权值的LCU等级;
(4)将时域重要度计算值与空域重要性权值进行结合,最终对视频帧内的每个LCU分配一个结合空/时域重要度的最终权重值;
W=Coh×RMDm(X,Y) (3)
(5)将每一帧分为不同空域重要度区域,并根据整帧目标比特数、当前每个LCU的空域重要度权值占当前帧中所有LCU空域重要度累加和的比例,来对每个区域进行目标比特分配;
(6)根据当前每个LCU的空/时域重要度权值占当前某区域中所有LCU空/时域重要度权值累加和的比例,来对每个LCU进行目标比特分配;
(7)使用BroydenFletcherGoldfarbShanno模型对R-λ码率控制模型进行参数更新;参数更新的计算方法为:
αnew=αoldamijo·dα·αold (4)
βnew=βoldarmijo·dβ (5)
其中,δamijo表示搜索步长,dα和dβ表示α和β的搜索方向向量,αnew和βnew为更新后的参数,αold和βold为更新前的参数。
2.如权利要求1所述的一种基于人眼视觉区域重要性分析的HEVC码率控制方法,其特征在于:三个不同重要性权值的LCU等级为:1-最低重要性权值、2-中等重要性权值、3-最高重要性权值。
3.一种HEVC视频编码器,其特征在于:执行如权利要求1所述的基于人眼视觉区域重要性分析的HEVC码率控制方法。
CN202010413446.2A 2020-05-15 2020-05-15 一种基于人眼视觉区域重要性分析的hevc码率控制方法 Expired - Fee Related CN111447446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413446.2A CN111447446B (zh) 2020-05-15 2020-05-15 一种基于人眼视觉区域重要性分析的hevc码率控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413446.2A CN111447446B (zh) 2020-05-15 2020-05-15 一种基于人眼视觉区域重要性分析的hevc码率控制方法

Publications (2)

Publication Number Publication Date
CN111447446A CN111447446A (zh) 2020-07-24
CN111447446B true CN111447446B (zh) 2022-08-23

Family

ID=71652054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413446.2A Expired - Fee Related CN111447446B (zh) 2020-05-15 2020-05-15 一种基于人眼视觉区域重要性分析的hevc码率控制方法

Country Status (1)

Country Link
CN (1) CN111447446B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291564B (zh) * 2020-11-20 2021-09-14 西安邮电大学 优化监控视频感知质量的hevc帧内码率控制方法
CN113038129A (zh) * 2021-03-12 2021-06-25 上海视龙软件有限公司 一种用于机器学习的数据样本获取的方法及设备
CN114466189B (zh) * 2021-12-27 2024-05-28 浙江大华技术股份有限公司 码率控制方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015010319A1 (zh) * 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法
CN105392001A (zh) * 2015-11-16 2016-03-09 四川大学 基于梯度的自适应高性能视频编码码率控制方法
CN105959685A (zh) * 2016-05-31 2016-09-21 上海交通大学 一种基于视频内容及聚类分析的压缩码率预测方法
CN106937118A (zh) * 2017-03-13 2017-07-07 西安电子科技大学 一种基于主观感兴趣区域和时空域相结合的码率控制方法
CN109076212A (zh) * 2017-12-27 2018-12-21 深圳市大疆创新科技有限公司 码率控制的方法与编码装置
CN110324622A (zh) * 2018-03-28 2019-10-11 腾讯科技(深圳)有限公司 一种视频编码码率控制方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10469854B2 (en) * 2017-06-21 2019-11-05 Intel Corporation Content, psychovisual, region of interest, and persistence based adaptive quantization for video coding
TW201942870A (zh) * 2018-04-03 2019-11-01 香港商科科串流股份有限公司 位元率優化系統及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015010319A1 (zh) * 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法
CN105392001A (zh) * 2015-11-16 2016-03-09 四川大学 基于梯度的自适应高性能视频编码码率控制方法
CN105959685A (zh) * 2016-05-31 2016-09-21 上海交通大学 一种基于视频内容及聚类分析的压缩码率预测方法
CN106937118A (zh) * 2017-03-13 2017-07-07 西安电子科技大学 一种基于主观感兴趣区域和时空域相结合的码率控制方法
CN109076212A (zh) * 2017-12-27 2018-12-21 深圳市大疆创新科技有限公司 码率控制的方法与编码装置
CN110324622A (zh) * 2018-03-28 2019-10-11 腾讯科技(深圳)有限公司 一种视频编码码率控制方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
R-D spatio-temporal adaptive quantization based on temporal distortion backpropagation in HEVC;Michael Ropert;《2017 IEEE 19th International Workshop on Multimedia Signal Processing (MMSP)》;20171201;全文 *
基于空-时域视觉敏感度的码率分配算法;杨郑龙;《计算机应用与软件》;20190521;全文 *
高效率视频编码中基于R-λ模型的码率控制优化算法;李强;《光电子.激光》;20180630;全文 *

Also Published As

Publication number Publication date
CN111447446A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111447446B (zh) 一种基于人眼视觉区域重要性分析的hevc码率控制方法
CN108063944B (zh) 一种基于视觉显著性的感知码率控制方法
CN103179405B (zh) 一种基于多级感兴趣区域的多视点视频编码方法
CN106358040B (zh) 一种基于显著性的码率控制比特分配方法
CN101466035B (zh) 一种基于h.264的视频图像组比特分配方法
CN103634601B (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
CN105049850A (zh) 基于感兴趣区域的hevc码率控制方法
CN101572806B (zh) 一种基于h.264的i帧码率控制方法
CN107257464B (zh) 基于Sobel算子和线性回归的高清视频编码码率控制方法
US20200068200A1 (en) Methods and apparatuses for encoding and decoding video based on perceptual metric classification
CN104185024B (zh) 一种基于总码率与信息熵模型的hevc量化参数优化方法
CN107222748B (zh) 图像数据码率的处理方法和装置
CN104994387B (zh) 一种融合图像特征的码率控制方法
CN115022638B (zh) 一种面向全景视频编码的率失真优化方法
CN112291564B (zh) 优化监控视频感知质量的hevc帧内码率控制方法
CN102752591B (zh) 基于综合因子的h.264码率控制方法
CN115174898A (zh) 一种基于视觉感知的率失真优化方法
CN103414889B (zh) 一种基于双目恰可察觉失真的立体视频码率控制方法
KR100557618B1 (ko) 오브젝트 기반 비트율 제어방법 및 장치
CN103051897B (zh) 一种h264视频编码码率控制方法
CN107592535B (zh) H.265/hevc图像层码率控制方法
CN103237221A (zh) 一种基于结构相似性系数的h.264帧层码率控制方法
CN103067720B (zh) 一种基于h.264视频编码标准的宏块层码率控制方法
CN109618156A (zh) 一种视频编码码率调整方法
CN112351279B (zh) 面向hevc快速编码的自适应复杂度调整系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220823