CN106303521A - 一种基于感知敏感度的hevc率失真优化方法 - Google Patents

一种基于感知敏感度的hevc率失真优化方法 Download PDF

Info

Publication number
CN106303521A
CN106303521A CN201610668684.1A CN201610668684A CN106303521A CN 106303521 A CN106303521 A CN 106303521A CN 201610668684 A CN201610668684 A CN 201610668684A CN 106303521 A CN106303521 A CN 106303521A
Authority
CN
China
Prior art keywords
awareness
sensitivity
code tree
gradient magnitude
tree unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610668684.1A
Other languages
English (en)
Other versions
CN106303521B (zh
Inventor
曾焕强
杨爱胜
陈婧
朱建清
蔡灿辉
马凯光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201610668684.1A priority Critical patent/CN106303521B/zh
Publication of CN106303521A publication Critical patent/CN106303521A/zh
Application granted granted Critical
Publication of CN106303521B publication Critical patent/CN106303521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

本发明公开了一种基于感知敏感度的HEVC率失真优化方法,属于视频编码领域,方法包括:获取输入视频各编码块的梯度幅值方差,根据各编码块的梯度幅值方差计算当前帧的梯度幅值方差;有效利用各编码块和当前帧的梯度幅值方差关系计算各编码块的感知敏感度;并根据各编码块感知敏感度获取感知自适应的拉格朗日乘子;由所述拉格朗日乘子计算视频编码中的各编码块的率失真代价,从而确定其最佳编码模式。本发明能够提升编码器整体感知性能,在消耗相同码率的情况下,获得更高感知质量的编码视频。

Description

一种基于感知敏感度的HEVC率失真优化方法
技术领域
本项发明属于视频编码领域,涉及一种基于感知敏感度的HEVC率失真优化方法。
背景技术
随着高清和超高清视频的流行,视频数据量变得越来越大,这给视频传输和存储带来了巨大挑战。为了解决这一问题,ISO-IEC/MPEG和ITU-T/VCEG两大国际标准化组织成立了视频编码联合开发小组(JCT-VC),提出了新一代高效视频编码标准HEVC(HighEfficiency Video Coding)。
新一代高效视频编码标准HEVC的压缩效率比上一代国际视频编码标准H.264提高了一倍。然而HEVC中采用的依然是传统的率失真优化策略,其中拉格朗日乘子由量化参数QP决定,忽略了不同输入视频的感知特征。在相同的量化参数QP下,各编码树单元采用的都是相同的拉格朗日乘子,但是人眼对纹理复杂、纹理平滑,纹理方向同向性强、纹理方向同相性弱的区域的感知敏感度都不一样。因此,HEVC传统率失真优化策略的编码感知性还有很大提升空间。
发明内容
本发明的目的在于克服现有技术的不足,提出一种基于感知敏感度的HEVC率失真优化方法,本发明方法充分考虑输入视频各编码树单元的感知特性,提高HEVC编码器率失真优化感知性能,提升编码器整体感知性能,获得高感知质量的编码视频。
本发明解决其技术问题所采用的技术方案是:
一种基于感知敏感度的HEVC率失真优化方法,包括:
提取输入视频;
获取输入视频各编码树单元的梯度幅值方差;
基于输入视频的各编码树单元梯度幅值方差,获得当前帧的梯度幅值方差;
基于编码树单元和当前帧的梯度幅值方差关系,获得编码树单元的感知敏感度;
由所述感知敏感度计算得到基于感知敏感度的自适应拉格朗日乘子;并获得基于感知的率失真代价函数。
优选的,所述编码树单元的梯度幅值方差通过如下公式获取:
GMV C T U = 1 N Σ i = 1 N ( GM i - 1 N Σ i = 1 N GM i ) 2
其中,GMi表示编码树单元各像素点梯度幅值,N为编码树单元像素点的数目。
优选的,所述编码树单元各像素点梯度幅值通过如下公式获取:
GM i = GM x 2 + GM y 2
其中,GMx表示编码树单元各像素点水平方向梯度幅值,GMy表示编码树单元各像素点垂直方向梯度幅值,I表示输入视频帧,表示卷积运算,hx表示梯度算子在水平方向上的卷积核,hy表示梯度算子在垂直方向上的卷积核。
优选的,所述当前帧的梯度幅值方差通过如下公式获取:
GMV F r a = 1 M Σ j = 1 M GMV C T U ( j )
其中,GMVCTU表示当前帧的编码树单元的梯度幅值方差,M表示当前帧的编码树单元的个数。
优选的,所述编码树单元的感知敏感度通过如下公式获取:
P S = 1.59 × GMV C T U + C 1 GMV F r a + C 2 + 0.01
其中,C1=0.001、C2=0.002为稳定系数。
优选的,所述基于感知敏感度的自适应拉格朗日乘子通过如下公式获取:
λps=PS×λHEVC
其中,λHEVC表示HEVC编码器中的拉格朗日乘数,α为常数,QP为量化参数。
优选的,所述基于感知的率失真代价函数通过如下公式获取:
J=D+R×λps
其中,D为失真度量,R为消耗的码率。
本发明具有如下有益效果:
1、本发明方法只需要在每帧编码之前求取各编码树单元梯度幅值方差和当前帧的梯度幅值方差,整个编码框架不需要做任何改变;
2、本发明方法用到的编码树单元的感知敏感度能很好的反映出该区域的纹理复杂度和纹理方向同向性的强弱,准确预测出该区域的感知敏感度大小。
以下结合附图及实施例对本发明作进一步详细说明,但本发明的一种基于感知敏感度的HEVC率失真优化方法不局限于实施例。
附图说明
图1为本发明方法的主流程图。
具体实施方式
参见图1,一种基于感知敏感度的HEVC率失真优化方法,对输入视频编码树单元进行感知敏感度预测,获取感知敏感度自适应的拉格朗日乘数,具体实施步骤如下:
步骤101,提取输入视频帧图像。
具体的,所述输入视频帧用I表示。
步骤102,计算当前帧各编码树单元的梯度幅值方差。
具体的,计算编码树单元的梯度幅值GMCTU和梯度幅值方差GMVCTU,具体如下:
通过获取编码树单元各像素点水平方向梯度幅值GMx
通过获取编码树单元各像素点垂直方向梯度幅值GMy
通过获取编码树单元各像素点梯度幅值GMi
通过如下公式获取编码树单元梯度幅值方差GMVCTU
GMV C T U = 1 N Σ i = 1 N ( GM i - 1 N Σ i = 1 N GM i ) 2
其中,表示卷积运算,梯度算子在水平和垂直方向上的卷积核定义如下:
h x = 1 3 × 1 0 - 1 1 0 - 1 1 0 - 1 , h y = 1 3 × 1 1 1 0 0 0 - 1 - 1 - 1 ;
N为编码树单元像素点的数目。
步骤103,计算当前帧的梯度幅值方差。
具体的,基于各编码树单元梯度幅值方差GMVCTU,计算得到当前帧的梯度幅值方差GMVFra,具体如下:
GMV F r a = 1 M Σ j = 1 M GMV C T U ( j )
其中M为当前帧编码树单元的个数。
步骤104,根据编码树单元梯度幅值方差和当前帧的梯度幅值方差计算各编码树单元的感知敏感度PS。具体如下:
P S = 1.59 × GMV C T U + C 1 GMV F r a + C 2 + 0.01
其中,C1=0.001、C2=0.002为稳定系数。
步骤105,由感知敏感度PS计算得到基于感知敏感度的自适应拉格朗日乘子λps;并获得基于感知的率失真代价函数。具体如下:
自适应拉格朗日乘子λps用下式表示:
λps=PS×λHEVC
其中,λHEVC为HEVC编码器中的拉格朗日乘数α为常数,QP为量化参数。
基于感知的率失真代价函数J用下式表示:
J=D+R×λps
其中,D为失真度量,R为消耗的码率。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于感知敏感度的HEVC率失真优化方法,其特点在于,包括:
提取输入视频;
获取输入视频各编码树单元的梯度幅值方差;
基于输入视频的各编码树单元梯度幅值方差,获得当前帧的梯度幅值方差;
基于编码树单元和当前帧的梯度幅值方差关系,获得编码树单元的感知敏感度;
由所述感知敏感度计算得到基于感知敏感度的自适应拉格朗日乘子;并获得基于感知的率失真代价函数。
2.根据权利要求1所述的基于感知敏感度的HEVC率失真优化方法,其特征在于,所述编码树单元的梯度幅值方差通过如下公式获取:
GMV C T U = 1 N Σ i = 1 N ( GM i - 1 N Σ i = 1 N GM i ) 2
其中,GMi表示编码树单元各像素点梯度幅值,N为编码树单元像素点的数目。
3.根据权利要求2所述的基于感知敏感度的HEVC率失真优化方法,其特征在于,所述编码树单元各像素点梯度幅值通过如下公式获取:
GM i = GM x 2 + GM y 2
其中,GMx表示编码树单元各像素点水平方向梯度幅值,GMy表示编码树单元各像素点垂直方向梯度幅值,I表示输入视频帧,表示卷积运算,hx表示梯度算子在水平方向上的卷积核,hy表示梯度算子在垂直方向上的卷积核。
4.根据权利要求1所述的基于感知敏感度的HEVC率失真优化方法,其特征在于,所述当前帧的梯度幅值方差通过如下公式获取:
GMV F r a = 1 M Σ j = 1 M GMV C T U ( j )
其中,GMVCTU表示当前帧中编码树单元的梯度幅值方差,M表示当前帧中编码树单元的个数。
5.根据权利要求4所述的基于感知敏感度的HEVC率失真优化方法,其特征在于,所述编码树单元的感知敏感度通过如下公式获取:
P S = 1.59 × GMV C T U + C 1 GMV F r a + C 2 + 0.01
其中,C1=0.001、C2=0.002为稳定系数。
6.根据权利要求5所述的基于感知敏感度的HEVC率失真优化方法,其特征在于,所述基于感知敏感度的自适应拉格朗日乘子通过如下公式获取:
λps=PS×λHEVC
其中,λHEVC表示HEVC编码器中的拉格朗日乘数,α为常数,QP为量化参数。
7.根据权利要求6所述的基于感知敏感度的HEVC率失真优化方法,其特征在于,所述基于感知的率失真代价函数通过如下公式获取:
J=D+R×λps
其中,D表示失真度量,R表示消耗的码率。
CN201610668684.1A 2016-08-15 2016-08-15 一种基于感知敏感度的hevc率失真优化方法 Active CN106303521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610668684.1A CN106303521B (zh) 2016-08-15 2016-08-15 一种基于感知敏感度的hevc率失真优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610668684.1A CN106303521B (zh) 2016-08-15 2016-08-15 一种基于感知敏感度的hevc率失真优化方法

Publications (2)

Publication Number Publication Date
CN106303521A true CN106303521A (zh) 2017-01-04
CN106303521B CN106303521B (zh) 2019-01-01

Family

ID=57671001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610668684.1A Active CN106303521B (zh) 2016-08-15 2016-08-15 一种基于感知敏感度的hevc率失真优化方法

Country Status (1)

Country Link
CN (1) CN106303521B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106954077A (zh) * 2017-03-31 2017-07-14 华侨大学 一种基于结构特征的hevc码率控制方法
CN108900838A (zh) * 2018-06-08 2018-11-27 宁波大学 一种基于hdr-vdp-2失真准则的率失真优化方法
CN108989804A (zh) * 2018-08-23 2018-12-11 杭州雄迈集成电路技术有限公司 图像的编码方法及装置
CN112153415A (zh) * 2020-09-23 2020-12-29 北京字节跳动网络技术有限公司 一种视频转码方法、装置、设备及存储介质
CN112291564A (zh) * 2020-11-20 2021-01-29 西安邮电大学 优化监控视频感知质量的hevc帧内码率控制方法
CN117714697A (zh) * 2024-02-05 2024-03-15 卓世未来(成都)科技有限公司 数字人视频显示方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012171113A1 (en) * 2011-06-14 2012-12-20 Zhou Wang Method and system for structural similarity based rate-distortion optimization for perceptual video coding
CN103096076A (zh) * 2012-11-29 2013-05-08 中国科学院研究生院 视频编码方法
CN103873861A (zh) * 2014-02-24 2014-06-18 西南交通大学 一种用于hevc的编码模式选择方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012171113A1 (en) * 2011-06-14 2012-12-20 Zhou Wang Method and system for structural similarity based rate-distortion optimization for perceptual video coding
CN103096076A (zh) * 2012-11-29 2013-05-08 中国科学院研究生院 视频编码方法
CN103873861A (zh) * 2014-02-24 2014-06-18 西南交通大学 一种用于hevc的编码模式选择方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHANSHE WANG等: "A fast intra optimization algorithm for HEVC", 《2014 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING CONFERENCE》 *
杨宇航等: "利用纹理结构的HEVC快速帧内模式选择算法", 《信号处理》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106954077A (zh) * 2017-03-31 2017-07-14 华侨大学 一种基于结构特征的hevc码率控制方法
CN106954077B (zh) * 2017-03-31 2020-03-31 华侨大学 一种基于结构特征的hevc码率控制方法
CN108900838A (zh) * 2018-06-08 2018-11-27 宁波大学 一种基于hdr-vdp-2失真准则的率失真优化方法
CN108900838B (zh) * 2018-06-08 2021-10-15 宁波大学 一种基于hdr-vdp-2失真准则的率失真优化方法
CN108989804A (zh) * 2018-08-23 2018-12-11 杭州雄迈集成电路技术有限公司 图像的编码方法及装置
CN108989804B (zh) * 2018-08-23 2021-04-27 杭州雄迈集成电路技术股份有限公司 图像的编码方法及装置
CN112153415A (zh) * 2020-09-23 2020-12-29 北京字节跳动网络技术有限公司 一种视频转码方法、装置、设备及存储介质
CN112153415B (zh) * 2020-09-23 2022-12-02 北京字节跳动网络技术有限公司 一种视频转码方法、装置、设备及存储介质
CN112291564A (zh) * 2020-11-20 2021-01-29 西安邮电大学 优化监控视频感知质量的hevc帧内码率控制方法
CN112291564B (zh) * 2020-11-20 2021-09-14 西安邮电大学 优化监控视频感知质量的hevc帧内码率控制方法
CN117714697A (zh) * 2024-02-05 2024-03-15 卓世未来(成都)科技有限公司 数字人视频显示方法及设备
CN117714697B (zh) * 2024-02-05 2024-04-23 卓世未来(成都)科技有限公司 数字人视频显示方法及设备

Also Published As

Publication number Publication date
CN106303521B (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN106303521A (zh) 一种基于感知敏感度的hevc率失真优化方法
CN103873861B (zh) 一种用于hevc的编码模式选择方法
US10645382B2 (en) Video processing method, encoding device, and decoding device
CN105306944B (zh) 混合视频编码标准中色度分量预测方法
CN101534436B (zh) 一种视频图像宏块级自适应码率分配方法
CN103338376B (zh) 一种基于运动矢量的视频隐写方法
CN100592798C (zh) 一种视频编码快速变换量化的实现方法
JP2013507083A5 (zh)
CN103634601B (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
CN100574447C (zh) 基于avs视频编码的快速帧间预测模式选择方法
CN105898300B (zh) 一种基于恢复变换系数的改进变换系数符号位隐藏方法
CN103957410B (zh) 一种基于残差频域复杂度的i帧码率控制方法
CN109889852B (zh) 一种基于邻近值的hevc帧内编码优化方法
CN101674472A (zh) 多视点视频编码的多级码率控制方法
CN104994382A (zh) 一种感知率失真的优化方法
CN103561270A (zh) 一种用于hevc的编码控制方法及装置
CN107211133A (zh) 反量化变换系数的方法、装置及解码设备
CN106210721A (zh) 一种hevc快速码率转码方法
CN101854555B (zh) 基于预测残差自适应调整的视频编码系统
CN110446052A (zh) 一种3d-hevc帧内深度图快速cu深度选择方法
CN106961610A (zh) 结合超分辨率重建的超高清视频新型压缩框架
CN106056638B (zh) 一种自适应纹理对比度的低复杂度压缩感知图像编码方法
CN102857760B (zh) 一种无反馈的优化码率的分布式视频编解码方法及其系统
CN101710985A (zh) 一种用于图像编码的图像亮度补偿方法
CN104780383B (zh) 一种3d‑hevc多分辨率视频编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170104

Assignee: YEALINK (XIAMEN) NETWORK TECHNOLOGY Co.,Ltd.

Assignor: HUAQIAO University

Contract record no.: X2021990000282

Denomination of invention: A rate distortion optimization method for hevc based on perceptual sensitivity

Granted publication date: 20190101

License type: Common License

Record date: 20210517

EE01 Entry into force of recordation of patent licensing contract