CN112738518B - 一种基于感知的ctu级视频编码的码率控制方法 - Google Patents

一种基于感知的ctu级视频编码的码率控制方法 Download PDF

Info

Publication number
CN112738518B
CN112738518B CN201911029751.5A CN201911029751A CN112738518B CN 112738518 B CN112738518 B CN 112738518B CN 201911029751 A CN201911029751 A CN 201911029751A CN 112738518 B CN112738518 B CN 112738518B
Authority
CN
China
Prior art keywords
distortion
rate control
perception
code rate
macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911029751.5A
Other languages
English (en)
Other versions
CN112738518A (zh
Inventor
宋磊
贾惠柱
向国庆
张广耀
蔡斌斌
范晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Original Assignee
Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Boya Huishi Intelligent Technology Research Institute Co ltd filed Critical Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Priority to CN201911029751.5A priority Critical patent/CN112738518B/zh
Publication of CN112738518A publication Critical patent/CN112738518A/zh
Application granted granted Critical
Publication of CN112738518B publication Critical patent/CN112738518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公布了一种基于感知的CTU级视频编码的码率控制方法，通过建立低复杂度的视频感知失真评价模型，采用基于感知的宏块级码率控制算法，实现基于感知的CTU级码率控制。本发明方法建立低复杂度的宏块级主观失真评价模型，即通过简化的空域掩蔽效应和时域掩蔽效应得到新的宏块掩蔽失真模型；采用基于感知的宏块级码率控制算法，即将主观失真度量引入到率失真优化过程，实现码率约束下的宏块级主观感知质量恒定的码率控制算法；本发明适用于目前主流的视频编码标准，可自适应的提升不同视频编码方案的主观性能。

Description

一种基于感知的CTU级视频编码的码率控制方法
技术领域
本发明属于图像、视频处理技术领域，涉及视频编码的码率控制技术，尤其涉及一种基于感知的CTU级视频编码的码率控制方法。
背景技术
在图像、视频处理领域，峰值信噪比(PSNR)作为主流的评价指标被广泛使用。然而，峰值信噪比存在的问题是它并不能很好的表征人眼视觉系统HVS的特性。为了更好的量化基于人眼视觉系统的失真，很多学者探索研究了更好的基于感知的图像、视频评价指标。受基于感知的视频评价指标启发，为了将其更好的应用在视频编码中，很多基于感知的编码方法PVC被广泛提出，帮助提升视频编码的主观质量。
在实际应用中，视频编码一般受到有限的带宽约束，如何在该条件下提升视频编码的主观性能，改进最终视频编码图像的观看主观质量，是人们一直需要不断研究的问题。然而，传统的视频编码工具的优化目标都是提升PSNR的性能，而不是最终的主观性能，也就是说传统的码率控制算法的优化算法并不能得到最优的主观编码效果。因此，从人眼的视觉感知特性角度看，已有的码率控制算法中的失真评价和量化控制方法还有进一步的改进空间。特别地，考虑到现在视频图像的分辨率越来越大，高清和超高清视频图像中不同区域的内容差异也逐渐越来越大，即在人眼视觉感知上也是各不相同，所以，针对不同区域的主观码率控制算法的优化技术，将有助于根据不同区域内容的感知特性，提升它们的视频编码主观质量，进而提升整体的视频编码主观效果。
现有的感知视频码率控制技术中，第一类算法主要根据当前块权重与阈值进行比较后，分情况改变当前宏块的量化系数，如文献[1]-[2]。此外，还有很多算法通过推导得出每个宏块经过感知模型计算得到的权重，再根据当前块的权重和整帧的权重关系来调节每个宏块的量化系数，如文献[3]-[4]，量化系数表示如下：
QP′i＝QP+Wi×ΔQ (1)
其中i表示第i个宏块，QP′i表示为第i个宏块分配的量化系数，QP表示当前帧的量化系数，ΔQ表示当前块允许的最大量化系数调整值，Wi为根据当前块的感知性质求得的权重。
上述现有方法的缺点包括：(1)缺少合理的优化目标函数，缺乏理论分析；(2)现有算法无法同时兼容码率控制算法。
参考文献：
[1]C.W.Tang.Spatiotemporal visual considerations for videocoding.IEEE Transactions on Multimedia,2007,9(2):231–238.
[2]Z.Luo,L.Song,S.Zheng,and N.Ling.H.264/advanced video controlperceptual optimization coding based on JND-directed coefficientsuppression.IEEE Transactions on Circuits and Systems for Video Technology,2013,23(6):935–948.
[3]C.W.Tang,C.H.Chen,Y.H.Yu,C.J.Tsai.Visual sensitivity guided bitallocation for video coding.IEEE Transactions on Multimedia,2006,8(1):11–18.
[4]Z.Li,S.Qin,L.Itti.Visual attention guided bit allocation in videocompression.Image and Vision Computing,2011,29(1):1–14.
[5]F.Zhang,D.R.Bull.A Perception-Based Hybrid Model for Video QualityAssessment.IEEE Transactions on Circuits and Systems for Video Technology,2016,26(6):1017-1028.
发明内容
为了克服上述现有技术的不足，本发明提供一种基于感知的CTU级码率控制/分配方法，能够解决在固定码率下，针对不同视频图像不同区域内容的感知特性，进行自适应感知码率控制，在带宽约束条件下改进视频编码的主观质量，实现主观质量连续恒定，且同时保持整体码率平稳。
本发明包括的缩略语和关键术语定义如下：
PSNR：Peak Signal of Noise Ratio，信噪比；
HVS：Human Visual System，人眼视觉系统；
PVC：Perceptual Video Coding，感知的编码方法；
MB：Macro Block，H.264或AVS中的编码单元；
DCT：Discrete Cosine Transform，离散余弦变换；
CTU：Coding Tree Unit，编码树单元，如H.265或AVS2中的编码单元。
本发明提供的技术方案是：
一种基于感知的CTU级视频编码的码率控制方法，通过建立低复杂度的感知失真评价模型，提出基于感知的宏块级码率控制算法，实现基于感知的CTU级码率控制；包括如下步骤：
1)建立低复杂度的视频感知失真评价模型；
文献[5]中记载一种利用视觉掩蔽效应的混合感知模型，对于任意一个当前宏块和参考宏块，感知模型表示为：
Figure BDA0002249787350000031
其中，ND为经过掩蔽效应后的可察觉失真(Noticeable Distortion)；AD为当前块与参考块的绝对值误差，
Figure BDA0002249787350000032
为根据掩蔽效应计算得到的值。公式(2)表示，当视觉掩蔽效应产生时，会对绝对值误差AD进行掩蔽，人眼内观察到的误差将会减少。具体
Figure BDA0002249787350000033
的定义为式(3)：
Figure BDA0002249787350000034
其中，SM为帧内视觉掩蔽效应计算得到的值，TM为帧间视觉掩蔽效应计算得到的值，而ρSM和ρTM均为训练得到的参数。
文献[5]的SM与TM计算复杂度太高，因此，本发明采用一种低复杂度的SM和TM计算方法。首先是SM的计算。SM的计算主要考虑视觉掩蔽效应中的对比敏感度效应，即人眼视觉系统对中间频率变化的敏感程度要大于高频和低频变化的敏感程度。因此，SM具体通过式(4)计算得到：
Figure BDA0002249787350000035
其中，i表示第i个块，j表示第j帧，B表示宏块经过DCT变换后的矩阵，k≠0，1，2，3，4，5表示不选择DCT变换后矩阵按照zigzag扫描顺序的左上角6个点，假设最左上角矩阵坐标为(0，0)，即代表不选择点(0，0)、(0，1)、(1，0)、(2，0)、(1，1)、(0，2)。
其次计算TM。TM的计算主要考虑视觉掩蔽效应中的时域掩蔽效应，即人眼视觉系统对运动较慢物体变化敏感程度要大于运动很快物体的变化。因此TM的计算表示如式(5)：
Figure BDA0002249787350000036
其中：
SDXi，j＝SDX(x，y)，j＝MVX(x-1，y)，j+MVX(x+1，y)，j-2MVX(x，y)，j (6)
SDYi，j＝SDY(x，y)，j＝MVY(x，y-1)，j+MVY(x，y+1)，j-2MVY(x，y)，j (7)
其中，(x，y)表示第i个宏块的坐标，(x-1，y)和(x+1，y)分别表示当前宏块i的左边和右边的一个宏块，(x，y-1)和(x，y+1)分别表示当前宏块的上边和下边的一个宏块。MVX表示横轴方向的运动矢量，MVY表示纵轴方向的运动矢量。公式(5)中不直接用当前宏块的运动矢量主要是为了避免镜头的平移，或者避免移动区域较大时的中间部分区域。
为了降低计算复杂度，预处理计算运动矢量时只参考前一帧，并且对当前帧和前一帧均进行1/4降采样，采用全搜索的方式搜索降采样后8×5窗口大小区域，选择绝对误差和(Sum of Absolute Difference，SAD)最小的区域作为参考块，计算运动矢量。
2)采用基于感知的CTU级码率控制算法，实现视频编码的码率控制；
对于人眼观察图像而言，视频图像中的不同区域的感知质量波动越小，整体感知质量越平稳，最终能够产生主观上更舒适或者更好的效果。因此，本方案提出一种使块与块之间感知失真的方差最小化的宏块级码率控制方案，可以表示为式(8)：
Figure BDA0002249787350000041
其中，N为视频整帧的宏块个数，NDi，QPi，λi分别代表每个宏块的可察觉失真、量化参数以及拉格朗日乘子，而
Figure BDA0002249787350000042
分别为整帧所有NDi，QPi，λi的均值。
可以看出，公式(8)的目标函数的目的让整帧不同宏块的感知失真尽量相等，让感知失真更大的区域分配更多码率，让感知失真较小的区域分配较少码率。
考虑实际应用中，对整帧编码有码率上限Rt，则理想情况下同时考虑码率控制，目标函数可以表示为式(9)：
Figure BDA0002249787350000043
其中，σ表示任意宏块可察觉失真为恒定值，意味着每个宏块的感知失真完全相等。
接下来定义率失真模型，假设当前帧所有宏块的率失真模型相同，即式(10)所示：
Figure BDA0002249787350000044
其中，f-1(·)为f(·)的反函数，
Figure BDA0002249787350000045
和
Figure BDA0002249787350000046
分别代表整帧的平均码率、失真。
在视频编码中，拉格朗日乘子λ值与量化步长Q相关，通常根据λ的定义，有
Figure BDA0002249787350000051
Figure BDA0002249787350000052
其中，c为常数，Q为量化步长，f′(·)为f(·)导数函数。
对整帧的所有宏块的可察觉失真NDi求平均，表示为式(13)：
Figure BDA0002249787350000053
其中，
Figure BDA0002249787350000054
为整帧所有宏块掩蔽效应
Figure BDA0002249787350000055
的平均值。
考虑到帧级平均失真，帧级平均失真表示为式(14)：
Figure BDA0002249787350000056
其中，
Figure BDA0002249787350000057
表示整帧的平均失真；
同样的，对每个宏块的失真，也可以写作式(15)：
Figure BDA0002249787350000058
考虑公式(12)中的Q-D关系，有式(16)、(17)：
Figure BDA0002249787350000059
Figure BDA00022497873500000510
将公式(16)除以公式(17)，有
Figure BDA00022497873500000511
结合以上公式，每个宏块的量化步长Qi可以由式(19)计算得到：
Figure BDA00022497873500000512
其中，Qf为帧级码率控制下得到的量化步长。根据量化步长即可实现码率控制。
通过上述步骤，实现基于感知的CTU级视频编码的码率控制。
与现有技术相比，本发明的有益效果是：
本发明提供的码率分配方式可以很好解决与码率控制算法相融合的问题，由于式(19)中Rt可以随时变化，能够满足对码率控制的需求，很好的解决了现有算法的存在的问题，因此，本发明一方面实现了根据每个宏块的不同感知特性调整码控控制的结果，即量化程度，另一方面结合率失真理论，对整帧所有的宏块建立优化约束模型，确保了帧级码率控制平稳，尽可能减少码控波动。特别的，本方案的宏块级感知码率控制技术适用于目前主流的所有以宏块为单元的视频编码标准，如H.264和AVS视频编码标准中的MB方式，以及H.265和AVS2视频编码中的CTU方式等。通过选择对应视频编码标准的处理单元尺寸应用本方案的方法，将都会有助于提升最终的视频编码主观性能。
本发明的技术优势主要包括：
1)建立低复杂度的宏块级主观失真评价模型，即通过简化的空域掩蔽效应和时域掩蔽效应得到新的宏块掩蔽失真模型。
2)采用基于感知的宏块级码率控制算法，即将主观失真度量引入到率失真优化过程，实现码率约束下的宏块级主观感知质量恒定的码率控制算法。
3)本方案最终给出了基于感知率失真优化宏块码率控制算法的通用求解方式，适用于目前主流的视频编码标准，可自适应的提升不同视频编码方案的主观性能。
附图说明
图1为本发明描述的基于感知的CTU级视频编码的码率控制方法流程图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种基于感知的CTU级码率控制/分配方法，能够解决在固定码率下，针对不同视频图像不同区域内容的感知特性，进行自适应感知码率控制，在带宽约束条件下改进视频编码的主观质量，实现主观质量连续恒定，且同时保持整体码率平稳。
本发明提供的基于感知的CTU级视频编码的码率控制方法流程如图1所示，通过建立低复杂度的视频感知失真评价模型，采用基于感知的宏块级码率控制算法，实现基于感知的CTU级码率控制；包括如下步骤：
1)建立低复杂度的视频感知失真评价模型；
对于任意一个当前宏块和参考宏块，利用视觉掩蔽效应的混合感知模型表示为式(2)：
Figure BDA0002249787350000071
其中，ND为经过掩蔽效应后的可察觉失真；AD为当前块与参考块的绝对值误差，
Figure BDA0002249787350000072
为根据掩蔽效应计算得到的值；
Figure BDA0002249787350000073
定义为式(3)：
Figure BDA0002249787350000074
其中，SM为帧内视觉掩蔽效应计算得到的值，TM为帧间视觉掩蔽效应计算得到的值，ρSM和ρTM均为训练得到的参数；
其中，SM具体通过式(4)计算得到：
Figure BDA0002249787350000075
其中，i表示第i个块，j表示第j帧，B表示宏块经过DCT变换后的矩阵，k≠0，1，2，3，4，5表示不选择DCT变换后矩阵按照zigzag扫描顺序的左上角6个点；
TM的计算表示为式(5)：
Figure BDA0002249787350000076
其中：
SDXi，j＝SDX(x，y)，j＝MVX(x-1，y)，j+MVX(x+1，y)，j-2MVX(x，y)，j (6)
SDYi，j＝SDY(x，y)，j＝MVY(x，y-1)，j+MVY(x，y+1)，j-2MVY(x，y)，j (7)
其中，(x，y)表示第i个宏块的坐标，(x-1，y)和(x+1，y)分别表示当前宏块i的左边和右边的宏块，(x，y-1)和(x，y+1)分别表示当前宏块的上边和下边的宏块；MVX表示横轴方向的运动矢量，MVY表示纵轴方向的运动矢量；
2)采用基于感知的CTU级码率控制算法，实现视频编码的码率控制；
21)采用使块与块之间感知失真的方差最小化的宏块级码率控制方法，目标函数表示为式(8)：
Figure BDA0002249787350000077
其中，N为视频整帧的宏块个数，NDi，QPi，λi分别代表每个宏块的可察觉失真、量化参数、拉格朗日乘子；
Figure BDA0002249787350000081
分别为整帧所有NDi，QPi，λi的均值；
式(8)的目的是使得整帧不同宏块的感知失真尽量相等，使得感知失真更大的区域分配到更多码率；
22)假设当前帧所有宏块的率失真模型相同，定义率失真模型为式(10)：
Figure BDA0002249787350000082
其中，f-1(·)为f(·)的反函数，
Figure BDA0002249787350000083
和
Figure BDA0002249787350000084
分别代表整帧的平均码率、失真；
在视频编码中，拉格朗日乘子λ值与量化步长Q相关，表示为式(11)和(12)：
Figure BDA0002249787350000085
Figure BDA0002249787350000086
其中，c为常数，Q为量化步长，f′(·)为f(·)导数函数；
对整帧的NDi求平均，表示为式(13)：
Figure BDA0002249787350000087
其中，
Figure BDA0002249787350000088
为整帧所有块
Figure BDA0002249787350000089
的平均值；
帧级平均失真表示为式(14)：
Figure BDA00022497873500000810
其中，
Figure BDA00022497873500000811
表示整帧的平均失真；
每个宏块的失真表示为式(15)：
Figure BDA00022497873500000812
考虑公式(12)中的Q-D关系，有式(16)、(17)：
Figure BDA00022497873500000813
Figure BDA00022497873500000814
将式(16)除以式(17)，得式(18)：
Figure BDA0002249787350000091
23)每个宏块的量化程度Qi 2由式(19)计算得到：
Figure BDA0002249787350000092
其中，Qi 2为每个宏块的量化程度；
通过上述步骤，实现基于感知的CTU级视频编码的码率控制。
具体实施时，本发明方法包括建立低复杂度的感知失真评价模型、采用基于感知的宏块级码率控制算法，从而实现基于感知的CTU级码率控制。
以下实施例针对AVS2视频编码标准，基于RD17.0参考软件，实现基于感知的CTU级码率控制；具体包括：
1)设置实验配置为Lowdelay P配置，选择视频分辨率为1920x1080，帧率30帧/秒，设置目标码率为1Mbps、2Mbps、3.5Mbps、6Mbps
2)第一帧视频保持默认码率控制方式不变；
3)从第二帧开始，输入每个64x64 CTU，计算CTU级低复杂度视觉感知掩蔽效应以及帧级视觉平均视觉掩蔽效应，其中SM计算仅依赖当前CTU信息，TM计算需要参考前一帧原始像素，并进行1/4降采样后进行运动估计，运动估计采用全搜索方式，搜索窗大小为8x5。
4)确定反比例率失真模型作为实验模型，计算模型倒数和导数，并根据公式(19)，取得针对此率失真模型的CTU级量化步长计算结果；
5)根据每个CTU的量化步长，传入RD17.0模式决策过程中，对当前帧最终实现基于感知的CTU级码率控制
6)编码完当前帧后，重复以上步骤3)～5)，直到所有帧编码结束。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (3)

1.一种基于感知的CTU级视频编码的码率控制方法，通过建立低复杂度的视频感知失真评价模型，采用基于感知的宏块级码率控制算法，实现基于感知的CTU级码率控制；包括如下步骤：
1)建立低复杂度的视频感知失真评价模型；
对于任意一个当前宏块和参考宏块，利用视觉掩蔽效应的混合感知模型表示为式(2)：
Figure FDA0002249787340000011
其中，ND为经过掩蔽效应后的可察觉失真；AD为当前块与参考块的绝对值误差，
Figure FDA0002249787340000012
为根据掩蔽效应计算得到的值；
Figure FDA0002249787340000013
定义为式(3)：
Figure FDA0002249787340000014
其中，SM为帧内视觉掩蔽效应计算得到的值，TM为帧间视觉掩蔽效应计算得到的值，ρSM和ρSM均为训练得到的参数；
其中，SM具体通过式(4)计算得到：
Figure FDA0002249787340000015
其中，i表示第i个块，j表示第j帧，B表示宏块经过DCT变换后的矩阵，k≠0,1,2,3,4,5表示不选择DCT变换后矩阵按照zigzag扫描顺序的左上角6个点；
TM的计算表示为式(5)：
Figure FDA0002249787340000016
其中：
SDXi,j＝SDX(x,y),j＝MVX(x-1,y),j+MVX(x+1,y),j-2MVX(x,y),j (6)
SDYi,j＝SDY(x,y),j＝MVY(x,y-1),j+MVY(x,y+1),j-2MVY(x,y),j (7)
其中，(x,y)表示第i个宏块的坐标，(x-1,y)和(x+1,y)分别表示当前宏块i的左边和右边的宏块，(x,y-1)和(x,y+1)分别表示当前宏块的上边和下边的宏块；MVX表示横轴方向的运动矢量，MVY表示纵轴方向的运动矢量；
2)采用基于感知的CTU级码率控制算法，实现视频编码的码率控制；
21)采用使块与块之间感知失真的方差最小化的宏块级码率控制方法，目标函数表示为式(8)：
Figure FDA0002249787340000021
其中，N为视频整帧的宏块个数，NDi，QPi，λi分别代表每个宏块的可察觉失真、量化参数、拉格朗日乘子；
Figure FDA0002249787340000022
分别为整帧所有NDi，QPi，λi的均值；
式(8)的目的是使得整帧不同宏块的感知失真尽量相等，使得感知失真更大的区域分配到更多码率；
22)假设当前帧所有宏块的率失真模型相同，定义率失真模型为式(10)：
Figure FDA0002249787340000023
其中，f-1(·)为f(·)的反函数，
Figure FDA0002249787340000024
和
Figure FDA0002249787340000025
分别代表整帧的平均码率、失真；
在视频编码中，拉格朗日乘子λ值与量化步长Q相关，表示为式(11)和(12)：
Figure FDA0002249787340000026
Figure FDA0002249787340000027
其中，c为常数，Q为量化步长，f′(·)为f(·)导数函数；
对整帧的NDi求平均，表示为式(13)：
Figure FDA0002249787340000028
其中，
Figure FDA0002249787340000029
为整帧所有块
Figure FDA00022497873400000210
的平均值；
帧级平均失真表示为式(14)：
Figure FDA00022497873400000211
其中，
Figure FDA00022497873400000212
表示整帧的平均失真；
每个宏块的失真表示为式(15)：
Figure FDA00022497873400000213
考虑公式(12)中的Q-D关系，有式(16)、(17)：
Figure FDA0002249787340000031
Figure FDA0002249787340000032
将式(16)除以式(17)，得式(18)：
Figure FDA0002249787340000033
23)每个宏块的量化程度Oi 2由式(19)计算得到：
Figure FDA0002249787340000034
其中，Oi 2为每个宏块的量化程度；
通过上述步骤，实现基于感知的CTU级视频编码的码率控制。
2.如权利要求1所述基于感知的CTU级视频编码的码率控制方法，其特征是，步骤1)计算运动矢量时，具体地，只参考前一帧，并对当前帧和前一帧均进行1/4降采样，采用全搜索的方式搜索降采样后8×5窗口大小区域，选择绝对误差和最小的区域作为参考块，由此计算得到运动矢量。
3.如权利要求1所述基于感知的CTU级视频编码的码率控制方法，其特征是，步骤2)中，进一步对整帧编码设有码率上限Rt，同时考虑码率控制，目标函数表示为式(9)：
Figure FDA0002249787340000035
其中，σ为定值；每个宏块的感知失真完全相等，Di等同于ADi。
CN201911029751.5A 2019-10-28 2019-10-28 一种基于感知的ctu级视频编码的码率控制方法 Active CN112738518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911029751.5A CN112738518B (zh) 2019-10-28 2019-10-28 一种基于感知的ctu级视频编码的码率控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911029751.5A CN112738518B (zh) 2019-10-28 2019-10-28 一种基于感知的ctu级视频编码的码率控制方法

Publications (2)

Publication Number Publication Date
CN112738518A CN112738518A (zh) 2021-04-30
CN112738518B true CN112738518B (zh) 2022-08-19

Family

ID=75589466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911029751.5A Active CN112738518B (zh) 2019-10-28 2019-10-28 一种基于感知的ctu级视频编码的码率控制方法

Country Status (1)

Country Link
CN (1) CN112738518B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534432A (zh) * 2009-04-09 2009-09-16 上海广电（集团）有限公司中央研究院 基于人眼感知模型的码率控制方法
CN108063944A (zh) * 2017-12-14 2018-05-22 西北工业大学 一种基于视觉显著性的感知码率控制方法
CN109756733A (zh) * 2017-11-06 2019-05-14 华为技术有限公司 视频数据解码方法及装置
CN110062236A (zh) * 2019-05-10 2019-07-26 上海大学 基于空时域恰可感知失真的码率分配方法、系统及介质
CN110062234A (zh) * 2019-04-29 2019-07-26 同济大学 一种基于区域恰可察觉失真的感知视频编码方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI394462B (zh) * 2010-06-22 2013-04-21 Univ Nat Taiwan 基於視覺感知的位元-失真最佳化位元分配的位元率控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534432A (zh) * 2009-04-09 2009-09-16 上海广电（集团）有限公司中央研究院 基于人眼感知模型的码率控制方法
CN109756733A (zh) * 2017-11-06 2019-05-14 华为技术有限公司 视频数据解码方法及装置
CN108063944A (zh) * 2017-12-14 2018-05-22 西北工业大学 一种基于视觉显著性的感知码率控制方法
CN110062234A (zh) * 2019-04-29 2019-07-26 同济大学 一种基于区域恰可察觉失真的感知视频编码方法
CN110062236A (zh) * 2019-05-10 2019-07-26 上海大学 基于空时域恰可感知失真的码率分配方法、系统及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《一种基于视觉感知的H.264码率控制算法》;田波 等;《图学学报》;20141031;第35卷(第5期);全文 *
《基于感知模型的自适应码率控制算法》;张锦辉 等;《电视技术》;20081212;第32卷(第9期);全文 *

Also Published As

Publication number Publication date
CN112738518A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
JP5400876B2 (ja) ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化
WO2021244341A1 (zh) 图像编码方法及装置、电子设备及计算机可读存储介质
CN108063944B (zh) 一种基于视觉显著性的感知码率控制方法
CN106534862B (zh) 一种视频编码方法
CN104219525B (zh) 基于显著性和最小可察觉失真的感知视频编码方法
WO2010078759A1 (zh) 基于码率控制的图像时间域和空间域分辨率处理方法
CN108924554B (zh) 一种球形加权结构相似度的全景视频编码率失真优化方法
Rehman et al. SSIM-inspired perceptual video coding for HEVC
WO2013030833A1 (en) Controlling a video content system
WO2020098751A1 (zh) 一种视频数据的编码处理方法和计算机存储介质
CN101325711A (zh) 基于时空掩盖效应的自适应码率控制方法
CN103179394A (zh) 一种基于区域视频质量平稳的i帧码率控制方法
CN106060539B (zh) 一种低传输带宽的视频编码方法
CN103634601B (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
CN110996102B (zh) 抑制p/b帧中帧内块呼吸效应的视频编码方法及装置
CN102984541B (zh) 一种基于像素域失真度估计的视频质量评价方法
CN104994382A (zh) 一种感知率失真的优化方法
Li et al. A bit allocation method based on inter-view dependency and spatio-temporal correlation for multi-view texture video coding
Yang et al. A novel rate control scheme for video coding in HEVC-SCC
Xu et al. Consistent visual quality control in video coding
Wang et al. SSIM-inspired two-pass rate control for high efficiency video coding
WO2022021422A1 (zh) 视频编码方法、编码器、系统以及计算机存储介质
CN107094251B (zh) 一种基于空间位置自适应质量调整的视频、图像编解码方法及装置
CN112738518B (zh) 一种基于感知的ctu级视频编码的码率控制方法
Zhou et al. Complexity-based intra frame rate control by jointing inter-frame correlation for high efficiency video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant