CN107426570B - 一种低延迟视频编码的自适应Qp级联方法 - Google Patents

一种低延迟视频编码的自适应Qp级联方法 Download PDF

Info

Publication number
CN107426570B
CN107426570B CN201610959687.0A CN201610959687A CN107426570B CN 107426570 B CN107426570 B CN 107426570B CN 201610959687 A CN201610959687 A CN 201610959687A CN 107426570 B CN107426570 B CN 107426570B
Authority
CN
China
Prior art keywords
model
distortion
gop
layer
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610959687.0A
Other languages
English (en)
Other versions
CN107426570A (zh
Inventor
徐艺文
李林贵
李棋
赵铁松
范振嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201610959687.0A priority Critical patent/CN107426570B/zh
Publication of CN107426570A publication Critical patent/CN107426570A/zh
Application granted granted Critical
Publication of CN107426570B publication Critical patent/CN107426570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种低延迟视频编码的自适应Qp级联方法,首先将视频序列分为多个图像组,构造图像组的分层结构,每个图像组由4帧构成,分别处于不同的层次;其次根据不同层间以及图像组间的依赖性,推导率失真优化模型;再次引入相关模型,将率失真优化模型转化为求解最佳
Figure DEST_PATH_IMAGE002
的问题,同时通过更新模型参数来使模型适应不同的视频序列;最后引用拉格朗日乘子
Figure DEST_PATH_IMAGE004
以及Newton‑Raphson方法求解模型每层最佳的
Figure 947933DEST_PATH_IMAGE002
,合理地分配每一帧的
Figure 927391DEST_PATH_IMAGE002
,实现率失真的最优化。本发明针对低延迟视频编码提出的一种自适应级联算法,主要解决低延迟视频编码的分配问题。

Description

一种低延迟视频编码的自适应Qp级联方法
技术领域
本发明涉及视频编码技术领域,特别是涉及一种低延迟视频编码的自适应 Qp级联方法。
背景技术
相比H.264,为了在相同编码质量的前提下进一步提高编码效率,HEVC(HighEfficiency Video Coding)标准提出了许多项新技术。其中包括新的预测结构、更大的编码树单元、更多帧内预测模式,以及采用分层编码结构,这使得不同层可以使用不同的Qp。然而,在HEVC标准的描述中,没有明确说明在保证
Figure DEST_PATH_GDA0001187082000000011
(图像组平均量化参数)不变的情况下如何确定最佳的Qp。在现有的方案中,如静态的Qp级联方案,是由大量的实验数据启发得到的,保持固定不变的Qp设置,无法适应不同的视频序列,必然降低了编码性能;而多数的自适应Qp级联方案是针对H.264设计的,可能无法适用于HEVC编码结构。
发明内容
有鉴于此,本发明的目的是提供一种低延迟视频编码的自适应Qp级联方法,解决了视频编码中不同层的Qp分配问题,达到了率失真优化的目的。
本发明采用以下方案实现:一种低延迟视频编码的自适应Qp级联方法,包括以下步骤:
步骤S1:将视频序列分为多个图像组,构造图像组的分层结构,每个图像组由4帧构成,分别处于不同的层次;
步骤S2:根据不同层间以及图像组间的依赖性,推导率失真优化模型;
步骤S3:引入相关模型,将率失真优化模型转化为求解最佳Qp的问题,同时通过更新模型参数来使模型适应不同的视频序列;并引用拉格朗日乘子Λ以及 Newton-Raphson方法求解模型每层最佳的Qp,合理地分配每一帧的Qp,实现率失真的最优化。
进一步地,所述步骤S3具体包括以下步骤:
步骤S31:初始化静态Qp,得出图像组的
Figure DEST_PATH_GDA0001187082000000021
确定图像组对Qp的影响,对第一个I帧编码;
步骤S32:对第一个图像组编码,初始化D-Q,R-Q模型的参数;
步骤S33:由模型解得最优的Ql,根据映射关系并结合图像组的影响确定每个分层最优的Qp;
步骤S34:判断det(J)=0,迭代次数超过100次,Qpl+1<Qpl是否同时成立,若是,则使用静态方案编码对图像组进行编码,若否,则采用最优的Qp对当前图像组编码,更新相关的模型参数;
步骤S35:判断当前图像是否为最后一个图像组,若是,则结束,若否,则返回步骤S33对下一个图像组进行处理。
进一步地,所述步骤S2中,根据不同层间的依赖性,推导率失真优化模型的具体方法如下:
当前帧的RD受低层参考帧的影响,其中存在大约为线性关系的帧间失真依赖性如下:
Figure DEST_PATH_GDA0001187082000000022
其中,R指比特率,D指失真,RD为率失真,ΔDcur和ΔDref分别表示当前帧的失真增加及其参考帧的失真增加,δ表示误差传播强度,δ∈[0,1];对于比特率,Rcur和Rref没有帧间的依赖关系,假定帧间比特率依赖性为0;
在实际的低延迟视频编码中,一个帧有多个参考帧,不是一一对应的Dcur和 Dref,简化层间的依赖关系,近似认为当前帧仅参考最相近的帧;
构造图像组帧的分层结构,编码顺序从低层到高层,第l层的平均失真的增加设为ΔDl,对图像组总体失真ΔDintra-gop,l的增加有影响,设ΔDl与ΔDintra-gop,l的关系为:
ΔDintra-gop,l=fl(ΔDl),l=0,...,L-1
其中,ΔDl为第l层的平均失真的增加,ΔDintra-gop,l为图像组总体失真的增加,f(·)为二者之间的函数关系,下标l为层的序列号,L为总层数,ΔDl和ΔDintra-gop,l的关系可表示为:
Figure DEST_PATH_GDA0001187082000000031
根据数学归纳法得到:
fl(ΔDl)=(1+δ)L-1-lΔDl,l=0,...,L-1
再得到:
ΔDintra-gop,l=αlΔDl,αl=(1+δ)L-1-l,l=0,...,L-1
由于帧间比特率依赖性为0,因此图像组总体比特率的增加为ΔRintra-gop,l和第l层的比特率的增加ΔRl的关系为:
ΔRintra-gop,l=βlΔRl,其中
Figure DEST_PATH_GDA0001187082000000032
进一步地,所述步骤S2中,根据不同图像组间的依赖性,推导率失真优化模型的具体方法如下:
在低延迟视频编码中,图像组之间存在失真依赖性,设视频序列中连续的虚拟图像组数量为N,根据图像组之间失真的依赖性,得到:
Figure DEST_PATH_GDA0001187082000000033
其中,ΔDinter-gop,i为改变虚拟图像组的Qp时,视频序列失真的增加,ΔDi为第i个虚拟图像组失真的增加,δgop表示图像组之间误差传播强度,δgop∈[0,1],ΔRinter-gop,i为视频序列比特率的增加,ΔRi为第i个虚拟图像组比特率的增加,ΔRinter-gop,i和ΔRi的关系为:
ΔRinter-gop,i=ΔRi
进一步地,所述步骤S3中引入相关模型为D-Q模型为R-Q模型:引用线性D-Q模型与二次方程R-Q模型,分别表示为:
D=γQ,
Figure DEST_PATH_GDA0001187082000000034
其中,γ、m、μ、ν为图像组各个层的参数。
进一步地,所述步骤S3中,将率失真优化模型转化为求解最佳Qp的问题,具体方法如下:
假设一个图像组分为L层,平均的量化步长Q设为
Figure DEST_PATH_GDA0001187082000000046
自适应Qp级联的最优化问题即为找到最佳的Ql,在不增加总比特率ΔRintra-gop,l的条件下,使图像组的失真ΔDintra-gop,l最小,自适应Qp级联的最优化问题表示为:
Figure DEST_PATH_GDA0001187082000000041
Q表示最佳的Ql,l=0,1,2,…,L-1,ΔRintra-gop,l和ΔDintra-gop,l受到
Figure DEST_PATH_GDA0001187082000000042
Ql, (D-Q),(R-Q)模型等相关因素影响,从上述模型解出最优的Q,经过映射关系即可得到Qp。
进一步地,所述步骤S3中更新模型参数的具体方法为:引入的相关参数为 D-Q,R-Q模型为:
D=γQ,
Figure DEST_PATH_GDA0001187082000000043
在编码过程逐渐更新每层的参数γl、ml、μl、νl,以适应不同的视频序列,可得:
Figure DEST_PATH_GDA0001187082000000044
n为图像组的下标,l为层的下标,
Figure DEST_PATH_GDA0001187082000000045
分别是预测参数的值,ωγ、ωm、ωμ、ων表示D-Q、R-Q、MAD模型更新系数,通过HEVC常用测试视频序列所得γl、ml、μl、νl进行数据拟合而确定。
进一步地,所述步骤S3中,引用拉格朗日乘子Λ以及Newton-Raphson 方法求解模型每层最佳的Qp的具体方法为:
对图像组的所有分层应用D-Q、R-Q模型,得到:
ΔDl=γlΔQl
Figure DEST_PATH_GDA0001187082000000051
将上述公式以及ΔDintra-gop,l=αlΔDl,ΔRintra-gop,l=βlΔRl代入以下公式:
Figure DEST_PATH_GDA0001187082000000052
得到:
Figure DEST_PATH_GDA0001187082000000053
Figure DEST_PATH_GDA0001187082000000054
将不同层Qp的分配问题采用上述公式表达,通过求解得到每层最优的Q,即可得到最佳的Qp:
设al=-αlγl,bl=2βlμlml,cl=βlνlml
Figure DEST_PATH_GDA0001187082000000055
xl=ΔQl,可得:
Figure DEST_PATH_GDA0001187082000000056
引入拉格朗日乘子Λ,可得:
Figure DEST_PATH_GDA0001187082000000057
引用Newton-Raphson方法可求出xl的值,即每层ΔQl的值,最终可以确定不同层Qp的分配;x通过迭代得到:xt+1=xt-J-1f(xt),t为迭代次数;限制条件
Figure DEST_PATH_GDA0001187082000000058
使得det(J)≠0成立,则xl+1有解;将解得的ΔQl结合图像组对Qp的影响,最终确定每层最佳的Qp。
与现有技术而言,本发明针对低延迟视频编码,提出了一种自适应Qp级联算法,解决在保证
Figure DEST_PATH_GDA0001187082000000061
不变的情况下如何确定最佳Qp的问题。通过大量实验证明,本发明提出的自适应Qp级联方案比起静态自适应Qp级联方案,在实现较好的率失真优化的同时,还能够迅速适应不同的视频内容和编码配置。
附图说明
图1为本发明的LD-B/LD-P(Low-delay B、Low-delay P)层间结构示意图。
图2为本发明的LD-B/LD-P层间简化结构示意图。
图3为本发明的虚拟图像组结构示意图。
图4为本发明的步骤流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本实施例提供一种低延迟视频编码的自适应Qp级联方法,包括以下步骤:
步骤S1:将视频序列分为多个图像组,构造图像组的分层结构,每个图像组由4帧构成,分别处于不同的层次;
步骤S2:根据不同层间以及图像组间的依赖性,推导率失真优化模型;
步骤S3:引入相关模型,将率失真优化模型转化为求解最佳Qp的问题,同时通过更新模型参数来使模型适应不同的视频序列;并引用拉格朗日乘子Λ以及 Newton-Raphson方法求解模型每层最佳的Qp,合理地分配每一帧的Qp,实现率失真的最优化。
在本实施例中,如图4所示,所述步骤S3具体包括以下步骤:
步骤S31:初始化静态Qp,得出图像组的
Figure DEST_PATH_GDA0001187082000000062
确定图像组对Qp的影响,对第一个I帧编码;
步骤S32:对第一个图像组编码,初始化D-Q,R-Q模型的参数;
步骤S33:由模型解得最优的Ql,根据映射关系并结合图像组的影响确定每个分层最优的Qp;
步骤S34:判断det(J)=0,迭代次数超过100次,Qpl+1<Qpl是否同时成立,若是,则使用静态方案编码对图像组进行编码,若否,则采用最优的Qp对当前图像组编码,更新相关的模型参数;
步骤S35:判断当前图像是否为最后一个图像组,若是,则结束,若否,则返回步骤S33对下一个图像组进行处理。
在本实施例中,所述步骤S2中,根据不同层间的依赖性,推导率失真优化模型的具体方法如下:
LD-B/LD-P(Low-delay B、Low-delay P)层间结构如图1,箭头方向表明了图像组中不同层的预测关系,帧的率失真可能受低层参考帧的影响,存在大约为线性关系的帧间失真依赖性如下:
Figure DEST_PATH_GDA0001187082000000071
ΔDcur和ΔDref分别表示当前帧的失真增加及其参考帧的失真增加,δ表示误差传播强度,δ∈[0,1]。δ=0说明没有帧间误差传播,低层的失真不会影响到高层;δ=1则说明帧间误差完全传播。在实验中,使用HEVC提供的常用测试视频序列,并设定δ=0.5。帧的编码比特率一般由Qp、运动搜索、熵编码决定,几乎不受误差传播的影响,因此假定帧间比特率依赖性为0。
在实际的在低延迟视频编码中,一个帧有多个参考帧,不是一一对应的Dcur和Dref。但是,经过实验统计,最相近的帧被作为参考帧的概率很大。在表1中,列举了LD-B/LD-P结构中最相近的帧被作为参考帧的百分比。其中涉及12个视频序列,每个视频序列包括4个Qp。从表中可以看出,最相近的帧被作为参考帧来预测当前帧的概率很大,尤其是Qp比较大的情况。因此,下面的推导过程只使用最相近的帧来预测当前帧是合理的,可以简化LD-B/LD-P层间依赖结构如图2。
(QP的第一列为最相近参考帧所占百分比,第二列为次相近参考帧所占百分比)
Figure DEST_PATH_GDA0001187082000000072
Figure DEST_PATH_GDA0001187082000000081
Figure DEST_PATH_GDA0001187082000000082
Figure DEST_PATH_GDA0001187082000000091
表1
根据层间依赖性,图像组中被作为参考帧频率越高的帧应该处于越低层,对应需要较好的编码质量,编码顺序应该从底层到高层。同时为了简化图像组之间的依赖关系,可以构造图3所示的虚拟图像组,从最低层到最高层的4帧作为一个图像组。以新的虚拟图像组的分层结构来代替原来编码顺序从第二层到最高层再到最低层的图像组结构。可以将图像组之间和图像组内部复杂的RD依赖性,简化为图像组内部的RD依赖性和图像组之间的RD依赖性线性叠加的关系。
设定一个虚拟图像组如图3,第l层的平均失真的增加为ΔDl,对图像组总体失真ΔDintra-gop,l的增加有影响。设ΔDl与ΔDintra-gop,l的关系为:
ΔDintra-gop,l=fl(ΔDl),l=0,...,L-1
其中,ΔDl为第l层的平均失真的增加,ΔDintra-gop,l为图像组总体失真的增加, f(·)为二者之间的函数关系,下标l为层的序列号,L为总层数。简化为一一对应的预测关系后,由图3的分层预测结构可知,ΔDl和ΔDintra-gop,l的关系可表示为:
Figure DEST_PATH_GDA0001187082000000092
根据数学归纳法可得:
fl(ΔDl)=(1+δ)L-1-lΔDl,l=0,...,L-1
可以得到ΔDintra-gop,l=αlΔDl,其中αl=(1+δ)L-1-l,l=0,...,L-1 帧间比特率依赖性为0,因此,图像组总体比特率的增加为ΔRintra-gop,l和第l层的比特率的增加ΔRl的关系为:
ΔRintra-gop,l=βlΔRl,其中
Figure DEST_PATH_GDA0001187082000000101
在本实施例中,所述步骤S2中,根据不同图像组间的依赖性,推导率失真优化模型的具体方法如下:
实验证明虚拟图像组之间也存在失真依赖性,一般没有比特率依赖性。针对低延迟视频编码,设定视频序列中连续的虚拟图像组数量为N,根据图像组之间失真的依赖性,可以得到:
Figure DEST_PATH_GDA0001187082000000102
ΔDinter-gop,i为改变虚拟图像组的Qp时,视频序列失真的增加。ΔDi为第i个虚拟图像组失真的增加。δgop表示图像组之间误差传播强度,δgop∈[0,1]。ΔRinter-gop,i为总体比特率的增加,ΔRi为第i个虚拟图像组比特率的增加,ΔRinter-gop,i和ΔRi的关系为:
ΔRinter-gop,i=ΔRi
引用下述的拉格朗日乘子Λ以及Newton-Raphson方法可以解得图像组对 Qp的影响。需要注意的是,虚拟图像组对Qp的影响在编码之前就已经确定,实际上并非是自适应的。
在本实施例中,所述步骤S3中引入相关模型为D-Q模型为R-Q模型:引用线性D-Q模型与二次方程R-Q模型,分别表示为:
D=γQ,
Figure DEST_PATH_GDA0001187082000000103
其中,γ、m、μ、ν为图像组各个层的参数。
在本实施例中,所述步骤S3中,将率失真优化模型转化为求解最佳Qp的问题,具体方法如下:
假设一个图像组分为L层,平均的量化步长Q设为
Figure DEST_PATH_GDA0001187082000000104
为了给不同层分配不同的Q,最简单的办法就是把每层都设为
Figure DEST_PATH_GDA0001187082000000105
另一种办法则是使用不同的Ql,l=0,1,2,...,L-1,对应不同层。然而,在l层中,以Ql代替
Figure DEST_PATH_GDA0001187082000000111
可能导致整个图像组的总比特率和总失真的改变,分别用ΔRintra-gop,l和ΔDintra-gop,l来表示。自适应 Qp级联的最优化问题就是找到最佳的Ql,在不增加总比特率的条件下,使图像组的失真最小。更进一步,在不增加总比特率的条件下,当每个图像组的失真都是最小时,视频序列总体的失真也最小。因此,自适应Qp级联的最优化可表示为:
Figure DEST_PATH_GDA0001187082000000112
Q表示最佳的Ql,l=0,1,2,...,L-1,ΔRintra-gop,l和ΔDintra-gop,l受到
Figure DEST_PATH_GDA0001187082000000113
Ql, (D-Q),(R-Q)模型等相关因素影响。从上述模型解出最优的Q,经过映射关系即可得到Qp,因此求解每层最佳的Qp等价于求解最优的Q。
在本实施例中,所述步骤S3中更新模型参数的具体方法为:引入的相关参数为D-Q,R-Q模型为:
引用线性D-Q模型、二次方程R-Q模型,表示为:
D=γQ,
Figure DEST_PATH_GDA0001187082000000114
为了使Qp级联动态地适应具有不同纹理、运动模式、编码配置的视频序列,需要更精确的γl、ml、μl、νl对应各个层。在编码过程中通过迭代逐渐更新每层的参数,可得:
Figure DEST_PATH_GDA0001187082000000115
n为图像组的下标,l为层的下标,
Figure DEST_PATH_GDA0001187082000000116
分别是预测参数的值;ωγ、ωm、ωμ、ων表示D-Q、R-Q、MAD模型更新系数,是通过HEVC常用测试视频序列得到γl、ml、μl、νl进行数据拟合而得到的。实验中,设定ωγ=0.98、ωm=0.95、ωμ=0.70、ων=0.82。
在本实施例中,所述步骤S3中,引用拉格朗日乘子Λ以及Newton-Raphson 方法求解模型每层最佳的Qp的具体方法为:
对图像组的所有分层应用D-Q、R-Q模型,得到:
ΔDl=γlΔQl
Figure DEST_PATH_GDA0001187082000000121
将上述公式以及ΔDintra-gop,l=αlΔDl,ΔRintra-gop,l=βlΔRl代入以下公式:
Figure DEST_PATH_GDA0001187082000000122
可以得到:
Figure DEST_PATH_GDA0001187082000000123
Figure DEST_PATH_GDA0001187082000000124
将不同层Qp的分配问题用上述公式表达,通过求解这个问题可以得到每层最优的Q,再经过映射关系即可得到Qp。设al=-αlγl,bl=2βlμlml,cl=βlνlml
Figure DEST_PATH_GDA0001187082000000125
xl=ΔQl,可得:
Figure DEST_PATH_GDA0001187082000000126
引入拉格朗日乘子,可得:
Figure DEST_PATH_GDA0001187082000000127
由于
Figure DEST_PATH_GDA0001187082000000131
可得:
Figure DEST_PATH_GDA0001187082000000132
引用Newton-Raphson方法可得:
Figure DEST_PATH_GDA0001187082000000133
可得:
Figure DEST_PATH_GDA0001187082000000134
Bl=4al(xl+d)3-2Λ(bl+clxl),
Figure DEST_PATH_GDA0001187082000000135
x可通过迭代得到:xt+1=xt-J-1f(xt),t为迭代次数。
Figure DEST_PATH_GDA0001187082000000136
在上式中,已知xl+d=Ql>0,只要使det(J)≠0,则xl+1有解。可以推测以下
Figure DEST_PATH_GDA0001187082000000137
Figure DEST_PATH_GDA0001187082000000138
是det(J)≠0的充分条件。将
Figure DEST_PATH_GDA0001187082000000139
代入,可得:
4al(xl+d)3-2Λ(bl+clxl)=3bl(xl-d)+cl(xl-dxl-2d2)
可化为
Figure DEST_PATH_GDA0001187082000000141
Figure DEST_PATH_GDA0001187082000000142
Figure DEST_PATH_GDA0001187082000000143
Figure DEST_PATH_GDA0001187082000000144
即可得det(J)≠0。
Figure DEST_PATH_GDA0001187082000000145
Figure DEST_PATH_GDA0001187082000000146
即可得det(J)≠0。
因此,可得到限制条件
Figure DEST_PATH_GDA0001187082000000147
使得det(J)≠0,则xl+1有解。由此,可以确定最优的Ql,l=0,...,L-1,得:
Figure DEST_PATH_GDA0001187082000000148
将解得的Ql映射得到Qpl,映射关系为
Figure DEST_PATH_GDA0001187082000000149
其中C1、C2为常数。再结合图像组对Qp的影响,最终可以确定每层最佳的Qp。
为了保证以上算法在有限的计算量内有解,如果det(J)=0或迭代次数超过 100次则采用静态Qp方案;为了保证视频编码的质量,根据低层与高层的预测关系,当高层的Qp小于最相近低层的Qp时,判定得到的Qpl错误,也采用静态 Qp方案。
为了避免图像组间的质量波动,将所有层的Qp限制在
Figure DEST_PATH_GDA0001187082000000151
内,
Figure DEST_PATH_GDA0001187082000000152
是通过静态Qp方案计算出来的图像组所有层的Qp的平均值。上述的限制可能导致增加的比特率大于0,为了避免比特率突然增加,用近似的办法得到Qpl,设定
Figure DEST_PATH_GDA0001187082000000153
使图像组的
Figure DEST_PATH_GDA0001187082000000154
保持不变。
在本实施例中,为了验证上述方案,与其他4组方案进行比较,包括SVC(可分层视频编码)默认的配置、X.Li在“Adaptive quantization parameter cascading forhierarchical video coding”提出的SVC自适应Qp级联方案、HEVC默认的F-RC (frame-level rate control)方案以及Tiesong Zhao在“Adaptive Quantization ParameterCascading in HEVC Hierarchical Coding”提出的静态图像组级联方案。其中,SVC是针对H.264设计的静态方案;Li’s的方案是针对H.264的自适应Qp级联方案;F-RC是针对HEVC提出的静态方案;Tiesong Zhao提出的方案虽然是针对HEVC 提出,但却也是静态的;而本发明的方案是针对低延迟视频编码的自适应Qp级联方案。通过对比在相同比特率时下不同的峰值信噪比、在相同的峰值信噪比下平均比特率增加量来描述不同方案的率失真优化效果。从表2中可以看出,LD-B 中本发明最大的BDPSNR和BDBR分别为0.310dB和-5.587%,平均情况下,此方案的BDPSNR和BDBR分别为0.077dB和-1.859%;在LD-P中最大的BDPSNR和BDBR分别为0.188dB和-5.792%,平均情况下,此方案的BDPSNR和BDBR分别为0.067dB 和-1.904%。本发明中图像组内部是自适应Qp级联,与Tiesong Zhao提出的静态图像组级联方案相比,在LD-B中,平均的BDPSNR和BDBR分别改善了0.012dB, -0.367%;在LD-P中,平均的BDPSNR和BDBR分别改善了0.012dB,-0.317%。
为了更进一步检测此方案的效率,把此方案和F-RC方案比较。一般而言,自适应Qp级联方案不能达到与F-RC相近的编码性能,因为自适应Qp级联方案是从图像组的层面上对不同层次分配Qp,而F-RC是从视频序列的层面对帧或者编码单元进行分配Qp。根据表2的结果来看,此方案达到了与F-RC相近的性能,
并且在编码CLASS B、CLASS E、CLASS F的视频序列时还具有更好的效果。
Figure DEST_PATH_GDA0001187082000000161
Figure DEST_PATH_GDA0001187082000000171
表2
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (7)

1.一种低延迟视频编码的自适应Qp级联方法,其特征在于:包括以下步骤:
步骤S1:将视频序列分为多个图像组,构造图像组的分层结构,每个图像组由4帧构成,分别处于不同的层次;
步骤S2:根据不同层间以及图像组间的依赖性,推导率失真优化模型;
步骤S3:引入相关模型,将率失真优化模型转化为求解最佳Qp的问题,同时通过更新模型参数来使模型适应不同的视频序列;并引用拉格朗日乘子Λ以及Newton-Raphson方法求解模型每层最佳的Qp,合理地分配每一帧的Qp,实现率失真的最优化;
其中,所述步骤S3中,引用拉格朗日乘子Λ以及Newton-Raphson方法求解模型每层最佳的Qp的具体方法为:
对图像组的所有分层应用D-Q、R-Q模型,得到:
ΔDl=γlΔQl
Figure FDA0002622355090000011
将上述公式以及ΔDintra-gop,l=αlΔDl,ΔRintra-gop,l=βlΔRl代入以下公式:
Figure FDA0002622355090000012
得到:
Figure FDA0002622355090000013
Figure FDA0002622355090000014
其中,γl表示D-Q模型在图像组第l层的参数;αl代表第l层的失真增量对图像组总体失真增量的影响系数;
将不同层Qp的分配问题采用上述公式表达,通过求解得到每层最优的Q,即可得到最佳的Qp:
设al=-αlγl,bl=2βlμlml,cl=βlνlml
Figure FDA0002622355090000015
xl=ΔQl,可得:
Figure FDA0002622355090000021
引入拉格朗日乘子Λ,可得:
Figure FDA0002622355090000022
引用Newton-Raphson方法可求出xl的值,即每层ΔQl的值,最终可以确定不同层Qp的分配;x通过迭代得到:xt+1=xt-J-1f(xt),t为迭代次数;限制条件
Figure FDA0002622355090000023
使得det(J)≠0成立,det(J)表示编码率失真性能J的变化量,则xl+1有解;将解得的ΔQl结合图像组对Qp的影响,最终确定每层最佳的Qp。
2.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S3具体包括以下步骤:
步骤S31:初始化静态Qp,得出图像组的
Figure FDA0002622355090000024
确定图像组对Qp的影响,对第一个I帧编码;
步骤S32:对第一个图像组编码,初始化D-Q,R-Q模型的参数;
步骤S33:由模型解得最优的Ql,根据映射关系并结合图像组的影响确定每个分层最优的Qp;
步骤S34:判断det(J)=0,迭代次数超过100次,Qpl+1<Qpl是否同时成立,若是,则使用静态方案编码对图像组进行编码,若否,则采用最优的Qp对当前图像组编码,更新相关的模型参数;
步骤S35:判断当前图像是否为最后一个图像组,若是,则结束,若否,则返回步骤S33对下一个图像组进行处理。
3.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S2中,根据不同层间的依赖性,推导率失真优化模型的具体方法如下:
当前帧的RD受低层参考帧的影响,其中存在大约为线性关系的帧间失真依赖性如下:
Figure FDA0002622355090000031
其中,R指比特率,D指失真,RD为率失真,ΔDcur和ΔDref分别表示当前帧的失真增加及其参考帧的失真增加,δ表示误差传播强度,δ∈[0,1];对于比特率,Rcur和Rref没有帧间的依赖关系,假定帧间比特率依赖性为0;
在实际的低延迟视频编码中,一个帧有多个参考帧,不是一一对应的Dcur和Dref,简化层间的依赖关系,近似认为当前帧仅参考最相近的帧;
构造图像组帧的分层结构,编码顺序从低层到高层,第l层的平均失真的增加设为ΔDl,对图像组总体失真ΔDintra-gop,l的增加有影响,设ΔDl与ΔDintra-gop,l的关系为:
ΔDintra-gop,l=fl(ΔDl),l=0,...,L-1
其中,ΔDl为第l层的平均失真的增加,ΔDintra-gop,l为图像组总体失真的增加,f(·)为二者之间的函数关系,下标l为层的序列号,L为总层数,ΔDl和ΔDintra-gop,l的关系可表示为:
Figure FDA0002622355090000032
根据数学归纳法得到:
fl(ΔDl)=(1+δ)L-1-lΔDl,l=0,...,L-1
再得到:
ΔDintra-gop,l=αlΔDl,αl=(1+δ)L-1-l,l=0,...,L-1
由于帧间比特率依赖性为0,因此图像组总体比特率的增加为ΔRintra-gop,l和第l层的比特率的增加ΔRl的关系为:
ΔRintra-gop,l=βlΔRl,其中
Figure FDA0002622355090000033
4.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S2中,根据不同图像组间的依赖性,推导率失真优化模型的具体方法如下:
在低延迟视频编码中,图像组之间存在失真依赖性,设视频序列中连续的虚拟图像组数量为N,根据图像组之间失真的依赖性,得到:
Figure FDA0002622355090000041
其中,ΔDinter-gop,i为改变虚拟图像组的Qp时,视频序列失真的增加,ΔDi为第i个虚拟图像组失真的增加,δgop表示图像组之间误差传播强度,δgop∈[0,1],ΔRinter-gop,i为视频序列比特率的增加,ΔRi为第i个虚拟图像组比特率的增加,ΔRinter-gop,i和ΔRi的关系为:
ΔRinter-gop,i=ΔRi
5.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S3中引入相关模型为D-Q模型为R-Q模型:引用线性D-Q模型与二次方程R-Q模型,分别表示为:
D=γQ,
Figure FDA0002622355090000042
其中,γ是D-Q模型的参数,该模型是一个线性方程,γ就是该线性方程的系数,m、μ、ν是R-Q模型的参数,该模型是一个二次方程,m、μ、ν就是该二次方程的系数。
6.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S3中,将率失真优化模型转化为求解最佳Qp的问题,具体方法如下:
假设一个图像组分为L层,量化步长Q的平均值设为
Figure FDA0002622355090000043
自适应Qp级联的最优化问题即为找到最佳的Ql,在不增加总比特率ΔRintra-gop,l的条件下,使图像组的失真ΔDintra-gop,l最小,自适应Qp级联的最优化问题表示为:
Figure FDA0002622355090000044
Q表示最佳的Ql,l=0,1,2,...,L-1,ΔRintra-gop,l和ΔDintra-gop,l受到
Figure FDA0002622355090000054
Ql,(D-Q),(R-Q)模型等相关因素影响,从上述模型解出最优的Q,经过映射关系即可得到Qp。
7.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S3中更新模型参数的具体方法为:引入的相关参数为D-Q,R-Q模型为:
D=γQ,
Figure FDA0002622355090000051
在编码过程逐渐更新每层的参数γl、ml、μl、νl,以适应不同的视频序列,可得:
Figure FDA0002622355090000052
n为图像组的下标,l为层的下标,
Figure FDA0002622355090000053
分别是参数γl、ml、μl、νl参数更新值,参数γl、ml、μl、νl表示D-Q和R-Q模型在图像第l层的参数;ωγ、ωm、ωμ、ων表示更新上述参数过程中所用到的更新系数,ωγ=0.98、ωm=0.95、ωμ=0.70、ων=0.82通过HEVC常用测试视频序列所得γl、ml、μl、νl进行数据拟合而确定。
CN201610959687.0A 2016-10-28 2016-10-28 一种低延迟视频编码的自适应Qp级联方法 Active CN107426570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610959687.0A CN107426570B (zh) 2016-10-28 2016-10-28 一种低延迟视频编码的自适应Qp级联方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610959687.0A CN107426570B (zh) 2016-10-28 2016-10-28 一种低延迟视频编码的自适应Qp级联方法

Publications (2)

Publication Number Publication Date
CN107426570A CN107426570A (zh) 2017-12-01
CN107426570B true CN107426570B (zh) 2020-11-03

Family

ID=60422903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610959687.0A Active CN107426570B (zh) 2016-10-28 2016-10-28 一种低延迟视频编码的自适应Qp级联方法

Country Status (1)

Country Link
CN (1) CN107426570B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109275029B (zh) * 2018-08-28 2019-10-01 北京达佳互联信息技术有限公司 视频流处理方法和装置、移动终端及存储介质
CN109819252B (zh) * 2019-03-20 2021-05-18 福州大学 一种不依赖gop结构的量化参数级联方法
CN110677654B (zh) * 2019-10-16 2020-09-29 西安邮电大学 高效视频编码标准低时延编码结构的量化参数级联方法
CN112218078B (zh) * 2020-10-16 2021-09-14 西安邮电大学 面向监控视频的高效视频编码标准量化参数级联方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319868A (ja) * 2005-05-16 2006-11-24 Kddi Corp 画像圧縮符号化装置
CN103686172A (zh) * 2013-12-20 2014-03-26 电子科技大学 低延迟视频编码可变比特率码率控制方法
CN103702119A (zh) * 2013-12-20 2014-04-02 电子科技大学 低延迟视频编码基于可变帧率的码率控制方法
CN104221377A (zh) * 2012-04-13 2014-12-17 高通股份有限公司 用于速率失真优化量化的查找表
CN105872544A (zh) * 2016-04-19 2016-08-17 电子科技大学 低延迟视频编码中时域率失真优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319868A (ja) * 2005-05-16 2006-11-24 Kddi Corp 画像圧縮符号化装置
CN104221377A (zh) * 2012-04-13 2014-12-17 高通股份有限公司 用于速率失真优化量化的查找表
CN103686172A (zh) * 2013-12-20 2014-03-26 电子科技大学 低延迟视频编码可变比特率码率控制方法
CN103702119A (zh) * 2013-12-20 2014-04-02 电子科技大学 低延迟视频编码基于可变帧率的码率控制方法
CN105872544A (zh) * 2016-04-19 2016-08-17 电子科技大学 低延迟视频编码中时域率失真优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
可伸缩视频编码的自适应QP级联算法;万卫星;《计算机工程》;20100331;第36卷(第6期);全文 *

Also Published As

Publication number Publication date
CN107426570A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN107426570B (zh) 一种低延迟视频编码的自适应Qp级联方法
US9426494B2 (en) Systems and methods with early variance measure used to optimize video encoding
CN1723706A (zh) 宏块分割部分的混合块间/块内视频编码
CN108200431B (zh) 一种视频编码码率控制帧层比特分配方法
Liu et al. Low-complexity rate control based on ρ-domain model for scalable video coding
JP2007089035A (ja) 動画像符号化方法、装置及びプログラム
CN1910934A (zh) 自适应速率控制编码器
CN104796703B (zh) 基于预测模式率失真分析的可伸缩视频编码的码率控制方法
CN101917614A (zh) 一种基于h.264分层b帧编码结构的码率控制方法
CN102186084A (zh) 一种可伸缩视频编码的空间增强层码率控制实现方法
US20070133690A1 (en) Adaptive complexity control for motion estimation during video encoding
WO2010130190A1 (zh) 多层编码的码率控制方法及装置
CN104994387B (zh) 一种融合图像特征的码率控制方法
CN107707918A (zh) 基于hevc/h.265平均码率控制的优化算法
Liang et al. A novel RQ model based rate control scheme in HEVC
Wang et al. Generalized Nash bargaining solution to rate control optimization for spatial scalable video coding
CN102148973A (zh) 基于拉格朗日乘数因子的3层码率控制方法
CN110139101B (zh) 一种基于λ域码率控制的帧级比特分配方法
KR20120096863A (ko) 고효율 비디오 부호화의 계층적 부호화 구조를 위한 비트율 제어 기법
CN115695799A (zh) 一种考虑时域失真传播的零时延全景视频码率控制方法
CN108322740B (zh) 一种编码复杂度可控的编码方法
CN111200730A (zh) 带宽压缩中复杂纹理的多模式两级选择预测方法
CN110049339B (zh) 图像编码中的预测方向选取方法、装置和存储介质
CN109618156A (zh) 一种视频编码码率调整方法
CN104796704B (zh) 一种用于可伸缩视频编码的宏块级码率控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant