CN107426570A - 一种低延迟视频编码的自适应Qp级联方法 - Google Patents

一种低延迟视频编码的自适应Qp级联方法 Download PDF

Info

Publication number
CN107426570A
CN107426570A CN201610959687.0A CN201610959687A CN107426570A CN 107426570 A CN107426570 A CN 107426570A CN 201610959687 A CN201610959687 A CN 201610959687A CN 107426570 A CN107426570 A CN 107426570A
Authority
CN
China
Prior art keywords
image sets
gop
distortion
model
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610959687.0A
Other languages
English (en)
Other versions
CN107426570B (zh
Inventor
徐艺文
李林贵
李棋
赵铁松
范振嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201610959687.0A priority Critical patent/CN107426570B/zh
Publication of CN107426570A publication Critical patent/CN107426570A/zh
Application granted granted Critical
Publication of CN107426570B publication Critical patent/CN107426570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种低延迟视频编码的自适应Qp级联方法,首先将视频序列分为多个图像组,构造图像组的分层结构,每个图像组由4帧构成,分别处于不同的层次;其次根据不同层间以及图像组间的依赖性,推导率失真优化模型;再次引入相关模型,将率失真优化模型转化为求解最佳 的问题,同时通过更新模型参数来使模型适应不同的视频序列;最后引用拉格朗日乘子以及Newton‑Raphson方法求解模型每层最佳的,合理地分配每一帧的,实现率失真的最优化。本发明针对低延迟视频编码提出的一种自适应级联算法,主要解决低延迟视频编码的分配问题。

Description

一种低延迟视频编码的自适应Qp级联方法
技术领域
本发明涉及视频编码技术领域,特别是涉及一种低延迟视频编码的自适应 Qp级联方法。
背景技术
相比H.264,为了在相同编码质量的前提下进一步提高编码效率,HEVC(HighEfficiency Video Coding)标准提出了许多项新技术。其中包括新的预测结构、更大的编码树单元、更多帧内预测模式,以及采用分层编码结构,这使得不同层可以使用不同的Qp。然而,在HEVC标准的描述中,没有明确说明在保证(图像组平均量化参数)不变的情况下如何确定最佳的Qp。在现有的方案中,如静态的Qp级联方案,是由大量的实验数据启发得到的,保持固定不变的Qp设置,无法适应不同的视频序列,必然降低了编码性能;而多数的自适应Qp级联方案是针对H.264设计的,可能无法适用于HEVC编码结构。
发明内容
有鉴于此,本发明的目的是提供一种低延迟视频编码的自适应Qp级联方法,解决了视频编码中不同层的Qp分配问题,达到了率失真优化的目的。
本发明采用以下方案实现:一种低延迟视频编码的自适应Qp级联方法,包括以下步骤:
步骤S1:将视频序列分为多个图像组,构造图像组的分层结构,每个图像组由4帧构成,分别处于不同的层次;
步骤S2:根据不同层间以及图像组间的依赖性,推导率失真优化模型;
步骤S3:引入相关模型,将率失真优化模型转化为求解最佳Qp的问题,同时通过更新模型参数来使模型适应不同的视频序列;并引用拉格朗日乘子Λ以及 Newton-Raphson方法求解模型每层最佳的Qp,合理地分配每一帧的Qp,实现率失真的最优化。
进一步地,所述步骤S3具体包括以下步骤:
步骤S31:初始化静态Qp,得出图像组的确定图像组对Qp的影响,对第一个I帧编码;
步骤S32:对第一个图像组编码,初始化D-Q,R-Q模型的参数;
步骤S33:由模型解得最优的Ql,根据映射关系并结合图像组的影响确定每个分层最优的Qp;
步骤S34:判断det(J)=0,迭代次数超过100次,Qpl+1<Qpl是否同时成立,若是,则使用静态方案编码对图像组进行编码,若否,则采用最优的Qp对当前图像组编码,更新相关的模型参数;
步骤S35:判断当前图像是否为最后一个图像组,若是,则结束,若否,则返回步骤S33对下一个图像组进行处理。
进一步地,所述步骤S2中,根据不同层间的依赖性,推导率失真优化模型的具体方法如下:
当前帧的RD受低层参考帧的影响,其中存在大约为线性关系的帧间失真依赖性如下:
其中,R指比特率,D指失真,RD为率失真,ΔDcur和ΔDref分别表示当前帧的失真增加及其参考帧的失真增加,δ表示误差传播强度,δ∈[0,1];对于比特率,Rcur和Rref没有帧间的依赖关系,假定帧间比特率依赖性为0;
在实际的低延迟视频编码中,一个帧有多个参考帧,不是一一对应的Dcur和 Dref,简化层间的依赖关系,近似认为当前帧仅参考最相近的帧;
构造图像组帧的分层结构,编码顺序从低层到高层,第l层的平均失真的增加设为ΔDl,对图像组总体失真ΔDintra-gop,l的增加有影响,设ΔDl与ΔDintra-gop,l的关系为:
ΔDintra-gop,l=fl(ΔDl),l=0,...,L-1
其中,ΔDl为第l层的平均失真的增加,ΔDintra-gop,l为图像组总体失真的增加,f(·)为二者之间的函数关系,下标l为层的序列号,L为总层数,ΔDl和ΔDintra-gop,l的关系可表示为:
根据数学归纳法得到:
fl(ΔDl)=(1+δ)L-1-lΔDl,l=0,...,L-1
再得到:
ΔDintra-gop,l=αlΔDl,αl=(1+δ)L-1-l,l=0,...,L-1
由于帧间比特率依赖性为0,因此图像组总体比特率的增加为ΔRintra-gop,l和第l层的比特率的增加ΔRl的关系为:
ΔRintra-gop,l=βlΔRl,其中
进一步地,所述步骤S2中,根据不同图像组间的依赖性,推导率失真优化模型的具体方法如下:
在低延迟视频编码中,图像组之间存在失真依赖性,设视频序列中连续的虚拟图像组数量为N,根据图像组之间失真的依赖性,得到:
其中,ΔDinter-gop,i为改变虚拟图像组的Qp时,视频序列失真的增加,ΔDi为第i个虚拟图像组失真的增加,δgop表示图像组之间误差传播强度,δgop∈[0,1],ΔRinter-gop,i为视频序列比特率的增加,ΔRi为第i个虚拟图像组比特率的增加,ΔRinter-gop,i和ΔRi的关系为:
ΔRinter-gop,i=ΔRi
进一步地,所述步骤S3中引入相关模型为D-Q模型为R-Q模型:引用线性D-Q模型与二次方程R-Q模型,分别表示为:
D=γQ,
其中,γ、m、μ、ν为图像组各个层的参数。
进一步地,所述步骤S3中,将率失真优化模型转化为求解最佳Qp的问题,具体方法如下:
假设一个图像组分为L层,平均的量化步长Q设为自适应Qp级联的最优化问题即为找到最佳的Ql,在不增加总比特率ΔRintra-gop,l的条件下,使图像组的失真ΔDintra-gop,l最小,自适应Qp级联的最优化问题表示为:
Q表示最佳的Ql,l=0,1,2,…,L-1,ΔRintra-gop,l和ΔDintra-gop,l受到Ql, (D-Q),(R-Q)模型等相关因素影响,从上述模型解出最优的Q,经过映射关系即可得到Qp。
进一步地,所述步骤S3中更新模型参数的具体方法为:引入的相关参数为 D-Q,R-Q模型为:
D=γQ,
在编码过程逐渐更新每层的参数γl、ml、μl、νl,以适应不同的视频序列,可得:
n为图像组的下标,l为层的下标,分别是预测参数的值,ωγ、ωm、ωμ、ων表示D-Q、R-Q、MAD模型更新系数,通过HEVC常用测试视频序列所得γl、ml、μl、νl进行数据拟合而确定。
进一步地,所述步骤S3中,引用拉格朗日乘子Λ以及Newton-Raphson 方法求解模型每层最佳的Qp的具体方法为:
对图像组的所有分层应用D-Q、R-Q模型,得到:
ΔDl=γlΔQl
将上述公式以及ΔDintra-gop,l=αlΔDl,ΔRintra-gop,l=βlΔRl代入以下公式:
得到:
将不同层Qp的分配问题采用上述公式表达,通过求解得到每层最优的Q,即可得到最佳的Qp:
设al=-αlγl,bl=2βlμlml,cl=βlνlmlxl=ΔQl,可得:
引入拉格朗日乘子Λ,可得:
引用Newton-Raphson方法可求出xl的值,即每层ΔQl的值,最终可以确定不同层Qp的分配;x通过迭代得到:xt+1=xt-J-1f(xt),t为迭代次数;限制条件使得det(J)≠0成立,则xl+1有解;将解得的ΔQl结合图像组对Qp的影响,最终确定每层最佳的Qp。
与现有技术而言,本发明针对低延迟视频编码,提出了一种自适应Qp级联算法,解决在保证不变的情况下如何确定最佳Qp的问题。通过大量实验证明,本发明提出的自适应Qp级联方案比起静态自适应Qp级联方案,在实现较好的率失真优化的同时,还能够迅速适应不同的视频内容和编码配置。
附图说明
图1为本发明的LD-B/LD-P(Low-delay B、Low-delay P)层间结构示意图。
图2为本发明的LD-B/LD-P层间简化结构示意图。
图3为本发明的虚拟图像组结构示意图。
图4为本发明的步骤流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本实施例提供一种低延迟视频编码的自适应Qp级联方法,包括以下步骤:
步骤S1:将视频序列分为多个图像组,构造图像组的分层结构,每个图像组由4帧构成,分别处于不同的层次;
步骤S2:根据不同层间以及图像组间的依赖性,推导率失真优化模型;
步骤S3:引入相关模型,将率失真优化模型转化为求解最佳Qp的问题,同时通过更新模型参数来使模型适应不同的视频序列;并引用拉格朗日乘子Λ以及 Newton-Raphson方法求解模型每层最佳的Qp,合理地分配每一帧的Qp,实现率失真的最优化。
在本实施例中,如图4所示,所述步骤S3具体包括以下步骤:
步骤S31:初始化静态Qp,得出图像组的确定图像组对Qp的影响,对第一个I帧编码;
步骤S32:对第一个图像组编码,初始化D-Q,R-Q模型的参数;
步骤S33:由模型解得最优的Ql,根据映射关系并结合图像组的影响确定每个分层最优的Qp;
步骤S34:判断det(J)=0,迭代次数超过100次,Qpl+1<Qpl是否同时成立,若是,则使用静态方案编码对图像组进行编码,若否,则采用最优的Qp对当前图像组编码,更新相关的模型参数;
步骤S35:判断当前图像是否为最后一个图像组,若是,则结束,若否,则返回步骤S33对下一个图像组进行处理。
在本实施例中,所述步骤S2中,根据不同层间的依赖性,推导率失真优化模型的具体方法如下:
LD-B/LD-P(Low-delay B、Low-delay P)层间结构如图1,箭头方向表明了图像组中不同层的预测关系,帧的率失真可能受低层参考帧的影响,存在大约为线性关系的帧间失真依赖性如下:
ΔDcur和ΔDref分别表示当前帧的失真增加及其参考帧的失真增加,δ表示误差传播强度,δ∈[0,1]。δ=0说明没有帧间误差传播,低层的失真不会影响到高层;δ=1则说明帧间误差完全传播。在实验中,使用HEVC提供的常用测试视频序列,并设定δ=0.5。帧的编码比特率一般由Qp、运动搜索、熵编码决定,几乎不受误差传播的影响,因此假定帧间比特率依赖性为0。
在实际的在低延迟视频编码中,一个帧有多个参考帧,不是一一对应的Dcur和Dref。但是,经过实验统计,最相近的帧被作为参考帧的概率很大。在表1中,列举了LD-B/LD-P结构中最相近的帧被作为参考帧的百分比。其中涉及12个视频序列,每个视频序列包括4个Qp。从表中可以看出,最相近的帧被作为参考帧来预测当前帧的概率很大,尤其是Qp比较大的情况。因此,下面的推导过程只使用最相近的帧来预测当前帧是合理的,可以简化LD-B/LD-P层间依赖结构如图2。
(QP的第一列为最相近参考帧所占百分比,第二列为次相近参考帧所占百分比)
表1
根据层间依赖性,图像组中被作为参考帧频率越高的帧应该处于越低层,对应需要较好的编码质量,编码顺序应该从底层到高层。同时为了简化图像组之间的依赖关系,可以构造图3所示的虚拟图像组,从最低层到最高层的4帧作为一个图像组。以新的虚拟图像组的分层结构来代替原来编码顺序从第二层到最高层再到最低层的图像组结构。可以将图像组之间和图像组内部复杂的RD依赖性,简化为图像组内部的RD依赖性和图像组之间的RD依赖性线性叠加的关系。
设定一个虚拟图像组如图3,第l层的平均失真的增加为ΔDl,对图像组总体失真ΔDintra-gop,l的增加有影响。设ΔDl与ΔDintra-gop,l的关系为:
ΔDintra-gop,l=fl(ΔDl),l=0,...,L-1
其中,ΔDl为第l层的平均失真的增加,ΔDintra-gop,l为图像组总体失真的增加, f(·)为二者之间的函数关系,下标l为层的序列号,L为总层数。简化为一一对应的预测关系后,由图3的分层预测结构可知,ΔDl和ΔDintra-gop,l的关系可表示为:
根据数学归纳法可得:
fl(ΔDl)=(1+δ)L-1-lΔDl,l=0,...,L-1
可以得到ΔDintra-gop,l=αlΔDl,其中αl=(1+δ)L-1-l,l=0,...,L-1 帧间比特率依赖性为0,因此,图像组总体比特率的增加为ΔRintra-gop,l和第l层的比特率的增加ΔRl的关系为:
ΔRintra-gop,l=βlΔRl,其中
在本实施例中,所述步骤S2中,根据不同图像组间的依赖性,推导率失真优化模型的具体方法如下:
实验证明虚拟图像组之间也存在失真依赖性,一般没有比特率依赖性。针对低延迟视频编码,设定视频序列中连续的虚拟图像组数量为N,根据图像组之间失真的依赖性,可以得到:
ΔDinter-gop,i为改变虚拟图像组的Qp时,视频序列失真的增加。ΔDi为第i个虚拟图像组失真的增加。δgop表示图像组之间误差传播强度,δgop∈[0,1]。ΔRinter-gop,i为总体比特率的增加,ΔRi为第i个虚拟图像组比特率的增加,ΔRinter-gop,i和ΔRi的关系为:
ΔRinter-gop,i=ΔRi
引用下述的拉格朗日乘子Λ以及Newton-Raphson方法可以解得图像组对 Qp的影响。需要注意的是,虚拟图像组对Qp的影响在编码之前就已经确定,实际上并非是自适应的。
在本实施例中,所述步骤S3中引入相关模型为D-Q模型为R-Q模型:引用线性D-Q模型与二次方程R-Q模型,分别表示为:
D=γQ,
其中,γ、m、μ、ν为图像组各个层的参数。
在本实施例中,所述步骤S3中,将率失真优化模型转化为求解最佳Qp的问题,具体方法如下:
假设一个图像组分为L层,平均的量化步长Q设为为了给不同层分配不同的Q,最简单的办法就是把每层都设为另一种办法则是使用不同的Ql,l=0,1,2,...,L-1,对应不同层。然而,在l层中,以Ql代替可能导致整个图像组的总比特率和总失真的改变,分别用ΔRintra-gop,l和ΔDintra-gop,l来表示。自适应 Qp级联的最优化问题就是找到最佳的Ql,在不增加总比特率的条件下,使图像组的失真最小。更进一步,在不增加总比特率的条件下,当每个图像组的失真都是最小时,视频序列总体的失真也最小。因此,自适应Qp级联的最优化可表示为:
Q表示最佳的Ql,l=0,1,2,...,L-1,ΔRintra-gop,l和ΔDintra-gop,l受到Ql, (D-Q),(R-Q)模型等相关因素影响。从上述模型解出最优的Q,经过映射关系即可得到Qp,因此求解每层最佳的Qp等价于求解最优的Q。
在本实施例中,所述步骤S3中更新模型参数的具体方法为:引入的相关参数为D-Q,R-Q模型为:
引用线性D-Q模型、二次方程R-Q模型,表示为:
D=γQ,
为了使Qp级联动态地适应具有不同纹理、运动模式、编码配置的视频序列,需要更精确的γl、ml、μl、νl对应各个层。在编码过程中通过迭代逐渐更新每层的参数,可得:
n为图像组的下标,l为层的下标,分别是预测参数的值;ωγ、ωm、ωμ、ων表示D-Q、R-Q、MAD模型更新系数,是通过HEVC常用测试视频序列得到γl、ml、μl、νl进行数据拟合而得到的。实验中,设定ωγ=0.98、ωm=0.95、ωμ=0.70、ων=0.82。
在本实施例中,所述步骤S3中,引用拉格朗日乘子Λ以及Newton-Raphson 方法求解模型每层最佳的Qp的具体方法为:
对图像组的所有分层应用D-Q、R-Q模型,得到:
ΔDl=γlΔQl
将上述公式以及ΔDintra-gop,l=αlΔDl,ΔRintra-gop,l=βlΔRl代入以下公式:
可以得到:
将不同层Qp的分配问题用上述公式表达,通过求解这个问题可以得到每层最优的Q,再经过映射关系即可得到Qp。设al=-αlγl,bl=2βlμlml,cl=βlνlmlxl=ΔQl,可得:
引入拉格朗日乘子,可得:
由于可得:
引用Newton-Raphson方法可得:
可得:
Bl=4al(xl+d)3-2Λ(bl+clxl),
x可通过迭代得到:xt+1=xt-J-1f(xt),t为迭代次数。
在上式中,已知xl+d=Ql>0,只要使det(J)≠0,则xl+1有解。可以推测以下
是det(J)≠0的充分条件。将代入,可得:
4al(xl+d)3-2Λ(bl+clxl)=3bl(xl-d)+cl(xl-dxl-2d2)
可化为
即可得det(J)≠0。
即可得det(J)≠0。
因此,可得到限制条件
使得det(J)≠0,则xl+1有解。由此,可以确定最优的Ql,l=0,...,L-1,得:
将解得的Ql映射得到Qpl,映射关系为其中C1、C2为常数。再结合图像组对Qp的影响,最终可以确定每层最佳的Qp。
为了保证以上算法在有限的计算量内有解,如果det(J)=0或迭代次数超过 100次则采用静态Qp方案;为了保证视频编码的质量,根据低层与高层的预测关系,当高层的Qp小于最相近低层的Qp时,判定得到的Qpl错误,也采用静态 Qp方案。
为了避免图像组间的质量波动,将所有层的Qp限制在内,是通过静态Qp方案计算出来的图像组所有层的Qp的平均值。上述的限制可能导致增加的比特率大于0,为了避免比特率突然增加,用近似的办法得到Qpl,设定使图像组的保持不变。
在本实施例中,为了验证上述方案,与其他4组方案进行比较,包括SVC(可分层视频编码)默认的配置、X.Li在“Adaptive quantization parameter cascading forhierarchical video coding”提出的SVC自适应Qp级联方案、HEVC默认的F-RC (frame-level rate control)方案以及Tiesong Zhao在“Adaptive Quantization ParameterCascading in HEVC Hierarchical Coding”提出的静态图像组级联方案。其中,SVC是针对H.264设计的静态方案;Li’s的方案是针对H.264的自适应Qp级联方案;F-RC是针对HEVC提出的静态方案;Tiesong Zhao提出的方案虽然是针对HEVC 提出,但却也是静态的;而本发明的方案是针对低延迟视频编码的自适应Qp级联方案。通过对比在相同比特率时下不同的峰值信噪比、在相同的峰值信噪比下平均比特率增加量来描述不同方案的率失真优化效果。从表2中可以看出,LD-B 中本发明最大的BDPSNR和BDBR分别为0.310dB和-5.587%,平均情况下,此方案的BDPSNR和BDBR分别为0.077dB和-1.859%;在LD-P中最大的BDPSNR和BDBR分别为0.188dB和-5.792%,平均情况下,此方案的BDPSNR和BDBR分别为0.067dB 和-1.904%。本发明中图像组内部是自适应Qp级联,与Tiesong Zhao提出的静态图像组级联方案相比,在LD-B中,平均的BDPSNR和BDBR分别改善了0.012dB, -0.367%;在LD-P中,平均的BDPSNR和BDBR分别改善了0.012dB,-0.317%。
为了更进一步检测此方案的效率,把此方案和F-RC方案比较。一般而言,自适应Qp级联方案不能达到与F-RC相近的编码性能,因为自适应Qp级联方案是从图像组的层面上对不同层次分配Qp,而F-RC是从视频序列的层面对帧或者编码单元进行分配Qp。根据表2的结果来看,此方案达到了与F-RC相近的性能,
并且在编码CLASS B、CLASS E、CLASS F的视频序列时还具有更好的效果。
表2
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (8)

1.一种低延迟视频编码的自适应Qp级联方法,其特征在于:包括以下步骤:
步骤S1:将视频序列分为多个图像组,构造图像组的分层结构,每个图像组由4帧构成,分别处于不同的层次;
步骤S2:根据不同层间以及图像组间的依赖性,推导率失真优化模型;
步骤S3:引入相关模型,将率失真优化模型转化为求解最佳Qp的问题,同时通过更新模型参数来使模型适应不同的视频序列;并引用拉格朗日乘子Λ以及Newton-Raphson方法求解模型每层最佳的Qp,合理地分配每一帧的Qp,实现率失真的最优化。
2.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S3具体包括以下步骤:
步骤S31:初始化静态Qp,得出图像组的确定图像组对Qp的影响,对第一个I帧编码;
步骤S32:对第一个图像组编码,初始化D-Q,R-Q模型的参数;
步骤S33:由模型解得最优的Ql,根据映射关系并结合图像组的影响确定每个分层最优的Qp;
步骤S34:判断det(J)=0,迭代次数超过100次,Qpl+1<Qpl是否同时成立,若是,则使用静态方案编码对图像组进行编码,若否,则采用最优的Qp对当前图像组编码,更新相关的模型参数;
步骤S35:判断当前图像是否为最后一个图像组,若是,则结束,若否,则返回步骤S33对下一个图像组进行处理。
3.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S2中,根据不同层间的依赖性,推导率失真优化模型的具体方法如下:
当前帧的RD受低层参考帧的影响,其中存在大约为线性关系的帧间失真依赖性如下:
其中,R指比特率,D指失真,RD为率失真,ΔDcur和ΔDref分别表示当前帧的失真增加及其参考帧的失真增加,δ表示误差传播强度,δ∈[0,1];对于比特率,Rcur和Rref没有帧间的依赖关系,假定帧间比特率依赖性为0;
在实际的低延迟视频编码中,一个帧有多个参考帧,不是一一对应的Dcur和Dref,简化层间的依赖关系,近似认为当前帧仅参考最相近的帧;
构造图像组帧的分层结构,编码顺序从低层到高层,第l层的平均失真的增加设为ΔDl,对图像组总体失真ΔDintra-gop,l的增加有影响,设ΔDl与ΔDintra-gop,l的关系为:
ΔDintra-gop,l=fl(ΔDl),l=0,...,L-1
其中,ΔDl为第l层的平均失真的增加,ΔDintra-gop,l为图像组总体失真的增加,f(·)为二者之间的函数关系,下标l为层的序列号,L为总层数,ΔDl和ΔDintra-gop,l的关系可表示为:
根据数学归纳法得到:
fl(ΔDl)=(1+δ)L-1-lΔDl,l=0,...,L-1
再得到:
ΔDintra-gop,l=αlΔDl,αl=(1+δ)L-1-l,l=0,...,L-1
由于帧间比特率依赖性为0,因此图像组总体比特率的增加为ΔRintra-gop,l和第l层的比特率的增加ΔRl的关系为:
ΔRintra-gop,l=βlΔRl,其中
4.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S2中,根据不同图像组间的依赖性,推导率失真优化模型的具体方法如下:
在低延迟视频编码中,图像组之间存在失真依赖性,设视频序列中连续的虚拟图像组数量为N,根据图像组之间失真的依赖性,得到:
其中,ΔDinter-gop,i为改变虚拟图像组的Qp时,视频序列失真的增加,ΔDi为第i个虚拟图像组失真的增加,δgop表示图像组之间误差传播强度,δgop∈[0,1],ΔRinter-gop,i为视频序列比特率的增加,ΔRi为第i个虚拟图像组比特率的增加,ΔRinter-gop,i和ΔRi的关系为:
ΔRinter-gop,i=ΔRi
5.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S3中引入相关模型为D-Q模型为R-Q模型:引用线性D-Q模型与二次方程R-Q模型,分别表示为:
D=γQ,
其中,γ、m、μ、ν为图像组各个层的参数。
6.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S3中,将率失真优化模型转化为求解最佳Qp的问题,具体方法如下:
假设一个图像组分为L层,平均的量化步长Q设为自适应Qp级联的最优化问题即为找到最佳的Ql,在不增加总比特率ΔRintra-gop,l的条件下,使图像组的失真ΔDintra-gop,l最小,自适应Qp级联的最优化问题表示为:
Q表示最佳的Ql,l=0,1,2,...,L-1,ΔRintra-gop,l和ΔDintra-gop,l受到Ql,(D-Q),(R-Q)模型等相关因素影响,从上述模型解出最优的Q,经过映射关系即可得到Qp。
7.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S3中更新模型参数的具体方法为:引入的相关参数为D-Q,R-Q模型为:
D=γQ,
在编码过程逐渐更新每层的参数γl、ml、μl、νl,以适应不同的视频序列,可得:
n为图像组的下标,l为层的下标,分别是预测参数的值;ωγ、ωm、ωμ、ων表示D-Q、R-Q、MAD模型更新系数,通过HEVC常用测试视频序列所得γl、ml、μl、νl进行数据拟合而确定。
8.根据权利要求1所述的一种低延迟视频编码的自适应Qp级联方法,其特征在于:所述步骤S3中,引用拉格朗日乘子Λ以及Newton-Raphson方法求解模型每层最佳的Qp的具体方法为:
对图像组的所有分层应用D-Q、R-Q模型,得到:
ΔDl=γlΔQl
将上述公式以及ΔDintra-gop,l=αlΔDl,ΔRintra-gop,l=βlΔRl代入以下公式:
得到:
将不同层Qp的分配问题采用上述公式表达,通过求解得到每层最优的Q,即可得到最佳的Qp:
设al=-αlγl,bl=2βlμlml,cl=βlνlmlxl=ΔQl,可得:
引入拉格朗日乘子Λ,可得:
引用Newton-Raphson方法可求出xl的值,即每层ΔQl的值,最终可以确定不同层Qp的分配;x通过迭代得到:xt+1=xt-J-1f(xt),t为迭代次数;限制条件使得det(J)≠0成立,则xl+1有解;将解得的ΔQl结合图像组对Qp的影响,最终确定每层最佳的Qp。
CN201610959687.0A 2016-10-28 2016-10-28 一种低延迟视频编码的自适应Qp级联方法 Active CN107426570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610959687.0A CN107426570B (zh) 2016-10-28 2016-10-28 一种低延迟视频编码的自适应Qp级联方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610959687.0A CN107426570B (zh) 2016-10-28 2016-10-28 一种低延迟视频编码的自适应Qp级联方法

Publications (2)

Publication Number Publication Date
CN107426570A true CN107426570A (zh) 2017-12-01
CN107426570B CN107426570B (zh) 2020-11-03

Family

ID=60422903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610959687.0A Active CN107426570B (zh) 2016-10-28 2016-10-28 一种低延迟视频编码的自适应Qp级联方法

Country Status (1)

Country Link
CN (1) CN107426570B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109275029A (zh) * 2018-08-28 2019-01-25 北京达佳互联信息技术有限公司 视频流处理方法和装置、移动终端及存储介质
CN109819252A (zh) * 2019-03-20 2019-05-28 福州大学 一种不依赖gop结构的量化参数级联方法
CN110677654A (zh) * 2019-10-16 2020-01-10 西安邮电大学 高效视频编码标准低时延编码结构的量化参数级联方法
CN112218078A (zh) * 2020-10-16 2021-01-12 西安邮电大学 面向监控视频的高效视频编码标准量化参数级联方法
CN112351276A (zh) * 2020-11-04 2021-02-09 北京金山云网络技术有限公司 一种视频的编码方法和装置,视频的解码方法和装置
CN112351276B (zh) * 2020-11-04 2024-05-31 北京金山云网络技术有限公司 一种视频的编码方法和装置,视频的解码方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319868A (ja) * 2005-05-16 2006-11-24 Kddi Corp 画像圧縮符号化装置
CN103686172A (zh) * 2013-12-20 2014-03-26 电子科技大学 低延迟视频编码可变比特率码率控制方法
CN103702119A (zh) * 2013-12-20 2014-04-02 电子科技大学 低延迟视频编码基于可变帧率的码率控制方法
CN104221377A (zh) * 2012-04-13 2014-12-17 高通股份有限公司 用于速率失真优化量化的查找表
CN105872544A (zh) * 2016-04-19 2016-08-17 电子科技大学 低延迟视频编码中时域率失真优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319868A (ja) * 2005-05-16 2006-11-24 Kddi Corp 画像圧縮符号化装置
CN104221377A (zh) * 2012-04-13 2014-12-17 高通股份有限公司 用于速率失真优化量化的查找表
CN103686172A (zh) * 2013-12-20 2014-03-26 电子科技大学 低延迟视频编码可变比特率码率控制方法
CN103702119A (zh) * 2013-12-20 2014-04-02 电子科技大学 低延迟视频编码基于可变帧率的码率控制方法
CN105872544A (zh) * 2016-04-19 2016-08-17 电子科技大学 低延迟视频编码中时域率失真优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
万卫星: "可伸缩视频编码的自适应QP级联算法", 《计算机工程》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109275029A (zh) * 2018-08-28 2019-01-25 北京达佳互联信息技术有限公司 视频流处理方法和装置、移动终端及存储介质
CN109819252A (zh) * 2019-03-20 2019-05-28 福州大学 一种不依赖gop结构的量化参数级联方法
CN109819252B (zh) * 2019-03-20 2021-05-18 福州大学 一种不依赖gop结构的量化参数级联方法
CN110677654A (zh) * 2019-10-16 2020-01-10 西安邮电大学 高效视频编码标准低时延编码结构的量化参数级联方法
CN110677654B (zh) * 2019-10-16 2020-09-29 西安邮电大学 高效视频编码标准低时延编码结构的量化参数级联方法
CN112218078A (zh) * 2020-10-16 2021-01-12 西安邮电大学 面向监控视频的高效视频编码标准量化参数级联方法
CN112218078B (zh) * 2020-10-16 2021-09-14 西安邮电大学 面向监控视频的高效视频编码标准量化参数级联方法
CN112351276A (zh) * 2020-11-04 2021-02-09 北京金山云网络技术有限公司 一种视频的编码方法和装置,视频的解码方法和装置
CN112351276B (zh) * 2020-11-04 2024-05-31 北京金山云网络技术有限公司 一种视频的编码方法和装置,视频的解码方法和装置

Also Published As

Publication number Publication date
CN107426570B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN107426570A (zh) 一种低延迟视频编码的自适应Qp级联方法
Shao et al. Attribute compression of 3D point clouds using Laplacian sparsity optimized graph transform
CN103517069B (zh) 一种基于纹理分析的hevc帧内预测快速模式选择方法
CN103873861B (zh) 一种用于hevc的编码模式选择方法
CN104023235B (zh) 图像编码中的索引颜色历史
CN102550027B (zh) 用于图像和视频压缩的局部可变量化和混合可变长度编码
CN104539962B (zh) 一种融合视觉感知特征的可分层视频编码方法
CN102427530B (zh) 帧内预测方法
CN104243997B (zh) 一种质量可分级hevc视频编码方法
CN103634601B (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
CN105872544B (zh) 低延迟视频编码中时域率失真优化方法
CN104159117B (zh) 一种hevc视频的信息隐藏方法
CN104994382A (zh) 一种感知率失真的优化方法
CN101917614A (zh) 一种基于h.264分层b帧编码结构的码率控制方法
CN103945222B (zh) 一种基于hevc视频编码标准的码率控制模型更新方法
CN102137258A (zh) 一种立体视频码率控制方法
CN104159095B (zh) 一种多视点纹理视频和深度图编码的码率控制方法
CN104796703B (zh) 基于预测模式率失真分析的可伸缩视频编码的码率控制方法
CN102186084A (zh) 一种可伸缩视频编码的空间增强层码率控制实现方法
CN104754335B (zh) 一种视频编码码率控制方法
CN107707918A (zh) 基于hevc/h.265平均码率控制的优化算法
CN104519362B (zh) 一种邻帧预测深度相似性的视频编码方法
CN108040256A (zh) 一种基于h.265的码率控制方法、系统及装置
CN104994387A (zh) 一种融合图像特征的码率控制方法
CN107197267A (zh) 高效视频编码标准量化参数的分配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant