CN109819252A - 一种不依赖gop结构的量化参数级联方法 - Google Patents

一种不依赖gop结构的量化参数级联方法 Download PDF

Info

Publication number
CN109819252A
CN109819252A CN201910214227.9A CN201910214227A CN109819252A CN 109819252 A CN109819252 A CN 109819252A CN 201910214227 A CN201910214227 A CN 201910214227A CN 109819252 A CN109819252 A CN 109819252A
Authority
CN
China
Prior art keywords
gop
frame
quantization parameter
neural network
depending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910214227.9A
Other languages
English (en)
Other versions
CN109819252B (zh
Inventor
徐艺文
伊世奇
赵铁松
房颖
林丽群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910214227.9A priority Critical patent/CN109819252B/zh
Publication of CN109819252A publication Critical patent/CN109819252A/zh
Application granted granted Critical
Publication of CN109819252B publication Critical patent/CN109819252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种不依赖GOP结构的量化参数级联方法,首先通过研究编码中帧与帧之间参考比重关系,构建不依赖GOP结构的帧间失真依赖模型;其次,选取适当的参数,使用神经网络获取失真依赖模型的系数;最后,基于编码总体率失真代价最小的原则,利用神经网络输出实现量化参数分配方案,给各个视频帧分配最佳量化参数。本发明能够实现在编码过程不依赖GOP结构的前提下,保证编码的性能。

Description

一种不依赖GOP结构的量化参数级联方法
技术领域
本发明涉及视频编码技术领域,特别是一种不依赖GOP结构的量化参数级联方法。
背景技术
视频编码方式就是指通过特定的压缩技术,将某个视频格式的文件转换成另一种视频格式文件的方式。视频压缩技术是计算机处理视频的前提。视频信号数字化后数据带宽很高,通常在20MB/秒以上,因此计算机很难对之进行保存和处理。采用压缩技术通常数据带宽降到1-10MB/秒,这样就可以将视频信号保存在计算机中并作相应的处理。
现有的大多数算法都依赖于GOP的分层编码结构,这导致对不同的结构需要重新设计算法,这使得编码器的灵活性很差。
发明内容
有鉴于此,本发明的目的是提出一种不依赖GOP结构的量化参数级联方法,能够实现在编码过程不依赖GOP结构的前提下,保证编码的性能。
本发明采用以下方案实现:一种不依赖GOP结构的量化参数级联方法,包括以下步骤:
步骤S1:构建不依赖GOP结构的帧间失真依赖模型;
步骤S2:获取神经网络输入信息,并将其输入神经网络获取编码GOP中第一帧所需的失真依赖模型的系数;
步骤S3:基于编码总体率失真代价最小的原则,利用神经网络输出实现量化参数分配方案,给各个视频帧分配最佳量化参数;
步骤S4:编码视频帧,更新神经网络输入信息;
步骤S5:判断是否当前GOP最后一帧,若是,则进入步骤S6,否则返回步骤S3;
步骤S6:判断是否最后一个GOP,若是,则结束,否则,返回步骤S3。
本发明首先通过研究编码中帧与帧之间参考比重关系,构建不依赖GOP结构的帧间失真依赖模型;其次,选取适当的参数,使用神经网络获取失真依赖模型的系数;最后,基于编码总体率失真代价最小的原则,利用神经网络输出实现量化参数分配方案,给各个视频帧分配最佳量化参数。
进一步地,步骤S1具体包括以下步骤:
步骤S11:获取不依赖GOP结构的帧间参考比重关系;
步骤S12:利用神经网络构建不依赖GOP结构的帧间失真依赖模型。
进一步地,步骤S11具体为:通过CU级别的参考关系从第j帧编码帧对第i帧参考帧的直接参考ωij的获取推导到全局参考Ωij的获取,计算过程采用下式:
式中,Nij为编码帧中来自参考帧的CUs,Nj为编码帧的CU总数。
进一步地,步骤S1中,所述不依赖GOP结构的帧间失真依赖模型为:
ξij=f(pmad,pmse,pbit,pGs,Qinitij);
式中,ξij为失真系数,pmad、pmse、pbit分别为上一个GOP的平均绝对差、均方误差、比特,pGs和Qinit分别为编码器配置的GOP大小和QP值。
进一步地,步骤S3具体包括以下步骤:
步骤S31:获取上一个已编码的GOP参数;
步骤S32:获取神经网络输入信息,并将其输入神经网络,获取神经网络的输出系数;
步骤S33:通过神经网络的输出系数求解帧的量化参数。
进一步地,步骤S3中,为了在编码质量达到最好即编码总体率失真代价最小时分配量化参数,有:
式中,第n个GOP的第k帧量化步长偏移为Δqn,k,K为GOP的总帧数,λn,k、μn,k、νn,k、mn,k均为RD依赖关系系数,表示第n个GOP中帧的平均量化步长。
与现有技术相比,本发明有以下有益效果:本发明能在实现编码过程不依赖GOP结构的前提下,达到保证编码性能的目的。
附图说明
图1为本发明实施例的流程示意图。
图2为本发明实施例的不依赖GOP结构的帧间预测示意图(低阶参考)。
图3为本发明实施例的不依赖GOP结构的帧间预测示意图(高阶参考)。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了一种不依赖GOP结构的量化参数级联方法,包括以下步骤:
步骤S1:构建不依赖GOP结构的帧间失真依赖模型;
步骤S2:获取神经网络输入信息,并将其输入神经网络获取编码GOP中第一帧所需的失真依赖模型的系数;
步骤S3:基于编码总体率失真代价最小的原则,利用神经网络输出实现量化参数分配方案,给各个视频帧分配最佳量化参数;
步骤S4:编码视频帧,更新神经网络输入信息;
步骤S5:判断是否当前GOP最后一帧,若是,则进入步骤S6,否则返回步骤S3;
步骤S6:判断是否最后一个GOP,若是,则结束,否则,返回步骤S3。
在本实施例中,步骤S1具体包括以下步骤:
步骤S11:获取不依赖GOP结构的帧间参考比重关系;
步骤S12:利用神经网络构建不依赖GOP结构的帧间失真依赖模型。
在本实施例中,步骤S11具体为:通过CU级别的参考关系从第j帧编码帧对第i帧参考帧的直接参考ωij的获取推导到全局参考Ωij的获取,计算过程采用下式:
式中,Nij为编码帧中来自参考帧的CUs,Nj为编码帧的CU总数。
具体如图2、图3所示,图2与图3中描绘了不依赖GOP结构的帧间预测结构,根据帧内CUs对其他帧CUs的参考,可得当前帧对参考帧的参考比重为:
其中ωij为编码帧(第j帧)对参考帧(第i帧)的直接参考,Nij为编码帧中来自参考帧的CUs,Nj为编码帧的CU总数。
进而得到全局参考比重:
其中,Ωij为编码帧(第j帧)对参考帧(第i帧)的全局参考。在不考虑高阶参考的情况下可以得到:
在本实施例中,步骤S1中,本实施例使用当前帧对参考帧的全局参考,结合编码过程中的一些重要信息,所述不依赖GOP结构的帧间失真依赖模型为:
ξij=f(pmad,pmse,pbit,pGs,Qinitij);
式中,ξij为失真系数,pmad、pmse、pbit分别为上一个GOP的平均绝对差、均方误差、比特,pGs和Qinit分别为编码器配置的GOP大小和QP值。
较佳的,在本实施例中,利用神经网络获取失真依赖模型的系数的方法为:设置第一个GOP的QP初始值为平均QP,然后编码。从第二个GOP开始,基于前一个GOP获取的神经网络输入,再通过神经网络获得输出系数ξij
在本实施例中,步骤S3具体包括以下步骤:
步骤S31:获取上一个已编码的GOP参数;
步骤S32:获取神经网络输入信息,并将其输入神经网络,获取神经网络的输出系数;
步骤S33:通过神经网络的输出系数求解帧的量化参数。
在本实施例中,步骤S3中,为了在编码质量达到最好即编码总体率失真代价最小时分配量化参数,有:
式中,第n个GOP的第k帧量化步长偏移为Δqn,k,K为GOP的总帧数,λn,k、μn,k、νn,k、mn,k均为RD依赖关系系数,表示第n个GOP中帧的平均量化步长。
具体的,上式的得到具体为:
本实施例在不增加总比特的情况下尽量减少失真的公式如下:
其中,ΔDtot,n,k和ΔRtot,n,k分别代表了第n个GOP中第k帧的失真和比特数变化。结合线性DQ模型和二次RQ模型有:
ΔDtot,n,k=αn,kΔDn,k
ΔRtot,n,k=βn,kΔRn,k
其中,αn,k和βn,k分别代表RQ模型和DQ模型参数。且神经网络的输出系数用于构建αn,k,βn,k因为零依赖关系设置为1:
βn,k=1;
构建不依赖GOP结构的帧间量化参数分配模型,结合上面几个式子可将其表示为
其中,第n个GOP的第k帧量化步长偏移为Δqn,k,K为GOP的总帧数,λn,k、μn,k、νn,k、mn,k均为RD依赖关系系数。该公式可以通过牛顿-拉夫逊方法求解得到,最后转化为相应的量化参数。
为了验证本实施例的有效性,本实施例分别在RA和LD结构下对JCT-VC提供的24个H.265/HEVC标准测试序列进行测试。实验结果分别如表1和表2所示。
表1 RA结构下的测试结果
表2 LD结构下的测试结果
由上表可得,本实施例的算法能在实现编码过程不依赖GOP结构的前提下,达到保证编码性能的目的。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。

Claims (6)

1.一种不依赖GOP结构的量化参数级联方法,其特征在于:包括以下步骤:
步骤S1:构建不依赖GOP结构的帧间失真依赖模型;
步骤S2:获取神经网络输入信息,并将其输入神经网络获取编码GOP中第一帧所需的失真依赖模型的系数;
步骤S3:基于编码总体率失真代价最小的原则,利用神经网络输出实现量化参数分配方案,给各个视频帧分配最佳量化参数;
步骤S4:编码视频帧,更新神经网络输入信息;
步骤S5:判断是否当前GOP最后一帧,若是,则进入步骤S6,否则返回步骤S3;
步骤S6:判断是否最后一个GOP,若是,则结束,否则,返回步骤S3。
2.根据权利要求1所述的一种不依赖GOP结构的量化参数级联方法,其特征在于:步骤S1具体包括以下步骤:
步骤S11:获取不依赖GOP结构的帧间参考比重关系;
步骤S12:利用神经网络构建不依赖GOP结构的帧间失真依赖模型。
3.根据权利要求2所述的一种不依赖GOP结构的量化参数级联方法,其特征在于:步骤S11具体为:通过CU级别的参考关系从第j帧编码帧对第i帧参考帧的直接参考ωij的获取推导到全局参考Ωij的获取,计算过程采用下式:
式中,Nij为编码帧中来自参考帧的CUs,Nj为编码帧的CU总数。
4.根据权利要求1所述的一种不依赖GOP结构的量化参数级联方法,其特征在于:步骤S1中,所述不依赖GOP结构的帧间失真依赖模型为:
ξij=f(pmad,pmse,pbit,pGs,Qinitij);
式中,ξij为失真系数,pmad、pmse、pbit分别为上一个GOP的平均绝对差、均方误差、比特,pGs和Qinit分别为编码器配置的GOP大小和QP值。
5.根据权利要求1所述的一种不依赖GOP结构的量化参数级联方法,其特征在于:步骤S3具体包括以下步骤:
步骤S31:获取上一个已编码的GOP参数;
步骤S32:获取神经网络输入信息,并将其输入神经网络,获取神经网络的输出系数;
步骤S33:通过神经网络的输出系数求解帧的量化参数。
6.根据权利要求1所述的一种不依赖GOP结构的量化参数级联方法,其特征在于:步骤S3中,为了在编码质量达到最好即编码总体率失真代价最小时分配量化参数,有:
式中,第n个GOP的第k帧量化步长偏移为Δqn,k,K为GOP的总帧数,λn,k、μn,k、νn,k、mn,k均为RD依赖关系系数,表示第n个GOP中帧的平均量化步长。
CN201910214227.9A 2019-03-20 2019-03-20 一种不依赖gop结构的量化参数级联方法 Active CN109819252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910214227.9A CN109819252B (zh) 2019-03-20 2019-03-20 一种不依赖gop结构的量化参数级联方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910214227.9A CN109819252B (zh) 2019-03-20 2019-03-20 一种不依赖gop结构的量化参数级联方法

Publications (2)

Publication Number Publication Date
CN109819252A true CN109819252A (zh) 2019-05-28
CN109819252B CN109819252B (zh) 2021-05-18

Family

ID=66609707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910214227.9A Active CN109819252B (zh) 2019-03-20 2019-03-20 一种不依赖gop结构的量化参数级联方法

Country Status (1)

Country Link
CN (1) CN109819252B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677654A (zh) * 2019-10-16 2020-01-10 西安邮电大学 高效视频编码标准低时延编码结构的量化参数级联方法
CN111314698A (zh) * 2020-02-27 2020-06-19 浙江大华技术股份有限公司 一种图像编码处理方法及装置
CN111726613A (zh) * 2020-06-30 2020-09-29 福州大学 一种基于最小可觉差的视频编码优化方法
CN111787324A (zh) * 2020-06-29 2020-10-16 北京大学 率失真优化量化的方法、编码方法及装置
CN111901597A (zh) * 2020-08-05 2020-11-06 杭州当虹科技股份有限公司 一种基于视频复杂度的cu级qp分配算法
WO2020237646A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
CN112218078A (zh) * 2020-10-16 2021-01-12 西安邮电大学 面向监控视频的高效视频编码标准量化参数级联方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110019930A1 (en) * 2009-07-27 2011-01-27 Kyohei Koyabu Image encoding device and image encoding method
CN102970540A (zh) * 2012-11-21 2013-03-13 宁波大学 基于关键帧码率-量化模型的多视点视频码率控制方法
CN103179394A (zh) * 2013-01-21 2013-06-26 北京航空航天大学 一种基于区域视频质量平稳的i帧码率控制方法
WO2016040116A1 (en) * 2014-09-11 2016-03-17 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
CN107426570A (zh) * 2016-10-28 2017-12-01 福州大学 一种低延迟视频编码的自适应Qp级联方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110019930A1 (en) * 2009-07-27 2011-01-27 Kyohei Koyabu Image encoding device and image encoding method
CN102970540A (zh) * 2012-11-21 2013-03-13 宁波大学 基于关键帧码率-量化模型的多视点视频码率控制方法
CN103179394A (zh) * 2013-01-21 2013-06-26 北京航空航天大学 一种基于区域视频质量平稳的i帧码率控制方法
WO2016040116A1 (en) * 2014-09-11 2016-03-17 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
CN107426570A (zh) * 2016-10-28 2017-12-01 福州大学 一种低延迟视频编码的自适应Qp级联方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
L.XU;ET AL: "Introducing GOP-level quantization parameter offset in high efficiency video coding", 《IEEE INTERNATIONAL SYMPOSIUM ON BROADBAND MULTIMEDIA SYSTEMS AND BROADCASTING (BMSB)》 *
裴智勇,蔡安妮: "信道感知失真的GOP结构视频编码速率控制", 《吉林大学学报(工学版)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020237646A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
CN110677654A (zh) * 2019-10-16 2020-01-10 西安邮电大学 高效视频编码标准低时延编码结构的量化参数级联方法
CN110677654B (zh) * 2019-10-16 2020-09-29 西安邮电大学 高效视频编码标准低时延编码结构的量化参数级联方法
CN111314698A (zh) * 2020-02-27 2020-06-19 浙江大华技术股份有限公司 一种图像编码处理方法及装置
CN111787324A (zh) * 2020-06-29 2020-10-16 北京大学 率失真优化量化的方法、编码方法及装置
CN111787324B (zh) * 2020-06-29 2021-05-04 北京大学 率失真优化量化的方法、编码方法及装置
CN111726613A (zh) * 2020-06-30 2020-09-29 福州大学 一种基于最小可觉差的视频编码优化方法
CN111726613B (zh) * 2020-06-30 2021-07-27 福州大学 一种基于最小可觉差的视频编码优化方法
CN111901597A (zh) * 2020-08-05 2020-11-06 杭州当虹科技股份有限公司 一种基于视频复杂度的cu级qp分配算法
CN112218078A (zh) * 2020-10-16 2021-01-12 西安邮电大学 面向监控视频的高效视频编码标准量化参数级联方法
CN112218078B (zh) * 2020-10-16 2021-09-14 西安邮电大学 面向监控视频的高效视频编码标准量化参数级联方法

Also Published As

Publication number Publication date
CN109819252B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN109819252A (zh) 一种不依赖gop结构的量化参数级联方法
TW221085B (zh)
CN109862359A (zh) 基于分层b帧的码率控制方法、装置和电子设备
CN103501438B (zh) 一种基于主成分分析的内容自适应图像压缩方法
CN111222532B (zh) 具有分类精度保持和带宽保护的边云协同深度学习模型训练方法
CN103716623B (zh) 基于加权量化的视频压缩编解码方法及编解码器
Wen et al. R-(lambda) model based improved rate control for HEVC with pre-encoding
CN107222748A (zh) 图像数据码率的处理方法和装置
CN104410861A (zh) 视频编码方法及装置
CN104902276B (zh) 变换单元划分方法及装置
CN105681793A (zh) 基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法
CN101888542B (zh) 视频转码的帧级码率控制方法及转码器
WO2009066284A4 (en) A method and system for compressing digital video streams
CN104853215B (zh) 基于运动向量局部最优性保持的视频隐写方法
CN104754335B (zh) 一种视频编码码率控制方法
CN106412611B (zh) 一种高效视频编码的复杂度控制方法
CN108965881A (zh) 码率控制方法、系统、服务器及可读存储介质
Wang et al. Inferring end-to-end latency in live videos
CN108076342A (zh) 用于编码视频的方法和编码器系统
CN112616014B (zh) 一种基于gan的全景视频自适应流传输方法
CN105898303A (zh) 码率控制方法及装置
JPH10271513A (ja) 固定伝送率mpeg映像送信機用伝送率制御方法およびその装置
CN116527909A (zh) 编码参数的传输方法、装置、设备、存储介质及程序产品
CN106817584A (zh) 一种基于fpga的mjpeg压缩实现方法和fpga
CN102780886A (zh) 一种率失真优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant