CN114827607A - 改进的大数据视频高保真传输编码调控方法 - Google Patents
改进的大数据视频高保真传输编码调控方法 Download PDFInfo
- Publication number
- CN114827607A CN114827607A CN202210298301.1A CN202210298301A CN114827607A CN 114827607 A CN114827607 A CN 114827607A CN 202210298301 A CN202210298301 A CN 202210298301A CN 114827607 A CN114827607 A CN 114827607A
- Authority
- CN
- China
- Prior art keywords
- prediction
- intra
- model
- rate
- root
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 262
- 230000005540 biological transmission Effects 0.000 title claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000013139 quantization Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提出一种改进的根码率层编码调控方法,同时使用帧内已编码单元的信息和帧间已编码单元的信息,定义根码率内容特征,引入帧内预测模型和帧间预测模型,根据模型权重来确定使用对应的预测方式,提出基于帧内预测的目标比特调配和模型变量更新方法,以及基于帧间预测的模型变量更新方法;最后,从整体上提出改进后的视频传输编码调控方法流程,实现基于预测模型的目标比特调配和基于预测模型的模型变量更新。本申请实际码率与目标码率的误差很小,编码调控的精确度很高;编码后的视频质量比JCTVC‑H0213方法和JCTVC‑K0103方法更好;图像质量波动性更小,率失真性能更好,具有巨大的市场应用前景。
Description
技术领域
本申请涉及一种大数据视频传输编码调控方法,特别涉及一种改进的大数据视频高保真 传输编码调控方法,属于视频传输编码调控技术领域。
背景技术
随着智能设备和互联网的迅速发展,如今社会已经进入了数字信息时代,诸如平板电脑, 智能手机等数字终端设备已经广泛的应用在普通大众的生活之中。由于人们通过移动终端设 备观看视频的需求越来越大,许多视频提供商推出了各式各样的视频类服务,如高清电视、 IPTV、在线高清电影点播服务等等。由于数字信息更加稳定,很便于存储和传输,所以视频 一般采用数字信息方式进行存储和传输。然而视频信息的数据量巨大,尤其是高清超清视频, 同时由于移动通信带宽的限制,从而造成视频信息在传输过程中的丢失与延迟,二者严重的 影响了视频用户体验感受。视频压缩编码技术正是为了解决这一难题而逐步发展起来的一项 核心技术,这项技术极大的推动了数字视频产业的发展与壮大。
数字视频通常是由许多在时域上间隔相同的图像组成,基于人眼的视觉特征,通过每秒 播放24帧以上的图像来获得人眼视觉上的连续的视频效果,然而这些连续帧的图像往往含有 大量相同或者相似的内容,同时每帧图像本身也会有一定相同或者相似的内容,通过视频压缩 编码技术对视频信息进行压缩编码,可以尽可能去除掉视频信息中的时间冗余和空间冗余,从 而可以更加高效的存储和传输视频信息。
虽然目前通信技术已得到飞速发展,但通信信道的有限容量始终是数字视频产业快速发 展的瓶颈。亟需解决如何在有限容量的通信信道上,获得最优的视频质量的问题。同时,如 果想要充分地利用信道的容量,编码调控技术就必须能够精确的控制数字视频的传输码率; 否则,如果传输码率超出了信道容量,则会造成信息的丢失或者延迟,而当码率达不到信道 容量时,又无法获得最佳的视频质量。香农限失真信源编码定理指出了在给定的传输码率下, 通过视频压缩编码达到的最小失真,但香农定理并没有给出实现或逼近最小失真的具体方法。 所以,研究逼近最小失真的编码调控技术具有很重要的作用。当码率被限定在某一特定的数 值时,需要在保证编码调控的精确性的前提下尽可能的提高压缩编码后的视频质量。
由于传输信道的容量的限制以及用户对传输时延的要求,视频的压缩编码过程必须拥有 精确且高效的编码调控方法。编码调控方法是指在目标码率的约束条件,通过选择最佳的一 系列编码变量,使得压缩编码后的输出码率符合既定的目标码率,同时使编码后的视频质量 尽量好。在实际的视频压缩编码标准中,由于编码时所采用的量化变量QP是影响输出码率的 主要因素,因此编码调控方法的最终目的是根据给定的目标码率,通过相应的方法来确定视 频编码时所需的量化变量。采用编码调控的误差、视频的客观质量、率失真性能和图像质量 的波动性来评价编码调控方法的优劣。
从编码调控策略的角度,可以将编码调控方法分为预编码的编码调控方法、预分析的编 码调控方法和反馈修正的编码调控方法。预编码的编码调控方法是指在正式编码前预先编码 视频序列中的前几帧图像,从而获得视频的内容特征,然后采用该内容特征对视频进行正式编 码。该类方法可以快速且精确地控制输出码率,但方法的复杂度较高,且不适用于具有剧烈 运动特征的视频。预分析的编码调控方法是在编码前采用特定的方法先对图像帧的特征进行 分析,然后将分析得到的结果用于编码调控,此类方法的复杂度很高,不适合实际应用。反馈 修正的编码调控方法是利用已编码完成帧的反馈信息来修正编码调控中的相关模型与方法。 该类方法使用的信息是编码本身产生的信息,不需要额外的计算量,因而方法复杂度较低, 且可以有效地控制输出码率。
综上所述,现有技术的大数据视频传输编码调控仍存在若干问题和缺陷,本申请的难点 和待解决的问题主要集中在以下方面:
(1)当前视频信息的数据量巨大,同时由于带宽特别是移动通信带宽的限制,造成视频 信息在传输过程中的丢失与延迟,二者严重的影响了视频用户体验感受,当前的视频压缩编 码还不能完全适应数字视频产业快速发展与壮大的需要,通信信道的有限容量始终是数字视 频产业快速发展的瓶颈,无法有限容量的通信信道上,获得最优的视频质量的问题;无法充 分的利用信道容量,缺少精确的控制数字视频的传输码率的方法,经常导致传输码率超出了 信道容量,造成信息的丢失或延迟,或者码率达不到信道容量,无法获得最佳的视频质量。 缺少在给定的传输码率下,通过视频压缩编码达到的最小失真的具体方法,当码率被限定在 特定数值时,无法在保证编码调控的精确性的前提下尽可能提高压缩编码后的视频质量。
(2)由于传输信道的容量的限制以及用户对传输时延的要求,现有技术视频压缩编码过 程精确度和效率都还无法完全满足要求,缺少在目标码率的约束条件,通过选择最佳的一系 列编码变量,使得压缩编码后的输出码率符合既定的目标码率,同时使编码后的视频质量尽 量好的方法;编码时所采用的量化变量QP是影响输出码率的主要因素,现有技术的方法无法 根据给定的目标码率来确定视频编码时所需的量化变量,造成编码调控的误差相对较大、视 频的客观质量降低、率失真性能差和图像质量的波动性大,不能适应当前超清视频高速发展 的需要。
(3)现有技术预编码的编码调控方法可以快速且精确地控制输出码率,但方法的复杂度 较高,且不适用于具有剧烈运动特征的视频;预分析的编码调控方法复杂度很高,不适合实 际应用;反馈修正的编码调控方法使用的信息是编码本身产生的信息,不需要额外的计算量, 因而方法复杂度较低,且还无法高效的控制输出码率;现有技术缺少一种模型构建与概念准 确定义,包含根码率内容特征、定义帧内预测方法、定义预测模型的方法;缺少基于帧内预 测的目标比特调配方法和基于预测模型的目标比特调配方法,缺少帧间和帧内预测的模型变 量更新、基于预测模型的模型变量更新方法,导致大数据量视频质量不高。
(4)现有技术缺少一种有效的根码率层编码调控方法,无法同时使用帧内已编码单元的 信息和帧间已编码单元的信息,缺少根码率内容特征定义,未引入帧内预测模型和帧间预测 模型,无法根据模型权重来确定使用对应的预测方式,缺少基于帧内预测的目标比特调配和 模型变量更新方法,以及基于帧间预测的模型变量更新方法;无法实现基于预测模型的目标 比特调配和基于预测模型的模型变量更新;现有技术的实际码率与目标码率的误差大,编码 调控的精确度较低;现有技术编码后的视频质量不够好,图像质量波动性大,率失真性能较 差,造成视频信息在传输过程中的丢失与延迟,严重影响用户体验感受,阻碍了数字视频产 业的发展与壮大。
发明内容
本申请提出一种改进的根码率层编码调控方法,同时使用帧内已编码单元的信息和帧间 已编码单元的信息,定义根码率内容特征,引入帧内预测模型和帧间预测模型,根据模型权 重来确定使用对应的预测方式,提出基于帧内预测的目标比特调配和模型变量更新方法,以 及基于帧间预测的模型变量更新方法;最后,从整体上提出改进后的视频传输编码调控方法流 程,实现基于预测模型的目标比特调配和基于预测模型的模型变量更新。本申请实际码率与 目标码率的误差很小,编码调控的精确度很高;编码后的视频质量比JCTVC-H0213方法和 JCTVC-K0103方法更好;图像质量波动性更小,率失真性能更好。
为实现以上技术效果,本申请所采用的技术方案如下:
改进的大数据视频高保真传输编码调控方法,一是模型构建与概念定义,包括:定义根 码率内容特征、定义帧内预测方法、定义预测模型;二是改进的目标比特调配方法,包括: 基于帧内预测的目标比特调配方法、基于预测模型的目标比特调配方法;三是改进的模型变 量更新方法,包括:基于帧间预测的模型变量更新、基于帧内预测的模型变量更新、基于预 测模型的模型变量更新;
本申请提出一种改进的根码率层编码调控方法,同时使用帧内已编码单元的信息和帧间 已编码单元的信息,定义根码率内容特征,引入帧内预测模型和帧间预测模型,根据模型权 重来确定使用对应的预测方式,提出基于帧内预测的目标比特调配和模型变量更新方法,以 及基于帧间预测的模型变量更新方法;最后,从整体上提出改进后的视频传输编码调控方法流 程,实现基于预测模型的目标比特调配和基于预测模型的模型变量更新。
优选地,定义根码率内容特征:定义衡量不同的根码率的内容特征,相邻根码率的量化 变量QP值相差不超过1,近似看作相等,对于采用相同量化变量进行编码的根码率,如果其 相邻根码率编码后的失真D和所需比特数R与当前根码率近似相同,认定它们具有相同或者 相似的内容特征,采用符号S来表示根码率的内容特征,其具体定义如下:
S=D×R=MAD×bppreal 式1
式1中,D表示广义上的根码率的失真,R表示广义上的根码率编码所需的比特数,MAD 是根码率内像素的平均绝对误差,表征根码率的失真,bppreal是根码率编码后实际所需的每像 素比特数,其值通过式2计算得到;
根码率的内容特征由其失真信息和所需比特数信息两者共同确定,且其定义是基于像素 的;
式2中,Rreal_LCU表示根码率编码后实际所需的息比特数;Npixels_LCU表示根码率的像素的总数量;
假设同一根码率的率失真曲线上有点A,其坐标为(R,D);同时在点A附近有位于曲线上 的点B,其坐标表示为(R+△R,D+△D),得到下面的近似计算公式:
ΔD=-λ·ΔR 式3
如果采用式3的近似公式,点A和点B的内容特征的相对误差s计算如下:
式4中,SA表示点A的内容特征值,SB表示点B的内容特征值,相对误差ε的近似结果是在忽略高阶无穷小的条件下得到的,得到:
其中,α和β是模型参数,实际使用时用每像素的平均比特数bpp来代替R,每一帧和每 一基本单元都对应一组单独的α和β;
D=CR-K 式6
C和K是模型参数,将式5代入式4得到:
在△R变化不大的情况下,相对误差s近似为零,将点A看作当前根码率的编码特征, 而将点B看作与当前单元相邻的根码率的编码特征,如果当前根码率与相邻根码率的编码特 征相同,它们的△R则近似为零,即它们的内容特征相等;反之,则它们的△R不为零,即它 们的内容特征不相等,对于相邻的根码率,采用式1来表征根码率的内容特征。
优选地,定义帧内预测方法:如果两个相邻根码率的内容特征值近似相等,则认定它们 的内容相同,即其率失真模型变量和目标比特数调配也相同,通过比较相邻且不同方向的根 码率的内容特征的值的差异,表征预测当前帧中的纹理信息,而对于同一纹理的根码率使用 相同的率失真模型变量和目标比特数调配,本申请将这种预测方法定义为帧内预测方法,当 一个根码率编码完成后,编码器就得到其失真和所需的比特数,在编码下一个根码率之前,编 码器利用相邻的已编码的根码率的内容特征进行预测,CTU0是当前待编码的根码率,CTU1-CTU6是与CTU0相邻或相近的根码率,采用波前并行处理技术,在编码CTU0之前,编码器已完成 CTU1-CTU6的编码。
对于当前根码率CTU,其帧内预测通过如下方法进行:
S0_H=S6 if S2≈S3
S0_V=S3 if S2≈S6
S0_L=S2 if S1≈S0
S0_R=S4 if S3≈S6 式8
式8中,S1、S2、S3、S4和S6分别表示根码率CTU1-CTU4和CTU6的内容特征值;S0_H、S0_V、S0_L和S0_R分别表示当前待编码根码率CTU。的水平方向预测的内容特征值,垂直方向预测的内容特征值,左上角方向预测的内容特征和右上角方向预测的内容特征值;
如果相邻的根码率的内容特征的相对误差s小于0.3,即满足式7右侧的条件,则认定 它们的内容特征相同,即具有相同的模型变量α和β,相同的目标比特调配,此时式7左侧中相应的根码率为当前根码率的预测单元;
同时,编码器按照式7中的预测顺序依次进行计算,如果存在2个方向的预测单元,则 编码器停止计算;然后利用这2个方向的预测单元所对应的模型变量或者目标比特数来更新 当前根码率的模型变量或者目标比特数;
对于只有1个预测单元的情况,编码器则直接利用该预测单元的模型变量或者目标比特 数来更新当前待编码根码率的模型变量或者目标比特数,如果没有预测单元,编码器则不进行 模型变量或者目标比特数的更新。
优选地,定义一个预测模型变量来衡量对应预测的准确性,编码器在编码前能自适应选 择其中相对更好的预测模式,其中,当前根码率帧间预测的权重ωInter定义如下:
式9中,SlastSameLevel表示与当前帧同一类别且相邻的已编码帧中与当前根码率同一位置的单 元的内容特征,ScurrLCU表示当前根码率的内容特征,帧间预测的权重ωlnter在当前根码率编码 完成后即进行计算,根码率的内容特征值越接近,则预测模型的值越大,其值最大为1,此 时表示两个根码率的内容特征完全相同;
帧内预测的权重和帧间预测的权重计算方法类似,只是需用当前帧中与当前根码率相邻 的根码率的内容特征代替式9中的SlastSameLevel;
当前根码率CTU0使用相邻单元CTU2-CTU4和CTU6的内容特征,并按式8中左侧的顺序依次 计算帧内预测的权重,然后取顺序靠前且值大于0.7的2个权重进行平均,此平均值即为最终 的帧内预测模型的值;
如果只有1个权重的值大于0.7,则该权重即为最终的帧内预测模型的值,如果权重均 小于0.7,则最终的帧内预测模型的值为0;
式10中,ωIntra_i是当前根码率各个方向上的帧内预测模型,其值通过式9计算得到,此 时式9中的SlastSameLevel为当前帧中与当前根码率相邻的单元的内容特征值,ωInter是当前根码率最 终的帧内预测模型,帧内预测模型是在当前根码率编码完成后即进行计算。
优选地,基于帧内预测的目标比特调配方法:建立在本申请帧内预测方法的定义基础上, 如果根据帧内预测方法,只存在一个预测单元,那么方法具体的目标比特TCurrLCU_Intra_j,调配 方法如下:
式11中,Rcoded_pic表示当前帧中所有已编码完成的根码率实际所需比特数,ωcoded_i表示 当前帧中各根码率的比特调配的预测模型,ωCurrLCU_pred表示预测得到的当前根码率的比特调 配的预测模型,其值为通过帧内预测方法得到的预测单元的比特调配的预测权值,式11中的 预测模型根据当前帧中已编码的根码率的失真信息MAD值计算得到;
对于只有1个预测单元的情况,编码器则直接利用该预测单元的目标比特数来更新当前 根码率的目标比特数,如果按照帧内预测方法得到的预测单元有2个,那么最终的帧内预测 目标比特数为二者的平均:
式12中,TCurrLCU_Intra是最终的帧内预测目标比特数,TCurrLCU_Intra_1、TCurrLCU_Intra_2是按照 式11计算得到的帧内预测目标比特数;
如果没有预测单元,则编码器不进行相应的目标比特数的更新,而是直接采用原始的目 标比特调配方法。
优选地,基于预测模型的目标比特调配方法:融合帧内预测和帧间预测方法,编码器根 据预测模型的大小自适应的选择最佳的预测模式,首先根据帧内预测方法的定义,找到相应 的预测单元,然后,根据预测单元的帧内预测模型和帧间预测模型,得到预测后的当前待编 码的根码率的权重,如果存在2个预测单元,预测的当前根码率的权重计算方法如下:
式13中,ωCurr_Intra_pred表示预测的当前根码率的帧内预测权值;ωIntra_pred_1和ωIntra_pred_2分别表示对应的预测单元实际的帧内预测权值,其值通过式10计算得到,式14中,ωCurr_Intra_pred表示预测的当前根码率的帧间预测权值,ωIntra_pred_1和ωIntra_pred_2分别表示对 应的预测单元实际的帧之间预测权值,其值通过式9计算得到,式13和式14在当前根码率 编码前进行计算;
最后,根据预测的当前根码率的权重,编码器确定使用的预测方式:
式15中,TCurrLCU是根码率最终的目标比特数,TCurrLCU_Intra、TCurrLCU_Intra分别是根码率帧间 预测的目标比特数和帧内预测的目标比特数,ωCurr_Intra_pred、ωCurr_Intra_pred分别是预测的当前 根码率的帧间预测模型和帧内预测权重,其值分别通过式13和式14计算得到。
优选地,基于帧间预测的模型变量更新:利用已编码的相邻帧的编码信息进行当前帧中 根码率的模型变量的更新,假设同一类别的相邻帧中同一位置的根码率与当前帧中的当前根 码率具有相同的内容特征,即具有相同的率失真曲线,即它们具有相同的模型变量,通过率 失真曲线上的两个点的坐标来计算模型变量:
式16中,λ1、bpp1分别表示当前根码率编码时采用的拉格朗日乘子和完成编码后实际所 需的每像素的比特数;λ2、bpp2分别表示同一类别的相邻帧中同一位置的根码率编码时采用 的拉格朗日乘子和完成编码后实际所需的每像素的比特数,对式16两边取自然对数,得到如 下公式:
对式17中的两个方程进行求解,得到模型变量的更新公式:
式18即为基于帧间预测的模型变量更新方法,以下为几种需要单独处理得特殊情况:
1)当bpp1=bpp2时,β的值不能按式18更新,此时令β=-0.36,α仍按照式18进行更新;
2)当bpp1=bpp2,且λ1=λ2时,表示两个根码率的内容特征完全相同,β的值不能按照式 18更新,此时令β=-0.36,α仍旧按照式18进行更新;
3)当按照式18计算时,如果β≥0,则β不能按照式18更新,此时令β=-0.36,α仍按照式18进行更新,率失真曲线是下凸函数,故其模型必须满足β<0;
最后,将更新后的模型变量限制在合理的取值范围内,其中β的取值范围是[-3.0,-0.36], α的取值范围为[1.0×10-20,1.0×108]。
优选地,基于帧内预测的模型变量更新:其中帧内预测的方法仍然按照本申请帧内预测 方法进行,最后采用预测单元的模型变量的均值来更新当前根码率的模型变量,具体的模型 变量更新方法如下:
在式19和式20中,αIntra和βIntra表示基于帧内预测的当前根码率的模型变量;α1和β1表示预测单元的模型变量,α2和β2表示另一个预测单元的模型变量;
对于只有1个预测单元的情况,编码器则直接利用该预测单元的模型变量来更新当前根 码率的模型变量,如果没有预测单元,则编码器不进行相应的模型变量的更新,基于帧内预 测的模型变量更新在当前根码率编码前进行。
优选地,基于预测模型的模型变量更新:融合帧内预测和帧间预测方法,编码器根据预 测模型的大小自适应的选择最佳的预测模式,首先,根据基于预测模型的目标比特调配中权 重的计算方法,得到预测的当前根码率的权重,然后,根据权重大小,编码器采用如下方法 进行变量更新:
式21中,α、β表示编码前根码率最终的模型变量,αInter、βInter表示基于帧间预测的模 型变量,其值分别通过式18计算得到,αIntra、βIntra表示基于帧内预测的模型变量,其值分别 通过式19和式20计算得到,ωCurr_Inter_pred、ωCurr_Intra_pred分别是帧间预测权值和帧内预测权 值,基于预测模型的模型变量更新在当前根码率编码前进行。
与现有技术相比,本申请的创新点和优势在于:
(1)基于传输视频信号的信道容量资源的稀缺性和通信需求量的与日俱增,每个通信请 求平均调配的带宽资源很有限,而原始视频数据量巨大,本申请对原始视频信息进行压缩编 码,去掉其中的冗余信息,以便减小视频的数据量,提出改进后的编码调控方法,其中改进 的部分主要是基于根码率层的编码调控,先引入帧内预测模型和帧间预测模型,根据模型权 重来确定使用对应的预测方式,提出基于帧内预测的目标比特调配和模型变量更新方法,以 及基于帧间预测的模型变量更新方法;最后,从整体上提出改进后的视频传输编码调控方法流 程,并官方推荐的实验标准进行了实验对比,证明本申请编码调控的误差小、视频的客观质 量好、率失真性能优和图像质量的波动性弱,具有巨大的应用前景。
(2)本申请充分利用当前帧中已编码的根码率的失真信息和比特数信息来进行目标比特 调配和模型变量更新,编码调控的准确性增加,方法性能也有一定提升,提出一种基于帧内 预测的目标比特调配方法和模型变量更新方法,通过比较相邻且不同方向的根码率的内容特 征的值的差异,表征预测当前帧中的纹理信息,而对于同一纹理的根码率使用相同的率失真 模型变量和目标比特数调配,改进后的根码率层编码调控方法同时使用帧内预测和帧间预测, 创造性的定义一个预测模型变量来衡量对应预测的准确性,以便编码器在编码前能自适应选 择其中相对更好的预测模式,改进后实际码率与目标码率的误差很小,与其它方法对比,编 码调控的精确度很高;
(3)针对当前方法只采用了帧间预测来进行目标比特调配,如果原始视频的运动很剧烈, 相邻帧之间的相关性就会减弱,影响帧间预测的准确性,本申请提出基于帧内预测的目标比 特调配方法,提高预测准确性,同时基于帧内预测和帧间预测,提出基于预测模型的目标比特 调配方法,该方法融合帧内预测和帧间预测方法,编码器根据预测模型的大小自适应的选择 最佳的预测模式,改进后图像质量波动性更小,方法的率失真性能更好。
(4)针对现有技术对其模型变量进行更新时,只采用了当前根码率本身的编码信息进行 变量的修正与更新,而没有使用已编码完的前一帧的编码信息,本申请基于相邻帧中同一位 置的根码率具有很强的相关性,利用已编码的相邻帧的编码信息进行当前帧中根码率的模型 变量的更新,从而进一步提高模型的准确性。针对原始视频运动很剧烈,相邻帧之间的相关 性就会减弱,影响基于帧间预测的模型变量更新的准确性,本申请提出基于帧内预测的模型 变量更新方法,其中帧内预测的方法仍然按照本申请帧内预测方法进行,最后采用预测单元 的模型变量的均值来更新当前根码率的模型变量,进一步提高模型变量预测的准确性。本申 请提出基于预测模型的模型变量更新方法,该方法融合帧内预测和帧间预测方法,编码器根 据预测模型的大小自适应的选择最佳的预测模式,同时使用帧内预测和帧间预测,预测的准 确性大幅增加,编码后的视频质量比JCTVC-H0213方法和JCTVC-K0103方法更好。
附图说明
图1是帧内预测方法的根码率结构示意图。
图2是低时延配置下码率控制的实际码率对比示意图。
图3是随机介入配置下码率控制的实际码率对比示意图。
图4是低时延配置下码率控制的图像质量波动性对比示意图。
图5是随机介入配置下码率控制的图像质量波动性对比示意图。
图6是低时延配置下码率控制的率失真性能对比示意图。
图7是随机介入配置下码率控制的率失真性能对比示意图。
图8是Kimono在低时延配置下的R-D曲线对比示意图。
图9是BOMall在随机介入配置下的R-D曲线对比示意图。
图10是BasketballPass在低时延配置下的R-D曲线对比示图。
具体实施方法
下面结合附图,对本申请提供的改进的大数据视频高保真传输编码调控方法的技术方案 进行进一步描述,使本领域技术人员能够更好的理解本申请并能够予以实施。
由于用于传输视频信号的信道容量资源的稀缺性和通信需求量的与日俱增,导致每个通 信请求平均调配的带宽资源很有限。而原始视频信息是由许多连续的图像帧信息组成,其数 据量巨大。因此,需要对原始视频信息进行压缩编码,去掉其中的冗余信息,以便减小视频 的数据量。
针对JCTVC-K0103编码调控方法中只使用了帧间已编码单元的信息而没有使用帧内已编 码单元的信息进行目标比特调配和模型变量更新等不足之处,本申请提出一种改进的根码率 层编码调控方法,充分利用了帧内已编码单元的信息和帧间已编码单元的信息,且引入了帧 内预测方法,最终提出了基于预测模型的目标比特调配方法和基于预测模型的模型变量更新 方法。实验结果表明,与JCTVC-H0213方法和JCTVC-K0103方法相比,本申请提出的改进的 编码调控方法的编码调控误差很小,率失真性能更优,视频质量的波动性更小。
一、模型构建与概念定义
(一)定义根码率内容特征
本申请充分利用当前帧中已编码的根码率的失真信息和比特数信息来进行目标比特调配 和模型变量更新,编码调控的准确性增加,方法性能也有一定提升,提出一种基于帧内预测 的目标比特调配方法和模型变量更新方法,先定义衡量不同的根码率的内容特征,相邻根码 率的量化变量QP值相差不超过1,即它们之间的差异很小,近似看作相等,对于采用相同量 化变量进行编码的根码率,如果其相邻根码率编码后的失真D和所需比特数R与当前根码率 近似相同的话,认定它们具有相同或者相似的内容特征,采用符号S来表示根码率的内容特 征,其具体定义如下:
S=D×R=MAD×bppreal 式1
式1中,D表示广义上的根码率的失真,R表示广义上的根码率编码所需的比特数,MAD 是根码率内像素的平均绝对误差,表征根码率的失真,bppreal是根码率编码后实际所需的每像 素比特数,其值通过式2计算得到,根码率的内容特征由其失真信息和所需比特数信息两者 共同确定,且其定义是基于像素的;
式2中,Rreal_LCU表示根码率编码后实际所需的息比特数;Npixels_LCU表示根码率的像素的总数量;
假设同一根码率的率失真曲线上有点A,其坐标为(R,D);同时在点A附近有位于曲线上 的点B,其坐标表示为(R+△R,D+△D),得到下面的近似计算公式:
ΔD=-λ·ΔR 式3
如果采用式3的近似公式,点A和点B的内容特征的相对误差s计算如下:
式4中,SA表示点A的内容特征值,SB表示点B的内容特征值,相对误差ε的近似结果是在忽略高阶无穷小的条件下得到的,得到:
其中,α和β是模型参数,实际使用时用每像素的平均比特数bpp来代替R,每一帧和每 一基本单元都对应一组单独的α和β;
D=CR-K 式6
C和K是模型参数,将式5代入式4得到:
在ΔR变化不大的情况下,相对误差s近似为零,即其内容特征的值基本不变,将点A 看作当前根码率的编码特征,而将点B看作与当前单元相邻的根码率的编码特征,如果当前 根码率与相邻根码率的编码特征相同,它们的ΔR则近似为零,即它们的内容特征相等;反 之,则它们的ΔR不为零,即它们的内容特征不相等,对于相邻的根码率,采用式1来表征根 码率的内容特征。
(二)定义帧内预测方法
如果两个相邻根码率的内容特征值近似相等,则认定它们的内容基本相同,即其率失真 模型变量和目标比特数调配也基本相同,通过比较相邻且不同方向的根码率的内容特征的值 的差异,表征预测当前帧中的纹理信息,而对于同一纹理的根码率使用相同的率失真模型变 量和目标比特数调配,本申请将这种预测方法定义为帧内预测方法,当一个根码率编码完成 后,编码器就得到其失真和所需的比特数,在编码下一个根码率之前,编码器利用相邻的已编 码的根码率的内容特征进行预测。如图1所示,CTU0是当前待编码的根码率,CTU1-CTU6是与 CTU0相邻或相近的根码率,采用波前并行处理技术,在编码CTU0之前,编码器已完成CTU1-CTU6的编码。对于当前根码率CTU,其帧内预测通过如下方法进行:
S0_H=S6 if S2≈S3
S0_V=S3 if S2≈S6
S0_L=S2 if S1≈S6
S0_R=S4 if S3≈S6 式8
式8中,S1、S2、S3、S4和S6分别表示根码率CTU1-CTU4和CTU6的内容特征值;S0_H、S0_V、S0_L和S0_R分别表示当前待编码根码率CTU。的水平方向预测的内容特征值,垂直方向预测的内容特征值,左上角方向预测的内容特征和右上角方向预测的内容特征值。
如果相邻的根码率的内容特征的相对误差s小于0.3,即满足式7右侧的条件,则认定 它们的内容特征相同,即具有相同的模型变量α和β,相同的目标比特调配,此时式7左侧中相应的根码率为当前根码率的预测单元,同时,编码器按照式7中的预测顺序依次进行计算,如果存在2个方向的预测单元,则编码器停止计算;然后利用这2个方向的预测单元所对应的模型变量或者目标比特数来更新当前根码率的模型变量或者目标比特数。
对于只有1个预测单元的情况,编码器则直接利用该预测单元的模型变量或者目标比特 数来更新当前待编码根码率的模型变量或者目标比特数,如果没有预测单元,编码器则不进行 模型变量或者目标比特数的更新。
(三)定义预测模型
改进后的根码率层编码调控方法同时使用帧内预测和帧间预测,因此定义一个预测模型 变量来衡量对应预测的准确性,以便编码器在编码前能自适应选择其中相对更好的预测模式, 其中,当前根码率帧间预测的权重ωInter定义如下:
式9中,SlastSameLevel,表示与当前帧同一类别且相邻的已编码帧中与当前根码率同一位置的单 元的内容特征,ScurrLCU表示当前根码率的内容特征,帧间预测的权重ωInter在当前根码率编码 完成后即进行计算,根码率的内容特征值越接近,则预测模型的值越大,其值最大为1,此 时表示两个根码率的内容特征完全相同。
帧内预测的权重和帧间预测的权重计算方法类似,只是需用当前帧中与当前根码率相邻 的根码率的内容特征代替式9中的SlastSameLevel,如图1中,与帧内预测方法类似,当前根码率 CTU。使用相邻单元CTU2-CTU4和CTU6的内容特征,并按式8中左侧的顺序依次计算帧内预测 的权重,然后取顺序靠前且值大于0.7的2个权重进行平均,此平均值即为最终的帧内预测模 型的值,如果只有1个权重的值大于0.7,则该权重即为最终的帧内预测模型的值,如果权 重均小于0.7,则最终的帧内预测模型的值为0;
式10中,ωIntra_i是当前根码率各个方向上的帧内预测模型,其值通过式9计算得到,此 时式9中的SlastSameLevel为当前帧中与当前根码率相邻的单元的内容特征值,ωInter是当前根码率最 终的帧内预测模型,帧内预测模型是在当前根码率编码完成后即进行计算的。
二、改进的目标比特调配方法
(一)基于帧内预测的目标比特调配方法
当前方法只采用了帧间预测来进行目标比特调配,但是,如果原始视频的运动很剧烈, 相邻帧之间的相关性就会减弱,影响帧间预测的准确性。因此,为提高预测准确性,本申请提 出基于帧内预测的目标比特调配方法,该方法建立在本申请帧内预测方法的定义基础上,如 果根据帧内预测方法,只存在一个预测单元,那么方法具体的目标比特TCurrLCU_Intra_j,调配方 法如下:
式11中,Rcoded_pic表示当前帧中所有已编码完成的根码率实际所需比特数,ωcoded_i表示 当前帧中各根码率的比特调配的预测模型,ωCurrCU_pred表示预测得到的当前根码率的比特调 配的预测模型,其值为通过帧内预测方法得到的预测单元的比特调配的预测权值,式11中的 预测模型根据当前帧中已编码的根码率的失真信息MAD值计算得到;
对于只有1个预测单元的情况,编码器则直接利用该预测单元的目标比特数来更新当前 根码率的目标比特数,如果按照帧内预测方法得到的预测单元有2个,那么最终的帧内预测 目标比特数为二者的平均:
式12中,TCurrLCU_Intra是最终的帧内预测目标比特数,TCurrLCU_Intra_1、TCurrLCU_Intra_2是按照 式11计算得到的帧内预测目标比特数;
如果没有预测单元,则编码器不进行相应的目标比特数的更新,而是直接采用原始的目 标比特调配方法。
(二)基于预测模型的目标比特调配方法
如果编码调控方法同时基于帧内预测和帧间预测,那么预测的准确性会增加,所以,本 申请提出基于预测模型的目标比特调配方法,该方法融合帧内预测和帧间预测方法,编码器 根据预测模型的大小自适应的选择最佳的预测模式,首先根据帧内预测方法的定义,找到相 应的预测单元,然后,根据预测单元的帧内预测模型和帧间预测模型,得到预测后的当前待 编码的根码率的权重,如果存在2个预测单元,那么预测的当前根码率的权重计算方法如下:
式13中,ωCurr_Intra_pred表示预测的当前根码率的帧内预测权值;ωIntra_pred_1和ωIntra_pred_2分别表示对应的预测单元实际的帧内预测权值,其值通过式10计算得到,式14中,ωCurr_Intra_pred表示预测的当前根码率的帧间预测权值,ωIntra_pred_1和ωIntra_pred_2分别表示对 应的预测单元实际的帧之间预测权值,其值通过式9计算得到,式13和式14在当前根码率 编码前进行计算;
最后,根据预测的当前根码率的权重,编码器确定使用的预测方式:
式15中,TCurrLCU是根码率最终的目标比特数,TCurrLCU_Intra、TCurrLCU_Intra分别是根码率帧间 预测的目标比特数和帧内预测的目标比特数,ωCurr_Intra_pred、ωCurr_Intra_pred分别是预测的当前 根码率的帧间预测模型和帧内预测权重,其值分别通过式13和式14计算得到。
三、改进的模型变量更新方法
(一)基于帧间预测的模型变量更新
在当前根码率编码完成之后,当前对其模型变量进行更新时,只采用了当前根码率本身 的编码信息进行变量的修正与更新,而没有使用已编码完的前一帧的编码信息。通常,相邻 帧中同一位置的根码率具有很强的相关性,因此本申请利用已编码的相邻帧的编码信息进行 当前帧中根码率的模型变量的更新,从而进一步提高模型的准确性,假设同一类别的相邻帧 中同一位置的根码率与当前帧中的当前根码率具有相同的内容特征,即具有相同的率失真曲 线,即它们具有相同的模型变量,通过率失真曲线上的两个点的坐标来计算模型变量:
式16中,λ1、bpp1分别表示当前根码率编码时采用的拉格朗日乘子和完成编码后实际所 需的每像素的比特数;λ2、bpp2分别表示同一类别的相邻帧中同一位置的根码率编码时采用 的拉格朗日乘子和完成编码后实际所需的每像素的比特数,对式16两边取自然对数,得到如 下公式:
对式17中的两个方程进行求解,得到模型变量的更新公式:
式18即为基于帧间预测的模型变量更新方法,以下为几种需要单独处理得特殊情况:
1)当bpp1=bpp2时,β的值不能按式18更新,此时令β=-0.36,α仍按照式18进行更新;
2)当bpp1=bpp2,且λ1=λ2时,表示两个根码率的内容特征完全相同,β的值不能按照式 18更新,此时令β=-0.36,α仍旧按照式18进行更新;
3)当按照式18计算时,如果β≥0,则β不能按照式18更新,此时令β=-0.36,α仍按照式18进行更新,率失真曲线是下凸函数,故其模型必须满足β<0;
最后,将更新后的模型变量限制在合理的取值范围内,其中β的取值范围是[-3.0,-0.36], α的取值范围为[1.0×10-20,1.0×108]。
(二)基于帧内预测的模型变量更新
如果原始视频的运动很剧烈,那么相邻帧之间的相关性就会减弱,从而影响基于帧间预 测的模型变量更新的准确性。因此,为提高模型变量预测的准确性,本申请提出基于帧内预 测的模型变量更新方法,其中帧内预测的方法仍然按照本申请帧内预测方法进行,最后采用 预测单元的模型变量的均值来更新当前根码率的模型变量,具体的模型变量更新方法如下:
在式19和式20中,αIntra和βIntra表示基于帧内预测的当前根码率的模型变量;α1和β1表示预测单元的模型变量,α2和β2表示另一个预测单元的模型变量;
对于只有1个预测单元的情况,编码器则直接利用该预测单元的模型变量来更新当前根 码率的模型变量,如果没有预测单元,则编码器不进行相应的模型变量的更新,基于帧内预 测的模型变量更新在当前根码率编码前进行。
(三)基于预测模型的模型变量更新
如果模型变量更新方法同时使用帧内预测和帧间预测,预测的准确性会增加。所以,本 申请提出基于预测模型的模型变量更新方法,该方法融合帧内预测和帧间预测方法,编码器 根据预测模型的大小自适应的选择最佳的预测模式。首先,根据基于预测模型的目标比特调 配中权重的计算方法,得到预测的当前根码率的权重,然后,根据权重大小,编码器采用如 下方法进行变量更新:
式21中,α、β表示编码前根码率最终的模型变量,αInter、βInter表示基于帧间预测的模 型变量,其值分别通过式18计算得到,αIntra、βIntra表示基于帧内预测的模型变量,其值分别 通过式19和式20计算得到,ωCurr_Inter_pred、ωCurr_Intra_pred分别是帧间预测权值和帧内预测权 值,基于预测模型的模型变量更新在当前根码率编码前进行。
四、实验结果与分析
为了验证本申请中改进后的编码调控方法的性能,将改进后的编码调控方法集成到参考 测试模型HM-10.0版本中,取代其中的JCTVC-K0103方法,然后对HEVC官方推荐的标准测试 视频序列进行编码测试。最后,将改进方法的实验结果与采用JCTVC-K0103方法的原始 HM-10.0版本的实验结果,以及采用JCTVC-H0213方法的HM-8.0版本的实验结果进行对比和 分析。通过比较各项编码调控方法的性能评价指标,对改进方法的性能作出全面客观的评价。
采用Main档次的低时延配置和随机介入配置:encoder_lowdelay_main.cfg和encoder_randomaccess_main.cfg编码配置文件。对配置文件中的编码调控相关变量进行配 置,其余变量则按照默认配置不变。
(一)编码调控的误差
以部分测试序列的实验结果为例来说明改进方法的编码调控的准确性。
图2是在低时延配置下,JCTVC-H0213方法、JCTVC-K0103方法以及本申请方法的编码调 控误差的比较。图3是在随机介入配置下以上三种方法的编码调控误差的比较。根据图2和 图3中的实验数据可知,本申请提出的改进方法的编码调控误差在总体上均比JCTVC-K0103 和JCTVC-HO213方法的编码调控误差更小,即编码调控的精确性很高。
(二)编码后的视频质量
以部分测试序列的实验结果为例来说明改进方法的编码后的视频质量的相对提高。
在低时延配置下,JCTVC-HO213方法、JCTVC-K0103方法以及本申请方法的编码后视频质 量PSNR的比较。根据实验数据可知,本申请方法的视频质量比JCTVC-HO213方法最大提高了 1.340dB;与JCTVC-K0103方法相比,本申请方法的PSNR则提高了0.263dB。在随机介入配 置下以上三种方法的视频质量的比较,本申请方法的视频质量比JCTVC-H0213方法最大提高 了2.371dB;而与JCTVC-K0103方法相比,本申请方法的PSNR则提高了0.136dB。
(三)图像质量波动性
以部分测试序列的实验结果为例来说明改进方法编码后图像质量的波动性相对更小。
本申请采用PSNR的标准差STD来表征图像质量的波动性,标准差越小,则图像的质量更 稳定,波动性更小。图4是在低时延配置下,JCTVC-HO213方法、JCTVC-K0103方法以及本申 请方法的STD的比较。图5是在随机介入配置下以上三种方法的STD的比较。根据表中的实 验数据可知,在随机介入配置下,本申请方法的PSNR的STD总体上相对更小;在低时延配置 下,由于实验中本申请方法和JCTVC-K0103方法的目标比特调配均采用的是分层调配策略, 从而导致本申请方法的PSNR的STD比JCTVC-H0213方法相对更大,但是总体上比JCTVC-K0103 方法小。
(四)率失真性能比较
按照测试序列所属的类别统计各方法的率失真性能。
本申请采用BD-PSNR和BD-Rate来表征方法的率失真性能。图6是在低时延配置下,JCTVC-HO213方法、JCTVC-K0103方法以及本申请方法的率失真性能的比较。图7是在随机介入配置下以上三种方法的率失真性能的比较。由图6和图7中的实验数据可知,相比于JCTVC-HO213方法,本申请方法的率失真性能有较大的提高:在低时延配置下,BD-PSNR平均提高了0.784dB;在随机介入配置下,BD-PSNR平均提高了1.334dB。与JCTVC-K0103方法相比,本申请方法的率失真性能也有一定的提高:在低时延配置下,BD-PSNR平均提高了0.059dB; 在随机介入配置下,BD-PSNR平均提高了0.040dB。
为了更加直观地比较方法的率失真性能,图8给出了视频序列Kimono在低时延配置下的 R-D曲线,图9给出了序列BQMall在随机介入配置下的R-D曲线,图10给出了序列BasketballPass在低时延配置下的R-D曲线。从图中可以看出,本申请方法的率失真曲线均高于JCTVC-HO213方法和JCTVC-K0103方法,即本申请方法的率失真性能更好。
(五)实验结论
通过理论分析与实验结果对比,得出如下结论:
结论一:本申请方法的实际码率与目标码率的误差很小,与其它方法对比,编码调控的 精确度很高;
结论二:本申请方法编码后的视频质量比JCTVC-H0213方法和JCTVC-K0103方法更好;
结论三:本申请方法的图像质量波动性更小;
结论四:本申请方法的率失真性能更好。
Claims (9)
1.改进的大数据视频高保真传输编码调控方法,其特征在于:一是模型构建与概念定义,包括:定义根码率内容特征、定义帧内预测方法、定义预测模型;二是改进的目标比特调配方法,包括:基于帧内预测的目标比特调配方法、基于预测模型的目标比特调配方法;三是改进的模型变量更新方法,包括:基于帧间预测的模型变量更新、基于帧内预测的模型变量更新、基于预测模型的模型变量更新;
本申请提出一种改进的根码率层编码调控方法,同时使用帧内已编码单元的信息和帧间已编码单元的信息,定义根码率内容特征,引入帧内预测模型和帧间预测模型,根据模型权重来确定使用对应的预测方式,提出基于帧内预测的目标比特调配和模型变量更新方法,以及基于帧间预测的模型变量更新方法;最后,从整体上提出改进后的视频传输编码调控方法流程,实现基于预测模型的目标比特调配和基于预测模型的模型变量更新。
2.根据权利要求1所述改进的大数据视频高保真传输编码调控方法,其特征在于,定义根码率内容特征:定义衡量不同的根码率的内容特征,相邻根码率的量化变量QP值相差不超过1,近似看作相等,对于采用相同量化变量进行编码的根码率,如果其相邻根码率编码后的失真D和所需比特数R与当前根码率近似相同,认定它们具有相同或者相似的内容特征,采用符号S来表示根码率的内容特征,其具体定义如下:
S=D×R=MAD×bppreal 式1
式1中,D表示广义上的根码率的失真,R表示广义上的根码率编码所需的比特数,MAD是根码率内像素的平均绝对误差,表征根码率的失真,bppreal是根码率编码后实际所需的每像素比特数,其值通过式2计算得到;
根码率的内容特征由其失真信息和所需比特数信息两者共同确定,且其定义是基于像素的;
式2中,Rreal_LCU表示根码率编码后实际所需的息比特数;Npixels_LCU表示根码率的像素的总数量;
假设同一根码率的率失真曲线上有点A,其坐标为(R,D);同时在点A附近有位于曲线上的点B,其坐标表示为(R+ΔR,D+ΔD),得到下面的近似计算公式:
ΔD=-λ·ΔR 式3
如果采用式3的近似公式,点A和点B的内容特征的相对误差s计算如下:
式4中,SA表示点A的内容特征值,SB表示点B的内容特征值,相对误差ε的近似结果是在忽略高阶无穷小的条件下得到的,得到:
其中,α和β是模型参数,实际使用时用每像素的平均比特数bpp来代替R,每一帧和每一基本单元都对应一组单独的α和β;
D=CR-K 式6
C和K是模型参数,将式5代入式4得到:
在△R变化不大的情况下,相对误差s近似为零,将点A看作当前根码率的编码特征,而将点B看作与当前单元相邻的根码率的编码特征,如果当前根码率与相邻根码率的编码特征相同,它们的△R则近似为零,即它们的内容特征相等;反之,则它们的△R不为零,即它们的内容特征不相等,对于相邻的根码率,采用式1来表征根码率的内容特征。
3.根据权利要求1所述改进的大数据视频高保真传输编码调控方法,其特征在于,定义帧内预测方法:如果两个相邻根码率的内容特征值近似相等,则认定它们的内容相同,即其率失真模型变量和目标比特数调配也相同,通过比较相邻且不同方向的根码率的内容特征的值的差异,表征预测当前帧中的纹理信息,而对于同一纹理的根码率使用相同的率失真模型变量和目标比特数调配,本申请将这种预测方法定义为帧内预测方法,当一个根码率编码完成后,编码器就得到其失真和所需的比特数,在编码下一个根码率之前,编码器利用相邻的已编码的根码率的内容特征进行预测,CTU0是当前待编码的根码率,CTU1-CTU6是与CTU0相邻或相近的根码率,采用波前并行处理技术,在编码CTU0之前,编码器已完成CTU1-CTU6的编码;
对于当前根码率CTU,其帧内预测通过如下方法进行:
S0_H=S6 if S2≈S3
S0_V=S3 if S2≈S6
S0_L=S2 if S1≈S6
S0_R=S4 if S3≈S6 式8
式8中,S1、S2、S3、S4和S6分别表示根码率CTU1-CTU4和CTU6的内容特征值;S0_H、S0_V、S0_L和S0_R分别表示当前待编码根码率CTU;的水平方向预测的内容特征值,垂直方向预测的内容特征值,左上角方向预测的内容特征和右上角方向预测的内容特征值;
如果相邻的根码率的内容特征的相对误差s小于0.3,即满足式7右侧的条件,则认定它们的内容特征相同,即具有相同的模型变量α和β,相同的目标比特调配,此时式7左侧中相应的根码率为当前根码率的预测单元,同时,编码器按照式7中的预测顺序依次进行计算,如果存在2个方向的预测单元,则编码器停止计算;然后利用这2个方向的预测单元所对应的模型变量或者目标比特数来更新当前根码率的模型变量或者目标比特数;
对于只有1个预测单元的情况,编码器则直接利用该预测单元的模型变量或者目标比特数来更新当前待编码根码率的模型变量或者目标比特数,如果没有预测单元,编码器则不进行模型变量或者目标比特数的更新。
4.根据权利要求1所述改进的大数据视频高保真传输编码调控方法,其特征在于:定义一个预测模型变量来衡量对应预测的准确性,编码器在编码前能自适应选择其中相对更好的预测模式,其中,当前根码率帧间预测的权重ωlnter定义如下:
式9中,SlastSameLeval表示与当前帧同一类别且相邻的已编码帧中与当前根码率同一位置的单元的内容特征,ScurrLCU表示当前根码率的内容特征,帧间预测的权重ωInter在当前根码率编码完成后即进行计算,根码率的内容特征值越接近,则预测模型的值越大,其值最大为1,此时表示两个根码率的内容特征完全相同;
帧内预测的权重和帧间预测的权重计算方法类似,只是需用当前帧中与当前根码率相邻的根码率的内容特征代替式9中的SlastSameLeval,当前根码率CTU0使用相邻单元CTU2-CTU4和CTU6的内容特征,并按式8中左侧的顺序依次计算帧内预测的权重,然后取顺序靠前且值大于0.7的2个权重进行平均,此平均值即为最终的帧内预测模型的值,如果只有1个权重的值大于0.7,则该权重即为最终的帧内预测模型的值,如果权重均小于0.7,则最终的帧内预测模型的值为0;
式10中,ωIntra_i是当前根码率各个方向上的帧内预测模型,其值通过式9计算得到,此时式9中的SlastSameLeval为当前帧中与当前根码率相邻的单元的内容特征值,ωInter是当前根码率最终的帧内预测模型,帧内预测模型是在当前根码率编码完成后即进行计算。
5.根据权利要求1所述改进的大数据视频高保真传输编码调控方法,其特征在于:基于帧内预测的目标比特调配方法:建立在本申请帧内预测方法的定义基础上,如果根据帧内预测方法,只存在一个预测单元,那么方法具体的目标比特TCurrLCU_Intra_j,调配方法如下:
式11中,Rcoded_Pic表示当前帧中所有已编码完成的根码率实际所需比特数,ωcoded_i表示当前帧中各根码率的比特调配的预测模型,ωCurrLCU_pred表示预测得到的当前根码率的比特调配的预测模型,其值为通过帧内预测方法得到的预测单元的比特调配的预测权值,式11中的预测模型根据当前帧中已编码的根码率的失真信息MAD值计算得到;
对于只有1个预测单元的情况,编码器则直接利用该预测单元的目标比特数来更新当前根码率的目标比特数,如果按照帧内预测方法得到的预测单元有2个,那么最终的帧内预测目标比特数为二者的平均:
式12中,TCUrrLCU_Intra是最终的帧内预测目标比特数,TCurrLCU_Intra_1、TCurrLCU_Int ra_2是按照式11计算得到的帧内预测目标比特数;
如果没有预测单元,则编码器不进行相应的目标比特数的更新,而是直接采用原始的目标比特调配方法。
6.根据权利要求1所述改进的大数据视频高保真传输编码调控方法,其特征在于,基于预测模型的目标比特调配方法:融合帧内预测和帧间预测方法,编码器根据预测模型的大小自适应的选择最佳的预测模式,首先根据帧内预测方法的定义,找到相应的预测单元,然后,根据预测单元的帧内预测模型和帧间预测模型,得到预测后的当前待编码的根码率的权重,如果存在2个预测单元,预测的当前根码率的权重计算方法如下:
式13中,ωCurr_Intra_pred表示预测的当前根码率的帧内预测权值;ωIntra_pred_1和ωIntra_pred_2分别表示对应的预测单元实际的帧内预测权值,其值通过式10计算得到,式14中,ωCurr_Intra_pred表示预测的当前根码率的帧间预测权值,ωInter_pred_1和ωInter_pred_2分别表示对应的预测单元实际的帧之间预测权值,其值通过式9计算得到,式13和式14在当前根码率编码前进行计算;
最后,根据预测的当前根码率的权重,编码器确定使用的预测方式:
式15中,TCurrLCU是根码率最终的目标比特数,TCurrLCU_Inter、TCurrLCU_Intra分别是根码率帧间预测的目标比特数和帧内预测的目标比特数,ωCurr_Intra_pred、ωCurr_Intra_pred分别是预测的当前根码率的帧间预测模型和帧内预测权重,其值分别通过式13和式14计算得到。
7.根据权利要求1所述改进的大数据视频高保真传输编码调控方法,其特征在于,基于帧间预测的模型变量更新:利用已编码的相邻帧的编码信息进行当前帧中根码率的模型变量的更新,假设同一类别的相邻帧中同一位置的根码率与当前帧中的当前根码率具有相同的内容特征,即具有相同的率失真曲线,即它们具有相同的模型变量,通过率失真曲线上的两个点的坐标来计算模型变量:
式16中,λ1、bpp1分别表示当前根码率编码时采用的拉格朗日乘子和完成编码后实际所需的每像素的比特数;λ2、bpp2分别表示同一类别的相邻帧中同一位置的根码率编码时采用的拉格朗日乘子和完成编码后实际所需的每像素的比特数,对式16两边取自然对数,得到如下公式:
对式17中的两个方程进行求解,得到模型变量的更新公式:
式18即为基于帧间预测的模型变量更新方法,以下为几种需要单独处理得特殊情况:
1)当bpp1=bpp2时,β的值不能按式18更新,此时令β=-0.36,α仍按照式18进行更新;
2)当bpp1=bpp2,且λ1=λ2时,表示两个根码率的内容特征完全相同,β的值不能按照式18更新,此时令β=-0.36,α仍旧按照式18进行更新;
3)当按照式18计算时,如果β≥0,则β不能按照式18更新,此时令β=-0.36,α仍按照式18进行更新,率失真曲线是下凸函数,故其模型必须满足β<0;
最后,将更新后的模型变量限制在合理的取值范围内,其中β的取值范围是[-3.0,-0.36],α的取值范围为[1.0×10-20,1.0×108]。
8.根据权利要求1所述改进的大数据视频高保真传输编码调控方法,其特征在于,基于帧内预测的模型变量更新:其中帧内预测的方法仍然按照本申请帧内预测方法进行,最后采用预测单元的模型变量的均值来更新当前根码率的模型变量,具体的模型变量更新方法如下:
在式19和式20中,αIntra和βIntra表示基于帧内预测的当前根码率的模型变量;α1和β1表示预测单元的模型变量,α2和β2表示另一个预测单元的模型变量;
对于只有1个预测单元的情况,编码器则直接利用该预测单元的模型变量来更新当前根码率的模型变量,如果没有预测单元,则编码器不进行相应的模型变量的更新,基于帧内预测的模型变量更新在当前根码率编码前进行。
9.根据权利要求8所述改进的大数据视频高保真传输编码调控方法,其特征在于,基于预测模型的模型变量更新:融合帧内预测和帧间预测方法,编码器根据预测模型的大小自适应的选择最佳的预测模式,首先,根据基于预测模型的目标比特调配中权重的计算方法,得到预测的当前根码率的权重,然后,根据权重大小,编码器采用如下方法进行变量更新:
式21中,α、β表示编码前根码率最终的模型变量,αInter、βInter表示基于帧间预测的模型变量,其值分别通过式18计算得到,αIntra、βIntra表示基于帧内预测的模型变量,其值分别通过式19和式20计算得到,ωCurr_Inter_pred、ωCurr_Intra_pred分别是帧间预测权值和帧内预测权值,基于预测模型的模型变量更新在当前根码率编码前进行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210298301.1A CN114827607A (zh) | 2022-03-25 | 2022-03-25 | 改进的大数据视频高保真传输编码调控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210298301.1A CN114827607A (zh) | 2022-03-25 | 2022-03-25 | 改进的大数据视频高保真传输编码调控方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114827607A true CN114827607A (zh) | 2022-07-29 |
Family
ID=82530286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210298301.1A Withdrawn CN114827607A (zh) | 2022-03-25 | 2022-03-25 | 改进的大数据视频高保真传输编码调控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114827607A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010144408A1 (en) * | 2009-06-11 | 2010-12-16 | Motorola Mobility, Inc. | Digital image compression by adaptive macroblock resolution coding |
CN107257464A (zh) * | 2016-12-29 | 2017-10-17 | 四川大学 | 基于Sobel算子和线性回归的高清视频编码码率控制算法 |
CN107277520A (zh) * | 2017-07-11 | 2017-10-20 | 中国科学技术大学 | 帧内预测的码率控制方法 |
US20200029093A1 (en) * | 2018-07-17 | 2020-01-23 | Tfi Digital Media Limited | Method based on Coding Tree Unit Level Rate-Distortion Optimization for Rate Control in Video Coding |
CN113489981A (zh) * | 2021-07-06 | 2021-10-08 | 电子科技大学 | 一种考虑时域率失真优化的零延迟码率控制方法 |
-
2022
- 2022-03-25 CN CN202210298301.1A patent/CN114827607A/zh not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010144408A1 (en) * | 2009-06-11 | 2010-12-16 | Motorola Mobility, Inc. | Digital image compression by adaptive macroblock resolution coding |
CN107257464A (zh) * | 2016-12-29 | 2017-10-17 | 四川大学 | 基于Sobel算子和线性回归的高清视频编码码率控制算法 |
CN107277520A (zh) * | 2017-07-11 | 2017-10-20 | 中国科学技术大学 | 帧内预测的码率控制方法 |
US20200029093A1 (en) * | 2018-07-17 | 2020-01-23 | Tfi Digital Media Limited | Method based on Coding Tree Unit Level Rate-Distortion Optimization for Rate Control in Video Coding |
CN113489981A (zh) * | 2021-07-06 | 2021-10-08 | 电子科技大学 | 一种考虑时域率失真优化的零延迟码率控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101518358B1 (ko) | 비디오 코딩에서 프레임 복잡성, 버퍼 레벨 및 인트라 프레임들의 위치를 이용하는 버퍼 기반의 비율 제어 | |
CN113766226A (zh) | 图像编码方法、装置、设备及存储介质 | |
CN104796705B (zh) | 一种基于ssim的hevc视频编码率失真优化与码率控制算法 | |
CN108200431B (zh) | 一种视频编码码率控制帧层比特分配方法 | |
WO2010005691A1 (en) | Rate control model adaptation based on slice dependencies for video coding | |
CN102868883B (zh) | 一种视频编码的码率控制方法 | |
CN106937112A (zh) | 基于h.264视频压缩标准的码率控制方法 | |
US20240040127A1 (en) | Video encoding method and apparatus and electronic device | |
CN100574442C (zh) | 基于图像直方图的码率控制方法 | |
CN106412611A (zh) | 一种高效视频编码的复杂度控制方法 | |
CN115174898A (zh) | 一种基于视觉感知的率失真优化方法 | |
CN115695799A (zh) | 一种考虑时域失真传播的零时延全景视频码率控制方法 | |
Ringis et al. | Per Clip Lagrangian Multiplier Optimisation for HEVC | |
US8750371B2 (en) | Method and apparatus for rate control for multi-view video coding | |
CN101888561A (zh) | 一种率失真优化动态调整的多视点视频传输差错控制方法 | |
KR100227336B1 (ko) | 고정 전송율 mpeg 영상 송신기용 전송율 제어 방법 및 그 장치 | |
RU2485711C2 (ru) | Способ управления скоростью передачи битов видео, устройство управления скоростью передачи битов видео, машиночитаемый носитель записи, на котором записана программа управления скоростью передачи битов видео | |
CN114827607A (zh) | 改进的大数据视频高保真传输编码调控方法 | |
CN101527846B (zh) | 一种基于马太效应的h.264可变码率控制方法 | |
CN112351279B (zh) | 面向hevc快速编码的自适应复杂度调整系统及方法 | |
CN111541898B (zh) | 一种编码模式的确定方法、装置、服务器和存储介质 | |
Wu et al. | Rate control in video coding | |
CN111770335A (zh) | 数据编码方法及装置 | |
CN112887714A (zh) | 一种视频编码比特资源重分配方法 | |
CN104796704A (zh) | 一种用于可伸缩视频编码的宏块级码率控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220729 |