CN114866773A - 消除时域抖动效应的量化参数级联方法 - Google Patents

Abstract

一种消除时域抖动效应的量化参数级联方法，由确定帧运动区域、确定帧运动区域空域能量扩散因子、确定视频运动区域时域能量扩散因子、确定帧运动区域的基本单元、确定视频运动区域纹理复杂度、确定帧运动区域像素的平均背景亮度、确定视频运动区域运动速度、确定时域抖动效应临界感知阈值、确定视频帧的量化参数步骤组成。由于本发明采用了所述的步骤，解决了现有技术没有考虑视频中运动物体的边界变化对时域抖动效应感知影响的技术问题，解决了现有技术部适用于最新视频编码标准H.266/VVC的技术问题。本发明具有消除时域抖动效应有效、编码感知率失真性能好等优点，可用于视频编码、通信技术领域。

Description

消除时域抖动效应的量化参数级联方法

技术领域

本发明属于视频编码技术领域，具体涉及到消除时域抖动效应的量化参数级联方法。

背景技术

视频是当今信息时代最重要的信息载体之一，随着人们对于视频服务质量日益高涨的需求以及视频应用的广泛拓展，视频数据量急剧膨胀。视频编码是视频通信系统中一项非常基础且关键的技术，其目的是将数据量庞大的原始视频压缩，保证其在视频通信系统可以被有效地传输与存储，从而提供给用户更好的视频感知体验。

当前主要的视频编码标准采用基于预测变换量化的混合编码框架，其中量化模块中涉及的量化参数是影响视频编码性能的一个关键编码参数。量化参数级联即是研究给视频编码中的每个编码基本单元(时间层等)选择最优量化参数取值的一类方法。相关实验已经证实，当前视频编码标准采用的默认的量化参数级联方法容易引起较大的重建视频时域质量波动，且这一时域质量波动在低码率下极易被人眼感知，并被定义为时域抖动效应。时域抖动效应是一种典型的由视频编码操作引入的时域噪声，主观表现为视频中某些区域“清楚-模糊-清楚-模糊”的时域质量变化，会显著影响编码重建视频的感知质量。

为了提升编码重建视频的感知质量，一些有效消除时域抖动效应的量化参数级联方法被提出。但是这些方法还存在以下明显问题：这些方法都是针对早期的H.264/AVC标准提出的。针对最新视频编码标准，例如H.265/HEVC、H.266/VVC，还未有相关适合方法被提出；这些方法只考虑了视频纹理复杂度与运动速度对于时域抖动效应感知的影响，并未考虑视频中运动物体的边界变化对时域抖动效应感知的重要影响。运动物体的边界变化是视频运动信息的一个重要属性，显著影响时域抖动效应的感知。

发明内容

本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种消除时域抖动效应有效、编码感知率失真性能好的消除时域抖动效应的量化参数级联方法。

解决上述技术问题所采用的技术方案是由下述步骤组成：

(1)确定帧运动区域

用OpenCV3.1.0(https://opencv.org/releases/)版本中的createBackgroundSubtractorKNN函数确定输入视频中每一帧的运动区域。

(2)确定帧运动区域空域能量扩散因子

按式(1)确定第f帧运动区域空域能量扩散因子ξ(f)：

其中，f表示视频帧号，f∈{1,2,...,N_v}，I_e(f,j)表示第f帧中处于运动区域边界轮廓e上第j个像素的亮度值，I_r(f,j)表示第f帧处于运动区域r内部的第j个像素的亮度值，N_f,e表示第f帧的运动区域边界轮廓e包含的总像素数，N_f,r表示第f帧的运动区域r内部包含的总像素数。

(3)确定视频运动区域时域能量扩散因子

按式(2)确定视频运动区域的时域能量扩散因子ξ_v：

其中，N_v表示视频的总帧数，且N_v-1不为0，I_e(f-1,j)表示第f-1帧中处于运动区域边界轮廓e上第j个像素的亮度值，I_r(f-1,j)表示第f-1帧中处于运动区域r内部的第j个像素的亮度值，N_f-1,e表示第f-1帧的运动区域边界轮廓e包含的总像素数且N_f-1,e不为0，N_f-1,r表示第f-1帧运动区域r内部包含的总像素数且N_f-1,r不为0。

(4)确定帧运动区域的基本单元

将视频第f帧运动区域边界最小外接矩形划分为不重叠的宽为w_k高为h_k的像素块，为第f帧运动区域r的基本单元，w_k、h_k为有限正整数，w_k∈{1,2,...,w_f,r}，h_k∈{1,2,...,h_f,r}，w_f,r、h_f,r分别表示第f帧运动区域r边界最小外接矩形的宽和高。

(5)确定视频运动区域纹理复杂度

按式(4)确定视频运动区域的纹理复杂度σ_v：

其中，N_f,r,u表示第f帧运动区域r边界最小外接矩形包含的基本单元u的数目，I_r(f,g,j)表示第f帧运动区域r边界最小外接矩形中第g个基本单元第j个像素的亮度值，N_v不为0。

(6)确定帧运动区域像素的平均背景亮度

按式(5)确定第f帧运动区域r边界最小外接矩形第x列第y行像素的平均背景亮度I_r,bg(f,x,y)：

其中x表示第f帧运动区域r边界最小外接矩形第x列像素，y表示第f帧运动区域r边界最小外接矩形第y行像素，x∈{1,2,...,w_f,r}，y∈{1,2,...,h_f,r}，B(m,n)表示中心位于第x列第y行位置的低通加权滤波器掩膜的系数，I_r(f,x-3+m,y-3+n)表示第f帧中运动区域r边界最小外接矩形第x-3+m列第y-3+n行像素的亮度值。

(7)确定视频运动区域运动速度

按式(7)确定视频运动区域的运动速度d_v：

其中，I_r(f,x,y)、I_r(f-1,x,y)分别表示第f帧和第f-1帧中运动区域r边界最小外接矩形第x列第y行像素的亮度值，I_r,bg(f-1,x,y)表示第f-1帧运动区域r边界最小外接矩形第x列第y行像素的平均背景亮度。

(8)确定时域抖动效应临界感知阈值

按式(8)确定时域抖动效应临界感知阈值J_TPA：

其中，QP₀表示由编码者设置的时间0层的量化参数，QP₀∈{1,2,...,63}，K为模型参数，K取值为100,round()为四舍五入函数，γ₁、γ₂、γ₃、γ₄、γ₅、γ₆、γ₇、γ₈、λ₁、λ₂、λ₃、λ₄、λ₅、λ₆、λ₇、λ₈为模型参数，模型参数的取值范围分别为：γ₁∈[-0.125,0.256]，γ₂＝[-0.0029,0.1]，γ₃∈[-0.25,0.296]，γ₄∈[-0.01,0.132]，γ₅∈[-1.28,0.16]，γ₆∈[-0.026,0.259]，γ₇∈[-0.4,0.126]，γ₈∈[-0.01,0.239]，λ₁∈[-0.1,0.35]，λ₂＝[-0.1,0.365]，λ₃∈[-0.2,0.4]，λ₄∈[-0.01,0.257]，λ₅∈[44.3,61.2]，λ₆∈[22.35,34.56]，λ₇∈[32.4,46.7]，λ₈∈[20.1,27.2]。

(9)确定视频帧的量化参数

按式(15)确定视频帧的量化参数QP_t′：

其中QP_t′表示重新设置的处于第t个时间层帧的量化参数，t∈{0,1,...,N_t-1}，N_t为视频的时间层数。

在本发明的(8)确定时域抖动效应临界感知阈值步骤中，所述的γ₁的最佳取值为-0.0009，γ₂的最佳取值为0.0005，γ₃的最佳取值为0.00018，γ₄的最佳取值为-0.0001，γ₅的最佳取值为-0.5133，γ₆的最佳取值为0.1322，γ₇的最佳取值为-0.2012，γ₈的最佳取值为0.190，λ₁的最佳取值为0.0250，λ₂的最佳取值为-0.0219，λ₃的最佳取值为-0.0022，λ₄的最佳取值为0.00536，λ₅的最佳取值为46.70，λ₆的最佳取值为29.21，λ₇的最佳取值为41.60，λ₈的最佳取值为25.64。

由于本发明采用了确定帧运动区域空域能量扩散因子步骤、确定视频运动区域时域能量扩散因子步骤、确定时域抖动效应临界感知阈值步骤、确定视频帧的量化参数步骤，解决了现有技术没有考虑视频中运动物体的边界变化对时域抖动效应感知影响的技术问题。采用了确定时域抖动效应临界感知阈值步骤、确定视频帧的量化参数步骤，解决了现有技术不适用于最新视频编码标准H.266/VVC的技术问题。本发明具有消除时域抖动效应有效、编码感知率失真性能好等优点，可用于视频编码、通信技术领域。

附图说明

图1是本发明实施例1的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下面的实施例。

实施例1

本实施例的消除时域抖动效应的量化参数级联方法由下述步骤组成(参见图1)：

(1)确定帧运动区域

用OpenCV3.1.0(https://opencv.org/releases/)版本中的createBackgroundSubtractorKNN函数确定输入视频中每一帧的运动区域。

(2)确定帧运动区域空域能量扩散因子

按式(1)确定第f帧运动区域空域能量扩散因子ξ(f)：

其中，f表示视频帧号，f∈{1,2,...,N_v}，I_e(f,j)表示第f帧中处于运动区域边界轮廓e上第j个像素的亮度值，I_r(f,j)表示第f帧处于运动区域r内部的第j个像素的亮度值，N_f,e表示第f帧的运动区域边界轮廓e包含的总像素数，N_f,r表示第f帧的运动区域r内部包含的总像素数。

(3)确定视频运动区域时域能量扩散因子

按式(2)确定视频运动区域的时域能量扩散因子ξ_v：

其中，N_v表示视频的总帧数，且N_v-1不为0，I_e(f-1,j)表示第f-1帧中处于运动区域边界轮廓e上第j个像素的亮度值，I_r(f-1,j)表示第f-1帧中处于运动区域r内部的第j个像素的亮度值，N_f-1,e表示第f-1帧的运动区域边界轮廓e包含的总像素数且N_f-1,e不为0，N_f-1,r表示第f-1帧运动区域r内部包含的总像素数且N_f-1,r不为0。

(4)确定帧运动区域的基本单元

将视频第f帧运动区域边界最小外接矩形划分为不重叠的宽为w_k高为h_k的像素块，为第f帧运动区域r的基本单元，w_k、h_k为有限正整数，w_k∈{1,2,...,w_f,r}，h_k∈{1,2,...,h_f,r}，w_f,r、h_f,r分别表示第f帧运动区域r边界最小外接矩形的宽和高。

(5)确定视频运动区域纹理复杂度

按式(4)确定视频运动区域的纹理复杂度σ_v：

其中，N_f,r,u表示第f帧运动区域r边界最小外接矩形包含的基本单元u的数目，I_r(f,g,j)表示第f帧运动区域r边界最小外接矩形中第g个基本单元第j个像素的亮度值，N_v不为0。

(6)确定帧运动区域像素的平均背景亮度

按式(5)确定第f帧运动区域r边界最小外接矩形第x列第y行像素的平均背景亮度I_r,bg(f,x,y)：

其中x表示第f帧运动区域r边界最小外接矩形第x列像素，y表示第f帧运动区域r边界最小外接矩形第y行像素，x∈{1,2,...,w_f,r}，y∈{1,2,...,h_f,r}，B(m,n)表示中心位于第x列第y行位置的低通加权滤波器掩膜的系数，I_r(f,x-3+m,y-3+n)表示第f帧中运动区域r边界最小外接矩形第x-3+m列第y-3+n行像素的亮度值。

(7)确定视频运动区域运动速度

按式(7)确定视频运动区域的运动速度d_v

其中，I_r(f,x,y)、I_r(f-1,x,y)分别表示第f帧和第f-1帧中运动区域r边界最小外接矩形第x列第y行像素的亮度值，I_r,bg(f-1,x,y)表示第f-1帧运动区域r边界最小外接矩形第x列第y行像素的平均背景亮度。

(8)确定时域抖动效应临界感知阈值

按式(8)确定时域抖动效应临界感知阈值J_TPA：

其中，QP₀表示由编码者设置的时间0层的量化参数，QP₀∈{1,2,...,63}，K为模型参数，K取值为100,round()为四舍五入函数，γ₁、γ₂、γ₃、γ₄、γ₅、γ₆、γ₇、γ₈、λ₁、λ₂、λ₃、λ₄、λ₅、λ₆、λ₇、λ₈为模型参数，模型参数的取值范围分别为：γ₁∈[-0.125,0.256]，γ₂＝[-0.0029,0.1]，γ₃∈[-0.25,0.296]，γ₄∈[-0.01,0.132]，γ₅∈[-1.28,0.16]，γ₆∈[-0.026,0.259]，γ₇∈[-0.4,0.126]，γ₈∈[-0.01,0.239]，λ₁∈[-0.1,0.35]，λ₂＝[-0.1,0.365]，λ₃∈[-0.2,0.4]，λ₄∈[-0.01,0.257]，λ₅∈[44.3,61.2]，λ₆∈[22.35,34.56]，λ₇∈[32.4,46.7]，λ₈∈[20.1,27.2]。

本实施例的γ₁的取值为-0.0009，γ₂的取值为0.0005，γ₃的取值为0.00018，γ₄的取值为-0.0001，γ₅的取值为-0.5133，γ₆的取值为0.1322，γ₇的取值为-0.2012，γ₈的取值为0.190，λ₁的取值为0.0250，λ₂的取值为-0.0219，λ₃的取值为-0.0022，λ₄的取值为0.00536，λ₅的取值为46.70，λ₆的取值为29.21，λ₇的取值为41.60，λ₈的取值为25.64。

(9)确定视频帧的量化参数

按式(15)确定视频帧的量化参数QP_t′：

其中QP_t′表示重新设置的处于第t个时间层帧的量化参数，t∈{0,1,...,N_t-1}，N_t是视频的时间层数、为有限的正整数。

完成消除时域抖动效应的量化参数级联方法。

实施例2

本实施例的消除时域抖动效应的量化参数级联方法由下述步骤组成：

(1)-(7)步骤与实施例1相同。

(8)确定时域抖动效应临界感知阈值

按式(8)确定时域抖动效应临界感知阈值J_TPA：

其中，QP₀表示由编码者设置的时间0层的量化参数，QP₀∈{1,2,...,63}，K为模型参数，K取值为100,round()为四舍五入函数，γ₁、γ₂、γ₃、γ₄、γ₅、γ₆、γ₇、γ₈、λ₁、λ₂、λ₃、λ₄、λ₅、λ₆、λ₇、λ₈为模型参数，模型参数的取值范围分别为：γ₁∈[-0.125,0.256]，γ₂＝[-0.0029,0.1]，γ₃∈[-0.25,0.296]，γ₄∈[-0.01,0.132]，γ₅∈[-1.28,0.16]，γ₆∈[-0.026,0.259]，γ₇∈[-0.4,0.126]，γ₈∈[-0.01,0.239]，λ₁∈[-0.1,0.35]，λ₂＝[-0.1,0.365]，λ₃∈[-0.2,0.4]，λ₄∈[-0.01,0.257]，λ₅∈[44.3,61.2]，λ₆∈[22.35,34.56]，λ₇∈[32.4,46.7]，λ₈∈[20.1,27.2]。

本实施例的γ₁的取值为-0.125，γ₂的取值为-0.0029，γ₃的取值为-0.25，γ₄的取值为-0.01，γ₅的取值为-1.28，γ₆的取值为-0.026，γ₇的取值为-0.4，γ₈的取值为-0.01，λ₁的取值为-0.1，λ₂的取值为-0.1，λ₃的取值为-0.2，λ₄的取值为-0.01，λ₅的取值为44.3，λ₆的取值为22.35，λ₇的取值为32.4，λ₈的取值为20.1。

其他步骤与实施例1相同。完成消除时域抖动效应的量化参数级联方法。

实施例3

本实施例的消除时域抖动效应的量化参数级联方法由下述步骤组成：

(1)-(7)步骤与实施例1相同。

(8)确定时域抖动效应临界感知阈值

按式(8)确定时域抖动效应临界感知阈值J_TPA：

其中，QP₀表示由编码者设置的时间0层的量化参数，QP₀∈{1,2,...,63}，K为模型参数，K取值为100,round()为四舍五入函数，γ₁、γ₂、γ₃、γ₄、γ₅、γ₆、γ₇、γ₈、λ₁、λ₂、λ₃、λ₄、λ₅、λ₆、λ₇、λ₈为模型参数，模型参数的取值范围分别为：γ₁∈[-0.125,0.256]，γ₂＝[-0.0029,0.1]，γ₃∈[-0.25,0.296]，γ₄∈[-0.01,0.132]，γ₅∈[-1.28,0.16]，γ₆∈[-0.026,0.259]，γ₇∈[-0.4,0.126]，γ₈∈[-0.01,0.239]，λ₁∈[-0.1,0.35]，λ₂＝[-0.1,0.365]，λ₃∈[-0.2,0.4]，λ₄∈[-0.01,0.257]，λ₅∈[44.3,61.2]，λ₆∈[22.35,34.56]，λ₇∈[32.4,46.7]，λ₈∈[20.1,27.2]。

本实施例的γ₁的取值为0.256，γ₂的取值为0.1，γ₃的取值为0.296，γ₄的取值为0.132，γ₅的取值为0.16，γ₆的取值为0.259，γ₇的取值为0.126，γ₈的取值为0.239，λ₁的取值为0.35，λ₂的取值为0.365，λ₃的取值为0.4，λ₄的取值为0.257，λ₅的取值为61.2，λ₆的取值为34.56，λ₇的取值为46.7，λ₈的取值为27.2。

其他步骤与实施例1相同。完成消除时域抖动效应的量化参数级联方法。

为了验证本发明的有益效果，发明人采用本发明实施例1的方法对测试视频进行了仿真实验，实验如下：

选择编码标准制定组织推荐的10个视频作为测试视频，10个视频的名称分别为：BQSquare、BricksBushesStatic、CalmingWater、648ea10、ShuttleStart、videoSRC13、LampLeaves60fps、beach、yellowflower、Sparkler，将测试视频分别用H.266/VVC标准制定组织推荐的测试模型VTM中默认的量化参数级联方法(以下简称为“默认量化参数级联方法”)与本发明实施例1的方法编码。按照ITU-R BT.500-13国际标准(Methodology forthesubjective assessment of the quality of television pictures:ITU-RRecommendations BT.500-13[S].Jan:ITU-T,2012)中的要求设计视频主观评价实验，选择20名非专家的测试者参与实验。

每一个测试者观看默认量化参数级联方法与本发明实施例1方法编码重建的视频，记录其能否在视频中观看到时域抖动效应。对于所有的测试序列，测试者在默认量化参数级联方法编码重建视频中感知到时域抖动效应的人数如表1第2列所示，测试者在本发明实施例1方法编码重建视频中感知到时域抖动效应的人数如表1第3列所示。

表1 默认量化参数级联方法与本发明实施例1方法实验结果

由表1可见，与默认量化参数级联方法相比，本发明实施例1方法对应的重建视频感知到时域抖动效应的观测者人数显著减少，说明本发明实施例1方法可有效地消除时域抖动效应。验证了本发明实施例1方法的有益效果。

Claims (2)

1.一种消除时域抖动效应的量化参数级联方法，其特征在于由下述步骤组成：

(1)确定帧运动区域

用OpenCV3.1.0中的createBackgroundSubtractorKNN函数确定输入视频中每一帧的运动区域；

(2)确定帧运动区域空域能量扩散因子

按式(1)确定第f帧运动区域空域能量扩散因子ξ(f)：

其中，f表示视频帧号，f∈{1,2,...,N_v}，I_e(f,j)表示第f帧中处于运动区域边界轮廓e上第j个像素的亮度值，I_r(f,j)表示第f帧处于运动区域r内部的第j个像素的亮度值，N_f,e表示第f帧的运动区域边界轮廓e包含的总像素数，N_f,r表示第f帧的运动区域r内部包含的总像素数；

(3)确定视频运动区域时域能量扩散因子

按式(2)确定视频运动区域的时域能量扩散因子ξ_v：

其中，N_v表示视频的总帧数，且N_v-1不为0，I_e(f-1,j)表示第f-1帧中处于运动区域边界轮廓e上第j个像素的亮度值，I_r(f-1,j)表示第f-1帧中处于运动区域r内部的第j个像素的亮度值，N_f-1,e表示第f-1帧的运动区域边界轮廓e包含的总像素数且N_f-1,e不为0，N_f-1,r表示第f-1帧运动区域r内部包含的总像素数且N_f-1,r不为0；

(4)确定帧运动区域的基本单元

将视频第f帧运动区域边界最小外接矩形划分为不重叠的宽为w_k高为h_k的像素块，为第f帧运动区域r的基本单元，w_k、h_k为有限正整数，w_k∈{1,2,...,w_f,r}，h_k∈{1,2,...,h_f,r}，w_f,r、h_f,r分别表示第f帧运动区域r边界最小外接矩形的宽和高；

(5)确定视频运动区域纹理复杂度

按式(4)确定视频运动区域的纹理复杂度σ_v：

其中，N_f,r,u表示第f帧运动区域r边界最小外接矩形包含的基本单元u的数目，I_r(f,g,j)表示第f帧运动区域r边界最小外接矩形中第g个基本单元第j个像素的亮度值，N_v不为0；

(6)确定帧运动区域像素的平均背景亮度

按式(5)确定第f帧运动区域r边界最小外接矩形第x列第y行像素的平均背景亮度I_r,bg(f,x,y)：

其中x表示第f帧运动区域r边界最小外接矩形第x列像素，y表示第f帧运动区域r边界最小外接矩形第y行像素，x∈{1,2,...,w_f,r}，y∈{1,2,...,h_f,r}，B(m,n)表示中心位于第x列第y行位置的低通加权滤波器掩膜的系数，I_r(f,x-3+m,y-3+n)表示第f帧中运动区域r边界最小外接矩形第x-3+m列第y-3+n行像素的亮度值；

(7)确定视频运动区域运动速度

按式(7)确定视频运动区域的运动速度d_v

其中，I_r(f,x,y)、I_r(f-1,x,y)分别表示第f帧和第f-1帧中运动区域r边界最小外接矩形第x列第y行像素的亮度值，I_r,bg(f-1,x,y)表示第f-1帧运动区域r边界最小外接矩形第x列第y行像素的平均背景亮度；

(8)确定时域抖动效应临界感知阈值

按式(8)确定时域抖动效应临界感知阈值J_TPA：

其中，QP₀表示由编码者设置的时间0层的量化参数，QP₀∈{1,2,...,63}，K为模型参数，K取值为100,round( )为四舍五入函数，γ₁、γ₂、γ₃、γ₄、γ₅、γ₆、γ₇、γ₈、λ₁、λ₂、λ₃、λ₄、λ₅、λ₆、λ₇、λ₈为模型参数，模型参数的取值范围分别为：γ₁∈[-0.125,0.256]，γ₂＝[-0.0029,0.1]，γ₃∈[-0.25,0.296]，γ₄∈[-0.01,0.132]，γ₅∈[-1.28,0.16]，γ₆∈[-0.026,0.259]，γ₇∈[-0.4,0.126]，γ₈∈[-0.01,0.239]，λ₁∈[-0.1,0.35]，λ₂＝[-0.1,0.365]，λ₃∈[-0.2,0.4]，λ₄∈[-0.01,0.257]，λ₅∈[44.3,61.2]，λ₆∈[22.35,34.56]，λ₇∈[32.4,46.7]，λ₈∈[20.1,27.2]；

(9)确定视频帧的量化参数

按式(15)确定视频帧的量化参数QP_t′：

其中QP_t′表示重新设置的处于第t个时间层帧的量化参数，t∈{0,1,...,N_t-1}，N_t为视频的时间层数。

2.根据权利要求1所述的消除时域抖动效应的量化参数级联方法，其特征在于:在(8)确定时域抖动效应临界感知阈值步骤中，所述的γ₁的取值为-0.0009，γ₂的取值为0.0005，γ₃的取值为0.00018，γ₄的取值为-0.0001，γ₅的取值为-0.5133，γ₆的取值为0.1322，γ₇的取值为-0.2012，γ₈的取值为0.190，λ₁的取值为0.0250，λ₂的取值为-0.0219，λ₃的取值为-0.0022，λ₄的取值为0.00536，λ₅的取值为46.70，λ₆的取值为29.21，λ₇的取值为41.60，λ₈的取值为25.64。

Images