CN104994382A - 一种感知率失真的优化方法 - Google Patents

Abstract

本发明公开了一种感知率失真的优化方法，属于图像处理领域。所述发明包括获取原始视频中帧图像的综合阈值，确定帧图像的缩放因子，根据缩放因子确定帧图像的初始乘子。在帧图像中，确定包含预设数量所述像素点的宏块的综合阈值，结合帧图像的综合阈值，确定所述宏块的归属类别。根据失真模型以及宏块的归属类别，获取帧图像中所述宏块的量化参数，结合率失真优化原理，获取帧图像中所述宏块的调整乘子，根据该调整乘子，结合失真模型，获取编码代价函数的最优解。本发明通过上述方法，能够确定该最优解对应的视频编码模式，以便于基于该视频编码模式实现高质量视频感受的同时保证视频占用较小存储空间的效果。

Description

一种感知率失真的优化方法

技术领域

本发明属于图像处理领域，特别涉及一种感知率失真的优化方法。

背景技术

在信息技术及互联网高速发展的今天，多媒体信息已成为人类获取信息的最主要载体，而视频信息在多媒体信息中占有重要的地位，人类获取的信息中有70％以上来自于视觉。视频编码作为多媒体数据压缩的重点与核心，其压缩本质就是在保证一定重构质量(图像不失真或失真小)的前提下，以尽量少的比特数来表征视频/图像信息，从而实现最大限度地降低图像数据传输率、减小信道带宽、减少数据存储空间的目的。

大量研究编码比特率(R)和失真(D)关系的方法被提了出来。2009年ChunLing Yang和Rong Kun Leung等在IEEE International Conference on IntelligentComputing and Intelligent Systems(ICIS)上一篇名为“An SSIM-optimal H.264/AVCinter frame encoder”的论文中提出了一种率失真优化的方案，用于帧间编码和模式选择。它利用SSIM作为失真度量标准，建立了新的R-D模型用于帧间编码。由于SSIM可以提取出视频帧的结构信息，更好地刻画了图像的质量，所以得到了较好的视频感知质量。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

上述方法得到的拉格朗日乘子(λ)不是基于视频内容自适应的，也就是说拉格朗日乘子(λ)的值仅仅由量化参数(QP)决定，无法动态调整，因此不能很好地适应不同内容的视频序列。

发明内容

为了解决现有技术的问题，本发明提供了一种感知率失真的优化方法，所述感知率失真的优化方法，包括：

提取原始视频的帧图像，分别获取所述帧图像的空间阈值和时间阈值，根据所述空间阈值和所述时间阈值确定所述帧图像中像素点的综合阈值；

获取所述帧图像的失真数值，基于所述失真数值确定所述帧图像的缩放因子，根据所述缩放因子确定所述帧图像的初始乘子；

在所述帧图像中，确定包含预设数量所述像素点的宏块的综合阈值和所述帧图像中像素点的平均综合阈值，结合所述宏块的综合阈值和所述帧图像中像素点的平均综合阈值，确定所述宏块的归属类别；

根据失真模型以及所述宏块的归属类别，获取所述帧图像中所述宏块的量化参数，结合率失真优化原理，获取所述帧图像中所述宏块的调整乘子；

根据所述调整乘子，结合所述失真模型，获取编码代价函数的最优解。

可选的，所述提取原始视频的帧图像，分别获取所述帧图像的空间阈值和时间阈值，根据所述空间阈值和所述时间阈值确定所述帧图像中像素点的综合阈值，包括：

确定与所述帧图像F对应的预测帧图像F'，具体通过

$F^{\′}\left(x\right)=\underset{x_k\∈\mathrm{\χ}}{\mathrm{\Σ}}{c}_{k}F\left(x_k\right)+\mathrm{\ϵ},$

ε是白噪声，c_k是规范化系数：

$c_k=\frac{I(x;x_k)}{{\mathrm{\Σ}}_{i}I(x;x_k)},$

其中x是中心像素，χ＝{x₁,x₂,...,x_N}为所述中心像素x的邻域像素集合，I(x；x_k)代表x与其邻域像素x_k的对应关系；

获取所述预测帧图像F'的JND阈值JND_p(x,y)，以及所述残差帧图像|F-F'|的JND阈值JND_d(x,y)；

基于所述JND_p(x,y)以及所述JND_d(x,y)，结合公式(1)确定空间FEJND阈值，

SFEJND(x,y)＝JND_p(x,y)+JND_d(x,y)-0.3×min{JND_p(x,y),JND_d(x,y)}，  (1)

获取时间JND阈值TJND(x,y,t)，具体通过公式(2)

$\mathrm{TJND}(x,y,t)=\left\{\begin{array}{c}\max (\mathrm{\τ},\frac{H}{2}\exp \left(\frac{-0.15}{2\mathrm{\π}}(\mathrm{\Δ}(x,y,t)+255)\right)+\mathrm{\τ})\\ \mathrm{\Δ}(x,y,t)\≤0\\ \max (\mathrm{\τ},\frac{L}{2}\exp \left(\frac{-0.15}{2\mathrm{\π}}(255-\mathrm{\Δ}(x,y,t))\right)+\mathrm{\τ})\\ \mathrm{\Δ}(x,y,t)>0\end{array}\right.---\left(2\right)$

其中，H＝8，L＝3.2，τ＝0.8。

结合空间FEJND阈值SFEJND(x,y)和所述时间JND阈值TJND(x,y,t)，通过公式(3)确定所述帧图像中像素点的综合阈值

FEJND(x,y)＝SFEJND(x,y)×TJND(x,y,t)，  (3)。

可选的，所述获取所述预测帧图像F'的JND阈值JND_p(x,y)，以及残差帧图像|F-F'|的JND阈值JND_d(x,y)，包括：

确定所述预测帧图像F'中像素点的亮度值LC(x,y)，以及确定所述预测帧图像F'中像素点的空间掩蔽值SM(x,y)，具体公式为(4)

$\begin{array}{c}\mathrm{LC}(x,y)=\left\{\begin{array}{c}17(1-\sqrt{\frac{\mathrm{bg}(x,y)}{127}})+3,\mathrm{bg}(x,y)\≤127\\ \frac{3}{128}(\mathrm{bg}(x,y)-127)+3,\mathrm{bg}(x,y)>127\end{array}\right.\\ \mathrm{SM}(x,y)=\mathrm{mg}(x,y)\×\mathrm{\α}\left(\mathrm{bg}(x,y)\right)+\mathrm{\β}\left(\mathrm{bg}(x,y)\right)\end{array},---\left(4\right)$

其中，bg(x,y)是每个像素点(x,y)的平均背景亮度值，即公式(5)

$\mathrm{bg}(x,y)=\frac{1}{32}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}P(x-3+i,y-3+j)\·B(i,j),---\left(5\right)$

B(i，j)是一个低通滤波器，α和β通过公式(6)求出

$\begin{array}{c}\mathrm{\α}\left(\mathrm{bg}(x,y)\right)=\mathrm{bg}(x,y)\×0.0001+0.115\\ \mathrm{\β}\left(\mathrm{bg}(x,y)\right)=\mathrm{\μ}-\mathrm{bg}(x,y)\×0.01\end{array},---\left(6\right)$

mg(x,y)是所述像素点(x,y)上下左右四个方向的梯度中最大的加权平均梯度，具体如公式(7)

$\begin{array}{c}\mathrm{mg}(x,y)=\underset{k=\mathrm{1,2,3,4}}{\max }\left\{\right|{\mathrm{grand}}_k(x,y)\left|\right\}\\ {\mathrm{grand}}_k(x,y)=\frac{1}{16}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}f(x-3+i,y-3+j)\×G_k(i,j)\end{array},---\left(7\right)$

而G_k(i,j)是用来确认纹理区域的四个方向上的高通滤波器；

通过所述亮度值LC(x,y)和所述空间掩蔽值SM(x,y)，通过公式(8)确定所述预测帧图像F'的JND阈值JND_p(x,y)

JND_p(x,y)＝LC(x,y)+SM(x,y)-0.3×min{LC(x,y),SM(x,y)}，  (8)；

通过公式(9)，获取所述残差帧图像|F-F'|的JND阈值JND_d(x,y)

$\begin{array}{c}D(x,y)=|F-F^{\′}|\\ {\mathrm{JND}}_d(x,y)=1.125\×D(x,y)\end{array},---\left(9\right)$

其中，D(x,y)为所述帧图像F与所述预测帧图像F'中相同位置像素值的差值。

可选的，所述获取所述帧图像的失真数值，基于所述失真数值确定所述帧图像的缩放因子，根据所述缩放因子确定所述帧图像的初始乘子，包括：

根据公式(10)结合所述帧图像中像素点的综合阈值FEJND(x,y)确定所述帧图像的失真数值D_fejnd，

$D_{\mathrm{fejnd}}=\left\{\begin{array}{c}{\stackrel{\‾}{\left(d_{\mathrm{MB}}\right)}}^2,\mathrm{if}|d_{\mathrm{resi}}-\stackrel{\‾}{d_{\mathrm{MB}}}|\≤\mathrm{\γ}\·\mathrm{FEJND}(x,y)\\ {(d_{\mathrm{resi}}-\mathrm{\γ}\·\mathrm{FEJND}(x,y))}^2,\mathrm{otherwise}\end{array}\right.,---\left(10\right)$

其中，γ的值为0.1，而d_resi＝|u(x,y)-r(x,y)|，u(x,y)是失真模型中的原始像素值，r(x,y)是所述失真模型中的重建像素值；

估算所述帧图像F的缩放因子α_i，并根据所述缩放因子α_i结合公式(11)获取所述帧图像F的初始乘子即拉格朗日乘子λ_fejnd；

$\begin{array}{c}{\mathrm{\α}}_i=\left\{\begin{array}{cc}{\mathrm{\α}}_i,& i=2\\ \frac{{\mathrm{\α}}_{i-1}+{\mathrm{\α}}_{i-2}}{2},& i\≥2\end{array}\right.\\ {\mathrm{\λ}}_{\mathrm{fejnd}}=\frac{{\mathrm{\λ}}_{\mathrm{sse}}}{{\mathrm{\α}}_i}\end{array},---\left(11\right)$

其中，λ_sse是原始率失真优化模型中的拉格朗日乘子，α_i-1和α_i-2分别是所述帧图像F前已编码的两帧对应的缩放因子。

可选的，所述在所述帧图像中，确定包含预设数量所述像素点的宏块的综合阈值和所述帧图像中像素点的平均综合阈值，结合所述宏块的综合阈值和所述帧图像中像素点的平均综合阈值，确定所述宏块的归属类别，包括：

获取所述帧图像的所有像素点的平均综合阈值FEJND_frame以及所述预测帧图像中包含预设数量所述像素点的宏块的综合阈值FEJND_MB；

根据预设的判断条件，确定当前宏块的归属类别，所述预设判断条件为

如果FEJND_MB＞FEJND_frame，则所述宏块属于无序宏块；

如果FEJND_MB≤FEJND_frame，则所述宏块属于有序宏块。

可选的，所述根据所述失真模型以及所述宏块的归属类别，获取所述帧图像中所述宏块的量化参数，结合率失真优化原理，获取所述帧图像中所述宏块的调整乘子，包括：

根据所述失真模型，通过公式(12)确定用于调整所述宏块的初始乘子的视觉权重参数η

$\mathrm{\η}=a+b\frac{1}{\exp (-c\·\frac{{\mathrm{FEJND}}_{\mathrm{MB}}-{\mathrm{FEJND}}_{\mathrm{feame}}}{{\mathrm{FEJND}}_{\mathrm{frame}}})},---\left(12\right)$

其中，a，b和c都是常数，取值分别为a＝0.7，b＝0.6，c＝4；

根据所述视觉权重参数η，通过公式(13)对所述宏块的量化参数QP_MB进行调整

$Q{P}_{\mathrm{MB}}=\sqrt{\mathrm{\η}}\·{\mathrm{QP}}_{\mathrm{frame}},---\left(13\right)$

其中，所述QP_frame是所述帧图像F的量化参数；

根据所述率失真优化原理和所述宏块的量化参数QP_MB，通过公式(14)获取所述帧图像中所述宏块的调整乘子即调整后的拉格朗日乘子λ

$\mathrm{\λ}=\mathrm{\ω}\×\mathrm{\η}\×2^{(Q{P}_{\mathrm{MB}}-12)/3}/\mathrm{\α},---\left(14\right)$

其中，w为常量。

可选的，所述根据所述调整乘子，结合所述失真模型，获取编码代价函数的最优解，包括：

确定编码代价函数，具体如公式(15)

J(s,c,mode|QP)＝D(s,c,mode|QP)+λR(s,c,mode|QP)，  (15)

其中，J为编码代价函数，D是失真值，R是编码比特率值，s和c分别表示原始图和通过编码之后的重建图像，mode表示基本编码单元可选择的编码模式；

对所述公式(15)进行求解，确定当所述编码代价函数取最优解时的所述编码模式。

本发明提供的技术方案带来的有益效果是：

基于上述方法，从而确定该最优解对应的视频编码模式，以便于基于该视频编码模式实现高质量视频感受的同时保证视频占用较小存储空间的效果。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种感知率失真的优化方法的流程示意图；

图2(a)为本发明提供的一种感知率失真的优化方法中序列Foreman的两种失真对比图；

图2(b)为本发明提供的一种感知率失真的优化方法中序列Paris的两种失真对比图；

图3(a)为本发明提供的一种感知率失真的优化方法中Mobile Calendar的原视频帧图；

图3(b)为本发明提供的一种感知率失真的优化方法中Mobile Calendar的FEJND阈值图；

图3(c)为本发明提供的一种感知率失真的优化方法中Bus的原视频帧图；

图3(d)为本发明提供的一种感知率失真的优化方法中Bus的FEJND阈值图；

图4(a)为本发明提供的一种感知率失真的优化方法中Container的R-D曲线图；

图4(b)为本发明提供的一种感知率失真的优化方法中Claire的R-D曲线图；

图4(c)为本发明提供的一种感知率失真的优化方法中Flower的R-D曲线图；

图4(d)为本发明提供的一种感知率失真的优化方法中Stefan的R-D曲线图；

图5(a)为本发明提供的一种感知率失真的优化方法中Flower的原始视频帧；

图5(b)为本发明提供的一种感知率失真的优化方法中使用JM17.2的方法处理得到的重建帧；

图5(c)为本发明提供的一种感知率失真的优化方法中使用本发明方法处理得到的重建帧；

图6(a)为本发明提供的一种感知率失真的优化方法中使用JM17.2的方法处理得到的重建帧；

图6(b)为本发明提供的一种感知率失真的优化方法中使用本发明方法处理得到的重建帧。

具体实施方式

为使本发明的结构和优点更加清楚，下面将结合附图对本发明的结构作进一步地描述。

实施例一

本发明提供了一种感知率失真的优化方法，所述感知率失真的优化方法，如图1所示，包括：

01、提取原始视频的帧图像，分别获取所述帧图像的空间阈值和时间阈值，根据所述空间阈值和所述时间阈值确定所述帧图像中像素点的综合阈值。

02、获取所述帧图像的失真数值，基于所述失真数值确定所述帧图像的缩放因子，根据所述缩放因子确定所述帧图像的初始乘子。

03、在所述帧图像中，确定包含预设数量所述像素点的宏块的综合阈值和所述帧图像中像素点的平均综合阈值，结合所述宏块的综合阈值和所述帧图像中像素点的平均综合阈值，确定所述宏块的归属类别。

04、根据失真模型以及所述宏块的归属类别，获取所述帧图像中所述宏块的量化参数，结合率失真优化原理，获取所述帧图像中所述宏块的调整乘子。

05、根据所述调整乘子，结合所述失真模型，获取编码代价函数的最优解。

在实施中，为了避免现有技术中存在的在编码技术中拉格朗日乘子不能根据视频内容进行自适应的缺陷，本发明实施例特此提出一种感知率失真的优化方法，具体为基于自由能(Free-Energy，FE)的恰可察觉误差(Just NoticeableDifference，JND)模型的感知率失真优化方法，这里的恰可察觉误差是指目视观察时可以区分出差异的最小阈限，而率失真理论(Rate distortion theory)则是用信息论的基本观点和方法研究数据压缩问题的理论，又称限失真信源编码理论。

通过利用自由能原则，也即人眼对视频中无序区域的掩蔽效应来改善现有的JND模型，提高无序区域的空间JND阈值，克服了以往JND模型中对无序区域JND阈值的弱估计问题，并结合时间JND阈值来建立适合于视频序列的FEJND模型，不仅有效地消除了视频序列中的空间冗余，还很好的消除了时间冗余，能更好的改善视频中有序区域的感知质量，从而提高视频整体的主观质量。

由此可知，本发明实施例中提供的方法，为基于观看视频过程中人眼可以察觉到差异的最小阈值，获取最小期望失真对应的最优解，从而确定该最优解对应的视频编码模式，以便于基于该视频编码模式实现视频高清晰度的同时保证视频占用较小存储空间的效果。

为了实现上述技术效果，本实施例提出的具体方案如下：

首先，提取原始视频即编码前视频的帧图像，获取该帧图像在基于自由能FE的恰可察觉误差JND模型的空间阈值SFEJND和时间阈值TJND，进而根据上述两个阈值确定帧图像每一像素点的综合阈值FEJND。

其次，获取上述帧图像中的失真数值，基于该失真数值确定每一幅帧图像的缩放因子α_i，以便于根据该缩放因子α_i确定与每一幅帧图像对应的拉格朗日乘子λ_fejnd。

接着，在每一幅帧图像中，将一定数量的像素点组合为一个宏块(MacroBlock，MB)，根据每个宏块的综合阈值与宏块所处帧图像的综合阈值的大小关系，进行宏块归属类别的划分。

其次，结合已获取的宏块的归属类别，在重建的失真模型中，确定每一幅帧图像中每个宏块的量化参数QP_MB，进而结合率失真优化原理，确定每一幅帧图像中每个宏块的调整乘子，即调整后的拉格朗日乘子λ。

最后，根据已获取的调整拉格朗日乘子，在重建后的失真模型中，获取编码代价函数的最优解，以及该最优解对应的编码模式。从而根据该编码模式进行视频压缩编码，就可以令编码后的视频在保证高清晰度的同时，还具有较小的空间占用的技术效果。

本发明提供一种感知率失真的优化方法，通过获取原始视频中帧图像的每一像素点的综合阈值，确定所述帧图像的缩放因子，根据所述缩放因子确定所述帧图像的初始乘子。在所述帧图像中，确定包含预设数量所述像素点的宏块的综合阈值，结合所述帧图像的综合阈值，确定所述宏块的归属类别。根据所述失真模型以及所述宏块的归属类别，获取所述帧图像中所述宏块的量化参数，结合率失真优化原理，获取所述帧图像中所述宏块的调整乘子。根据所述调整拉格朗日乘子，结合所述失真模型，获取编码代价函数的最优解。基于上述方法，从而确定该最优解对应的视频编码模式，以便于基于该视频编码模式实现高质量视频感受的同时保证视频占用较小存储空间的效果。

可选的，所述提取原始视频的帧图像，分别获取所述帧图像的空间阈值和时间阈值，根据所述空间阈值和所述时间阈值确定所述帧图像中像素点的综合阈值，即步骤01，如图2所示，包括：

确定与所述帧图像F对应的预测帧图像F'，具体通过

$F^{\′}\left(x\right)=\underset{x_k\∈\mathrm{\χ}}{\mathrm{\Σ}}{c}_{k}F\left(x_k\right)+\mathrm{\ϵ},$

ε是白噪声，c_k是规范化系数：

$c_k=\frac{I(x;x_k)}{{\mathrm{\Σ}}_{i}I(x;x_k)},$

其中x是中心像素，χ＝{x₁,x₂,...,x_N}为所述中心像素x的邻域像素集合，I(x；x_k)代表x与其邻域像素x_k的对应关系；

获取所述预测帧图像F'的JND阈值JND_p(x,y)，以及所述残差帧图像|F-F'|的JND阈值JND_d(x,y)；

基于所述JND_p(x,y)以及所述JND_d(x,y)，结合公式1确定空间FEJND阈值，

SFEJND(x,y)＝JND_p(x,y)+JND_d(x,y)-0.3×min{JND_p(x,y),JND_d(x,y)}，  (1)

获取时间JND阈值TJND(x,y,t)，具体通过公式(2)

$\mathrm{TJND}(x,y,t)=\left\{\begin{array}{c}\max (\mathrm{\τ},\frac{H}{2}\exp \left(\frac{-0.15}{2\mathrm{\π}}(\mathrm{\Δ}(x,y,t)+255)\right)+\mathrm{\τ})\\ \mathrm{\Δ}(x,y,t)\≤0\\ \max (\mathrm{\τ},\frac{L}{2}\exp \left(\frac{-0.15}{2\mathrm{\π}}(255-\mathrm{\Δ}(x,y,t))\right)+\mathrm{\τ})\\ \mathrm{\Δ}(x,y,t)>0\end{array}\right.---\left(2\right)$

其中，H＝8，L＝3.2，τ＝0.8。

结合空间FEJND阈值SFEJND(x,y)和所述时间JND阈值TJND(x,y,t)，通过公式(3)确定所述帧图像中像素点的综合阈值

FEJND(x,y)＝SFEJND(x,y)×TJND(x,y,t)，  (3)。

在实施中，为了获取原始视频中帧图像的综合阈值，具体分为如下步骤：

首先，基于原始视频中帧图像F，确定与之对应的预测帧图像F'，具体获取该预测帧图像F'的过程如下公式所示：

$F^{\′}\left(x\right)=\underset{x_k\∈\mathrm{\χ}}{\mathrm{\Σ}}{c}_{k}F\left(x_k\right)+\mathrm{\ϵ},$

ε是白噪声，c_k是规范化系数：

$c_k=\frac{I(x;x_k)}{{\mathrm{\Σ}}_{i}I(x;x_k)},$

其中x是中心像素，χ＝{x₁,x₂,...,x_N}为所述中心像素x的邻域像素集合，I(x；x_k)代表x与其邻域像素x_k的对应关系。从上述公式可以看出，预测帧图像F'本质上为原始视频中帧图像F的映射，并且在映射过程中的规范化系数c_k与帧图像F中的中心元素x的邻域像素情况相关联。

接着，获取所述预测帧图像F'的JND阈值JND_p(x,y)，以及所述残差帧图像|F-F'|的JND阈值JND_d(x,y)。

其次，基于已获取的所述JND_p(x,y)以及所述JND_d(x,y)，结合公式1确定空间FEJND阈值

SFEJND(x,y)＝JND_p(x,y)+JND_d(x,y)-0.3×min{JND_p(x,y),JND_d(x,y)}，  (1)

在公式(1)中，代入已获取的所述预测帧图像F'中与每个像素(x,y)对应的JND阈值JND_p(x,y)以及残差帧图像|F-F'|中与每个像素(x,y)对应的JND阈值JND_d(x,y)，获取空间FEJND中与像素对应的阈值SFEJND。

再次，获取时间JND阈值TJND(x,y,t)，具体通过公式(2)

$\mathrm{TJND}(x,y,t)=\left\{\begin{array}{c}\max (\mathrm{\τ},\frac{H}{2}\exp \left(\frac{-0.15}{2\mathrm{\π}}(\mathrm{\Δ}(x,y,t)+255)\right)+\mathrm{\τ})\\ \mathrm{\Δ}(x,y,t)\≤0\\ \max (\mathrm{\τ},\frac{L}{2}\exp \left(\frac{-0.15}{2\mathrm{\π}}(255-\mathrm{\Δ}(x,y,t))\right)+\mathrm{\τ})\\ \mathrm{\Δ}(x,y,t)>0\end{array}\right.---\left(2\right)$

其中，H＝8，L＝3.2，τ＝0.8。

值得注意的是，Δ(x,y,t)为当前帧图像F与前一帧图像相同位置像素值的平均亮度差，具体计算公式为

$\mathrm{\Δ}(x,y,t)=\frac{(p(x,y,t)-p(x,y,t-1)+\mathrm{bg}(x,y,t)-\mathrm{bg}(x,y,t-1))}{2},$

其中，p(x,y,t)和p(x,y,t-1)分别是当前帧和前一帧的像素值。根据该差值的正负情况，选取公式(2)中对应的情况进行计算，从而确定时间JND阈值TJND。

最后，结合空间FEJND阈值SFEJND(x,y)和所述时间JND阈值TJND(x,y,t)，通过公式(3)确定所述帧图像中像素点的综合阈值

FEJND(x,y)＝SFEJND(x,y)×TJND(x,y,t)，  (3)。

将已获取的空间FEJND阈值SFEJND(x,y)和所述时间JND阈值TJND(x,y,t)依照公式(3)进行运算，得到最终帧图像中每个像素点的综合阈值FEJND。以便根据该每个像素点的综合阈值确定后续的帧图像的平均FEJND阈值以及某一帧图像中某个宏块的平均FEJND阈值。

可选的，所述获取所述预测帧图像F'的JND阈值JND_p(x,y)，以及所述残差帧图像|F-F'|的JND阈值JND_d(x,y)，即步骤012具体包括：

确定所述预测帧图像F'中像素点的亮度值LC(x,y)，以及确定所述预测帧图像F'中像素点的空间掩蔽值SM(x,y)，具体公式为(4)

$\begin{array}{c}\mathrm{LC}(x,y)=\left\{\begin{array}{c}17(1-\sqrt{\frac{\mathrm{bg}(x,y)}{127}})+3,\mathrm{bg}(x,y)\≤127\\ \frac{3}{128}(\mathrm{bg}(x,y)-127)+3,\mathrm{bg}(x,y)>127\end{array}\right.\\ \mathrm{SM}(x,y)=\mathrm{mg}(x,y)\×\mathrm{\α}\left(\mathrm{bg}(x,y)\right)+\mathrm{\β}\left(\mathrm{bg}(x,y)\right)\end{array},---\left(4\right)$

其中，bg(x,y)是每个像素点(x,y)的平均背景亮度值，即公式(5)

$\mathrm{bg}(x,y)=\frac{1}{32}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}P(x-3+i,y-3+j)\·B(i,j),---\left(5\right)$

B(i,j)是一个低通滤波器，α和β通过公式(6)求出

$\begin{array}{c}\mathrm{\α}\left(\mathrm{bg}(x,y)\right)=\mathrm{bg}(x,y)\×0.0001+0.115\\ \mathrm{\β}\left(\mathrm{bg}(x,y)\right)=\mathrm{\μ}-\mathrm{bg}(x,y)\×0.01\end{array},---\left(6\right)$

mg(x,y)是所述像素点(x,y)上下左右四个方向的梯度中最大的加权平均梯度，具体如公式(7)

$\begin{array}{c}\mathrm{mg}(x,y)=\underset{k=\mathrm{1,2,3,4}}{\max }\left\{\right|{\mathrm{grand}}_k(x,y)\left|\right\}\\ {\mathrm{grand}}_k(x,y)=\frac{1}{16}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}f(x-3+i,y-3+j)\×G_k(i,j)\end{array},---\left(7\right)$

而G_k(i,j)是用来确认纹理区域的四个方向上的高通滤波器；

通过所述亮度值LC(x,y)和所述空间掩蔽值SM(x,y)，通过公式(8)确定所述预测帧图像F'的JND阈值JND_p(x,y)

JND_p(x,y)＝LC(x,y)+SM(x,y)-0.3×min{LC(x,y),SM(x,y)}，  (8)；

通过公式(9)，获取所述残差帧图像|F-F'|的JND阈值JND_d(x,y)

$\begin{array}{c}D(x,y)=|F-F^{\′}|\\ {\mathrm{JND}}_d(x,y)=1.125\×D(x,y)\end{array},---\left(9\right)$

其中，D(x,y)为所述帧图像F与所述预测帧图像F'中相同位置像素值的差值。

在实施中，为了获取预测帧图像F'的JND阈值JND_p(x,y)，以及所述残差帧图像|F-F'|的JND阈值JND_d(x,y)，需要如下步骤：

步骤一，确定所述预测帧图像F'中像素点的亮度值LC(x,y)，以及确定所述预测帧图像F'中像素点的空间掩蔽值SM(x,y)，具体公式为(4)

$\begin{array}{c}\mathrm{LC}(x,y)=\left\{\begin{array}{c}17(1-\sqrt{\frac{\mathrm{bg}(x,y)}{127}})+3,\mathrm{bg}(x,y)\≤127\\ \frac{3}{128}(\mathrm{bg}(x,y)-127)+3,\mathrm{bg}(x,y)>127\end{array}\right.\\ \mathrm{SM}(x,y)=\mathrm{mg}(x,y)\×\mathrm{\α}\left(\mathrm{bg}(x,y)\right)+\mathrm{\β}\left(\mathrm{bg}(x,y)\right)\end{array},---\left(4\right)$

其中，bg(x,y)是每个像素点(x,y)的平均背景亮度值，为了确定公式(4)中的bg(x,y)的取值，需要通过公式(5)进行获取

$\mathrm{bg}(x,y)=\frac{1}{32}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}P(x-3+i,y-3+j)\·B(i,j),---\left(5\right)$

公式(5)中的P(x-3+i,y-3+j)表示在获取bg(x,y)时，需要在预测帧图像F'中将待确定像素的坐标在该预测帧图像F'所处的二维坐标系中，分别向左和向下移动三个坐标值，选取移动后坐标对应的像素对应的数值进行后续计算，而B(i,j)是一个低通滤波器，具体结构以及数值如下：

$B(i,j)=\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 2& 2& 2& 1\\ 1& 2& 0& 2& 1\\ 1& 2& 2& 2& 1\\ 1& 1& 1& 1& 1\end{array}\right].$

在公式(4)中确定空间掩蔽值SM(x,y)的过程中，还需要确定系数α和β，这里确定α和β的步骤，通过公式(6)求出

$\begin{array}{c}\mathrm{\α}\left(\mathrm{bg}(x,y)\right)=\mathrm{bg}(x,y)\×0.0001+0.115\\ \mathrm{\β}\left(\mathrm{bg}(x,y)\right)=\mathrm{\μ}-\mathrm{bg}(x,y)\×0.01\end{array},---\left(6\right)$

其中，参数u的值为0.5。

公式(4)中还需要确定mg(x,y)的取值，mg(x,y)是像素点(x,y)分别在上下左右四个方向的梯度中最大的加权平均梯度，具体取值如公式(7)所示

$\begin{array}{c}\mathrm{mg}(x,y)=\underset{k=\mathrm{1,2,3,4}}{\max }\left\{\right|{\mathrm{grand}}_k(x,y)\left|\right\}\\ {\mathrm{grand}}_k(x,y)=\frac{1}{16}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}f(x-3+i,y-3+j)\×G_k(i,j)\end{array},---\left(7\right)$

与上文中公式(5)类似，f(x-3+i,y-3+j)在预测帧图像F'中将待确定像素的坐标在该预测帧图像F'所处的二维坐标系中，分别向左和向下移动三个坐标值，选取移动后坐标对应的像素对应的数值进行后续计算，而G_k(i,j)是用来确认纹理区域的四个方向上的高通滤波器，详细结构以及数据如下：

$\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -3& -8& 0\\ 0& 0& -1& 0& 0\end{array}\right]$

$\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right]\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 0& 3& 0& -3& 0\\ 0& 8& 0& -8& 0\\ 0& 3& 0& -8& 0\\ 0& 1& 0& -1& 0\end{array}\right].$

上述G_k(i,j)的四个矩阵分别代表在确认纹理区域时，在上下左右四个方向上的取值情况。

步骤二，通过所述亮度值LC(x,y)和所述空间掩蔽值SM(x,y)，通过公式(8)确定所述预测帧图像F'的JND阈值JND_p(x,y)

JND_p(x,y)＝LC(x,y)+SM(x,y)-0.3×min{LC(x,y),SM(x,y)}，  (8)；

通过公式(9)，获取所残差帧图像|F-F'|的JND阈值JND_d(x,y)

$\begin{array}{c}D(x,y)=|F-F^{\′}|\\ {\mathrm{JND}}_d(x,y)=1.125\×D(x,y)\end{array},---\left(9\right)$

其中，D(x,y)为所述帧图像F与所述预测帧图像F'中相同位置像素值的差值。

通过上述步骤的内容，可以确定获取预测帧图像F'的JND阈值JND_p(x,y)，以及所述残差帧图像|F-F'|的JND阈值JND_d(x,y)的取值，便于根据两个JND阈值完成综合阈值的确定。

可选的，所述获取所述帧图像的失真数值，基于所述失真数值确定所述帧图像的缩放因子，根据所述缩放因子确定所述帧图像的初始乘子，即步骤02包括：

根据公式(10)结合所述预测预测帧图像中像素点的综合阈值FEJND(x,y)确定所述帧图像的失真数值D_fejnd

$D_{\mathrm{fejnd}}=\left\{\begin{array}{c}{\stackrel{\‾}{\left(d_{\mathrm{MB}}\right)}}^2,\mathrm{if}|d_{\mathrm{resi}}-\stackrel{\‾}{d_{\mathrm{MB}}}|\≤\mathrm{\γ}\·\mathrm{FEJND}(x,y)\\ {(d_{\mathrm{resi}}-\mathrm{\γ}\·\mathrm{FEJND}(x,y))}^2,\mathrm{otherwise}\end{array}\right.,---\left(10\right)$

其中，γ的值为0.1，而d_resi＝|u(x,y)-r(x,y)|，u(x,y)是失真模型中的原始像素值，r(x,y)是所述失真模型中的重建像素值；

估算所述帧图像F的缩放因子α_i，并根据所述缩放因子α_i结合公式(11)获取所述帧图像F的初始乘子即拉格朗日乘子λ_fejnd；

$\begin{array}{c}{\mathrm{\α}}_i=\left\{\begin{array}{cc}{\mathrm{\α}}_i,& i=2\\ \frac{{\mathrm{\α}}_{i-1}+{\mathrm{\α}}_{i-2}}{2},& i\≥2\end{array}\right.\\ {\mathrm{\λ}}_{\mathrm{fejnd}}=\frac{{\mathrm{\λ}}_{\mathrm{sse}}}{{\mathrm{\α}}_i}\end{array},---\left(11\right)$

其中，λ_sse是原始率失真优化模型中的拉格朗日乘子，α_i-1和α_i-2分别是所述帧图像F前已编码的两帧对应的缩放因子。

在实施中，根据公式(10)结合所述帧图像中像素点的综合阈值FEJND(x,y)确定所述帧图像的失真数值D_fejnd，根据所述失真数值D_fejnd重建失真模型

$D_{\mathrm{fejnd}}=\left\{\begin{array}{c}{\stackrel{\‾}{\left(d_{\mathrm{MB}}\right)}}^2,\mathrm{if}|d_{\mathrm{resi}}-\stackrel{\‾}{d_{\mathrm{MB}}}|\≤\mathrm{\γ}\·\mathrm{FEJND}(x,y)\\ {(d_{\mathrm{resi}}-\mathrm{\γ}\·\mathrm{FEJND}(x,y))}^2,\mathrm{otherwise}\end{array}\right.,---\left(10\right)$

其中，γ的值为0.1，而d_resi＝|u(x,y)-r(x,y)|，u(x,y)是失真模型中的原始像素值，r(x,y)是所述失真模型中的重建像素值。

在根据公式(10)进行失真数值D_fejnd的获取前，还需要根据d_resi＝|u(x,y)-r(x,y)|完成对参数d_resi的确认，其中u(x,y)是原始失真模型中的像素值，r(x,y)是所述重建失真模型中的像素值。在确定参数d_resi后，根据与γ·FEJND(x,y)的大小关系，选取合适的运算来完成失真数值D_fejnd的获取，其中是当前宏块的平均残差绝对值。

根据公式(11)获取帧图像F的缩放因子α_i，这里的第一帧图像的缩放因子α₁为FEJND模型中的默认取值，通过公式获取，该公式中D＝d_resi ²，而D`＝D_fejnd。

从第二帧图像的缩放因子开始，均需要通过公式(11)进行迭代求解，在公式(11)中，α_i-1和α_i-2分别是所述帧图像F前已编码的两帧对应的缩放因子。

在完成对每一帧图像的缩放因子的求解后，根据公式(11)中的λ_fejnd的求解公式，进行帧图像F的初始乘子即拉格朗日乘子λ_fejnd的求解。其中的λ_sse是原始率失真优化模型中的拉格朗日乘子，计算公式为这里的QP为原始率失真优化模型中的量化参数。

结合刚才获取的每一帧图像的缩放因子α_i，获取与每一帧图像对应的初始乘子即拉格朗日乘子λ_fejnd。

通过本步骤完成了对每一幅帧图像的初始乘子即拉格朗日乘子的确定，从而便于后期通过每一帧图像中宏块不同的权重值，结合率失真理论，对每一幅帧图像的拉格朗日乘子进行动态适应性调整，以便于达到节省编码后视频所占空间的效果。本步骤中利用FEJND模型重新构造了率失真优化过程中的失真模型，剔除了低于某一阈值的人眼无法感知的失真，使得新的失真值更加符合人眼的视觉特性。由于失真的改变，用于约束代价函数的帧级别的拉格朗日乘子也相应改变，成为一个内容自适应的参数，便于更加有效地进行帧间模式选择和编码。

可选的，所述在所述帧图像中，确定包含预设数量所述像素点的宏块的综合阈值和所述帧图像中像素点的平均综合阈值，结合所述宏块的综合阈值和所述帧图像中像素点的平均综合阈值，确定所述宏块的归属类别，即步骤03，包括：

获取所述帧图像的所有像素点的平均综合阈值FEJND_frame以及所述预测帧图像中包含预设数量所述像素点的宏块的综合阈值FEJND_MB；

根据预设的判断条件，确定当前宏块的归属类别，所述预设判断条件为

如果FEJND_MB＞FEJND_frame，则所述宏块属于无序宏块；

如果FEJND_MB≤FEJND_frame，则所述宏块属于有序宏块。

在实施中，由于不同的编码模式对应不一样的划分策略，但原始的编码框架是以宏块(16×16个像素点)为单位进行编码的，因此为了便于计算，在每一幅帧图像中，首先根据宏块的大小确定该帧图像中宏块的数量，从而确定每一幅帧图像的像素点的综合阈值FEJND_frame，以及该幅帧图像中每个宏块的综合阈值FEJND_MB。

具体的，FEJND_frame为每一幅帧图像中所有像素综合阈值的平均值，对应的，FEJND_MB为该宏块中所有像素综合阈值的平均值。

其次，根据FEJND_frame与FEJND_MB的数值大小关系，确定宏块的归属类别，具体的，

如果FEJND_MB＞FEJND_frame，则所述宏块属于无序宏块；

如果FEJND_MB≤FEJND_frame，则所述宏块属于有序宏块。

这里之所以将每一帧图像中的宏块进行类型划分，是因为后期会根据宏块归属类型的不同，进行不同的视频编码，以便于基于该视频编码模式实现高质量视频感受的同时保证视频占用较小存储空间的效果。

可选的，所述根据失真模型以及所述宏块的归属类别，获取所述帧图像中所述宏块的量化参数，结合率失真优化原理，获取所述帧图像中所述宏块的调整乘子，即步骤04包括：

根据失真模型，通过公式(12)确定用于调整所述宏块的初始乘子的视觉权重参数η

$\mathrm{\η}=a+b\frac{1}{\exp (-c\·\frac{{\mathrm{FEJND}}_{\mathrm{MB}}-{\mathrm{FEJND}}_{\mathrm{feame}}}{{\mathrm{FEJND}}_{\mathrm{frame}}})},---\left(12\right)$

其中，a，b和c都是常数，取值分别为a＝0.7，b＝0.6，c＝4；

根据所述视觉权重参数η，通过公式(13)对所述宏块的量化参数QP_MB进行调整

$Q{P}_{\mathrm{MB}}=\sqrt{\mathrm{\η}}\·{\mathrm{QP}}_{\mathrm{frame}},---\left(13\right)$

其中，所述QP_frame是所述帧图像F的量化参数；

根据所述率失真优化原理和所述宏块的量化参数QP_MB，通过公式(14)获取所述帧图像中所述宏块的调整乘子即调整后的拉格朗日乘子λ

$\mathrm{\λ}=\mathrm{\ω}\×\mathrm{\η}\×2^{(Q{P}_{\mathrm{MB}}-12)/3}/\mathrm{\α},---\left(14\right)$

其中，w为常量。

在实施中，首先确定每一幅帧图像中每个宏块的初始乘子的视觉权重参数η，具体通过公式(12)完成该步骤

$\mathrm{\η}=a+b\frac{1}{\exp (-c\·\frac{{\mathrm{FEJND}}_{\mathrm{MB}}-{\mathrm{FEJND}}_{\mathrm{feame}}}{{\mathrm{FEJND}}_{\mathrm{frame}}})},---\left(12\right)$

在公式(12)中，a，b和c都是常数，取值分别为a＝0.7，b＝0.6，c＝4。这里的视觉权重参数η，是用于在后续步骤中对每一帧图像的拉格朗日乘子进行调整的参考，在公式(12)中，可以看出在分母部分的指数位置上，有着上一步确认宏块归属类型相同的(FEJND_MB-FEJND_frame)部分，因此这里是在宏块归属类型的基础上，对该视觉权重参数η进行获取。当该宏块为无序宏块时，对应的视觉权重参数η＞1，而当该宏块为有序宏块时，对应的视觉权重参数η＜1。

在获取视觉权重参数η后，根据公式(13)对预测帧图像F'中的宏块的量化参数QP_MB进行调整

$Q{P}_{\mathrm{MB}}=\sqrt{\mathrm{\η}}\·{\mathrm{QP}}_{\mathrm{frame}},---\left(13\right)$

这里的QP_frame是帧图像F中的量化参数，取值为集合{20、24、28、32}中的元素。结合上文已获取的视觉权重参数η在本步骤中确定帧图像F中的宏块的量化参数QP_MB。

根据所述率失真优化原理和所述宏块的量化参数QP_MB，通过公式(14)获取所述帧图像中所述宏块的调整乘子即调整后的拉格朗日乘子λ

$\mathrm{\λ}=\mathrm{\ω}\×\mathrm{\η}\×2^{(Q{P}_{\mathrm{MB}}-12)/3}/\mathrm{\α},---\left(14\right)$

其中，w为常量。这里通过公式(14)可以确定与视觉权重参数η对应的调整乘子即调整后的拉格朗日乘子。

可选的，所述根据所述调整乘子，结合所述失真模型，获取编码代价函数的最优解，即步骤05包括：

确定编码代价函数，具体如公式(15)

J(s,c,mode|QP)＝D(s,c,mode|QP)+λR(s,c,mode|QP)，  (15)

其中，J为编码代价函数，D是失真值，R是编码比特率值，s和c分别表示原始图和通过编码之后的重建图像，mode表示基本编码单元可选择的编码模式；

对所述公式(15)进行求解，确定当所述编码代价函数取最优解时的所述编码模式。

在实施中，将公式(15)进行化简，可以得到min(J)＝min(D+λR)，根据化简后的公式，可以看出，编码代价函数J是一个与D+λR相关的函数，需要达到的编码代价J与比特率R和失真数值D之间的一个平衡关系，在公式(15)中，可以看出编码代价J、比特率R、失真数值D中的变量均包括有s表示原图、c表示通过编码之后的重建图像，mode表示基本编码单元可选择的编码模式。

因子宏块划分类型不同，导致与每种子宏块划分类型对应的比特率R和失真数值D也不尽相同，例如，宏块中包含16×16个像素，基于该宏块类型，可能将其划分为两个16×8的子宏块或四个8×8的子宏块类型，当然也可以有其他子宏块划分类型，通过在公式(15)中代入不同编码类型即不同子宏块划分类型对应的比特率R、失真数值D和调整乘子λ，选取令编码代价函数J取得最小值时对应的编码类型即子宏块划分类型，以及对应的比特率R、失真数值D，将其作为公式(15)求得的最优解，确定与该最优解对应的编码模式mode，根据该编码模式mode进行编码，能够为人眼敏感的有序区域分配较多的比特率，而对人眼不敏感的无序区域则分配较少的比特率，有效提高了有序区域的感知质量，而在无序区域则隐藏了更多的失真，结合了人类视觉系统的掩蔽机制，在降低码率的同时提高了视觉感知质量。

本发明提供一种感知率失真的优化方法，通过获取原始视频中帧图像的综合阈值，确定所述帧图像的缩放因子，根据所述缩放因子确定所述帧图像的初始乘子。在所述帧图像中，确定包含预设数量所述像素点的宏块的综合阈值，结合所述帧图像的综合阈值，确定所述宏块的归属类别。根据所述失真模型以及所述宏块的归属类别，获取所述帧图像中所述宏块的量化参数，结合率失真优化原理，获取所述帧图像中所述宏块的调整乘子。根据所述调整乘子，结合所述失真模型，获取编码代价函数的最优解。基于上述方法，从而确定该最优解对应的视频编码模式，以便于基于该视频编码模式实现高质量视频感受的同时保证视频占用较小存储空间的效果。

本发明的效果可以通过以下仿真实验进一步说明：

1.仿真条件：

在CPU为Intel(R)Core^TM i3核处理器M350：主频2.27GHZ，内存2G，操作系统：WINDOWS 7，仿真平台：H.264参考软件JM17.2。

仿真选择9个4:2:0格式的视频测试序列，其中3个测试序列为QCIF格式，分辨率是176×144，其余6个测试序列为CIF格式，分辨率为352×288，采用基本画质(Baseline Profile)编码。JM17.2设置量化参数QP的值为20，24,28,32，编码帧数为50帧，GOP结构为I帧+49P帧，参考帧数目是5。

2.仿真内容：

仿真实验中，利用本发明方法与现有的H.264视频编码方法(JM17.2)分别在9个视频测试序列上进行视频编码仿真。

仿真1，利用本发明方法和JM17.2的方法分别对上述9个视频序列进行编码，得到的比特率减少百分比(ΔR)，SSIM增量(ΔSSIM)和PSNR减少量(ΔPSNR)如表1所示；

表1 JM17.2的方法和本发明方法性能评估对比

表1是利用JM17.2的方法和本发明方法得到的比特率减少百分比率，SSIM增量和PSNR减少量的指标对比，如表1所示，本发明的方法大幅度的降低了视频编码的比特率，在SSIM值相同的情况下，9个序列平均比特率减少8.27％，其中序列Container的比特率减少最多，为15.73％。各个序列的SSIM值都有不同幅度的增加，表明视频序列的感知质量有所提高，同时本发明的PSNR值有所降低，也说明了该方法在无序区域可以隐藏更多的失真。

仿真2，利用本发明重构的失真模型和原始的JM17.2中的失真模型进行对比，其目的在于确定缩放因子，从而调整帧级别的拉格朗日乘子，以Foreman序列和Paris序列为例，结果如图2所示，其中：

图2(a)为序列Foreman的两种失真对比图；

图2(b)为序列Paris的两种失真对比图。

图中蓝色曲线代表各帧中每一个宏块的原始失真大小，绿色曲线代表本发明各帧中每一个宏块的重构失真的大小。由图2对比可见，对不同的序列和不同的视频帧而言，其原始失真和重构失真之间的关系不是线性的，而是随着帧内容的不同而变化，所以在估计当前帧的缩放因子时，需要参考已编码帧的缩放因子的大小，本发明利用当前帧前面已经编码的两帧的缩放因子来估计当前帧的缩放因子。

仿真3，利用本发明方法得到视频帧的区域分割图，其中：

图3(a)为Mobile Calendar的原视频帧图；

图3(b)为Mobile Calendar的FEJND阈值图；

图3(c)为Bus的原视频帧图；

图3(d)为Bus的FEJND阈值图。

图中颜色越暗的区域(黑色)代表有序区域，颜色越亮的区域代表无序区域(白色)，由此可以说明，无序区域(像Mobile Calendar中日历上的数字)比有序区域(像Bus中的玻璃车窗)有更多的结构不确定性，因此有更高的FEJND阈值。经过区域分割之后，可以计算视频帧的有序性，示例图中Mobile Calendar的有序性为55.3％，Bus的有序性为49.0％。视频帧的有序性越大，表明其结构不确定性越小，也即无序区域所占的比例越小。

仿真4，利用本发明方法和JM17.2的方法进行对比，分别以测试序列Container，Claire，Flower，Stefan为例，绘制R-D曲线图，结果如图4所示，其中：

图4(a)为Container的R-D曲线图；

图4(b)为Claire的R-D曲线图；

图4(c)为Flower的R-D曲线图；

图4(d)为Stefan的R-D曲线图。

由图对比可见，对不同的视频序列，本发明方法可以有效地调节拉格朗日乘子，使得R-D曲线的性能优于JM17.2的方法，尤其是在编码比特率大小适中的情况下，曲线性能有较大幅度的提高。由此可见，本发明的方法可以有效地减少编码比特率，同时又能保持视频帧良好的重建质量。

仿真5，在低比特率下，利用本发明方法和JM17.2的方法对测试序列Flower进行编码，得到测试视频第43帧的重建帧图像如图5所示，其中：

图5(a)为Flower的原始视频帧；

图5(b)为使用JM17.2的方法处理得到的重建帧；

图5(c)为使用本发明方法处理得到的重建帧。

由该图对比可见，本发明方法得到的重建帧图像视觉感知质量得到了比较明显的改善，保留了原始视频帧中更多的结构信息和细节信息，减少了模糊，尤其是图中红框所标示的树木和树枝部分，所以本发明不仅明显降低了视频编码的比特率，还改善了视频的感知质量。

仿真6，在QP＝28时，利用本发明方法和JM17.2的方法对测试序列Stefan进行编码，得到测试视频第33帧的重建帧图像如图6所示，其中：

图6(a)为使用JM17.2的方法处理得到的重建帧；

图6(b)为使用本发明方法处理得到的重建帧。

由该图对比可见，由于人眼的掩蔽效应，使得隐藏在无序区域的失真不能被人眼感知，所以本发明方法得到的重建帧图像的PSNR值虽然减少了1.734dB，但是并没有影响视频帧的感知质量，也再次说明了本发明的方法可以在视频序列中隐藏更多的失真。

上述仿真实验结果表明，本发明结合人类视觉系统对无序区域的掩蔽效应建立FEJND模型，不仅可有效的消除空间冗余，还可以有效的消除时间冗余，结合率失真优化过程，为视频帧的不同区域分配不同的比特率，使得编码效果明显的提升了，并且在无序区域隐藏了更多的失真，使得有序区域的视觉质量得以提高，保留了更多的细节和结构信息，从而提升了重建帧整体的感知质量，是一种性能良好的感知率失真优化方法。

需要说明的是：上述实施例提供的一种感知率失真的优化方法进行视频帧处理的实施例，仅作为该优化方法在实际应用中的说明，还可以根据实际需要而将上述优化方法在其他应用场景中使用，其具体实现过程类似于上述实施例，这里不再赘述。

上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中得先后顺序。

以上所述仅为本发明的实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种感知率失真的优化方法，其特征在于，所述感知率失真的优化方法，包括：

提取原始视频的帧图像，分别获取所述帧图像的空间阈值和时间阈值，根据所述空间阈值和所述时间阈值确定所述帧图像中像素点的综合阈值；

获取所述帧图像的失真数值，基于所述失真数值确定所述帧图像的缩放因子，根据所述缩放因子确定所述帧图像的初始乘子；

在所述帧图像中，确定包含预设数量所述像素点的宏块的综合阈值和所述帧图像中像素点的平均综合阈值，结合所述宏块的综合阈值和所述帧图像中像素点的平均综合阈值，确定所述宏块的归属类别；

根据失真模型以及所述宏块的归属类别，获取所述帧图像中所述宏块的量化参数，结合率失真优化原理，获取所述帧图像中所述宏块的调整乘子；

根据所述调整乘子，结合所述失真模型，获取编码代价函数的最优解。

2.根据权利要求1所述的感知率失真的优化方法，其特征在于，所述提取原始视频的帧图像，分别获取所述帧图像的空间阈值和时间阈值，根据所述空间阈值和所述时间阈值确定所述帧图像中像素点的综合阈值，包括：

确定与所述帧图像F对应的预测帧图像F'，具体通过

$F^{\text{'}}\left(x\right)=\underset{x_k\∈\mathrm{\χ}}{\mathrm{\Σ}}{c}_{k}F\left(x_k\right)+\mathrm{\ϵ},$

ε是白噪声，c_k是规范化系数：

$c_k=\frac{I(x;x_k)}{{\mathrm{\Σ}}_{i}I(x;x_k)},$

其中x是中心像素，χ＝{x₁,x₂,...,x_N}为所述中心像素x的邻域像素集合，I(x；x_k)代表x与其邻域像素x_k的对应关系；

获取所述预测帧图像F'的JND阈值JND_p(x,y)，以及所述残差帧图像|F-F'|的JND阈值JND_d(x,y)；

基于所述JND_p(x,y)以及所述JND_d(x,y)，结合公式(1)确定空间FEJND阈值，

SFEJND(x,y)＝JND_p(x,y)+JND_d(x,y)-0.3×min{JND_p(x,y),JND_d(x,y)}，(1)

获取时间JND阈值TJND(x,y,t)，具体通过公式(2)

$\mathrm{TJND}(x,y,t)=\left\{\begin{array}{c}\max (\mathrm{\τ},\frac{H}{2}\exp \left(\frac{-0.15}{2\mathrm{\π}}(\mathrm{\Δ}(x,y,t)+255)\right)+\mathrm{\τ})\\ \mathrm{\Δ}(x,y,t)\≤0\\ \max (\mathrm{\τ},\frac{1}{2}\exp \left(\frac{-0.15}{2\mathrm{\π}}(255-\mathrm{\Δ}(x,y,t))\right)+\mathrm{\τ})\\ \mathrm{\Δ}(x,y,t)>0\end{array}\right.---\left(2\right)$

其中，H＝8，L＝3.2，τ＝0.8。

结合空间FEJND阈值SFEJND(x,y)和所述时间JND阈值TJND(x,y,t)，通过公式(3)确定所述帧图像中像素点的综合阈值

FEJND(x,y)＝SFEJND(x,y)×TJND(x,y,t)，  (3)。

3.根据权利要求2所述的一种感知率失真的优化方法，其特征在于，所述获取所述预测帧图像F'的JND阈值JND_p(x,y)，以及残差帧图像|F-F'|的JND阈值JND_d(x,y)，包括：

确定所述预测帧图像F'中像素点的亮度值LC(x,y)，以及确定所述预测帧图像F'中像素点的空间掩蔽值SM(x,y)，具体公式为(4)

$\mathrm{LC}(x,y)=\left\{\begin{array}{c}17(1-\sqrt{\frac{\mathrm{bg}(x,y)}{127}})+3.\mathrm{bg}(x,y)\≤127\\ \frac{3}{128}(\mathrm{bg}(x,y)-127)+3,\mathrm{bg}(x,y)>127\end{array}\right.,---\left(4\right)$

SM(x,y)＝mg(x,y)×α(bg(x,y))+β(bg(x,y))

其中，bg(x,y)是每个像素点(x,y)的平均背景亮度值，即公式(5)

$\mathrm{bg}(x,y)=\frac{1}{32}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}P(x-3+i,y-3+j)\·B(i,j),---\left(5\right)$

B(i,j)是一个低通滤波器，α和β通过公式(6)求出

$\begin{array}{c}\mathrm{\α}\left(\mathrm{bg}(x,y)\right)=\mathrm{bg}(x,y)\×0.0001+0.115\\ \mathrm{\β}\left(\mathrm{bg}(x,y)\right)=\mathrm{\μ}-\mathrm{bg}(x,y)\×0.01\end{array},---\left(6\right)$

mg(x,y)是所述像素点(x,y)上下左右四个方向的梯度中最大的加权平均梯度，具体如公式(7)

$\begin{array}{c}\mathrm{mg}(x,y)=\underset{k=\mathrm{1,2,3,4}}{\max }\left\{\right|\mathrm{gran}{d}_k(x,y)\left|\right\}\\ \mathrm{gran}{d}_k(x,y)=\frac{1}{16}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}f(x-3+i,y-3+j)\×G_k(i,j)\end{array},---\left(7\right)$

而G_k(i,j)是用来确认纹理区域的四个方向上的高通滤波器；

通过所述亮度值LC(x,y)和所述空间掩蔽值SM(x,y)，通过公式(8)确定所述预测帧图像F'的JND阈值JND_p(x,y)

JND_p(x,y)＝LC(x,y)+SM(x,y)-0.3×min{LC(x,y),SM(x,y)}，  (8)；

通过公式(9)，获取所述残差帧图像|F-F'|的JND阈值JND_d(x,y)

$\begin{array}{c}D(x,y)=|F-F^{\′}|\\ {\mathrm{JND}}_d(x,y)=1.125\×D(x,y)\end{array},---\left(9\right)$

其中，D(x,y)为所述帧图像F与所述预测帧图像F'中相同位置像素值的差值。

4.根据权利要求1所述的感知率失真的优化方法，其特征在于，所述获取所述帧图像的失真数值，基于所述失真数值确定所述帧图像的缩放因子，根据所述缩放因子确定所述帧图像的初始乘子，包括：

根据公式(10)结合所述帧图像中像素点的综合阈值FEJND(x,y)确定所述帧图像的失真数值D_fejnd，

$D_{\mathrm{fejnd}}=\left\{\begin{array}{c}{\stackrel{\‾}{\left(d_{\mathrm{MB}}\right)}}^2,\mathrm{if}|d_{\mathrm{resi}}-\stackrel{\‾}{d_{\mathrm{MB}}}|\≤\mathrm{\γ}\·\mathrm{FEJND}(x,y)\\ {(d_{\mathrm{resi}}-\mathrm{\γ}\·\mathrm{FEJND}(x,y))}^2,\mathrm{otherwise}\end{array}\right.,---\left(10\right)$

其中，γ的值为0.1，而d_resi＝|u(x,y)-r(x,y)|，u(x,y)是失真模型中的原始像素值，r(x,y)是所述失真模型中的重建像素值；

估算所述帧图像F的缩放因子α_i，并根据所述缩放因子α_i结合公式(11)获取所述帧图像F的初始乘子即拉格朗日乘子λ_fejnd；

$\begin{array}{c}{\mathrm{\α}}_i=\left\{\begin{array}{c}{\mathrm{\α}}_1,i=2\\ \frac{{\mathrm{\α}}_{i-1}+{\mathrm{\α}}_{i-2}}{2},i\≥2\end{array}\right.\\ {\mathrm{\λ}}_{\mathrm{fejnd}}=\frac{{\mathrm{\λ}}_{\mathrm{sse}}}{{\mathrm{\α}}_i}\end{array},---\left(11\right)$

其中，λ_sse是原始率失真优化模型中的拉格朗日乘子，α_i-1和α_i-2分别是所述帧图像F前已编码的两帧对应的缩放因子。

5.根据权利要求1所述的感知率失真的优化方法，其特征在于，所述在所述帧图像中，确定包含预设数量所述像素点的宏块的综合阈值和所述帧图像中像素点的平均综合阈值，结合所述宏块的综合阈值和所述帧图像中像素点的平均综合阈值，确定所述宏块的归属类别，包括：

获取所述帧图像的所有像素点的平均综合阈值FEJND_frame以及所述预测帧图像中包含预设数量所述像素点的宏块的综合阈值FEJND_MB；

根据预设的判断条件，确定当前宏块的归属类别，所述预设判断条件为

如果FEJND_MB＞FEJND_frame，则所述宏块属于无序宏块；

如果FEJND_MB≤FEJND_frame，则所述宏块属于有序宏块。

6.根据权利要求1所述的感知率失真的优化方法，其特征在于，所述根据失真模型以及所述宏块的归属类别，获取所述帧图像中所述宏块的量化参数，结合率失真优化原理，获取所述帧图像中所述宏块的调整乘子，包括：

根据失真模型，通过公式(12)确定用于调整所述宏块的初始乘子的视觉权重参数η

$\mathrm{\η}=a+b\frac{1}{\exp (-c\·\frac{{\mathrm{FEJND}}_{\mathrm{MB}}-{\mathrm{FEJND}}_{\mathrm{frame}}}{{\mathrm{FEJND}}_{\mathrm{frame}}})},---\left(12\right)$

其中，a，b和c都是常数，取值分别为a＝0.7，b＝0.6，c＝4；

根据所述视觉权重参数η，通过公式(13)对所述宏块的量化参数QP_MB进行调整

${\mathrm{QP}}_{\mathrm{MB}}=\sqrt{\mathrm{\η}}\·{\mathrm{QP}}_{\mathrm{frame}},---\left(13\right)$

其中，所述QP_frame是所述帧图像F的量化参数；

根据所述率失真优化原理和所述宏块的量化参数QP_MB，通过公式(14)获取所述帧图像中所述宏块的调整乘子即调整后的拉格朗日乘子λ

$\mathrm{\λ}=\mathrm{\ω}\×\mathrm{\η}\×2^{({\mathrm{QP}}_{\mathrm{MB}}-12)/3}/\mathrm{\α},---\left(14\right)$

其中，w为常量。

7.根据权利要求1所述的感知率失真的优化方法，其特征在于，所述根据所述调整乘子，结合所述失真模型，获取编码代价函数的最优解，包括：

确定编码代价函数，具体如公式(15)

J(s,c,mode|QP)＝D(s,c,mode|QP)+λR(s,c,mode|QP)，  (15)

其中，J为编码代价函数，D是失真值，R是编码比特率值，s和c分别表示原始图和通过编码之后的重建图像，mode表示基本编码单元可选择的编码模式；

对所述公式(15)进行求解，确定当所述编码代价函数取最优解时的所述编码模式。