CN105812805A - 一种用于视频图像的编码方法和装置 - Google Patents

Abstract

本发明公开了一种用于视频图像的编码方法和装置，属于视频编解码处理领域。所述发明包括从视频图像中提取亮度分量，确定失真度量值，根据失真度量值获取与视频图像对应的第一阈值和第二阈值，根据第一阈值和第二阈值确定控制参数，基于控制参数对视频图像进行编码，得到编码后的视频图像。通过利用恰可察觉误差，克服了以往JND模型中对无序区域JND阈值的弱估计问题，有效地消除了视频序列中的空间冗余，降低了编码量，提高了编码效率。同时使用所得的亮度掩膜与空间掩膜对有序区域的JND进行更加准确的估计，以便于从而更好的改善视频中有序区域的感知质量，提高视频整体的观看感受。

Description

一种用于视频图像的编码方法和装置

技术领域

本发明属于视频编解码处理领域，特别涉及一种用于视频图像的编码方法和装置。

背景技术

高动态范围(High-DynamicRange，HDR)视频，将会成为电视领域里的下一件大事。HDR视频可同时大幅度拓展对比度和色彩，画面中明亮的部分会更加明亮，从而使其看上去更具“深度”；而色彩的拓展的能让红绿蓝和它们之间的所有颜色看上去更加明亮纯粹。为了降低码率的同时提供高质量的视觉效果，对高动态范围(HDR)视频的编码称为当前视频技术领域的重点研究对象。

由于大多数视频编码传输的最终接收者是人类，而编码和传输人眼不能察觉或者不感兴趣的信息对于网络宽带来说是种浪费，因此视频编码算法要尽可能的考虑人类视觉系统(HumanVisualSystem，HVS)的特性。基于这种思想，利用人眼视觉理论来指导视频压缩，降低压缩码率是视频压缩技术的一个重要研究方向。

在实现本发明的过程中，发明人发现现有技术没有充分考虑人眼的视觉特性，导致编码过程无法根据视频内容进行自适应处理，使得编码运算量过大，降低了编码效率。

发明内容

为了解决现有技术的问题，第一方面，本发明提供了一种用于视频图像的编码方法，所述用于视频图像的编码方法，包括：

从视频图像中提取亮度分量，基于所述亮度分量，确定失真度量值；

根据所述失真度量值获取与所述视频图像对应的第一阈值和第二阈值；

根据所述第一阈值和所述第二阈值确定控制参数；

基于所述控制参数对所述视频图像进行编码，得到编码后的视频图像。

可选的，从视频图像中提取亮度分量，基于所述亮度分量，确定失真度量值，包括：

对所述视频图像进行编码预处理，得到预处理视频图像，提取所述预处理视频图像的亮度分量，基于所述亮度分量构建输入图像；

获取与所述输入图像对应的有序图和无序图；

获取与所述有序图对应的有序阈值，以及与所述无序图对应的无序阈值，基于所述有序阈值和无序阈值，确定失真度量值。

可选的，获取与所述输入图像对应的有序图和无序图，包括：

根据公式一，确定与所述输入图像F对应的有序图P，

$F^{\′}\left(x\right)=\underset{x_k\∈\mathrm{\χ}}{\mathrm{\Σ}}{c}_{k}F\left(x_k\right)+\mathrm{\ϵ}$ 公式一，

其中， $c_k=\frac{I(x;x_k)}{{\mathrm{\Σ}}_{i}I(x;x_k)}$

其中，ε是白噪声，c_k是规范化系数，x是中心像素，χ＝{x₁,x₂,...,x_N}是其邻域像素，I(x；x_k)代表x与其邻域像素x_k的互信息；

根据公式二，确定与所述输入图像F对应的无序图D，

D＝|F-F'|公式二。

可选的，获取与所述有序图对应的有序阈值，以及与所述无序图对应的无序阈值，基于所述有序阈值和无序阈值，确定失真度量值，包括：

获取所述有序图中与每个像素点对应的亮度掩蔽值LC(x,y)；

获取所述有序图中与所述每个像素点对应的空间掩蔽值SM(x,y)；

结合公式三，确定有序阈值JND_p(x,y)，

JND_p(x,y)＝LC(x,y)+SM(x,y)-0.3*min{LC(x,y),SM(x,y)}公式三；

结合公式四，确定无序阈值JND_d(x,y)，

JND_d(x,y)＝1.125*D(x,y)公式四；

其中，D(x,y)为所述无序图中的像素值；

结合公式五，确定失真度量值FEJND(x,y)，

FEJND(x,y)＝JND_p(x,y)+JND_d(x,y)-0.3*min{JND_p(x,y),JND_d(x,y)}公式五。

可选的，根据所述第一阈值和所述第二阈值确定控制参数，包括：

结合公式六，根据所述第一阈值和所述第二阈值确定权重参数η，

$\mathrm{\η}={(a+b\frac{1}{\exp (-c*\frac{{\mathrm{FEJND}}_{CU}-{\mathrm{FEJND}}_{frame}}{{\mathrm{FEJND}}_{frame}})})}^2$ 公式六，

其中，FEJND_frame为第一阈值，FEJND_CU为第二阈值，a，b和c都是常数，取值分别为a＝0.7，b＝0.6，c＝4；

基于优化失真理论，对公式七求偏导，确定控制参数λ，

J(s,c,mode|QP)＝D(s,c,mode|QP)+λR(s,c,mode|QP)公式七。

第二方面，本发明提供了一种用于视频图像的编码装置，所述用于视频图像的编码装置，包括：

提取单元，用于从视频图像中提取亮度分量，基于所述亮度分量，确定失真度量值；

获取单元，用于根据所述失真度量值获取与所述视频图像对应的第一阈值和第二阈值；

处理单元，用于根据所述第一阈值和所述第二阈值确定控制参数；

控制单元，用于基于所述控制参数对所述视频图像进行编码，得到编码后的视频图像。

可选的，提取单元，用于：

对所述视频图像进行编码预处理，得到预处理视频图像，提取所述预处理视频图像的亮度分量，基于所述亮度分量构建输入图像；

获取与所述输入图像对应的有序图和无序图；

获取与所述有序图对应的有序阈值，以及与所述无序图对应的无序阈值，基于所述有序阈值和无序阈值，确定失真度量值。

可选的，提取单元，具体用于：

根据公式一，确定与所述输入图像F对应的有序图P，

$F^{\′}\left(x\right)=\underset{x_k\∈\mathrm{\χ}}{\mathrm{\Σ}}{c}_{k}F\left(x_k\right)+\mathrm{\ϵ}$ 公式一，

其中， $c_k=\frac{I(x;x_k)}{{\mathrm{\Σ}}_{i}I(x;x_k)}$

其中，ε是白噪声，c_k是规范化系数，x是中心像素，χ＝{x₁,x₂,...,x_N}是其邻域像素，I(x；x_k)代表x与其邻域像素x_k的互信息；

根据公式二，确定与所述输入图像F对应的无序图D，

D＝|F-F'|公式二。

可选的，提取单元，具体用于：

获取所述有序图中与每个像素点对应的亮度掩蔽值LC(x,y)；

获取所述有序图中与所述每个像素点对应的空间掩蔽值SM(x,y)；

结合公式三，确定有序阈值JND_p(x,y)，

JND_p(x,y)＝LC(x,y)+SM(x,y)-0.3*min{LC(x,y),SM(x,y)}公式三；

结合公式四，确定无序阈值JND₊(x,y)，

JND_d(x,y)＝1.125*D(x,y)公式四；

其中，D(x,y)为所述无序图中的像素值；

结合公式五，确定失真度量值FEJND(x,y)，

FEJND(x,y)＝JND_p(x,y)+JND_d(x,y)-0.3*min{JND_p(x,y),JND_d(x,y)}公式五。

可选的，控制单元，用于：

结合公式六，根据所述第一阈值和所述第二阈值确定权重参数η，

$\mathrm{\η}={(a+b\frac{1}{\exp (-c*\frac{{\mathrm{FEJND}}_{CU}-{\mathrm{FEJND}}_{frame}}{{\mathrm{FEJND}}_{frame}})})}^2$ 公式六，

其中，FEJND_frame为第一阈值，FEJND_CU为第二阈值，a，b和c都是常数，取值分别为a＝0.7，b＝0.6，c＝4；

基于优化失真理论，对公式七求偏导，确定控制参数λ，

J(s,c,mode|QP)＝D(s,c,mode|QP)+λR(s,c,mode|QP)公式七。

本发明提供的技术方案带来的有益效果是：

通过利用恰可察觉误差，克服了在以往的恰可察觉误差(Just-Noticeable-Difference，JND)模型中对无序区域JND阈值的弱估计问题，有效地消除了视频序列中的空间冗余，降低了编码量，提高了编码效率。同时使用所得的亮度掩膜与空间掩膜对有序区域的JND进行更加准确的估计，以便于更好的改善视频中有序区域的感知质量，提高视频整体的观看感受。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种用于视频图像的编码方法的结构示意图；

图2是本发明提供的一种用于视频图像的编码装置的结构示意图；

图3(a)是测试序列Market的原始视频帧图；

图3(b)是测试序列Market的FEJND阈值图；

图4(a)是对测试序列Market使用HM16.2方法处理得到的重建帧；

图4(b)是对测试序列Market使用HM16.2方法处理得到的重建帧的局部放大图；

图4(c)是基于本发明提供的用于视频图像的编码方法的对测试序列Market进行处理后的重建帧；

图4(d)是基于本发明提供的用于视频图像的编码方法的对测试序列Market进行处理后的重建帧的局部放大图；

图5(a)是对测试序列Balloon使用HM16.2方法处理得到的重建帧；

图5(b)是对测试序列Balloon使用HM16.2方法处理得到的重建帧的局部放大图一；

图5(c)是对测试序列Balloon使用HM16.2方法处理得到的重建帧的局部放大图二；

图5(d)是基于本发明提供的用于视频图像的编码方法的对测试序列Balloon进行处理后的重建帧；

图5(e)是基于本发明提供的用于视频图像的编码方法的对测试序列Balloon进行处理后的重建帧的局部放大图一；

图5(f)是基于本发明提供的用于视频图像的编码方法的对测试序列Balloon进行处理后的重建帧的局部放大图二。

具体实施方式

为使本发明的结构和优点更加清楚，下面将结合附图对本发明的结构作进一步地描述。

实施例一

本发明提供了一种用于视频图像的编码方法，如图1所示，所述用于视频图像的编码方法，包括：

11、从视频图像中提取亮度分量，基于所述亮度分量，确定失真度量值。

12、根据所述失真度量值获取与所述视频图像对应的第一阈值和第二阈值。

13、根据所述第一阈值和所述第二阈值确定控制参数。

14、基于所述控制参数对所述视频图像进行编码，得到编码后的视频图像。

在实施中，为了解决现有编码技术中无法进行内容自适应，导致编码效率低下的缺陷，本发明提供了一种用于视频图像的编码方法，该编码方法中获取失真度量值，基于失真度量值将视频帧分解为有序图和无序图。对于有序图，结合人类视觉系统的亮度掩蔽效应计算亮度掩蔽值，结合空间掩蔽效应计算空间掩蔽值，联合亮度和空间掩蔽值得到有序图的JND。联合有序图和无序图的JND得到每个像素点的自由能量恰克察觉误差(Free-EnergyJND，FEJND)，将FEJND用于模式选择过程的拉格朗日乘子调整。最后对解码之后的视频进行编码，得到编码后视频图像。

值得注意的是，在步骤11获取到的失真度量值本质上为视频图像的FEJND阈值，基于该阈值，在步骤12中，确定视频图像中所有像素的平均FEJND阈值即FEJND_frame作为第一阈值。类似的，在视频图像中划分若干数量的编码单元(CodingUnit，CU)，将每个编码单元中所有像素的平均FEJND阈值作为该编码单元的阈值FEJND_CU即第二阈值。以便于步骤13中基于第一阈值FEJND_frame和第二阈值FEJND_CU确定编码过程中的控制参数。

在上述处理过程中，通过利用自由能量(Free-Energy,FE)原则，也即人眼对视频中无序区域的掩蔽效应来改善现有的JND模型，提高无序区域的JND。这里的JND，也即恰可察觉误差，是指人眼观察时可以区分出差异的最小阈值。该方法克服了以往JND模型中对无序区域JND阈值的弱估计问题，有效地消除了视频序列中的空间冗余。另外，本发明根据已有的亮度掩膜(LuminanceMasking，LM)，并结合HEVCMain10框架支持的数据格式，得出一种适用于量化后的HDR视频的亮度掩膜，联合使用所得的亮度掩膜与空间掩膜可以更加准确的估计有序区域的JND。从而更好的改善视频中有序区域的感知质量，提高视频整体的主观质量。

本发明提供了一种用于视频图像的编码方法，包括从视频图像中提取亮度分量，确定失真度量值，根据失真度量值获取与视频图像对应的第一阈值和第二阈值，根据第一阈值和第二阈值确定控制参数，基于控制参数对视频图像进行编码，得到编码后的视频图像。通过利用恰可察觉误差，克服了以往JND模型中对无序区域JND阈值的弱估计问题，有效地消除了视频序列中的空间冗余，降低了编码量，提高了编码效率。同时使用所得的亮度掩膜与空间掩膜对有序区域的JND进行更加准确的估计，以便于从改善视频中有序区域的感知质量，提高视频整体的观看感受。

可选的，从视频图像中提取亮度分量，基于所述亮度分量，确定失真度量值，包括：

对所述视频图像进行编码预处理，得到预处理视频图像，提取所述预处理视频图像的亮度分量，基于所述亮度分量构建输入图像；

获取与所述输入图像对应的有序图和无序图；

获取与所述有序图对应的有序阈值，以及与所述无序图对应的无序阈值，基于所述有序阈值和无序阈值，确定失真度量值。

在实施中，步骤11的具体实现方式为：

101、对所述视频图像进行编码预处理，得到预处理视频图像，提取所述预处理视频图像的亮度分量，基于所述亮度分量构建输入图像。

在该步骤中对视频图像进行编码预处理的方式具体分为四步，依次为利用编码变换函数处理HDR视频、颜色空间变换、将颜色空间变换后的视频量化到10比特范围、色度下采样使得视频格式从4:4:4变换到4:2:0，这个步骤具体为：

a)利用编码变换函数处理HDR视频；

R'＝PQ_TF(max(0,min(R/10000,1)))

G'＝PQ_TF(max(0,min(G/10000,1)))

B'＝PQ_TF(max(0,min(B/10000,1)))

$PQ\_TF\left(L\right)={\left(\frac{c_1+c_2{L}^{m_1}}{1+c_3{L}^{m_1}}\right)}^{m_2}$

其中，函数max(x,y)表示取两者之间的最大值，min(x,y)表示取两者之间的最小值。系数m₁、m₂分别为0.1593、78.8438，c₁、c₂和c₃分别为0.8359、18.8516和18.6875。

b)颜色空间变换：从R'G'B'到Y'CbCr；

Y'＝0.262700*R'+0.678000*G'+0.059300*B'

Cb＝-0.139630*R'-0.360370*G'+0.500000*B'

Cr＝0.500000*R'-0.459786*G'-0.040214*B'

c)将颜色空间变换后的视频量化到10比特范围；

D_Y'＝Clip1_Y(Round((1<<(BitDepth_Y-8))*(219*Y'+16)))

D_Cb＝Clip1_C(Round((1<<(BitDepth_C-8))*(224*Cb+128)))

D_Cr＝Clip1_C(Round((1<<(BitDepth_C-8))*(224*Cr+128)))

其中，

Round(x)＝Sign(x)*Floor(Abs(x)+0.5)

$Sign\left(x\right)=\left\{\begin{array}{cc}-1,& x<0\\ 0,& x=0\\ 1,& x>0\end{array}\right.$

Floor(x)：小于或等于x的最大整数

$Abs\left(x\right)=\left\{\begin{array}{cc}x,& x\&GreaterEqual;0\\ -x,& x<0\end{array}\right.$

Clip1_Y(x)＝Clip3(0,(1<<BitDepth_Y)-1,x)

Clip1_C(x)＝Clip3(0,(1<<BitDepth_C)-1,x)

$Clip3(x,y,z)=\left\{\begin{array}{cc}x,& z<x\\ y,& z>y\\ z,& else\end{array}\right.$

符号“<<”表示左移运算符。BitDepth_Y表示Y'的比特深度，BitDepth_C表示Cb和Cr的比特深度。这里BitDepth_Y和BitDepth_C均取为10。

d)色度下采样使得视频格式从4:4:4变换到4:2:0。

在完成上述四步处理后，得到预处理视频图像，提取其中的亮度分量D_Y'，基于亮度分量D_Y'构建输入图像F。

102、获取与所述输入图像对应的有序图和无序图。

从输入图像F中获取到的有序图对应人眼较为敏感的图像区域，而无序图则对应人眼不是很敏感的图像区域，具体获取有序图和无序图的步骤在下文中进行具体描述。

103、获取与所述有序图对应的有序阈值，以及与所述无序图对应的无序阈值，基于所述有序阈值和无序阈值，确定失真度量值。

在获取到有序图和无序图后，还要确定与其对应的有序阈值和无序阈值，以便于根据有序阈值和无序阈值确定失真度量值，进而根据失真度量值获取后文中的第一阈值和第二阈值，从而最终确定对视频图像进行编码过程中的控制参数。

可选的，获取与所述输入图像对应的有序图和无序图，包括：

根据公式一，确定与所述输入图像F对应的有序图P，

$F^{\&prime;}\left(x\right)=\underset{x_k\&Element;\mathrm{\&chi;}}{\mathrm{\&Sigma;}}{c}_{k}F\left(x_k\right)+\mathrm{\&epsiv;}$ 公式一，

其中， $c_k=\frac{I(x;x_k)}{{\mathrm{\&Sigma;}}_{i}I(x;x_k)}$

其中，ε是白噪声，c_k是规范化系数，x是中心像素，χ＝{x₁,x₂,...,x_N}是其邻域像素，I(x；x_k)代表x与其邻域像素x_k的互信息；

根据公式二，确定与所述输入图像F对应的无序图D，

D＝|F-F'|公式二。

在实施中，基于公式一和公式二即可获取有序图P及无序图D，有序图对应人眼较为敏感的图像区域，而无序图则对应人眼不是很敏感的图像区域。

在本步骤中，利用FEJND模型将视频图像分为有序图和无序图，是为了后续步骤中使用视觉权重参数调整率失真优化过程中的拉格朗日乘子。

在本步骤使用了率失真理论，该理论是用信息论的基本观点和方法研究数据压缩问题的理论，又称限失真信源编码理论。使用该理论的目的是为人眼敏感的有序区域分配较多的比特率，而对人眼不敏感的无序区域则分配较少的比特率，有效提高了有序区域的感知质量，而在无序区域则隐藏了更多的失真，完美的结合了人类视觉系统的掩蔽机制，在降低编码比特率的同时提高了视觉感知质量。

可选的，获取与所述有序图对应的有序阈值，以及与所述无序图对应的无序阈值，基于所述有序阈值和无序阈值，确定失真度量值，包括：

获取所述有序图中与每个像素点对应的亮度掩蔽值LC(x,y)；

获取所述有序图中与所述每个像素点对应的空间掩蔽值SM(x,y)；

结合公式三，确定有序阈值JND_p(x,y)，

JND_p(x,y)＝LC(x,y)+SM(x,y)-0.3*min{LC(x,y),SM(x,y)}公式三；

结合公式四，确定无序阈值JND_d(x,y)，

JND_d(x,y)＝1.125*D(x,y)公式四；

其中，D(x,y)为所述无序图中的像素值；

结合公式五，确定失真度量值FEJND(x,y)，

FEJND(x,y)＝JND_p(x,y)+JND_d(x,y)-0.3*min{JND_p(x,y),JND_d(x,y)}公式五。

在实施中，步骤103的具体实现方式为：

1031、在获取有序阈值JND_p(x,y)之前，需要获取到有序图中与每个像素点对应的亮度掩蔽值LC(x,y)以及与有序图中每个像素点对应的空间掩蔽值SM(x,y)，二者的具体获取方式可以参考如下公式：

LC(x,y)＝LM(bg(x,y))

SM(x,y)＝mg(x,y)*α(bg(x,y))+β(bg(x,y))。

在公式中，bg(x,y)是每个像素点的平均背景亮度值，基于下边的公式获取，

$bg(x,y)=\frac{1}{32}\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{F}^{\&prime;}(x-3+i,y-3+j)*B(i,j)$

其中，B(i,j)是一个低通滤波器，如下所示：

$\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 2& 2& 2& 1\\ 1& 2& 0& 2& 1\\ 1& 2& 2& 2& 1\\ 1& 1& 1& 1& 1\end{array}\right].$

在获取亮度掩蔽值LC(x,y)公式中的LM(·)是适用于量化后HDR视频的亮度掩膜分量，由前文步骤101中的分步骤c)的内容中量化过程可知，亮度分量Y’的量化值D_Y'范围是[64,940]，64和940分别对应编码变换函数能编码的最低亮度(10^-6cd/m²)和最高亮度(10⁴cd/m²)，因此亮度掩膜分量LM(·)只考虑范围[64,940]内的值，计算过程如下：

$range\left(i\right)=\left\{\begin{array}{cc}64& \begin{array}{cc}if& i=1\end{array}\\ 62+i& \begin{array}{cc}if& i=2,3,...,878\end{array}\end{array}\right.$

$range\_N=\frac{range-64}{940-64}$

luminance＝10000*inversePQ_TF(range_N)

$LM\left(j\right)=\frac{lu\min ance(j+1)-lu\min ance\left(j\right)}{2}*\frac{940-64}{0.9\&times;4096},j=1,2,...,877$

计算过程中使用的逆变换编码函数inversePQ_TF(·)计算如下：

$inversePQ\_TF\left(N\right)={\left(\frac{max\&lsqb;(N^{1/m_2}-c_1),0\&rsqb;}{c_2-c_3{N}^{1/m_2}}\right)}^{1/m_1}$

系数m₁、m₂分别为0.1593、78.8438，c₁、c₂和c₃分别为0.8359、18.8516和18.6875。

在获取空间掩蔽值SM(x,y)过程中的函数mg(x,y)是像素点(x,y)周围四个方向的梯度中最大的加权平均梯度，

$mg(x,y)=\underset{k=1,2,3,4}{max}\left\{\right|{\mathrm{grand}}_k(x,y)\left|\right\}$

${\mathrm{grand}}_k(x,y)=\frac{1}{16}\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}f(x-3+i,y-3+j)*G_k(i,j)$

其中，G_k(i,j)是用来确定纹理区域的四个方向上的高通滤波器，如下所示：

$\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right]$ $\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -3& -8& 0\\ 0& 0& -1& 0& 0\end{array}\right]$

$\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right]$ $\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 0& 3& 0& -3& 0\\ 0& 8& 0& -8& 0\\ 0& 3& 0& -8& 0\\ 0& 1& 0& -1& 0\end{array}\right]$

基于上述内容，在获取空间掩蔽值SM(x,y)过程中的函数α(bg(x,y))和β(bg(x,y))的表达式为：

α(bg(x,y))＝0.0001*bg(x,y)+0.115

β(bg(x,y))＝μ-0.01*bg(x,y)。

1032、在获取到亮度掩蔽值LC(x,y)和空间掩蔽值SM(x,y)后，结合公式三，确定有序阈值JND_p(x,y)，

JND_p(x,y)＝LC(x,y)+SM(x,y)-0.3*min{LC(x,y),SM(x,y)}公式三。

1033、结合公式四，确定无序阈值JND_d(x,y)，

JND_d(x,y)＝1.125*D(x,y)公式四；

其中，D(x,y)为所述无序图中的像素值；

1034、结合公式五，确定失真度量值FEJND(x,y)，

FEJND(x,y)＝JND_p(x,y)+JND_d(x,y)-0.3*min{JND_p(x,y),JND_d(x,y)}公式五。

在完成步骤1034后，即获取到与视频图像对应的失真度量值FEJND(x,y)，该失真度量值其实是视频图像中每个像素值的FEJND阈值，在前文中已经提出，基于该FEJND阈值确定视频图像中所有像素的平均FEJND阈值即FEJND_frame作为第一阈值，以及将每个编码单元中所有像素的平均FEJND阈值作为该编码单元的阈值FEJND_CU即第二阈值。根据所述第一阈值和所述第二阈值确定控制参数，如下文所示。

可选的，根据所述第一阈值和所述第二阈值确定控制参数，包括：

结合公式六，根据所述第一阈值和所述第二阈值确定权重参数η，

$\mathrm{\&eta;}={(a+b\frac{1}{\exp (-c*\frac{{\mathrm{FEJND}}_{CU}-{\mathrm{FEJND}}_{frame}}{{\mathrm{FEJND}}_{frame}})})}^2$ 公式六，

其中，FEJND_frame为第一阈值，FEJND_CU为第二阈值，a，b和c都是常数，取值分别为a＝0.7，b＝0.6，c＝4；

基于优化失真理论，对公式七求偏导，确定控制参数λ，

J(s,c,mode|QP)＝D(s,c,mode|QP)+λR(s,c,mode|QP)公式七。

在实施中，基于获取到的第一阈值FEJND_frame和第二阈值FEJND_CU确定编码过程中的控制参数λ，确定该控制参数λ的具体步骤分为：

301、结合公式六，根据所述第一阈值和所述第二阈值确定权重参数η，

$\mathrm{\&eta;}={(a+b\frac{1}{\exp (-c*\frac{{\mathrm{FEJND}}_{CU}-{\mathrm{FEJND}}_{frame}}{{\mathrm{FEJND}}_{frame}})})}^2$ 公式六，

其中，FEJND_frame为第一阈值，FEJND_CU为第二阈值，a，b和c都是常数，取值分别为a＝0.7，b＝0.6，c＝4。

302、基于优化失真理论，对公式七求偏导，确定控制参数λ，

J(s,c,mode|QP)＝D(s,c,mode|QP)+λ`R(s,c,mode|QP)公式七。

其中，J为代价函数，D是失真值，R是编码比特率值，s和c分别表示原图和通过编码之后的重建图像，mode表示基本编码单元可选择的编码模式。

对公式七求基于R的偏导数，令偏导数的值为零即获取到λ`的值即λ_sse为HEVC中原始的拉格朗日乘子，结合公式λ＝η*λ_sse确定最终的控制参数λ。

由于公式七构建的代价函数中包含有失真值D和编码比特率值R，因此求解出的λ`为同时考虑失真值D和编码比特率值R的最优解，因此基于λ`结合步骤301确定的确定权重参数η得到的控制参数λ进行编码，可以将为人眼敏感的有序区域分配较多的比特率，而对人眼不敏感的无序区域则分配较少的比特率，有效提高了有序区域的感知质量，而在无序区域则隐藏了更多的失真，完美的结合了人类视觉系统的掩蔽机制，在降低编码比特率的同时提高了视觉感知质量。

在获取到的控制参数λ后，令编码器根据λ对视频图像进行编码。在后续编码过程中还包括依次为色度上采样使得视频格式从4:2:0变换到4:4:4，将颜色空间变换后的视频量化到16比特范围、颜色空间反变换、利用逆编码变换函数处理HDR视频的处理步骤，得到最终的编码后图像，由于篇幅所限，不对该部分内容进行详细描述。

本发明提供了一种用于视频图像的编码方法，包括从视频图像中提取亮度分量，确定失真度量值，根据失真度量值获取与视频图像对应的第一阈值和第二阈值，根据第一阈值和第二阈值确定控制参数，基于控制参数对视频图像进行编码，得到编码后的视频图像。通过利用恰可察觉误差，克服了以往JND模型中对无序区域JND阈值的弱估计问题，有效地消除了视频序列中的空间冗余，降低了编码量，提高了编码效率。同时使用所得的亮度掩膜与空间掩膜对有序区域的JND进行更加准确的估计，以便于更好的改善视频中有序区域的感知质量，提高视频整体的观看感受。

实施例二

本实施例提供了一种用于视频图像的编码装置2，如图2所示，所述用于视频图像的编码装置，包括：

提取单元21，用于从视频图像中提取亮度分量，基于所述亮度分量，确定失真度量值；

获取单元22，用于根据所述失真度量值获取与所述视频图像对应的第一阈值和第二阈值；

处理单元23，用于根据所述第一阈值和所述第二阈值确定控制参数；

控制单元24，用于基于所述控制参数对所述视频图像进行编码，得到编码后的视频图像。

在实施中，为了解决现有编码技术中无法进行内容自适应，导致编码效率低下的缺陷，本发明提供了一种用于视频图像的编码方法，该编码方法中获取失真度量值，基于失真度量值将视频帧分解为有序图和无序图。对于有序图，结合人类视觉系统的亮度掩蔽效应计算亮度掩蔽值，结合空间掩蔽效应计算空间掩蔽值，联合亮度和空间掩蔽值得到有序图的恰可察觉误差。联合有序图和无序图的JND得到每个像素点的Free-EnergyJND(FEJND)，将FEJND用于模式选择过程的拉格朗日乘子调整。最后对解码之后的视频进行编码，得到编码后视频图像。

值得注意的是，在提取单元21中获取到的失真度量值本质上为视频图像的FEJND阈值，基于该阈值，在获取单元22中，确定视频图像中所有像素的平均FEJND阈值即FEJND_frame作为第一阈值。类似的，在视频图像中划分若干数量的编码单元CodingUnit，将每个编码单元中所有像素的平均FEJND阈值作为该编码单元的阈值FEJND_CU即第二阈值。以便于处理单元23中基于第一阈值FEJND_frame和第二阈值FEJND_CU确定编码过程中的控制参数。

在上述处理过程中，通过利用自由能量原则，也即人眼对视频中无序区域的掩蔽效应来改善现有的JND模型，提高无序区域的JND。这里的JND，也即恰可察觉误差，是指人眼观察时可以区分出差异的最小阈值。该方法克服了以往JND模型中对无序区域JND阈值的弱估计问题，有效地消除了视频序列中的空间冗余。另外，本发明根据已有的亮度掩膜，并结合HEVCMain10框架支持的数据格式，得出一种适用于量化后的HDR视频的亮度掩膜，联合使用所得的亮度掩膜与空间掩膜可以更加准确的估计有序区域的JND。从而更好的改善视频中有序区域的感知质量，提高视频整体的主观质量。

本发明提供了一种用于视频图像的编码装置，包括从视频图像中提取亮度分量，确定失真度量值，根据失真度量值获取与视频图像对应的第一阈值和第二阈值，根据第一阈值和第二阈值确定控制参数，基于控制参数对视频图像进行编码，得到编码后的视频图像。通过利用恰可察觉误差，克服了以往JND模型中对无序区域JND阈值的弱估计问题，有效地消除了视频序列中的空间冗余，降低了编码量，提高了编码效率。同时使用所得的亮度掩膜与空间掩膜对有序区域的JND进行更加准确的估计，以便于更好的改善视频中有序区域的感知质量，提高视频整体的观看感受。

可选的，提取单元21，用于：

对所述视频图像进行编码预处理，得到预处理视频图像，提取所述预处理视频图像的亮度分量，基于所述亮度分量构建输入图像；

获取与所述输入图像对应的有序图和无序图；

获取与所述有序图对应的有序阈值，以及与所述无序图对应的无序阈值，基于所述有序阈值和无序阈值，确定失真度量值。

在实施中，提取单元21的具体工作方式为：

401、对所述视频图像进行编码预处理，得到预处理视频图像，提取所述预处理视频图像的亮度分量，基于所述亮度分量构建输入图像。

在该步骤中对视频图像进行编码预处理的方式具体分为四步，依次为利用编码变换函数处理HDR视频、颜色空间变换、将颜色空间变换后的视频量化到10比特范围、色度下采样使得视频格式从4:4:4变换到4:2:0，这个步骤具体为：

a)利用编码变换函数处理HDR视频；

R'＝PQ_TF(max(0,min(R/10000,1)))

G'＝PQ_TF(max(0,min(G/10000,1)))

B'＝PQ_TF(max(0,min(B/10000,1)))

$PQ\_TF\left(L\right)={\left(\frac{c_1+c_2{L}^{m_1}}{1+c_3{L}^{m_1}}\right)}^{m_2}$

其中，函数max(x,y)表示取两者之间的最大值，min(x,y)表示取两者之间的最小值。系数m₁、m₂分别为0.1593、78.8438，c₁、c₂和c₃分别为0.8359、18.8516和18.6875。

b)颜色空间变换：从R'G'B'到Y'CbCr；

Y'＝0.262700*R'+0.678000*G'+0.059300*B'

Cb＝-0.139630*R'-0.360370*G'+0.500000*B'

Cr＝0.500000*R'-0.459786*G'-0.040214*B'

c)将颜色空间变换后的视频量化到10比特范围；

D_Y'＝Clip1_Y(Round((1<<(BitDepth_Y-8))*(219*Y'+16)))

D_Cb＝Clip1_C(Round((1<<(BitDepth_C-8))*(224*Cb+128)))

D_Cr＝Clip1_C(Round((1<<(BitDepth_C-8))*(224*Cr+128)))

其中，

Round(x)＝Sign(x)*Floor(Abs(x)+0.5)

$Sign\left(x\right)=\left\{\begin{array}{cc}-1,& x<0\\ 0,& x=0\\ 1,& x>0\end{array}\right.$

Floor(x)：小于或等于x的最大整数

$Abs\left(x\right)=\left\{\begin{array}{cc}x,& x\&GreaterEqual;0\\ -x,& x<0\end{array}\right.$

Clip1_Y(x)＝Clip3(0,(1<<BitDepth_Y)-1,x)

Clip1_C(x)＝Clip3(0,(1<<BitDepth_C)-1,x)

$Clip3(x,y,z)=\left\{\begin{array}{cc}x,& z<x\\ y,& z>y\\ z,& else\end{array}\right.$

符号“<<”表示左移运算符。BitDepth_Y表示Y'的比特深度，BitDepth_C表示Cb和Cr的比特深度。这里BitDepth_Y和BitDepth_C均取为10。

d)色度下采样使得视频格式从4:4:4变换到4:2:0。

在完成上述四步处理后，得到预处理视频图像，提取其中的亮度分量D_Y'，基于亮度分量D_Y'构建输入图像F。

402、获取与所述输入图像对应的有序图和无序图。

从输入图像F中获取到的有序图对应人眼较为敏感的图像区域，而无序图则对应人眼不是很敏感的图像区域，具体获取有序图和无序图的步骤在下文中进行具体描述。

403、获取与所述有序图对应的有序阈值，以及与所述无序图对应的无序阈值，基于所述有序阈值和无序阈值，确定失真度量值。

在获取到有序图和无序图后，还要确定与其对应的有序阈值和无序阈值，以便于根据有序阈值和无序阈值确定失真度量值，进而根据失真度量值获取后文中的第一阈值和第二阈值，从而最终确定对视频图像进行编码过程中的控制参数。

可选的，提取单元21，具体用于：

根据公式一，确定与所述输入图像F对应的有序图P，

$F^{\&prime;}\left(x\right)=\underset{x_k\&Element;\mathrm{\&chi;}}{\mathrm{\&Sigma;}}{c}_{k}F\left(x_k\right)+\mathrm{\&epsiv;}$ 公式一，

其中， $c_k=\frac{I(x;x_k)}{{\mathrm{\&Sigma;}}_{i}I(x;x_k)}$

其中，ε是白噪声，c_k是规范化系数，x是中心像素，χ＝{x₁,x₂,...,x_N}是其邻域像素，I(x；x_k)代表x与其邻域像素x_k的互信息；

根据公式二，确定与所述输入图像F对应的无序图D，

D＝|F-F'|公式二。

在实施中，基于公式一和公式二即可获取有序图P及无序图D，有序图对应人眼较为敏感的图像区域，而无序图则对应人眼不是很敏感的图像区域。

在本步骤中，利用FEJND模型将视频图像分为有序图和无序图，是为了后续步骤中使用视觉权重参数调整率失真优化过程中的拉格朗日乘子。

在本步骤使用了率失真理论，该理论是用信息论的基本观点和方法研究数据压缩问题的理论，又称限失真信源编码理论。使用该理论的目的是为人眼敏感的有序区域分配较多的比特率，而对人眼不敏感的无序区域则分配较少的比特率，有效提高了有序区域的感知质量，而在无序区域则隐藏了更多的失真，完美的结合了人类视觉系统的掩蔽机制，在降低编码比特率的同时提高了视觉感知质量。

可选的，提取单元21，具体用于：

获取所述有序图中与每个像素点对应的亮度掩蔽值LC(x,y)；

获取所述有序图中与所述每个像素点对应的空间掩蔽值SM(x,y)；

结合公式三，确定有序阈值JND_p(x,y)，

JND_p(x,y)＝LC(x,y)+SM(x,y)-0.3*min{LC(x,y),SM(x,y)}公式三；

结合公式四，确定无序阈值JND_d(x,y)，

JND_d(x,y)＝1.125*D(x,y)公式四；

其中，D(x,y)为所述无序图中的像素值；

结合公式五，确定失真度量值FEJND(x,y)，

FEJND(x,y)＝JND_p(x,y)+JND_d(x,y)-0.3*min{JND_p(x,y),JND_d(x,y)}公式五。

在实施中，提取单元21确定失真度量值FEJND(x,y)的具体实现方式为：

1031、在获取有序阈值JND_p(x,y)之前，需要获取到有序图中与每个像素点对应的亮度掩蔽值LC(x,y)以及与有序图中每个像素点对应的空间掩蔽值SM(x,y)，二者的具体获取方式可以参考如下公式：

LC(x,y)＝LM(bg(x,y))

SM(x,y)＝mg(x,y)*α(bg(x,y))+β(bg(x,y))。

在公式中，bg(x,y)是每个像素点的平均背景亮度值，基于下边的公式获取，

$bg(x,y)=\frac{1}{32}\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{F}^{\&prime;}(x-3+i,y-3+j)*B(i,j)$

其中，B(i,j)是一个低通滤波器，如下所示：

$\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 2& 2& 2& 1\\ 1& 2& 0& 2& 1\\ 1& 2& 2& 2& 1\\ 1& 1& 1& 1& 1\end{array}\right].$

在获取亮度掩蔽值LC(x,y)公式中的LM(·)是适用于量化后HDR视频的亮度掩膜分量，由前文步骤101中的分步骤c)的内容中量化过程可知，亮度分量Y’的量化值D_Y'范围是[64,940]，64和940分别对应编码变换函数能编码的最低亮度(10^-6cd/m²)和最高亮度(10⁴cd/m²)，因此亮度掩膜分量LM(·)只考虑范围[64,940]内的值，计算过程如下：

$range\left(i\right)=\left\{\begin{array}{cc}64& \begin{array}{cc}if& i=1\end{array}\\ 62+i& \begin{array}{cc}if& i=2,3,...,878\end{array}\end{array}\right.$

$range\_N=\frac{range-64}{940-64}$

luminance＝10000*inversePQ_TF(range_N)

$LM\left(j\right)=\frac{lu\min ance(j+1)-lu\min ance\left(j\right)}{2}*\frac{940-64}{0.9\&times;4096},j=1,2,...,877$

计算过程中使用的逆变换编码函数inversePQ_TF(·)计算如下：

$inversePQ\_TF\left(N\right)={\left(\frac{max\&lsqb;(N^{1/m_2}-c_1),0\&rsqb;}{c_2-c_3{N}^{1/m_2}}\right)}^{1/m_1}$

系数m₁、m₂分别为0.1593、78.8438，c₁、c₂和c₃分别为0.8359、18.8516和18.6875。在获取空间掩蔽值SM(x,y)过程中的函数mg(x,y)是像素点(x,y)周围四个方向的梯度中最大的加权平均梯度，

$mg(x,y)=\underset{k=1,2,3,4}{max}\left\{\right|{\mathrm{grand}}_k(x,y)\left|\right\}$

${\mathrm{grand}}_k(x,y)=\frac{1}{16}\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}f(x-3+i,y-3+j)*G_k(i,j)$

其中，G_k(i,j)是用来确定纹理区域的四个方向上的高通滤波器，如下所示：

$\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right]$ $\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -3& -8& 0\\ 0& 0& -1& 0& 0\end{array}\right]$

$\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right]$ $\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 0& 3& 0& -3& 0\\ 0& 8& 0& -8& 0\\ 0& 3& 0& -8& 0\\ 0& 1& 0& -1& 0\end{array}\right]$

基于上述内容，在获取空间掩蔽值SM(x,y)过程中的函数α(bg(x,y))和β(bg(x,y))的表达式为：

α(bg(x,y))＝0.0001*bg(x,y)+0.115

β(bg(x,y))＝μ-0.01*bg(x,y)。

1032、在获取到亮度掩蔽值LC(x,y)和空间掩蔽值SM(x,y)后，结合公式三，确定有序阈值JND_p(x,y)，

JND_p(x,y)＝LC(x,y)+SM(x,y)-0.3*min{LC(x,y),SM(x,y)}公式三。

1033、结合公式四，确定无序阈值JND_d(x,y)，

JND_d(x,y)＝1.125*D(x,y)公式四；

其中，D(x,y)为所述无序图中的像素值；

1034、结合公式五，确定失真度量值FEJND(x,y)，

FEJND(x,y)＝JND_p(x,y)+JND_d(x,y)-0.3*min{JND_p(x,y),JND_d(x,y)}公式五。

在完成步骤1034后，即获取到与视频图像对应的失真度量值FEJND(x,y)，该失真度量值其实是视频图像中每个像素值的FEJND阈值，在前文中已经提出，基于该FEJND阈值确定视频图像中所有像素的平均FEJND阈值即FEJND_frame作为第一阈值，以及将每个编码单元中所有像素的平均FEJND阈值作为该编码单元的阈值FEJND_CU即第二阈值。根据所述第一阈值和所述第二阈值确定控制参数，如下文所示。

可选的，控制单元24，用于：

结合公式六，根据所述第一阈值和所述第二阈值确定权重参数η，

$\mathrm{\&eta;}={(a+b\frac{1}{\exp (-c*\frac{{\mathrm{FEJND}}_{CU}-{\mathrm{FEJND}}_{frame}}{{\mathrm{FEJND}}_{frame}})})}^2$ 公式六，

其中，FEJND_frame为第一阈值，FEJND_CU为第二阈值，a，b和c都是常数，取值分别为a＝0.7，b＝0.6，c＝4；

基于优化失真理论，对公式七求偏导，确定控制参数λ，

J(s,c,mode|QP)＝D(s,c,mode|QP)+λR(s,c,mode|QP)公式七。

在实施中，基于获取到的第一阈值FEJND_frame和第二阈值FEJND_CU确定编码过程中的控制参数λ，确定该控制参数λ的具体步骤分为：

301、结合公式六，根据所述第一阈值和所述第二阈值确定权重参数η，

$\mathrm{\&eta;}={(a+b\frac{1}{\exp (-c*\frac{{\mathrm{FEJND}}_{CU}-{\mathrm{FEJND}}_{frame}}{{\mathrm{FEJND}}_{frame}})})}^2$ 公式六，

其中，FEJND_frame为第一阈值，FEJND_CU为第二阈值，a，b和c都是常数，取值分别为a＝0.7，b＝0.6，c＝4。

302、基于优化失真理论，对公式七求偏导，确定控制参数λ，

J(s,c,mode|QP)＝D(s,c,mode|QP)+λ`R(s,c,mode|QP)公式七。

其中，J为代价函数，D是失真值，R是编码比特率值，s和c分别表示原图和通过编码之后的重建图像，mode表示基本编码单元可选择的编码模式。

对公式七求基于R的偏导数，令偏导数的值为零即获取到λ`的值即λ_sse为HEVC中原始的拉格朗日乘子，结合公式λ＝η*λ_sse确定最终的控制参数λ。

由于公式七构建的代价函数中包含有失真值D和编码比特率值R，因此求解出的λ`为同时考虑失真值D和编码比特率值R的最优解，因此基于λ`结合步骤301确定的确定权重参数η得到的控制参数λ进行编码，可以将为人眼敏感的有序区域分配较多的比特率，而对人眼不敏感的无序区域则分配较少的比特率，有效提高了有序区域的感知质量，而在无序区域则隐藏了更多的失真，完美的结合了人类视觉系统的掩蔽机制，在降低编码比特率的同时提高了视觉感知质量。

在获取到的控制参数λ后，令编码器根据λ对视频图像进行编码。在后续编码过程中还包括依次为色度上采样使得视频格式从4:2:0变换到4:4:4，将颜色空间变换后的视频量化到16比特范围、颜色空间反变换、利用逆编码变换函数处理HDR视频的处理步骤，得到最终的编码后图像，由于篇幅所限，不对该部分内容进行详细描述。

本发明提供了一种用于视频图像的编码装置，包括从视频图像中提取亮度分量，确定失真度量值，根据失真度量值获取与视频图像对应的第一阈值和第二阈值，根据第一阈值和第二阈值确定控制参数，基于控制参数对视频图像进行编码，得到编码后的视频图像。通过利用恰可察觉误差，克服了以往JND模型中对无序区域JND阈值的弱估计问题，有效地消除了视频序列中的空间冗余，降低了编码量，提高了编码效率。同时使用所得的亮度掩膜与空间掩膜对有序区域的JND进行更加准确的估计，以便于改善视频中有序区域的感知质量，提高视频整体的观看感受。

本发明的效果可以通过以下仿真实验进一步说明：

1.仿真条件：

在CPU为Intel(R)Core^TMi3核处理器M350：主频2.27GHZ，内存2G，操作系统：WINDOWS7，仿真平台：HEVCMain10参考软件HM16.2。

仿真选择3个4:4:4格式的16比特高动态范围视频测试序列(Market3,Balloon和Tibul2)，分辨率是1920×1080，采用主流画质(MainProfile10)编码。选择的量化参数QP的值分别为22，27，32，37，编码帧数为50帧，GOP结构为I帧+49P帧。

2.仿真内容：

仿真实验中，利用本发明方法与现有的高动态范围视频压缩编码系统分别在3个视频序列上进行性能测试。

仿真1，利用本发明方法和现有高动态范围视频压缩编码系统分别对上述3个视频序列进行编码，HM16.2方法与本发明方法比特率比较结果如表1所示。

表1HM16.2方法与本发明方法比特率比较

表1是HM16.2方法与本发明方法比特率比较。如表1所示，除Tibul2序列在QP＝37情况下，本发明方法使用的比特数均少于HM16.2方法，3个序列的平均比特率分别减少8.07％，12.99％，2.15％，实验结果表明本发明方法能够有效的降低比特率。

仿真2，利用本发明方法得到视频帧的区域分割图，其中：

图3(a)为Market的原始视频帧图(亮度图)；

图3(b)为Market的FEJND阈值图；

图中颜色越暗的区域(黑色)代表有序区域，颜色越亮的区域代表无序区域(白色)，由此可以说明，无序区域(像墙上的植物、衣服等)比有序区域(像天空、地面)有更多的结构不确定性，因此有更高的FEJND阈值。经过区域分割之后，可以得知视频帧的有序性。视频帧的有序性越大，表明其结构不确定性越小，也即无序区域所占的比例越小。

仿真3，在低比特率下(QP＝37)，利用本发明方法和HM16.2方法对测试序列Market进行编码，得到测试视频第2帧的重建帧图像如图4所示，其中：

图4(a)为使用HM16.2方法处理得到的重建帧；

图4(b)为图4(a)的局部放大图；

图4(c)为使用本发明方法处理得到的重建帧；

图4(d)为图4(c)的局部放大图。

由该图对比可见，本发明方法得到的重建帧图像视觉感知质量得到了比较明显的改善，保留了原始帧图像中更多的结构信息和细节信息，减少了模糊，尤其是图中红框所标示的墙上的纹理信息，所以本发明不仅明显降低了视频编码的比特率，而且改善了视频的感知质量。

仿真4，在低比特率下(QP＝37)，利用本发明方法和HM16.2方法对测试序列Balloon进行编码，得到测试视频第25帧的重建帧图像如图5所示，其中：

图5(a)为使用HM16.2方法处理得到的重建帧；

图5(b)和(c)为图5(a)在不同区域的局部放大图；

图5(d)为使用本发明方法处理得到的重建帧；

图5(e)和(f)为图5(d)在不同区域的局部放大图。

由该图对比可见，本发明方法得到的重建帧图像的视觉感知质量有了明显的提升，保留了原始帧图像中更多的结构信息，所得到的图像边缘更加清晰，同时由于人眼的掩蔽效应，使得隐藏在无序区域的失真不能被人眼感知。

需要说明的是：上述实施例提供的一种用于视频图像的编码方法和装置进行视频图像编码的实施例，仅作为该编码方法和装置在实际应用中的说明，还可以根据实际需要而将上述编码方法和装置在其他应用场景中使用，其具体实现过程类似于上述实施例，这里不再赘述。

上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中的先后顺序。

以上所述仅为本发明的实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于视频图像的编码方法，其特征在于，所述用于视频图像的编码方法，包括：

从视频图像中提取亮度分量，基于所述亮度分量，确定失真度量值；

根据所述失真度量值获取与所述视频图像对应的第一阈值和第二阈值；

根据所述第一阈值和所述第二阈值确定控制参数；

基于所述控制参数对所述视频图像进行编码，得到编码后的视频图像。

2.根据权利要求1所述的用于视频图像的编码方法，其特征在于，从视频图像中提取亮度分量，基于所述亮度分量，确定失真度量值，包括：

对所述视频图像进行编码预处理，得到预处理视频图像，提取所述预处理视频图像的亮度分量，基于所述亮度分量构建输入图像；

获取与所述输入图像对应的有序图和无序图；

获取与所述有序图对应的有序阈值，以及与所述无序图对应的无序阈值，基于所述有序阈值和无序阈值，确定失真度量值。

3.根据权利要求2所述的用于视频图像的编码方法，其特征在于，获取与所述输入图像对应的有序图和无序图，包括：

根据公式一，确定与所述输入图像F对应的有序图P，

$F^{\&prime;}\left(x\right)=\underset{x_k\&Element;\mathrm{\&chi;}}{\mathrm{\&Sigma;}}{c}_{k}F\left(x_k\right)+\mathrm{\&epsiv;}$

公式一，

其中， $c_k=\frac{I(x;x_k)}{{\mathrm{\&Sigma;}}_{i}I(x;x_k)}$

其中，ε是白噪声，c_k是规范化系数，x是中心像素，χ＝{x₁,x₂,...,x_N}是其邻域像素，I(x；x_k)代表x与其邻域像素x_k的互信息；

根据公式二，确定与所述输入图像F对应的无序图D，

D＝|F-F'|公式二。

4.根据权利要求2所述的用于视频图像的编码方法，其特征在于，获取与所述有序图对应的有序阈值，以及与所述无序图对应的无序阈值，基于所述有序阈值和无序阈值，确定失真度量值，包括：

获取所述有序图中与每个像素点对应的亮度掩蔽值LC(x,y)；

获取所述有序图中与所述每个像素点对应的空间掩蔽值SM(x,y)；

结合公式三，确定有序阈值JND_p(x,y)，

JND_p(x,y)＝LC(x,y)+SM(x,y)-0.3*min{LC(x,y),SM(x,y)}公式三；

结合公式四，确定无序阈值JND_d(x,y)，

JND_d(x,y)＝1.125*D(x,y)公式四；

其中，D(x,y)为所述无序图中的像素值；

结合公式五，确定失真度量值FEJND(x,y)，

FEJND(x,y)＝JND_p(x,y)+JND_d(x,y)-0.3*min{JND_p(x,y),JND_d(x,y)}公式五。

5.根据权利要求1所述的用于视频图像的编码方法，其特征在于，根据所述第一阈值和所述第二阈值确定控制参数，包括：

结合公式六，根据所述第一阈值和所述第二阈值确定权重参数η，

$\mathrm{\&eta;}={(a+b\frac{1}{\exp (-c*\frac{{\mathrm{FEJND}}_{CU}-{\mathrm{FEJND}}_{frame}}{{\mathrm{FEJND}}_{frame}})})}^2$ 公式六，

其中，FEJND_frame为第一阈值，FEJND_CU为第二阈值，a，b和c都是常数，取值分别为a＝0.7，b＝0.6，c＝4；

基于优化失真理论，对公式七求偏导，确定控制参数λ，

J(s,c,mode|QP)＝D(s,c,mode|QP)+λR(s,c,mode|QP)公式七。

6.一种用于视频图像的编码装置，其特征在于，所述用于视频图像的编码装置，包括：

提取单元，用于从视频图像中提取亮度分量，基于所述亮度分量，确定失真度量值；

获取单元，用于根据所述失真度量值获取与所述视频图像对应的第一阈值和第二阈值；

处理单元，用于根据所述第一阈值和所述第二阈值确定控制参数；

控制单元，用于基于所述控制参数对所述视频图像进行编码，得到编码后的视频图像。

7.根据权利要求6所述的用于视频图像的编码装置，其特征在于，提取单元，用于：

对所述视频图像进行编码预处理，得到预处理视频图像，提取所述预处理视频图像的亮度分量，基于所述亮度分量构建输入图像；

获取与所述输入图像对应的有序图和无序图；

获取与所述有序图对应的有序阈值，以及与所述无序图对应的无序阈值，基于所述有序阈值和无序阈值，确定失真度量值。

8.根据权利要求7所述的用于视频图像的编码装置，其特征在于，提取单元，具体用于：

根据公式一，确定与所述输入图像F对应的有序图P，

$F^{\&prime;}\left(x\right)=\underset{x_k\&Element;\mathrm{\&chi;}}{\mathrm{\&Sigma;}}{c}_{k}F\left(x_k\right)+\mathrm{\&epsiv;}$

公式一，

其中， $c_k=\frac{I(x;x_k)}{{\mathrm{\&Sigma;}}_{i}I(x;x_k)}$

其中，ε是白噪声，c_k是规范化系数，x是中心像素，χ＝{x₁,x₂,...,x_N}是其邻域像素，I(x；x_k)代表x与其邻域像素x_k的互信息；

根据公式二，确定与所述输入图像F对应的无序图D，

D＝|F-F'|公式二。

9.根据权利要求7所述的用于视频图像的编码装置，其特征在于，提取单元，具体用于：

获取所述有序图中与每个像素点对应的亮度掩蔽值LC(x,y)；

获取所述有序图中与所述每个像素点对应的空间掩蔽值SM(x,y)；

结合公式三，确定有序阈值JND_p(x,y)，

JND_p(x,y)＝LC(x,y)+SM(x,y)-0.3*min{LC(x,y),SM(x,y)}公式三；

结合公式四，确定无序阈值JND_d(x,y)，

JND_d(x,y)＝1.125*D(x,y)公式四；

其中，D(x,y)为所述无序图中的像素值；

结合公式五，确定失真度量值FEJND(x,y)，

FEJND(x,y)＝JND_p(x,y)+JND_d(x,y)-0.3*min{JND_p(x,y),JND_d(x,y)}公式五。

10.根据权利要求6所述的用于视频图像的编码装置，其特征在于，控制单元，用于：

结合公式六，根据所述第一阈值和所述第二阈值确定权重参数η，

$\mathrm{\&eta;}={(a+b\frac{1}{\exp (-c*\frac{{\mathrm{FEJND}}_{CU}-{\mathrm{FEJND}}_{frame}}{{\mathrm{FEJND}}_{frame}})})}^2$ 公式六，

其中，FEJND_frame为第一阈值，FEJND_CU为第二阈值，a，b和c都是常数，取值分别为a＝0.7，b＝0.6，c＝4；

基于优化失真理论，对公式七求偏导，确定控制参数λ，

J(s,c,mode|QP)＝D(s,c,mode|QP)+λR(s,c,mode|QP)公式七。