CN101478691A - Motion Jpeg2000视频客观质量的无参考评估方法 - Google Patents

Abstract

本发明公开了一种Motion Jpeg2000视频客观质量的无参考评估方法，包括以下步骤：1)输入MJ2视频并对其进行解码得到解码后的还原图像；2)对每帧还原图像都进行特征提取，得到每帧还原图像的全局特征；3)将每帧还原图像的全局特征代入到一个函数模型，函数模型经训练状态和测试状态后输出该还原图像每帧的帧级客观质量；4)计算加权系数函数获得还原图像的加权系数，对还原图像的帧级客观质量进行加权得到还原图像的序列级评估质量。该方法能在缺乏原始视频序列的情况下，准确地反映出MJ2视频图像的客观质量，在3G无线网络和IP视频系统中可用来调节编解码和信道参数，监测图像的实时传输质量，有广泛的应用前景。

Description

Motion Jpeg2000视频客观质量的无参考评估方法

技术领域

本发明属于数字视频技术领域，具体来说涉及一种Motion Jpeg2000视频客观质量无参考评估方法。

背景技术

在多媒体通信系统中，最主要的媒体形式为数字视频。数字视频在对模拟视频信号进行采样、压缩编码、网络传输、解码还原等环节的处理过程中，引入了误差和信息失真(Distortion)。视频质量评估(Video QualityAssessment)作为度量数字视频失真的一种有效手段，显得日益重要。例如在视频编解码领域，可以根据视频质量评估的结果优化编解码器的性能和参数，设计符合人类视觉系统的视频编解码设备；在无线通讯领域，可以根据终端获得的视频质量调节前端编码器或传输信道的参数，以保证视频质量在人眼可以接受的范围之内。

视频质量评估包括主观质量评估和客观质量评估。主观质量评估依赖人眼观察结果，评估结果可靠。但是，由于该方法对于观察者有严格要求，且测试的条件苛刻，观察的过程复杂，耗费的时间多，在实际中很难普遍应用。客观质量评估采用定量的方法测量视频的图像质量，并通过处理器自动计算实现，效率高，过程中无人工参与。但是，目前的视频客观质量评估方法都存在评估结果与主观质量评估结果不一致的缺点。视频客观质量评估的方法主要包括三类：全参考、部分参考和无参考的视频质量评估方法。在实际应用中，通常无法获得原始视频序列，所以无参考的视频客观质量评估方法成为未来编码领域和无线通信领域视频质量评估发展的方向。

目前，无参考的视频客观质量评估方法一般根据视频序列中某些特殊失真类型特性的失真程度来实现。比如在基于DCT块编码的H26x、Mpeg2、Mpeg4和Motion Jpeg等编码视频中，由于相邻块在编码中相互独立的DCT变换和粗糙的量化过程，常会引入的失真是方块效应(blockingartifacts)；在基于小波变换的Motion Jpeg2000编码视频中，常会引入的失真是边缘模糊(blurring)和震荡效应(ringing)。

Motion Jpeg2000(MJ2)是JPEG2000标准中的第三部分，是在标准第一部分的基础上对运动图像进行编解码的压缩标准。在MJ2中，编码首先对连续视频进行逐帧帧内编码，帧内编码采用标准第一部分所述的核心编码算法，然后将已压缩的视频数据按一定的顺序连接起来，并加入相应的meta-data信息，编成标准的MJ2文件码流。与其他编码标准相比，MJ2只进行帧内编码，没有采用帧间预测和补偿，因而具有任何一帧图像解码与其他帧无关的优点，从而具有更强的抗干扰能力。MJ2广泛应用在数码设备、医学诊断以及无线通讯等领域中。在这些应用中，很多场合下无法获得原始视频序列，传统的客观质量评估方法(PSNR和MSE等)不能发挥作用。因而开发能够有效度量MJ2视频客观质量的无参考评估方法十分必要。

发明内容

本发明提供了一种Motion Jpeg2000视频客观质量的无参考评估方法。

一种采用本发明Motion Jpeg2000视频客观质量的无参考评估方法，包括：

(1)输入Motion Jpeg2000视频并对其进行解码得到解码后的还原图像，Motion Jpeg2000视频简称MJ2视频；

其中用于MJ2视频解码的是一个标准的MJ2码流解析器。

(2)对每帧还原图像都进行特征提取，得到每帧还原图像的全局特征。

(3)将每帧还原图像的全局特征代入到一个经过训练的函数模型，输出该还原图像每帧的帧级客观质量。

(4)计算加权系数函数获得还原图像的加权系数，对还原图像的帧级客观质量进行加权得到还原图像的序列级评估质量。

所述的对每帧还原图像都进行特征提取，得到每帧还原图像的全局特征包括以下步骤：

1)用边缘探测算子检测一帧还原图像中的边缘点；

2)计算该还原图像中的结构化纹理系数；

3)提取还原图像中的结构化纹理区域的边缘点的位置信息；

4)对步骤3)获得的每个边缘点，计算每个边缘点梯度方向，按照8类模板提取与梯度方向垂直的像素点，作为还原图像的边缘点的

局部特征；

5)将所有还原图像的边缘点的局部特征求平均值，并且归一化后，

作为还原图像的全局特征。

所述的将每帧还原图像的全局特征代入到一个经过训练的函数模型，经过训练状态和测试状态输出该还原图像每帧的帧级客观质量的具体过程如下：

1)将每帧还原图像的全局特征F_G(l)代入到一个经过训练的函数模型Q_n＝λ+AF_G(l)，l＝1，2，...d中。其中λ为1×d维加权向量，A是d×d维加权矩阵，d为输入向量全局边缘特征的维数。

2)函数模型进入训练状态：训练样本采用LIVE实验室提供的JPEG2000图像数据库：H.R.Sheikh，Z.Wang，A.C.Bovik et al.LIVE imagequality assessment database release 2.http://live.ece.utexas.edu/research/quality。其中包括169张不同压缩率下的JPEG2000图像及其相对应的主观质量评估结果(DMOS)。提取数据库样本的全局特征。将样本的全局特征和相应的主观质量评估结果(DMOS)作为模型的输入，完成客观质量与主观质量拟合。权值λ和A每一维的候选值范围是[0.01，1]，步长为0.01，因此模型在100^d(1+d)个训练回合后终止训练。(达到什么样的情况算是符合条件？)预测客观质量Q_n与主观质量Q_DMOS绝对残差之和μ_SSE最小的那组候选值成为最终的权值λ和A。

${\mathrm{\μ}}_{\mathrm{SSE}}=\underset{i=1}{\overset{i=169}{\mathrm{\Σ}}}|{Q_n}^i-{Q_{\mathrm{DMOS}}}^i|$

3)函数模型进入测试状态：利用训练状态得到的模型具体参数λ和A到模型Q_n＝λ+AF_G(l)，l＝1，2，...d中，输入待测试的每帧还原图像的全局特征F_G(l)，输出该还原图像的帧级客观质量。

所述的计算加权系数函数获得还原图像的加权系数包括以下步骤：

1)对还原图像当前帧的帧级质量Q_n与上一帧的帧级质量Q_n-1进行比较，并根据加权系数函数获得还原图像当前帧的加权系数。

2)对还原图像的帧级客观质量进行加权得到还原图像的序列级评估质量。

本发明方法能够在缺乏原始视频序列的情况下，准确地反映出MotionJPEG2000s视频图像的客观质量，在3G无线网络和IP视频系统中可以用来调节编解码和信道参数，监测图像的实时传输质量，有着广泛的应用前景。

附图说明

图1为本发明方法的流程图；

图2为本发明8类边缘点的局部特征提取模板示意图；

图3为本发明方法特征提取操作流程图；

图4为本发明方法加权系数曲线图；

图5为本发明方法对视频序列Horizontal scrolling的帧级预测质量图；

图6为本发明方法对视频序列Horizontal scrolling的序列级预测质量图。

具体实施方式

下面结合附图对本发明的一种采用本发明Motion Jpeg2000视频客观质量的无参考评估方法通过实施例来进行详细说明。

如图1所示，一种采用本发明Motion Jpeg2000视频客观质量的无参考评估方法，包括：

(1)输入Motion Jpeg2000视频并对其进行解码得到解码后的还原图像，Motion Jpeg2000视频简称MJ2视频；

其中用于MJ2视频解码的是一个标准的MJ2码流解析器。

(2)对每帧还原图像都进行特征提取，得到每帧还原图像的全局特征。

(3)将每帧还原图像的全局特征代入到一个经过训练的函数模型，输出该还原图像每帧的帧级客观质量。

(4)计算加权系数函数获得还原图像的加权系数，对还原图像的帧级客观质量进行加权得到还原图像的序列级评估质量。

对每帧还原图像都进行特征提取的具体过程如图3所示，包括以下步骤：

1)用边缘检测算子探测一帧还原图像中的边缘点。

设一帧还原图像的亮度分量为I(i，j)，利用边缘检测Canny算子得到相应的边缘轮廓E(i，j)。如果像素点属于边缘轮廓，则E(i，j)为1；如果像素点不属于边缘轮廓，则E(i，j)为0。边缘检测Canny算子是一种标准的边缘检测算法。

2)计算该还原图像的结构化纹理系数；

a)将还原图像的亮度分量为I(i，j)划分为互不重叠的8×8块，每个块的边缘紧挨，但是互相不重叠。计算块内每个像素点的梯度方向。

$\mathrm{\θ}(i,j)=\arctan \frac{G_{\mathrm{ver}}(i,j)}{G_{\mathrm{hor}}(i,j)}---\left(1\right)$

G_ver(i，j)和G_hor(i，j)分别代表像素点(i，j)的垂直和水平梯度，θ(i，j)为像素点(i，j)的梯度方向，计算后的θ(i，j)分为4种方向：

b)统计每个8×8块内方向的种类数c_d和总边缘点数n_e，其中n_e为该8×8块内边缘轮廓E(i，j)值为1的像素点总个数。当总边缘点数大于给定阈值n_e ^*(n_e ^*＝16)，则置标号c_e为1，否则为0。那么该8×8块的结构纹理系数T(i，j)可以由如下公式(2)表示。c_e是一个标志符，用于公式(2)的计算，标志着该8×8块内属于边缘轮廓的像素点比较多。

$T(i,j)=\left\{\begin{array}{cc}1& \mathrm{if}(c_d=0)\\ 2& \mathrm{if}(c_d=1)\\ 2-c_e& \mathrm{if}(c_d=2)\\ 1-c_e& \mathrm{if}(c_d=3)\\ 0& \mathrm{else}\end{array}\right.---\left(2\right)$

3)提取还原图像的结构化纹理区域的边缘点的位置信息。

a)使用形式为[0，1，0；1，2，1；0，1，0]的3×3滤波模板对T(i，j)进行平滑处理后，检测在图像结构纹理区域内的边缘轮廓。通过公式(3)保留结构纹理系数大于给定阈值T^*的区域内的边缘轮廓，其中T^*＝1，该边缘轮廓由一系列边缘点构成。

$E_T(i,j)=\left\{\begin{array}{cc}E(i,j)& \mathrm{if}(T(i,j)>T^{*})\\ 0& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

4)对步骤3)获得的边缘轮廓中的每个边缘点，计算每个边缘点的梯度方向，按照8类模板，如附图2所示，提取边缘轮廓中与梯度方向垂直的像素点，作为局部特征。

设图像结构纹理区域内，坐标为(i，j)的边缘点像素为p^k(i，j)，k＝1，2，...，K表示边缘点的序号。边缘点的梯度方向θ(i，j)分为8类：根据归类后的梯度方向局部边缘特征F_L ^k(l)按照8类模板提取。附图2中，中心黑点表示边缘像素p^k(i，j)，虚线箭头表示梯度方向

沿实线箭头方向的灰点表示边缘点的相邻像素。第k个局部边缘特征F_L ^k(l)由黑色和灰色点集组成，l表示局部边缘特征中，组成特征向量的元素索引，取值范围是[1，2N+1]，其中N表示提取模板的宽度，N取值为9。

$F_L^k\left(l\right)=\{f^k(-N),\·\·\·,f^k(-1),p^k(i,j),f^k\left(1\right),\·\·\·,f^k(-N)\}---\left(4\right)$

5)将所有边缘点的局部特征求平均值，并且归一化后，作为图像的全局特征。

a)根据式(5)求取图像结构纹理区域内K个边缘点的平均局部边缘特征F_mean(l)。

$F_{\mathrm{mean}}\left(l\right)=\frac{1}{K}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{F_L}^k\left(l\right)=\{f_l,l=1,\·\·\·,2N+1\}---\left(5\right)$

b)根据式(6)对平均局部边缘特征进行归一化处理，得到每帧还原图像的全局特征F_G(l)，式中minF_mean(l)表示一个序列中最小的平均局部边缘特征，maxF_mean(l)表示一个序列中最大的平均局部边缘特征。

$F_G\left(l\right)=\frac{F_{\mathrm{mean}}\left(l\right)-\min \left(F_{\mathrm{mean}}\left(l\right)\right)}{\max \left(F_{\mathrm{mean}}\left(l\right)\right)-\min \left(F_{\mathrm{mean}}\left(l\right)\right)}=\{f_l^{\′},l=1,\·\·\·,2N+1\}---\left(6\right)$

将每帧还原图像的全局特征代入到一个经过训练的函数模型，经过训练状态和测试状态输出该还原图像每帧的帧级客观质量的具体过程如下：

1)将每帧还原图像的全局特征F_G(l)代入到一个经过训练的函数模型，模型如式(7)所示：

Q_n＝λ+AF_G(l)，l＝1，2，...d        (7)

其中λ为1×d维加权向量，A是d×d维加权矩阵，d为输入向量全局边缘特征的维数。

2)函数模型进入训练状态：训练样本采用LIVE实验室提供的JPEG2000图像数据库：H.R.Sheikh，Z.Wang，A.C.Bovik et al.LIVE image quality assessment database release 2.http://live.ece.utexas.edu/research/quality。其中包括169张不同压缩率下的JPEG2000图像及其相对应的主观质量评估结果(DMOS)。提取数据库样本的全局特征。将样本的全局特征和相应的主观质量评估结果(DMOS)作为模型的输入，完成客观质量与主观质量拟合。权值λ和A每一维的候选值范围是[0.01，1]，步长为0.01，因此模型在100^d(1+d)个训练回合后终止训练。预测客观质量Q_n与主观质量Q_DMOS绝对残差之和μ_SSE最小的那组候选值成为最终的权值λ和A，其中μ_SSE可以由(8)式求得：

${\mathrm{\μ}}_{\mathrm{SSE}}=\underset{i=1}{\overset{i=169}{\mathrm{\Σ}}}|{Q_n}^i-{Q_{\mathrm{DMOS}}}^i|---\left(8\right)$

3)函数模型进入测试状态：利用训练状态得到的模型具体参数λ和A到式(7)中，输入待测试的每帧还原图像的全局特征F_G(l)，输出该还原图像的帧级客观质量。

计算加权系数函数获得还原图像的加权系数包括以下步骤：

对还原图像当前帧的帧级质量Q_n与上一帧的帧级质量Q_n-1进行比较，并根据加权系数函数获得还原图像当前帧的加权系数。

a)定义一般质量加权系数函数F₁(x)和失真质量加权系数函数F₂(x)，式(9)为具体表达式，加权曲线如附图4所示。其中一般质量加权系数函数的系数分别为a1＝0.5，b1＝0.4，c1＝0.4，失真质量加权系数函数的系数分别为a2＝1，b2＝2，c2＝0.5。β＝0.7，用于区分当前帧的帧级质量Q_n的属性，如果Q_n>β，则当前帧的帧级质量为一般质量，否则为失真质量。

$F_1\left(x\right)=a_1+b_1\×\log (1+c_1\×\sqrt{x}),(Q_n>\mathrm{\β})$

                                                       (9)

F₂(x)＝a₂+b₂×log(1+c₂×x²)，(Q_n≤β)

b)当第0帧时，加权帧数f₀＝0，加权系数w₀＝F₁(f₀)。

c)当第n帧时，加权帧数f_n和加权系数w₀由以下关系决定，式(10)为具体表达式。其中α＝0.2，表示当前帧的帧级质量Q_n与上一帧的帧级质量Q_n-1的绝对差：

f_n＝f_n-1+1，w_n＝F₁(f_n)，(abs(Q_n-Q_n-1)<α&&Q_n>β)

f_n＝f_n-1+1，w_n＝F₂(f_n)，(abs(Q_n-Q_n-1)<α&&Q_n≤β)

                                                                          (10)

f_n＝0，w_n＝F₁(f_n)，(abs(Q_n-Q_n-1)≥α&&Q_n>β)

f_n＝0，w_n＝F₂(f_n)，(abs(Q_n-Q_n-1)≥α&&Q_n≤β)

加权帧数f_n∈[0，K]中的整数。

对还原图像的帧级客观质量进行加权得到还原图像的序列级评估质量具体操作如下：

通过式(11)计算还原图像的第0帧到当前帧M的序列级评估质量，其中M可以是序列的最后一帧，也可以是序列的中间某一帧：

$Q_M=\frac{\underset{n=0}{\overset{M}{\mathrm{\&Sigma;}}}{w}_n\&times;Q_n}{\underset{n=0}{\overset{N}{\mathrm{\&Sigma;}}}{w}_n}---\left(11\right)$

附图5和附图6是本发明预测真实视频序列Horizontal scrolling(视频序列来源：Video Quality Experts Group(VQEG)Phase I测试视频集，http://www.vqeg.org)的客观质量评估结果。附图5显示序列21帧到220帧，每帧的预测帧级客观质量。(序列的0至20帧由于质量不稳定，不参加客观质量的预测)附图6显示从0至x秒(x＝[1，8.8]，每秒有25帧图像)的序列级客观质量。

Claims (4)

1.一种Motion Jpeg2000视频客观质量的无参考评估方法，包括以下步骤：

(1)输入Motion Jpeg2000视频并对其进行解码得到解码后的还原图像；

(2)对每帧还原图像都进行特征提取，得到每帧还原图像的全局特征；

(3)将每帧还原图像的全局特征代入到一个函数模型，函数模型经过训练状态和测试状态后输出该还原图像每帧的帧级客观质量；

(4)计算加权系数函数获得还原图像的加权系数，对还原图像的帧级客观质量进行加权得到还原图像的序列级评估质量。

2.根据权利要求1所述的Motion Jpeg2000视频客观质量的无参考评估方法，其特征在于，所述步骤(2)中的特征提取包括以下步骤：

1)用边缘探测算子检测一帧还原图像中的边缘点；

2)计算该还原图像中的结构化纹理系数；

3)提取还原图像中的结构化纹理区域的边缘点的位置信息；

4)对步骤3)获得的每个边缘点，计算每个边缘点梯度方向，按照8类模板提取与梯度方向垂直的像素点，作为还原图像的边缘点的局部特征；

5)将所有还原图像的边缘点的局部特征求平均值，并且归一化后，作为还原图像的全局特征。

3.根据权利要求1所述的Motion Jpeg2000视频客观质量的无参考评估方法，其特征在于，步骤(3)中所述的函数模型为Q_n＝λ+AF_G(l)，l＝1，2，...d；其中λ为1×d维加权向量，A是d×d维加权矩阵，d为输入向量全局边缘特征的维数，F_G(l)为还原图像的全局特征；

所述的训练状态为利用样本的全局特征和相应的主观质量评估结果作为模型的输入，完成客观质量与主观质量拟合；将样本的全局特征和相应的主观质量评估结果作为模型的输入，完成客观质量与主观质量拟合，将预测客观质量与主观质量的绝对残差之和最小的那组候选值成为最终的权值λ和A；

所述的测试状态为利用训练状态得到的模型具体参数λ和A到模型Q_n＝λ+AF_G(l)，l＝1，2，...d中，输入待测试的每帧还原图像的全局特征，输出该还原图像的帧级客观质量。

4.根据权利要求1所述的Motion Jpeg2000视频客观质量的无参考评估方法，其特征在于，步骤(4)所述的计算加权系数函数获得还原图像的加权系数包括以下步骤：

1)对还原图像当前帧的帧级质量Q_n与上一帧的帧级质量Q_n-1进行比较，并根据加权系数函数获得还原图像当前帧的加权系数；

2)对还原图像的帧级客观质量进行加权得到还原图像的序列级评估质量。

Images