CN1359235A - 一种结合运动特征的视频质量评价方法 - Google Patents

Abstract

一种结合运动特征的视频质量评价方法属计算机数字视频处理领域。其评价方法是结合视频图像序列的运动特征,并考虑了人眼视觉特性,将视频的时间域特性和空间域特性有机结合起来的综合评价方法。该方法提出了运动剧烈程度的描述方法,并在此基础上提出了视频清晰度和流畅度的度量方法,结合清晰度和流畅度给出综合评价结果。其方法依次为计算机从视频采集卡读入视频信号,并保存视频采集间隔T;进入视频图像压缩处理子程序;进入视频图像重建子程序;进入计算视频序列运动剧烈程度子程序;进入视频质量综合评价子程序后计算综合评价结果;其结果可以和人眼从显示器观看的视觉感受相比较。依据实验表明,其综合评价结果与人眼的视觉感受基本一致。

Description

一种结合运动特征的视频质量评价方法

技术领域

本发明涉及计算机数字视频处理领域，设计了一种结合运动特征的视频质量评价方法。

背景技术

视频质量评价是图像/视频信息工程的基础之一，如在视频通信中，将被摄物体的视频信息传输到接收端，恢复出可接受的视频，其中要经过光电变换、压缩处理、传输、记录及其他变换等过程，所有这些技术的优劣都会归集到视频质量的评价。

对于以人眼为最终信宿的图像/视频信息来说，对其的评价应和人眼的主观感受相一致。人类视觉处理的机制非常复杂，到目前为止，还没有被真正理解和掌握。但是，人们也发现了一些视觉现象，这些现象已对人们研究视频质量的评价产生了影响。具体而言，这些视觉特性有多通道结构、视觉阈值及掩蔽。1.多通道结构与视觉阈值

人的视觉系统是一个多通道结构，它把输入的图像分解成不同的感觉分量。每个感觉通道都有其自己的阈值，称之为视觉阈值。给定通道中的激励，如果其值低于通道所对应的视觉阈值，人眼就感觉不到该激励。2.掩蔽效应

当存在多个激励时，它们之间就会互相干扰，导致视觉阈值发生变化，称之为视觉掩蔽效应。对编码传输的视频图像，原图像是掩蔽者，编码传输损伤是目标。实际视频图像千变万化，编码后的损伤分量的背景也各式各样，所以损伤分量的可见性也是变化的。

视觉阈值的存在使得低于阈值的损伤不被觉察，掩蔽的存在则使视觉阈值提升，从而使不可见的损伤增大。这是研究基于人眼视觉系统的视频质量度量的一个重要出发点。换句话说，如果设法使损伤出现在人眼看不见的地方，也就改善了图像的质量。

掩蔽有各种形式。人眼对损伤的敏感度在非常亮或非常暗的区域下降，称为对比掩蔽；人眼对损伤的敏感度在图像空间域变化大的区域比变化小的区域低，称为纹理掩蔽；内容随时间变化大的图像块，人眼对其损伤的敏感度低，这是运动掩蔽；场景切换后的瞬间，人眼对损伤的可见性下降，这是切换掩蔽。

目前人们对视频质量的评价主要是基于对静止图像的评价来进行，通过平均峰值信噪比和帧频来度量的。帧频即每秒钟传输的帧数；平均峰值信噪比定义为： $\stackrel{\‾}{\mathrm{PSNR}}=\frac{1}{P}\underset{k=0}{\overset{P-1}{\mathrm{\Σ}}}{\mathrm{PSNR}}_k$ 其中

f_k(i，j)和f′_k(i，j)分别是第k帧原图像和重建图像的灰度，M，N分别是图像的宽和高。

平均峰值信噪比能够客观的反映视频的失真程度，但并没有考虑人眼的视觉特性，而且帧频和平均峰值信噪比是相互独立的反映视频时间域和空间域特性的，这种评价方法把视频图像的时间域特性和空间域特性割裂开来。因而这种评价结果往往和人的视觉感受不一致。

发明内容

为了克服目前评价方法的不足，本发明设计了一种结合运动特征的视频质量评价方法。这种评价方法考虑了人眼的视觉特性，并且将视频的空间域特性和时间域特性综合起来考虑，其评价结果能够和人眼的视觉感受一致。本发明的技术思路特征在于：

1、提出了视频清晰度和视频流畅度两种定义，并将其作为视频质量评价的两种度量方法。所谓清晰度是指各帧图像的清楚程度；流畅度是指一段视频的连续程度。

2、提出了视频图像运动剧烈程度的描述方法。其描述分为两部分：(1)一帧图像中各图像块的运动剧烈程度分布，我们称之为运动的空间分布特征，将其应用于视频清晰度评价；(2)整帧视频图像的运动剧烈程度，我们称之为运动的时间分布特征，将其应用于视频流畅性评价。

3、考虑了人眼的视觉特性。人眼对视频清晰度和流畅度的感受受到视频画面运动剧烈程度的影响。对于某一帧视频图像，其运动剧烈的部分往往引起人眼的注意，属于人眼感兴趣区。而当一段视频的整帧图像运动较剧烈时，图像清晰度对人眼的刺激将相对减弱，而画面流畅度的作用将相对增强。

4、将视频图像的清晰度和流畅度有机的结合起来，提出了计算视频质量综合评价指标的方法。

本发明的技术方案参见图1、图2。它结合了视频图像的运动特征以及人眼的视觉特性，对经过计算机处理后的视频图像进行客观的评价。该方案包括有摄像头(1)将获取的目标物视频图像序列的图像光信号转化为电信号，由采集卡(2)将来自于摄像头的视频序列数字化并输入到计算机处理器中，其特征在于它还包括在计算机处理器(3)中设置的将视频图像的清晰度和流畅度有机的结合起来的计算视频质量综合评价指标的方法，该方法依次包括下述步骤：

1)、计算机从视频采集卡读入视频信号，并保存视频采集间隔T；

2)、进入完成对采集进入计算机的原始视频帧进行运动补偿、变换和编码等处理，以压缩有效冗余的视频图像压缩处理子程序；

3)、进入对压缩后的视频码流进行解码，重建视频序列图像的视频图像重建子程序；

4)、根据视频清晰度和视频流畅度两种定义，并将其作为视频质量评价的两种度量方法：

先进入计算视频序列运动剧烈程度子程序，将每一帧视频图像分成16×16的图像块，计算每一个图像块的运动剧烈程度和一整帧图像的运动剧烈程度；

再进入视频质量综合评价子程序，依据前述的运动剧烈程度，先计算视频序列的清晰度和流畅度，然后计算综合评价结果；

5)、从考虑人眼对视视频清晰度和流畅度的感受受到视频画面运动剧烈程度的影响出发，对4)的综合评价结果输出，可以和人眼从显示器观看的视觉感受相比较。

根据前述本发明分两步计算视频的运动剧烈程度，第一步：计算每一个图像块的运动剧烈程度，其计算可以通过两种方法：第一种是根据图像块的运动矢第一种是根据图像块的运动矢量来计算，其计算公式为： ${\mathrm{MA}}_k(i,j)=\sqrt{{\mathrm{\Δx}}_k^2(i,j)+{\mathrm{\Δy}}_k^2(i,j)}$ 式中MA_k(i，j)表示第k帧视频图像中第(i，j)个图像块的运动剧烈程度，(Δx_k，Δy_k)为该块的运动矢量。第二种利用相邻两帧图像的像素灰度差值来计算，其计算公式为： ${\mathrm{MA}}_k(i,j)=\mathrm{EXP}\left(\frac{1}{255\·N_P}\underset{(m,n)\∈\mathrm{block}(i,j)}{\mathrm{\Σ}}\right|L_k(m,n)-L_{k-1}(m,n)\left|\right)$ 式中block(i，j)表示一帧图像中第(i，j)个块，L_k(m，n)和L_k-1(m，n)分别表示第k帧和第k-l帧图像(m，n)处像素的灰度值，N_p表示一个图像块中像素的个数。第二步：计算一整帧视频图像的运动剧烈程度，其计算公式为： ${\mathrm{MA}}_k=\frac{1}{N_{\mathrm{MB}}}\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\mathrm{MA}}_k(i,j)$ 式中MA_k表示第k帧视频图像的运动剧烈程度，N_MB表示一帧图像中图像块的个数，MA_k(i，j)的意义和前述中的相同。

根据前述本发明在计算视频图像清晰度时，假设输入到计算机的视频序列是以恒定的高速帧频采集得到的，采集间隔为T；一般情况下计算视频图像清晰度。不是所有帧都被编码(处理)输出。k表示被编码(处理)的图像帧编号，N表示被编码(处理)图像的总帧数。第k帧和第k-l帧之间相隔时间为FT_k·T。我们以静止图像的峰值信噪比为基础，考虑人眼的视觉特性，给运动较剧烈的图像块的峰值信噪比赋以较高的权重，运动较小的宏块以较小的权重。首先计算一帧视频图像的清晰度，其计算公式为： ${\mathrm{SS}}_k={10\·\log }_{10}\frac{255\·255}{\frac{1}{N_{\mathrm{MB}}}\underset{i,j}{\mathrm{\Σ}}{\mathrm{MA}}_k(i,j)\·{\mathrm{Diff}}_k(i,j)}$ 式中SS_k表示一帧视频图像清晰度，N_MB和MA_k(i，j)的意义和7中相同，，其中L_k，Input(m，n)和L_k，Output(m，n)分别为原始采集的视频和处理后重建视频的(m，n)处像素灰度值，然后计算一段视频的清晰度，其计算公式为： $\mathrm{PS}=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}(\frac{1}{{\mathrm{MA}}_k}\·{\mathrm{FT}}_k\·{\mathrm{SS}}_k)$ 式中PS表示一段(N帧)视频的清晰度，PS越大说明视频图像画面越清晰。此计算公式包含两方面的含义：一方面，运动较为剧烈的图像帧的清晰度在整段视频清晰度评价中的作用相对较弱；另一方面，视频重放中占用时间较长的图像帧的清晰度在整段视频清晰度评价中的作用相对较强，这是符合人眼的视觉感受的。

根据前述本发明在计算一段视频的流畅度时，考虑人眼对于运动较剧烈的图像帧，无法分辨图像的细节信息，这时图像的清晰度对人眼的刺激变小，而运动的连续性对人眼的刺激变大，因而需要在运动剧烈的时候提高帧频。对于运动较缓和的视频帧，人眼能够分辨图像的细节信息，这时需提高每帧视频图像的清晰度，并不需要更高的帧频。根据人眼的这一视觉特性计算视频流畅度，其计算公式为： $\mathrm{PT}=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}({\mathrm{MA}}_k\·{\mathrm{FT}}_k)$ 式中PT表示一段(N帧)视频的流畅度，PT越小说明视频越流畅。

根据前述本发明在计算一段视频图像的综合评价指标值时，其计算公式为： $P=W_S\·\mathrm{PS}+W_T\·\frac{1}{\mathrm{PT}}$ 式中P表示一段视频图像的质量综合评价值。PS为清晰度，PT为流畅度，W_S和W_T为清晰度和流畅度在综合评价值中的权重。

依据大量的实验，我们取W_S为0.55，W_T为0.45，这样的取值其综合评价结果与人眼的视觉感受基本一致。

附图说明

图1是视频质量综合评价系统框图。

图2是视频质量综合评价系统主程序流程图。

图3是视频压缩处理子程序流程图。

图4是视频重建子程序流程图。

图5是计算视频运动剧烈程度子程序流程图。

图6是计算视频综合质量评价指标值子程序流程图。

图7是利用运动矢量法计算得到的150帧视频序列运动剧烈程度分布图，其中横轴表示视频帧序号，纵轴表示视频帧的运动剧烈程度。

图8是利用绝对差值法计算得到的150帧视频序列运动剧烈程度分布图，其中横轴表示视频帧序号，纵轴表示视频帧的运动剧烈程度。

图9是两个不同的实例中视频序列各帧清晰度分布图，其中横轴表示视频帧的序号，纵轴表示视频帧的清晰度。图中【—■—Variable Frame Rate】表示以可变帧频进行播放的实例，【—×—Constant Frame Rate】表示以恒定帧频播放的实例。

图中1、摄像头，2、视频采集卡，3、计算机数字视频处理器，4、输出缓存，5、视频质量评价，6、显示器，7、评价结果。

表1：两个不同实例中被压缩编码处理的视频帧序号，第一组表示以恒定帧频播放，第二组表示以可变帧频播放。

具体实施方式

在图1的视频质量综合评价系统框图中，摄像头和视频采集卡都是市售的，主要完成采集视频序列，将目标物体的光学图像转换为电信号图像输入到计算机，便于计算机处理、传输等操作；计算机视频处理主要是对输入的视频图像序列进行压缩编码等处理；处理后的视频图像输出到缓存器，便于显示；显示器是视频序列的输出设备，人眼可以通过显示器观看视频图像序列，人眼的视觉感受可以用来和视频质量综合评价结果相比较；视频质量综合评价是对计算机处理后的重建视频图像进行评价，输出客观的评价结果，其结果可和人眼从显示器所看视频序列的视觉感受相比较。

视频质量评价主要通过软件来实现。下面结合实例详细描述视频质量评价的过程。

我们已由摄像头和视频采集卡得到了150帧视频序列图像，保存在计算机的硬盘。首先对这一段视频进行压缩编码处理，压缩后的视频码流重建后和原始视频相比，一定有一定的失真。现在对压缩后再重建的视频序列按本发明设计的方法进行综合评价。

第一步：计算视频各帧的运动剧烈程度。分别用本发明提出的两种描述运动剧烈程度的方法进行计算，图7和图8分别是用两种方法得到的150帧视频序列的运动剧烈程度分布图，其中横轴表示视频帧序号，纵轴表示视频帧的运动剧烈程度。

可以看出，图7和图8相似，这说明用这两种方法都能够客观描述图像的运动剧烈程度。而且可看出从第60帧到110帧，图像运动得相对剧烈，其他各帧运动相对缓和，这与人眼观察到的实际情况相吻合。

第二步：计算视频序列清晰度。为了说明本发明所设计的方法对视频评价的有效性，这里设计两组实例以便进行比较。

首先说明一下人眼对待视频序列图像的感受。当我们人眼在观看一段视频时，对于视频画面运动较缓慢的时间段，人眼能够分辨图像画面的细节信息，也会对图像的细节感兴趣，由于运动缓和，前后帧的差别不大，所以较低的帧频人眼是可以接受的；而对视频画面运动剧烈的时间段来说，人眼无法分辨图像的细节信息，而对运动的连续性提出了更高的要求，所以这时提高帧频给人眼的视觉感受更好一些。因此，如果视频序列的播放帧频能够根据画面的运动剧烈程度变化，那么人眼的视觉感受要比以恒定的帧频播放时更好。

由于有这样的事实，所以设计如下两组实例。对同一段视频序列，两组实例中限制带宽相同，其他条件也相同，只是帧频不同。

第一组：帧频恒定为10帧/秒；

第二组：帧频依据运动剧烈程度变化，但平均帧频仍为10帧/秒。之所以平均帧频和第一组相同，是因为这样做对带宽的要求是一样的。

两组实例中实际被编码处理的帧号见表1所示，从中可以看出，第一组帧频恒定，而第二组帧频变化，在60帧至110帧的时间段内，帧频较高，其他时间段内帧频较低，这和前面计算的视频帧的运动剧烈程度相吻合。

图7和图8可以看出，从第60帧到110帧，图像运动得相对剧烈，因而在第二组实验中，这一时间段中被编码的帧数相对较多，而在其他时间段被编码的帧数较少，这符合人眼的视觉特性。

图9示出了两组实例中视频各帧清晰度统计结果，其中横轴表示视频帧的序号，纵轴表示视频帧的清晰度。图中【—■—Variable Frame Rate】表示可变帧频，【—×—Constant Frame Rate】表示恒定帧频。从图9可以看出，第二组实例中，在运动比较缓和的视频段，清晰度相对较高，而在运动剧烈的视频段，清晰度相对较低。根据本发明设计的方法计算两组实例的视频序列清晰度为：

第一组：28.2；

第二组：32.5。

视频序列清晰度越高，给人的视觉感受越好，利用本发明设计的方法得到的结果与人眼的视觉感受一致。

第三步：计算视频序列流畅度。与第二步设计的实例相同，依据本发明设计的方法计算两组实例视频序列流畅度为：

第一组：10.5；

第二组：9.0

视频序列流畅度越低，给人眼的视觉感受越好，此评价方法的结果与人眼的视觉感受相一致。

第四步：计算视频序列综合评价值。根据本发明的综合评价公式，我们取WS为0.55，WT为0.45，两组实验的视频序列综合评价值为：

第一组：15.6

第二组：17.9

综合评价值越高说明视频序列给人眼的视觉感受越好。本发明设计的评价方法与人眼的主观视觉感受相一致。

                            表1

第一组实例	第二组实例
		0，12，18，24，30，36，42，48，54，60，66，72，78，84，90，96，102，108，114，120，126，132，138，144，147	0，4，6，20，26，38，50，56，64，68，72，76，78，82，86，90，96，100，104，110，114，122，126，138，144，148，149

Claims (5)

1、一种结合运动特征的视频质量评价方法，包括由摄像头(1)将获取的目标物的视频图像序列的图像光信号转化为电信号，由采集卡(2)将来自于摄像头的视频序列数字化并输入到计算机处理器中，其特征在于它还包括在计算机处理器(3)中设置的将视频图像的清晰度和流畅度有机的结合起来的计算视频质量综合评价指标的方法，该方法依次包括下述步骤：

1)、计算机从视频采集卡读入视频信号，并保存视频采集间隔T；

2)、进入完成对采集进入计算机的原始视频帧进行运动补偿、变换和编码等处理，以压缩有效冗余的视频图像压缩处理子程序；

3)、进入对压缩后的视频码流进行解码，重建视频序列图像的视频图像重建子程序；

4)、根据视频清晰度和视频流畅度两种定义，并将其作为视频质量评价的两种度量方法后的步骤为：

先进入计算视频序列运动剧烈程度子程序，将每一帧视频图像分成16×16的图像块，计算每一个图像块的运动剧烈程度和一整帧图像的运动剧烈程度；

再进入视频质量综合评价子程序，依据前述的运动剧烈程度，先计算视频序列的清晰度和流畅度，然后计算综合评价结果；

5)、从考虑人眼对视视频清晰度和流畅度的感受受到视频画面运动剧烈程度的影响出发，对4)的综合评价结果输出，用于和人眼从显示器观看的视觉感受相比较。

2、根据权利要求1所述的一种结合运动特征的视频质量评价方法，其特征在于分两步计算视频的运动剧烈程度，第一步：计算每一个图像块的运动剧烈程度，其计算可以通过两种方法：第一种是根据图像块的运动矢量来计算，其计算公式为： ${\mathrm{MA}}_k(i,j)=\sqrt{\mathrm{\Δ}{x}_k^2(i,j)+\mathrm{\Δ}{y}_k^2(i,j)}$ 式中MA_k(i，j)表示第k帧视频图像中第(i，j)个图像块的运动剧烈程度，(Δx_k，Δy_k)为该块的运动矢量，第二种利用相邻两帧图像的像素灰度差值来计算，其计算公式为： ${\mathrm{MA}}_k(i,j)=\mathrm{EXP}\left(\frac{1}{255.N_p}\underset{(m,n)\∈\mathrm{block}(i,j)}{\mathrm{\Σ}}\right|L_k(m,n)-L_{k-1}(m,n)\left|\right)$ 式中block(i，j)表示一帧图像中第(i，j)个块，L_k(m，n)和L_k-l(m，n)分别表示第k帧和第k-l帧图像(m，n)处像素的灰度值，N_p表示一个图像块中的像素个数；第二步：计算一整帧视频图像的运动剧烈程度，其计算公式为： ${\mathrm{MA}}_k=\frac{1}{N_{\mathrm{MB}}}\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\mathrm{MA}}_k(i,j)$ 式中MA_k表示第k帧视频图像的运动剧烈程度，N_MB表示一帧图像中图像块的个数。

3、根据权利要求1所述的一种结合运动特征的视频质量评价方法，其特征在于计算视频图像清晰度时，假设输入到计算机的视频序列是以恒定的高速帧频采集得到的，采集间隔为T；一般情况下，不是所有帧都被编码(处理)输出；k表示被编码(处理)的图像帧编号，N表示被编码(处理)图像的总帧数；第k帧和第k-l帧之间相隔时间为FT_k·T；我们以静止图像的峰值信噪比为基础，考虑人眼的视觉特性，给运动较剧烈的图像块的峰值信噪比赋以较高的权重，运动较小的宏块以较小的权重；首先计算一帧视频图像的清晰度，其计算公式为： ${\mathrm{SS}}_k=10\·{\log }_{10}\frac{255\·255}{\frac{1}{N_{\mathrm{MB}}}\underset{i,j}{\mathrm{\Σ}}{\mathrm{MA}}_k(i,j)\·{\mathrm{Diff}}_k(i,j)}$ 式中SS_k表示一帧视频图像清晰度，N_MB和MA_k(i，j)的意义与前述相同，

，其中L_k，Input(m，n)和L_k，Output(m，n)分别为原始采集的视频和处理后重建视频的(m，n)处像素灰度值；然后计算一段视频的清晰度，其计算公式为： $\mathrm{PS}=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}(\frac{1}{{\mathrm{MA}}_k}\·{\mathrm{FT}}_k\·{\mathrm{SS}}_k)$ 式中PS表示一段视频的清晰度，PS越大说明视频图像画面越清晰。

4、根据权利要求1所述的一种结合运动特征的视频质量评价方法，其特征在于计算一段视频的流畅度时，根据人眼的这一视觉特性计算视频流畅度，其计算公式为： $\mathrm{PT}=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}({\mathrm{MA}}_k\·{\mathrm{FT}}_k)$ 式中PT表示一段(N帧)视频的流畅度，PT越小说明视频越流畅。

5、根据权利要求1所述的一种结合运动特征的视频质量评价方法，其特征在于计算一段视频图像的综合评价指标值时，其计算公式为： $P=W_S\·\mathrm{PS}+W_T\·\frac{1}{\mathrm{PT}}$ 式中P表示一段视频图像的质量综合评价值，PS为清晰度，PT为流畅度，W_S和W_T为清晰度和流畅度在综合评价值中的权重。

Images