CN104185022A - 基于视觉信息失真分解的全参考视频质量评估方法 - Google Patents

Abstract

本发明公开了一种基于视觉信息失真分解的全参考视频质量评估方法，属于视频处理技术领域。本发明基于人眼视觉系统对加性噪声S_A、信道丢包失真S_T、压缩失真S_C综合的失真敏感程度不同，而分别采用不同的衡量来评估其失真性，在首先是将加性噪声与主要视觉进行区分后，首先基于现有的评估方式获得加性噪声S_A，再对主视觉信息进行修道丢包失真和压缩失真区域区分后获取信道丢包失真S_T、压缩失真S_C，再将三者结合起来得到单个帧的质量评估值，最后取各视频帧的质量评估值S_F的均值，为整个视频的质量评估结果并输出。本发明所提出的基于视觉信息分解的全参考视频质量评估方法，具有评估准确，对不同失真类型鲁棒性较高，计算复杂度相对较低的特点。

Description

基于视觉信息失真分解的全参考视频质量评估方法

技术领域

本发明属于视频图像处理技术领域，具体涉及一种基于视觉信息失真分解的全参考视频质量评估方法。

背景技术

伴随着视频多媒体技术的日益发展与成熟，人们日常生活中涌现了大量的视频应用。通常视频信号在经过压缩和传输之后会导致不同程度的失真。如何去评估这些失真视频的主观质量，对于压缩和传输系统的设计、性能的评估和控制都有重要的意义，一方面，可以用于独立的评价系统，为系统的设计，优化和改进做出精确的度量；另一方面，也可以作为质量监视装置，嵌入到实时在线系统，控制系统参数。

视频主观质量的好坏最直观的体现就是通过人工来打分。因此，人工打分在视频质量评估方法研究中往往是作为标准。然而实际应用中这种方法成本太高，可实施性太低。视频主观质量评估方法研究的目的就是设计出相应测度来计算视频质量，使得计算出来的视频质量和人工打分相关性很高。

目前的视频质量评估方法主要分为三大类：全参考视频质量评估，弱参考视频质量评估，和无参考视频质量评估。全参考是指在对失真视频主观质量进行评估过程中，可以获得完整的参考视频，通过比较失真视频和参考视频的相关特征，计算视频质量；弱参考则只能获得参考视频的部分信息，如变换域的部分信息等；无参考则不能获得参考视频的任何信息，通过训练、统计等方式获取失真图像的质量特征，设计出只利用失真视频本身信息来评估其主观质量的模型。

感知质量失真可以分为内容无关失真和内容相关失真。内容无关失真主要是一些随机的加性噪声，这类失真可以用基于均方误差的方法来描述。内容相关失真则主要体现为图像结构信息的变化。目前对于内容相关失真的描述方法有结构相似指数(Structural Similarity indexSSIM),以及梯度相似的方法。相比SSIM，梯度相似的方法能够更好的描述这类失真。但是，基于梯度相似的视频质量评估算法仍然不能很准确地描述一些失真，如信道丢包，块效应之类的，尤其是块状失真发生在原视频中平坦的区域。这是因为块状失真区域内容的梯度往往不明显，而原视频中平坦区域的梯度也不明显。这样利用梯度相似不能很好检测出这部分失真。

但是在现有的全参考视频质量评估中，通常是基于一种测度(如基于均方误差的方法来描述或梯度相似的方法等)实现对视频质量的评估工作，但人眼视觉系统对不同类型的失真(如加性噪声，信道丢包，压缩失真等)的失真敏感程度不同，因此，有必要对现有的全参考视频质量评估进行改进。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于视觉信息失真分解的全参考视频质量评估算法，使得评估分数和人工打分拟合程度(相关系数)更高。

本发明的基于视觉信息失真分解的全参考视频质量评估方法，包括下列步骤：

步骤1：

输入参考视频R和待评估视频T，并对各视频帧进行去噪处理，得到视频R的加性噪声A_r、主要视觉信息P_r，视频T的加性噪声A_t、主要视觉信息P_t；

步骤2：

基于所述加性噪声A_r、A_t，得到加性噪声失真S_A；

基于主要视觉信息P_r、P_t，获取主要视觉信息失真P_d，所述P_d为P_r与P_t对应像素值的绝对差值，对P_d进行信道丢包区域和压缩失真区域区分，并计算信道丢包失真S_T、压缩失真S_C：

将P_d分割成多个相同大小的方块，对每个方块，若所有的像素值均大于预设阈值T1，则将该方块的各像素值均置为m；否则，置为n，且m≠n；

基于像素值为m的连通区域，取K个最大连通区域，并将其中面积大于预设值S的连通区域，确定为信道丢包区域，而非信道丢包区域则确定为压缩失真区域；

根据公式计算信道丢包失真S_T，其中C₁＝lg(255·W²·H²)，W和H分别为视频T或视频R的当前视频帧的宽和高，k为确定为信道丢包区域的连通区域个数，参数L_i表示第i个连通区域所对应的主要视觉信息失真P_d的像素平均值，S_i表示第i个连通区域所包含的像素个数，其中i＝1,2...,k；

分别提取P_r和P_t当前视频帧的时空梯度向量g^r、g^t，基于公式

$S_p(x_r,x_t)={\left(\frac{2\left|\right|g^r\left|\right|\left|\right|g^t\left|\right|+C_2}{{\left(g^r\right)}^2+{\left(g^t\right)}^2+C_2}\right)}^{\mathrm{\α}}\·{\left(\frac{g^r\·g^t+C_2}{\left|\right|g^r\left|\right|\left|\right|g^r\left|\right|+C_2}\right)}^{\mathrm{\β}}$ 得到像素级相似性S_p(x_r,x_t)，其中，x_r为参考像素，表示参考视频R各视频帧的像素，x_t为待评估像素，表示待评估视频T各视频帧的像素，

基于水平垂直相同采样率分别对P_r和P_t当前视频帧进行下采样处理后，再提取空间梯度向量g^br、g^bt，基于公式 $S_b(b_r,b_t)={\left(\frac{2\left|\right|g^{\mathrm{br}}\left|\right|\left|\right|g^{\mathrm{bt}}\left|\right|+C_2}{{\left(g^{\mathrm{br}}\right)}^2+{\left(g^{\mathrm{bt}}\right)}^2+C_2}\right)}^{\mathrm{\α}}\·{\left(\frac{g^{\mathrm{br}}\·g^{\mathrm{bt}}+C_2}{\left|\right|g^{\mathrm{br}}\left|\right|\left|\right|g^{\mathrm{bt}}\left|\right|+C_2}\right)}^{\mathrm{\β}}$ 得到块相似性S_b(x_r,x_t)，其中像素块b_r表示参考视频R当前频帧的像素块，像素块b_t表示待评估视频T当前频帧的像素块；

α和β的对应取值为1、1或2、1或1、0，常数项C₂为大于0的常数；

基于像素级相似性S_p(x_r,x_t)、块相似性S_b(x_r,x_t)，并结合像素的结构相似性S_s(x_r,x_t)和显著区域Z，得到压缩失真 $S_C=\underset{x_r\∈Z}{\mathrm{Avg}}\left(\mathrm{\Σ}\left(S_p(x_r,x_t)S_s(x_r,x_t)S_b(b_r,b_t)\right)\right);$

步骤3：

根据加性噪声失真S_A、信道丢包失真S_T、压缩失真S_C，基于公式获取视频T的单个视频帧的质量评估值S_F；

步骤4：

取视频T的各视频帧的质量评估值S_F的均值，为视频T的质量评估结果并输出。

本发明的有益效果是：由于本发明把主要视觉信息失真分成了压缩失真和传输失真，并分别设计出新的测度来衡量各类失真的大小，使得本发明所提出的基于视觉信息分解的全参考视频质量评估方法，具有评估准确，对不同失真类型鲁棒性较高，计算复杂度相对较低的特点。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明中，首先对输入的参考视频(R)和待评估视频(T)分别进行去噪处理，把每个视频帧分成加性噪声部分(A_r和A_t)和主要视觉信息(P_r和P_t)部分。去噪处理可以采用现有任一方法均可。其中，A_t和P_t分别表示评估视频的加性噪声部分和主要视觉信息部分，A_r和P_r分别表示参考视频的加性噪声部分和主要视觉信息部分。

第二，基于A_r和A_t描述加性噪声失真S_A，其衡量采用现有方式实现，如采用公式(1)来衡量：

$S_A(A_r,A_t)=1-\frac{{\log }_{10}(1+\mathrm{MSE}(A_r,A_t))}{{\log }_{10}\left({255}^2\right)}---\left(1\right)$

其中，MSE(A_r,A_t)表示A_r和A_t的均方误差，log₁₀(255²)是一个归一化项，使得上式的计算结构在0到1之间。

第三，对参考视频R和待评估视频T的当前处理帧的主要视觉信息P_r和P_t，进行信道丢包失真S_T、压缩失真S_C的区分和衡量：

P_r和P_t之间绝对差值(P_d)则为主要视觉信息失真，而这些失真可以分为信道丢包和压缩失真。本发明采用最大失真区域检测的方法来分离两类失真。具体方法如下：

步骤(3.1)：将P_d分割成多个相同大小(具体大小可根据具体需求设定，如4x4，8x8等，本具体实施方式中，优选为4x4)的方块，对每个方块，若所有的像素值均大于预设阈值T1，则将该方块的各像素值均置为m；否则，置为n，且m≠n，为了简化处理，本发明中可将设m＝1，n＝0；

步骤(3.2)：基于像素值为1的连通区域，取K个最大连通区域，并将其中面积大于预设值S的连通区域(k个，k≤K)，确定为信道丢包区域，而非信道丢包区域则确定为压缩失真区域；

步骤(3.3)：并根据公式(2)计算信道丢包失真S_T，其中C₁＝lg(255·W²·H²)，W和H分别为视频T或视频R的当前视频帧的宽和高，k为确定为信道丢包区域的连通区域个数，参数L_i表示第i个连通区域所对应的主要视觉信息失真P_d的像素平均值，S_i表示第i个连通区域所包含的像素个数，其中i＝1,2...,k；

$S_T=\frac{C_1-\lg (\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{L}_i\·S_i^2)}{C_1-\lg (S\·T1)}---\left(2\right)$

其中，K、S、T的具体取值基于使用需求设定，通常可设定其范围依次分别为：[4，20]、[10，20]、[20，50]，本实施方式中取值分为8、32、12。

步骤(3.4)：分别提取P_r和P_t当前视频帧的时空梯度向量g^r、g^t(具体提取方式采用现有常用的即可，如基于3维索贝尔Sobel算子提取等)，由公式(3)得到像素级相似性S_p(x_r,x_t)，其中，x_r为参考像素，表示参考视频R各视频帧的像素，x_t为待评估像素，表示待评估视频T各视频帧的像素。

$S_p(x_r,x_t)={\left(\frac{2\left|\right|g^r\left|\right|\left|\right|g^t\left|\right|+C_2}{{\left(g^r\right)}^2+{\left(g^t\right)}^2+C_2}\right)}^{\mathrm{\α}}\·{\left(\frac{g^r\·g^t+C_2}{\left|\right|g^r\left|\right|\left|\right|g^r\left|\right|+C_2}\right)}^{\mathrm{\β}}---\left(3\right)$

步骤(3.5)：基于水平垂直相同采样率分别对P_r和P_t当前视频帧进行下采样处理后(下采样率可基于需求自行设定，通常为1/4、1/8、1/16等)，再提取空间梯度向量g^br、g^bt(具体提取方式采用现有常用的即可，如基于2维Sobel算子等)，基于公式(4)得到块相似性S_b(x_r,x_t)，其中像素块b_r表示参考视频R当前频帧的像素块，像素块b_t表示待评估视频T当前频帧的像素块；

$S_b(b_r,b_t)={\left(\frac{2\left|\right|g^{\mathrm{br}}\left|\right|\left|\right|g^{\mathrm{bt}}\left|\right|+C_2}{{\left(g^{\mathrm{br}}\right)}^2+{\left(g^{\mathrm{bt}}\right)}^2+C_2}\right)}^{\mathrm{\α}}\·{\left(\frac{g^{\mathrm{br}}\·g^{\mathrm{bt}}+C_2}{\left|\right|g^{\mathrm{br}}\left|\right|\left|\right|g^{\mathrm{bt}}\left|\right|+C_2}\right)}^{\mathrm{\β}}---\left(4\right)$

在上述公式(3)(4)中，α和β的对应取值为1、1或2、1或1、0，常数项C₂为大于0的常数，为为避免分母为零，优选可取常数项C₂＝0.03×255²。

步骤(3.6)：基于像素级相似性S_p(x_r,x_t)、块相似性S_b(x_r,x_t)，并结合像素的结构相似性S_s(x_r,x_t)和显著区域Z，根据公式(5)得到压缩失真S_C：

$S_C=\underset{x_r\∈Z}{\mathrm{Avg}}\left(\mathrm{\Σ}\left(S_p(x_r,x_t)S_s(x_r,x_t)S_b(b_r,b_t)\right)\right)---\left(5\right)$

相似性S_s(x_r,x_t)的具体处理为现有方式，可参考文献Z.Wang,A.Bovik,H.Sheikh,andE.Simoncelli,”Image quality assessment:form error visibility to structuralsimilarity,”IEEE Trans.Image Process.,vol.13,no.4,pp.600-612,april 2004.

第四：根据已获取的加性噪声失真S_A、信道丢包失真S_T、压缩失真S_C，基于公式(6)获取视频T的单个视频帧的质量评估值S_F：

$S_F={S_T}^{S_A}\·{S_C}^{1-S_A}---\left(6\right)$

第五：取视频T的各视频帧的质量评估值S_F的均值，为视频T的质量评估结果并输出。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (7)

1.基于视觉信息失真分解的全参考视频质量评估方法，其特征在于，包括下列步骤：

步骤1：

输入参考视频R和待评估视频T，并对各视频帧进行去噪处理，得到视频R的加性噪声A_r、主要视觉信息P_r，视频T的加性噪声A_t、主要视觉信息P_t；

步骤2：

基于所述加性噪声A_r、A_t，得到加性噪声失真S_A；

基于主要视觉信息P_r、P_t，获取主要视觉信息失真P_d，所述P_d为P_r与P_t对应像素值的绝对差值，对P_d进行信道丢包区域和压缩失真区域区分，并计算信道丢包失真S_T、压缩失真S_C：

将P_d分割成多个相同大小的方块，对每个方块，若所有的像素值均大于预设阈值T1，则将该方块的各像素值均置为m；否则，置为n，且m≠n；

基于像素值为m的连通区域，取K个最大连通区域，并将其中面积大于预设值S的连通区域，确定为信道丢包区域，而非信道丢包区域则确定为压缩失真区域；

根据公式计算信道丢包失真S_T，其中C₁＝lg(255·W²·H²)，W和H分别为视频T或视频R的当前视频帧的宽和高，k为确定为信道丢包区域的连通区域个数，参数L_i表示第i个连通区域所对应的主要视觉信息失真P_d的像素平均值，S_i表示第i个连通区域所包含的像素个数，其中i＝1,2...,k；

分别提取P_r和P_t当前视频帧的时空梯度向量g^r、g^t，基于公式

$S_p(x_r,x_t)={\left(\frac{2\left|\right|g^r\left|\right|\left|\right|g^t\left|\right|+C_2}{{\left(g^r\right)}^2+{\left(g^t\right)}^2+C_2}\right)}^{\mathrm{\α}}\·{\left(\frac{g^r\·g^t+C_2}{\left|\right|g^r\left|\right|\left|\right|g^r\left|\right|+C_2}\right)}^{\mathrm{\β}}$ 得到像素级相似性S_p(x_r,x_t)，其中，x_r为参考像素，表示参考视频R各视频帧的像素，x_t为待评估像素，表示待评估视频T各视频帧的像素，

基于水平垂直相同采样率分别对P_r和P_t当前视频帧进行下采样处理后，再提取空间梯度向量g^br、g^bt，基于公式 $S_b(b_r,b_t)={\left(\frac{2\left|\right|g^{\mathrm{br}}\left|\right|\left|\right|g^{\mathrm{bt}}\left|\right|+C_2}{{\left(g^{\mathrm{br}}\right)}^2+{\left(g^{\mathrm{bt}}\right)}^2+C_2}\right)}^{\mathrm{\α}}\·{\left(\frac{g^{\mathrm{br}}\·g^{\mathrm{bt}}+C_2}{\left|\right|g^{\mathrm{br}}\left|\right|\left|\right|g^{\mathrm{bt}}\left|\right|+C_2}\right)}^{\mathrm{\β}}$ 得到块相似性S_b(x_r,x_t)，其中像素块b_r表示参考视频R当前频帧的像素块，像素块b_t表示待评估视频T当前频帧的像素块；

α和β的对应取值为1、1或2、1或1、0，常数项C₂为大于0的常数；

基于像素级相似性S_p(x_r,x_t)、块相似性S_b(x_r,x_t)，并结合像素的结构相似性S_s(x_r,x_t)和显著区域Z，得到压缩失真 $S_C=\underset{x_r\∈Z}{\mathrm{Avg}}\left(\mathrm{\Σ}\left(S_p(x_r,x_t)S_s(x_r,x_t)S_b(b_r,b_t)\right)\right);$

步骤3：

根据加性噪声失真S_A、信道丢包失真S_T、压缩失真S_C，基于公式获取视频T的单个视频帧的质量评估值S_F；

步骤4：

取视频T的各视频帧的质量评估值S_F的均值，为视频T的质量评估结果并输出。

2.如权利要求1所述的方法，其特征在于，所述步骤2中，m的取值为1，n的取值为0。

3.如权利要求1或2所述的方法，其特征在于，所述步骤2中，常数项C₂＝0.03×255²。

4.如权利要求1或2所述的方法，其特征在于，所述步骤2中，基于3维索贝尔Sobel算子提取P_r和P_t当前视频帧的时空梯度向量g^r、g^t，基于2维Sobel算子提取P_r和P_t当前视频帧的空间梯度向量g^br、g^bt。

5.如权利要求1所述的方法，其特征在于，所述步骤2中，将P_d分割成4x4大小的方块。

6.如权利要求1所述的方法，其特征在于，所述步骤2中，预设阈值T1的取值为[10，20]，预设值S的取值为[20,50]。

7.如权利要求1所述的方法，其特征在于，所述步骤2中，基于水平垂直采样率为1/4或1/8或1/16，分别对P_r和P_t当前视频帧进行下采样处理。