CN104796690B - 一种基于人脑记忆模型的无参考视频质量评价方法 - Google Patents

Abstract

本发明公开了一种基于人脑记忆模型的无参考视频质量评价方法，包括：1)将一帧视频划分成宏块，根据每个宏块内像素的亮度值，计算宏块的复杂度；2)利用每个宏块的复杂度和量化系数，结合周围宏块的影响，得到宏块的质量评价值；3)基于人眼空间注意模型，结合整个视频的运动趋势，对不同位置的宏块赋予不同的权重，得到人眼注意力分布图；4)结合每个宏块的质量评价值和人眼注意力分布图，得到一帧视频的客观质量；5)以一个图像组为单位，结合人脑记忆模型，给出该段视频的客观质量。本发明方法简单，只需要待评价视频就能得到其客观质量，具有很高的灵活性，同时对各种不同的视频场景都能得到比较准确的评价结果，具有较好的普适性。

Description

一种基于人脑记忆模型的无参考视频质量评价方法

技术领域

本发明属于视频质量评价技术领域，具体涉及一种基于人脑记忆模型的无参考视频质量评价方法。

背景技术

随着计算机与网络通信技术的飞速发展，人们对获取多媒体信息的需求日益旺盛。近年来，与视频相关的应用涵盖各个领域，如视频会议、视频监控和移动电视等。在这些应用中，视频信息在到达接收者之前都需要经过压缩和传输，而这些过程往往会造成视频质量损失。为了获得更好的主观效果，有必要对视频质量作出评价，根据结果调整编码器和传输信道的参数。视频的最终受体是人类的眼睛，人眼观察被认为是最精确的评价视频质量的方法。然而，由于视频的信息量非常大，依靠人工观察的主观方法对视频质量进行评价需要消耗大量的人力和时间，不适合大规模实际应用。因此，如何根据人眼视觉系统特性建立视频质量评价模型，在此基础上由计算机自动完成视频的质量评价，成为一个非常有意义的课题。

视频客观质量评价方法(Video Objective QualityAssessment)是指通过设计数学模型对视频进行智能化分析，并按设定的尺度对视频进行自动评分的客观评价方法。根据对原始视频的依赖程度，视频客观质量评价方法可以分为全参考型、部分参考型和无参考型三类。由于全参考型和部分参考型评价方法都需要额外的带宽来传输原始视频及相关信息，其实用价值非常有限。相比之下，无参考质量评价方法不需要依赖任何与原始视频相关的信息，直接根据待评价视频的信息计算视频质量，具有更好的灵活性和适应性，以及更广泛的应用价值。特别是在与网络多媒体相关的视频应用中，无参考视频客观质量评价在服务器质量检测(Quality of Service,QoS)和终端质量体验(Quality of Experience,QoE)上面起到重要作用，根据视频质量评价反馈信息，视频服务器可以动态调整视频编码器参数和传输信道参数，以保证传输稳定性，提高接收端视频质量。另外，无参考视频客观质量评价可以取代人眼，公正地比较不同视频编解码器输出的视频质量，为视频接收端提供参考，做出最优选择。

现有的视频质量评价方法虽然取得了一定的效果，形成了一些比较成熟的模型，如基于PSNR(峰值信噪比)和基于SSIM(结构相似性)的两种视频质量评价模型，但这两种模型仍然存在一些问题，如：没有考虑人脑对视频关注度随着时间而变化的因素；忽视了视频内容特征对视频质量的影响；准确度还有待提高。

发明内容

针对现有技术所存在的上述技术问题，本发明提供了一种基于人脑记忆模型的无参考视频质量评价方法，既能够达到较高的准确度，又能适应各种不同视频场景，而且不需要原始视频作为参考，实现灵活有效的视频质量评价。

一种基于人脑记忆模型的无参考视频质量评价方法，包括如下步骤：

(1)将待评价视频每帧图像分割成若干个宏块，进而根据像素的亮度值计算出每个宏块的复杂度C_block；

(2)根据所述的复杂度计算宏块的质量评价值Q_block；

(3)基于人眼空间注意模型结合整个视频的运动趋势，为宏块赋予权重w_block；

(4)根据所述的质量评价值Q_block和权重w_block，计算每帧图像的客观质量Q_frame；

(5)根据每帧图像的客观质量Q_frame结合人脑记忆模型，计算出待评价视频中每个图像组的客观质量Q_GOP，进而计算出整段待评价视频的客观质量Q。

所述的步骤(1)中根据以下算式计算宏块的复杂度C_block：

$C_{\mathrm{block}}=\sqrt{\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(P_i-P_{\mathrm{avg}})}^2}$

其中：N为宏块内像素的总个数，P_i为宏块内第i个像素的亮度值，P_avg为宏块内像素的平均亮度值。

所述的步骤(2)中根据以下算式计算宏块的质量评价值Q_block：

$\begin{array}{cc}{Q}_{\mathrm{block}}=C_{\mathrm{block}}\×q\×R_{\mathrm{block}}& R_{\mathrm{block}}=\frac{q}{q_{\max }}\end{array}$

其中：q为宏块在进行视频压缩时所用到的量化系数，q_max为当前宏块及其周围八个宏块的量化系数最大值。

所述的步骤(3)中根据以下关系式为每个宏块赋予不同的权重：

$w_{\mathrm{block}}=\left\{\begin{array}{cc}\begin{array}{cc}{w}_1& (n<0.2)\\ w_2& (n<0.6)\\ w_3& \mathrm{else}\end{array}& n=\frac{l\&times;2}{\sqrt{d^2+h^2}}\end{array}\right.$

其中：w₁～w₃均为给定的权重系数，d和h分别为图像的宽和高，l为宏块的中心像素至图像的中心像素之间的距离。

进一步地，所述的权重系数w₁＝0.8，w₁＝0.5，w₃＝0.2。

所述的步骤(4)中根据以下算式计算每帧图像的客观质量Q_frame：

$Q_{\mathrm{frame}}=\frac{\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{Q}_{\mathrm{block}}\left(j\right)\&times;w_{\mathrm{block}}\left(j\right)}{\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{w}_{\mathrm{block}}\left(j\right)}$

其中：Q_block(j)和w_block(j)分别为图像中第j个宏块的质量评价值和权重，M为图像中宏块的总个数。

所述的步骤(5)中根据以下算式计算每个图像组的客观质量Q_GOP：

$\begin{array}{cc}{Q}_{\mathrm{GOP}}=\frac{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{Q}_{\mathrm{frame}}\left(t\right)\&times;w_{\mathrm{frame}}\left(t\right)}{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{w}_{\mathrm{frame}}\left(t\right)}& w_{\mathrm{frame}}\left(t\right)=c^{-\frac{f\left(t\right)}{r}\&times;\frac{1}{\mathrm{\&mu;}}}\end{array}$

其中：Q_frame(t)为图像组中第t帧图像的客观质量，T为图像组的帧数，f(t)为图像组中第t帧图像距离关键帧的帧间隔，r为编码帧率，μ为给定的人脑记忆残留时间系数，c为给定的记忆模型参数。

所述的步骤(5)中根据以下算式计算整段待评价视频的客观质量Q：

$Q=a\&times;\frac{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{Q}_{\mathrm{GOP}}\left(k\right)\&times;s\left(k\right)}{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}s\left(k\right)}+b$

其中：Q_GOP(k)为待评价视频中第k个图像组的客观质量，s(k)为待评价视频中第k个图像组的帧数，a和b均为给定的计算参数，K为待评价视频中图像组的个数。

所述的图像组为当前关键帧(包括在内)至下一关键帧之间所有图像组成的集合。

本发明方法的有益效果包括以下几点：

(1)只需要待评价视频就可以得到视频质量评价结果，具有很好的灵活性和适应性。

(2)评价结果准确度较高，符合人眼对视频的主观感知。

(3)对各种不同场景的视频都能得到比较准确的评价结果，具有较好的普适性。

附图说明

图1为图像中心点定位示意图。

图2为人脑记忆模型曲线图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明基于人脑记忆模型的无参考视频质量评价方法，包括以下步骤：

(1)将一帧视频划分16×16的宏块，根据每个宏块内像素的亮度值，计算该宏块的复杂度。

在视频压缩的过程中，量化是导致视频质量下降的最主要原因。但是，量化对视频中各个区域的影响程度是不一样的。一般来说，纹理较为复杂，内容较为丰富的区域，在相同的量化系数作用下，质量下降较多。因此，本发明将首先计算图像各个区域的复杂度，用来辅助分析该区域由于量化引起的质量下降程度。

在视频压缩中，量化是以16×16的宏块为基本单位进行，因此，本发明以相同大小的区域为单位，计算图像的复杂度。图像的纹理和细节是通过小范围内像素点之间亮度值的差异体现出来的，纹理简单，内容单一的区域，像素点之间的亮度值差异较小；而纹理复杂，内容多样的区域内，像素点之间的亮度值差异较大。因此，本发明通过计算每个宏块内像素点亮度值的均方差，来反映该宏块的复杂度C_block：

$C_{\mathrm{block}}=\sqrt{\frac{1}{N}\mathrm{\&Sigma;}{(P_{(i,j)}-P_{\mathrm{avg}})}^2}$

其中，P_(i,j)为该宏块内像素点的亮度值，P_avg为该宏块内所有像素点的亮度平均值。

(2)利用每个宏块的复杂度和量化系数，结合周围宏块的影响，得到该宏块的质量评价值。

压缩视频引入的各种失真效应随着量化过程中使用的量化系数增大而变严重，而这些失真效应，是引起视频质量下降的最主要原因。因此，量化系数和视频质量之间存在直接的联系。实验数据表明，视频质量与量化系数呈近似反比关系，量化系数越大，视频质量越差，视频主观质量(DMOS)越大。但在实际情况中，人眼是将一个区域作为一个整体来观察的，而不仅仅观察独立一个宏块。因此，在评价一个宏块的客观质量时，需要将其周围其他宏块的影响考虑在内。一般来说，空间距离相近的宏块，图像内容也比较近似，因此其客观质量与量化系数直接相关。该区域内量化系数最大的宏块，其客观质量往往最差。人眼对一个区域内客观质量最差的部分是最敏感的，由于对比反差的原因，人眼对其他宏块的感受会随之改善。因此，在评价一个宏块的客观质量时，需要以周围宏块中质量最差，也就是量化系数最大的宏块为基准，做相应的修正。综合以上原理，本发明结合每个宏块的复杂度参数C_block、量化系数和周围8个宏块的量化系数来反映该宏块的客观质量：

Q_block＝C_block×q×R_block

其中，Q_block为为该宏块的客观质量，其值越大代表质量越差；q为该宏块进行视频压缩时用到的量化系数；R_block为周围宏块的影响参数，计算方法为：

$R_{\mathrm{block}}=\frac{q}{q_{\max }}$

其中，q_max为该宏块和周围8个宏块中量化系数的最大值。

(3)基于人眼空间注意模型，结合整个视频的运动趋势，对不同位置的宏块赋予不同的权重，得到人眼注意力分布图。

人眼在观察视频时，对各个部分的关注程度是不均衡的。研究结果表明，观察者的注意力一般集中在图像的中心，而随着与中心距离的增大，该区域获得的关注度随之下降。因此，可以用每个区域与图像中心间的距离来反映该区域在客观质量评价中的权重：

$w_{\mathrm{block}}=\left\{\begin{array}{cc}{w}_1& (n<0.2)\\ w_2& (n<0.6)\\ w_3& \mathrm{else}\end{array}\right.$

其中，w_block为每个宏块的权重，w_i为权重系数，n为每个宏块距离整幅图像中心点的距离系数，其计算方法为：

$n=\frac{l\&times;2}{\sqrt{w^2+h^2}}$

其中，w和h分别为图像的宽和高，l为每个宏块中心像素点和整幅图像中心像素点之间的距离，以像素点为单位。

在实际情况中，大多数视频的内容都是运动的，人眼的注意力也会随之转移。本发明统计一帧视频中所有宏块的平均运动矢量，得到图像内容的整体运动趋势，用来调整图像的中心像素点位置，如图1所示。其中mvx和mvy分别为水平和垂直方向平均运动矢量，p₀为原来的中心像素点，p₁为调整后的中心像素点。

(4)结合每个宏块的质量评价值和人眼注意力分布图，得到一帧视频的客观质量。

在得到每个宏块的客观质量及其权重后，整帧视频的客观质量Q_frame的计算方法为：

$Q_{\mathrm{frame}}=\frac{\mathrm{\&Sigma;}{Q}_{\mathrm{block}}\&times;w_{\mathrm{block}}}{\mathrm{\&Sigma;}{w}_{\mathrm{block}}}$

其中，Q_frame越大，代表视频质量越差。

(5)以一个GOP为单位，结合人脑记忆模型，给出该段GOP的客观质量。

人脑对视频的注意力，不仅仅受到视频内容的影响，同样也受到时间的应用。由于人的记忆力是有限的，人脑对事物的记忆会随着时间的流逝而变模糊，如图2所示。因此，观察者对不同时间段的关注程度也是不均衡的。研究表明，在每个GOP的开始，在I帧和P帧的交界处，由于I帧和P帧的清晰度差异较大，会出现一个明显的刷屏现象，很容易引起观察者的注意。而随着时间的推移，后续P帧的质量与趋于一致，帧与帧之间的差异非常细微，很难被观察者发现。因此，观察者的视频中的失真效应的注意力也会随着分散。结合视频的GOP间隔和人脑记忆模型，本发明给出每一帧在整个GOP中的权重w_frame，其计算方法为：

$w_{\mathrm{frame}}=c^{-\frac{f}{r}\&times;\frac{1}{T}}$

其中，c为记忆模型参数，f为每一帧距离该GOP中关键帧的间隔，r为编码帧率，T为人脑记忆残留时间系数。在此基础上，得到整个GOP的客观质量：

$Q_{\mathrm{GOP}}=\frac{\mathrm{\&Sigma;}{Q}_{\mathrm{frame}}\&times;w_{\mathrm{frame}}}{\mathrm{\&Sigma;}{w}_{\mathrm{frame}}}$

最后，计算整段视频的客观质量Q：

$Q=a\&times;\frac{\mathrm{\&Sigma;}{Q}_{\mathrm{GOP}}\&times;s}{\mathrm{\&Sigma;s}}+b$

其中，s为每个GOP中的帧数，a和b为常数，与DMOS一样，Q越小代表视频质量最好。本实施方式实际选用的参数为：w₁＝0.8，w₂＝0.5，w₃＝0.2，c＝2.16，T＝0.4，a＝0.2，b＝-30。

以下通过用40个JM压缩的常见视频场景的码流来验证本发明算法的效果，如下式所示，用多参数非线性方程对主客观评价结果进行拟合，使经过转换后的客观评价结果DMOS_P与主观评价值DMOS的关系接近线性，方便对评价结果的准确性和单调性进行比较。

${\mathrm{DMOS}}_P={\mathrm{\&beta;}}_2+\frac{{\mathrm{\&beta;}}_1-{\mathrm{\&beta;}}_2}{1+e^{-\left(\frac{Q-{\mathrm{\&beta;}}_3}{\left|{\mathrm{\&beta;}}_4\right|}\right)}}$

最后，分别用Spearman相关系数和Pearson相关系数来衡量该方法的单调性和准确性，并与PSNR和SSIM方法作对比，如表1所示。Spearman系数和Pearson系数越大，说明该方法的单调性和准确性越好，即该方法的准确度越高。从这些结果可以看到，本发明的结果准确率要高于这两种视频质量评价方法。

表1

质量评价方法	Spearman相关系数	Pearson相关系数
			PSNR	0.5432	0.5510
SSIM	0.6678	0.6812
			本发明方法	0.7476	0.7887

上述的对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (2)

1.一种基于人脑记忆模型的无参考视频质量评价方法，包括如下步骤：

(1)将待评价视频每帧图像分割成若干个宏块，进而根据像素的亮度值通过以下算式计算出每个宏块的复杂度C_block；

$C_{block}=\sqrt{\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{(P_i-P_{avg})}^2}$

其中：N为宏块内像素的总个数，P_i为宏块内第i个像素的亮度值，P_avg为宏块内像素的平均亮度值；

(2)根据所述的复杂度通过以下算式计算宏块的质量评价值Q_block；

Q_block＝C_block×q×R_block

其中：q为宏块在进行视频压缩时所用到的量化系数，q_max为当前宏块及其周围八个宏块的量化系数最大值；

(3)基于人眼空间注意模型结合整个视频的运动趋势，根据以下关系式为宏块赋予权重w_block；

$\begin{array}{cc}{w}_{block}=\left\{\begin{array}{cc}{w}_1& \left(n<0.2\right)\\ w_2& \left(n<0.6\right)\\ w_3& else\end{array}\right.& n=\frac{l\&times;2}{\sqrt{d^2+h^2}}\end{array}$

其中：w₁～w₃均为给定的权重系数，d和h分别为图像的宽和高，l为宏块的中心像素至图像的中心像素之间的距离；

(4)根据所述的质量评价值Q_block和权重w_block，通过以下算式计算每帧图像的客观质量Q_frame；

$Q_{frame}=\frac{\underset{j=1}{\overset{M}{\&Sigma;}}{Q}_{block}\left(j\right)\&times;w_{block}\left(j\right)}{\underset{j=1}{\overset{M}{\&Sigma;}}{w}_{block}\left(j\right)}$

其中：Q_block(j)和w_block(j)分别为图像中第j个宏块的质量评价值和权重，M为图像中宏块的总个数；

(5)根据每帧图像的客观质量Q_frame结合人脑记忆模型，通过以下算式计算出待评价视频中每个图像组的客观质量Q_GOP；

$\begin{array}{cc}{Q}_{GOP}=\frac{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{Q}_{frame}\left(t\right)\&times;w_{frame}\left(t\right)}{\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{w}_{frame}\left(t\right)}& w_{frame}\left(t\right)=c^{-\frac{f\left(t\right)}{r}\&times;\frac{1}{\mathrm{\&mu;}}}\end{array}$

其中：Q_frame(t)为图像组中第t帧图像的客观质量，T为图像组的帧数，f(t)为图像组中第t帧图像距离关键帧的帧间隔，r为编码帧率，μ为给定的人脑记忆残留时间系数，c为给定的记忆模型参数；

进而根据以下算式计算出整段待评价视频的客观质量Q；

$Q=a\&times;\frac{\underset{k=1}{\overset{K}{\&Sigma;}}{Q}_{GOP}\left(k\right)\&times;s\left(k\right)}{\underset{k=1}{\overset{K}{\&Sigma;}}s\left(k\right)}+b$

其中：Q_GOP(k)为待评价视频中第k个图像组的客观质量，s(k)为待评价视频中第k个图像组的帧数，a和b均为给定的计算参数，K为待评价视频中图像组的个数。

2.根据权利要求1所述的无参考视频质量评价方法，其特征在于：所述的权重系数w₁＝0.8，w₁＝0.5，w₃＝0.2。